富士通と独立行政法人理化学研究所が共同で開発を進める次世代スーパーコンピュータ「京」。2006年から開発がスタートし、いまだ整備途中ではあるものの、今年6月の第26回国際スーパーコンピューティング会議ISC'11（ドイツ・ハンブルク）で発表された「TOP500」ランキングでは第1位を獲得した。この「京」の評価・試験装置として導入されたのが、東亜電気工業の水冷ソリューション「Coolcentric」だ。

世界最速の次世代スーパーコンピュータ「京」の冷却システム

富士通アドバンストテクノロジ株式会社
HPC適用推進統括部・
システム実装技術部
テクノロジスト／マネージャー 工学博士
魏 杰 氏

スーパーコンピュータ「京」の冷却には水冷と空冷のハイブリッド方式が採用されている。冷やすことにより電子部品の故障率を下げ、さらに設置環境を含むシステム全体の消費電力も抑える。冷却は「京」プロジェクトにとって重要な課題だった。効率的に冷やし、プロジェクトの目標である「世界最先端・最高性能のスーパーコンピュータの開発」のために、冷却方法の一つとして選択されたのが低温水冷だ。1枚のシステムボード上で主にCPUとコントローラ素子の計8個を水で冷却する。「京」はシステムボード30枚を搭載した計算機ラック800台以上で構成される。冷却技術の設計と開発を担当する、富士通アドバンストテクノロジ株式会社の魏博士は「今までにない大規模な水冷システム」と語る。

試験・評価装置として「Coolcentric」を導入

「京」のシステム検討は2006年度からスタートし、概念設計、詳細設計と試作評価のフェーズを経て、2010年度からは製造がスタート、2012年に完成を迎える。計算機装置の製造は富士通の工場で行われ、出荷前の試験と評価用として、実際の設置場所と同様な冷却環境、すなわち冷却水供給装置を富士通の工場内に設置する必要があった。

魏博士のグループは2007年後半から、性能評価および出荷試験用の冷却水供給装置の検討を開始した。国内外数社のベンダーを調査し、サンプル評価も行い、採用されたのが、東亜電気工業が販売する「Coolcentric」水冷ソリューションだ。Coolcentricは、IT機器の冷却部品の開発、設計、製造を手がける米国VETTE社のデータセンター冷却専門ブランド。海外ではすでに多くの導入実績を持ち、AT&T社、NASAや、多くの大学、研究機関などでも採用されている。このCoolcentricソリューションの中から、冷却水分配供給装置「CDU（クーラントディストリビューションユニット）」が正式に採用された。CDUは、冷水設備（チラー）側の冷水と計算機側の冷却水を熱交換し、内蔵のポンプで冷却水を計算機に循環させる、床置またはラックマウントタイプの冷却水分配供給装置だ。今回導入されたのは床置型、冷却能力120kWのタイプになる。

他社製品を凌駕する性能、信頼性、サポート

CDUを採用した理由として魏博士がまず挙げたのが、冷却装置としての信頼性だ。「例えば、試験と評価を行う工場では試験環境を制御していますが、試験条件により結露が発生する可能性を考慮しなくてはなりません。冷水装置で自動的に冷却水の温度を制御することが重要です」と魏博士は語る。CDUは結露防止の水温制御機能を内蔵。センサーが設置場所の温度と湿度を監視し、冷却水を常に露点より高い水温に維持するため、結露を発生させない仕組みだ。

また、試験と評価期間中に、途中で冷却システムが止まることは許されないので、「CDUは、冷却水を送るためのポンプや、流量と水温を制御するためのバルブなどの部品がすべて冗長化されており、万が一不具合が発生しても、カバーすることができます。こうした設計は安心感を与えてくれます」と魏博士はその信頼性を高く評価する。さらにCDUは、Webブラウザ、ネットワーク、BMSにより、運転の管理、監視が可能となっているので、使いやすさと運用の柔軟性も導入のポイントとなったという。

サポートについても、「初めてこんな大規模な水冷システムを検討したので、何かあったときが心配でしたが、東亜電気工業さんには、多くの相談やカスタマイズなどにも応えて頂きました」と魏博士が語るように、東亜電気工業では専任の冷却システム本部を設置し、スムーズな導入と運用のサポートを行っている。

高密度化の進展により、水冷のメリットはさらに大きくなる

最後に魏博士に今後の展望をお伺いした。「これからはシステムの高密度化と効率化がよりいっそう進みます。今まで以上に効率の良い冷却システムが求められることになります。Coolcentricの水冷ソリューションは効率良く使いやすいので、一般のデータセンターでも利用するメリットは大きいと思います」と魏博士は水冷システムとCoolcentricへの期待を語った。

その速さがクローズアップされる「京」だが、冷却などのその周りを取り巻く最先端クラスの技術やノウハウも、日本のITをさらに進化させていく。神戸市ポートアイランドの独立行政法人理化学研究所　計算科学研究機構で「京」システム導入の総指揮を執る、富士通株式会社の高田恭一地部長にお話を伺った。

現在のシステム導入状況ですが、大きなトラブルもなくオンスケジュールで進んでいます。震災や事業仕分けの問題などありながらも、予定通りに進められたのは、多くのベンダー、サプライヤーさんの尽力によるものです。来年6月には正式稼動を迎えます。「京」全体の冷却システムについては、下のフロアに大型の空調機を並べて冷気を吹き上げ、上の「京」設置フロア全体を冷却しています。800本以上のラック内部は水冷で、下のフロアに大型のチラーを設置しています。建屋全体が、大規模な空冷と水冷のハイブリッド型冷却ということになります。

今回、富士通での出荷試験用の冷却システムとして採用したCoolcentricはすでに海外で多くの実績があり、蓄積されたノウハウも素晴らしいものだと感じました。ただ、日本での導入は初めてということで、東亜電気工業さんには厳しい要求をたくさん申し上げ、対応してもらいました。水冷は高密度化への対策や部品寿命の向上に大きなメリットがあり、これからは日本市場でもさらに必要とされていくでしょう。東亜電気工業さんは水冷専任の部隊も作られたということで、日本企業の利用に適したさらなるカスタマイズとサポートを期待しています。

今後のプロジェクト全体の目標としては、まず今年11月の「TOP500」ランキングで再び世界一になることですね。あわせて11月にIEEEが発表する「ゴードン・ベル賞」の実効性能部門でも1位を取りたいと思っています。「京」は日本の技術力の結集により生まれました。この成果をさまざまな方面で生かしていきたいと思います。