水冷GPUサーバーの運用効率向上のPoCに成功し、 国内での商用利用に前進
～コンテナ型データセンターでの水冷GPUサーバーの統合検証で優秀とされる pPUE1.114を記録～
NTTPCコミュニケーションズ株式会社(本社：東京都港区、代表取締役社長：工藤 潤一、以下：NTTPC)、株式会社ゲットワークス(本社：東京都千代田区、代表取締役：中澤 秀則、以下：ゲットワークス)、株式会社フィックスターズ(本社：東京都港区、代表取締役社長 CEO：三木 聡、以下：フィックスターズ)の3社は、今後ますます増えていく高機能なGPUサーバーを効果的に運用していくためのPoC(概念実証)に共同で取り組んだ結果、大規模データセンター以外では実現が難しい高い電力効率の範囲内のpPUE(※1)1.114を記録し、コンテナ型データセンターでの水冷GPUサーバーの商用での有効性を確認することができました。
今回の検証では、GPU専用コンテナ型データセンターに、水冷GPUサーバーの実機での商用動作確認を行い、GPUの安定稼働および性能・電力効率の最適化プロセスを統合的に実証し、運用効率の向上に成功しました。
※1. pPUE(partial Power Usage Effectiveness)：データセンターの一部(モジュールやゾーン)の電力効率を示す指標で、ICT機器の消費電力に対する、特定部分の総消費電力の比率。PUEが施設全体の効率なのに対し、pPUEは部分的な範囲の効率を示す。PUE全体の目安として最新の水冷式の大規模データセンターでは 1.05～1.2程度で、pPUEの値は1.1前後が優秀とされる。今回の検証におけるpPUE=(コンテナ内のサーバールームにおける空調設備や照明を含む消費電力)／(コンテナ内のサーバールームにおける全ICT機器の消費電力)
- 背景・課題
企業における生成AIやHPC(High Performance Computing)活用の本格化に伴い、高性能GPUサーバーの需要が急増しています。高性能なGPUサーバーを稼働させるには水冷GPUサーバーへの対応が必要となりますが、海外では水冷GPUサーバーの商用利用事例が増加している一方、国内では空冷式のデータセンターが主流であり、水冷GPUサーバーの事例はまだ少ない状況です。
また、GPUの性能を最大限に引き出すためには、データセンター・GPUサーバー・ソフトウェアの各レイヤでの統合的な連携が必要ですが、現時点では各レイヤの個別最適にとどまるケースが多くなっています。
今回、こうした課題を解決し水冷GPUサーバー本来の能力を最大限に発揮させるため、コンテナ型データセンターでのPoCに共同で取り組みました。
- PoCの内容
コンテナ型データセンターにおいて水冷GPUサーバーを稼働させ、データセンター・GPUサーバー・ソフトウェアを統合的に調整した環境下でさまざまな負荷を与え、各種データを計測するとともに、水冷GPUサーバーと、空冷GPUサーバーとの性能比較検証を行いました。(詳細は別紙参照)
- PoCの検証結果
コンテナ型データセンターにおける水冷GPUサーバーの商用利用の有効性を確認するとともに、データセンター・GPUサーバー・ソフトウェアの各レイヤでの統合的な連携による運用効率の最大化を実証でき、水冷GPUサーバーで優秀とされるpPUE1.114を記録しました。
なお、本検証では稼働環境をスピーディかつフレキシブルに用意できるコンテナ型データセンターを利用して、水冷GPUサーバー本来の能力を最大限に発揮させることに成功しました。
・コンテナ型データセンター環境下で水冷GPUサーバーと空冷GPUサーバーの性能を比較した結果、最大負荷時のGPU平均温度が摂氏温度で15度程度低減され、CDU(冷却分配装置)等が適正に機能していることを確認
・サーバー負荷と温度をリアルタイムにモニタリングし、InRow空調(※2)の制御およびコンテナ内のキャッピング(※3)を実施した結果、CDU等の特定モジュールやデータセンタールームの電力使用効率を示すpPUEを統合的に収集・管理するシステムを構築
・上記環境下での測定の結果、pPUEの値が1.114を記録
※2. InRow空調：サーバーラックの列の間に設置する局所空調システム
※3. キャッピング：空調効率を高め、データセンターにおける冷却性能を最大化させるため、冷気と排熱を効率的に分離するための仕切りや構造設計
＊本PoCの検証レポートは、以下URLからご覧ください。
・水冷GPUサーバーの効果を徹底検証【前編】
https://www.nttpc.co.jp/gpu/article/benchmark27.html
・水冷GPUサーバーの効果を徹底検証【後編】
https://www.nttpc.co.jp/gpu/article/benchmark28.html
- 各社の役割
・NTTPC
複数の大規模GPUクラスタの提供実績があり、その経験を踏まえたハードウェアエンジニアリングの観点から今回の検証を実施
・ゲットワークス
新潟県越後湯沢にある湯沢GXデータセンターにて商用環境と同等の20フィートタイプのコンテナ型DC1棟を提供
検証においてキャッピング等の調整を行い、最適なサーバー稼働環境を構築
・フィックスターズ
水冷GPUサーバー、サーバー冷却設備を実証実験用に提供するとともに、コンテナ型データセンター内の環境・ハードウェア・ソフトウェアを統合的に管理する統合モニタリングツールを構築
- 今後の展開
高性能なGPUサーバーの普及が進む中、今後さらなる水冷GPUサーバーのニーズ拡大が想定されます。今後も3社は連携を強化し、日本国内のコンテナ型データセンターにおける水冷GPUサーバーの商用利用拡大に向け取り組んでまいります。
各社の会社概要
NTTPCコミュニケーションズ株式会社について
NTTPCはNTTドコモビジネスグループにおける国内中堅・中小企業向けICTサービスのエキスパートとして、シンプルで導入しやすい価格の各種サービスを提供しています。
GPU基盤構築をはじめとするAI関連事業、ネットワーク事業・クラウド/データセンター事業に積極的に取り組んでおり、2025年3月19日に開催された「NVIDIA Partner Network Award 2025」の授賞式において、パートナーに贈られる国内最高のアワード『Best NPN of the Year』を受賞しました。
また、2025年6月10日にNTTドコモビジネスおよびゲットワークスと共にAI時代に最適な次世代ICTプラットフォーム構想の実現に向けた戦略的業務提携を発表しております。
株式会社ゲットワークスについて
ゲットワークスのコンテナ型データセンターは2013年に1台目を発表後、多種多様の実証実験を行いながら発展を続けてまいりました。単にコンテナでのデータセンターの構築だけではなく、省エネ・再生可能エネルギーの活用をテーマとして各自治体と協力の上、様々な再エネ(雪、水、外気)活用に取り組んでおります。
設置場所の環境(気候、電力等)や、お客様のニーズに対応した様々なタイプの構築を続け、2025年12月末時点において、285台(20ft：265台、40ft：20台)の構築実績がございます。大手企業様、電力系企業様、病院様など要件の厳しいお客様への納入実績もございます。設置場所の選定から、各種工事(土木、電力、通信)や申請業務まで対応可能です。各種補助金や助成金にも対応しており、近年活用されるお客様が増えてきております。
またAIや高速演算のニーズ増によりサーバー3,000台以上、GPU1万枚以上の設置・運用実績がございます。完全自社設計・国内生産により短納期・コストダウンを実現しており、お申し込みから最短10日で納品・稼働が可能です。
株式会社フィックスターズについて
フィックスターズは、“Speed up your AI”をコーポレートメッセージとして掲げるテクノロジーカンパニーです。計算資源を最大限に活用するソフトウェア最適化技術を駆使し、AIモデルの推論処理と学習プロセスの両面で圧倒的な高速化を実現します。医療、製造、金融、モビリティをはじめ様々な分野で、次世代AI技術の進化を推進しています。
