GPUをただ増設しても性能は不十分。AI投資の費用対効果を高めるには？

株式会社フィックスターズが提供する「大規模分散GPU構成におけるパフォーマンスエンジニアリング実践」は、NVIDIA H100 64GPU（8ノード × 8GPU）の大規模分散環境における実測検証にもとづき、マルチノード環境で性能と費用対効果を引き出すための実践的なホワイトペーパーです。

本書が取り組む課題

ノード数が2倍になれば、演算性能もメモリ容量も単純計算では2倍になります。しかし、実際の処理速度が2倍になることはほとんどありません。ノード間の同期通信にかかる時間が2倍以上に膨らんでしまうからです。

どのようにすれば増設したノードを使い切り、処理速度を高めて、費用対効果を上げることができるでしょうか？

本書の特徴

• H100 64GPU並列構成での実測検証：さくらインターネット「高火力 PHY」H100プランを8ノード使用した、継続事前学習と巨大推論の実測検証
• 費用対効果を改善するパフォーマンスエンジニアリング3ステップ：Llama3 70Bの継続事前学習を題材に、①グローバルバッチサイズ ②マイクロバッチサイズと三次元並列（TP/PP/DP）③ハイパーパラメーター自動チューニングによる性能改善検証
• 巨大推論の実行検証：480Bパラメーターのモデルによる1Mトークン推論を実行し、既存の推論APIサービスとの費用対効果を検証

こんな方におすすめ

• 大規模モデルの分散学習・推論基盤への投資が、性能に見合っているか見極めたい方
• 巨大モデルの推論を自社環境で動かしたい方
• 推論APIサービスの利用コストと、自社GPU環境の保有コストを比較検討している方