arrow-up icon

パフォーマンスエンジニアリング
プラットフォーム

パフォーマンスエンジニアリング
プラットフォーム

Fixstars AI Booster

GPUサーバーにインストールするだけで、実行中のAI処理を分析し、 ボトルネックを可視化。自動でパフォーマンスを改善します。 収集した性能データを元に、手動で更なる高速化も可能です。

今すぐ無料ダウンロード decoration オンラインデモ

クイックスタートガイド・活用事例等は
こちらからダウンロードできます

Fixstars AI Boosterとは

クラウド・オンプレミスを問わず、GPUサーバーにインストールすることで、実行中のAI処理のパフォーマンスデータを収集し、処理のボトルネックを可視化。取得したデータを活用して、パフォーマンスを改善します。

このような観測と改善のサイクルを繰り返すことでAI学習・推論の処理速度を継続的に改善し、インフラコストを削減します。

Performance Observability
パフォーマンス観測機能
  • Checkmark icon
    AI学習や推論などのパフォーマンス情報を常に監視・保存
  • Checkmark icon
    性能の劣化や処理のボトルネックなどを可視化
Performance Intelligence
パフォーマンス改善機能
  • Checkmark icon
    パフォーマンス観測で収集されたデータをもとに、自動で高速化するためのツール群を提供
  • Checkmark icon
    Performance Observabilityが提供するデータをもとに、ユーザーが手動で高速化することで、更なるパフォーマンス改善が可能

処理速度 最大
0.0
アップ(当社実績)
GPU利用コスト 最大
0
削減(当社実績)
Performance Observability

パフォーマンス観測機能

ハードウェアの使用状況とAI処理の実行内容を監視・保存
時系列データとして継続的に保存
  • GPU、CPU、メモリ、NIC、PCIe、ストレージなどの情報を集約して時系列で管理
  • オーバーヘッドを極力抑え、システムに常駐してパフォーマンスデータを継続して取得
マルチプラットフォーム対応
  • クラウド(AWS、Microsoft Azure、Google Cloud Platform、さくらインターネットなど)からオンプレミスまで、異なるアーキテクチャーのシステムを一括で監視可能
実行中のアプリケーションのプロファイリング
フレームグラフを継続的に保存
  • 実行しているアプリケーションの処理時間を100として、アプリケーション内部の処理の内訳をブレイクダウンして可視化
  • プログラムのうちのどの関数、どのライブラリがボトルネックになっているか
  • ハードウェアの利用状況が良い場合・悪い場合に、アプリケーション構成の違いはあるか
Performance Intelligence

パフォーマンス改善機能

ワークフロー
  • 1
    分析
    POビューワーを確認し、CPU/GPU 利用率・I/O 帯域・メモリ消費・フレームグラフなどからパフォーマンスの課題を特定。
  • 2
    高速化
    • 分析結果をもとに、自動で高速化するためのツール群を提供
    • 高速化に必要なドキュメントを提供。これを利用して、ユーザーが手動で高速化を実現可能
  • パフォーマンスエンジニアリングサービス(要問い合わせ)
    さらなる高速化が必要な場合、AI Boosterの分析データを元に、Fixstarsの高速化エキスパートがお客様の開発環境やご要望に応じたパフォーマンス改善を行います。
高速化手法の例
  • モデル軽量化
  • 学習スループット計測
  • 処理時間内訳の詳細計測
  • 学習効率(高速化余地)の算出
  • ハイパーパラメータチューン
  • AIモデルの適切な並列化手法の適用
  • カーネルパラメータの最適化
  • 通信ライブラリのパラメータ最適化
  • 処理の特性に合ったファイルシステムの提供
  • 再計算によるメモリバンドの効率改善
  • OS・システム管理ツール・ドライバの最適化

パフォーマンス改善サイクル

パフォーマンスは不変ではなく、新しいモデルの利用、パラメータの変更、インフラの仕様変更、など、日々の開発活動の中で変化していきます。パフォーマンス改善サイクルを継続的に回すことで、性能劣化を未然に防ぎ、常に最高のパフォーマンスを得ることができます。

パフォーマンス劣化の要因
  • decoration
    新モデル/新手法の採用
    Transformerアーキテクチャの更新やマルチモーダル化などにより、計算パターンが変わり、GPU 利用率やメモリ帯域のバランスが崩れる
  • decoration
    ハードウェア構成・クラウドプランの変更
    インスタンスタイプのサイズ変更、価格改定、リージョン移行などにより、コスト最適だった構成が陳腐化し、過剰リソースや性能不足を招く
  • decoration
    ライブラリ/フレームワークのアップデート
    CUDA・cuDNN・PyTorch などのバージョンアップなどにより、内部アルゴリズムやメモリ管理が変わり、想定外のレイテンシ増大やメモリフットプリント悪化が発生
継続的なパフォーマンス改善ループを組み込むことで
常に最高のパフォーマンスを得ることができます。

Fixstars AI Boosterによる高速化実績

通信会社様・LLM70Bモデル継続事前学習
放送会社様・LLM70Bモデル継続事前学習
LLM7Bモデル学習
LLMシングルバッチ推論
LLMマルチバッチ推論

※Fixstars AI Boosterの自動高速化と、取得したパフォーマンスデータを元にした手動高速化の両方の結果を含む

システム構成

マルチノード構成の例

Fixstars AI Booster(AI Booster)は、次の2つのコンポーネントで構成されます。

  • AI Booster Agent :各種パフォーマンス情報(テレメトリ)の収集
  • AI Booster Server :データの保存と可視化

標準的な運用では、管理ノードにAI Booster Serverを一台だけ配置し、複数の計算ノードにAI Booster Agentを導入します。こうして収集された性能情報はすべて管理ノードに集約され、利用者は単一のダッシュボードから複数ノードの状態を同時に監視できます。

複数のクラウドベンダが混在するマルチクラウド環境でも、オンプレミスとクラウドを組み合わせたハイブリッド環境でも、複数拠点に点在するサーバー群を一元的に可視化できます。

評価用や小規模利用のケースでは、AI Booster ServerとAI Booster Agentを同じノードに同居させるシングルノード構成もサポートされており、導入時のハードウェア要件を最小限に抑えることが可能です。

システム構成例

シングルノード構成 1 ― ローカルワークステーションでAI Boosterを直接利用

AI Booster ServerとAI Booster Agentの両方を、GPUが搭載された1台のワークステーション・サーバーにインストールします。
モニターをつないで、その場でダッシュボードからパフォーマンス情報を確認します。
オフライン検証機やベンチマーク用マシンで「まず動かしてみたい」ときの最短ルートです。ネットワーク設定は不要です。

シングルノード構成 2 ― パフォーマンス・ダッシュボードを複数人で閲覧

AI Booster ServerとAI Booster Agentの両方を、GPUが搭載された1台のワークステーション・サーバーにインストールします。
ユーザーは個人のPCからブラウザを通じて、サーバーが提供するダッシュボードをTCP通信の3000番ポート経由で閲覧します。
複数人でダッシュボードを見たい小規模PoCに最適です。

マルチノード構成 1 ― 専用の管理ノードにパフォーマンス情報を集約して管理

管理ノードにAI Booster Serverをインストールし、各GPU計算ノードにはAI Booster Agentをインストールします。
ユーザーは個人のPCからブラウザを通じて、管理ノードが提供するダッシュボードをTCP通信の3000番ポート経由で閲覧します。
多くのGPUクラスタサーバーシステムで推奨される構成です。

マルチノード構成 2 ― GPU計算ノードでパフォーマンス情報も管理

特定の管理ノードが存在しない場合、GPU搭載ノードを一台選び、そちらにAI Booster Serverと自身用のAI Booster Agentをインストール。残りのGPU搭載ノードにはAgentだけをインストールします。
ユーザーは個人のPCからブラウザを通じて、AI Booster ServerがインストールされたGPU搭載ノードが提供するダッシュボードをTCP通信の3000番ポート経由で閲覧します。

よくある質問

Q. Fixstars AI Booster のオーバーヘッドはどのぐらいですか? plus interface icon

Linuxデーモンのように、システムに常駐しますので、オーバーヘッドはゼロではありませんが、システムリソースを極力消費しないように設計しています。我々は、”Near-Zeroオーバーヘッド”と呼んでいます。

Debian系のLinux環境で動作します。弊社で動作確認をしているディストリビューションはUbuntu 22.04 LTSです。NVIDIA GPUがない環境でも動作可能ですが、取得できる情報や機能が限られます。

現在配布されているFixstars AI Boosterは無償でご利用可能です。ただし、パフォーマンス・インテリジェンス(PI)に関する機能は利用開始後、1ヶ月間は無償で、その後有償となります。詳細な利用規約については、Fixstars AI Boosterエンドユーザーライセンス契約を参照ください。

Fixstarsは、ユーザーのアプリケーション情報、POによる分析結果など、ユーザー固有のデータを取得していません。プロダクトの改善のために、プロダクトの利用状況に関するデータのみ取得しています。詳細はお問い合わせください。

DataDog, NewRelicなど、従来のパフォーマンス観測ツールでも、ハードウェアの利用状況等を見ることはできますが、Fixstars AI Boosterの場合、AI処理の詳細も取得・可視化しています。さらに、得られたデータから、パフォーマンスのボトルネックを分析・改善します。

パフォーマンス観測(PO)の結果を元に、利用しているインフラの構成を変更したり、処理の際のパラメーターを変えたり、GPUの性能を最大限引き出すソースコードに変更するなど、様々な高速化手法を組み合わせて改善します。ただし現時点では、自動で改善される項目は限られます。

NVIDIA Nsightなどのプロファイリングツールは、特定のコマンドをトリガーとして、処理の詳細の”スナップショット” を取得するものです。AI Boosterは、システムで実行された処理の詳細を常時取得しています。これにより、性能劣化の原因を過去に遡って調査・分析可能です。また、パフォーマンス改善の提案や自動適用は、他にはないAI Boosterならではの機能です。

はい、できます。基本的な技術は大きく変わらないため、他のAIやGPU処理も、Fixstars AI Boosterによって速くなることが期待できます。具体的な効果については処理内容によって変わりますので、お問い合わせください。

他にご質問はございますか?お問い合わせください

Fixstars AI Boosterで
パフォーマンスエンジニアリング

見えないボトルネックを発見し自動で高速化
取得したパフォーマンスデータを活用して、手動で更なる高速化を実現

今すぐ無料ダウンロード decoration