arrow-up icon

パフォーマンスエンジニアリング
プラットフォーム

パフォーマンスエンジニアリング
プラットフォーム

Fixstars AI Booster

見えないボトルネックを自動で発見し高速化
取得したパフォーマンスデータを活用して、手動で更なる高速化を実現

今すぐ無料ダウンロード decoration ウェビナーに参加 decoration

Fixstars AI Boosterとは

Fixstars AI Boosterは、観測と改善のサイクルを繰り返すことでパフォーマンスを継続的に高めるソフトウェアです。

Performance Observability
パフォーマンス観測機能
  • Checkmark icon
    AI学習や推論などのパフォーマンス情報を常に監視・保存
  • Checkmark icon
    性能の劣化や処理のボトルネックなどを可視化
Performance Intelligence
パフォーマンス改善機能
  • Checkmark icon
    パフォーマンス観測で収集されたデータを分析し、AI Boosterが自動で高速化 (または高速化提案)
  • Checkmark icon
    AI Boosterが提供する高速化提案を元に、ユーザーが手動で高速化することで、更なるパフォーマンス改善が可能

処理速度 最大
0.0
アップ(当社実績)
GPU利用コスト 最大
0
削減(当社実績)
Performance Observability

パフォーマンス観測機能

ハードウェアの使用状況とAI処理の実行内容を監視・保存
時系列データとして継続的に保存
  • GPU、CPU、メモリ、NIC、PCIe、ストレージなどの情報を集約して時系列で管理
  • オーバーヘッドを極力抑え、システムに常駐してパフォーマンスデータを継続して取得
マルチプラットフォーム対応
  • クラウド(AWS、Microsoft Azure、Google Cloud Platform、さくらインターネットなど)からオンプレミスまで、異なるアーキテクチャーのシステムを一括で監視可能
取得したデータを直感的なビューワーで可視化
ハードウェアの使用状況の把握
  • どの処理がどのリソースをどの程度使用しているか
  • GPUの利用状況は期待通りか
AI処理の実行内容の把握
  • プログラムのどの部分が特定のハードウェアリソース(CPUやGPU)を消費しているのか
  • リソース消費は多いが、結果に貢献していない処理はないか
Performance Intelligence

パフォーマンス改善機能

ワークフロー
  • 1
    分析
    POビューワーを確認し、CPU/GPU 利用率・I/O 帯域・メモリ消費・フレームグラフなどからパフォーマンスの課題を特定。
  • 2
    高速化
    • 分析結果をもとにAI Booster が自動で高速化
    • 高速化に必要なツールやドキュメントを提供。これを利用して、ユーザーが手動で高速化を実現可能
  • パフォーマンスエンジニアリングサービス(要問い合わせ)
    さらなる高速化が必要な場合、AI Boosterの分析データを元に、Fixstarsの高速化エキスパートがお客様の開発環境やご要望に応じたパフォーマンス改善を行います。
高速化手法の例
  • モデル軽量化
  • 学習スループット計測
  • 処理時間内訳の詳細計測
  • 学習効率(高速化余地)の算出
  • ハイパーパラメータチューン
  • AIモデルの適切な並列化手法の適用
  • カーネルパラメータの最適化
  • 通信ライブラリのパラメータ最適化
  • 処理の特性に合ったファイルシステムの提供
  • 再計算によるメモリバンドの効率改善
  • OS・システム管理ツール・ドライバの最適化

パフォーマンス改善サイクル

パフォーマンスは不変ではなく、新しいモデルの利用、パラメータの変更、インフラの仕様変更、など、日々の開発活動の中で劣化していきます。パフォーマンス改善サイクルを継続的に回すことで、性能劣化を未然に防ぐことができます。

パフォーマンス劣化の要因
  • decoration
    新モデル/新手法の採用
    Transformerアーキテクチャの更新やマルチモーダル化などにより、計算パターンが変わり、GPU 利用率やメモリ帯域のバランスが崩れる
  • decoration
    ハードウェア構成・クラウドプランの変更
    インスタンスタイプのサイズ変更、価格改定、リージョン移行などにより、コスト最適だった構成が陳腐化し、過剰リソースや性能不足を招く
  • decoration
    ライブラリ/フレームワークのアップデート
    CUDA・cuDNN・PyTorch などのバージョンアップなどにより、内部アルゴリズムやメモリ管理が変わり、想定外のレイテンシ増大やメモリフットプリント悪化が発生
継続的なパフォーマンス改善ループを組み込むことで
「速さが当たり前」の状態を維持できます。

Fixstars AI Boosterによる高速化実績

通信会社様・LLM70Bモデル継続事前学習
放送会社様・LLM70Bモデル継続事前学習
LLM7Bモデル学習
LLMシングルバッチ推論
LLMマルチバッチ推論

※Fixstars AI Boosterの自動高速化と、取得したパフォーマンスデータを元にした手動高速化の両方の結果を含む

よくある質問

Q. Fixstars AI Booster のオーバーヘッドはどのぐらいですか? plus interface icon

Linuxデーモンのように、システムに常駐しますので、オーバーヘッドはゼロではありませんが、システムリソースを極力消費しないように設計しています。我々は、”Near-Zeroオーバーヘッド”と呼んでいます。

Dockerがインストールされた、一般的なLinux環境で動作します。NVIDIA GPUがない環境でも動作可能ですが、取得できる情報や機能が限られます。

現在配布されているDockerコンテナイメージは無償でご利用可能です。詳細な利用規約については、利用規約書を参照ください。パフォーマンス・インテリジェンス(PI)に関する機能は有償となります。詳細については お問い合わせください。

Fixstarsは、ユーザーのアプリケーション情報、POによる分析結果など、ユーザー固有のデータを取得していません。プロダクトの改善のために、プロダクトの利用状況に関するデータのみ取得しています。詳細はお問い合わせください。

DataDog, NewRelicなど、従来のパフォーマンス観測ツールでも、ハードウェアの利用状況等を見ることはできますが、Fixstars AI Boosterの場合、AI処理の詳細も取得・可視化しています。さらに、得られたデータから、パフォーマンスのボトルネックを分析・改善します。

パフォーマンス観測(PO)の結果を元に、利用しているインフラの構成を変更したり、処理の際のパラメーターを変えたり、GPUの性能を最大限引き出すソースコードに変更するなど、様々な高速化手法を組み合わせて改善します。ただし現時点では、自動で改善される項目は限られます。

NVIDIA Nsightなどのプロファイリングツールは、特定のコマンドをトリガーとして、処理の詳細の”スナップショット” を取得するものです。AI Boosterは、システムで実行された処理の詳細を常時取得しています。これにより、性能劣化の原因を過去に遡って調査・分析可能です。また、パフォーマンス改善の提案や自動適用は、他にはないAI Boosterならではの機能です。

はい、できます。基本的な技術は大きく変わらないため、他のAIやGPU処理も、Fixstars AI Boosterによって速くなることが期待できます。具体的な効果については処理内容によって変わりますので、お問い合わせください。

他にご質問はございますか?お問い合わせください

Fixstars AI Boosterで
パフォーマンスエンジニアリング

見えないボトルネックを自動で発見し高速化
取得したパフォーマンスデータを活用して、手動で更なる高速化を実現

今すぐ無料ダウンロード decoration