パフォーマンスエンジニアリング
プラットフォーム
PyTorchで構築されたAIモデルを完全自動でTensorRT化。専門知識不要で、開発工数を劇的に短縮しながら推論速度を向上します。
※Fixstars AIBoosterの自動高速化と、取得したパフォーマンスデータを元にした手動高速化の両方の結果を含む
AIBoosterは、次の2つのコンポーネントで構成されます。
AIBooster Agent
AIBooster Server
Fixstarsが管理するクラウド上からWebアプリとして提供される管理画面で、アカウント作成とユーザー情報の入力をしていただきます。
ユーザー専用のURLが発行されますので、そちらにブラウザからアクセスし、ダッシュボードを閲覧します。
ユーザーは個人のPCからブラウザを通じて、管理ノードが提供するダッシュボードをTCP通信の3000番ポート経由で閲覧します。
多くのGPUクラスタサーバーシステムで推奨される構成です。
Linuxデーモンのように、システムに常駐しますので、オーバーヘッドはゼロではありませんが、システムリソースを極力消費しないように設計しています。我々は、”Near-Zeroオーバーヘッド”と呼んでいます。
Debian系のLinux環境で動作します。弊社で動作確認をしているディストリビューションはUbuntu 22.04 LTSです。NVIDIA GPUがない環境でも動作可能ですが、取得できる情報や機能が限られます。
現在配布されているFixstars AIBoosterは無償でご利用可能です。ただし、パフォーマンス・インテリジェンス（PI）に関する機能は利用開始後、1ヶ月間は無償で、その後有償となります。詳細な利用規約については、Fixstars AIBoosterエンドユーザーライセンス契約を参照ください。
Fixstarsは、ユーザーのアプリケーション情報、POによる分析結果など、ユーザー固有のデータを取得していません。プロダクトの改善のために、プロダクトの利用状況に関するデータのみ取得しています。詳細はお問い合わせください。
DataDog, NewRelicなど、従来のパフォーマンス観測ツールでも、ハードウェアの利用状況等を見ることはできますが、Fixstars AIBoosterの場合、AI処理の詳細も取得・可視化しています。さらに、得られたデータから、パフォーマンスのボトルネックを分析・改善します。
パフォーマンス観測（PO）の結果を元に、利用しているインフラの構成を変更したり、処理の際のパラメーターを変えたり、GPUの性能を最大限引き出すソースコードに変更するなど、様々な高速化手法を組み合わせて改善します。ただし現時点では、自動で改善される項目は限られます。
NVIDIA Nsightなどのプロファイリングツールは、特定のコマンドをトリガーとして、処理の詳細の”スナップショット” を取得するものです。AIBoosterは、システムで実行された処理の詳細を常時取得しています。これにより、性能劣化の原因を過去に遡って調査・分析可能です。また、パフォーマンス改善の提案や自動適用は、他にはないAIBoosterならではの機能です。
はい、できます。基本的な技術は大きく変わらないため、他のAIやGPU処理も、Fixstars AIBoosterによって速くなることが期待できます。具体的な効果については処理内容によって変わりますので、お問い合わせください。
