LLMの品質を高めるために試行錯誤を繰り返したいが、1回の試行に時間がかかりすぎて、思うように成果が出ていない...
開発環境のセットアップや高速化に時間がとられて肝心のLLM自体の研究開発に専念できない...
計算に使用する高性能GPUは非常に高価かつ希少で入手が困難...
社内データを使いたいが、持ち出し制限が厳しい...
GPUサーバー環境およびOSSツール類に、計算機の処理性能を引き出す技術が適用されています。例えば、GPUの利用率を上げるためのモデルコンパイラ、モデルや入力データセットの特徴に合わせた通信や負荷分散のための設定入力機構、データやモデルの再ダウンロードを抑制する共有キャッシュなどが含まれます。これらの技術は既存のLLM開発手法やインターフェースと高い互換性を維持したまま適用されます。
そして、NVIDIA H100が搭載されたK4 Serverを通じて、上記の高速化技術が提供されます。
サーバーと処理負荷の特性を勘案してチューニングした結果、実行速度がチューニング前と比べ最大で約3.7倍高速化されました。
この高速化結果はK4に導入済みです。
高速化倍率（チューニング前/後）
例えば、学習用にPDFを用意すれば、学習データ生成から、ファインチューン、推論と評価までが一通り揃い統合された開発システムが付属しています。これらのシステムとその説明書がK4 Serverにインストール済みで提供され、SSHログインして手順通りに実行するだけで、LLMのファインチューン開発を試行することができます。
加えてこのシステムはLLM開発で標準的に用いられるOSS系ツールを用いて組み立ててられているため、世界中の進歩と知見に追従しやすい形で研究開発を進めることができます。
既存OSSをモジュール化して実装された統合開発システムが、動作確認済みで提供されているため、標準的LLM開発手法を再実装する必要がありません。
使われているOSS・技法の例：vLLM、Megatron-LM、Deepspeed、fastchat、promptfoo、mlc、Jinja template、Hydra、LLM as a Judge
K4 ServerではNVIDIA H100 SXM 80GBを8枚搭載しており、70B程度の大規模パラメーターを持つ最新LLMの研究開発を、1つのサーバーで完結させることができます。また、サーバーローカルで動作するOSS系ツールで構成されているため、社内情報を外部のAPIサービスへ送信する必要がありません。他社とハードウェアを共有しないため、実行中の情報や保存されたデータが漏洩する心配がありません。もちろん、フィックスターズがサーバーに無断でログインすることもありません。
世界で発表された新手法や改善技法などは即座にFixstars K4に取り込まれ、定期的な更新を通して提供されます。開発者の皆さまは、常に最新で最良の方法を使うことができます。
（税別）
| ご契約単位 |
おすすめ K4 on 8GPU |
K4 on 4GPU |
|---|---|---|
| 週単位 月曜正午～日曜18時 |
100万円/週 | 75万円/週 |
| 月単位 ご契約日～翌月同週の日曜18時まで |
350万円/月 | 250万円/月 |
| 年単位 | 4000万円/年 | 2800万円/年 |
※K4 on 8GPUでは、最新LLM（～70B）を対象とした研究開発を、概ねストレス無く進めることが出来ます。
NVIDIA H100 x8が搭載された1ノード想定
| Fixstars K4 | Ａ社 | Ｂ社 | |
|---|---|---|---|
| LLM研究開発用ツール・システムおよび利用サポート | あり（金額に含む） | あり（別料金） | 提供なし |
| 週単位 | 100万円/週 | 250万円/週 | 提供なし |
| 月単位 | 350万円/月 | 1,100万円/月 | 280万円/月 |
| 年単位 | 4,000万円/年 | 7,700万円/年 | 3,000万円/年 |
※1 時間課金額から計算
※2 最低利用期間は2ヶ月
LLMの研究開発をより加速させたいなら、フィックスターズにお任せください！
AIの専門知識を持つエンジニアが、お客様に寄り添い、LLMの研究開発プロジェクトを積極的に支援します。Fixstars K4の活用支援にとどまらず、お客様の課題に合わせた、高度な技術コンサルティングを提供します。
また、必要に応じて、設計・実装の段階から評価まで一貫してご支援、課題解決まで導く包括的なアウトソーシングもご提案できます。
Fixstars K4のサービス開発チームが直接参加し、最先端の技術知見をご提供。プロジェクト規模や納期に応じて、最適なソリューションを提案できますので、お気軽にご相談ください。
