Tonari media トナリメディア

公開日：2024.08.23

2024年8月5日にアメリカ半導体開発のスタートアップgroq（グロック）が約6億4000万ドルを調達したと発表されました。

これにより、さらに開発が加速する見込みです。

現在OpenAIのChat GPTや、GoogleのGemini、その他たくさんの生成AIサービスがありますよね。

さまざまな生成AIがある中で、日本ではあまり知名度が高くないGropが何故6億4000マンドル調達できたのか、またChat GPTとの違いなどを解説していきますね。

是非最後までご覧ください。

Groq（グロック）とは？

Groqとは、元googleのエンジニアである”Jonathan Ross”が2016年に創業した企業です。

人工知能（AI）や機械学習、高性能コンピューティング分野の技術開発をおこなっています。

また、Gropは世界初の言語処理ユニット（LPU：Language Processing Unit）の開発元になります。

（大規模言語モデル（LLM）の処理において、GPUではない新しいアプローチ手法を提供。）

Groq（Llama3 8Bモデル）は1秒で800トークン出力できる高速なチャットボットになります。

GPT-4oは1秒70トークンですので、約11倍の速度を誇ります。

これにはGroqが開発したTensor Streaming Processor（TSP）が使われており、これまでNVIDIAでつかわれているGPUでの処理ユニットではなく、新しい処理ユニットLinear Processor Unite（LPU）を搭載しています。

通常の大規模言語モデル（LLM）で使用されているGPUとは違い、AIの計算において効率的かつ大規模プロジェクトでもスムーズに動作が可能で、従来の生成AIよりもスピードが速いです。

参考：TSPは、数千個のコアを一度に使用する代わりに、各ステップで一つの演算を極めて高速に実行する「シリアル・ストリーム」方式を採用しています。この方式により、計算の順序を最適化し、データの移動や処理時間を最小限に抑えることが可能となります。

LPUは大規模な構成が必要な為、機器コストはGPUと比べて高くなるが、電力消費に優位性を持っている。

こちらに関しては筆者の意見になるので、参考程度にご覧いただけたらと思います。

Chat GPTのLLMはGPT-4o　groqのLLMはMeta社のオープンソースLIama3-8b-8192で、検証しました。

groqとChatGPTの両方同じ質問「日本語で鮭を使ったレシピを教えて」を記入しました。

結果として、答えがまったく違うのと同時に実際Groqは回答が本当に早いのが驚きでした。

ただ、groqの回答は日本語があまり強くない印象を受けました。

個人的見解になりますが、早さではgroq（英語だと回答はもっとうまくいくかも）、日本語で回答をもとめる場合だとChat GPTかなと思います。

・リアルタイムでの大量データ処理が必要な場面

・生成AIやディープラーニングにおいて、スピードと効率が求められるケース

・高速な応答が必要なシステムの構築

・自然言語による対話やコンテンツ生成が求められる場面

・カスタマーサポートや教育ツールなど、人間に近い応答が必要なアプリケーション

・文章生成やテキスト解析の自動化が求められる場合

Groqは、配列処理による効率化や低消費電力、スケーラビリティ（拡張可能性）などの技術的優位性を武器に、AI市場での存在感を強めています。しかし、NVIDIAの豊富なエコシステムと実績は依然として強力です。

また、GroqのLPUチップはAIや機械学習の推論に特化しているため、トレーニングに向いていない特徴もあります。大規模モデルのトレーニングを行う場合は、NVIDIAのGPUのような深層学習フレームワークなどのソリューションを使用する事が適しています。

現状では、頻繁なデータ移動が必要なシナリオではNDIVIAの方が優れている可能性があります。

ただ、今回の資金調達によって10万台以上のLPUをgroqcloudに追加で導入する事で、AIモデルのトレーニングの解決をはかります。さらに優秀な人材を大幅に拡大予定と発表しています。

また、Intel社の元上級幹部のStuart Pann氏が最高執行責任者として経営陣に加わり、Meta社の副社長兼主任AI科学者のYann Lecun氏を技術顧問に迎えました。

このことからGroqは今後も技術革新をし、推論分野でのシェアの拡大が予想されますね。

Groqの今後の動向に注目ですね。