約束されたローンチ期間を逸した主力AIモデルのリストが増え続けています。
昨年夏、億万長者でありAI企業xAIの創業者兼CEOであるイーロン・マスクは、xAIの次の主要なAIモデルであるGrok 3が2024年の「年末」までに到着すると述べました。GrokはオープンAIのGPT-4oやGoogleのGeminiなどのモデルに対抗するxAIの回答であり、画像を分析して質問に回答し、マスクのソーシャルネットワークXの多くの機能を支えています。
「100k H100sでトレーニングした後のGrok 3は、本当に特別なものになるはずです」とマスクは7月のXでの投稿で述べ、xAIの巨大なGPUクラスターであるメンフィス拠点のGrok 3について「Grok 3は大きな飛躍を遂げるだろう」と12月中旬の追加の投稿で述べました。
しかし、現在は1月2日であり、Grok 3は到着していません - その展開が間近である兆候も見られません。
実際、AI情報提供者であるティボール・ブラホによってxAIのウェブサイトで発見されたいくつかのコードによると、中間モデルである「Grok 2.5」が最初に着陸する可能性があります。
Grok[.]comはおそらく近日中にGrok 2.5モデル（grok-2-latest - 「私たちの最も賢いモデル」）が登場するかもしれません - ヒントをくれた匿名者に感謝！ pic.twitter.com/emsvmZyaf7
— Tibor Blaho (@btibor91) December 20, 2024
正直に言うと、これがマスクが目標を掲げてそれに達成しないのは初めてではありません。マスクの製品ローンチのタイミングに関する発言が最善であるとは言えません。
さらに、マスクは昨年8月にポッドキャスターのレックス・フリットマンとのインタビューで、Grok 3が「運良く」2024年に利用可能になることを「希望している」と述べました。
しかし、Grok 3のMIAの状態は興味深いものです。これは成長トレンドの一部です。
昨年、AIスタートアップのAnthropicは、最高峰のClaude 3 Opusモデルの後継機を提供できませんでした。次世代モデルであるClaude 3.5 Opusが2024年末までにリリースされると発表した数ヶ月後、Anthropicはそのモデルに関するすべての言及を開発者向けのドキュメンテーションから削除しました（1つの報告によると、Anthropicは昨年中にClaude 3.5 Opusのトレーニングを完了したが、それをリリースすることが経済的に合理的でないと判断したとのこと）。
報告によると、GoogleとOpenAIも最近数か月で主力モデルで挫折しています。
これは、現在のAIスケーリング法則の限界の証拠かもしれません-企業が自社のモデルの能力を向上させるために使用している方法。過去、大量のコンピューティングパワーとますます大きなデータセットを使用してモデルをトレーニングすることで、実質的なパフォーマンス向上を達成することが可能でした。しかし、新しいモデルの各世代での利得が縮小し始めており、企業は代替手法を追求しています。
Grok 3は、Grok 2の10倍、まもなく20倍のコンピュートでトレーニング中
— イーロン・マスク（@elonmusk） 2024年9月21日
マスク自身がフリットマンとのインタビューでこれに觺議しました。
「[Grok 3]が最先端であることを期待していますか？」フリットマンが尋ねると、
「うまくいけばね」とマスクは答えました。「つまり、これが目標です。この目標に落ちる可能性もあります。それが目指すところです」と述べた。
Grok 3の遅延の他の理由があるかもしれません。xAIは競合他社よりもはるかに小さなチームであるため、そのにもかかわらず、遅れたローンチ期間は従来のAIトレーニングアプローチが壁にぶつかっている証拠の一部となっています。
