「トークンマックス化」は終わった: ハードウェア不足がいかにして AI 予算を枯渇させているか

テクノロジー大手のGoogleは、自社のGemini人工知能モデルへのアクセスを制限し始めた。これは、世界的なコンピューティングの逼迫が「トークンマックス」時代を鎮め、オーストラリアの取締役会がこれまで自社のAI展開に課すことができなかったコスト規律を強制していることを示す最も明白な兆候である。

トークンは、AI モデルがタスクごとに処理する小さな作業の塊 (小さな標準化されたデータ単位) であり、昨年テクノロジー業界で「トークンマックス化」のトレンドを引き起こしました。これは、生産性の代替手段としてトークンの使用を構想する企業が、従業員にトークンをできるだけ多く消費するよう奨励したためです。

テクノロジー大手のGoogleは、Gemini人工知能モデルへのアクセスを制限し始めた。ブルームバーグ

しかし、UberやMetaなどの企業は現在、トークンの使用コストが高くなりすぎ、容量の制約によりGoogleなどの企業が販売抑制を余儀なくされているため、この慣行から離れつつある。

フィナンシャル・タイムズ紙 今週の報告書によると、Googleは3月頃にMetaに対し、ソーシャルメディア大手が購入したいGeminiの容量をすべて提供することはできないと伝えたが、その制限は依然として存在しており、Googleの他の顧客も影響を受けているという。 Meta は世界最大のエンタープライズ AI 顧客の 1 つです。必要なすべての数を取得することさえできず、世界的な不足がどれほど深刻になっているかを示しています。

検索会社エラスティックがオーストラリアで行った新しい調査では、地元企業のAI支出に対する考え方がすでに変化しつつあることが圧力で明らかになっている。オーストラリアの組織の 3 分の 1 は、昨年会計年度に AI 予算を超過しており、32% はコストが正当化できないため、導入を一時停止、キャンセル、または縮小しました。

Nvidiaのジェンセン・フアン最高経営責任者（CEO）は3月、開発者がトークンに50万ドル（約72万4000ドル）未満を費やした場合は「非常に懸念する」と述べた。伝えられるところによると、メタエンジニアは30日間で60兆以上のトークンを消費し、支出額は約9億ドルと推定され、ウーバーの最高技術責任者は4月、ライドシェア会社が年間のAI予算全体を4か月で使い果たしたと述べた。

それ以来、Amazon と Meta はトークン使用に関する内部リーダーボードを削除しました。「AIを使用するためだけにAIを使用しないでください」と上級副社長のデイビッド・トレッドウェル氏は5月に従業員に語った。同月、ウーバーの最高執行責任者（ＣＯＯ）はポッドキャストで、トークンの使用と実際の生産性の間には「結びつきはまだない」と語った。

その速度を維持するためにハードウェアが存在するわけではありません。メモリチップメーカーのSK Hynix、Samsung、Micronは高帯域幅Memory AIモデルの供給品のほとんどを完売し、Nvidiaの古いH100グラフィックス処理ユニットのレンタル価格は11月以来30％近く上昇している。

このプレッシャーを回避するために、エンジニアリングチームは基本モデルをほとんど放棄し、特化された小規模な言語モデルや、数分の 1 のコストでローカルにホストできる代替モデルを採用しています。

デロイトの国家 AI マーケット責任者、デビッドアロンソ氏は次のように述べています。レニー・ノイタージェ

物理的インフラの構築競争により、前例のない土地収奪が引き起こされました。最大120億ドルの評価でASX上場を計画しているオーストラリア設立の同社は月曜日、インドネシアにAIデータセンターの能力を構築する契約をエヌビディアと結んだと発表し、最初の6年間で250億ドルから300億ドルの収益が見込まれると見積もっている。

デロイト・オーストラリアの国内AI市場責任者デビッド・アロンソ氏は、モデルプロバイダーはライセンスやサブスクリプションの価格設定から消費量に基づく価格設定に移行し、AIを割安に感じさせていた固有の補助金を取り除いたと述べた。アロンソ氏はこのマストヘッドで「AI補助金の時代は終わりだ」と述べた。「トークンマックス化…それ自体が今や大きな問題となっている。」

Elasticカントリーマネージャーのジェレミー・ペル氏は、この圧力により企業はAIコストの管理を強いられるだろうと述べた。「需要が物理的インフラを上回り続けるにつれ、経済学の基本法則が影響し、トークンのコストは必然的に上昇するだろう」と彼は述べた。

アロンソ氏は、この変更はオーストラリア企業がAI全体への支出を減らすことを意味するものではないと述べた。「どちらかといえば、それらは…増加し続けるでしょう、そして…コストラインは依然として増加する可能性が非常に高いです。」と彼は言いました。「しかし今では、それを価値に結びつける必要があるのは明らかです。」

Pure Profile が Elastic の委託を受けて実施した Elastic の調査では、地元企業が AI への支出が効果を発揮するかどうかをまだ測定できていないことが示されています。収益やコスト削減に対する AI の貢献を追跡している意思決定者はわずか 8% です。しかし、そのうちの半数は今後 12 か月間で AI への支出を増やす計画を立てており、32% は明確な価値の証拠がある場合にのみそうするつもりだと答えています。