GPU以外のボトルネック — AI推論の長文化・多段化で何が詰まるか

業界分析

免責事項： 本記事は特定銘柄の売買を推奨するものではありません。投資判断はご自身の責任でお願いします。掲載データは取得日時点のものであり、最新の状況と異なる場合があります。

📍 銘柄マップの位置：この記事は銘柄マップ全体を横断するテーマ記事です。GPU、メモリ、光通信、ストレージ、電力 — AIデータセンターの各レイヤーに「なぜ今注目するのか」のロジックを提供します。

この記事の結論

AIデータセンターのボトルネックは、GPUの演算能力だけではなくなった。

AI推論が長文化し（128Kトークン、100万トークン）、1つの質問に対して何度も考え直し（test-time compute）、検索やツール実行を繰り返す（agentic AI）ようになったことで、「大量の状態を読み書きしながら計算する仕事」 に変わった。

その状態の代表がKVキャッシュ（Key/Valueキャッシュ）だ。会話の文脈が長くなるほど、同時に処理する数が増えるほど、KVキャッシュがメモリを食い潰す。GPUの近くにある高速メモリ（HBM）だけでは足りなくなる。

結果として、ボトルネックは順に広がる：

優先度詰まるところなぜ
1光通信・ネットワークGPU同士のデータ移動。台数が増えるほど通信が性能を決める
2HBM/DRAM/CXLメモリKVキャッシュとモデル重みがHBMを圧迫。容量も帯域も足りない
3SSD/NANDHBMに載り切らない状態の退避先。強気シナリオでは推論メモリの一部に
4CPU/I/O前処理、スケジューリング、ネットワーク処理の交通整理役

ただし、「AIなら全部上がる」は危険。テーマが正しくても、利益が出ない会社は焼かれる。過去にEV・SPAC・AI初期バブルで学んだはずだ。

そもそもAI推論は何が変わったのか — 初心者向けの整理

AI推論とは、学習済みのAIモデルが質問に答えたり文章を生成したりする処理のこと。「推論」と聞くと1回で答えが出るイメージだが、最新のAIでは全く違う。

レストランにたとえるとこうだ：

  • 昔の推論：客が注文 → 厨房で1回調理 → 料理を出す
  • 今の推論：客が注文 → 厨房で3通りの試作 → 検証担当が味見 → 倉庫から追加食材 → ツールで温度確認 → 最終調理 → 料理を出す

1回の注文の裏で、何回も「考えて」「確認して」「取りに行って」を繰り返す。このとき、厨房の「コンロ」（GPU）だけ増やしても、「冷蔵庫の容量」（メモリ）と「食材の運搬路」（ネットワーク）が足りなければ、コンロは空焚きになる。

3つの変化を具体的に

変化何が起きているかデータセンターへの影響
長文化コンテキスト（一度に読める量）が2,000トークン→128K→100万トークンへメモリ消費が桁で増える
多段化（test-time compute）1問に対して複数回推論。候補生成→検証→再ランキングGPU使用回数が増え、中間状態がメモリを食う
常時化（agentic AI）検索、コード実行、API呼び出しを繰り返すエージェント型AIネットワーク・ストレージI/Oが急増

コンテキスト長の進化

年モデル例コンテキスト長
2020GPT-32,048トークン
2023GPT-4 Turbo128,000トークン
2023Claude 2.1200,000トークン
2024Gemini 1.5 Pro1,000,000トークン（100万）

（OpenAI DevDay発表, https://openai.com/index/new-models-and-developer-products-announced-at-devday/ / Anthropic Claude 2.1発表, https://www.anthropic.com/news/claude-2-1 / Google Gemini 1.5発表, https://blog.google/innovation-and-ai/products/google-gemini-next-generation-model-february-2024/ ）

4年で約500倍。これは「ちょっと増えた」ではなく、インフラの設計前提が根本から変わるレベルの変化だ。

KVキャッシュ — なぜメモリが詰まるのか

KVキャッシュとは何か

AIモデル（Transformer）は、次の単語を出すときに過去の文脈を参照する。毎回計算し直すと遅すぎるため、過去のトークンのKey（鍵）とValue（値）を保存して再利用する。これがKVキャッシュだ。

たとえるなら、「会議の議事録を机の上に広げておく」 ようなもの。議事録が机にあればすぐ参照できるが、会議が長くなり、同時に何件も会議を処理すると、机の上が埋まる。GPUのHBM（High Bandwidth Memory、広帯域メモリ）がこの「机」にあたる。

具体的にどれだけメモリを食うか

KVキャッシュの容量は、ざっくりこう計算できる：

KVキャッシュ ＝ 2（KeyとValue）× 層の数 × 文脈の長さ × 同時リクエスト数 × KVヘッド数 × ヘッド次元 × データ型のバイト数

Llama 3.1（Meta公開のオープンモデル）のパラメータで計算すると：

モデル128Kコンテキスト × 1リクエスト100万トークン × 1リクエスト
70Bパラメータ型（GQA使用）約40 GB約305 GB
405Bパラメータ型（GQA使用）約63 GB約481 GB

（Llama 3 Herd of Models公開情報から概算。bf16精度。GQA＝Grouped Query Attention、KVヘッド数を減らす効率化手法）

1リクエストだけで数十〜数百GB。 実際のサービスでは同時に何十、何百ものリクエストを処理する。さらにtest-time computeで複数候補を同時に生成すれば、KVキャッシュは掛け算で増える。

NVIDIAの最新ラック：GB200 NVL72

NVIDIAの最新ラック「GB200 NVL72」のスペックを見ると、この「机の大きさ」がわかる：

項目スペック
構成72 Blackwell GPU ＋ 36 Grace CPU
HBM（GPU側メモリ）13.4 TB
GPUメモリ帯域576 TB/s
GPU間通信（NVLink）130 TB/s
CPU側メモリ（LPDDR5X）17 TB

（NVIDIA GB200 NVL72公式スペック, https://www.nvidia.com/en-us/data-center/gb200-nvl72/ ）

13.4 TBのHBMは巨大だ。しかし、70Bモデルの128Kコンテキストを同時16リクエスト処理するだけでKVキャッシュは約640 GB。モデルの重み、計算途中の値、ランタイムの余裕を考えると、この13.4 TBは「無限」ではない。

ボトルネック①：光通信・ネットワーク — いちばん先に数字が立つ

なぜネットワークが最初に詰まるか

GPUの台数が増えるほど、GPU同士がデータをやり取りする量が増える。巨大なモデルを複数GPUに分割して動かす（モデル並列）場合、GPUは常にお互いの計算結果を交換する。このデータ移動は、モデルを小さくしても、GPUの数が多い限り消えない。

NVIDIAのGB200 NVL72は、72個のGPUを130 TB/sのNVLink帯域で繋いでいる。これは「1ラックを1つの巨大なGPUとして扱う」設計だ。しかし、ラック間の通信はNVLinkではなく、光ファイバー＋Ethernetスイッチに頼る。ここが物理的なボトルネックになる。

scale-upとscale-outの違い

種類範囲技術特徴
scale-upラック内のGPU間NVLink、UALink超高速・低遅延。1ラック＝1つのGPU
scale-outラック間・クラスタ間InfiniBand、Ethernet、光トランシーバーGPU台数に比例して必要。ここが投資テーマ

投資テーマとしてはscale-outが先に数字になりやすい。GPUクラスタの台数が増えれば、スイッチ、NIC（ネットワークインターフェースカード）、光トランシーバー、DSP（デジタル信号処理チップ）が物理的に増えるためだ。

800Gから1.6T、3.2Tへ

Dell’Oro Groupの推計によると、AIバックエンドネットワークのスイッチポートは2026年に800Gが主流、2027年に1.6T、2029年に3.2Tへ移行するとされる（ITPro / Dell’Oro引用, https://www.itpro.com/infrastructure/networking/why-networking-is-just-as-important-as-compute-in-ai-data-centers ）。

NVIDIAのSpectrum-X論文は、AIファクトリー向けのEthernetは「単なる高速Ethernet」ではなく、NICとスイッチの協調、ハードウェアロードバランシング、低ジッターが必要だと指摘。評価では理論レートの98%を達成し、10%のリンク障害時でもレイテンシ増は7%に抑えたと報告している（Khashab et al., https://arxiv.org/abs/2605.21187 ）。

つまり、「安い汎用ネットワーク機器」ではなく、AI専用にチューニングされたスイッチASIC・NIC・DPU・光部品が価値を持つ。

関連企業

  • Broadcom — Ethernet ASIC、PCIe/CXL、カスタムASIC
  • Marvell — 光DSP、データセンター接続
  • AAOI — データセンター光トランシーバー
  • Arista Networks — AIクラスタ向けEthernetスイッチ（記事準備中）
  • Coherent / Lumentum — 光部品・モジュール

ボトルネック②：HBM/DRAM/CXLメモリ — 容量も帯域も足りない

HBMは「GPUの近くにある超高速の机」

HBM（High Bandwidth Memory）は、GPUチップの近くに積層される広帯域メモリだ。AIモデルの重み、計算途中の値、KVキャッシュを高速に読み書きする。GB200 NVL72の13.4 TB HBM / 576 TB/sという数字は、HBMが単なる部品ではなくラック全体の性能を決める指標であることを示している。

当サイトのメモリ業界構造で整理した通り、HBMはSK Hynix・Samsung・Micronの3社寡占。供給制約が利益プールになりやすい構造だ。

HBM市場の規模感

報道ベースの推計値（調査会社推計のため正確なTAMは幅がある）：

推計出典
HBM市場は2026年に約760億ドル、2027年に約1,560億ドルBarron’s / BNP Paribas推計（2026-05-29報道）
2025年末のHBM売上シェア：SK Hynix 57%、Samsung 22%、Micron 21%Barron’s / Counterpoint Research（2026-05-29報道）
HBM市場は2030年まで年率約30%成長Tom’s Hardware / Reuters / SK Hynixコメント（2025-08-11報道）

これらは調査会社推計であり、公式売上データとは区別する必要がある。ただし、HBMが「数百億ドル規模の市場」に急成長していることは各社の売上推移からも裏付けられる。

CXLメモリ — HBMの「外側」の候補

CXL（Compute Express Link）は、CPUやGPUと外部メモリを繋ぐインターコネクト規格。HBMに置き切れないKVキャッシュやprefix cacheを、DRAM/CXLメモリに逃がす構想がある。

ただし、CXLはHBMを置き換えるものではない。レイテンシと帯域はHBMに劣る。用途は「HBMに置くべきものと、外に逃がしてよいものを分ける」方向だ。

ボトルネック③：SSD/NAND — 強気と弱気のシナリオを分ける

SSDがAI推論に使われる4つの経路

用途内容
モデル保存・ロードモデルの重み、チェックポイント、アダプタの保存
RAG（検索拡張生成）ベクトルDB、文書ストア、検索インデックスの格納
ログ・監査入出力ログ、評価データ、生成物の永続化
KVキャッシュ退避HBM/DRAMからあふれる長文状態をSSDに逃がす ← 強気シナリオ

4つ目の「KVキャッシュ退避」が、SSD/NANDにとっての最大のアップサイドだ。

Tuttiという研究では、SSD-backed KV cacheにより、TTFT（最初のトークンが出るまでの時間）を78.3%削減、達成可能リクエスト率を2倍、コストを27%削減したと報告している（Tutti, https://arxiv.org/abs/2605.03375 ）。

キオクシアのInvestor Day資料でも、フラッシュメモリ市場のデータセンター向けCAGR 46%、推論向けCAGR 86%という数字が示されている（当サイトNAND/SSD記事で整理済み）。

「SSDが覇権」と書いてはいけない理由

SSD-backed KV cacheは魅力的だが、全推論の標準になるとは限らない。

SSDの需要を減らす技術影響
KVキャッシュ量子化（4bit/3bit圧縮）HBM/DRAMに残せる範囲が広がる
GQA/MQA（KVヘッド数削減）KV容量を大幅に削減（Llama 3.1はこれを使用）
Sliding window / eviction古い文脈を捨てる・要約する
HBM容量増加（HBM4、HBM4E）GPU側で抱えられる量が増える

したがってSSDは、「GPUの次の主役」ではなく、「長文・低コスト・大容量推論で、HBM/DRAMの外側にメモリ階層として入る可能性がある」 と見るのが妥当だ。超強気シナリオでは跳ねるが、標準シナリオではやや間接的。

ボトルネック④：CPU/I/O — 主役ではないが、詰まると全体が止まる

CPUは推論の主役ではないが、前処理（トークナイズ）、リクエスト管理、ネットワーク処理、ストレージI/O、スケジューリングを担う。agentic AIでは外部APIやツール実行も増えるため、CPUの仕事はむしろ増える。

ただし、株式テーマとしてはCPU単独で主役にするには弱い。AMDのEPYC、IntelのXeon、NVIDIAのGrace等は「交通整理役」として重要だが、GPU・光通信・メモリほど直接的なボトルネックではない。

数字で見る「AIインフラ投資の規模」

大手4社のCapEx — SEC提出データから

「AIデータセンターにいくら投資されるのか」を見るとき、報道値ではなくSEC（米国証券取引委員会）に提出された10-Kから数字を引く。

企業2024年2025年増加率
Meta372.6億ドル696.9億ドル+87%
Alphabet525.4億ドル914.5億ドル+74%
Amazon776.6億ドル1,283.2億ドル+65%
Microsoft（6月期）444.8億ドル645.5億ドル+45%
4社合計約2,119億ドル約3,540億ドル+67%

（各社SEC 10-K / XBRLデータより。PP&E取得額ベース。Amazonはnet表記、Microsoftは6月期のため厳密な同一条件ではない）

4社だけで年間3,540億ドル（約53兆円）。 2026年の見通しは報道ベースで合計7,000〜7,250億ドルとされる（JPMorgan/FT等の報道推計）。

CapExの規模自体は「もう見つかったテーマ」だ。だから勝つには、「この投資のどこが、まだ過小評価されている具体的な詰まりポイントか」 を見つける必要がある。

「AIなら全部上がる」はなぜ危険か

AIデータセンターは確かに巨大テーマだ。しかし、テーマが正しいことと、その会社の株価が上がることは別。

過去のパターン：

  • EVバブル（2021〜2022年）：EVシフトは正しかった。しかし利益の出ないEV部品企業は焼かれた（EV減速記事で整理済み）
  • AI初期バブル（2023年）：C3.ai、BigBear.ai等は「AI」の名前で急騰したが、売上成長が伴わず崩壊
  • SPACブーム（2021年）：Lordstown、Nikola等は「EV×テクノロジー」で上場したが、売上がほぼゼロで大暴落

共通点は、「テーマに乗っているだけで、利益が出ない会社」は必ず焼かれること。

銘柄を選ぶときに見るべき6つの条件

AIインフラ投資で「テーマは正しいが株で負ける」を避けるには：

#条件見方
1売上のAI向け比率何%がAIデータセンター向けか。比率が上がっているか
2粗利率の改善AI向け製品が高マージンか。量が増えても利益が伸びているか
3顧客集中リスクNVIDIA 1社依存、Hyperscaler 1社依存は危険
4時価総額まだ軽いか、既に期待で膨らんでいるか
5増資リスク急成長企業は株を刷って調達しがち
6代替リスクその部品は本当にボトルネックか、迂回されないか

この条件は、光通信でもメモリでもSSDでも同じだ。テーマの正しさに酔わず、個別企業の利益構造を見る。

ボトルネック移動の時間軸 — 「今」と「2年後」は違う

レイヤー現在の状況1〜2年後投資テーマとしての位置
光通信800G普及中。1.6T設計が進行1.6T量産、3.2T設計開始今すでに詰まっている。最も先に数字が立つ
HBM/メモリHBM3E量産。供給制約継続HBM4投入。CXL普及始まる本命だが、サイクルと供給増に注意
SSD/NANDRAG・モデル保存で需要増KVキャッシュ階層化が一部で採用か強気シナリオで跳ねる。標準シナリオでは間接的
CPU/I/OAI推論の交通整理で需要増CXL対応、DPU拡大テーマとしては補助的。単独では弱い

「今投資すべきレイヤー」と「2年後に主役になるレイヤー」は違う。光通信は「今」、SSDは「もし来れば」。メモリは「本命だがサイクル注意」。この違いを無視して「AI関連で一括り」にすると、タイミングで焼かれる。

KVキャッシュ階層化 — 「机から棚へ、棚から倉庫へ」

推論の世界では、KVキャッシュをHBMだけに置くのではなく、階層化する研究が急速に進んでいる。

階層たとえ速度容量コスト
HBM机の上最速小さい最も高い
DRAM / CXLメモリ机の横の棚速い中くらい中間
NVMe SSD部屋の隅の倉庫遅いが大容量大きい安い

代表的な研究：

  • vLLM / PagedAttention — HBMを無駄なく使い切る。OS仮想メモリの考え方をKVキャッシュに適用
  • FlexGen — GPU・CPU・ディスクをまとめて使う。限られたGPUメモリで巨大モデルを動かす
  • InfiniGen — 必要なKVエントリだけを予測してプリフェッチ。既存システムの最大3倍の性能改善
  • TTKV — 時間的に近い文脈は高速層、遠い文脈は低速層へ。128Kタスクで最大76%のレイテンシ削減
  • Tutti — SSD-backed KV cacheでTTFTを78.3%削減、コスト27%削減

（各論文：vLLM/PagedAttention, FlexGen https://arxiv.org/abs/2303.06865 , InfiniGen https://arxiv.org/abs/2406.19707 , TTKV https://arxiv.org/abs/2604.19769 , Tutti https://arxiv.org/abs/2605.03375 ）

この研究動向が示すのは、推論のメモリ管理は「全部をGPUに載せる」から「階層的に管理する」へ移行しつつあること。そしてその各階層に、HBM（SK Hynix、Micron）、DRAM、CXLコントローラー、NVMe SSD（キオクシア、Micron、Samsung）が居場所を見つけうる。

リスク・注意点

  1. 「ボトルネック」は移動する。 今のボトルネックが2年後も同じとは限らない。NVIDIAのNVLink進化、HBM容量増加、ソフトウェア最適化で解消されるボトルネックもある
  2. 調査会社のTAM予測は幅が大きい。 「2030年に数兆ドル」系の数字は前提次第で大きく変わる
  3. メモリ株はサイクルがある。 「構造変化だ」とみんなが言い出したときほど、在庫と供給増に気をつける
  4. 顧客集中リスク。 光通信・メモリの一部企業はNVIDIA 1社への依存度が極めて高い
  5. 「AIなら全部上がる」は最も危険な考え方。 テーマで買い、利益で売られる

まとめと関連する企業・探索ログ

AI推論は「1回計算して終わり」から「大量の状態を読み書きしながら何度も計算する仕事」へ変わった。ボトルネックはGPU演算からメモリ階層・通信・I/O・ストレージへ広がる。

ただし、「AIなら全部上がる」は過去のバブルが教える最大の罠だ。勝つには、「市場がまだ過小評価している具体的な詰まりポイント」 を銘柄ごとに見極める必要がある。

レイヤー企業ひとことリンク
GPUNVIDIAAIファクトリーの中心。NVLink、InfiniBand含むNVIDIA
GPU/CPUAMDGPU＋EPYC CPU。ラックスケールAIAMD
ファウンドリTSMC全てのAIチップを製造する工場TSMC
露光装置ASMLTSMC工場のさらに上流ASML
ネットワークASICBroadcomEthernet ASIC、カスタムASICBroadcom
光DSPMarvell光DSP、データセンター接続Marvell
光トランシーバAAOIデータセンター光トランシーバAAOI
メモリMicronHBM、DRAM、SSD/NANDMicron
SSD/NANDキオクシアNAND/SSD、推論向けストレージキオクシア
テーマメモリ業界構造HBM/DRAM/NANDの基礎メモリ業界構造
テーマNAND/SSD解説推論時代のストレージ需要NAND/SSD
テーマカスタムASICGPU以外のAI計算チップカスタムASIC
テーマCPU/GPU/ASIC解説チップの基礎CPU/GPU/ASIC
テーマEV減速AIと対比 — 成長しない側EV減速

参考文献

コメント

タイトルとURLをコピーしました