ローカルLLM/VLMハードウェア選定ガイド2026｜帯域・容量・実測で比較

1. なぜ「帯域」と「容量」で決まるのか（decodeとprefillの律速）

ローカルLLMの実行は、性質の異なる2つの区間に分かれます。入力プロンプトをまとめて処理する prefill は行列積の演算量が支配的で、計算性能（演算器のスループット）で律速しやすい区間です。一方、1トークンずつ順番に出力する decode は、1トークン生成するごとにモデルのweightを読み出す必要があるため、演算量よりもメモリからの読み出し量が支配的になります。つまり decode はメモリ帯域で律速します。この「演算律速か、メモリ律速か」を帯域と演算量の比で判定する考え方は、Roofline モデルとして古くから整理されています（Roofline: An Insightful Visual Performance Model）。推論における prefill／decode の役割分担とメモリ帯域の効き方については、NVIDIA の解説（Mastering LLM Techniques: Inference Optimization）も参照できます。

1-1. decode速度の理論上限の式

decode がメモリ帯域で律速するなら、1秒あたりに読める weight の量を、1トークンあたりに読む weight の量で割れば上限が出ます。

tokens/s ≤ B_mem ÷ (P × Q_bits ÷ 8)

• B_mem：メモリ帯域（バイト/秒）
• P：パラメータ数
• Q_bits：1パラメータあたりのビット数（量子化ビット幅）。Q_bits ÷ 8 でバイト換算になります

1-2. この式が成り立つ条件（外れる条件でもある）

この上限は、次の条件を置いたときの上限です。条件を外した実機では、必ずこれより低い値になります。

• batch 1：複数リクエストをまとめて処理すると、1回の weight 読み出しを複数トークンで共有できるため、この式の前提が変わります。
• dense モデル：全パラメータを毎トークン読む構造を前提にしています。
• 全 weight が同じメモリに常駐：一部を別の記憶階層に置いて都度転送する構成は対象外です。
• 公称帯域を100%使えると仮定：実機の実効帯域は公称値を下回ります。
• KV cache の読み書き、runtime のオーバーヘッド、dequantize の処理などを無視：いずれも実機では上限を押し下げる要因です。

したがってこの式で出る数字は、「この機種でこれくらい出る」という期待値ではなく、標準的な逐次デコード（投機的デコード／MTPなどを使わない場合）でこれを超えない、という天井です。選定では「天井が要件を下回る機種を落とす」用途に使うのが安全です。

1-3. 容量は weight だけでは決まらない

必要メモリは、おおよそ次の足し算で考えます。

M_total ≈ weights ＋ KV cache ＋ activation／workspace ＋ runtime

weight は量子化ビット幅で見積もれますが、KV cache は文脈長と同時実行数に比例して増えるため、長文脈を扱う用途では weight 以外の割合が無視できなくなります。さらに activation／workspace（推論中の一時領域）と runtime（ライブラリやコンテキスト管理など）も同じメモリを取り合います。「量子化後のサイズがメモリ容量に収まる」だけで選ぶと、短いプロンプトでは動いたのに、長い仕様書を読ませた途端に破綻する、という形で顕在化します。

MoE（Mixture of Experts）モデルは、毎トークンで実際に使われる active parameter を基準に考えるのが出発点になります。ただし、どの expert が選ばれるかは入力に依存し、容量としては全 expert を保持する必要があるため、active parameter を式に入れ替えるだけで速度を単純予測できるものではありません。MoE を本番前提にするなら、実機・実データでの検証が前提になります。

2. 70B Q4の理論上限を計算してみる（実測値ではない）

具体的に、70B クラスのモデルを 4bit 相当に量子化し、weight が理想的に 35GB に収まったと仮定します。1-1 の式に帯域を入れて、decode の理論上限を並べます。以下はすべて計算値であり、実測値でも期待値でもありません。

この表が示しているのは「帯域が桁で違えば、decode 速度も桁で違う」という順序関係だけです。実機では 1-2 の条件がすべて崩れるため、同じ帯域の機種でも実測はこの値より低く出ます。

2-1. unified メモリと PCIe 転送の関係

CPU と GPU が同じメモリを参照する unified メモリ構成は、明示的な PCIe 経由のコピーを避けられる点が利点です。一方で、同じ物理メモリと帯域を CPU 側の処理と分け合うため、帯域が用途ごとに独立して確保されるわけではありません。

逆に、weight を別メモリへ都度転送する構成では、リンク帯域が上限を作ります。PCIe の公称帯域は Gen4 x16 で 31.508 GB/s、Gen5 x16 で 63.015 GB/s です（NVIDIA Certified Configuration Guide）。仮に毎回 35GB の全量を転送する構成だとすれば、Gen4 x16 の公称帯域をもってしても理論上 1 秒あたり約 0.90 回（1 回あたり約 1.1 秒）にとどまります。実務的な意味は明快で、「容量が足りないぶんをリンク越しに毎回持ってくる」設計は、対話用途の速度要件には合いません。

2-2. CPU-only の実測値を見るときの注意

参考として、CPU のみで実行した公開ログでは、Meta-Llama-3-70B の Q4_K_M・96 threads の条件で tg128 が 2.85 tok/s と記録されています（llm-tracker.info の llama.cpp CPU 実測集）。条件が十分に特定できない別ログの数値は、比較表や選定根拠には採用していません。

ここで混同してはいけないのが、CPU-only と「一部レイヤーだけ GPU に載せる部分 offload」は別物だという点です。部分 offload は、どのレイヤーをどちらに置くか、残りが何回転送されるかで挙動が変わります。CPU-only の数値を部分 offload の見積りに流用したり、その逆をしたりすると、選定の前提が崩れます。

3. 128GB〜512GB級の選択肢を公表仕様で並べる

まず、各社が公表している仕様と価格だけを並べます。速度は載せません（公表されていないものを推定して埋めないため）。

この表の下に実測値の列を足して順位付けしないでください。モデル・量子化・推論エンジン・ビルド・context長・batch が異なる実測値の横並びランキングは、条件差を性能差として読ませてしまいます。以下では、条件が明記されている実測値だけを、条件ごと引用します。

3-1. AMD Ryzen AI Max+ 395（旧コードネーム Strix Halo）

最大 128GB、256-bit の LPDDR5x-8000 を備えるプロセッサです（AMD 製品ページ）。AMD が示す Halo 開発機の構成では 256GB/s とされています（AMD Ryzen AI Halo ページ）。この帯域値は当該開発機の構成に対するものであり、これを採用する全 OEM 製品に一般化はできません。また、公式の単体 MSRP は示されていないため、価格は搭載製品ごとの確認が必要です。

公開されている実測ログとして、GMKtec EVO-X2（128GB／Linux／llama.cpp b8038／Vulkan RADV）で Llama 3.1 70B Q4_K_M を全 99 層ロードし、pp512／tg128 を測った結果があります。tg128 は電力設定 85W で 5.06 tok/s、120W で 5.10 tok/s です（strix-halo-llm-perf BENCHMARKS.md）。電力枠を 85W から 120W へ広げても tg128 の差が小さいことは、この区間が帯域側で押さえられていることと整合的に読めます。

3-2. Apple Mac Studio M5 Ultra

2026-08-25 に発表され、9/22 提供開始予定（本記事の基準日 2026-09-19 時点では予約受付中）、512GB 構成は 10 月後半の提供予定です（Apple Newsroom）。unified メモリは 96GB／256GB／512GB（256GB以上は configure-to-order）、メモリ帯域は 1.2TB/s、米国での開始価格は $5,499（96GB構成、税区分の記載なし）です（Mac Studio 技術仕様、Apple Newsroom）。256GB／512GB構成は $5,499 に追加コストがかかる configure-to-order オプションであり、$5,499 で256GB以上が手に入るわけではありません。 LLM の tok/s は公表されていませんので、本記事でも速度は掲載しません。容量の大きさが効くのは、巨大な dense モデルを 1 台に収めたい場合です。

3-3. NVIDIA RTX PRO 6000 Blackwell Workstation Edition

96GB の GDDR7、メモリ帯域 1792GB/s（NVIDIA 製品ページ）で、NVIDIA パートナーまたは Marketplace 経由で提供されています。価格は時期によって大きく異なります。2025年の米国発売時点の実勢価格は約 $8,565（NVIDIA公式の一律MSRP発表は確認できず、複数の販売店掲載価格として報告）でしたが、2026-08 時点の NVIDIA Marketplace 掲載価格は $16,000（税区分の記載なし）へ上昇しています（Tom's Hardware（発売時掲載価格）、TweakTown（Marketplace $16,000 報道））。この価格上昇の主因についてNVIDIAの公式コメントは確認できていませんが、GDDR7メモリのコスト上昇と同時期に生じている点は4章の市況と整合します。LLM の tok/s は公表されていません。帯域は今回並べた中で最も高い一方、容量は 96GB です。容量に収まる範囲での学習・ファインチューニングや画像生成まで CUDA で回したい場合に候補になります。

3-4. NVIDIA DGX Spark

GB10 を搭載し、128GB の unified LPDDR5x、メモリ帯域 273GB/s です（DGX Spark ハードウェア仕様）。米国の現行 MSRP は $4,699 で、2026-02-25 に $3,999 から $4,699 へ改定されました。理由として memory supply constraints が挙げられており、ハードウェア構成の変更は伴っていません（NVIDIA 開発者フォーラムの価格改定告知）。

実測値として、LMSYS の計測では Llama 3.1 70B FP8／SGLang／batch 1／入力 2K＋出力 2K の条件で、prefill 803 tok/s、decode 2.7 tok/s と報告されています（LMSYS ブログ）。prefill と decode の桁の違いが、そのまま 1 章の律速の違いに対応しています。なお同じ記事では GPT-OSS 20B（MXFP4／Ollama）で 49.7 tok/s という値も報告されており、どちらか一方をこの機種の代表値として扱うことはできません。モデル規模・量子化・エンジンが変われば、同じ機種でも 1 桁以上動きます。

4. メモリ価格の市況：上振れ要因と、断定できないこと

大容量メモリ前提の構成を検討する場合、メモリ市況は無視できません。TrendForce は 2026 年の DRAM の sufficiency（供給充足率）を -1〜-2% と示しています（TrendForce）。LPDDR5X の契約価格については、第 1 四半期に前四半期比で約 +90%（TrendForce）、第 2 四半期に +78〜83%（TrendForce）という見通しが示されています。

ただしこれは契約価格の話です。個別製品の小売価格が今後も上がり続けることを保証するものではありません。調達時期の判断材料としては使えますが、「今買わないと必ず高くなる」という言い方は、この資料からは導けません。

4-1. 日本での入手価格は「一例」以上に一般化できない

DGX Spark には日本での Founders Edition 直販がありません。過去に観測された国内価格の例として、NTTPC は 785,000 円（税別）／863,500 円（税込）の期間限定価格を案内していましたが、このキャンペーンは 2026 年 7 月 10 日に終了済みです。同社告知には、比較対象となる 2026 年 4 月 1 日〜5月31日の販売価格として 827,000 円（税別）も記載されています（NTTPC）。いずれも特定販売店・特定期間の実績であり、2026 年 9 月時点の一般価格ではありません。国内調達の見積りは、販売経路ごとに個別に取る必要があります。

4-2. 「値上げ」に見える比較の読み方

Mac mini では、M4 の発売時価格が 94,800 円（税込）（Apple Newsroom）、M6 の発売時価格が 149,800 円（税込）（Apple Newsroom）で、差額は 55,000 円です。

この 55,000 円は、世代の異なる製品の開始価格どうしの差です。同一 SKU が値上げされたことを示すものではなく、DRAM 価格が原因だと断定できる材料でもありません。市況と製品価格は、それぞれ別の根拠で語る必要があります。

5. 用途別の選定の考え方

ここまでの公表値と条件付きの実測値から、次のような整理ができます。いずれも「候補として検討する起点」であり、確定判断は実機・実データでの検証が前提です。

5-1. 400B 級を狙うときの注意

400B 級のモデルを 1 台で動かしたい場合、判断材料は「容量の数字」ではなく実際に必要な容量です。1-3 のとおり、量子化後の weight に KV cache・activation／workspace・runtime が積み上がり、扱う context 長と同時実行数で必要量が変わります。「512GB あれば必ず動く」という判断はできません。想定する量子化・context 長・同時実行数を決めたうえで、実容量を検証してから調達を決めてください。

なお、製造現場に設置する場合は、温度・粉塵・振動・電源・ネットワーク分離といった設置環境側の条件が別途効いてきます。本記事は演算側の選定に範囲を限定し、設置環境の条件は別記事で扱います。

5-2. まとめ

ローカルLLM向けハードウェアの選定は、「decode は帯域、prefill は計算、容量は weight 以外も含めて積む」という3点を押さえると、公表値の読み方が安定します。理論上限の式は要件を満たせない機種を早く落とすために使い、実測値は条件が明記されたものだけを条件ごと引用する。この2つを混ぜないことが、過大な期待と、導入後の手戻りを避ける一番安いやり方です。

どの構成が自社の業務条件に合うかは、扱うデータ・モデル・同時利用者数・既存システムとの接続要件によって変わります。要件の整理から実機検証までを含めて、個別にご相談いただけます。

出典一覧

• AMD Ryzen AI Max+ 395 製品ページ
• AMD Ryzen AI Halo（Ryzen AI Max+ 395）ページ
• Apple Newsroom: 新しい Mac Studio（M5 Max／M5 Ultra）
• Mac Studio 技術仕様
• NVIDIA RTX PRO 6000 Family 製品ページ
• Tom's Hardware: RTX PRO 6000 発売時掲載価格 $8,565
• TweakTown: RTX PRO 6000 Marketplace 価格 $16,000 報道
• NVIDIA DGX Spark ハードウェア仕様
• NVIDIA 開発者フォーラム: DGX Spark 価格改定告知
• LMSYS: NVIDIA DGX Spark ベンチマーク
• strix-halo-llm-perf: BENCHMARKS.md
• llm-tracker.info: llama.cpp CPU 実測集
• NVIDIA: Mastering LLM Techniques - Inference Optimization
• Roofline: An Insightful Visual Performance Model（UC Berkeley, EECS-2008-134）
• NVIDIA Certified Configuration Guide（PCIe 公称帯域）
• TrendForce: 2026 年 DRAM sufficiency
• TrendForce: LPDDR5X 契約価格（1Q）
• TrendForce: LPDDR5X 契約価格（2Q）
• NTTPC: DGX Spark 期間限定価格の案内
• Apple Newsroom（日本）: Mac mini（M4）
• Apple Newsroom（日本）: Mac mini（M6／M5 Pro）