RTX 5070・RTX 4070(12GB)で動くAIモデルは?おすすめローカルLLMと速度の目安【2026年版】
更新日:2026年10月3日
RTX 5070やRTX 4070は、ゲーム用として人気の高いVRAM 12GBのGPUです。メモリ帯域(データを読み出す速さ)が広いため、ローカルAIでも軽快に動きます。この記事では、これらのGPUで動くAIモデルを紹介します。
結論:おすすめはこの3つ
- Qwen3.5 9B:日本語が得意で、毎秒50〜60トークン前後と非常に速い
- Gemma 4 12B:12GBにすべて収まり、毎秒40〜50トークン前後
- gpt-oss 20B:少しはみ出しますが、MoE構造のため毎秒50トークン前後の計算
動くモデルの一覧
条件:メインメモリ32GB、Q4量子化、コンテキスト8K。数値はローカルAI動作チェッカーによる計算上の目安です。RTX 4070 SUPERとRTX 4070 Tiは、メモリ帯域がRTX 4070と同じ504GB/sなので、RTX 4070の列とほぼ同じになります。
| モデル | 必要メモリ | RTX 5070 | RTX 4070 | 判定 |
|---|---|---|---|---|
| Gemma 4 12B | 約8.7GB | 約51トークン/秒 | 約39トークン/秒 | 快適 |
| Qwen3.5 9B | 約7.3GB | 約61トークン/秒 | 約47トークン/秒 | 快適 |
| Gemma 4 E4B | 約7.2GB | 約96トークン/秒 | 約76トークン/秒 | 快適 |
| Llama 3.1 8B | 約6.5GB | 約78トークン/秒 | 約61トークン/秒 | 快適 |
| gpt-oss 20B | 約14GB | 約52トークン/秒 | 約47トークン/秒 | 一部メインメモリで動く |
| Qwen3.5 / 3.6 35B-A3B | 約24GB | 約28トークン/秒 | 約27トークン/秒 | 一部メインメモリで動く |
| Gemma 4 26B-A4B | 約18GB | 約28トークン/秒 | 約27トークン/秒 | 一部メインメモリで動く |
| Qwen3.5 / 3.6 27B | 約17GB | 約6.8トークン/秒 | 約6.4トークン/秒 | 動くが遅め |
RTX 3060 12GBと何が違う?
VRAMは同じ12GBなので、動かせるモデルの種類はほぼ同じです。違うのは速さです。
| GPU | メモリ帯域 | Qwen3.5 9Bの速度の目安 |
|---|---|---|
| RTX 5070 | 672GB/s | 約61トークン/秒 |
| RTX 4070 / 4070 SUPER | 504GB/s | 約47トークン/秒 |
| RTX 3060 12GB | 360GB/s | 約34トークン/秒 |
VRAMに収まるモデルでは、速度はメモリ帯域にほぼ比例します。RTX 5070は、RTX 3060 12GBの2倍近い速さになる計算です。
一方、VRAMからはみ出すモデル(表の35B-A3Bなど)では、メインメモリの速さが足を引っぱるため、GPUによる差が小さくなります。
12GBで大きなモデルを動かすコツ
- MoEモデルを選ぶ:名前に「A3B」「A4B」と付いたモデルは、1回の計算で使う部分が小さいので、はみ出しても速度が落ちにくいです(MoEとは?)。
- メインメモリを32GB以上にする:はみ出した分はメインメモリに置くため、16GBだと35B級のMoEモデルは入りきりません。
- 通常の27B〜31Bモデルは避ける:はみ出すと毎秒5〜7トークン程度まで遅くなります。
まとめ
RTX 5070やRTX 4070なら、9B〜12Bクラスのモデルがとても快適に動きます。12GBに収まらない大きなモデルは、MoEモデルを選べば実用的な速さで使えます。
VRAMが同じGPUとの比較はRTX 3060 12GBで動くAIモデルもご覧ください。
自分のPCで動くモデルを調べるなら → ローカルAI動作チェッカー