RTX 3060 12GBで動くAIモデルは？コスパGPUのおすすめローカルLLM【2026年版】

更新日：2026年10月3日

RTX 3060 12GBは、VRAMが12GBあるのに価格が手ごろなため、ローカルAI入門用として中古市場でも人気のGPUです。この記事では、このGPUで動くAIモデルを紹介します。

結論：おすすめはこの3つ

• Gemma 4 12B：12GBにちょうど収まるGoogle製モデル
• Qwen3.5 9B：日本語が得意で、余裕を持って動く
• gpt-oss 20B：少しはみ出しますが、MoEなので約40トークン/秒の計算

動くモデルの一覧

条件：RTX 3060 12GB、メインメモリ32GB、Q4量子化、コンテキスト8K。数値はローカルAI動作チェッカーによる計算上の目安です。

RTX 3060 12GBの強みと弱み

強みは、価格に対してVRAMが大きいことです。8GBのGPUでは入りきらないGemma 4 12Bなどが、すべてGPUで動きます。

弱みは、メモリ帯域が360GB/sとやや控えめなことです。ローカルAIの速度はメモリ帯域にほぼ比例するため、同じモデルでもRTX 4070（504GB/s）より遅くなります。

大きなモデルはMoEを選ぶ

12GBを超えるモデルを動かしたいときは、名前に「A3B」「A4B」と付いたMoEモデルを選ぶのがコツです。1回の計算で使う部分が小さいため、メインメモリにはみ出しても速度が落ちにくい特徴があります。

反対に、Qwen3.5 27Bのような通常のモデルは、はみ出すと1秒に数トークン程度まで遅くなります。

まとめ

RTX 3060 12GBなら、Gemma 4 12BやQwen3.5 9Bが快適に動き、MoEモデルを使えば35B級にも届きます。コストを抑えてローカルAIを始めたい方におすすめのGPUです。

ほかのGPUとの比較はVRAM 8GBで動くAIモデル、RTX 4060 Ti 16GBで動くAIモデルもご覧ください。