MoE(Mixture of Experts)とは?大きいのに速いAIモデルの仕組み
更新日:2026年10月3日
ローカルAIのモデル名に「35B-A3B」のような表記を見かけたことはありませんか?これはMoE(Mixture of Experts:専門家の混合)という仕組みを使ったモデルです。この記事では、MoEの仕組みと、ローカルAIで役立つ理由を説明します。
MoEとは
MoEモデルの中には、「エキスパート(専門家)」と呼ばれる小さな部品がたくさん入っています。文章を1文字(1トークン)作るたびに、その場面に合ったエキスパートをいくつかだけ選んで計算します。
大きな病院で、患者ごとに必要な専門医だけが診察するようなイメージです。病院全体の医師は多くても、1人の患者を診るのは数人だけです。
「35B-A3B」の読み方
- 35B:モデル全体のパラメータ数(350億個)
- A3B:1回の計算で実際に使う(Active)パラメータ数(約30億個)
主なMoEモデルの構成は次のとおりです(各モデルの公式設定ファイルより)。
| モデル | 全体 | 実働 | エキスパート数 | 1回に使う数 |
|---|---|---|---|---|
| Qwen3.5 35B-A3B | 35B | 約3B | 256 | 8 |
| Qwen3.5 122B-A10B | 122B | 約10B | 256 | 8 |
| Gemma 4 26B-A4B | 26B | 約4B | 128 | 8 |
| gpt-oss 20B | 21B | 約3.6B | 32 | 4 |
| gpt-oss 120B | 117B | 約5.1B | 128 | 4 |
なぜ大きいのに速いのか
ローカルAIの速度は、1トークンを作るたびにメモリから読み出すデータの量でほぼ決まります。
- 通常のモデル(密モデル):毎回、モデル全体を読み出す
- MoEモデル:毎回、選ばれたエキスパートの分だけ読み出す
そのため、Qwen3.5 35B-A3Bは、全体の大きさは35Bでも、速さは3〜4Bクラスのモデルに近くなります。
ただし、メモリは全体分が必要
どのエキスパートが選ばれるかは、文章によって毎回変わります。そのため、モデル全体をメモリに置いておく必要があります。Qwen3.5 35B-A3BのQ4版は、ファイルだけで約24GBあります。
「速さは小さいモデル並み、必要なメモリは大きいモデル並み」というのがMoEの特徴です。
ローカルAIでMoEが便利な理由
MoEモデルは、VRAM(GPUのメモリ)に入りきらなくても比較的速く動くのが大きな利点です。
VRAMからはみ出した分はメインメモリに置きますが、メインメモリはVRAMよりずっと遅いです。通常のモデルでは毎回すべてを読むため、はみ出すと急に遅くなります。MoEなら毎回読む量が少ないので、遅いメインメモリでも影響が小さく済みます。
たとえば、VRAM 12GBのRTX 3060でも、メインメモリが32GBあれば、Qwen3.5 35B-A3Bを毎秒20トークン以上で動かせる計算です(RTX 3060 12GBの記事)。
まとめ
- MoEは、たくさんのエキスパートから数個だけを選んで計算する仕組み
- 「A○B」が実働の大きさで、速さはこちらで決まる
- メモリはモデル全体分が必要だが、VRAMからはみ出しても速度が落ちにくい
MoEモデルが自分のPCで動くかは、ローカルAI動作チェッカーで確認できます。