ローカルLLMのQ4とQ8はどっちを選ぶ？Qwen3.5 9BをVRAM 12GBで実機比較

OllamaやLM StudioでローカルLLMを選ぶと、同じモデル名の後ろに「Q4」「Q6」「Q8」などが並びます。

数字が大きいQ8を選べば、必ず賢くなるのでしょうか。それとも、VRAM 12GBのパソコンなら軽いQ4で十分なのでしょうか。

今回は同じQwen3.5 9Bを使い、量子化だけをQ4_K_MとQ8_0へ変更しました。短い要約、長文からの情報検索と計算、時計画像、日本語OCRの4課題を同じ条件で実行しています。

先に結果をまとめると、次のとおりです。

今回の12GB環境では、Q8へ変えても正解数は増えず、生成速度は約34%下がりました。したがって、最初に選ぶならQ4です。

Q8を使うのは、Q4で起きた大事な失敗へ同じ入力を与え、Q8なら直ると確認できた場合で十分です。

ルミィ

重いモデルを先に選ぶより、普段使う三つの質問を両方へ入れて比べる方が、失敗しにくいですよ。

動画で約12分で確認したい方はこちら

YouTubeで動画を開く

テスト入力、Q4とQ8の回答原文、採点結果、実測表は、次のZIPにまとめています。

Q4とQ8の違いは「同じ頭脳をどれだけ細かく保存するか」

Q4とQ8は、別の世代や別の大きさのモデルではありません。今回の比較では、どちらもQwen3.5 9Bです。

違うのは、モデルが持つ大量の数字を保存するときの細かさです。この数字を少ない桁へ丸めて軽くする処理を量子化と呼びます。

写真の圧縮に置き換えると分かりやすくなります。

• Q4：細かさを減らし、容量と必要メモリを小さくする
• Q8：細かさを多く残す代わりに、容量と必要メモリが増える

Q8は量子化による情報の減少を抑えられます。ただし、元のモデルが苦手な計算、時計の読み取り、日本語OCRまで必ず直るわけではありません。

だからこそ、容量だけで選ばず、同じ問題で正解数と速度を比べる必要があります。

実機条件

検証日は2026年7月23日です。

変えたのは量子化だけです。質問文、画像、設定、採点基準はそろえました。

容量は6.6GBから10GBへ増えた

ollama listで確認した配布容量は、Q4_K_Mが6.6GB、Q8_0が10GBでした。Q8は約3.4GB大きくなります。

実行時にOllamaがGPUへ配置したモデルデータは、Q4が5.48GiB、Q8が8.73GiBです。どちらも100% GPUで動きました。

「Q8もGPUへ収まる」ことと「Q4と同じ余裕で動く」ことは別です。

Q8はVRAM 12GBの約96.6%を使用

検証中の最大GPUメモリ使用量は次のとおりです。

Q4は約3.4GBの余裕を残しました。Q8の余裕は約417MiBです。

Q8も今回の条件では動きましたが、画像生成、ゲーム、動画編集、ブラウザのGPU処理を同時に使う余裕はかなり小さくなります。コンテキストをさらに広げる場合も注意が必要です。

4課題21項目の正解数は17対17で同点

採点した課題は次の4種類です。

1. 短い文章の要約：5項目
2. 長文からの情報検索と計算：6項目
3. 時計を含む机上画像：6項目
4. 日本語の会議案内画像：4項目

結果は次のとおりです。

Q8へ変えても、今回の採点では正解が一つも増えませんでした。

短い要約は両方5/5

短い文章から指定した五つの要点を抜き出す課題では、Q4もQ8も5/5です。回答内容にも実質的な差はありませんでした。

日常的な会話、短い文書の要約、文章の書き換えが中心なら、今回の結果からQ8を先に選ぶ理由は見つかりません。

長文の情報検索は両方5/5、417＋27は両方不正解

長文から「入口コード417」と「青箱上限27」など五つの情報を探す課題では、両方とも5/5でした。

続けて417＋27を計算させると、正解は444ですが、回答は次のようになりました。

Q8は数字をより細かく保存していても、元のモデルが起こした計算ミスは直りませんでした。

資料から数字を探す仕事はローカルLLMへ任せても、合計や集計は電卓、Python、表計算など、実際に計算する道具へ渡す方が確実です。

時計画像は両方10:02と回答

机の上に時計を含む五つの物を置いた画像では、物体名は両方とも正しく拾いました。

しかし、時計の正解は10:10に対し、Q4もQ8も10:02と回答しました。画像認識の失敗も、量子化を細かくするだけでは直っていません。

日本語OCRも両方2/4

日本語の会議案内画像から、日付、時刻、場所、持ち物を読む課題では、両方とも日付と時刻に正解しました。

場所と持ち物は両方とも不正解で、合計2/4です。日本語OCRを重視するなら、Q8へ変える前にOCR専用ソフトや、文字認識が得意な別モデルを検討した方が効果を確認しやすくなります。

Q8の生成速度は約34%低かった

生成速度は次のとおりです。

同じGPUへ100%載っていても、Q8は処理するデータ量が増えます。今回の環境では、回答を待つ時間が約1.5倍になりました。

一度だけ回答を作るなら許容できても、何度も質問する、文書を繰り返し直す、アプリから連続実行する用途では差が積み重なります。

VRAM 12GBならQ4を選びやすい人

次の用途なら、まずQ4から始めるのが分かりやすい選択です。

• 普段の会話や質問
• 文書の要約、書き換え
• 画像の内容確認
• 一日に何度も繰り返し使う
• ほかのGPUアプリも同時に動かす

今回のQ4は正解数がQ8と同じで、生成は速く、GPUメモリにも約3.4GBの余裕がありました。

Q8を選ぶ意味がある人

Q8を選ぶ基準は「数字が大きいから」ではなく、「自分の大事な失敗が直るから」です。

次の順番で確認します。

1. 普段よく使う質問を三つ選ぶ
2. Q4へ入力し、正解と速度を記録する
3. Q8へまったく同じ入力を渡す
4. Q4の大事な誤りがQ8で直ったか確認する
5. 改善が待ち時間とVRAM増加に見合うならQ8を使う

たとえば専門用語の取り違えがQ8だけ直る、コード生成で重要なミスが減るなど、自分の用途で再現する差があればQ8を選ぶ理由になります。

差がなければQ4へ戻します。Q8を「必要な仕事専用」にして、普段はQ4を使う方法もあります。

ルミィ

Q4かQ8かは、ベンチマークの順位より「自分の三問」で決めるのが近道です。

結論

Qwen3.5 9BのQ4_K_MとQ8_0をVRAM 12GBで比較した結果は、次の三点です。

• 正解数はQ4もQ8も17/21で同点
• Q8は生成速度が約34%低下
• Q8はGPUメモリを11,865MiB、全体の約96.6%使用

今回の条件では、VRAM 12GBならまずQ4が実用的です。

Q8は、普段使う入力を両方へ渡し、大事な失敗がQ8で直ると確認できた場合に選びます。これなら、3.4GBの追加ダウンロード、待ち時間、VRAMの余裕を使う理由がはっきりします。

動画では結果の見え方と会話での説明を、この記事では測定条件と数値を確認できます。

PCスペック・導入ソフト・ほかの測定結果は、ローカルAI実機検証一覧からまとめて確認できます。

公式情報

• Ollama公式：Qwen3.5の配布タグ
• Ollama公式ドキュメント

関連記事：

• ローカルLLMに必要なPCスペック｜VRAM 8GB・12GB・16GBの目安
• LM StudioとOllamaの違いと使い方
• Qwen3.5 9Bの画像認識を5課題で実機検証
• ローカルAIは長文をどこまで覚えられる？