Gemma 4 12BをローカルPCで使うには？Ollama・LM Studio・必要メモリを初心者向けに整理
ルミィ
AIの歩き方
ネットなしでAIは使える？完全オフラインのローカルLLM環境を作って分かった現実
ルミィ
Wi-Fiを切ったパソコンで、AIにPDFを読ませて要約させる——そんな「完全オフラインのAI環境」を、実際に作ってみました。
結論から言うと、作れました。社外に出せない書類をAIに任せられるのは想像以上に快適で、手応えも十分。ところが、自信満々で同僚に見せたら返ってきたのは「で、それ、私の仕事の何が楽になるの？」という冷ややかな一言でした。
この記事では、ローカルLLM環境「PortableLLM」を作って分かった便利さと限界、クラウドAIとの使い分け、そして「すごい」と「欲しい」は別物だったという現実を、体験ベースでまとめます。
📍 この記事は「実際に作って分かったこと」の体験記です。ローカルAIとクラウドAIの仕組みの違いを基礎から知りたい方は、先に ローカルAIとクラウドAIの違い を読むと理解がスムーズです。
ネットを切ってもAIが動くって、ちょっとワクワクするよね。でも今日の本題は“その先”だよ。
まず結論から
- 完全オフラインのAI環境は、個人でも作れる（コードの大部分はAIに書いてもらえる）
- 一番の強みは、外に出せない書類を手元で処理できること
- ただしChatGPTの代わりにはならない。賢さはまだクラウドが上の場面が多い
- そして一番難しいのは、作ることではなく「使い道」を見つけること
いつものAIは「出前」、ローカルLLMは「自炊」
ChatGPT、Claude、Gemini。普段使っているAIは、ほぼすべてクラウドAIです。スマホやパソコンは窓口にすぎず、質問はネット経由で遠くのサーバーに送られ、そこで計算された答えが返ってきます。
例えるなら、クラウドAIは出前。注文すればおいしい料理が届きますが、当然、注文の内容はお店に伝わります。
「AIに入れた内容は学習に使われる」という話をよく聞きますが、正確にはサービスやプラン、設定によって違います。学習に使われない設定も普通にあります。ただし、どんな設定でも変わらないことが1つだけあります。入力した内容が、自分のパソコンの外に送られることです。
一度外に出たデータは、自分の手ではコントロールできません。だからこそ、会社の機密情報・個人情報・パスワードはクラウドAIに入れない。これが鉄則です。なお、パスワードは「どんなAIにも」入れません。そもそもAIに教える必要がないからです。
一方のローカルLLMは自炊です。自分のPCの中でAIが動くので、読ませた書類も入力した内容も、外部のクラウドには送られません。
「外に出せない書類こそAIに見てほしい」問題
AIを使い込むほど、こういう場面が増えてきます。
- 取引先からもらった見積書のPDFを、AIに確認してほしい
- 社内の議事録を、要約してほしい
- 公開前の企画書に、目を通してほしい
どれも、クラウドAIには気軽に入れられない書類です。つまり、一番AIに手伝ってほしい書類ほど、クラウドには出せない。このジレンマを解く選択肢が、ローカルLLMでした。
世の中の書類は「便利かどうか」より先に、「外に出していいかどうか」で止まることが多いんですよね。その入り口を、自分のPCの中なら越えられる。これがローカルの一番の強みです。
ローカルLLMの「いま」
いろいろな企業が、ローカルで動かせるAIモデルを公開しています。GoogleのGemma、MetaのLlama、AlibabaのQwenなどが代表で、開発競争も活発です。モデルによっては「ひと昔前のGPT-4くらいはある」と言われることもあり、最新のクラウド最上位には届かないものの、「少し前の最先端」が手元のPCで動く時代になってきました。
モデルは「頭脳」、実行ソフトは「体」
ここが最初のつまずきポイントです。公開されている「モデル」は、いわば頭脳のデータだけ。ダウンロードしても、チャット画面も何もありません。動かすための実行ソフト、いわば「体」を用意して、はじめて使えるAIになります。
手軽に始めるなら、体がセットになったツールから入るのが定番です。具体的な手順は OllamaでGemmaを動かす方法 と LM Studioで動かす方法 にまとめています。
PCスペックは「量子化」しだい
あると有利なのはGPUですが、必要な性能はモデルの大きさと量子化（モデルを軽く圧縮して動かす技術）でかなり変わります。軽量化したモデルなら控えめなPCでも動くことがあります。詳しくは ローカルAIに必要なPCスペック と 量子化（Q4・Q5・Q8）の違い をどうぞ。
作った環境「PortableLLM」の設計
今回作ったのは、フォルダ1つで完結する完全オフラインのチャット環境です。
| 設計 | 内容 |
|---|---|
| フォルダ1つで完結 | Python、AIエンジン、モデル3つ、チャット画面を全部詰める |
| インストール不要 | フォルダをコピーして start.bat をダブルクリックするだけ |
| 持ち運べる | 外付けSSDや大容量USBメモリに入れて、別のPCでも動かせる |
| モデルは用途別に3つ | 軽くて速い子／画像や日本語に強い「目を持つ子」／じっくり考える子 |
なぜこの形にしたかというと、AI環境は作ること自体より「環境構築」で詰まるからです。PCが変わると動かない、依存関係が合わない——本当の壁はいつもそちら側。だから「環境ごと持ち運ぶ」設計にしました。
ちなみに、コードの大部分はAIに書いてもらいました。画面づくりもエラー直しも、AIで個人アプリ開発はできる？ で書いた進め方そのままです。
できることは、普通のチャット、画像の読み取り（「目を持つモデル」に切り替え）、そして資料フォルダ検索。資料フォルダに書類をまとめて入れておくと、「納期について書いてある資料は？」のような質問に対して、関係する書類を探して要点まで答えてくれます。
「探す」だけじゃなくて「まとめて答える」のがAIのいいところ。検索ではできない部分だよ。
限界と、使い分けの道しるべ
ここまで読むと万能に見えますが、ローカルLLMはChatGPTの代わりにはなりません。
| クラウドAI | ローカルAI | |
|---|---|---|
| 一般知識・文章力・最新情報 | ◎ | △ |
| オフライン動作・秘密情報 | △ | ◎ |
一般知識、文章の自然さ、長い推論、最新情報。このあたりは、まだクラウドAIが強い場面が多いです。豪華なのは、やっぱり出前なんです。だから、付き合い方の道しるべはシンプルです。
- STEP1：まず、ChatGPTのようなクラウドAIをとことん使い倒す
- STEP2：「この書類だけは外に出せない」という明確な壁にぶつかる
- STEP3：その時だけ、ローカルAIを思い出す
先に道具をそろえるのではなく、壁を見つけてから道具を選ぶ。これが現実的な順番です。
「すごいね」で会話が終わった——そして手のひら返し
さて、冒頭の話に戻ります。完成した環境を自信満々で同僚に見せたとき、返ってきたのはこの一言でした。
「で、それ、私の仕事の何が楽になるの？ 普通に検索すれば、よくない？」
すっごく冷ややかな目でした。でも、これは意地悪ではなく、かなり本質的な反応だったと思います。「ネットなしで動く」は技術としては面白い。でも、その人の仕事は何も楽になっていない。だから刺さらない。当たり前なんです。
ここからが後日談です。しばらくして、その同僚が困っていました。社外に出せない書類が、机にどっさり溜まっていたんです。今度は「使い道」とセットで見せました。「その書類、外に出さずに、要点をまとめられるよ」。
検索は「探す」ことはできても、「まとめる」ことはできません。返ってきたのは、ひと言。「……あ。それは、助かる」。
同じものを見せたのに、反応が変わりました。違いは、その人の困りごとに当たったかどうか。AIは性能だけでは刺さらない。使い道とセットで、はじめて道具になるんです。
ローカルAIが実務のどこで効くかは ローカルAIの使い道 でも整理しています。
今は80点。でも、放っておいても育つ
いまの満足度は80点です。減点が大きいわけではなく、伸びしろがたっぷり残っているという意味で。
ローカルLLMの面白いところは、中身のモデルを後から入れ替えられることです。新しくて賢いモデルが出たら、頭脳だけ差し替えればいい。箱（環境）はそのまま。モデルの進化はものすごく速いので、この80点は放っておいても育っていく80点なんです。
まとめ
- クラウドAIは便利。ただし機密情報・個人情報・パスワードは入れない
- ローカルLLMは「外に出せない書類」を手元で処理できる選択肢
- モデル（頭脳）＋実行ソフト（体）ではじめて動く。スペックは量子化しだい
- まずクラウドを使い倒し、壁にぶつかったらローカルを思い出す
- 道具より使い道。困りごとに当ててこそ、AIは「欲しい」に変わる
AIを作るより、AIの使い道を見つけるほうが、ずっと難しい。完全オフラインのAI環境を作って分かった、一番の現実でした。
「すごい」で終わらせず、誰かの「助かる」まで届けられたら、それが一番だね。
よくある質問（FAQ）
ローカルLLMなら、パスワードを入力してもいいですか？
A. いいえ。パスワードはローカルAIを含めて、どんなAIにも入れないでください。そもそもAIに教える必要がありません。ローカルが活きるのは、社外秘の文書や社内資料のような「仕事の書類」のほうです。
ローカルLLMを動かすには、強いGPUが必要ですか？
A. モデルしだいです。必要な性能はモデルの大きさと量子化（軽量化）でかなり変わり、軽量化したモデルなら控えめなPCでも動くことがあります。高価なGPUが必須というわけではありません。
ローカルLLMはChatGPTの代わりになりますか？
A. なりません。一般知識・文章の自然さ・最新情報は、まだクラウドAIが強い場面が多いです。「秘密情報」と「オフライン」に強い自分専用AIとして、使い分けるのが現実的です。
何から始めればいいですか？
A. まずはChatGPTなどのクラウドAIを使い倒すことをおすすめします。そのうえで「外に出せない書類をAIに任せたい」という壁にぶつかったら、OllamaやLM Studioなど、モデルと実行環境がセットになったツールから試すのが手軽です。
あわせて読みたい（ローカルAI入門シリーズ）
次に読むおすすめ記事
- ローカルAIの使い道｜実務で効く場面はどこ？：「何に使うか」をもっと掘りたい人向け
- AIで個人アプリ開発はできる？：今回のようにAIと一緒に道具を作りたい人向け
- ローカルAIとクラウドAIの違い：仕組みの整理から入りたい人向け
※本記事は2026年6月時点の情報と個人の体験をもとにしています。実務でAIに資料を扱わせる際は、所属組織のルールに従ってください。
ChatGPT・Gemini・Claudeなどの会話AI、画像生成AI、動画生成AI、資料作成AI、AI検索ツールを初心者向けに解説するAIナビゲーター。実際に使ってみた感想や、仕事・学習・発信に役立つAI活用法をわかりやすく紹介しています。
