「AIを自分のPCだけで動かしてみたい」——そう思って調べ始めると、まず突き当たるのがVRAM(グラフィックボードのメモリ)の壁です。僕の環境はRTX 3070でVRAM 8GB。決して非力なカードではありませんが、最近の生成AI界隈では「最低でも12GB、できれば24GB」といった話をよく見かけます。この記事では、8GBという条件で実際にローカルLLMを動かし続けてきた実体験をベースに、何ができて何につまずくのかを僕なりに整理してみます。

そもそもローカルLLMとは何か

ローカルLLMとは、ChatGPTやClaudeのようにクラウド上のサーバーへ問い合わせるのではなく、手元のPCにモデルをダウンロードして推論(応答生成)まで完結させる仕組みのことです。代表的な実行環境がOllamaで、コマンド一つでモデルをダウンロードし、対話形式で使い始められます。クラウドAIと違って通信費・API利用料がかからず、扱う文章を外部サーバーに送らずに済むという安心感も魅力です。ただしその分、性能はPCのスペック、特にVRAMの量に直結します。

VRAM 8GBで動く・動かないの境界線

半年ほど複数のモデルを切り替えながら運用してみて実感したのは、「パラメータ数が小さいモデルなら快適、大きいモデルは工夫しないと厳しい」という当たり前ながら重い事実です。目安として、パラメータ数が数十億(いわゆる数B〜10B前後)のモデルであれば、VRAM 8GBでも常駐させたまま実用的な速度で応答が返ってきます。一方で、それを超える規模のモデルを丸ごとVRAMへ載せようとすると、途中でメモリが足りなくなり、CPU側にフォールバックして極端に遅くなる、あるいはそもそも起動に失敗するといったことが起こります。

常駐運用で気づいた「4.5GB問題」

僕の環境ではOllamaや周辺ツールを常駐させた状態で、常時4GB台後半のVRAMが埋まったままになる期間がありました。ここに大きめのモデルを追加でロードしようとすると、残りの空き容量だけでは足りずCPU側の処理に落ちてしまい、体感速度が大きく落ちる——という経験を何度もしています。対策としては、常駐させるツールを絞り込む、使い終わったモデルはこまめにアンロードする、といった地味な運用の積み重ねが効いてきます。「載せっぱなしにしない」というのは、8GB環境では特に意識すべきポイントだと感じています。

MoEオフロードという新しい選択肢

最近試して手応えを感じているのが、MoE(Mixture of Experts)型のモデルで一部の層だけをCPU側に逃がす「オフロード」の技術です。モデル全体をVRAMに載せるのではなく、使用頻度の低い部分だけを意図的にCPUメモリ側へ逃がすことで、VRAMの消費を抑えながら大きめのモデルを扱えるようになります。すべてのモデルで使える技術ではありませんが、8GBという制約の中で選択肢を広げてくれる技術として、今後さらに使いこなしていきたいと思っています。

モデルによって挙動がまったく違うという学び

もう一つ苦労したのが、モデルごとに癖が大きく異なるという点です。特定の系統のモデルでは、内部で「考える」処理(いわゆる思考モード)が既定でオンになっていることがあり、その設定に気づかないまま使うと、応答が空になってしまうという現象に何度も遭遇しました。原因が分かってからは、思考モードを明示的にオフにする設定を必ず確認するようにしています。同じ「ローカルLLM」という括りでも、モデルによって設定の作法が違うというのは、実際に何度もハマってみないと身につかない感覚でした。

用途に応じてモデルを使い分ける運用に落ち着いた

半年運用してたどり着いたのは、「一つのモデルで全部をこなそうとしない」という考え方です。タグ付けや簡単な要約のような、量をこなすけれど精度をそこまで求めない作業には軽量なモデルを、もう少し文脈を丁寧に読ませたい作業には少し大きめのモデルを、と使い分けるようにしました。Ollamaはコマンド一つでモデルを切り替えられるので、この「作業ごとにモデルを替える」運用自体はそれほど手間になりません。むしろ、一つの万能モデルを探し求めるより、この使い分け方針を決めてしまったほうが、日々のストレスは少なくなったと感じています。

音声認識(Whisper系)を組み合わせるときの落とし穴

ローカルLLMと組み合わせてよく使うのが、音声をテキスト化するWhisper系のツールです。GPU版を使うと処理速度が大きく変わってくるのですが、GPU対応版のライブラリに同梱されているDLLへ正しくパスが通っていないと、GPUが使われずCPU処理に落ちてしまうことがあります。動いているはずなのに妙に遅い、というときはまずここを疑うようにしています。地味なポイントですが、体感速度への影響は大きいです。

それでも「使う価値がある」と感じる理由

ここまで制約ばかり書いてきましたが、それでも僕がローカルLLMを使い続けているのは、外部に文章を送らずに済む安心感と、使い放題で追加コストがかからない点が大きいです。毎日の細かいタグ付けや下書き量産のような「量をこなす作業」は、多少速度が遅くてもローカルで十分こなせます。逆に、複雑な判断や高い精度が必要な場面ではクラウドのAIに任せる、という役割分担を意識するようになりました。

これから8GB環境を組む人へのアドバイス

もしこれからローカルLLM用にPCを組む、あるいは既存のPCで挑戦しようとしているなら、僕からのアドバイスは「最初から大きなモデルを目標にしない」ことです。まずは軽量なモデルで一連の使い方(モデルの切り替え、常駐管理、思考モードの設定確認)に慣れてから、少しずつモデルサイズを大きくしていくほうが、途中で挫折しにくいと感じています。VRAM容量というスペック表の数字だけを見て一喜一憂するより、実際に手を動かして「自分の環境で気持ちよく動くライン」を体感することのほうが、結果的に近道になるはずです。

まとめ:8GBは「工夫すれば戦える」ライン

VRAM 8GBという環境は、最新の大型モデルをそのまま快適に動かすには心もとないラインです。しかし、モデルサイズの見極め、常駐ツールの整理、オフロード技術の活用といった工夫を積み重ねれば、日常のAI活用には十分に戦えるという実感を持っています。これからローカルLLM環境を組もうとしている方は、いきなり大きなモデルに手を出す前に、まず自分のVRAM容量で気持ちよく動く規模感を見極めることから始めることをおすすめします。