ローカルLLMはおもちゃだった
ローカルLLMは確かに凄い。手元のパソコンでChatGPTが動くなんて驚異的だ。しかし、これはロマンであり、実用性はあまり無い。Qwen3.8の登場で再び話題になっていたので、またこのことについて思い出してきた。
まず、ローカルLLMを使うならLM Stadioだ。Ollamaというツールもあるらしいが、LM Stadioのシンプルさには敵わない。数学０点で英語は中学生レベルの私でも、日本語対応かつ設定は全自動なので簡単に使いこなせる。
そしてコイツには、できることとできないことがある。できることは、それっぽい文章を生成すること。初期のChatGPTのように、幻覚前提でまあまあの論理性を保った文章を生成することは可能だ。
しかし、それ以上のこと、例えば調査であったり、シミュレーションであったりと知識の厳密性がキーになるタスクを与えると、途端にダメダメになる。まあ、手元のRTX4070でクラウドと同等の処理をさせようと言うのが、土台無理な話なのだ。
コーディングのアシスタントに使ったり、翻訳者にしたりなどの使い道があるらしいが、私はいずれも使わない。ただ興味本位で触っているだけであり、メインの調査では頭が悪すぎて使い物にならない。
とはいえ、一昔前に比べると格段に成長した。Qwenというのと、ChatGPT-OSSがゲームチェンジャーだったと思う。初めて、ローカルLLMでもまともな応答ができるんだ、と思えるようになった。
そして今、これを何とか活用できないか、試行錯誤している。キャラクターを演じさせてノベルゲームのように遊んだり、AI Vtuberの中身にしたりとよりどりみどりだ。AIエージェントの中身にも使おうとしたが、残念ながら性能が低すぎて無理だった。
ひとえに、ハードウェア性能が低すぎるのだと思う。確かにRTX4070、３２GBRAMと世間から見るとハイスペックPCではあるが、AIを動かすとなると微妙だ。上を見ると5090が当たり前で、それを２枚刺ししている人や、サーバー向けのワークステーションを揃えている人もいる。
それが持てはやされるのではなく、さも当たり前のことかのように、参考情報として貼られているのがローカルLLMコミュニティの現実だ。恐ろしい。
正直、そこまでするならば素直にクラウドにお金を払った方が良いと思う。GPT-PLUSだって３０００円であそこまで使い込めるのだから、赤字サブスクだ。本質的に、ローカルLLMはコスパが悪い気がする。
ここでいうコスパとは、試行錯誤の時間も含まれる。クラウドモデルなら一瞬で解決してくれるであろうことを、うまくやらせるために、何度もプロンプトを試行錯誤し、LM Stadioの設定パネルと向かい合う時間だ。
これは正直、疲れる。知的満足感は与えるが、何か役に立つ仕組みを作れたか、と問われると、残念ながら否だ。ローカルLLMは、おもちゃであり趣味なのだ。もちろん、私が触ったことのない規模の企業向けインフラなどは違うのだろう。しかし、個人のデスクトップで動くレベルだと、その気色が強い気がする。
世間では何かと話題になるローカルLLMだが、実際何の役に立つのか？と問われると途端に答えに詰まる。潤沢なハードウェアも時間も無い庶民には、あまり関係のない代物なのかもしれない。
とはいえ、おもちゃとしてはとっても有望だ。自分の思い通りに動く知生体。それを弄繰り回すことには、何か本質的な快感があるように思える。
プライバシーなんか正直どうでもよいと思っているので、私はClaude、Gemini、ChatGPTの３つを恥ずかしげもなく複数アカウントで無料運用していく生き方の方が、ローカルで完結するよりも実用的だと感じる。
今回のように新モデルがリリースされたときに少し触ってみるくらいで、何に使えるか？は考えない方が、時間と認知資源の節約になると、ここ数年の苦い経験から学んだ。
