ローカルLLMはおもちゃだった

Share
ローカルで動かせる「Qwen3.8-27B」が無償公開、一部ベンチマークでClaude Opus 4.6 Max超え
アリババのQwenチームが270億パラメーターのAIモデル「Qwen3.8-27B」を公開しました。モデルのウェイトはApache License 2.0で公開されており、条件を守れば商用利用も可能。手元のPCに導入できるオープンウェイトモデルながら、一部の性能テストではAnthropicの高性能モデル「Claude Opus 4.6 Max」を上回る結果も報告されています。

ローカルLLMは確かに凄い。手元のパソコンでChatGPTが動くなんて驚異的だ。しかし、これはロマンであり、実用性はあまり無い。Qwen3.8の登場で再び話題になっていたので、またこのことについて思い出してきた。

まず、ローカルLLMを使うならLM Stadioだ。Ollamaというツールもあるらしいが、LM Stadioのシンプルさには敵わない。数学0点で英語は中学生レベルの私でも、日本語対応かつ設定は全自動なので簡単に使いこなせる。

そしてコイツには、できることとできないことがある。できることは、それっぽい文章を生成すること。初期のChatGPTのように、幻覚前提でまあまあの論理性を保った文章を生成することは可能だ。

しかし、それ以上のこと、例えば調査であったり、シミュレーションであったりと知識の厳密性がキーになるタスクを与えると、途端にダメダメになる。まあ、手元のRTX4070でクラウドと同等の処理をさせようと言うのが、土台無理な話なのだ。

コーディングのアシスタントに使ったり、翻訳者にしたりなどの使い道があるらしいが、私はいずれも使わない。ただ興味本位で触っているだけであり、メインの調査では頭が悪すぎて使い物にならない。

とはいえ、一昔前に比べると格段に成長した。Qwenというのと、ChatGPT-OSSがゲームチェンジャーだったと思う。初めて、ローカルLLMでもまともな応答ができるんだ、と思えるようになった。

そして今、これを何とか活用できないか、試行錯誤している。キャラクターを演じさせてノベルゲームのように遊んだり、AI Vtuberの中身にしたりとよりどりみどりだ。AIエージェントの中身にも使おうとしたが、残念ながら性能が低すぎて無理だった。

ひとえに、ハードウェア性能が低すぎるのだと思う。確かにRTX4070、32GBRAMと世間から見るとハイスペックPCではあるが、AIを動かすとなると微妙だ。上を見ると5090が当たり前で、それを2枚刺ししている人や、サーバー向けのワークステーションを揃えている人もいる。

それが持てはやされるのではなく、さも当たり前のことかのように、参考情報として貼られているのがローカルLLMコミュニティの現実だ。恐ろしい。

正直、そこまでするならば素直にクラウドにお金を払った方が良いと思う。GPT-PLUSだって3000円であそこまで使い込めるのだから、赤字サブスクだ。本質的に、ローカルLLMはコスパが悪い気がする。

ここでいうコスパとは、試行錯誤の時間も含まれる。クラウドモデルなら一瞬で解決してくれるであろうことを、うまくやらせるために、何度もプロンプトを試行錯誤し、LM Stadioの設定パネルと向かい合う時間だ。

これは正直、疲れる。知的満足感は与えるが、何か役に立つ仕組みを作れたか、と問われると、残念ながら否だ。ローカルLLMは、おもちゃであり趣味なのだ。もちろん、私が触ったことのない規模の企業向けインフラなどは違うのだろう。しかし、個人のデスクトップで動くレベルだと、その気色が強い気がする。

世間では何かと話題になるローカルLLMだが、実際何の役に立つのか?と問われると途端に答えに詰まる。潤沢なハードウェアも時間も無い庶民には、あまり関係のない代物なのかもしれない。

とはいえ、おもちゃとしてはとっても有望だ。自分の思い通りに動く知生体。それを弄繰り回すことには、何か本質的な快感があるように思える。

プライバシーなんか正直どうでもよいと思っているので、私はClaude、Gemini、ChatGPTの3つを恥ずかしげもなく複数アカウントで無料運用していく生き方の方が、ローカルで完結するよりも実用的だと感じる。

今回のように新モデルがリリースされたときに少し触ってみるくらいで、何に使えるか?は考えない方が、時間と認知資源の節約になると、ここ数年の苦い経験から学んだ。

Read more

【月3000円】AI課金を知的インフラとして考える

【月3000円】AI課金を知的インフラとして考える

私はChatGPT-Plusを使っている。最初に契約したのが去年の秋だから、もう1年になる。それ以前からチャッピーは使っていたが、有料版にしてからの進化には心底驚かされた。 これまで使っていた頭脳が馬鹿らしく思えるほどの進化だったからだ。例えるなら、頭の良い小学生と話していたのが、急に教授レベルに変わったようなものである。 知っている知識としては完全に私を超え、そしてそれを使いこなす知力も、私を到底上回るレベルであると直感的に悟った。ここが、私がAIに敗北したポイントだったように思う。 3000円を何に払うか そして最近、またまたGPTからの乗り換えの波がやってきた。この波は半年ごと位に訪れる。流石に鶏では無いので以前のことを数日で忘れたりはしないのだが、数か月となると話は別だ。 前々に結論に至り、その過程を日記に事細かに書き記していたのにも関わらず、再び同じことを考え、それを読んだAIに前も同じことを考えてましたよ、と諭される日々。これは少々、気まずい。人間のプライドとして。 であるならば、ここに書き残しておこうと思った。主に、AIにどのように課金すべきか、と言った話だ

By やさかめ
【月440円】povo2.0+IIJmioデータeSIMのデュアルは最凶だ

【月440円】povo2.0+IIJmioデータeSIMのデュアルは最凶だ

私はMVNOを使っている。昔はスマホに3000円前後払うのが普通だと思っていたが、Povo1.0の登場で20GB使えるのにお値段変わらず、と言うのに衝撃を受けたのだ。そして、残念ながら私は通信料をほぼ使わないので、Povoからは早々に離脱した。 そしてどこに移ったのかと言うと、IIJである。データesimという電話番号が無い契約形態があり、それを使うと月440円(2GB)でドコモ網の通信を使うことが出来るのだ。 とはいえ、競合は多くある。なぜこのプランの組み合わせが私には合っていたのか。それを今一度考えてみたい。 月440円で冗長性を確保 まず、冗長性である。丁度これに変えたタイミングで、auで大規模な通信障害が発生した。無論au系のPovoも影響を受け、一切通信ができなくなった。これには非常に困り、1社に頼ることの不甲斐なさを嚙み締めさせられた。 対して、IIJはdocomoである。山中で使うことが多い私にとっては、山に強いドコモ、が440円で手に入るのはお得に見えた。 日本通信には繰り越しが無い 競合になるのは、日本通信だろう。最近知ったが、合理的プランというやつ

By やさかめ
【過去問4割】応用情報技術者・午前をダメ元で受けたら何故か合格した

【過去問4割】応用情報技術者・午前をダメ元で受けたら何故か合格した

いわゆる難関資格ではあるはずの、応用情報技術者試験に午前のみ、合格してしまった。みっちり勉強をしていったのなら未だしも、ほぼ手抜きで過去問も4割が最高だったのに、だ。 なぜ今回、62.5点というギリギリで合格できたのか。当の本人が最も驚いているが、ただあったことを事実として残しておく。 基本情報は取得済み まず、私は基本情報技術者は取得済みだ。いわゆるルーキーが2週間勉強して取得しました!という豪傑とは違う。ITの素養は多少ある、とされる側だろう。とはいえ、FEは午前免除で午後は猛特訓した。血反吐を吐きながらアルゴリズムと格闘したのだ。 私はアルゴリズムが嫌いである。コーディングも大嫌いである。何が楽しいのかさっぱり、一ミリも理解できない。コードを作ることよりも、動いているコードが壊れて、それを直す時の方が何倍も楽しい。 日々の情報収集が役立つ 応用情報は午前試験のみだと、割といろいろな分野から出る。特定の分野が良く出たよ!というとアウトと受験前の説明に書いてあったので、それだけしか言えない。しかし、ほんとに幅広く、それこそここから出るのか?というような場所からも出てい

By やさかめ
【軽量コンパクト】Pixel 5の乗り換え先を真剣に考えたらGalaxy S23になった

【軽量コンパクト】Pixel 5の乗り換え先を真剣に考えたらGalaxy S23になった

以前からPixel 5の乗り換え先を探している。セキュリティアップデートが切れているのが、この情報漏洩時代には怖くなったためだ。就職を機に、せめてOSアップデートがまともなスマホに乗り換えたい、と思うようになった。 しかし、今は金欠である。ホイホイと最新のiPhoneやGalaxy、そしてPixelを買える状態ではない。ではどうするか。勿論、中古市場である。偉大なメルカリには、多数の中古スマホが転がっている。 この中からどれを選ぶか。かなりの苦労の末にPixel 5に辿り着いたので、その後継を選ぶのは並大抵ではない。 【軽量・コンパクト・大画面】Pixel5がスマホの完成形である理由私はPixel5をもう数年使っている。発売日は2020年末だから、もう6年も前のスマホだ。2020年に6年前のスマホというと、iPhone5sとかになるから、如何にスマホが習熟期に入ったのかが良く分かる。 Pixel5でも、日常の業務には何の不満も無い。GoogleMapもサクサク動くし、検索結果も素早く表示される。スクロールがガクガクしたり、検索に待たされたりするローエンドスマホの時代は、もう終わっ

By やさかめ