見出し画像

【1.2B】LFM2.5-1.2B-JPを使ってみた話【LM-Studio】

はじめに

小さい規模なのに日本語性能が凄いと話題のLFM2.5-1.2B-JPを使ってみました。ollamaは非対応なので、LM-Studioでの動作です。

ダウンロードと設定

LM Studioの画面からダウンロードします。

画像
Model Search
画像
デフォルト値からコンテキスト長のみ128kに変更します

動作テスト(パフォーマンス)

※ Ryzen7 5700x(64GBシステムRAM)+RTX 3060✕2(24GB VRAM)

画像
長文生成
画像
185 token/s

さすが1.2Bなので速いですね。

※ Qwen3 4B(Q4_K_M):80 token/s gpt-oss-20b:83 token/s

論理問題

画像
画像
不正解(何度か試しましたが、正解を得る事はできませんでした)

ただし、規模相応の性能で、悪いわけではないと思います。

数学

東大の入試問題(文系)

画像
画像
不正解(何度か試しましたが、正解を得る事はできませんでした)

同じく規模相応だと思います。むしろ正解するとびっくりします。

100%CPUで動作させると

超軽量モデルなので、CPUのみでも十分以上に実用的です。

画像
26 token/s

現状ではまだollamaやComfyUIで利用できないかもしれませんが、VRAM資源を節約するためにGPUをあえて利用せずに、CPUだけで画像生成AI等のプロンプト編集処理で利用するという使い方もあります。

※ CPUのみの利用にする事で、1台のパソコンでも、時間の必要なGPUを利用する画像や動画生成中に、CPU側でLLMを平行して利用できます

画像
すべてのモデルでCPU利用にする場合は、GPUを無効にします
画像
モデル毎に設定する場合は、GPUオフロードをゼロにします

翻訳用途はかなり優秀

処理が高速なので、シンプルな処理に対しての用途は多いと思います。

画像
上記Liquid AI公式huggingfaceページを日本語に翻訳

まとめ

1〜4Bパラメータモデルでの日本語性能はトップだと思います。Qwen3 4Bでは、まれに簡体字(中国語)やハングルが混ざりますから。

しかし、Qwen3 4Bは本記事の問題を正解できるので、規模相応感があるのは否めません。

直訳翻訳用途や、正確性が必要のない画像生成用のプロンプト作成には十分実用的な性能だと思います。

以下、関連する記事の【PR】です


いいなと思ったら応援しよう!

ピックアップされています

ブログ

  • 511本

保存

  • 30本

コメント

コメントするには、 ログイン または 会員登録 をお願いします。
【1.2B】LFM2.5-1.2B-JPを使ってみた話【LM-Studio】|Catapp-Art3D
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1