見出し画像

MacBook Air M5でのLLM試用結果

 松風です。MBA M5のテスト、次は各種LLMを使用した結果です。
 LM Studioで各種LLMをロードした後、「あなたの得意なことを教えてください。」「ブレーンストーミングの効果的なやり方を教えてください。」という質問をして、LLMに内蔵されている知識を元にどのぐらいの所要時間で答えを返してくるかのテストをしてみました。
 連続して質問を同じチャットでして、回答速度の平均をとっています。質問や回答のしかたで速度は変わるので、大まかな基準として受け止めてください。

  1. gpt-oss-20b (MXFP4) 18.9tok/s
     思考時間(最初の文字が表示されるまでの時間)がけっこうありました。それ以外は十分すぎるぐらいの速度。
     プロンプト冒頭で</think>を使うと、そのセッションでの推論を抑えることができるので、必要なら使ってみるとよいかと。
     あと、ためしに短歌を詠ませてみました。結果、全然だめ(笑)。そもそもまともな「短歌」になりませんでした。時間ばかりかかった。こういうのは得意ではなさそうなので、頼まない、というのが正解でしょう。

  2. gemma-3-12b-it 16.0tok/s
     思考時間は短い。十分使える範囲の速度です。

  3. gemma-3-27b-instruct 3.02tok/s
     思考時間は短い。ただし、常用するにはもどかしいでしょう。回答の質は高いと思われます。(過去記事では翻訳の質を検討しています。)
     ネットで東京の自宅のMac mini M2 Proで動いているLM Studio上のgemma-3-27bにつないでみました。(LM Linkです。)速度は10tok/s。職場のMac Studio M1 Maxだと、14tok/sです。プロセッサの処理速度というよりは、メモリ帯域幅(M1 Max>M2 Pro>M5)がかなり影響していると思われます。

  4. Qwen3.5-9b 26.04tok/s
     いわゆる「爆速」。ただし、思考時間が4秒ほどかかります。でも、さすが最新モデルですね。

 というような結果です。期待したほどではないのですが、ノートPCとしては納得のいく範囲内です。メモリが32GBなので、このあたりまででしょうね。さすがM5、というほどのスピードの違いはありません。Zenbook Sora(Snapdragon X Elite)よりは若干速いかも。(特にQwen3.5)
 ブレーンストーミングでアイディアをたくさん出させたいときにはQwen3.5-9Bの速さに頼り、精度と速度のバランスがほしい普段使いにはgpt-oss-20B、というような使い分けでしょうか。さらにちょっとここはていねいに、というピンポイントでリモートの30BクラスのLLMを使う感じで。(もちろんGeminiやChatGPTでも可)

 結論:次に買うときはMac Studio にメモリ256GBを積んで(をい

参考:過去記事(LLMのテスト)


いいなと思ったら応援しよう!

コメント

コメントするには、 ログイン または 会員登録 をお願いします。
MacBook Air M5でのLLM試用結果|A. Matsukaze
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1