Pinned
オリジナルのアーキテクチャのLLMを公開しました。
学習時のkernel最適化やfp8学習などを使用し、500Btokensほど事前学習しました。ただ、お金や時間がたりなく学習量や調整が不十分なため、性能は英語はまあまあ日本語はそこそこです。
詳しくはreadmeを読んでください。
puwa
@puwaer
高専 専攻科1年(B3)
きままに言語モデルを開発しています。
開発していたSusonoモデルは、資金・GPU不足によりが中途半端に終わりました。
開発資金や計算資源をご提供いただける方はDMまでご連絡ください。
Hugging Face: huggingface.co/puwaer
Joined December 2021
- R18に特化した大規模言語モデル（LLM）、Doujinshi-1.8bの動作の様子です。 llmスタジオですぐ使えます。The media could not be played.
- Doujinshi-14bのモデルを学習で使用したデータセットを公開しました。 今回は、ptとdpo用のデータセットを追加で公開しました。 データセットはpt,sft,dpo全て公開しています。 ライセンスはapache-2.0なので自由に使用して下さい。
- このコマンド写真みたいにgpuの使用率とvramの使用率がカラーで見えてnvidia-smiよりいいかも pip install --upgrade nvitop nvitop
- とりあえず量子化しても、精度がそこまで劣化しないエロ言語モデルできたわ。 マジで、言語モデルのsafetyを破るのがキツかった。 このモデルはドキュメントとか書いたらDoujinshi-14bでhuggingfaceに公開すると思います。
- こんな面白そうなイベントあったんだ。 気付かなかった、、 トホホ 次、あったら出展したいよ #生成AIなんでも展示会
- Doujinshi-1.8bの開発しました。 ドメイン特化のデータセット作成方法、sft用の合成データの作成方法、継続事前学習の方法、ファインチューニングの方法など特化型のllmの一連の開発方法をプログラムを交えてzennの記事にまとめました。 開発の参考になるとうれしいです。
- 14bのエロLLM の学習が終わった。 特にエロ系の出力がベースモデルだと制限されてたからそれを割るのがキツかった。 ついでに、以下が学習手順。 dpo周りはほとんど誰もやってないから手探りで割ったわ。 pt→sft→dpo(制限)→dpo(安定性)
