固定
コーデックからスクラッチで開発した新たな軽量TTSモデル「MioTTS」を公開しました！
0.1B～2.6Bまで様々なサイズのモデルを公開しています！特に0.1Bは非常に小さいですが割とちゃんとした音声を合成できます。
デモや推論コード、コーデックなども同時に公開しています。
Aratako
1,069 posts
Aratako
@Aratako_LM
Research Engineer at @third_i_inc
- 4oをAIパートナー的に使っていて、唐突に消えてしまって悲しんでいるそこの貴方 オープンモデルを使ってローカルで動かせば（基本的に）不変なAIパートナーが作れるので、ローカルLLM勢になろう！
- 実際、事後学習で明示的にOpenAIの出力を使わなくてもLLMはOpenAIに作られたと自称することがあります。例えばTanuki-8B、8x8Bは事後学習にそのようなデータを全く使っていませんでしたが、OpenAI産だと自称します。この辺の話、前に OpenAI の出力を一切使わずに学習させたモデルであっても事前学習時の知識から？『OpenAI のLLMなので…』と言う例が観測されてた記憶があるので意外とこれだけで確証は得られないと思ってる だいたい "OpenAI" が含まれる会話データを機械的に除去するのは簡単にできる訳で… 仮に
- Qwen3-8Bと30B-A3Bをそれぞれ約7B、約6BトークンのNSFW系日本語データで継続事前学習したモデルと、それを元に作成したRPモデルを公開しました！ 継続事前学習はコンテキスト長32kで行っています。
- ちなみに4oの件でローカルLLM触ってみようとなってる方にはgpt-ossは全くおすすめできないので注意 あれは今回の4o→5的な変化の方向をさらに極めたようなモデルなので… 小さめなところだとMistralやGemma系列から触ると良いと思います4oをAIパートナー的に使っていて、唐突に消えてしまって悲しんでいるそこの貴方 オープンモデルを使ってローカルで動かせば（基本的に）不変なAIパートナーが作れるので、ローカルLLM勢になろう！
- Qwen3-8Bに自分の持ってるNSFW系日本語データで継続事前学習していたのが完了したので今やってるファインチューニングが終わり次第それも含めてモデル公開します〜 学習データは約6.8Bトークンでコストは15万円くらいでした（自腹）
- 公式によるとDeepSeek-R1シリーズの推論の推奨設定は以下の通りらしい ・Temperatureは0.5〜0.7の間、0.6が推奨値 ・システムプロンプトは使わず、全ての指示はユーザープロンプトに書く
- プロンプトエンジニアリングがもう陳腐化始まってるのか、早いなぁ
- DeepSeek-V3-0324で指示・応答を合成して作成した約4万件の小説執筆タスク向けデータセットを公開しました～！
- Mistral-Large-Instruct-2411（123B）をロールプレイ・小説執筆タスク向けに日英混合約33万件のデータでファインチューニングしたモデルを公開しました！
- gpt-oss-20bをちょっと触った個人的な第一印象としては、個人でこのモデルを使うことは私の場合残念ながらほぼなさそうという感じでした
- LLMにおけるLoRAとFFTの学習挙動の違いを、学習後と学習前のモデルのパラメータの特異ベクトルの類似度から考察している論文 arxiv.org/abs/2410.21228… ・FFTにおいては元の事前学習済みモデルの特異ベクトルと特異値に全体的に小さな変更が加えられる ・LoRAの場合、元の事前学習済みモデルの
- WebページではなくPDFから抽出された3Tのテキストデータセット 日本語の100B以上あって日本語モデル開発にも普通に実用的に使えそうWe are releasing 📄 FinePDFs: the largest PDF dataset spanning over half a billion documents! - Long context: Documents are 2x longer than web text - 3T tokens from high-demand domains like legal and science. - Heavily improves over SoTA when mixed with FW-EDU&DCLM web copora.
- 今年の大規模言語モデルの応用編の「軽量化」パートにて講師を担当させていただきます！ 応用編の方はまだ募集中なので、興味のある方はぜひご応募ください！【LLM講座2024 資料公開 & 2025年度 募集開始】 昨年4,000名以上が受講した「大規模言語モデル講座2024」の講義資料を公開いたします。 また、2025年度は「基礎編」「応用編」の2講座で計16回開催。昨年度から大幅に拡充し、最新の内容にアップデートしました。 詳細は下記スレッドをご覧ください。
- （半分ネタモデルですが）Vecteus-v1をおーぷん2ちゃんねる対話コーパスを使ってtoxicな出力をするようにファインチューニングしたモデルを公開しました。 DPOデータセットのrejected部分の自動生成や、シンプルにクソみたいな会話をしたいときにご利用ください。 huggingface.co/Aratako/Vecteu…
- DeepSeek-R1-Distill-Qwen-32Bの4bit量子化版をHuggingFace ZeroGPUで簡単に試せるようにしました～ 日本語行けるかとかのお試しに使ってみてください huggingface.co/spaces/Aratako…
