Yuyang DONG (David Dong)
4,945 posts
Yuyang DONG (David Dong)
@touuyou001
Ph.D., SB Intuitions (Sarashina LLM), The University of Osaka (invited Associate Professor), Initial S, ex-NEC (cotomi LLM), 全て個人の意見です
- 8月末で、新卒入社から6年勤めたNECを退職します。 優しい社内環境、優秀な同僚、日本語トップレベルの大規模言語モデルcotomi LLMや視覚モデル・agentの研究開発に携わる機会に恵まれ、大きく成長できました。 本当に感謝しています。
- 9月よりSB Intuitions でChief Research Scientist として働きます。 目標は変わらず、世界トップのLLMを作ることです。
- データベースタスク特化したLLMを作って公開しました。Jellyfish-13B 。データ処理ベンチマークではGPT4と同等の性能。一方、サイズが小さくて1GPUでも動けて、ローカル環境で安全なデータ処理ができます。 huggingface.co/NECOUDBFM/Jell…
- SB intuitionsに入社1ヶ月半。信頼を受けて、LLMチームリーダーになることも2週間経った。 世界トップモデルを目指す次世帯のSarashinaを絶賛開発中！ 採用も絶賛募集中なので、事前学習、長文、事後学習、強化学習、Agent tuningなども興味がある方はぜひ！
- パークタワー勝どきの抽選に当選した！来年湾岸タワマンに引越しすることが確定したw よし、次は駐車場の抽選ね！ハイルーフのやつを当たるように！
- 最近作った技術。 NEC開発の生成AI 「cotomi」を支える「図表文脈理解機能」とは？！: NEC Online TV | NEC
- Sarashina LLM 作る仲間募集中！ ぜひ気軽にご連絡！カジュアル面談も、会社で話しましょう。
- 今回はわかりやすくベンチスコア出しました！cotomi シリーズは日本語ではトップレベル！
- これです。"DeepJoin: Joinable Table Discovery with Pre-trained Language Models" arxiv.org/pdf/2212.07588… 大規模データの結合関係を探索するために、Embedding-based retrieval の技術を活用し、言語モデルのencoder + metric learningで学習し、さらにANNの技術で高速、高精度で探索する(続き)VLDB採択しました！！！！！！嬉しいすぎ。
- 京大優秀インターン生との研究。VLM の数学reasoning 能力を向上するために、D2Iという学習方法提案した。GRPO強化学習時にさらに付加条件を意識してしたthinkingする。逆に、実際推論時に、付加条件なしで自由にthinkingする。これで大幅にマルチモーダルの数学推論能力を向上できた！Our new paper. D2I (Deliberate to intuitive) improves VLM reasoning! - Train: Deliberate thinking with specific task - Inference: Constraints off, free reasoning. - No manual labels; only format rewards - MathVista +2.7 pts, MATH-Vision +8.4 pts!!! arxiv.org/abs/2507.06999
- 私も一員としてこのモデルの作りに参加しました。色々大変、勉強もなりまして、引き続き良い日本語モデルのために頑張ります。 jpn.nec.com/press/202307/2…
