Masayuki Isobe

bitnetの論文気になるとこだけ読んだ。・二値じゃなく三値（±1と0）なので1.58ビット・そのビットで演算するのは積和演算部のみで活性化関数は8ビット（256階調でしきい値で3値化）・学習も推論もちゃんと1.58ビットでやる・ゼロWeightが特徴量選択として機能専用ハード化可能なパート小さそう…

101K

Masayuki Isobe

@chiral

Apr 10, 2023

サムアルトマン氏が日本を重視するのは、恐らくマイクロソフトが背後にいるからで、日本のお役所はマイクロソフトの超得意先なのよな。OpenAIによって強化されるMS製品を今後も導入してもらえるよう、MSの幹部ではなくOpenAIのCEOが直々に根回しにいらしたってことでしょう。（※僕の個人的見解です）

Replying to

ロゴフォントもプッチンの部分がプリンよりでかいですね笑

GPTとかTransformerベースのLLMって短期記憶の上での計画や推論や反省の能力が無いせいで性能に一定の限界感を僕は感じるのだけど、このReflextionという概念は自分自身を表現する状態を持つことでその打開を試みてるみたい。こういう本質的改良の研究は超好き。後で論文読む

arxiv.org

Reflexion: Language Agents with Verbal Reinforcement Learning

Large language models (LLMs) have been increasingly used to interact with external environments (e.g., games, compilers, APIs) as goal-driven agents. However, it remains challenging for these...

プロンプトエンジニアリングはトークン長の制約ゆえに永続化されないけどfine-tuningはコストが掛かり過ぎる。そこで既存のTransformerの出口に少数のTransformerを被せて小さなfune-tuningを行う方法。ドメイン知識って通常は常識の上に成立するものだろうからこのアプローチは上手くワークしそう。

Quote

Sebastian Raschka

@rasbt

Mar 31, 2023

LLaMA-Adapter: finetuning large language models (LLMs) like LLaMA and matching Alpaca's modeling performance with greater finetuning efficiency Let's have a look at this new paper (arxiv.org/abs/2303.16199) that proposes an adapter method for LLaMA instruction finetuning 1/5

理系で数学とプログラミングが好きで、でも言葉にも興味があって文学や評論も好きで、なんかバラバラだなぁって自分で不思議に思ってきたけど、要するに僕は「何らかの記号や記号列が構造やダイナミズムを表現する」ってのに興味があるのかもしれない。

Masayuki Isobe

@chiral

Apr 12, 2023

こんなことを言うのもあれですが、LLMのキャッチアップのために勉強会行ったりこれ系のツイッター垢をフォローするのも良いとは思いますが、効率だけを言えば promptingguide.ai/jp と python.langchain.com/en/latest/inde を入念に読み込んでわからないとこはGPTや人に聞くってのがベストだと思います…。

数学の博士号をとったあとフルタイムのアカポスに就けずファーストフードの配達バイトしながらニューハンプシャー大学の講師として教えつつ素数の研究を続けてついに去年4月に権威ある数学誌に論文が通って教授職ゲット（58才）。すげー。

en.wikipedia.org

Yitang Zhang - Wikipedia

Replying to

口を酸っぱくって具体的にどのくらいですか?

東大卒、京大卒のハイスペ美女が笑顔で卒業記念に取った写真が次々とTLにながれてくる。この世ってこんなに偏りのある人が存在してたのか。

ホリエモンが有料サロンでお金をたくさん稼いでるけど、あのビジネスモデルで最も成功したのが大川隆法。幸福の科学って有料交流サロンなんだよね。生きる目的や暇つぶしや話のネタを運営者が提供してくれるし、会員同士の交流のネタにもなるし。以前住んでた家の近所にあった支部はそんな感じだった。

Masayuki Isobe

@chiral

May 12, 2023

大丈夫。俺がいる。絶対成功させてやる。

Quote

森山和道／ライター、書評屋

@kmoriyama

May 11, 2023

PFNやPFRの人たちの技術がすごいことには誰も疑いを持ってないと思う。問題は、技術が凄いこととビジネスの成功はイコールではないし直結もしないこと。

昔はUNIX（本家）が開発されてからLinuxが開発されるまでに15年以上掛かってたのに、今はChatGPT（本家）からRWKV/Alpaca/GPT4all等が公開されるまでに半年も掛かってない、というこの驚異的なスピード感。凄まじい。

女性がほぼ一人で全てアセンブラで書いたアポロ１１は月まで行った。いっぽうJavaやCOBOLで書かれたみ○ほ銀行勘定系システムは２０万人月の工数を掛け、完成しなかった。

Masayuki Isobe

@chiral

May 8, 2015

Chip OSというLinuxベース「ではない」独自OSを作ってるらしく、ググると論文出てくるので読んだらOSの一部をFPGA化してたりとか結構アツい RT わずか1000円の激安コンピューター「CHIP」とは？ - GIGAZINE gigazine.net/news/20150508-

Masayuki Isobe

@chiral

Apr 12, 2023

これは解説を欲してる人には合わないが、機械学習の基本知識がある人で、「論文を読んでも擬似コードしか掲載されてなくて行間を読むのがダルい」人や、「Transformerベースの手法間の定式化の違いをキッチリ知りたい」人にとってはピッタリの、「Transformer系アルゴリズム定式化カタログ」的な文献。

Quote

Lior Alexander

@LiorOnAI

Apr 10, 2023

Deepmind released a comprehensive overview of transformer architectures and algorithms! This is a must-read to understand language models. It covers what they are, how they are trained, what they are used for, and their key architectural components. arxiv.org/abs/2207.09238

意識回復した冨田真由さんがこれからの人生で味わう苦悩と、あの加害者が仮に事件を起こさずに非モテを受け入れて静かに暮らしていた場合に彼が味わう人生の苦悩とを、僕はどうしても天秤に掛けてしまうよ。その天秤は、倫理的には「ナシ」だとわかっていても、僕の心が自発的に天秤に掛けてしまうよ。

Masayuki Isobe

@chiral

Apr 19, 2023

記事が公開されました〜!（文系でもわかる、は編集者の人に強調されました笑）

sbbit.jp

【文系でもわかる】ChatGPTの“限界”はどこか？知れば「怖くない」その仕組みとは

さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」は、最新版のGPT-4が登場し、ますます盛り上がりをみせています。一方で、ChatGPTを禁止する国や大学の動きも報道されています。本記事は、GPTを支える仕組みをChatGPTユーザーにとってわかりやすく説明し、その能力と限界についての見通しをよくするための記事です。

この捉え方良いな〜。知能が人間の特権だという観念はかつての天動説に匹敵するくらいの迷信かもしれないってか。

Quote

山本一成

完全自動運転AIを作るチューリングのCEO

@issei_y

May 3, 2023

科学はおおよそ一貫して宇宙の中における我々の平凡さを暴き続けてきた。まあだから科学は実は結構嫌われていたりするのですが。

Replying to

娘がグレた、なんちゃって

Replying to

and

同じように安易に入って溺れ死ぬ子供が出ないように、子供でも分かるように死んだ子の名前を付けているんじゃないかな、と推測します。

Masayuki Isobe

@chiral

Apr 10, 2023

今日のプレゼンスライド置いときます。みんなイケてる発表ばかりでショボいけど、まぁ僕も実装してるぜアピールってことで笑

drive.google.com

LLM Meetup Tokyo #1 Masayuki Isobe.pdf

「なぜ数学のような無限に広がる森羅万象を相手にする世界の基本ツールに、有限群のようなツールが出てくるのか疑問だったけど、有限群便利なことあるんですね」「そりゃそうでしょ、今何時？ってのだって無限に続く時間を位数12の巡回群という対称性で切り取ることで認識可能になってるわけだし」

Masayuki Isobe

@chiral

Nov 20, 2023

これはマジでそう。いかなる企業リソースも「アルゴリズム的な技術力」＜「自社データの質と量」という「経済的価値における原則」からは逃れられない。僕はかつて（統計検定1級を持つ）知人から転職相談された際に「自社データを持つ企業を優先的に狙うべし」とアドバイスしその人は転職に成功した。

Quote

Akinori Machino

@amachino

Nov 20, 2023

OpenAI、計算資源はほとんど Azure で自社保有してないだろうし、人的資産がなくなったら残るのは大赤字を垂れ流す ChatGPT のみ。すぐに資金は尽きるだろうし、今の形の ChatGPT サービスを使える期間は長くなさそう。

超面白い。こんな研究を公開するなんて、グーグルはなんてすごい会社なんだ。まじですごい RT グーグルが突きとめた！社員の「生産性」を高める唯一の方法はこうだ gendai.ismedia.jp/articles/-/481

Masayuki Isobe

@chiral

Sep 15, 2023

まずは全員が食えて結婚して子供作れる社会にするほうが先で、その後カーボンニュートラルとかサステナビリティとかをやるべきっていう話をしてるのでは

Replying to

積和部分がビット演算で活性化関数が256階調ってことは、要するに「可決にする票数が50%ではなく（1/256%単位で）任意な多数決」的な、ちょっと決定木っぽいレイヤを多層にしたモデルという感じがする。確かに汎用性ありそう（どのみち活性化関数で閾値弁別するので手前の積和がアバウトで大丈夫そう）

気づいたら、はてブ300超えてました。ありがとうございます。100超えたのは9年ぶりくらいか。続き遅れてますが執筆中です。少々お待ちください。（NLPの専門家ではないですが内容は正しいはずです）

GPTの仕組みと限界についての考察（１） - conceptualization

From isobe324649.hatenablog.com

恐ろしいビジネスを見てしまった。。IKEAの商品を二倍の値段で売るというだけのeコマースサイト。注文が入ったらIKEAで買って送るだけらしい。。しかも複数サイトある。。これは以外と情強でも引っ掛かるかも。。サイトの注意書にIKEAと提携してない旨、記載されてはいるんだけど。。

Masayuki Isobe

@chiral

Jun 17, 2023

同時に満たす面積ゼロなのわろた

Quote

じゅそうけん

@jyusouken_jp

Jun 17, 2023

大学紹介「東京工業大学」「合コンしたくない大学」ランキングトップを独走する名門男子大学である。「社会性」「創造性」「人間性」を同時に満たす学生が1人もいないことで知られる。

あまりにサラッと書いてあるのでひっくり返りそうになった。。代数幾何めっちゃ応用広そうじゃんか！ - 「データから構造を学習することは、代数幾何を考えることと等価です。」by 渡辺澄夫先生 ibisml.org/archive/ibisml

Masayuki Isobe

@chiral

May 15, 2023

あの形そういう意味だったのか x.com/electric_4u/st

This post is unavailable.

いや僕も気持ち的にLLM無職になりかけたけど、今の勤務先にまだ借りが沢山あるので、今の会社を大きな会社になるまでいっぱい貢献して、その過程で僕もロボティクスソフトウェア開発のプロと胸をはれるくらいスキル付けて、そしたらもう一回起業したいと思ってる。

AIが今できないことのうち最後まで残りそうなのは「責任を取ること」だと思う。その責任とは何ぞや。責任って「それを引き受ける『人格』」と不可分だとすると、じゃあ「人格」とは何ぞや。って感じで、哲学的な考察が必要に迫られる。こういう、技術と哲学が交差するテーマに僕はすごく興味ある。

これは考えさせられるなぁ。。中学生や高校生のインターンを取って教えよう。マジで RT 学校で浪費される無駄な10年をどーにかすべき論 - Chikirinの日記 (id:Chikirin /

@InsideCHIKIRIN

) d.hatena.ne.jp/Chikirin/20160

Masayuki Isobe

@chiral

Apr 2, 2023

ChatGPTに質問したら一瞬で解決した。 "行動経済学でいう「ナッジ」と、認知心理学でいう「アフォーダンス」の違いがわかりません。"

社内向けにデモ作ったった（詳細は企業秘密） (今日のOpenAPI課金は計0.3$) embeddings API + vector database (ex. Weaviate) + Completion API + prompt engineering = 最強英語圏では知識ベースをChatGPTにつなぐアーキテクチャはあちこちで考察されてるけど、日本語圏だと語ってる人全然見ない。