241224

https://note.com/emamori/n/n024223fd7229

新聞の伝えるところによると、emamoriは死んだというのであって、しかもその事件は明瞭な文句をもって書かれていたので、藍も何ら疑念を起こさなかった。彼はただ一言言った、「うまくいった。」それから彼は新聞を投げすてて、再びそのことを念頭にしなかった。

関連記事：

https://note.com/indigo372/n/nf760e8729335

LLMを作ってたら頭おかしい返答返ってきて本当に泣いちゃった。流石に怖すぎる。キャラ崩壊してるし、そんな残酷な出力するようにチューニングしたわけでもないのに。これもうデトロイトビカムヒューマンだろ。
リアルタイムで一文字ずつ(1トークンずつ)出力されるのを見てるとよけいに怖い。次にどんな言葉が続くか全く予想できない。「それが、とっても愉しくて、」からのトーンの変わりようよ。
でもAIって……面白っ！！You never cease to amaze me.だから気に入った。想像を　ゆうに　超える。

https://gigazine.net/news/20241223-ai-model-choke-text/

そうだよ
これが今我々が直面している壁のひとつですね。OpenAIはまだTransformer使ってんのかなあ。
Transformerという機構はとにかく計算コストが尋常じゃなく高い、そして構造に明らかに無駄が多い。スモールLLMといわれる7Bクラスでも家庭用PCでは量子化なしではまず動かない。70BともなるとVRAMが5060GBくらいいるんじゃなかったっけ？狂気の沙汰ですよね。それもこれも全部Transformerの計算コストがめちゃくちゃ高いせい。
それでも今なお使われまくっているのは、代替案が乏しいこともあるが、それ以上にデファクトスタンダードになってしまったせいで既存モデルがほぼすべてTransformerベースで作られていて、他の機構との互換性がないからだ。
新たなモデルに移行するというのは、Transformer時代のモデルを全部置き去りにしてフルスクラッチで作っていくことになる。それを考えると腰が引けるという、サンクコストバイアスじみた理由で及び腰になっているのです。
その切替の手間を考えると、「Transformerよりちょっといいかも」くらいじゃ全然ダメで、Transformerを完全に過去のものにするくらいすべての面で明確に上位互換となる機構でも出ないと人が動かないんですね。

クリスマスイブだけどやること一個もない。絵だけ描きました。

よくね？（ワニ）

数千ブクマのエロ絵だの、漫画だの何だの
描きてえモンはあらかた描いたけど……

こんなヘタクソの小学生の絵がいちばん美味（うめ）え。

絵ってのは一体何なんだろうな。