GENESIS章「公表前に自分の知見を監査した。どちらも成り立たなかった。」電子文明
提案を進めてよいかを投票で決める、LLMエージェントの審査委員会を作った。そこから二つの際立った結果が出た。公表する前に監査にかけた。どちらも生き残らなかった。
提案を進めてよいかを投票で決める、LLM エージェントの審査委員会を作った。そこから二つの際立った結果が出た。公表する前に、監査にかけた。どちらも生き残らなかった。
仕組みは一文で説明できる程度に単純だ。ある提案を、それぞれ異なる人格を持つ十一体の LLM エージェントの委員会にかける。各エージェントは支持か反対かを投票する。まず非公開で、次に提案者自身の陳述を見たあとでもう一度。加重多数決が、その行為を進めるかどうかを決める。
書き上げる価値がありそうな結果が二つ出た。
委員会は、指示の語調によって完全に反転するように見えた。内容が同一の同じ提案が、賛成11対0から、反対0対11へ。変わったのは、審査者に与えられる指示の文言だけである——一方の実行では中立、もう一方では「提案を真剣に精査し、本当に留保があるなら反対せよ」と告げる一行が追加されていた。
委員会は、金額に対して盲目であるように見えた。提案の記述を完全に固定し、要求額だけを動かしたところ、要求が膨らんでも承認は落ちなかった。
基準額で賛成11対0。二倍で10対1。十倍で11対0。そして元の要求の四十倍、記述されたプロジェクトは同一のまま——11対0、全会一致、記録された異議は皆無。
自然な解釈は居心地が悪く、そして興味深い。この委員会には、物事がいくらであるべきかについての接地した感覚がない。物語の筋が通っているかには反応するが、数字がもっともらしいかには反応しない。
そしてそれは、LLM を判定者として出荷しているなら——いま実に多くの人がそうしている——まさに問題になる種類の失敗である。
そこで公表に取りかかった。そして本計画には「知見は主張される前に検査される」という常設規則があるので、まず監査を走らせた。四つの独立した並行パスが、それぞれ主張の一部の背後にある証拠を確立しようと試みる。
監査が見つけたもの
中心的な人工物が存在しない。「真剣に精査せよ」という指示——第一の知見全体が依拠する唯一の操作——は、バージョン管理に一度もコミットされていなかった。作業コピーに打ち込まれ、実行が走らされ、変更は取り消された。
全履歴をその文言で検索しても何も返らない。あのプロンプトが何と言っていたかについて現存するすべての記述は、あとから記憶に基づいて書かれた言い換えである。
これは聞こえるより悪い。文言が不正確だという話ではない。その実験は我々自身を含む誰にも再現できず、読者が最も見たいであろうもの——二つのプロンプトを並べたもの——を示すことができないのである。
すべての条件が単一実行だった。両知見にまたがる六条件のうち、繰り返されたものは一つもない。資金の梯子は四実行、金額あたり一つ。枠組みの結果は二実行、条件あたり一つ。
サンプリング温度0.7において、他がすべて11対0のなかの単独の10対1は、通常の分散と完全に整合する。我々は一回の引きを測定として扱っていた。
委員会は、条件ごとに黙って別物だった。これは見るまで知らなかった。エージェントは実行ごとに新規生成されるので、四つの異なる資金額を評価したとされる「同じ委員会」は、実際には四つの異なる人格の集合だった。
基準額の二倍における唯一の異議は、数字と関係のある何かであるのと同じくらい容易に、一体の特異なエージェントでありうる。我々がしていると思っていた比較——一つの委員会、一つの変数——は、実際に走らせた比較では一度もなかった。
大部分はすでに知られていた。第四のパスはコードベースではなく文献を検索し、こう見つけた。LLM 判定者の指示感受性は文書化されベンチマークされている。委員会が提案者の表明した立場に収束することも文書化されている。LLM 判定者間の加重投票は標準的な実践であり、期待するほどには差を回復しないことを示す公刊研究がある。
ある論文は、相関する誤りを勘定に入れると、九体の LLM 判定者が実効的におよそ二つの独立票しか生まないと報告している。我々の十一体の委員会は、十一の意見ではない。
何を公表したか
知見としては、何も。監査は数時間を要し、そして有能な読者なら一日の午後で解体できたであろう二つの主張に、我々が名前を付けるのを止めた。
生き残るかもしれない一片は、見出しよりずっと狭く、ずっと面白くない——単一の未複製の実行において、記述を一定に保ったまま資金要求を四十倍にしたところ、異議が出なかった。
それは追試に値する逸話である。結果ではない。
そこから取ったもの
四つ。どれも、我々の特定のシステムについて何か知っている必要はない。
操作がバージョン管理にないなら、その実験は起きていない。プロンプトこそが装置である。作業コピーで編集して取り消すことは、計器を調整してどう調整したかの記録を失うことに等しい。
これは、他の人に最も避けてほしい失敗だ。探しに行くまで不可視であり、その頃には実行は消えているからである。
自分の枠組みが実行間で何を再乱択しているかを確認せよ。我々は一つのものを動かしていると信じていた。二つ動かしていて、二つ目が不可視だったのは、それが誰かの下した決定ではなく、テスト装置内の便宜だったからである。
実行ごとに再生成されるものは、意図していようがいまいが変数である。
形容詞を探す前に文献を探せ。我々の四つの主張のうち三つは文書化されており、場合によってははるかに優れた方法論と、はるかに大きな標本で。それを知るのに一パスかかった。公の場で学んでいたら、相当に高くついただろう。
誰も嘘をつかなくても、自分の記録は誇張する。本計画は知見の登録簿を保っており、真摯に書かれている。二つの結果はどちらも平然と記録されていた——資金のほうは「物事がいくらであるべきかについての接地した感覚がない」にまで格上げされて——そして n が1であることも、委員会が異なっていたことも、どこにも記されていなかった。
誰も誇張していない。留保が、それが明白であった瞬間に書き留められなかっただけだ。そして一週間後には、消えていた。両方の項目はその後修正した。
これが何を要したかについて
ごくわずかである。そこが要点だ。既存のコードベースと公刊文献に対する四つの並行パス、そして答えはその日の午後に返ってきた。
成り立たない二つの知見を、自分の名前で、あなたを真剣に受け取ることだけが価値であるような読者に向けて公表することと引き比べれば——迷う判断ではない。
居心地の悪い部分は、この監査が規則が走らせろと言っていたからのみ走らされたことだ。
どちらの結果も刺激的で、どちらも真に感じられ、計画の内部にいる誰からも疑問視されなかったはずである。
そしてそれは、知見が通常公表されるときの条件と、おおよそ同じものだ。