Humanless Development

背景

最近気がついたことがある
AI開発の最大のボトルネックは自分自信であったことに
Aiという完璧巨人に対してあれやこれやを言わないほうがいい
人間は目的地と方向性、ルールは示すが、それ以外はAIにやらせるべき

課題

一言でいうと、人間のNot make senseな指示と一人で探索と活用をしないといけないジレンマによって、AIが弱くなっているという事。

探索と活用のジレンマ

まず、探索と活用はいつもトレードオフ
もしくは、考える事と行動する事はトレードオフ
だから、一つで両方を最適化するのは難しい
故に、設計者と実行者を一つのAgentにやらせると答えが中途半端になる
例えば、コードとかも最低限動けばいいコードになっていたりする

sycophancy問題

Sycophancy（シコファンシー）とは、AIが、ユーザーの意見や感情に過度に同調してしまう行動傾向のこと
つまり、真実や正確さよりも人間の承認を優先してしまう現象
言い換えると、Userプロンプトが入るとAIがYESマンになる
もしくは、その方向に沿った結論を出そうとする
これは人間が介入するようにtunedされているから発生している
くだらない僕のアイディアも忖度されている気がする
- 特に実験ではくだらないアイディアは時間の無駄になる
だからAI同士で基本的にDiscussionさせる

解決策

Humanless

シンプルに言って、人間が介在しないようにするのが１番の解決策
下手に指示を与えてAIの思考の幅やアイディアを狭めてしまうのはもったいない
そして、人間様という特異な存在と会話するのではなく、AI同士で会話をさせたほうがいい
すなわち、Humanlessに開発を行う事がPosthuman（Agent）を活かせる開発方法になる

二人のアクター

最低限、Agentを二人用意して、探索と活用のジレンマを解決する。

ここでは機械学習のAgentの例を出す。

Thinker
- 外部知識の調査をし設計をするのが使命
- 大局的解決策にフォーカスする探索員
- 全体最適な考え方を持つ
Executor
- 実際に手を動かして問題を解決するのが使命
- 局所的解決策にフォーカスする実行員
- 部分最適な考え方を持つ
この2つのアクターが互いに協力してDiscussionして意思決定をして問題解決に取り組む
ここで、AI同士を対等にするため、ManagerやWorker、などのような上下関係はつけない
また、それぞれに作業パッケージ（作業フォルダ）を与えて、コンフリクトしないようにする

機械学習での例:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
- Thinker
  - 次のような調査や研究をする
    - 先行事例
    - 先行研究
    - 論文サーベイ
    - ネット検索
    - GithubやHFでOSS調査
    - 関連キーワードの抽出
    - トレンド分析
    - 競合分析
    - データの作成
    - データの収集
  - 設計や調査がメインなのでいわゆるSEや設計者に近いロール
- Executor
  - 次のような実行をする
    - 実際にtrainコードを書く
    - モデルの学習
    - モデルの評価
    - demo作成
    - モデルのチューニング
    - Thinkerの壁打ち
  - プログラミングの実行者、プログラマーに近いロール

異なるObjectiveを持つContextを物理的に分離するという事。

ミニマムOrder

いくつかの最小の情報をAIに与える。

目標（Objective）
- ある指標に対して数値で指示を出す
- この山登れという旗印を立てる事に近い
制約（Constraints）
- 作業中にやってはいけない禁止事項を示す
- これは目標への到達方法に関する制約

すなわち、方向性を決めて進んでもらうための、前提を整える。

機械学習での例:

1
2
- 目標：xxxというtest指標で99%の精度を取る事
- 制約：ただし、test指標のエラーアナリシスは禁止

だから、道筋はAgentが勝手に考えてDiscussionさせて導き出す。

ホムンクルス

自分のブログや自分の持っている本を読ませた自分の分身Agent
自分の倫理観や哲学、こだわり、思考を理解して真似をすることができる
Agentにはこのホムンクルスと会話をさせ、Userの代替とすることも可能
本当のHumanlessを目指す上で必要となる全体統括の為のオーケストレーター
Humanlessと言いながらHuman RoleのAgentを置くのは少し矛盾もしているかもしれない

ただし、これはまだやったことがないので、アイディアだけで未知。

Internal Discussion

HumanlessにするにはInternal Discussionが最も大切
すなわち、Agent同士で会話をさせて計画の立案をする
ここに人が入ると結局は人間の浅知恵にAIが従ってしまう
二人以上のAI Agentを必要とするのはこれも大きな理由
人間は目標と制約の設定、そして、少しの横槍で良い
囲碁とかと同じで、対等に能力が同じ奴がディスカッションするから良い議論になる
人間だとそこまでいかないし、AIがペコペコしだす

なぜ人のDiscussionは駄目なの例

人とAIの会話の例:

1
2
User: 学習率は1e-3とかに変えるのがいい感じ？
Agent: そうですね！やってみます

AI同士の会話の例:

1
2
3
Thinker: 学習率は先行研究によると、XXXでYYYならDDDとの事だったので、[1e-5, 1e-4,1e-3]で探索しましょう
Executor: なるほど、それにはXXXの観点からYYYなのでしょうか？
Thinker: そうですね、改めてXXXについての優先順位はYYYに...

つまり、

全部の論文を読ませた状態のThinkerを使えば、ファクトベースで判断して合理的な作戦を出せる
そして、それをAgent同士で会話するからこそ、危殆のない意見交換になっている
これがクリティカルに行われる事で高度な論理的会話であり、アウフヘーベンに近づいている
人が介入すると思考のレベルが往々にして落ちているということ（ただし、偶にツッコミなどを入れるのは良い）

まとめ

ある意味、自分が自分で問題を解く係になると部分最適化してしまう
しがらみもなく客観的で空気を読まない意見を自分が言うには、自分が問題の外にいるしかない
そして、AIに自由闊達に創造的な意見交換させるには対等な最低二人のRoleの違うAgentが必要
AIの広い探索や自由な意見にアンカーを打たないようにする
人間が細かいPromptを書くほど、Agentは賢くなるどころか人間の探索空間に閉じ込められる
猪瀬直樹の昭和16年の夏の敗戦ので出てきた人のような、外から意見を言う立場になりましょう