背景

• これまでに書いた記事（圧縮進歩理論、シャノンの情報量と相互情報量、世界と知能の関係）を並べて見返していて、ふと疑問がわいた
• 「知識とは圧縮であり、人はランダムでも完全な規則でもない、その中間でかつ学習可能なものに興味がわく。圧縮できれば世界を理解できるから、我々はそれを好むように出来ている」ということなのか、という疑問
• 結論から言うと、かなり本質を捉えていたが、重要な違いが1つある。人間が好むのは単に「圧縮できるもの」ではなく、「新たに圧縮できるようになるもの」だということ

複数の理論を「圧縮」という観点で並べる

• 研究対象はそれぞれ異なるが、複雑に見えるものの背後に、より単純な構造が存在するという発想で結びついている
• このうちSP Theory of Intelligenceは、Gerry Wolff（CognitionResearch.org）らが提唱する理論で、Schmidhuberの圧縮進歩理論とは焦点が異なる
  • SP Theory of Intelligence: 知能そのものが、パターンの統合による圧縮という仕組みでできている、というメカニズムに焦点がある
  • 圧縮進歩理論: 圧縮が上達すること自体が、なぜ快・興味深さを生むのかという動機づけに焦点がある
• SP理論の具体例として、“New York"のような短いコードが、都市に関する膨大な知識を代表する「チャンキング・ウィズ・コード」という考え方や、文法構造の解析にバイオインフォマティクスの多重配列アラインメントを応用した「SP-multiple-alignment」という仕組みがある

なぜ人はランダムと完全な規則の中間を好むのか

• 音楽で考えると分かりやすい
  • 同じ音が延々と繰り返される: 予測が簡単すぎて飽きる
  • 音が完全にランダムに鳴る: 予測する規則が見つからず、理解が進まない
  • 一定のリズムや旋律があり、ときどき意外な展開がある: 規則を学習しながら、新しい発見ができる
• 面白いのは、同じ音楽でも聴く人の知識によって面白さが変わること。初心者には無秩序に聞こえるジャズが、経験者には豊かな規則性と意外性を持つ音楽に聞こえる
• つまり、面白さは対象だけで決まるのではなく、対象の複雑さと、観察者が現時点で持っている圧縮能力の関係で決まる
• これは、以前の記事（圧縮進歩理論）で扱った、興味深さ$I(D, O(t))$を主観的な美しさ$B(D, O(t))$の時間微分として定義する考え方と対応している

なぜ生物は圧縮を好むように進化したのか

• 世界の規則性を発見できる生物と、できない生物がいたとする
• 規則性を発見できる生物は、過去の経験を使って、まだ経験していない状況にも対応できる
• 例えば「この赤い実を食べたら体調が悪くなった」という個別の経験を、「この特徴を持つ実は危険かもしれない」という一般的な知識に変換する。これも一種の圧縮
• 経験を一つずつ記憶するのではなく、共通のルールを獲得することで、少ない記憶から多くの未来を予測できる。こうした能力は、生存や繁殖に役立った可能性がある
• そのため、規則性の発見や学習の進歩に報酬を感じる仕組みが進化した、という説明には合理性がある
• ただし、これは進化的な解釈であり、「人間の好奇心が圧縮のためだけに進化した」と証明されているわけではない

LLMと多様体仮説

• 世界の観測データは膨大だが、その背後にある生成要因は、観測データの次元ほど多くない可能性がある
• 例えば、無数の顔写真も、顔の向き・照明・表情・形状など、比較的少数の要因の組み合わせで変化する。多様体仮説は、このような低次元構造が高次元データの中に存在するという見方
• LLMも、膨大な文章に含まれる規則性をパラメータに学習することで、未知の文章を予測できるようになる
• ただし、LLMの学習は厳密には可逆的なデータ圧縮ではなく、多様体仮説も「世界全体が少数の法則に還元できる」ことを証明したものではない
• また、圧縮できることと、真に理解していることも同義ではない。誤った規則でも手元のデータを短く説明できる場合があるため、未知の状況への予測力や因果的な妥当性が重要になる

知識・理解・好奇心・面白さの整理

• ここまでの話を整理すると、次のように区別できる
  • 知識: 世界を圧縮して表現できるようになった状態
  • 理解: その表現を使って説明や予測ができる状態
  • 好奇心: まだ獲得していない理解に近づこうとする動機
  • 面白さ: 理解が進む過程で生じる感覚
• この整理は1つの統一的な解釈であって、すべての研究分野で合意された定義ではない
• ここには1つの逆説がある。私たちは世界を理解したいから学ぶ。しかし、完全に理解できてしまうと、そこから学ぶ楽しさは失われる
• つまり、人間が求めているのは、必ずしも「すべてを理解し終えた状態」ではなく、「理解できなかった世界が、少しずつ理解できるようになっていく過程」そのものなのかもしれない

散歩中に好奇心が生まれるとき

• では、特に何かを学ぼうとしていない、ただ外を歩いているときにも、この仕組みは働いているのか
• 脳は常に「次に何が起こるか」を無意識に予測していると考えられる。いつもの住宅街を歩いていれば「次の角には公園がある」と予測し、予測が当たっている限り特別な注意は向かない
• 見慣れない細い路地を見つけると、予測が少し外れる。ここで好奇心が生まれるかどうかの分かれ目がある
• 例えば、地面に落ちている無意味な数字の羅列を見ても、普通はそれほど興味を持たない。一方、古い家の壁に「昭和3年」と刻まれていたら、「なぜここに？」「この建物は何だったんだろう？」と気になるかもしれない
• 違いは、すでに持っている知識と、新しく見つけた情報が結びつく可能性があるかどうか。「街の歴史」「建物の用途」「昔の暮らし」といった既存の知識を使えば、謎が解けるかもしれないと感じられるかどうか
• つまり、好奇心は単なる情報不足では生まれず、解消できそうな情報不足によって生まれやすい
• これは、心理学者George Loewensteinが1994年に提唱したInformation Gap Theory（情報ギャップ理論）の考え方と一致する。この理論では、好奇心は知識のギャップを知覚することで生まれるとされ、ギャップが「埋められそうだ」と感じられること、そしてそもそもある程度の予備知識があることが条件になるとされている
• 脳の中では、海馬（記憶や新規性の処理）、前頭前野（価値や行動の評価）、ドーパミン系（動機づけや学習）などが関与すると考えられている。ただし、ドーパミンが単純に「圧縮できた快感」そのものを表しているわけではなく、好奇心がすべてこの順序で生じるとも限らない

なぜ脳は予測できないものを無視せず、調べようとするのか

• 未知のものにも種類がある
  • 既知の規則: もう学ぶことが少ない
  • 学習可能な未知: 発見の余地がある
  • 学習困難な未知: 調べても進歩しにくい
• 圧縮進歩理論の考え方では、脳は単に予測誤差が大きいものに興味を持つのではなく、予測誤差を減らせる見込みがあるものに興味を持つ
• 完全にランダムな現象は、いくら観察しても規則性を発見できない。一方、少し複雑だが規則がありそうな現象なら、観察を続けることで予測能力が改善するかもしれない。好奇心は、学習の効率を高めるための仕組みとして理解できる
• ただし、人間は実用的な利益がないことにも強烈な好奇心を抱く。宇宙の外側には何があるのか、なぜ数学は自然界を説明できるのか、といった疑問は、必ずしも明日の生存には役立たない
• 1つの説明は、脳が情報獲得や学習そのものに報酬を与える仕組みを持っている、というもの。これは強化学習でいう内発的報酬に近い発想で、この仕組みが一般化されているため、生存に直結しない数学・科学・芸術などにも働く可能性がある
• ただし、抽象的な好奇心のすべてが進化的な副産物だと証明されているわけではない

能動的推論（Active Inference）

• Karl Fristonらが提唱する能動的推論という枠組みでは、生物は感覚入力を受け取るだけでなく、自分から行動して何が起きているのかを確かめる存在としてモデル化される
• 例えば、暗い部屋に何かがあるとき、ただ眺めているだけでは正体が分からない。そこで近づいたり、照明をつけたり、別の角度から見たりする。これは、行動によって不確実性を減らすということ
• Fristonらの2017年の論文では、こうした情報を求める行動（epistemic behavior）が、世界に関する生成モデルの説明できない部分を埋め、不確実性を減らすと論じられている
• ただし、不確実性を減らす行動と、未知を避ける行動は異なる。能動的推論では、好ましい状態を保つことと、情報を獲得すること（epistemic value）の両方が行動選択に関わるとされる
• 面白いのは、将来の不確実性を減らすために、今はあえて不確実な状況へ踏み込むことがあるという点

好奇心の3つの説明を重ねる

• これらは互いに競合するわけではなく、異なるレベルから同じ現象を説明していると考えられる
• まとめると、人間は世界を圧縮したいから好奇心を持つ、というより、世界の規則性を学ぶことが生存上有利だったため、その学習を促す好奇心という仕組みが発達し、その結果として、私たちは圧縮可能な構造の発見に喜びを感じるようになったのではないか、という解釈ができる

ゲームにハマる理由

• ここまでの話は、ゲームにハマる理由の説明にもかなり使える
• むしろゲームは、人間の脳が好む「学習可能な複雑さ」を人工的に作り出したものとも言える

ゲームは「圧縮進歩」を繰り返し体験できる

• 初めてアクションゲームをプレイするときの流れを考えてみる
  • 最初は予測できない: 敵の動きが分からず、何度も負ける。脳にはまだ敵の行動パターンがない
  • 規則性を発見する: 「敵は攻撃前に一瞬止まる」と気づく。バラバラに見えた動きが、1つの規則で説明できるようになる
  • 予測して勝てるようになる: 敵の攻撃を回避し、倒せるようになる。学習によって予測と行動が改善し、達成感が生まれる
  • 新しい未知が現れる: 次のステージでは新しい敵や仕組みが登場し、再び学習が始まる
• つまりゲームは、未知 → 探索 → 規則発見 → 上達 → 報酬 → 新しい未知、というサイクルを繰り返すように設計されている

なぜ簡単すぎても、難しすぎてもつまらないのか

• これは心理学のフロー理論（Flow Theory）ともつながる
• Mihaly Csikszentmihalyiが提唱したこの理論では、課題の難易度と本人のスキルが釣り合っているときに、集中して没頭する「フロー状態」が生まれるとされる。難易度がスキルを大きく上回ると不安に、逆にスキルが難易度を大きく上回ると退屈になる
• ゲームが上手くなると、以前は難しかったステージが退屈になる。そこで新しい敵、複雑なルール、より難しい課題が必要になる
• ゲームは、プレイヤーの圧縮能力の向上に合わせて、新しい圧縮課題を与え続ける仕組みと捉えられる

ゲームへの「ハマり」は圧縮だけでは説明できない

• ゲームには、学習以外にも人を引きつける仕組みがある

• 例えば、ガチャを何度も引きたくなる現象は、圧縮進歩というより、不確実な報酬への期待が関係する
• 友達とゲームを続けるのは、学習だけでなく社会的な楽しさが大きい
• つまり、ゲームの魅力のすべてが圧縮に還元されるわけではない

ゲームと現実世界の違い

• 現実世界では、努力しても成果が出るとは限らない。勉強しても試験に落ちることがあるし、仕事でも正しい行動が必ず報われるわけではない
• 一方、多くのゲームには次のような特徴がある
  • ルールが比較的明確
  • 行動に対するフィードバックが速い
  • 失敗しても再挑戦しやすい
  • 上達がスコアやレベルで可視化される
  • 成長に応じて新しい課題が現れる
• つまり、現実では曖昧になりがちな「自分は世界を理解し、コントロールできるようになっている」という感覚を、ゲームは高密度で提供できる。これが、ゲームが強い没入感を生む理由の1つと考えられる

ゲームと科学的探求の共通点

• 人がゲームにハマるのは、理解できなかった世界の規則を発見し、自分の力で攻略できるようになる喜びを、繰り返し味わえるから、とまとめられる
• ゲームが面白い理由と、科学者が研究に没頭する理由は、部分的には同じ原理で説明できるかもしれない。どちらも、未知の世界に挑み、規則性を発見し、以前はできなかったことができるようになる営みだから
• 違いは、ゲームでは人間が学習しやすいように世界が設計されているのに対し、科学では自然界そのものを相手にしていること

なぜ世界は学習可能なのか

• もし世界が完全にランダムなら、知識も科学も、進化による適応も、今のようには成立しない
• 逆に、すべてが簡単に予測できる世界なら、複雑な知性を発達させる必要性も小さくなるかもしれない
• 私たちの知性と好奇心は、規則性がありながら、完全には予測できない世界の中で発達してきた、と考えることができる

まとめ

• 知性とは、世界の複雑さの背後にある規則性を発見し、少ない情報で世界を説明・予測できるようになる能力であり、人間の好奇心や美的感覚は、その能力を発達させる方向に働いていると考えられる
• ただし、人間が好むのは単に「圧縮できるもの」ではなく「新たに圧縮できるようになるもの」であり、この違いが、散歩中にふと生まれる好奇心のような、何気ない場面にも通底している
• 好奇心は、進化論・圧縮進歩理論・能動的推論という、複数のレベルの説明が重なり合うことで理解できる
• 私たちが求めているのは、すべてを理解し終えた状態ではなく、理解できなかった世界が少しずつ理解できるようになっていく過程そのものなのかもしれない

参考文献

• Schmidhuber, J. (2008/2009). Driven by Compression Progress. arXiv:0812.4360
• Loewenstein, G. (1994). The Psychology of Curiosity: A Review and Reinterpretation. Psychological Bulletin, 116(1), 75-98.
• Friston, K., FitzGerald, T., Rigoli, F., Schwartenbeck, P., & Pezzulo, G. (2017). Active Inference, Curiosity and Insight. Neural Computation, 29(10), 2633-2683.
• Wolff, J. G. Information Compression as a Unifying Principle in Human Learning, Perception, and Cognition - Research Outreach
• Csikszentmihalyi, M. (1990). Flow: The Psychology of Optimal Experience. Harper & Row.
• 圧縮進歩理論
• シャノンの情報量と相互情報量
• 世界と知能の関係