世界と知能の関係

Thu, 17 Sep 2026 12:00:00 +0900

背景

Xで、世界の構造と知能の関係について整理した投稿を見かけた
多様体仮説から出発して、知能を「圧縮・予測・制御」として捉え直す、一貫した論の流れが面白かった
そこでAIで日本語でまとめ直しながら記事にした

In machine learning and information theory, there is a famous intuition known as the manifold hypothesis. Data generated by the real world often nominally possesses extremely high dimensionality: a high-definition image may correspond to millions of pixel dimensions, while natural language, audio, protein sequences, and behavioral trajectories all exist in enormously vast state spaces.

But meaningful data does not scatter uniformly across these spaces; it gets compressed into an extremely small, highly specialized structural region. A randomly generated million-pixel image is almost impossible to coincidentally form a real human face, because natural images are simultaneously constrained by numerous factors such as identity, pose, lighting, perspective, object structure, and physical laws. The manifold is simply a geometric expression of this low-complexity structure; more generally speaking, machine learning truly works because data from the real world is fundamentally not random noise.

This is also the most important starting point for understanding intelligence. The first condition for the existence of intelligence lies in the world possessing predictable structure. If the future and past in a universe were completely independent, then neither the human brain, a Transformer, nor an infinitely large supercomputer could improve predictions of the future through observations of the past, because the world would leave behind no learnable patterns at all. White noise cannot be understood, nor predicted. Therefore, the very existence of intelligence implies that the universe is not a chaos of maximum randomness, but contains vast cross-scale stable statistical dependencies, geometric constraints, compositional structures, dynamical laws, and causal relationships.

From this perspective, what machine learning does is seek compressible regularities amid massive observations. A model that has seen a billion human faces does not need to store a billion pixel copies in its parameters; what it needs to form is a generative structure around latent variables like identity, contours, pose, lighting, and spatial relationships, ultimately approximating with a model far shorter than the entire training data itself. Thus, Learning is, in a very deep sense, Compression. If a vast data collection can be described by a shorter generative program, then what the model gains is regularity. This aligns highly with the intuition of Kolmogorov Complexity. How long exactly the shortest program required to generate or describe this data is represents an important question.

However, data nonuniformity alone is still insufficient to produce intelligence. Even if a variable takes the value 0 with 99% probability and 1 with 1% probability, its distribution is extremely uneven, yet it may lack any complex structure. What matters is the existence of exploitable dependencies between variables. Whether knowing X can reduce uncertainty about Y is what constitutes information. What Mutual Information I(X;Y) measures is, at its essence, precisely this relationship. Thus, intelligence relies on stable dependencies existing within the world; statistical regularities, geometric structures, hierarchical structures, causal relationships, and temporal continuity together form the foundation upon which learning can occur.

This also provides a more accurate way to understand large models. A randomly initialized neural network starts as a vast, meaningless family of functions, while gradient descent continually leverages data to exclude those functions inconsistent with the real distribution. After massive training, the originally random parameters gradually form highly structured internal representations. Linguistic structures, spatial relationships, relationships between people and concepts, program structures, and even portions of physical laws become incorporated within.

Here, we cannot simply say that the neural network is isomorphic to the real world. Because isomorphism is an overly strict mathematical concept. In reality, the model forms an internal representation in its own computational medium that preserves portions of the stable relationships in the real world. It is a compressed projection of the world’s structure onto another medium.

Thus, the so-called emergence of intelligence is not so mysterious. When a model can only capture local statistical correlations, it manifests as pattern matching; when it can form longer-range, more abstract, and more stable representations, generalization emerges; when internal structures from different domains can be recombined, it manifests as analogy and association; when a model can leverage existing structures to infer states not directly present in the training data, it manifests as reasoning.

Memory, generalization, analogy, and reasoning are merely manifestations of the same mechanism at different scales: using an internal world model to reconstruct structure in unobserved regions. The reason model scale matters is that a complex world requires a sufficiently large function space to be representable. And certain sudden emergences of capabilities are sometimes merely threshold effects caused by evaluation metrics, or they may correspond to real nonlinear changes like grokking or internal representation reorganization. I believe we need to pay more attention to what structural reorganizations occur in parameter space during the learning process, making new computational capabilities possible.

If we push this question further into the realms of information theory and statistical physics, we arrive at an even more unified picture. Life sustains itself away from thermal equilibrium by continuously consuming free energy, and brains and machines alike require energy expenditure for information processing. Since Shannon entropy and thermodynamic entropy are not the same concept, we can more precisely define that intelligent systems continually discard variations irrelevant to the task while preserving information valuable for prediction and action. This is extremely close to the Information Bottleneck. Internal representations do not need to preserve everything from the input, but only retain enough structure to predict the future and guide behavior. The hallmark of advanced intelligence is knowing what must be kept and what can be forgotten. From this, intelligence can roughly be expressed as Compression, Prediction, Control. Compression means extracting regularities from massive observations, Prediction means using these regularities to infer the unseen world, and Control means using predictions to alter the future. A finite system facing a universe far more complex than itself — by observing the world, compressing the world, building an internal model, and then relying on that model to predict and intervene in the world — this is the most general form of intelligence.

— @Phoenixyin13

多様体

多様体（manifold）とは

多様体は「見た目は高次元で複雑だけど、局所的にはもっと低次元の単純な空間として扱える構造
例えば、地球の表面
地球そのものは3次元だが、表面だけを考えると、ある場所の近くでは地図のような2次元平面として扱える
だから地球表面も2次元多様体と考えられる

多様体仮説（Manifold Hypothesis）

高精細画像は数百万画素、自然言語・音声・タンパク質配列・行動軌跡なども、名目上は極めて高次元の空間に属する
しかし、意味のあるデータはその空間に一様に散らばっているわけではなく、ごく一部の低複雑度な構造領域に圧縮されている
ランダムに生成した百万画素の画像が偶然人間の顔になることはほぼあり得ない。自然画像は、被写体の同一性・姿勢・照明・視点・物体の構造・物理法則など、無数の制約を同時に受けているため
多様体（manifold）は、この低複雑度構造を幾何学的に表現したものにすぎない
より一般化すると、機械学習が機能するのは、現実世界のデータが根本的にランダムノイズではないからだと言える

左の画像はSwiss Roll（ロールケーキ）のような構造
右の画像は2次元でそのロールケーキを広げたような構造
つまり、高次元のロールケーキの構造でも、実際は二次元に射影できるという事
言い換えると、「観測されるデータは高次元でも、そのデータが本当に変化できる自由度はずっと少ない」かもしれない

多様体の例（CNN）

例えば、224×224のピクセル画像なら、BGRで、単純計算で約15万個の数値がある
つまり、画像1枚は約15万次元のベクトルとなる
しかし、「猫の画像」が15万個の値を完全に自由に取るわけではない
猫の種類、姿勢、向き、照明、距離、背景など、画像を生み出す比較的少数の潜在的要因によって、存在可能な画像は強く制約されるから
そのため、自然画像は高次元空間の中にある、より低次元的な構造＝多様体の近くに存在すると考えられる
CNNは入力画像を、エッジ→テクスチャ→部品→物体といった、より抽象的な特徴表現へ段階的に変換する
その結果、猫・犬などの多様体が特徴空間で分離しやすくなり、最後の分類器で判別できるようになるということ

言い換えると、latent factorsが、元のデータ空間における多様体の構造を決める。

$$ z=(猫の種類,姿勢,向き,照明,距離,背景,…) $$

そして、そのlatent factors から、対応するデータを生成できると考える（ただし、CNNでは分類などをする為に使うので、特徴空間は削ぎ落とされる）。

$$ x = g(z) $$

NTOE: ここでのgは生成関数

つまり、高次元データ空間の中で、実際のデータが存在する低次元的な構造が多様体という事
CNNは、複雑に絡み合ったデータ多様体を、層を重ねながら解きほぐしている
そして、CNNはタスクに利用しているということ

知能と学習

知能が成り立つための条件

知能が存在するための第一の条件は、世界が予測可能な構造を持っていること
もし宇宙の未来と過去が完全に独立であれば、人間の脳も、Transformerも、どれだけ巨大なスーパーコンピュータも、過去の観測から未来の予測を改善することはできない
なぜなら、世界が学習可能なパターンを一切残さないため
ホワイトノイズは理解も予測もできない
したがって、逆説的に知能が存在するという事実自体が、宇宙が最大限にランダムなカオスではなく、スケールを横断する安定した統計的依存関係・幾何学的制約・構成的構造・力学法則・因果関係を大量に含んでいることを意味する

学習は圧縮である

機械学習がやっていることは、大量の観測の中から圧縮可能な規則性を探すこと
10億人の顔を見たモデルは、10億枚分のピクセルをそのままパラメータに保存する必要はない
必要なのは、同一性・輪郭・姿勢・照明・空間関係といった潜在変数を中心とした生成的な構造で、最終的には学習データ全体よりはるかに短いモデルで近似できる
つまり、学習とは深い意味において圧縮そのもの
巨大なデータ集合がより短い生成プログラムで記述できるなら、モデルが獲得しているのは規則性であり、これはKolmogorov複雑性の直観と強く一致する

Kolmogorov複雑性

Kolmogorov複雑性は、「そのデータを生成するための、最短プログラムの長さ」
例えば、AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAはAを32回と圧縮できる = Kolmogorov複雑性は低い
他方、ランダムな文字列X7Q2M9AZ1K8P4R6T...だと圧縮はできない = Kolmogorov複雑性は高い
これは言い換えると規則性の話となる
- 規則性がある -> 短く説明できる -> 圧縮できる -> Kolmogorov複雑性が低い
- 規則性がない -> 短く説明できない -> 圧縮できない -> Kolmogorov複雑性が高い
つまり、「学習 = 大量のデータの背後にある短い規則・表現を見つけること = 圧縮」とも言える

学習と圧縮

シャノンの情報理論と符号化

「学習は圧縮である」という考え方は、Claude Shannonの情報理論（1948年、A Mathematical Theory of Communication）とも直結している
シャノンの情報源符号化定理（source coding theorem）は、ある情報源を平均して何ビットまで圧縮できるかの理論的な下限が、その情報源のエントロピー$H(X)$であることを示した
ハフマン符号や算術符号のような実際の符号化方式は、出現確率が高い記号には短い符号を、低い記号には長い符号を割り当てることで、このエントロピーの下限に近づこうとする
つまり符号化（エンコーディング）自体が、データの偏り（非一様性）をどう圧縮に利用するかという問題そのものだと言える

Kolmogorov複雑性との関係

独立同分布（i.i.d.）にサンプリングされた系列については、その系列のKolmogorov複雑性は、系列長$N$に対して$N \cdot H(X) + o(N)$に収束することが知られている（$H(X)$はその分布のシャノンエントロピー）
つまり多くのデータについては、シャノンエントロピー（平均的な圧縮限界）とKolmogorov複雑性（個々のデータの圧縮限界）は漸近的に一致する
違いとして、シャノンエントロピーは出現頻度の規則性だけを見るのに対し、Kolmogorov複雑性はアルゴリズム的な規則性全般を捉える、という区別がある

相互情報量：変数間の依存関係

データの不均一さだけでは知能の成立に不十分
ある変数が0を99%、1を1%の確率で取るとしても、分布は極端に偏っているが、そこに複雑な構造があるとは限らない
重要なのは、変数同士の間に利用可能な依存関係が存在すること。$X$を知ることで$Y$の不確実性が減るかどうかが、まさに情報の本質
相互情報量$I(X;Y)$が測っているのは、この関係そのもの
したがって知能は、世界の中に存在する安定した依存関係、つまり統計的規則性・幾何学的構造・階層構造・因果関係・時間的連続性に依拠している

ニューラルネットの内部表現

ランダムに初期化されたニューラルネットは、最初は膨大で無意味な関数族にすぎない。勾配降下法は、データを使って実際の分布と矛盾する関数を継続的に除外していく
大規模な学習を経ると、元はランダムだったパラメータが、高度に構造化された内部表現を形成するようになる
言語構造・空間関係・人と概念の関係・プログラム構造、さらには物理法則の一部までもがその内部に取り込まれる
ここで、ニューラルネットが現実世界と同型（isomorphic）であるとは言えない、理由は同型は数学的に厳密すぎる概念であるため
実際には、モデルは自身の計算媒体の中に、現実世界の安定した関係の一部を保存した内部表現を形成している
つまりそれは、世界の構造を別の媒体へと圧縮して射影したもの

既知クラスは特徴空間の表面上に乗っている
OODの未知クラスはそこからはみ出ている
クラスターでまとまって低次元に圧縮し射影されている

知能の創発：パターンマッチングから推論まで

いわゆる知能の創発は、実はそれほど神秘的な現象ではない。

局所的な統計的相関しか捉えられないとき、それはパターンマッチングとして現れる
より長距離で抽象的、より安定した表現を形成できるとき、汎化が生まれる
異なる領域の内部構造を組み合わせられるとき、それは類推・連想として現れる
学習データに直接存在しない状態を、既存の構造を使って推論できるとき、それは推論として現れる

別の言い方をすると、

記憶・汎化・類推・推論は、いずれも同じメカニズムがスケールを変えて現れたものにすぎない
すなわち、内部の世界モデルを使って、観測されていない領域の構造を再構成するという営みである
モデルの規模が重要なのは、複雑な世界を表現するには十分に大きな関数空間が必要になるため
また、突然の能力の創発と見えるものの一部は、評価指標が引き起こす閾値効果にすぎない場合もあれば、grokkingや内部表現の再編成のような、実質的な非線形変化に対応する場合もある
だから、学習の過程でパラメータ空間にどのような構造的再編成が起き、それが新たな計算能力を可能にしているのかに、もっと注意を払うべきだと思う

情報理論・熱力学からの視点

自由エネルギーと情報処理

生命は、自由エネルギーを消費し続けることで、熱平衡から離れた状態を維持している（SchrödingerがWhat is Life?で提示した、生物は「負のエントロピー」＝自由エネルギーを外部から取り込むことで秩序を保っているという議論が元になっている）
脳も機械も、情報処理にはエネルギーの消費が必要
シャノンエントロピーと熱力学的エントロピーは同じ概念ではないが、この視点に立つと、知能システムは課題に無関係な変動を継続的に捨てながら、予測と行動にとって価値のある情報だけを保持している、とより精密に定義できる

Information Bottleneck

Information Bottleneckとは

IBは一言でいうと、「必要な情報だけを保持し、それ以外は捨てる」という考え方は
内部表現は、入力の全てを保存する必要はなく、未来を予測し行動を導くのに十分な構造だけを保持すればよい
高度な知能の特徴は、何を保持し何を忘れてよいかを知っていること
これをディープラーニングの文脈に持ち込んだのがTishby & Zaslavsky (2015)で、下記の概念図（情報平面、information plane）はこの論文で提示された枠組みに基づく

Information Bottleneckの概念図

「圧縮 vs 予測情報の限界」の図が以下
意味は、XとYに関する情報をどの程度保持すればいいかの概念図になっている

$I(A;B)$
- AとBの相互情報量
- 単位はBit
- 簡単に言えば入力の圧縮用の情報量
$I(X;Z)$
- 入力をどれだけ覚えているか
- 中間表現$Z$が入力$X$の情報をどれだけ保持しているか
- 簡単に言えば予測用の情報量
$I(Y;Z)$
- 答えに必要な情報をどれだけ持っているか
- 中間表現$Z$が出力情報$Y$の情報をどれだけ保持しているか
Pareto frontier
- 「入力情報をこれだけ残すという条件のもとで、$Y$に関する情報を最大でどこまで保持できるか」という限界線

Information Bottleneckの例

例えば、CNNの場合だと、X->Z->Yなので、不要な情報I(X;Z)は削ぎ落とし、Yの例えば分類に必要な情報I(Y;Z)は残すイメージ
X=入力画像、Z=CNNの特徴空間、Y＝例えば分類タスクのラベル
I(X;Z)が大きすぎると単なるノイズやいらないことを全部覚えた状態
他方、最低限タスクの解決に必要な情報を覚えているのがフロンティア線ということ
つまり、入力に関する必要な情報I(X;Z)を最低限のこしつつ、I(Y;Z)に関する情報を最大化するのがいいと言うこと
これが無駄のない圧縮と予測性能を出す境界ということ

Double Descent

たとえばモデルサイズを増やしたときのテスト誤差が、減る->増える->もう一度減る、という形になる現象
一般的には、underfit -> fit -> overfitかと思いきやモデルを増やすと減ることがあるという事
その境目が、補間境界（interpolation threshold）
これはモデル方向の汎化ということ

以下のような現象：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


モデルが小さすぎる
↓
underfit（memorize）
↓
モデルを大きくする
↓
訓練データにかなりfitできる
↓
interpolation threshold付近
↓
training errorはほぼ0、でもtest errorが悪化
↓
overfitが強く見える（=汎化が悪い事）
↓
さらに巨大化
↓
強いoverparameterization（=容量が大きい事）
↓
test errorが再び改善することがある=double descent

grokking

grokkingとは

学習の過程で起きる非線形な変化の代表例が、grokking
小規模なアルゴリズム的データセットで、モデルが訓練データに対して既に過学習した後も学習を続けると、ある時点を境に汎化性能が偶然のレベルからほぼ完全な汎化へと急激に向上する現象
能力の創発が、単なる評価指標の閾値効果なのか、それともこうした実質的な内部表現の再編成によるものなのかを見分けることが重要
memorization -> 長い停滞 -> generalizationという性能の飛躍の事
これは時間方向の汎化ということ

grokkingの例

たとえば「足し算の規則」を学ばせるとする
最初はモデルが、訓練例をほぼ丸暗記してしまう
- 2 + 3 → 5, 4 + 7 → 11, 8 + 2 → 10...
この段階では、見たことのない6 + 9 → ? にはうまく答えられない
ところがさらに長く学習させると、ある時点で、モデルの内部に変化が起きる
それは、「個々の例を覚えるより、加算という規則を使えば全部説明できる」ような内部表現を獲得をする
すると、結果、未見データにも一気に強くなる
これがgrokking
人間の感覚だと、まず丸暗記->長い停滞->突然、未見データにも一般化するイメージ
アハ体験に近いのかもしれない

double descentとgrokking

モデルがtrain accuracy = 100%になっても、訓練データをmemorizationしただけかもしれない
そこからさらに学習時間を伸ばした結果、遅れてtest performance（汎化）が改善する現象がGrokking
一方、モデルサイズを増やしていくと、interpolation threshold付近で一度test performanceが悪化した後、さらにモデルを大きくすると再び改善することがある
これが Double Descent

まとめると：

Grokking: 同じモデルを長く学習すると汎化が遅れて現れる
Double Descent: モデル容量を増やすと汎化性能が再び改善する

知能の一般形：圧縮・予測・制御

ここまでの議論をまとめると、知能はおおまかに**圧縮（Compression）・予測（Prediction）・制御（Control）**として表現できる。

圧縮:
- 大量の観測から規則性を抽出すること
予測:
- その規則性を使って、まだ見ていない世界を推測すること
制御:
- 予測を使って、未来を変えること

つまり、以下が知能の最も一般的な形だと言えるのかもしれない。

「自分自身よりはるかに複雑な宇宙に向き合う有限なシステムが、世界を観測し、世界を圧縮し、内部モデルを構築し、そのモデルを頼りに世界を予測・介入する」事。

まとめ

多様体仮説が示す通り、現実世界のデータは高次元空間の中のごく一部の低複雑度な構造に圧縮されている
知能が成り立つ前提は、世界がホワイトノイズではなく予測可能な構造を持っていること
学習とは、この構造を短い生成プログラムで近似する圧縮であり（Kolmogorov複雑性）、変数間の利用可能な依存関係（相互情報量）がその手がかりになる
ニューラルネットの内部表現は、世界と同型なのではなく、世界の構造を別の媒体に圧縮して射影したもの
パターンマッチング・汎化・類推・推論は、同じメカニズムがスケールを変えて現れたものであり、grokkingのような非線形な変化もその一部
情報理論・熱力学の視点（Information Bottleneck、自由エネルギー）を踏まえると、知能は最終的に圧縮・予測・制御として一般化できる
ただし、圧縮だけなら単なるzip圧縮と変わらない
知能と呼べるのは、圧縮した内部モデルを使ってまだ見ていない未来を予測し、さらにその予測をもとに世界に介入して結果を変えるところまで含める事にある
つまり、圧縮は知能が成り立つための土台であって、知能の目的そのものは予測と制御にある

参考文献

@Phoenixyin13 on X
Shannon, C.E. (1948). “A Mathematical Theory of Communication.” Bell System Technical Journal, 27(3), 379-423.
Schrödinger, E. (1944). “What is Life? The Physical Aspect of the Living Cell.” Cambridge University Press.
Tishby, N., Pereira, F.C., Bialek, W. (1999). “The Information Bottleneck Method.” Proceedings of the 37th Annual Allerton Conference on Communication, Control and Computing, pp. 368-377. arXiv:physics/0004057
Tishby, N., Zaslavsky, N. (2015). “Deep Learning and the Information Bottleneck Principle.” IEEE Information Theory Workshop (ITW). doi:10.1109/ITW.2015.7133169
Power, A., Burda, Y., Edwards, H., Babuschkin, I., Misra, V. (2022). “Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets.” arXiv:2201.02177
Nanda, N., Chan, L., Lieberum, T., Smith, J., Steinhardt, J. (2023). “Progress Measures for Grokking via Mechanistic Interpretability.” ICLR 2023. arXiv:2301.05217

Information-Bottleneck on M1KE BL0G