背景

• 関数の線型性について理解していなかったので記事を作った
• 特に統計の展開などによく出るため改めてAIでまとめた

線形性（線型性）とは

• ある操作（関数・演算）$f$が、以下の2つの条件を満たすとき、$f$は線形（線型）であるという

• この2つはまとめて、以下の1つの式で表されることが多い

• 直感的には、「入力を分解して個別に処理し、後で足し合わせても、まとめて処理したのと同じ結果になる」という性質

アフィン変換との違い

• $f(x) = ax$は線形だが、$f(x) = ax + b$（$b \neq 0$）は線形ではない
• 見た目が似ているため混同しやすいが、後者はアフィン変換（affine transformation）と呼ばれる、別のカテゴリの変換
• 線形かどうかを見分ける必要条件は、以下の通り

• $f(x)=ax+b$は$f(0)=b \neq 0$となるため、この時点で線形ではないと分かる
• 逆に、$f(0)=0$を満たしても、加法性・斉次性の両方を満たすとは限らないので、あくまで必要条件（線形であるための最低条件）である点に注意

線形な演算のカタログ

• 線形性は統計に限った話ではなく、数学の色々な演算がこの性質を持っている
  • 微分: $\frac{d}{dx}(af(x)+bg(x)) = a f'(x) + b g'(x)$
  • 積分: $\int (af(x)+bg(x))\, dx = a\int f(x)\,dx + b\int g(x)\,dx$
  • 総和（シグマ）: $\sum_i (a x_i + b y_i) = a\sum_i x_i + b\sum_i y_i$
  • 極限: $\lim (a x_n + b y_n) = a\lim x_n + b \lim y_n$
  • フーリエ変換・ラプラス変換
  • 畳み込み（Convolution）
  • 行列による変換: $A(a\mathbf{x}+b\mathbf{y}) = aA\mathbf{x}+bA\mathbf{y}$
  • 期待値（後述）
• 「足してから処理する」のと「処理してから足す」のが常に一致する、という共通点がある

非線形な演算の例

以下のような演算は、線形ではない。

• 2乗: $(x+y)^2 \neq x^2+y^2$（展開すると$2xy$の項が余分に出てくる）
• 絶対値: $|x+y| \neq |x|+|y|$とは限らない（$x$と$y$が異符号のとき、特にズレる）
• 対数: $\log(x+y) \neq \log x + \log y$
  • ただし$\log(xy) = \log x + \log y$という別の性質は成り立つ。これは「和」ではなく「積」に対する加法性であり、線形性とは別物
• 指数関数、分散（後述）なども同様に線形ではない

線形性の確認方法

• 加法性・斉次性の両方が常に成り立つことを証明できれば線形
• 逆に、線形でないことを示すのは簡単で、反例を1つ見つければよい
• 例えば$f(x)=x^2$の場合、$f(1+1)=4$だが$f(1)+f(1)=1+1=2$なので、$f(1+1)\neq f(1)+f(1)$となり、非線形だと分かる

なぜ線形性が重要か

• 線形な操作は、「全体をまとめて計算する」のと「部分ごとに計算してから足し合わせる」のが常に一致する
• この性質のおかげで、複雑な問題を小さく分解して個別に計算し、後で組み合わせるというアプローチが正当化される
• 逆に非線形な操作では、この分解が使えないため、扱いが格段に難しくなることが多い

統計における線形性

期待値の線形性

• 期待値（Expectation）$E[\cdot]$は線形な操作の代表例

• あわせて、定数$c$の期待値は、その定数自身になるという性質もある

• 直感的には、確率変動しない値（常に$c$）を何回観測しても、平均は$c$のまま変わらないということ
• 前述のVar(X)の導出で、$E[\mu^2]=\mu^2$（$\mu$は定数）としていたのも、この性質を使っている
• ここで重要なのは、$E[aX + bY] = a E[X] + b E[Y]$の式は$X$と$Y$が独立かどうかに関係なく、常に成り立つという点
• 相関があろうがなかろうが、期待値は分解して個別に計算し、後で足し合わせてよい
• 注意点として、この式の$a,b$は定数であることが前提。$Y$が確率変数の場合、$E[XY]$を$Y\,E[X]$のように分解することはできない
  • $E[XY]$（確率変数同士の積の期待値）は、線形性の対象外
  • 一般には以下の関係が成り立ち、$E[XY]=E[X]E[Y]$となるのは、$X,Y$が独立（正確には$\text{Cov}(X,Y)=0$）のときだけ

分散の計算公式を期待値の線形性から導く

分散の定義は以下の通り。

これを展開し、期待値の線形性を使って整理すると、実務でもよく使われる別の形が得られる。$\mu = E[X]$とすると、以下のようになる。

期待値の線形性（$\mu$は定数）を使うと、以下のように展開できる。

したがって、以下の式が成り立つ。

• この変形が使えるのは、途中の$E[X^2 - 2\mu X + \mu^2]$を$E[X^2] - 2\mu E[X] + \mu^2$へ展開する部分で、期待値の線形性を使っているため
• この形は、生のデータから分散を計算する際に実務でもよく使われる（2乗の期待値から、期待値の2乗を引くだけで求まる）

分散自体は線形ではない

• 期待値とは対照的に、分散は線形ではない

• 定数$b$を足しても分散は変わらず（平行移動はばらつきに影響しない）、係数$a$は2乗されて効いてくる。これは加法性・斉次性のどちらの形にもなっていない
• さらに、$X$と$Y$の和の分散は、以下のように単純な合計にはならない

• $X$と$Y$が独立（$\text{Cov}(X,Y)=0$）のときだけ、$\text{Var}(X+Y) = \text{Var}(X)+\text{Var}(Y)$という単純な形になる

共分散の双線形性

• 共分散（Covariance）は、片方の変数を固定すれば、もう片方について線形になる。この性質を双線形性（Bilinearity）と呼ぶ

• 2つの引数それぞれについて線形なので、「双」線形と呼ばれる

証明：相関係数＝基準化した変数同士の共分散

線形性・双線形性の応用例として、相関係数と共分散の関係を証明しておく。

• 基準化（standardization）: 変数から平均を引いて標準偏差で割り、平均0・標準偏差1に揃える変換

以下は、この$Z_X$・$Z_Y$同士の共分散が、もとの$X$・$Y$の相関係数$r$と一致することの証明である。

まず、共分散が持つ以下の2つの性質を使う（$c,a,b$は定数）。

• 定数倍でのスケーリング：$\text{Cov}(aX,\,bY)=ab\,\text{Cov}(X,Y)$
  • 前述の双線形性の式で、2項目の係数を0とすれば得られる系（$\text{Cov}(aX+0\cdot W,\,Z)=a\,\text{Cov}(X,Z)$）
• 平行移動不変性：$\text{Cov}(X+c,\,Y)=\text{Cov}(X,Y)$
  • 定義$\text{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]$に戻ると、$X$に定数$c$を足すと平均も同じ$c$だけ増えるため、偏差$X-\mu_X$自体は変わらない

$Z_X$・$Z_Y$の共分散に、この2つの性質を順番に適用する。

• 1つ目の等号から2つ目は定数倍でのスケーリング、2つ目から3つ目は平行移動不変性を使っている
• 最後の等号は、相関係数の定義$r=\frac{\text{Cov}(X,Y)}{\sigma_X\sigma_Y}$そのもの
• つまり、2つの変数の相関係数は、それぞれを基準化した変数同士の共分散に等しい。相関係数が「単位・スケールの影響を取り除いた共分散」であることの、線形性を使った裏付けになっている

線形写像と行列

• 有限次元のベクトル空間の間の線形な変換（線形写像）は、基底ベクトルの行き先さえ決めれば全体が決まる
• そのため、任意の線形写像は行列$A$を使って$f(\mathbf{x})=A\mathbf{x}$の形で表せる
• 逆に言うと、行列による変換は必ず線形になる（原点は必ず原点に写る、$A\mathbf{0}=\mathbf{0}$）

機械学習への応用

線形回帰

• 単回帰分析$y=a+bx$は、係数$a,b$について線形なモデルという意味で「線形モデル」と呼ばれる
• 最小二乗法による解は、行列演算だけで閉じた形（closed-form solution）で求まる。これは背景にある演算が線形であることの恩恵
• 一方で、$y = a + bx$自体は（$x$についての関数として見ると）アフィン変換であり、前述の意味では厳密な線形ではない点に注意（統計・機械学習の文脈では、慣習的に「線形モデル」と呼ばれる）

ニューラルネットの層が線形だけだと意味がない理由

• ニューラルネットの1層は、基本的に$f(\mathbf{x}) = A\mathbf{x}+\mathbf{b}$という、行列によるアフィン変換
• もし活性化関数を挟まずに、この層をいくつ重ねても、全体としては1つのアフィン変換に潰れてしまう

• 右辺は、新しい行列$A_2A_1$と新しいバイアス$A_2\mathbf{b}_1+\mathbf{b}_2$を使った、1層のアフィン変換と同じ形になっている
• つまり、何層重ねても表現力は1層分のままで、複雑な非線形の関係を学習できない
• これを避けるため、各層の後にReLUやシグモイドのような非線形の活性化関数を挟み、意図的に線形性を崩すことで、層を重ねる意味（表現力の向上）を持たせている

万能近似定理（Universal Approximation Theorem）

• 1989年にCybenkoらが示した定理で、非線形性がもたらす表現力の大きさを裏付けるもの
• 大まかには、以下のような内容
  • 隠れ層1層だけのニューラルネットワークでも、シグモイドのような非線形の活性化関数$\sigma$を使い、ユニット数（幅）を十分大きく取れば、ある種の連続関数を任意の精度で近似できる

• $N$（隠れユニット数）・$c_i$・$\mathbf{w}_i$・$b_i$を適切に選べば、任意の許容誤差$\varepsilon>0$に対して、定義域全体で$|F(\mathbf{x})-f(\mathbf{x})|<\varepsilon$を満たす近似$F$が作れる、という主張
• ポイントは、$\sigma$が非線形でなければこの定理は成り立たないこと
  • 前述の通り、$\sigma$が線形（恒等関数など）だと、$F$は結局1つのアフィン変換に潰れてしまい、表現できる関数のクラスは「アフィン関数」だけに限定される
  • 非線形性があるからこそ、幅を広げるだけで任意の連続関数に近づけるという、桁違いの表現力が生まれる

この定理には、以下のような注意点もある。

• 「表現できる」ことを保証するだけで、「学習（勾配降下法などで実際にその関数を見つけられる）」ことは保証しない
• 必要な隠れユニット数$N$が、近似したい関数によっては非現実的に大きくなることがある
• 実務では、幅を広げた浅い（1層の）ネットワークより、層を重ねた深いネットワークの方が、同程度の表現力をずっと少ないパラメータ数で達成できることが知られている（表現力と学習効率は別の話）

Pythonでの線形性チェック

以下のように、加法性・斉次性が成り立つかどうかを数値的に確認できる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import numpy as np

def is_linear(f, x, y, a, b, tol=1e-8):
    lhs = f(a * x + b * y)
    rhs = a * f(x) + b * f(y)
    return np.allclose(lhs, rhs, atol=tol)

x, y = np.array([1.0, 2.0]), np.array([3.0, -1.0])
a, b = 2.0, -3.0

# 線形な例: 行列による変換
A = np.array([[1, 2], [3, 4]])
print(is_linear(lambda v: A @ v, x, y, a, b))  # True

# 非線形な例: 2乗
print(is_linear(lambda v: v ** 2, x, y, a, b))  # False

• 数値的に一致するかを確認しているだけなので、あくまで「反例を探す」ための簡易チェックであり、これで一致したからといって数学的に線形であることの証明にはならない点に注意

まとめ

• 線形性は、加法性（$f(x+y)=f(x)+f(y)$）と斉次性（$f(ax)=af(x)$）の2条件で定義される
• $f(x)=ax+b$のようなアフィン変換は、$f(0)\neq0$となるため線形ではない
• 微分・積分・総和・期待値など、多くの演算が線形性を持ち、「分解して個別に計算し、後で足し合わせてよい」という扱いやすさをもたらす
• 期待値は独立性に関係なく常に線形だが、分散は線形ではなく、$\text{Var}(X+Y)$には共分散の項が加わる
• 分散の計算公式$\text{Var}(X)=E[X^2]-(E[X])^2$も、期待値の線形性を使って導出できる
• 共分散の双線形性（平行移動不変性・定数倍でのスケーリング）を使うと、相関係数が「基準化した変数同士の共分散」に一致することも証明できる
• ニューラルネットで非線形な活性化関数が必須なのも、線形な層をいくら重ねても1つのアフィン変換に潰れてしまい、表現力が増えないため
• 万能近似定理は、非線形な活性化関数さえあれば、1層のネットワークでも任意の連続関数を近似できることを示す定理で、非線形性の重要さを裏付けている