Featured image of post Optical Neural Networksという計算方式

Optical Neural Networksという計算方式

目次

背景

  • ニューラルネットワークの推論は、大部分が行列積(線形変換)の繰り返しでできている
  • 通常はGPUなどの電子回路でこの行列積を計算するが、光そのものの物理現象(回折・干渉)を使って行列積を実行し、光速で・ほぼ受動的に推論を行おうとするのがOptical Neural Networks(光ニューラルネットワーク, ONN)
  • 代表的な2つのアプローチ、回折型(Diffractive Deep Neural Network)と干渉型(コヒーレントフォトニック回路)を順に見ていく

回折型(D²NN)と干渉型(MZIメッシュ)の構造比較(概念図)

なぜ光で行列積ができるのか

  • 光が障害物やスリットを通過するとき、その先の光の強度分布は回折・干渉によって決まる。この伝播過程そのものが、入力(光の波面)に対する線形変換として扱える
  • つまり、適切に設計された光学素子(位相板・導波路など)を光が通過するだけで、電子回路で行うような行列とベクトルの掛け算と同じ結果が、光速で、しかも素子を通過するだけの受動的な過程として得られる
  • 学習(重みの最適化)はこれまで通り通常のコンピュータ上で行い、学習済みの重みを光学素子の形状や位相パターンとして「焼き込む」ことで、推論だけを光学的に実行するという役割分担になる

回折型: Diffractive Deep Neural Network(D²NN)

  • Lin et al. (2018, Science)が提案した方式で、複数の回折層(薄い板状の素子)を光の進行方向に沿って並べる
  • 各回折層は多数の点(人工ニューロンに相当)からなり、各点の透過率・位相が、通常のニューラルネットワークの重みに相当するパラメータになる
  • 光はある回折層を出ると、自由空間を伝播しながら回折して次の回折層に届く。これを誤差逆伝播法で最適化した上で、層を3Dプリンタで物理的に製造し、実際の光を通して推論させる
  • MNIST手書き数字分類で93.39%の精度を達成した(最先端のCNNの99.6%台には及ばないが、受動的な光学素子だけで分類が成立することを示した)。テラヘルツ波を使った結像レンズへの応用実験も行われている
  • 推論時は電力をほとんど消費せず、光が素子を通過する時間(光速)だけで計算が終わるのが最大の特徴

干渉型: コヒーレントフォトニック回路(MZIメッシュ)

  • Shen et al. (2017, Nature Photonics)が提案した方式で、マッハツェンダー干渉計(Mach-Zehnder Interferometer, MZI)を格子状に並べた回路を使う
  • 1つのMZIは、2つの経路に分けた光を、熱光学移相器で位相をずらしてから再び合流させる素子で、2x2のユニタリ行列(回転)として機能する
  • MZIを格子状に多数並べると、特異値分解($M = U \Sigma V^\dagger$)の要領で、任意の行列をユニタリ変換とスケーリングの組み合わせとして実現できる
$$ M = U \Sigma V^\dagger $$
  • シリコンフォトニクスチップ上に56個のMZIと213個の移相器を集積し、母音認識タスクで、通常のデジタルコンピュータ上で動かした全結合ニューラルネットワークに匹敵する精度を達成した
  • 著者らは、従来の電子回路に対して計算速度で2桁以上、電力効率で3桁以上の向上が見込めるとしている

光学計算の強みと課題

  • 強み: 光速での伝播・大量の素子が同時に動作する並列性・受動的な線形変換ではほぼ電力を消費しないことが、電子回路に対する優位性の根拠になっている
  • 課題1、非線形性: ニューラルネットワークには活性化関数のような非線形変換が不可欠だが、光のままで効率よく非線形変換を実現する素子は限られている。多くの実装では、線形変換は光学的に行い、非線形変換だけを電子回路や特殊な非線形光学素子に任せるハイブリッド構成を取っていて、ネットワーク全体を純粋に光だけで完結させるのは依然として難しい
  • 課題2、精度とノイズ: 回折層の製造誤差や、MZIの移相器が温度変化で位相がずれるドリフトなど、物理的な誤差がそのまま計算誤差になる
  • 課題3、学習の実機適応: 多くの方式では、通常のコンピュータ上でソフトウェアとして学習した重みを、後から光学ハードウェアに焼き込む(ex-situ training)。このやり方では、素子固有の製造誤差やノイズをモデルが学習時に考慮できないため、実機に移した途端に精度が落ちることがある。実機そのものを使って学習するin-situ trainingという方向性も研究されている

まとめ

Optical Neural Networksは、ニューラルネットワークの行列積を、光の回折・干渉という物理現象そのものに代行させる計算方式。回折型(D²NN)は多数の回折層を光が自由空間を伝播しながら通過することで線形変換を実現し、干渉型(コヒーレントフォトニック回路)はマッハツェンダー干渉計のメッシュを使って特異値分解の形で任意の行列を実現する。どちらも推論自体は光速・低電力で行えるのが利点だが、非線形変換の実装、製造誤差やノイズへの耐性、学習済みモデルを実機に移す際の精度劣化といった課題が残っていて、電子回路を完全に置き換えるというより、特定の高速・低電力な用途から実用化が進んでいる段階にある。

参考文献

Built with Hugo
テーマ Stack は Jimmy によって設計されています。