AI > 深層学習 on M1KE BL0G

Reservoir Computingとコネクトームで、実際にハエを動かしてみた

Wed, 09 Sep 2026 12:00:00 +0900

背景

XでコネクトームをReservoir Computingで移植している人がいた
「生物の神経結合構造を、機械学習の計算基盤として流用する」という研究分野が存在する
これは、攻殻機動隊的な「人間の脳をまるごとサイバー化する電脳化」とは別の話ではある
ここでは、Reservoir Computingの基本と、その延長線上にあるコネクトームベースの研究を整理した
また、簡易的にハエのシミュレーターでハエの幼虫の脳を接続してみた

Reservoir Computing

Reservoirとは

リザバー（reservoir）は、「貯水池」の意味
- 命名の由来は、入力された情報をいったん受け止めて、内部に複雑な状態として蓄えておく“大きな器”に近い
- 典型的な説明でも多数のニューロンがつながった内部ネットワークを「pool」や「reservoir」と呼ぶから
Reservoir Computingにおける固定された再帰結合部分のこと
入力を受け取り、内部で高次元・非線形な力学系として反応させる層
ランダムに初期化された結合を持ち、学習では一切更新されない

Reservoirの名前の由来

リザバーコンピューティングは、次の別々に提案された枠組みをまとめられるためにつけられた
- Liquid State Machine（LSM）
- Echo State Network（ESN）
LSMは液体に石を落としたときの波紋のように、入力が内部状態へ複雑に広がっていくイメージを持つ
他方、ESNは入力の影響が「echo＝残響」のように内部へ残ることを表している
後に、こうした「入力を受け止め、時間的な情報を内部状態として保持・変換する部分」を reservoir（貯水池）と呼んだ
そして、それらを総称して Reservoir Computing と呼ぶようになった

Reservoir Computingとは

内部の再帰結合（リザバー）はランダムに固定したまま、出力層の線形結合だけを学習する枠組み
大きく重み付き和で学習する通常のニューラルネットと違い、
リザバー自体は学習せず、入力を高次元の非線形な力学系の軌道に変換する役割だけを担う
学習対象がリザバーではなく出力層の線形回帰だけになるため、通常のRNNに比べて学習コストが大幅に小さい

Reservoir Computingの源流

Reservoir Computingには、大きく2つの源流がある:

Echo State Network（ESN）:
- Herbert Jaegerが2001年に提案（The "echo state" approach to analysing and training recurrent neural networks, GMD Report 148）
- 実数値のリカレントニューラルネットをリザバーとして使う
Liquid State Machine（LSM）:
- Wolfgang Maass, Thomas Natschläger, Henry Markramが2002年に提案（Real-time computing without stable states: A new framework for neural computation based on perturbations, Neural Computation 14(11), 2531-2560）
- スパイキングニューロンをリザバーとして使う、より生物学的に妥当なモデル

いずれも「リザバーは固定・訓練するのは読み出し層のみ」という設計思想は共通している。

リザバーとしての「コネクトーム」

コネクトームとは、脳内のニューロン間の結合構造（構造的結合）を網羅的に記述したもの
通常のESN・LSMでは、リザバー内部の結合はランダムな行列として初期化される
コネクトームベースのReservoir Computingは、このランダム行列の代わりに、実在の生物から得られたコネクトーム由来の結合行列をそのままリザバーの結合構造として使う、という発想

つまり「配線図をランダムに作る」代わりに「実物の脳の配線図を借りてくる」ことで、リザバーを構成する。

conn2resツールボックス

Suárez, Mihalik, Milisav, Marshall, Li, Vértes, Lajoie, MisicによるConnectome-based reservoir computing with the conn2res toolbox（Nature Communications, 2024, doi:10.1038/s41467-024-44900-4）が、この分野の代表的なツールキット
束追跡（tract tracing）や拡散MRIなど、複数の手法で再構成されたコネクトームを入力として受け付けるモジュール設計
リザバー内部のダイナミクスも、スパイキングニューロンからメムリスタ的な力学系まで、複数の選択肢を差し替えられる
実装されたコネクトームに、認知タスクを解かせるという形で評価する

具体的な研究例

ショウジョウバエのコネクトームを使う研究

Jacob Morra, Mark DaleyによるImposing Connectome-Derived Topology on an Echo State Network（arXiv:2201.09359）
- ショウジョウバエのコネクトーム由来の結合行列で、ESNのリザバー層をそのまま置き換えたモデル（Fruit Fly ESN, FFESN）を提案
Leone Costi, Alexander Hadjiivanov, Dominik Dold, Zachary F. Hale, Dario IzzoによるThe Drosophila Connectome as a Computational Reservoir for Time-Series Prediction（Biomimetics, 2025, PMC12109256）
- ショウジョウバエのコネクトームをリザバーとして、時系列予測タスクを解かせている

人間の脳のコネクトームを使う研究

Accessing the topological properties of human brain functional sub-circuits in Echo State Networks（arXiv:2412.14999）
- 人間の脳の機能的結合から抽出したサブサーキットの構造をESNに組み込む研究
Using Connectome Features to Constrain Echo State Networks（arXiv:2206.02094）
- コネクトームから抽出した特徴量（次数分布やモジュール性など）を、リザバーの構成に制約として使う研究

人間の完全な構造的コネクトーム（シナプスレベルの全結線図）は、2026年現在も完全なマッピングには至っていないため、人間を対象とした研究の多くは、拡散MRI由来の構造的結合や機能的結合のデータを使っている。

なぜ実際の配線構造を使うのか

ランダムな結合と、実際の生物の結合構造とで、リザバーとしての性能（記憶容量やタスク精度）に違いが出るかを調べるのが主な動機
生物の脳が、進化の過程で計算に有利な結合構造を獲得してきたのかどうかを、機械学習の評価指標を使って検証できる
逆に、リザバーとしての性能という切り口から、コネクトームの構造そのものへの理解を深めるという、神経科学側からの動機もある

電脳化との違い

「電脳化」は、人間の意識・記憶をまるごとサイバネティックな基盤へ移し替えるSF的な概念
一方、ここで扱ったコネクトームベースのReservoir Computingは、脳の意識や記憶を移植しているわけではなく、あくまで結合構造（配線図）だけを、機械学習の計算資源として流用している
対象も、現状ではショウジョウバエや線虫といった、コネクトームが比較的解明されている小規模な生物が中心で、人間の全脳を対象にした研究はまだ限定的

実際にコネクトームでハエを動かしてみた

理論の紹介だけで終わらせず、実際に手元で動かして確かめてみた。

使ったデータと環境

コネクトームには、幼虫ショウジョウバエの全脳（Winding et al. 2023, Science、2952ニューロン、約548,000シナプス）を使用
ログイン不要で取得できるbrain-networks/larval-drosophila-connectomeというミラーリポジトリのデータをそのまま利用
身体側には、成体ショウジョウバエの生体力学モデルをMuJoCo上でシミュレートするflygym（NeuroMechFly v2、EPFL Ramdya lab）を使用

幼虫の脳と成体の身体を組み合わせるのは解剖学的には矛盾しているが、「まずパイプライン自体を動かす」ことを優先して割り切った。

全体の構成

コネクトームのannotations.csvから、sensory（感覚ニューロン）とDN-VNC（下行性ニューロン、脳から運動系への出口）を、それぞれ左右の半球ごとに取り出す
左右の感覚ニューロンを刺激入力とし、コネクトームの結合行列をそのままリザバーとして信号を伝播させる
左右のDN-VNCの活動を読み出し、flygymの旋回コントローラー（HybridTurningController）が受け取る2次元のdescending_signal（左右の駆動信号）にそのまま変換する

flyのコネクトーム

Sensory neurons（SN）-> 脳内の interneurons -> DN^VNCという整理の図
Sensory は、匂い・味・温度・機械刺激などを外界から脳へ持ってくる入力ニューロン
一方、DN^VNC は Descending Neurons to Ventral Nerve Cord の意味で、脳で処理された情報を腹側神経索（VNC）へ送り、歩行などの行動につなげる出力ニューロン
food odor -> sensory neurons -> 幼虫の脳コネクトーム -> DN-VNC / DN-SEZ -> 仮想の身体という流れを作る

つまずいた点: スペクトル半径正規化

最初は、Echo State Networkの定石通り、リザバー全体のスペクトル半径を1未満（0.9）に正規化していた
ところがこの方法だと、DN-VNCの活動がほぼゼロに埋もれてしまい、左右の刺激に対して意味のある差が全く出なかった
原因は、キノコ体のような密な再帰結合を持つ部分がスペクトル半径の大部分を支配していて、感覚ニューロンからDN-VNCまでの数ホップの経路の信号まで、まとめて桁違いに縮小されていたこと

そこで、各ニューロンの出力側の重み合計を一定値に正規化する方式（row normalization）に切り替えた。全体を1つの係数で縮小するのではなく、ニューロンごとに正規化することで、密な再帰部分に信号が引きずられずに、数ホップ先まで伝わるようになった。

結果: 対側性の効果

左の感覚ニューロンを刺激すると、左右のDN-VNCの活動はほぼ同程度（差はわずか）
右の感覚ニューロンを刺激すると、なぜか左側のDN-VNCの方が明確に強く反応した
これは、昆虫の感覚運動経路が体の正中線を交差しているという、実際の解剖学とも符合する結果

もちろん、入力の強さや正規化の度合いといったパラメータは、この効果が見えるように手で調整したものであり、生理学的に検証された値ではない。それでも、実際のコネクトームの配線を信号が通った結果として、こうした対側性の効果が現れたのは興味深い。

リアルタイムで見る

オフラインで動画として書き出す版に加えて、MuJoCoのインタラクティブビューアでリアルタイムに動きを見られる版も作った
最初はビューアのカメラ位置を手探りで調整していたが、地面に対してハエ本体が小さすぎてうまく合わせられなかった
最終的に、flygymが標準で用意しているfly.add_tracking_camera()をビューアの固定カメラとしてそのまま使う方式に切り替えたところ、一発で解決した

Your browser does not support the video tag.

まとめ

Reservoir Computingは、リザバー部分を固定し出力層だけを学習する枠組みで、Echo State Network（Jaeger, 2001）とLiquid State Machine（Maass et al., 2002）が源流
コネクトームベースのReservoir Computingは、リザバーのランダムな結合行列を、実在の生物のコネクトーム由来の結合構造に置き換える研究分野
conn2resツールボックス（Suárez et al., 2024, Nature Communications）が代表的な実装で、ショウジョウバエや人間の脳のデータに対応している
ショウジョウバエのコネクトームをそのままリザバーとして使う研究（Morra & Daley 2022, Costi et al. 2025）や、人間の脳の機能的結合を使う研究がある
「電脳化」のような意識の移植ではなく、あくまで配線構造を計算基盤として借用するという話
実際に幼虫コネクトーム＋flygymで試したところ、スペクトル半径正規化では信号が埋もれてしまい、row normalizationに切り替えることで、左右刺激に対する対側性の効果が観察できた

参考文献

Jaeger, H. (2001). “The ’echo state’ approach to analysing and training recurrent neural networks.” GMD Report 148.
Maass, W., Natschläger, T., Markram, H. (2002). “Real-time computing without stable states: A new framework for neural computation based on perturbations.” Neural Computation, 14(11), 2531-2560.
Suárez, L.E., Mihalik, A., Milisav, F., Marshall, K., Li, M., Vértes, P.E., Lajoie, G., Misic, B. (2024). “Connectome-based reservoir computing with the conn2res toolbox.” Nature Communications, 15. doi:10.1038/s41467-024-44900-4
Morra, J., Daley, M. (2022). “Imposing Connectome-Derived Topology on an Echo State Network.” arXiv:2201.09359
Costi, L., Hadjiivanov, A., Dold, D., Hale, Z.F., Izzo, D. (2025). “The Drosophila Connectome as a Computational Reservoir for Time-Series Prediction.” Biomimetics. PMC12109256
“Accessing the topological properties of human brain functional sub-circuits in Echo State Networks.” arXiv:2412.14999
“Using Connectome Features to Constrain Echo State Networks.” arXiv:2206.02094
Winding, M. et al. (2023). “The connectome of an insect brain.” Science, 379(6636), eadd9330.
Wang-Chen, S. et al. (2024). “NeuroMechFly v2: simulating embodied sensorimotor control in adult Drosophila.” Nature Methods. doi:10.1038/s41592-024-02497-y
Reservoir Computing in 5 minutes

論理ゲート型ニューラルネットワークで、MNISTを解いてみた

Tue, 08 Sep 2026 12:00:00 +0900

背景

Xで論理ゲート型ニューラルネットワークがタイムラインに流れてきた
気になったので、AIに調べてもらってMNISTで試してみた

仕組み

論理ゲート型ニューラルネットワーク（Differentiable Logic Gate Networks）とは

通常のニューラルネットは、重み付き和と活性化関数の組み合わせでニューロンを構成する
一方、論理ゲート型ニューラルネットワークは、AND・XORといった実際の論理ゲートそのものをニューロンとして使う設計
推論時には本物のブール回路として動作するため、浮動小数点演算が不要になり、圧倒的に高速・省電力な推論が可能になるというのが最大の魅力

通常のニューロンとの違い

違い:

通常のニューロン:
- 入力$x$に対して$y=f(w\cdot x+b)$（重み付き和＋活性化関数）を計算する
論理ゲート型のニューロン:
- 2つの入力$a,b$（0か1の値）に対して、AND・OR・XORなどの論理ゲートをそのまま適用する

つまり、学習によって最適化される対象が「重み$w$の値」ではなく「どの論理ゲートを使うか」に変わる。

16種類の2入力論理ゲート

2値の入力$a,b$の組み合わせは$(0,0),(0,1),(1,0),(1,1)$の4通りある
それぞれに0か1を割り当てる関数は$2^4=16$通り存在する

全16種類論理ゲート:

AND・OR・XOR・NAND・NOR・XNOR
TRUE（常に1）・FALSE（常に0）
$A$・$B$
$\lnot A$・$\lnot B$
さらに4つの非対称なゲート（$A \land \lnot B$等）

微分可能な緩和

離散的な論理ゲートはそのままでは微分できず、勾配降下法で学習できない。そこで、実数値$[0,1]$上のファジー論理（t-norm/t-conorm）を使って各ゲートを連続的に緩和する。

$\mathrm{AND}(a,b) = ab$
$\mathrm{OR}(a,b) = a+b-ab$
$\mathrm{XOR}(a,b) = a+b-2ab$
$\mathrm{NAND}(a,b) = 1-ab$

といった形で、16種類全てのゲートに実数値の緩和版を用意する。各ニューロンは、この16種類のゲートに対する学習可能な重みベクトル$w\in\mathbb{R}^{16}$を持ち、ソフトマックスで確率分布$p=\mathrm{softmax}(w)$に変換する。ニューロンの出力は、16個の緩和ゲート出力$f_i(a,b)$の確率加重和として計算される。

$$ y = \sum_{i=1}^{16} p_i \, f_i(a,b) $$

これにより、ゲートの選択そのものが確率分布として微分可能になり、通常の誤差逆伝播で学習できるようになる。

学習と離散化

まず、このソフトな（確率的な）ネットワークを通常の勾配降下法で学習する
学習後、各ニューロンは最も確率の高いゲート（$\arg\max_i p_i$）に離散化され、接続も固定される
結果として、実際に動作するブール回路（本物のAND・XOR等の組み合わせ）が得られる
元の提案論文では、ソフトな状態での精度と、離散化後の精度の差は0.1%未満に収まると報告されている

ネットワーク構造

論理ゲート型ネットワークは全結合ではなく、疎な結合を持つ。各ニューロンは前の層のちょうど2つのニューロン（または入力）にランダムに接続され、この配線は初期化時に決まり学習中は変化しない。学習によって最適化されるのは、あくまで各ニューロンのゲート選択の重みだけになる。

研究の系譜

Deep Differentiable Logic Gate Networks（NeurIPS 2022）

この設計を提案した最初の論文が、Felix Petersen, Christian Borgelt, Hilde Kuehne, Oliver DeussenによるDeep Differentiable Logic Gate Networks（arXiv:2210.08277）。

MNISTにおいて、単一のCPUコア上で1秒間に100万枚以上の画像を処理できる推論速度を報告している
UCIのAdultやBreast Cancerのような表形式データでも、ロジスティック回帰や小型ニューラルネットに匹敵する精度を、ナノ秒オーダーの推論時間で達成している
一方、CIFAR-10については、この時点では畳み込み構造を持たない小規模なネットワークしか試されておらず、精度はCNNに遠く及ばない水準に留まっていた

Convolutional Differentiable Logic Gate Networks（NeurIPS 2024, Oral）

続く論文Convolutional Differentiable Logic Gate Networks（Petersen, Kuehne, Borgelt, Welzel, Ermon、arXiv:2411.04732）では、論理ゲート型ネットワークに畳み込み構造を導入している。

論理ゲートを木構造に組み合わせた畳み込みカーネル
通常のmaxプーリングに相当する、微分可能な緩和版の論理ORプーリング
深い層でも学習が安定するような、恒等写像に近い初期化

これらにより、CIFAR-10において86.29%の精度を、わずか6,100万個の論理ゲートで達成したと報告されている。これは、同等の精度を持つXNOR-Net（2値化ニューラルネットの代表的手法）と比べて、29倍小さい構成だとしている。

実装

Petersen自身が公開しているPyTorchベースのライブラリdifflogic（GitHub、MITライセンス）が、上記の手法の公式実装として利用できる。

限界・課題

緩和されたブール演算を何層も重ねると、勾配が消失しやすくなる
ソフトマックスの温度に敏感で、低すぎると数値が不安定になり、高すぎると勾配の信号が弱くなる
ソフトな学習時と、離散化した推論時との間のギャップ（discretization gap）が、設定によっては完全には解消しない場合がある
各ニューロンで16種類のゲート関数を毎回評価する必要があるため、通常のネットワークより学習コスト自体は高くなりやすい
単純に層を深くするだけでは精度が向上しないという「深さのスケーラビリティ」の問題が、2025〜2026年の後続研究でも指摘されており、まだ解決していない課題として残っている

実際にMNISTで論理ゲートCNNを作ってみた

理論の紹介だけで終わらせず、実際に手元で学習させて、回路にまで変換してみた。

前提知識

FPGAとは

Field-Programmable Gate Arrayの略で、製造後に内部の論理回路を何度でも書き換えられる集積回路
基本単位はLUT（後述）で、これを大量に組み合わせて任意の論理回路を実現する
配線を固定して製造するASIC（特定用途向け集積回路）と違い、量産前の検証や、少量生産、頻繁な設計変更が必要な用途に向く

LUT（Look-Up Table）とは

FPGAの中で実際に論理演算を行う、最小単位の回路
入力の組み合わせパターンに対して、あらかじめ設定しておいた出力を返す、小さなメモリのようなもの
一般的なFPGAでは4入力LUTが基本単位で、これを大量に組み合わせることで複雑な回路を実現する
FPGAの規模は、このLUTを何個持っているかでおおまかに表される（例: 数千LUT程度の小型FPGAから、数十万LUT級の大型FPGAまで）

RISC-Vとは

カリフォルニア大学バークレー校で開発された、オープンでロイヤリティフリーの命令セットアーキテクチャ（ISA）
ARMやx86と違い、誰でも自由に実装・改変・製造できる
PicoRV32のような、FPGA上にLUTの組み合わせとして実装できる、軽量な「ソフトコア」実装も複数公開されている

Verilogとは

デジタル回路の構造や動作を記述するための、ハードウェア記述言語（HDL）の一つ
記述したVerilogコードは、Yosysのような論理合成ツールによって、FPGAやASIC向けの実際の回路（ゲートの接続情報）に変換される
論理ゲート型ニューラルネットワークは、学習後にそのまま本物の論理回路になるため、このVerilogへの変換と相性が良い

使ったライブラリ

論文の公式実装difflogicには、実はConvolutional版（2024年論文）のコードは含まれていない
代わりに、difflogicを拡張したtorchlogix（ligerlac/torchlogix、MITライセンス）を使用。LogicConv2d・OrPooling2d・LogicDense・GroupSumといった、畳み込み版に必要な部品が揃っている
学習済みモデルを、そのままCやVerilogのコードにコンパイルできるCircuitという仕組みも内蔵している

実験結果

3種類の構成でMNISTを学習させ、離散化した状態（discrete、実際の回路と同じ精度）での結果を比較した。

構成	クラス数	イテレーション数	ゲート数（simplify後）	精度（discrete）
カーネル4・隠れ層100	2（0 vs 1）	600	973	99.27%
カーネル8・隠れ層400	10（0〜9）	3,000	2,961	66.9%（頭打ち）
カーネル16・隠れ層4,000×2	10（0〜9）	30,000	12,207	94.85%

2クラスの最小構成は、973ゲートという小さい回路で99.27%まで到達できた
同じ発想のまま10クラスに拡張すると、隠れ層400ゲートでは66.9%で頭打ちになった。原因は最終層の「投票権」不足で、400ゲートを10クラスで分け合うと1クラスあたり平均40ゲート程度しか使えない
論文のデフォルトに近い規模（カーネル16枚・隠れ層4,000ゲート×2層）まで増やすと94.85%まで伸びた（論文の元の学習では、学習率スケジュールを使ったさらに長時間の学習で精度を詰めている）

つまり、少ないゲート数で済ませようとすると、クラス数が増えるほど精度が頭打ちになりやすい。

Verilogへの変換とFPGAとの相性

torchlogixのCircuitは、学習済みモデルをそのままget_verilog_code()で実際のVerilogコードに変換できる
0 vs 1モデルの973ゲートという規模は、Lattice iCE40 UltraPlus（2,800〜5,280 LUT）のような小型FPGAに、RISC-Vソフトコア（PicoRV32など）と同居させられる可能性がある規模
一方、10クラスモデルの12,207ゲートは、この小型FPGAには収まらない規模になる

考察

パラメータ数と効率の関係

同じ精度を出すのに必要なゲート数は、通常のニューラルネットの重みの数より多くなりやすい
一見非効率に思えるが、1つの論理ゲートは2入力・16種類のどれかを選ぶだけの最小単位の回路である一方、通常のニューラルネットの1つの重みは、実際にハードウェア化すると乗算器・加算器を必要とする、桁違いに高コストな回路になる
CIFAR-10の86.29%・6,100万ゲートという構成が、同等精度のXNOR-Net（2値化ニューラルネット）より29倍小さいという結果は、この「1ユニットあたりのコストの差」が「ユニット数の差」を上回ることを示している

大規模モデルへの適用の限界

数十億パラメータ級の大規模言語モデルをこの手法で論理ゲート化できないか、という話も出たが、現実的ではないという結論になった
理由は規模だけでなく、Attention（可変長系列に対するsoftmaxでの重み付け）やLayerNormのような、固定サイズの2入力論理ゲートでは表現しづらい演算が中心にあるため
今のところこの手法が実証されているのは、畳み込み＋全結合で表現できる、固定サイズの分類問題に限られる

まとめ

論理ゲート型ニューラルネットワークは、重み付き和ではなく実際の論理ゲートをニューロンとして使う設計
学習時は16種類のゲートを確率的に混合する微分可能な緩和を使い、学習後は最も確率の高いゲートに離散化して本物のブール回路にする
推論時は浮動小数点演算が不要になるため、MNISTでは単一CPUコアで毎秒100万枚以上という圧倒的な速度を達成している
畳み込み構造を導入したConvolutional版では、CIFAR-10でも86.29%という実用的な精度に、XNOR-Net比29倍小さい構成で到達している
実際にtorchlogixでMNISTの2クラス識別を試したところ、973ゲートで99.27%を達成できた一方、10クラス全部では小さい構成だと精度が頭打ちになり、クラス数とゲート数のトレードオフを実感した
一方で、深さのスケーラビリティや学習の不安定性、Attentionのような演算への非対応など、まだ発展途上の課題も残っている

参考文献

Petersen, F., Borgelt, C., Kuehne, H., Deussen, O. (2022). “Deep Differentiable Logic Gate Networks.” NeurIPS 2022. arXiv:2210.08277
Petersen, F., Kuehne, H., Borgelt, C., Welzel, J., Ermon, S. (2024). “Convolutional Differentiable Logic Gate Networks.” NeurIPS 2024 (Oral). arXiv:2411.04732
difflogic - GitHub
“Mind the Gap: Removing the Discretization Gap in Differentiable Logic Gate Networks”
“On the Depth Scalability of Logic Gate Networks”
torchlogix - GitHub

Mean PoolingとAttention Poolingなどについて

Sat, 08 Aug 2026 21:53:32 +0900

背景

これまで特徴量をぼかすにはMean Poolingを使っていた
しかし、今回のモデルの精度向上のため、meanプールからattention poolingへ変更した
それは、特徴量ごとの重要度を学習しながら集約する事が必要だったから
ちなみに、mean poolingからmulth-head attention poolingに変更したらかなり精度が向上した
そのため、Attention Poolingを理解するためのAttention自体の整理を行った
また、Multi-Head Attention系も必要だったのでそれの理解も載せる

ConvとPool

ConvとPoolの理解

自分の理解だと前提として、普段よく使うConvとPoolは次の理解は以下になる。

Conv
- translation equivariant な性質
- 入力を平行移動すると、特徴マップも対応して平行移動
- 局所特徴を抽出する役割
Pool
- 特徴量を圧縮・集約する役割
- Max Poolingなどは一般に非可逆
- Global Poolingでは位置に対するinvarianceを得られる

Mean Poolingの理解

例えば、Mean Poolingでは、入力特徴量の平均による集約という役割。

$$ z = \frac{1}{N}\sum_{i=1}^{N}x_i $$

WHere:

$x_i$ が各位置の特徴量
$N$ が特徴量の個数
$z$ が集約後の特徴量

つまり、

すべての位置に同じ重み $\frac{1}{N}$
学習されない重み
特徴量の重要度を区別しない集約

例：3個の特徴量を集約する場合

$$ z = \frac{x_1+x_2+x_3}{3} $$

$x_1$ が重要でも $x_3$ が重要でも同じ扱い
「全部を平等に見る」という仮定となる

Attentionの仕組み

Query・Key・Value

Attentionの中心となるのは、Query、Key、Valueで、Q、K、V と表記されるベクトル。

それぞれの意味:

Query
- 「何を探しているか」を表すベクトル
Key
- 「検索対象がどのような特徴を持つか」を表すベクトル
Value
- 実際に取得する情報を表すベクトル

QueryとKeyの比較による関連度の計算、そして、関連度を使ったValueの重み付き和。

なぜQueryとKeyを分けるのか

単純な特徴量同士の類似度だけではなく、「何を探すための表現か」と「検索されるための表現か」の分離をしたいから。

また、同じ入力でも異なる役割を持たせるための線形変換となっている（これは検索も検索対象も同じXから作るのでself-attention）:

$$ Q = XW_Q $$

$$ K = XW_K $$

$$ V = XW_V $$

それぞれ、以下を意味する。

$W_Q$によるQuery用の表現への変換
$W_K$によるKey用の表現への変換
$W_V$によるValue用の表現への変換

つまり、Attentionする情報も、$W_q, W_k, W_v$ですべて学習可能になっているということ。

Attentionの処理

Transformerなどで使われる代表的なAttentionの仕組み（Scaled Dot-Product Attention）。

$$ \mathrm{Attention}(Q,K,V) = \mathrm{softmax} \left( \frac{QK^\top}{\sqrt{d_k}} \right)V $$

Where:

$QK^\top$
- Queryと Keyの内積
- Queryと各Keyの相性の計算
- つまり、1つのQueryに注目した場合、Query:Key = 1:Nで計算を行う
- 値が大きいほど高い関連度
- 「このQueryに対して、どのKeyが関係しているか」というスコア
$\sqrt{d_k}$ による除算
- Key の次元数を $d_k$ としたときのスケーリング
- 次元数が大きくなることで内積の値が大きくなりやすい問題への対処
- Softmaxの出力が極端になることを抑えるための処理
Softmax
- スコアから Attention Weight への変換 $$ \alpha_i = \frac{\exp(s_i)} {\sum_j\exp(s_j)} $$
- $s_i$ が Query と各 Key の関連度
- $\alpha_i$ が変換後の Attention Weight
- 重みの合計が1になる性質
- 「どこをどれくらい見るか」を表す割合
Valueとの積
- Attention Weight を使った Value の重み付き和 $$ z = \sum_i\alpha_iV_i $$
- 関連度の高い Value を強く反映した出力
- Query に応じて変化する集約結果

Self-Attention

Self-Attentionとは

最も一般的なAttentionがself-attetion
これはI have a penみたいな文章のattentionに使われている
例えば、haveと 4つ（I, have, a, pen）の関連性を取るため
（ちなみに、この場合は、haveとpenが高いattention weightになると思う）

$$ Q = XW_Q $$

$$ K = XW_K $$

$$ V = XW_V $$

Where:

$X$は元々の行列（i have a penなら、4つのベクトルを持つ行列）

Self Attentionの次元

入力が $N$ 個の特徴量の場合：

$$ X \in \mathbb{R}^{N \times D} $$

Self-Attention 後も基本的には $N$ 個の特徴量がある。

$$ N \times D \rightarrow N \times D $$

CNNととself-attentionの違い

特徴を取るのに一般的に使われるのはCNN系のカーネル。

そのCNN系とself-Attentionの違いは以下:

CNN
- 近傍を重視する構造
- その近傍のサイズはKernel sizeによって決まる
- また、inductive biasが強み
Attention
- Attentionは「どこと関係が強いか」を重視する構造
- Attention機構によって重要視する所も学習が可能
- つまり、関係性をデータから学習する柔軟性が強み

CNNのInductive bias

画像なので、以下の前提が、CNNアーキにはあるということ:

近くの画素同士は関係が強いはず、という局所性
同じ特徴検出器を画像全体で使い回すというweight sharing
位置がずれても同じ特徴を検出できるというtranslation equivariance

これは全体をくまなく見るAttentionとは違うbiasがかかっている。

Multi-Head Attention

Multi-Head Attentionとは

Attention を1回だけではなく複数並列に実行する仕組み
わかりやすく言えば、QKVの重みがn個あるということ
それだけ別々の特徴を取れるということ

$$ \mathrm{head}_i = \mathrm{Attention} ( QW_i^Q, KW_i^K, VW_i^V ) $$

特徴:

Head ごとに異なる変換
Head ごとに異なる Attention

各 Head の出力を結合する処理は以下となる。

$$ \mathrm{MultiHead}(Q,K,V) = \mathrm{Concat} ( \mathrm{head}_1, \dots, \mathrm{head}_h )W^O $$

つまり、1つのAttentionだけに限定しない関係性の捉え方。

multi-head attentionのイメージ

例えば画像の場合だと、以下を別々に学習するようなイメージ:

形状に反応
テクスチャに反応
特定領域に反応
離れた領域同士の関係に反応

人がHeadごとに役割を定義するわけではなく、複数の表現空間から同じ入力を見る仕組み。

Attention Pooling

Query Attention Pooling

Attention Poolingのよく使われる実装方法の一つがQuery attention pooling
これはPooling用のQueryを用意する方法
ただし、Self Attentionとは違い、入力XからQueryは作らない
そして、ある1個のQueryから複数の特徴量を参照する構造

入力特徴量:

$$ X = [x_1,x_2,\dots,x_N] $$

Pooling用Query（Xから作っていないのがミソ）:

$$ Q = q_{pool} W_p $$

入力からself-attentionと同じようにKeyとValueを生成する:

$$ K = XW_K $$

$$ V = XW_V $$

QueryとKeyの関連度を計算する:

$$ s = \frac{QK^\top}{\sqrt{d_k}} $$

Attention Weightを算出する:

$$ \alpha = \mathrm{softmax}(s) $$

self=attentionのように、Valueの重み付き和を出す:

$$ z = \alpha V $$

最終的に1個のベクトルを得るというpooling構造:

$$ N \times D \rightarrow 1 \times D $$

Query Attention Poolの特徴

大きな違いは、qがxから生成されないということ
そして、次元が1次元かに圧縮されるということ
これはflatten（$N \times D$）ではなく、圧縮（$1 \times D$）となっている
（ゆえにPoolingということ）

Self AttentionとQuery Attention PoolのQueryの違い

Self-AttentionとQuery Attention Poolingの違いとしては、Queryの数
Self-Attentionでは各入力位置に対応する複数のQuery
- 例えば、I have a penなら、4つのqueryができるはず
他方、Query Attention Poolingでは1個の学習可能なQueryを使う構成
つまり、Pooling用Query自体をモデルのパラメータとして学習する方法

学習可能なQueryの直感的な意味:

「このタスクを解くために、入力からどのような情報を集めたいか」を表すベクトル
学習によって更新される検索条件
入力ごとに異なるKeyと比較される共通のQuery
Query自体は同じでも入力ごとに変わるAttention Weight
Keyが入力から生成されることによる動的なPooling

Multi-Head Attention Pooling

Attention PoolingをMulti-Head化したもの
複数の観点から特徴量を集約する仕組み

ヘッドの数による違い:

1つの Head
- 1つの表現空間でのQueryとKeyの比較
- 1種類のAttention Weight
- 1つの観点からの特徴集約
複数の Head
- 複数の表現空間での比較
- Head ごとに異なる Attention Weight
- 複数の観点から得られる集約結果

Multi-healの意味:

各Head の出力を結合した最終表現
単一の重要度だけでは表現しにくい情報への対応

Mean Pooling とのイメージ上の違い

Mean Pooling：全員の意見を同じ重さで平均
Attention Pooling：必要そうな人の意見を強く反映
Multi-Head Attention Pooling：複数の観点から重要な意見を集めて最後に統合

Attentionの意味

Attention Poolingのコア

Attention Poolingのコアは「どこを見るか」という考え方
つまり、入力を均等に扱うのではなく、重要な部分に大きな重みを与える仕組み
Mean Pooling における固定値 $1/N$ を、入力から計算した重みに置き換えるイメージ

$$ z = \sum_{i=1}^{N}\alpha_i x_i $$

Where:

$\alpha_i$ が各特徴量に対する重みで、Attention Weight と呼ばれる値

多くの場合に満たす条件:

$$ \sum_i \alpha_i = 1 $$

Mean PoolingとAttention Poolingの違い:

Mean Pooling も一種の重み付き和
Mean Pooling ではすべての $\alpha_i = 1/N$
Attention Poolingでは入力に応じて変化する $\alpha_i$
「何を見るべきか」をモデルが決める仕組み

これがAttention Poolingのコア。

Mean PoolとAttention Poolの違い

Mean Pooling
- 全部を均等に見る Pooling
Attention Pooling
- 入力に応じて見る場所を変える Pooling

Attentionで実際に学習されるもの

Softmax 自体には基本的に学習パラメータなし
内積自体にも学習パラメータなし
主な学習対象となる Q、K、V の射影

$$ W_Q, W_K, W_V $$

Multi-Head Attention における Head ごとに異なる射影
Head を結合した後の出力変換

$$ W_O $$

Attention Pooling で学習可能なQueryを使う場合のQuery自体
学習によって変化する関連度を測るための空間
学習によって変化する「何を見るか」の基準
Attention Weight 自体を直接パラメータとして保存する仕組みではない点
入力と学習済みパラメータから毎回計算されるAttention Weight

Lllama上のAttentionの例

Attentionの仕組み

まずは、KとQの内積を求める
内積のスカラーは次元数が大きくなるほど大きな値を取りやすいため、$\sqrt{d_k}$ で除する
scale調整ということ

入力はThinking Machinesで、それぞれembeddingして、$x_1$と$x_2$にしている
$X=[x_1, x_2]^T$ということ
それぞれ、QKVを計算する
- $q_i = x_i W_q$
- $k_i = x_i W_k$
- $v_i = x_i W_v$
その後、Attentionをかける
- $q_1$ を、Thinking自身の $k_1$ だけでなく、Machinesの $k_2$ とも比較する
- （この例の場合は、thinkingの$q_1$を更新したい）
つまり、次を計算している
- $q_1 \cdot k_1$: Thinkingから見たThinkingとの関連度
- $q_1 \cdot k_2$: Thinkingから見たMachinesとの関連度
そして、softmaxをかけて、$[14, 12]$を確率と変換している
つまりThinkingのQueryは以下となったということ
- Thinking自身へのAttention → $0.88$
- MachineへのAttention → $0.12$
これらの$a_i=[0.88, 0.12]$がthinkingのattention（αttention weightになる）
Vは$v_i$として学習済みなので最終的に以下になる
$z_i = a_i V$
つまり，$z_1= 0.88 v_1 + 0.12 v_2$

なお、attention weightの定義は以下となる。

$$ \Alpha = \mathrm{softmax} \left( \frac{QK^\top}{\sqrt{d_k}} \right) $$$$ \mathrm{Attention}(Q,K,V) = \Alpha V $$

最後に、$Z_i$をconcatして、それを学習するためのoutput重み$W_o$で行列積をする
結果$Z_o = Z W$を得る（Multi-Head Self-Attention outputの意味）

Attentionのパターン

今回のはMHAだったが、他にもパターンがある。

MHA
- 表現力を多く持たせやすい
- KV Cacheが大きい
GQA
- 複数のQ HeadでK/Vを共有
- 表現力と効率の中間
MQA
- 全Q HeadでK/Vを共有
- KV Cacheを大きく削減

LLamaの実際のコード

https://github.com/meta-llama/llama/blob/689c7f261b9c5514636ecc3c5fefefcbb3e6eed7/llama/model.py#L176

実際は、(batch_size, sequence_length, number_of_heads, head_dimension)$みたいな形で処理されている。

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101


class Attention(nn.Module):
 def __init__(self, args: ModelArgs):
 super().__init__()
 self.n_kv_heads = args.n_heads if args.n_kv_heads is None else args.n_kv_heads
 model_parallel_size = fs_init.get_model_parallel_world_size()
 self.n_local_heads = args.n_heads // model_parallel_size
 self.n_local_kv_heads = self.n_kv_heads // model_parallel_size
 self.n_rep = self.n_local_heads // self.n_local_kv_heads
 self.head_dim = args.dim // args.n_heads

 self.wq = ColumnParallelLinear(
 args.dim,
 args.n_heads * self.head_dim,
 bias=False,
 gather_output=False,
 init_method=lambda x: x,
 )
 self.wk = ColumnParallelLinear(
 args.dim,
 self.n_kv_heads * self.head_dim,
 bias=False,
 gather_output=False,
 init_method=lambda x: x,
 )
 self.wv = ColumnParallelLinear(
 args.dim,
 self.n_kv_heads * self.head_dim,
 bias=False,
 gather_output=False,
 init_method=lambda x: x,
 )
 self.wo = RowParallelLinear(
 args.n_heads * self.head_dim,
 args.dim,
 bias=False,
 input_is_parallel=True,
 init_method=lambda x: x,
 )

 self.cache_k = torch.zeros(
 (
 args.max_batch_size,
 args.max_seq_len,
 self.n_local_kv_heads,
 self.head_dim,
 )
 ).cuda()
 self.cache_v = torch.zeros(
 (
 args.max_batch_size,
 args.max_seq_len,
 self.n_local_kv_heads,
 self.head_dim,
 )
 ).cuda()

 def forward(
 self,
 x: torch.Tensor,
 start_pos: int,
 freqs_cis: torch.Tensor,
 mask: Optional[torch.Tensor],
 ):
 bsz, seqlen, _ = x.shape
 xq, xk, xv = self.wq(x), self.wk(x), self.wv(x)

 xq = xq.view(bsz, seqlen, self.n_local_heads, self.head_dim)
 xk = xk.view(bsz, seqlen, self.n_local_kv_heads, self.head_dim)
 xv = xv.view(bsz, seqlen, self.n_local_kv_heads, self.head_dim)

 xq, xk = apply_rotary_emb(xq, xk, freqs_cis=freqs_cis)

 self.cache_k = self.cache_k.to(xq)
 self.cache_v = self.cache_v.to(xq)

 self.cache_k[:bsz, start_pos : start_pos + seqlen] = xk
 self.cache_v[:bsz, start_pos : start_pos + seqlen] = xv

 keys = self.cache_k[:bsz, : start_pos + seqlen]
 values = self.cache_v[:bsz, : start_pos + seqlen]

 # repeat k/v heads if n_kv_heads < n_heads
 keys = repeat_kv(
 keys, self.n_rep
 ) # (bs, cache_len + seqlen, n_local_heads, head_dim)
 values = repeat_kv(
 values, self.n_rep
 ) # (bs, cache_len + seqlen, n_local_heads, head_dim)

 xq = xq.transpose(1, 2) # (bs, n_local_heads, seqlen, head_dim)
 keys = keys.transpose(1, 2) # (bs, n_local_heads, cache_len + seqlen, head_dim)
 values = values.transpose(
 1, 2
 ) # (bs, n_local_heads, cache_len + seqlen, head_dim)
 scores = torch.matmul(xq, keys.transpose(2, 3)) / math.sqrt(self.head_dim)
 if mask is not None:
 scores = scores + mask # (bs, n_local_heads, seqlen, cache_len + seqlen)
 scores = F.softmax(scores.float(), dim=-1).type_as(xq)
 output = torch.matmul(scores, values) # (bs, n_local_heads, seqlen, head_dim)
 output = output.transpose(1, 2).contiguous().view(bsz, seqlen, -1)
 return self.wo(output)

その他

Attentionの種類の違い

Attention:

Self-Attention
- QとKとVが同じ入力から作られる
- 例えば、ある文章の中で単語の繋がりなどの関連性が大切などのとき
Cross-Attention
- QueryとKey / Valueの出どころが異なるAttention
- $Q$は入力$X$、$K,V$は別の入力$Y$から作られる
- 例えば文章から画像特徴を参照する場合など
Attention Pooling
- Attention を使って複数の特徴を集約する

AttentionとPoolingのサイズの違い

Attention:

$$ N \times D \rightarrow N \times D $$

複数の特徴量から複数の特徴量への変換
特徴量同士の関係を使った各特徴量の更新

Pooling:

$$ N \times D \rightarrow 1 \times D $$

複数の特徴量から1個の特徴量への集約
特徴量の個数を減らす処理

Attentionの直感的な理解

Attentionの本質としての検索
Query
- 欲しい情報を表す検索条件
Key
- 検索対象を表す見出し
Query × Key
- 欲しい情報との一致度
Softmax
- 一致度から参照割合への変換
Value
- 実際に取得する中身
Attention
- Queryに合ったValueを集める処理
- QueryとKeyによる「どこを見るか」の決定
- Valueによる「何を取り出すか」の決定
そして、QKVは学習することによって形を変える

まとめ

Mean PoolingからAttention Poolingへの変更は、「情報の集約方法を学習可能にする」ということ
具体的な例がないとイメージはつきにくい

参考文献

TransformerのPositional Encodingの解釈

Thu, 30 Nov 2023 19:57:51 +0900

概要

TransformerはGPTやBERTにも使用されるNLPのモデルのアーキテクチャ
TransformerはAttention / Self-Attention機構やスケーラビリティが特徴的
ただ今回は、TokenのPositional Encodingについての解釈メモ
ある程度Transformerの知識がある前提でPositional Encodingについて説明する

NOTE:

便宜上形式的に単語=tokenの同義としている
サブワードなどの処理については説明は行わない

Transformer

そもそもTransformerとは

ざっくり言うと次となる。

2017年にGoogleの研究者によって紹介されたアーキテクチャ
Transformerは、NLPの分野で使用される
多くのNLPタスクで卓越した性能を示す

Positional Encodingの場所

先にTransformerの全体図とPositional Encodingの場所を示す。

全体でみると、Positional Encodingは、Attention機構（図中のMulti-Head Attention）の前に、Inputを加工するために行われる
図中の太陽十字はelement wise sumを意味し、tokenのembeddingのベクトルとPositional Encodingのベクトルを加算することを意味する

そもそもPositional Encodingとは何か

下図にPositional Encodingとtokenの関係を示す
文字（token）はi am a robotだが、そのtoken毎にpositional encodingとしてベクトルがある
このベクトルがPositional Encoding
なお、図中の$d$はtokenの埋め込みの次元数を意味している

このように、Positional Encodingはtokenの埋め込み次元分作成し、tokenの埋め込みベクトルに対して加算することで、positionをtokenに加算し、表現する仕組みである。

Transformer全体で見たときの意味

では、Transformer全体で見たときの、Positional Encodingの意味とは何か？

もちろん、tokenの文中の位置である
ただ、なぜ位置が重要かと言うと、実はTransformerのコアであるAttention機構では位置を考慮しないからである

Attention機構の概略

下図にAttention機構の概略を示す。

シンプルに図解すると、下図のような処理をattention機構では行っている
あくまでトークンとトークンの関係のみを考慮して、どのトークンに注目するのかを決定している
故に、attention機構だけでは文字の場所を考慮していない仕組みとなっている

Attentionの前に使われていた機構

Attentionが流行る前はRNNやLSTMがNLPのデファクトスタンダードだった。

例えば、Transformerの前に使われていたRNNやLSTMでは、Positional Encodingが不要だった
なぜなら、入力シーケンスを順序通りに処理し、各時点での隠れ層で時系列を考慮できたから
つまり、RNNなどでは、時系列データの文脈を隠れ層で捉えていた
他方、TransformerはAttentionを使うが、Attentionはシーケンスを考慮しない
故に、Positional Encodingが重要になってくる

上図にRNNのメカニズムを示す。
ちなみに、ここで、各文字列は次を示す。

$W_{xh}$: input(x)から隠れ層への重み
$W$: 隠れ層から隠れ層への重み
$W_{hy}$: 隠れ層からoutput(y)への重み
$a$: アクティベーションレイヤー

Positional Encodingの詳解

単語のベクトル表現

単語のベクトル表現方法

まず、Positional Encodingを加算される前の、単語のembeddingを次に示す。

上図の通り、単語に対して、3次元の埋め込み空間を用意し、単語のembedding表現をしている。
Vは単語の埋め込みベクトル、Pは単語のPositional Encodingである。

単語のベクトル表現への位置の追加

そして、それを単語のベクトル空間に落とすと次のようなイメージになる。
赤、青、緑の線分が単語のベクトル表現を示す。
これに対して、Positional Encodingを加算しているのが、緑の線分である。

つまり、単語空間に対して位置を加算する事によって、位置情報も付与するという事である
緑のベクトルはPositional Encodingを加算後にベクトルの向きが変わっている

これがシンプルに言う、tokenへのPositional Encodingの追加と言う事。

ポジションの値の決め方

位置を値にする

では、何をPositional Encodingの値とするのか？
最もシンプルなのは、下図のようにtokenのpositionを埋め込む事。

100 token目のPositional Encodingの値は100になると言う事。

値域を制限して位置を値にする

ただ、上の方法は、文が長いと際限なく値が大きくなる
つまり、元々のtokenの埋め込みに大きすぎる影響を与えてしまう事を意味する
そうすると、元々のtokenの埋め込みの意味がつぶれてしまう

そこで、次のように抑制する。
ここで、$pos$はtokenの位置を示す。

$$ \text{position value} = \frac{1}{pos−1} $$

例えば、位置が100 token目だった場合は$\frac{1}{99}$となる
この手法では、文の長さに関係なく、Positional Encodingの最大値を1に制限できる

例：

4個のtokenを持つ文の1つ目のtokenのposition値
- 1/3 = 0.33
10個のtokenを持つ文の1つ目のtokenのposition値
- 1/9 = 0.11

上図は5 tokenある文の、それぞれに、一定のPositional Encodingの値を付与している。

sin関数で埋め込む方法

ただ、上の手法でも次の問題があった。

テキスト、コーパス全体で同じ埋め込み値を持つ必要がある
また、表現が豊かではない事、関数のsmoothさなど

そこで、周波数ベースの位置埋め込みが発案された。

なお、三角関数の他には[0, 1]を取るsigmoidなどがあるが、端に行くほど変化が鈍化してしまう欠点があった
その点三角関数はpositionが大きくなってもvalueを変化させられて表現が豊かである

周波数を考慮してsin関数で埋め込む方法

しかし、上記の方法は、次の問題があった。

周期関数なので、positionが変化しても同じvalueの値が返される
これは近傍のトークン間の違いは表せても遠くのトークンの違いを表現できない

そこで最大の文章量が来てもvalueが繰り返されないほど低い周波数も与えた。

これで長い文章が来ても位置情報を個別に割り振れた
つまり、低周波は近くのtokenとの関係を、高周波は遠くのtokenの関係を表現できると言う事

sinとcosを組み合わせて周波数を考慮して埋め込む方法

ただ上記の方法でも、次の問題があった。

なぜなら低周波数にしたため、positionが小さいとき（例えば1, 2の場合）値がほとんど変化しない
イメージは下の図の感じである

故に、90度ずれるsinとcosを組み合わせて利用する

最終的な要件

つまり、表現の豊かさ、値域の制限、スケーラビリティなどを考慮して、最低必要なのは次の要素だった。

トークンのpositionに応じて変化させる
sin / cosを組み合わせて位置を埋め込む
低周波と高周波を組み合わせて、近傍と遠くの関係を表現する

Position encodingの数式

結果、それらをまとめると次になる。

$$ {PE\left( pos,2i\right) =\sin \left( \dfrac{pos}{10000^{2i/d_{model}}}\right) } $$$$ {PE\left( pos,2i+1\right) =\cos \left( \dfrac{pos}{10000^{2i/d_{model}}}\right) } $$

ここで変数は次を示す。

「pos」は、文中の特定のtokenの位置
「d」は、文中の特定のtokenを表すベクトルの最大長/次元
「i」は、各位置埋め込み次元のインデックス

また、2i+1の意味は次である。

偶数番目（2n）の場合はsinを、奇数番目（2n+1）の場合はcosの関数を利用する

また、PEとtokenの埋め込みベクトルの関係を示すと次のようになる。

Positional Encodingの可視化

それを可視化すると次になる。

つまり上図から次が言える。

次元のindexが低いほど、高周波
次元のindexが高いほど、低周波

position=3の場合の計算の例。

i=0 の場合
- PE(3,0) = sin(3/10000^2(0)/3)
- PE(3,0) = sin(3/1)
- PE(3,0) = 0.14
i=1 の場合
- PE(3,1) = cos(3/10000^2(1)/3)
- PE(3,1) = cos(3/436)
- PE(3,1) = 0.99
i=2 の場合
- PE(3,2) = sin(3/10000^2(2)/3)
- PE(3,2) = sin(3/1.4)
- PE(3,2) = 0.03

tokenの埋め込みベクトルと位置埋め込みの関係を次に示す。

下図のように、tokenのembeddingのi番目の値が周波数のi番目によって加算される

つまり次が言える。

高周波（i=0）の時はpositionのlocal featureが表れる
- なぜなら周期が早いので、近くのtoken間の差が大きく出るから
低周波（i=2）の時はpositionのglobal featureが表れる
- なぜなら振幅が遅いので、全体的に差が出るように周期するから

つまり、別の言い方をすると、位置情報を全体と部分の振幅をもつ周波数に分解してそれぞれの埋め込み次元に適用している
これは、おそらく周波数の合成をできるフーリエ変換をバラして適用している感じと捉えられる
つまり、高周波と低周波をミックスすると、位置ごとに別々の表現にちゃんとなっているだろうということ

Positional Encodingの可視化

positionとdimensionとsin/cosの等高線

次にpositionとdimensionとsin/cosの等高線を示す。

dimensionが低いと（encoding vectorの最初の方のindexの要素）は、高周波で、要素の番数が大きくなるほど、低周波になる
これは、低次元と高次元を表現できることを意味する。なお、20番目以降ぐらいからは収束する

encodingが取りうる値

次にencodingが取りうる値を2次元にして示す。

pos=10での位置埋め込みの値、横軸は埋め込みベクトルの次元jを表し、縦軸は位置埋め込みの値を示している
jが縦に入れ替わっているのは、cos/sinの入れ替わりがあるから

高周波と低周波の組み合わせの可視化

位置埋め込みで内積を取ったグラフを示す。

同位相の波は強く干渉している

その他

EncodingとEmbeddingとは

EncodingとEmbeddingを説明する。

Encodingは変数のベクトル表現のこと
例えば、リンゴ、オレンジ、チンパンジーを表現するとする

one-hot encodingで、バイナリで表現する方法は次となる。

リンゴ：[0, 1, 0]
オレンジ：[0, 1, 0]
チンパンジー：[0, 0, 1]

つまり、1次元目がリンゴ、2次元目がオレンジ、3次元目がチンパンジーのbitと言う事である。
ただし、これらの内積をとっても、類似性を考慮できない。

理由は内積が全て0になるからである

明らかにリンゴとオレンジは意味が近く、リンゴとチンパンジーはそれと比較して意味が遠い。
そこでtokenの埋め込み（Embedding）を行う。

リンゴ：[0.1, 0,9, 0.1]
オレンジ：[0.2, 0,9, 0.1]
チンパンジー：[-0.9, 0,4, -0.9]

すると、cos類似度などで近似性をとれる。
リンゴとオレンジは1に違い値となるが、リンゴとチンパンジーは-1に近い値となる。

単純に言うと、これがembedding
つまり、embeddingとは、高次元（上述の例では3次元）に意味埋め込むという事
内積やcos類似度は埋め込み空間でのベクトルの向きの一致度（ベクトルの類似度）を示している

EncodingとEmbeddingの違い

埋め込みや表現では境界線が曖昧だが、両者には明確な違いがある。

encodingは符号化
embeddingは埋め込み

また、Trainingの視点だと次の違いがある。

Encodingは学習しない（つまり、static）
Embeddingは学習する（つまり、dynamic）

なぜ三角関数で上手くPoistional Encodingができるのか

We chose this function because we hypothesized it would allow the model to easily learn to attend by relative positions, since for any fixed offset k, PEpos+k can be represented as a linear function of PEpos.

上が元々の論文での説明。つまり、固定オフセットの場合、モデルが相対位置による学習を簡単に学習できるという仮説があったと言う事。

実は絶対位置より相対位置（Relative Positioning）の方が重要であり、機械学習は内積の集積なので、線形変換ができる事=学習の容易さを示す。例えば、I have a pen. だと、絶対的な4番目のpenの位置という情報より、aをoffsetとしたpenの位置が重要。

相対位置で線形変換ができる事の証明

全てのsine-cosine pairの$\omega_k$に対する、以下の式を満たす$M \in \mathbb{R}^{2\times2}$(ｔからは独立)が存在するという事。

$$ \newcommand{\br}{\\\\} M\begin{bmatrix} \sin(\omega_k . t) \br \cos(\omega_k . t) \end{bmatrix} = \begin{bmatrix} \sin(\omega_k . (t + \phi)) \br \cos(\omega_k . (t + \phi)) \end{bmatrix} $$

ここで、それぞれ次を意味する。

$k$ はPositional Encodingのindex（最小は0、最大は$=\frac{d_{model}}{2} $）
$\phi$はoffset（元々の数式で言うpos）
$t$は欲しいtokenのoffsetからの相対pos

線形変換されるベクトルは次のように$i$番目のindexから$k$を場合分けで算出する。

$$ \newcommand{\br}{\\\\} \begin{align} \vec{p_t}^{(i)} = f(t)^{(i)} & := \begin{cases} \sin({\omega_k} . t), & \text{if}\ i = 2k \br \cos({\omega_k} . t), & \text{if}\ i = 2k + 1 \end{cases} \end{align} %]]> $$

Mを$2 \times 2$の行列とし、次の$u_1, v_1, u_2, v_2$を探す。

$$ \newcommand{\br}{\\\\} \begin{bmatrix} u_1 & v_1 \br u_2 & v_2 \end{bmatrix} \begin{bmatrix} \sin(\omega_k . t) \br \cos(\omega_k . t) \end{bmatrix} = \begin{bmatrix} \sin(\omega_k . (t + \phi)) \br \cos(\omega_k . (t + \phi)) \end{bmatrix} $$

加法定理より、右辺を展開すると次になる。

$$ \newcommand{\br}{\\\\} \begin{bmatrix} u_1 & v_1 \br u_2 & v_2 \end{bmatrix} .\begin{bmatrix} \sin(\omega_k . t) \br \cos(\omega_k . t) \end{bmatrix} = \begin{bmatrix} \sin(\omega_k . t)\cos(\omega_k .\phi) + \cos(\omega_k . t)\sin(\omega_k .\phi) \br \cos(\omega_k . t)\cos(\omega_k .\phi) - \sin(\omega_k . t)\sin(\omega_k . \phi) \end{bmatrix} $$

その結果、次の方程式が成り立つ。

$$ \newcommand{\br}{\\\\} \small \begin{align} u_1 \sin(\omega_k . t) + v_1 \cos(\omega_k . t) = & \ \ \ \ \cos(\omega_k .\phi)\sin(\omega_k . t) + \sin(\omega_k .\phi)\cos(\omega_k . t) \br u_2 \sin(\omega_k . t) + v_2 \cos(\omega_k . t) = & - \sin(\omega_k . \phi)\sin(\omega_k . t) + \cos(\omega_k .\phi)\cos(\omega_k . t) \end{align} $$

上を解くと次を得る。

$$ \newcommand{\br}{\\\\} \begin{align} u_1 = \ \ \ \cos(\omega_k .\phi) & \ \ \ v_1 = \sin(\omega_k .\phi) \br u_2 = - \sin(\omega_k . \phi) & \ \ \ v_2 = \cos(\omega_k .\phi) \end{align} $$

結果、行列の$M$は次となる。

$$ \newcommand{\br}{\\\\} M_{\phi,k} = \begin{bmatrix} \cos(\omega_k .\phi) & \sin(\omega_k .\phi) \br - \sin(\omega_k . \phi) & \cos(\omega_k .\phi) \end{bmatrix} $$

上のMは$t$に依存しない行列であり、任意のoffset（$\phi$）からの$t$番目のtokenのPositional Encodingについて、 $t$なしで、$M_{\phi,k}$の線形変換で得られる事を意味する。つまり、$\vec{p_{t+\phi}}$を$\vec{p_t}$から表現できる事を意味する。行列の中身はいわゆるCVのローテーションマトリックスとほぼ同じである。また、ベクトルが2次元では無い時は、対角行列を使えば同じ結果となる。

三角関数の周波数（Frequency）の意味

前述で次のように各tokenのposition encodingを定義したが、三角関数の内部の式の意味を説明する。

$$ \newcommand{\br}{\\\\} \vec{p}(pos) := \begin{bmatrix} \sin\left(\frac{pos}{f_1}\right) \br \cos\left(\frac{pos}{f_1}\right) \br \sin\left(\frac{pos}{f_2}\right) \br \cos\left(\frac{pos}{f_2}\right) \br \vdots \br \sin\left(\frac{pos}{f_d}\right) \br \cos\left(\frac{pos}{f_d}\right) \br \end{bmatrix} $$

ここで、$f_d$は$f_{\frac{d_\text{model}}{2}}$を示す。なぜ、$d_{model}$に対して2で割るかと言うと、偶数奇数でsin/cosを使っているので、最大で$\frac{d_{model}}{2}$分のrangeを使うため。

さらに、あるposition番目のtokenではpositionは定数の為、逆数であれば良く、あるi番目のfrequencyは波長$\lambda$を使い、次のように表せる。

$$ f_i = \frac{1}{\lambda_{i}} := 10000 ^ {\frac{2i}{d_{model}}} $$

なお、基数の$10000$はハイパーパラメータとなる。これがPositional Encodingの数式の意味となる。