メッセージ伝播法入門
第２回講義資料

ベイズ最適な近似的メッセージ伝播法
広島市立大学
令和５年９月２５日～９月２６日
豊橋技術科学大学
電気・電子情報工学系
准教授 竹内啓悟

1スカラーAWGN観測モデル
事後平均

𝑥𝑥̅𝑛𝑛 = 𝑥𝑥𝑛𝑛 + 𝜔𝜔𝑛𝑛 ,𝜔𝜔𝑛𝑛 ∼ 𝒩𝒩 0, 𝑣𝑣 .

𝜂𝜂 𝑥𝑥̅𝑛𝑛 ; 𝑣𝑣 = 𝔼𝔼 𝑥𝑥𝑛𝑛 𝑥𝑥̅𝑛𝑛 , 𝑣𝑣 .

最小平均二乗誤差（MMSE）

恒等式

MMSE 𝑣𝑣 = 𝔼𝔼 𝑥𝑥𝑛𝑛 − 𝜂𝜂 𝑥𝑥̅𝑛𝑛 ; 𝑣𝑣

2 .

𝜕𝜕𝔼𝔼[ 𝑥𝑥𝑛𝑛 − 𝜂𝜂 𝑥𝑥̅𝑛𝑛 ; 𝑣𝑣′
𝜂𝜂 𝑥𝑥̅𝑛𝑛 ; 𝑣𝑣 =𝜂𝜂 𝑥𝑥̅𝑛𝑛 ; 𝑣𝑣 =𝜕𝜕𝑥𝑥̅𝑛𝑛𝑣𝑣

2|𝑥𝑥̅𝑛𝑛 ].

2恒等式の証明𝑥𝑥̅𝑛𝑛 −𝑥𝑥𝑛𝑛 2𝜕𝜕𝑥𝑥𝑛𝑛 − 𝑥𝑥̅𝑛𝑛 1
𝑒𝑒 − 2𝑣𝑣
𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 =を使って直接計算する。
𝜕𝜕𝑥𝑥̅𝑛𝑛𝑣𝑣
2𝜋𝜋𝜋𝜋𝜕𝜕 ∫ 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛
𝜂𝜂 𝑥𝑥̅𝑛𝑛 ; 𝑣𝑣 =𝜕𝜕𝑥𝑥̅𝑛𝑛 ∫ 𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛′=∫ 𝑥𝑥𝑛𝑛 𝑥𝑥𝑛𝑛 − 𝑥𝑥̅𝑛𝑛 𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛−𝑣𝑣∫ 𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛∫ 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛 ∫ (𝑥𝑥𝑛𝑛 − 𝑥𝑥̅𝑛𝑛 )𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛
𝑣𝑣 ∫ 𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛

2

1 ∫ 𝑥𝑥𝑛𝑛2 𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛 𝜂𝜂 2 𝑥𝑥̅𝑛𝑛 ; 𝑣𝑣
𝔼𝔼 𝑥𝑥𝑛𝑛 − 𝜂𝜂 𝑥𝑥̅𝑛𝑛 ; 𝑣𝑣==−𝑣𝑣 ∫ 𝑝𝑝 𝑥𝑥̅𝑛𝑛 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑑𝑑𝑥𝑥𝑛𝑛𝑣𝑣
𝑣𝑣

2 𝑥𝑥̅
𝑛𝑛.

3

ベイズ最適AMP[2-1]
更新式

初期値′ �𝑡𝑡−1 + 𝑨𝑨T 𝒛𝒛𝑡𝑡−1 ; 𝑣𝑣 𝑡𝑡−1
𝜂𝜂𝒙𝒙
𝑡𝑡
𝑡𝑡
𝒛𝒛 = 𝒚𝒚 − 𝑨𝑨�
𝒙𝒙 +𝛿𝛿
1𝑡𝑡
2
𝑣𝑣 = 𝜎𝜎 + MMSE 𝑣𝑣 𝑡𝑡−1 ,𝛿𝛿�𝑡𝑡+1 = 𝜂𝜂 𝒙𝒙
�𝑡𝑡 + 𝑨𝑨T 𝒛𝒛𝑡𝑡 ; 𝑣𝑣 𝑡𝑡 .
𝒙𝒙
𝒙𝒙0 = 𝟎𝟎,𝒛𝒛−1 = 𝟎𝟎,

MMSE 𝑣𝑣 −1 = 1.

表記 スカラー関数𝑓𝑓: ℝ → ℝに対して、𝑓𝑓 𝒙𝒙

𝑛𝑛 = 𝑓𝑓 𝑥𝑥𝑛𝑛 ,𝑓𝑓 𝒙𝒙𝒛𝒛𝑡𝑡−1 ,𝑁𝑁

1= � 𝑓𝑓(𝑥𝑥𝑛𝑛 ) .
𝑁𝑁
𝑛𝑛=1[2-1] Y. Kabashima, “A CDMA multiuser detection algorithm on the basis of belief propagation,”
J. Phys. A, Math. General, vol. 36, no. 43, pp. 11111–11121, Oct. 2003.
4

ベイズ最適AMPの別表現
更新式
𝑡𝑡−1MMSE(𝑣𝑣) 𝑡𝑡−1
𝑡𝑡𝑡𝑡𝒛𝒛 = 𝒚𝒚 − 𝑨𝑨�
𝒙𝒙 +𝒛𝒛 ,𝑡𝑡−1
𝛿𝛿𝑣𝑣

𝑣𝑣 𝑡𝑡 = 𝜎𝜎 2 +初期値

1MMSE 𝑣𝑣 𝑡𝑡−1 ,𝛿𝛿�𝑡𝑡+1 = 𝜂𝜂 𝒙𝒙
�𝑡𝑡 + 𝑨𝑨T 𝒛𝒛𝑡𝑡 ; 𝑣𝑣 𝑡𝑡 .
𝒙𝒙

𝒙𝒙0 = 𝟎𝟎,𝒛𝒛−1 = 𝟎𝟎,

MMSE 𝑣𝑣 −1 = 1.

反復当たりの計算量は𝒪𝒪(𝑀𝑀𝑀𝑀)である。

5

導出の概要[2-1]1. 推定問題をファクターグラフで表現し、確率伝播法（BP)に基づく反復アルゴリズムを定式化する。

2. 大システム極限で誤差が生じないように、干渉成分のガウス近似を行い、反復アルゴリズムの計算量を削減する。

3. 大システム極限で誤差が生じないように、メッセージの添え字を減らす近似を行う。

6

ファクターグラフ
𝑁𝑁

𝑦𝑦𝑚𝑚 = � 𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥𝑛𝑛 + 𝑤𝑤𝑚𝑚
𝑛𝑛=1

ファクターノード

𝑦𝑦1

𝑥𝑥1

𝑥𝑥2

𝑦𝑦2・・・・・・・・・・・・
変数ノード

𝑦𝑦𝑀𝑀

𝑥𝑥𝑁𝑁

7

確率伝播法（BP）
ファクターノード𝑦𝑦𝑚𝑚 から変数ノード𝑥𝑥𝑛𝑛 へのメッセージ𝑡𝑡(𝑥𝑥1 )
𝑝𝑝1→𝑚𝑚𝑥𝑥1

・・・

𝑦𝑦𝑚𝑚

𝑡𝑡
(𝑥𝑥𝑛𝑛 )
𝑞𝑞𝑚𝑚→𝑛𝑛

𝑥𝑥𝑛𝑛𝑡𝑡𝑝𝑝𝑁𝑁→𝑚𝑚(𝑥𝑥𝑁𝑁 )

・・・

𝑥𝑥𝑁𝑁

𝑡𝑡
𝑞𝑞𝑚𝑚→𝑛𝑛
𝑥𝑥𝑛𝑛 = � 𝑝𝑝 𝑦𝑦𝑚𝑚 𝑨𝑨, 𝒙𝒙 � 𝑝𝑝𝑛𝑛𝑡𝑡 ′→𝑚𝑚 𝑥𝑥𝑛𝑛′ 𝑑𝑑𝒙𝒙∖𝑛𝑛 .

𝑡𝑡：反復回数𝑛𝑛′ ≠𝑛𝑛8確率伝播法（BP）
変数ノード𝑥𝑥𝑛𝑛 からファクターノード𝑦𝑦𝑚𝑚 へのメッセージ𝑡𝑡(𝑥𝑥𝑛𝑛 )
𝑞𝑞1→𝑛𝑛𝑦𝑦1

・・・

𝑥𝑥𝑛𝑛𝑡𝑡(𝑥𝑥𝑛𝑛 )
𝑞𝑞𝑀𝑀→𝑛𝑛𝑡𝑡+1(𝑥𝑥𝑛𝑛 )
𝑝𝑝𝑛𝑛→𝑚𝑚
𝑦𝑦𝑚𝑚
・・・

𝑦𝑦𝑀𝑀

𝑡𝑡
𝑡𝑡+1
𝑝𝑝𝑛𝑛→𝑚𝑚𝑥𝑥𝑛𝑛 ∝ 𝑝𝑝(𝑥𝑥𝑛𝑛 ) � 𝑞𝑞𝑚𝑚
′ →𝑛𝑛 𝑥𝑥𝑛𝑛 .

𝑡𝑡：反復回数𝑚𝑚′ ≠𝑚𝑚9確率伝播法（BP）
周辺事後分布𝑝𝑝(𝑥𝑥𝑛𝑛 |𝑨𝑨, 𝒚𝒚)の近似
𝑡𝑡
𝑞𝑞1→𝑛𝑛(𝑥𝑥𝑛𝑛 )

𝑦𝑦1

・・・

𝑥𝑥𝑛𝑛𝑡𝑡(𝑥𝑥𝑛𝑛 )
𝑞𝑞𝑀𝑀→𝑛𝑛𝑡𝑡(𝑥𝑥𝑛𝑛 )
𝑞𝑞𝑚𝑚→𝑛𝑛𝑦𝑦𝑚𝑚・・・
𝑀𝑀𝑦𝑦𝑀𝑀𝑡𝑡
𝑝𝑝 𝑥𝑥𝑛𝑛 𝑨𝑨, 𝒚𝒚 ≈ 𝑝𝑝𝑛𝑛𝑡𝑡+1 𝑥𝑥𝑛𝑛 ∝ 𝑝𝑝 𝑥𝑥𝑛𝑛 � 𝑞𝑞𝑚𝑚→𝑛𝑛𝑥𝑥𝑛𝑛 .

𝑡𝑡：反復回数

𝑚𝑚=110BPの性質ファクターグラフが木の場合{2-2]
BPは真の周辺事後分布を計算できる。
ファクターグラフが疎の場合[2-3, 2-4]BPは収束する。
その他の場合BPの収束性は保証されない。
[2-2] J. Pearl, Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference,
San Francisco, CA, USA, Morgan Kaufmann, 1988.
[2-3] M. G. Luby, M. M. Mitzenmacher, M. A. Shokrollari, and D. A. Spielman, “Improved low-density paritycheck codes using irregular graphs,” IEEE Trans. Inf. Theory, vol. 47, no. 2, pp. 585-598, Feb. 2001.
[2-4] T. J. Richardson and R. L. Urbanke, “The capacity of low-density parity-check codes under messagepassing decoding,” IEEE Trans. Inf. Theory, vol. 47, no. 2, pp. 599-618, Feb. 2001.
11

干渉のガウス近似
𝑦𝑦𝑚𝑚 = 𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥𝑛𝑛 + � 𝐴𝐴𝑚𝑚𝑛𝑛′ 𝑥𝑥𝑛𝑛𝑛 + 𝑤𝑤𝑚𝑚
𝑛𝑛′ ≠𝑛𝑛𝑡𝑡= 𝐼𝐼𝑚𝑚𝑚𝑚
𝑡𝑡の分散
𝐼𝐼𝑚𝑚𝑚𝑚𝑡𝑡
𝐼𝐼𝑚𝑚𝑚𝑚の平均𝑡𝑡̅
𝐼𝐼𝑚𝑚𝑚𝑚= � 𝐴𝐴𝑚𝑚𝑛𝑛′ 𝑥𝑥� 𝑡𝑡 ′𝑡𝑡
𝑣𝑣𝑚𝑚𝑚𝑚= 𝜎𝜎 2 + � 𝐴𝐴2𝑚𝑚𝑛𝑛′ 𝜉𝜉𝑛𝑛𝑡𝑡 ′→𝑚𝑚 .

𝑡𝑡𝑡𝑡= �𝑥𝑥𝑝𝑝𝑛𝑛→𝑚𝑚𝑥𝑥 𝑑𝑑𝑑𝑑,𝑥𝑥�𝑛𝑛→𝑚𝑚𝑡𝑡
𝑡𝑡
2 𝑡𝑡
𝜉𝜉𝑛𝑛→𝑚𝑚= � 𝑥𝑥 − 𝑥𝑥�𝑛𝑛→𝑚𝑚𝑝𝑝𝑛𝑛→𝑚𝑚 𝑥𝑥 𝑑𝑑𝑑𝑑.

𝑛𝑛′ ≠𝑛𝑛

𝑛𝑛 →𝑚𝑚 .

メッセージに関する𝑥𝑥𝑛𝑛 の平均と分散
中心極限定理𝑛𝑛′ ≠𝑛𝑛𝑡𝑡
𝑡𝑡̅
𝑡𝑡
大システム極限で、𝐼𝐼𝑚𝑚𝑚𝑚の分布は𝒩𝒩(𝐼𝐼𝑚𝑚𝑚𝑚, 𝑣𝑣𝑚𝑚𝑚𝑚)に収束する。

12

メッセージの評価
ファクターノード𝑦𝑦𝑚𝑚 から変数ノード𝑥𝑥𝑛𝑛 へのメッセージ𝑡𝑡
𝑡𝑡
𝑞𝑞𝑚𝑚→𝑛𝑛
𝑥𝑥𝑛𝑛 = � 𝑝𝑝 𝑦𝑦𝑚𝑚 𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥𝑛𝑛 , 𝐼𝐼𝑚𝑚𝑚𝑚
� 𝑝𝑝𝑛𝑛𝑡𝑡 ′→𝑚𝑚 𝑥𝑥𝑛𝑛′ 𝑑𝑑𝑥𝑥∖𝑛𝑛 .

1≈𝑛𝑛′ ≠𝑛𝑛𝑡𝑡
2𝜋𝜋𝑣𝑣𝑚𝑚𝑚𝑚

𝑡𝑡̅
𝑦𝑦𝑚𝑚 −𝐼𝐼𝑚𝑚𝑚𝑚−𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥𝑛𝑛−𝑡𝑡
2𝑣𝑣𝑚𝑚𝑚𝑚𝑒𝑒2.

変数ノード𝑥𝑥𝑛𝑛 からファクターノード𝑦𝑦𝑚𝑚 へのメッセージ

𝑡𝑡+1
𝑝𝑝𝑛𝑛→𝑚𝑚𝑥𝑥𝑛𝑛∝ 𝑝𝑝(𝑥𝑥𝑛𝑛 ) �𝑡𝑡
̅𝑡𝑡= 𝜉𝜉𝑛𝑛→𝑚𝑚𝑥𝑥̅𝑛𝑛→𝑚𝑚𝑚𝑚′ ≠𝑚𝑚

�𝑚𝑚′ ≠𝑚𝑚𝑡𝑡
𝑞𝑞𝑚𝑚′ →𝑛𝑛 𝑥𝑥𝑛𝑛

∝ 𝑝𝑝 𝑥𝑥𝑛𝑛𝑡𝑡̅
𝐴𝐴𝑚𝑚′𝑛𝑛 𝑦𝑦𝑚𝑚′ − 𝐼𝐼𝑚𝑚
′ 𝑛𝑛
𝑡𝑡
𝑣𝑣𝑚𝑚
′ 𝑛𝑛

,

1

̅𝑡𝑡
2𝜋𝜋𝜉𝜉𝑛𝑛→𝑚𝑚

̅𝑡𝑡𝜉𝜉𝑛𝑛→𝑚𝑚=𝑡𝑡−𝑥𝑥𝑛𝑛
𝑥𝑥̅𝑛𝑛→𝑚𝑚−𝑡𝑡
�𝑛𝑛→𝑚𝑚2𝜉𝜉𝑒𝑒

2.

−12𝐴𝐴𝑚𝑚′𝑛𝑛
� 𝑡𝑡.
𝑣𝑣𝑚𝑚′𝑛𝑛′𝑚𝑚 ≠𝑚𝑚13

確率論的な解釈
仮想的なAWGN観測モデル𝑡𝑡
𝑡𝑡= 𝑥𝑥𝑛𝑛 + 𝜔𝜔𝑛𝑛→𝑚𝑚,𝑥𝑥̅𝑛𝑛→𝑚𝑚

𝑥𝑥𝑛𝑛 の事後分布𝑡𝑡
̅𝑡𝑡
𝑝𝑝 𝑥𝑥𝑛𝑛 𝑥𝑥̅𝑛𝑛→𝑚𝑚, 𝜉𝜉𝑛𝑛→𝑚𝑚

ただし、

𝑡𝑡
̅𝑡𝑡
𝜔𝜔𝑛𝑛→𝑚𝑚∼ 𝒩𝒩 0, 𝜉𝜉𝑛𝑛→𝑚𝑚.

𝑡𝑡
̅𝑡𝑡
𝑝𝑝 𝑥𝑥𝑛𝑛 𝑝𝑝(𝑥𝑥̅𝑛𝑛→𝑚𝑚|𝑥𝑥𝑛𝑛 , 𝜉𝜉𝑛𝑛→𝑚𝑚)=𝑡𝑡
̅𝑡𝑡∫ 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥̅𝑛𝑛→𝑚𝑚
𝑥𝑥𝑛𝑛 , 𝜉𝜉𝑛𝑛→𝑚𝑚
𝑑𝑑𝑥𝑥𝑛𝑛𝑡𝑡
̅𝑡𝑡∝ 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑝𝑝 𝑥𝑥̅𝑛𝑛→𝑚𝑚
𝑥𝑥𝑛𝑛 , 𝜉𝜉𝑛𝑛→𝑚𝑚.

𝑡𝑡
̅𝑡𝑡
𝑥𝑥𝑛𝑛 , 𝜉𝜉𝑛𝑛→𝑚𝑚
𝑝𝑝 𝑥𝑥̅𝑛𝑛→𝑚𝑚

=

1

̅𝑡𝑡
2𝜋𝜋𝜉𝜉𝑛𝑛→𝑚𝑚

𝑡𝑡
−𝑥𝑥𝑛𝑛
𝑥𝑥̅𝑛𝑛→𝑚𝑚−𝑡𝑡
2𝜉𝜉�𝑛𝑛→𝑚𝑚𝑒𝑒

解釈
𝑡𝑡+1
𝑝𝑝𝑛𝑛→𝑚𝑚𝑥𝑥𝑛𝑛 はAWGN観測モデルに基づく𝑥𝑥𝑛𝑛 の事後分布である。
𝑡𝑡+1𝑡𝑡̅𝑡𝑡
𝑝𝑝𝑛𝑛→𝑚𝑚𝑥𝑥𝑛𝑛 ∝ 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑥𝑥̅𝑛𝑛→𝑚𝑚, 𝜉𝜉𝑛𝑛→𝑚𝑚.

2.

14近似的BP𝑡𝑡
𝑡𝑡̅
𝑧𝑧𝑚𝑚𝑚𝑚= 𝑦𝑦𝑚𝑚 − 𝐼𝐼𝑚𝑚𝑚𝑚とおくと、整合フィルタ

𝑡𝑡
′𝐴𝐴
𝑧𝑧
𝑚𝑚 𝑛𝑛 𝑚𝑚′ 𝑛𝑛
𝑡𝑡𝑡𝑡
̅𝑥𝑥̅𝑛𝑛→𝑚𝑚 = 𝜉𝜉𝑛𝑛→𝑚𝑚 �,𝑡𝑡
𝑣𝑣𝑚𝑚′𝑛𝑛𝑚𝑚′ ≠𝑚𝑚𝑡𝑡= 𝑦𝑦𝑚𝑚 − � 𝐴𝐴𝑚𝑚𝑛𝑛′ 𝑥𝑥�𝑛𝑛𝑡𝑡 ′→𝑚𝑚 ,𝑧𝑧𝑚𝑚𝑚𝑚

非線形処理𝑛𝑛′ ≠𝑛𝑛

̅𝑡𝑡
𝜉𝜉𝑛𝑛→𝑚𝑚=−12𝐴𝐴𝑚𝑚′𝑛𝑛
� 𝑡𝑡.
𝑣𝑣𝑚𝑚′𝑛𝑛′𝑚𝑚 ≠𝑚𝑚

𝑡𝑡= 𝜎𝜎 2 + � 𝐴𝐴2𝑚𝑚𝑛𝑛′ 𝜉𝜉𝑛𝑛𝑡𝑡 ′→𝑚𝑚 .
𝑣𝑣𝑚𝑚𝑚𝑚𝑛𝑛′ ≠𝑛𝑛

𝑡𝑡+1𝑡𝑡𝑡𝑡
̅𝑡𝑡
̅𝑡𝑡
𝑥𝑥�𝑛𝑛→𝑚𝑚= �𝑥𝑥𝑥𝑥 𝑥𝑥𝑛𝑛 𝑥𝑥̅𝑛𝑛→𝑚𝑚, 𝜉𝜉𝑛𝑛→𝑚𝑚𝑑𝑑𝑑𝑑 ≡ 𝜂𝜂 𝑥𝑥̅𝑛𝑛→𝑚𝑚; 𝜉𝜉𝑛𝑛→𝑚𝑚,𝑡𝑡+1𝑡𝑡+1 2𝑡𝑡
̅𝑡𝑡= � 𝑥𝑥 − 𝑥𝑥�𝑛𝑛→𝑚𝑚
𝑝𝑝 𝑥𝑥𝑛𝑛 𝑥𝑥̅𝑛𝑛→𝑚𝑚, 𝜉𝜉𝑛𝑛→𝑚𝑚𝑑𝑑𝑑𝑑.
𝜉𝜉𝑛𝑛→𝑚𝑚15

添え字の削減：二次モーメント𝑡𝑡
𝜉𝜉𝑛𝑛→𝑚𝑚が添え字𝑚𝑚に寄らないことを仮定する。

𝐴𝐴𝑚𝑚𝑚𝑚 ∼ 𝒩𝒩(0,1/𝑀𝑀) i.i.d.なので、大数の弱法則を使って
1 𝑡𝑡
2𝑡𝑡
𝑡𝑡
22𝑣𝑣𝑚𝑚𝑚𝑚 = 𝜎𝜎 + � 𝐴𝐴𝑚𝑚𝑛𝑛′ 𝜉𝜉𝑛𝑛′→𝑚𝑚 → 𝜎𝜎 + 𝜁𝜁 ≡ 𝑣𝑣 𝑡𝑡 ,𝜁𝜁 𝑡𝑡 =1
� 𝜉𝜉𝑛𝑛𝑡𝑡 ,𝑁𝑁

整合フィルタ̅𝑡𝑡𝜉𝜉𝑛𝑛→𝑚𝑚=𝑁𝑁𝑛𝑛′ ≠𝑛𝑛

𝑛𝑛=1𝑡𝑡𝜉𝜉𝑛𝑛→𝑚𝑚→ 𝜉𝜉𝑛𝑛𝑡𝑡 .

−12𝐴𝐴𝑚𝑚′𝑛𝑛
� 𝑡𝑡→ 𝑣𝑣 𝑡𝑡 ,𝑣𝑣 ′𝑚𝑚′ ≠𝑚𝑚 𝑚𝑚 𝑛𝑛

𝛿𝛿𝑡𝑡𝑡𝑡→ � 𝐴𝐴𝑚𝑚′𝑛𝑛 𝑧𝑧𝑚𝑚
𝑥𝑥̅𝑛𝑛→𝑚𝑚′ 𝑛𝑛 .
𝑚𝑚′ ≠𝑚𝑚16

添え字の削減：一次モーメント𝑁𝑁𝑡𝑡𝑡𝑡𝑧𝑧𝑚𝑚= 𝑦𝑦𝑚𝑚 − � 𝐴𝐴𝑚𝑚𝑛𝑛 𝑥𝑥�𝑛𝑛→𝑚𝑚,
𝑛𝑛=1を定義すると、以下を得る。
𝑡𝑡
𝑡𝑡
𝑡𝑡= 𝑧𝑧𝑚𝑚+ 𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥�𝑛𝑛→𝑚𝑚,
𝑧𝑧𝑚𝑚𝑚𝑚𝑀𝑀𝑡𝑡𝑥𝑥̅𝑛𝑛𝑡𝑡 = � 𝐴𝐴𝑚𝑚𝑛𝑛 𝑧𝑧𝑚𝑚𝑛𝑛
𝑚𝑚=1

𝑡𝑡
𝑡𝑡
𝑥𝑥̅𝑛𝑛→𝑚𝑚= 𝑥𝑥̅𝑛𝑛𝑡𝑡 − 𝐴𝐴𝑚𝑚𝑚𝑚 𝑧𝑧𝑚𝑚𝑚𝑚.

𝒪𝒪(𝑀𝑀−1/2 )まで正確に計算すると、

𝑡𝑡
𝑡𝑡
𝑥𝑥̅𝑛𝑛→𝑚𝑚≈ 𝑥𝑥̅𝑛𝑛𝑡𝑡 − 𝐴𝐴𝑚𝑚𝑚𝑚 𝑧𝑧𝑚𝑚.

一次のテーラー展開𝑡𝑡+1𝑡𝑡
𝑡𝑡
𝑥𝑥�𝑛𝑛→𝑚𝑚→ 𝜂𝜂 𝑥𝑥̅𝑛𝑛→𝑚𝑚; 𝑣𝑣 𝑡𝑡 ≈ 𝑥𝑥�𝑛𝑛𝑡𝑡+1 − 𝜂𝜂 ′ 𝑥𝑥̅𝑛𝑛𝑡𝑡 ; 𝑣𝑣 𝑡𝑡 𝐴𝐴𝑚𝑚𝑚𝑚 𝑧𝑧𝑚𝑚,

𝑥𝑥�𝑛𝑛𝑡𝑡+1 = 𝜂𝜂 𝑥𝑥̅𝑛𝑛𝑡𝑡 ; 𝑣𝑣 𝑡𝑡 .

同様にして、𝑡𝑡
𝑡𝑡≈ 𝑧𝑧𝑚𝑚+ 𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥�𝑛𝑛𝑡𝑡 .
𝑧𝑧𝑚𝑚𝑚𝑚17

添え字の削減：一次モーメント𝑥𝑥̅𝑛𝑛𝑡𝑡 の評価
𝑀𝑀𝑀𝑀𝑀𝑀𝑚𝑚=1𝑚𝑚=1𝑚𝑚=1𝑡𝑡
𝑡𝑡
𝑡𝑡
𝑥𝑥̅𝑛𝑛𝑡𝑡 = � 𝐴𝐴𝑚𝑚𝑛𝑛 𝑧𝑧𝑚𝑚𝑛𝑛≈ � 𝐴𝐴𝑚𝑚𝑚𝑚 𝑧𝑧𝑚𝑚
+ 𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥�𝑛𝑛𝑡𝑡 → 𝑥𝑥�𝑛𝑛𝑡𝑡 + � 𝐴𝐴𝑚𝑚𝑚𝑚 𝑧𝑧𝑚𝑚.
𝑡𝑡
𝑧𝑧𝑚𝑚の評価

𝑁𝑁

𝑡𝑡𝑡𝑡𝑧𝑧𝑚𝑚= 𝑦𝑦𝑚𝑚 − � 𝐴𝐴𝑚𝑚𝑛𝑛 𝑥𝑥�𝑛𝑛→𝑚𝑚
𝑛𝑛=1
𝑁𝑁

𝑡𝑡−1
≈ 𝑦𝑦𝑚𝑚 − � 𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥�𝑛𝑛𝑡𝑡 − 𝜂𝜂 ′ 𝑥𝑥̅𝑛𝑛𝑡𝑡−1 ; 𝑣𝑣 𝑡𝑡−1 𝐴𝐴𝑚𝑚𝑚𝑚 𝑧𝑧𝑚𝑚
𝑛𝑛=1
𝑁𝑁→ 𝑦𝑦𝑚𝑚 − � 𝐴𝐴𝑚𝑚𝑚𝑚 𝑥𝑥�𝑛𝑛𝑡𝑡 +𝑛𝑛=1𝑡𝑡−1𝑧𝑧𝑚𝑚

𝛿𝛿𝛿𝛿𝑁𝑁� 𝜂𝜂 ′ 𝑥𝑥̅𝑛𝑛𝑡𝑡−1 ; 𝑣𝑣 𝑡𝑡−1 .

𝑛𝑛=1

18

添え字の削減：二次モーメント𝑡𝑡+1
𝜉𝜉𝑛𝑛→𝑚𝑚が添え字𝑚𝑚に寄らないことの確認

𝑡𝑡+1𝜉𝜉𝑛𝑛→𝑚𝑚→ � 𝑥𝑥 − 𝑥𝑥�𝑛𝑛𝑡𝑡+1 2 𝑝𝑝 𝑥𝑥𝑛𝑛 𝑥𝑥̅𝑛𝑛𝑡𝑡 , 𝑣𝑣 𝑡𝑡 𝑑𝑑𝑑𝑑 ≡ 𝜉𝜉𝑛𝑛𝑡𝑡+1 .

𝑣𝑣 𝑡𝑡+1 の評価

注意

𝑣𝑣 𝑡𝑡+1 = 𝜎𝜎 2 +𝑁𝑁

11𝑡𝑡+12� 𝜉𝜉𝑛𝑛→𝑚𝑚 → 𝜎𝜎 + MMSE 𝑣𝑣 𝑡𝑡 .
𝛿𝛿𝛿𝛿𝛿𝛿
𝑛𝑛=1

厳密な証明は、𝑡𝑡に関する帰納法による。
19