メッセージ伝播法入門
第６回講義資料

状態発展法：厳密なアプローチ２
広島市立大学
令和５年９月２５日～９月２６日
豊橋技術科学大学
電気・電子情報工学系
准教授 竹内啓悟

1

主定理[3-3,3-4]大システム極限で、以下が成り立つ。
2𝝎𝝎A,𝑡𝑡 ∼ 𝒩𝒩 𝟎𝟎, 𝑀𝑀−1 𝒒𝒒⊥
𝑰𝑰𝑀𝑀 .
(A1) 𝒃𝒃𝑡𝑡 ∼ 𝑩𝑩𝑡𝑡 𝜷𝜷𝑡𝑡 + 𝝎𝝎A,𝑡𝑡 ,𝑡𝑡⊥=𝑷𝑷𝜷𝜷𝑡𝑡 = 𝑸𝑸†𝑡𝑡 𝒒𝒒𝑡𝑡 = 𝛽𝛽0 , … , 𝛽𝛽𝑡𝑡−1 T , 𝒒𝒒⊥𝑡𝑡
𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 .
1 T
1 T
(A2)
𝒃𝒃𝑡𝑡 ′ 𝒃𝒃𝑡𝑡 −𝒒𝒒𝑡𝑡 ′ 𝒒𝒒𝑡𝑡 → 0.
𝑀𝑀
𝛿𝛿𝛿𝛿
1 T
1 T𝒃𝒃𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 −𝒒𝒒𝑡𝑡 ′ 𝒒𝒒𝑡𝑡 → 0.
(A3)
𝑀𝑀𝛿𝛿𝛿𝛿
2(B1) 𝒉𝒉𝑡𝑡 ∼ 𝑯𝑯𝑡𝑡 𝜶𝜶𝑡𝑡 + 𝝎𝝎B,𝑡𝑡 ,𝝎𝝎B,𝑡𝑡 ∼ 𝒩𝒩 𝟎𝟎, 𝑀𝑀−1 𝒎𝒎⊥
𝑰𝑰𝑁𝑁 .
𝑡𝑡

𝜶𝜶𝑡𝑡 = 𝑴𝑴†𝑡𝑡 𝒎𝒎𝑡𝑡 = 𝛼𝛼0 , … , 𝛼𝛼𝑡𝑡−1 T ,1 T
1 T(B2)
𝒉𝒉𝑡𝑡 ′ 𝒉𝒉𝑡𝑡 − 𝒎𝒎𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 → 0,𝑁𝑁𝑀𝑀1 T𝜉𝜉in,𝑡𝑡 T(B3)𝒉𝒉𝑡𝑡 ′ 𝒒𝒒𝑡𝑡+1 −𝒎𝒎𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 → 0.
𝑁𝑁𝑀𝑀⊥
=𝑷𝑷𝒎𝒎⊥
𝑡𝑡
𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 .

2

状態発展方程式の導出
性質(A1)と(B1)から、誤差𝒃𝒃𝑡𝑡 と𝒉𝒉𝑡𝑡 は平均ゼロのガウス分布に従うi.i.d.成分からなることが言える。

𝑁𝑁 −1 𝒉𝒉T𝑡𝑡 𝒉𝒉𝑡𝑡 を評価する。性質(B2)(A2)と大数の強法則を使って、2𝔼𝔼 𝜂𝜂out,𝑡𝑡𝑍𝑍𝑡𝑡 , 𝑓𝑓(𝑍𝑍, 𝑊𝑊)
1 T1 T𝒉𝒉𝑡𝑡 𝒉𝒉𝑡𝑡 → 𝒎𝒎𝑡𝑡 𝒎𝒎𝑡𝑡 →̅2𝑁𝑁𝑀𝑀𝜉𝜉out,𝑡𝑡𝜁𝜁𝑡𝑡̅≡ 𝔼𝔼 𝐻𝐻𝑡𝑡2 ,̅𝜉𝜉out,0𝑍𝑍𝑡𝑡 =𝑍𝑍 + 𝐵𝐵𝑡𝑡 , 𝑍𝑍 = −𝐵𝐵0 ,̅̅𝜉𝜉out,𝑡𝑡𝜁𝜁01 T
1 T𝒒𝒒𝑡𝑡 ′ 𝒒𝒒𝑡𝑡 .
𝔼𝔼 𝐵𝐵𝑡𝑡 ′ 𝐵𝐵𝑡𝑡 = 𝒃𝒃𝑡𝑡 ′ 𝒃𝒃𝑡𝑡 →𝑀𝑀𝛿𝛿𝛿𝛿{𝑍𝑍, 𝑍𝑍𝑡𝑡 }の共分散を評価する。
̅out,0 2
̅out,0 2𝜉𝜉𝜉𝜉
1
12T
2𝔼𝔼 𝐵𝐵0 →𝒒𝒒0 𝒒𝒒0 → 𝔼𝔼 𝑋𝑋 2𝔼𝔼 𝑍𝑍 =𝛿𝛿𝑁𝑁 𝜁𝜁0̅𝛿𝛿𝜁𝜁0̅
ただし、3

状態発展方程式の導出
𝔼𝔼 𝑍𝑍𝑍𝑍𝑡𝑡+1 = 𝔼𝔼 𝑍𝑍

̅𝜁𝜁𝑡𝑡+1̅𝜉𝜉out,𝑡𝑡+1𝑍𝑍 + 𝐵𝐵𝑡𝑡+1̅̅̅𝜉𝜉11𝜁𝜁𝑡𝑡+1𝜁𝜁
out,0𝑡𝑡→
𝔼𝔼[𝑋𝑋 2 ] −𝒒𝒒T0 𝒒𝒒𝑡𝑡+1 → 𝔼𝔼 𝑋𝑋𝜂𝜂in,𝑡𝑡
𝑋𝑋 + 𝐻𝐻𝑡𝑡 ,̅̅̅𝛿𝛿𝑁𝑁 𝜁𝜁0𝛿𝛿𝜉𝜉out,𝑡𝑡𝛿𝛿 𝜉𝜉out,𝑡𝑡+1̅
𝜁𝜁𝑡𝑡+12𝔼𝔼 𝑍𝑍𝑡𝑡+1 = 𝔼𝔼 𝑍𝑍𝑡𝑡+1𝑍𝑍 + 𝐵𝐵𝑡𝑡+1̅
𝜉𝜉out,𝑡𝑡+1̅̅
𝜁𝜁𝑡𝑡+1𝜁𝜁𝑡𝑡+12=𝔼𝔼 𝑍𝑍𝑍𝑍𝑡𝑡+1 +𝔼𝔼 𝑍𝑍𝐵𝐵𝑡𝑡+1 + 𝔼𝔼 𝐵𝐵𝑡𝑡+1̅̅
𝜉𝜉out,𝑡𝑡+1𝜉𝜉out,𝑡𝑡+1̅̅
̅
𝒒𝒒𝑡𝑡+1 2𝜁𝜁𝑡𝑡+1𝜁𝜁𝑡𝑡+1𝜁𝜁𝑡𝑡+1→𝔼𝔼 𝑍𝑍𝑍𝑍𝑡𝑡+1 +𝔼𝔼 𝑍𝑍 𝑍𝑍𝑡𝑡+1 −𝑍𝑍 +̅̅̅𝛿𝛿𝑁𝑁
𝜉𝜉out,𝑡𝑡+1
𝜉𝜉out,𝑡𝑡+1
𝜉𝜉out,𝑡𝑡+1̅
1𝜁𝜁
𝑡𝑡2
𝑋𝑋 + 𝐻𝐻𝑡𝑡 .
→ 𝔼𝔼 𝜂𝜂in,𝑡𝑡∎̅𝛿𝛿𝜉𝜉out,𝑡𝑡4主定理の証明の流れ
数学的帰納法によって、証明する。
𝑡𝑡 = 𝜏𝜏に対する(A1)～(A3)𝑡𝑡 = 𝜏𝜏に対する(B1)～(B3)仮定

仮定𝑡𝑡 < 𝜏𝜏に対する(A1)～(A3)、𝑡𝑡 < 𝜏𝜏に対する(B1)～(B3)証明𝑡𝑡 ≤ 𝜏𝜏に対する(A1)～(A3)、𝑡𝑡 < 𝜏𝜏に対する(B1)～(B3)証明• (B3)→(A1)• (A3)→(B1)• (A1)→(A2)• (B1)→(B2)• (A1)(A2)→(A3)• (B1)(B2)→(B3)5性質(A1)の証明[3-3]𝒃𝒃𝑡𝑡 を更新する直前までの反復を固定する。
𝑩𝑩𝑡𝑡 − (𝟎𝟎, 𝑴𝑴𝑡𝑡−1 𝚲𝚲𝑡𝑡−1 ) = 𝑨𝑨𝑸𝑸𝑡𝑡 ,𝑸𝑸𝑡𝑡 − 𝑯𝑯𝑡𝑡 = 𝑨𝑨T 𝑴𝑴𝑡𝑡 .

上記の制約式の下で、補題５.１の前半を使うと、𝑨𝑨 ∼ 𝑩𝑩𝑡𝑡 − 𝟎𝟎, 𝑴𝑴𝑡𝑡−1 𝚲𝚲𝑡𝑡−1

𝑸𝑸†𝑡𝑡 −

ただし、𝑸𝑸T𝑡𝑡 𝑷𝑷⊥
𝑸𝑸𝑡𝑡 = 𝑶𝑶を使った。

† T T ⊥⊥ T
⊥ �
𝑴𝑴𝑡𝑡 𝑯𝑯𝑡𝑡 𝑷𝑷𝑸𝑸𝑡𝑡 + 𝚽𝚽𝑴𝑴𝒕𝒕 𝑨𝑨 𝚽𝚽𝑸𝑸𝑡𝑡 .

定義𝒃𝒃𝑡𝑡 = 𝑨𝑨𝒒𝒒𝑡𝑡 + 𝛿𝛿 −1 𝜉𝜉in,𝑡𝑡−1 𝒎𝒎𝑡𝑡−1 に上記を代入して、𝒃𝒃𝑡𝑡 ∼ 𝑩𝑩𝑡𝑡 − 𝟎𝟎, 𝑴𝑴𝑡𝑡−1 𝚲𝚲𝑡𝑡−1 𝜷𝜷𝑡𝑡 −⊥ T
⊥ �+𝚽𝚽𝑴𝑴𝑡𝑡 𝑨𝑨 𝚽𝚽𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 .

𝜉𝜉in,𝑡𝑡−1† T T ⊥𝒎𝒎𝑡𝑡−1
𝑴𝑴𝑡𝑡 𝑯𝑯𝑡𝑡 𝒒𝒒𝑡𝑡 +𝛿𝛿

6

性質(A1)の証明[3-3]𝑮𝑮𝑡𝑡 = 𝑀𝑀−1 𝑴𝑴T𝑡𝑡 𝑴𝑴𝑡𝑡 とし、𝒒𝒒⊥𝑡𝑡 = 𝒒𝒒𝑡𝑡 − 𝑸𝑸𝑡𝑡 𝜷𝜷𝑡𝑡 を使って第二項を評価する。
−1 T ⊥T𝑴𝑴𝑡𝑡 𝑴𝑴𝑡𝑡 𝑴𝑴𝑡𝑡
𝑯𝑯𝑡𝑡 𝒒𝒒𝑡𝑡 =11−1 T
T𝑴𝑴𝑡𝑡 𝑮𝑮𝑡𝑡 𝑯𝑯𝑡𝑡 𝒒𝒒𝑡𝑡 −𝑴𝑴𝑡𝑡 𝑮𝑮−1
𝑯𝑯𝑡𝑡𝑡𝑡 𝑸𝑸𝑡𝑡 𝜷𝜷𝑡𝑡 .
𝛿𝛿𝛿𝛿
𝛿𝛿𝛿𝛿

性質(B3) から、1 T𝜉𝜉in,𝑡𝑡−1 T
1 T𝜉𝜉in,𝑡𝑡−1 T
𝑯𝑯𝑡𝑡 𝒒𝒒𝑡𝑡 𝑡𝑡 ′ −𝒎𝒎𝑡𝑡 ′ 𝒎𝒎𝑡𝑡−1 = 𝒉𝒉𝑡𝑡 ′ 𝒒𝒒𝑡𝑡 −𝒎𝒎𝑡𝑡 ′ 𝒎𝒎𝑡𝑡−1 → 0.
𝑁𝑁𝑁𝑁𝑀𝑀𝑀𝑀
上記を第一項に適用すると、

1𝜉𝜉in,𝑡𝑡−1𝜉𝜉in,𝑡𝑡−1−1 T−1 T
𝑴𝑴𝑡𝑡 𝑮𝑮𝑡𝑡 𝑯𝑯𝑡𝑡 𝒒𝒒𝑡𝑡 →𝑴𝑴𝑡𝑡 𝑮𝑮𝑡𝑡 𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡−1 =𝒎𝒎𝑡𝑡−1 .
𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿7

性質(A1)の証明[3-3]
第二項に関して、
𝑡𝑡−1
11 T
1T𝒉𝒉𝑡𝑡 ′ 𝑸𝑸𝑡𝑡 𝜷𝜷𝑡𝑡 =� 𝛽𝛽𝜏𝜏 𝒉𝒉T𝑡𝑡 ′ 𝒒𝒒𝜏𝜏 .
𝑯𝑯𝑡𝑡 𝑸𝑸𝑡𝑡 𝜷𝜷𝑡𝑡 𝑡𝑡 ′ =
𝛿𝛿𝛿𝛿
𝛿𝛿𝛿𝛿
𝛿𝛿𝛿𝛿
性質(B3) を使って、

𝑡𝑡−1

𝜏𝜏=011T� 𝛽𝛽𝜏𝜏 𝜉𝜉in,𝜏𝜏−1 𝒎𝒎T𝑡𝑡 ′ 𝒎𝒎𝜏𝜏−1 .
𝑯𝑯𝑡𝑡 𝑸𝑸𝑡𝑡 𝜷𝜷𝑡𝑡 𝑡𝑡 ′ →𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿
𝜏𝜏=1

これを第二項に適用すると、

𝑡𝑡−1

11−1 TT
𝑴𝑴𝑡𝑡 𝑮𝑮𝑡𝑡 𝑯𝑯𝑡𝑡 𝑸𝑸𝑡𝑡 𝜷𝜷𝑡𝑡 →� 𝛽𝛽𝜏𝜏 𝜉𝜉in,𝜏𝜏−1 𝑴𝑴𝑡𝑡 𝑮𝑮−1𝑴𝑴𝑡𝑡𝑡𝑡 𝒎𝒎𝜏𝜏−1𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿
𝑡𝑡−1𝜏𝜏=1𝜉𝜉in,𝜏𝜏−1= � 𝛽𝛽𝜏𝜏𝒎𝒎𝜏𝜏−1 = (𝟎𝟎, 𝑴𝑴𝑡𝑡−1 𝚲𝚲𝑡𝑡−1 ) 𝜷𝜷𝑡𝑡 .
𝛿𝛿
𝜏𝜏=18

性質(A1)の証明[3-3]以上の結果をまとめると、⊥ T⊥ �𝒃𝒃𝑡𝑡 → 𝑩𝑩𝑡𝑡 𝜷𝜷𝑡𝑡 + 𝚽𝚽𝑴𝑴𝑡𝑡 𝑨𝑨 𝚽𝚽𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 .

⊥ T⊥ �
𝚽𝚽𝑴𝑴𝑡𝑡 𝑨𝑨 𝚽𝚽𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 は平均𝟎𝟎のガウス分布に従う。

� 0 ∈ ℝ𝑡𝑡× 𝑁𝑁−𝑡𝑡 を𝒩𝒩(0,1/𝑀𝑀)に従う独立な成分を持つ行列として、𝑨𝑨⊥ T⊥ �𝚽𝚽𝑴𝑴𝑡𝑡 𝑨𝑨 𝚽𝚽𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 = 𝚽𝚽𝑴𝑴𝑡𝑡

�0𝑨𝑨�𝑨𝑨∥ �⊥ T⊥ T𝚽𝚽𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 − 𝚽𝚽𝑴𝑴𝑡𝑡 𝑨𝑨0 𝚽𝚽𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 .

大システム極限で第二項は無視できるので、補題４.１を使うと、
2⊥ T𝚽𝚽𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 = 𝒒𝒒T𝑡𝑡 𝑷𝑷⊥
𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 =2𝒒𝒒⊥
から、𝑡𝑡⊥ T⊥ �
𝚽𝚽𝑴𝑴𝑡𝑡 𝑨𝑨 𝚽𝚽𝑸𝑸𝑡𝑡 𝒒𝒒𝑡𝑡 ∼ 𝒩𝒩 𝟎𝟎, 𝑀𝑀−1

2𝒒𝒒⊥
𝑰𝑰𝑀𝑀 .
𝑡𝑡∎

9

性質(A2)の証明[3-3]
帰納法により証明する。
𝑡𝑡 < 𝜏𝜏, 𝑡𝑡 ′ ≤ 𝑡𝑡に対して、

1 T
1 T𝒃𝒃𝑡𝑡 ′ 𝒃𝒃𝑡𝑡 −𝒒𝒒𝑡𝑡 ′ 𝒒𝒒𝑡𝑡 → 0 を仮定して
𝑀𝑀𝛿𝛿𝛿𝛿𝑡𝑡 = 𝜏𝜏, 𝑡𝑡 ′ ≤ 𝑡𝑡の場合を証明する。

𝑡𝑡 ′ < 𝑡𝑡のとき性質(A1)を使って、
1 T
1 T
1 T𝒃𝒃𝑡𝑡 ′ 𝒃𝒃𝜏𝜏 ∼ 𝒃𝒃𝑡𝑡 ′ 𝑩𝑩𝜏𝜏 𝜷𝜷𝜏𝜏 + 𝒃𝒃𝑡𝑡 ′ 𝝎𝝎A,𝜏𝜏 .
𝑀𝑀𝑀𝑀
𝑀𝑀

大数の強法則から、第二項は0に概収束する。
第一項に帰納法の仮定と𝜷𝜷𝜏𝜏 = 𝑸𝑸𝜏𝜏† 𝒒𝒒𝜏𝜏 を使うと、
1 T
1 T
1 T ∥
1 T𝒃𝒃𝑡𝑡 ′ 𝒃𝒃𝜏𝜏 →𝒒𝒒𝑡𝑡 ′ 𝑸𝑸𝜏𝜏 𝜷𝜷𝜏𝜏 =𝒒𝒒𝑡𝑡 ′ 𝑷𝑷𝑸𝑸𝜏𝜏 𝒒𝒒𝜏𝜏 =𝒒𝒒𝑡𝑡 ′ 𝒒𝒒𝜏𝜏 .
𝑀𝑀
𝛿𝛿𝛿𝛿
𝛿𝛿𝛿𝛿
𝛿𝛿𝛿𝛿

10

性質(A2)の証明[3-3]𝑡𝑡 ′ = 𝑡𝑡のとき

1 T
1 T T
1 T𝒃𝒃𝜏𝜏 𝒃𝒃𝜏𝜏 → 𝜷𝜷𝜏𝜏 𝑩𝑩𝜏𝜏 𝑩𝑩𝜏𝜏 𝜷𝜷𝜏𝜏 + 𝝎𝝎A,𝜏𝜏 𝝎𝝎A,𝜏𝜏 .
𝑀𝑀𝑀𝑀𝑀𝑀2
𝑰𝑰𝑀𝑀 を使うと、帰納法の仮定と𝝎𝝎A,𝜏𝜏 ∼ 𝒩𝒩 𝟎𝟎, 𝑀𝑀−1 𝒒𝒒⊥
𝜏𝜏

1 T
1 T T
1 ⊥ 2𝒃𝒃𝜏𝜏 𝒃𝒃𝜏𝜏 →𝜷𝜷𝜏𝜏 𝑸𝑸𝜏𝜏 𝑸𝑸𝜏𝜏 𝜷𝜷𝜏𝜏 +𝒒𝒒𝜏𝜏𝑀𝑀𝛿𝛿𝛿𝛿
𝑀𝑀
1 T ∥
111
∥ 2
⊥
22𝒒𝒒𝜏𝜏 𝑷𝑷𝑸𝑸𝜏𝜏 𝒒𝒒𝜏𝜏 +=𝒒𝒒𝜏𝜏 =𝒒𝒒𝜏𝜏 +𝒒𝒒⊥.
𝜏𝜏𝛿𝛿𝛿𝛿
𝛿𝛿𝛿𝛿
𝛿𝛿𝛿𝛿
𝛿𝛿𝛿𝛿

ただし、 𝒒𝒒∥𝜏𝜏 = 𝑷𝑷∥𝑸𝑸𝜏𝜏 𝒒𝒒𝜏𝜏 .
∥ T ⊥𝒒𝒒𝜏𝜏 𝒒𝒒𝜏𝜏 = 0なので、

1 T
1 T𝒃𝒃𝜏𝜏 𝒃𝒃𝜏𝜏 →𝒒𝒒𝜏𝜏 𝒒𝒒𝜏𝜏 .
𝑀𝑀
𝛿𝛿𝛿𝛿

∎

11

性質(A3)の証明[3-5]−1̅−1 𝒛𝒛 + 𝒃𝒃𝑡𝑡 , 𝑓𝑓(𝒛𝒛, 𝒘𝒘) を使うと、
𝜂𝜂out,𝑡𝑡 𝜁𝜁𝑡𝑡̅ 𝜉𝜉out,𝑡𝑡
定義𝒎𝒎𝑡𝑡 = 𝜉𝜉out,𝑡𝑡
1 T
1𝜁𝜁𝑡𝑡̅T
𝒃𝒃𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 =𝒃𝒃𝑡𝑡 ′ 𝜂𝜂out,𝑡𝑡
𝒛𝒛 + 𝒃𝒃𝑡𝑡 , 𝑓𝑓(𝒛𝒛, 𝒘𝒘)̅𝑀𝑀𝜉𝜉out,𝑡𝑡 𝑀𝑀𝜉𝜉out,𝑡𝑡→1

̅𝑀𝑀𝜉𝜉out,𝑡𝑡

𝑀𝑀

� 𝔼𝔼 𝒃𝒃𝑡𝑡 ′ 𝑚𝑚 𝜂𝜂out,𝑡𝑡

𝑚𝑚=1

𝜁𝜁𝑡𝑡̅

𝑧𝑧𝑚𝑚 + 𝒃𝒃𝑡𝑡 𝑚𝑚 , 𝑓𝑓(𝑧𝑧𝑚𝑚 , 𝑤𝑤𝑚𝑚 )̅𝜉𝜉out,𝑡𝑡.

最後の表現は、大数の強法則のためである。性質(A1)から
𝒃𝒃𝑡𝑡 ′ はi.i.d.ガウス要素を持つため、Steinの補題を使うと、
𝒃𝒃T𝑡𝑡 ′ 𝒎𝒎𝑡𝑡+𝑀𝑀1𝜕𝜕𝜂𝜂out,𝑡𝑡
� 𝔼𝔼 𝒃𝒃𝑡𝑡 ′ 𝑚𝑚 𝒃𝒃𝑡𝑡 𝑚𝑚 𝔼𝔼→
̅𝜕𝜕𝑍𝑍𝑡𝑡𝜉𝜉out,𝑡𝑡 𝑀𝑀̅𝜉𝜉out,𝑡𝑡
𝑀𝑀𝑀𝑀1𝑀𝑀𝑚𝑚=1

� 𝔼𝔼 𝒃𝒃𝑡𝑡 ′ 𝑚𝑚 𝑧𝑧𝑚𝑚𝑚𝑚=1𝜁𝜁𝑡𝑡̅

𝜕𝜕𝜂𝜂out,𝑡𝑡𝜕𝜕𝜂𝜂out,𝑡𝑡
𝔼𝔼+ 𝔼𝔼̅𝜕𝜕𝑍𝑍𝑡𝑡𝜕𝜕𝜕𝜕𝜉𝜉out,𝑡𝑡.

12性質(A3)の証明[3-5]𝒃𝒃𝑡𝑡 はi.i.d.な要素を持つため、𝔼𝔼 𝒃𝒃T𝑡𝑡 ′ 𝒃𝒃𝑡𝑡
𝔼𝔼 𝒃𝒃T𝑡𝑡 ′ 𝒛𝒛
1 T𝜁𝜁𝑡𝑡̅̅̅𝜉𝜉out,𝑡𝑡
𝒃𝒃𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 →𝜉𝜉out,𝑡𝑡+− 𝜁𝜁𝑡𝑡̅̅̅̅𝑀𝑀𝜉𝜉out,𝑡𝑡𝜉𝜉out,𝑡𝑡𝑀𝑀𝑀𝑀 𝜉𝜉out,𝑡𝑡
1= 𝔼𝔼 𝒃𝒃T𝑡𝑡 ′ 𝒃𝒃𝑡𝑡
𝑀𝑀

性質(A2)を使うと、

1 T
1 T
𝒃𝒃𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 −𝒒𝒒𝑡𝑡 ′ 𝒒𝒒𝑡𝑡 → 0.
𝑀𝑀𝛿𝛿𝛿𝛿∎13

性質(B1)の証明[3-3]𝒉𝒉𝑡𝑡 を更新する直前までの反復を固定する。
𝑩𝑩𝑡𝑡+1 − (𝟎𝟎, 𝑴𝑴𝑡𝑡 𝚲𝚲𝑡𝑡 ) = 𝑨𝑨𝑸𝑸𝑡𝑡+1 ,𝑸𝑸𝑡𝑡 − 𝑯𝑯𝑡𝑡 = 𝑨𝑨T 𝑴𝑴𝑡𝑡 .

上記の制約式の下で、補題５.１の後半を使うと、†𝑩𝑩𝑸𝑸𝑨𝑨 ∼ 𝑷𝑷⊥
𝑴𝑴𝑡𝑡 𝑡𝑡+1 𝑡𝑡+1 +T† T⊥⊥ �T𝑴𝑴𝑡𝑡
𝑸𝑸𝑡𝑡 − 𝑯𝑯𝑡𝑡 − 𝚽𝚽𝑴𝑴𝒕𝒕 𝑨𝑨 𝚽𝚽𝑸𝑸𝑡𝑡+1 .

ただし、𝑷𝑷⊥𝑴𝑴𝑡𝑡 𝑴𝑴𝑡𝑡 = 𝑶𝑶を使った。

定義𝒉𝒉𝑡𝑡 = 𝒒𝒒𝑡𝑡 − 𝑨𝑨T 𝒎𝒎𝑡𝑡 に上記を代入して、−1 T
T𝒉𝒉𝑡𝑡 ∼ 𝒒𝒒𝑡𝑡 − 𝑸𝑸𝑡𝑡+1 𝑸𝑸𝑡𝑡+1 𝑸𝑸𝑡𝑡+1 𝑩𝑩𝑡𝑡+1 𝒎𝒎⊥
𝑡𝑡 + (𝑯𝑯𝑡𝑡 − 𝑸𝑸𝑡𝑡 )𝜶𝜶𝑡𝑡⊥⊥ TT�+𝚽𝚽𝑸𝑸𝑡𝑡+1 𝑨𝑨 𝚽𝚽𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 .

14

性質(B1)の証明[3-3]𝑮𝑮𝑡𝑡 = 𝑁𝑁 −1 𝑸𝑸T𝑡𝑡 𝑸𝑸𝑡𝑡 とし、𝒎𝒎⊥
𝑡𝑡 = 𝒎𝒎𝑡𝑡 − 𝑴𝑴𝑡𝑡 𝜶𝜶𝑡𝑡 を使って第二項を評価する。
𝛿𝛿−1 TTT⊥
𝑸𝑸𝑡𝑡+1 𝑸𝑸𝑡𝑡+1 𝑸𝑸𝑡𝑡+1 𝑩𝑩𝑡𝑡+1 𝒎𝒎𝑡𝑡 = 𝑸𝑸𝑡𝑡+1 𝑮𝑮−1𝑩𝑩𝑡𝑡+1 𝑡𝑡+1 𝒎𝒎𝑡𝑡𝑀𝑀𝛿𝛿T𝑩𝑩− 𝑸𝑸𝑡𝑡+1 𝑮𝑮−1𝑡𝑡+1 𝑡𝑡+1 𝑴𝑴𝑡𝑡 𝜶𝜶𝑡𝑡 .
𝑀𝑀
性質(A3) から、
𝛿𝛿 T
1 T
𝛿𝛿 T
1 T𝑩𝑩𝑡𝑡+1 𝒎𝒎𝑡𝑡 𝑡𝑡 ′ − 𝒒𝒒𝑡𝑡 ′ 𝒒𝒒𝑡𝑡 = 𝒃𝒃𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 − 𝒒𝒒𝑡𝑡 ′ 𝒒𝒒𝑡𝑡 → 0.
𝑀𝑀
𝑁𝑁𝑀𝑀𝑁𝑁
上記を第一項に適用すると、

𝛿𝛿
1−1T
T
𝑸𝑸𝑡𝑡+1 𝑮𝑮𝑡𝑡+1 𝑩𝑩𝑡𝑡+1 𝒎𝒎𝑡𝑡 → 𝑸𝑸𝑡𝑡+1 𝑮𝑮−1𝑸𝑸
𝑡𝑡+1 𝑡𝑡+1 𝒒𝒒𝑡𝑡 = 𝒒𝒒𝑡𝑡 .
𝑀𝑀𝑁𝑁15性質(B1)の証明[3-3]
第二項に関して、𝑡𝑡−1𝛿𝛿 T𝛿𝛿 T𝛿𝛿
𝑩𝑩𝑡𝑡+1 𝑴𝑴𝑡𝑡 𝜶𝜶𝑡𝑡 𝑡𝑡 ′ = 𝒃𝒃𝑡𝑡 ′ 𝑴𝑴𝑡𝑡 𝜶𝜶𝑡𝑡 = � 𝛼𝛼𝜏𝜏 𝒃𝒃T𝑡𝑡 ′ 𝒎𝒎𝜏𝜏 .
𝑀𝑀𝑀𝑀
𝑀𝑀
性質(A3) を使って、𝑡𝑡−1𝛿𝛿 T
1𝑩𝑩𝑡𝑡+1 𝑴𝑴𝑡𝑡 𝜶𝜶𝑡𝑡 𝑡𝑡 ′ → � 𝛼𝛼𝜏𝜏 𝒒𝒒T𝑡𝑡 ′ 𝒒𝒒𝜏𝜏 .
𝑀𝑀𝑁𝑁

𝜏𝜏=0

𝜏𝜏=0

これを第二項に適用すると、
𝑡𝑡−1
𝛿𝛿
1−1TT
𝑸𝑸𝑡𝑡+1 𝑮𝑮𝑡𝑡+1 𝑩𝑩𝑡𝑡+1 𝑴𝑴𝑡𝑡 𝜶𝜶𝑡𝑡 → � 𝛼𝛼𝜏𝜏 𝑸𝑸𝑡𝑡+1 𝑮𝑮−1𝑡𝑡+1 𝑸𝑸𝑡𝑡+1 𝒒𝒒𝜏𝜏𝑀𝑀𝑁𝑁𝜏𝜏=0𝑡𝑡−1= � 𝛼𝛼𝜏𝜏 𝒒𝒒𝜏𝜏 = 𝑸𝑸𝑡𝑡 𝜶𝜶𝑡𝑡 .
𝜏𝜏=016

性質(B1)の証明[3-3]以上の結果をまとめると、⊥⊥ TT�𝒉𝒉𝑡𝑡 → 𝑯𝑯𝑡𝑡 𝜶𝜶𝑡𝑡 + 𝚽𝚽𝑸𝑸𝑡𝑡+1 𝑨𝑨 𝚽𝚽𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 .
⊥⊥ TT�𝚽𝚽𝑸𝑸𝑡𝑡+1 𝑨𝑨 𝚽𝚽𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 は平均𝟎𝟎のガウス分布に従う。

� 0 ∈ ℝ 𝑀𝑀−𝑡𝑡 ×(𝑡𝑡+1) を𝒩𝒩(0,1/𝑀𝑀)に従う独立な成分を持つ行列として、𝑨𝑨
� T0T𝑨𝑨
∥
⊥
⊥
⊥ T
⊥ TTT
�
�
𝚽𝚽𝑸𝑸𝑡𝑡+1 𝑨𝑨 𝚽𝚽𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 = 𝚽𝚽𝑸𝑸𝑡𝑡+1 T 𝚽𝚽𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 − 𝚽𝚽𝑸𝑸𝑡𝑡+1 𝑨𝑨0 𝚽𝚽𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 .
�𝑨𝑨大システム極限で第二項は無視できるので、補題４.１を使うと、
2⊥ T𝚽𝚽𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 = 𝒎𝒎T𝑡𝑡 𝑷𝑷⊥
𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 =2𝒎𝒎⊥
から、𝑡𝑡⊥⊥ TT�𝚽𝚽𝑸𝑸𝑡𝑡+1 𝑨𝑨 𝚽𝚽𝑴𝑴𝑡𝑡 𝒎𝒎𝑡𝑡 ∼ 𝒩𝒩 𝟎𝟎, 𝑀𝑀−12𝒎𝒎⊥
𝑰𝑰𝑁𝑁 . ∎𝑡𝑡

17

性質(B2)の証明[3-3]
帰納法により証明する。
𝑡𝑡 < 𝜏𝜏, 𝑡𝑡 ′ ≤ 𝑡𝑡に対して、

1 T
1 T𝒉𝒉𝑡𝑡 ′ 𝒉𝒉𝑡𝑡 − 𝒎𝒎𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 → 0 を仮定して𝑁𝑁𝑀𝑀

𝑡𝑡 = 𝜏𝜏, 𝑡𝑡 ′ ≤ 𝑡𝑡の場合を証明する。

𝑡𝑡 ′ < 𝑡𝑡のとき
性質(B1)を使って、
1 T
1 T
1 T𝒉𝒉𝑡𝑡 ′ 𝒉𝒉𝜏𝜏 ∼ 𝒉𝒉𝑡𝑡 ′ 𝑯𝑯𝜏𝜏 𝜶𝜶𝜏𝜏 + 𝒉𝒉𝑡𝑡 ′ 𝝎𝝎B,𝜏𝜏 .
𝑁𝑁
𝑁𝑁
𝑁𝑁

大数の強法則から、第二項は0に概収束する。
第一項に帰納法の仮定と𝜶𝜶𝜏𝜏 = 𝑴𝑴†𝜏𝜏 𝒎𝒎𝜏𝜏 を使うと、
1 T
1 T
1 T ∥
1 T𝒉𝒉𝑡𝑡 ′ 𝒉𝒉𝜏𝜏 → 𝒎𝒎𝑡𝑡 ′ 𝑴𝑴𝜏𝜏 𝜶𝜶𝜏𝜏 = 𝒎𝒎𝑡𝑡 ′ 𝑷𝑷𝑴𝑴𝜏𝜏 𝒎𝒎𝜏𝜏 = 𝒎𝒎𝑡𝑡 ′ 𝒎𝒎𝜏𝜏 .
𝑁𝑁𝑀𝑀𝑀𝑀𝑀𝑀

18

性質(B2)の証明[3-3]𝑡𝑡 ′ = 𝑡𝑡のとき

1 T
1 T T
1 T𝒉𝒉𝜏𝜏 𝒉𝒉𝜏𝜏 → 𝜶𝜶𝜏𝜏 𝑯𝑯𝜏𝜏 𝑯𝑯𝜏𝜏 𝜶𝜶𝜏𝜏 + 𝝎𝝎B,𝜏𝜏 𝝎𝝎B,𝜏𝜏 .
𝑁𝑁
𝑁𝑁
𝑁𝑁

2
𝑰𝑰𝑁𝑁 を使うと、帰納法の仮定と𝝎𝝎B,𝜏𝜏 ∼ 𝒩𝒩 𝟎𝟎, 𝑀𝑀−1 𝒎𝒎⊥
𝜏𝜏

1 T
1 T T
12𝒉𝒉𝜏𝜏 𝒉𝒉𝜏𝜏 → 𝜶𝜶𝜏𝜏 𝑴𝑴𝜏𝜏 𝑴𝑴𝜏𝜏 𝜶𝜶𝜏𝜏 +𝒎𝒎⊥
𝜏𝜏
𝑁𝑁𝑀𝑀𝑀𝑀
1 T ∥
111
∥ 2
⊥
22= 𝒎𝒎𝜏𝜏 𝑷𝑷𝑴𝑴𝜏𝜏 𝒎𝒎𝜏𝜏 +𝒎𝒎𝜏𝜏 =𝒎𝒎𝜏𝜏 +𝒎𝒎⊥.
𝜏𝜏𝑀𝑀𝑀𝑀𝑀𝑀𝑀𝑀ただし、 𝒎𝒎∥𝜏𝜏 = 𝑷𝑷∥𝑴𝑴𝜏𝜏 𝒎𝒎𝜏𝜏 .
∥ T ⊥𝒎𝒎𝜏𝜏 𝒎𝒎𝜏𝜏 = 0なので、

1 T
1 T𝒉𝒉𝜏𝜏 𝒉𝒉𝜏𝜏 → 𝒎𝒎𝜏𝜏 𝒎𝒎𝜏𝜏 .
𝑁𝑁𝑀𝑀

∎

19

性質(B3)の証明[3-3]̅−1 𝒙𝒙 + 𝒉𝒉𝑡𝑡 − 𝜁𝜁𝑡𝑡+1
̅−1
̅ 𝜉𝜉out,𝑡𝑡+1
定義𝒒𝒒𝑡𝑡+1 = 𝜂𝜂in,𝑡𝑡 𝜁𝜁𝑡𝑡̅ 𝜉𝜉out,𝑡𝑡
𝒙𝒙を使うと、
1 T
1 T
𝜁𝜁𝑡𝑡̅
𝒉𝒉𝑡𝑡 ′ 𝒒𝒒𝑡𝑡+1 → 𝒉𝒉𝑡𝑡 ′ 𝜂𝜂in,𝑡𝑡
𝒙𝒙 + 𝒉𝒉𝑡𝑡
̅𝑁𝑁𝑁𝑁𝜉𝜉out,𝑡𝑡
𝑁𝑁

1
𝜁𝜁𝑡𝑡̅
𝑥𝑥𝑛𝑛 + 𝒉𝒉𝑡𝑡 𝑛𝑛→ � 𝔼𝔼 𝒉𝒉𝑡𝑡 ′ 𝑛𝑛 𝜂𝜂in,𝑡𝑡̅𝑁𝑁𝜉𝜉out,𝑡𝑡
𝑛𝑛=1.

最後の表現は、大数の強法則のためである。性質(B1)から𝒉𝒉𝑡𝑡 ′ はi.i.d.ガウス要素を持つため、Steinの補題を使うと、

𝒉𝒉T𝑡𝑡 ′ 𝒒𝒒𝑡𝑡+1𝑁𝑁𝑁𝑁1𝜁𝜁𝑡𝑡̅
′→ � 𝔼𝔼 𝒉𝒉𝑡𝑡 ′ 𝑛𝑛 𝒉𝒉𝑡𝑡 𝑛𝑛 𝔼𝔼 𝜂𝜂in,𝑡𝑡
𝑥𝑥𝑛𝑛 + 𝒉𝒉𝑡𝑡 𝑛𝑛̅𝑁𝑁𝜉𝜉out,𝑡𝑡𝑛𝑛=1.

20性質(B3)の証明[3-3]𝒉𝒉𝑡𝑡 はi.i.d.な要素を持つため、
𝑁𝑁

̅
1 T
11
𝜁𝜁
𝑡𝑡
T′𝒉𝒉𝑡𝑡 ′ 𝒒𝒒𝑡𝑡+1 → 𝔼𝔼 𝒉𝒉𝑡𝑡 ′ 𝒉𝒉𝑡𝑡
� 𝔼𝔼 𝜂𝜂in,𝑡𝑡
𝑥𝑥𝑛𝑛 + 𝒉𝒉𝑡𝑡 𝑛𝑛
̅𝑁𝑁𝑁𝑁𝑁𝑁𝜉𝜉out,𝑡𝑡
𝑛𝑛=1′定義𝜉𝜉in,𝑡𝑡 = 𝜂𝜂in,𝑡𝑡
𝒙𝒙𝑡𝑡 を使うと、大数の強法則から、

1 T𝜉𝜉in,𝑡𝑡 T𝒉𝒉𝑡𝑡 ′ 𝒒𝒒𝑡𝑡+1 −𝒉𝒉𝑡𝑡 ′ 𝒉𝒉𝑡𝑡 → 0.
𝑁𝑁
𝑁𝑁

性質(B2)を使うと、

1 T
𝜉𝜉in,𝑡𝑡 T
𝒉𝒉𝑡𝑡 ′ 𝒒𝒒𝑡𝑡+1 −𝒎𝒎𝑡𝑡 ′ 𝒎𝒎𝑡𝑡 → 0.
𝑁𝑁𝑀𝑀.

∎21