科研費シンポジウム「機械学習・統計学・最適化の数理と AI 技術への展開」
科学研究費・基盤研究（A） 「大規模複雑データの理論と方法論の革新的展開」
研究代表者：青嶋 誠 (筑波大学)．課題番号：20H00576
日時： 2020 年 12 月 18 日 (金)〜19 日 (土)場所： Zoom によるオンライン開催
開催責任者： 金森 敬文，川島 孝行 （東京工業大学 情報理工学院 数理・計算科学系）
プログラム：

12/18 (金)9:50 - 10:00 オープニング
基盤Ａ代表 青嶋 誠 (筑波大)
東工大情報理工学院長・DSAI 研究推進体代表 横田 治夫 (東工大)

10:00 - 11:10 セッション 1
簡単な数理モデルによる新型コロナウイルス感染症流行の予測と社会的制御
土谷 隆 (政策研究大)

仮想的な 0 近傍への外挿とその収束レートについて
奥野 彰文 (統数研/理研 AIP)，下平 英寿 (京大/理研 AIP)

11:20 - 12:30 セッション 2
Active learning for distributionally robust level set estimation
稲津 佑 (名工大)分散を伝播させる BNN を用いた不確実性計算の高速化とその応用
前 佑樹 (株式会社デンソー)，熊谷 亘 (東京大/理研 AIP)，金森 敬文 (東工大/理研 AIP)

13:45 - 14:55 セッション 3
パレートフロンティアの情報量に基づく多目的ベイズ最適化
烏山 昌幸 (名工大)確定的な動きを利用したマルコフ連鎖モンテカルロ法の紹介
鎌谷 研吾 (統数研)

15:05 - 16:55 セッション 4: 基盤 A シンポジウム＆東工大 DSAI 研究推進体セミナー合同開催
学習を定める不変量「実対数閾値」の定義と性質
渡辺 澄夫 (東工大)

ニューラルネットワークにおけるテンソルネットワーク表現
林 浩平 (PFN)

深層学習の統計神経力学と情報幾何
甘利 俊一 (理研)

12/19 (土)10:00 - 11:10 セッション 5
CNN による同変的写像の普遍近似定理
熊谷 亘 (東京大/理研 AIP)，三内 顕義 (理研 AIP)

概念とは群である ―学習における前方誤り訂正の必要性―
得丸 久文

11:20 - 12:30 セッション 6
多項ロジットモデルに基づく公的統計データ及び企業データの統計的マッチング・データ
融合高部 勲 (総務省/統数研)，山下智志 (統数研)

二変数間相互作用を考慮した一般化加法モデルとその効率的な学習
上月 正貴 (東京大)，松島慎 (東京大)13:45 - 14:55 セッション 7
深層展開に基づく反復アルゴリズムの収束加速 ―理論的解釈とその応用―
和田山 正 (名工大)身体動作と音楽の同調性によるストリートダンスの評価手法の提案
上野 寛幸 (早稲田大)，鈴木 量三朗 (有限会社シンビー)，豊泉 洋 (早稲田大)

15:05 - 16:55 セッション 8
高次元データにおける異常値の検出について
中山 優吾 (京都大)，矢田 和善 (筑波大)，青嶋 誠 (筑波大)Gamma-divergence に基づく変数選択について
伊森 晋平 (広島大/理研 AIP)，橋本 真太郎 (広島大)

事前分布強調型の情報量規準の開発とその WAIC との比較
二宮 嘉行 (統数研)

16:55 - 17:00 クロージング
基盤Ａ代表 青嶋 誠 (筑波大)開催責任者 金森 敬文 (東工大)؆୯ͳ਺ཧϞσϧʹΑΔ৽‫ܕ‬ίϩφ΢Πϧε‫ײ‬છ঱ྲྀߦͷ༧ଌͱࣾձత੍‫ޚ‬੓ࡦ‫ڀݚ‬େֶӃେֶɹ౔୩ɹོ

1. ͸͡Ίʹ
৽‫ܕ‬ίϩφ΢Πϧε‫ײ‬છ঱ͷྲྀߦ͕࢝·͔ͬͯΒૣ͘΋Ұ೥͕‫ܦ‬ա͠Α͏ͱ͍ͯ͠Δɽߨԋऀ͸ɼ೔ຊͰͷྲྀߦͷൺֱతॳ‫͔ظ‬Βɼ؆୯ͳ਺ཧϞσϧͰຊ‫ײ‬છ঱ͷղੳΛߦ͍ [1]ɼ͞͞΍͔ͳ͕Β৘ใΛൃ৴͖ͯͨ͠ [2]ɽ͜͜Ͱ͸ɼϞσϧͱղੳͷ֓ཁʹ͍ͭͯઆ໌͠ɼղܾ͢΂͖౷‫ܭ‬త໰୊ɼ͜
ͷ‫ײ‬છ঱ͷඃ֐Λࣾձతʹ࠷௿‫ʹݶ‬཈͑ΔͨΊͷ๬·͍ࣾ͠ձతઓུ΍ࠓ‫ޙ‬ͷ՝୊ʹ͍ͭͯ໰୊ఏ‫ى‬ͨ͠ɽ
2. Ϟσϧߟ͍͑ͯΔࠃ΍࣏ࣗମͷதͰͷ t ೔ʹ͓͚Δະ‫ײ‬છऀͷൺ཰Λ S(t), ‫ऀױ‬ͷൺ཰Λ I(t), ࣏ͬͨਓ(+๢͘ͳͬͨਓ) ͷൺ཰Λ R(t) ͱ͢Δɽৗʹ S(t) + I(t) + R(t) = 1 Ͱ͋Δɽߟ͍͑ͯΔूஂͷେ͖͞Λ N ਓͱ͠ɼҎԼͷԾఆΛஔ͘ɽ(Ծఆ 1) ະ‫ײ‬છऀ͕े෼ʹଟ͘ɼपғ͕ະ‫ײ‬છऀ͹͔ΓͰ͋Δ࣌
ʹɼ࣌఺ t ʹ͓͍ͯ 1 ‫ײ‬છऀ͕ 1 ೔ʹଞਓʹ‫ײ‬છͤ͞Δਓ਺Λ β(t) ͱ‫͠ه‬ɼ‫ײ‬છྗͱ‫Ϳݺ‬ɽूஂͷେ
͖͕͞ N Ͱ͋Δ࣌ʹ, t ೔໨ͷ‫ײ‬છऀ਺͸ I(t)N Ͱ͋Δ͕, ɹ͜ͷ࣌ɼt ೔໨ʹ৽ͨʹൃੜ͢Δ‫ײ‬છऀͷਓ਺͸ β(t)I(t)S(t)N Ͱ༩͑ΒΕΔ΋ͷͱ͢Δɽ
ʢԾఆ 2ʣ֤‫ײ‬છऀ͸ɼ‫ײ‬છͨ͠೔͔Β D ೔‫ͱͭܦ‬࣏ͬͯճ෮ऀͱͳΓɼ‫ײ‬છྗΛࣦ͏ɽ͜ͷ̎ͭͷԾఆͷԼͰɼ‫ײ‬છͷਪҠ͸ҎԼͷ̏ͭͷ઴ԽࣜͰॻ͚Δɽ
S(t + 1) = S(t) − β(t)I(t)S(t)I(t + 1) = I(t) + β(t)I(t)S(t) − β(t − D)I(t − D)S(t − D),R(t + 1) = R(t) + β(t − D)I(t − D)S(t − D).

͞Βʹɼ࣍ͷԾఆΛஔ͘ɿ(Ծఆ 3) ৽‫ܕ‬ίϩφ΢Πϧεʹ‫ײ‬છͯ͠࠷ऴతʹ߅ମΛ༗͢ΔΑ͏ʹͳΔऀͷதͰɼ࣏ࣗମʹ‫ײ‬છऀͱͯ͠೺Ѳ͞ΕΔऀ (ߦ੓త‫ײ‬છऀͱ͍͏) ͷൺ཰͸ҰఆͰ͋Δɽ͜ͷൺ཰Λ 1/C ͱஔ͘. ʢԾఆ 4ʣߦ੓త‫ײ‬છऀ͕‫ײ‬છ͔ͯ͠Βߦ੓͔Βൃද͞ΕΔ·Ͱʹ W ೔͔͔Δ
΋ͷͱ͢Δɽ
࣌఺ t Ͱͷ৽‫ߦن‬੓త‫ײ‬છऀ਺Λ P (t) ͱ‫͢ه‬ɽ͋Δ࣌఺ t Ͱͷ৽‫ײن‬છऀ͸, ະ‫ײ‬છऀͷ‫ݮ‬গ਺N (S(t − 1) − S(t)) Ͱ༩͑ΒΕΔɽͦͯ͠ɼ͜ΕΒͷ‫ײ‬છऀͷ಺ 1/C ͕ߦ੓ʹ೺Ѳ͞ΕΔɽ೺Ѳ͞ΕΔͷ͸ɼ‫ײ‬છ͔ͯ͠Β W ೔‫͋Ͱޙ‬Δͱ͍ͯ͠Δɽ͕ͨͬͯ͠ɼ

P (t + W ) =1(N (S(t − 1) − S(t)))
C͕੒ཱ͢Δɽ
ʮ࣮ޮ࠶ੜ࢈਺ʯRt ͸, Ұਓͷ‫ײ‬છऀ͕‫ײ‬છதʹଞͷ‫ײ‬છऀʹҠ͢ਓ਺ͷ‫ظ‬଴஋Ͱ͋ΔɽຊϞσϧͷ৔߹ʹ͸ɼ“Ұ౓‫ײ‬છͨ͠ऀ͸ D ೔‫ײ‬છऀͰ͍ͯͦͷؒ͸ଞਓʹ‫ײ‬છͤ͞Δ” ͱ͍͏୯७Խͨ͠૝
ఆΛऔ͍ͬͯΔͷͰɼRt = β(t)S(t)D Ͱ͋Δ.

3. ਪఆ݁Ռͱ‫ײ‬છͷಛ௃‫ײ‬છͷঢ়‫گ‬ΛܾΊΔ্Ͱॏཁͳύϥϝʔλ͸ɼC ͱ D Ͱ͋ΔɽD ͸ɼσʔλ΍ҩֶత஌‫͔ݟ‬Βਪఆ͞ΕΔ΂͖΋ͷͰ͋Γ [1] Ͱ͸ਪఆ݁Ռͱͯ͠ D = 15 Λಘ͍ͯΔɽC ͷਪఆ͸೉͍͠ɽຊϞσϧ1Ͱ͸౦େͷ߅ମ‫ࠪݕ‬ͷ݁Ռʹ‫ ͍ͯͮج‬C ͸ 23 ͱ͍ͯ͠Δ͕ɼC ͸߇͑Ίʹ‫ੵݟ‬΋ͬͯ΋ 10 Ҏ্͸͋Δͱߟ͑ΒΕΔ. ·ͨɼW ͸ 9 ݄·Ͱ͸ 12 ೔, ͦͷ‫ޙ‬͸ 9 ೔ ͱ͍ͯ͠Δɽਪఆ݁ՌΛਤ 1 ʹࣔ͢ɽ

4. ϋϯϚʔΞϯυμϯε͔άϨʔτϦηοτ͔ຊ‫ײ‬છ঱΁ͷࣾձతରԠͱͯ͠Α͘‫ݴ‬ΘΕΔͷ͕ɼϋϯϚʔΞϯυμϯεͰ͋Δɽ͜Ε͸ɼ‫ײ‬છ͕֦େ͖ͯͨ͠Βࣾձɾ‫׆ࡁܦ‬ಈΛॖখͯ͠‫ײ‬છ཈ࢭࡦΛͱͬͯɼ‫ײ‬છ͕ऩ·͖ͬͯͨΒɼࣾձɾ‫ࡁܦ‬త‫׆‬ಈΛ࠶։͢Δɼͱ͍͏͜ͱͰ͋Δɽ೔ຊͰ͸ɼ2020 ೥ 4 ݄ͷ‫ࣄٸۓ‬ଶએ‫ݴ‬͸ผͱͯ͠ɼ‫ײ‬છ཈ࢭͷੵ‫ࡦۃ‬͸ͱΒͣʹ֤ࣗͷࣗॗʹ೚ͤΔɼͱ͍͏‫Ͱܗ‬ͷରԠ͕ͳ͞ΕɼͦͷҰํͰɼGo To ΩϟϯϖʔϯͳͲͷ‫׆ࡁܦ‬ಈΛ༏ઌ͢Δ‫Ͱܗ‬ͷࢪࡦ͕ߦΘΕ͖ͯͨɽ͜Ε͕ɼ೔ຊྲྀͷϋϯϚʔΞϯυμϯεͰ͋ΔɽϋϯϚʔΞϯυμϯεͷܽ఺͸ɼ৽‫ن‬ཅੑऀ਺ͷίϯτϩʔϧΛߦ͏ͱ͍͏ߦ੓త༠ಋ͕ͳ͍͜ͱ
Ͱ͋Δɽৗʹɼ‫ݮ‬গͩͨ͠͠ͱ͜ΖͰɼࣾձɾ‫׆ࡁܦ‬ಈΛ࠶։͢ΔͨΊɼϐʔΫΛܴ͑ͨ‫ޙ‬ͷఆৗϨϕϧͷίϯτϩʔϧ͕೉͘͠ɼ೾Λ௒͑Δ͝ͱʢྲྀߦ͕ϐʔΫΛܴ͑Δ͝ͱʣʹɼఆৗతʹൃੜ͢Δ
ཅੑऀ਺͕૿େ͢Δ܏޲͕‫ݟ‬ΒΕΔɽͦͷ෼ҩྍγεςϜʹ͔͔Δෛ୲͸૿େ͠ɼ͍͔ͭ͘ͷ೾ͷ͋ͱʹɼҩྍγεςϜ͕࣋ͪͨ͑͜ΒΕͳ͘ͳΓɼ่յ͢ΔՄೳੑ͕ߴ͍ɽ
Ұํɼ೗Կʹܹ͘͠ྲྀߦ͍ͯͯ͠΋ɼ3 िؒఔ౓ͷ‫ߦ͍͠ݫ‬ಈ‫੍ن‬Λߦ͏ͱɼ΢ΠϧεΛ΄΅θϩͱ͢Δ͜ͱ͕Ͱ͖ΔͷͰ͋Δ͔Βɼྲྀߦ͕֦େ͖ͯͨ͠Β 3 िؒͷ‫ߦ͍͠ݫ‬ಈ‫ײͰ੍ن‬છऀΛ΄΅θϩʹ্ͨ͠ͰɼҾ͖ଓ͍ͯ࠶ͼྲྀߦ͢Δ·Ͱɼ3ϲ݄ఔ౓ʮ3 ຶ OK ͷʯࣗ༝ͳࣾձɾ‫׆ࡁܦ‬ಈΛߦ͍ͬͯ͘͜ͱΛ‫܁‬Γฦͯ͠ɼ‫ྗ׆‬Λҡ࣋ͭͭࣾ͠ձΛӡӦ͍ͯ͘͜͠ͱ͕Ͱ͖ΔͷͰ͸ͳ͍͔ɼͱචऀ
͸ߟ͍͑ͯΔɽ͍Θ͹άϨʔτϦηοτΛԀΘͣʹ‫܁‬Γฦ͢΋ͷͰ͋Δɽ͜Ε͸ɼ࿦จ [1] ͰఏҊ͠
͍ͯΔɼ‫׆‬ಈ‫ࣗͱظ‬ॗ‫ظ‬Λ‫܁‬Γฦ͢੓ࡦΛపఈతʹ௥‫ਂͯ͠ٻ‬Խͤ͞Δ‫ܗ‬ͷ΋ͷͱͳΔɽ௚‫؍‬తʹ͸ɼ‫ײ‬છ঱͕͍͔ʹྲྀߦ͍ͯͯ͠΋ɼఆ਺࣌ؒͰ 0 ʹͰ͖ΔͷͰ͋Δ͔ΒɼάϨʔτϦηοτΛ‫܁‬Γฦ͢੓ࡦ͕ʢ෯޿͍ࣾձతޮ༻ؔ਺ͷൣғͰʣ͋Δछͷ࠷దੑΛ͍࣋ͬͯͯ΋͓͔͘͠͸ͳ͍ͱߟ͑ΒΕΔɽ͜ͷΑ͏ͳࢪࡦͷՄೳੑͱ߹ཧੑΛ਺ཧతʹ‫ݕ‬౼͢Δ͜ͱ͸‫ڵ‬ຯਂ͍໰୊Ͱ͋Δɽࢀߟจ‫ݙ‬[1] ౔୩ོɿ৽‫ܕ‬ίϩφ΢Πϧε‫ײ‬છ঱ͷ޿͕Γʹؔ͢ΔҰߟ࡯. ੓ࡦ‫ڀݚ‬େֶӃେֶσΟεΧογϣ
ϯɾϖʔύʔ 20-04, 2020 ೥ 5 ݄ 30 ೔. (վగ൛͕ΦϖϨʔγϣϯζɾϦαʔνʹ‫ࡌܝ‬༧ఆ.)[2] ౔୩ོɿ http://www3.grips.ac.jp/t̃suchiya .

ਤ 1: ౦‫౎ژ‬ͷ‫ײ‬છऀൃੜ਺ਪఆ݁Ռʢ2020 ೥ʣ

2Ծ૝తͳ 0 ۙ๣΁ͷ֎ૠͱͦͷऩଋϨʔτʹ͍ͭͯ ∗Ԟ໺জจ 1,3 , Լฏӳण 2,3౷‫਺ܭ‬ཧ‫ॴڀݚ‬,2ཧԽֶ‫ ॴڀݚ‬AIP ηϯλʔ࿨͕ 1 ͱͳΔॏΈ w1 , w2 , . . . , wk ≥ 0 Λ༻͍ͨ1 ͸͡Ίʹ

(kNN)

η̂k,w (X∗ ) =෼ྨ໰୊ʹ͓͚Δ‫͋ࢣڭ‬Γֶशʹ෯޿͘༻͍ΒΕΔख๏ͷҰͭʹ k ۙ๣๏ (k-Nearest Neighbour, ུশ k-NN;
Fix and Hodges (1951)) ͕͋Δɽk ۙ๣๏Ͱ͸·ͣΫΤϦۙ๣ͷ k ‫ݸ‬ͷσʔλϕΫτϧΛ‫͠ࡧݕ‬ɼରԠ͢Δϥϕϧͷฏ‫ʹۉ‬ΑΓΫΤϦͷ֤ϥϕϧ֬཰Λ༧ଌ͢Δɽ࠷େͷ֬཰Λ࣋ͭϥϕϧΛग़ྗ͢ΔϓϥάΠϯ‫ܕ‬ͷ෼ྨΛߦ͏ͱɼk ۙ๣๏ͷ౷‫ܭ‬తҰகੑɼ͢ͳΘͪ‫ޡ‬෼ྨ֬཰͕࠷ద஋ʹऩଋ͢Δ͜ͱ͕ Cover and Hart (1967) ͳͲʹΑΓࣔ͞Ε͓ͯΓɼ·ͨͦͷऩଋͷ଎͞ (ऩଋϨʔτ) ͕ Chaudhuri and Dasgupta (2014) ͳͲʹΑΓࣔ͞Ε͍ͯΔɽҰ ํ Ͱ ɼ೚ ҙ ͷ ϥ ϕ ϧ ֬ ཰ ༧ ଌ ‫ ث‬Λ ༻ ͍ ͯ ϓ ϥάΠϯ‫ܕ‬ͷ෼ྨΛߦ͏৔߹ͷ࠷దͳऩଋϨʔτ͕
Audibert and Tsybakov (2007) ʹΑ Γ༩ ͑Β Ε͓ͯΓɼϥϕϧͷ৚݅෇͖‫ظ‬଴஋͕ඇৗʹ‫׈‬Β͔ͳ৔߹ʹ͸k ۙ๣๏͸࠷దϨʔτΛୡ੒Ͱ͖ͳ͍ɽ
k ۙ๣๏ʹ͸όΠΞεͱόϦΞϯεͷτϨʔυΦϑ͕͋Δɿk Λେ͖͘͢ΔͱΫΤϦ͔Βԕ͍σʔλϕΫτϧ
ͷϥϕϧ͕ߟྀ͞ΕΔΑ͏ʹͳΓɼόΠΞε͕૿େͯ͠
͠·͏ɽຊ‫Ͱڀݚ‬͸ɼ͍͔ͭ͘ͷ k ʹ͍ͭͯ k ۙ๣๏Λߦ͍ɼ༧ଌ͞Εͨϥϕϧ֬཰Λ k = 0 ʹԾ૝తʹ֎ૠ͢
Δ͜ͱͰ઴ۙతͳόΠΞεΛ‫ݮ‬গͤ͞ɼ࠷దͳऩଋϨʔτΛୡ੒͢ΔϚϧνεέʔϧ k ۙ๣๏ΛఏҊ͢Δɽinfwi Y(i)

i=1

"
#
(kNN)
1 η̂k,w (X∗ ) ≥ 1/2 Λ ಛ ʹ ॏ Έ ෇ ͖ k ۙ ๣ ෼ ྨ‫( ث‬weighted k-NN classifier) ͱ‫Ϳݺ‬ɽҎ߱Ͱ͸ΫΤϦ X∗ Λ‫ݻ‬ఆ͠‫߸ه‬Λলུ͢Δɽ

4 Ϛϧνεέʔϧ k ۙ๣๏

0.2

0.3

0.4

knn

0.6

0.7

0.8

ਤ 1ʹ͸֤ k Ͱͷ k ۙ๣ਪఆྔΛࣔͨ͠ɽk ͕େ͖͍΄Ͳ k ۙ๣ਪఆྔͷ෼ࢄ͸খ͍͕͞ɼ੨ઢͰࣔͨ͠ਅ஋
ͱͷဃ཭ (όΠΞε) ͕େ͖͘ͳΔɽ

0

100

200

300

400

500

k

ਤ 1: ੺ઢɿk ۙ๣ਪఆྔɼ੨ઢɿਅ஋ η(X∗ ) = E(Y |X∗ )ɼࠇઢͱഁઢ͸ϞϯςΧϧϩγϛϡϨʔγϣϯʹ͓
͚Δ k ۙ๣ਪఆྔͷฏ‫ͱۉ‬ඪຊඪ४ภࠩΛද͢ɽX ⊂ Rd ΛඇۭͳίϯύΫτू߹ͱ͠ɼ(X, Y ) ∈X × {0, 1} Λ෼෍ Q ͔Βੜ੒͞ΕΔ֬཰ม਺ͱ͢Δɽ
αϯϓϧ Dn := {(Xi , Yi )}ni=1 ͱΫΤϦ (X∗ , Y∗ ) ͸ಠཱʹ෼෍ Q ʹै͏ͱ͢ΔɽDn , X∗ Λ༻͍ͯΫΤϦͱͳΔσʔλϕΫτϧ X∗ ∈ X ͷϥϕϧ Y∗ ∈ {0, 1} Λ༧ଌ͢Δ෼ྨ‫ ث‬ĝn : X → {0, 1} Λֶश͠ධՁ͢Δɽ෼ ྨ ‫ ث‬ͷ ධ Ձ ʹ ͸ ‫ ޡ‬෼ ྨ ֬ ཰ L(g):=PX∗ ,Y∗ (g(X∗ ) &= Y∗ ) Λ༻͍ͨ excess risk
g:X →{0,1}k!

ΛॏΈ෇͖ k ۙ๣ਪఆྔ (k-NN estimator) ͱ‫ͼݺ‬ɼ
w1 = w2 = · · · = wk = k −1 ͷ৔߹୯७ʹ k ۙ๣
(kNN)ਪఆྔͱ‫Ϳݺ‬ɽϓϥάΠϯ‫ܕ‬ͷ෼ྨ‫ ث‬ĝk,w (X∗ ) :=2 ໰୊ઃఆ

E(ĝn ) := EDn (L(ĝn )) −3

‫౎ژ‬େֶେֶӃ ৘ใֶ‫ڀݚ‬Պ,

0.51ຊ‫Ͱڀݚ‬͸ɼ1 ≤ k1 < k2 < · · · < kV ≤ n (V ∈ N)
(kNN)

(kNN)

(kNN)

Λ༻͍ͯ k ۙ๣ਪఆྔ η̂k1
, η̂k2, . . . , η̂kVΛ‫ܭ‬ࢉ͠ɼ(k =)0 ۙ๣΁֎ૠ͢Δ͜ͱͰόΠΞεΛ‫ݮ‬গͤ͞ΔϚϧνεέʔϧ k ۙ๣๏ΛఏҊ͢ΔɽΑΓ۩ମతͳख
ଓ͖ͱͯ͠͸

(1) ൒‫ ܘ‬rk := (X(k) − X∗ (2 (k = k1 , . . . , kV ) Λ‫ࢉܭ‬ɽ(2) ൒‫ ܘ‬rkv Λհͨ͠ճ‫ ਺ؔؼ‬f (rkv ; θ) Λ༻͍ͯ k ۙ(kNN)๣ਪఆྔ η̂kv
Λ༧ଌ͢Δɿ

L(g)θ̂k := arg minΛ༻͍ΔɽExcess risk E(ĝn ) ͷαϯϓϧ਺ n ʹ͍ͭͯͷΦʔμʔΛऩଋϨʔτͱ‫Ϳݺ‬ɽ

θ∈Θ

V
!
v=1

(kNN)

{η̂kv

− f (rkv ; θ)}2 .

(3) r0 = 0 ͱͯ͠ɼk = 0 ʹ֎ૠ͢Δɿ

3 k ۙ๣๏

(MSkNN)η̂kΫΤϦ͔ΒͷϢʔΫϦου‫ʹ཭ڑ‬ΑΓఴ͑ࣈΛฒ΂ସ͑Δɿ(X(1) − X∗ (2 ≤ (X(2) − X∗ (2 ≤ · · · ≤(X(n) − X∗ (2 . Ϣʔβͷࢦఆ͢Δύϥϝʔλ k ∈ N ͱ:= f (0; θ̂k ).

ରԠ͢ΔϓϥάΠϯ‫ܕ‬ͷϚϧνεέʔϧk ۙ๣෼ྨ‫ث‬"#(MSkNN)(MSkNN)Λ ĝk(X∗ ) := 1 η̂k(X∗ ) ≥ 1/2 ͱ͢Δɽ∗ ຊߘ͸ Okuno and Shimodaira (2020) Λ‫͍ͯ͠ʹج‬Δɽ

1࣍અͰ͸࣍਺͕‫਺ۮ‬ͷ߲ͷΈͰߏ੒͞Εͨଟ߲ࣜf (r; θ) = θ0 + θ1 r2 + θ2 r4 + · · · + θC r2Cఆ ཧ 6 (Ϛ ϧ ν ε έ ʔ ϧ k ۙ ๣ ෼ ྨ ‫ ث‬ͷ ऩ ଋϨʔτ; Okuno and Shimodaira (2020) ఆཧ 2).
! = (&1 , &2 , . . . , &V ) ∈ RV Λ &1 = 1 < &2 < · · · <&V < ∞ ͳΔϕΫτϧͱ͠ɼk1,n - n2β/(2β+d)͔ ͭ kv,n - min{k ∈ [n] | (X(k) − X∗ (2 ≥&v (X(k1,n ) − X∗ (2 } ͱ͢Δɽճ‫( ͯ͠ͱ਺ؔؼ‬1)
Λ༻͍Δɽ(i) µ, µη ͕ͦΕͧΕ β-Hölder ৚݅Λຬͨ͠ɼ(ii) SDA ΛԾఆ͠ɼ͔ͭ (iii) C := .β/2/ ≤V − 1 ͱ͢Δͱɼਪఆྔ͕ൃࢄ͠ͳ͍ͨΊͷ৚݅ (Okuno and Shimodaira (2020) (C-3)) ͷԼͰ(1)Λճ‫͍༻ͯ͠ͱ਺ؔؼ‬Δͱɼۙ๣๏ͷऩଋϨʔτ͕վળ
͢Δ͜ͱΛ঺հ͢Δɽ

5 ཧ࿦ղੳ
ຊઅͰ͸ɼϚϧνεέʔϧ k ۙ๣๏͕௨ৗͷ k ۙ๣๏ͷऩଋϨʔτΛվળ͠ɼ࠷దϨʔτΛୡ੒͢Δ͜ͱΛࣔ͢ɽ࠷ॳʹɼ৚݅෇͖‫ظ‬଴஋ η(x) = E[Y | X = x] ʹؔ͢Δ͍͔ͭ͘ͷ৚݅Λઆ໌͢Δɽ

(MSkNN)E(ĝkఆ ٛ 1 (α-margin ৚ ݅). ͋ Δ ఆ ਺ Lα ≥ 0, t̃ >0, α > 0 ͕ଘࡏͯ͠ P(|η(X) − 1/2| ≤ t) ≤ Lα tα(∀t ∈ (0, t̃], X ∈ X ) ͱͰ͖Δͱ͖ η ͸ α-margin ৚݅Λຬͨ͢ͱ͍͏ɽ

6 ·ͱΊͱٞ࿦
Ҏ্ΑΓɼఏҊͨ͠Ϛϧνεέʔϧ k ۙ๣๏͸ k ۙ๣๏ͷऩଋϨʔτΛվળ͠ɼ࠷దϨʔτΛୡ੒͢Δ͜ͱΛࣔͨ͠ɽ࠷‫ʹޙ‬ɼຊઅͰ͸ఏҊ๏ͱ‫ॴہ‬ଟ߲ࣜճ‫ؼ‬ɼॏΈ෇͖ k ۙ๣๏ͱͷൺֱʹ͍ͭͯͷٞ࿦Λ·ͱΊΔɽఆٛ 3 (γ-neighbour average smoothness ৚݅). ू߹
B ⊂ Rd ʹ͍ͭͯఆٛ͞ΕΔؔ਺ η (∞) (B) := E(Y |X ∈ B) ͱ த ৺ X ∈ X Ͱ ൒ ‫ ܘ‬r ͷ ‫ ٿ‬B(X; r)ʹ ͭ ͍ ͯ ɼ͋ Δ ఆ ਺ Lγ > 0, γ > 0 ͕ ଘ ࡏ ͠ ͯ|η (∞) (B(X; r)) − η(X)| ≤ Lγ rγ Λຬͨ͢ͱ͖ η ͸γ-neighbour average smooth Ͱ͋Δͱ͍͏ɽ

6.1 ‫ॴہ‬ଟ߲ࣜճ‫ͱؼ‬ͷൺֱ
Audibert and Tsybakov (2007) Ͱ͸ɼ‫ॴہ‬ଟ߲ࣜճ‫( ؼ‬Tsybakov, 2009) Λ༻͍ͨϓϥάΠϯ‫ܕ‬ͷ෼ྨ‫͕ث‬࠷దϨʔτΛୡ੒͢Δ͜ͱΛ͍ࣔͯ͠Δɽ‫ॴہ‬ଟ߲ࣜճ‫ؼ‬͸ΫΤϦ X∗ ∈ X ⊂ (Rd ) ͷपลͰͷ η ͷςΠϥʔల։Λଟ߲ࣜͰਪఆ͢ΔͨΊɼ1 + d + d2 + · · · + dC ‫ݸ‬ͷ܎਺Λਪఆ͢Δඞཁ͕͋Δ͕ɼఏҊͨ͠Ϛϧνεέʔϧk ۙ๣๏Ͱ͸ (1) ʹ‫ݱ‬ΕΔ 1 + C ‫ݸ‬ͷ߲ͷ܎਺Λਪఆ͢
Δ͚ͩͰΑ͍ɽ

Ұൠʹ α, β, γ ͕େ͖͍΄Ͳ෼ྨ‫ث‬ͷऩଋ͕ૣ͘ͳΔɽ࠷‫ʹޙ‬ɼX ͷີ౓ؔ਺ʹ͍ͭͯҎԼͷ৚݅Λఆٛ͢Δͱ
ఆཧ 5͕੒Γཱͭɽ
ఆٛ 4 (Strong density assumption). X ͷີ౓ؔ਺ µʹ͍ͭͯɼ͋Δఆ਺ µmin , µmax ∈ (0, ∞) ͕ଘࡏͯ͠
µmin ≤ µ(X) ≤ µmax (∀X ∈ X ) ͱͰ͖Δͱ͖ µ ͸strong density assumption (SDA) Λຬͨ͢ͱ͍͏ɽ

6.2 ॏΈ෇͖ k ۙ๣๏ͱͷൺֱ୯७ͳ k ۙ๣๏ͱճ‫ؼ‬Λ૊Έ߹Θͤ༰қʹ࣮૷͢Δ͜
ͱ͕Ͱ͖ΔϚϧνεέʔϧ k ۙ๣๏͸ɼผͷղऍͱͯ͠ɼճ‫ؼ‬Λհؒ͠઀తʹॏΈ෇͖ k ۙ๣๏ͷ࣮਺஋ͷॏΈ w1 , . . . , wk ∈ R Λਪఆ͍ͯ͠ΔͱΈͳͤΔɽ
ॏΈ෇͖ k ۙ๣๏Ͱ͸௨ৗɼඇෛͷॏΈͷΈΛߟ͑ΔɽඇෛͷॏΈͷΈߟ͑Δ৔߹ɼ࠷దͳॏΈΛ༻͍ͯ΋ɼऩଋϨʔτ͕ॏΈΛ༻͍ͳ͍ k ۙ๣๏ͱಉ͡ʹͳͬͯ͠·͏͜ͱ͕஌ΒΕ͍ͯΔ (Samworth, 2012). Samworth(2012) Ͱ͸͞Βʹ excess risk ͷςΠϥʔల։Λ࠷దԽ
͢Δ࣮਺ͷॏΈΛ༻͍Ε͹࠷దϨʔτ (2) ͕ୡ੒Ͱ͖Δ
͜ͱΛ͍ࣔͯ͠ΔɽఏҊͨ͠Ϛϧνεέʔϧ k ۙ๣๏͸ճ‫ؼ‬Λհͯ͠ɼSamworth (2012) ͸ excess risk ͷςΠϥʔల։ͷ࠷దԽΛհͯ͠ॏΈΛܾఆ͢Δ͜ͱ͔Βɼ͜ΕΒ 2 ͭͷख๏ͰಘΒΕΔ࣮਺஋ͷॏΈ͸ಉҰͰ͸ͳ͍͕ɼͲͪΒ΋࠷దͳϨʔτΛୡ੒͢Δɽ͔͠͠ Samworth (2012) ͷํ๏Ͱ͸ςΠϥʔల։ΛॏΈʹؔͯ͠࠷దԽ͢Δඞཁ͕͋Γɼ࠷దͳॏΈͷ‫͕ࢉܭ‬൥ࡶʹͳͬͯ͠·͏ɽఏҊ๏ʹ͸ճ‫ؼ‬Λհͯ͠༰қʹಉ౳ͳ‫ࢉܭ‬ΛՄೳʹ͢Δར఺͕
͋Δɽ

ఆ ཧ

5 (k ۙ ๣ ෼ ྨ ‫ ث‬ͷ ऩ ଋ Ϩ ʔ τ;
Chaudhuri and Dasgupta (2014) ఆ ཧ 4(b) ). ू ߹X ͕ίϯύΫτͰ͋Γɼ η ͕ α-margin ͱ γ-neighbour
average smoothness ৚ ݅ Λ ຬ ͨ ͢ ͱ ͢ Δ ɽSDA ͕੒ Γ ཱ ͭ ͱ ͠ ɼk∗ := kn - n2γ/(2γ+1) ͱ ͢ Δ ͱ
(kNN)
E(ĝk
) = O(n−(1+α)γ/(2γ+d) ).
ఆ ཧ 5͸ γ-neighbour average smoothness ৚ ݅ ΛԾ ఆ ͢ Δ ͕ ɼ୅ Θ Γ ʹ β-Hölder ৚ ݅ Λ Ծ ఆ ͢ Δ
ͱ ɼ͍ ͘ ͭ ͔ ͷ ৚ ݅ ͷ Լ Ͱ γ = min{β, 2} ͕ ࣔ ͤ
Δ (Okuno and Shimodaira (2020) ఆ ཧ 1)ɽͭ · Γ
β > 2 ͱͯ͠ β-Hölder ৚݅ΛԾఆ͢Δͱ
(kNN)

(2)

ࣜ (2) Ͱࣔͨ͠Ϛϧνεέʔϧ k ۙ๣๏ͷऩଋϨʔτ͸ɼ೚ҙͷϓϥάΠϯ‫ܕ‬ͷ෼ྨ‫ؔ͢ʹث‬Δ࠷దϨʔτ (Audibert and Tsybakov, 2007) ͱҰக͢Δɽ

ఆٛ 2 (β-Hölder ৚݅). Tq,X∗ [η] Λ఺ X∗ ∈ X Ͱͷؔ਺ η ͷ q (∈ N0 ) ࣍ςΠϥʔల։ͱ͢Δɽ͋Δఆ਺
Lβ > 0, β > 0 ͕ଘࡏͯ͠ |η(X) − T%β&,X∗ [η](X)| ≤Lβ (X − X∗ (β ͱͰ͖Δͱ͖ η ∈ C %β& (X ) ͸ β-Hölder৚݅Λຬͨ͢ͱ͍͏ɽE(ĝk) = O(n−(1+α)β/(2β+d) ).

) = O(n−2(1+α)/(4+d) )ͱͳΓɼβ ͕͍͘Βେ͖͘ͳͬͯ΋ऩଋϨʔτ͕ό΢ϯυ͞Εͯ͠·͏ɽ͜Ε͸‫ॴہ‬ઢ‫ܗ‬ճ‫( ؼ‬Tsybakov,
2009) ͱಉ༷ͷ‫ݱ‬৅Ͱ͋Δ (Hall and Kang, 2005)ɽ
࣍ʹɼβ-Hölder ৚݅ͷԼͰϚϧνεέʔϧ k ۙ๣๏ͷऩଋϨʔτΛҎԼͷఆཧ 6ʹࣔ͢ɽ

2

Active learning for distributionally robust level set estimationҴ௡ ༎ 11‫ ࡚ؠ‬ল‫ ޗ‬1໊‫ݹ‬԰޻‫ۀ‬େֶ ৘ใ޻ֶઐ߈

2஛಺ Ұ࿠ 1,2ཧԽֶ‫৽ֵॴڀݚ‬஌ೳ౷߹‫ڀݚ‬ηϯλʔ

1. ֓ཁ
ධՁίετ͕ߴ͍ black-box ؔ਺ f ͕, ίϯτϩʔϧՄೳͳม਺ x ͱίϯτϩʔϧͰ͖ͳ͍͋Δ෼෍ P ʹै͏ม਺ wΛ༻͍ͯ f (x, w) ͱද͞ΕΔέʔε͸ଟ͍. ͜ͷͱ͖, w ͷมಈʹؔͯ͠ϩόετͳղΛྻ‫͢ڍ‬Δ͜ͱΛߟ͑Δ. ϩόετੑͷई౓ͱͯࣗ͠વʹߟ͑ΒΕΔ΋ͷͷͻͱͭͱͯ͠, ͋Δ༩͑ΒΕͨᮢ஋ h Λ্ճΔ֬཰Λߟ͑Δ͜ͱ͕Ͱ͖Δ. ͜Ε͸probability threshold robustness (PTR) ई౓ͱ‫ݺ‬͹Ε, ࢈‫༻ۀ‬ϩϘοτͷ҆શੑͷอূ΍ۚ༥ʹ͓͚Δ chance-constrained
optimization ౳ͷԠ༻͕ͳ͞Ε͍ͯΔ. ͔͠͠ͳ͕Β, ͜ͷई౓͸෼෍ P Λ‫ͯͬޡ‬ಛఆͨ͠৔߹͸ϩόετई౓ͱͯ͠ద੾
Ͱͳ͍. ͦ͜Ͱ, ༩͑ΒΕͨީิ෼෍ͷதͰͷ࠷ѱέʔεͷ PTR Λߟ͑Δͱ͍͏, “distributionally robust PTR measure(DRPTR)” Λߟ͑Δ. ຊߘͰ͸, DRPTR ई౓ʹؔͯ͠, ͋Δॴ๬ͷ֬཰ α Λ্ճΔྖҬ, reliable set Λޮ཰తʹಉఆ͢Δ
໰୊Λߟ͑Δ. ͜Ε͸, DRPTR ʹର͢ΔϨϕϧηοτਪఆ (LSE) ໰୊ͱͯ͠ఆࣜԽ͢Δ͜ͱ͕Ͱ͖Δ. ௨ৗͷ LSE ʹରͯ͠ϓϥΫςΟΧϧʹ͏·͘‫ػ‬ೳ͢Δ͜ͱ͕஌ΒΕ͍ͯΔ MILE ͱ‫ݺ‬͹ΕΔ֫ಘؔ਺Λ, ຊઃఆʹ֦ுͨ֫͠ಘؔ਺ΛఏҊ͢
Δ. ·ͨ, ਺஋࣮‫ݧ‬Λ௨͠, ఏҊ๏ͷੑೳΛ֬ೝ͢Δ.

2. ઃఆ
ؔ਺ f : X × Ω → R Λ, X × Ω Ͱఆٛ͞ΕͨධՁίετ͕ߴ͍ black-box ؔ਺ͱ͢Δ. ͨͩ͠, X ͓Αͼ Ω ͸༗‫ूݶ‬

߹ͱ͢Δ. ֤ೖྗ (x, w) ∈ X × Ω ʹର͠, ؔ਺ f (x, w) ͷ஋͸ f (x, w) + ε ͱͯ͠‫؍‬ଌ͞ΕΔͱ͢Δ. ͨͩ͠, ε ͸ਖ਼‫ن‬
෼෍ N (0, σ 2 ) ʹै͏, ಠཱͳϊΠζͰ͋Δ. ·ͨ, w ͸͋Δະ஌ͷ෼෍ P † ʹै͏΋ͷͱ͠, ίϯτϩʔϧͰ͖ͳ͍ม਺

ͱ͢Δ. ͨͩ͠, ࣮‫͍͓ͯʹ࣌ݧ‬͸, w ͷબ୒͸Մೳͱ͢Δ. ·ͨ, A Λ P † ͷީิ෼෍଒ͱ͢Δ. ຊߘͰ͸, A ͱͯ͠,A = {p.m.f. p(w) | d(p(w), p∗ (w)) < $} Λߟ͑Δ. ͨͩ͠, , p∗ (w) ͸࣮‫ࢦ͕ऀݧ‬ఆͨ͠ࢀর෼෍Ͱ͋Γ, d(·, ·) ͸͋Δ෼෍
ؒ‫͋Ͱ཭ڑ‬Δ. ·ͨ, $ > 0 ͱ͢Δ. ͜ͷͱ͖, ༩͑ΒΕͨᮢ஋ h ͷԼ, ֤ x ∈ X ʹର͢Δ DRPTR, F (x) ΛҎԼͰఆٛ͢Δ:

F (x) =

inf

p(w)∈A!

1l[f (x, w) > h]p(w).

w∈Ωຊߘͷ໨త͸, ͋Δ༩͑ΒΕͨ֬཰ α ∈ (0, 1) ʹର͠, F (x) > α Λຬͨ͢ X ͷ෦෼ू߹ H (reliable set) Λޮ཰తʹಉఆ͢
Δ͜ͱͰ͋Δ:H = {x ∈ X | F (x) > α}, L = {x ∈ X | F (x) ≤ α}.

(2.1)

2.1. Gaussian processຊߘͰ͸, ະ஌ؔ਺ f ʹର͢ΔϞσϦϯάͱͯ͠, Gaussian process (GP) Λ༻͍Δ. ؔ਺ f ʹର͢Δࣄલ෼෍ʹGP, GP(0, k((x, w), (x# , w# ))) ΛԾఆ͢Δ. ͜͜Ͱ, k((x, w), (x# , w# )) ͸ਖ਼ఆ஋ΧʔωϧͰ͋Δ. ࠓ, σʔληοτ{(xi , wi , yi )}ti=1 ͕༩͑ΒΕͨԼ, f ͷࣄ‫ޙ‬෼෍͸࠶ͼ GP ͱͳΓ, f (x, w) ͷࣄ‫ޙ‬ฏ‫ ۉ‬µt (x, w), ࣄ‫ޙ‬෼ࢄ σt2 (x, w) ͸ͦΕͧΕҎԼͰ༩͑ΒΕΔ:µt (x, w) = kt$ (x, w)(Kt + σ 2 It )−1 yt , σt2 (x, w) = k((x, w), (x, w)) − kt$ (x, w)(Kt + σ 2 It )−1 kt (x, w).
3. ఏҊ๏
3.1. Credible interval and LSE֤఺ (x, w) ∈ X × Ω ʹର͠, ୈ t ࢼߦ࣌ʹ͓͚Δ f (x, w) ʹର͢Δ৴༻۠ؒΛ Qt (x, w) = [lt (x, w), ut (x, w)] ͰఆΊ
1/2

Δ. ͨͩ͠, lt (x, w) = µt (x, w) − βt

1/2

σt (x, w), ut (x, w) = µt (x, w) + βt

1/2

σt (x, w) Ͱ͋Γ, βt≥ 0 Ͱ͋Δ. ಉ༷ʹ,1l[f (x, w) > h] ʹର͢Δ৴༻۠ؒΛ Qt (x, w) ʹ‫ߏ͖ͮج‬ங͢Δ. ͜͜Ͱ, ཧ࿦తอূͷͨΊʹ, ͋Δਖ਼ͷਫ਼౓ύϥϝʔλ η
1Λ༻͍ͯ, 1l[f (x, w) > h] ͷ৴༻۠ؒ Q̃t (x, w; η) ΛҎԼͷΑ͏ʹߏங͢Δ:[1, 1]˜
Q̃t (x, w; η) ≡ [lt (x, w; η), ũt (x, w; η)] = [0, 1]

[0, 0](F )͜ΕΛ༻͍ͯ, F (x) ͷ৴༻۠ؒ Qt
(F )

lt

(x; η) =(F )(x; η) ≡ [ltinfp(w)∈A

!

if lt (x, w) > h − η
if lt (x, w) ≤ h − η and ut (x, w) > h .
if lt (x, w) ≤ h − η and ut (x, w) ≤ h(F )(x; η), ut (x; η)] Λ࣍Ͱఆٛ͢Δ:˜lt (x, w; η)p(w), u(F ) (x; η) =
t

w∈Ω

inf

p(w)∈A!

ũt (x, w; η)p(w).

w∈Ωͳ͓, ෼෍ؒ‫ ཭ڑ‬d(·, ·) ͱͯ͠ L1-‫཭ڑ‬Λ༻͍ͨ৔߹, ্ͷࣜ͸ઢ‫ܭܗ‬ը໰୊Λղ͘͜ͱʹ૬౰͢Δ. ಉ༷ʹ, d(·, ·) ͱͯ͠

L2-‫཭ڑ‬Λ༻͍ͨ৔߹͸ 2 ࣍ਲ਼‫ܭ‬ը໰୊Λղ͘͜ͱʹ૬౰͢Δ. ͍ͣΕͷ৔߹΋, ߴ଎ʹղΛ‫ٻ‬ΊΔ͜ͱ͕Ͱ͖Διϧόʔ͕(F )ଘࡏ͢ΔͷͰ, ͜ΕΒͷ෼෍ؒ‫཭ڑ‬Λ༻͍ͨ৔߹͸ Qt(x; η) Λ‫͢ࢉܭ‬Δ͜ͱ͸༰қͰ͋Δ. ͜ͷͱ͖, H ͓Αͼ L ͷਪఆू߹ΛҎԼͰఆΊΔ:(F )Ht = {x ∈ X | lt

(F )(x; η) > α}, Lt = {x ∈ X | ut (x; η) ≤ α}.

(3.1)·ͨ, ະ෼ྨू߹Λ Ut = X \ (Ht ∪ Lt ) ͱ͢Δ.

3.2. ֫ಘؔ਺͜͜Ͱ͸, ࣍ʹධՁ͢΂͖ೖྗ఺Λܾఆ͢ΔͨΊͷ֫ಘؔ਺Λ༩͑Δ. զʑ͸, ઌߦ‫Ͱڀݚ‬ఏҊ͞Εͨ MILE ֫ಘؔ਺ʹ‫ج‬ͮ֫͘ಘؔ਺ΛఏҊ͢Δ. MILE ͷߟ͑ํ͸, ৽ͨͳ఺͕ՃΘͬͨͱ͖ͷ෼ྨ਺ͱ‫ࡏݱ‬ͷ෼ྨ਺ͷ͕ࠩ, ‫ظ‬଴஋తʹ࠷΋େ͖͘ͳΔ఺Λ࣍ͷධՁ఺ͱ͢Δͱ͍͏ߟ͑ํͰ͋Δ. ຊߘͰ͸, ‫ࢉܭ‬ίετͷ౎߹্, ະ෼ྨू߹಺ͷ఺͕‫ظ‬଴஋తʹͲΕ͚ͩ৽͘͠ H ΁෼ྨ͞ΕΔ͔ͱ͍͏‫ج‬४ʹ‫͍֫ͨͮج‬ಘؔ਺ΛఏҊ͢Δ.
఺ x∗ , w ∗ Λ৽ͨͳೖྗ఺ͱ͠, y ∗ = f (x∗ , w ∗ ) + ε ͕ಘΒΕͨͱ͢Δ. ૊ (x∗ , w ∗ , y ∗ ) ͕௥Ճ͞Εͨͱ͖ͷ, η = 0 ͱ͠(F )ͨ৔߹ͷ F (x) ͷ৴༻۠ؒͷԼ୺Λ lt(x; 0|x∗ , w∗ , y ∗ ) ͱॻ͘. ͜ͷͱ͖, ҎԼͷ֫ಘؔ਺ at (x∗ , w∗ ) Λߟ͑Δ:

at (x∗ , w∗ ) =

!

(F )

Ey∗ [1l[lt(x; 0|x∗ , w∗ , y ∗ ) > α]].

(3.2)

x∈Ut

͜͜Ͱ, ઌߦ‫Ͱڀݚ‬͸, ΦϦδφϧͷ MILE ֫ಘؔ਺ʹ෼ࢄ߲Λ௥Ճͨ͠ RMILE ͱ‫ݺ‬͹ΕΔ֫ಘؔ਺ΛఏҊ͍ͯ͠Δ. ͜ΕʹΑΓ, ΦϦδφϧͷ MILE ͷੑೳΛվળͰ͖Δ͜ͱΛ͍ࣔͯ͠Δ. ಉ༷ͷߟ͑ํΛ༻͍ͯ, ຊઃఆʹ͓͍ͯ΋, मਖ਼֫ಘؔ਺ΛఏҊ͢Δ:

Definition 3.1 (ఏҊ֫ಘؔ਺ 1). at (x∗ , w∗ ) Λ (3.2) Ͱ༩͑ΒΕΔ΋ͷͱ͠, γ Λਖ਼ͷύϥϝʔλͱ͢Δ. ͜ͷͱ͖, ఏҊ
(1)

(1)

֫ಘؔ਺ at (x∗ , w ∗ ) ΛҎԼͰఆΊ, ࣍ͷධՁ఺Λ (xt+1 , wt+1 ) = argmax(x∗ ,w∗ )∈X ×Ω at (x∗ , w ∗ ) ʹΑΓܾఆ͢Δ:(1)

at ((x∗ , w∗ )) = max{at (x∗ , w∗ ), γσt (x∗ , w∗ )}.
͜͜Ͱ, ఏҊ֫ಘؔ਺͸෼ࢄ߲ γσt (x∗ , w ∗ ) Λ৽ͨʹ௥Ճ͍ͯ͠Δ͕, ୅ΘΓʹ, RMILE Λ௥Ճ͢Δ͜ͱ΋Ͱ͖Δ. ࣮ࡍ,ϓϥΫςΟΧϧͳੑೳͱͯ͠͸ͪ͜Βͷ΄͏͕༏Ε͍ͯΔ:

Definition 3.2 (ఏҊ֫ಘؔ਺ 2). at (x∗ , w∗ ) Λ (3.2) Ͱ༩͑ΒΕΔ΋ͷͱ͠, γ Λਖ਼ͷύϥϝʔλͱ͢Δ. ͜ͷͱ͖, ఏҊ
(2)

(2)

֫ಘؔ਺ at (x∗ , w ∗ ) ΛҎԼͰఆΊ, ࣍ͷධՁ఺Λ (xt+1 , wt+1 ) = argmax(x∗ ,w∗ )∈X ×Ω at (x∗ , w ∗ ) ʹΑΓܾఆ͢Δ:(2)

at ((x∗ , w∗ )) = max{at (x∗ , w∗ ), γRMILEt (x∗ , w∗ )}.
ຊ‫͚͓ʹڀݚ‬Δ, ͍͔ͭ͘ͷཧ࿦݁Ռ͓Αͼ਺஋࣮‫ݧ‬ͷ݁Ռʹ͍ͭͯ͸౰೔ใࠂ͢Δ.
ँࣙຊ‫ڀݚ‬ͷҰ෦͸ɼՊֶ‫ڀݚ‬අ (20H00601, 16H06538), JST CREST (JPMJCR1502), ཧԽֶ‫৽ֵॴڀݚ‬஌ೳ౷߹‫ڀݚ‬ηϯλʔͷิॿΛड͚ͯߦΘΕͨɽ

2

分散を伝播させる BNN を用いた

不確実性計算の高速化とその応用

前 佑樹 (株式会社デンソー)

熊谷 亘 (東京大学/理研 AIP)

金森 敬文 (東京工業大学/理研 AIP)

1 はじめに環境認識やパスプランニングといった機能コンポーネントの実現に Neural Network (NN) のような予測モ

デルが使われるようになり，それらコンポーネントを搭載した運転自動化システムの開発が進められている．
運転自動化システムでは，故障に対する安全性に加えて，正常機能そのものの安全性にも対応することが求められる．Safety-critical な車載電子システムにおいては，故障に対する安全性として国際規格である機能安全への対応が従来から求められている．運転自動化システムにおいては，それに加えて，正常機能の性能限界に対する安全性を扱う Safety Of The Intended Functionality (SOTIF) への対応も求められ始めている．

システムレベルでの安全性の達成のため，コンポーネントレベルでは，予測モデルの不確実性を定量化できるベイズ理論や Bayesian Neural Network (BNN) への関心が高まっている．高信頼な運転自動化システムの実現には，テストデータにおいて高い性能を達成するだけでなく，予測分布のような形で不確実性を定量化することも重要である．不確実性を定量化できれば，現実世界で稀にしか起こらないサンプルに対して予測が揺らいでいるかが分かるため，例えば棄却オプションを使って運転手の介入を促すフェイルセーフなシステムを実現できる．また，不確実性の高いサンプルを抽出して性能改善に利用する能動学習も可能となる．

不確実性を容易に定量化できる近似方法として Monte Carlo Dropout (MC-Dropout) [1] が知られているが，リアルタイム性も必要なシステムにとってその方法は計算時間が掛かりすぎる．MC-Dropout は，dropout 層を用いて複数の NN をサンプリングしてそれぞれで順伝播 (フィードフォワード) することで予測分布を得る方法である．MC-Dropout の利用で不確実性を容易に定量化できるが，限られた計算資源下でリアルタイム性も求められる運転自動化システムにとって，複数回のフィードフォワードは計算負荷が大きい．

2 手法の概要

NN 各層の入出力を確率変数と見なしてそれら確率変数の期待値と分散を伝播することで，サンプリングせずに一回のフィードフォワードで予測分布を計算できるようになる [2, 3, 4]．特に，affine 層では独立性を仮定
せず，活性化層ではガウス近似で期待値と分散を計算する Variance Propagation Bayesian Neural Network(VPBNN) について，代表的な層における計算を表 1 に示す [4]．NN の各層を期待値と分散を計算する層に置き換えてフィードフォワードすることで，MC-Dropout よりも高速に予測分布が得られるようになる．

表 1 に示した代表的な層の計算を応用したり組み合わせたりすることで，Convolutional Neural Network(CNN) や Recurrent Neural Network (RNN) でも一回のフィードフォワードで予測分布が得られるよう
1

表1層の入出力をそれぞれ x, y としたときの NN および VPBNN における代表的な層での計算．ρ は自信過剰を防ぐために設けた超パラメータであり，バリデーションセットを利用して適切な値に設定できる．

NN での計算

Layer!

Affineyi =j Wij xj + bi

Dropouty = dx, d ∼ Bern(p)ReLUy = max(0, x)

Sigmoidy = s(x)Tanhy = 2s(2x) − 1

VPBNN での計算!
E[yi ] = j Wij E[xj ] + bi
"!
$2
#
!
Var[yi ] ≤ (1 − ρ) j Wij2 Var[xj ] + ρ
|W
|
Var[x
]
ij
j
j
E[y] = pE[x]Var[y] = pVar[x] + p(1 − p)E[x]2##
E[y] ≈ E[x]Φ(r) + Var[x]φ(r), r = E[x]/ Var[x]#Var[y] ≈ (E[x]2 + Var[x])Φ(r) + E[x] Var[x]φ(r) − E[y]2%&
E[x]E[y] ≈ s √1+0.125πVar[x]%&1
Var[y] ≈ E[y](1 − E[y]) 1 − √1+0.125πVar[x]
%
&
2E[x]
√
E[y] ≈ 2s−1
1+0.5πVar[x]%&1√
Var[y] ≈ (1 + E[y])(1 − E[y]) 1 −1+0.5πVar[x]になる．CNN で使われる畳み込み層や平均プーリング層は affine 層を特化させた層であるため，VPBNN

は CNN にも適用できる．同様に，RNN の一種である Long Short-Term Memory (LSTM) は，affine 層，

sigmoid 層，tanh 層を組み合わせた層と見なせるため，VPBNN は RNN にも適用できる．

3 数値実験

VPBNN の適用により，LSTM を用いた言語モデリングにおいてキャリブレーション効果が得られること，

CNN を用いた Out-of-Distribution 検出において分布外サンプルをより区別できるようになること，不確実性の高いサンプルから選ぶことでラベル付きデータの数を減らせることを確認した．

参考文献[1] Yarin Gal and Zoubin Ghahramani. Dropout as a Bayesian Approximation: Representing Model
Uncertainty in Deep Learning. In Proceedings of The 33rd International Conference on Machine
Learning, 2016.
[2] Janis Postels, Francesco Ferroni, Huseyin Coskun, Nassir Navab, and Federico Tombari. SamplingFree Epistemic Uncertainty Estimation Using Approximated Variance Propagation. In The IEEE
International Conference on Computer Vision (ICCV), 2019.
[3] Alexander Shekhovtsov and Boris Flach. Feed-forward propagation in probabilistic neural networks
with categorical and Max layers. In 7th International Conference on Learning Representations, 2019.
[4] Yuki Mae, Wataru Kumagai, and Takafumi Kanamori. Bayesian Neural Networks with Variance
Propagation for Uncertainty Evaluation. submitted.
2

科研費シンポジウム 機械学習・統計学・最適化の数理と AI 技術への展開

2020 年 12 月 18-19 日 報告書

パレートフロンティアの情報量に基づく多目的ベイズ最適化
烏山 昌幸，名古屋工業大学
概要

複数の目的関数の同時最適化を考える多目的最適化は様々な産業や工業，あるいは科学的な探索問題に頻繁に現れる．ここでは，目的関数自体が未知の状況での多目的最適化を考え，ベイズ最適化に基づいてパレート最適点を探索する問題を考える．特に，単一関数のベイズ最適化で高い探索効率を達成することが知られている情報量に基づくアプローチに着目する．多目的最適化においては，探索の目標がより複雑なため，情報量に基づくアプ
ローチは非常に複雑な近似計算が必要となる方法か，目的関数間のトレードオフを無視するナイーブな方法が知られるのみであった．本発表では，パレート最適点が作る目的関数
値の集合であるパレートフロンティアの情報量を考えることで，目的関数間のトレードオ
フを考慮しつつ，かつ比較的に簡単に評価ができる指標が定義でき，効率の良い探索が可能であることを紹介する．
多目的最適化は多岐に渡る分野の実践的な探索問題に現れる．例えば材料開発では，リチウムイオン電池材料の伝導性と安定性の同時最適化など，複数のパフォーマンスを最適化する新奇材料の発見が望まれている．あるいは，近年発達が目覚ましい深層学習ベースの知能システムのチューニングでは，予測精度とネットワークの計算効率のトレードオフの最適化が発生する．このような問題は一般に，L 個の未知関数 f 1 (x), . . . , f L (x) を同時に最適化する問題として捉えることができる．多目的最適化では通常，各目的関数間にはトレードオフがあり単一の最適化点 x は存在しない．そこで，多くの場合はパレート最適と呼ばれる性質を満たす x の集合の探索を考える．大まかには，パレート最適な x は，目的関数値のベクトル f x := (f 1 (x), . . . , f L (x)) を全ての目的関数値について同時に改善する他の x が存在しないような状態として特徴付けられる．また，ここではパレート最適な x の集合が作る f x の集合をパレートフロンティア F ∗ とする．

本発表では，パレートフロンティア F ∗ に関する情報量 (entropy) を考えることで，効率的に探索点を決定する方法として Pareto-frontier entropy search (PFES) [1] を紹介する．情報量に基づいて，多目的ベイズ最適化を考える先行研究の主なものには [2] と [3] がある．[2] では，パレート最適な x の集合に対する情報量を考えたが，これには非常に複雑な近似計算が必要であり，実装も煩雑なうえ，求めたものが近似前の指標とどの程度乖離するのかも明らかではない．一方で，[3] はそれぞれの目的関数の単一関数としての最適な値の情報量を考える指標を提案したが，これは多目的最適化におけるトレードオフ関
係を完全に無視する指標である．PFES においては，情報量ベースの方法が共通で採用する簡単化とサンプリング近似は採用するが，それ以外はほぼ解析的に計算可能な指標に帰着できる．これは，パレートフロンティア F ∗ が定義する目的関数値の空間を適切に分割することで，情報量を比較的簡単に評価できるサブブロックに分けることができるために達成される．また，目的関数間のトレードオフも考慮されることになり，上記の先行研究の難点を回避することができる．

また，本発表では，目的関数未知の多目的最適化における「decoupled setting」についても紹介し，PFES がこの設定をうまく扱うことができることも述べる．通常，目的関数の観測を得るときは f x の全ての次元が同時に観測されることを暗に想定するが，この設定では個々の次元 f l (x) が個別に観測できる場合を考える．知る限りこの設定に着目しているのは [2] と PFES[1] だけであるが，実践上非常に重要な可能性を持つ設定と考えられる．例えば，電池材料の安定性と伝導性の最適化の事例を考える．それぞれの性質をシ
ミュレーション計算（量子力学計算など）で得られる場合を考えると，安定性と伝導性は別々のシミュレーション計算で評価される．観測はやはり高コストなため，毎回必ず両方の観測を得るのは必ずしも効率的とは言えない可能性がある．また，それぞれの観測にかかるコストが異なることもある（例えば，伝導度の評価の方が安定性の評価よりも評価コ
ストは高い）．PFES は同時観測の場合の良い性質を decoupled setting でも引き継ぎ，自然な情報量が定義できること示す．
最後に，同時観測と個別観測それぞれの設定について，いくつかのベンチマーク関数での評価を紹介する．また，情報量のアプローチは汎用性が高く，多目的最適化以外の設定にも適用可能であり，その他，複数の fidelity が存在する最適化問題への適用事例 [4] についても時間の許す範囲で簡単に言及し，さらなる発展の可能性を議論する．

[1] S. Suzuki, S. Takeno, T. Tamura, K. Shitara, and M. Karasuyama, “Multi-objective
Bayesian optimization using Pareto-frontier entropy,” in Proceedings of the 37th International Conference on Machine Learning, H. D. III and A. Singh, Eds., vol. 119.
PMLR, 2020, pp. 9279–9288.
[2] D. Hernandez-Lobato, J. Hernandez-Lobato, A. Shah, and R. Adams, “Predictive
entropy search for multi-objective Bayesian optimization,” in Proceedings of The
33rd International Conference on Machine Learning, vol. 48.
1492–1501.

PMLR, 2016, pp.

[3] S. Belakaria, A. Deshwal, and J. R. Doppa, “Max-value entropy search for multiobjective bayesian optimization,” in Advances in Neural Information Processing Systems 32. Curran Associates, Inc., 2019, pp. 7823–7833.
[4] S. Takeno, H. Fukuoka, Y. Tsukada, T. Koyama, M. Shiga, I. Takeuchi, and
M. Karasuyama, “Multi-fidelity Bayesian optimization with max-value entropy
search and its parallelization,” in Proceedings of the 37th International Conference
on Machine Learning, H. D. III and A. Singh, Eds., vol. 119.
9334–9345.

PMLR, 2020, pp.

確定的な動きを利用したマルコフ連鎖モンテカルロ法の紹介
鎌谷 研吾 (ISM，CREST JST)
本発表は２つの部分で構成される．ひとつは，マルコフ連鎖モンテカルロ法に確定的動きを導入する試みの紹介である．Metropolis et al., 1953 により提案された初めてのマルコフ連鎖
モンテカルロ法であるランダムウォーク・メトロポリス (Random-walk Metropolis) 法は，ランダムウォークによる提案を補正することで任意の確率分布を近似する手法である．ランダムウォークは近似したい確率分布に対して情報を持たない，無̇知̇な提案である．無知な提案に含まれるチューニングパラメータをオンライン学習することで，間̇接̇的̇に̇より良い収束を実現する方法を適合的マルコフ連鎖モンテカルロ (Adaptive Markov chain Monte Carlo) 法という．
適合性を認めることでマルコフ性を失い，解析が極めて煩雑になるが，うまく調整ができれば効果は大きい．

いっぽうで，確率分布の密度関数の勾配を利用して，提案に直̇接̇的̇に̇知識を持たせる方法

が Rossky et al., 1978; Duane et al., 1987 によって提案された．こうした手法はハミルトニ
アン・モンテカルロ法と呼ばれ，現在でもよく使われている．様々なチューニングパラメー
タの精密な調整が不可欠である．これらの手法はすべて，メトロポリス・ヘイスティングス(Metropolis–Hastings) 法の一種である．

近年，確率的であるはずのメトロポリス・ヘイスティングス法の提案を，確率的な部分と確定的な部分に明確に分けることで，チューニングパラメータの調整に機械学習の手法をより適用しやすくする試みが Song et al., 2018 などで行われた．それを紹介するにはまず，通常のメトロポ
リス・ヘイスティングス法を説明する必要がある．

状態空間 (E, E) 上のマルコフカーネル P (x, A) とは x ∈ E を止めるごとに P (x, ·) が (E, E)

上の確率分布になり，A ∈ E を止めるごとに x "→ P (x, A) が E-可測になるものである．メトロ
ポリス・ヘイスティングス (Metropolis–Hastings) 法は，与えられた確率分布 Π にたいし，

Π(dx)P (x, dy) = Π(dy)P (y, dx)となるマルコフカーネル P を構成する手法である．上の式を満たすとき，P は Π-対照であるという．もし，マルコフカーネル Q が，ある測度 µ（確率測度ではなくてよい）に対して µ-対照で，Π(dx) = π(x)µ(dx) と書けるなら，

"

!

π(y)
P (x, A) =Q(x, dy) min 1,
π(x)
A

#

+ R(x)δx (A)とすると，P は Π-対称になる．ここで δx (A) は A が x を含むなら 1 を，そうでないなら 0 を返す関数である．また，R(x) は P (x, ·) をマルコフカーネルにするための調整部分であり，ここ
では

"

!

π(y)
R(x) = 1 −Q(x, dy) min 1,
π(x)
E

#

と書き下せるが，以下では明示しない．マルコフカーネル Q が µ-対称ではなく，µ(dx)Q(x, dy)J(x, y) = µ(dy)Q(y, dx)1なる非負の調整項 J(x, y) が必要なときは，#π(y)P (x, A) =Q(x, dy) min 1,
J(x, y) + R(x)δx (A)π(x)
Aとすると Π-対称性を持つ．

!

"

確定的関数 ψ : E → E によって Q(x, A) = δψ(x) (A) と書けるときも，もし ψ が µ-保測写像，

すなわちµ(ψ −1 A) = ψ(A)となり，さらに ψ(ψ(x)) = x を満たすなら，

#
"
π(y)
P (x, A) = δψ(x) (A) min 1,+ R(x)π(x)とすることで Π-対称性をもつマルコフカーネルが構成できる．µ-保測写像でないときも，調整項をつけることで同様の構成が可能だ．発表では，Song et al., 2018 らによる，Generative

Adversarial Networks を使った ψ(x) の紹介をする．

本 発 表 の も う 一 つ は ，確 定 的 動 き と ジ ャ ン プ で 構 成 さ れ る ，逐 次 確 定 的 マ ル コ フ 過 程(Piecewise-deterministic Markov Processes) を使ったモンテカルロ法の紹介である．
有限回のジャンプ以外は，確定的な遷移を行う．近年，跳躍粒子サンプリング法 (Peters andWith, 2012) や ジグザグサンプリング法 (Bierkens et al., 2019) を始めとして，確定的マルコフ過程を使ったモンテカルロ法が注目されている．データを分割して計算負荷を分散して処理することが可能であることが特徴である．本発表ではそれらの近年の研究成果を発表する．

Bierkens, J., P. Fearnhead, and G. O. Roberts (2019). “The Zig-Zag process and superefficient sampling for Bayesian analysis of big data”. In: The Annals of Statistics 47.3,
pp. 1288–1320. issn: 0090-5364. doi: 10.1214/18-aos1715.
Duane, S., A. Kennedy, B. J. Pendleton, and D. Roweth (1987). “Hybrid Monte Carlo”. In:
Physics Letters B 195.2, pp. 216–222. issn: 0370-2693.
Metropolis, N., A. W. Rosenbluth, M. N. Rosenbluth, A. H. Teller, and E. Teller (1953).
“Equation of State Calculations by Fast Computing Machines”. In: The Journal of Chemical Physics 21.6, pp. 1087–1092. issn: 1089-7690. doi: 10.1063/1.1699114.
Peters, E. A. J. F. and G. de With (2012). “Rejection-free Monte Carlo sampling for generalpotentials”. In: Physical Review E 85.2. doi: 10.1103/PhysRevE.85.026703.
Rossky, P. J., J. D. Doll, and H. L. Friedman (Nov. 1978). “Brownian dynamics as smart
Monte Carlo simulation”. In: The Journal of Chemical Physics 69.10, pp. 4628–4633. issn:1089-7690. doi: 10.1063/1.436415. url: http://dx.doi.org/10.1063/1.436415.
Song, J., S. Zhao, and S. Ermon (2018). “A-NICE-MC: Adversarial Training for MCMC”.
In: ArXiv. arXiv: 1706.07561 [stat.ML].
鎌谷 研吾 (Kamatani, Kengo)
190-8562 東京都立川市緑町 10-3 統計数理研究所

E-mail address: kamatani@ism.ac.jp2ֶशΛఆΊΔෆมྔʮ࣮ର਺ᮢ஋ʯͷఆٛͱੑ࣭
౉ล੅෉ʢ౦‫ۀ޻ژ‬େֶʣɹɹॳΊʹ͜ͷͱ͖ V (0) = 0 Ͱ͋Δ͕ɺ౷‫ֶܭ‬΍ଟ͘ͷ෼໺ʹ͓͍ͯ t → +0 ͷͱ͖ͷ V (t) → +0 ͷ࣮ର਺ᮢ஋͸୅਺‫ز‬ԿֶͰେ੾ͳ໾ׂΛՌͨ ૣ͞Λௐ΂ͨ͘ͳΔͱ͖͕͋ΔɻͦΕ͸࣮ର਺͢ෆมྔͰ͋ͬͯɺϕΠζֶशͷ઴ۙ‫ڍ‬ಈΛఆ ᮢ஋ʹΑΓ͋Δఆ਺ c > 0 ͕ଘࡏͯ͠
Ί͍ͯΔɻຊ࿦Ͱ͸ɺͦͷఆٛΛड़΂ɺ਺ֶతV (t) = c tλ (− log t)m−1 + খ͍͞Φʔμʔͳੑ࣭Λ঺հ͢Δɻ

12

Ͱ͋Δ͜ͱ͕Θ͔Δɻ͢ͳΘͪɺ࣮ର਺Ҭ஋ λ͸ղੳؔ਺ f (x) ͷྵ఺ͷۙ๣ͷମੵ࣍‫ݩ‬ͷΑ͏ͳྔͰ͋Δɻఆٛd Λ̍Ҏ্ͷ੔਺ͱ͢ΔɻRd ͔Β R ΁ͷඇෛͷղੳؔ਺ f (x) ͕༩͑Β͑ͨͱ͖ɺf (x) ͷྵ఺Λ‫ؚ‬Ή༗քͳ։ू߹ U ʹ͍ͭͯθʔλؔ਺Λ!
ζ(z) =
f (x)z dx (z ∈ C)

஫ҙ. ΋͠΋ f (x) ͷྵ఺͕̍఺Ͱ͋Γɺྵ఺ʹ͓͚Δϔοηߦྻ͕Մ‫ͳٯ‬Β͹ɺλ = d/2, m = 1
Ͱ͋Δɻ΋͠΋ f (x) = 0 ͕ಛҟ఺Λ࣋ͨͳ͍k ࣍‫ݩ‬ଟ༷ମͰ͋Ε͹ λ = (d − k)/2, m = 1 Ͱ͋ΔɻUͱఆٛ͢Δͱɺζ(z) ͸ Re(z) > 0 Ͱਖ਼ଇؔ਺
Ͱ͋Γɺෳૉฏ໘શମʹ༗ཧ‫ͯ͠ͱ਺ؔܕ‬Ұҙʹղੳ઀ଓ͢Δ͜ͱ͕Ͱ͖Δɻ·ͨɺͦͷ‫ۃ‬͸͢΂ͯෛͷ༗ཧ਺Ͱ͋Δɻ࠷΋‫ۃ͍ۙʹ఺ݪ‬Λ(−λ) ͱ͠ɺͦͷҐ਺Λ m ͱ͢Δͱ͖ɺλ > 0Λ࣮ର਺ᮢ஋ͱ‫ͼݺ‬ɺm Λଟॏ౓ͱ‫Ϳݺ‬ɻ஫ҙ. f (x) = 0 ͕ಛҟ఺Λ࣋ͭͱ͖ɺλ ͱ m͸ಛҟ఺ͷ‫ز‬Կֶతͳੑ࣭ʹΑΓఆ·Δɻؔ਺f (x) ͕࠲ඪม‫ʹ׵‬ΑΓม਺ຖͷੵͰද͞ΕΔͱ
͖ਖ਼‫ݺͱࠩަن‬͹ΕΔ͕ɺਖ਼‫͋Ͱࠩަن‬Δͱ͖
ʹ͸࣮ର਺ᮢ஋͸༰қʹ‫͖Ͱࢉܭ‬Δɻ೚ҙͷղੳؔ਺͸ಛҟ఺ղফࣸ૾ʹΑͬͯਖ਼‫ʹࠩަن‬ม஫ҙ. ্‫ه‬ͷఆٛͰ λ ͱ m ͸༗քͳ։ू߹ U ‫͖Ͱ׵‬ΔͷͰɺ͜ͷ͜ͱΛ༻͍࣮ͯର਺ᮢ஋ΛʹҰൠʹ͸ґଘ͢Δɻґଘ͢Δ΋ͷͱͯ͠ఆΊ ‫ٻ‬ΊΔ͜ͱ͕Ͱ͖Δɻͨ΄͏͕Ԡ༻্͸ศརͰ͋Δɻґଘ͠ͳ͍Α͏ʹఆΊ͍ͨ৔߹ʹ͸ U ʹؔͯ͠ inf ΛऔΔɻ4ֶशཧ࿦΁ͷԠ༻஫ҙ. ೚ҙͷղੳؔ਺ x = g(y) ͱͦͷϠίʔϏ਺ֶతͳಋग़͸ଞॻ [1] ʹ͋ΔͷͰɺ͜͜Ͱ͸ߦྻࣜ |g ! (y)| Λ༻͍࣮ͯର਺ᮢ஋͕݁Ռͱͯ͠Ͳ͜ʹ‫ݱ‬ΕΔ͔Λ঺հ!
͢Δɻਆ‫ܦ‬ճ࿏໢΍ࠞ߹ਖ਼‫ن‬෼෍ͷΑ͏ʹ֊૚త
ζ(z) =f (g(y))z |g ! (y)|dyg −1 (U )ͳߏ଄Λ࣋ͭϞσϧΛ෼ੳ͢ΔࡍʹඞཁʹͳΔɻ
͕੒Γཱͭ͜ͱ͔Βɺ࣮ର਺ᮢ஋͸૒༗ཧෆม
(1) ϕΠζ౷‫͍͓ͯʹܭ‬σʔλΛൃੜͨ͠෼෍
ྔ Ͱ͋Δ͜ͱ͕Θ͔Δɻ
ͱ༧ଌ෼෍ͷΧϧόοΫɾϥΠϒϥ৘ใྔͷฏ‫ۉ‬஋͸ฏ‫ۉ‬൚Խ‫ݺͱࠩޡ‬͹Ε͍ͯΔɻσʔλͷ਺Λ n ͱ͢Δͱ͖ฏ‫ۉ‬൚Խ‫ࠩޡ‬͸ λ/n Ͱ͋Δɻ

3

‫ز‬Կֶతͳҙຯ(2) ର਺पล໬౓ͷූ߸൓సΛ઴ۙۙࣅ͢Δt ≥ 0 ͱ͢ΔɻV (t) Λ༗քͳ։ू߹ U ʹ‫Ͱͱ͜ ·ؚ‬ಘΒΕΔ৘ใྔ‫ن‬४ BIC ͸ɺର਺໬౓ؔ
ΕΔू߹ f (x) ≤ t ͷମੵͱ͢Δɻ͢ͳΘͪ
਺͕ 2 ࣍ؔ਺ͰۙࣅͰ͖ͳ͍ͱ͖ʹ͸ਖ਼͘͠ͳ
͍ɻBIC ʹ͓͚Δʢύϥϝʔλ਺/2) Λ λ ʹஔV (t) = ू߹ {x ∈ U ; f (x) ≤ t} ͷମੵ͖‫ͨ͑׵‬΋ͷ͕ਖ਼͍͠΋ͷͰ͋Δɻ
1

(3) ৘ใྔ‫ن‬४ AIC ͷิਖ਼߲ʹ͓͚Δύϥϝʔ ͯਪଌΛߦ͏໰୊Λߟ͑Δɻθʔλؔ਺͸ϑϩλͷ‫਺ݸ‬͸Ұൠʹ͸࣮ର਺ᮢ஋Ͱ͸ͳ͘ɺର਺ ΂χ΢εϊϧϜ ' ' Λ༻͍ͯ!
໬౓ͷ༳Β͗Λද͢ྔಛҟ༳Β͗Ͱ͋Δɻಛҟζ(z)=||AB − A0 B0 ||2z dAdB༳Β͗͸࣮ର਺ᮢ஋ͱ͸ҟͳΔ૒༗ཧෆมྔͰ
U
͋Δ͕ɺ࣮ର਺ᮢ஋ͷ਺ཧʹ‫͍ͯͮج‬ఆٛ͢Δ
Ͱ͋Δɻ͜ͷθʔλؔ਺͔Βఆ·Δ࣮ର਺ᮢ஋
͜ͱ͕Ͱ͖Δɻ͸ [2, 3] Ͱಋग़͞Ε͍ͯΔɻ(4) ֶशཧ࿦ʹ‫ݱ‬ΕΔ࣮ର਺ᮢ஋΍ಛҟ༳Β͗͸ɺσʔλΛൃੜͨ͠෼෍ͱֶशϞσϧͷ྆ํʹґଘ͢Δ͕ɺͲͪΒ΋σʔλ͚͔ͩΒਪఆ͢
Δ͜ͱ͕ՄೳͰ͋Γɺ৘ใྔ‫ن‬४ WAIC, WBIC
͕ಋग़͞Ε͍ͯΔɻ

5

۩ମతͳྫ

5.1

ಛҟ఺ۙ๣ͷ໘ੵղੳؔ਺ f (x, y) = (x2 − y 3 )2 ͷͱ͖ͷಛҟ఺ͷۙ๣Λඳ͍ͨ΋ͷ͕ਤ 1 Ͱ͋Δɻ
ਤ 2: ౷‫ܭ‬తߦྻ෼ղʹ͓͚Δ൚Խ‫࣮ͱࠩޡ‬ର਺ᮢ஋͔Β‫͞ࢉܭ‬ΕΔཧ࿦஋ λ/n ͷൺֱɻಠཱͳߦྻͷ‫ ͕਺ݸ‬n = 100 Ͱ A B ͕ 10 ʷ H
H ʷ 10 ͷ৔߹Λ࣮‫ͨ͠ݧ‬ɻ઴ۙྖҬͱ͸ߟ͑ΒΕͳ͍͕ɺ࣮‫ݧ‬஋ͱཧ࿦஋͸Α͘Ұக͍ͯ͠Δɻ

6

݁࿦૒༗ཧෆมྔͰ͋Δ࣮ର਺ᮢ஋ͷఆٛͱੑ࣭Λड़΂ͨɻਤ 1: f (x, y) = (x2 − y 3 )2 ͱͯ͠ɺ f (x, y) = 0
ͱ f (x, y) = 0.0001 ͷ‫ۂ‬ઢΛඳ͍ͨ΋ͷɻ୅਺‫ۂ‬ઢ f (x, y) = 0 ͸ 2 ࣍‫ݩ‬తͳू߹Ͱ͋Δ͕‫఺ݪ‬͸ಛҟ఺Ͱ͋Δɻಛҟ఺ͷۙ๣Ͱ͸ f (x, y) ≈ 0
ͱͳΔू߹͕޿͕͍ͬͯΔ͜ͱ͕Θ͔Δɻಛҟ఺ۙ๣ͷମੵ͸࣮ର਺ᮢ஋ʹΑͬͯఆ·Δɻ͜ͷྫͰ͸࣮ର਺ᮢ஋͸ 5/12 Ͱ͋Δɻ

5.2

ࢀߟจ‫ݙ‬[1] S.Watanabe. Mathematical theory of Bayesianstatistics. CRC Press, 2018.
[2] M.Aoyagi. Stochastic complexities of reduced
rank regression in Bayesian estimation. Neural
Networks. Vol.18, pp.923-933, 2005.
[3] N.Hayashi. The exact asymptotic form ofBayesian generalization error in Latent Dirichlet Allocation. arxiv.org/pdf/2008.01304.pdf.
2020.

౷‫ܭ‬తߦྻ෼ղͷྫ

͋Δߦྻ A0 B0 ʹਖ਼‫ࡶن‬Ի͕ՃΘͬͯ n ‫ݸ‬ͷಠཱͳσʔλߦྻ͕ಘΒΕͨͱ͖ɺ AB Λ༻͍

2

科学研究費研究集会報告書
深層学習の統計神経⼒学と情報幾何
⽢利俊⼀ 東京⼤学名誉教授・理化学研究所栄誉研究員
本報告では以下の発表を⾏った。深層学習は巨⼤化して素晴らしい能⼒を誇っている。しかし、これまでは種々の⼯夫と試⾏錯誤を重ね、コンピュータの驚くべき性能に依拠して素晴らしい成果を発揮してきたにすぎない。近年、その仕組みと性能を保証する理論が後付けとは⾔え出始めている。パラメータ数 P が⼗分⼤きい時は、⾮線形コスト関数の局所解はすべて⼤域解のレベルまで下がるという理論や、汎化誤差に関してパラメータ数をデータ
観測数に対してさらに⼤きく増やしていくと汎化誤差が再び減少に転ずるという、ダブル
ディセントがそれである。
近年、神経接核理論が現れ、理論が⼤きく進んだ。これは、P が⼗分に⼤きいときには、ランダムに選んだ初期値のごく近傍に最適解があること、したがって深層学習は関数空間で扱えば線形近似できるという、驚くべき内容を含んでいた。しかし理論は難解で、その本質を理解するには新しい視点が必要である。⾼次元幾何学がこれを与える。これが本報告の趣旨である。
初めに深層学習のモデルを regression の場合に提⽰する。この場合、⼊出⼒関係はパラメータθで規定される確率分布で表される。パラメータの空間は Fisher 情報⾏列をリーマン計量とする多様体をなす。例題を基とする学習は、オンラインでは、確率勾配降下法で記述される。しかし、真の再急降下⽅向は、Fisher 情報を⽤いた⾃然勾配法であるから、Fisher
計量が重要な役を果たす。
パラメータθは、それが指定する出⼒関数 f(x,θ)に対応するから、関数の空間を考えれば、パラメータの空間は関数の空間に写像される。学習はパラメータの空間で⾏われるから、これは⾃然に関数の空間の学習に移せる。しかし、深層学習で実現できる関数、すなわちパラメータ空間の関数空間への写像の像は多様体をなさず、複雑な形状をしている。すなわち、⼆つのパラメータθとθʻとが同じ関数を表す同値関係が現れ、パラメータ空間をこの同値類で割ったものが、関数空間に表れる。通常のパラメータ学習は、パラメータ空間で起こるが、これを関数の空間で⾒ると関数の学習になる。
神経接核理論は関数の空間で学習を論じ、結合のパラメータをランダムに選べば、どのランダムに選ばれた初期値に対しても、そのごく近傍に例題学習の最適解があることを⽰した。考えてみれば、パラメータが平均 0 で独⽴なガウス分布であればそれは規格化すれば、初期値は半径 1 の球⾯上に⼀様に分布している。そのどの点に対しても、その近傍に正解があるというのであれば、正解は球⾯上のどこにでもあるということになる。これはパラメータ空間の同値関係で球⾯上の多くの点が同値で結ばれているということである。

まず、単純パーセプトロンモデルを⽤い、この意味することを考える。この場合パラメー
タ空間に観測由来の同値類が現れ、これが同値類に対応する零空間を⽣み出し初期パラメータからなるの球⾯を切断する。多次元球⾯上の⼀様分布を、同値類で割られた実効低次元空間に射影すると、原点周りで分散が極めて⼩さいガウス分布に縮退する。この正解の⼀つを、同値類で球⾯に逆射影すれば、それは球⾯のほとんどいたるところに写る。神経接核理論の意味するところである。
これを深層回路に拡張する。深層回路では、Fisher 情報⾏列は最⼤と最⼩の⼤きく異なる固有値を持つから、たとえ線形近似でもこのために収束が遅くなる。ランダム回路の場合に
Fisher 情報⾏列を計算しよう。驚くことに、この場合成分ニューロンごとにブロックに分けると、⾮対⾓ブロックの値が０に収束する。だから、ブロック対⾓⾏列を⽤いて⾃然勾配法を適⽤すれば、⾏列の逆転に要する⼿間は極めて⼤きく減少する。しかし、Fisher 情報⾏列の逆⾏列は、この性質を持たない。
観測数が有限なときには、期待値で定義される Fisher ⾏列でなく、経験分布の期待値で定義する経験 Fisher ⾏列がある。これはランクが縮退しているが、観測数を無限に増やせ
ば真の Fisher ⾏列に収束する。そこで、経験 Fisher 情報⾏列の⼀般逆⾏列を⽤いた経験⾃然勾配法が出てくる。近年、ニューロンごとの対⾓ブロックを⽤いた経験⾃然勾配学習法が良い性能を⽰すことが明らかになった。ここではこの場合は新しい損失関数を定義し、Adam の⼀般化である Super Adam が定義できることを⽰した。
⽂献
S. Amari, Any target function exists in a neighborhood of any sufficiently wide rand network:
A geometric perspective. Neural Computation, 32, 1413-1447, 2020.

CNN ʹΑΔಉมతࣸ૾ͷීวۙࣅఆཧ
‫۽‬୩ ࿱ 1,2 ɼࡾ಺ ‫ݦ‬ٛ 211౦‫ژ‬େֶɼ2 ཧԽֶ‫ॴڀݚ‬

Introduction

Deep neural networks have been widely used as models to approximate underlying functions in various
machine learning tasks. The expressive power of fully-connected deep neural networks was first mathematically guaranteed by the universal approximation theorem in Cybenko (1989), which states that any
continuous function on a compact domain can be approximated with any precision by an appropriate
neural network with sufficient width and depth. Beyond the classical result stated above, several types ofvariants of the universal approximation theorem have also been investigated under different conditions.
Among a wide variety of deep neural networks, convolutional neural networks (CNNs) have achieved
impressive performance for real applications. In particular, almost all of state-of-the-art models for image
recognition are based on CNNs. These successes are closely related to the property that performing
CNNs commute with translation on pixel coordinate. That is, CNNs can conserve symmetry abouttranslation in image data. In general, this kind of property for symmetry is known as the equivariance,
which is a generalization of the invariance. When a data distribution has some symmetry and the task
to be solved relates to the symmetry, data processing is desired to be equivariant on the symmetry.
In recent years, different types of symmetry have been focused per each task, and it has been proventhat CNNs can approximate arbitrary equivariant data processing for specific symmetry. These results
are mathematically captured as the universal approximation for equivariant maps and represent thetheoretical validity of the use of CNNs.
In order to theoretically correctly handle symmetric structures, we have to carefully consider the
structure of data space where data distributions are defined. For example, in image recognition tasks,
image data are often supposed to have symmetry for translation. When each image data is acquired, there
are finite pixels equipped with an image sensor, and an image data is represented by a finite-dimensional
vector in a Euclidean space Rd , where d is the number of pixels. However, we note that the finiteness of
pixels stems from the limit of the image sensor and raw scenes behind image data x are thought to bemodelled by elements x̃ in RS with continuous space coordinates S, where RS is a set of map from S to R.
Then, x̃ is regarded as a functional representation of data x. To appropriately formulate data symmetry,
we treat both typical data representation in finite-dimensional settings and functional representation in
infinite-dimensional settings in a unified manner.

2

Related Works

Functional Representation and Symmetry. Gordon et al. (2019) point out that, although data
symmetry cannot be treated in the set of finite pixels, it can be represented by a group action oncontinuous space coordinates S. Moreover, the authors also show that functional representations x̃
instead of image data x are suitable for analyzing and considering data processing compatible withdata symmetry. As a related study about symmetry-preserving processing, Finzi et al. (2020) propose

group convolution of functional representations and investigate practical computational methods such as
discretization and localization.
Universal approximation of group invariant/equivariant networks. Yarotsky (2018) focusedon the action of compact groups and provided the network’s architectures based on polynomial layers.
He also describes a convnet-like model that is a universal approximator of equivariant transformations
for the group SE(2). Maron et al. (2019) considered a G-invariant model for an arbitrary subrepresentation G of a symmetry group, using an invariant tensor network. Sannai et al. (2019); Ravanbakhsh(2020) considered a G-equivariant model and proved universal approximation property of them by attributing it to the results of Maron et al. (2019). Thereby, they proved universal approximation theoremof invariant/equivariant networks for compact and finite group actions.

3

Our Contributions

Our contributions are summarized as follows. First, we clarify some of the basic properties of equivariant
maps. In particular, we show that equivariant maps’ generators play an essential role in the analysis ofequivariant maps. Second, we formulate neural networks in general settings. Because of this formulation,
we can handle finite- and infinite-dimensional settings in a unified manner. Third, we provide a theorem
that can convert FNNs to CNNs. Using this theorem, we can induce the proofs of universal approximation
theorems for equivariant maps by CNN to those for continuous maps by FNNs. In particular, we obtainthe first universal approximation theorems for equivariant maps in infinite-dimensional settings. Fourth,
we also provide a novel universal approximation theorem for Lipschitz maps by FNNs in an infinitedimensional setting. This result enables us to derive universal approximation theorems for equivariant
maps for non-compact groups while almost all of the existing works could not handle the action of
non-compact groups.

References[1]

G. Cybenko (1989) “Approximation by superpositions of a sigmoidal function,” Mathematics ofcontrol, signals and systems, Vol. 2, pp. 303–314.

[2]

M. Finzi, S. Stanton, P. Izmailov, and A. G. Wilson (2020) “Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data,” arXiv preprint
arXiv:2002.12880.

[3]J. Gordon, W. P. Bruinsma, A. Y. Foong, J. Requeima, Y. Dubois, and R. E. Turner (2019)“Convolutional conditional neural processes,” arXiv preprint arXiv:1910.13556.

[4]

H. Maron, E. Fetaya, N. Segol, and Y. Lipman (2019) “On the Universality of Invariant Networks,”
Proceedings of the 36th International Conference on Machine Learning, Vol. 97.

[5]

S. Ravanbakhsh (2020) “Universal Equivariant Multilayer Perceptrons,”
arXiv:2002.02912.

[6]

A. Sannai, Y. Takai, and M. Cordonnier (2019) “Universal approximations of permutation invariant/equivariant functions by deep neural networks,” arXiv preprint arXiv:1903.01939.

[7]

D. Yarotsky (2018) “Universal approximations of invariant maps by neural networks,” arXiv
preprint arXiv:1804.10306, URL: https://arxiv.org/abs/1804.10306.

arXiv preprint概念は群であるー学習における前方誤り訂正の必要性

得丸久文
1． はじめに：デジタル言語の物理層・論理層三段階進化と生物学的基盤
デジタル言語学は，筆者が最古の現生人類洞窟を訪問して始まった学際研究である．6万6千
年前に喉頭降下が起きて母音の共鳴が生まれる声道を獲得して，論理成分である音素とモーラを備えた音節を使った言語処理と知能のデジタル第一進化がおきた．第二進化は文字の発明，第三進化は電子的ビットの発明であり，「時空を超える音節」，「検索に応答する音節」を獲得した．
言語と知能を司る生物基盤は，大脳皮質ではなく，5億3000万年前のカンブリア爆発のときに脊椎動物とともに生まれて脊髄反射を司る脳室・脳脊髄液中の免疫細胞ネットワークである．
この生物機構をデジタル信号の特性にうまく適応させて，論理層で第一進化として文法処理が実現し，第二進化は概念，第三進化は前方誤り訂正が期待されている．(表1/図1参照)
表1/図1
引き金

知能の三段階デジタル進化© Kumon Tokumaru 2020
場所

時期

音節(音素とモーラ)

無限の語彙、
無意識の文法処理

南アフ
リカ

66千年
前

農耕と王朝
支配

文字(消えない音節)
僧院・大学という低雑音環境

大平原

5千年
前

総力戦と米
ソ軍拡競争

電子化(対話する音節)、きわめて大量だが信頼性の保証がない言語情報

文明(知識の連続的発展)
概念(群として作用する)
PC, インターネット，www, 検索
エンジン、前方誤り訂正(FEC)

アメリ
カ

20世紀
末

1

喉頭降下

2
3

誕生

獲得したもの低雑音環境で生まれた概念の群性と誤り訂正の必要性
大規模複雑データの最大の問題は信頼性の保証がないところにある．ネット上で得られる言語情報は互いに矛盾していて，学際的な統合も行われていないため，そのまま鵜呑みにするととんでもない混沌が生じる．概念は群であるが，そのことが理解されていないうえに，ヒトの真社会性によって歪められて伝えられている．言語のデジタル性を活かして，概念の前方誤り訂正を実施する必要がある．
2.1 概念の誕生と数学的群性
文字が発明され，言語情報が時空を超えて共有され，世代を超えて連続的に発展するようになって文明が生まれ，僧院や修道院など俗世間から隔絶した低雑音環境のなかで概念が生まれた．情報理論では信号対雑音比(S/N)が重要で，雑音(N)が0に漸近するときS/Nは無限大になる．
言葉記号は，脊髄反射の1対1の論理「If A then B」で，言葉と関連する記憶を想起させる．
これに対して概念は，論理が数学的群の1対全の論理に進化し，二次元的広がりを意味とする．そのために例外が意味をもち，概念操作の結果も有意な群となる．概念を学習・使用する際に，群性を確認すれば，概念の誤りや歪を正すことができる．ピアジェは群性体という言葉を用いて，合成性，可逆性，連合性，同一性，同義性の5つの条件を概念に求める．（「知能の心理学」）

2.2 脊髄反射の制約と真社会性由来の重荷
言語処理と知能を脊髄反射回路で処理するために，概念が群であると知らずに，1対1の反射の論理をあてはめる人が多い．脊髄反射回路は，一度刷り込まれると訂正する機構がなく，入力信号の真偽を吟味することもできない．脊髄反射は生命維持のための装置だから，成人して衣食足りて知的好奇心を失う人もいる．デジタル言語を獲得したおかげで知的進化したヒトは，自らを「学ぶサル」と自覚し，死ぬまで真剣に学び続けるのがよい．
また，音素記憶の刷り込みがヒトの真社会性（階級的共同性）に由来することで，共同体の内部秩序が真実・真理に優先し，有無をいわさぬ上意下達の傾向をもたらし，概念を鵜呑みに学習する傾向を生んでいる．さらに，真社会性由来のゼノフォビア（外国人嫌い）が言語の基盤にあるため，敵を攪乱させるためあえて偽概念が広められていると思しき事例がいくつかみられる．
これらが概念を正しく使う上できわめて深刻な障害を生みだしている．
2.3 概念の前方誤り訂正の必要性
前方誤り訂正は，デジタル通信に固有の技術で，受信者が信号相互の論理的整合性をもとに通信回線上で生じた誤りを自力で訂正する．言語情報においては，著者本人が書いたままの真正なデータを確認してから読み始める必要がある．著者生存中に印刷された出版物（著者校正をともなう）は真正とみなせるが，著者没後の出版は確認する必要がある．ほかに第三者による改ざんや隠蔽，ゴーストライター作品や剽窃にも注意する必要がある．
著者の思い違いや限界は，情報源誤りである．論文や科学書は，読者が著者の実験や観察を
仮想現実的に追体験できる規則にもとづいて書かれているので，読者は細部にまで気を配り，丁寧に繰り返し熟読し，著者のしたこと，みたこと，考えたことを吟味する．また，諸分野の科学の発展にも配慮して，著者に最新の科学的知識を提供するくらいの気持ちになって，必要ならば結論を改めるくらいでなければならない．
生命体の自己増殖は，一個の有精卵が次々に細胞分裂して，細胞間のネットワークを構築しつつ複雑化する．「個体発生は系統発生をくり返す」というヘッケルの法則，複雑さを増殖するフラクタルな機構がある．科学概念でも，人類的・系統的進化を個体でもくり返すつもりで，できるだけ簡素で単純な事実からはじめて，徐々に概念の複雑次数を高めていくことがのぞましい．
この前方誤り訂正を学習に取り込めば，はじめのうちは不備のある概念が多く手間取るが，一定期間たてば概念は正され，機械学習にも容易に取り込むことができるようになるだろう．
3．動画：学会・研究会に提出した5分・20分の動画
1

言語処理と知能構築を行う脳室内ニューラルネットワークのモバイル仮説（デジタル言語学）
第30回日本神経回路学会(2020年12月)で発表
https://youtu.be/SIUnCj6z_KQ

2

群論理に基づく概念操作 ～ 言葉記号から概念への進化（デジタル言語学） ～(2020年1月25日、信学会HCS研究会）
https://youtu.be/I4aoGi_j2hk

多項ロジットモデルに基づく公的統計データ及び企業データの統計的マッチング・データ融合
総務省統計データ利活用センター・統計数理研究所 高 部
統計数理研究所

山 下

勲
智 志

1. 統計的マッチングの概要
統計的マッチングは，異なるデー
タをレコード単位で確率的に結合する技術である（図１）．近年，様々なデータが利用可能になっており，これらを統計的マッチングにより結合できれば，新たに調査やデータ収集等を行うことなく，情報量の多い有用なデータを構築することが可能となる(D'Orazio et al.(2006)，Rassler(2002))．

図 1: 統計的マッチングのイメージ（距離関数の例：ウエイト付き絶対値距離）

2. 多項ロジットモデルに基づく統計的マッチング
多項ロジットモデルに基づ
く統計的マッチングの手法は，レコード間の距離を説明変数とする多項ロジットモデルによりマッチングが正しい確率
推定し，データの結合を行う方法である（図２）．提案手法により，距離のウエイトを統計的に推定することが可能となる（高図 2: 多項ロジットモデルに基づく統計的マッチング部・ 山下（ 2018）， Takabe andYamashita (2020)）．距離関数のウエイ
トは最尤法により推定する。

3. データ及び分析方法
提案手法を以下のデータに適用し、企業データの統計的マッチングを行った．
・マッチング元（Recipient）：「帝国データバンク」データ（平成 24 年２月分）
・マッチング先（Donor）：「平成 24 年経済センサス‐活動調査」ミクロデータ（※統計法第 33 条による二次的利用の制度に基づき提供を受けたもの。）
3 地域のレコードを完全照合して統合データを作成し、1/3 を学習用データ，2/3 をテスト用データとしてモデルの推定及びマッチングの精度を評価した（マッチング確率が大きい「上位 X 件」のレコードに正解が入っている割合を使用，「X」は、1～100 の範囲で動かす）．最近隣法(Nearest Neighbor Method)を比較対象として、提案手法の性能を評価した。

多項ロジットモデルは適切に推定されており，提案手法は，従来の方法よりもマッチングの精度の観点から優れた性能を示した．

表 1: 多項ロジットモデルの推定結果

図 3: マッチングの精度比較

4. 提案手法の改善①：ハンガリー法に基づくマッチング精度の改善
マッチング確率に基づいて機械的にマッチングを行った場合，同一のマッチング先レコードに複数のレコードを結びつけてしまう可能性がある．そこで，マッチング確率を重みとした２部グラフのマッチングの問題を考えて，ハンガリー法を適用し，１対１の最適マッチングを行った．精度の改善はそれほど大きくはなかった。

5. 提案手法の改善②：Recipient とDonor を逆転したモデルに基づく手法
通 常 の モ デ ル と ， Recipient 及 び
Donor の役割を逆転させた形で推定したモデルにより算出したマッチング確率を
適当なウエイトで加重平均したものを新
たな距離として，マッチングを行った（図4）．その結果，従来の手法よりも正解率が向上することが確認できた．
更なる精度改善に向けて検討中．

参 考 文 献図 4: Donor と Recipient の転置処理[1] 高部勲・山下智志 (2018). 多項ロジットモデルを用いた新たな統計的マッチング手法の提案. 統計学, 115, 1-16.
[2] Takabe, I., and Yamashita, S. (2020). New Statistical Matching Methods Using
Multinomial Logistic Regression Model. In I. Tadashi, A. Okada, S. Miyamoto, F.
Sakaori, Y. Yamamoto & M. Vichi, (Eds.), Advanced Studies in Classification and Data
Science (pp. 265-274). Springer.
[3] D’Orazio, M., M. Di Zio & M. Scanu (2006), Statistical Matching: Theory andPractice, Wiley[4] Rässler, S. (2002), Statistical Matching, Springer

二変数間相互作用を考慮した一般化加法モデルとその効率的な学習
東京大学

上月正貴

東京大学

松島慎

kyky 年 Rk 月 8 日
概要
意思決定への利用や，公平性の観点から，機械学習においては予測の正確さのみならず，予測の解釈性，すなわち，入力の特徴量が予測に与える影響の分かりやすさも同等に重要である．一般化加法モデルは非線形関数の足し合わせで，目標変数と説明変数それぞれの非線形な関係を捉えることが可能なモデルであるが，性能向上に寄与すると考えられる複数変数間の相互作用と目標変数の関係は考慮されていない．本研究では視覚的にとらえることができる二変数間の相互作用をモデルに組み込むことで解釈性を保ちつつその予測が正確な手法とその学習アルゴリズムを提案する．

機械学習アルゴリズムにおいて，一般に，モデルがもつパラメータ数が増えるにつれて予測性能が向上するが，入力x に対する学習済みモデルの予測 ỹ の解釈性，すなわち予測するうえで重要な入力 x の特徴量が不明瞭になる傾向にある．
本発表で対象とする一般化化加法モデルは，入力を x 2 Rd とすると予測関数が f:J (x) = f1 (x1 )+· · ·+fp (xp )+b，

ここで，xp は x の第 p 要素，fj は非線形関数で b はバイアス項，である．各特徴量と出力 y の非線形な関係をとらえることで性能向上が期待されると同時に，fj (xj ) に関しては線形なため各特徴量の予測への影響が解釈しやすい．この特徴から，肺炎診断援助のために一般化加法モデルを利用した研究 (k) や，植生分布に与える気候の影響の応答曲線の形を説明するために一般化加法モデルを利用した研究 (Ry)，鳥の生息数の時間変化を一般化加法モデルでモデリングした研究 (8) がある．
二変数間の相互作用を考慮した一般化加法モデルには : J (d) がある．この手法のモデル関数は f:2 J (x) =2

f:J (x) +P(j,k)2I fj,k (xj , xk ) である．学習は大きく三段階に分けられ，まず一般化加法モデル f:J (x) を学習

し，次に，残差を小さくすることが期待される相互作用のペアの集合 I を算出し，最後に，それらを用いて相互作用の一般化加法モデルP，出力 y が特徴量(j,k)2I fj,k (xj , xk ) を学習する．この手法は，R 変数と k 変数の扱いが異なり，間の相互作用のみから生成されている場合に，正しく知識発見できないことが考えられる．
本発表では R 変数と k 変数を区別せずに，データの生成過程に関与している特徴量と相互作用のみを用いる一般化加法モデルを構築する．したがって，提案手法（AMi2`+iBQM :J，A:J）のモデルは次である：

fA:J (x) =X

URVfj,k (xj , xk )1jkd

このモデルに対して，その学習を効率化するための正則化項として全変動ノルム (3) を拡張した二変数全変動ノルムkg(·, ·)kho = BM7

P

s |ws |

g(x, y) Ps ws(x0s  x  x00s ) (ys0  y  ys00 ) を提案する．ここで x0s , x00s , ys0 , ys00 は sで決まる値である．さらにこの正則化項を用いた目的関数の最適化は大規模 L1 正則化問題に帰着することを利用すると，目的関数は ` : R ⇥ R ! R を損失関数としてP (w) = kwk1 + C

n
X
i=1

0

`@

X

s,j,k

1

ws,j,k (x0j,s  xij  x00j,s ) (x0k,s  xik  x00k,s ), yi A

UkVとなる．ここで，xij は訓練集合の i 番目の入力 xi の j 番目の要素，x0j,s , x00j,s , x0k,s , x00k,s は s で決まる値である．学習では，まず各特徴量と相互作用の目的関数の評価値の改善期待値 |rws,j,k (P (w)
が C1 より大きいものの中で最大の値をとる特徴量を特徴行列@
kwk1 )| = @ws,j,kに追加し，入力をPn

i=1 `(fA:J (xi ), yi )，出力を y = (y1 , . . . , yn )> とする L1 正則化問題（部分問題）を解き，パラメータ w (t) を得るという処理を |rws,j,k P (w)| < C1 となるまで繰り返す．

R

人工データ (e)k"QbiQM
Tv`BK k#Q/v7i
KT;

k

k

次元

データ数

A:J

Ry

Ry-yyy

Rj
kd

8ye
d9

5.97 ⇥ 10

R9

k8k

d

jNk
表R

:2 J
2

0

2.44 ⇥ 10
4.75 ⇥ 10
1.38 ⇥ 10
2.50 ⇥ 10

0

Tv:J

1.24 ⇥ 10 1

6.32 ⇥ 10 2

3.71 ⇥ 10 3

7.06 ⇥ 10 2

0

2
3

R

3.32 ⇥ 10
6.08 ⇥ 10 202.30 ⇥ 10

2.88 ⇥ 100
7.67 ⇥ 10 22.32 ⇥ 100

二乗平均平方根誤差．

ここで特徴量を選択する問題は，O(d2 ) 個の JtBKmK _2+iM;H2 問題であり，各 JtBKmK _2+iM;H2 問題の計算量は O(n2 HQ; n) (9) であるため，各反復の計算量は O(部分問題の最適化の計算量) + O(d2 n2 HQ; n) である．
複数の回帰問題のデータセットに対する提案手法の二乗平均平方根誤差が表 R である．

KT; データセット以外の次元が 10 以上のものでは幅広いデータ数で優位であることが確認された．この要因とし
d(d 1)て，特徴量の数 d に対して相互作用の数があることから d が大きくなるにつれて相互作用のデータの生成への2寄与が特徴量の寄与より大きくなることが考えられる．そのため，次元が小さい KT; では，まず一般化加法モデルを学習する : J，特徴量と特徴量の組み合わせのフィッティングを行う Tv:J がより正確なモデルを学習できたと2考えられる．しかし，Tv`BK のように次元が大きくなると : J は R 次元の特徴量で構成し，固定した一般化加法モ
2

デルが真のデータ生成から乖離しているため残差を小さくするよう相互作用を用いて特徴量の組を入力とするモデルを追加したとしてもその性能は提案手法の A:J ほどに改善されないと考えられる．
本発表では，機械学習アルゴリズムが有する予測性能と予測の解釈性のトレードオフを超えることを目標に，視覚的に把握できる二変数間の相互作用を扱える一般化加法モデルとその学習を効率化するための正則化項である二変数全変動ノルムを提案し，その性能の有効性を回帰問題で示した．

参考文献(R) GB#bpK /i, _2;`2bbBQMX ?iiTb,ffrrrX+bB2XMimX2/mXirf+DHBMfHB#bpKiQQHbf/ib2ibf`2;`2bbBQMX?iKHX ++2bb2/, kyky@
Rk@yRX(k) _B+? *`mM- uBM GQm- CQ?MM2b :2?`F2- SmH EQ+?- J`+ aim`K- M/ LQ2KB2 1H?//X AMi2HHB;B#H2 KQ/2Hb 7Q` ?2Hi?+`2,
S`2/B+iBM; TM2mKQMB `BbF M/ ?QbTBiH jy@/v `2/KBbbBQMX AM S`Q+22/BM;b Q7 i?2 kRi? *J aA:E.. AMi2`MiBQMH *QM72`2M+2
QM EMQrH2/;2 .Bb+Qp2`v M/ .i JBMBM;- E.. ǶR8- T;2 RdkR – Rdjy- L2r uQ`F- Lu- la- kyR8X bbQ+BiBQM 7Q` *QKTmiBM;
J+?BM2`vX(j) *?B?@*?mM; *?M; M/ *?B?@C2M GBMX GA"aoJ,  HB#``v 7Q` bmTTQ`i p2+iQ` K+?BM2bX *J h`Mb+iBQMb QM AMi2HHB;2Mi
avbi2Kb M/ h2+?MQHQ;v- k,kd,RĜkd,kd- kyRRX aQ7ir`2 pBH#H2 i ?iiT,ffrrrX+bB2XMimX2/mXirf+DHBMfHB#bpKX(9) *X *Q`iûb- CXJX .őx@"Ƣ2x- SX Sû`2x@GMi2`Q- *X a2`- CX l``miB- M/ AX o2Mim`X "B+?`QKiB+ b2T`#BHBiv rBi? irQ #Qt2b,
 ;2M2`H TT`Q+?X CQm`MH Q7 H;Q`Bi?Kb- e9UkV,dN Ĝ 33- kyyNX(8) _+?2H J 62rbi2`- ai2T?2M h "m+FHM/- :pBM J aB`Br`/2M- ai2T?2M _ "BHHB2- M/ C2`2Kv . qBHbQMX MHvbBb Q7 TQTmHiBQM
i`2M/b 7Q` 7`KHM/ #B`/b mbBM; ;2M2`HBx2/ //BiBp2 KQ/2HbX 1+QHQ;v- 3RUdV,RNdyĜRN39- kyyyX(e) :BH2b >QQF2`X .Bb+Qp2`BM; //BiBp2 bi`m+im`2 BM #H+F #Qt 7mM+iBQMbX AM S`Q+22/BM;b Q7 i?2 i2Mi? *J aA:E.. BMi2`MiBQMH+QM72`2M+2 QM EMQrH2/;2 /Bb+Qp2`v M/ /i KBMBM;- T;2b 8d8Ĝ83y- kyy9X(d) uBM GQm- _B+? *`mM- CQ?MM2b :2?`F2- M/ :BH2b >QQF2`X ++m`i2 BMi2HHB;B#H2 KQ/2Hb rBi? TB`rBb2 BMi2`+iBQMbX AM
S`Q+22/BM;b Q7 i?2 RNi? *J aA:E.. AMi2`MiBQMH *QM72`2M+2 QM EMQrH2/;2 .Bb+Qp2`v M/ .i JBMBM;- E.. ǶRj- T;2
ekj – ejR- L2r uQ`F- Lu- la- kyRjX bbQ+BiBQM 7Q` *QKTmiBM; J+?BM2`vX(3) a?BM Jibmb?BKX aiiBbiB+H H2`M#BHBiv Q7 ;2M2`HBx2/ //BiBp2 KQ/2Hb #b2/ QM iQiH p`BiBQM `2;mH`BxiBQM- kyR3X(N) .MB2H a2`pûM M/ *?`HB2 "`mKKBiiX Tv;K, :2M2`HBx2/ //BiBp2 KQ/2Hb BM Tvi?QM- J`+? kyR3X(Ry) h?QKb q u22 M/ L2BH . JBi+?2HHX :2M2`HBx2/ //BiBp2 KQ/2Hb BM THMi 2+QHQ;vX CQm`MH Q7 p2;2iiBQM b+B2M+2- kU8V,83dĜeykRNNRXRk

Tv:J (N) ライブラリを用いて k つの特徴量の相互作用をテンソル積でフィッティングするモデル
GA"aoJ (j) の GA"aoJ .i, _2;`2bbBQM (R) にあるものを利用した．

k深層展開に基づく反復アルゴリズムの収束加速―理論的解釈とその応用―
名古屋工業大学
和田山 正

1 本稿について
本稿は，科研シンポジウム「機械学習・統計学・最適化の数理と AI 技術への展開」における著者の講演の概要を報告するものである。

2 本講演の背景
近年，無線通信技術に関する研究分野においては，5G システムの先にある “Beyond 5G”, または “6G” に関する研究の方向性を模索する動きが活発化しつつあり，各種国際会議においても 6G までの今後 10 年の流れを見越した講演が増えつつある。このような流れの中で，産業界 (基地局を製造するメーカー，サービスを提供するキャリアなど）・関連国際学会ともに来る 6G システムの基軸となる技術として AI/ML を重要視しているようである。この理由としては，6G での達成目標（5G を上回る高速大容量, 低遅延, 多ユーザ収容) を充足させることは，現状の技術の延長線だけでは厳しい見通しがあり，それを乗り越えるためのひとつの，そして最も有望な方策として AI/ML 技術に強い期待が持たれているためだと考えられる。
無線ネットワークは，無線物理層，ネットワーク層といった階層構造を持ち，そのすべての階層で AI/MLの利活用が検討されている。無線物理層は，情報の符号化・変調・復調などを扱う階層であり，その中で特に重要な技術として MIMO(Multiple-Input Multiple-Output) アンテナ技術とそれに関わる信号処理技術が挙げられる。MIMO 復調問題は複素線形観測に関する逆問題と考えることができ，圧縮センシングやスパース
正則化などとも深く関係する推定問題と見ることができる。高い推定精度を持ち，高速に動作をするアルゴリ
ズムが求められており，古典的な問題ながら現在に至るまで活発に研究が進められている重要な研究課題となっている。近年，この問題に対して深層展開 (Deep Unfolding) を適用したデータ駆動型アルゴリズムが注目されている。著者のグループでは，近接勾配法に対して深層展開を適用することで，優れたデータ駆動的ア
ルゴリズム (スパース信号再現 [4], MIMO 復調 [5]) が構成できることを示してきた。

3 深層展開深層学習技術は，深層ニューラルネットワークの学習に利用できるだけではなく，入出力を伴う “微分可能な反復型アルゴリズム” の内部パラメータ最適化に適用可能である。この考え方は微分可能プログラミング(differential programming) として知られ，最近，制御・物理・常微分方程式/偏微分方程式の数値的解法などの諸分野でその応用が活発に検討されている。深層展開は，この微分可能プログラミングの考え方を一般の反復型アルゴリズムに適用したものと見ることができる。従前から知られている優れた反復型アルゴリズム (例えば近接勾配法) を基礎として，その内部に学習可能パラメータを埋め込むことで，データに基づく学習可能
性を持つ柔軟な派生アルゴリズムをデータ駆動的に構成できる。
本講演の前半では，深層展開の考え方と特徴，そして適用事例を紹介する [2]。深層展開の代表的なメリットとして，1) 多くの反復型アルゴリズムにおいて収束の加速が生じる点，2) 学習されたパラメータについてある程度の解釈が可能な点が挙げられる。本講演の後半では，収束加速の要因となる学習後パラメータに関する解釈の試み (チェビシェフステップに基づくスペクトル半径制御) とそこで得られれたチェビシェフステッ
プの応用について概説する [1][2]。チェビシェフステップの理論では，チェビシェフ多項式の根であるチェビ
シェフ根が収束速度を支配するスペクトル半径の制御について重要な働きをしている。深層展開における学習プロセスにより見いだされたステップサイズはチェビシェフステップに非常に近いものであることが実験的に確認されており，この結果は，深層展開によるパラメータ学習の妥当性を理論面から強く支持している。

4 文献案内
本講演の内容に関する詳細な議論と実験結果は文献 [1] に含まれている。深層展開に関するチュートリアル
的解説とチェビシェフステップに関する平易な解説は [2] にまとめられている。Github レポジトリ [3] では無線通信研究者向けに行ったチュートリアル講演の資料と深層展開関連の実装コード (PyTorch) を公開している。本グループの深層展開に関する代表的な論文として，スパース信号再現アルゴリズム TISTA に関する文
献 [4], MIMO 復調問題に関する深層展開の適用事例 [5] を挙げておく。応用的観点からの深層展開に関する
最近の包括的レビューについては文献 [6] を参照されたい。

謝辞
本グループにおける深層展開に関する研究は同僚の高邉賢史氏と共同で進めている。日頃より議論いただく
同氏に感謝したい。本研究の一部は科研費基盤 (B)19H02138 の補助を受けている。

参考文献[1] S. Takabe and T. Wadayama, “Convergence acceleration via Chebyshev step: plausible interpretation of deep-unfolded gradient descent,” arXiv:2010.13335, 2020.
[2] 和田山正, 高邉賢史, “(解説論文) 深層展開に基づく信号処理アルゴリズムの設計 –収束加速とその理論的解釈–, ” 電子情報通信学会 Fundamentals Review, 14 巻 1 号 p. 60-72, 2020.

[3] 和田山正, “無線通信のための深層学習の基礎,” MIKA2019 チュートリアル講演資料, https://github.
com/wadayama/MIKA2019, 2019.
[4] D. Ito, S. Takabe, and T. Wadayama, “Trainable ISTA for sparse signal recovery,” IEEE Trans.
Signal Processing, vol. 67, no. 12, pp. 3113-3125, Jun., 2019.
[5] S.Takabe, et al., “Trainable projected gradient detector for massive overloaded MIMO channels:
data-driven tuning approach”, IEEE Access, July 2019.
[6] A. Balatsoukas-Stimming and C. Studer “Deep unfolding for communications systems: a survey andsome new directions,” https://arxiv.org/abs/1906.05774, 2019.

身体動作と音楽の同調性によるストリートダンスの評価手法の提案
上野寛幸 1 , 鈴木量三朗 2 , 豊泉

洋1

1 早稲田大学大学院基幹理工学研究科，2 有限会社シンビー

e-mail : tchaikovsky 1107@akane.waseda.jp

1

はじめに

2

ダンス

2024 年パリ五輪からストリートダンスの１つであるブレイクダンスが五輪種目に追加される. しかし, ストリートダンスの採点基準はあいまいであり, 他のスポーツと同様に公平なジャッジが可能なのかという点が不安視されている. そこで, 本研究では AI によるストリート
ダンスの自動採点アルゴリズムを提案し, 個人の好みに左右されない公平なジャッジを目指す.
2014 年に NEC ソリューションイノベータ株
式会社が, カラオケの採点と同様にお手本との一致率から採点するダンス採点装置の特許を取得した [1]. しかしダンスは技と音楽の整合性やオリジナリティがより重要であるため, お手本との一致率に加えてこれらの点を考慮したアルゴリズムがダンスの採点には望ましい.
ダンス D は時空間内の身体の位置と音楽の軌道によって数学的に記述できる [2]. 以下では, D = {(xt , yt )}Tt=0 によって定義する. xt は
時刻 t における音楽の特徴量ベクトルで , yt は
時刻 t における姿勢を表すベクトルからなるダンス動作である. この xt と yt の列を照らし合わせることで, ダンス動作と音楽の調和を評価することができる. 本研究ではダンスジャンルの中でも, 音楽の特徴とダンス動作の関連が顕著な pop ダンスについて扱う.

3

pop ダンス

pop ダンスの動きは主に, 以下のアイソレ, ス
トップ, ヒットの 3 要素からなる.
アイソレ: 身体のある 1 部位のみを独立して動かす.
ストップ: 急に身体の動きを止める.
ヒット: 筋肉を一瞬緊張させて身体を震わせる.

特にストップとヒットは強い音に合わせて用いられ, 音楽の特徴量と比較しやすい. ここではストップに着目したダンスの評価を考える.

4

ストップの定義

AI にダンスを評価させる上で, まず前述のストップを認識させる必要がある. そこで本研究では, 骨格推定アルゴリズムの一つである
OpenPose[3] を用いて身体の動き yt を数値化する. OpenPose は動画を入力すると, 1 フレー
ム毎に人体の 25 部位の座標を出力する. 座標が出力される各部位を keypoint と呼び, それぞれ図 1 のようにナンバリングされる.

図 1. openpose による身体部位の計測

ここで, i 番の keypoint の t フレーム目での姿勢をベクトル yi (t) とおき, i 番の keypoint がt 番目のフレームと t + 1 番目のフレーム間に移動した距離を ∆yi (t) と定義する. これは単位時間当たりの移動距離なので, 2 フレーム間の平均の速さと考えられる. 以下, これを用いてストップを定義する.

∆yi (t − 1) ≥ vm

0 ≤ ∆yi (t) ≤ vs

(1)
(2)

(1) 式より t − 1, t フレーム間での速さは十分大きく, (2) 式より次のフレーム間では速さは十分小さいつまり静止しているとみなせることから, ストップタイムでストップが生じていると考えられる. ここでの vm , vs は入力動画の fps,
解像度, 人間の映り込む大きさによって異なる閾値である.

5

ストップタイムの妥当性

pop ダンスにおいてストップやヒットを強い音に合わせて行うことを「オンビート」, 強い
音より少し早く行うことを「早取り」, 少し遅く行うことを「遅取り」と呼ぶ [4].
図 2 は同じ条件下で早取りを行ったダンス動
画 (a) と遅取りを行ったダンス動画 (b) の音量
xt をそれぞれ時系列グラフで表し, 身体の動き
yt から (1), (2) 式で検出したストップタイムを記したものである. (a) では音量が極大値をとる少し前にストップタイムが現れ, (b) では音
量が極大値をとる少し後にストップタイムが現れる. このように音楽 xt と身体動作 yt , 特にストップの関係が明確化できる.

プタイムの前後関係から音の早取り, 遅取りも数学的に定義できる. 早取りは音を聞けていな
いという理由から悪い評価を受ける [4]. 音量が極大値をとる時刻とストップタイムの関係か
らダンスを評価できると考えられる.
ダンス動画からダンスを採点する手法を開発するために, 本研究で得られた考察から今後の課題をまとめる.
本研究ではヒューリスティックに決めていた (1), (2) 式の閾値 vm , vs を学習器によって決定する.
音量が極大値をとる時刻とストップタイ
ムを入力とするダンスの評価関数を学習器を用いて作成する.
オリジナリティに関する評価法を考案す
る.

参考文献

(a) 早取り (低評価)(b) 遅取り (高評価)

図 2. (a) 早取りと (b) 遅取りにおける音量とストップタ
イム (赤いライン:vm = 6.55, vs = 5) の関係

6

結論

本研究では, 骨格推定アルゴリズム OpenPose
を用いて身体の動きを数値化し, 単位時間当たりの移動距離によってストップタイムを定義した. ダンス動画から計算されたストップタイム
が, 動画内で行ったストップの時刻と一致していることから, ストップタイムによって pop ダンスの 1 要素であるストップを数学的に定義できることが明らかになった.
図 2 より, 音量が極大値をとる時刻とストッ[1] “身 体 動 作 採 点 装 置, ダ ン ス 採 点 装置, カ ラ オ ケ 装 置 及 び ゲ ー ム 装 置”,
https://patents.google.com/
patent/WO2014162787A1/ja.
[2] Ruozi Huang, Huang Hu, WeiWu, Kei
Sawada, Mi Zhang, Dance Revolution:Long Sequence Dance Generation withMusic via Curriculum Learning, 2020.
[3] “openpose/output.md
atmaster,
CMU-PerceptualComputing-Lab/openpose,
GitHub”,
https://github.com/
CMU-Perceptual-Computing-Lab/
openpose/blob/master/doc/output.
md.
[4] “ダ ン ス の 先 生 つ れ づ れ ブ ロ グ”,
https://dancenoteacher.blog/danceinstructor/i-summarized-the-reasonsfor-dance-early-and-late-and-tips-onhow-to-fix-it.

ߴ࣍‫ݩ‬σʔλʹ͓͚Δҟৗ஋ͷ‫ݕ‬ग़ʹ͍ͭͯ‫౎ژ‬େֶɾ৘ใֶ‫ڀݚ‬Պɹɹதࢁɹ༏‫ޗ‬ʢYugo Nakayamaʣஜ೾େֶɾ਺ཧ෺࣭‫ܥ‬ɹɹ໼ాɹ࿨ળʢKazuyoshi Yataʣஜ೾େֶɾ਺ཧ෺࣭‫ܥ‬ɹɹ੨ౢɹ ੣ʢMakoto Aoshimaʣ

1 ͸͡Ίʹ
ຊߨԋͰ͸ɼߴ࣍‫ݩ‬খඪຊσʔλʹର͢Δҟৗ஋ͷ‫ݕ‬ग़Λߟ͑ͨɽຊߨԋͰ͸ɼYata andAoshima (2019) ΍ Nakayama et al. (2020) ͕ఏҊ͍ͯ͠Δओ੒෼είΞʹΑΔΫϥελ
ϦϯάΛԠ༻ͯ͠ɼߴ࣍‫ݩ‬খඪຊσʔλʹରͯ͠ҟৗ஋‫ݕ‬ग़ΛఏҊͨ͠ɽ

2 ͭͷ d ࣍‫ݩ‬෼෍Λ Π1 , Π2 ͱ໊෇͚ɼͦΕͧΕฏ‫ ۉ‬µ1 , µ2 ͱɼ‫ڞ‬෼ࢄߦྻ Σ1 , Σ2 Λ΋ͭͱԾఆ͢Δɽ͜͜Ͱɼtr(Σ1 ) ≤ tr(Σ2 ) ͱ͢ΔɽͦΕΒͷࠞ߹෼෍͔Β n (≥ 2) ‫ݸ‬ͷσʔλΛແ࡞ҝʹநग़͠ɼσʔλߦྻΛ X = [x1 , ..., xn ] ͱ͢Δɽͨͩ͠ɼni = #{j|xj ∈ Πi , j =1, ..., n} ͱ͓͘ɽ͜͜Ͱɼ#A ͸ू߹ A ͷཁૉͷ‫͠ͱ਺ݸ‬ɼni ≥ 1 ͱ͢ΔɽI n Λ n ࣍ͷ୯Ґߦྻɼ1n = (1, ..., 1)T ͱͯ͠ɼP n = I n − n−1 1n 1T
n ͱ͢ΔɽΧʔωϧؔ਺ k(xj , xj ! )Λ (j, j " ) ੒෼ʹ΋ͭάϥϜߦྻ K Λߟ͑ɼͦͷத৺ԽάϥϜߦྻΛ K 0 = P n KP n ͱ͠ɼ

K 0 ͷ‫ݻ‬༗஋෼ղΛ
K0 =

n−1
!

λ̂i ûi ûTi

(ûi = (ûi1 , ..., ûin )T ,i=1

ͱ͢Δɽxj ͷ (‫ج‬४Խͨ͠) ୈ i ओ੒෼είΞΛ sij =√%ûi %2 = 1)nûij ͱ͓͘ɽ2 ओ੒෼είΞʹ͓͚Δߴ࣍‫ݩ‬ҰகੑຊઅͰ͸ɼΨ΢γΞϯΧʔωϧk(xi , xj ) = exp(−%xi − xj %2 /γ) (γ > 0)Λ༻͍ͨΧʔωϧ PCA Λߟ͑Δɽκµ = exp(− %µ1 − µ2 %2 /γ)ɼκΣ = exp(−|tr(Σ1 ) −tr(Σ2 )|/γ)ɼ∆κ = 1 + κ2Σ − 2κµ κΣ ͱ͓͘ɽ͜ͷͱ͖ɼ࣍ͷఆཧ͕੒Γཱͭɽ
ఆཧ 1 (Nakayama et al., 2020). ਖ਼ଇ৚݅ͱ࣍ΛԾఆ͢Δɽ

1

(A-i) lim supd→∞(1 − κ2Σ )< 1 when n2 ≥ 2.
∆κ n1

͜ͷͱ͖ɼd → ∞ Ͱ͕࣍੒Γཱͭɽ

s1j =

"#

n /n + oP (1)#2 1− n1 /n2 + oP (1)when j = 1, ..., n1 ,when j = n1 + 1, ..., n.

(1)

ఆཧ 1 ͔Β Nakayama et al. (2020) ͸ୈ 1 ओ੒෼είΞͷූ߸͔Βߴ࣍‫ݩ‬σʔλͷΫϥελϦϯάΛఏҊͨ͠ɽ(A-i) ͕੒Γཱͨͳ͍ͱ͖ɼ࣍ͷఆཧ͕੒Γཱͭɽ
ఆཧ 2 (Nakayama et al., 2020). ਖ਼ଇ৚݅ͱ࣍ΛԾఆ͢Δɽ

(1 − κ2Σ )≥ 1 when n2 ≥ 2.
d→∞
∆κ n1

(A-ii) lim inf͜ͷͱ͖ɼd → ∞ Ͱ͕࣍੒Γཱͭɽ"#n /n + oP (1)#2 1
s n2 j =− n1 /n2 + oP (1)when j = 1, ..., n1 ,; andwhen j = n1 + 1, ..., n.

(2)

n
!

s2ij
= 1 + oP (1) and sij = oP (1) for j = 1, ..., n1 ; i = 1, ..., n2 − 1nj=n +11ҟৗ஋͕ 1 ͭͱ૝ఆͰ͖Δ৔߹͸ɼn1 = 1 ͱͯ͠ߟ͑Δ͜ͱͰ (1) ͱ (2) ͔Βҟৗ஋ͷ‫ݕ‬ग़͕ՄೳͰ͋ΔɽຊߨԋͰ͸ɼ͜ͷओ੒෼είΞͷҰகੑΛҟৗ஋‫ݕ‬ग़ʹԠ༻ͨ͠ɽ౰೔
͸ɼҰൠͷΧʔωϧؔ਺ͷ৔߹ͱҟৗ஋͕ෳ਺͋Δ৔߹ʹ͍ͭͯ΋‫͠ٴݴ‬ɼओ੒෼είΞͷූ߸ʹ‫͖ͮج‬ҟৗ஋‫ݕ‬ग़͕ՄೳͰ͋Δ͜ͱΛཧ࿦తʹࣔ͠ɼͦͷੑೳΛ਺஋࣮‫࣮ͱݧ‬σʔλղੳΛ༻͍ͯ֬ೝͨ͠ɽ

ࢀߟจ‫ݙ‬[1] Nakayama, Y., Yata, K. and Aoshima, M. (2020). Clustering by principal component analysis with Gaussian kernel in high-dimension, low-sample-size settings,
submitted.
[2] Yata, K. and Aoshima, M. (2019). Geometric consistency of principal componentscores for high-dimensional mixture models and its application. Scand. J. Stat., 47:
899–921.

2

γ-divergence ʹ‫ͮ͘ج‬ม਺બ୒ʹ͍ͭͯҏ৿ ৾ฏ 1,2 , ‫ڮ‬ຊ ਅଠ࿠ 1

1: ޿ౡେֶ େֶӃઌਐཧ޻‫ܥ‬Պֶ‫ڀݚ‬Պ
2: ཧ‫ ݚ‬AIP ਺ཧ౷‫ֶܭ‬νʔϜ

1

͸͡Ίʹ

ม਺બ୒͸౷‫͍͓ͯʹֶܭ‬ॏཁͳ໰୊ͷͻͱͭͰ͋Γɼ༷ʑͳख๏΍ͦͷཧ࿦తੑ࣭͕‫͔͘ݹ‬Β‫͞ڀݚ‬Ε͍ͯΔɽಛʹۙ೥͸ม਺ͷ਺͕ଟ͍ߴ࣍‫ݩ‬σʔλʹର͢Δม਺બ୒͕஫໨͞Ε͍ͯΔɽҰํͰɼ‫؍‬ଌσʔλʹରͯ͠֎Ε஋ͷࠞೖ͕‫ݒ‬೦͞ΕΔ৔߹ɼ֎Ε஋ʹରͯ͠‫ͳ݈ؤ‬ม਺બ୒ख๏͕๬·͍͠ɽ֎Ε஋ʹରͯ͠‫ؤ‬݈ͳख๏ͱͯ͠ɼγ-divergence Λ༻͍ͨਪఆํ๏ (Eguchi and Fujisawa, 2008) ͕஌ΒΕ͓ͯΓɼۙ೥੝Μʹ‫͞ڀݚ‬Ε͍ͯΔɽಛʹ Kawashima and Fujisawa (2017) Ͱ͸ L1 ਖ਼ଇԽͱ γ-divergence Λ૊Έ߹Θͤͨख๏͕ఏҊ͞Ε͓ͯΓɼεύʔεਪఆΛ௨ͨ͠֎Ε஋ʹ‫ͳ݈ؤ‬ม਺બ୒͕Ͱ͖Δͱߟ͑ΒΕΔɽຊ‫Ͱڀݚ‬͸ߴ࣍‫ݩ‬σʔλʹ͓͚Δ༗ޮͳม਺બ୒ख๏ͷҰͭͰ͋Δ greedy-type ΞϧΰϦζϜʹ͍ͭͯɼγ-divergenceͱ૊Έ߹ΘͤΔ͜ͱͰ֎Ε஋ʹ‫ͳ݈ؤ‬ม਺બ୒ख๏ͷߏஙΛࢼΈΔɽ

2

Greedy-type ΞϧΰϦζϜ

ຊ‫Ͱڀݚ‬ѻ͏Ϟσϧͱม਺બ୒ख๏ʹ͍ͭͯઆ໌͢Δɽy ∈ R Λ໨తม਺ɼx ∈ Rp Λઆ໌ม਺ͱ͠ɼਅͷճ‫ؼ‬Ϟσϧͱͯ͠ɼx Λ༩͑ͨԼͰͷ y ͷ৚݅෇͖֬཰ີ౓ؔ਺Λq(y|x) = (1 − ε)φ(y; µ0 (x), σ02 ) + εδ(y|x)ͱ͢Δɽͨͩ͠ɼφ(y; µ0 (x), σ02 ) ͸λʔήοτͷ෼෍Ͱ͋ͬͯɼฏ‫ ͕ۉ‬µ0 (x), ෼ࢄ͕ σ02 Ͱ͋Δਖ਼‫ن‬෼෍ͷ֬཰ີ౓ؔ਺Λද͢ɽ·ͨɼδ(y|x) ͸֎Ε஋ͷ෼෍Ͱ͋Γɼε ∈ [0, 1) ͸֎Ε஋ͷൺ཰Ͱ͋ΔɽҰํͰɼީิϞσϧ M ⊂ {1, . . . , p} Λ

pM (y|x) = φ(y; µM (x), σ02 )!
ͱ͢Δɽͨͩ͠ µM (x) = αM + βM
xM , xM ͸ M ʹ‫ ͮ͘ج‬x ͷ෦෼ϕΫτϧͰ͋ΓɼαM ͱ βM ͸ճ‫܎ؼ‬

਺Ͱ͋Δɽ؆୯ͷͨΊɼ෼ࢄύϥϝʔλ σ02 ͸‫ط‬஌ͱ͍ͯ͠Δɽ͜ͷͱ͖ɼKawashima and Fujisawa (2017)ΑΓɼγ-divergence ʹ‫ ͮ͘ج‬αM ͱ βM ͷਪఆྔ͸࣍ͷؔ਺Λ࠷খԽ͢Δ͜ͱͰಘΒΕΔɿ

1
− log
γ

!!

pM (y|x)γ q(y|x)q(x)dydx +

1

1
log
1+γ

!!

pM (y|x)1+γ q(x)dydx.

࣮ࡍʹ͸ύϥϝʔλ αM ͱ βM ʹґଘ͢Δ෦෼ͷΈΛ‫ݧܦ‬ਪఆͨ͠

− log

"

$
%&
n
!
1#
γ(yt − αM − βM
xt,M )2
exp −
n t=1
2σ02

ͷ࠷খԽʹΑͬͯύϥϝʔλͷਪఆྔ α̂M ͱ β̂M Λ‫ٻ‬ΊΔɽͨͩ͠ {(yt , xt )}nt=1 ͸ (y, x) ͱಉ͡෼෍ʹै͏ಠཱඪຊͰ͋Γɼxt,M ͸ xt ͷ M ʹ‫ͮ͘ج‬෦෼ϕΫτϧΛද͢ɽp ͕େ͖͘ɼީิϞσϧ͕ଟ͍৔߹ɼશͯͷީิϞσϧʹରͯ͠౰ͯ͸·Γͷྑ͞Λ‫͢ࢉܭ‬Δ͜ͱ͸࣮༻తͰͳ͍ɽͦ͜Ͱɼorthogonal greedy algorithm (Ing and Lai, 2011) ΛࢀߟʹҎԼͷϧʔϧͰϞσϧ Mʹม਺ΛՃ͑Δ͜ͱΛߟ͑Δɽ

ĵM = arg max max log
j"∈M α,βj

"

$
%&
n
1#
γ(ut (M ) − α − βj xt,j )2
exp −
.
n t=1
2σ02

ͨͩ͠ ut (M ) = yt − α̂M − x!
t,M β̂M Ͱ͋Γɼॳ‫ظ‬஋͸ M = ∅, ut (∅) = yt ͱఆΊΔɽࢀߟจ‫ݙ‬
1. Fujisawa, H. & Eguchi, S. (2008). Robust parameter estimation with a small bias against heavy
contamination. Journal of Multivariate Analysis, 99(9), 2053–2081.
2. Kawashima, T. & Fujisawa, H. (2017). Robust and sparse regression via γ-divergence. Entropy,
19(11), 608.
3. Ing, C. K. & Lai, T. L. (2011). A stepwise regression method and consistent model selection for
high-dimensional sparse linear models. Statistica Sinica, 1473–1513.

2ࣄલ෼෍‫ڧ‬ௐ‫ܕ‬ͷ৘ใྔ‫ن‬४ͷ։ൃͱͦͷ WAIC ͱͷൺֱೋ‫ ٶ‬Յߦ
౷‫਺ܭ‬ཧ‫਺ ॴڀݚ‬ཧɾਪ࿦‫ܥڀݚ‬1ং࿦൚Խੑೳͷߴ͍ Bayes ༧ଌ෼෍Λ༩͑ΔͨΊͷ৘ใྔ‫ن‬४ͱͯ͠ɼਅͷ෼෍ͱͷ KullbackLeibler μΠόʔδΣϯεΛධՁ͢Δ͜ͱͰ࡞ΒΕͨͷ͕ DIC Ͱ͋Δ͕ɼ౷‫ܭ‬త઴ۙཧ࿦ʹͳΔ
΂͘པΒͳ͍Α͏ʹ͠Α͏ͱ͍͏ҙਤ͕͋ΔͨΊ͔ɼಛघͳධՁ๏ʹґଘ͍ͯͨ͠ɽͦͷதɼ౷‫ܭ‬త઴ۙཧ࿦ʹ‫͖ͮج‬ɼཧ࿦తʹ΋࣮ફతʹ΋༏Εͨ৘ใྔ‫ن‬४ͱͯ͠ Watanabe (2010) ʹΑΓఏҊ͞Εͨͷ͕ WAIC Ͱ͋ΔɽMCMC Ͱࣄ‫ޙ‬෼෍ΛධՁ͢Ε͹ಉ࣌ʹ༩͑ΒΕΔͨΊ࣮૷͸༰қͰ͋Γɼ·ͨಛҟϞσϧʹ͓͍ͯ΋อূ͞Ε͍ͯΔͨΊɼࠓ‫͍༻͢·͢·ޙ‬ΒΕ͍ͯ͘͜ͱ͕༧૝͞ΕΔ‫ݱ‬୅తͳ৘ใྔ‫ن‬४Ͱ͋Δɽ͍·ɼ
i.i.d.

z̃, z1 , . . . , zn ∼ f (· | θ);θ ∼ π(· | η)ͱ͍͏ઃఆʹ͓͍ͯ z = (z1 , . . . , zn )ɼθ ͷࣄ‫ޙ‬෼෍ʹ‫ظͮ͘ج‬଴஋Λ Eθ|z,η (·) ͱ͠ɼಛʹEθ|z,η {f (z | θ)} Λ f (z | z, η) ͱ‫͢ʹͱ͜͢ه‬Ε͹ɼWAIC ͸൚Խଛࣦ Ez̃ {log f (z̃ | z, η)}ͱ઴ۙ౳Ձͳ౷‫ͯ͠ͱྔܭ‬

−

n

n

i=1

i=1

1!
1!
log f (zi | z, η) +(Eθ|z,η [{log f (zi | θ)}2 ] − Eθ|z,η {log f (zi | θ)}2 )nnͰ༩͑ΒΕΔɽͦͯ͠ɼ͜ͷ஋Λ࠷খԽ͢Δ͜ͱͰɼྫ͑͹ࣄલ෼෍Λબ୒͢Δɼͭ·Γ η Λ༩͑Δ͜ͱ͕Ͱ͖Δɽ࣍અͰ͸ɼখ੢ (2000) ͰఏҊ͞Ε͍ͯΔ GIC Λϕʔεͱͨ͠৘ใྔ‫ن‬४Λಋ͘ɽ͜ͷ྆ऀΛϦοδճ‫Ͳͳؼ‬ͷ࠷΋γϯϓϧͳઃఆͰൺֱ͢Δ͜ͱ͕ɼ͜͜Ͱͷ໨తͰ͋Δɽ

2

ผλΠϓͷ৘ใྔ‫ن‬४ͷ։ൃຊઅͰ͸ɼθ ͷࣄલ෼෍͸ π(· | η)n ͱॻ͚Δ΋ͷͱͯ͠࿩ΛਐΊΔɽਪఆ͞Εͨ༧ଌ෼෍ͱ
ਅͷ෼෍ͱͷ Kullback-Leibler μΠόʔδΣϯεΛখ͘͢͞Δ͜ͱΛ೦಄ʹɼ࠷໬ਪఆͰ͍͏
ͱ͜Ζͷฏ‫ۉ‬ର਺໬౓ʹ૬౰͢Δ Ez̃ {log f (z̃ | z, η̂)} Λ৘ใྔ‫ن‬४ͷ‫͢ͱݯ‬Δɽͨͩ͠ɼη̂ ="argmaxη ni=1 log f (zi | z, η) Ͱ͋Δɽ࠷େର਺໬౓ʹ૬౰͢Δ΋ͷΛ࠷ॳʹߟ͑Δਪఆྔͱ͠ɼ
n1!
log f (zi | z; η̂) − Ez̃ {log f (z̃ | z; η̂)}ni=1ΛධՁ͢Δ͜ͱΛߟ͑Δɽη̂ ͷऩଋઌΛ η ∗ ͱ͠ɼ௨ৗͷ TIC ͱಉ༷ͷධՁ๏Λ༻͍Δͱɼ͜Ε͸n1!
log f (zi | z; η ∗ ) − Ez̃ {log f (z̃ | z; η ∗ )}ni=1%&−1 % n
&
n
2
!
!
∂
∂
∂
+ tr  −log f (zi | z; η̂)log f (zi | z; η̂) " log f (zi | z; η̂) 
"
∂η∂η
∂η
∂η
i=1

(1)

i=1

ͱධՁ͞ΕΔɽ͜ͷୈҰ߲໨ͱୈೋ߲໨Λগ͠ࡉ͔͘‫͍ͯ͘ݟ‬ɽ·ͱΊͯߟ͑ΔͨΊɼୈҰ߲໨ͷ zi ΍ୈೋ߲໨ͷ z̃ ΛͱΓ͋͑ͣ z ͱॻ͘͜ͱʹ͢Ε͹ɼ࿨΍‫ظ‬଴஋ͷத਎͸
)
)
∗
∗ n
log f (z | z; η ) = log f (z | θ)f (z | θ)π(θ | η ) dθ − log f (z | θ)π(θ | η ∗ )n dθͱॻ͚Δɽ͜ͷೋͭͷੵ෼ͦΕͧΕʹରͯ͠ߴ࣍ͷ Laplace ۙࣅΛద༻͢Δͱɼqz,η (θ) = n−1 {log"n−1 log f (z |f (z | θ) + log π(θ | η)}ɼqz,η (θ) =i=1 qzi ,η (θ)ɼθ̂z,z,η = argmaxθ {qz,η (θ) + nθ)}ɼJz,z,η (θ) = −∂ 2 {qz,η (θ) + n−1 log f (z | θ)}/∂θ∂θ " ɼθ̂z,η = argmaxθ qz,η (θ)ɼJz,η (θ) =−∂ 2 qz,η (θ)/∂θ∂θ " ͱͯ͠nqz,η∗ (θ̂z,z,η∗ ) − log(|Jz,z,η∗ (θ̂z,z,η∗ )|)1/2 + log f (z | θ̂z,z,η∗ )− nqz,η∗ (θ̂z,η∗ ) + log(|Jz,η∗ (θ̂z,η∗ )|)1/2 + OP (n−2 )ͱͳΔɽ͜Εͱ θ̂z,z,η∗ − θ̂z,η∗ = OP (n−1 ) Ͱ͋Δ͜ͱΑΓ

log f (z | z; η ∗ ) = log f (z | θ̂z,η∗ ) + OP (n−1 )͕੒Γཱͪɼ͜ΕΑΓখ੢ (2000) ͸ɼϕΠζ༧ଌͱേଇ෇͖࠷໬ਪఆͷόΠΞεิਖ਼߲͸ಉ͡ʹͳΔ΋ͷͱ͠ɼϕΠζ༧ଌʹର͢Δ GIC ΛఏҊͨ͠ɽҰํɼ࣮͸ͦͷόΠΞεิਖ਼߲͸ OP (n−1 )Ͱ͋Γɼͭ·Γͦͷ GIC ͸઴ۙ࿦Ͱอূ͞Εͨ΋ͷͱ͸͍͑ͳ͍ͨΊɼOP (n−1 ) ͷ߲·ͰධՁ͢ΔͱɼͦΕ͸

az,z,η∗

*
+ 2
,1
∂
∂
∂
−1
∗
∗
∗
∗
∗
∗
=
tr Jz,η (θ̂z,η )log f (z | θ̂z,η ) −log f (z | θ̂z,η ) " log |Jz,η (θ̂z,η )|2n∂θ∂θ "∂θ∂θͱॻ͚Δɽ͜Εͷ z ʹ zi ΛೖΕͯ‫ظ‬଴஋Λͱͬͨ΋ͷ͸ɼz̃ ΛೖΕͯ‫ظ‬଴஋Λͱͬͨ΋ͷͱ઴ۙతʹ͸ಉ౳ʹͳΓɼ(1) ͷୈҰ߲໨ͱୈೋ߲໨Λ߹Θͤͨ΋ͷ͸n1!
log f (zi | θ̂z,η∗ ) − Ez̃ {log f (z̃ | θ̂z,η∗ )}
n
i=1
.
% n
&/
1
1! ∂
∂
−1
= tr Jz,η∗ (θ̂z,η∗ )qz ,η∗ (θ̂z,η∗ ) " qzi ,η∗ (θ̂z,η∗ ){1 + oP (1)}
n
n
∂θ i
∂θ
i=1

ͱධՁ͞ΕΔɽͭ·Γɼ͜Εͷओ߲Λ༻͍Δ GIC ͸ɼ݁Ռͱͯ͠ଥ౰Ͱ͋Δ͜ͱ͕Θ͔Δɽ͜͜Ͱ͸ɼͦ͜ʹ‫ݱ‬ΕΔ η ∗ ʹͦͷҰகਪఆྔͰ͋Δ η̂ Λ୅ೖͯ͠༻͍Δ͜ͱʹ͢Δɽ͜ͷ OP (n−1 )ͷධՁΑΓɼ
n1!
log f (zi | θ̂z,η∗ ) − Ez̃ {log f (z̃ | z; η ∗ )}
n
i=1
0 .
% n
&/
1
n
!
1
1! ∂
∂
−1
=
tr Jz,η∗ (θ̂z,η∗ )qz ,η∗ (θ̂z,η∗ ) " qzi ,η∗ (θ̂z,η∗ )+azi ,z,η∗ {1 + oP (1)}
n
n
∂θ i
∂θ
i=1

i=1

͕ಘΒΕɼ͜ΕΛར༻͢Ε͹ɼର਺໬౓ʹϕΠζਪఆྔΛ୅ೖͨ͠΋ͷΛϕʔεͱͨ͠৘ใྔ‫ن‬४΋ߏ੒Ͱ͖Δɽࢀߟจ‫ݙ‬[1] খ੢ఃଇ. (2000). ౷‫ܭ‬తϞσϦϯάͱ৘ใྔ‫ن‬४ߏ੒ͷཧ࿦. ਺ֶ, 52, 128–141.
[2] Watanabe, S. (2010). Asymptotic equivalence of Bayes cross validation and widely applicable
information criterion in singular learning theory. Journal of Machine Learning Research, 11,3571–3594.