ロボティクスと言語における統計的分節化
持橋大地
統計数理研究所 数理・推論研究系
daichi@ism.ac.jp
RSJ2016
2016-9-8 (木)＠山形大学

自己紹介
奈良先端大・自然言語処理学講座 博士後期課程修了
l 2011〜：統計数理研究所 准教授
l 専門：統計的自然言語処理/計算言語学
l ひとこと：ロボティクスの皆さん、IBIS 2016 (情報理論的学習理論ワークショップ; 機械学習の国内最大の会議) にぜひ来て下さい! (2016/11/16-19 @京大)– ロボティクスの人の参加が少ない– 今後、ロボティクスは機械学習的にも極めて重要l分節化とは時系列を、意味のある単位に区切ることl ロボティクスの場合 : 動作l 自然言語の場合 : 単語 (最小限の単位として)– 人間は、教えられなくてもこれらを認識できるl言語の場合l中国語– 話者12億人なので、重要な研究– Weibo (中国版Twitterクローン) の一部
今个学期第一次来图书馆呀〜嘻嘻〜感觉好好呀〜稳紧写论文既资料呀〜收获唔多，睇来要上网“刮”料拉活动精彩照片集锦8-行进途中，璀璨夜色到底这次是不是真的要走啦！！！tnnd敢不敢不要再变来变去了[愤怒]言語の場合 (2)lラテン語 (Scripta continua)– 英語も最初は、単語間スペース抜きで書かれていたヴェルギリウスの文、AD141年前後

従来の形態素解析 (Chasen, MeCab, JUMAN..)# S-ID:950117245-006 KNP:99/12/27* 0 5D
一方 いっぽう * 接続詞 * * *、 、 * 特殊 読点 * ** 1 5D
震度 しんど * 名詞 普通名詞 * *は は * 助詞 副助詞 * ** 2 3D
揺れ ゆれ * 名詞 普通名詞 * *の の * 助詞 接続助詞 * ** 3 4D強弱 きょうじゃく * 名詞 普通名詞 * *毎日新聞
1995年度記事
から38,400文(京大コーパス)の例膨大な人手で作成した教師(正解)データ
l 話し言葉の「正解」? 古文？未知の言語?
– |女御|更衣|あ|また|さ|ぶら|ひ|た|ま|ひける|中|に|、|…
l教師あり学習の限界l

従来の新聞記事コーパスでは扱えない言語データが増えている (口語, 新語, 新表現, ...)
TwitterBlog– 全部人手で辞書登録...？(追いつかない!)話し言葉の解析

CSJ話し言葉コーパスの一部

何て言うんでしょうねその当時はそう思われていたっていうことを全部ドラマにしちゃうっていうところそういうところとかが面白くて凄く見てたんですけど最初の方は凄くまともで緋色の研究とか四人の署名とかそういうのから始まってたんですけどそれはもうとにかく原作に沿っててこういうこれこれホームズってこれっていうのが見たくて私はずっと見てます見てましたで凄くこれは何かＮＨＫが放送されてる時から...

多数の口語表現 (“そいで”,“ってさぁ”,“ちゃって”...)– 無数のバリエーションが存在
l 自然な話し言葉の音声認識や音声科学のために、長期的にきわめて重要l教師なし形態素解析 (持橋+, ACL2009)l

生の文字列だけから, 階層ベイズで「単語」を学習– モデル: NPYLM (Nested Pitman-Yor LM)

1 神戸では異人館 街の 二十棟 が破損した 。
2 神戸 では 異人館 街の 二十棟 が破損した 。
10 神戸 では 異人館 街の 二十棟 が破損した 。
50 神戸 で は異人 館 街 の 二 十 棟 が 破損 し た 。
100 神戸 で は 異 人館 街 の 二 十 棟 が 破損 し た 。
200 神戸 で は 異人館 街 の 二 十 棟 が 破損 し た 。

PY
NPYLM: 文字-単語HPYLMの階層化
“”

PY

“”

PY

PY

PY

“が”

“は”

“会”
“教”
“国”
“時”

“臨”
文字HPYLM
単語HPYLM“彼 が” “教会 が”l 単語nグラム-文字nグラムの埋め込み言語モデル– つまり、階層Markovモデル
l 階層ベイズモデル+Gibbsサンプリング

日本語話し言葉コーパス (国立国語研究所)
うーんうんなってしまうところでしょうねへーあーでもいいいいことですよねうーん
うーん自分にも凄くプラスになりますものねそうですねふーん羨ましい
です何かうーん精神的にもう子供達に何かこう支えられるようなうーものってやっぱりあるんですよやってるとうーんうーんうーん
うーん長くやってればそんなものがうんうんそうでしょうねたくさんやっぱりありますねうんうーんなるほど…
NPYLM
うーん うん なって しまう ところ でしょう ね へー あー でも いい いいこと ですよねうーん
うーん 自分 に も 凄く プラス に なり ます もの ね そう です ね ふーん羨ましい です 何か うーん 精神的にもう 子供達に何か こう 支えられるような うー もの って やっぱり ある んです よ や って る と うーん
うーん うーん うーん 長く や って れば そんな もの が うん うん そうでしょう ね たくさん やっぱり あり ます ね うん うーんなるほど…

“Alice in Wonderland”の解析
first,shedreamedoflittlealiceherself,andonceagainthetinyhandswereclaspedup
onherknee,andthebrighteagereyeswerelookingupintohersshecouldhearthevery
tonesofhervoice,andseethatqueerlittletossofherheadtokeepbackthewanderingh
airthatwouldalwaysgetintohereyesandstillasshelistened,orseemedtolisten,thew
holeplacearoundherbecamealivethestrangecreaturesofherlittlesister'sdream.thelonggrassrustledatherfeetasthewhiterabbithurriedbythefrightenedmousesplashedhiswaythroughtheneighbouringpoolshecouldheartherattleoftheteacups…
first, she dream ed of little alice herself ,and once again the tiny hand s wereclasped upon her knee ,and the bright eager eyes were looking up into hers -shecould hearthe very tone s of her voice , and see that queer little toss ofherhead to keep back the wandering hair that would always get into hereyes -and still as she listened , or seemed to listen , thewhole place a round her
became alive the strange creatures of her little sister 'sdream. thelong grassrustled ather feet as thewhitera bbit hurried by -- the frightened mouse splashed
his way through the neighbour ing pool -- shecould hearthe rattle ofthe tea cups…

NPYLM as a Semi-Markov model
BOS

この東京

都のEOS
“の”
“都の”
“京都の”

Semi-Markov HMM (Murphy 02, Ostendorf 96) と同じ– 正しいパスが何かは未知 (HMMと同じ)
l 動的計画法によって、確率の高いパスをサンプリングlロボティクスへの応用
関節角の時系列データから、教師なしで「動作」を認識したい– 中村さん・長井先生との共同研究 (2015-16)
観測シーン

観測値

l単位系列1

単位系列2

時間ロボティクスへの応用

観測値

観測シーン

単位系列1

単位系列2

時間

出力が連続 à “軌跡”を出力するような確率モデルが必要l ガウス過程によって実現lガウス過程とはランダムな関数を生成する確率モデル– 軌跡全体が、無限次元ガウス分布の一点に対応
l データが与えられれば、関数の事後分布がガウス分布で得られる 3l2
10−1−2−3−4−8−6−4−202468注意
ここまでは、分割された“単語”に状態を考えてこな
かった– HMMではなく、Semi-Markovモデルだった
l 原理的には、HMM化することで言語でも、“品詞”を同時に求めることが可能àHidden Semi-Markovモデル– 内海・塚原・持橋 (ACL 2015)で提案l2015/9/20,日経新聞日曜版科学面(7/27の朝刊科学技術面
でも紹介)

l

デンソーITラボラトリ(渋谷)との共同研究

隠れた「品詞」との同時学習 (ACL 2015)l

単語だけでなく、その“品詞”も知りたい→同時学習– MCMCの前向き確率は(k:単語長, z:品詞)– Amazon EC2と並列化を使った膨大な計算量
デンソーITラボラトリとの共同研究

実験結果
l

日本語・中国語・タイ語の教師なし単語分割において世界最高精度 (可能な最高値は84.8%)– 中国語は12億人の話者がいるため、重要な研究

ロボティクスへの応用
出力がガウス過程となる隠れsemi-Markovモデル
でロボットの動作角の時系列をモデル化し、Forward-Backwardでベイズ学習 (動作の“単語”を知る)
l 腕の運動を使った分割結果：l「分割」を超えてただ分割してタグ付けするだけから、その先へ
l 動作の「文法」と再帰的解析
l 無限再帰的状態 (無限木構造HMM: 持橋2016)l動作の「文法」
l

言語には、構文構造がある
句構造 (PCFG)

係り受け構造統計的には...
l

分割モデルは、分割を表す潜在変数zを推定

lzは何でもよい!
– 木構造、係り受け、感情、etc.

例: 文法構造による分割 (Johnson 2008)
l

文の文字列が、次のような規則で再帰的に生成されたと仮定:– SentenceàColloc+– CollocàWord+– WordàSyllableIF– WordàSyllableI (Syllable) (Syllable) SyllableF– SyllableàOnset Rhyme– SyllableIFàOnsetI RhymeF …

セソト語の単語と文の解析
lSesotho: レソト(南アフリカ)の公用語, バントゥー語系
簡単な文法の場合
もう少し複雑な文法の場合

セソト語の単語と文の解析
lSesotho: レソト(南アフリカ)の公用語, バントゥー語系
形態素の導入単語間の句構造の導入

[参考] 文法構造による分割
l(Johnson&Goldwater, NAACL 2009)

子供の発話コーパス (Bernstein-Ratnerコーパス)に対して、正解率88%程度で最高精度
lUkD*z6b7wIThIzh&tàlUk D*z 6 b7 wIT hIz h&t(look thereʼs a boy with his hat)
– ただし、平均9.79文字/文の短い文/音素列

動作と言語l

実際の自然言語文の解析

人間の動作は、ここまで構造化されていない
l 動作の“文法”は何か?
l動作とHMM
言語やロボティクスの解析の目標の一つは、系列を分解して“状態”を与えること– 言語 : 名詞、動詞、形容動詞、‥‥– ロボティクス : “走る”, “投げる”, “振り向く”, ‥‥l 単純な状態を与えるだけで十分か?
– 急いで走る– なめらかに歩く– さっと振り向く– 名詞ー固有名詞ー地名
l 状態は本来、構造化されているべき！
l動作とHMM (2)l

単純に、状態数を増やせばよい……？
– 状態4：歩く– 状態23：ゆっくり歩く– 状態51：急いで歩くl

普通のHMMでは、状態が完全にバラバラ！
– 状態は、“歩くー急いで歩く”, “歩く-ゆっくり歩く”のように階層構造をしているべき– 自然言語では、階層的な品詞 (“動詞-他動詞-抽象”)階層的隠れ状態の学習?

?
l?

?
問題:– 各分岐の数を何個にすればよいのか? (無限の選択)– どの深さまで木を考えればよいのか? (指数爆発)– ノード間の遷移確率をどう考えればよいのか?
ナイーブな方法では不可能！

HMMと状態遷移l

通常のHMMの状態遷移: 行列で書けるl木構造間の状態遷移: どうやって定義する?
しかも、木構造の分岐と深さは無限大

無限木構造: 木構造Stick-breaking過程(Adams+ 2010)l

ディリクレ過程＝Stick-breaking過程の階層化– “途中で止まる確率”も導入した、無限木構造の統計的生成モデル
長さ1の棒を階層的に折ることで,和が1で、かつ木構造を持つ無限次元離散分布を生成できる

TSSBの構成lから実際に生成したサンプル

TSSB(1,1,1)

TSSB(1,5,0.5)

無限木構造上の状態遷移モデル

TSSB

l

各ノード が、次の状態への確率分布(TSSB)を持っている– かつ、親子の は似ているはず無限木構造HMM (iTHMM)(SIGNL226, 2016)

各ノードの持つ無限状態遷移 は、それ自体親子関係→ Hierarchical TSSB (TSSBからTSSBを生成)
l HTSSB-HMM = Infinite Tree HMM (iTHMM)
lTSSB

実験 (1)l

教師なし学習: “Alice in Wonderland”, 学習1200文,テスト231文

実験 (1)l

教師なし学習: “Alice in Wonderland”, 学習1200文,テスト231文

実験 (2)l

半教師あり学習: 京大コーパスから10000文の品詞を教師ありデータとして固定、37400文をサンプル

連続観測値への拡張
簡単のため言語の離散観測値を考えていたが、ITHMM
はHMM自体の本質的な拡張であり、連続値へも自然に拡張できる– 出力確率分布が Gaussian で、親子関係を持つ
l 現在研究中
l 適切なデータを募集しています!
lConclusion
時系列の分割問題は、統計的にはSemi-Markovモデルとしてとらえられる– 出力が文字列: 教師なし形態素解析 (持橋+ 2009)– 出力がガウス過程: 動作の教師なし分割 (中村+2016)
l 分割＝形態素解析は、自然言語処理ではあくまで最初のステップ
l 分割を超えて：– 再帰的な分割：動作の「構文解析」– 再帰的な状態：潜在状態の無限木構造化– ロボティクスに特有の連続的な拡張？
l