提出日(Date)2017/01/18

プロジェクト報告書 Poject Report

複雑系の数理とシミュレーション
Mathematics and simulation of the complex system
1014250 平井 力 Chikara Hirai

1．背景

しかし、ニューラルネットワークについての知識がほとんどない状態から活動が始まった

ニューラルネットワークとは、人間の脳神経細ため、この目標を達成するにあたり、前期の活胞を模倣する数理モデルである。人間の脳には多動ではメンバー全員のニューラルネットワーくの神経細胞(ニューロン)が存在し、互いにつなクについての理解を深め、後期の活動のためのがりを有することで複雑な処理を行う。そのネッ準備をするということを目標に活動すること

トワークを人工的に再現することで、学習能力をになった。

持たせることが可能となった。このニューラルネ

後期の活動では、読唇術についての研究を行ットワークは人間の認知的課題に応用されていうことになったため、読唇術とは何かを理解をる。そこで、本プロジェクトの活動ではニューラ深め、読唇術を実現させるためにはどういったルネットワークを用いた研究として、読唇術と呼情報が必要なのかを分析、研究を行っていくこ

ばれる技術について研究を行い、読唇術を行うたとで精度の高い読唇術を行えるマシンを作成めに必要な情報は何かを調査することになった。

することで読唇術に必要な情報を調査するこ

読唇術とは、口唇の動きや形状から発話内容をとを最終目標とした。

観察し、その発言の内容を知る方法を指す[1]。この技術は聴覚に障害を抱えている者が健常者の発話内容を予測するために利用されている。

3．課題解決のプロセス
本プロジェクトの目標はニューラルネットワークを用いて人間の認知過程の研究を行う

2．課題の設定と到達目標ことであり、今年度の活動では読唇術に着目した。読唇術に関する情報を入手する為に必本プロジェクトの目標は、人間の認知過程につ要なことは、読唇術を実現させるために使用いての研究を、ニューラルネットワークを用いてするニューラルネットワークの理解を深める行うことである。今年度の活動では読唇術に注目こと、読唇術を実現するためにはどういったし、読唇術を実現するためにはニューラルネットニューラルネットワーク を用いる必要があワークを用いる必要があるかを調査することで、り、どういったアプローチをする必要がある
読唇術を行うためにはどういった情報が使われかを考えて構築を行うことである。これらをているのかを研究することを目標とした。

解決するために前期と後期でそれぞれ目標を1設定し、各月の活動を行っていくことで、我々4．実験が設定した目標の達成できるように活動を行っ本プロジェクトではニューラルネットワークていった。
前期の活動の目標はニューラルネットワークを用いて読唇術を実現するにあたって、どうについて基本的な知識を深め、後期の活動ではいった情報を用いる必要があるか、及びどのどのような人間の認知過程の研究を行うかを決ようなニューラルネットワークを用いる必要定することとした。ニューラルネットワークにがあるかを調査することを目的とし実験を行ついての理解を深めるためにメンバー全員で指った。文献[3]によると、現代の技術では口の定した参考書[2]を利用して輪読を行った。輪読

面積のみで完全な読唇術を行うことはできなによって各々のニューラルネットワークについいということが述べられている。そこで今回ての理解を深めることができた。また、前期での実験では口の面積以外にも鼻の先端から顎学習した内容についての理解を深めるために、まで距離を追加で測定し、そのデータを利用[2]内に記載されていた Hopfield 型ネットワーすることで読唇術を行うことにした。

ク、及び Boltzmann Machine の動作を再現する読唇術を行うためのニューラルネットワー

プログラムを作成し、理解を深めることができ

クは、各単語に含まれる母音を出力し出力さた。しかし、後期の活動でどういった活動を行れた母音の並びから発話された単語を予測すっていくかを決定することまでは出来ず、候補るという方式(以下 A)と、単語を直接出力すを出すだけで前期のプロジェクト学習の活動がるという方式(以下 B)の 2 種類を用意した。

終了してしまった。

それぞれのニューロン数と形状は以下の図1、図 2 に記す。

後期の活動では、前期のうちに決定する予定であった、人間の認知過程を研究する為にどういったことに着目するかということを決定するということから始まった。前期の案にも出ていた読唇術についての研究を行うということをメンバー全員が賛同したため、後期の活動では読唇術について研究していくことになった。その

図 1:Ａのニューラルネットワーク

後は読唇術を実現させるためにはどういった情報が必要か、どういったニューラルネットワークを構築する必要があるかを調べる必要があったため、プログラム関係を担当するグループと先行研究の調査を行う小規模なグループと役割分担を行い、分担して作業を行っていった。

図 2:Ｂのニューラルネットワーク

2

次に口の周りの特徴点のデータの取得方法に実験の流れについて、今回の実験は以下の手ついて説明する。被験者 1 人 1 人に母音を発音順に従って行った。

してもらっている時に口の周りの特徴点の座標

Ⅰ：ニューラルネットワークの学習を行うたを抽出して x1 と x2、x3 と x4、x5 と x6、x7 とめ、被験者にリスト内の単語を発話してもらx8 間のそれぞれの距離を取得する(図 3)。このいその単語に関する顔の座標データを取得し時の特徴点は Kinect を用いて取得した。また、そのデータを利用しニューラルネットワーク被験者の顔と Kinect のカメラとの距離によっに学習させる。今回の実験ではそれぞれのネて生じる口の大きさの違いを修正するためにどットワークには 20 人分の学習用データを用いんな発音をしたときでも変化しないと考えられた。使用するデータについては図 4 にデータる目頭間の距離(図の x1 と x2 間の距離)で割る。

を取得するための環境については記述する。
Ⅱ：実験で使用するリスト内の単語のデータを被験者から取得する。この時にⅠとⅡの被験者は同一人物だと学習用データと実験で使用するデータが完全に一致してしまう可能性があるため、異なる人間からデータを収集するようにした。また、データの収集環境はⅠと同様の環境で行った。
Ⅲ：リスト内の単語からランダムに 1 つ選出
し、A,B のそれぞれのニューラルネットワークに入力をし、それぞれのニューラルネットワークが出した結果と実際に入力にしようした単語が一致しているかを調べ、一致している

図 3:取得した顔の距離

場合は 1、不一致の場合は 0 と記録する。それまた、今回の実験で使用した単語は次の 21 種

ぞれのニューラルネットワークは 2 つ以上の類の 5 音の単語に限定した。

単語が予測される可能性が存在するため、複・あさひかわ(aaiaa)・あさごはん(aaoan)

数予測された場合に、それらの中に入力した・ありがとう(aiaou)・えいがかん(eiaan)

単語データと一致したものが存在する場合は・おかあさん(oaaan)・おしょうがつ(oouau)

一致した場合と同じく 1 と記録する。

・おむらいす(ouaiu)・くりすます(uiuau)

Ⅳ：Ⅲの手順を 100 回繰り返すことで、それ・こんにちは(oniia)・こんばんは(onana)

ぞれのニューラルネットワークの正答率求・さようなら(aouaa)・しいげんご(iieno)

め、それらを比較し A と B のどちらのニュー・しんぶんし(inuni)・すみません(uiaen)

ラルネットワークのほうがより優れているか

・どらえもん(oaeon)・ひるやすみ(iuaui)を検証する。この比較を行うにあたってそれ・ふゆやすみ(uiaui)・ぷろじぇくと(uoeuo)

ぞれの正答率に有意な差が存在するかどうか

・ぷろぐらむ(uouau)・みらいだい(iaiai)を確認する為にカイ二乗検定を行うことで調・ゆきだるま(uiaua)べる。

3

6.成果とまとめ
今回のプロジェクト学習における成果について、前期の活動ではニューラルネットワー
クについての基本的な知識を学習するということが中心となっており、成果物として参考書[2]内に記述されているネットワークの例

図 4:実験中の環境

題を実際のプログラムで再現させるといったものが挙げられる。後期の活動では読唇術に5.結果と考察

ついての活動が中心となっており、ニューラ測定の結果、A の正答率は 21%であったこと

ルネットワークを用いた読唇術を行うためのに対して、B の正答率は 45%であった。またカプログラム、及び読唇術に関する研究結果がイ二乗検定の結果からこの 2 つは有意な差が見挙げられる。

受けられることから、A と B のパターンでは B最後に今回のプロジェクト学習を通じ、計の方がより正確な読唇術を行うことができる画を細かく立てること、及び常に自身の担当ことが判明した。

部分だけをこなすのではなく、他の作業の状

このような結果になった要因として考えら

況を各自がしっかり理解し、お互いにコミュれることは、B の方が入力に使用するデータがニケーションをとることで全体の作業状況を多くなり、それを元に判別を行うことからでは明確化することの重要性を学ぶことが出来ないか、若しくは、[3]にも各母音の識別は口のた。

面積だけでの判別が難しいという記述があり、それ以外の距離を追加した場合でも同じく口参考文献の形から母音の識別は困難であるからではな
いか等が考えられる。今回の実験では前者、後[1]ブリタニカ国際大百科事典

者共に別の実験を行って検証を行う必要があ[2] 麻生英樹 ニューラルネットワーク情り、活動時間内に検証を行うことは厳しいとい

報処理 -コネクショニズム入門、あるいはうこともあって、このような結果になった要因
柔らかな記号に向けて- 産業図書,1998を決定できるだけのデータを用意することが[3] 小林宏,原文雄.ニューラルネットワーク出来ないという状態で終了してしまったによる人の基本表情認識.計測自動制御
学会論文集 1993.

4