プロジェクト報告書 Project Report

提出日 (Date) 2016/01/20

複雑系の数理とシミュレーション

Mathematics and Simulation of the Complex System
1013152 斉藤健士郎 Kenshiro Saito
ではどのような形でニューラルネットワークが認知的研

1 背景
本プロジェクトではニューラルネットワークを用いて、人の認知機能について学ぶ。ニューラルネットワー
クとは、人間の脳機能に見られる特性をシミュレーションによって表現する数学モデルである。本プロジェクト
は、昨年と取り扱う内容がほとんど違うため、初めからニューラルネットワークのモデルの作成等を行った。また、プロジェクトメンバーが全員で 6 人のため特にグループ分けなどを行わず、全員で仕事を分担してプロジェクトを進めていった。
前期には、ニューラルネットワークについてメンバー全員で輪読・学習を行い、プロジェクトメンバー全員のニューラルネットワークに対する理解を深めた。後期にはニューラルネットワークと認知的課題を結びつけるた
めに、人の表情の識別に注目しニューラルネットワークを用いて調べた。

究で使われてきたかを調べた。
後期には、ニューラルネットワークと認知的課題を結びつけた表情の識別について調べることを目標にした。
ここでの表情の識別とは、人間の基本的な 6 感情（驚き、恐怖、嫌悪、怒り、幸福、悲しみ）を示す表情に分類することである。本プロジェクトでは、” 目は口ほどに物をいう” という、目は口で自分の感情を説明すると同じくらい相手に感情を伝えるという言葉を元に、表情の識別にも目の情報が重要であるかを検証することにした。また、前期と同じように目に見える形のシミュレーションツールを作ることも目標とした。また、前期はメンバー全員が輪読のみを行っていたが、後期からは理論班とプログラム班に分けて活動した。班の人数は理論班4 人、プログラム班 2 人に分けた。

3 課題解決のプロセスとその結果
前期は、プロジェクトメンバー全員でニューラルネッ

2 課題の設定と到達目標
前期のグループで取り組む課題として、ニューラルネットワークに関する学習を文献 [1] を輪読して認知的な課題に応用できるような応用力を身に着けることを目標とした。前期の到達目標としては、ニューラルネットワークを用いた認知的課題を解くようなシミュレーションツールの作成をあげた。特に、学んだ内容をしっかり理解して、一からニューラルネットワークのシミュレーションツールを作ることに力をそそいだ。前期と後期のトワークについて学習するために、メンバー全員で文献 [1] を輪読した。輪読は週に一度、担当したメンバーが担当教員と他のメンバーの前でスライド等を使って解説、発表を行った。輪読は以下の項目に分けて行った。

• ニューラルネットワークの基礎• 階層型ネットワーク• パーセプトロンのネットワーク• 相互結合ネットワーク• ホップフィールドのネットワーク• ボルツマンマシン

間の夏休みに、メンバー全員が文献 [2] と文献 [3] を読

また、全員で学んだこれらの各メカニズムの動きを可視み、後期のニューラルネットワークと認知的課題をどう化させるためのツールをプロジェクトリーダーが作成し結ぶかを各々で考えた。また、それと同時に過去の研究た。ツールの作成は C++ で DirectX を使用し、ホップフィールドネットワークとボルツマンマシンの動きを主とした相互結合ネットワークの連想記憶を完成させた。
ここでの連想記憶とは図１のようにノイズ入りの画像から記憶した画像を連想するモデルである。

図2

特徴点

顔の特徴点のデータを集めるために、本学の学生に協力してもらい表情を取らせてもらうことした。最初は
図1

連想記憶

とった写真から手動で特徴点を打ち手動で計算していたが、これではあまりに非効率だった。そこでプログラム前期の最後に行われた中間発表では、前後半 3 人に分かれスライドを使った発表を行った。主な発表内容は輪読で学んだニューラルネットワークのメカニズムのできるだけ分かりやすく解説と、ホップフィールドネットワークとボルツマンマシンの連想記憶のプログラムのデモであった。前期が終わった後、夏休みの間には文献[2] と文献 [3] をメンバー全員が、文献 [4] をメンバーの半分が読み、ニューラルネットワークと認知科学をどのように結びつけるかを各々で考えた。最終的に、表情の認識をニューラルネットワークの学習を利用して研究することに決まった。
後期の目標としてあげた、表情の識別に関して目の情報がどれほど大事かの検証とシミュレーションツールの開発を行うために、プログラム班 2 人と理論班 4 人にメンバーを分けた。また、ニューラルネットワークを利用した人の表情認識の先行研究である文献 [5] をメンバー全員で読み、どのような手法が使われたかなどを参考にした。それにより、バックプロパゲーションと呼ばれるニューラルネットワークを学習させるためのアルゴリズムを使用することで、精度の高い結果が得られることが分かった。またニューラルネットワークに学習させるた
めに顔の特徴点の位置情報を使っていたので、それに準じ図２のような特徴点を使用することにした。

班は Processing を使用し特徴点の場所を指定すれば自動で計算、テキストファイルに出力するプログラムを作成した。このプログラムを利用してメンバー全員で、30人分の表情のデータを得ることができた。また、データの収集と同時に理論班は文献 [6] を参考に目以外の部位が表情認識にどのような影響を与えるかを調べた。その結果、顔の上部の情報は怒りの表情に、顔の下部の情報は笑顔の表情の認識に大きな影響があることが分かった。
理論班が表情のデータを集めている間、プログラム班はバックプロパゲーションのプログラムを作成した。作成には C ＃を利用し、ニューラルネットワークの学習とデータの識別ができるプログラムを作成した。また、プロジェクトの後半の期末発表に向けて、Kinect を利用したリアルタイムでの表情認識のデモ用オプログラムの作成も行った。この作成には Kinect V1 デバイスとOpenCV を利用し、C++ で作成した。
このプログラムを作成した後に本プロジェクトの目的であった目の情報の重要性を確かめるための比較として、口の情報の重要性も確かめることにした。そのため、全特徴点を取得した場合・目の特徴点を省いた場合・口の特徴点を省いた場合の三通りをニューラルネッ
トワークに入力し検証した。

実験の結果は以下の図３と表１のようになった。

4 今後の課題
今回の結果からは、表情の識別には目の情報が重要であるという事を示唆する結果は得られたが、ことわざ
目は口ほどにも物を言うという通りにはならず、口以上の結果は得られなかった。また、識別の精度についても参考論文ほどに高くならなかった。また今回の実験では、基本 6 感情のうち喜び・怒り・驚きの３つのみが識別する表情だったが、すべての表情を識別した場合には今回とは違う結果が得られたかもしれない。今回は参考文献 [1] が取っていた特徴点とは違った箇所、少ない
図3

各表情の識別率個数でニューラルネットワークの学習と実験を行った。
よって、参考文献 [1] に準じて特徴点を取った場合は精度がより高くなっていと感じる。また、学習に与える

表1

各表情の識別率

データの被験者の数を増やす他に、幅広い年齢と人種のデータを取ることでも精度の改善はできると思われる。
今回は、表情認識をリアルタイムで行うだけのソフトウェアを開発することはできたが、このソフトウェアはどのように応用するかというとこまでは考察・実行することはできなかった。しかし、今回製作できた技術を使
えば笑顔の時に自動でシャッターを下ろすカメラの精度特徴点を全て取ったデータを入力に与えた場合のそを高めることができる。また今回使った Kinect の技術

れぞれの表情の識別率は喜び 87 ％, 驚き 93 ％, 怒り 80を使い合わせれば。赤ちゃんが人の顔を覚えていく過程％となった。次に目の特徴点を省いて入力に与えた場合を体験できるシミュレーションゲームの開発などができの識別率は喜び 80 ％, 驚き 93 ％, 怒り 47 ％となり、口ると考えられる。の特徴点を省いて入力に与えた場合の識別率は喜び 27

このように、被験者の人数を増やす他にも取得する特％, 驚き 20 ％, 怒り 80 ％となった。このことから目の徴点の量を増やす、今後の展望や展開を考えるなどの課

情報は怒りの表情を識別する場合には口以上の重要性が題は残ったが、ニューラルネットワークと表情認識を使ある結果が得られたが、それ以上に口の持つ情報が、目い人の認知機能を調べることがプロジェクト学習を通しの持つ情報よりも表情の識別には重要だということが分て終了できた。

かった。
このように本プロジェクトの当初の目的である、ニューラルネットワークを用いて人の認知機能について学ぶという目標はおおよそ達成することができた。

参考文献
あそうひでき[1] 麻生英樹. ニューラルネットワーク情報処理―コネクショニズム入門、あるいは柔らかな記号に向けて. 産業図書 1988.
あまりしゅんいち[2] 甘利俊一 . 神経回路網モデルとコネクショニズム.
東京大学出版会 1989.
いとうひさえ[3] 伊藤尚枝. 認知過程のシミュレーション入門. 北樹出版 2005.

[4] McLeod, P. Plunkett, K. Rolls,E,T. 認知過程のコネクショニスト・モデル. 北樹出版 2005.

[5] 小林宏, 原文雄こばやしひろし, はらふみお. ニュー
ラルネットワークによる人の基本表情認識. 計測自動制御学会論文集 Vol.29,pp.112-118 1993.

[6] 伊藤美加, 吉川左紀子いとうみか, よしかわさきこ. 表情認知における顔部位の相対的重要性人間環境学研究、Vol.9,pp89-95,2011.