画像グループ(1) 顔表情の認識および会話文理解
会話の内容を理解するために言語情報を解析する自然言語処理の研究が広く行われている．しかし人は会話するとき，言語情報だけではなく，身振り，声調，態度などの非言語情報と呼ばれる情報も利用しながら総合的に理解し，コミュニケーションを成立させている．そのため，言語解析だけでは意味解釈に不十分であるといえる．
このような問題を解決するため，自然会話文理解では顔表情などの非言語情報を抽出し利用することが強く望まれている．しかしながら，現在の顏表情認識技術は，問題点が数多く残されており，まだ確立されていない．そこで本研究では，FACS(Facial Action Coding System)と最小距離法を用いた新たな顔表情認識手法を提案し，表情表出の強弱および個人性に対応可能なシステムの開発を行う．

図 4-1： 感情計測の手順

図 4-2： 情自動計測システムの画面ダンプ図(2) 顔表情の自動認識と応用
会話の内容を理解するために言語情報を解析する自然言語処理の研究が広く行われている．しかし人は会話する
とき，言語情報だけではなく，身振り，声調，態度などの非言語情報と呼ばれる情報も利用しながら総合的に理解し，コミュニケーションを成立させている．そのため，言語解析だけでは意味解釈に不十分であるといえる．
このような問題を解決するため，自然会話文理解では顔表情などの非言語情報を抽出し利用することが強く望まれている．しかしながら，現在の顏表情認識技術は，問題点が数多く残されており，まだ確立されていない．そこで本研究では，表情特徴を表わす顔器官の自動抽出から特徴量を計算し，その特徴量から表情動画データベースの解析を行い，表情の動的な側面の特徴を用いた顔表情認識手法を新たに提案し，表情表出の強弱や個人性に対応可能なシステムの開発を行う．

図 4-3：表情特徴を表わす顔器官の自動抽出

図 4-4：表情を表わす顔特徴点

図 4-5：表情を表わす顔特徴量(3) 人間顔表情認識の研究について
人間のスピーチと動作を理解して、頻繁に人間とコミュニケートするマシンを作るために、その人の感情の影響は考えられるべきです。一般的に、違い感情、例えば、怒りや静けさなどの様々な感情における判断は異なっています。その違さからの効果を測定するの方法がたくさんあります。私たちは、感情コンピューティング（AffectiveComputing）と呼びました。言語、音声、および表情によってのようなコミュニケーションスタイルはそのようなコンピューティングに使用されます。人間らしい感情認識がわかるのは、感情の計算の第 1 段階です。その中に表情における感情変換を捕らえるなら、私たちは、ビデオ・データから感情認識をするためにシステムをたてています。一般的な表情を区別するために、多くの人間の表情データを必要とします。そこで、我々は、このような訓練データを十分に引き出すために、まず、人間の表情のビデオを取っており、ビデオデータベースをセットアップしました。 人間顔表情 Video Database の大規模を使用して、顔表情認識と統合のシステムの研究を行う。

(4) 表情認識の前期研究
人間コミュニケーションの中で 2種類の情報がある:知性情報と感性情報です。知能技術の開発によって、現在知性情報を作り出し、分析することは高いレベルに達成します。しかし感性情報について、大きいな進歩を持っていない。
私達はデジタル方法で人間のある行為と態度を分析すれば、知能システムで人間の顔表情モデル人々の感情を理解と模倣することをやりたいです。それらの行為と態度は主に言語、音声、動き及び表情が含まれている。私の研究は人間の顔映像を分析によって、コンピュータで人々の表情を理解して、上記される映像の中で人の感情状態を推論することです。
左図のように、顔は様々な器官で構成します。これらの器官の形と位置変化はある情報を伝達することができる。
このような情報は人間の感情状態を表現することができて、表情といわれる。表情は多種多様です。研究の正確性のため、現在私達は図 2 の様な簡単な 7 種類の表情を持っている模型を選びます。いわゆる表情認識は、コンピュータでこれらの表情を見分けることです。その中で、画像処理、画像認識、心理学、生理学及び人工知能のなど多種の学科の知識と技術を利用しています。
表情研究は心理学の分野の内容であった。そこで私達は心理学における表情の記述方法を利用します。この方法
は FACS（Facial Action Coding System）といわれる、顔筋肉の位置及び移動方向によって、表情に対してタグをする方法です。FACS ぶによって、顔映像から幾何学の特性点を抽出し、それらの特性点の位置関係と変化は変数として使用しなければならない。上述の特徴点と特徴量を利用して、私達は表情状態と変化を記述することができます。この目的を達成するために、あるサポートを画像認識技術から引くことが必要です。顔画像を関連している研究について、現在発展は比較的によいのは顔認識です。私は顔認識技術を分析と比較して、表情認識について適する技術を発見したい。この部分の仕事はすでに大体完成しました。後の仕事は現在の画像処理方法を学んで、実験モデルを作ります。

(5) 顔表情認識手法開発のための顔表情動画データベースの構築
感情を表す手段として表情は必要不可欠である．コンピュータが人の表情を理解できれば，人とコンピュータとの会話がより円滑にできると思われ，社会の貢献に大きく役立つといえる．コンピュータに顔表情を認識させるために様々な研究がなされているが，従来の研究では，人の表情の動的側面を考慮していない場合が多い．表情は動的なものであり，人は刻々と変化する表情の微妙な動きを観察することで，相手の内部状態を読み取る．このことから，より正確な顔表情認識を行いたいのなら表情を動的に捉える必要がある．

本研究では顔表情データベースを表情認識手法開発のために構築するが，この際に従来の研究の問題点である表情を動的側面を考慮し，データベースの表情を動画で収集する．このデータベースを基に顔表情の分析を行う．動画データベースを構築するには，基となる顔表情が必要である．このために表情を撮影し，表情の収集を行う．撮影には造作表情と自然表情を撮影し，正確な表情の情報を得るためにアンケートも実施する．それから，収集したデータに情報を関連付けるため，メタデータを作成する．また，撮影した動画像の編集もするが，これらは全て手動編集である．これでは，見落としの危険もある上に時間もかかることから，自動編集を可能とするシステムの作成も課題の一つである．このように構築した顔表情動画データベースで表情を解析していく．

(6) ペン入力ジェスチャーのユーザビリティ評価

ペン入力コンピュータ(PDA, TabletPC 等)ではポインティングや様々な機能の実行をペン一本のみで操作する特徴がある．多くの機能を実行するためにペン入力コンピュータのアプリケーションは，ボタンを多めに配置する傾向がある．そのためボタンが画面の多くを占有してしまう問題が起きている．このようなペン入力インタフェースを使いやすくする工夫のひとつとして使われているものに「ペン入力ジェスチャー」（以下，ジェスチャーとする）がある．これは入力された図形の形状を認識し，その形状により対応する機能を実行する手法で，入力の流れで自然に機能を実行することができ，かつアプリケーション上に多数のボタンなどを配置することなく複数の機能を実行することが可能である．
現在，このジェスチャーが使える情報端末がいくつかあるが同じ機能に対応するジェスチャーの形状や使用方法などは異なる．この事はペン入力コンピュータの使いやすさに悪影響を与え，ユーザは操作に混乱してしまう．
ユーザの混乱を排除するためには使いやすいジェスチャーを研究する必要がある．