(57)【要約】【課題】会議や打ち合わせなどの場における知的活動に対する評価をするために対象者の心理状態を情報として提供する。【解決手段】認識装置１０は、行動把握部３２と、心理状態認識部３４とに分類構成される。行動把握部３２は、撮影された対象者の画像データや収音した対象者の音声データから対象者の視線、瞬目、身体動作、音声などの瞬時行動を把握する。心理状態認識部３４では、行動認識部４４において、瞬時行動から対象者の行動についてその特徴を把握した特徴データ５０を得て、行動状態導出部４６において、対象者の感情要素すなわち内部状態を表す状態データ５２を得て、状態変化推定部４８において、対象者の心理状態を推定した結果の心理データ５４を出力する。これらのデータを参照可能に提示することで知的活動に対する評価が容易となる。【選択図】　　　　図２
2004112518.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象者の各々において行動として表れる行動情報を検出する検出手段と、
前記検出手段で検出された行動情報に基づいて前記検出手段の検出時における複数の対象者の各々の行動の特徴を表す特徴情報を導出する導出手段と、
前記導出手段で導出した特徴情報に基づいて指定対象者の感情要素を表す要素情報を求める要素演算手段と、
前記要素演算手段で求めた要素情報に基づいて前記指定対象者の心理状態を表す心理情報を求める心理演算手段と、
前記心理演算手段で求めた心理情報を提示する提示手段と、
を備えたことを特徴とする情報提供装置。
【請求項２】
前記検出手段は、複数の対象者を撮影した撮影画像情報を行動情報として検出する映像検出手段と、複数の対象者が発する音声情報を行動情報として検出する音声検出手段と、から構成されることを特徴とする請求項１に記載の情報提供装置。
【請求項３】
前記導出手段は、前記行動情報と前記特徴情報との対応関係を予め記憶した特徴記憶手段を含み、前記特徴記憶手段を参照して特徴情報を導出することを特徴とする請求項１または請求項２に記載の情報提供装置。
【請求項４】
前記要素演算手段は、予め定めた複数の感情要素と前記特徴情報との対応関係を予め記憶した感情記憶手段を含み、前記感情記憶手段を参照して要素情報を求めることを特徴とする請求項１乃至請求項３の何れか１項に記載の情報提供装置。
【請求項５】
前記心理演算手段は、予め定めた複数の心理状態と前記要素情報との対応関係を予め記憶した心理記憶手段を含み、前記心理記憶手段を参照して心理情報を求めることを特徴とする請求項１乃至請求項４の何れか１項に記載の情報提供装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報提供装置にかかり、特に、知的活動に対する評価をするために情報を提供する情報提供装置に関する。
【０００２】
【従来の技術】
会議や打ち合わせなどの場で、発言者の意図や意見を的確に伝達したり理解させたりすることは容易ではない。また、発言者は、聴取者が発言者の意図や意見を的確に理解していることを把握することも容易ではない。このような場では、意見を交わす発言者や聴取者を傍観したり、その場を進行したりする第三者が把握することはさらに困難である。
【０００３】
このため、被験者の言動における「音声」、「動画像」、「生理」などのデータを取得して、これから被験者の言動を理想人物の言動と比較することによって評価するシステムが知られている（例えば、特許文献１参照）。この技術では、「音声」から音量、速度、なめらかさなどを抽出して丁寧度やほめ度などを評価し、「動画像」から姿勢、表情などを抽出して、優雅さや身振りの大きさなどを評価し、「生理」から発汗、心拍、血圧、瞬目などを利用して緊張度や疲労度などを評価している。
【０００４】
ところが、理想人物に対する評価であるので、理想人物を模倣することで評価は高くなり、実際に、会議や打ち合わせなどの場で、発言者や聴取者の状態、例えば把握や理解の度合いを、第三者が把握することは困難である。
【０００５】
また、会議や打ち合わせなどの場での評価を行うシステムも知られている（例えば、特許文献２参照）。この技術では、電子会議システムにおいて、発言者および発言者以外の参加者の「音声」、「画像」、「生理」などのデータを取得し、発言の「信頼度」を評価している。具体的には、「音声」、「画像」、「温度」、「脈拍」などのデータをもとに、顔色、仕種、体温などを検知するとともに周囲の環境変化や雑音などを検知し、これらの情報からどのような状況で発言されたかを判別することで発言の「信頼度」を推定している。
【０００６】
【特許文献１】
特開２０００−１９４２５２号公報
【特許文献２】
特開平０５−２５２５０９号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、実際に、会議や打ち合わせなどの場で、信頼度などの評価に集約された結果を得ることはできるものの、その過程の評価は困難である。すなわち、実際に、会議や打ち合わせなどの場で、発言者や聴取者の状態、例えば把握や理解の度合いを、第三者が把握することは困難である。
【０００８】
本発明は、上記事実を考慮して、会議や打ち合わせなどの場における知的活動に対する評価をするために対象者の心理状態を情報として提供する情報提供装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は、複数の対象者の各々において行動として表れる行動情報を検出する検出手段と前記検出手段で検出された行動情報に基づいて前記検出手段の検出時における複数の対象者の各々の行動の特徴を表す特徴情報を導出する導出手段と、前記導出手段で導出した特徴情報に基づいて指定対象者の感情要素を表す要素情報を求める要素演算手段と、前記要素演算手段で求めた要素情報に基づいて前記指定対象者の心理状態を表す心理情報を求める心理演算手段と、前記心理演算手段で求めた心理情報を提示する提示手段と、を備えたことを特徴とする。
【００１０】
本発明では、会議や打ち合わせなどの場で、発言者や聴取者などの対象者の心理状態を把握するため、検出手段により、複数の対象者の各々において行動として表れる行動情報を検出する。この検出は、対象者の所作や感情表現の動作による行動を、映像や音声などによる第三者の観察結果に相当する。検出により得られた行動情報から、導出手段により検出時における特徴情報が導出される。
【００１１】
特徴情報は、複数の対象者の各々の行動の特徴を表すものであり、対象者の各々について導出される。また、特徴情報は、対象者の行動の特徴として、対象者の肢体各部の変動や対象者が発する音などで統合的に分類することができる。
【００１２】
すなわち、例えば、視線の挙動、身ぶりや手ぶりなどで代表される、眼球や瞼、頭部や腕などの肢体の変動についてその位置、速度や方向などに、対象者の心理状態が現れる。また、息づかいや声づかいのタイミング、速度や大きさなどに、対象者の心理状態が現れる。そこで、これら対象者の肢体各部の変動や対象者が発する音を、予め分類し、その分類に該当する検出手段の検出結果の量や度合いを、対象者の行動の特徴を表す特徴情報として導出する。
【００１３】
導出手段で導出した特徴情報は、行動の特徴であるので、その時点における対象者の感情である内部状態に寄与していると考えられる。そこで、要素演算手段では、特徴情報から複数対象者のうちの１対象者である指定対象者の感情要素を表す要素情報を求める。すなわち、対象者の行動の特徴は、対象者の感情に対応することが多い。例えば、話題が不快であるときは、視線をそらしたり、ため息をついたりするが、快適なときは笑顔になったり身を乗り出したりする。このような感情要素としては、快適さ、興奮、緊張などがある。従って、特徴情報と感情要素とは相関関係があるので、特徴情報に対応する指定対象者の感情要素を表す要素情報を求めることで、特徴情報から、指定対象者について感情要素を定量化することが可能になる。
【００１４】
要素演算手段で求めた要素情報は、感情要素が定量化されたものであるが、感情要素は、指定対象者のその時点の心理状態のひとつの要素である。例えば、心理状態には、対極する状態があり、一例としては関心（興味）／無関心、共感／嫌悪などが挙げられる。心理状態には、少なくとも１つの感情要素が関係するので、心理状態に関係する感情要素に対応する要素情報を得ることで、心理状態を特定することが可能にある。そこで、心理演算手段では、感情要素に対応する要素情報の関係から、要素演算手段で求めた要素情報から指定対象者の心理状態を表す心理情報を求めることができる。これによって、心理状態を定量化することができる。
【００１５】
このようにして心理演算手段で求めた心理情報を提示手段で提示する。これによって、指定対象者の心理状態を、第三者が把握するための情報を、定量的な心理情報を提示することができる。
【００１６】
複数の対象者の各々において行動として表れる行動情報を検出するには、対象者を捉えた映像や音声から把握することが好適である。そこで、前記検出手段は、複数の対象者を撮影した撮影画像情報を行動情報として検出する映像検出手段と、複数の対象者が発する音声情報を行動情報として検出する音声検出手段と、から構成する。
【００１７】
映像検出手段では、対象者の行動を映像として捉えることができ、音声検出手段では対象者が発する音を音声情報として捉えることがでる。これによって、対象者の行動を情報化することが容易になる。
【００１８】
前記導出手段は、前記行動情報と前記特徴情報との対応関係を予め記憶した特徴記憶手段を含み、前記特徴記憶手段を参照して特徴情報を導出することができる。
【００１９】
前記のように、対象者の肢体各部の変動や対象者が発する音を、予め分類することで、特徴情報の導出は容易となる。そこで、特徴記憶手段として、行動情報を予め分類した分類対象について検出手段の検出結果の量や度合いを対応させることで、対象者の行動の特徴を表す特徴情報を容易に導出することができる。
【００２０】
前記要素演算手段は、予め定めた複数の感情要素と前記特徴情報との対応関係を予め記憶した感情記憶手段を含み、前記感情記憶手段を参照して要素情報を求めることができる。
【００２１】
行動の特徴である特徴情報は、その時点における対象者の感情である内部状態に寄与し、その感情要素に対応している。このため、感情記憶手段として特徴情報と感情要素との相関関係を記憶することで、特徴情報から、容易に感情要素における要素情報を求めることができる。
【００２２】
前記心理演算手段は、予め定めた複数の心理状態と前記要素情報との対応関係を予め記憶した心理記憶手段を含み、前記心理記憶手段を参照して心理情報を求めることができる。
【００２３】
要素情報は、感情要素を表すものであり、感情要素はその時点の心理状態のひとつの要素である。従って、心理状態は、要素情報と相関関係を有することとなるので、心理記憶手段として記憶することで、要素情報から容易に心理状態を表す心理情報を求めることができる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態では、会議等の出席者に対して、その行動を把握し分析し、その知的活動を支援するために、出席者の行動についての情報を提供する場合に、本発明を適用したものである。
【００２５】
本実施の形態では、複数の対象者による相互作用を含む知的活動（ディスカッション、プレゼンテーションなどの打ち合わせや会議など）における行動（視線運動、音声変化、身体運動など）を認識することによって、これに関わる対象者の心理状態を推定すると共に、この心理状態に関する情報をもとに知的活動を支援するものである。
【００２６】
〔構成〕
図１には、本発明が適用可能な知的活動を支援するための認識装置１０の概略構成が示されている。図１に示したように、認識装置１０は、ＣＰＵ１２，ＲＯＭ１４，ＲＡＭ１６が入出力ポート（以下、Ｉ／Ｏという）１８に接続され、コマンドやデータが授受可能なコンピュータ構成とされている。このＩ／Ｏ１８には、各種データやプログラムが格納されたメモリ２０が接続されている。
【００２７】
また、Ｉ／Ｏ１８には、データ入力のためのキーボード２８、コマンドやデータを表示するためのディスプレイ（以下、ＣＲＴという）３０、及びコマンドやデータを印刷するためのプリンタ２６が接続されている。さらに、Ｉ／Ｏ１８には、会議等の出席者を撮影するカメラなどの撮影装置２２、及び出席者が発する音声を入力するマイクロフォンなどの音声装置２４が接続されている。
【００２８】
〔機能ブロック〕
本実施の形態では、知的活動を支援するために、認識装置１０は、複数の認識処理を段階的に実施している。その概要は、センサ（撮影装置２２、音声装置２４）あらのデータを用いて全ての対象者の行動を把握し、次に、指定した対象者（以下、指定対象者という）について、行動の特徴を把握し、対象者の感情要素を推定し、対象者の心理状態を推定する。この場合、指定対象者に関係する他の対象者との関わりも要素となる。この各段階のデータを出力可能とすることで、知的活動を支援することが可能となる。なお、上記推定を、指定対象者を対象者全てについて実行することにより、相互関係を含めた対象者の各々の心理状態を推定できるので、知的活動の場として拘わる対象者を支援することが可能となる。
【００２９】
図２には、上記認識装置１０における、会議などの知的活動を支援するための情報授受について、認識処理に関する機能的なブロック図で示した。認識装置１０は、その機能部分として、行動把握部３２と、心理状態認識部３４とに分類される。
【００３０】
行動把握部３２は、撮影装置２２で撮影された対象者の画像データや音声装置２４で収集した対象者の音声データから、対象者の瞬時行動を把握するものであり、心理状態認識部３４は、行動把握部３２で把握された対象者の瞬時行動から対象者の心理状態を推定するものである。
【００３１】
行動把握部３２では、対象者の瞬時行動把握として、視線、瞬目、身体動作、音声、の４種類の瞬時行動に分類して把握する。これらの瞬時行動を把握するため、本実施の形態の行動把握部３２は、視線把握部３６、瞬目把握部３８、身体動作把握部４０、音声把握部４２から構成されてており、各々の把握部からデータを得ることができる。
【００３２】
まず、撮影装置２２で撮影された対象者の画像データを認識処理（画像認識）する把握部は、視線把握部３６、瞬目把握部３８及び身体動作把握部４０が対応する。また、音声装置２４で収集した対象者の音声データを認識処理（音声認識）する把握部は、音声把握部４２が対応する。各々の把握部で把握する項目は、次の表１に示した。
【００３３】
【表１】
2004112518.tif 000003
【００３４】
行動把握部３２として機能する認識装置１０は、上記各把握部として機能する把握処理プログラムがメモリ２０に格納されており、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、Ｉ／Ｏ１８及びメモリ２０の各資源を利用して処理することによって各把握が達成される。
【００３５】
すなわち、視線把握部３６は、撮影画像を画像処理することで対象者の眼球の位置及び瞳の位置から視線方向、及び所定時間内における動きを把握データとして得る。瞬目把握部３８は、撮影画像（撮影装置２２で得た画像データ）を画像処理することで対象者の眼球の位置及び瞼の挙動から瞬目頻度、及び瞬目の分布（群発性）を把握データとして得る。
【００３６】
また、身体動作把握部４０は、撮影画像を画像処理することで対象者の肢体として頭部、顔、手腕、上体、及び姿勢を認識すると共に、各認識について、肢体の位置、方向、及び所定時間内における動きを把握データとして得る。なお、この身体動作把握部４０では、その場における対象者の位置、他の対象者との相対関係をさらに把握し、これを把握データに含めている。
【００３７】
音声把握部４２は、取得音声（音声装置２４で得た音声データ）を音声処理することで対象者の会話を抽出し、声量、トーン、速度、連続性の把握データを得る。また、取得音声には、周囲環境音が含まれる場合があるので、これも環境音として把握データとすることができる。
【００３８】
次に、心理状態認識部３４について説明する。心理状態認識部３４では、行動把握部３２で得られた把握データを用いて、対象者の心理状態を推定する。心理状態認識部３４は、行動認識部４４、行動状態導出部４６、状態変化推定部４８から構成される。
【００３９】
心理状態認識部３４として機能する認識装置１０は、上記各部として機能する処理プログラムがメモリ２０に格納されており、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、Ｉ／Ｏ１８及びメモリ２０の各資源を利用して処理することによって各処理が達成される。
【００４０】
行動認識部４４は、対象者の行動についてその特徴を把握する処理部であり、行動把握部３２からの把握データが入力されるように構成される。この行動認識部４４で把握された行動の特徴は、特徴データ５０として心理状態認識部３４から出力されるように構成されると共に、特徴データ５０は行動状態導出部４６へ出力されるように構成される。
【００４１】
この行動認識部４４では、入力された把握データから指定対象者の特徴を把握処理するものであり、把握データに含まれる、視線、瞬目、身体動作、及び音声を用いて把握する。把握する特徴項目は、次の表２に示した。
【００４２】
【表２】
2004112518.tif 000004
【００４３】
行動認識部４４で把握する特徴項目は、指定対象者について単独で抽出することが可能な項目と、他の対象者との相互関係から抽出可能な項目とに分類できる。単独で抽出可能な項目は、視線については、視線の向きや動き、視線と指定対象者の顔の向きのずれがある。瞬目については、瞬目頻度や瞬目群発性がある。身体動作については、頭部の上下運動や左右運動、顔と体の向きのずれ、手腕の動き、上体の向き、上体の動き、前傾、後傾などがある。音声については、声量、トーン、速度などがある。
【００４４】
他の対象者との相互関係から抽出可能な項目には、視線については視線の交差があり、身体動作については姿勢の正対、姿勢の一致、注視対象の一致、身振り・手振りの同期・同調がある。また、音声については、会話の連続性がある。
【００４５】
これらの特徴は、特徴データ５０として出力されるが、項目毎の大きさや頻度を係数として出力することもできる。
【００４６】
なお、複数の対象者の内の指定対象者を特定するときには、複数の把握データを必要とする場合がある。例えば、身体動作把握部４０において、その場における指定対象者の位置、他の対象者との相対関係をさらに把握した場合、音声が指定対象者に該当するか否かは、音声と同期した口や手腕などの肢体の動きの有無から判別でき、指定対象者の他の指定対象者に対する向きは、視線方向や身体の向きなどから判別できる。すなわち、１つの把握データから判別が困難な場合には、他の把握データを用いて判別することができる。
【００４７】
行動状態導出部４６は、対象者の感情要素すなわち内部状態を導出する処理部であり、特徴データ５０に基づいて導出された対象者の内部状態である行動状態は、状態データ５２として心理状態認識部３４から出力されるように構成されると共に、状態データ５２は状態変化推定部４８へ出力されるように構成される。
【００４８】
この行動状態導出部４６では、入力された特徴データ５０から指定対象者の内部状態を導出処理するものであり、予め定めた行動の特徴と感情要素との関係から求めることができる。この行動の特徴と感情要素の関係は、次の表３乃至表５に示した。本実施の形態では、Ｗｕｎｄｔの感情３次元説に基づき、感情要素として、快適さ（快適から不快）、興奮さ（興奮から沈静）、緊張さ（緊張から弛緩）の３種類を採用する。
【００４９】
【表３】
2004112518.tif 000005
【００５０】
【表４】
2004112518.tif 000006
【００５１】
【表５】
2004112518.tif 000007
【００５２】
行動状態導出部４６として機能する認識装置１０は、上記行動状態導出部４６として機能する処理プログラムがメモリ２０に格納されており、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、Ｉ／Ｏ１８及びメモリ２０の各資源を利用して処理することによって各把握が達成される。
【００５３】
すなわち、行動状態導出部４６は、快適さの状態データ５２を得るために、特徴データ５０のうちの視線及び身体動作の該当データを用いて快適さを数値化する。
【００５４】
表３に示す快適と不快の例では、視線の向きについては、他の対象者（例えば会話の対象者）に向き合う方向になるに従って快適となるデータ、避ける方向になるに従って不快となるデータとする。同様に、視線の顔方向のずれについて、他の対象者に向き合う方向になるに従って快適となるデータ、避ける方向になるに従って不快となるデータとする。
【００５５】
また、身体動作のうちの上体の向きについては、他の対象者（例えば会話の対象者）に向き合う方向になるに従って快適となるデータ、さける方向になるに従って不快となるデータとする。同様に、前後方向の傾きについては、前傾方向になるに従って快適となるデータ、後傾方向になるに従って不快となるデータとし、上体の顔方向のずれについては、一致するに従って快適となるデータ、ずれる方向になるに従って不快となるデータとする。
【００５６】
さらに、身体動作のうちの頭部の上下方向については、動きが大きくなるに従って快適となるデータとする。なお、頭部の左右方向については、動きが大きくなるに従って不快となるデータとすることもできる。
【００５７】
表４に示す興奮と沈静の例では、視線の動きについては、動かなくなるに従って興奮となるデータ、揺れるに従って沈静となるデータとする。同様に、瞬目の頻度について、低下するに従って興奮となるデータ、群発するに従って沈静となるデータとする。
【００５８】
また、身体動作のうちの上体の動きについては、揺れるに従って興奮となるデータとし、手腕の動きについては、動きが大きくなるに従って興奮となるデータ、動きが小さくなるに従って沈静となるデータとする。
【００５９】
さらに、音声のうちの音量については、大きくなるに従って興奮となるデータ、小さくなるに従って沈静となるデータとし、速度については、速くなるに従って興奮となるデータ、遅くなるに従って沈静となるデータとし、トーンについては、高くなるに従って興奮となるデータ、低くなるに従って沈静となるデータとする。
【００６０】
表５に示す緊張と弛緩の例では、視線の動きについては、不安定になるに従って緊張となるデータとする。同様に、瞬目の頻度について、増加するに従って緊張となるデータ、減少するに従って弛緩となるデータとする。また、身体動作のうちの手腕の動きについては、動かなくなるに従って弛緩となるデータとする。
【００６１】
上記状態データ５２としてデータを得るには、言語値を数値化するファジイ推論、ニューラルネットワークシステムや遺伝的アルゴリズムを用いて数値化することがが可能である。
【００６２】
状態変化推定部４８は、対象者の心理状態を推定する処理部であり、状態データ５２に基づいて推定された対象者の状態変化は、心理データ５４として心理状態認識部３４から出力されるように構成される。
【００６３】
状態変化推定部４８として機能する認識装置１０は、上記行動状態導出部４６として機能する処理プログラムがメモリ２０に格納されており、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、Ｉ／Ｏ１８及びメモリ２０の各資源を利用して処理することによって心理状態の推定が達成される。
【００６４】
すなわち、状態変化推定部４８は、心理データ５４を得るために、３種類の状態データ５２を用いて心理状態を数値化する。この数値化には３次元ルックアップテーブルが用いられる。
【００６５】
図３には、本実施の形態で採用した３種類の感情要素である、快適さ（快適から不快）、興奮さ（興奮から沈静）、緊張さ（緊張から弛緩）の各々を軸とした心理状態空間６０を示した。心理状態空間６０には、予め定めた心理状態の領域が定められている。本実施の形態では、心理状態は、共感、嫌悪、興味、無関心、活性、抑圧の６種類を採用している。これらの共感、嫌悪、興味、無関心、活性、抑圧の６種類からなる心理状態を表すデータを心理データ５４とする。
【００６６】
すなわち、心理状態は、感情要素の分布で包括することができ、この包括された領域内のいずれに位置するかによって、心理状態を推定することが可能となる。そこで、多数の対象者に対して予め図３に示す心理状態空間６０内に状態データ５２の感情要素をプロットし、そのプロットの相関関係により領域を分類する。その分類した領域について心理状態が対応されるので、分類した領域を心理状態を表す領域として、その領域内において心理状態の大きさを定める。これによって、状態データ５２の感情要素に対応する心理データ５４の心理状態を求めることができ、指定対象者の心理状態を推定できる。
【００６７】
例えば、快適さ、興奮さ、緊張さの状態データ５２と、共感、嫌悪、興味、無関心、活性、抑圧の心理データ５４との対応関係を図４及び図５に示した。
【００６８】
図４の例では、快適さ及び興奮さの状態データ５２と、共感、嫌悪、興味、無関心の心理データ５４との対応関係を示した。快適さ及び興奮さの２次元領域について、快適さ及び興奮さの軸で分離された４つの分離領域のそれぞれに共感、嫌悪、興味、無関心の心理状態の各々が対応されている。すなわち、快適さが高くかつ興奮さが高い分離領域に心理状態（共感）が対応され、快適さが低く（不快性が高く）かつ興奮さが高い分離領域に心理状態（嫌悪）が対応され、快適さが高くかつ興奮さが低い（沈積性が高い）分離領域に心理状態（興味）が対応され、快適さが低く（不快性が高く）かつ興奮さが低い（沈積性が高い）分離領域に心理状態（無関心）が対応される。
【００６９】
これによって、快適さ及び興奮さの状態データ５２をプロットした点Ｐ１が、そのプロット位置に対応する心理状態の領域内に存在すれば（ここでは、共感の領域に該当）、該当する心理状態と推定でき、さらに、その領域内の位置の重みにより、心理状態を数値化できる。この重みは、図４の例では、分離領域である心理状態（共感）は、ほぼ円形領域とされ、その中心を最も高い共感を示し半径方向に移動するに従って共感度が希薄になるように設定することができる。なお、この重みは、予め多数のデータにより求めた相関関係から定めたテーブルや関数を採用することもできる。
【００７０】
また、図５の例では、快適さ及び緊張さの状態データ５２と、活性、抑圧の心理データ５４との対応関係を示した。快適さ及び緊張さの２次元領域について、快適さ及び緊張さの軸で分離された分離領域のうち、快適さが高くかつ緊張さが高い分離領域に心理状態（活性）が対応され、快適さが低く（不快性が高く）かつ緊張さが高い分離領域に心理状態（抑圧）が対応される。
【００７１】
これによって、快適さ及び緊張さの状態データ５２をプロットした点Ｐ２が、そのプロット位置に対応する心理状態の領域内に存在すれば（ここでは、活性の領域に該当）、該当する心理状態と推定でき、さらに、その領域内の位置の重みにより、心理状態を数値化できる。この重みは、図４の例と同様に、分離領域である心理状態（共感）は、ほぼ円形領域とされ、その中心を最も高い共感を示し半径方向に移動するに従って共感度が希薄になるように設定することができる。なお、この重みは、予め多数のデータにより求めた相関関係から定めたテーブルや関数を採用することもできる。
【００７２】
以上説明した特徴データ５０、状態データ５２、及び心理データ５４は、プリンタ２６やＣＲＴ３０で参照可能に提示される。
【００７３】
なお、認識装置１０は本発明の情報提供装置に相当する。また、行動把握部３２は本発明の検出手段に相当し、行動認識部４４は本発明の導出手段に相当し、行動状態導出部４６は本発明の要素演算手段に相当し、状態変化推定部４８は本発明の心理演算手段に相当する。また、本発明の提示手段は、プリンタ２６やＣＲＴ３０が対応する。
【００７４】
〔実施形態の作用〕
次に、本実施形態の作用を説明する。認識装置１０の電源が投入されると、図６に示す処理ルーチンが実行され、ステップ１００へ進む。ステップ１００では、撮影装置２２及び音声装置２４により、複数の対象者に対する画像データ及び音声データが収集され、これをセンサデータとして検出する。
【００７５】
次のステップ１０２では、ステップ１００で検出したセンサデータにより、画像認識処理及び音声認識処理が実行される。これらの画像認識処理及び音声認識処理は、上述の機能部である行動把握部３２で処理される処理に相当し、ステップ１０２によって、把握データが得られる。
【００７６】
次に、ステップ１０４において、指定対象者を設定する。この設定は、ステップ１０２で得られた把握データにより特定できる対象者の何れかを設定すればよく、自動的に一人の対象者を設定してもよく、オペレータのキーボード２８による入力によって設定してもよい。
【００７７】
次のステップ１０６では、ステップ１０４で設定した指定対象者について、行動の特徴を把握する。このステップ１０６の処理は、上述の機能部である行動認識部４４で処理される処理に相当し、上述のように指定対象者についての行動の特徴を表す特徴データ５０を求める。次のステップ１０８では、特徴データ５０から、感情要素を定量化する。このステップ１０８は、上述の機能部である行動状態導出部４６で処理される処理に相当し、上述のように指定対象者のその時点における行動状態に起因する指定対象者の内部状態を表す感情要素を数値化した状態データ５２を求める。
【００７８】
次のステップ１１０では、状態データ５２から、心理状態を定量化する。このステップ１１０は、上述の機能部である状態変化推定部４８で処理される処理に相当し、上述のように指定対象者のその時点における心理状態を分類しかつ分類した心理状態を数値化した心理データ５４を求める。
【００７９】
そして、ステップ１１２では全ての対象者について上述の処理が終了したか否かを判断し、否定されると、ステップ１０４へ戻り、残存する対象者について上述の処理を実行する。全ての対象者について心理状態の推定処理が終了すると、ステップ１１４へ進み、上記得られた特徴データ５０、状態データ５２、心理データ５４をプリンタ２６やＣＲＴ３０へ出力することによって、推定した心理状態を提示したのちに本ルーチンを終了する。
【００８０】
このようにして、会議など知的活動の場において、対象者の行動について映像や音声により収集したデータを用いて認識処理をした結果について、対象者の行動の特徴を抽出し、その行動の特徴から感情要素を求め、求めた感情要素から心理状態を推定しているので、会議など知的活動の場にあってその参加者である対象者がどのような心理状態にあるのか、どのような心理状態でその場に立ち会っているのかなどのように、通常知り得ない心理状態を数値化して提示できる。このため、会議など知的活動の場の運営や運営者の意図、または管理者の意向や進行度合を把握するのにあたって、有意義なデータを提供することが可能となる。
【００８１】
なお、上記では、複数の対象者から指定対象者を設定し、順次設定を変更することで全ての対象者について心理データ５４を得る場合を説明したが、全ての対象者について心理データ５４を得ることに限定されない。例えば、予め定めた指定対象者のみのデータを出力するようにしてもよい。
【００８２】
また、上記では、心理データ５４を求めたのちに全てのデータを出力する場合を説明したが、特徴データ５０、状態データ５２、心理データ５４のいずれのデータを出力してもよく、単一のデータ及び組み合わせたデータを出力してもよい。また、データの出力は、求めた時点で出力してもよい。例えば、ステップ１０６の後に特徴データ５０を出力してもよく、ステップ１０８の後に状態データ５２を出力してもよく、ステップ１１０の後に心理データ５４を出力してもよい。
【００８３】
また、上記では会議などの単一の議題の場における心理データ５４などのデータ出力を説明したが、複数の議題を複数のコミュニティで行っている場へも、本実施の形態の認識装置１０は容易に適用することができる。例えば、対象者の視線方向で到達する対象者の存在を図形的に求めるなどのように、議題のグループをコミュニティとして場を分類し、分類されたコミュニティ毎に処理を実行することによって達成することができる。
【００８４】
また、上記では撮影装置２２や音声装置２４で撮影したり収音したりしたデータを用いて心理状態を推定した場合を説明したが、撮影装置２２や音声装置２４で予め撮影したり収音したりしたデータを記憶媒体（例えば磁気テープや光ディスク）に記憶して、その記憶媒体に記憶されたデータ用いて心理状態を推定してもよい。
【００８５】
本実施の形態の処理ルーチン及び各機能部の処理は、記録媒体としての磁気ディスクメディアに格納して流通させることが可能である。この場合、図示しない磁気ディスクメディアリードライト装置を備えることによって、処理ルーチン等は、図示しない磁気ディスクメディアリードライト装置を用いて磁気ディスクメディアに対して読み書き可能である。従って、予め磁気ディスクメディアに処理ルーチン等を記録しておき、図示しない磁気ディスクメディアリードライト装置を介して磁気ディスクメディアに記録された処理プログラムを実行してもよい。また、コンピュータにハードディスク装置等の大容量記憶装置（図示省略）を接続し、磁気ディスクメディアに記録された処理プログラムを大容量記憶装置（図示省略）へ格納（インストール）して実行するようにしてもよい。また、記録媒体としては、ＣＤ−ＲＯＭ，ＭＤ，ＭＯ，ＤＶＤ等のディスクやＤＡＴ等の磁気テープがあり、これらを用いるときには、上記図示しない磁気ディスクメディアリードライト装置に代えてまたはさらにＣＤ−ＲＯＭ装置、ＭＤ装置、ＭＯ装置、ＤＶＤ装置、ＤＡＴ装置等を用いればよい。
【００８６】
【発明の効果】
以上説明したように本発明によれば、会議や打ち合わせなどの場で、発言者や聴取者などの対象者の心理状態を把握するため、複数の対象者の各々において行動として表れる行動情報を検出した結果得られる特徴情報から、対象者の感情である内部状態に寄与する要素情報を求めた後に、心理状態を表す心理情報を求めて、これを提示するので、対象者の心理状態を、第三者が把握するための情報すなわち定量的な心理情報を提示することができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる認識装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態にかかる認識装置を機能的に説明するための機能別概念構成図である。
【図３】本発明の実施の形態にかかる認識装置で用いられる感情要素を軸とした心理状態空間を示すイメージ図である。
【図４】快適さ及び興奮さの状態データと、共感、嫌悪、興味、及び無関心の心理データとの対応関係を説明するための説明図である。
【図５】快適さ及び緊張さの状態データと、活性及び抑圧の心理データとの対応関係を説明するための説明図である。
【図６】本実施の形態にかかる認識装置において実行される処理の流れを示すフローチャートである。
【符号の説明】
１０…認識装置
２２…撮影装置
２４…音声装置
３２…行動把握部
３４…心理状態認識部
４４…行動認識部
４６…行動状態導出部
４８…状態変化推定部
５０…特徴データ
５２…状態データ
５４…心理データ
６０…心理状態空間
【図１】
2004112518.tif 000008
【図２】
2004112518.tif 000009
【図３】
2004112518.tif 000010
【図４】
2004112518.tif 000011
【図５】
2004112518.tif 000012
【図６】
2004112518.tif 000013