(57)【要約】【課題】対象者の行動対象となる任意の構造物を含んだ対象空間において、対象者の注目についての情報を提供する。【解決手段】評価装置７０では、認識装置１０からの対象者の特徴をデータとして入手し、空間評価部９２において空間内に存在する物品の構造を考慮して注目された空間を評価し、その空間の注目状態（感情）を注目状態評価部９４で評価し、注目部位評価部９６において、対象者が注目した部位を導出して、対象部位データ９８として出力する。これにより、対象者が注目した注目部位を提示することができる。【選択図】        図１０
2004280673.tif 000002
【特許請求の範囲】
【請求項１】
対象者の行動について特徴を表す特徴情報を検出する検出手段と、
前記対象者の行動の対象となる対象空間における構造物の位置及び構造を表す構造情報を記憶する記憶手段と、
前記対象空間を単位空間で分割しかつ前記構造情報による構造物が分割した単位空間の何れに該当するかの対応関係を求め、前記特徴情報に基づいて、対象者が注目する位置に対応する単位空間を導出すると共に該単位空間について前記対象者が注目した度合いを表す注目度を導出する導出手段と、
前記導出手段で導出した単位空間と注目度とを対応づけて蓄積する蓄積手段と、
前記蓄積手段で蓄積した単位空間と注目度とに基づいて、前記対象者が注目した注目部位を特定する特定手段と、
前記特定手段により特定した注目部位を提示する提示手段と、
を備えたことを特徴とする情報提供装置。
【請求項２】
前記検出手段は、対象者を撮影した撮影画像情報を特徴情報として検出する映像検出手段と、複数の対象者が発する音声情報を特徴情報として検出する音声検出手段と、から構成されることを特徴とする請求項１に記載の情報提供装置。
【請求項３】
前記検出手段は、対象者の視線に関係する視線情報を検出し、前記導出手段は、前記対象者の視線情報から前記単位空間及び注目度を導出することを特徴とする請求項１または請求項２に記載の情報提供装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報提供装置にかかり、特に、３次元空間内において対象者が関心を寄せる情報を提供する情報提供装置に関する。
【０００２】
【従来の技術】
催事場や展覧会などの場で、視聴者が注目するものを把握することは、主催者側や、その場の動向を把握する上で重要である。
【０００３】
そこで、テレビカメラで撮像した画像データに基づいて任意の商品等に対して注目したか否かの判定や注目も度合いを計測するシステムが知られている（例えば、特許文献１参照）。この技術では、テレビカメラで人物を撮像した画像データから人物の位置、顔の向きなどを検出し、任意の物体周辺の滞在時間や滞在人物の人数などを基にして注目度を求めている。
【０００４】
【特許文献１】
特開平１０−４８００８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、人物のみの把握では、実際に人物が注目することを判定するには不十分である。すなわち、人物が３次元的にどの位置を注目しているのかを正確に検出しなければならず、視線方向のみからの検出では困難である。
【０００６】
本発明は、上記事実を考慮して、対象者の行動対象となる任意の構造物を含んだ対象空間において、対象者の注目についての情報を提供する情報提供装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明の情報提供装置は、対象者の行動について特徴を表す特徴情報を検出する検出手段と、前記対象者の行動の対象となる対象空間における構造物の位置及び構造を表す構造情報を記憶する記憶手段と、前記対象空間を単位空間で分割しかつ前記構造情報による構造物が分割した単位空間の何れに該当するかの対応関係を求め、前記特徴情報に基づいて、対象者が注目する位置に対応する単位空間を導出すると共に該単位空間について前記対象者が注目した度合いを表す注目度を導出する導出手段と、前記導出手段で導出した単位空間と注目度とを対応づけて蓄積する蓄積手段と、前記蓄積手段で蓄積した単位空間と注目度とに基づいて、前記対象者が注目した注目部位を特定する特定手段と、前記特定手段により特定した注目部位を提示する提示手段と、を備えたことを特徴とする。
【０００８】
本発明では、催事場や展覧会などの場で、視聴者や参加者などの対象者が注目する部位を把握するため、検出手段により、対象者の行動について特徴を表す特徴情報を検出する。この検出は、対象者の所作や感情表現の動作による行動を、映像や音声などによる第三者の観察結果に相当する。特徴情報は、対象者の行動の特徴を表すものであり、対象者の行動の特徴として、対象者の肢体各部の変動や対象者が発する音などで統合的に分類することができる。
【０００９】
例えば、視線の挙動、身ぶりや手ぶりなどで代表される、眼球や瞼、頭部や腕などの肢体の変動についてその位置、速度や方向などに、対象者の心理状態が現れる。また、息づかいや声づかいのタイミング、速度や大きさなどに、対象者の心理状態が現れる。そこで、これら対象者の肢体各部の変動や対象者が発する音を、予め分類し、対象者の行動の特徴を表す特徴情報として導出することができる。
【００１０】
また、本発明の情報提供装置は、記憶手段を備えており、記憶手段には、対象者の行動の対象となる対象空間における構造物の位置及び構造を表す構造情報が記憶されている。構造情報には、建造物の構造そのものをＣＡＤデータなどのデジタルデータで表現したものや、建造物の位置について色や濃度のデジタルデータで表現したもの、絵画などの画像のデジタルデータがある。従って、構造情報によって、対象空間内における構造物の任意の部位を特定することができる。
【００１１】
前記検出手段で検出した特徴情報は、行動の特徴であるので、その時点における対象者が注目した状態に寄与していると考えられる。そこで、導出手段は、特徴情報から、対象者が注目した度合いを表す注目度を導出する。まず、導出手段では、対象空間を単位空間で分割しかつ構造情報による構造物が分割した単位空間の何れに該当するかの対応関係を求める。これにより、構造物を単位空間毎に把握することができる。そして、導出手段は、特徴情報に基づいて対象者が注目する位置に対応する単位空間を導出する。これと共に導出手段は、導出された単位空間について対象者が注目した度合いを表す注目度を導出する。すなわち、行動の特徴である特徴情報は、建造物に向かう対象者の方向や指示位置などを含んでおり、単位空間で分割された対象空間内の対象となる単位空間を導出できる。このとき、特徴情報による建造物に向かう対象者の方向や指示位置などについて単位空間に対してなされた回数や時間から、単位空間に対する対象者の注目した度合いを表す注目度を導出できる。
【００１２】
蓄積手段は、導出手段で導出した単位空間と注目度とを対応づけて蓄積する。従って、蓄積手段には、単位空間毎に注目度が蓄積され、対象者による注目度が対象空間内において蓄積される。特定手段は、蓄積手段で蓄積した単位空間と注目度とに基づいて、対象者が注目した注目部位を特定する。すなわち、蓄積手段には、対象空間内における対象者による注目度が蓄積されるので、その蓄積量が大きいものほど注目の度合いが大きいと推定できる。この場合、蓄積量が最も大きい単位空間が対象者が注目した空間であると推定でき、この単位空間に対応する構造物を特定すれば、対象者が注目した注目部位を特定することができる。そして、提示手段によって、特定手段により特定した注目部位を提示することで、対象者の注目した部位を、第三者が把握するための情報として提示することができる。
【００１３】
前記検出手段は、対象者を撮影した撮影画像情報を特徴情報として検出する映像検出手段と、複数の対象者が発する音声情報を特徴情報として検出する音声検出手段と、から構成されることを特徴とする。
【００１４】
対象者の行動に表れる特徴情報を検出するには、対象者を捉えた映像や音声から把握することが好適である。そこで、前記検出手段は、対象者を撮影した撮影画像情報を特徴情報として検出する映像検出手段と、対象者が発する音声情報を特徴情報として検出する音声検出手段と、から構成することが好ましい。
【００１５】
映像検出手段では、対象者の行動を映像として捉えることができ、音声検出手段では対象者が発する音を音声情報として捉えることがでる。これによって、対象者の行動に表れる特徴を情報化することが容易になる。
【００１６】
前記検出手段は、対象者の視線に関係する視線情報を検出し、前記導出手段は、前記対象者の視線情報から前記単位空間及び注目度を導出することを特徴とする。
【００１７】
対象者が物を注目する場合、対象者が手振りによって指し示す場合もあるが、対象者が目視によって注視する場合が多くある。そこで、対象者の視線に関係する視線情報を検出し、導出手段は、対象者の視線情報から単位空間及び注目度を導出する。すなわち、視線情報が検出できれば、その視線と構造情報による構造物との交点が検出できるので、単位空間を特定することも容易となる。これによって、対象者が注目した注目部位を容易に特定することができる。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態では、展覧会等の催事場で観覧する観覧者に対して、その行動（視線運動、音声変化、身体運動など）を把握し分析し、その催事場の動向把握を支援するために、観覧者が注目する部位についての情報を提供する場合に、本発明を適用したものである。
【００１９】
〔構成〕
図１には、本発明が適用可能な催事場などの動向把握を支援するための支援装置９０の概略構成が示されている。図１に示したように、支援装置９０は、認識装置１０と評価装置７０とから構成されている。
【００２０】
認識装置１０は、ＣＰＵ１２，ＲＯＭ１４，ＲＡＭ１６が入出力ポート（以下、Ｉ／Ｏという）１８に接続され、コマンドやデータが授受可能なコンピュータ構成とされている。このＩ／Ｏ１８には、各種データやプログラムが格納されたメモリ２０が接続されている。
【００２１】
また、Ｉ／Ｏ１８には、データ入力のためのキーボード２８、コマンドやデータを表示するためのディスプレイ（以下、ＣＲＴという）３０、及びコマンドやデータを印刷するためのプリンタ２６が接続されている。さらに、Ｉ／Ｏ１８には、観覧者を撮影するカメラなどの撮影装置２２、及び観覧者が発する音声を入力するマイクロフォンなどの音声装置２４が接続されている。また、Ｉ／Ｏ１８には、評価装置７０との間で各種データを授受するための接続装置６８が接続されている。
【００２２】
評価装置７０は、ＣＰＵ７２，ＲＯＭ７４，ＲＡＭ７６が入出力ポート（以下、Ｉ／Ｏという）７８に接続され、コマンドやデータが授受可能なコンピュータ構成とされている。このＩ／Ｏ７８には、各種データやプログラムが格納されたメモリ８０が接続されている。
【００２３】
また、Ｉ／Ｏ７８には、データ出力のためのプリンタ８２、データ入力のためのキーボード８４、及びコマンドやデータを表示するためのＣＲＴ８６が接続されている。さらに、Ｉ／Ｏ７８には、認識装置１０との間で各種データを授受するための接続装置８８が接続されている。
【００２４】
〔機能ブロック〕
本実施の形態では、催事場の動向把握を支援するために、認識装置１０は、複数の認識処理を実施する。評価装置７０は、認識装置１０により得られたデータにより催事場の動向把握のための評価処理を実施する。
【００２５】
認識装置１０における認識処理の概要は、センサ（撮影装置２２、音声装置２４）からのデータを用いて全ての対象者の行動を把握し、次に、指定した対象者について、行動の特徴を把握し、対象者の感情要素を推定し、対象者の心理状態を推定する。この場合、心理状態を推定した対象者に関係する他の対象者との関わりも要素となる。なお、上記推定を、対象者全てについて実行することにより、相互関係を含めた各対象者の心理状態を推定できるので、より精密な催事場の動向把握のために必要なデータ提供が可能となる。
【００２６】
評価装置７０における評価処理の概要は、認識装置１０からのデータを用いて対象者の行動の特徴を把握し、対象者が注目する部位を導出して、その注目部位に該当する構造物の部位を注目部位と推定する。なお、対象者に関係する他の対象者との関わりを要素とすることで、相互関係を含めた注目部位を推定できるので、より精密な催事場の動向把握が可能となる。
【００２７】
図２には、催事場の動向把握を支援するための各種データを得るための認識装置１０における、認識処理に関する機能的なブロック図を示した。認識装置１０は、その機能部分として、行動把握部３２と、心理状態認識部３４とに分類される。なお、以下に説明する各機能部は、認識装置１０のメモリ２０に格納された各機能部の各処理として機能する処理プログラムが、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、Ｉ／Ｏ１８などの各資源を利用して処理することで構成される。
【００２８】
行動把握部３２は、撮影装置２２で撮影された対象者の画像データや音声装置２４で収集した対象者の音声データから、対象者の瞬時行動を把握するものであり、心理状態認識部３４は、行動把握部３２で把握された対象者の瞬時行動から対象者の心理状態を推定するものである。
【００２９】
行動把握部３２では、対象者の瞬時行動把握として、視線、瞬目、身体動作、音声、の４種類の瞬時行動に分類して把握する。これらの瞬時行動を把握するため、行動把握部３２は、視線把握部３６、瞬目把握部３８、身体動作把握部４０、音声把握部４２から構成されており、各々の把握部からデータを得ることができる。
【００３０】
まず、撮影装置２２で撮影された対象者の画像データを認識処理（画像認識）する把握部は、視線把握部３６、瞬目把握部３８及び身体動作把握部４０が対応する。また、音声装置２４で収集した対象者の音声データを認識処理（音声認識）する把握部は、音声把握部４２が対応する。各々の把握部で把握する項目は、次の表１に示した。
【００３１】
【表１】
2004280673.tif 000003
【００３２】
視線把握部３６は、撮影画像を画像処理することで対象者の眼球の位置及び瞳の位置から視線方向、及び所定時間内における動きを把握データとして得る。瞬目把握部３８は、撮影画像（撮影装置２２で得た画像データ）を画像処理することで対象者の眼球の位置及び瞼の挙動から瞬目頻度、及び瞬目の分布（群発性）を把握データとして得る。
【００３３】
また、身体動作把握部４０は、撮影画像を画像処理することで対象者の肢体として頭部、顔、手腕、上体、及び姿勢を認識すると共に、各認識について、肢体の位置、方向、及び所定時間内における動きを把握データとして得る。なお、この身体動作把握部４０では、その場における対象者の位置、他の対象者との相対関係をさらに把握し、これを把握データに含めている。
【００３４】
音声把握部４２は、取得音声（音声装置２４で得た音声データ）を音声処理することで対象者の会話を抽出し、声量、トーン、速度、連続性の把握データを得る。また、取得音声には、周囲環境音が含まれる場合があるので、これも環境音として把握データとすることができる。
【００３５】
心理状態認識部３４では、行動把握部３２で得られた把握データを用いて、対象者の心理状態を推定する。心理状態認識部３４は、行動認識部４４、行動状態導出部４６、状態変化推定部４８から構成される。
【００３６】
行動認識部４４は、対象者の行動についてその特徴を把握する処理部であり、行動把握部３２からの把握データが入力されるように構成される。この行動認識部４４で把握された行動の特徴は、特徴データ５０として心理状態認識部３４から出力されるように構成されると共に、特徴データ５０は行動状態導出部４６へ出力されるように構成される。
【００３７】
この行動認識部４４では、入力された把握データから対象者の特徴を把握処理するものであり、把握データに含まれる、視線、瞬目、身体動作、及び音声を用いて把握する。把握する特徴項目は、次の表２に示した。
【００３８】
【表２】
2004280673.tif 000004
【００３９】
行動認識部４４で把握する特徴項目は、対象者について単独で抽出することが可能な項目と、他の対象者との相互関係から抽出可能な項目とに分類できる。単独で抽出可能な項目は、視線については、視線の向きや動き、視線と対象者の顔の向きのずれがある。瞬目については、瞬目頻度や瞬目群発性がある。身体動作については、頭部の上下運動や左右運動、顔と体の向きのずれ、手腕の動き、上体の向き、上体の動き、前傾、後傾などがある。音声については、声量、トーン、速度などがある。
【００４０】
他の対象者との相互関係から抽出可能な項目には、視線については視線の交差があり、身体動作については姿勢の正対、姿勢の一致、注視対象の一致、身振り・手振りの同期・同調がある。また、音声については、会話の連続性がある。これらの特徴は、特徴データ５０として出力されるが、項目毎の大きさや頻度を係数として出力することもできる。
【００４１】
なお、複数の対象者の内の対象者を特定するときには、複数の把握データを必要とする場合がある。例えば、身体動作把握部４０において、その場における対象者の位置、他の対象者との相対関係をさらに把握した場合、音声が対象者に該当するか否かは、音声と同期した口や手腕などの肢体の動きの有無から判別でき、対象者の他の対象者に対する向きは、視線方向や身体の向きなどから判別できる。すなわち、１つの把握データから判別が困難な場合には、他の把握データを用いて判別することができる。
【００４２】
本実施の形態では、対象者の注目部位を得るため、行動の特徴として視線を採用した一例を説明する。
【００４３】
認識装置１０では、対象者の顔の特徴として、両眼の中央位置の座標（ｘ、ｙ、ｚ）を求める。この３次元の各方向Ｘ，Ｙ，Ｚによる座標（ｘ、ｙ、ｚ）は、撮影装置２２を基準として数値化することができる。この場合、撮影装置２２は、２台のカメラを所定間隔でかつ同一撮影方向に設定することが好ましい。方向Ｘは撮影方向に向かって右方向を正符号として撮影装置２２の配置についての左右方向に設定する。方向Ｙは、撮影方向に向かって上方向を正符号として撮影装置２２の配置についての上下方向に設定する。方向Ｚは、撮影方向に向かって撮影方向を負符号として撮影装置２２の配置についての前後方向に設定する。従って、撮影装置２２の２台のカメラの中央位置が原点（０，０，０）になる。
【００４４】
また、他の方向として、各方向Ｘ，Ｙ，Ｚの各軸回りの回転を、回転方向φ、θ、ψと定める。上記規定により、対象者の視線方向は、眼球の黒目の位置から顔の向きに対して、Ｘ軸回りの回転方向φの値をφｅ、Ｙ軸回りの回転方向θの値をθｅ、Ｚ軸回りの回転方向ψの値をψｅと設定する。
【００４５】
以上の設定により、視線を、ベクトル始点（ｘ、ｙ、ｚ）、ベクトル方向（φ＋φｅ、θ＋θｅ、ψ＋ψｅ）というベクトルで表現できる。
【００４６】
行動状態導出部４６は、対象者の感情要素すなわち内部状態を導出する処理部であり、特徴データ５０に基づいて導出された対象者の内部状態である行動状態は、状態データ５２として心理状態認識部３４から出力されるように構成されると共に、状態データ５２は状態変化推定部４８へ出力されるように構成される。
【００４７】
この行動状態導出部４６では、入力された特徴データ５０から対象者の内部状態を導出処理するものであり、予め定めた行動の特徴と感情要素との関係から求めることができる。この行動の特徴と感情要素の関係は、次の表３乃至表５に示した。本実施の形態では、Ｗｕｎｄｔの感情３次元説に基づき、感情要素として、快適さ（快適から不快）、興奮さ（興奮から沈静）、緊張さ（緊張から弛緩）の３種類を採用する。
【００４８】
【表３】
2004280673.tif 000005
【００４９】
【表４】
2004280673.tif 000006
【００５０】
【表５】
2004280673.tif 000007
【００５１】
行動状態導出部４６は、快適さの状態データ５２を得るために、特徴データ５０のうちの視線及び身体動作の該当データを用いて快適さを数値化する。
【００５２】
表３に示す快適と不快の例では、視線の向きについては、他の対象者（例えば会話の対象者）に向き合う方向になるに従って快適となるデータ、避ける方向になるに従って不快となるデータとする。同様に、視線の顔方向のずれについて、他の対象者に向き合う方向になるに従って快適となるデータ、避ける方向になるに従って不快となるデータとする。
【００５３】
また、身体動作のうちの上体の向きについては、他の対象者（例えば会話の対象者）に向き合う方向になるに従って快適となるデータ、さける方向になるに従って不快となるデータとする。同様に、前後方向の傾きについては、前傾方向になるに従って快適となるデータ、後傾方向になるに従って不快となるデータとし、上体の顔方向のずれについては、一致するに従って快適となるデータ、ずれる方向になるに従って不快となるデータとする。
【００５４】
さらに、身体動作のうちの頭部の上下方向については、動きが大きくなるに従って快適となるデータとする。なお、頭部の左右方向については、動きが大きくなるに従って不快となるデータとすることもできる。
【００５５】
表４に示す興奮と沈静の例では、視線の動きについては、動かなくなるに従って興奮となるデータ、揺れるに従って沈静となるデータとする。同様に、瞬目の頻度について、低下するに従って興奮となるデータ、群発するに従って沈静となるデータとする。
【００５６】
また、身体動作のうちの上体の動きについては、揺れるに従って興奮となるデータとし、手腕の動きについては、動きが大きくなるに従って興奮となるデータ、動きが小さくなるに従って沈静となるデータとする。
【００５７】
さらに、音声のうちの音量については、大きくなるに従って興奮となるデータ、小さくなるに従って沈静となるデータとし、速度については、速くなるに従って興奮となるデータ、遅くなるに従って沈静となるデータとし、トーンについては、高くなるに従って興奮となるデータ、低くなるに従って沈静となるデータとする。
【００５８】
表５に示す緊張と弛緩の例では、視線の動きについては、不安定になるに従って緊張となるデータとする。同様に、瞬目の頻度について、増加するに従って緊張となるデータ、減少するに従って弛緩となるデータとする。また、身体動作のうちの手腕の動きについては、動かなくなるに従って弛緩となるデータとする。
【００５９】
上記状態データ５２としてデータを得るには、言語値を数値化するファジイ推論、ニューラルネットワークシステムや遺伝的アルゴリズムを用いて数値化することが可能である。
【００６０】
状態変化推定部４８は、対象者の心理状態を推定する処理部であり、状態データ５２に基づいて推定された対象者の状態変化は、心理データ５４として心理状態認識部３４から出力されるように構成される。状態変化推定部４８は、心理データ５４を得るために、３種類の状態データ５２を用いて心理状態を数値化する。この数値化には３次元ルックアップテーブルが用いられる。
【００６１】
図３には、本実施の形態で採用した３種類の感情要素である、快適さ（快適から不快）、興奮さ（興奮から沈静）、緊張さ（緊張から弛緩）の各々を軸とした心理状態空間６０を示した。心理状態空間６０には、予め定めた心理状態の領域が定められている。本実施の形態では、心理状態は、共感、嫌悪、興味、無関心、活性、抑圧の６種類を採用している。これらの共感、嫌悪、興味、無関心、活性、抑圧の６種類からなる心理状態を表すデータを心理データ５４とする。
【００６２】
すなわち、心理状態は、感情要素の分布で包括することができ、この包括された領域内のいずれに位置するかによって、心理状態を推定することが可能となる。そこで、多数の対象者に対して予め図３に示す心理状態空間６０内に状態データ５２の感情要素をプロットし、そのプロットの相関関係により領域を分類する。その分類した領域について心理状態が対応されるので、分類した領域を心理状態を表す領域として、その領域内において心理状態の大きさを定める。これによって、状態データ５２の感情要素に対応する心理データ５４の心理状態を求めることができ、対象者の心理状態を推定できる。
【００６３】
例えば、快適さ、興奮さ、緊張さの状態データ５２と、共感、嫌悪、興味、無関心、活性、抑圧の心理データ５４との対応関係を図４及び図５に示した。
【００６４】
図４の例では、快適さ及び興奮さの状態データ５２と、共感、嫌悪、興味、無関心の心理データ５４との対応関係を示した。快適さ及び興奮さの２次元領域について、快適さ及び興奮さの軸で分離された４つの分離領域のそれぞれに共感、嫌悪、興味、無関心の心理状態の各々が対応されている。すなわち、快適さが高くかつ興奮さが高い分離領域に心理状態（共感）が対応され、快適さが低く（不快性が高く）かつ興奮さが高い分離領域に心理状態（嫌悪）が対応され、快適さが高くかつ興奮さが低い（沈積性が高い）分離領域に心理状態（興味）が対応され、快適さが低く（不快性が高く）かつ興奮さが低い（沈積性が高い）分離領域に心理状態（無関心）が対応される。
【００６５】
これによって、快適さ及び興奮さの状態データ５２をプロットした点Ｐ１が、そのプロット位置に対応する心理状態の領域内に存在すれば（ここでは、共感の領域に該当）、該当する心理状態と推定でき、さらに、その領域内の位置の重みにより、心理状態を数値化できる。この重みは、図４の例では、分離領域である心理状態（共感）は、ほぼ円形領域とされ、その中心を最も高い共感を示し半径方向に移動するに従って共感度が希薄になるように設定することができる。なお、この重みは、予め多数のデータにより求めた相関関係から定めたテーブルや関数を採用することもできる。
【００６６】
また、図５の例では、快適さ及び緊張さの状態データ５２と、活性、抑圧の心理データ５４との対応関係を示した。快適さ及び緊張さの２次元領域について、快適さ及び緊張さの軸で分離された分離領域のうち、快適さが高くかつ緊張さが高い分離領域に心理状態（活性）が対応され、快適さが低く（不快性が高く）かつ緊張さが高い分離領域に心理状態（抑圧）が対応される。
【００６７】
これによって、快適さ及び緊張さの状態データ５２をプロットした点Ｐ２が、そのプロット位置に対応する心理状態の領域内に存在すれば（ここでは、活性の領域に該当）、該当する心理状態と推定でき、さらに、その領域内の位置の重みにより、心理状態を数値化できる。この重みは、図４の例と同様に、分離領域である心理状態（共感）は、ほぼ円形領域とされ、その中心を最も高い共感を示し半径方向に移動するに従って共感度が希薄になるように設定することができる。なお、この重みは、予め多数のデータにより求めた相関関係から定めたテーブルや関数を採用することもできる。
【００６８】
この心理状態を数値化について詳細に説明する。なお、本実施の形態では、言語値を数値化するファジイ推論、ニューラルネットワークシステムや遺伝的アルゴリズムを用いて数値化することになるが、得られる数値は、±１の値に規格化されたものとして説明する。可能である。
【００６９】
また、上記では、心理状態の領域としてほぼ円形領域で設定したが、数値化の場合には、これに限定されない。図６には、共感状態の定量化（数値化）の説明図を示し、図７には、嫌悪状態の定量化（数値化）の説明図を示した。
【００７０】
対象者が共感しているか否かは、心理状態が「快」かつ「興奮」の状態であるか否かを判断し、「共感」の状態の度合いを示す数値で表す。すなわち、「快適−不快」軸、「興奮−沈積」軸を縦横軸とする平面上において、原点からの距離で、「共感」の状態の度合いを示す数値（以下の説明では、共感状態値という）で表し、「嫌悪」の状態の度合いを示す数値（以下の説明では、嫌悪状態値という）で表す。
【００７１】
図６の例では、快適さが原点から＋０．４で、興奮さが原点から＋０．３である。従って、共感状態値は、０．５（＝√（０．４２＋０．３２））と求まる。同様に、図７の例では、快適さが原点から−０．４で、興奮さが原点から＋０．３である。従って、嫌悪状態値は、０．５（＝√（−０．４２＋０．３２））と求まる。
【００７２】
以上のことにより、本実施の形態では、共感状態値及び嫌悪状態値は、最小０最大√２の値の範囲内で数値化されることにある（図８参照）。
【００７３】
以上説明した特徴データ５０、状態データ５２、及び心理データ５４は、プリンタ２６やＣＲＴ３０で参照可能に提示されると共に、接続装置６８が接続された評価装置７０の接続装置８８により、評価装置７０へ出力される。
【００７４】
上記構成による、催事場の動向把握のための対象者の行動評価用の認識データを得る認識装置１０の作動について説明する。認識装置１０では、図９に示す処理ルーチンが実行され、撮影装置２２及び音声装置２４により、複数の対象者に対する画像データ及び音声データが収集され、これをセンサデータとして検出する（ステップ１００）。
【００７５】
次に、上記検出したセンサデータにより、画像認識処理及び音声認識処理が実行される（ステップ１０２）。これらの画像認識処理及び音声認識処理は、上述の機能部である行動把握部３２で処理される処理に相当し、この処理で把握データが得られる。次に、把握データにより特定できる何れかの対象者を、自動的に一人またはオペレータのキーボード２８による入力値によって設定し（ステップ１０４）、設定した対象者について、行動の特徴を把握する（ステップ１０６）。この処理は、上述の機能部である行動認識部４４で処理される処理に相当し、対象者についての行動の特徴を表す特徴データ５０を求める。
【００７６】
次に、特徴データ５０から、感情要素を定量化する（ステップ１０８）。この定量化は、上述の機能部である行動状態導出部４６で処理される処理に相当し、対象者のその時点における行動状態に起因する対象者の内部状態を表す感情要素を数値化した状態データ５２を求める。次に、状態データ５２から、心理状態を定量化する（ステップ１１０）。この定量化は、上述の機能部である状態変化推定部４８で処理される処理に相当し、対象者のその時点における心理状態を分類しかつ分類した心理状態を数値化した心理データ５４を求める。
【００７７】
そして、全ての対象者について上述の処理が終了（ステップ１１２で肯定判断）するまで、上記処理を繰り返し、全ての対象者について心理状態の推定処理が終了すると、得られた特徴データ５０、状態データ５２、心理データ５４を接続装置６８を介して評価装置７０へ出力（ステップ１１４）したのちに本ルーチンを終了する。なお、得られた特徴データ５０、状態データ５２、心理データ５４をプリンタ２６やＣＲＴ３０へ出力することもできる。
【００７８】
このようにして、対象者の行動について映像や音声により収集したデータを用いて認識処理をした結果について、対象者の行動の特徴を抽出し、その行動の特徴から感情要素を求め、求めた感情要素から心理状態を推定しているので、対象者がどのような心理状態にあるのか、どのような心理状態でその場に立ち会っているのかなどのように、通常知り得ない心理状態を含むデータを提示できる。
【００７９】
図１０には、催事場の動向把握を支援するための各種データを得るための評価装置７０における、評価処理に関する機能的なブロック図を示した。評価装置７０は、認識装置１０からの特徴データ５０、状態データ５２、心理データ５４を用いて対象者の注目状態を評価するものである。
【００８０】
評価装置７０は、その機能部分として、空間評価部９２と、注目状態評価部９４と、注目部位評価部９６と、構造物記憶部９７とに分類される。これらの機能部により評価された対象者の行動により対象者が注目した空間内の構造物の部位を表すデータが対象部位データ９８として得られる。この対象部位データ９８は、ププリンタ８２やＣＲＴ８６で参照可能に提示される。
【００８１】
なお、以下に説明する各機能部は、評価装置７０のメモリ８０に格納された各機能部の各処理として機能する処理プログラムが、ＣＰＵ７２、ＲＯＭ７４、ＲＡＭ７６、入出力ポート７８などの各資源を利用して処理することで構成される。
【００８２】
認識装置１０からのデータは、空間評価部９２に入力されるように構成され、この空間評価部９２には構造物記憶部９７からの構造データも入力されるように構成される。空間評価部９２の評価結果は、注目状態評価部９４へ出力されるように構成され、この注目状態評価部９４において単位空間と注目度（後述）が蓄積される。この蓄積結果は、注目部位評価部９６へ出力されるように構成され、注目部位評価部９６は評価結果の対象部位データを出力する。この注目部位評価部９６には構造物記憶部９７からの構造データも入力されるように構成される。
【００８３】
空間評価部９２は、認識装置１０で把握された対象者の特徴や内部状態及び心理状態から、対象者が注目した空間を評価する機能部である。この空間評価部９２では、空間を単位空間に分割して単位空間で評価すると共に、構造物記憶部９７に記憶されている空間内の構造物の構造データを用いて空間内にある構造物を考慮して評価される。この空間評価部９２では、その評価によって、対象者による注目位置に対応する単位空間とその単位空間の注目度が導出される。
【００８４】
注目状態評価部９４は、空間評価部９２の評価結果を用いて、対象者の注目状態を評価する機能部である。この注目状態評価部９４は、空間評価部９２で導出された単位空間及び注目度を対応づけて記憶することを繰り返す蓄積を行うことで注目状態を保持する。
【００８５】
注目部位評価部９６は、注目状態評価部９４の評価結果を用いて対象者の注目部位を評価する機能部である。注目部位評価部９６では、注目状態評価部９４で保持されている単位空間及び注目度、すなわち、対象者が注目した単位空間と注目度の履歴により、最も注目したと予測される単位空間から注目部位が導出される。この注目部位評価部９６では、構造物記憶部９７に記憶されている空間内の構造物の構造データを用いて空間内にある構造物を考慮して注目部位が導出される。
【００８６】
なお、認識装置１０及び評価装置７０からなるシステムは本発明の情報提供装置に相当する。また、認識装置１０は本発明の検出手段に相当し、空間評価部９２は本発明の導出手段に相当し、構造物記憶部９７は本発明の記憶手段に相当し、注目状態評価部９４は本発明の蓄積手段に相当し、注目部位評価部９６は本発明の特定手段に相当する。また、本発明の提示手段は、プリンタ８２やＣＲＴ８６が対応する。
【００８７】
〔実施形態の作用〕
次に、本実施形態の作用を説明する。本実施の形態では、認識装置１０において検出された対象者の特徴から、評価装置７０において対象者の注目部位を求める。そこで、評価装置７０の作動を中心に説明する。評価装置７０では、図１１に示す処理ルーチンが実行される。
【００８８】
図１１のステップ２０２では、認識装置１０の認識結果である認識データ（特徴データ５０、状態データ５２、心理データ５４）を検出する。すなわち、認識装置１０において検出された視線方向ベクトル（始点とベクトル方向）を検出すると共に、共感状態値や嫌悪状態値を認識データＪとして検出する。
【００８９】
次のステップ２０４では、上記検出した認識データＪにより、感情度Ｋを導出する。この感情度Ｋは、感情の度合いを表すもので、上述の共感の度合いを表す共感度や嫌悪の度合いを表す嫌悪度に相当する。すなわち、認識装置１０から出力される共感状態値や嫌悪状態値（認識データＪ）は、最大値が√２であるので、これを最大値「１」に規格化する処理に相当し、規格化後の数値を感情度Ｋ（共感度や嫌悪度）とする。具体的には、認識装置１０から出力される共感状態値や嫌悪状態値を所定数（√２）で除算する処理（Ｋ＝Ｊ／√２）を実行する。
【００９０】
次のステップ２０６では、対象者が注目した空間位置を導出する。この処理は、視線方向ベクトルと構造物の３次元空間データから、対象者の視線の先に存在する空間ブロック（単位空間）を導出するものである。
【００９１】
図１３に示すように、展覧会等の催事場の３次元空間すなわち対象者が注目することが可能な注目空間２３０を１辺の距離が所定値（例えば１０ｃｍ）の立方体（以下、単位空間という）２３２で分割する。この分割は、注目空間２３０は、催事場の構造図や設計図から容易に特定することができる。この注目空間２３０内には、展示物や構造上の物品が設置されており、これらの位置関係が記憶されている。
【００９２】
すなわち、本実施の形態では、注目空間２３０内に存在する全ての物品に対して、設置位置、寸法などの３次元空間データを、メモリ８０に保持しており、各物品が分割された単位空間に対応づけられる。
【００９３】
例えば、図１３に示すように、注目空間２３０を単位空間２３２で分割する。この分割は、注目空間２３０は、催事場の構造図や設計図から容易に特定することができる。この注目空間２３０内には、展示物などが配置されている。図１２の例では、その物品として自動車２３４が配置された一例を示している。この自動車２３４の構造データは、自動車２３４の位置関係データと共に、メモリ８０に記憶されており、自動車２３４の各パーツが注目空間２３０内の何れに位置するかを把握することができる。従って、単位空間２３２で分割された注目空間２３０内に位置する自動車２３４について何れの単位空間２３２に各パーツまたは構造位置が含まれるか否かを判別することで、自動車２３４の構造位置を単位空間２３２の位置で規定することができる。
【００９４】
従って、認識装置１０からの視線ベクトル情報（ベクトル始点、方向）と、上記３次元データから対象者が目視している単位空間２３２を特定できる。そして、その単位空間２３２内の物品（例えば、自動車２３４の部位）を特定することができる。
【００９５】
次のステップ２０８では、対象者が目視したときの視線の移動量を導出する。この処理は、任意の時刻（ｔ）における対象者が目視している単位空間２３２と、次に目視した単位空間２３２（所定時間｛ｔ＋△ｔ｝を経過したときに目視したとされる単位空間２３２）の距離を求めるものである。すなわち、任意の時刻（ｔ）における対象者が目視している単位空間２３２の中心位置座標を（ｘ０，ｙ０，ｚ０）として、次に目視した単位空間２３２（所定時間｛ｔ＋△ｔ｝を経過したときに目視したとされる単位空間２３２）の中心位置座標を（ｘ１，ｙ１，ｚ１）とすると、視線移動量Ｌは、次の式で表すことができる。
【００９６】
Ｌ＝√｛（ｘ１−ｘ０）２＋（ｙ１−ｙ０）２＋（ｚ１−ｚ０）２｝
【００９７】
次のステップ２１０では、対象者が目視した単位空間２３２の視線についての滞留時間を求める。この処理における視線滞留度Ｍは、図１４に示すように、視線移動量Ｌが大きくなるのに従って小さくなる値をとる関数で表現できる。例えば、視線滞留度Ｍは、次の式によって求めることができる。
【００９８】
2004280673.tif 000008
但し、Ｌｍａｘは、予め設定した所定値である。
【００９９】
この所定値Ｌｍａｘは、任意の時刻（ｔ）において導出される「共感」や「嫌悪」の心理状態と、その時点における視線の先にある物品との間に関連性が確保可能な視線移動最大速度の最大値から求めることができる。
【０１００】
例えば、１秒間隔で視線をサンプリングした場合、視線が所定速度（例えば、３ｍ／ｓ）以下で移動しているとき、心理状態と視線方向の物品との間に関連性を確保できることが想定される。すなわち、対象者が注視するという状態を視線の移動速度で考えると、統計的に所定値を導出でき、この移動速度を設定すれば、上記の関連性の判別に用いることができる。一方、対象者が目視対象の物品を変更する場合、速い移動速度で視線を変更する。
【０１０１】
従って、例えば、３ｍ／ｓを所定速度とすると、所定値Ｌは、３ｍ（＝３［ｍ／ｓ］×１［ｓｅｃ］）となる。
【０１０２】
上記式を用いれば、視線移動量Ｌ＝０（所定時間内で同一の単位空間２３２を目視）の場合、視線滞留度Ｍは「１」となり、視線移動量Ｌが初手位置Ｌｍａｘに近づくほどに小さくなり、所定値Ｌｍａｘを越えると、全て「０」となる。
【０１０３】
次に、ステップ２１２では、感情状態の瞬時値を導出する。この処理は、共感や嫌悪の度合いについて瞬間的な深さを求めるものである。感情状態は、推移する。また、その感情推移の間、視線は滞留したり大きく変更したりする。そこで、本実施の形態では、感情度Ｋと視線滞留度Ｍとの関係から感情状態の瞬時値Ｎを求めている。瞬時値Ｎは、次の式によって求めることができる。
【０１０４】
Ｎ＝Ｋ×Ｍ
但し、Ｋは共感度または嫌悪度であり、Ｋが共感度の場合には瞬時値Ｎは、共感の深さを表す瞬時値Ｎとなり、Ｋが嫌悪度の場合には瞬時値Ｎは、嫌悪の深さを表す瞬時値Ｎとなる。
【０１０５】
次のステップ２１４では、上記ステップ２１２で導出した瞬時値Ｎを、単位空間２３２に対応して累積する。すなわち、ステップ２１２で求める瞬時値Ｎは、任意の時刻における瞬間的な値であるので、これを蓄積することで、単位空間２３２についてどれだけ感情状態が変動している、すなわち注目しているたのかを累積値として把握することができる。そこで、瞬時値Ｎを対応する単位空間２３２のデータとして累積する。
【０１０６】
図１５には、説明を簡単にするため、注目空間２３０を２次元平面に投影した図を示した。図１５（Ａ）に示すように、自動車２３４を目視する対象者の視線移動による滞留範囲２３６が、ドアミラー周辺であるとき、図１５（Ｂ）に示すように、所定時間（ｔ）までの累積値は、中心が９．２であり、その周辺が上部から時計回りに８．５，７．７，７．２，８．９となっている。所定時間経過後（ｔ＋△ｔ）の瞬時値Ｎは、図１５（Ｃ）に示すように、中心が０．８であり、その周辺が上部から時計回りに０．２，０．５，０．６，０．７となっている。これにより、累積値は、中心が１０．０であり、その周辺が上部から時計回りに８．７，８．２，７．８，９．６となる。
【０１０７】
次のステップ２１６では、累積した瞬時値Ｎから注目部位を導出する。すなわち、メモリ８０には、単位空間２３２毎に、瞬時値Ｎが累積されている。これは、所定時間内に対象者が注目空間２３０を注目したことが想定される単位空間２３２毎の分布である。従って、その累積値が最大のものが、対象者が注目した部位を含む単位空間２３２である確度が高い。この単位空間２３２には、自動車２３４など注目空間２３０内に設置された物品の部位が対応されている。このため、累積した瞬時値Ｎが最大である単位空間２３２を求め、求めた単位空間２３２に対応する物品の部位を注目部位として特定する。図１５の例では、累積値が１０．０である単位空間２３２であり、その単位空間２３２に対応するドアミラーに注目されていると特定する。
【０１０８】
この特定された注目部位は、その感情状態を含んでいる。すなわち、例えば、共感の深さが高い場合には、関心を有しつつ注目していると特定できる。一方、嫌悪の深さが高い場合には、いやがる気持ちを有しつつ注目していると特定できる。
【０１０９】
次のステップ２１８では、リアルタイム評価か否かを判断し、肯定されると、ステップ２０２へ戻り上記処理を繰り返し実行する。リアルタイム評価とは、実時間継続処理であり、予め定めた条件になるまで肯定判断される。このリアルタイム評価で否定判断される条件の一例は、所定時間を経過した、累積値が所定値を超えた、などの評価を中断する条件がある。
【０１１０】
ステップ２１８で否定されると、ステップ２２０へ進み、特定した注目部位をプリンタ８２やＣＲＴ８６へ出力して本ルーチンを終了する。
【０１１１】
このようにして、対象者の行動について映像や音声により収集したデータを用いて認識処理をした結果について、対象者の行動の特徴、すなわち行動の特徴と心理状態から、対象者の注目部位を推定しているので、対象者がどのような心理状態で物品を注目しているのか、どの部位をどのような心理状態で注目しているのかなど、通常知り得ない３次元空間内における心理状態を含む注目部位を提示できる。
【０１１２】
本実施の形態の認識装置１０及び評価装置７０によるシステムは、モデルルームにおける顧客の関心や注目に対する評価、店舗における顧客の商品に対する関心評価、ショールームにおける関心度が高い物品の評価、博物館や美術館などの場における関心度が高い物品の評価に好適に用いることができる。
【０１１３】
なお、上記実施の形態では、自動車２３４などの物品の構造として外形などの構造を目視する場合に好適であるが、物品の外形目視に限定されるものではない。例えば、ショウウィンドウのようにガラスなどの透明媒体を介して目視する場合にも適用可能である。この場合、透明媒体の構造データとして、透明度を表す属性を付与することで、目視可能なことを表す状態を数値化して表現でき、透明媒体の先に設置された物品の評価すなわち注目状態を評価することができる。
【０１１４】
また、上記実施の形態では、自動車２３４などの固定的な物品を目視する場合に好適であるが、固定的に設置された物品の目視に限定されるものではない。例えば、アミューズメントなどのように物品が移動したり、移動する演者などの人物を目視する場合にも適用可能である。この場合、移動する物品や人物について時刻歴を構造データに属性として付与することで、移動を伴う注目対象を数値化して表現でき、移動される物品や人物の評価すなわち注目状態を評価することができる。
【０１１５】
また、上記認識装置１０では、複数の対象者から対象者を設定し、順次設定を変更することで全ての対象者についての特徴を得る場合を説明したが、全ての対象者について特徴を得ることに限定されない。例えば、予め定めた対象者のみのデータを出力するようにしてもよい。
【０１１６】
また、上記では単一の場におけるデータ出力を説明したが、複数の議題を複数のコミュニティで行っている場などへも、容易に適用することができる。例えば、対象者の視線方向で到達する対象者の存在を図形的に求めるなどのように、議題のグループをコミュニティとして場を分類し、分類されたコミュニティ毎に処理を実行することによって達成することができる。
【０１１７】
また、上記では撮影装置２２や音声装置２４で撮影したり収音したりしたデータを用いて心理状態を推定した場合を説明したが、撮影装置２２や音声装置２４で予め撮影したり収音したりしたデータを記憶媒体（例えば磁気テープや光ディスク）に記憶して、その記憶媒体に記憶されたデータ用いて心理状態を推定してもよい。
【０１１８】
本実施の形態の処理ルーチン及び各機能部の処理は、記録媒体としての磁気ディスクメディアに格納して流通させることが可能である。この場合、図示しない磁気ディスクメディアリードライト装置を備えることによって、処理ルーチン等は、図示しない磁気ディスクメディアリードライト装置を用いて磁気ディスクメディアに対して読み書き可能である。従って、予め磁気ディスクメディアに処理ルーチン等を記録しておき、図示しない磁気ディスクメディアリードライト装置を介して磁気ディスクメディアに記録された処理プログラムを実行してもよい。また、コンピュータにハードディスク装置等の大容量記憶装置（図示省略）を接続し、磁気ディスクメディアに記録された処理プログラムを大容量記憶装置（図示省略）へ格納（インストール）して実行するようにしてもよい。また、記録媒体としては、ＣＤ−ＲＯＭ，ＭＤ，ＭＯ，ＤＶＤ等のディスクやＤＡＴ等の磁気テープがあり、これらを用いるときには、上記図示しない磁気ディスクメディアリードライト装置に代えてまたはさらにＣＤ−ＲＯＭ装置、ＭＤ装置、ＭＯ装置、ＤＶＤ装置、ＤＡＴ装置等を用いればよい。
【０１１９】
【発明の効果】
以上説明したように本発明によれば、催事場や展覧会などの場で、検出された対象者の行動について特徴を表す特徴情報と記憶手段に記憶された構造物の構造情報とから、導出手段により対象者が注目した度合いを表す注目度を導出して蓄積して、特定手段により対象者が注目した注目部位を特定するので、容易に対象者が注目した注目部位を特定することができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる支援装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態にかかる認識装置を機能的に説明するための機能別概念構成図である。
【図３】認識装置で用いられる感情要素を軸とした心理状態空間を示すイメージ図である。
【図４】快適さ及び興奮さの状態データと、共感、嫌悪、興味、及び無関心の心理データとの対応関係を説明するための説明図である。
【図５】快適さ及び緊張さの状態データと、活性及び抑圧の心理データとの対応関係を説明するための説明図である。
【図６】共感についての数値化を説明するための説明図である。
【図７】嫌悪についての数値化を説明するための説明図である。
【図８】共感状態値の最大値を説明するための説明図である。
【図９】認識装置において実行される処理の流れを示すフローチャートである。
【図１０】本発明の実施の形態にかかる評価装置を機能的に説明するための機能別概念構成図である。
【図１１】評価装置において実行される処理の流れを示すフローチャートである。
【図１２】評価装置で評価する注目空間を示すイメージ図である。
【図１３】物品を含む注目空間を示すイメージ図である。
【図１４】支援滞留度を説明するための説明図である。
【図１５】瞬時値の累積を説明するための説明図であり、（Ａ）は滞留範囲を示し、（Ｂ）は累積値を示し、（Ｃ）は瞬時値を示している。
【符号の説明】
１０…認識装置
５０…特徴データ
５２…状態データ
５４…心理データ
７０…評価装置
９０…支援装置
９２…空間評価部
９４…注目状態評価部
９６…注目部位評価部
９７…構造物記憶部
９８…対象部位データ
２３０…注目空間
２３２…単位空間
２３６…滞留範囲
【図１】
2004280673.tif 000009
【図２】
2004280673.tif 000010
【図３】
2004280673.tif 000011
【図４】
2004280673.tif 000012
【図５】
2004280673.tif 000013
【図６】
2004280673.tif 000014
【図７】
2004280673.tif 000015
【図８】
2004280673.tif 000016
【図９】
2004280673.tif 000017
【図１０】
2004280673.tif 000018
【図１１】
2004280673.tif 000019
【図１２】
2004280673.tif 000020
【図１３】
2004280673.tif 000021
【図１４】
2004280673.tif 000022
【図１５】
2004280673.tif 000023