(57)【特許請求の範囲】
【請求項１】
被験者の視覚により知覚される映像を含む知覚経験、および、当該知覚経験のときの前記被験者の体の少なくとも一部の動きを示す情報を含む、外的または内的な時間変化、を取得する取得手段と、
前記被験者の外的または内的な時間変化を示す第１の特徴量と、前記知覚経験を示す第２の特徴量とに基づいて、検索評価関数を含む識別情報を生成する生成手段と、
前記生成された識別情報と対応する知覚経験とを関連付けて格納する格納手段と、
任意のユーザの体の少なくとも一部の動きを示す情報を含む、外的または内的な時間変化の入力に応答して、前記格納手段を参照して、当該入力された時間変化に関連付けられた知覚経験を抽出する抽出手段とを備え、
前記検索評価関数は、任意のユーザの外的または内的な時間変化を示す特徴量が入力されると、当該入力された特徴量が当該検索評価関数に関連付けて格納されている知覚経験に対応する確率を示す値を出力するように決定される、検索システム。
【請求項２】
前記抽出手段は、任意のユーザの外的または内的な時間変化を示す特徴量を前記格納手段に格納されている各知覚経験に関連付けられている検索評価関数に入力して確率をそれぞれ算出するとともに、相対的に高い値の確率が算出された検索評価関数に関連付けられている１または複数の知覚経験を抽出する、請求項１に記載の検索システム。
【請求項３】
前記生成手段は、
前記被験者の外的または内的な時間変化を前記被験者の他の外的または内的な時間変化から判別できるように、前記検索評価関数を決定する、請求項１に記載の検索システム。
【請求項４】
前記生成手段は、前記検索評価関数を、前記第１の特徴量を表現する第１の空間と、前記第２の特徴量を表現する第２の空間とを結合した第３の空間にて決定する、請求項１〜３のいずれか１項に記載の検索システム。
【請求項５】
前記格納手段は、所定期間に亘る映像データの各々に前記識別情報を関連付ける、請求項１〜４のいずれか１項に記載の検索システム。
【請求項６】
被験者の視覚により知覚される映像を含む知覚経験、および、当該知覚経験のときの前記被験者の体の少なくとも一部の動きを示す情報を含む、外的または内的な時間変化、を取得する取得手段と、
前記被験者の外的または内的な時間変化を示す第１の特徴量と、前記知覚経験を示す第２の特徴量とに基づいて、検索評価関数を含む識別情報を生成する生成手段と、
前記生成された識別情報と対応する知覚経験とを関連付けて格納する格納手段とを備え、
前記検索評価関数は、任意のユーザの外的または内的な時間変化を示す特徴量が入力されると、当該入力された特徴量が当該検索評価関数に関連付けて格納されている知覚経験に対応する確率を示す値を出力するように決定される、データ収集装置。
【請求項７】
コンピュータに、
被験者の視覚により知覚される映像を含む知覚経験、および、当該知覚経験のときの前記被験者の体の少なくとも一部の動きを示す情報を含む、外的または内的な時間変化、を取得するステップと、
前記被験者の外的または内的な時間変化を示す第１の特徴量と、前記知覚経験を示す第２の特徴量とに基づいて、検索評価関数を含む識別情報を生成するステップと、
前記生成された識別情報と対応する知覚経験とを関連付けて格納するステップと、
任意のユーザの体の少なくとも一部の動きを示す情報を含む、外的または内的な時間変化の入力に応答して、当該入力された時間変化に関連付けられた知覚経験を抽出するステップとを実行させ、
前記検索評価関数は、任意のユーザの外的または内的な時間変化を示す特徴量が入力されると、当該入力された特徴量が当該検索評価関数に関連付けて格納されている知覚経験に対応する確率を示す値を出力するように決定される、検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の知覚経験を容易に検索する技術に関する。
【背景技術】
【０００２】
情報通信技術の進歩に伴って、各個人が生活するにあたって生じる様々なデータに対して、メタ情報（典型的には、ラベル）を付与して分類するような技術が提案されている（例えば、非特許文献１など参照）。このように収集された様々なデータの中から、付与されたメタ情報をキーワードとして目的のデータに対する検索および抽出が実行される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】J. Gemmell, G. Bell, and R. Lueder, MyLifeBits: A Personal Database for Everything, Communications of the ACM, 49(1):88-95, 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したような先行技術に係るシステムにおいては、各データに付与するための適切なメタ情報を抽出する必要があるが、メタ情報を正確に抽出することはそれほど容易ではない。また、メタ情報は言語的な表現を用いて定義されるため、検索のキーワードとしては、予め設定されたメタ情報に含まれる表現から選択せざるを得ず、柔軟性および拡張性に乏しい。
【０００５】
そのため、被験者の知覚経験をより容易に収集できるとともに、より容易に検索できるシステムが要望されている。
【課題を解決するための手段】
【０００６】
本発明のある実施の形態に従う検索システムは、被験者の知覚経験、および、当該知覚経験のときに被験者に生じた外的または内的な時間変化を取得する取得手段と、被験者に生じた時間変化に基づいて識別情報を生成する生成手段と、生成された識別情報と対応する知覚経験とを関連付けて格納する格納手段と、何らかの時間変化を示す情報の入力に応答して、格納手段を参照して、当該入力された時間変化に関連付けられた知覚経験を抽出する抽出手段とを含む。
【０００７】
好ましくは、生成手段は、被験者に生じた時間変化から特徴量を生成する手段と、生成した特徴量に基づいて、被験者に生じた時間変化を他の時間変化から判別するための関数を決定する手段とを含む。
【０００８】
好ましくは、知覚経験は、被験者の視覚により知覚される映像を含み、被験者に生じた時間変化は、被験者の体の一部の動きを示す情報を含む。
【０００９】
好ましくは、生成手段は、判別するための関数を、被験者に生じた時間変化を示す特徴量を表現する第１の空間と、知覚経験を示す特徴量を表現する第２の空間とを結合した第３の空間にて決定する。
【００１０】
好ましくは、格納手段は、所定期間に亘る映像データの各々に識別情報を関連付ける。
本発明の別の実施の形態に従うデータ収集装置は、被験者の知覚経験、および、当該知覚経験のときに被験者に生じた外的または内的な時間変化を取得する取得手段と、被験者に生じた時間変化から算出される特徴量に基づいて識別情報を生成する生成手段と、生成された識別情報と対応する知覚経験とを関連付けて格納する格納手段とを含む。
【００１１】
本発明の別の実施の形態に従う検索プログラムは、コンピュータに、被験者の知覚経験、および、当該知覚経験のときに被験者に生じた外的または内的な時間変化を取得するステップと、被験者に生じた時間変化に基づいて識別情報を生成するステップと、生成された識別情報と対応する知覚経験とを関連付けて格納するステップと、何らかの時間変化を示す情報の入力に応答して、当該入力された時間変化に関連付けられた知覚経験を抽出するステップとを実行させる。
【発明の効果】
【００１２】
本発明のある実施の形態によれば、被験者の知覚経験をより容易に収集できるとともに、より容易に検索できる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態に従う検索システムの全体構成の一例を示す模式図である。
【図２】図１に示すウェアラブルカメラの構成を示す模式図である。
【図３】図１に示すモーションセンサの構成を示す模式図である。
【図４】図１に示す情報処理装置の構成を示す模式図である。
【図５】本実施の形態に従う検索システムのモデル構築機能の概要を説明するための模式図である。
【図６】本実施の形態に従う検索システムのモデル構築機能の処理手順を示すフローチャートである。
【図７】本実施の形態に従う検索システムのモデル構築機能での処理手順を説明するための模式図である。
【図８】本実施の形態に従う検索システムの検索機能の処理手順を示すフローチャートである。
【図９】本実施の形態に従う検索システムの検索機能において提供されるユーザインターフェイスの一例を示す図である。
【図１０】本実施の形態の変形例に従う検索システムの全体構成の一例を示す模式図である。
【発明を実施するための形態】
【００１４】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００１５】
［Ａ．概要］
本実施の形態に従う検索システムは、その一局面において、１または複数の被験者の知覚経験を格納するとともに、それに対する検索を容易化する。本明細書において、被験者の「知覚経験」としては、何らかの装置を用いて取得または計測できるものであれば、どのような知覚（例えば、視覚、聴覚、嗅覚、味覚、触覚）であってもよい。すなわち、何らかのデータとして格納しておき、事後的に再現できるものであれば、どのような知覚であってもよい。
【００１６】
視覚であれば、カメラを用いて撮像した静止画像または動画像としてデータ化可能である。そして、テレビモニタなどでその画像を再現することができる。聴覚であれば、マイクを取得した音声としてデータ化可能である。そして、スピーカなどでその音声を再現できる。嗅覚および味覚であれば、それぞれ、臭気センサおよび味覚センサなどを用いてデータ化可能である。触覚であれば、接触圧センサなどを用いてデータ化可能である。これらの知覚についても、特定の装置を用いることで再現可能である。
【００１７】
本実施の形態に従う検索システムは、このように記録および再現可能な被験者の知覚経験を、当該知覚経験の際に被験者に生じた外的または内的な時間変化に関連付けて格納する。そして、何らかの時間変化を示す情報が検索システムに入力されると、検索システムは、当該入力された時間変化に相対的に高い確率で関連付けられる知覚経験を検索して、その検索結果を出力する。
【００１８】
被験者に生じた外的または内的な時間変化としては、被験者が明示的または黙示的に再現させることができるものであり、かつ、何らかの装置を用いて取得または計測できるものであれば、どのようなものであってもよい。
【００１９】
被験者に生じた外的な時間変化としては、被験者が自発的または受動的に行なった挙動などを含む。例えば、日常生活の中で生じる手、頭、体、足などの動作を含む。また、被験者に生じた内的な時間変化としては、被験者の体内に自発的または受動的に生じた変化を含む。例えば、脳内の血流パターンの変化、体温パターンの変化、発汗パターンの変化などを含む。
【００２０】
以下の説明では、一つの実施形態として、被験者の視覚により知覚された映像（静止画像または動画像を含む）と、被験者に生じた挙動とを関連付けて格納する処理について説明する。本明細書において、「挙動」とは、被験者の体の一部を動作させて時間的に生じる変化を含む概念である。このように、本実施の形態における知覚経験は、被験者の視覚により知覚される映像を含み、被験者に生じた時間変化は、被験者の体の一部の動きを示す情報を含む。
【００２１】
［Ｂ．システム構成］
次に、本実施の形態に従う検索システムの全体構成について例示する。
【００２２】
図１は、本実施の形態に従う検索システム１の全体構成の一例を示す模式図である。図１を参照して、本実施の形態に従う検索システム１は、基本的には、モデル構築機能および検索機能を有している。但し、後述するように、モデル構築機能のみ、あるいは、検索機能のみを有するシステムとしても成立し得る。読者の理解を深めるため、まずは、検索システム１の基本的な全体構成について説明する。
【００２３】
検索システム１のモデル構築機能において、被験者２の視覚、すなわち被験者２が見た映像を収集するために、被験者２は、ウェアラブルカメラ１０を装着している。併せて、被験者２の挙動を収集するために、被験者２は、モーションセンサ２０も装着しているとする。被験者２の挙動をより正確に計測するためには、複数のモーションセンサ２０を装着するようにしてもよい。この場合には、例えば、被験者の両腕（例えば、右手首および左手首）ならびに頭部の３ヶ所に装着するようにしてもよい。
【００２４】
ウェアラブルカメラ１０は、撮像した映像データを所定周期ごとまたはイベントごとに送出する。あるいは、ウェアラブルカメラ１０に内蔵されたメモリ内に撮像した映像データを格納するようにしてもよい。モーションセンサ２０は、被験者２の挙動を示す情報である運動データ（例えば、加速度、角速度など）を所定周期ごとまたはイベントごとに送出する。あるいは、モーションセンサ２０に内蔵されたメモリ内に取得した運動データを格納するようにしてもよい。以下の説明では、主として、３軸分の加速度および３軸分の角速度を運動データとして用いる場合について説明する。
【００２５】
但し、ウェアラブルカメラ１０から送出される映像データと、モーションセンサ２０から送出される運動データとは、互いに同期させる必要があるので、例えば、同一のタイマから出力される時刻またはカウンタ値などを含むタイムスタンプが収集されるデータに付与される。
【００２６】
検索システム１は、モデル構築機能として、映像収集部３０と、映像特徴量算出部３２と、運動情報収集部３４と、運動特徴量算出部３６と、関連付け部３８と、データ格納部４０とを含む。
【００２７】
映像収集部３０および運動情報収集部３４は、被験者２の知覚経験、および、被験者２の知覚経験のときに生じた外的または内的な時間変化を取得する機能を提供する。すなわち、映像収集部３０は、ウェアラブルカメラ１０が送出する映像データを受信し、運動情報収集部３４は、モーションセンサ２０が送出する運動データを受信する。
【００２８】
映像特徴量算出部３２、運動特徴量算出部３６、および関連付け部３８は、被験者２に生じた時間変化に基づいて識別情報を生成する機能を提供する。本実施の形態においては、好ましい一形態として、被験者２に生じた時間変化から算出される特徴量に基づいて識別情報を生成する。
【００２９】
より具体的には、映像特徴量算出部３２は、映像収集部３０にて受信された映像データに含まれる特徴量（運動量データに含まれる特徴量と区別するために、以下では「映像特徴量」とも称す。）を算出する。映像特徴量の算出方法および利用方法などの詳細については、後述する。運動特徴量算出部３６は、運動情報収集部３４にて受信した運動データに含まれる特徴量（上述の「映像特徴量」と区別するために、以下では「運動特徴量」とも称す。）を算出する。運動特徴量の算出方法および利用方法などの詳細については、後述する。
【００３０】
関連付け部３８は、映像収集部３０にて受信されたそれぞれの映像データ４２．１，４２．２，〜４２．Ｎ（以下では「映像データ４２」とも総称する。）に対して、他の映像データ特別するための識別情報４４．１，４４．２，〜４４．Ｎ（以下では「識別情報４４」とも総称する。）を関連付ける。各映像データ４２に関連付けられる識別情報４４は、当該映像データ４２が撮像されたときに被験者２が行なった挙動を特徴付ける情報に相当する。
【００３１】
関連付け部３８は、それぞれの映像データ４２について算出される映像特徴量を参照して、各映像データ４２に関連付ける識別情報４４を決定する。すなわち、関連付け部３８は、映像特徴量算出部３２にて算出される映像特徴量に基づいて、映像データ４２の種別を推定するとともに、同一の種別に属する映像データ４２を他の種別に属する映像データ４２と区別するのに最適な識別情報４４を決定し、当該決定した識別情報４４を対応する映像データ４２に関連付ける。そして、データ格納部４０は、映像データ４２と対応する識別情報４４との組を格納する。すなわち、データ格納部４０は、生成された識別情報と対応する知覚経験とを関連付けて格納する機能を提供する。
【００３２】
検索システム１は、検索機能として、入力処理部４６と、検索部４８とを含む。入力処理部４６および検索部４８は、何らかの時間変化を示す情報の入力に応答して、データ格納部４０（格納手段）を参照して、当該入力された時間変化に関連付けられた知覚経験を抽出する機能を提供する。
【００３３】
検索システム１の検索機能において、ユーザ３（被験者２と同一人物であってもよいし、そうでなくてもよい）は、モーションセンサ２０を装着している。ユーザ３は、見つけ出したい映像データが撮像されたときに被験者２が行なったであろう挙動と同様のジェスチャを行なう。すると、モーションセンサ２０から入力処理部４６に対して、ユーザ３が行なったジェスチャを示す運動データ（例えば、加速度、角速度など）が送出される。入力処理部４６は、運動特徴量算出部３６と同様に、モーションセンサ２０から送出された運動データに含まれる運動特徴量を算出し、検索部４８へ出力する。
【００３４】
検索部４８は、データ格納部４０に格納されている識別情報４４に基づいて、入力処理部４６にて算出された運動特徴量に類似していると確率の高いものを検索し、検索された運動特徴量に関連付けられる映像データ４２を検索結果として出力する。
【００３５】
上述した検索システム１のモデル構築機能および検索機能は、例えば、情報処理装置５０によって実現される。また、同一の装置がモデル構築機能および検索機能の両方を提供することなく、モデル構築機能を提供する装置と、検索機能を提供する装置とが別体であってもよい。この場合には、モデル構築機能を提供するデータ収集装置と、検索機能を提供する情報検索装置としてそれぞれ実装されてもよい。
【００３６】
［Ｃ．ハードウェア構成］
次に、本実施の形態に従う検索システム１に用いられるハードウェアについて説明する。
（ｃ１：ウェアラブルカメラ１０）
図２は、図１に示すウェアラブルカメラ１０の構成を示す模式図である。図２を参照して、ウェアラブルカメラ１０は、撮像部１０２と、制御部１０４と、通信部１０８と、各部に電力を供給するバッテリ１１０とを含む。制御部１０４は、撮像部１０２に対して制御コマンドを与えることで、目的の周期またはタイミングで映像データを取得し、通信部１０８を介して、取得した映像データを送出する。制御部１０４は、タイマ１０６を有しており、各映像データが取得されたタイミングを示す情報を、取得した映像データに付与する。
（ｃ２：モーションセンサ２０）
図３は、図１に示すモーションセンサ２０の構成を示す模式図である。図３を参照して、モーションセンサ２０は、加速度センサ２０２と、ジャイロセンサ２０４と、制御部２０６と、通信部２１０と、制御部２０６および通信部２１０に電力を供給するバッテリ２１２とを含む。制御部２０６は、加速度センサ２０２から出力される加速度データ、および、ジャイロセンサ２０４から出力される角速度データを取得し、通信部２１０を介して、それらのデータを送出する。制御部２０６は、タイマ２０８を有しており、各データを取得したタイミングを示す情報を、送出するデータに付与する。
（ｃ３：情報処理装置５０）
図４は、図１に示す情報処理装置５０の構成を示す模式図である。情報処理装置５０は、典型的には、汎用アーキテクチャに従うコンピュータが採用される。より具体的には、図４を参照して、情報処理装置５０は、プロセッサ５０２と、主メモリ５０４と、ネットワークインターフェイス５０６と、通信インターフェイス５０８と、入力部５１０と、出力部５１２と、二次記憶部５２０とを含む。これらの各コンポーネントは、バス５１４を介して互いにデータ通信可能に接続される。
【００３７】
プロセッサ５０２は、主メモリ５０４に展開されたプログラムコードを指定された順序に従って実行することで、後述するような各種処理を実現する。プロセッサ５０２としては、シングルコアまたはマルチコアのいずれの構成を採用してもよいし、複数のプロセッサを用いてもよい。主メモリ５０４は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）のような揮発性の記憶装置が用いられる。
【００３８】
ネットワークインターフェイス５０６は、ＬＡＮ（Local Area Network）などを介して、他の装置との間でデータを遣り取りする。通信インターフェイス５０８は、図１に示すウェアラブルカメラ１０およびモーションセンサ２０との間でデータを遣り取りする。典型的には、通信インターフェイス５０８は、イーサネット（登録商標）などの有線または無線によりパケットを遣り取りするデバイスが採用される。通信インターフェイス５０８としては、Ｂｌｕｔｏｏｔｈ（登録商標）などの無線デバイスが採用されることが好ましい。但し、ネットワークインターフェイス５０６および通信インターフェイス５０８を共通のデバイスで実現してもよい。
【００３９】
入力部５１０は、ユーザからの操作を受付けるデバイスであり、例えば、キーボード、マウス、タッチパネルなどにより構成される。出力部５１２は、ユーザに対して各種情報を提示、または、他の装置に対して各種データを出力するデバイスであり、例えば、ディスプレイ、各種インジケータ、プリンタなどにより構成される。
【００４０】
二次記憶部５２０は、収集された映像データおよび運動データを格納するとともに、プロセッサ５０２にて実行されるＯＳ（Operating System）およびアプリケーションプログラムを格納している。例えば、二次記憶部５２０は、モデル構築機能を実現するためのＤＢ（Data Base）構築プログラム５２２、および、検索機能を実現するための検索プログラム５２４を格納している。なお、ＤＢ構築プログラム５２２および検索プログラム５２４は、ＯＳが提供するライブラリなどを利用して、目的のプログラムを実行する場合もある。この場合であっても、これらのプログラムは、本願発明の範囲に含まれ得る。
【００４１】
典型的には、ＤＢ構築プログラム５２２および検索プログラム５２４は、一体として、または、別々に、光学ディスクなどの記録媒体を介して流通する。あるいは、インターネットワークなどを介して、ダウンロードの形で、ＤＢ構築プログラム５２２および検索プログラム５２４を配布するようにしてもよい。この場合には、ＤＢ構築プログラム５２２および／または検索プログラム５２４を格納した記録媒体自体も本願発明の範囲に含まれ得る。
【００４２】
［Ｄ．モデル構築機能］
（ｄ１：概要）
次に、本実施の形態に従う検索システム１のモデル構築機能の概要について説明する。図５は、本実施の形態に従う検索システム１のモデル構築機能の概要を説明するための模式図である。図５を参照して、被験者２に装着されたウェアラブルカメラ１０およびモーションセンサ２０からそれぞれ収集された映像データおよび運動データからそれぞれ映像特徴量および運動特徴量が算出される。そして、映像特徴量および運動特徴量の間で相関分析を実行して得られる映像データの検索に用いられる映像特徴量（以下では「検索用映像特徴量」とも称す。）が算出される。概略すると、検索用映像特徴量は、運動データから算出された運動特徴量から映像データの検索により適した成分を含むものであり、元の運動特徴量に比較して、より低い次元のデータになっている。このような検索用映像特徴量を採用することで、検索に要する時間を短縮できる。
【００４３】
但し、検索用映像特徴量を必ずしも採用する必要はなく、運動データから算出される運動特徴量をそのまま対応する映像データに関連付けるようにしてもよい。
【００４４】
（ｄ２：処理手順）
次に、本実施の形態に従う検索システム１のモデル構築機能の処理手順について説明する。図６は、本実施の形態に従う検索システム１のモデル構築機能の処理手順を示すフローチャートである。図６を参照して、検索システム１は、被験者２に装着されたウェアラブルカメラ１０およびモーションセンサ２０から、それぞれ映像データおよび運動データを収集する（ステップＳ１００）。例えば、被験者２には日常生活をおくってもらい、その際に計測される映像データおよび運動データを収集するようにしてもよい。あるいは、被験者２に対して特定の動作をするように指示した上で、映像データおよび運動データを収集するようにしてもよい。すなわち、事後的に検索したい映像データと、その検索のクエリとすべき挙動との組み合わせを考慮して、モデルの構築に必要な映像データおよび運動データが収集される。一連のデータ収集処理によって、各時刻について、映像データと運動データとのペアが格納される。
【００４５】
映像データおよび運動データが収集されると、検索システム１は、収集されたそれぞれの映像データから映像特徴量を算出するとともに、運動データから運動特徴量を算出する（ステップＳ１０２）。
【００４６】
ここで、ｉ回目（１≦ｉ≦ｎ）の計測において収集された映像データから算出された映像特徴量（特徴ベクトル）をｘｉとし、ｉ回目の計測において収集された運動データから算出された運動特徴量（特徴ベクトル）をｙｉとすると、以下のような関係が成立する。
【００４７】
Ｍ：＝｛（ｘｉ，ｙｉ）｜ｉ＝１，２，…，ｎ｝
ここで、ｘｉ∈Ｒｄｘ，ｙｉ∈Ｒｄｙである。
【００４８】
なお、上式に示されるＭ、すなわち、本実施の形態に従う検索システム１が構築するデータベースは、人間の記憶を補助させるための外部メモリとして機能し得る。本実施の形態に従う検索システム１は、入力された検索クエリｘ＊に応答して、外部メモリＭから最適な過去の映像データｙ＊を検索する。すなわち、入力された検索クエリｘ＊に対して検索評価関数Ｒが最大値をとるときの映像データｙ＊が検索結果となるように、検索評価関数Ｒが決定される。すなわち、以下に示す（１）式のような関係が成立するように、モデルが構築される。
【００４９】
【数１】
0006659011.tif 000002
【００５０】
検索システム１は、モデルおよび検索評価関数Ｒを決定するために、確率的正準相関分析（ＰＣＣＡ：Probabilistic Canonical Correlation Analysis）による学習を実行する（ステップＳ１０４）。
【００５１】
ステップＳ１０２およびＳ１０４に示すように、本実施の形態に従う検索システム１は、被験者に生じた時間変化（運動データ）から特徴量を生成し、生成した特徴量に基づいて、被験者に生じた時間変化を他の時間変化から判別するための関数（検索評価関数Ｒ）を決定する。
【００５２】
図７は、本実施の形態に従う検索システム１のモデル構築機能での処理手順を説明するための模式図である。図７に示すように、確率的正準相関分析（ＰＣＣＡ）による学習は、運動データ６０から算出された運動特徴量６２を含む運動空間（Motion Space）８０にて学習するのではなく、潜在空間（Latent Space）８４にて学習を行なうことを意味する。潜在空間８４は、同時計測された映像データと運動データとの間で、より強い相関を示す特徴量により定義される空間である。潜在空間８４は、運動空間８０と、映像データ７０から算出される映像特徴量７４により定義される映像空間（Video Space）８２とから決定される。
【００５３】
本実施の形態に従う検索システム１は、被験者に生じた時間変化を示す特徴量を表現する第１の空間（運動空間８０）と、知覚経験を示す特徴量を表現する第２の空間（映像空間８２）とを結合した第３の空間（潜在空間８４）にて、判別するための関数である検索評価関数Ｒを決定する。
【００５４】
このように、運動特徴量６２を含むオリジナルの運動空間８０ではなく、運動空間８０と映像空間８２との間でより強い相関を示す潜在空間８４にて学習処理を実行することで、次元を下げることによる検索の高速化を実現できる。また、運動空間８０に含まれる、映像データの検索には不要な情報量（ノイズ）を低減することで、映像データの検索精度を向上できる。
【００５５】
最終的に、検索システム１は、収集されたそれぞれの映像データに対応する識別情報を関連付けてデータベースに格納する（ステップＳ１０６）。
【００５６】
以上のような手順により、モデルが構築される。以下、図６に示す各ステップの詳細について説明する。
【００５７】
（ｄ３：運動特徴量）
次に、運動特徴量の算出方法について説明する。運動特徴量は、時間信号の集合である運動データから、各時刻または各時間間隔の挙動を示す情報であり、このような挙動を示す情報を算出できれば、どのような手法を採用してもよい。本実施の形態においては、周波数領域の成分を運動特徴量として採用する。
【００５８】
より具体的には、収集された運動データをダウンサンプリングして、時間信号に含まれる周波数成分を予め定められた範囲に制限する。例えば、収集された加速度および角速度（５０Ｈｚサンプリング）のそれぞれの時間信号を２５Ｈｚ（映像データのフレーム数と同数）にダウンサンプリングする。そして、ダウンサンプリングされた時間波形に対して、移動平均処理が適用される。一例として、連続する４個のサンプルが含まれるようにウィンドウを設定するとともに、その設定したウィンドウを１サンプルずつシフトさせる。各位置に設定されたウィンドウに含まれる４サンプルについて平均を算出し、当該ウィンドウの代表値とする。
【００５９】
このようにダウンサンプリングおよび移動平均処理によって高周波ノイズが除去された時間信号を周波数変換する。この周波数変換には、例えば、短時間フーリエ変換（ＳＴＦＴ：、Short-Time Fourier Transform）が採用されてもよい。一例として、連続する７５個のサンプルが含まれるようにウィンドウ（すなわち、３秒分の運動データ）を設定するとともに、その設定したウィンドウを１サンプルずつシフトさせる。各位置に設定されたウィンドウに含まれるサンプルに対して短時間フーリエ変換を適用し、さらに算出される短時間フーリエ変換の結果に対してダウンサンプリングが適用される。例えば、短時間フーリエ変換の結果は、２５Ｈｚから１０Ｈｚまでダウンサンプリングされる。このような手順を経て算出される運動特徴量の各々は、映像データの１フレームあたり、６８４次元の値をもつベクトル量となる。最終的には、算出される運動特徴量は、運動特徴量の集合体から算出される平均値および偏差に基づいて、正規化される。
【００６０】
（ｄ４：映像特徴量）
次に、映像特徴量の算出方法について説明する。映像特徴量は、被験者がある挙動を行なった際に収集された映像と、他の挙動を行なった際に収集された映像とを区別できるものであれば、どのような手法を採用してもよい。本実施の形態においては、深層畳み込みニューラルネットワーク（ＤＣＮＮ：Deep Convolutional Neural Network；以下では単に「ＤＣＮＮ」とも称す。）の手法を用いて、映像特徴量を算出する。
【００６１】
深層畳み込みニューラルネットワークを提供するにあたって、Ｃａｆｆｅと称される深層学習フレームワークが用いられてもよい。Ｃａｆｆｅでは、予め複数の事前学習済モデルが用意されている。Ｃａｆｆｅの詳細については、文献１（Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell. Caffe: convolutional architecture for fast feature embedding. In ACM-MM, pages 675-678, 2014.）を参照されたい。これらの事前学習済モデルのうち、例えば、ＩＬＳＶＲＣ−２０１２  ＩｍａｇｅＮｅｔ学習データセットについて学習されたＢＶＬＣ  Ｒｅｆｅｒｅｎｃｅ  ＣａｆｆｅＮｅｔのモデルを採用することができる。
【００６２】
ＤＣＮＮでは、多層の解析が可能であるが、映像特徴量としては、これらの生成される層のうち、より意味的に有益な表現を生じると報告されている第６層の活性化関数を用いてもよい。
【００６３】
以上のようなＤＣＮＮおよび前提条件下において、１フレームあたり４０９６次元の値をもつベクトル量が映像特徴量として算出できる。さらに、これらのベクトル量に対して、主成分分析（ＰＣＡ：Principal Component Analysis）を提供することで、次元を下げることができる。例えば、４０９６次元のベクトル量を１００次元まで低減することができる。さらに、次元を下げた複数のベクトル量をサンプリングレートの順に並べた上で、時間間隔の回転平均により、ダウンサンプリングする。
【００６４】
このようにダウンサンプリングによって算出されたフレームごとの映像特徴量を順次シフトさせて所定期間分（上述の運動データのウィンドウに合わせて、３秒分）だけ集合させて、各時刻の運動特徴量として算出する。最終的に、３秒分の映像データについての映像特徴量は、３０００次元の値をもつベクトル量となる。
【００６５】
本実施の形態に従う検索システム１は、映像特徴量が生成される所定期間（この例では、３秒分）に亘る映像データの各々に識別情報を関連付ける。すなわち、検索システム１からの検索結果は、３秒分の映像データ単位で出力される。
【００６６】
（ｄ５：確率的正準相関分析を用いた学習）
次に、潜在空間８４および検索評価関数Ｒの決定方法について説明する。
【００６７】
本実施の形態に従う検索システム１は、より好ましい形態として、確率的正準相関分析（ＰＣＣＡ）を用いて、運動特徴量および映像特徴量を共通に表現する潜在空間８４を学習する。確率的正準相関分析（ＰＣＣＡ）を用いるのは、以下のような理由に基づくものである。
【００６８】
例えば、運動データに含まれる加速度の情報を用いて厳密なマッチングを評価すると、ユーザの少しの挙動の違いで検索クエリとして用いられるジェスチャと、収集された映像データに関連付けられる動きデータとの間の相関値が低く算出されてしまう可能性がある。
【００６９】
同様に、ユーザのジェスチャを検索キーに基づいて、他のユーザの映像データを検索するような場合、日常生活の中で生じる同じ動作であっても、各ユーザの挙動は異なっているため、ジェスチャのみに基づく検索は容易ではなく、本来は検索されるべきではない映像データがヒットしてしまう可能性もある。
【００７０】
運動データに含まれる特徴量のすべてではなく、各動作を他の動作と区別できるような表現に変換できれば、挙動のばらつきによる相違を吸収でき、他の動作に対して誤って強い相関を生じないようにすることができる。
【００７１】
そこで、本実施の形態に従う検索システム１では、運動データの情報だけではなく、映像データの情報も同時に用いて、運動データに含まれる情報を圧縮する。映像データの情報を用いる理由は、映像データには、同一の動作についての共通する特徴量および他の動作との区別に利用可能な特徴量の両方が含まれているからである。
【００７２】
すなわち、人間が何らかの同一の動作を行なうときには、その挙動が多少異なっていても、見えているものはほぼ同じであり、一方で、他の動作を行なうときには、見えているものは異なるようになる。例えば、テレビを操作するときは、テレビ、リモコンおよび手が視覚に入ることになり、本を読むときには本が視覚に入る。このとき、テレビをつける動作とエアコンをつける動作とは挙動自体は類似しているが、ユーザの視覚に入る内容は異なったものとなっている。
【００７３】
そこで、ある人間が見た映像データおよびそのときの動作を同時に潜在空間に落とし込めば、運動データをぼやかしつつ、他の動作とは区別できるような表現に変換できる。この表現は、人間と実世界との間の本質的な相関関係（典型的には、人間の挙動と被験者により知覚された映像との間の相関関係）をおおよそモデル化することになる。
【００７４】
以下、映像データおよび運動データの両方を考慮した潜在空間８４、および、潜在空間８４での学習処理について説明する。このような学習の結果は、後述するような検索評価関数Ｒを決定することを意味する。検索評価関数Ｒは、ある検索クエリに対して、各映像データがどの程度強い相関関係を有しているのかを示すスコアを算出する関数である。最終的に、映像データごとに検索評価関数Ｒが決定されて、関連付けられる。
【００７５】
まず先に、一般化された確率的正準相関分析のモデルについて説明し、続いて、映像データに向けられた確率的情報検索のフレームワークについて説明する。
【００７６】
まず、映像特徴量（特徴ベクトルｘｉ）と運動特徴量（特徴ベクトルｙｉ）との各組は、図７に示す共通の潜在空間８４での変数を示す潜在ベクトルｚ（∈Ｒｍ（ｍ≦ｍｉｎ｛ｄｘ，ｄｙ｝））を用いて、以下のように表すことができる。
【００７７】
ｘ＝Ｂｘｚ＋εｘ
ｙ＝Ｂｙｚ＋εｙ
潜在空間の変数ベクトルである潜在ベクトルｚおよび誤差変数εは、以下のようなガウシアン分布に従うとみなすことができる。
【００７８】
ｚ〜Ν（０，Ｉｍ）
εｘ〜Ν（０，Ψｘ）
εｙ〜Ν（０，Ψｙ）
ここで、ΨｘおよびΨｙは、共分散マトリックスである。所与の映像特徴量（特徴ベクトルｘｉ）および運動特徴量（特徴ベクトルｙｉ）についての、潜在ベクトルｚの事後分布は、それぞれ以下の（２）式のようになる。
【００７９】
ｚ｜ｘ〜Ｎ（Ｗｘｘ，Ｖｘ）
ｚ｜ｙ〜Ｎ（Ｗｙｙ，Ｖｙ）        …（２）
ここで、
Ｖｘ：＝（Ｉ＋ＢｘＴΨｘ−１Ｂｘ）−１
Ｖｙ：＝（Ｉ＋ＢｙＴΨｙ−１Ｂｙ）−１
Ｗｘ：＝（Ｉ＋ＢｘＴΨｘ−１Ｂｘ）−１ＢｘＴΨｘ−１
Ｗｙ：＝（Ｉ＋ＢｙＴΨｙ−１Ｂｙ）−１ＢｙＴΨｙ−１
そして、同時計測された映像特徴量と運動特徴量との組を最も適切に表現できる、モデルおよびパラメータを定めるように、最尤推定（maximum-likelihood estimation）を用いてパラメータＢｘおよびＢｙを決定する。すなわち、パラメータＢｘおよびＢｙの最尤推定は、以下のように与えられる。
【００８０】
Ｂｘ＝ＣｘｘＵｘＭｘ
Ｂｙ＝ＣｙｙＵｙＭｙ
ここで、Ｃｘｘ（∈Ｒｄｘ×ｄｘ）およびＣｙｙ（∈Ｒｄｙ×ｄｙ）は、それぞれ運動特徴量および映像特徴量におけるサンプル共分散マトリックスである。また、Ｍｘ，Ｍｙ（∈Ｒｍ×ｍ）は、ＭｘＭｙＴ＝Λ（最初からｍ番目までの正準相関を含む対角マトリックス）を満たす任意のマトリックスである。マトリックスＵｘおよびＵｙの列は、運動特徴量および映像特徴量に対する従来の正準相関分析によって取得されたそれぞれの正準ベクトルに対応する。ここで、運動特徴量および映像特徴量に対して均等に重みを与える対角マトリックスを採用する。すなわち、Ｍｘ＝Ｍｙ＝Λ１／２であるとみなす。なお、このような推定量を採用することで、上述のマトリックスＶｘ，Ｖｙ，Ｗｘ，Ｗｙをより簡素化することもできる。
【００８１】
上述のＰＣＣＡモデルに基づく確率的観点から、本実施の形態に従う情報検索を実現するための検索評価関数Ｒを以下のように導出する。上述の（２）式に従えば、潜在ベクトルｚは、任意の検索クエリｘについて、事後平均ｚ＝Ｗｘｘとして算出できる。
【００８２】
映像特徴量（特徴ベクトルｘｉ）と運動特徴量（特徴ベクトルｙｉ）とのすべての組み合わせ（ｘｉ，ｙｉ）に対応する潜在ベクトルｚｉは、先に外部メモリＭにおいて取得されている。そのため、新たな潜在ベクトルｚ’＝Ｗｘｘ’は、外部メモリＭにある潜在ベクトルｚｉのいずれかから確率的に生成することができる。より具体的には、事前確率πｉに従って、外部メモリＭ内の１つのインスタンス（ｘｉ，ｙｉ）を選択するとともに、潜在ベクトルｚｉ＝Ｗｘｘｉに対応する確率ノイズベクトルｒを追加することで、最終的に、潜在ベクトルｚ’＝潜在ベクトルｚ＋確率ノイズベクトルｒとして定義する。
【００８３】
これは、本実施の形態に従う検索システム１においては、潜在ベクトルｚ’の生成という問題を、潜在ベクトルｚの推定という問題に定式化できることを意味する。確率ノイズベクトルｒが関数ｆによって与えられる確率密度関数に従うのであれば、ｉ＝１，２，…，｜Ｍ｜について、事後確率ｐ（ｚｉ｜ｚ’）＝πｉｆ（ｚ’−ｚｉ）／Σｉπｉｆ（ｚ’−ｚ）を最大化することが合理的なアプローチとなる。
【００８４】
ここで、事前確率πｉが一様であるとする。何らかの特定の関数ｆが選択された場合に、当該選択された関数ｆについての検索評価関数Ｒｆを以下の（３）式のように定式化できる。
【００８５】
【数２】
0006659011.tif 000003
【００８６】
事前確率πｉが一様であるとの条件下では、関数ｆを決定することは、−ｌｏｇｆ（Ｗｘｘ’−Ｗｘｘ）の最小値を求めることと等価であり、この最小値を求めることは、一般的な解法が存在する。
【００８７】
さらに、上述のＰＣＣＡモデルに従う特定の関数ｆを設計することができる。ＰＣＣＡモデルでは、対応する運動特徴量（特徴ベクトルｙｉ）が存在しない検索クエリｘｉが与えられると、確率ノイズベクトルｒｉ（＝ｚ’−ｚｉ）は、Ｎ（０，Ｖｘ）に従い、一方、対応する映像特徴量（特徴ベクトルｘｉ）が存在しない検索クエリｙｉが与えられると、確率ノイズベクトルｒｉ（＝ｚ’−ｚｉ）は、Ｎ（０，Ｖｙ）に従うことになる。これらの２つの観点を単純に組み合わせると、以下の（４）式を導くことができる。
【００８８】
ｆ（ｒ）＝Ｎ（ｒ｜０，Ｖｘ＋Ｖｙ）    …（４）
上述の（３）式に示唆されるように、対応する検索評価関数Ｒは、最終的には、以下の（５）式に従って算出できる。
【００８９】
【数３】
0006659011.tif 000004
【００９０】
上述の（５）式は、２つの異なる視点において事後的不確定性のメトリック統合による潜在空間における距離測定を意味する。すなわち、本実施の形態に従う検索システム１においては、運動空間８０および映像空間８２から算出される潜在空間８４において、ある検索クエリに最も距離が近い運動特徴量を特定し、その特定された運動特徴量に対応する映像データが検索結果として出力されることになる。
【００９１】
［Ｅ．検索機能］
次に、本実施の形態に従う検索システム１の検索機能について説明する。
【００９２】
（ｅ１：処理手順）
図８は、本実施の形態に従う検索システム１の検索機能の処理手順を示すフローチャートである。図８を参照して、検索システム１は、検索クエリとなる運動データを受付ける（ステップＳ２００）。典型的には、モーションセンサ２０を装着しているユーザは、検索したい映像データが収集されたときに行なったであろう行動のジェスチャを再度行なう。すると、モーションセンサ２０は、そのユーザのジェスチャを示す運動データを計測し、その計測した運動データを情報処理装置５０へ送信する。
【００９３】
検索システム１は、受信した運動データから運動特徴量を算出する（ステップＳ２０２）。そして、検索システム１は、算出した運動特徴量をそれぞれの映像データに関連付けられている検索評価関数Ｒに入力し、各映像データのスコアを算出する（ステップＳ２０４）。最終的に、検索システム１は、算出されたスコアの値の高いものから順位付けし、上位にランクされている映像データを検索結果として出力する（ステップＳ２０６）。
【００９４】
以上のような処理により、１つの検索クエリに対する映像データの検索機能の実行が完了する。
【００９５】
（ｅ２：ユーザインターフェイス）
本実施の形態に従う検索システム１の検索機能においては、検索クエリを入力するため、および、検索結果を出力するための任意のユーザインターフェイスが用いられてもよい。
【００９６】
図９は、本実施の形態に従う検索システム１の検索機能において提供されるユーザインターフェイスの一例を示す図である。図９に示すユーザインターフェイスは、情報処理装置５０の出力部５１２（図４）などに表示される。
【００９７】
図９（Ａ）には、ユーザに検索クエリの入力を促すユーザインターフェイス画面の例を示す。ユーザは、図９（Ａ）に示される画面を表示した状態で、目的の映像データが撮像されたときの行動を示すジェスチャを行なうことで、そのジェスチャを示す運動データが検索クエリとして入力される。
【００９８】
図９（Ｂ）には、図９（Ａ）のユーザインターフェイス画面にて入力された検索クエリに基づいて実行された検索結果を示すユーザインターフェイス画面の例を示す。図９（Ｂ）に示される検索結果の出力画面では、算出された順位が高いものから順に映像データまたはそのサムネイルと、当該映像データに関する情報（例えば、撮像された日時など）とが表示される。
【００９９】
検索結果の表示態様については、任意の選択できるが、例えば、図９（Ｂ）に示すようなランキング形式であってもよいし、検索された映像データの全部または一部を並べた一覧形式であってもよい。
【０１００】
さらに、入力された運動データの波形および算出されたスコア値なども併せて表示するようにしてもよい。
【０１０１】
［Ｆ．実験内容および検索精度の評価］
次に、本実施の形態に従う検索システム１の検索精度を評価するために行なった実験内容およびそれを用いて評価した検索精度の結果例について説明する。
【０１０２】
（ｆ１：データ収集方法）
可能な限り日常生活に近い環境下で、運動データおよび映像データの収集を収集した。具体的には、実環境実験施設内（実験用の住宅の中）で、複数の被験者（今回の実験例では、８名）に対して、日常生活を模擬した行動を、場所を変えつつ、各被験者が任意に決めたタイミングで、ランダムに行なってもらった。日常生活を模擬した行動としては、予め２０種類を定めた。例えば、リビングにてコーヒーを飲む、洗面所で歯を磨く、寝室で本を読む、キッチンで食器を洗う、といった行動が含まれる。
【０１０３】
ワークシートを用いて、実施すべき各行動の内容を各被験者に説明した上で、説明者がその行動の手本を見せた上で、当該被験者にその行動を練習してもらい、最終的に本番での行動を行なってもらった。
【０１０４】
１つのセッションにおいて、各被験者は、１つの行動を１回実施する。１つのセッションの継続時間は約１０分である。そして、このセッションを１０回繰り返した。最終的に、各被験者の実験に要した時間は４〜５時間であった。
【０１０５】
（ｆ２：評価方法）
上述のデータ収集方法に従って収集された運動データおよび映像データに基づいて、上述したような学習処理を実行し、各映像データに関連付けられる検索評価関数Ｒを決定した。そして、決定された検索評価関数Ｒに対して、上述のデータ収集において各被験者が行なった２０種類の日常生活を模擬した挙動により得られる運動エータを検索クエリとした。各挙動に対応する運動データから算出される運動特徴量をそれぞれの検索評価関数Ｒに入力し、より高いスコアを出力した検索評価関数Ｒ（すなわち、映像データ）を対応する検索結果として出力する。
【０１０６】
本実験においては、検索クエリを「物あり課題」および「物なし課題」の２種類に分けた。「物あり課題」では、上述のデータ収集時に取得された運動データ、すなわち日常生活を模擬した実際の行動を行なったときに取得された運動データを検索クエリとする。「物あり」という意味は、例えば、「コーヒーを飲む」といった行動であれば、被験者はコーヒーカップをもっているので、そのような行動を想定している。
【０１０７】
「物なし課題」では、上述のデータ収集とは独立して、被験者が指定された行動を想定したジェスチャを行なって計測された運動データを検索クエリとする。すなわち、被験者は、物をもたずに、その行動を想定して行動を行ない、その行動によって取得された運動データが検索クエリとして用いられる。
【０１０８】
また、本実験においては、被験者内の検索および被験者間の検索の両方を行なった。被験者内の検索は、特定の被験者から計測された運動データを検索クエリとして、当該特定の被験者について予め収集されている映像データを検索するものである。一方、被験者間の検索は、特定の被験者から計測された運動データを検索クエリとして、他の被験者について予め収集されている映像データを検索するものである。
【０１０９】
本実験においては、「物あり課題」と「物なし課題」との２種類、および、「被験者内の検索」と「被験者間の検索」との２種類、の合計４パターンについて評価した。
【０１１０】
本実施の形態に従うＰＣＣＡモデルの検索精度を評価するために、他の検索手法を用いた検索結果を併せて算出した。なお、以下の評価結果を示す表において、本実施の形態に従う検索システム１を「ＰＣＣＡ」と示す。
【０１１１】
比較対象に用いた検索手法は、ランダム選択法（表中では、「Ｒａｎｄｏｍ」とも記す。）、ユークリッド距離選択法（表中では、「Ｓｔａｎｄａｒｄ」とも記す。）、および、主成分分析法（表中では、「ＰＣＡ」とも記す。）の３つである。
【０１１２】
ランダム選択法は、検索クエリの入力に対して、当該入力された検索クエリを考慮せず、映像データをランダムに選択する方法である。
【０１１３】
ユークリッド距離選択法は、運動データから算出される運動特徴量のユークリッド距離に基づいて映像データを順位付けする方法である。ユークリッド距離選択法においては、ユークリッド距離が小さいものほど、上位にランキングされることになる。
【０１１４】
主成分分析法は、運動データから算出される運動特徴量に対して主成分分析（ＰＣＡ）を適用して次元を下げた結果を用いて、そのユークリッド距離に基づいて映像データを順位付けする方法である。主成分分析法においては、次元を下げた運動特徴量のユークリッド距離が小さいものほど、上位にランキングされることになる。
【０１１５】
本実施の形態に従うＰＣＣＡモデルでは、潜在空間内での距離に基づいて映像データを順位付けすることになる。
【０１１６】
（ｆ３：評価結果）
以下の評価においては、入力された検索クエリに対して、当該検索クエリに適合する映像データが検索結果の上位５件までに含まれている割合を用いた。上位５件までに適合する映像データが含まれている割合を「Ｐｒｅｃｉｓｉｏｎ＠５」と記す。
【０１１７】
また、入力された検索クエリに対する平均適合率（Average Precision）についても評価した。すなわち、検索結果内に、入力された検索クエリに適合する映像データが現れた時点における適合率の平均値を意味する。
【０１１８】
「Ｐｒｅｃｉｓｉｏｎ＠５」および「Ａｖｅｒａｇｅ  Ｐｒｅｃｉｓｉｏｎ」のいずれについても、２０種類の行動のそれぞれについての検索クエリに対する検索結果の平均を示す。また、両指標は、いずれもその評価値が高くほど、検索精度が高いことを意味する。
【０１１９】
（１）「物あり課題」かつ「被験者内の検索」の場合
「物あり課題」かつ「被験者内の検索」の場合の評価結果を以下に示す。
【０１２０】
【表１】
0006659011.tif 000005
【０１２１】
上表の結果によれば、ユークリッド距離選択法、主成分分析法、および、ＰＣＣＡモデルのいずれについても、ランダム選択法を大きく上回っており、有意に映像データを検索できていることが分かる。すなわち、予め収集された運動データおよび映像データに対して、自らの過去の映像データを適切に検索できることを意味している。
【０１２２】
（２）「物なし課題」かつ「被験者内の検索」の場合
「物なし課題」かつ「被験者内の検索」の場合の評価結果を以下に示す。
【０１２３】
【表２】
0006659011.tif 000006
【０１２４】
上表の結果によれば、ユークリッド距離選択法、主成分分析法、および、ＰＣＣＡモデルのいずれについても、ランダム選択法を大きく上回っており、有意に映像データを検索できていることが分かる。すなわち、予め収集された運動データおよび映像データに対して、事後的に行なったジェスチャのみであっても、自らの過去の映像データを適切に検索できることを意味している。
【０１２５】
上述の「物あり課題」および「物なし課題」のいずれにおいて、本実施の形態に従うＰＣＣＡモデルが最も高い検索精度を実現できている。これは、運動特徴量により定義される運動空間８０と、映像特徴量により定義される映像空間８２とを組み合わせた潜在空間８４を用いることが、検索に有用であることを示している。但し、他の手法（ユークリッド距離選択法または主成分分析法）を用いても、本実施の形態に従う検索システム１を実現できることも併せて示されている。
【０１２６】
（３）「物あり課題」かつ「被験者間の検索」の場合
「物あり課題」かつ「被験者間の検索」の場合の評価結果を以下に示す。
【０１２７】
【表３】
0006659011.tif 000007
【０１２８】
上表の結果によれば、ユークリッド距離選択法、主成分分析法、および、ＰＣＣＡモデルのいずれについても、ランダム選択法を大きく上回っており、有意に映像データを検索できていることが分かる。すなわち、予め収集された運動データおよび映像データに対して、他人の過去の映像データであっても、適切に検索できることを意味している。
【０１２９】
（４）「物なし課題」かつ「被験者間の検索」の場合
「物なし課題」かつ「被験者間の検索」の場合の評価結果を以下に示す。
【０１３０】
【表４】
0006659011.tif 000008
【０１３１】
上表の結果によれば、ユークリッド距離選択法、主成分分析法、および、ＰＣＣＡモデルのいずれについても、ランダム選択法を大きく上回っており、有意に映像データを検索できていることが分かる。すなわち、予め収集された運動データおよび映像データに対して、事後的に行なったジェスチャのみであっても、他人の過去の映像データを適切に検索できることを意味している。
【０１３２】
上述の「物あり課題」および「物なし課題」のいずれにおいて、本実施の形態に従うＰＣＣＡモデルが最も高い検索精度を実現できている。これは、運動特徴量により定義される運動空間８０と、映像特徴量により定義される映像空間８２とを組み合わせた潜在空間８４を用いることでよりより汎化性の高い表現を実現でき、検索精度を向上できることを意味する。
【０１３３】
［Ｇ．応用例］
（ｇ１：ネットワーク型の検索サービス）
上述の説明では、情報処理装置５０を中心とする検索システム１の構成例について説明したが、検索対象の情報によっては、ネットワーク型の検索サービスの提供が好ましい場合もある。
【０１３４】
図１０は、本実施の形態の変形例に従う検索システム１Ａの全体構成の一例を示す模式図である。図１０を参照して、インターネットなどのネットワーク９０を介して、サーバ装置９２と、端末装置９６とが接続可能になっている。
【０１３５】
サーバ装置９２は、１または複数のユーザの知覚経験と、各知覚経験を検索するための特徴量とを含む検索データベース９４を有している。また、サーバ装置９２は、端末装置９６などから送信される検索クエリに応答して、当該検索クエリに対応する知覚経験を検索データベース９４から検索し、検索結果を検索クエリの送信元へ応答する。
【０１３６】
例えば、モーションセンサ２０を装着しているユーザ４が何らかのジェスチャをすると、当該ジェスチャに対応する運動データがモーションセンサ２０から端末装置９６へ送信される（図１０中の（１）運動データ）。端末装置９６は、モーションセンサ２０からの運動データをサーバ装置９２へ転送する（図１０中の（２）運動データ）。サーバ装置９２は、端末装置９６からの運動データから検索クエリを生成し、検索データベース９４から当該検索クエリに対応する知覚経験を探索する（図１０中の（３）検索）。最終的に、サーバ装置９２は、検索結果を端末装置９６へ応答する（図１０中の（４）検索結果）。
【０１３７】
このようなサーバ装置９２と端末装置９６との間の一連の遣り取りによって、ユーザ４は、検索のキーワードとなる何らかの動作を行なうことで、その動作に関連付けられた知覚経験を容易に取得することができる。また、検索データベース９４に格納される知覚経験としては、ユーザ４自身による過去の知覚経験であってもよいし、他のユーザによる過去の知覚経験であってもよい。このような検索システムを利用することで、ユーザ４の記憶を補助することができ、また、ユーザ４は他人の経験を共有することもできる。
【０１３８】
（ｇ２：記憶補助）
本実施の形態に従う検索システム１を用いることで、記憶補助に利用することができる。より具体的には、自身が過去に見た映像（一人称視点映像）を収集しておき、これを検索対象とすることで、記憶を補助することができる。例えば、食べるジェスチャを検索クエリとして入力すると、前日に食事したときの映像データが検索され、この検索された映像データを見て、食べたものを思い出すことができる。
【０１３９】
あるいは、本を読むジェスチャを検索クエリとして入力すると、過去の読書時の映像データを検索でき、これにより以前に読んだ本の内容などを思い出すことができる。また、テレビを操作するジェスチャを行なうことで、過去に見たテレビの内容を検索することもできる。
【０１４０】
また、物忘れした内容を言語で表現できない場合などに、言語の代わりにジェスチャを使って検索を行ない、その検索した内容を相手に見せることで、相手に意図を伝えることもできる。例えば、ある特定のものが欲しいとき、そのものを示す単語をど忘れしても、そのものを操作するジェスチャを検索クエリとすることで、そのものを操作している映像データを検索することがで、その映像を相手に見せることで、自身の意図を伝えることができる。
【０１４１】
（ｇ３：他人の知覚経験の共有）
他の用途として、本実施の形態に従う検索システムは、他人の知覚経験を共有するために用いることができる。データ収集段階において、特定の動作をすることで映像データを一種のメモとして記憶しておき、事後的にジェスチャを用いてその映像データを検索して再生することができる。
【０１４２】
他人の過去の知覚経験（一人称視点映像）を検索することで、その他人が有している技能の獲得を支援することもできる。例えば、複数のゴルファーにゴルフスイングをしてもらい、そのときの映像データを収集しておく。そして、あるユーザがゴルフスイングをすることで、当該ユーザのスイングに似たスイングを行なうゴルファーの一人称視点映像を検索することができ、その映像を見ることで、当該ユーザのスタイルにあったスイングを学習することができる。ゴルフに限らず、他のスポーツにおいても同様である。
【０１４３】
別の例として、包丁を扱うジェスチャを検索クエリとして、同じ動作をした料理人の一人称視点映像を再生し、レシピおよび手順の正しさを確認することもできる。
【０１４４】
このように、職人の技術にまつわる動作データと映像データとを関連付けて、収集および検索できるようなシステムを構築することで、技能継承に利用することができ、あるいは、技能習得の支援に利用することができる。
【０１４５】
［Ｈ．利点］
以上のように、本実施の形態に従う検索システム１は、典型的には、日常生活において人間が行なう動作と、そのときにその人が見ている映像（一人称視点映像）とを同時計測するとともに、それらのデータに基づいてデータベースを構築する。そして、ユーザが、事後的にジェスチャを用いて、過去に行なわれた動作を表現することで、検索システム１は、その動作に類似する動きデータを検索し、当該動作に類似する動作が行なわれたときに撮像された映像データを検索結果として出力する。
【０１４６】
このように、本実施の形態に従う検索システム１を用いることで、ジェスチャを用いて、日常生活の中で生じる動作を撮像した映像データを検索することができる。このような日常生活の中で生じる動作に関する映像データを容易に検索できる環境を提供することで、人間の記憶を補助することができ、あるいは、他人の知覚経験（他人の視覚映像）を共有することができる。
【０１４７】
本願発明者は、実環境実験施設内にて、複数の被験者に２０種類の日常生活の中で生じる動作を行なってもらい、それぞれの動作時において撮像された映像データと動作データとを用いてデータベースを構築するとともに、その構築したデータベースに対する検索精度を評価した。この実験結果によれば、ジェスチャを用いた映像データの検索を採用することで、自分自身の過去の映像データだけではなく、他人の映像データについても、実用上十分に高い精度で検索できることが分かった。
【０１４８】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１４９】
１，１Ａ  検索システム、２  被験者、３，４  ユーザ、１０  ウェアラブルカメラ、２０  モーションセンサ、３０  映像収集部、３２  映像特徴量算出部、３４  運動情報収集部、３６  運動特徴量算出部、３８  関連付け部、４０  データ格納部、４２，７０  映像データ、４４  識別情報、４６  入力処理部、４８  検索部、５０  情報処理装置、６０  運動データ、６２  運動特徴量、７４  映像特徴量、８０  運動空間、８２  映像空間、８４  潜在空間、９０  ネットワーク、９２  サーバ装置、９４  検索データベース、９６  端末装置、１０２  撮像部、１０４，２０６  制御部、１０６，２０８  タイマ、１０８，２１０  通信部、１１０，２１２  バッテリ、２０２  加速度センサ、２０４  ジャイロセンサ、５０２  プロセッサ、５０４  主メモリ、５０６  ネットワークインターフェイス、５０８  通信インターフェイス、５１０  入力部、５１２  出力部、５１４  バス、５２０  二次記憶部、５２２  構築プログラム、５２４  検索プログラム。
【図１】
0006659011.tif 000009
【図２】
0006659011.tif 000010
【図３】
0006659011.tif 000011
【図４】
0006659011.tif 000012
【図５】
0006659011.tif 000013
【図６】
0006659011.tif 000014
【図７】
0006659011.tif 000015
【図８】
0006659011.tif 000016
【図９】
0006659011.tif 000017
【図１０】
0006659011.tif 000018