(57)【要約】【課題】  ユーザの体験した視覚・音声情報を体系化して、ユーザに体験マップとして提示することが可能な体験マッピング装置を提供する。【解決手段】  体験マッピング装置３００において、ハードディスク３２４は、光学的に識別可能な識別標識を各々付された複数の対象物が配置された領域において、観測者の装着したカメラにより、観察者の行動にしたがって順次撮影される対象物を含む画像を時間軸上の順序情報と関連付けた撮影画像情報と、識別標識により特定される対象物を順序情報と関連付けた観測ベクトルとを格納している。ＣＰＵ３２０は、撮影画像情報から複数のタイミングに対応して複数の抽出画像を抽出し、ディスプレイ３０４に、抽出画像に対応する観測ベクトルの類似度に応じて、各抽出画像に引力または斥力を対応付けることにより、観測者が時間的に繰返して相互作用を行う対象物のグループに対応する抽出画像がクラスタを形成するように表示する。【選択図】        図４
2005309609.tif 000002
【特許請求の範囲】
【請求項１】
光学的に識別可能な識別標識を各々付された複数の対象物が配置された領域において、観測者の装着した撮像手段により、前記観察者の行動にしたがって順次撮影される前記対象物を含む画像を時間軸上の順序情報と関連付けた撮影画像情報を記憶する記憶装置を備え、
前記記憶装置は、さらに、
前記識別標識により特定される前記対象物を前記順序情報と関連付けた観測物情報を格納するものであり、
前記撮影画像情報から複数のタイミングに対応して複数の抽出画像を抽出する手段と、
前記抽出画像に対応する前記観測物情報の類似度に応じて、各抽出画像に引力または斥力を対応付けることにより、前記観測者が時間的に繰返して相互作用を行う前記対象物のグループに対応する前記抽出画像がクラスタを形成するように表示する表示手段とを備える、体験マッピング装置。
【請求項２】
前記複数のタイミングは、所定の時間間隔ごとのタイミングであり、
前記類似度は、前記各時間間隔ごとに前記観測者が相互作用を行う対象物に対応する要素について有限の値を有するように定義された観測ベクトル間の類似度により算出される、請求項１記載の体験マッピング装置。
【請求項３】
前記複数のタイミングは、同一の対象物の観測に対応した時間的に近接する塊に対応し、
前記類似度は、前記観測者が相互作用を行う対象物に対応する要素について有限の値を有するように定義された観測ベクトル間の類似度により算出される、請求項１記載の体験マッピング装置。
【請求項４】
前記引力または斥力は、所定の有効距離を有し、
ユーザが前記抽出画像を選択して移動先を指示する信号を入力するための入力手段をさらに備え、
前記表示手段は、前記ユーザが選択した前記抽出画像を移動して他の前記抽出画像間を移動させることに応じて、相互に引力を有する前記抽出画像が前記クラスタを形成するように表示する、請求項１記載の体験マッピング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの体験に伴う映像等の記録情報を再構成して、ユーザの体験した内容を、当該ユーザまたは他のユーザに対して提示するための体験マッピング装置の構成に関する。
【背景技術】
【０００２】
センサ素子やマイクロプロセッサなどが小さく安価になり、微細加工技術が発達したことにより、日常の生活空間内に、ネットワーク化されたセンサ群、いわゆる「ユビキタスセンサ」を配置することが実用化されようとしている。
【０００３】
一方で、このような「ユビキタスセンサ」技術を用いた応用技術についてもすでにいくつかの報告がある（たとえば、非特許文献１を参照）。
【非特許文献１】Tetsuya Matsuguchi, Yasuyuki Sumi, and Kenji Mase. "Deciphering interactions from spatio-temporal data." ISPJ SIGNotes Human Interface, (102), 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以上のような「ユビキタスセンサ」の実現された環境では、その環境下で行動するユーザの様々な活動・体験をセンシングして記録することが可能となる。
【０００５】
その場合、たとえば、当該ユーザが自分の活動を振り返り、過去の体験を語りたいときに、上記のようにして記録されたデータに基づいて、自己の体験の記憶を視覚的に呼び起こすことを補助することができれば有用である。
【０００６】
本発明の目的は、ユーザの体験した視覚・音声情報を体系化して、ユーザに体験マップとして提示することが可能な体験マッピング装置を提供することである。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明の体験マッピング装置は、光学的に識別可能な識別標識を各々付された複数の対象物が配置された領域において、観測者の装着した撮像手段により、観察者の行動にしたがって順次撮影される対象物を含む画像を時間軸上の順序情報と関連付けた撮影画像情報を記憶する記憶装置を備え、記憶装置は、さらに、識別標識により特定される対象物を順序情報と関連付けた観測物情報を格納するものであり、撮影画像情報から複数のタイミングに対応して複数の抽出画像を抽出する手段と、抽出画像に対応する観測物情報の類似度に応じて、各抽出画像に引力または斥力を対応付けることにより、観測者が時間的に繰返して相互作用を行う対象物のグループに対応する抽出画像がクラスタを形成するように表示する表示手段とを備える。
【０００８】
好ましくは、複数のタイミングは、所定の時間間隔ごとのタイミングであり、類似度は、各時間間隔ごとに観測者が相互作用を行う対象物に対応する要素について有限の値を有するように定義された観測ベクトル間の類似度により算出される。
【０００９】
好ましくは、複数のタイミングは、同一の対象物の観測に対応した時間的に近接する塊に対応し、類似度は、観測者が相互作用を行う対象物に対応する要素について有限の値を有するように定義された観測ベクトル間の類似度により算出される。
【００１０】
好ましくは、引力または斥力は、所定の有効距離を有し、ユーザが抽出画像を選択して移動先を指示する信号を入力するための入力手段をさらに備え、表示手段は、ユーザが選択した抽出画像を移動して他の抽出画像間を移動させることに応じて、相互に引力を有する抽出画像がクラスタを形成するように表示する。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施の形態について説明する。
【００１２】
［本発明のシステム構成］
図１は、本発明の体験キャプチャシステム２０の一例を示す概念図である。
【００１３】
図１に示すように、元々の観測者２は、携帯型の体験キャプチャシステム２０を装着している。この体験キャプチャシステム２０は、着用可能な（以下、「ウェアラブルな」という）コンピュータ１００と、映像カメラ（赤外線感知型カメラを含む）１４２と、マイク（図１では図示せず）とを備える。
【００１４】
さらに、環境下において、相互作用の対象となっている対象物には、予め、赤外線を発するＬＥＤ（Light Emitting Diode）タグ１０．１〜１０．ｎ（ｎ：自然数）が、付けられているものとする。赤外線を発するＬＥＤタグ（以下、「ＩＲタグ」と呼ぶ）１０．１〜１０．ｎの各々は、赤外線により、固有な識別信号を発している。このような、固有な識別信号は、上述した赤外線感知型カメラ（以下、「ＩＲカメラ」）によって読込むことが可能である。
【００１５】
体験キャプチャシステム２０は、マイクにより集音される音声データと、映像カメラ１４２により撮影される映像データと、ＩＲカメラにより撮影されるＩＲタグデータを、データ獲得期間（キャプチャ期間）のすべての期間にわたって記録する。観測者２のいる地点において、ＩＲカメラの視野の範囲内において光学的に検知できるＩＲタグのみがシステム２０に記録される。
【００１６】
なお、コンピュータ１００は、特に限定されないが、たとえば、無線によりＬＡＮ（Local Area Network）に接続する構成とすることが可能である。
【００１７】
［体験キャプチャシステム２０のハードウェア構成］
図２は、体験キャプチャシステム２０の構成をブロック図形式で示す図である。
【００１８】
図２を参照して、体験キャプチャシステム２０のコンピュータ１００は、メモリカードなどの外部媒体１５０上の情報を読込むための外部媒体ドライブ１１６と、それぞれバスＢＳ１に接続されたＣＰＵ（Central Processing Unit ）１１０と、ＲＯＭ（Read Only Memory)およびＲＡＭ（Random Access Memory）を含むメモリ１１２と、直接アクセスメモリ装置、たとえば、ハードディスク１１４と、無線等による接続を用いてＬＡＮとデータの授受を行うための通信インタフェース１１８と、システムにより使用される時刻を提供するためのタイマ１２２とを備える。
【００１９】
さらに、コンピュータ１００は、必要に応じてコンピュータ１００に接続され、ユーザによるデータ入力に使用される入力装置１６０からのデータを受け取るための外部装置インタフェース１２０を備える。この外部装置インタフェース１２０は、観測者２が、その頭部に装着するヘッドセット１４０に装着された映像カメラ１４２およびマイク１４４からの画像データや音声データを受け取る。さらに、ヘッドセット１４０には、必要に応じて、映像カメラ１４２からの画像を観測者２に対して表示するためのヘッドセット型ディスプレイ１４６が設けられてもよい。また、映像カメラ１４２には、可視光の映像を撮影するためのカメラシステムだけでなく、上述したとおり、赤外線の映像を撮影するためのＩＲカメラシステムも設けられているものとする。
【００２０】
なお、外部媒体１５０は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体である。また、必要に応じて、キャプチャされたデータを記録可能なものとする。
【００２１】
また、画像データの記録媒体として、ハードディスク１１４、あるいは、他の大容量の外部媒体を用いることで、体験キャプチャシステム２０におけるコンピュータ１００は、基本的には、汎用のモバイルコンピュータを用いることができる。もちろん、体験キャプチャシステム２０におけるコンピュータ１００を、汎用のモバイルコンピュータの代わりに、専用のハードウェアで構成してもよい。
【００２２】
［体験マッピング装置１０００のハードウェア構成］
図３は、本発明の体験マッピング装置１０００の一例を示す概念図である。
【００２３】
図３を参照して、体験マッピング装置１０００は、観測者２または第三者の操作に基づいて、観測者２の体験した音声データおよび画像データへアクセスするためのコンピュータ３００を備える。
【００２４】
図３を参照して、このコンピュータ３００は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）上の情報を読込むためのＣＤ−ＲＯＭドライブ３０８および外部媒体１５０に対して情報を読み書きするための外部媒体ドライブ３０６を備えたコンピュータ本体３０２と、コンピュータ本体３０２に接続された表示装置としてのディスプレイ３０４と、同じくコンピュータ本体３０２に接続された入力装置としてのキーボード３１０およびマウス３１２と、音声入力装置としてのマイク３３２と、音声出力装置としてのスピーカ３３４とを含む。
【００２５】
図４は、このコンピュータ３００のハードウェア構成をブロック図形式で示す図である。
【００２６】
図４に示されるように、このコンピュータ３００を構成するコンピュータ本体３０２は、ＣＤ−ＲＯＭドライブ３０８および外部媒体ドライブ３０６に加えて、それぞれバスＢＳ２に接続されたＣＰＵ３２０と、ＲＯＭおよびＲＡＭを含むメモリ３２２と、直接アクセスメモリ装置、たとえば、ハードディスク３２４と、マイク３３２またはスピーカ３３４とデータの授受を行うためのインタフェース３２８とを含んでいる。
【００２７】
なお、インタフェース３２８は、たとえば、ＬＡＮ４１０を介して体験キャプチャシステム２０と直接に、あるいは、システムの構成によっては、体験キャプチャシステム２０により獲得されたデータをＬＡＮを介してアクセス可能なように蓄積したサーバ（図示せず）との通信を行うために使用することもできる。
【００２８】
以下の説明では、体験マッピング装置１０００が動作するにあたっては、体験キャプチャシステム２０により獲得されたデータは、ＬＡＮを介して、あるいは外部媒体１５０を介して、ハードディスク３２４に格納されるものとして説明を行う。
【００２９】
なお、ＣＤ−ＲＯＭ３１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）などでもよく、その場合は、コンピュータ本体３０２には、このような他の媒体を読取ることが可能なドライブ装置が設けられる。
【００３０】
本発明の体験マッピング装置１０００の主要部は、コンピュータハードウェアと、ＣＰＵ３２０により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ３１８等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ３０８等により記憶媒体から読取られてハードディスク３２４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク３２４にコピーされる。そうしてさらにハードディスク３２４からメモリ３２２中のＲＡＭに読出されてＣＰＵ３２０により実行される。なお、ネットワーク接続されている場合には、ハードディスク３２４に格納することなくＲＡＭに直接ロードして実行するようにしてもよい。
【００３１】
図３および図４に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭ３１８、ハードディスク３２４等の記憶媒体に記憶されたソフトウェアである。
【００３２】
なお、一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該体験マッピング装置１０００を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて体験マッピング装置１０００が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
（本発明の動作の概要）
以下に説明されるように、体験キャプチャシステム２０およびこの体験キャプチャシステム２０によりキャプチャされたデータの提示を行なうための体験マッピング装置１０００の目的は、自動的に、あるいは半自動的に、キャプチャされた大量の素材を、「状況（シチュエーション）」に分類し、事後において、時間とは無関係に、検索することを可能とするものである。このような分類を行なうのは、大量のキャプチャされた生データは、手動で、かつ時間軸に沿って興味あるキャプチャデータの探索を行なうことが効率的でないためである。
【００３３】
また、本発明の体験マッピング装置では、後に定義するように、キャプチャされたデータ間の「類似度」の関係に基づいて他の関連したキャプチャデータにアクセスすることを可能とし、観測者２の記憶の想起の補助として役立たせることを目的として、「類似度」の関係を持つように分類された「状況」とキャプチャデータとを相互に関連づかせる。このような「類似度」の関係は、観測者２の活動する環境下において、対象物に装着されたユビキタスなＩＲタグ１０．１〜１０．ｎと協働させることで、ヘッドマウントカメラによってキャプチャされた観測データを相互に関連付けるものである。
【００３４】
このような「類似度」の測定を可能としているということにより、本発明では、時間軸に拘束されず、「“状況”という概念に基づいた分類」という新たな分類法を提供し、キャプチャされた映像、音声および他のデータにアクセスすることを可能とするものである。
【００３５】
（本発明の動作の詳細）
本発明では、対象物の観点から上述した「状況」を定義して、キャプチャされたデータを離散的な「塊（チャンク：chunk）」に区分し、観測ベクトルとその塊との間に、類似度の計量を定義して、最終的には、このような類似度の計量を用いて、「状況」（塊のグループ）を形成する。
【００３６】
（１．対象物の観点からの「状況」の定義）
本発明においては、時間的に繰返されて観測者２により観測される対象物（または対象物のグループ）として、「状況」を定義する。このような対象物のグループは、観測者が、ある期間にわたって、繰返し相互作用を行なうものである。
【００３７】
１つの対象物は、時間軸において、そのタグが、各瞬間において、ＩＲカメラによって撮影されている場合には、「相互作用を行なっている」と呼ぶこととする。このような対象物のグループは、そのような相互作用が繰返し行なわれることによって、観測者２の体験の全体からみたときに、意味上の重要性を持っているものであると考えられる。
【００３８】
（２．キャプチャデータを離散的な塊に区分け）
キャプチャデータの一部分は、ヘッドマウント型のＩＲカメラによりもたらされ、このような一部分は、いずれのＩＲタグが、ある時点において、観測者２の視野内に存在しているかということを特定する。
【００３９】
図５は、このようにして獲得されるキャプチャデータの一部分を示す図である。
【００４０】
図５に示すとおり、ＩＲカメラに基づいて観測される対象物を特定するキャプチャデータの一部分は、その生データの形式では、ユーザが相互作用を行なった対象物を時間軸で並べられたリストとなっている。視野内にある観測対象が存在し始めてから、当該対象物が視野から消えるまでの１区切りを「レコード」と呼ぶことにする。また、並行して画像データおよび音声データが獲得されているので、このレコードの開始時刻および終了時刻の時刻データを介して、対象物の観測と画像および音声データとが関連付けられている。
【００４１】
つまり、与えられた瞬間において、ユーザは、ある組の対象物を見ており、したがって、ある意味で、このようなある組の対象物と相互作用を行なっている。そして、これらの対象物は、ＩＲタグ１０．１〜１０．ｎによって識別され得る。各ＩＲタグ１０．１〜１０．ｎは、上述したとおり、固有な整数の識別子を有している。
【００４２】
図６は、時間に従った１人の観測者２の観測状態をグラフで示すものである。図６において、縦軸は対象物に付されたＩＲタグ１０．１〜１０．ｎの識別番号を示し、横軸は、観測の経過時間を示す。
【００４３】
このような状況下で、データのサンプリングを行なうという観点から、無限小の時間を考えるよりは、ある微小な時間間隔（タイムスライス、たとえば、特に限定されないが、１秒間）に注目する方が便利である。１つのタイムスライスの期間中に、ユーザによって観測されるすべての対象物の組を、そのタイムスライスにおける観測ベクトルと呼ぶ。
【００４４】
図７は、観測ベクトルの具体的な構成を示す概念図である。
【００４５】
「観測ベクトル」は、あるタイムスライスにおいて、観測対象となっている対象物に対応する要素が“１”であり、観測対象となっていない対象物に対応する要素が“０”となっているようなベクトルである。もちろん、有限な値である限り、観測対象となっている対象物に対応する要素の値は、１以外の値であってもよい。
【００４６】
図６においては、観測ベクトルの１つの例が、垂直な長方形で示されている。図６からも分かるように、観測ベクトルは、そのタイムスライスにおいて観測者２が見ているすべてのＩＲタグの識別子を含んでいる。
【００４７】
図６では、１つの観測ベクトルに対応する垂直な長方形において、各位置は、１つのドットを含んでいるか、空であるかのいずれかである。ドットが含まれているということは、観測ベクトルのその位置によって表現された対象物が、その時間スライスにおいて観測されているということを示している。一方で、空であるということは、観測ベクトルにおけるその位置によって表現される対象物が、そのタイムスライス中において観測されていないことを表わす。
【００４８】
図６においては、時間の進行に従って、観測される対象物の組の変化を見いだすことができる。このようにして、観測ベクトルが時間的に変化する。さらに、観測ベクトルにおいては、繰返される一定のパターンがあることがわかる。これは、ユーザがそのような「状況」にあることを表現している。
【００４９】
図６に示したような時間軸に沿った観測が行なわれた後に、すべての観測ベクトルの組を「塊（チャンク）」に分割する。１つの塊は、時間的に近接した観測ベクトルの列に対応している。このような塊を抽出する作業は、以下のような２つの方法によって行なうことができる。
【００５０】
図８は、このような塊を抽出する第１の方法を示す図である。
【００５１】
図８に示すように、塊を抽出する１つの方法は、タイムスライス（この場合、特に限定されないが、たとえば、５秒間）のレベルで塊の抽出を行なうことである。言い換えると、キャプチャされた観測データを同じサイズの微小なタイムスライスに分割して、各タイムスライスを次のステップにおいて使用されるような１つの塊とする。この方法の利点は、そのような処理が簡単であるということと、生データを直接的に処理することが可能であるという点である。
【００５２】
図９は、このような塊を抽出する第２の方法を示す図である。
【００５３】
図９に示すように、塊を抽出するための第２の方法は、獲得された観測データを同じサイズのタイムスライスではなく、同一の対象物の観測に対応した時間的に近接する塊に分けるということである。
【００５４】
この第２の方法では、ユーザは、典型的には、ある期間においては、ある特定の対象物の組との間で相互作用を行なっており、このことは、観測ベクトルが相互に同一または類似している期間が、１つの「状況」を表わす「塊」の一部を表わしているとして塊の抽出を行なうことに対応する。そして、他の異なった組の対象物との間の相互作用を行なうようになることは、もう１つの状況の「塊」を表現しているということに対応している。このような方法の利点は、同一または類似の観測に対応している時間的に隣接した「塊」を分割することがないということであり、クラスタリングされる部分の時間的な一貫性を増加させることができ、これによって、各クラスタのユニットの「意味的」な価値を増加させられるということである。
【００５５】
このようにして、時間的に隣接した観測ベクトルの「塊」（以下、「観測ベクトル塊」と呼ぶ）を抽出すると、さらに、相互に同一または類似の「観測ベクトル塊」の集合として、「状況」が定義できる。
【００５６】
第２番目のような観測ベクトル塊を抽出する方法は、観測ベクトルの比較を行なうことを要求する。以下その内容について説明する。
【００５７】
（３．観測ベクトルの間および観測ベクトル塊の間の類似度の計量）
類似度の計量は、ある観測ベクトルと他の観測ベクトルとの間の類似度を比較するために必要である。
【００５８】
また、同様の類似度の計量方法は、１つの観測ベクトル塊に対応する「塊観測ベクトル」を、当該観測ベクトル塊に含まれるすべての観測ベクトルの論理的な和であると定義することによって、観測ベクトル塊の比較に用いることもできる。
【００５９】
たとえば、１つの観測ベクトル塊内において、与えられた観測ベクトルが（０，１，０，１）と（０，０，１，１）である場合、これら２つのベクトルの論理和は、（０，１，１，１）となる。そして、これが、観測ベクトル塊全体に対応した塊観測ベクトルとなる。
【００６０】
特定の時間間隔内に対する観測ベクトルは、考慮され得るすべての対象物に対して、当該対象物が観測されているかいないかを示す２値のベクトルである。以下のような類似度の計測がこのような観測ベクトルの比較に用いられ得る。
【００６１】
（３−１．共通な構成要素の数に基づく類似度）
この比較方法においては、類似度のスコアを得るために、２つの観測ベクトルの間の同一の要素の数をカウントする。このようにして得られたスコアは、正規化された類似度スコアを得るために、要素の数によって除算される。
【００６２】
（３−２．相違する構成要素の数に基づく類似度）
これは単に、３−１の共通な構成要素の数に基づく類似度のスコアの相補的なスコアを求めることに相当する。
【００６３】
（３−３．タニモト類似度）
文献：Teuvvo Kohonen. ”Self-Organizing Maps.”Springer-Verlag Berlin Heidelberg, 1995, pp.16-17に示されるように、タニモトによって提案されている類似度ＳTの計量は、２つの観測ベクトルａ，ｂに対して、以下のように定義することができる。
【００６４】
ＳT（ａ，ｂ）＝（ａ・ｂ）／（（ａ・ａ）＋（ｂ・ｂ）―（ａ・ｂ））
ここで、（ａ・ｂ）は、ベクトルａとｂとの内積を表す。
【００６５】
このタニモト類似度は、本質的に、異なった要素の数に対する共通な要素の数の割合を求めていることに相当する。
【００６６】
（３−４．重み付けられた類似度の計量）
上述したような類似度の計量は、類似度の重み付けが行なわれていない計量値を意味している。言い換えると、各ベクトルにおけるすべての要素は、同一の重みで扱われている。このような重み付けがなされていない類似度ベクトルを用いることの問題点は、１つの観測ベクトル中における要素間の類似度を考慮することができないということである。
【００６７】
観測ベクトルの要素は、ヘッドマウントＩＲカメラが観測することができるＩＲタグに基づいて形成されているものである。空間的に近接している、あるいは意味的に近接しているＩＲタグは、相互に置き換えられ得るものである。たとえば、１つの対象物が２つのＩＲタグａおよびｂをその上に装着されている場合、２つのベクトル（ａ，０）および（０，ｂ）の間の類似度は、大変高いことになる。なぜならば、これらのタグは意味上において非常に近接したものといえるからである。
【００６８】
しかしながら、タグａおよびｂが、空間的あるいは意味的に離れているとき、たとえば、それらが物理的に異なった対象物上に装着されているかあるいは空間的に離れている場合は、（ａ，０）と（０，ｂ）との間の類似度は低いものとなる。
【００６９】
したがって、予めこのような観測ベクトルの要素間で、空間的に近接している、あるいは意味的に近接している場合には、これらの要素が２つの観測ベクトル間に共通に存在している場合には、類似度を大きくするように重み付けをすることができる。
【００７０】
また、タニモト類似度における内積の計算では、たとえば、タグａに対応する要素が“１”である場合は、観測の生データに関わりなく、タグｂに対応する要素についても“１”であるものとして、内積を計算することにして、類似度に重みをつけることもできる。
【００７１】
タグａおよびｂの空間的あるいは意味的な内容に基づいて、上述のように、予め重みを割当てておくことは、個別の具体的な場合において、比較するための計量の個別の微調整を可能とするものである。
【００７２】
（類似度の計量を用いた「状況（チャンクのグループ）」の形成）
上述のようにして観測ベクトル間での類似度に基づいて観測ベクトル塊を抽出すると、各観測ベクトル塊は、ある経験の期間中において観測が行なわれたある共通の情報を含んでいる一連の体験の塊を表現する。
【００７３】
各観測ベクトル塊は、特定可能な時間において発生するものであるため、各観測ベクトル塊に対応して音声や映像のデータを対応付けることができる。
【００７４】
また、観測ベクトル塊間の類似度については、上述した塊観測ベクトルの類似度に基づいて、比較を行なうことができる。
【００７５】
これらの情報が与えられていれば、類似した観測ベクトル塊のグループを形成することができる。相互に類似した観測ベクトル塊のグループは、各々「状況」に相当する。このことは、「状況」が、「ある時間間隔にわたって観測者が相互作用を行なうことが、時間的に繰返される対象物のグループ」を意味することに対応する。
【００７６】
観測ベクトル塊の間の類似度は、上述したようなステップにおいて説明した類似度の計量によって定義され得る。類似度の計量が与えられると、観測ベクトル塊に対応したビデオクリップのクラスタリングを行なう方法については周知の方法を用いることができる。
【００７７】
たとえば、自己組織化されたマップや、あるいは引力あるいは斥力の磁力モデルに基づいて、クラスタリングする方法を用いることができる。
【００７８】
すなわち、後者では、たとえば、所定の時間スライスに対応する映像および音声データ（「ビデオクリップ」と呼ぶ）のクリップの各々について、同一の状況に対応するクリップ間には引力が働き、異なる状況に対応するクリップ間には斥力が働くものとして、２次元的に表示を行なうと、この表示上では、同一の状況に対応するクリップがクラスタリングされる。
【００７９】
図１０は、相互作用を行なう磁力モデルを用いたクラスタリング表示（マップ表示）の例を示す図である。
【００８０】
図１０では、各ビデオクリップが代表される静止画で表現されている。
【００８１】
特に限定されないが、図１０に示した例では、ビデオクリップ間に働く力は、クラスタを形成するために、所定の半径以内で作用するように限定されている。このことは、ビデオクリップのクラスタが、全体として自動的に形成されるわけではないという不利益を有しているが、ドラッギングを行なったデータの間では、関連の相互的な検索を行なうことが可能となるという利点を有する。もちろん、ビデオクリップ間に働く力の有効半径に制限を設けずに、ビデオクリップが、状況に対応するクラスタを自動的に生成することとしてもよい。類似度に対応したビデオクリップ間に働く力は、あるしきい値より類似度が高ければ引力的であり、あるしきい値より類似度が低ければ斥力的であるかが分類される。
【００８２】
体験に対応する観測ベクトルおよびビデオクリップから成るデータ（体験コーパスデータ）は、同一のサイズを持った時間スライスに分割されており、各時間スライスに対して、観測ベクトルと、ヘッドマウントカメラから得られた動画像のうち各時間スライスに対応する動画像を代表するビデオフレーム（たとえば、特に限定されないが、時間スライスの中央のビデオフレーム）が、抽出される。
【００８３】
図１０に示すとおり、ビデオフレームは、２次元マップ上に最初はランダムに分布している。その後で、引力の相互作用が、類似の観測を寄せ集めてそれぞれの「状況」を形成する。
【００８４】
各ビデオフレームは、それに付随した観測ベクトルを有している。すなわち、当該体験の区分の期間中に観測された対象物は、ＩＲタグセンサによって獲得されており、これによって、対象物が、観測ベクトルと関連付けられることになる。
【００８５】
図１０に示した体験マップ上においては、各フレームに働く力が影響を及ぼし得る半径を有しているものとし、タニモトの類似度計量が、考慮中のフレームとそれに隣接した影響範囲内における近接したすべてのフレームとの間の類似度の計測に用いられる。ユーザは、マップ上において、いずれのフレームをドラッグして移動させることができ、当該ドラッグしているフレームが、他のフレームとどのように引き合うかあるいは反発し合うかを観測することができる。そして、ユーザは、マップ内に存在するフレームをすべて微小量だけ動かすことによって、クラスタリングが半自動的に行なわれることを助長することができる。
【００８６】
図１０においては、マップ内において、フレームをドラッギングすることによってそのレイアウトが相互作用的に形成され、かつ、類似のフレームが、相互にクラスタを形成させるようになっている。これは、類似した観測ベクトルによっては、引力が生成されることによる。このようなマップは、したがって、ビデオフレームとして視覚化された観測ベクトルにおいて作用する引力的あるいは斥力的な有効半径が限定された力によって、２次元空間における検索を可能とするものである。図１０の例においては、各静止画像は、１つの時間スライスを表現しており、類似した観測ベクトルに対応するビデオクリップは、時間的には関連をたとえ持っていない場合であっても、互いに引き合って、状況のクラスタを形成する。異なった状況に対応するビデオクリップは、相互に反発するものである。たとえば、図１０の左下側の画像をドラッグして右側のクラスタに持っていった場合（図中では矢印で示す）、これらの観測ベクトルが非類似であるため、当該クラスタは、この画像に対しては反発して１つのクラスタとはならない。
【００８７】
このような観測ベクトルのグループの視覚化は、たとえば、図１０に示されているとおり、時間軸に沿わないで、状況に基づいた態様でキャプチャされた画像データをアクセスして見ることが可能なインタフェースとして用いることができる。また、キャプチャされた画像データの中で、類似した関係を検索することに用いることもできる。観測ベクトル塊の間の類似度の関係は、ユーザに対して、考慮中の特定のビデオクリップと類似しているキャプチャされたビデオクリップを思い出させるために、記憶の想起の補助として用いることもできる。
【００８８】
なお、図１０の説明では、動画像を代表するビデオフレームの抽出は、獲得された観測データを同じサイズのタイムスライスで分割した場合について説明したが、同一の対象物の観測に対応した時間的に近接する塊に分割し、この塊の動画像を代表するビデオフレームを抽出してもよい。
【００８９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００９０】
【図１】本発明の体験キャプチャシステム２０の一例を示す概念図である。
【図２】体験キャプチャシステム２０の構成をブロック図形式で示す図である。
【図３】本発明の体験マッピング装置１０００の一例を示す概念図である。
【図４】コンピュータ３００のハードウェア構成をブロック図形式で示す図である。
【図５】獲得されるキャプチャデータの一部分を示す図である。
【図６】時間に従った１人の観測者２の観測状態をグラフで示すものである。
【図７】観測ベクトルの具体的な構成を示す概念図である。
【図８】塊を抽出する第１の方法を示す図である。
【図９】塊を抽出する第２の方法を示す図である。
【図１０】相互作用を行なう磁力モデルを用いたクラスタリング表示（マップ表示）の例を示す図である。
【符号の説明】
【００９１】
２  観測者、１０．１〜１０．ｎ  ＩＲタグ、２０  体験キャプチャシステム、１００  コンピュータ、１１０  ＣＰＵ、１１２  メモリ、１１４  ハードディスク、１１６  外部媒体ドライブ、１１８  通信インタフェース、１２０  外部装置インタフェース、１２２  タイマ、１４０  ヘッドセット、１４２  映像カメラ、１４４  マイク、１４６  ヘッドセット型ディスプレイ、１５０  外部媒体、３００  コンピュータ、３０２  コンピュータ本体、３０４  ディスプレイ、３０６  外部媒体ドライブ、３０８  ＣＤ−ＲＯＭドライブ、３１０  キーボード、３１２  マウス、３１８  ＣＤ−ＲＯＭ、３２０  ＣＰＵ、３２２  メモリ、３２４  ハードディスク、３２８  インタフェース、１０００  体験マッピング装置。
【図１】
2005309609.tif 000003
【図２】
2005309609.tif 000004
【図３】
2005309609.tif 000005
【図４】
2005309609.tif 000006
【図５】
2005309609.tif 000007
【図６】
2005309609.tif 000008
【図７】
2005309609.tif 000009
【図８】
2005309609.tif 000010
【図９】
2005309609.tif 000011
【図１０】
2005309609.tif 000012