(57)【要約】【課題】本願発明の発明者による従来のトポロジー推定システムと組み合わせて、オブジェクトの位置および方向を良好に推定することのできる、ロケーションシステム、ロケーション方法、ならびにそのプログラムおよび記録媒体を提供する。【解決手段】空間内に存在するオブジェクト間で送受される音情報に基づいて当該空間内におけるオブジェクトの位置および方向を推定するロケーションシステムにおいて、各オブジェクトに、周囲に向けてオブジェクト固有音を発する発音装置１１、および他のオブジェクトの発音装置から発せられたオブジェクト固有音を録音する録音装置１２が装着されており、あるオブジェクトの発音装置１１からのオブジェクト固有音が他のオブジェクトの録音装置１２で録音されているかどうかを、時刻同期処理のなされた複数の録音装置データの中から見つけ出し、オブジェクト同士の１対１の距離関係、向き関係、およびＩＤとからなる相関関係を検出する、ことを特徴とするロケーションシステム。【選択図】図１
2008304230.tif 000002
【特許請求の範囲】
【請求項１】
空間内に存在するオブジェクト間で送受される音情報に基づいて当該空間内におけるオブジェクトの位置および方向を推定するロケーションシステムにおいて、
各オブジェクトに、周囲に向けてオブジェクト固有音を発する発音装置、および他のオブジェクトの発音装置から発せられたオブジェクト固有音を録音する録音装置が装着されており、
あるオブジェクトの発音装置からのオブジェクト固有音が他のオブジェクトの録音装置で録音されているかどうかを、時刻同期処理のなされた複数の録音装置データの中から見つけ出し、オブジェクト同士の１対１の距離関係、向き関係、およびＩＤとからなる相関関係を検出する、
ことを特徴とするロケーションシステム。
【請求項２】
オブジェクトのＩＤは、固有音に基づいて検出される、
ことを特徴とする請求項１記載のロケーションシステム。
【請求項３】
発音装置から発せられる固有音は、予め、当該発音装置が装着されるオブジェクトおよび当該発音装置からの発信方向に基づいて決められている、
ことを特徴とする請求項２記載のロケーションシステム。
【請求項４】
固有音は、オブジェクト毎に予め決められた固有の周波数特性からなる音および固有のランダムノイズ音の一方または両方を持つ、あるいはオブジェクト毎に予め決められた固有の周波数特性からなる音および固有のランダムノイズ音の一方または両方に混ぜられている
ことを特徴とする請求項３記載のロケーションシステム。
【請求項５】
オブジェクトの距離関係は、Time of Flight法を用いて検出される、
ことを特徴とする請求項１記載のロケーションシステム。
【請求項６】
オブジェクトの向き関係は、録音装置が持つマイク指向性、またはTime of Arrival法を用いて検出される、
ことを特徴とする請求項１記載のロケーションシステム。
【請求項７】
録音装置により録音されたデータである録音装置データに対して時刻同期処理を施し、その録音装置データの中から、あるオブジェクトの発音装置からのオブジェクト固有音が他のオブジェクトの録音装置で録音されているかどうかを見つけ出す処理装置をさらに有している、
ことを特徴とする請求項１記載のロケーションシステム。
【請求項８】
空間内に存在するオブジェクト間で送受される音情報に基づいて当該空間内におけるオブジェクトの位置および方向を推定するロケーション方法において、
あるオブジェクトに装着された発音装置から発せられたオブジェクト固有音が他のオブジェクトに装着された録音装置で録音されているかどうかを、時刻同期処理のなされた複数の録音装置データの中から見つけ出し、オブジェクト同士の１対１の距離関係、向き関係、およびＩＤとからなる相関関係を検出する、
ことを特徴とするロケーション方法。
【請求項９】
請求項８記載のロケーション方法をコンピュータに実行させるためのロケーションプログラム。
【請求項１０】
請求項９記載のロケーションプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、情報支援サービスが提供される空間内に存在しているオブジェクトの位置および方向を推定するロケーションシステムに関するものである。
【背景技術】
【０００２】
人間やロボット、展示物などのオブジェクトが多数存在する空間においては、位置に基づく情報支援システムの構築やマンロケーション管理システムの構築が重要である。たとえば、パーティーや懇親会、ワークショップなどの多くの人が集まって活動を行う室内空間においては特にこれらシステムの実現への期待が高まっている。
【０００３】
一方、本願発明の発明者は、上記空間におけるオブジェクト間のインタラクション情報の状況推定の重要性に鑑み、このインタラクション情報を得るためには、空間内の各オブジェクト単独の絶対位置を示す絶対位置座標よりも、オブジェクト同士の相対的な位置や向きの関係から得られる空間内のオブジェクト全体のつながりを示すトポロジーを用いることが有用であり、特にオブジェクト同士の位置関係だけでなく向きの関係も推定できれば、人間やロボット等のユーザが展示物や環境物体の中を移動している際に、時々刻々と変化するユーザの状況に一層適した様々な情報支援を実現できることを見出した。
【０００４】
そこで、多数の人間やロボット等のオブジェクトが比較的密に存在する空間においても、簡易なシステム構成で、その空間全体におけるオブジェクトトポロジーを推定することのできるトポロジー推定システムを既に提案している（特許文献１参照）。
【０００５】
このトポロジー推定システムは、たとえば図１１に例示したように、空間内に存在する各オブジェクトのオブジェクト装置１から無線送信されたオブジェクト情報に基づいて環境装置２により当該空間内におけるオブジェクトのトポロジーを推定するシステムであって、オブジェクト装置１は、自己のオブジェクトＩＤおよび当該オブジェクトＩＤの発信方向ＩＤを周囲に発信するＩＤ発信部１１、周囲の他のオブジェクト装置１が発信した当該他のオブジェクト装置１のオブジェクトＩＤおよび発信方向ＩＤを受信するＩＤ受信部１２、および自己のオブジェクトＩＤと受信した他のオブジェクト装置１のオブジェクトＩＤおよび発信方向ＩＤとを含むオブジェクト情報を環境装置２へ送信する情報送信部１３を有しており、環境装置２は、オブジェクト装置１が送信したオブジェクト情報を受信する情報受信部２１、受信したオブジェクト情報を蓄積するデータベース部２２、および蓄積したオブジェクト情報に基づいてオブジェクト毎に他のオブジェクトとの相対的位置関係を求め、得られた相対的位置関係の集合データからオブジェクトトポロジーを求める処理部２３を有している。
【０００６】
このトポロジー推定システムによれば、対象空間内に存在する人間やロボット、展示物等の各オブジェクトにオブジェクト装置を装着させて、オブジェクト装置同士で自己のオブジェクトＩＤおよびその発信方向ＩＤつまりどの方向にオブジェクトＩＤを発信したかを示す情報（以下、オブジェクトＩＤおよび発信方向ＩＤを「ＩＤ」と総称することとする）をやりとりさせるとともに、そのやりとりの結果であるオブジェクト情報を各オブジェクト装置から環境装置へ逐次送信させ、収集したオブジェクト情報に基づいてオブジェクト毎に他のオブジェクトとの相対的位置関係、つまり各オブジェクトを中心とした局所的且つ相対的位置関係を求め、この相対的位置関係の集合データから空間全体のオブジェクトトポロジー、つまり空間内の全オブジェクト同士の全体的且つ相対的位置関係を推定することができる。
【０００７】
さらに説明すると、たとえば、情報支援サービスが提供される空間内に存在している各オブジェクトが持つオブジェクト装置Ａ，Ｂ，Ｃ，Ｄがそれぞれ自己のＩＤを周囲に向けて無線発信している状況において、まず、オブジェクト装置Ａがオブジェクト装置Ｂ，Ｃ，ＤからのＩＤを受信し、自己のオブジェクトＩＤと受信した他のＩＤを環境装置に無線送信した場合、自己のオブジェクトＩＤと他のオブジェクトＩＤに基づいて、オブジェクト装置Ａが、オブジェクト装置Ｂ，Ｃ，Ｄの周囲空間、つまりオブジェクト装置Ｂ，Ｃ，Ｄから発信されているＩＤを受信できる範囲内に存在していることなどがわかり、よってオブジェクト装置Ｂ，Ｃ，Ｄとの位置関係を判定でき、且つ、発信方向ＩＤに基づいて、オブジェクト装置Ａが、他のオブジェクト装置Ｂ，Ｃ，Ｄからどの方向に向けて発信されたＩＤを受信したかがわかり、よってオブジェクト装置Ｂ，Ｃ，Ｄとの方向関係を判定できる。これにより、オブジェクト装置Ａを中心としたオブジェクト装置Ｂ，Ｃ，Ｄとの間における位置および方向で表わされる相対的位置関係が求まることになる。
【０００８】
同様にして、他のオブジェクト装置Ｂ，Ｃ，Ｄそれぞれを中心とした相対的位置関係を求める。
【０００９】
そして、これらオブジェクト装置Ａ，Ｂ，Ｃ，Ｄ毎の相対的位置関係を集約して、空間全体における全オブジェクト装置Ａ，Ｂ，Ｃ，Ｄ間の相対的位置関係を求める。この処理は、集合データに対して、各相対的位置関係に矛盾がなくなるまたは極力少なくなる最適解を求める手法、たとえば再帰演算法、ＥＭアルゴリズム、バネモデル、ベイジアンネットワーク、遺伝的アルゴリズムなどを実行することで、行うことができる。
【００１０】
ここで、たとえば、オブジェクト装置Ａがオブジェクト装置ＤからのＩＤを受信していない場合では、オブジェクト装置Ａを中心としたオブジェクト装置Ｄに対する相対的位置関係の情報は得られないことになるが、逆にこのことは空間全体で見るとオブジェクト装置Ａとオブジェクト装置Ｄとは互いに近くに居ないという関係がわかることになる。
【００１１】
また、たとえば、オブジェクト装置Ａが前方にあるオブジェクト装置ＢからのＩＤは受信しているがそのさらに前方にあるオブジェクト装置ＤからのＩＤは受信しておらず、オブジェクト装置Ｂはその後方にあるオブジェクト装置ＡからのＩＤと前方にあるオブジェクト装置ＤからのＩＤの両方を受信している場合では、オブジェクト装置Ａを中心としたオブジェクト装置Ｄに対する相対的位置関係はわからないものの、オブジェクト装置Ｂを中心としたオブジェクト装置Ａおよびオブジェクト装置Ｄに対する相対的位置関係がわかるため、これらから、オブジェクト装置Ａとオブジェクト装置Ｂとオブジェクト装置Ｄとの相対的位置関係を推測できることになる。
【００１２】
もちろんこれらの他にも無数のケースが考えられるが、以上の説明からもわかるように、各オブジェクト装置Ａ，Ｂ，Ｃ，Ｄ毎の相対的位置関係は、それぞれを中心とした局所的な相対的位置関係と呼ぶことができ、さらにこれを集めて上記のとおりに解析して得られる相対的位置関係は、空間内のオブジェクト同士の全体的な相対的位置関係と呼ぶことができ、これが空間全体から見た全オブジェクトのつながりを示すオブジェクトトポロジーとなるのである。
【００１３】
なお、オブジェクト装置が周囲に無線発信するＩＤに含まれる発信方向ＩＤは、オブジェクト装置からどの方向にＩＤを発信するかについて予め設定され装置内に記憶されている情報であるため、実際に発信されるＩＤも周囲空間をその方向で進む必要がある。そこで、上記第２のトポロジー推定システムのように、ＩＤ発信には、直進性を持って空間を進む電磁波を用いることが好ましく、これにより、発信方向ＩＤが示す方向に向けてＩＤを的確に発信でき、そのＩＤが周囲空間を当該方向に沿って伝播することとなる。この電磁波としては赤外光等の光などといった指向性を持つものを考慮できる。また超音波を使用することもできる。直進性・指向性については、たとえば、発信方向がオブジェクト装置を中心に周囲８方向（前後左右、右前・左前、右後・左後）と設定されている場合において、それぞれの方向に、他の方向と干渉しないで、または干渉するとしてもトポロジー推定処理上許容できる範囲で、進むことができる程度が要求される。
【特許文献１】特開2006-174185号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本願発明は、上述したとおりのトポロジー推定システムと組み合わせて、オブジェクトの位置および方向を良好に推定することのできる、ロケーションシステム、ロケーション方法、ならびにそのプログラムおよび記録媒体を提供することを課題としている。
【課題を解決するための手段】
【００１５】
本願発明は、上記の課題を解決するものとして、音響解析による相対距離および相対向きの関係性を取得することのできるシステムを提供する。
【００１６】
より具体的には、たとえば図１にその機能ブロック図を例示したように、空間内に存在するオブジェクト間で送受される音情報に基づいて当該空間内におけるオブジェクトの位置および方向を推定するロケーションシステムにおいて、
各オブジェクトに、周囲に向けてオブジェクト固有音を発する発音装置１１、および他のオブジェクトの発音装置１１から発せられたオブジェクト固有音を録音する録音装置１２が装着されており、
あるオブジェクトの発音装置１１からのオブジェクト固有音が他のオブジェクトの録音装置１２で録音されているかどうかを、時刻同期処理のなされた複数の録音装置データの中から見つけ出し、オブジェクト同士の１対１の距離関係、向き関係、およびＩＤとからなる相関関係を検出する、
ことを特徴とするロケーションシステムを提供する。
【００１７】
また、空間内に存在するオブジェクト間で送受される音情報に基づいて当該空間内におけるオブジェクトの位置および方向を推定するロケーション方法において、
あるオブジェクトに装着された発音装置から発せられたオブジェクト固有音が他のオブジェクトに装着された録音装置で録音されているかどうかを、時刻同期処理のなされた複数の録音装置データの中から見つけ出し、オブジェクト同士の１対１の距離関係、向き関係、およびＩＤとからなる相関関係を検出する、
ことを特徴とするロケーション方法を提供する。
【００１８】
そして、本願発明は、前記ロケーション方法をコンピュータに実行させるためのロケーションプログラムおよび当該プログラムを記録したコンピュータ読取可能な記録媒体をも提供する。
【発明の効果】
【００１９】
本願発明の上記ロケーションシステムおよび方法によれば、オブジェクトの位置および方向を良好に推定することができ、さらには
・混雑した空間でも動作可能
・多人数に対して適用可能
・局所的な関係性が取得できれば良く、複雑な環境装置が不要
という効果が実現できる。
【００２０】
また、本願発明では、発音装置および録音装置として市販のＩＣレコーダやＩＣプレーヤを用いることができ、特殊装置を用いることなく上記効果を実現できる。また、オブジェクトの周辺の音を記録できるため、ユーザが後でそのときの周囲環境を振り返ることもできる。
【００２１】
また、多数の音信号をＦＭ電波などでリアルタイム受信して、リアルタイム位置推定も可能である。
【発明を実施するための最良の形態】
【００２２】
［第一実施形態］
図１は、本願発明の一実施形態を概略的に示す。
【００２３】
以上により、対象空間内に存在するオブジェクトの位置および向きを推定することができる。
【００２４】
図１の実施形態では、まず、各オブジェクトは、発音装置１１および録音装置１２を備えるオブジェクト装置１を装着している。
【００２５】
発音装置１１は、周囲に向けてオブジェクト固有音を発するものであって、固有音発信に必要な音源部や制御部等（図示なし）を有している。オブジェクト固有音については、予め、その発音装置１１が装着されるオブジェクトおよび発音装置１１からの発信方向が決められており、オブジェクト固有の音および発信方向を持っている。
【００２６】
オブジェクト固有の音としては、たとえば、オブジェクト毎に予め決められた固有の単一または複数の周波数特性からなる音および固有のランダムノイズ音の一方または両方を持つもの、あるいはそれらの音に混合されているものを考慮できる。この固有音については、さらにたとえば、オブジェクト毎に固有の音楽などを採用でき、発音装置１１からそれぞれ割り当てられた異なる音楽を発信することで、各音楽の特徴解析からオブジェクトを識別できる。また、さらには、電子透かしともいえる、人の耳には判別不可能または判別困難であるが計算機で解析するとＩＤなどの識別情報が含まれていることが判別できる固有音も採用でき、この電子透かし音を音楽と同時に発生させたり、電子透かし音そのものを音楽に含ませたりして（これらの場合には電子透かし音がオブジェクト固有のものであればよいので音楽はオブジェクト間で同じものであってもよい）、人には普通の音響環境にもかかわらず、計算機ではＩＤを検出できるというシステムも構築可能である。
【００２７】
録音装置１２は、発音装置１１から発せられたオブジェクト固有音を録音するものであって、固有音録音に必要な録音部や制御部等（図示なし）を有している。
【００２８】
これら発音装置１１および録音装置１２は、一つのオブジェクト装置１として装着されていても、別体となっていてもよいが、図２に例示したように、各オブジェクトに複数組装着されるものとする。これにより、図３に例示したように、オブジェクトを中心に、例えばその前後左右４方向の固有音の送受（発信および録音）をカバーできるようにする。装置の個数、つまり方向分解能が高いと推定位置と向きの精度が向上する。また、できるだけ全方向をカバーし、かつ装置同士の方向のオーバラップを減らすことが好ましい。また、送信と受信の方向をずらすことで方向分解能が向上する。
【００２９】
そして、これら発音装置１１および録音装置１２間にて、つまりあるオブジェクト装置１の発音装置１１と他のオブジェクト装置１の録音装置１２の間にて送受される固有音に基づくロケーション推定を、あるオブジェクトの発音装置１１からのオブジェクト固有音が他のオブジェクトの録音装置１２で録音されているかどうかを時刻同期処理のなされた複数の録音装置データの中から見つけ出し、オブジェクト同士の１対１の距離関係、向き関係、およびＩＤとからなる相関関係を検出することにより、実現する。
【００３０】
具体的には、たとえば図４に例示したフローチャートのように、まず、周りに位置する他のオブジェクトの発音装置１１からのオブジェクト固有音を録音装置１２により逐次録音する。この録音は、対象空間における自己のオブジェクトの活動つまり他のオブジェクトとの関わりを記録しているといえる（ステップＳ１）。
【００３１】
次いで、録音データを取り出し（ステップＳ２）、録音データ間の頭揃え時刻同期処理を実行する（ステップＳ３）。
【００３２】
たとえば図５に示すように、オブジェクトとしてのユーザＡＢの録音データが得られたとき、通常はそれら録音データを正確に同期することは困難である。たとえば、二人のＩＣレコーダの録音ボタンを同時に押しても数ミリ秒程度のずれは生じる。また、録音開始時に二つのＩＣレコーダを近接して両レコーダから等距離の位置でノック音などの音を発生、二つの録音データの記録を調べて同じ音が収録された時刻から二つの録音ファイルの時刻を同期する方法も考えられる。しかし、ＩＣレコーダの水晶振動子は厳密には一致した振動周期とならず、数十分後には、数ミリ秒程度の時刻差が生じる。通常の気温では、約３０ｃｍ離れていると音波電波に１ミリ秒の時間がかかる。本願発明では、距離精度を３０ｃｍ以下にすることが好ましいため、１ミリ秒以下の時刻同期が必要となる。
【００３３】
そこで、本願発明では、時刻同期処理を次のように行う。
【００３４】
まず、図５に示すように、ユーザＢの発音装置の固有音が発信されると、ユーザＢのＩＣレコーダで受信された後、ユーザＡのＩＣレコーダで受信される。同様にユーザＢの発音装置固有音は、ユーザＡで受信された後、ユーザＢで受信される。ユーザＢとユーザＡの録音データの時刻差が図５のとおりdtの場合、ユーザＢからユーザＡに到着した音の時刻は音の伝達時間+dt、その逆のユーザＡからユーザＢに到着した音の時刻は音の伝達時間-dtとなる。従って、同じ音の時刻差を調べれば、その和の1/2が音の伝達時間、差の1/2が時刻差となり、二つの録音データを同期できる。また、音の伝達時間と音の伝達速度（気温および気圧によって決定）から、ユーザＡとユーザＢの間の距離が求まる。
【００３５】
続いて、上記時刻同期処理後の個々の録音データについて、固有音をキーにしてオブジェクトＩＤを検出し、各オブジェクト間の距離関係および向き関係を他の録音データと比較処理して検出する（ステップＳ４）。
【００３６】
ここで、オブジェクトのＩＤは固有音に基づいて検出され、オブジェクトの距離関係はタイムオブフライト法を用いて検出され、オブジェクトの向き関係は、録音装置が持つマイク指向性、またはタイムオブアライバル法を用いて検出される。
【００３７】
オブジェクトＩＤ検出は、固有音がオブジェクトに固有の特性を有しているので、たとえば、予めオブジェクト毎に固有音特性をデータベース化しておき、録音データと位置する固有音特性を持つオブジェクトをデータベース検索により検出すればよい。
【００３８】
オブジェクト距離関係検出は、Time of Flight(ToF)法で実行される。
【００３９】
すなわち、二つのオブジェクト間の音の伝達時間が前述したように判明すると、オブジェクト間の距離は以下のように求まる。
【００４０】
伝達時間×音の伝達速度
音の伝達速度は、気温および気圧によって変化するが、およそ３４０ｍ/sであり、１ミリ秒で３４ｃｍ進む。
【００４１】
オブジェクト向き関係検出は、録音装置が持つマイク指向性、またはTime of Arrival(ToA)法を用いて検出される。
【００４２】
まず、録音装置が持つマイク指向性を用いる手法を説明する。録音装置としてのマイクロホンは、指向性タイプを用いるか、または人物に設置することで、指向性を持つ（図６参照）。従って、ある録音データに対応するマイクの指向特性が分かっていれば、そのデータに記録された固有音のユーザのおよその方向を決定できる。
【００４３】
次に、複数のマイクを用いた手法として、ToA法について説明する。向き関係に関しては、例えばユーザＡの前と後ろにつけたマイクで記録された音を解析し、同時刻にユーザＢの固有音を検出していたら、ユーザＢはユーザＡのちょうど左方向（または右方向）であると推定する。前後にマイクを設置した場合を例に、正確に記述すると、図７のように前のマイクの方がdtミリ秒早く受診していた場合は、前後のマイクの距離を１、前から右方向にθの角度方向にユーザＢが存在するとして、lcosθ=v・dt(vは音速)の等式が成り立つ。従ってユーザＢの方向は、θ=cos-1(v・dt/l)と求められる。マイクの数が２の場合は、上述したようにθ＝90度かθ＝−90度か判別できない。しかし、マイクを３個以上配置すれば一意に求まる。この向きの情報を二つのマイクに対応する録音データに書き込む。
また、複数のマイクロフォンによる各種音源方向推定手法を利用することも有効である。
【００４４】
そして、すべての録音データについて上記各処理を終えた後（ステップＳ５−Ｙｅｓ）、オブジェクト同士の１対１の距離関係および向き関係を検出する（ステップＳ６）。
【００４５】
すなわち、距離と向き関係が判明した２対の録音データに関して、それぞれのオブジェクトおよび向きに対応するデータに記録する。具体的には、例えばユーザＡの後ろ約１ｍの位置にユーザＢが左側を向いて存在する、という局所関係推定結果を生成する。
【００４６】
最後に、本願発明の発明者による前記特許文献１に記載されたトポロジー推定技術により、オブジェクトのトポロジーを推定する（ステップＳ７）。
【００４７】
具体的には、すべての録音データ対に対して、上記の局所関係を作成後、従来のトポロジー推定技術への入力データとして局所関係を入力することで大局的位置関係を推定できる。すなわち、局所的な位置関係はステップ６で求まるが、すべてのユーザや情報キオスクなどのオブジェクトの大局的位置関係（位置と向き）を推定する場合には、従来のトポロジー推定手法を用いる。
【００４８】
以上の処理は、たとえば図１の実施形態では、処理装置２により実行される。処理装置２は、情報受信部２１、データベース部２２、および処理部２３を備えており、各オブジェクトに装着されたオブジェクト装置１の録音装置１２または別途の情報送信部１３から録音データが送信されて、情報受信部２１にて受信され、データベース部２２等の記憶手段に収集され、その収集データに基づいて処理部２３が上述したとおりの各処理を実行する。
【００４９】
上記の処理は、ＩＣレコーダなどにより録音されたデータを解析することで可能であるが、各マイクで受信した音をＦＭ送信機などにより直接サーバＰＣに送信し、リアルタイムに処理することで、リアルタイムでトポロジーを推定することも可能である。
［第二実施形態］
ところで、以上のようにオブジェクトの位置および向きが推定できれば、図８に例示したように、対象空間内の任意の中間位置での音を再生することが可能になる。すなわち、指定された位置の音を、別々の位置で録音された複数の録音データとその録音位置から、音のモーフィング技術を用いて補完して作り出すのである。
【００５０】
具体的には、第一実施形態にて取得した録音データが何処で、どの向きで録音されたか、トポロジー推定結果からそれぞれ個別に同定し、関連付ける。このときの録音データ間の時刻同期は、前述したと同様に、固有音の録音時刻の相関を用いて行う。
【００５１】
より詳細に説明すると、ユーザは、聞きたい時刻と場所を入力する。システムは、ユーザが指定した時刻と場所に近い音声情報を選出する。各音声情報と指定された場所までの距離が近いほど比率が大きくなるように各音声情報を融合する。これにより指定場所でのおよその音を再現する。
【００５２】
以上により、録音位置と指定位置との位置関係から、複数の録音データによるモーフィング技術を用いて、そこで聞こえたであろう音を補完生成することができる。
【００５３】
図９は、グループに分かれて共同で絵画作品を作成するようなワークショップに対して本願発明を適用したときに、記録したセンサ情報を可視化する処理について説明するための概念図である。左上には、机や情報キオスクが配置された会場内でユーザがどのように動いたかを表す位置情報が、下に表示されている時刻スライドバーで決定される時刻に応じて表示される。ＩＣレコーダおよびＩＣスピーカを各ユーザおよび机や情報キオスクに設定し、収録したＩＣレコーダの音響情報から位置と向きの履歴を表示している。右側には、時刻スライドバーに対応する音響情報が再生される。このワークショップではビデオや写真も収録されていたため、これらの情報が右上の画面に表示される。ユーザは、過去のワークショップを時刻に応じたユーザの位置やそのときの会話、音声、ビデオ、写真を振りかえることができる。これは、本願発明の応用の一例である。
［第三実施形態］
ここで、第一および第二実施形態の実現に必要な複数録音データの時刻同期処理について詳細に説明する。
【００５４】
第一および第二実施形態を実現するために、複数の録音装置１２で録音したデータ間の時刻同期を取る。これは、複数の腕時計があった場合、それぞれ時間の進み方が微妙に異なるように、サンプリングに使用しているクロックのズレの影響で、複数の録音装置１２で同じ時間録音したデータも時間長はそれぞれ微妙に異なる。そこで、固有音とＴｏＦ法による録音データ間の時間相関検出を行う。
【００５５】
より具体的には、たとえば図１０に例示したように、発信している固有音の検出とToF法の組み合わせにより、録音データ間の時間的な関係を規定する。
【００５６】
まず、固有音Ａの発信時間（図中「固有音発信点」）とその固有音Ａの受信時間（図中「固有音受信点」）が時間的に近い場合、音の速度に比較してオブジェクトの移動速度は小さいので、相対距離の変換も少ないと考えられる。
【００５７】
次に、固有音Ａの発信点および受信点間を結ぶ線の傾きに着目し、ある発信点および受信点と、次の発信点および受信点それぞれの線の傾きを検出し、それら傾きが同じになる位置が２つのデータが時間的に同期した位置であると判別する。
【図面の簡単な説明】
【００５８】
【図１】本願発明について説明するための機能ブロック図。
【図２】発音装置および録音装置の一例を示す概念図。
【図３】発音装置および録音装置による固有音送受について説明するための概念図。
【図４】本願発明について説明するためのフローチャート。
【図５】時刻同期処理について説明するための概念図。
【図６】オブジェクト向き関係検出処理について説明するための概念図。
【図７】オブジェクト向き関係検出処理について説明するための別の概念図。
【図８】本願発明の別の一例について説明するための概念図。
【図９】本願発明をあるワークショップに適用した場合の一例について説明するための概念図。
【図１０】本願発明のさらに別の一例について説明するための概念図。
【図１１】従来のシステムについて説明するための機能ブロック図。
【符号の説明】
【００５９】
１  オブジェクト装置
１１  発音装置
１２  録音装置
１３  情報送信部
２  処理装置
２１  情報受信部
２２  データベース部
２３  処理部
【図１】
2008304230.tif 000003
【図２】
2008304230.tif 000004
【図３】
2008304230.tif 000005
【図４】
2008304230.tif 000006
【図５】
2008304230.tif 000007
【図６】
2008304230.tif 000008
【図７】
2008304230.tif 000009
【図８】
2008304230.tif 000010
【図９】
2008304230.tif 000011
【図１０】
2008304230.tif 000012
【図１１】
2008304230.tif 000013