(57)【要約】【課題】  安価な装置構成によって、計測対象の動きについての情報を取得するための、簡便で高精度のモーションキャプチャシステムを提供する。【解決手段】  モーションキャプチャシステム２０は、計測対象の所定の複数の部位にそれぞれ設置され、一意に識別可能な音をそれぞれ発生させる複数の音源装置８０Ａ，…，８０Ｎと、音源装置８０Ａ，…，８０Ｎが発生させる音を３以上の受音位置で受音し、それぞれ音響信号に変換して出力するマイクロホンアレイ５０と、マイクロホンアレイ５０が出力する音響信号の各々を、複数の音源装置８０Ａ，…，８０Ｎがそれぞれ発生させる音に対応する複数の分離信号に分離するための周波数帯域分割部１０２と、複数の分離信号とマイクロホンアレイ５０による３以上の受音位置とに基づき、各音源装置８０Ａ，…，８０Ｎの各時間における位置をそれぞれ算出するための音源位置推定部１０４とを含む。【選択図】        図２
2005181088.tif 000002
【特許請求の範囲】
【請求項１】
計測対象の所定の複数の部位の動きについての情報を取得するためのモーションキャプチャシステムであって、
前記計測対象の前記複数の部位にそれぞれ設置され、一意に識別可能な音をそれぞれ発生させる複数の音源と、
前記複数の音源が発生させる音を３以上の受音位置で受音した音波を、それぞれ音響信号に変換して出力するマイクロホンアレイと、
前記マイクロホンアレイが出力する音響信号の各々を、前記複数の音源が発生させる音に対応する複数の分離信号に分離するための音源分離手段と、
前記複数の分離信号と前記３以上の受音位置とに基づき、前記複数の音源の各々の各時間における位置をそれぞれ算出するための位置算出手段とを含むモーションキャプチャシステム。
【請求項２】
前記複数の音源は、互いに他と異なる周波数帯域の音を発生させるための手段をそれぞれ含み、
前記音源分離手段は、前記マイクロホンアレイが出力する音響信号の各々を、前記複数の音源が発生させる音に対応する帯域の周波数成分に分割して前記複数の分離信号を出力するための周波数帯域分割手段を含む、請求項１に記載のモーションキャプチャシステム。
【請求項３】
前記位置算出手段は、前記分離信号の位相差と前記３以上の受音位置とに基づき、前記複数の音源の位置をそれぞれ算出するための手段を含む、請求項１又は請求項２に記載のモーションキャプチャシステム。
【請求項４】
前記位置算出手段は、前記分離信号の振幅差と前記３以上の受音位置とに基づき、前記複数の音源の位置をそれぞれ算出するための手段を含む、請求項１又は請求項２に記載のモーションキャプチャシステム。
【請求項５】
計測対象の所定の複数の部位の動きについての情報を取得するためのモーションキャプチャ方法であって、
複数の音源を前記計測対象の前記複数の部位にそれぞれ設置し、一意に識別可能な音を発生させるステップと、
前記複数の音源が発生させた音を３以上の受音位置で受音し、それぞれ音響信号に変換して出力するステップと、
前記複数の音響信号の各々を、前記複数の音源が発生させた音に対応する複数の分離信号に分離するステップと、
前記複数の分離信号と前記３以上の受音位置とに基づき、前記複数の音源の各々の各時間における位置をそれぞれ算出する処理を行なうステップとを含む、モーションキャプチャ方法。
【請求項６】
前記算出する処理を行なうステップは、前記複数の分離信号の位相差と前記３以上の受音位置とに基づき、前記複数の音源の位置をそれぞれ算出するステップを含む、請求項５に記載のモーションキャプチャ方法。
【請求項７】
前記算出する処理を行なうステップは、前記複数の分離信号の振幅差と前記３以上の受音位置とに基づき、前記複数の音源の位置をそれぞれ算出するステップ含む、請求項５に記載のモーションキャプチャ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間内でのモデルの動き等を定義するための情報を取得するモーションキャプチャシステム及びモーションキャプチャ方法に関し、特に、人又は動物等、計測対象（以下、「アクター」という。）の各部位の動きについての情報を取得するモーションキャプチャシステム及びモーションキャプチャ方法に関する。
【背景技術】
【０００２】
コンピュータグラフィックス（以下、「ＣＧ」と呼ぶ。）では、人や動物の動きを再現する場合、関節等動く部分の軌跡を定義する必要がある。ロボット等の動きを制御する場合にも同様の作業が必要となる場合がある。従来は、軌跡の定義を製作者が手作業で行なっていたため、膨大な作業時間が必要であった。
【０００３】
ところが近年では、モーションキャプチャシステムを用いることで、アクターの動きに関する情報を直接的に取得することが可能となったため、取得した情報に基づいて仮想空間内におけるモデルの動きを定義することにより、ＣＧで人又は動物等の動きを緻密に再現できるようになった。
【０００４】
モーションキャプチャシステムとしては、以下のような方式が知られている。
【０００５】
第１の方式は、光学式モーションキャプチャシステムである。この方式では、アクターの関節など所望の個所に、光を反射する目印（マーカ）を取付ける。６台から１２台程度のカメラを所定の位置に設置し、ライトを照射して、マーカによる反射光を各カメラで撮影する。これら撮影した画像に基づいて、マーカの３次元座標を求める。この方式では、環境光とマーカの反射光とを区別するために、マーカの撮影に赤外線を用いるのが一般的である。また、時間方向の分解能を向上させるために高速度カメラを用いることもある。
【０００６】
また、限られた波長の赤外光のみを発する光源を、マーカに替えてアクターに取付ける方法が、後掲の特許文献１に記載されている。この方法では、アクターに取付ける光源にフィルタを装着又は直接コーティングする。この際、計測個所の種類に応じて、異なる波長の赤外光を透過する赤外パスフィルタを光源に装着する。同様に複数種類の赤外フィルタをそれぞれ装着した複数のカメラを用いて光源の赤外光を撮影する。この方法を用いると、フィルタの種類を選択することによって、１つのカメラが撮影する光源の数を制限することができる。そのため、計測個所の種類別に情報を取得し、位置の算出を行なうことが可能となる。よって、効率的にモーションキャプチャを行なうことができる。
【０００７】
第２の方式は、磁気式モーションキャプチャシステムである。この方式は、空間内にある２つのコイルの一方を励磁させたときに他方のコイルに発生する電圧が、両者のコイルの位置関係により一意に定まることを利用するものである。この方式では、複数の励磁コイルを設置した領域を準備し、励磁コイルを励磁させてアクターが動作する空間内に磁場を形成する。また、この方式では、アクターの関節などに磁気センサを取付ける。磁気センサには、測定用のコイル（以下、「ピックアップコイル」という。）が組込まれており、形成された磁場内でピックアップコイルに発生する電圧を測定する。電圧の測定値から励磁コイルとピックアップコイルとの相対位置を逆算し、磁気センサの位置を求める。この方式では、空間内における磁気センサの位置に加えて、磁気センサの姿勢についての情報を得ることもできる。
【０００８】
第３の方式は、機械式モーションキャプチャシステムである。この方式では、アクターの関節にポテンシオメータ及び感圧装置等を取付け、取付部分の回転角に関するデータを取得する。さらに仮想空間内でのモデルの骨格を予め定義しておき、取得した回転データを、仮想空間内で定義したモデルの骨格の関節部分に適用し、仮想空間内でのモデルの各部の位置についての情報を得る。
【０００９】
第４の方式は，人形式モーションキャプチャシステムともいうべきものである。この方式では、人形の形をしたセンサシステムをアクターの動きにあわせて操作し、センサシステムに動作中の姿勢を与える。センサシステムの関節の移動量と回転データとを取得し、間接的にアクターの動作に関する情報を取得する。
【００１０】
第５の方式は、電波を用いるモーションキャプチャシステムである。後掲の特許文献２に、この方式のモーションキャプチャシステムが開示されている。特許文献２に記載のシステムでは、アクターの計測所望個所の各々に、複数のアンテナエレメントを取付ける。各アンテナエレメントは、互いに識別可能な無線信号を送信し、その電波を複数の無線受信装置で受信する。この無線受信装置により受信された無線信号の受信電界強度から、計測所望個所の位置、動き、向きなどを算出する。
【００１１】
【特許文献１】特開２００３−１６８１１５号公報
【特許文献２】特開２００１−２６５５２１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
光学式、磁気式、機械式、及び人形式の各システムには、それぞれ専用の特殊な機器が必要である。
【００１３】
例えば光学式のモーションキャプチャシステムでは、マーカを撮影するために、赤外線ライトと赤外線カメラを用いるが、これらの装置は高価である。また、マーカの撮影漏れを防ぐために６台から１２台のカメラを必要とし、さらには、環境光とマーカの反射光とを区別するために、専用の撮影スタジオを用意しスタジオ内で撮影することを必要とする。そのため、システムの構成は大がかりなものとなる。
【００１４】
さらに、マーカを用いる光学式のシステムでは、同一のライトが発する光をマーカで反射させて、反射光を撮影するため、マーカを一意に識別することができない。そのため、複数のマーカを用いてモーションキャプチャを行なう場合、マーカを識別するための後処理が必要となり、アクターの動きに関する情報を即座には利用できない。
【００１５】
一方、特許文献１に記載の方法では、光源に装着した赤外パスフィルタの種類により、光源を識別することができる。しかしこの方法では、光源に装着する赤外パスフィルタの種類を増やすと、対応関係にある赤外パスフィルタを装着したカメラを用意する必要がある。そのためカメラの数がさらに増え、システムの構成がさらに大がかりなものとなる。
【００１６】
磁気式のシステムでは、安定した磁場の領域を形成するための設備が必要である。さらに、この方式では、磁場が形成された領域内でのみ磁気センサが有効に作動する。そのため、この方式では、アクターの動作に関する情報を取得できる領域が制限される。また、磁気式モーションキャプチャシステムの場合、励磁させた領域内に金属体があると、磁場に歪みが生じるため、正確な計測を行なえなくなるという問題が発生する。
【００１７】
機械式のシステムでは、アクターが計測機器自体を装着する必要がある。装着した計測機器がアクターの運動を拘束するため、アクターが所望の動作を行なうことができず、正確な計測を行なうことができない。
【００１８】
人形式のシステムの場合、機械式のシステムの場合と異なりアクターの運動を直接拘束することはない。しかし、この方式を用いて得られる情報は、人形型センサの関節の位置であるため、アクターの実際の動作と異なるものとなる。
【００１９】
電波を用いる特許文献２に記載の方式のシステムでは、１つの計測所望個所に対して複数のアンテナエレメントを要する。そのため、アクターの複数の計測所望個所の動きについての情報を得る場合、多数のアンテナエレメントをアクターに取付ける必要がある。これら多数のアンテナエレメントを識別可能にするには、各アンテナエレメントに全て異なる無線周波数を割当てるか、アンテナエレメントからの電波の送出を時分割で行なうかする必要がある。各アンテナエレメントに異なる無線周波数を割当てる場合、各無線受信装置が、各無線周波数に対応する多数の受信機を備える必要がある。また、時分割で無線信号を送信する場合、アンテナエレメントの数が増えるに従い、計測データの時間方向の分解能が低下する。
【００２０】
それゆえに、本発明の目的は、特殊な環境及び装置を必要とせず、安価な装置構成によって、簡便で高精度のモーションキャプチャを行なうことができるシステムを提供することである。
【００２１】
本発明の別の目的は、アクターの多数の部位に関する動きについてモーションキャプチャを行なう際に、必要となる情報及び処理の量を軽減することのできるシステムを提供することである。
【課題を解決するための手段】
【００２２】
本発明の第１の局面に係るモーションキャプチャシステムは、計測対象の所定の複数の部位の動きについての情報を取得するためのシステムである。このモーションキャプチャシステムは、計測対象の複数の部位にそれぞれ設置され、一意に識別可能な音をそれぞれ発生させる複数の音源と、複数の音源が発生させる音を３以上の受音位置で受音した音波を、それぞれ音響信号に変換して出力するマイクロホンアレイと、マイクロホンアレイが出力する音響信号の各々を、複数の音源が発生させる音に対応する複数の分離信号に分離するための音源分離手段と、複数の分離信号と３以上の受音位置とに基づき、複数の音源の各々の各時間における位置をそれぞれ算出するための位置算出手段とを含む。
【００２３】
好ましくは、複数の音源は、互いに他と異なる周波数帯域の音を発生させるための手段をそれぞれ含む。音源分離手段は、マイクロホンアレイが出力する音響信号の各々を、複数の音源が発生させる音に対応する帯域の周波数成分に分割して複数の分離信号を出力するための周波数帯域分割手段を含む。
【００２４】
位置算出手段は、分離信号の位相差と３以上の受音位置とに基づき、複数の音源の位置をそれぞれ算出するための手段を含んでもよい。また、位置算出手段は、分離信号の振幅差と３以上の受音位置とに基づき、複数の音源の位置をそれぞれ算出するための手段を含んでもよい。
【００２５】
本発明の第２の局面に係るモーションキャプチャ方法は、計測対象の所定の複数の部位の動きについての情報を取得するための方法である。このモーションキャプチャ方法は、複数の音源を計測対象の複数の部位にそれぞれ設置し、一意に識別可能な音を発生させるステップと、複数の音源が発生させた音を３以上の受音位置で受音し、それぞれ音響信号に変換して出力するステップと、複数の音響信号の各々を、複数の音源が発生させた音に対応する複数の分離信号に分離するステップと、複数の分離信号と３以上の受音位置とに基づき、複数の音源の各々の各時間における位置をそれぞれ算出する処理を行なうステップとを含む。
【００２６】
算出する処理を行なうステップは、複数の分離信号の位相差と３以上の受音位置とに基づき、複数の音源の位置をそれぞれ算出するステップを含んでもよい。また、算出する処理を行なうステップは、複数の分離信号の振幅差と３以上の受音位置とに基づき、複数の音源の位置をそれぞれ算出するステップ含んでもよい。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照しつつ本発明の一実施の形態に係る音響式モーションキャプチャシステムについて説明する。なお、以下の説明に用いる図面では、同一の部品には同一の符号を付してある。それらの名称及び機能も同一である。従って、それらについての詳細な説明は繰返さない。
【００２８】
図１に、本発明の一実施の形態に係るモーションキャプチャシステム２０の全体構成を示す。また、図２に、位置推定装置６０を含むモーションキャプチャシステム２０の機能的構成をブロック図形式で示す。図１及び図２を参照して、モーションキャプチャシステム２０は、アクター３０の関節など計測に適した個所に図示しない取付部材により取付けられ、所定の音をそれぞれ発生させる複数の音源装置８０Ａ，…，８０Ｎと、音源装置８０Ａ，…，８０Ｎがそれぞれ発生させる音を受音して音響信号を出力するマイクロホンアレイ５０と、マイクロホンアレイ５０から出力された音響信号を受けるように接続され、マイクロホンアレイ５０から受けた音響信号をもとにアクター３０の各部に取付けられた音源装置８０Ａ，…，８０Ｎの位置をそれぞれ推定し、それらの位置を示す情報を出力する位置推定装置６０とを含む。
【００２９】
音源装置８０Ａ，…，８０Ｎは、互いに他と異なる周波数の音を発生させるようにそれぞれ設定されている。
【００３０】
マイクロホンアレイ５０は、音源装置８０Ａ，…，８０Ｎが発生させる音を受音し音響信号を出力する複数のマイクロホン９０Ａ，…，９０Ｍと、各マイクロホン９０Ａ，…，９０Ｍを所定の位置で支持するための支持部９２とを含む。マイクロホン９０Ａ，…，９０Ｍは、支持部９２により、空間内のそれぞれ異なる位置に設置される。そのため、各音源装置８０Ａ，…，８０Ｎの内の１つにより発生する音がマイクロホン９０Ａ，…，９０Ｍにそれぞれ到達する時間及び到達した音波の振幅は、マイクロホン９０Ａ，…，９０Ｍの設置位置によってそれぞれ異なるものとなる。なお、図１には、マイクロホンアレイ５０が３個のマイクロホンを含む例を示す。マイクロホンアレイ５０を構成するマイクロホン９０Ａ，…，９０Ｍの総数が３以上であれば、音源装置８０Ａ，…，８０Ｎの全ての位置を特定するのに必要な信号を取得できる。
【００３１】
典型的には、音源装置８０Ａ，…，８０Ｎには、電子ブザーなどの一般的な発信器を用いることができる。また、マイクロホンアレイ５０を構成するマイクロホン９０Ａ，…，９０Ｍには、市販されている一般的なマイクロホン装置を用いることができる。音源装置８０Ａ，…，８０Ｎに用いる発振器は、小型、軽量であることが望ましい。
【００３２】
特に図２を参照して、位置推定装置６０は、マイクロホン９０Ａ，…，９０Ｍが出力する音響信号を受けるための入力インタフェース１００と、入力インタフェースを介してマイクロホン９０Ａ，…，９０Ｍから音響信号を受け、音源装置８０Ａ，…，８０Ｎからの音が混在する状態で受音されたそれらの音響信号を音源装置８０Ａ，…，８０Ｎが発生させた音に対応する信号に分離するために、受けた音響信号の各々を周波数帯域分割する周波数帯域分割部１０２と、周波数帯域分割部１０２が周波数帯域分割して出力した信号を受け、音源装置８０Ａ，…，８０Ｎが発生させた音に対応する各信号間の位相差、振幅差等に基づいて、音源装置８０Ａ，…，８０Ｎの位置をそれぞれ推定し、各時間におけるそれらの位置を示す位置信号を出力する音源位置推定部１０４とを含む。
【００３３】
周波数帯域分割部１０２及び音源位置推定部１０４の詳細な構成について、図３及び図４をそれぞれ用いて説明する。
【００３４】
図３に、図２に示す周波数帯域分割部１０２の詳細な機能的構成をブロック図形式で示す。図３を参照して、周波数帯域分割部１０２は、マイクロホン９０Ａ，…，９０Ｍに対応して設けられ、対応するマイクロホンからの音響信号を入力インタフェース１００（図２参照）を介して受け、音源装置８０Ａ，…，８０Ｎが発生させる音の周波数に対応した周波数帯域分割を行なう第１〜第Ｍの分割部１２０Ａ，…，１２０Ｍを含む。第１〜第Ｍの分割部１２０Ａ，…，１２０Ｍは各々、音源装置８０Ａ，…，８０Ｎと同数（Ｎ個）の帯域信号を生成する。従って、全体ではＭ×Ｎ個の帯域信号が生成される。
【００３５】
例えば、音源装置８０Ａ，…，８０Ｎが発生させる音の周波数が、それぞれω1，…，ωNであるものとする。時刻ｔにおいて第ｍのマイクロホン９０ｍが出力する信号Ｓm（ｔ）は、周波数ω1，…，ωNの音が混在した音から得られる。マイクロホン９０ｍに対応する第ｍの分割部１２０ｍは、信号Ｓm（ｔ）を受け、信号Ｓm（ｔ）を、Ｎ個の帯域信号Ｅm（ωn，ｔ）（ただし１≦ｎ≦Ｎ）に分割する。帯域信号Ｅm（ωn，ｔ）は、マイクロホン８０ｍが出力した音響信号のうち、音源装置８０ｎが発生させた音に対応する周波数ωnの音響信号のみを含み、他の周波数帯域の信号は含まない。
【００３６】
典型的には、第１〜第Ｍの分割部１２０Ａ，…，１２０Ｍの各々は、周波数ω1，…，ωNに対応する複数のバンドパスフィルタによって構成されたフィルタバンクである。また、第１〜第Ｍの分割部１２０Ａ，…，１２０Ｍはそれぞれ、高速フーリエ変換等を行なうことにより音響信号のスペクトラムを作成し、音源装置８０Ａ，…，８０Ｎに対応する周波数成分の帯域信号を出力するものであってもよい。
【００３７】
図４に、図２に示す音源位置推定部１０４の詳細な機能的構成をブロック図形式で示す。音源位置推定部１０４は、Ｎ個の音源装置８０Ａ，…，８０Ｎに対応して設けられ、図３に示す周波数帯域分割部１０２が出力するＭ×Ｎ個の帯域信号Ｅm（ωn，ｔ）（ただし１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）のうち、同一の周波数帯域のものを受けるように接続され、それらの信号間の位相差、振幅差等に基づいてその周波数帯域の音を発生させた音源装置の位置を推定する、第１〜第Ｎの推定部１４０Ａ，…，１４０Ｎを含む。例えば、第ｎの推定部１４０ｎは、図３に示す周波数帯域分割部１０２が出力するＭ×Ｎ個の信号のうち、周波数ωnを含むＭ個の帯域信号Ｅm（ωn，ｔ）（ただし１≦ｍ≦Ｍ）を受け、時刻ｔにおける周波数ωnの音の発生位置を推定し、位置情報Ｐn（ｘ，ｙ，ｚ，ｔ）として出力する。この位置は、この周波数ωnの音を発生させている音源装置８０ｎの位置と考えることができる。音源位置推定部１０４全体では、音源装置８０Ａ，…，８０Ｎに対応するＮ個の位置情報を出力する。
【００３８】
各音源装置８０Ａ，…，８０Ｎの位置を推定する方法としては、例えば、マイクロホンアレイ５０のメインローブを全方向にわたって走査して、目的とする信号の出力が大きくなる方向を探すビームフォーマ法、目的とする信号の感度を一定に保ち、それ以外の信号による干渉が最小となる方向を探すＣａｐｏｎの最小分散法、空間相関行列の固有値分解によりノイズと信号の情報を分離して、信号の到来方向等を推定するＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ  ＳＩｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法、及び信号間の相互相関係数に基づき音源装置８０ｎからマイクロホン９０Ａ，…，９０Ｍへの音の到達時間差を求めることにより音源装置８０ｎの位置を推定する相互相関法などを用いることができる。
【００３９】
本実施の形態に係るモーションキャプチャシステム２０は、以下のように動作する。
【００４０】
図１を参照して、これらの音源装置８０Ａ，…，８０Ｎは、設定された周波数ω1，…，ωNの音をそれぞれ発生させる。アクター３０が動くと、音源装置８０Ａ，…，８０Ｎの位置もそれぞれ変化する。
【００４１】
図２を参照してマイクロホンアレイ５０の各マイクロホン９０Ａ，…，９０Ｍは、音源装置８０Ａ，…，８０Ｎが発生させた音波を受音し、音響信号Ｓ1（ｔ），…，ＳM（ｔ）をそれぞれ出力する。
【００４２】
音響信号Ｓ1（ｔ），…，ＳM（ｔ）は、入力インタフェース１００を介して、周波数帯域分割部１０２の、図３に示す第１〜第Ｍの分割部１２０Ａ，…，１２０Ｍにそれぞれ与えられる。第１〜第Ｍの分割部１２０Ａ，…，１２０Ｍはそれぞれ、音響信号Ｓ1（ｔ），…，ＳM（ｔ）を周波数ω1，…，ωNの周波数帯域に分割する。この周波数帯域分割により、Ｍ×Ｎ個の帯域信号Ｅm（ωn，ｔ）（ただし、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）が生成される。周波数帯域分割部１０２は、これらの帯域信号を図２及び図４に示す音源位置推定部１０４に与える。
【００４３】
図４を参照して、音源位置推定部１０４の第１〜第Ｎの推定部１４０Ａ，…，１４０Ｎにはそれぞれ、音源位置推定部１０４に与えられたＭ×Ｎ個の帯域信号Ｅm（ωn，ｔ）の内、当該推定部と対応関係にある音源装置に設定された周波数成分を含むＭ個の帯域信号が、それぞれ与えられる。第１〜第Ｎの推定部１４０Ａ，…，１４０Ｎは、与えられた帯域信号の位相差、振幅差等に基づき、対応する音源装置の位置を推定する。その結果、音源装置８０Ａ，…，８０Ｎの時刻ｔにおける実空間内での位置を示す位置情報Ｐn（ｘ，ｙ，ｚ，ｔ）（１≦ｎ≦Ｎ）が出力される。第１〜第Ｎの推定部１４０Ａ，…，１４０Ｎは、それぞれ音源装置８０Ａ，…，８０Ｎに対応しているので、これら位置情報Ｐn（ｘ，ｙ，ｚ，ｔ）により、音源装置８０Ａ，…，８０Ｎの動きがそれぞれ表わされる。
【００４４】
図５に、位置情報Ｐn（ｘ，ｙ，ｚ，ｔ）を用いて作成される動作モデルの合成画像の一例を示す。図５を参照して、合成画像１６０は、位置情報Ｐn（ｘ，ｙ，ｚ，ｔ）を、仮想空間１６２内での点１７０Ａ，…，１７０Ｎの座標によって表わしたものである。
【００４５】
このように、本実施の形態に係るモーションキャプチャシステム２０では、特殊な装置や設備を必要とせず、一般的な音源とマイクロホンとを用いて、アクター３０の実空間内での動きを検出できる。また、このモーションキャプチャシステム２０は、音響信号に基づいて実空間でのアクター３０の動きを仮想空間内の位置情報に変換する。音は光などと異なり、音源が人体の影に隠れてもマイクロホンに到達する。そのためマイクロホンの数を多数にする必要はなく、アクターの動きに関する情報を取得することができる。
【００４６】
さらに、本実施の形態に係るモーションキャプチャシステム２０においては、第１〜第Ｎの推定部１４０Ａ，…，１４０Ｎは、それぞれ音源装置８０Ａ，…，８０Ｎに対応している。マーカを用いる光学式モーションキャプチャシステムと異なり、音源装置８０Ａ，…，８０Ｎを識別するための後処理を必要としない。そのため、取得したアクターの動きに関する情報の利用が容易になる。
【００４７】
以上に示す位置推定装置６０の各機能部は、いずれもコンピュータハードウェア及び当該コンピュータ上で実行されるプログラムにより実現することができる。このコンピュータとしては、複数チャネルの音響信号を扱う設備を持ったものであれば、汎用のハードウェアを有するものを用いることができる。また、上で説明した装置の各機能ブロックは、この明細書の記載に基づき、当業者であればプログラムで実現することができる。そうしたプログラムもまた１つのデータであり、記憶媒体に記憶させて流通させることができる。
【００４８】
なお、音源装置８０Ａ，…，８０Ｎが発生させる音は、可聴域の音であってもよいし、非可聴域の音であってもよい。また、周波数帯域分割処理によって互いに他の音源装置が発生させる音と分離することが可能であれば、どのような波形の音であってもよい。
【００４９】
また、上記した実施の形態では、音源装置８０Ａ，…，８０Ｎは、設定された周波数帯域の信号を出力した。しかし、本発明は、このような実施の形態には限定されない。例えば、音源装置８０Ａ，…，８０Ｎは、それぞれ時間によって発生させる音の周波数帯域を変化させるものであってもよい。ただし、このような音源装置を用いる場合、図２に示す音源位置推定部１０４は、各音源装置８０Ａ，…，８０Ｎが発生させる音の周波数帯域に関する情報を、変化に応じて取得する必要がある。
【００５０】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態に係るモーションキャプチャシステム２０の概略図である。
【図２】モーションキャプチャシステム２０の機能的構成を示すブロック図である。
【図３】図２に示す周波数帯域分割部１０２の詳細な構成を示す図である。
【図４】図２に示す音源位置推定部１０４の詳細な構成を示す図である。
【図５】モーションキャプチャシステム２０により取得した位置情報を用いて作成される動作モデルの合成画像の一例を示す図である。
【符号の説明】
【００５２】
２０  モーションキャプチャシステム、３０  アクター、５０  マイクロホンアレイ、６０  位置推定装置、８０Ａ，…，８０Ｎ  音源装置、９０Ａ，…，９０Ｍ  マイクロホン、１００  入力インタフェース、１０２  周波数帯域分割部、１０４  音源位置推定部、１２０Ａ，…，１２０Ｎ  分割部、１４０Ａ，…，１４０Ｎ  推定部
【図１】
2005181088.tif 000003
【図２】
2005181088.tif 000004
【図３】
2005181088.tif 000005
【図４】
2005181088.tif 000006
【図５】
2005181088.tif 000007