(57)【特許請求の範囲】
【請求項１】
観測対象に取り付けたマークを観測する観測部とこれら複数の観測部からの出力に基づいて３次元座標を求める演算部とを具備し、複数の観測部の観測範囲で規定される観測対象空間において固有の色情報を有する少なくとも１つのマークの位置を表す３次元座標を求める３次元座標入力装置であって、
前記観測部は、
所定の周期のパルスを発生するタイミングパルス発生器と、
観測対象からの光を集光するレンズと、
必要とされる座標精度に対応する数の撮像素子からなり、前記レンズによって集光した光を受光する撮像素子アレイと、
前記撮像素子アレイによって前記観測対象空間を撮像し、各撮像素子からの出力電圧を所定の順序かつ前記パルスに対応するタイミングで出力する信号出力部と、
前記パルスと前記撮像素子アレイの行列サイズとに基づいて前記信号出力部からの出力信号に対応する撮像素子の前記撮像素子アレイ内における２次元座標を求める座標換算部と、
前記信号出力部からの出力信号を入力し、この出力信号で表される色情報に対応する情報を前記座標換算部で求められた２次元座標と組にして前記演算部へ供給する出力処理回路と
を備えることを特徴とする３次元座標入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被測定物の３次元座標をコンピュータ等へ入力するための３次元座標入力装置に関する。
【０００２】
【従来の技術】
従来より、ＶＲ（バーチャルリアリティ）、ＣＧ（コンピュータグラフィックス）、コンピュータゲーム等の分野において、人間等の観測対象の挙動に応じた処理をコンピュータ等に行わせるシステムが研究・開発されている。このようなシステムでは、一般に、観測対象の各部の動きを表す軌跡を求める処理が必要とされる。すなわち、観測対象の各部の３次元座標を表す情報を所定の時間間隔で獲得してコンピュータ等へ入力する装置、すなわちモーションキャプチャ装置が必要とされていた。
【０００３】
モーションキャプチャ装置としては、従来より、磁気式および光学式のものが開発されている。
磁気式のモーションキャプチャ装置は、観測対象空間内で動作する観測対象の各部に直交コイルを内蔵したレシーバを装着し、トランスミッタ側の直交コイルを交流電流で励磁して観測対象空間に磁界を発生させるというものであり、観測対象が観測対象空間において動作すると、各レシーバに電流が誘起されるようになっている。ここで誘起された電流は、各レシーバに各々接続されたケーブルを介してコンピュータ側へ導入され、各ケーブルから導入された電流の大きさを測定して所定の演算処理を行うことにより、観測対象の挙動を測定するものである。
【０００４】
この磁気式のモーションキャプチャ装置では、Ｘ，Ｙ，Ｚ軸方向の移動量や、ローリング、イーリング、ピッチング等の動きをリアルタイムに取得することができるという利点があるが、複数のケーブルが接続された状態で観測対象が動作する必要があるため、移動範囲が抑制され、激しい動きにおいてはケーブルが絡まってしまうという欠点がある。また、鉄筋等の金属やノイズの影響を受けるため、使用環境が制限されてしまうという欠点もある。
【０００５】
これに対して、光学式のモーションキャプチャ装置は、観測対象の各部に固有の色情報を有するマークを付け、複数のＣＣＤ（charge coupled device ）カメラで観測対象空間を様々な角度から撮像し、各ＣＣＤカメラから得られた画像を解析して３次元座標を得るというものであり、磁気式のものにおける欠点を全く持たない。また、観測対象に装着するのは単なるマークであるため、コストをさほど考慮せずにマークの数を増やすことができるという利点や、ケーブルに制約されない自由な動きを取り込めるという利点等がある。
【０００６】
ここで従来の光学式のモーションキャプチャ装置の構成について、図３を参照して説明する。図３は従来の光学式のモーションキャプチャ装置の構成を示すブロック図であり、この図では、説明が煩雑になるのを避けるために、１台のコンピュータ１に１台のＣＣＤカメラ２が接続された構成が示されているが、実際には、複数のＣＣＤカメラ２がコンピュータ１に接続される。
図３に示されるように、ＣＣＤカメラ２は、観測対象空間を撮像してＣＣＤアレイに対応するデジタルデータであるアレイデータを生成するアレイデータ生成部３とそのアレイデータをフレーム毎のビデオ信号（ＮＴＳＣ信号）に変換するビデオ信号処理回路４から構成される。
【０００７】
また、コンピュータ１には、ＣＣＤカメラ２から出力されるビデオ信号をコンピュータ１で処理可能なデジタルデータに変換するビデオ信号変換器５と、ビデオ信号変換器５から出力されるデジタルデータが書き込まれるハードディスク等のメモリ装置６と、メモリ装置６から読み出したデータに様々な処理を施して後段の手段で使用可能なデータを生成する画像解析処理手段７と、画像解析処理手段７から出力されるデータに基づいて、対象となるマークの観測対象上の位置を解析する（すなわち、観測対象のどの部位に装着されたマークかを特定する）色位置解析手段８およびそのマークのフレーム内における２次元座標を算出する座標算出手段９と、各手段８，９の出力結果に基づいて３次元画像データの作成、図示せぬディスプレイへの表示等を行うＣＧソフトウェア１０が用意されている。
【０００８】
なお、ビデオ信号変換器５は、ＣＣＤカメラ２の数に対応する数だけ設けられる。この際、メモリ装置６の書き込み速度が、複数のビデオ信号変換器５によるデータ出力速度に比較して遅い場合には、複数のメモリ装置６を設けることになる。その場合、画像解析処理手段７は、複数のメモリ装置６から順次、使用するデータを読み出して解析処理を行うことになる。なお、コンピュータ１は図示せぬＣＰＵ（中央処理装置），ＲＡＭ（ランダム・アクセス・メモリ），ＲＯＭ（リード・オンリー・メモリ），各種インタフェース等を有し、キーボードやマウス等の図示せぬ入力手段からの所定の指示の入力時あるいは電源投入時に、ＣＰＵにて各手段７〜９およびＣＧソフトウェア１０を実行するよう構成されている。
また、メモリ装置６の書き込み／読み出しはＲＡＭを介して行われ、画像解析処理手段７によるメモリ装置６からのデータの読み出しはＣＧソフトウェア１０に制御される。
【０００９】
【発明が解決しようとする課題】
ところで、従来の光学式のモーションキャプチャ装置では、ＣＣＤカメラ２から出力されるビデオ信号から所望のデータを抽出するために、ビデオ信号変換器５、メモリ装置６、および各手段７〜９を必要としている。これらの構成要素はいずれも安価ではないが、特に各手段７〜９は画像処理の様々なノウハウが注ぎ込まれて作成されるものであり、極めて高価である。したがって、装置全体の製造コストが高くなり、装置全体の価格が数千万円という極めて高価なものになってしまうという欠点がある。
【００１０】
また、前述したような画像処理を実行させた場合、コンピュータ１の処理速度は、複数のＣＣＤカメラ２からの信号出力速度に比較して遅い。したがって、前述したように、一旦、メモリ装置６を介して（ファイルにおとして）画像解析を行う構成を採らざるを得ず、リアルタイムでの処理ができないという欠点がある。もちろん、処理能力が十分に高いコンピュータを使用すればリアルタイムでの処理も可能となるが、装置全体のさらなる価格上昇を招致してしまう。
【００１１】
結局、フレーム毎のビデオ信号（ＮＴＳＣ信号）を使用する限り、アナログからデジタルへのデータ変換、および複雑な画像処理を行う必要があり、上述した欠点を回避することは困難である。
本発明は、上述した事情に鑑みて為されたものであり、安価であるとともに、リアルタイムでマークの３次元座標を入力することができる３次元座標入力装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１記載の３次元座標入力装置は、観測対象に取り付けたマークを観測する観測部とこれら複数の観測部からの出力に基づいて３次元座標を求める演算部とを具備し、複数の観測部の観測範囲で規定される観測対象空間において固有の色情報を有する少なくとも１つのマークの位置を表す３次元座標を求める３次元座標入力装置であって、前記観測部は、所定の周期のパルスを発生するタイミングパルス発生器と、観測対象からの光を集光するレンズと、必要とされる座標精度に対応する数の撮像素子からなり、前記レンズによって集光した光を受光する撮像素子アレイと、前記撮像素子アレイによって前記観測対象空間を撮像し、各撮像素子からの出力電圧を所定の順序かつ前記パルスに対応するタイミングで出力する信号出力部と、前記パルスと前記撮像素子アレイの行列サイズとに基づいて前記信号出力部からの出力信号に対応する撮像素子の前記撮像素子アレイ内における２次元座標を求める座標換算部と、前記信号出力部からの出力信号を入力し、この出力信号で表される色情報に対応する情報を前記座標換算部で求められた２次元座標と組にして前記演算部へ供給する出力処理回路とを備えることを特徴としている。
【００１３】
【発明の実施の形態】
本発明の実施形態の説明に先立って、本発明の基本となる技術的思想について説明する。
前述したように、従来の光学式の３次元座標入力装置（モーションキャプチャ装置）は、ＣＣＤカメラを用いてフレーム毎のビデオ信号（ＮＴＳＣ信号）を作成し、このビデオ信号をフレーム毎のデジタル信号に変換し、変換されたデジタル信号に対して既存の画像処理技術を適用している。既存の画像処理技術を適用するには、フレーム毎の画像データを扱う必要があるのだが、このことがリアルタイムでの処理を困難とする一因になっている。
そこで本発明は、モーションキャプチャに特化した装置を開発して、リアルタイムでの処理および低コスト化を実現しようとするものである。
【００１４】
ところで、ＣＣＤカメラは、大別してアレイデータ生成部とビデオ信号処理回路から構成されており、アレイデータ生成部から出力されるデータはシリアルのデジタルデータである。したがって、アレイデータ生成部から出力されるデジタルデータと、フレーム内の座標（すなわち、ＣＣＤアレイ内の座標）とを対応付け、かつ当該デジタルデータが対応するマークを特定することが可能であれば、デジタルデータとビデオ信号との変換処理、およびフレーム毎の画像データを対象とした画像処理が不要となるのである。
【００１５】
以下、図面を参照して、上述した技術的思想に基づいた本発明の実施形態について説明する。図１は本発明の一実施形態による３次元座標入力装置の構成を示すブロック図であり、この図において、図３と共通する部分には共通の符号が付されている。図１では、説明が煩雑になるのを避けるために、１台のコンピュータ（演算部）１１に１台の観測部１２が接続された構成が示されているが、実際には、複数の観測部１２がコンピュータ１１に接続される。なお、観測部１２の数は、少なくとも２台、好適には３台以上であり、観測対象空間において、死角が極力なくなるよう配置される。
【００１６】
図１中の観測部１２において、アレイデータ生成部３は、図３中のＣＣＤカメラ２内のアレイデータ生成部３と同一構成であり、観測対象空間を撮像してＣＣＤアレイに対応するデジタルデータであるアレイデータを生成する。アレイデータ生成部３において、１３はタイミングパルス発生器であり、各フレームに対する処理の開始時にのみ‘Ｈ’レベルとなるスタートクロック、および所定周期の転送クロックを発生する。なお、ここでは、各クロックおよび回路が正論理である場合について説明するが、もちろん、負論理であってもよい。
【００１７】
また、アレイデータ生成部３において、１４は観測対象領域からの光を集光するレンズ、１４ａはレンズ１４によって集光された光を３分岐するビームスプリッタ等の光分岐手段、１５は所望の座標精度に対応する数の撮像素子（ＣＣＤ）を有する撮像素子基板であり、Ｒ（Red ），Ｇ（Green ），Ｂ（Blue）の３系統設けられ、それぞれレンズ１４および光分岐手段１４ａを介して供給される光を受光し、受光光のパワーに対応して各撮像素子で発生した電圧を上記転送クロックに基づいたタイミングで後述するサンプル・アンド・ホールド回路へ順次出力する。
【００１８】
図２は撮像素子基板１５の一部構成を示すブロック図であり、この図において、１６，１６，…はそれぞれ受光光のパワーに応じた電圧を発生する撮像素子であり、図に示されるように２次元アレイ（配列）を形成している。また、１７，１７，…は垂直シフトレジスタであり、それぞれ上記２次元アレイの列に対応して設けられ、対応する列の全ての撮像素子１６，１６，…の数と同数のビットを有する。
【００１９】
垂直シフトレジスタ１７の各ビットには対応する列の各撮像素子１６，１６，…が１対１で対応付けられており、垂直シフトレジスタ１７，１７，…は、２次元アレイの全撮像素子１６，１６，…で発生した電圧を転送クロックに基づいたタイミングで対応するビットに一斉に取り込み、次の取り込みを行う前に、所定の周期でダウンシフトを繰り返して取り込んだ電圧を順次後段へ出力する。
【００２０】
１８は垂直シフトレジスタ１７，１７，…の後段に設けられ、垂直シフトレジスタ１７の数と同数のビットを有する水平シフトレジスタであり、その各ビットはそれぞれ垂直シフトレジスタ１７，１７，…の最下位ビットから出力される電圧を取り込む。水平シフトレジスタ１８は、各ビットに取り込んだ電圧が更新される前に、垂直シフトレジスタ１７に比較して遥かに短い周期（転送クロックで表されるタイミング）でダウンシフトを繰り返して取り込んだ電圧を順次後段へ出力する。なお、上記各レジスタ１７，１８のビットは、２値のみを表すものではなく、例えば、色の濃淡に応じて２５６段階の値をとる。また、１９は水平シフトレジスタ１８の最下位ビットから出力される電圧を増幅して外部に出力する出力回路である。
【００２１】
再び図１のアレイデータ生成部３において、２０は撮像素子基板１５から出力される電圧信号を入力するサンプル・アンド・ホールド回路であり、入力される電圧信号に対してサンプル・アンド・ホールド処理を行い、転送クロックに同期して電圧信号を出力する。本実施形態においては、上述した撮像素子基板１５およびサンプル・アンド・ホールド回路２０を、撮像素子基板に対応させて３系統設けるため、アレイデータ作成部３から出力される電圧信号は３系統となる。なお、レンズ１４、光分岐手段１４ａ、３系統の撮像素子基板１５、および３系統のサンプル・アンド・ホールド回路２０は撮像部を構成している。
【００２２】
また、観測部１２において、２１はカウンタであり、タイミングパルス発生器１３からのスタートクロックおよび転送クロックを個別に入力する。このカウンタ２１は、転送クロックにおけるパルス数を計数し、計数値を表す信号を出力するとともに、スタートクロックが‘Ｈ’レベルになると計数値をクリアする。２２はカウンタ２１からの出力信号を入力するＸＹ座標変換器であり、上記カウンタ２１とともに座標変換部を構成し、撮像素子基板１５中の撮像素子１６，１６，…の行列のサイズ、およびカウンタ２１からの出力信号で表される計数値に基づいて、後段の回路で処理対象となる撮像素子１６の位置（アレイ中の座標）を求め、得られた位置に対応する信号を出力する。なお、サンプル・アンド・ホールド回路２０から出力される各電圧信号における電圧値は、撮像素子アレイの配列順序と対応しているため、処理対象となる撮像素子１６の位置を求めることは容易である。
【００２３】
また、２３はマークが有する色情報に対応して識別データおよび位置データ（初期位置）が設定された出力処理回路であり、識別データとサンプル・アンド・ホールド回路２０から出力される３系統の電圧信号とに基づいて、入力された３系統の電圧信号がマークに対応するものであるか否か、マークに対応するものであればさらに、どの色情報に対応するものであるかを判断する。
【００２４】
ここで、識別データは、３系統の電圧信号が表す色情報が識別データで表される範囲内にあれば、当該識別データが対応付けられた色情報を有するマークに当該３系統の電圧信号が対応している、と判断するためのデータである。また、位置データは、マークの初期位置を特定するためのデータであり、例えば、観測対象が人間であり、マークが肩に装着されている場合には、人間に対して設定された原点に対する肩の相対位置を表すデータが位置データとなる。なお、この位置データは相対位置である必要はなく、観測対象空間における座標であってもよい。
【００２５】
出力処理回路２３は、前述した判断の結果、３系統の電圧信号が表す色情報がいずれのマークにも対応しない場合には、ＸＹ座標変換器２２の出力信号に表される位置（２次元座標）を表す信号を出力するとともに、マークでないことを表す信号を出力する。これに対して、３系統の電圧信号が表す色情報がいずれかのマークに対応する場合には、ＸＹ座標変換器２２の出力信号に表される位置を表す信号を出力するとともに、当該マークが有する色情報に対応付けられた位置データを表す信号を出力する。
【００２６】
演算部を構成するコンピュータ１１において、２４はインタフェースの一つとして所定のスロットに挿入されるデジタル信号アダプタであり、出力処理回路２３からの２系統の出力信号をそれぞれ、コンピュータ１１で使用可能な信号に変換する。具体的には、電圧レベルの変換等を行うものであり、変換後の各信号はＣＧソフトウェア１０へ供給される。
【００２７】
次に、上述した構成の３次元座標入力装置によって３次元座標の入力を行う過程について説明する。
まず、３次元座標の入力に先立って、位置合わせが行われる。この位置合わせにおいては、まず、観測対象空間を取り囲むように複数の観測部１２が配置される。通常、観測部１２の観測対象空間に対する相対位置および向きは予め設定されているため、各観測部１２は設定された位置および向きに配置される。その後、各観測部１２およびコンピュータ１１に電源（図示略）が投入され、微調整が行われる。
【００２８】
次に、実際に３次元座標を入力する過程が行われる。なお、観測対象空間には各部にマークが装着された観測対象が配置され、各観測部１２およびコンピュータ１１の電源（図示略）が投入されているものとする。
このような状態において、まず、複数のマークを装着した観測対象を観測対象空間内に位置させ、各マークの初期位置をＣＧソフトウェア１０に、各マークの初期位置および色情報を出力処理回路２３に把握させる。これにより、ＣＧソフトウェア１０が扱うＣＧモデルと観測対象とが対応付けられる。
【００２９】
次に、実際のモーションキャプチャが行われる。図１のレンズ１４から入射された像（光）は、光分岐手段１４ａで３分岐され、各撮像素子基板１５へ供給される。分岐後の像（光）は、タイミングパルス発生器１３から供給されるスタートクロックに対応したタイミングで撮像素子基板１５により一括して電圧に変換され、各画素に対応する電圧毎に所定の順序（例えば、１行１列目、１行２列目、…）で出力される。３系統（Ｒ，Ｇ，Ｂ）の撮像素子基板１５から順次出力された電圧は、それぞれサンプル・アンド・ホールド回路２０でサンプル・アンド・ホールド処理され、タイミングパルス発生器１３から出力される転送クロックに応じたタイミングで出力処理回路２３へ供給される。
【００３０】
一方、カウンタ２１は、スタートクロックに対応して、すなわち撮像素子基板１５における一括した電圧変換に伴ってリセットされ、転送クロックのパルス数の計数を開始する。したがって、カウンタ２１から出力される信号が表す値は、これに同期してサンプル・アンド・ホールド回路２０から出力される電圧の出力順番を表すことになり、上記値はＸＹ座標変換器２２によって、撮像素子アレイにおける出力中の電圧の位置（撮像素子アレイにおいて当該電圧を出力する撮像素子のＸ，Ｙ座標）を表す信号に変換されて出力処理回路２３へ供給される。
【００３１】
出力処理回路２３では、撮像素子基板１５からの３系統の電圧が表す色情報に応じて、当該色情報に対応付けられた位置データを表す信号を出力する。なお、上記色情報がいずれのマークにも対応しない場合には、その旨を表す信号が出力される。また、出力処理回路２３からは、上記信号の他に、ＸＹ座標変換器２２の出力信号に表される位置（２次元座標）を表す信号が出力される。
【００３２】
出力処理回路２３から出力された２系統の信号は、コンピュータ１１のデジタル信号アダプタ２４で座標データおよび色位置データに変換され、ＣＧソフトウェア１０へ供給される。観測部１２およびデジタル信号アダプタ２４は複数系統設けられており、ＣＧソフトウェア１０には、様々な角度からの座標データおよび色位置データが供給される。
【００３３】
ＣＧソフトウェア１０は、１フレーム分の座標データおよび色位置データに基づいて、例えば、観測対象の動きを把握してＣＧモデルを動作させる。この動作の様子は、例えば、図示せぬディスプレイによって視認可能である。このような処理が繰り返され、モーションキャプチャが実現される。
【００３４】
以上説明したように、１フレームの信号をＮＴＳＣ信号などのアナログ信号に変換する必要がないため、複雑な画像解析処理を行う必要がなく、低コストかつ高速なモーションキャプチャが実現される。したがって、リアルタイム性を損なうことなく、光学式のモーションキャプチャを行うことができる。また、観測部１２において、ＣＣＤカメラに含まれるビデオ信号処理回路が不要となるため、さらなる低コスト化を図ることができる。さらに、装置全体として、構成が簡素となるため、装置の製造にかかる手間およびコストを低減できる。
また、アレイデータ作成部３として、既存のＣＣＤカメラ中のものを利用することができるため、装置を容易に構成できる。
【００３５】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
例えば、上述した一実施形態においては、１つの撮像部に３系統の撮像素子基板を設けるようにしたが、１つの撮像素子基板を時分割でＲ，Ｇ，Ｂ共用とし、この基板からＲ，Ｇ，Ｂの電圧が順次出力されるようにしてもよい。もちろん、この際、サンプル・アンド・ホールド回路２０は１系統だけ設ければよい。
【００３６】
また、色情報としてＲ，Ｇ，Ｂ成分を用いる例を示したが、明度、彩度、色相など、様々な形式の色情報を用いるようにしてもよい。また、出力処理回路２３において、マークの初期位置を求めるようにしたが、出力処理回路２３では色情報をスルー出力し、ＣＧソフトウェア１０側で色情報から各マークの初期位置を求めるようにしてもよい。この場合、出力処理回路２３は事前に色情報を把握する必要がなくなるため、構成がより簡素となる。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、観測部が、所定の周期のパルスを発生するタイミングパルス発生器と、観測対象からの光を集光するレンズと、必要とされる座標精度に対応する数の撮像素子からなり、前記レンズによって集光した光を受光する撮像素子アレイと、前記撮像素子アレイによって前記観測対象空間を撮像し、各撮像素子からの出力電圧を所定の順序かつ前記パルスに対応するタイミングで出力する信号出力部と、前記パルスと前記撮像素子アレイの行列サイズとに基づいて前記信号出力部からの出力信号に対応する撮像素子の前記撮像素子アレイ内における２次元座標を求める座標換算部と、前記信号出力部からの出力信号を入力し、この出力信号で表される色情報に対応する情報を前記座標換算部で求められた２次元座標と組にして前記演算部へ供給するため、デジタル／アナログおよびアナログ／デジタルの信号変換が不要であり、アナログ信号に対する複雑な解析処理が不要となる。したがって、安価な構成で、リアルタイムでマークの３次元座標を入力することができるという効果がある。
さらに、少なくとも一つのマークが観測対象に取り付けられるため、観測対象の複雑な動作を取り込むことができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態による３次元座標入力装置の構成を示すブロック図である。
【図２】撮像素子基板１５の構成を示すブロック図である。
【図３】従来の光学式のモーションキャプチャ装置の構成例を示すブロック図である。
【符号の説明】
３      アレイデータ作成部
１１    コンピュータ
１２    観測部
１３    タイミングパルス発生器
１４    レンズ
１４ａ  光分岐手段
１５    撮像素子
２０    サンプル・アンド・ホールド回路
２１    カウンタ
２２    ＸＹ座標変換器
２３    出力処理回路
２４    デジタル信号アダプタ
【図１】
0003690848.tif 000002
【図２】
0003690848.tif 000003
【図３】
0003690848.tif 000004