(57)【特許請求の範囲】
【請求項１】
移動する３次元の曲面に対して映像を投射する映像投射装置であって、
上記曲面の位置を検出する位置検出手段と、
上記曲面に映像を投射する投射手段と、
上記位置検出手段と上記投射手段との幾何学的な位置関係を表すホモグラフィー行列における上記位置検出手段と上記投射手段と位置関係を較正する較正手段と、
上記較正手段で較正されたホモグラフィー行列に基づき、上記位置検出手段で検出された曲面の位置値を上記投射手段に対応する位置値に変換する位置変換手段と、
上記曲面に投射する映像を作成し、上記位置変換手段で変換された位置値に基づいて、作成した映像を上記投射手段で上記曲面に投射するように制御する制御手段と
を有することを特徴とする映像投射装置。
【請求項２】
上記ホモグラフィー行列は、上記位置検出手段が検出される曲面上の点と上記投射手段が投射する映像に対応する点と間の幾何学的な位置関係を表すものであることを特徴とする請求項１記載の映像投射装置。
【請求項３】
上記較正手段は、更に上記投射手段から投射された２次元のパターンが、上記３次元の曲面のパターンと一致するように較正を行うことを特徴とする請求項１記載の映像投射装置。
【請求項４】
上記較正手段は、上記投射手段から投射された２次元のパターンが、上記曲面にパターンとして配設された少なくとも４個の点と一致するように較正を行うことを特徴とする請求項３記載の映像投射装置。
【請求項５】
上記曲面にパターンとして配設された点は、発光体の点であることを特徴とする請求項４記載の映像投射装置。
【請求項６】
上記制御手段は、上記位置検出手段で検出した移動する上記曲面の位置を予測し、予測された位置に対応する映像を生成することを特徴とする請求項１記載の映像投射装置。
【請求項７】
上記制御手段は、上記位置検出手段で検出した移動する上記曲面の位置に基づいて、カルマンフィルタを用いて上記曲面の姿勢及び／又は位置予測を行うことを特徴とする請求項１記載の映像投射装置。
【請求項８】
上記制御手段で作成する映像は、人間の表情であることを特徴とする請求項１記載の映像投射装置。
【請求項９】
上記制御手段で作成する人間の表情が制御される制御信号が入力される入力手段をさらに有することを特徴とする請求項８記載の映像投射装置。
【請求項１０】
移動する３次元の曲面に対して映像を投射する映像投射方法であって、
上記曲面の位置を検出し、
上記曲面の位置を検出する位置検出手段と上記映像を投影する投射手段との幾何学的な位置関係を表すホモグラフィー行列における上記位置検出手段と上記投射手段と位置関係を較正し、
上記較正されたホモグラフィー行列に基づき、上記位置検出手段で検出された曲面の位置値を上記投射手段に対応する位置値に変換し、
上記曲面に投射する映像を作成し、上記変換された位置値に基づいて、作成した映像を上記曲面に投射する
ことを特徴とする映像投射方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元の曲面に映像を投射する映像投射装置及び方法に関する。
【０００２】
【従来の技術】
従来、例えばいわゆるオーバヘッドプロジェクタのように、固定された平面の対象に対して、静止した映像を投射する映像投射装置が提供されている。また、例えばフィルム投射装置のように、固定された平面の対象に対して、動画の映像を投射する映像投射装置が提供されている。
【０００３】
【発明が解決しようとする課題】
このように、従来の映像投射装置は、静止した平面の対象に対して映像を投射するものであった。このため、従来の映像投射装置の応用範囲は、限られたものであった。
【０００４】
本発明は、上述の課題を解決するために提案がなされるものであって、固定した平面以外の対象に対しても映像を投射することができるような映像投射装置及び方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る映像投射装置は、移動する３次元の曲面に対して映像を投射する映像投射装置であって、上記曲面の位置を検出する位置検出手段と、上記曲面に映像を投射する投射手段と、上記位置検出手段と上記投射手段との幾何学的な位置関係を表すホモグラフィー行列における上記位置検出手段と上記投射手段と位置関係を較正する較正手段と、上記較正手段で較正されたホモグラフィー行列に基づき、上記位置検出手段で検出された曲面の位置値を上記投射手段に対応する位置値に変換する位置変換手段と、上記曲面に投射する映像を作成し、上記位置変換手段で変換された位置値に基づいて、作成した映像を上記投射手段で上記曲面に投射するように制御する制御手段とを有するものである。
【０００６】
本発明に係る映像投射方法は、移動する３次元の曲面に対して映像を投射する映像投射方法であって、上記曲面の位置を検出し、上記曲面の位置を検出する位置検出手段と上記映像を投影する投射手段との幾何学的な位置関係を表すホモグラフィー行列における上記位置検出手段と上記投射手段と位置関係を較正し、上記較正されたホモグラフィー行列に基づき、上記位置検出手段で検出された曲面の位置値を上記投射手段に対応する位置値に変換し、上記曲面に投射する映像を作成し、上記変換された位置値に基づいて、作成した映像を上記曲面に投射するものである。
【０００８】
【発明の実施の形態】
以下、本発明を適用した映像投射装置の実施の形態について、図面を参照して説明する。
【０００９】
本実施の形態の映像投射装置は、図１に示すように、映像を投射する対象の曲面（surface）の位置や向きなどを検出するための撮像手段として用いられるカメラ１と、カメラ１からの撮像信号に基づいて投射しようとする映像に処理を施すコンピュータ３と、コンピュータ３からの映像を対象の曲面に投射するプロジェクタ２とを有する。
【００１０】
本実施の形態の映像投射装置は、例えば図２に示すような態様にて使用される。本実施の形態では、映像を投射する対象である曲面は、人１０が装着した仮面１１を想定している。仮面１１はプロジェクタ２から投射されたイメージを映し出すように例えば白い色であることが望ましいが、これに限られるものではない。図中では、対象の人１０と所定の距離だけ離れて、机１０１の上にカメラ１、プロジェクタ２及びコンピュータ３からなる映像投射装置が設置されている。
【００１１】
映像投射装置においては、カメラ１は、人１０が頭部に装着した仮面１１を撮像して映像信号を出力する。コンピュータ２は、カメラ１からの映像信号から仮面１１の姿勢（attitude）や位置を検出し、仮面１１の位置に基づいての顔の映像を作成する。プロジェクタ２は、コンピュータ３が作成した顔の映像を仮面１１に投射する。人１０は、表情制御信号入力装置１２によって仮面に投射される顔の映像の表情などを制御することができる。
【００１２】
図２では、表情制御信号入力装置１２には、リモートコントローラのような装置が描かれているが、もちろん表情制御信号入力装置１２は、直接コンピュータ３に結合されていてもよい。例えばキーボードのようなものも、この表情制御信号入力装置１２として使用することは可能である。
【００１３】
図１の映像投射装置を構成するカメラ１は、３次元の曲面である仮面１１から入射する映像を２次元の映像フレームにて検出するものである。カメラ１としては、例えば、撮像素子として複数の電荷結合素子（charge coupled device; CCD）を２次元方向に配列してなる、いわゆるＣＣＤ撮像素子を利用することができる。カメラ１は、例えばＮＴＳＣ（national television system commitee）方式よる映像信号を出力する。
【００１４】
コンピュータ３は、仮面１１上のマーカーの位置を検出して仮面１１を追跡するマーカー追跡部３１と、仮面１１の方向や位置などの姿勢及び／又は位置を予測する姿勢／位置予測部３２と、姿勢／位置予測部３２において予測された姿勢及び／又は位置に基づいて映像を作成する映像作成部３３と、表情制御入力装置１２から送られた制御信号に応じて映像作成部３３にパラメータを出力するパラメータ出力部３４とを有している。
【００１５】
コンピュータ３としては、例えばいわゆるパーソナルコンピュータを利用することができる。この場合は、マーカー追跡部３１、姿勢／位置予測部３２、映像作成部３３及びパラメータ出力部３４の各部分は、コンピュータ３上で実行されるプログラムの機能ブロックとして実現される。
【００１６】
プロジェクタ２は、コンピュータ１からの映像を、３次元の曲面である仮面１１に投射するものである。プロジェクタ２としては、例えば、陰極線管（cathode ray tube）及び対物レンズを有してなるいわゆるビデオプロジェクタを利用することができる。
【００１７】
表情制御入力装置１２は、ユーザにより仮面１１に投射される顔の表情を制御する制御信号が入力され、入力された信号をコンピュータ３に送信するものである。表情制御入力装置１２は、入力された制御信号を例えば赤外線に変調してコンピュータ３に送信する。
【００１８】
続いて、上述した映像投射装置を、複数のコンピュータがネットワークにより接続されてなるいわゆる分散処理系において実現した具体例を、図３を参照して説明する。なお、簡単のために、この具体例においては、図１に示した映像投射装置に対応する部分については、同一の符号を付することにする。
【００１９】
図３は、この分散処理系の一部を示すものである。図中では、ネットワーク１０には、第ｉのコンピュータ３i及び第ｊのコンピュータ３jが接続されている。
【００２０】
ネットワーク１０は、例えばいわゆるＬＡＮ（local area network）であり、具体的には例えばいわゆるイーサネット（ether net）により構成することができる。
【００２１】
ネットワーク１０に接続されたコンピュータの内で、第ｉのコンピュータ３iは、映像投射装置として用いられる。第ｉのコンピュータ３iは、中央処理部４、ＲＯＭ５及びＲＡＭ６をそれぞれ備えている。コンピュータ３iとしては、例えば自立型のパーソナルコンピュータを用いることができる。
【００２２】
映像投射装置として用いられる第ｉのコンピュータ３iは、ネットワーク１０に通信装置２３を介して接続されると共に、カメラ１、プロジェクタ２、入力装置１２及び受信装置２２が接続されている。
【００２３】
通信装置２３は、第ｉのコンピュータ３iとネットワーク１０の間でのデータの送受を調整する。この通信装置２３には、例えばネットワークインターフェース装置が用いられる。例えば、ネットワーク１０としていわゆるイーサネットが用いられるときには、通信装置２３としてはいわゆるイーサネットコントローラが用いられる。
【００２４】
入力装置１２としては、例えばキーボードが用いられ、第ｉのコンピュータ３iに対してユーザによりデータが入力される。
【００２５】
受信装置２２は、リモートコントローラ２１から送られた信号を受信して第ｉのコンピュータ３iに送る。受信装置２２は、リモートコントローラ２１から赤外線により送られた信号を検出する光検出部を有し、この光検出部で検出した信号を復調して第ｉのコンピュータ３iに送る。この受信装置２２としては、例えばパラレルインターフェース装置が用いられる。
【００２６】
また、第ｉのコンピュータ３iには、例えばハードディスクドライブのような外部記憶装置７と、例えばいわゆるＣＤ−ＲＯＭドライブのような可搬記憶装置８とが接続されている。
【００２７】
外部記憶装置８は、大容量の記憶装置であり、例えばカメラ１により撮像された映像データが記憶される。可搬記憶装置８は、可搬媒体にデータを記憶するものである。可搬媒体には、例えば、第ｉのコンピュータ３iを映像投射装置として利用するために必要な制御プログラムが記憶される。
【００２８】
第ｉのコンピュータ３iが映像投射装置として利用される際には、ＲＡＭ６上にこの第ｉのコンピュータ３iを映像投射装置として制御するための制御プログラムが読み込まれる。ＣＰＵ４は、この制御プログラムを実行することにより、第ｉのコンピュータ３iを映像投射装置として動作させる。
【００２９】
第ｉのコンピュータ３iにおいては、図１に示した映像投射装置におけるマーカー追跡部３１、姿勢／位置予測部３２、映像作成部３３及びパラメータ出力部３４は、ＣＰＵ４により実行される制御プログラムの機能ブロックに対応している。
【００３０】
また、第ｉのコンピュータ３iにおいては、図１に示した映像投射装置における表情制御入力装置１２は、リモートコントローラ２１又は入力装置１２により実現される。すなわち、第ｉのコンピュータ３iにおいては、表情を制御するための制御信号は、リモートコントローラ２１により遠隔入力されたり、第ｉのコンピュータ３iに接続された例えばキーボードのような入力装置１２に入力されたりする。
【００３１】
なお、この具体例においては、画像作成などの映像投射に関する処理は、カメラ１及びプロジェクタ２が接続された第ｉのコンピュータ３iにて実行している。しかし、このような処理は、カメラ１及びプロジェクタ２が接続された第ｉのコンピュータ３iで実行する必要は必ずしもない。例えば、第ｉのコンピュータ３iにネットワーク１０を介して接続された第ｊのコンピュータ３jにおいて実行することもできる。
【００３２】
映像投射装置のプロジェクタ２からは、人１０が装着した仮面１１に対して映像が投射される。仮面１１を装着した人１０は、自由に移動するので、仮面１１の位置も移動する。このため、移動する仮面１１を検出する処理が必要になる。映像投射装置のコンピュータ３における、この仮面１１の検出の処理について説明する。
【００３３】
コンピュータ３は、図４に示すように、カメラ１にて撮像した仮面１１の映像からその位置を検出し、コンピュータ３にて上記位置に基づいて映像を作成し、プロジェクタ２にて作成した映像を、その位置の仮面１１に投射する。
【００３４】
仮面１１の位置の追跡の方法としては、雑音及びデジタル化過程の連続性に非常に敏感な特徴点検出のためのアルゴリズムを用いる代わりに、本実施の形態においては、マーカー位置検出を用いており、マーカーとして赤外線ＬＥＤを採用している。なお、マーカーとしては、他に赤外塗料や物理的マーカーを用いてもよい。
【００３５】
このために、図４における仮面１１には、図５に示すように、位置を検出するために、赤外線発光ダイオード（light emitting diode; LED）による第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３が取り付けられている。第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３は、仮面１１を装着した人１０が首を傾けるような通常の動作によっては、重なることがないように配置されている。コンピュータ３のマーカー追跡部３１は、第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３を追跡し、仮面１１の位置を検出する。
【００３６】
第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３は、赤外線以外の光を除く赤外線フィルタをカメラ１１に取り付けることによって、撮像された映像において容易に認識される。仮面１１が移動しているため、赤外線フィルタを取り付けたカメラ１によって撮像された映像において、第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３は、画素が集まったクラスタ（団塊、集団）として現れる。
【００３７】
マーカー追跡部３１は、最初に第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に対応するピクセルクラスタ（画素の集団）を検出する。そして、マーカー追跡部３１は、各ピクセルクラスタについて、ピクセルクラスタの中心となる点である「光源点（source point）」を検出する。マーカー追跡部３１は、光源点の検出を実時間で実行する。また、各光源点にはラベルが付される。
【００３８】
マーカー追跡部３１は、以上のように検出された光源点を最終的には既知のパターンに適合させることにより、仮面１１の位置を検出する。仮面は自由に回転するので、回転により位置や向きが変化する光源点を相互に識別するために、各光源点にはそれぞれの光源点を示すラベルが付される。上記パターンは、光源点が容易にラベルを付されるように曖昧にならないものが選択され、記憶装置に記憶される。
【００３９】
図５に示した四角形の仮面１１には、投射される人の顔を基準として、顔の上部の辺の右端に第１のマーカー１２ａ、顔の上部の辺に対向する辺である顔の下部の辺の右端に第２のマーカー１２ｂ、上記下部の辺の左端に第３のマーカー１２ｃ、上記上部の辺の右端に第４のマーカー１２ｄ、及び上記上辺の中央に第５のマーカー１３が取り付けられている。
【００４０】
後述するように、仮面１１の３次元空間内の位置の検出のためには、４個のマーカー、すなわち第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ及び第４のマーカー１２ｄで十分である。
【００４１】
第５のマーカー１３は、第１のマーカー１２ａ及び第２のマーカー１２ｄと同じ直線上に位置する共線（collinear）点として配置されているので、この第５のマーカーによりラベル付けの曖昧さが除かれている。すなわち、第５のマーカー１３は、第１のマーカー１２ａ及び第４のマーカー１２ｄにて張る直線上にあり、第１のマーカー１２ａ及び第４のマーカー１２ｄにて挟まれているので、容易に識別される。
【００４２】
姿勢／位置予測部３２は、マーカー追跡部３１で検出された仮面１１の位置に基づいて、仮面１１の姿勢及び／又は位置を予測する。この姿勢／位置予測部３２は、仮面１１の動きによる「シフト効果」の影響を低減するものである。
【００４３】
ここで、シフト効果とは、カメラ１における映像の撮像が離散的な時刻に行われるため、時刻ｔに撮像された映像Ｃ（ｔ）に基づいて作成された映像を投射するのは時刻ｔ＋Δｔとなるが、仮面の動きのために、時刻ｔでの仮面位置と時刻ｔ＋Δｔでの仮面位置とは異なってしまい、プロジェクタ２から投射される映像が仮面１１に対してずれたものとなるものである。
【００４４】
このために、マーカー追跡部３１にて検出された仮面１１の位置や、この仮面１１の位置に対応して作成される投射する映像の位置に誤差が生じることになる。
【００４５】
姿勢／位置予測部３２行われた姿勢及び／又は位置の予測に対してノイズ除去の処理が行われる。このノイズ除去の処理には、ノイズフィルタが用いられる。
【００４６】
このノイズフィルタとしては、自乗平均値の平方根（root mean square; rms）規範に基づく最適フィルタであるカルマン（Kalman）フィルタを用いることができる。
【００４７】
カルマンフィルタは、ガウス型誤差を有する線形又はほぼ線形の系において、正確でないデータを最適に使用し、系の現在状態の最良評価を連続的に更新するものである。また、非線型の系に対しては、カルマンフィルタを拡張した拡張カルマンフィルタが用いられる。本発明においては、発明が解決しようとする課題の性質上、後者が用いられる。
【００４８】
映像投射装置の映像作成部３３は、姿勢／位置予測部３２で姿勢及び／又は位置が予測された結果に基づいて、プロジェクタ２から仮面１１に投射する顔の映像を作成する。このために必要となる投射される映像の位置は、ホモグラフィーを用いて算出されるが、これについては較正に関連して後に詳細に説明する。
【００４９】
３次元の曲面である仮面１１に投射する仮面の映像は、２次元の平面に投射する映像より注意深く作成する必要がある。これは、計算上の仮想的な仮面における隠れるべき面である隠面が、物理的な仮面１１に現れてはならないからである。このためには、仮面の３次元座標を求めて、上記隠面が仮面１１に投射されないようにする必要がある。映像の品質は、スプラッティング（splatting）やディゴースティング（deghosting）のような通常の技術によって改善される。
【００５０】
映像作成部３３は、例えば、感情表現や、発声に対する口唇の動きの同期や、表情や、性格などに応じて顔の映像を作成する。これは、例えば仮面１１を装着して使用するユーザである俳優の表現能力を高めるものである。映像作成部３３は、仮面１１に投射する顔の映像を、仮面１１を装着するユーザや、時間の経過や、仮面１１に投射された映像を見た観客の反応などに応じて変化させる。
【００５１】
仮面１１に投射するために作成される顔の映像においては、ユーザの発声に顔の口唇の開閉が同期して動くするようになされている。口唇の動きは、ユーザの発声に基づいて、口唇の動きを予測することに行われる。具体的には、母音は一般に口唇の大きな動きをもって発声されることを用いて、母音に基づいて口唇の動きが予測される。このような口唇の動きの予測は、母音と口唇の動きとの関係を学習されたニューラルネットワークによって行われる。このような技術は、例えば、Shigeo Morishima, Fumio Kawakami, Hiroshi Yamada, and Hiroshi Harashima. A modeling of facial expression and emotion for recognition and synthesis. In Proceedings of the Sixth International Conference on Human-Computer Interacion, volume I. Human and Future Computing of I.8 Nonverbal Communication, pages 251-256, 1997. に開示されている。
【００５２】
映像作成装置３３には、パラメータ出力部３４を介して、ユーザが操作する表情制御入力装置からの制御信号が入力している。映像作成部３３は、パラメータ出力部３４から入力されるパラメータに応じて、作成する顔の映像を変化させる。例えば、仮面１１を装着した俳優のユーザが演劇を演じている場合には、表情入力制御装置１２に対する入力操作により、仮面１１に投射される顔の映像の表情を演技に応じて変化させることができる。 例えば、俳優は観客と対話しながら、その対話に応じて仮面１１に投射される顔の表情を変化させることができる。
【００５３】
映像投射装置のパラメータ出力部３４は、表情制御入力装置１２から送られた顔の映像の表情を制御する制御信号を受信し、受信した内容をパラメータとして映像作成部３３に出力する。パラメータ出力部３３は、例えば表情制御入力装置１２から赤外線通信により送られた制御信号を復調し、所定のパラメータとして出力する。
【００５４】
次に、３次元の曲面である仮面１１の映像を撮像するカメラ１と、仮面１１に対して映像を投射するプロジェクタ２の位置関係の較正について、図６を参照して説明する。
【００５５】
プロジェクタ２は光の伝播方向が逆のカメラ１とみなせることに注意すると、カメラ１とプロジェクタ２とから観測された点と点と位置関係は、カメラ１及びプロジェクタ２に関して同等な関係を有するものとみなすことができる。
【００５６】
従って、カメラ１及びプロジェクタ２の間の関係は、ホモグラフィー(homography)又は共線(collnear)による幾何学的な問題として取り扱うことができるようになる。
【００５７】
ホモグラフィー又は共線とは、射影空間（projective space）において入射関係（incidence relation）と直線性(straightness of lines)を保存するような線形関係を定義するものであって、３行３列の行列として表現することができる。
【００５８】
本実施の形態においては、カメラ１とプロジェクタ２の幾何学的な位置関係は、全ての内在的（intrinsic）及び外在的（extrinsic）なパラメータをそのまま計算することなく、陰に較正される。これにより、パラメータをそのまま計算する場合に生じる弊害である、膨大な計算量や誤りの発生を回避することができる。
【００５９】
位置関係の較正は、静的な場合には、カメラ１にて撮像した映像と、プロジェクタ２から投射する映像とにおいて、３次元空間内の４個の点の射影が一致する必要がある。カメラ１にて撮像した映像と、プロジェクタ２から投射する映像との間で、対応する点の対が４個よりも多い場合には、適合する点の最小自乗によりホモグラフィーを適合させることができる。
【００６０】
ホモグラフィーの関係は、プロジェクタ２の映像の点ｐ1が、カメラ１の映像の映像の点ｐ2に、次のように対応することを意味する。
【００６１】
【数１】
0003978938.tif 000002
【００６２】
ここで、同次座量（homogeneous coordinates）によると、
ｐ1〜（ｘ1／ｚ1，ｙ1／ｚ1）
また、
ｐ2〜（ｘ2／ｚ2，ｙ2／ｚ2）
である。
【００６３】
実際には、位置関係の較正は、仮面１１に投射された既知の固定パターン（仮面の映像）を、仮面１１に描かれた対応する実のパターン（仮面自身）に手動で一致させなければならないことを意味する。
【００６４】
例えば、映像投射装置は、上記仮面１１に対応する図５に示したスクリーン１４に取り付けられた第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３を基準のパターンとして、カメラ１及びプロジェクタ２に対するスクリーン１４の位置が調整される。この較正の手順を、図７を参照して説明する。
【００６５】
最初のステップＳ１１においては、プロジェクタ２は、上記仮面１１の第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３にそれぞれ対応する、基準パターンを構成する第１の光源点、第２の光源点、第３の光源点、第４の光源点および第５の光源点をスクリーン１４に投射する。
【００６６】
ステップＳ１２においては、プロジェクタ２は、第１から第５の光源点が、スクリーン１４上に描かれた上記仮面１１の第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に対応する位置に一致するように、仮面１１に相当するスクリーン１４の位置が調整される。
【００６７】
なお、ここでは、スクリーン１４（仮面１１）を動かして光源点とマーカーとを一致させる例を示したが、スクリーン１４（仮面１１）を固定してプロジェクタ２を動かすことにより一致させるようにしても、両者を動かしてもよい。
【００６８】
この調整は、プロジェクタ２から投射された第１から第５の光源点が、スクリーン１４（仮面１１）の第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に重なるようにユーザが目視により調整することにより行われる。対応する第１から第５の光源点と、上記仮面１１の第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３とが重なったことを確認したユーザは、映像投射装置に設けられた「較正ボタン」を押圧することにより、位置関係の較正が行われた旨を入力する。なお「較正ボタン」は、キーボードなどの入力キーによって実現してもよい。
【００６９】
ステップＳ１３においては、スクリーン１４の位置が調整されると、カメラ１にて撮像される第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に対応する点ｃと、プロジェクタ２から投射される第１から第５の光源点に対応する点ｐと間にホモグラフィーが確立される。すなわち、３行３列のホモグラフィーを表現する行列Ｈが算出される。算出された行列は、以降で参照されるので、コンピュータ３内のメモリに保存される。
【００７０】
カメラ１にて撮像される点ｃ及びプロジェクタ２から投射される点ｐは、それぞれ第１のフレーム２１及び第２のフレーム２２における射影の位置として与えられる。これら第１のフレーム２１及び第２のフレームにおいては、点ｃ及び点ｐは、例えば、カメラ１の撮像素子やプロジェクタ２の画像素子における位置として表現される。
【００７１】
較正の操作が一旦終了すると、図８に示すように、映像投射装置は、カメラ１にて撮像した仮面１１の映像と、プロジェクタ２にて投射する仮面の映像との間の幾何学的な対応関係を用いることができる。すなわち、映像投射装置は、カメラ１にて撮像したスクリーン１４（仮面１１）の位置に基づいて映像を作成し、作成した映像をスクリーン１４（仮面１１）に対応する位置にプロジェクタ２にて投射することができる。
【００７２】
続いて、画像投射装置の動作について、図９を参照して説明する。画像投射装置においては、実際には、移動する曲面である仮面１１に対して画像の投射が行われるが、ここでは図６を参照して示した較正の操作との対照のために、較正に用いたのと同一のスクリーン１４を用いることにする。
【００７３】
最初のステップＳ２１においては、３次元の曲面である仮面１１の映像を撮像するカメラ１と、仮面１１に対して映像を投射するプロジェクタ２の位置関係が較正される。このステップＳ２１においては、上述した較正の処理を実行する。
【００７４】
ステップＳ２２においては、カメラ１は、スクリーン１４（仮面１１）の第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３を含む映像を撮像する。
【００７５】
ステップＳ２３においては、コンピュータ３のマーカー追跡部３１は、マーカー位置を予測する。すなわち、図１０に示すように、マーカー追跡部３１は、ステップＳ３１において、スクリーン１４（仮面１１）の第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に対応する点ｃ（ｔ）の位置を観測して検出する。これは、上述したように、点ｃ（ｔ）を表示するピクセルクラスタから、その中心となる光源点を検出することにより行われる。
【００７６】
このように検出された点ｃ（ｔ）の観測値ｃ~（ｔ）は、上述したホモグラフィーを表現する行列Ｈにより、プロジェクタ２に対応する観測値ｐ~（ｔ）に変換される。点ｐ（ｔ）の観測値ｐ~（ｔ）は、ノイズを含んでいる。ここで、記号“~”は、その値が観測値であることを示すものである。
【００７７】
上述したホモグラフィーの行列Ｈによって、時刻ｔにおけるカメラ１が撮像した第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に対応する点ｃ（ｔ）には、プロジェクタ２が投射する第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に対応する点ｐ（ｔ）が対応することになる。上記変換は、この対応関係によるものである。
【００７８】
ステップＳ３２においては、ステップＳ３１において得た点ｐ（ｔ）の観測値ｐ~（ｔ）に基づいて、２次元カルマンフィルタによる計算によりノイズが除去されることにより、観測値ｐ~（ｔ）に基づいて１サイクル進んだ時刻ｔ＋１における予測値ｐ（ｔ＋１）が予測される。これは、後述するステップＳ２６における映像の作成及びステップＳ２７における映像の投射に対応するために、時刻を１だけ進めたものである。そして、このステップＳ３２を終えると、処理はステップＳ２３に戻る。
【００７９】
このステップＳ３２における２次元カルマンフィルタの計算は、２次元平面内の点の位置を表す観測値ｍ~i（ｔ）（ｉ＝１，２，・・・，５）を２次元カルマンフィルタで処理することにより、ノイズを除去した値ｍi（ｔ）を得るものである。ここで、観測値ｍ~i（ｔ）はｐ~（ｔ）に対応し、ノイズを除去した値はｐ（ｔ）に対応している。
【００８０】
ステップＳ２４においては、コンピュータ３の姿勢／位置予測部３２は、時刻ｔ＋１における予測値ｐ（ｔ＋１）に基づいて、２次元情報から３次元情報を作成する。
【００８１】
上述したように、カメラ１から送られた２次元平面内での位置から、３次元空間内での位置を求めるためには、４個以上の点が必要である。本実施の形態では第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３という５個の点がスクリーン１４（仮面１１）上に設けられているので、その２次元平面内の位置から３次元空間内での位置を求めることができる。
【００８２】
なお、ここではカメラ１にて撮像した点ｃ（ｔ）からホモグラフィーにより変換したプロジェクタ２に対応する点ｐ（ｔ）について処理を行っているが、２次元情報から３次元情報を作成する処理は同様である。
【００８３】
ステップＳ２５においては、コンピュータ３の位置／姿勢予測部３２は、ステップＳ２４で求められた３次元情報に基づいて、仮面１１の姿勢及び／又は位置を予測する。
【００８４】
すなわち、図１１に示すように、ステップＳ４１において、位置／姿勢予測部３２は、ステップＳ２４からの３次元情報に基づいて得られた仮面１１の姿勢及び／又は位置を表す（Ｔ~，Ｒ~）を用い、３次元カルマンフィルタにより位置及び姿勢の予測を行う。ここで、Ｔ~は変換ベクトルであり、Ｒ~は回転行列であって、基準となる座標系に対する仮面１１の姿勢及び／又は位置を示す座標系を変換及び回転によって表すものである。
【００８５】
そして、ステップＳ４１においては、３次元カルマンフィルタの計算により、仮面の姿勢及び／又は位置を表す予測値（Ｔ，Ｒ）が得られる。このステップＳ４１における処理を終えると、処理はステップＳ２５に戻る。
【００８６】
ステップＳ２６においては、コンピュータ３の映像作成部３３は、姿勢／位置予測部３２にて予測された第１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に対応する点ｐ（ｔ＋１）の位置に基づいて、映像を作成する。
【００８７】
ステップＳ２７においては、プロジェクタ２は、ステップＳ２６にて作成した映像をスクリーン１４に投射する。
【００８８】
このような一連のステップにより、移動する曲面である仮面１１に対して、この仮面１１の姿勢及び／又は位置予測された位置に応じて作成された映像を投射することができる。
【００８９】
次に、本発明の他の実施の形態について、図１２を参照して説明する。この他の実施の形態は、映像投射装置を移動させて利用する例を示すものである。
【００９０】
他の実施の形態においては、映像投射装置は、手押し車１０２の内部に配置されている。手押し車１０２の内部に配置された画像投射装置は、カメラ１、プロジェクタ２、コンピュータ３及び表情制御入力装置１２から構成されている。画像投射装置を構成する各部については、上述の実施の形態と同様であるので、ここでの説明を省略する。
【００９１】
手押し車１０２は、ユーザである人１０によりその一端を押されて移動される。手押し車１０２の内部に配設されたカメラ１及びプロジェクタ２は、人１０の頭部の方向をそれぞれ撮像方向及び投射方向としている。人１０は、頭部に仮面１１を装着している。プロジェクタ２から投射された映像は人１０の仮面１１に投射され、仮面１１はカメラ１によって撮像される。人１０の仮面１１には、顔の表情の映像が投射される。
【００９２】
人１０が手押し車１０２を押す持ち手の部分には、仮面１１に投射される表情を制御する制御信号が入力される表情制御入力装置１２が備えられている。人１０は、表情制御入力装置１２を操作することにより、手押し車１０２を移動させつつ、その仮面に投射される表情を制御することができる。
【００９３】
他の実施の形態は、次のような演劇に適用することができる。手押し車１０２を、枕カバーやシーツなどのリネンを運ぶリネンカートに擬し、モーテールのメイドに扮した俳優が演じる。俳優が頭部に装着した仮面１１に投射される顔の表情は、話の調子、物語の内容、観客との対話によって変化する。
【００９４】
以上説明した実施の形態の映像投射装置は、動画の顔の映像を、例えば俳優であるユーザが装着した物理的な仮面に投射するものである。舞台のような所定の領域で仮面１１が動くにつれて、その位置と方向はカメラ１によって検知され、投射された映像も仮面１１とともに移動する。仮面１１の向きなどの姿勢が変化すると、投射された映像は観衆の視点を基準として変化する。仮面１１に投射された顔の唇は、ユーザの声に実時間で自動的に同期される。また、ユーザは、顔の表情を制御することができる。
【００９５】
なお、本実施の形態においては、マーカーとして赤外線ＬＥＤを例示したが、本発明は、これに限定されない。マーカーには、例えば、赤外線塗料、磁性体のような物理的なマーカーも利用することができる。
【００９６】
また、上述の較正の操作においては、カメラ１及びプロジェクタ２に対する対称である仮面１１の位置を調整したが、本発明は、これに限定されない。例えば、カメラ１、プロジェクタ２、仮面１１の少なくとも２つや、これら全ての位置を調整することもできる。
【００９７】
【発明の効果】
上述のように、本発明によると、移動する曲面に対して映像を投射することができる。従って、例えば、俳優が装着した仮面に動画の顔の表情を投射することにより、物語を演じる新しい方法を提供することができる。すなわち、俳優が装着した仮面上に投射される顔の表情を所望の表情に制御することにより、俳優と観衆に投射した映像を対応させることができる。
【図面の簡単な説明】
【図１】映像投射装置の概略的な構成を示すブロック図である。
【図２】映像投射装置の使用状態の一例を示す図である。
【図３】映像投射装置の具体例を示すブロック図である。
【図４】映像投射装置にて仮面に映像を投射した状態を示す図である。
【図５】仮面に取り付けられたマーカーを示す図である。
【図６】映像投射装置の較正を説明する図である。
【図７】映像投射装置の構成の動作を示すフローチャートである。
【図８】映像投射装置におけるカルマンフィルタの使用を説明する図である。
【図９】映像投射装置における映像の投射のステップを示すフローチャートである。
【図１０】マーカー位置を予測するステップを示すフローチャートである。
【図１１】姿勢及び／又は位置を予測するステップを示すフローチャートである。
【図１２】映像投射装置の他の実施の形態を示す図である。
【符号の説明】
１  カメラ、２  プロジェクタ、３  コンピュータ、１１  仮面、１２  表情制御入力装置
【図１】
0003978938.tif 000003
【図２】
0003978938.tif 000004
【図３】
0003978938.tif 000005
【図４】
0003978938.tif 000006
【図５】
0003978938.tif 000007
【図６】
0003978938.tif 000008
【図７】
0003978938.tif 000009
【図８】
0003978938.tif 000010
【図９】
0003978938.tif 000011
【図１０】
0003978938.tif 000012
【図１１】
0003978938.tif 000013
【図１２】
0003978938.tif 000014