(57)【特許請求の範囲】
【請求項１】
装着者が装着した撮像装置で撮像された現実空間の撮像画像を入力する画像入力手段と、
計測された前記撮像装置の位置姿勢を入力する計測入力手段と、
前記装着者への通知データを入力する通知入力手段と、
前記計測された位置姿勢と予め記憶された現実空間での表示可能場所とに基づいて、該表示可能場所に相当する前記撮像画像内の画像位置を、前記通知データを表示する表示画像位置として決定する決定手段と、
前記撮像画像内の表示画像位置に、前記通知データを重畳する重畳手段と、
前記装着者に装着された表示装置に、前記通知データを重畳した前記撮像画像を表示する表示手段と
を有することを特徴とする画像合成装置。
【請求項２】
前記通知データは、予め決められたシナリオを含み、前記シナリオを、予め決められたタイムスタンプで進行させる進行手段を有することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記進行手段は、前記シナリオが開始されてからのタイムを計測する時間計測手段と、前記シナリオに含まれる複数の表示内容ごとに、順次表示するために指定されたタイムスタンプのタイムと、前記計測されたタイムとを比較する比較手段と、前記比較手段の比較の結果に基づいて、前記複数の表示内容の各々を表示するか否かを決定する表示決定手段とを有することを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記装着者の行動を認識する認識手段と、前記認識手段の認識結果に基づいて、前記通知データの重畳の停止若しくは開始を制御するスイッチ手段とを更に有することを特徴とする請求項１乃至３の何れか１項に記載の画像合成装置。
【請求項５】
前記決定手段は、前記撮像装置のパラメータを用いて、前記表示可能場所が前記撮像画像の何れの位置に相当するかを計算することを特徴とする請求項１乃至４の何れか１項に記載の画像合成装置。
【請求項６】
前記パラメータは、前記撮像装置の焦点距離であることを特徴とする請求項５に記載の画像合成装置。
【請求項７】
前記決定手段は、前記表示可能場所に相当する画像位置が、前記撮像画像の画面内にない場合に、当該画像位置に代えて、予め設定された位置を前記表示画像位置として決定することを特徴とする請求項１乃至６の何れか１項に記載の画像合成装置。
【請求項８】
前記通知データは、前記装着者以外の第三者がリアルタイムに入力した情報を含むことを特徴とする請求項１乃至７の何れか１項に記載の画像合成装置。
【請求項９】
前記通知データは、前記撮像装置とは異なる他の撮像装置で撮像された現実空間の他の撮像画像を含むことを特徴とする請求項１乃至８の何れか１項に記載の画像合成装置。
【請求項１０】
前記通知データに含まれる前記他の撮像画像は、前記装着者を撮像した画像であることを特徴とする請求項９に記載の画像合成装置。
【請求項１１】
画像合成装置における画像合成方法であって、
装着者が装着した撮像装置で撮像された現実空間の撮像画像を入力する画像入力工程と、
計測された前記撮像装置の位置姿勢を入力する計測入力工程と、
前記装着者への通知データを入力する通知入力工程と、
前記計測された位置姿勢と予め記憶された現実空間での表示可能場所とに基づいて、該表示可能場所に相当する前記撮像画像内の画像位置を、前記通知データを表示する表示画像位置として決定する決定工程と、
前記撮像画像内の表示画像位置に、前記通知データを重畳する重畳工程と、
前記装着者に装着された表示装置に、前記通知データを重畳した前記撮像画像を表示する表示工程と
を有することを特徴とする画像合成方法。
【請求項１２】
請求項１１に記載の画像合成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、実像に他の画像を重畳して表示する技術に関する。
【０００２】
【従来の技術】
従来から映画撮影やテレビ番組の撮影では、演技者は台本を暗記して演技を行っていた。また1シーンの撮影後に監督が演技者にそのシーンにおける指導を行い、演技者は自分を撮影した映像を見ながら指導を確認し、受けた指導を演技に反映させながら撮影を進めるという工程で撮影を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、台本を暗記することは演技者には負担であった。また、監督は1シーンの撮影後に指導をするために演技者は演技の最中に監督からの細かな指導を得られなかった。また、演技者を撮影している映像、すなわち、演技者の演技がどのようなものかを撮影中には知ることができなかった。
【０００４】
本発明の目的は、着用した表示装置に、実像に他の画像を重畳して見ることができるようにすることにある。
【０００５】
【課題を解決するための手段】
上記目的は、以下の構成によって達成される。
【０００６】
装着者が装着した撮像装置で撮像された現実空間の撮像画像を入力する画像入力手段と、計測された前記撮像装置の位置姿勢を入力する計測入力手段と、前記装着者への通知データを入力する通知入力手段と、前記計測された位置姿勢と予め記憶された現実空間での表示可能場所とに基づいて、該表示可能場所に相当する前記撮像画像内の画像位置を、前記通知データを表示する表示画像位置として決定する決定手段と、前記撮像画像内の表示画像位置に、前記通知データを重畳する重畳手段と、前記装着者に装着された表示装置に、前記通知データを重畳した前記撮像画像を表示する表示手段とを有することを特徴とする画像合成装置。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態にかかる画像合成装置を説明する。
【００１１】
図１は、本発明の実施の形態にかかる画像合成装置の利用例を示す図である。図２は、図１の利用例を示すブロック図である。図３は、図１及び図２におけるＨＭＤ（Head Mount Display）を示す斜視図であり、（Ａ）は、ＨＭＤを正面側から視た斜視図であり、（Ｂ）は、ＨＭＤを背面側から視た斜視図である。
【００１２】
１００は人間の頭部に着用されたＨＭＤ（Head Mount Display）、２００は３次元位置センサ本体、２１０は３次元位置センサ固定局、２２０は手位置センサ、３００は情報処理装置、４００はビデオカメラ、５００はビデオデッキ、６００は端末である。これらによって画像合成装置が構成される。
【００１３】
ＨＭＤ１００はビデオシースルー方式を採用した眼鏡型の画像表示装置である。このＨＭＤ１００は、右目カメラ１１０、左目カメラ１１１、ＨＭＤ内蔵位置センサ（３次元センサ移動局）１２０、右目ＬＣＤ（Liquid crystal display）１３０、左目ＬＣＤ１３１からなる。なお、ＨＭＤ１００はビデオシースルー方式のＨＭＤではなく、光学シースルー方式のＨＭＤとビデオカメラを組み合わせた方式を採用してもよい。
【００１４】
ＨＭＤ１００の右目カメラ１１０は情報処理装置３００のビデオキャプチャカード３２０に接続されており、左目カメラ１１１は情報処理装置３００のビデオキャプチャカード３２１に接続されている。また、右目ＬＣＤ１３０は情報処理装置３００のビデオカード３３０に接続されており、左目ＬＣＤ１３１は情報処理装置３００のビデオチャカード３３１に接続されている。ＬＣＤ１３０，１３１には、左目カメラ１１０及び右目カメラ１１１で撮影された実写映像と、例えば台本データやビデオカメラ４００からの映像が合成されて表示される（図４）。
【００１５】
ＨＭＤ１００に表示される映像は、情報処理装置３００によって作成される。情報処理装置３００は上記のシリアルＩ／Ｏ３１０、ビデオキャプチャカード３２０，３２１，３２２、ビデオボード３３０，３３１の他に、ＣＰＵ３０１、メモリ３０２、ＰＣＩブリッジ３０３、ハードディスクＩ／Ｆ３４０、ハードディスク３５０などから構成されている。
【００１６】
３次元位置センサは３次元位置センサ固定局２１０とＨＭＤに内蔵された３次元センサ移動局１２０からなる。３次元位置センサ本体２００は磁気により３次元位置センサ固定局２１０と３次元センサ移動局１２０との相対位置を測定する。位置情報はＸ，Ｙ，Ｚ，ＲＯＬＬ，ＰＩＴＣＨ，ＹＡＷの６自由度を有する。３次元位置センサ本体２００は、シリアルインターフェイスによって情報処理装置３００と通信を行う。３次元位置センサ固定局２１０の位置は事前に正確に測定してあり、３次元センサ移動局１２０の相対位置を知ることでＨＭＤの絶対位置(例えば、スタジオの中心を原点とする)を知ることができる。
【００１７】
３次元センサ移動局１２０は、３次元位置センサ本体２００に接続されている。この３次元位置センサ本体２００には３次元位置センサ固定局２１０が接続されており、さらに、ＨＭＤ１００を着用した者の手に着用する手位置センサ２２０が接続されている。３次元位置センサ本体２００は更に、情報処理装置３００のシリアルＩ／Ｏ３１０に接続されている。これらのセンサによって、ＨＭＤ１００を着用した着用者の姿勢及びＨＭＤ１００の位置の双方が測定される。
【００１８】
本実施例では固定局と位置センサに分離した磁気位置センサとを使用するが、ＨＭＤの位置を測定できるものならばジャイロを使用した位置センサを使用することも可能である。端末６００は、スタッフからの指示や、撮影開始、停止の指示に使用する。
【００１９】
次に、情報処理装置３００で動作するプログラムの構成を説明する。なお、ＨＭＤ１００は、映画撮影やテレビ番組の撮影のリハーサルにおいて、演技者が着用しているものとして説明する。
【００２０】
図５は、図２における情報処理装置３００で動作するプログラムの構成を示す模式図である。プログラムはＨＭＤ表示スレッド１０００、端末管理スレッド２０００、台本管理スレッド３０００、ジェスチャ認識スレッド４０００により構成される。スレッド間のデータの受け渡しは、指示バッファ２００１、台本バッファ３００２、表示モードフラグ４００１を通じて行われる。
【００２１】
ＨＭＤ表示スレッド１０００は、右目カメラ１１０及び左目カメラ１１１からキャプチャした映像をＬＣＤ１３０，１３１に表示する。その際、指示バッファ２００１に書き込まれたスタッフからの指示や、台本バッファ３００２に書き込まれた台本データを重畳する。
【００２２】
次に、ＨＭＤ表示スレッド１０００の処理を説明する。図６は、図５におけるＨＭＤ表示スレッド１０００の処理を示すフローチャートである。
【００２３】
なお、ＨＭＤ１００を着用する者の目に関する処理は左右の目に相違はなく、基本的に同じなので、ここでは右目の処理について説明する。
【００２４】
ビデオカメラ１００からの映像は、ビデオキャプチャカード３２０を通じて情報処理装置３００に取り込まれる（ステップＳ１００）。取り込んだ映像は、メモリ３０２上のビデオバッファに書き込む（ステップＳ１０１）。このビデオバッファは、作成途中の映像を格納するための作業領域である。取り込んだ実写映像を書き込むことで、実写映像を背景画像にできる。
【００２５】
ビデオカメラ４００の映像、台本、スタッフからの指示などの情報を表示する情報モードであるか否かを判別し、情報モードである場合は情報表示の処理を開始する（ステップＳ１０２）。
情報の表示位置を、演技者の邪魔にならない位置に決定する（ステップＳ１０３）。本実施例では、情報の表示位置が予め座標のわかっているテーブルに重なる位置であるので、他の演技者の姿を情報が隠蔽することはない。この情報の表示位置の決定方法については後述する。
【００２６】
ビデオカメラ４００の映像、台本データ３５０、端末６００からのスタッフからの指示取り込み（ステップＳ１０４）、取り込んだ情報をビデオバッファに書き込む（ステップＳ１０５）。ビデオバッファには、先にＨＭＤ１００からの映像が書き込まれているため、情報がスーパーインポーズされる形になる。
【００２７】
描画が終わると、ビデオバッファをビデオボード３３０上のフレームバッファに転送し、ＨＭＤ１００内のＬＣＤ１３０にビデオバッファの内容（映像）を表示（描画）する（ステップＳ１０６）。
【００２８】
次に、ステップＳ１０３による情報の表示位置の決定方法について述べる。
【００２９】
図７は、図６におけるステップＳ１０３の表示位置を決定する処理のフローチャートである。
【００３０】
３次元センサ本体２００からＨＭＤ１００の位置を取得する（ステップＳ２００）。ＨＭＤ１００の視点からの画像を得るため、ＨＭＤ１００の座標と予め測定しておいたカメラの焦点距離などのパラメータから、モデリング変換行列を作成してセットする（ステップＳ２０１）。
【００３１】
作成したモデリング変換行列により、既知であるテーブルの四隅の座標をＬＣＤ１３０の画面上の点に変換する（ステップＳ２０２）。これによりテーブルの四隅が、ＨＭＤ１００の画面内のどこに表示されるかがわかる。
【００３２】
四隅がすべて画面内に入っているか否かを判別する（ステップＳ２０３）。四隅がすべて画面内に入っている場合（ステップＳ２０３でＹＥＳ）は、四隅の中心を情報表示位置とする（ステップＳ２０４）。これにより情報はテーブルの上に表示される。四隅が画面内に入っていない場合（ステップＳ２０３でＮＯ）は、右下の予め決めておいた場所を情報表示の中心位置とする（ステップＳ２０５）。
【００３３】
本実施例では先に延べたように、予め座標のわかっているテーブルの上に情報を重畳して表示することで、演技者の視野を遮らないようにできる。テーブルの上に情報を表示することは本発明を制限するものではなく、例えば予め座標のわかっている壁の一部に情報を重畳して表示してもよい。
【００３４】
図５における端末管理スレッド２０００は、端末６００からの入力を処理し、端末６００を介したスタッフから演技者への指示を指示バッファ２００１に書き込むことを主に行う。また同時にスタッフが行う操作を台本管理スレッド３０００に伝える。
【００３５】
次に、端末管理スレッド２０００の処理を説明する。
【００３６】
図８は、図５における端末管理スレッド２０００の処理を示すフローチャートである。
【００３７】
端末管理スレッド２０００は通常、端末６００から入力があるのを待機している（ステップＳ３００）。
【００３８】
入力された文字列が撮影開始命令か否かを判別する（ステップＳ３０１）。撮影開始命令である場合には、台本出力スレッドを開始する（ステップＳ３０４）。ステップＳ３０１の判別の結果、入力された文字列が撮影開始命令でない場合には、撮影停止命令か否かを判別する（ステップＳ３０２）。入力された文字列が撮影停止命令の場合は、台本出力スレッドを停止する（ステップＳ３０５）。ステップＳ３０２の判別の結果、入力された文字列が撮影停止命令でない場合には、スタッフから演技者への指示であると見なして、指示バッファ２００１に文字列を書き込み（ステップＳ３０３）、その後、ステップＳ３００に戻る。
【００３９】
台本管理スレッド３０００は、ハードディスク３５０に格納された台本データを、台本データに格納されたタイムスタンプにしたがったタイミングで台本バッファ３００２に書き込む。台本データは、タイムスタンプと、そのときに表示する文字列の組とが並んだものとして格納されている。
【００４０】
次に、台本管理スレッド３０００の処理を説明する。
【００４１】
図９は、図５における台本管理スレッド３０００の処理を示すフローチャートである。
【００４２】
先ず、初期設定として、内部の撮影用時計３００１を０にリセットし、台本データのポインタを台本の先頭に戻す（ステップＳ４００）。
【００４３】
次に、台本データのポインタが指し示すデータ（次に表示すべき台本データ）をハードディスク３５０から読み込む（ステップＳ４０１）。撮影用時計３００１がポインタの指し示す台本データのタイムスタンプと同一になるまで待つ（ステップＳ４０２）。
【００４４】
次に、ポインタが指し示す台本データを台本バッファに書き込む（ステップＳ４０３）。台本データのポインタを進め（ステップＳ４０４）、ステップＳ４０１に戻って上記ステップを繰り返す。
【００４５】
図５におけるジェスチャ認識スレッド４０００は、３次元位置センサ本体２００を通じて得られる手位置センサ２２０の位置から、演技者のジェスチャ（手の位置及び姿勢）を認識する。ジェスチャを認識すると、表示モードフラグ４００１を１回ごとにＯＮ／ＯＦＦする。
【００４６】
本実施例では表示をＯＮ／ＯＦＦするジェスチャとして、手を１秒間に３回上下させる動作を選んだ。
【００４７】
図１０は、ジェスチャ認識スレッド４０００の状態の遷移を示す状態遷移図である。
【００４８】
ジェスチャ認識スレッド４０００は、通常、「待ち状態Ｓ５００」にある。このとき手の上げ下げの回数をカウントする内部カウンタをクリアしてゼロにしてある。手位置センサ２２０から上方向の加速を検出すると「上加速状態Ｓ５０１」に遷移する。
【００４９】
加速が停止すると「上加速停止状態Ｓ５０２」に遷移する。但し、遷移してから０．１秒以内に再度上方向の加速を検出した場合には「上加速状態Ｓ５０１」に戻る。
【００５０】
「上加速停止状態Ｓ５０２」に遷移してから、０．１秒の間に加速を検出しない場合には、単に手を上方向に移動しただけでジェスチャではないと判断して「待ち状態Ｓ５００」に遷移する。
【００５１】
「上加速停止状態Ｓ５０２」のときに、上方向の加速を検出した場合は、「上加速状態Ｓ５０１」に遷移する。このとき同時に、内部カウンタをインクリメントする。これは手を上げてから下げた場合に対応する。
【００５２】
「上加速停止状態Ｓ５０２」のときに、下方向の加速を検出した場合は、「下加速状態Ｓ５０３」に遷移する。加速が停止すると「下加速停止状態Ｓ５０４」に遷移する。但し、遷移してから０．１秒以内に再度下方向の加速を検出した場合には「下加速状態Ｓ５０３」に戻る。
【００５３】
「下加速停止状態Ｓ５０４」に遷移してから、０．１秒の間に加速を検出しない場合には、「待ち状態Ｓ５００」に遷移する。但し、カウンタ＝３の場合にはジェスチャを終了したと判断してイベントを発生させ、表示モードフラグ４００１の値（ＴＲＵＥ／ＦＡＬＳＥ）を反転させる。
【００５４】
ジェスチャ認識スレッド４０００は、以上の状態遷移図にしたがって処理を進め、イベントを検出する。
【００５５】
以上の処理を行うことで、演技者に各種情報を与えることができる。
【００５６】
これらの情報は、撮影背景の壁など、演技者の視野の邪魔にならない位置に表示する。
【００５７】
これにより演技者は、視線を大きく動かすことなくセリフ、監督からの指示、撮影した映像などを確認することができ、演技者の負担を軽減することが可能となる。
【００５８】
また、演技が終わってからでなければ確認できなかったカメラマンが撮影した映像をその場で見ながら演技を行うことができるようになる。
【００５９】
さらに、これらの情報を、演技者がジェスチャーにより消すことができるので、リハーサル時のみに情報を表示することが容易になる。
【００６０】
【発明の効果】
以上詳細に説明したように、本発明によれば、表示装置を着用したユーザは実像とこの実像に重畳した他の画像を見ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる画像合成装置の利用例を示す図である。
【図２】図１の利用例を示すブロック図である。
【図３】図１及び図２におけるＨＭＤ（Head Mount Display）を示す斜視図であり、（Ａ）は、ＨＭＤを正面側から視た斜視図であり、（Ｂ）は、ＨＭＤを背面側から視た斜視図である。
【図４】ＨＭＤに重畳して表示される映像の作成工程を示した図である。
【図５】図２における情報処理装置３００で動作するプログラムの構成を示す模式図である。
【図６】図５におけるＨＭＤ表示スレッド１０００の処理を示すフローチャートである。
【図７】図６におけるステップＳ１０３の表示位置を決定する処理のフローチャートである。
【図８】図５における端末管理スレッド２０００の処理を示すフローチャートである。
【図９】図５における台本管理スレッド３０００の処理を示すフローチャートである。
【図１０】ジェスチャ認識スレッド４０００の状態の遷移を示す状態遷移図である。
【符号の説明】
１００  ＨＭＤ
１１０  右目カメラ
１１１  左目カメラ
１２０  ＨＭＤ内蔵位置センサ
１３０  右目ＬＣＤ
１３１  左目ＬＣＤ
２００  ３次元位置センサ本体
２１０  ３次元位置センサ固定局
２２０  手位置センサ
３００  情報処理装置
【図１】
0004878083.tif 000002
【図２】
0004878083.tif 000003
【図３】
0004878083.tif 000004
【図４】
0004878083.tif 000005
【図５】
0004878083.tif 000006
【図６】
0004878083.tif 000007
【図７】
0004878083.tif 000008
【図８】
0004878083.tif 000009
【図９】
0004878083.tif 000010
【図１０】
0004878083.tif 000011