(57)【特許請求の範囲】
【請求項１】
実画像と仮想画像とを合成し、該合成画像を表示装置に表示させるための画像合成装置であって、
現実の実画像を撮影し、実画像を生成する実画像生成部と
コンピュータグラフィックス技術を用いて仮想画像を作成する仮想画像生成部と、
前記仮想画像の奥行き位置情報に基づき、前記実画像と前記仮想画像との差異が明瞭になるように前記実画像及び前記仮想画像に対する輝度比を設定する輝度比設定部と、
前記設定された輝度比に応じて前記実画像と前記仮想画像のそれぞれを変換し、合成する画像重ね合わせ混合部とを有することを特徴とする画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像合成装置に関し、特に、仮想画像と実画像とを合成して複合現実感を提示するための画像合成装置に関する。
【０００２】
【従来の技術】
従来より、人工現実感の生成制御技術によって生み出される仮想的な世界の画像または映像（以下、仮想画像と表記する）と現実の世界を写し出す、あるいは撮像された実画像または実映像（以下、実画像で統一して表記する）とを組合せた複合画像または複合映像（以下、複合画像で統一して表記する）を表示する複合現実感の提示技術が知られている。
【０００３】
この種の技術としては、ビデオオーバーレイ方式とシースルー方式が実現されている。ビデオオーバーレイ方式では、仮想画像のビデオ信号と実画像のビデオ信号とが単純にそのまま重ね合わされて画像表示装置に与えられ、画像表示装置に複合画像が表示される。
【０００５】
【発明が解決しようとする課題】
しかし、この方式では、複合画像において実画像と仮想画像との間のコントラストが明瞭でなく、実画像と仮想画像の判別がつきにくい場合が生じることがあった。つまり、作業内容などによってはユーザが実画像の方を明瞭に見たい場合と仮想画像の方を明瞭に見たい場合の両方の要求があるにもかかわらず、実画像と仮想画像のコントラストを明瞭にすることができず、実画像と仮想画像の判別がつきにくかった。
【０００６】
それゆえに、この発明の主たる目的は、実画像と仮想画像の判別がつきやすい画像合成装置を提供することである。
【０００７】
【課題を解決するための手段】
この発明に係る画像合成装置は、実画像と仮想画像とを合成し、該合成画像を表示装置に表示させるための画像合成装置であって、現実の実画像を撮影し、実画像を生成する実画像生成部とコンピュータグラフィックス技術を用いて仮想画像を作成する仮想画像生成部と、仮想画像の奥行き位置情報に基づき、実画像と仮想画像との差異が明瞭になるように実画像及び仮想画像に対する輝度比を設定する輝度比設定部と、設定された輝度比に応じて実画像と仮想画像のそれぞれを変換し、合成する画像重ね合わせ混合部とを備えたものである。
【００１２】
【発明の実施の形態】
図１は、この発明の一実施の形態による複合現実感提示システムの構成を示すブロック図である。
【００１３】
図１を参照して、この複合現実感提示システムは、実画像生成部１、仮想画像生成部４、画像重ね合わせ混合部７、画像表示装置８および制御部９を備える。実画像生成部１は、現実の実画像を実時間で撮影するためのカメラ２、または、現実の実画像を蓄積するためのビデオレコーダ３、あるいは、双方を含み、実画像を表示するための実画像信号φａを生成して画像重ね合わせ混合部７に与える。
【００１４】
仮想画像生成部４は、コンピュータ５（具体的にはパーソナルコンピュータ、またはグラフィックス用途のワークステーションからなる）およびダウンコンバータ６を含む。コンピュータ５は、コンピュータグラフィックス技術を用いて仮想画像を生成するために用いられるとともに、仮想画像に関する種々の情報を複合画像を生成する際に制御部９に与える。
【００１５】
ダウンコンバータ６は、コンピュータ５で生成された仮想画像を、実画像生成部１から出力される実画像信号φａと同じ周波数帯域の仮想画像信号φｂに変換して画像重ね合わせ混合部７に与える。
【００１６】
画像重ね合わせ混合部７は、制御部９から与えられる輝度比Ｋｙに従って、実画像信号φａと仮想画像信号φｂを重ね合わせ混合して複合画像信号φｃを生成する。詳しく説明すると、画像重ね合わせ混合部７は、図２に示すように、バッファアンプ１１〜１６，２０〜２２、ミキサ１７〜１９、Ｄ／Ａコンバータ２３、ＤＣアンプ２４，２７、手動調整部２５およびスイッチ２６を含む。
【００１７】
実画像信号φａに含まれる色信号Ｒａ，Ｇａ，Ｂａは、それぞれバッファアンプ１１〜１３を介してミキサ１７〜１８の一方入力ノード１７ａ〜１９ａに入力される。仮想画像信号φｂに含まれる色信号Ｒｂ，Ｇｂ，Ｂｂは、それぞれバッファアンプ１４〜１６を介してミキサ１７〜１８の他方入力ノード１７ｂ〜１９ｂに入力される。なお、輝度信号Ｙは、Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂとなる。
【００１８】
一方、Ｄ／Ａコンバータ２３は、制御部９から複数ビットのデジタルコードの形態で与えられる輝度比Ｋｙをアナログ電圧信号に変換する。手動調整部２５は、分圧抵抗を含み、電源電圧ＶＣＣを分圧して制御電圧Ｖｃを生成する。スイッチ２６が自動側にセットされている場合はＤ／Ａコンバータ２３の出力電圧がＤＣアンプ２４、スイッチ２６およびＤＣアンプ２７を介してミキサ１７〜１９の制御端子１７ｃ〜１９ｃに与えられる。スイッチ２６が手動側にセットされている場合は手動調整部２５の出力電圧Ｖｃがスイッチ２６およびＤＣアンプ２７を介してミキサ１７〜１９の制御端子１７ｃ〜１９ｃに与えられる。
【００１９】
ミキサ１７〜１９は、制御端子１７ｃ〜１９ｃに入力される制御電圧に応じたゲインＧＡとＧＢで、信号ＲａとＲｂ，ＧａとＧｂ，ＢａとＢｂをそれぞれ増幅し混合してバッファ２０〜２２に与える。ミキサ１７〜１９のゲインＧＡ，ＧＢは連動して変化し、図３に示すように、ゲインＧＡは輝度比Ｋｙが増大するに従って減少し、ゲインＧＢは輝度比Ｋｙが増大するに従って増大する。ゲインＧＡ，ＧＢは、ともに一定値Ｇｍｉｎよりも小さくならないように設定されている。バッファ２０〜２２の出力信号Ｒｃ，Ｇｃ，Ｂｃすなわち複合画像信号φｃは画像表示装置８に与えられる。
【００２０】
図１に戻って画像表示装置８は、複合画像信号φｃを再生し、ユーザ（操作者）に対し、実画像と仮想画像が重ね合わせ混合された複合画像を提示して複合現実感を感じさせる。画像表示装置８は、具体的には、ＣＲＴ、液晶パネル、プラズマディスプレイ、ＣＲＴや液晶パネルを用いた投影型装置、頭部装着型ディスプレイ装置（ＨＭＤ）、携帯可能あるいは身体に装着可能な小型ディスプレイ装置、立体映像を与えるディスプレイ装置などで構成される。
【００２１】
制御部９は、仮想画像生成部４が作りだす画像の表示位置までの距離情報、仮想画像生成部４からの明示的な制御指示のコマンド、ユーザが利用する３次元ポインティングデバイスの動き情報、ユーザからの明示的な制御指示のコマンド、ユーザのポインティング操作などの動作と行為、などの情報を受取り、あるいは解釈し、それらの制御指示のコマンド類、動作や行為の意味などに応じた輝度比Ｋｙを求めて画像重ね合わせ混合部７に与える。これにより、ユーザの意思に対して明示的、すなわち輝度比をユーザが明示的に制御することと、暗黙的に、すなわち輝度比の制御をユーザが意識せずとも、行なっている動作や操作の内容が映し出されている画像の内容に応じて自動的に見やすい画像となるように調整すること、の双方を可能としている。
【００２２】
具体的に説明すると、複合現実感の応用用途においては、ユーザは実画像で外界の環境を観察しながら、その実画像に関連のある仮想世界内の物体類を操作すること、あるいは、実画像に関連した情報類を仮想世界の画像によって補完する用途が一般的である。たとえば、機械類の整備などを行なう場合に、実在の機械を実画像として観察しながら、仮想世界の画像によって提示される、その機械に関連した保守情報などの補完的な情報を併せ見ながら作業を行なう場合である。ここで、仮想世界の画像が作り出す仮想的な物体（以下、仮想物体と表記する）と、実画像が映し出す物体との論理的な奥行き方向の位置関係に着目する。
【００２３】
前者の実画像に関連のある仮想世界内の物体を操作する多くの場合では、手元位置に近い距離には、より多くの仮想世界の画像による仮想物体が存在し、手元位置から遠ざかったところでは、より実画像の比率が高い。したがって、ユーザが操作する３次元ポインティングデバイスの奥行き位置情報や、仮想画像生成部４で演算された表示画像までの距離情報（奥行き位置）を制御情報として用いれば、手元位置に近い仮想世界の画像が主要な構成要素である範囲においては、仮想世界の画像側の輝度を上げ、実画像側の輝度を下げることで、仮想世界の画像を強調して見やすい重ね合わせ画像をユーザに提示することが可能となる。また、逆に、手元位置から遠ざかる方向には徐々に実世界側の輝度を上げ、仮想世界の画像側の輝度を下げることで、強調したい画像を実世界側とすることが可能となる。
【００２４】
また、後者の実画像に関連した情報を仮想世界の画像としてユーザに提示する多くの場合には、仮想世界の画像の奥行き方向の位置は固定されていて、実画像は奥行き方向の任意の位置にあることが多い。したがって、この場合には、仮想世界の画像の奥行き位置とその近辺では、仮想世界の画像を強調し、そして、その奥行き位置から漸次遠ざかるにつれて、実画像の強調の度合いを強めればよいことになる。
【００２５】
また、作業の内容によっては、ユーザが明示的に強調したい画像を選択することを望む場合がある。この場合には、ユーザから明示的にコマンド操作などを発行して、実画像と仮想世界の画像間の輝度比Ｋｙを指定させるようにすればよい。
【００２６】
また、実画像の世界に対する補完的な情報を仮想世界の画像で与える場合には、仮想世界の画像が持つ意味に応じて、仮想世界の画像の強調の度合いを可変にすることで、その画像の意味をより的確にユーザに伝えることが可能となる。たとえば、機械やプラント装置類の監視作業などに、複合現実感の画像を用い、ユーザに対して実画像に関連した注意や警告を仮想世界の画像で与える場合がある。これでは、ユーザは、通常、実画像によって監視作業を行ない、警告などが生じた場合のみ仮想世界の画像に注目することになる。こういった事例では、通常の監視作業時には実画像を強調し、緊急性を要する警告などを意味する仮想世界の画像のみを選択的に強調すれば、ユーザにとってわかりやすく、かつ、状況判断などが行ないやすい情報提示の手法となる。
【００２７】
次に、図１〜図３で示した複合現実感提示システムの動作について簡単に説明する。実画像生成部１で生成された実画像信号φａと仮想画像生成部４で生成された仮想画像信号φｂとが画像重ね合わせ混合部７に与えられる。
【００２８】
一方、制御部９において、仮想画像生成部４からの表示画像の距離情報および明示的なコマンド、ユーザの行為、ユーザのコマンド指示、３次元ポインティングデバイスの動き情報などに基づいて、実画像と仮想画像とのコントラストが明瞭になるように実画像と仮想画像の輝度比Ｋｙが求められ、輝度比Ｋｙは画像重ね合わせ混合部７に与えられる。
【００２９】
画像重ね合わせ混合部７において、輝度比Ｋｙに応じたゲインＧＡ，ＧＢで実画像信号φａと仮想画像信号φｂが増幅・混合されて複合画像信号φｃが生成され、信号φｃが画像表示装置８に与えられる。画像表示装置８には、実画像と仮想画像のコントラストが明瞭な複合画像が表示される。
【００３０】
この実施の形態では、ユーザの明示的・暗黙的な意思に応じて実画像と仮想画像のコントラストが明瞭になるように実画像と仮想画像の輝度比Ｋｙを制御するので、実画像と仮想画像を容易に判別することができ、自然で見やすい画像が得られる。また、見やすい画像であること、および画像の強調の度合いを制御できることから、注意を喚起する画像などでは、見誤りの低減やわかりやすさの向上が期待できる。
【００３１】
図４は、画像重ね合わせ混合部７の改良例を示す図であって、図２と対比される図である。図４を参照して、この画像重ね合わせ混合部７は、Ａ／Ｄコンバータ３１，３２、乗算器３３，３４、演算部３５、加算器３６およびＤ／Ａコンバータ３７を含む。
【００３２】
Ａ／Ｄコンバータ３１，３２は、それぞれ実画像信号φａおよび仮想画像信号φｂをデジタル信号に変換して乗算器３３，３４に与える。演算部３５は、制御部９から与えられた輝度比Ｋｙに基づいて、重みづけ係数Ｋａ，Ｋｂを演算する。重みづけ係数Ｋａ，Ｋｂは、図３で説明したゲインＧＡ，ＧＢに相当するものである。
【００３３】
乗算器３３，３４は、それぞれ信号φａ，φｂに係数Ｋａ，Ｋｂを乗算して加算器３６に与える。加算器３６は、乗算器３３，３４から与えられた信号φａ×Ｋａとφｂ×Ｋｂを加算してＤ／Ａコンバータ３７に与える。Ｄ／Ａコンバータ３７は、加算器３６から与えられた信号φａ×Ｋａ＋φｂ×Ｋｂをアナログ信号φｃに変換して画像表示装置８に与える。したがって、この構成でも、図２の回路と同じ機能が得られる。
【００３４】
この改良例は、ハードウェアのシステムまたはソフトウェアのシステムのいずれか一方、またはハードウェアとソフトウェアを組合せたシステムで実現される。この改良例では、図１において画像重ね合わせ混合部７と制御部９は機能的に一体に構成される。
【００３５】
【発明の効果】
以上のように、この発明に係る画像合成装置では、実画像と仮想画像との差異が明瞭になるように、実画像と仮想画像の輝度比を、仮想画像における奥行き位置に基づいて設定し、この輝度比に従って実画像と仮想画像を変換して合成する。したがって、輝度比を制御できなかった従来に比べ、ユーザが必要とする仮想画像を容易に判別できるようにすることができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態による複合現実感提示システムの構成を示すブロック図である。
【図２】図１に示した画像重ね合わせ混合部の構成を示す回路ブロック図である。
【図３】図２に示した画像重ね合わせ混合部の動作を説明するための図である。
【図４】図２に示した画像重ね合わせ混合部の改良例を示す回路ブロック図である。
【符号の説明】
１  実画像生成部
２  カメラ
３  ビデオレコーダ
４  仮想画像生成部
５  コンピュータ
６  ダウンコンバータ
７  画像重ね合わせ混合部
８  画像表示装置
９  制御部
１１〜１６，２０〜２２  バッファアンプ
１７〜１９  ミキサ
２３，３７  Ｄ／Ａコンバータ
２４，２７  ＤＣアンプ
２５  手動調整部
２６  スイッチ
３１，３２  Ａ／Ｄコンバータ
３３，３４  乗算器
３５  演算部
３６  加算器
【図１】
0003610206.tif 000002
【図２】
0003610206.tif 000003
【図３】
0003610206.tif 000004
【図４】
0003610206.tif 000005