(57)【要約】【課題】より現実味のある仮想物体の表示を実現する。【解決手段】画像合成装置１の開口部２は、現実空間の画像を矢印Ａ方向に通過させる。反射鏡１２は、開口部１１を介して矢印Ａ方向に入射されてくる現実空間の画像を、矢印Ａ’方向に鏡面配列部１３に反射する。鏡面配列部１３は、複数の各鏡面が、反射鏡１２より矢印Ａ’方向に入射されてくる現実空間の画像を構成する光を、矢印Ｃ方向で示すように開口部１７を介してユーザの視点となる目１８方向に反射するか、または、表示部１５より矢印Ｂ方向から入射されてくる仮想物体の画像を構成する光を矢印Ｃ方向で示すように開口部１７を介してユーザの視点となる目１８方向に反射するかの２方向のうちのいずれかの１方向に設定させる。本発明は、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）に適用することができる。【選択図】　　　図１
2004077777.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に第２の画像を合成する画像合成装置において、
前記第１の画像を表示する第１の表示手段と、
前記第１の画像に合成される、前記第２の画像を表示する第２の表示手段と、
前記第１の表示手段より発せられた光か、または、前記第２の表示手段より発せられた光のいずれかを、所定の方向に反射する複数の反射手段と、
前記第２の画像が合成される位置を検出する位置検出手段と、
前記位置検出手段により検出された位置に対応する前記反射手段が、前記第２の表示手段より発せられた光を、前記所定の方向に反射するように制御する反射制御手段と
を備えることを特徴とする画像合成装置。
【請求項２】
前記反射制御手段は、前記位置検出手段により検出された位置に対応する前記反射手段が、前記第２の表示手段より発せられた光を、前記所定の方向に反射するように制御し、前記位置に対応しない前記反射手段が、前記第１の表示手段より発せられた光を、前記所定の方向に反射するように制御する
ことを特徴とする請求項１に記載の画像合成装置。
【請求項３】
左右両目の視差に対応するように１対の前記第１の表示手段、前記第２の表示手段、前記反射手段、前記位置検出手段、および反射制御手段を備える
ことを特徴とする請求項１に記載の画像合成装置。
【請求項４】
前記第１の表示手段は、現実空間そのものを反射して前記第１の画像として表示する
ことを特徴とする請求項１に記載の画像合成装置。
【請求項５】
第１の画像に第２の画像を合成する画像合成装置の画像合成方法において、
前記第１の画像を表示する第１の表示ステップと、
前記第１の画像に合成される、前記第２の画像を表示する第２の表示ステップと、
前記第１の表示ステップの処理で発せられた光か、または、前記第２の表示ステップの処理で発せられた光のいずれかを、所定の方向に反射する複数の反射ステップと、
前記第２の画像が合成される位置を検出する位置検出ステップと、
前記位置検出ステップの処理で検出された位置に対応する前記反射ステップの処理が、前記第２の表示ステップの処理で発せられた光を、前記所定の方向に反射するように制御する反射制御ステップと
を含むことを特徴とする画像合成方法。
【請求項６】
第１の画像を表示する第１の表示手段と、前記第１の画像に合成される、第２の画像を表示する第２の表示手段と、前記第１の表示手段より発せられた光か、または、前記第２の表示手段より発せられた光のいずれかを、所定の方向に反射する複数の反射手段とを有し、前記第１の画像に前記第２の画像を合成する画像合成装置を制御するプログラムであって、
前記第２の画像が合成される位置の検出を制御する位置検出制御ステップと、
前記位置検出制御ステップの処理で検出が制御された位置に対応する前記反射手段が、前記第２の表示手段で発せられた光を、前記所定の方向に反射するように制御する反射制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
第１の画像を表示する第１の表示手段と、前記第１の画像に合成される、第２の画像を表示する第２の表示手段と、前記第１の表示手段より発せられた光か、または、前記第２の表示手段より発せられた光のいずれかを、所定の方向に反射する複数の反射手段とを有し、前記第１の画像に前記第２の画像を合成する画像合成装置を制御するコンピュータに、
前記第２の画像が合成される位置の検出を制御する位置検出制御ステップと、
前記位置検出制御ステップの処理で検出が制御された位置に対応する前記反射手段が、前記第２の表示手段で発せられた光を、前記所定の方向に反射するように制御する反射制御ステップと
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像合成装置および方法、記録媒体、並びにプログラムに関し、特に、より現実味のある合成画像を表示できるようにした画像合成装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、計算機によって作成されるＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）等の仮想物体の画像を現実空間の画像と合成し、あたかも現実空間に仮想物体があるかのように表示する、いわゆるＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術が注目されてきている。
【０００３】
このＡＲ技術により、仮想物体の画像と現実空間の画像（または、現実空間そのもの）とが合成された合成画像を、例えば、シースルーＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）（メガネ型の表示装置）に表示させることができる。シースルーＨＭＤには、現実空間をカメラで撮影し、その撮影された現実空間の画像に仮想物体の画像を合成して表示するビデオシースルー方式と、現実空間を直接視認する方向に、ハーフミラーなどを設置して、光学的に仮想物体の画像を合成して表示する光学シースルー方式の２種類がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、ハーフミラーを用いる光学シースルー方式の場合、合成される仮想物体が存在している部分の現実空間の画像が、透けて見えるため、合成された画像内に存在する仮想物体の存在そのものが現実味に欠けてしまうという課題があった。
【０００５】
また、この課題を解決すべく、特開平４−１７１７号公報、または特開平５−４６１６１号公報には、現実空間の画像の任意の選択領域をマスクし、そのマスクされた領域に、仮想物体の画像を光学的に重ね合わせて表示させることにより、仮想物体が透けて見えることがないようにするシースルーＨＭＤの技術が開示されている。
【０００６】
ところが、上述の公報に開示されたＨＭＤでは、ハーフミラーを用いているため、現実空間の画像と仮想物体の画像の光量が低下し、それぞれが明るく見えない（暗くなる）という課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、光学シースルーＨＭＤにおいて、現実空間の画像が仮想物体を透過して見えないようにし、さらに、明るい合成画像を表示できるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の画像合成装置は、第１の画像上に第２の画像を合成する画像合成装置において、第１の画像を表示する第１の表示手段と、第１の画像に合成される、第２の画像を表示する第２の表示手段と、第１の表示手段より発せられた光か、または、第２の表示手段より発せられた光のいずれかを、所定の方向に反射する複数の反射手段と、第２の画像が合成される位置を検出する位置検出手段と、位置検出手段により検出された位置に対応する反射手段が、第２の表示手段より発せられた光を、所定の方向に反射するように制御する反射制御手段とを備えることを特徴とする。
【０００９】
前記反射制御手段には、位置検出手段により検出された位置に対応する反射手段が、第２の表示手段より発せられた光を、所定の方向に反射するように制御させるようにすることができ、位置に対応しない反射手段が、第１の表示手段より発せられた光を、所定の方向に反射するように制御させるようにするようにすることができる。
【００１０】
前記左右両目の視差に対応するように１対の第１の表示手段、第２の表示手段、反射手段、位置検出手段、および反射制御手段を設けるようにさせることができる。
【００１１】
前記第１の表示手段には、現実空間そのものを反射して第１の画像として表示させるようにすることができる。
【００１２】
本発明の画像合成方法は、第１の画像を表示する第１の表示ステップと、第１の画像に合成される、第２の画像を表示する第２の表示ステップと、第１の表示ステップの処理で発せられた光か、または、第２の表示ステップの処理で発せられた光のいずれかを、所定の方向に反射する複数の反射ステップと、第２の画像が合成される位置を検出する位置検出ステップと、位置検出ステップの処理で検出された位置に対応する反射ステップの処理が、第２の表示ステップの処理で発せられた光を、所定の方向に反射するように制御する反射制御ステップとを含むことを特徴とする。
【００１３】
本発明の記録媒体のプログラムは、第２の画像が合成される位置の検出を制御する位置検出制御ステップと、位置検出制御ステップの処理で検出が制御された位置に対応する反射手段が、第２の表示手段で発せられた光を、所定の方向に反射するように制御する反射制御ステップとを含むことを特徴とする。
【００１４】
本発明のプログラムは、第２の画像が合成される位置の検出を制御する位置検出制御ステップと、位置検出制御ステップの処理で検出が制御された位置に対応する反射手段が、第２の表示手段で発せられた光を、所定の方向に反射するように制御する反射制御ステップとをコンピュータに実行させることを特徴とする。
【００１５】
本発明の画像合成装置および方法、並びにプログラムにおいては、第１の画像が表示され、第１の画像に合成される、第２の画像が表示され、第１の画像より発せられた光か、または、第２の画像より発せられた光のいずれかが、所定の方向に反射され、第２の画像が合成される位置が検出され、検出された位置に対応する、第２の画像より発せられた光が、所定の方向に反射するように制御される。
【００１６】
【発明の実施の形態】
図１は、本発明に係る画像合成装置１の一実施の形態の構成を示す図である。
【００１７】
画像合成装置１の開口部１１は、外界の現実空間から発せられる光、すなわち、外界の視認可能な像の発する光によって構成される映像（以下、現実空間の画像とも称する）を矢印Ａ方向に通過させる。反射鏡１２は、開口部１１を介して入射されてくる現実空間の画像を、矢印Ａ’方向に鏡面配列部１３に反射する平面状の鏡面である。
【００１８】
鏡面配列部１３は、複数の微小な鏡面が水平方向、および、垂直方向に格子状に配列されたものであり、複数の各鏡面２１（図２）は、反射鏡１２より矢印Ａ’方向に入射されてくる現実空間の画像を構成する光を、矢印Ｃ方向で示すように開口部１７を介してユーザの視点となる目１８方向に反射するか、または、表示部１５より矢印Ｂ方向から入射されてくる仮想物体の画像を構成する光を矢印Ｃ方向で示すように開口部１７を介してユーザの視点となる目１８方向に反射するかの２方向のうちのいずれかの１方向に設定させることができる。
【００１９】
電子画像生成部１４は、現実空間の画像に合成する仮想物体の画像を電子的に生成し、表示部１５に表示させると共に、その仮想物体の画像データ、すなわち、表示部１５の表示画素位置に関する情報を鏡面制御部１６に出力する。表示部１５は、電子画像生成部１４より入力された仮想物体の画像を表示する。
【００２０】
鏡面制御部１６は、電子画像生成部１４より入力された仮想物体の画像データに基づいて、鏡面配列部１３上に配列されている各鏡面２１（図２）の方向を制御する。
【００２１】
次に、鏡面配列部１３の詳細について説明する。鏡面配列部１３は、図２で示すように、水平方向、および、垂直方向に格子状に配列された複数の微小な鏡面２１から構成されている。鏡面配列部１３は、例えば、テキサスインスツルメンツ株式会社製のＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）（商標）などである。鏡面２１の配列数は、例えば、ＳＶＧＡ（Ｓｕｐｅｒ　Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）タイプのもので６４８枚×６００枚、ＸＧＡ（Ｅｘｔｅｎｄｅｄ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）タイプのもので１０２４枚×７６８枚、ＳＸＧＡ（Ｓｕｐｅｒ　Ｅｘｔｅｎｄｅｄ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）タイプのもので１２８０枚×１０２４枚となる。また、近年においては、１６：９の比率を持つＤＭＤも開発されており、２０４８枚×１０２４枚の鏡面２１から構成されている。
【００２２】
図３で示すように、鏡面２１（図３においては、左側が鏡面２１−１、右側が鏡面２１−２）は、図中の鏡面２１−１のように、ヒンジ３１の端部からなる軸Ａ１を中心として、ヨーク３２が矢印Ｂ方向に傾いた方向か、または、図中の鏡面２１−２のように、ヒンジ３１の端部からなる軸Ａ２を中心として、ヨーク３２が矢印Ｃ方向に傾いた方向かのいずれかの方向に制御される。
【００２３】
また、鏡面２１は、図４の分解図で示すように、上部から鏡面層、ヨークヒンジ層、メタル層、および、メモリセル層から構成されている。鏡面層には、鏡面２１が設けられており、その略中央部の軸２１ａがヨークヒンジ層のヨーク３２の略中央の穴部に嵌合され、ヨーク３２に対して固定されている。ヨーク３２は、ヒンジ３１の両端部により構成される直線（図３中の直線Ａ１またはＡ２）を軸として、図５で示すように２方向に設定される。また、ヨークヒンジ層のヨーク３２は、図中左側に鏡面電極４１が設けられており、さらに、図中下方向の対向する位置にメタル層のヨーク電極４２が設けられている。また、メタル層には、ヨーク電極４２の対角線上にＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ−Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）接続部４４が設けられている。さらに、メタル層には、ヨーク電極４２に印加されているバイアスを開放するバイアスリセットバス４３が設けられている。また、メタル層には、接続面４５が設けられており、メモリセル層のＣＭＯＳ素子３３と接続されている。ＣＭＯＳ素子３３は、具体的には、ＣＭＯＳ　ＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）である。
【００２４】
上述のメモリセル層のＣＭＯＳ素子３３の状態により、鏡面電極４１とヨーク電極４２間にバイアスが掛かるので、鏡面２１は、図４中矢印Ａ方向から見ると図５で示すように、ヒンジ３１のメタル層に接触している端部を軸として鏡面２１−１（傾きの無い状態から図中右側に約１０°傾いた状態）、または、２１−２（傾きの無い状態から図中左側に約１０°傾いた状態）で示す２方向のいずれかの方向に傾くことにより、鏡面２１による反射方向が設定される。
【００２５】
このような構成で、鏡面配列部１３の各々の鏡面２１は、鏡面制御部１６により反射鏡１２より入射される現実空間の画像、または、表示部１５により表示される仮想物体の画像の、それぞれの光の方向を画素単位で（鏡面２１の１枚毎で）２方向のいずれかに反射させる。したがって、上述の構成から、矢印Ａ’と矢印Ｃの成す角、および、矢印Ｂと矢印Ｃの成す角はそれぞれ約１０°となるように、反射鏡１２、および、表示部１５は配置されることになる。
【００２６】
尚、以下の説明において、この２方向のうちの第１の方向は、図１で示す反射鏡１２より矢印Ａ’方向に入射されてくる現実空間の画像を構成する光を、矢印Ｃ方向で示すように開口部１７を介してユーザの視点となる目１８方向に反射させる方向とし、第２の方向は、表示部１５より矢印Ｂ方向から入射されてくる仮想物体の画像を構成する光を矢印Ｃ方向で示すように開口部１７を介してユーザの視点となる目１８方向に反射させる方向とする。
【００２７】
鏡面制御部１６は、電子画像生成部１４より入力される仮想物体の画像の画素位置を読出し、その画素位置に対応する鏡面２１を第２の方向に制御し、それ以外の画素位置に対応する鏡面２１を第１の方向に制御する。より詳細には、仮想物体の画像上の画素位置を示す水平方向ｘと垂直方向ｙのカウンタを用いて、仮想物体の画像を表示している画素Ｐ（ｘ，ｙ）を求め、対応する鏡面配列部１３上の鏡面２１を示す鏡面Ｍ（ｘ，ｙ）を第２の方向に制御し、それ以外の鏡面を第１の方向に制御する。
【００２８】
尚、基本的には、外界の現実空間の画像を表示させるので、ヒンジ３１の端部を軸としてヨーク３２の向きを設定するための負荷が加えられていない状態の時、全ての鏡面２１を第１の方向となるように設定し（デフォルトで第１の方向となるように設定し）、仮想物体の画像を表示している画素Ｐ（ｘ，ｙ）に対応する鏡面Ｍ（ｘ，ｙ）のみを第２の方向となるように制御するようにしてもよい。
【００２９】
例えば、図６の場合、表示部１５で表示される仮想物体の画像の画素位置に対応する鏡面２１が、鏡面２１−１乃至２１−３，２１−５，２１−６のとき、鏡面制御部１６は、鏡面２１−１乃至２１−３，２１−５，２１−６に対応するＣＭＯＳ素子（ＣＭＯＳ　ＳＲＡＭ）３３の状態を制御して、鏡面２１−１乃至２１−３，２１−５，２１−６により矢印Ｂ方向から入射される表示部１５で表示される画像（仮想物体の画像）から発せられる光が図６の矢印Ｂ’方向（＝図１の矢印Ｃ方向）で示すユーザの目１８の視線方向に反射されるように制御する。一方、仮想物体以外の画像、すなわち、現実空間の画像の画素に対応する鏡面が、鏡面２１−４である場合、鏡面制御部１６は、鏡面２１−４に対応するＣＭＯＳ素子３３の状態を制御して、鏡面２１−４により矢印Ａ’方向から入射される表示部１５で表示される画像（仮想物体の画像）から発せられる光が矢印Ａ’’方向（＝図１の矢印Ｃ方向）で示すユーザの目１８の視線方向に反射されるように制御する。
【００３０】
次に、図７のフローチャートを参照して、図８で示すような現実空間の画像５１が開口部１１から入射され、さらに、図９で示すような仮想物体の画像６１に含まれる仮想物体６２を合成し、図１０で示すような合成画像を生成し表示させるときの画像合成装置１の画像合成処理について説明する。
【００３１】
ステップＳ１において、電子画像生成部１４は、内蔵する仮想物体の画像を表示部１５に出力し表示させ、鏡面配列部１３に入射させると共に、表示部１５に表示する仮想物体の画像データを鏡面制御部１６に出力する。このとき、反射部１２は、開口部１１を介して入射されてくる現実空間の画像を鏡面配列部１３に反射している。
【００３２】
ステップＳ２において、鏡面制御部１６は、電子画像生成部１４より入力された仮想物体の表示画素位置の情報を受信し、記憶する。
【００３３】
ステップＳ３において、鏡面制御部１６は、自らに内蔵する画素位置の水平位置と垂直位置を示すカウンタｘ，ｙを初期化する。
【００３４】
ステップＳ４において、鏡面制御部１６は、画素Ｐ（ｘ，ｙ）は、仮想物体の画像を示す画素であるか否かを判定する。より詳細には、鏡面制御部１６は、電子画像生成部１４より入力された仮想物体の画像データのうち画素Ｐ（ｘ，ｙ）に対応する画素を読み出して、仮想物体の画像の画素であるか否かを判定する。
【００３５】
ステップＳ４において、例えば、画素Ｐ（ｘ，ｙ）が、図９の仮想物体の画像６１上の仮想物体６２上の画素であると判定された場合、ステップＳ５において、鏡面制御部１６は、鏡面配列部１３上の鏡面Ｍ（ｘ，ｙ）を第２の方向に設定し、表示部１５の画素Ｐ（ｘ，ｙ）から発せられた光を開口部１７を介してユーザの目１８の方向に反射させる。すなわち、この処理により、表示部１５により表示されている仮想物体６２の画像を構成する画素から発する光が、ユーザの目１８に向けて反射されるようになる。
【００３６】
一方、ステップＳ４において、例えば、画素Ｐ（ｘ，ｙ）が、図９の仮想物体の画像６１内の仮想物体６２上の画素ではないと判定された場合、ステップＳ６において、鏡面制御部１６は、図８で示す現実空間の画像上の画素であるとみなし、鏡面配列部１３上の鏡面Ｍ（ｘ，ｙ）を第１の方向に設定し、開口部１１を介して反射鏡１２から反射されて入射される画像の画素Ｐ（ｘ，ｙ）に対応する位置から発せられた光を、開口部１７を介してユーザの目１８の方向に反射させる。
【００３７】
ステップＳ７において、鏡面制御部１６は、カウンタｘを１インクリメントする。すなわち、仮想物体の画像６１上のスキャンする位置を水平方向に１画素分進める。ステップＳ８において、鏡面制御部１６は、今現在のカウンタｘが仮想物体の画像の水平方向のサイズより小さいか否かを判定し、小さいと判定された場合、その処理は、ステップＳ４に戻り、カウンタｘが仮想物体の画像の水平方向のサイズよりも大きいと判定されるまで、ステップＳ４乃至Ｓ８の処理を繰り返す。
【００３８】
ステップＳ８において、今現在のカウンタｘが仮想物体の画像の水平方向のサイズより小さくない、すなわち、今現在のカウンタｘが仮想物体の画像の水平方向のサイズより大きいと判定された場合、鏡面制御部１６は、ステップＳ９において、カウンタｘを初期化し、ステップＳ１０において、カウンタｙを１インクリメントする。
【００３９】
ステップＳ１１において、鏡面制御部１６は、今現在のカウンタｙが仮想物体の画像の垂直方向のサイズより小さいか否かを判定し、小さいと判定された場合、その処理は、ステップＳ４に戻り、カウンタｙが仮想物体の画像の垂直方向のサイズよりも大きいと判定されるまで、ステップＳ４乃至Ｓ１１の処理を繰り返す。すなわち、ステップＳ７において、カウンタｘを１インクリメントし、水平方向のサイズまでステップＳ４乃至Ｓ６までの処理を繰り返し、水平方向のサイズまで進むと、カウンタｙを１インクリメントし、さらに、カウンタｘを初期化して、垂直方向に１画素分進めた状態で、水平方向の画素が仮想物体の画像を表示するか否かにより、鏡面２１の方向を制御する。
【００４０】
ステップＳ１２において、鏡面制御部１６は、電子画像生成部１４より次の画像が入力されたか否かを判定し、次の画像が入力されていると判定された場合、その処理は、ステップＳ１の処理に戻り、それ以降の処理が繰り返される。ステップＳ１２において、次の画像が入力されていないと判定された場合、その処理は終了する。
【００４１】
以上の処理により、図１０で示すような合成画像７１がユーザの目１８には映し出されることになる。このとき合成画像中の現実空間の画像と仮想物体６２の発する光からなる画像は、それぞれ異なる位置から発せられ、鏡面配列部１３の各鏡面２１によりそれぞれ異なる角度で同一方向に反射されるので、ハーフミラーを使用した場合などに生じる仮想物体の画像が透けて現実空間の画像が見えるといったことや表示が暗くなるといったことが生じず、より現実味のある仮想物体の表示を実現することが可能となる。
【００４２】
以上の例においては、現実空間の画像に仮想物体の画像を合成する例について説明してきたが、第１の電子画像（例えば、図示せぬカメラにより撮像された現実空間の画像など）に対して、仮想物体の画像からなる第２の電子画像を合成するようにしてもよい。
【００４３】
図１１は、第１の電子画像に対して、仮想物体の画像からなる第２の電子画像を合成するようにした画像合成装置１の構成例を示している。
【００４４】
尚、図１１中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。図１１の画像合成装置１において、図１の画像合成装置１と異なる点は、反射鏡１２に替えて、表示部８１、および、電子画像生成部８２が設けられている点である。
【００４５】
表示部８１は、電子画像生成部８２より入力される（第１の）電子画像を表示し、各画素に対応する光を図中矢印ＡＡ方向に存在する、鏡面配列部１３に発する。電子画像生成部８２は、電子画像生成部１４と同様の構成である。ただし、図１１の構成では、電子画像生成部１４は仮想物体を第２の電子画像として生成している。
【００４６】
次に、図１２のフローチャートを参照して、図１１の画像合成装置１による画像合成処理について説明する。尚、図１２のフローチャートにおけるステップＳ３２乃至Ｓ４２の処理は、図７のフローチャートにおけるステップＳ２乃至Ｓ１２の処理と同様であるので、その説明は省略する。
【００４７】
ステップＳ３２において、電子画像生成部１４は、内蔵する仮想物体の画像を第２の電子画像として表示部１５に出力し表示させ、鏡面配列部１３に入射させると共に、表示部１５に表示する仮想物体の画像データを鏡面制御部１６に出力する。さらに、電子画像生成部８２は、第１の電子画像を生成し表示部８１に出力し表示させ、鏡面配列部１３に入射させる。
【００４８】
以上の処理により、図１１で示すような画像合成装置１では、表示部８１により表示される第１の電子画像上に、表示部１５により表示される仮想物体の画像（第２の電子画像）が合成されることになる。この時も、合成画像中の第１の電子画像と仮想物体６２の発する光からなる第２の電子画像は、それぞれ異なる位置から発せられる。結果として、鏡面配列部１３の各鏡面２１によりそれぞれ異なる角度で同一方向に反射されるので、ハーフミラーを使用した場合などに生じる現実空間の画像が仮想物体の画像上に透けて見えるといったことや、表示が暗くなるといったことが生じず、より現実味のある仮想物体の表示を実現することが可能となる。
【００４９】
また、ＤＭＤにおける各鏡面２１は、鏡面制御部１６により毎秒数千回以上の速さで方向を切り換えることができるので、高速で方向を切り換えつつ、単位時間当りの第１の方向と第２の方向の設定時間の割合を徐々に変化させていくことにより仮想物体の表示状態を変化させるようにしてもよい。すなわち、例えば、第１の方向に設定する時間の割合を徐々に減らしつつ、第２の方向に設定される時間の割合を増やしていくように各鏡面２１の設定方向の切り替えを制御することにより、仮想物体の画像を現実空間の画像中に徐々に表示させていく、いわゆるフェードイン表示処理を実行させたり、逆に、既に仮想物体が既に表示された状態で、第１の方向に設定される時間の割合を徐々に増やしつつ、第２の方向に設定される時間の割合を徐々に短くしていくことで、仮想物体の画像を現実空間の画像中から徐々に消去していく、いわゆるフェードアウト表示処理を実行させるようにしてもよい。
【００５０】
さらに、上述の画像合成装置１は、ユーザの（片方の）目１８に対応する構成となっていたが、例えば、左右の目に対応する１対の眼鏡型の構成とし、電子画像生成部１４により生成される電子画像を左右の目の視差に対応して生成させるようにすることで（図１１の構成の場合、電子画像生成部８２により生成され表示部８１に表示させる画像も左右の目の視差に対応して生成させるようにすることで）、ユーザの左右の目の視差が反映されている仮想物体が合成された合成画像を、左右それぞれの目で目視できるように表示することができるので、仮想物体をより現実的に表示させることが可能となる。
【００５１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【００５２】
図１３は、図１の画像合成装置１の鏡面制御部１６をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ１０１は、パーソナルコンピュータの全体の動作を制御する。また、ＣＰＵ１０１は、バス１０４および入出力インタフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ１０１は、ドライブ１１０に接続された磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、または半導体メモリ１２４から読み出され、記憶部１０８にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３にロードして実行する。これにより、上述した鏡面制御部１６の機能が、ソフトウェアにより実現されている。さらに、ＣＰＵ１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【００５３】
プログラムが記録されている記録媒体は、図１３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク１２２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）を含む）、光磁気ディスク１２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【００５４】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【００５５】
【発明の効果】
本発明によれば、より現実味のある仮想物体の表示を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像合成装置のブロック図である。
【図２】鏡面配列部の構成を示す図である。
【図３】鏡面の詳細な構成を示す斜視図である。
【図４】鏡面の分解図である。
【図５】鏡面の動作を説明する図である。
【図６】図２のキープラットフォームサーバの機能ブロック図である。
【図７】画像合成処理を説明するフローチャートである。
【図８】現実空間の画像の例を示す図である。
【図９】仮想物体の画像の例を示す図である。
【図１０】合成画像の例を示す図である。
【図１１】画像合成装置のその他の構成を示す図である。
【図１２】画像合成処理を説明するフローチャートである。
【図１３】媒体を説明する図である。
【符号の説明】
１　画像合成装置，　１１　開口部，１２　反射鏡，　１３　鏡面配列部，　１４　電子画像生成部，　１５　表示部，　１６　鏡面制御部，　１７　開口部，　２１，２１−１乃至２１−６　鏡面，　３１　ヒンジ，　３２　ヨーク，　３３　ＣＭＯＳ素子，　４１　鏡面電極，　４２　ヨーク電極，　４３　バイアスリセットバス，　４４　ＣＭＯＳ接続部，　４５　接続面，　５１　現実空間の画像，　６１　仮想物体の画像，　６２　仮想物体，　７１　合成画像，　８１　表示部，　８２　電子画像生成部
【図１】
2004077777.tif 000003
【図２】
2004077777.tif 000004
【図３】
2004077777.tif 000005
【図４】
2004077777.tif 000006
【図５】
2004077777.tif 000007
【図６】
2004077777.tif 000008
【図７】
2004077777.tif 000009
【図８】
2004077777.tif 000010
【図９】
2004077777.tif 000011
【図１０】
2004077777.tif 000012
【図１１】
2004077777.tif 000013
【図１２】
2004077777.tif 000014
【図１３】
2004077777.tif 000015