(57)【特許請求の範囲】
【請求項１】
第１の領域へ第１画像を表示する第１画像表示装置と、
利用者の瞳孔への画像の投射によって第１の領域内に設けられる第２の領域へ第２画像を表示する第２画像表示装置と、を備えた画像表示システムであって、
前記第１の領域に表示する画像のうち特定画像を表示すべき位置を判定する判定手段と、
前記判定手段により前記特定画像を表示すべき位置が前記第２の領域内であると判定されたとき、前記第２画像表示装置により前記特定画像を第２画像として表示し、前記判定手段により前記特定画像を表示すべき位置が前記第２領域外であると判定されたとき、前記第１画像表示装置により前記特定画像を前記第１画像として表示する表示制御手段と、を備えた画像表示システム。
【請求項２】
前記第１の領域に表示すべき画像のうち第１画像表示装置のみで表示する背景画像に前記特定画像を合成して合成画像を生成する合成手段を備え、
前記表示制御手段は、
前記判定手段により前記特定画像を表示すべき位置が前記第２領域外であると判定されたとき、前記合成画像を前記第１画像表示装置により前記第１画像として表示する請求項１に記載の画像表示システム。
【請求項３】
前記表示制御手段は、
前記判定手段により前記特定画像が第２の領域内と第２の領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第２の領域内の画像を前記第２画像表示装置により第２画像として表示し、前記特定画像のうち前記第２の領域外の画像を前記第１画像表示装置により第１画像として表示する請求項１又は請求項２に記載の画像表示システム。
【請求項４】
前記判定手段は、
前記特定画像内の特定位置が前記第２の領域内にあるか否かを判定し、
前記表示制御手段は、
前記特定位置が前記第２の領域内にあるときには前記特定画像を前記第２画像表示装置により第２画像として表示し、前記特定位置が前記第２の領域外にあるときには前記特定画像を前記第１画像表示装置により第１画像として表示する請求項１又は請求項２に記載の画像表示システム。
【請求項５】
前記特定画像のビデオ信号を入力する特定画像ビデオ信号入力手段を備え、
前記判定手段は、前記ビデオ信号波形に基づいて、前記特定画像のうち前記第１の領域内の画像を前記第１画像表示装置により表示すべき第１画像と、前記第２の領域内の画像を前記第２画像表示装置により表示すべき第２画像とを判定する請求項１〜４のいずれか１項に記載の画像表示システム。
【請求項６】
前記表示制御手段は、
前記判定手段により前記特定画像が第２の領域内と第２の領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第２の領域内の画像を、前記第２領域の外縁近傍の第３領域とこの第３の領域以外の領域とで輝度及び色の少なくとも一方を異ならせしめて前記第２画像表示装置により第２画像として表示し、前記特定画像のうち前記第２の領域外の画像を前記第１画像表示装置により第１画像として表示すると共に、前記第３の領域の画像を前記第２の領域外の画像に比して輝度及び色の少なくとも一方を異ならせしめて前記第１画像表示装置により第１画像として表示する請求項１〜３のいずれか１項に記載の画像表示システム。
【請求項７】
前記表示制御手段は、前記判定手段により前記特定画像が第２の領域内と第２の領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第２の領域内の画像を、前記第２領域の外縁近傍の第３領域とこの第３の領域以外の領域とで画像奥行きを異ならせしめて前記第２画像表示装置により第２画像として表示し、前記特定画像のうち前記第２の領域外の画像を前記第１画像表示装置により第１画像として表示する請求項１〜３のいずれか１項に記載の画像表示システム。
【請求項８】
前記表示制御手段は、
前記第３の領域を前記特定画像の大きさによって異ならしめる請求項６又は請求項７に記載の画像表示システム。
【請求項９】
前記表示制御手段は、
前記第２画像表示装置の位置及び／又は方向に基づいて、前記第２の領域を移動及び／又は変更する請求項１〜８のいずれか１項に記載の画像表示システム。
【請求項１０】
前記表示制御手段は、
前記利用者の視線方向を検出する視線方向検出手段を備え、
前記視線方向検出手段によって検出した視線方向に応じて前記第２の領域を移動及び／又は変更する請求項１〜８のいずれか１項に記載の画像表示システム。
【請求項１１】
前記第２画像表示装置は、映像信号に応じて変調された光束を走査する走査手段を備え、利用者の瞳孔への画像の投射によって画像を表示する網膜走査型画像表示装置であることを特徴とする請求項１〜１０のいずれか１項に記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システムに関し、特に、スクリーンなどへ画像を表示する画像表示装置と、利用者の瞳孔へ画像を投射する画像表示装置とを備えた画像表示システムに関する。
【背景技術】
【０００２】
近年、光束を瞳孔に入射し、その入射した光束により網膜上に画像を投影することにより、観察者にその瞳孔前方において立体的な虚像を視認させる画像表示装置、いわゆる網膜走査ディスプレイが種々提案されている。
【０００３】
この種の画像表示装置の一従来例が特許文献１に記載されている。この従来例は、複数の構成要素を有し、観察者に画像を表示する装置である。
【０００４】
すなわち、この画像表示装置は、光束を出射し、その出射する光束の強度を変調することが可能である光束生成部と、その光束生成部から出射した光束の波面曲率を変調する波面曲率変調器と、この波面曲率変調器によって波面曲率が変調された光束を偏向する偏向器と、偏向器により走査された走査光束を観察者の瞳孔に入射させるためのリレー光学系とを含むように構成されている。
【０００５】
そして、偏向器によって光束が走査された走査光束が観察者の眼の網膜に入射することにより、網膜上に画像が直接に投影され、観察者は、その瞳孔前方に立体的な虚像を視認できるようになる。
【特許文献１】特許第２８７４２０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、特許文献１の網膜走査ディスプレイにおいて、ＮＴＳＣ方式の映像信号などの一般に使用されている映像信号を入力して網膜走査ディスプレイを動作させ、観察者が視認する映像の広画角を行なった場合、解像度が落ち、映像の画質が低下してしまう。
【０００７】
また、網膜走査ディスプレイによる映像の解像度を落とさずに広画角化しようとすると、高ドット数の映像信号が必要となり、汎用性の高い網膜走査ディスプレイを提供することが困難となってしまう。
【課題を解決するための手段】
【０００８】
本発明は上記課題を解決するために以下の手段を講じた。
【０００９】
請求項１に記載の発明は、第１の領域へ第１画像を表示する第１画像表示装置と、利用者の瞳孔への画像の投射によって第１の領域内に設けられる第２の領域へ第２画像を表示する第２画像表示装置と、を備えた画像表示システムであって、前記第１の領域に表示する画像のうち特定画像を表示すべき位置を判定する判定手段と、前記判定手段により前記特定画像を表示すべき位置が前記第２の領域内であると判定されたとき、前記第２画像表示装置により前記特定画像を第２画像として表示し、前記判定手段により前記特定画像を表示すべき位置が前記第２領域外であると判定されたとき、前記第１画像表示装置により前記特定画像を前記第１画像として表示する表示制御手段とを備えることとした。
【００１０】
また、請求項２に記載の発明は、請求項１に記載の発明であって、前記第１の領域に表示すべき画像のうち第１画像表示装置のみで表示する背景画像に前記特定画像を合成して合成画像を生成する合成手段を備え、前記表示制御手段は、前記判定手段により前記特定画像を表示すべき位置が前記第２領域外であると判定されたとき、前記合成画像を前記第１画像表示装置により前記第１画像として表示することとした。
【００１１】
また、請求項３に記載の発明は、請求項１又は請求項２に記載の発明であって、前記表示制御手段は、前記判定手段により前記特定画像が第２の領域内と第２の領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第２の領域内の画像を前記第２画像表示装置により第２画像として表示し、前記特定画像のうち前記第２の領域外の画像を前記第１画像表示装置により第１画像として表示することとした。
【００１２】
また、請求項４に記載の発明は、前記判定手段は、請求項１又は請求項２に記載の発明であって、前記特定画像内の特定位置が前記第２の領域内にあるか否かを判定し、前記表示制御手段は、前記特定位置が前記第２の領域内にあるときには前記特定画像を前記第２画像表示装置により第２画像として表示し、前記特定位置が前記第２の領域外にあるときには前記特定画像を前記第１画像表示装置により第１画像として表示することとした。
【００１３】
また、請求項５に記載の発明は、請求項１〜４のいずれか１項に記載の発明であって、前記特定画像のビデオ信号を入力する特定画像ビデオ信号入力手段を備え、前記判定手段は、前記ビデオ信号波形に基づいて、前記特定画像のうち前記第１の領域内の画像を前記第１画像表示装置により表示すべき第１画像と、前記第２の領域内の画像を前記第２画像表示装置により表示すべき第２画像とを判定することとした。
【００１４】
また、請求項６に記載の発明は、請求項１〜３のいずれか一項に記載の発明であって、前記表示制御手段は、前記判定手段により前記特定画像が第２の領域内と第２の領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第２の領域内の画像を、前記第２領域の外縁近傍の第３領域とこの第３の領域以外の領域とで輝度及び色の少なくとも一方を異ならせしめて前記第２画像表示装置により第２画像として表示し、前記特定画像のうち前記第２の領域外の画像を前記第１画像表示装置により第１画像として表示すると共に、前記第３の領域の画像を前記第２の領域外の画像に比して輝度及び色の少なくとも一方を異ならせしめて前記第１画像表示装置により第１画像として表示することとした。
【００１５】
また、請求項７に記載の発明は、請求項１〜３のいずれか一項に記載の発明であって、前記表示制御手段は、前記判定手段により前記特定画像が第２の領域内と第２の領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第２の領域内の画像を、前記第２領域の外縁近傍の第３領域とこの第３の領域以外の領域とで画像奥行きを異ならせしめて前記第２画像表示装置により第２画像として表示し、前記特定画像のうち前記第２の領域外の画像を前記第１画像表示装置により第１画像として表示することとした。
【００１６】
また、請求項８に記載の発明は、請求項６又は請求項７に記載の発明であって、前記表示制御手段は、前記第３の領域を前記特定画像の大きさによって異ならしめることとした。
【００１７】
また、請求項９に記載の発明は、請求項１〜８のいずれか一項に記載の発明であって、前記表示制御手段は、前記第２画像表示装置の位置及び／又は方向に基づいて、前記第２の領域を移動及び／又は変更することとした。
【００１８】
また、請求項１０に記載の発明は、請求項１〜８のいずれか一項に記載の発明であって、前記表示制御手段は、前記利用者の視線方向を検出する視線方向検出手段を備え、前記視線方向検出手段によって検出した視線方向に応じて前記第２の領域を移動及び／又は変更することとした。
【００１９】
また、請求項１１に記載の発明は、請求項１〜１０のいずれか一項に記載の発明であって、前記第２画像表示装置は、映像信号に応じて変調された光束を走査する走査手段を備え、利用者の瞳孔への画像の投射によって画像を表示する網膜走査型画像表示装置であることとした。
【発明の効果】
【００２０】
請求項１及び請求項１１に記載の発明によれば、第１画像表示装置と第２画像表示装置とを備え、画像表示システムにおいて表示する画像のうち特定画像（たとえば、３次元コンテンツ）について、その表示すべき位置によって表示する画像表示装置を変えることができるため、スクリーンなどへの画像の表示と利用者の瞳孔への画像の投射とを組み合わせた画像表示システムを提供することが可能となる。しかも、広画角化を実現するとともに、立体画像によるリアリティを保つことができる。
【００２１】
また、請求項２に記載の発明によれば、背景画像に特定画像を合成することができるため、スクリーンなどへ表示する画像を単一のものとすることができ、画像表示装置を複数設ける必要がなくなる。また、特定画像に加えスクリーンへ背景画像を表示することができるため、より視覚的効果を向上させることができる。
【００２２】
また、請求項３に記載の発明によれば、特定画像が第２の領域内と第２の領域外とにまたがって位置しているときには、特定画像のうち第２の領域内の画像は第２画像表示装置で、第２の領域外の画像は第１画像表示装置で表示するようにしているため、特定画像の表示画素が欠けることなくその全体を表示することが可能となり、この画像表示システムの利用者に与える不快感を抑制することができる。
【００２３】
また、請求項４に記載の発明によれば、特定画像の特定ポイントで判定することができるため、その判定が容易となる。すなわち、特定画像内の特定位置がどの領域にあるか判定するだけでよく、特定画像全部の画素について行なう必要がない。
【００２４】
また、請求項５に記載の発明によれば、ビデオ信号波形、言い換えれば、ビデオ信号のタイミングに基づいて特定画像の特定位置が第２の領域にあるか否かを判定するので、その判定が容易となる。
【００２５】
また、請求項６に記載の発明によれば、特定画像が第２の領域内と第２の領域外とにまたがって位置しているときに、特定画像を第２の領域の外縁近傍付近で、第１画像表示装置及び第２画像表示装置の両方でその輝度や色を調整して表示することができるため、特定画像が第２の領域内と第２の領域外とにまたがっていても第２の領域外縁で画像の分かれ目を利用者に感じにくくすることができる。
【００２６】
また、請求項７に記載の発明によれば、特定画像が第２の領域内と第２の領域外とにまたがって位置しているときに、特定画像を第２の領域の外縁近傍付近で、画像奥行きを異ならしめて前記第２画像表示装置により表示するため、たとえば、特定画像を第２の領域の外縁近傍に近くなるにしたがってスクリーンに表示する画像と視覚的に同程度の奥行きになるようにすれば、より第２の領域外縁で画像の分かれ目を利用者に感じにくくすることができる。
【００２７】
また、請求項８に記載の発明によれば、特定画像の大きさによって、第１画像表示装置及び第２の画像表示装置の両方から特定画像を表示する第３の領域が異なることとなるから、より第２の領域外縁で画像の分かれ目を利用者に感じにくくすることができる。たとえば、特定画像が大きいときには、第３の領域を大きくし、特定画像が小さいときには第３の領域を小さくする等によって、第２の領域外縁で画像の分かれ目を利用者に感じにくくすることができる。
【００２８】
また、請求項９に記載の発明によれば、第２画像表示装置の位置や方向によって第２領域の移動や変更を行なうため、たとえば第２画像表示装置を利用者の頭にめがねのように取り付けたときであっても、利用者の頭の動きに応じて表示する画像が補正でき、利用者に違和感を抱かせることを抑制することができる。
【００２９】
また、請求項１０に記載の発明によれば、利用者の視線方向によって第２領域の移動や変更を行なうため、たとえば第２画像表示装置を利用者の頭にめがねのように取り付けたときであっても、利用者の視線方向に応じて表示する画像が補正でき、利用者に違和感を抱かせることを抑制することができる。
【発明を実施するための最良の形態】
【００３０】
（第１実施形態）
以下、本発明の具体的な実施の形態を図面に基づいて詳細に説明する。
【００３１】
［画像表示システムＳの全体構成について］
まず、画像表示システムＳの全体構成について図面を参照して説明する。図１は、画像表示システムＳの全体構成を示す図である。
【００３２】
図１に示すように、本実施形態における画像表示システムＳは、第１画像表示装置としてのプロジェクタ１と、第２画像表示装置としての網膜走査型画像表示装置である網膜走査ディスプレイ２（以下、「ＲＳＤ」ともいう。）とを有しており、これらの画像表示装置によって表示する画像を適宜適切に振り分けることによって、広画角化を実現するとともに、立体画像によるリアリティを保つようにしている。
【００３３】
すなわち、図２に示すように、プロジェクタ１は、壁面などのスクリーンへの画像の投射によって利用者から見た視覚的な第１の領域としてのプロジェクタ表示領域Ａ（Ｘ座標：Ｘ０〜Ｘ５、Ｙ座標：Ｙ０〜Ｙ５）へ第１画像に対応する２次元画像を表示すると共に、網膜走査ディスプレイ２は、利用者の瞳孔への画像の投射によって第１の領域内に設けられる第２の領域としてのＲＳＤ表示領域Ｂ（Ｘ座標：Ｘ１〜Ｘ４、Ｙ座標：Ｙ１〜Ｙ４）へ第２画像としての３次元画像を表示する。
【００３４】
そして、画像表示システムＳは、図１に示すように、３次元の立体画像（以下、「３次元コンテンツ」又は「オブジェクト」とする。）を表示するための映像信号を生成する３次元コンテンツ生成部１０と、２次元の背景コンテンツ画像（以下、「背景画像」とする。）を表示するための映像信号を生成する背景コンテンツ生成部１１とを有している。
【００３５】
３次元コンテンツ生成部１０により生成された３次元コンテンツは、所定の条件下、網膜走査ディスプレイ２による３次元表示とプロジェクタ１による２次元表示に振り分けられる。また、背景コンテンツ生成部１１により生成された背景画像は、プロジェクタ１によってスクリーンに２次元表示される。なお、３次元コンテンツ生成部１０と背景コンテンツ生成部１１とは同期して映像信号を出力するように構成されている。また、これらは制御部（図示せず）によって制御される。
【００３６】
このように、３次元コンテンツ画像を網膜走査ディスプレイ２とプロジェクタ１とに振り分けるために、画像表示システムＳは、第１フレームバッファ１２と、第２フレームバッファ１３と、画像分配回路１４、合成部１５と、第１バッファ１６と、第２バッファ１７とを有している。なお、これらは制御部（図示せず）によって制御される。
【００３７】
第１フレームバッファ１２は、３次元コンテンツ画像の映像信号をフレームごとに画像データとしてバッファリングし、第２フレームバッファ１３は、背景画像の映像信号を画像データとしてフレームごとにバッファリングする。
【００３８】
第１フレームバッファ１２でバッファリングされた３次元コンテンツの画像データは、画像分配回路１４によってピクセル単位で順次を取り出されると共に、取り出されたピクセルごとの表示位置（縦Ｘ方向，横Ｙ方向，奥行Ｚ方向の座標。以下、「３次元ピクセル座標」とする。）が検出される。
【００３９】
そして、画像分配回路１４は、ピクセル座標の情報に基づいて、プロジェクタ表示領域ＡとＲＳＤ表示領域Ｂのいずれかに表示すべきものかを判定する。
【００４０】
すなわち、画像分配回路１４は、特定画像としての３次元コンテンツを表示すべき位置を判定する判定手段として機能し、さらに３次元コンテンツを表示すべき位置がＲＳＤ表示領域Ｂ内であると判定したときには、網膜走査ディスプレイ２により３次元コンテンツを３次元画像として表示し、３次元コンテンツを表示すべき位置がＲＳＤ表示領域Ｂ外であると判定したときにはプロジェクタ１により３次元コンテンツを２次元画像として表示する表示制御手段として機能する。
【００４１】
さらに、画像分配回路１４は、３次元コンテンツを構成する複数のピクセル座標がＲＳＤ表示領域Ｂの内外にまたがると判定したときには、３次元コンテンツのうちＲＳＤ表示領域Ｂ内の画像部分を網膜走査ディスプレイ２により３次元として表示し、３次元コンテンツのうちＲＳＤ表示領域Ｂ外の画像部分をプロジェクタ１により２次元画像として表示するように制御する。
【００４２】
ここで、画像分配回路１４は、ピクセル座標検出部１８と、ピクセル取出部１９と、境界振分処理部２０と、補正部２１と、スイッチ部２２とを有している。
【００４３】
第１フレームバッファ１２でバッファリングされた画像データは、ピクセル座標検出部１８によってピクセル単位のＲＧＢデータ（以下、「ピクセル画像」とする。）として順次取り出されると共に、このように取り出されるピクセル画像のうち３次元コンテンツのピクセル画像ごとにその３次元ピクセル座標を検出する。なお、ピクセル画像が３次元コンテンツであるか否かは、ピクセル座標検出部１８によって、ピクセル座標が３次元ピクセル座標であるか否かで判定される。つまり、ピクセル座標に奥行Ｚ方向の座標が含まれるか否かを判定する。また、ピクセル座標検出部１８によるピクセル画像の取り出しを第１フレームバッファ１２からではなく、３次元コンテンツ生成部１０から行うようにしてもよい。
【００４４】
そして、ピクセル座標検出部１８からの３次元ピクセル座標の情報に基づいて、境界振分処理部２０は、プロジェクタ表示領域ＡとＲＳＤ表示領域Ｂのいずれに表示すべきものかを判定する。
【００４５】
また、補正部２１は、所定の条件下、ピクセル単位で輝度及び色の補正値や３次元表示の奥行Ｚに関する補正値を算出する機能を有する。
【００４６】
スイッチ部２２は、ピクセル座標検出部１８による判定結果に応じて、ピクセル取出部１９によって順次取り出されるピクセル画像をプロジェクタ１及び網膜走査ディスプレイ２のいずれかを選択して出力する。すなわち、ピクセル画像を順次第１バッファ１６又は合成部１５のいずれかへ出力するのである。また、このスイッチ部２２は、補正部２１によって演算された補正値に基づいて、ピクセル取出部１９によって順次取り出されるピクセル画像の輝度、色、奥行などの補正を行うこともでき、補正後のピクセル画像を順次第１バッファ１６又は合成部１５のいずれかへ出力することもできる。ここで、スイッチ部２２によって合成部１５に出力される画像信号を第１画像用信号とし、スイッチ部２２によってバッファ１６に出力される画像信号を第２画像用信号とする。
【００４７】
このように第１バッファ１６に出力されたピクセル画像は、所定形式の映像信号として網膜走査ディスプレイ２へ出力される。
【００４８】
一方、第２フレームバッファ１３にバッファリングされた画像データは、合成部１５によってそのピクセル画像が順次取り出されると共に、このピクセル画像はスイッチ部２２からのピクセル画像の出力があったときにはそのピクセル画像と合成される。
【００４９】
このように合成されたピクセル画像は、第２バッファ１７に出力され、所定形式の映像信号としてプロジェクタ１へ出力される。
【００５０】
以上のように、３次元コンテンツ生成部１０により生成された３次元コンテンツ画像は、所定の条件下、画像分配回路１４によって、網膜走査ディスプレイ２による３次元表示とプロジェクタ１による２次元表示に振り分けられる。また、背景コンテンツ生成部１１により生成された背景画像は、プロジェクタ１によってスクリーンに２次元表示される。
【００５１】
以下、プロジェクタ１及び網膜走査ディスプレイ２の構成について説明した後、画像分配回路１４の制御動作につついてさらに具体的に説明する。
【００５２】
［プロジェクタ１の構成について］
図３には、本発明の実施形態に従うプロジェクタ１が示されている。このプロジェクタ１は、壁面などのスクリーンへの画像の投射によって利用者から見た視覚的なプロジェクタ表示領域Ａに２次元画像を表示する装置である。
【００５３】
図３に示すように、プロジェクタ１は、操作パネルＰと、マイクロコンピュータを有する制御ユニットＵと、光源としてのランプ３０と、照明光学系３１と、透過型液晶パネル３２（以下、「ＬＣＤ３２」とする。）と、結像光学系３３と、映像信号入力回路３４と、画像処理回路３５と、ＬＣＤ駆動回路３６と、ランプ駆動回路３７とを備えており、これらはハウジングに内蔵されている。
【００５４】
操作パネルＰは、プロジェクタ１において使用者が操作可能な箇所、すなわちハウジングの外壁面の適所に設けられており、使用者がこの操作パネルＰを操作することによって、制御ユニットＵの作動制御や作動停止制御などを行う。
【００５５】
ランプ３０は、制御ユニットＵによって制御されたランプ駆動回路３７から出力される信号に基づいて、点灯駆動されて発光する。ランプ３０で発光された光は、照明光学系３１によって、照明光としてＬＣＤ３２に照射される。
【００５６】
映像信号入力回路３４は、プロジェクタ１外から入力された映像信号を画像処理回路３５に入力する。画像処理回路３５は、制御ユニットＵによる制御に基づいて、入力された映像信号に対し、信号の付加や変更などの加工を行う。このように加工された映像信号は、ＬＣＤ駆動回路３６に入力される。
【００５７】
ＬＣＤ３２は、ＬＣＤ駆動回路３６によって駆動され、その表示面に映像を表示する。このように表示された映像は、照明光学系３１からの照明光によって、光としてＬＣＤ３２から出射される。続いて、この出射光は、結像光学系３３を通って、投影面であるスクリーンに投影される。このように、ＬＣＤ３２に表示される映像がスクリーンに投影される構成となっている。
【００５８】
［網膜走査ディスプレイ２の構成について］
図４には、本発明の実施形態に従う網膜走査ディスプレイ２が示されている。この網膜走査ディスプレイ２は、その利用者である観察者の瞳孔４１に光束を入射させて網膜４２上に画像を投影することによって、観察者の眼４０の瞳孔４１の前方のＲＳＤ表示領域Ｂに立体的な虚像を視認させるための装置である。
【００５９】
この網膜走査ディスプレイ２は、外部から供給される映像信号に応じて強度変調された光束を生成する光束生成部５０を備え、さらに、その光束生成部５０と観察者の眼４０との間には、光束生成部５０で生成されたレーザ光束を画像表示のために水平方向及び垂直方向に走査すると共に、奥行調整を行って、このように走査等された光束を瞳孔４１へ出射する走査手段である走査装置７０を備えている。
【００６０】
また、網膜走査ディスプレイ２は、この光束生成部５０と走査装置７０とを、観察者の左右の瞳孔４１にそれぞれ対応して設けており、これらは制御部（図示せず）によって制御される。
【００６１】
図４に示すように、光束生成部５０は、外部から供給される映像信号が入力され、それに基づいて画像を合成するための要素となる各信号を発生する映像信号供給回路５１が設けられ、この映像信号供給回路５１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各映像信号が生成され、出力される。また、映像信号供給回路５１は、走査装置７０で使用される水平同期信号、垂直同期信号及び奥行き信号を出力する。
【００６２】
さらに、光束生成部５０には、青色、赤色、緑色の光束をそれぞれ発生させる各レーザ５５，５６，５７および各レーザ５５，５６，５７をそれぞれ駆動する各レーザドライバ５２，５３，５４を備えられている。なお、各レーザ５５，５６，５７は、例えば、レーザーダイオードなどの半導体レーザや固定レーザとして構成することが可能である。
【００６３】
また、光束生成部５０において、各レーザ５５，５６，５７から出射したレーザ光は、コリメート光学系５８，５９，６０よってそれぞれ平行化された後に、ダイクロイックミラー６１，６２，６３に入射される。その後、これらのダイクロイックミラー６１，６２，６３により、各レーザ光が波長に関して選択的に反射・透過させられる。ダイクロイックミラー６３は全反射ミラーであってもよい。
【００６４】
そして、これらのダイクロイックミラー６１，６２，６３にそれぞれ入射した３原色のレーザ光束は、それら３つのダイクロイックミラー６１，６２，６３を代表する１つのダイクロイックミラー６１に最終的に入射して結合され、その後、結合光学系６４によって集光されて、光ファイバ１００へ出力される。
【００６５】
次に、走査装置７０について説明する。
【００６６】
光ファイバ１００から出射されたレーザ光束の波面曲率の変更を行なうために、そのレーザ光束を再度平行光にコリメートするコリメート光学系７１と、このようにコリメートされた光束を、透過光と、透過光の垂直方向に反射された反射光とに分離するビームスプリッタ７２と、ビームスプリッタ７２に反射されたレーザ光束を収束する焦点距離ｆの凸レンズ７３と、凸レンズ７３に収束されたレーザ光束を入射方向に反射する可動ミラー７４とを備えている。
【００６７】
ここで、可動ミラー７４は、波面曲率変調ドライバ７５によって、凸レンズ７３に接近する向き或いは凸レンズ７３から離れる向きに変位させられる。すなわち、波面曲率変調ドライバ７５によって、凸レンズ７３と可動ミラー７４との間隔を変更することによって、レーザ光束の波面曲率を変更することができる。そして、波面曲率の変更によって網膜走査ディスプレイ２によって表示する画像の奥行を変更することができるのである。
【００６８】
このように、光ファイバ１００から入射したレーザ光束がビームスプリッタ７２で反射し、凸レンズ７３を通った後、可動ミラー７４で反射され、その後再度、凸レンズ７３を通った後に、ビームスプリッタ７２を透過して水平走査部へ出射される。
【００６９】
この水平走査部は、光束を水平方向に走査するためのガルバノミラー８１と、このガルバノミラー８１を駆動させる水平走査ドライバ８２とを有しており、垂直走査部は、光束を垂直方向に走査するためのガルバノミラー９１と、このガルバノミラー９１を駆動させる垂直走査ドライバ９２とを備えている。
【００７０】
また、水平走査部と垂直走査部との間での光束を中継するリレー光学系８５を備えており、波面曲率が変調された光束が、ガルバノミラー８１によって水平方向に走査され、ガルバノミラー９１によって垂直方向に走査されて、第２のリレー光学系９５へ出射される。
【００７１】
このように、網膜走査ディスプレイ２は、映像信号を入力し、その映像信号に基づいて強度変調されたレーザ光束を生成して水平及び垂直に走査するとともに波面曲率を変調し、第２のリレー光学系からの瞳孔４１に光束を入射させて網膜４２上に画像を投影することによって、観察者の眼４０の瞳孔４１の前方のＲＳＤ表示領域Ｂに立体的な虚像を視認させることができるのである。
【００７２】
［画像分配回路１４の具体的な動作について］
次に、画像分配回路１４の具体的動作について、図面を参照して説明する。図５は画像分配回路１４による動作の説明図、図６は画像分配回路１４の動作フローチャートである。
【００７３】
本実施の形態における画像分配回路１４は、図５（ｂ）に示すように、３次元コンテンツ画像がＲＳＤ表示領域Ｂの内外にまたがるときに、３次元コンテンツ画像のうちＲＳＤ表示領域Ｂ内の画像部分を網膜走査ディスプレイ２により３次元として表示し、３次元コンテンツ画像のうちＲＳＤ表示領域Ｂ外の画像部分をプロジェクタ１により２次元画像として表示するものであり、その動作を以下説明する。
【００７４】
まず、画像表示システムＳの動作が開始すると、図６に示すように、３次元コンテンツ生成部１０によって生成され、第１フレームバッファ１２でバッファリングされた１フレーム分の３次元コンテンツ画像データ（Ｘ５×Ｙ５のピクセル画像を有するデータ）は、ピクセル座標検出部１８によって、点（Ｘ，Ｙ）のピクセル画像の輝度値（Ｒ，Ｇ，Ｂ）が、点（０，０）のピクセル画像から順に点（１，０）、・・・、点（Ｘ５，０）、点（０，１）、・・・、点（Ｘ５，１）というような順序で点（Ｘ５，Ｙ５）まで順次読み出される（ステップＳ１）。
【００７５】
次に、境界振分処理部２０によって、順次読み出されるピクセル画像の表示位置（Ｘ，Ｙ）が、Ｘ＜Ｘ１又はＸ＞Ｘ４であるか、或いはＹ＜Ｙ１又はＹ＞Ｙ４であるかが判定される（ステップＳ２）。すなわち、ピクセル画像の表示位置（Ｘ，Ｙ）がＲＳＤ表示領域Ｂ外であるか否かが判定されるのである。
【００７６】
ステップＳ２にて、ピクセル画像の表示位置（Ｘ，Ｙ）がＲＳＤ表示領域Ｂ外であると判定される（ステップＳ２：Ｙｅｓ）と、境界振分処理部２０は、スイッチ部２２を制御して第１バッファ１６へ、点（Ｘ，Ｙ）のピクセル画像の輝度値（Ｒ，Ｇ，Ｂ）に代えて輝度値（０，０，０）のピクセル画像を出力する（ステップＳ５）と共に、スイッチ部２２を制御して、ピクセル取出部１９によって第１フレームバッファ１２から取り出された点（Ｘ，Ｙ）のピクセル画像を、合成部１５を介して第２バッファ１７へ出力する（ステップＳ６）。このようにプロジェクタ表示領域Ａに表示すべき画像のうちプロジェクタ１のみで表示する背景画像に３次元コンテンツの画像を合成する。
【００７７】
また、ステップＳ２にて、ピクセル画像の表示位置（Ｘ，Ｙ）がＲＳＤ表示領域Ｂ外でないと判定される（ステップＳ２：Ｎｏ）と、境界振分処理部２０は、スイッチ部２２を制御して、ピクセル取出部１９によって第１フレームバッファ１２から取り出された点（Ｘ，Ｙ）のピクセル画像を第１バッファ１６へ出力する（ステップＳ３）と共に、スイッチ部２２を制御して第２バッファ１７へ、点（Ｘ，Ｙ）のピクセル画像の輝度値（Ｒ，Ｇ，Ｂ）に代えて輝度値（０，０，０）のピクセル画像を出力する（ステップＳ４）。
【００７８】
このように本実施形態における画像表示システムＳでは、３次元コンテンツ画像のうちＲＳＤ表示領域Ｂ内の画像部分を網膜走査ディスプレイ２により３次元として表示し、３次元コンテンツ画像のうちＲＳＤ表示領域Ｂ外の画像部分をプロジェクタ１により２次元画像として表示することができるので、スクリーンへの画像の投射と利用者の瞳孔への画像の投射とを組み合わせた画像表示システムＳを提供することが可能となる。
【００７９】
しかも、プロジェクタ１と網膜走査ディスプレイ２によって表示する画像を適宜適切に振り分けることによって、広画角化を実現するとともに、立体画像によるリアリティを保つようにしている。
【００８０】
ところで、画像表示システムＳの画像分配回路１４には、網膜走査ディスプレイ２の位置や方向を検出する位置方向検出手段（図示せず）が設けられている。この位置方向検出手段は、たとえば、網膜走査ディスプレイ２の利用者の視野前方を撮影するカメラ部と、このカメラ部にて撮影された映像を解析することにより、プロジェクタ１がスクリーンに画像を投射するプロジェクタ表示領域Ａを検出する画像解析部とを有している。
【００８１】
そして、位置方向検出手段は、たとえば、画像解析部によってプロジェクタ表示領域Ａを検出することによって、網膜走査ディスプレイ２の位置及び方向を検出し、利用者の瞳孔へ投射する画像を移動又は変更する。すなわち、画像解析部は、プロジェクタ１によってスクリーンに投射される表示領域Ａと網膜走査ディスプレイ２による表示可能な領域Ｂとの相対的な位置関係から、網膜走査ディスプレイ２によって表示する画像を選択する。これにより、網膜走査ディスプレイ２の位置及び方向によって第２の領域を移動及び変更することができ、網膜走査ディスプレイ２を利用者の頭にめがねのように取り付けたときであっても、利用者の頭の動きに応じて表示する画像が補正でき、違和感のない画像を表示することができる。
【００８２】
また、画像表示システムＳの画像分配回路１４には、利用者の視線方向を検出する視線方向検出手段（図示せず）も設けられている。この視線方向検出手段は、たとえば、利用者の瞳孔の位置を検出することによって利用者の視線方向を検出するものである。
【００８３】
そして、プロジェクタ１によってスクリーンに投射される表示領域Ａと網膜走査ディスプレイ２による表示可能な領域Ｂとの相対的な位置関係から、網膜走査ディスプレイ２によって表示する画像を選択する。これにより、この視線方向検出手段によって検出した利用者の視線方向に応じて、ＲＳＤ表示領域Ｂを移動又は変更することができ、たとえば網膜走査ディスプレイ２を利用者の頭にめがねのように取り付けたときであっても、利用者の視線方向に応じて表示する画像が補正でき、違和感のない画像を表示することができる。
【００８４】
なお、本実施の形態においては、３次元コンテンツ生成部１０により生成されたビデオ信号をフレームごとに第１フレームバッファ１２に蓄積し、この第１フレームバッファ１２からピクセル画像を取り出してピクセル画像の表示位置を判定することとしたが、直接ビデオ信号から表示位置を判定するようにしてもよい。
【００８５】
すなわち、第１フレームバッファ１２に代えて、３次元コンテンツのビデオ信号を入力するビデオ信号入力手段を設け、画像分配回路１４は、このビデオ信号入力手段に入力されたビデオ信号の波形から３次元コンテンツの表示位置を判定する。以下、図面を参照して具体的に説明する。
【００８６】
まず、水平方向における３次元コンテンツの表示位置の判定について、図７（ａ）を参照して説明する。図７（ａ）は、ビデオ信号入力手段から入力されたビデオ信号波形から抽出される水平同期信号と映像信号（図７においては輝度レベルを表している）とから、画像分配回路１４によって生成される第１画像用信号と第２画像用信号との関係を表す図である。
【００８７】
画像分配回路１４は、ビデオ信号入力手段から入力されたビデオ信号波形から水平同期信号を検出する。そして、画像分配回路１４は、図７（ａ）に示すように、水平同期信号を検出したときからの経過時間に基づいて、所定区間（Ｘ１〜Ｘ４の信号領域）のビデオ信号を、第２画像用信号として出力する。また、画像分配回路１４は、水平同期信号を検出したときからの経過時間に基づいて、所定区間（Ｘ０〜Ｘ１、Ｘ４〜Ｘ５の信号領域）のビデオ信号を、第１画像用信号として出力する。
【００８８】
次に、垂直方向における３次元コンテンツの表示位置の判定について、図７（ｂ）を参照して説明する。図７（ｂ）は、ビデオ信号入力手段から入力されたビデオ信号波形から抽出される垂直同期信号、水平同期信号及び映像信号から、画像分配回路１４によって生成される第１画像信号と第２画像信号との関係を表す図である。なお、説明を簡単にするために、この図７（ｂ）における映像信号は、水平同期信号間ほぼ変化しないものとし、垂直同期信号間一水平走査期間（例えば図７（ａ））の映像信号と同様な形態の波形で簡略化して表記する。また、水平同期信号と垂直同期信号も通常のものより信号波形を簡略化して表記している。また、図７（ａ）、図７（ｂ）において、垂直同期信号間、水平同期信号間のブランキング区間は、第１画像用信号と第２画像用信号とで一致しなくてもよいことは言うまでもない。
【００８９】
画像分配回路１４は、ビデオ信号入力手段から入力されたビデオ信号波形から垂直同期信号を検出する。そして、画像分配回路１４は、垂直同期信号を検出したときからの経過時間に基づいて、所定区間（Ｙ１〜Ｙ４の信号領域）のビデオ信号を、第２画像用信号として出力する。また、画像分配回路１４は、水平同期信号を検出したときからの経過時間に基づいて、所定区間（Ｙ０〜Ｙ１、Ｙ４〜Ｙ５の信号領域）のビデオ信号を、第１画像用信号として出力する。なお、所定区間（Ｙ１〜Ｙ４の信号領域）であっても、所定区間（Ｘ０〜Ｘ１、Ｘ４〜Ｘ５の信号領域）のビデオ信号は、第１画像用信号として出力される。
【００９０】
このように画像分配回路１４は、ビデオ信号波形の水平信号同期信号及び垂直同期信号を検出したときからの経過時間に基づいて、ビデオ信号の波形から３次元コンテンツの表示位置を判定する。すなわち、ビデオ信号波形に基づいて、プロジェクタ表示領域Ａに表示すべき画像と、ＲＳＤ表示領域Ｂに表示すべき画像とを判定する。ビデオ信号波形から３次元コンテンツ画像の表示位置を検出することができるので、その表示位置を検出するための構成が複雑になることを回避することができる。
【００９１】
（第２実施形態）
本第２実施形態は、３次元コンテンツの特定位置（たとえば、中心部分）がＲＳＤ表示領域Ｂ内にあるときには３次元コンテンツを網膜走査ディスプレイ２により３次元画像として表示し、この特定位置がＲＳＤ表示領域Ｂ外にあるときには３次元コンテンツをプロジェクタにより２次元画像として表示するようにしたものである。
【００９２】
なお、本第２実施形態は、第１実施形態における画像分配回路１４の動作が一部異なるものの、それ以外の構成及び動作は同じである。したがって、画像表示システムＳの構成の説明はここでは省略し、以下、第１実施形態と異なる部分である画像分配回路１４について説明する。
【００９３】
本実施の形態における画像分配回路１４は、上述のように３次元コンテンツ画像がＲＳＤ表示領域Ｂの内外にまたがると判定したとき、３次元コンテンツ画像の特定位置（たとえば、３次元コンテンツの中心）がＲＳＤ表示領域Ｂ内のときには、３次元コンテンツ画像を網膜走査ディスプレイ２により３次元として表示し（図８（ａ）参照）、３次元コンテンツの特定位置がＲＳＤ表示領域Ｂ外にあるときには、３次元コンテンツをプロジェクタ１により２次元画像として表示するものである（図８（ｂ）参照）。
【００９４】
画像表示システムＳの動作が開始すると、図９に示すように、３次元コンテンツ生成部１０によって生成され、第１フレームバッファ１２でバッファリングされた１フレーム分の画像データ（Ｘ５×Ｙ５のピクセル画像を有するデータ）は、ピクセル座標検出部１８によって、点（Ｘ，Ｙ）のピクセル画像の輝度値（Ｒ，Ｇ，Ｂ）が、点（０，０）のピクセル画像から順に点（１，０）、・・・、点（Ｘ５，０）、点（０，１）、・・・、点（Ｘ５，１）というような順序で点（Ｘ５，Ｙ５）まで順次読み出すと共に、３次元コンテンツにおける複数のピクセル画像の座標位置を取得する（ステップＳ１０）。
【００９５】
次に、境界振分処理部２０によって、取得された３次元コンテンツにおける複数のピクセル画像の座標位置に基づいて、３次元コンテンツ画像の中心位置（Ｘａ、Ｙａ）が判定される。この中心位置は、一般的な平面図形の重心位置の算出方法によって算出される（ステップＳ１１）。なお、ピクセル画像が３次元コンテンツであるか否かは、ピクセル座標検出部１８によって、ピクセル座標が３次元ピクセル座標であるか否かで判定される。つまり、ピクセル座標に奥行Ｚ方向の座標が含まれるか否かを判定する。
【００９６】
その後、３次元コンテンツの中心位置（Ｘａ、Ｙａ）がＸ１＜Ｘａ＜Ｘ４でかつＹ１＜Ｙａ＜Ｙ４内にあるか判定する（ステップＳ１２）。すなわち、３次元コンテンツの中心位置（Ｘａ、Ｙａ）が網膜走査ディスプレイ２の表示領域であるＲＳＤ表示領域Ｂ内であるかが判定されるのである。
【００９７】
ステップＳ１２にて、３次元コンテンツの中心位置（Ｘａ，Ｙａ）がＲＳＤ表示領域Ｂ内であると判定される（ステップＳ１２：Ｙｅｓ）と、境界振分処理部２０は、そのコンテンツの中心位置のピクセル画像に対応する奥行ＺがＺ０よりも大きいか否かを判定する（ステップＳ１３）。
【００９８】
そして、ステップＳ１３にて、３次元コンテンツの中心位置（Ｘａ，Ｙａ）のピクセル画像に対応する奥行ＺがＺ０以上ではないと判定されると（ステップＳ１３：Ｎｏ）、境界振分処理部２０は、スイッチ部２２を制御し、３次元コンテンツ画像のすべてのピクセル画像を第１バッファ１６へ出力する（ステップＳ１４）。
【００９９】
一方、ステップＳ１２にて、３次元コンテンツの中心位置（Ｘａ，Ｙａ）がＲＳＤ表示領域Ｂ内でないと判定（ステップＳ１２：Ｎｏ）したとき、ステップＳ１３にて、コンテンツの中心位置のピクセル画像に対応する奥行ＺがＺ０以上であると判定（ステップＳ１３：Ｙｅｓ）したとき、境界振分処理部２０は、スイッチ部２２を制御して、３次元コンテンツ画像のすべてのピクセル画像を合成部１５へ出力する。このようにプロジェクタ表示領域Ａに表示すべき画像のうちプロジェクタ１のみで表示する背景画像に３次元コンテンツ画像を合成部１５によって合成し、第２バッファへ出力する（ステップＳ１４）。
【０１００】
このように本実施形態における画像表示システムＳでは、３次元コンテンツの中心位置などの特定ポイントで判定することができるため、その判定が容易となる。すなわち、３次元コンテンツ画像内の特定位置がどの領域にあるか判定するだけでよく、３次元コンテンツ画像全部の画素について行なう必要がない。
【０１０１】
しかも、３次元コンテンツの特定位置画像に対応する奥行情報を判定して、特定位置画像の奥行が所定奥行よりも小さいのときには網膜走査ディスプレイ２で表示させ、特定位置画像の奥行が所定奥行よりも大きいときにはプロジェクタ１で表示させるようにしているため、３次元コンテンツの立体性を維持することができる。
【０１０２】
（第３実施形態）
本第３の実施形態における画像表示システムＳは、３次元コンテンツを構成する複数の３次元ピクセル座標がＲＳＤ表示領域Ｂの内外にまたがると判定したとき、ＲＳＤ表示領域Ｂの外縁近傍の第３の領域Ｃ（フェード領域Ｃ）とこの第３の領域Ｃ以外の領域とで輝度、色、奥行の少なくとも一方を異ならせしめることによって、分かれ目を感じさせにくい画像を表示するものである。
【０１０３】
なお、本第３実施形態は、第１実施形態における画像分配回路１４の動作が一部異なるものの、それ以外の構成及び動作は同じである。したがって、画像表示システムＳの構成の説明はここでは省略し、以下、第１実施形態と異なる部分である画像分配回路１４について説明する。
【０１０４】
本実施の形態における画像分配回路１４は、図１０，図１１に示すように、ＲＳＤ表示領域Ｂの内外にまたがる３次元コンテンツを表示する際に、ＲＳＤ表示領域Ｂ内に表示する３次元コンテンツ画像のうちＲＳＤ表示領域Ｂの外縁近傍の第３の領域であるフェード領域Ｃにおけるピクセル画像を、補正部２１によって、第３の領域Ｃ以外の領域のピクセル画像に比べてＲＳＤ表示領域Ｂ外に近づくにしたがって徐々に明るさを暗くすると共に奥行とを大きくするように補正し、網膜走査ディスプレイ２から表示させるように制御する（図１１（ａ）参照）。
【０１０５】
また、３次元コンテンツのうちＲＳＤ表示領域Ｂ外の画像をプロジェクタ１により２次元画像として表示すると共に、３次元コンテンツ画像のうちフェード領域Ｃに位置するピクセル画像を、補正部２１によって、ＲＳＤ表示領域Ｂ外のピクセル画像に比べてＲＳＤ表示領域Ｂの中心に近づくにしたがって徐々に明るさを暗くするように補正し、プロジェクタ１から表示させるように制御する（図１１（ｂ）参照）。以下、これらの動作を説明する。
【０１０６】
まず、画像表示システムＳの動作が開始すると、図１２に示すように、３次元コンテンツ生成部１０によって生成され、第１フレームバッファ１２でバッファリングされた１フレーム分の画像データ（Ｘ５×Ｙ５のピクセル画像を有するデータ）は、ピクセル座標検出部１８によって、点（Ｘ，Ｙ）のピクセル画像の輝度値（Ｒ，Ｇ，Ｂ）が、点（０，０）のピクセル画像から順に点（１，０）、・・・、点（Ｘ５，０）、点（０，１）、・・・、点（Ｘ５，１）というような順序で点（Ｘ５，Ｙ５）まで順次読み出される（ステップＳ２０）。
【０１０７】
次に、境界振分処理部２０によって、順次読み出されるピクセル画像の表示位置（Ｘ，Ｙ）が、Ｘ＜Ｘ１又はＸ＞Ｘ４であるか、或いはＹ＜Ｙ１又はＹ＞Ｙ４であるかが判定される（ステップＳ２１）。すなわち、ピクセル画像の表示位置（Ｘ，Ｙ）がＲＳＤ表示領域Ｂ外であるかが判定されるのである。
【０１０８】
ステップＳ２１にて、ピクセル画像の表示位置（Ｘ，Ｙ）がＲＳＤ表示領域Ｂ外であると判定される（ステップＳ２１：Ｙｅｓ）と、境界振分処理部２０は、スイッチ部２２を制御して第１バッファ１６へ、点（Ｘ，Ｙ）のピクセル画像の輝度値（Ｒ，Ｇ，Ｂ）に代えて輝度値（０，０，０）のピクセル画像を出力する（ステップＳ２２）と共に、スイッチ部２２を制御して、ピクセル取出部１９によって第１フレームバッファ１２から取り出された点（Ｘ，Ｙ）のピクセル画像を、合成部１５を介して第２バッファ１７へ出力する（ステップＳ２３）。このようにプロジェクタ表示領域Ａに表示すべき画像のうちプロジェクタ１のみで表示する背景画像に３次元コンテンツの画像を合成する。
【０１０９】
また、ステップＳ２１にて、ピクセル画像の表示位置（Ｘ，Ｙ）がＲＳＤ表示領域Ｂ外でないと判定する（ステップＳ２１：Ｎｏ）と、境界振分処理部２０は、さらに、順次読み出されるピクセル画像の表示位置（Ｘ，Ｙ）が、Ｘ２＜Ｘ＜Ｘ３でかつＹ２＜Ｙ＜Ｙ３であるかを判定する（ステップＳ２４）。
【０１１０】
ステップＳ２４にて、ピクセル画像の表示位置（Ｘ，Ｙ）が、Ｘ２＜Ｘ＜Ｘ３でかつＹ２＜Ｙ＜Ｙ３であると判定する（ステップＳ２４：Ｙｅｓ）と、境界振分処理部２０は、スイッチ部２２を制御して、ピクセル取出部１９によって第１フレームバッファ１２から取り出された点（Ｘ，Ｙ）のピクセル画像を奥行Ｚをそのまま維持して第１バッファ１６へ出力する（ステップＳ２５）と共に、スイッチ部２２を制御して第２バッファ１７へ、点（Ｘ，Ｙ）のピクセル画像の輝度値（Ｒ，Ｇ，Ｂ）に代えて輝度値（０，０，０）のピクセル画像を出力する（ステップＳ２６）。
【０１１１】
また、ステップＳ２４にて、ピクセル画像の表示位置（Ｘ，Ｙ）が、Ｘ２＜Ｘ＜Ｘ３でかつＹ２＜Ｙ＜Ｙ３でないと判定（ステップＳ２４：Ｎｏ）すると、ステップＳ３０の処理を実行する。この処理は、フェード領域にある画像処理を実行するものであり、その処理動作を図１３にフローチャートを示す。
【０１１２】
図１３に示すように、境界振分処理部２０は、ピクセル画像の表示位置（Ｘ，Ｙ）が、Ｘ２≦Ｘ≦Ｘ３でかつＹ２≦Ｙ≦Ｙ３にあるかを判定する（ステップＳ３１）。
【０１１３】
ステップＳ３１にて、ピクセル画像の表示位置（Ｘ，Ｙ）が、Ｘ２≦Ｘ≦Ｘ３でかつＹ２≦Ｙ３にあると判定すると（ステップＳ３１：Ｙｅｓ）、点（Ｘ，Ｙ）のピクセル画像の輝度（Ｒ，Ｇ，Ｂ）を補正部２１によってＸ方向に関して、プロジェクタ１用のピクセル画像と網膜走査ディスプレイ２用のピクセル画像とを生成する（ステップＳ３２）。
【０１１４】
すなわち、補正部２１によって生成されるピクセル画像は、
ａ）網膜走査ディスプレイ２用のピクセル画像
輝度（Ｒ１，Ｇ１，Ｂ１）＝Ｆy（Ｙ）×（Ｒ，Ｇ，Ｂ）
奥行Ｚ＝Ｈy（Ｙ）×Ｚ
ｂ）プロジェクタ１用のピクセル画像
輝度（Ｒ２，Ｇ２，Ｂ２）＝Ｇy（Ｙ）×（Ｒ，Ｇ，Ｂ）
奥行Ｚ＝Ｈy（Ｙ）×Ｚ
【０１１５】
ここで、本実施の形態においては、関数Ｆy（Ｙ）、Ｇy（Ｙ）、Ｈy（Ｙ）として、例えばＹ１≦Ｙ≦Ｙ２の区間では、Ｆy（Ｙ）＝｛１／（Ｙ２−Ｙ１）｝×（Ｙ−Ｙ１）、Ｇy（Ｙ）＝１−Ｆy（Ｙ）、Ｈy（Ｙ）＝｛（Ｚ０―１）／（Ｙ２−Ｙ１）｝×（Ｙ−Ｙ１）＋１とするが、以下の条件を満たす関数であればどのような関数であってもよい。
Ｆy（Ｙ１）＝０、Ｇy（Ｙ１）＝１、Ｈy（Ｙ１）＝Ｚ０
Ｆy（Ｙ２）＝１、Ｇy（Ｙ２）＝０、Ｈy（Ｙ２）＝１
ｄＦy（Ｙ１≦Ｘ≦Ｙ２）／ｄｔ≧０
ｄＧy（Ｙ１≦Ｘ≦Ｙ２）／ｄｔ≦０
ｄＨy（Ｙ１≦Ｘ≦Ｙ２）／ｄｔ≦０（Ｚ０≧１の時）
ｄＨy（Ｙ１≦Ｘ≦Ｙ２）／ｄｔ≧０（Ｚ０＜１の時）
ここで、Ｚ０は予め決められた奥行位置である。
【０１１６】
一方、ステップＳ３１にて、ピクセル画像の表示位置（Ｘ，Ｙ）が、Ｘ２≦Ｘ≦Ｘ３でかつＹ２≦Ｙ≦Ｔ３ではないと判定すると（ステップＳ３１：Ｎｏ）、点（Ｘ，Ｙ）のピクセル画像の輝度（Ｒ，Ｇ，Ｂ）を補正部２１によってＸ方向に関して、プロジェクタ１用の輝度（Ｒ１，Ｇ１，Ｂ１）のピクセル画像と網膜走査ディスプレイ２用の輝度（Ｒ２，Ｇ２，Ｂ２）のピクセル画像とする（ステップＳ３３）。このとき、（Ｒ１，Ｇ１，Ｂ１）＝（Ｒ２，Ｇ２，Ｂ２）＝（Ｒ，Ｇ，Ｂ）とする。
【０１１７】
ステップＳ３２或いはステップＳ３３の処理が完了すると、点（Ｘ，Ｙ）のＸ方向に関する処理後のピクセル画像の輝度（Ｒ１，Ｇ１，Ｂ１）を補正部２１によってＹ方向に関して、プロジェクタ１用のピクセル画像と網膜走査ディスプレイ２用のピクセル画像とを生成する（ステップＳ３４）。
【０１１８】
すなわち、補正部２１によって生成されるピクセル画像は、
ａ）網膜走査ディスプレイ２用のピクセル画像
輝度（Ｒ１，Ｇ１，Ｂ１）＝Ｆx（Ｘ）×（Ｒ１，Ｇ１，Ｂ１）
奥行Ｚ＝Ｈx（Ｘ）×Ｚ
ｂ）プロジェクタ１用のピクセル画像
輝度（Ｒ２，Ｇ２，Ｂ２）＝Ｇx（Ｘ）×（Ｒ，Ｇ，Ｂ）
奥行Ｚ＝Ｈx（Ｘ）×Ｚ
【０１１９】
ここで、本実施の形態においては、関数Ｆx（Ｘ）、Ｇx（Ｘ）、Ｈx（Ｘ）として、例えばＸ１≦Ｘ≦Ｘ２の区間では、Ｆx（Ｘ）＝｛１／（Ｘ２−Ｘ１）｝×（Ｘ−Ｘ１）、Ｇx（Ｘ）＝１−Ｆx（Ｘ）、Ｈx（Ｘ）＝｛（Ｚ０―１）／（Ｘ２−Ｘ１）｝×（Ｘ−Ｘ１）＋１とするが、以下の条件を満たす関数であればどのような関数であってもよい。
Ｆx（Ｘ１）＝０、Ｇx（Ｘ１）＝１、Ｈx（Ｘ１）＝Ｚ０
Ｆx（Ｘ２）＝１、Ｇx（Ｘ２）＝０、Ｈx（Ｘ２）＝１
ｄＦx（Ｘ１≦Ｘ≦Ｘ２）／ｄｔ≧０
ｄＧx（Ｘ１≦Ｘ≦Ｘ２）／ｄｔ≦０
ｄＨx（Ｘ１≦Ｘ≦Ｘ２）／ｄｔ≦０（Ｚ０≧１の時）
ｄＨx（Ｘ１≦Ｘ≦Ｘ２）／ｄｔ≧０（Ｚ０＜１の時）
【０１２０】
ステップＳ３４の処理が完了すると、境界振分処理部２０は、スイッチ部２２を制御し、網膜走査ディスプレイ２用のピクセル画像（Ｒ１，Ｇ１，Ｂ１）を第１バッファ１６へ出力する（ステップＳ３５）。
【０１２１】
また、境界振分処理部２０は、スイッチ部２２を制御して、プロジェクタ１用のピクセル画像（Ｒ２，Ｇ２，Ｂ２）を、合成部１５を介して第２バッファ１７へ出力する（ステップＳ３６）。このようにプロジェクタ表示領域Ａに表示すべき画像のうちプロジェクタ１のみで表示する背景画像に３次元コンテンツの一部の画像を合成する。
【０１２２】
以上のように本実施形態における画像表示システムＳでは、特定画像が第２の領域内と第２の領域外とにまたがって位置しているときに、特定画像を第２の領域の外縁近傍付近で、画像奥行きを異ならしめて前記第２画像表示装置により表示するため、たとえば、特定画像を第２の領域の外縁近傍に近くなるにしたがってスクリーンに表示する画像と視覚的に同程度の奥行きになるようにすれば、より第２の領域外縁で画像の分かれ目を利用者に感じにくくすることができる。
【０１２３】
しかも、３次元コンテンツの奥行情報を補正して、フェード領域Ｃで徐々に奥行を変化させるようにしているため、３次元コンテンツの立体性を維持することができる。
【０１２４】
なお、フェード領域Ｃを３次元コンテンツの大きさによって異ならしめるようにしてもよい。この場合、ピクセル座標検出部１８によって、３次元コンテンツにおける複数のピクセル画像の座標位置を取得する。その後、境界振分処理部２０によって、ピクセル座標検出部１８によって取得した複数の座標位置から３次元コンテンツの大きさを判定する。そして、フェード領域Ｃの面積を変更する。
【０１２５】
たとえば、３次元コンテンツが大きいときにはフェード領域Ｃを広げ、３次元コンテンツが小さいときにはフェード領域Ｃを狭くするように制御する。
【０１２６】
このように特定画像である３次元コンテンツの大きさによって、プロジェクタ１及び網膜走査ディスプレイ２の両方から３次元コンテンツを表示するフェード領域Ｃが異なることとなるから、より第２の領域外縁で画像の分かれ目を利用者に感じにくくすることができる。
【０１２７】
また、本実施形態において、直接ビデオ信号から表示位置を判定する場合、ビデオ信号波形から抽出される水平同期信号や垂直同期信号と映像信号とから、画像分配回路１４によって生成される第１画像信号と第２画像信号との関係を図１４に示す。本実施形態における動作は基本的に第１実施形態と同様であるが、特定区間（Ｘ１〜Ｘ２，Ｘ３〜Ｘ４，Ｙ１〜Ｙ２，Ｙ３〜Ｙ４の信号領域）に補正を行って第１画像用信号及び第２画像用信号を生成する点で異なる。なお、説明を簡単にするために、この図１４（ｂ）における映像信号は、水平同期信号間ほぼ変化しないものとし、垂直同期信号間一水平走査期間（例えば図１４（ａ））の映像信号と同様な形態の波形で簡略化して表記する。また、水平同期信号と垂直同期信号も通常のものより信号波形を簡略化して表記している。また、図１４（ａ）、図１４（ｂ）において、垂直同期信号間、水平同期信号間のブランキング区間は、第１画像用信号と第２画像用信号とで一致しなくてもよいことは言うまでもない。
【０１２８】
画像分配回路１４は、ビデオ信号入力手段から入力されたビデオ信号波形から水平同期信号を検出する。そして、画像分配回路１４は、図１４（ａ）（ｂ）に示すように、水平同期信号や垂直同期信号を検出したときからの経過時間に基づいて、特定区間（Ｘ１〜Ｘ４の信号領域で、かつＹ１〜Ｙ４の信号領域）のビデオ信号を、このビデオ信号のうち所定区間（Ｘ１〜Ｘ２，Ｘ３〜Ｘ４，Ｙ１〜Ｙ２，Ｙ３〜Ｙ４の信号領域）に所定の補正を加えた後に第２画像用信号として出力する。また、画像分配回路１４は、水平同期信号や垂直同期信号を検出したときからの経過時間に基づいて、所定区間（Ｘ０〜Ｘ２，Ｘ３〜Ｘ５，Ｙ０〜Ｙ２，Ｙ３〜Ｙ５の信号領域）のビデオ信号を、このビデオ信号のうち特定区間（Ｘ１〜Ｘ２，Ｘ３〜Ｘ４，Ｙ１〜Ｙ２，Ｙ３〜Ｙ４の信号領域）に所定の補正を加えた後に第１画像用信号として出力する。
【０１２９】
このように、ビデオ信号波形に基づいて、プロジェクタ表示領域Ａに表示すべき画像と、ＲＳＤ表示領域Ｂに表示すべき画像と判定する。ビデオ信号波形から３次元コンテンツ画像の表示位置を検出することができるので、その表示位置を検出するための構成が複雑になることを回避することができる。
【０１３０】
なお、本実施形態においては、第１〜第３実施形態に分けてその動作を説明したが、これらを組み合わせるようにしてもよい。
【０１３１】
たとえば、画像分配回路１４において、３次元コンテンツを構成する複数の３次元ピクセル座標がＲＳＤ表示領域Ｂの内外にまたがるときの画像分配方法として、以下の（１）〜（３）の画像分配方法の選択を可能とする構成とする。そして、この選択手段として入力手段（図示せず）によって、これらのうちいずれかを選択することによって、画像分配回路１４に選択した画像分配方法により画像を分配するのである。
【０１３２】
（１）３次元コンテンツのうちＲＳＤ表示領域Ｂ内の画像部分を網膜走査ディスプレイ２により３次元として表示し、３次元コンテンツのうちＲＳＤ表示領域Ｂ外の画像部分をプロジェクタ１により２次元画像として表示する。
【０１３３】
（２）３次元コンテンツの特定位置がＲＳＤ表示領域Ｂ内にあるときには３次元コンテンツを網膜走査ディスプレイ２により３次元画像として表示し、この特定位置がＲＳＤ表示領域Ｂ外にあるときには３次元コンテンツをプロジェクタにより２次元画像として表示する。
【０１３４】
（３）３次元コンテンツのうちＲＳＤ表示領域Ｂ内の画像を、補正部２１によってＲＳＤ表示領域Ｂの外縁近傍の第３の領域Ｃとこの第３の領域Ｃ以外の領域とで輝度及び色の少なくとも一方を異ならせしめて網膜走査ディスプレイにより３次元画像として表示する。また、３次元コンテンツのうちＲＳＤ表示領域Ｂ外の画像をプロジェクタ１により２次元画像として表示すると共に、補正部２１によって第３の領域Ｃの画像をＲＳＤ表示領域Ｂ外の画像に比して輝度及び色の少なくとも一方を異ならせしめてプロジェクタ１により２次元画像として表示する。
【０１３５】
また、第１、２画像表示装置が奥行き方向を表示できない２次元表示の場合でも、お互いの表示位置が異なることを利用し、ＲＳＤ表示領域Ｂの内外で両ディスプレイをコンテンツが行き来するように実施してもよい。また、コンテンツも３次元でなくても良く、２次元でもよい。
【０１３６】
また、上述の第１〜第３実施形態においては、第１画像表示装置としてプロジェクタを例示して説明したが、プロジェクタに代えて大型液晶テレビや大型プラズマディスプレイなど種々の大画面ディスプレイを用いてもよい。
【図面の簡単な説明】
【０１３７】
【図１】本発明の実施形態における画像表示システムの全体構成を示す図である。
【図２】画像表示システムにおける表示領域の説明図である。
【図３】画像表示システムにおけるプロジェクタの構成を示す図である。
【図４】画像表示システムにおける網膜走査ディスプレイの構成を示す図である。
【図５】第１実施形態における画像分配回路による動作の説明図である。
【図６】第１実施形態における画像分配回路による動作フローチャートである。
【図７】第１実施形態における画像分配回路においてビデオ信号の波形から３次元コンテンツの表示位置を判定する動作の説明図である。
【図８】第２実施形態における画像分配回路による動作の説明図である。
【図９】第２実施形態における画像分配回路による動作フローチャートである。
【図１０】第３実施形態における画像分配回路による動作の説明図である。
【図１１】第３実施形態における表示領域の説明図である。
【図１２】第３実施形態における画像分配回路による動作フローチャートである。
【図１３】第３実施形態における画像分配回路による動作フローチャートである。
【図１４】第３実施形態における画像分配回路においてビデオ信号の波形から３次元コンテンツの表示位置を判定する動作の説明図である。
【符号の説明】
【０１３８】
Ｓ  画像表示システム
１  プロジェクタ
２  網膜走査ディスプレイ
１０  ３次元コンテンツ生成部
１１  背景コンテンツ生成部
１２  第１フレームバッファ
１３  第２フレームバッファ
１４  画像分配回路
１５  合成部
１６  第１バッファ
１７  第２バッファ
１８  ピクセル座標検出部
１９  ピクセル取出部
２０  境界振分処理部
２１  補正部
２２  スイッチ部
【図１】
0004735234.tif 000002
【図２】
0004735234.tif 000003
【図３】
0004735234.tif 000004
【図４】
0004735234.tif 000005
【図５】
0004735234.tif 000006
【図６】
0004735234.tif 000007
【図７】
0004735234.tif 000008
【図８】
0004735234.tif 000009
【図９】
0004735234.tif 000010
【図１０】
0004735234.tif 000011
【図１１】
0004735234.tif 000012
【図１２】
0004735234.tif 000013
【図１３】
0004735234.tif 000014
【図１４】
0004735234.tif 000015