(57)【要約】      （修正有）【課題】広範囲な視野を確保しつつ，活動を良好に行うことができるようにする。【解決手段】ＨＭＤは、それぞれ広角レンズを有する左右の各カメラ部により、現実空間を撮影し、左視点画像と右視点画像とを撮影する。各視点画像の中央部からそれぞれ主画像ＧＣを、またその周辺から左副画像ＧＬ、右副画像ＧＲを取り出す。各主画像ＧＣは広角レンズの歪曲収差を補正されてから、左眼の前方、右眼の前方に表示されて立体視される。左副画像ＧＬ、右副画像ＧＲは、補正されずに主画像ＧＣの左右に表示される。【選択図】図４
2011205358.tif 000002
【特許請求の範囲】
【請求項１】
装着者の頭部に装着されて使用されるヘッドマウントディスプレイ装置において、
装着者と略同一の左右の視点からそれぞれ広角レンズを介して現実空間の撮影を行う左右一対のカメラを有し、左カメラで左視点画像を、右カメラで右視点画像を撮影する撮影手段と、
視点画像の中央部を主画像とし、視点画像の周辺部を副画像として、左右の各視点画像のそれぞれから取り出す画像分割手段と、
前記主画像に対する広角レンズの歪曲収差を補正する歪み補正手段と、
装着者の左眼の前方に設けられ左視点画像から得られる主画像を表示する左側主画面、及び右眼の前方に設けられ右視点画像から得られる主画像を表示する右側主画面からなり、主画像を立体視させる主画像表示手段と、
前記各主画面の周囲に副画像を表示する副画面を有する副画像表示手段とを備えることを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
前記画像分割手段は、主画像の一部と重複させて各視点画像から副画像を取り出すことを特徴とする請求項１記載のヘッドマウントディスプレイ装置。
【請求項３】
前記画像分割手段は、副画像を主画像の左側及び右側から取り出し、
前記副画像表示手段は、主画面の左右に配された副画面に対応する副画像を表示することを特徴とする請求項１または２記載のヘッドマウントディスプレイ装置。
【請求項４】
前記画像分割手段は、副画像を主画像の上下左右から取り出し、
前記副画像表示手段は、主画面の上下左右に配された副画面に対応する副画像を表示することを特徴とする請求項１または２記載のヘッドマウントディスプレイ装置。
【請求項５】
装着者の頭部の動きを検出する動き検出手段と、
前記動き検出手段の検出結果に応じて、表示モードを３Ｄモードと２Ｄモードとのいずれか一方に決定するモード制御手段と、
３Ｄモードでは、左視点画像から得られる主画像を左側主画面に表示するとともに、右視点画像から得られる主画像を右側主画面に表示させ、２Ｄモードでは、いずれか一方の視点画像から得られる主画像を左側主画面及び右側主画面にそれぞれ表示させる表示切り替え手段とを備えることを特徴とする請求項１ないし４のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項６】
前記モード制御手段は、動き検出手段によって動きが検出されている場合に、表示モードを３Ｄモードとし、動きが検出されていない場合に表示モードを２Ｄモードとすることを特徴とする請求項５記載のヘッドマウントディスプレイ装置。
【請求項７】
前記モード制御手段は、動き検出手段によって検出される動きの速度が所定値以上である場合に表示モードを３Ｄモードとし、動きの速度が所定値未満である場合に表示モードを２Ｄモードとすることを特徴とする請求項５記載のヘッドマウントディスプレイ装置。
【請求項８】
主画像または副画像上での装着者の視点位置を検出する視点検出手段と、
前記視点検出手段の検出結果に応じて、表示モードを３Ｄモードと２Ｄモードとのいずれか一方を選択するモード制御手段と、
３Ｄモードでは、左視点画像から得られる主画像を左側主画面に表示するとともに、右視点画像から得られる主画像を右側主画面に表示させ、２Ｄモードでは、いずれか一方の視点画像から得られる主画像を左側主画面及び右側主画面にそれぞれ表示させる表示切り替え手段とを備えることを特徴とする請求項１ないし４のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項９】
右視点画像と左視点画像から得られる対応する副画像同士の視差を用いて、装着者に接近する物体を検出する接近検出手段と、
装着者に接近する物体が検出されたときに、検出された副画像が表示される副画面に報知表示を行う報知手段とを備えることを特徴とする請求項１ないし８のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項１０】
主画像または副画像に付加情報を重畳させて表示させる付加情報合成手段を備えることを特徴とする請求項１ないし９のいずれか１項に記載のヘッドマウントディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部に装着した状態で画像を見ることができるヘッドマウントディスプレイ装置に関するものである。
【背景技術】
【０００２】
頭部に装着して装着者の眼前に映像を表示するヘッドマウントディスプレイ装置（以下、ＨＭＤという）が知られている。このＨＭＤの利用用途には様々なものがあるが、その１つには現実空間（外部の景色）に各種の付加情報（以下、ＡＲ情報という）を重ねて表示することによって情報を提供するものがある。このような用途で使用されるＨＭＤとしては、光透過型、ビデオ透過型がある。光透過型のＨＭＤでは、現実空間と液晶などに表示されるＡＲ情報とを、例えばハーフミラーで重ねて観察できるようにしている。一方のビデオ透過型では、使用者の視点からビデオカメラで現実空間を撮影し、その撮影で得られる外部映像にＡＲ情報を合成したものを使用者に観察させるようにしている。
【０００３】
上記ビデオ透過型のＨＭＤでは、装着者の観察できる視野がビデオカメラの撮影画角で制限されるため、通常では非装着状態に比べて視野が狭くなってしまう。しかしながら、このようなＨＭＤを装着した状態で装着者が活動する場合には、視野の制限の影響を受けて周囲、特に視野から外れる左右方向などの障害物に接触する可能性が高くなるという問題があった。
【０００４】
眼の前方に配される画像出力部と外部の障害物との距離を測定する探知センサを設け、探知センサの検出結果に基づいて、障害物が画像出力部と接触する可能性が高い距離まで近づいたときに、画像出力部を保持したアームを後退させて障害物との接触を回避するようにしたＨＭＤが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２３３９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１のようにＨＭＤの一部を移動させることでは、障害物を避けることができず、装着者自身が回避しなければならないことも多い。したがって、ビデオ透過型のＨＭＤを装着した状態でも広い視野を確保することが好ましい。そこで、視野を広くするために、焦点距離が短く広い範囲を撮影できる広角レンズを用いて現実空間を撮影することが考えられる。しかし、このような広角レンズでは、撮影される画像に歪みの程度が大きい。このため、広角レンズを用いた場合では、装着者に広い視野を提供できるが、観察される現実空間が歪んでしまい、装着者の活動に支障をきたすという問題があった。
【０００７】
本発明は、上記課題を鑑みてなされたものであって、広範囲な視野を確保しつつ，活動を良好に行うことができるヘッドマウントディスプレイ装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を達成するために請求項１記載のヘッドマウントディスプレイ装置では、装着者と略同一の左右の視点からそれぞれ広角レンズを介して現実空間の撮影を行う左右一対のカメラを有し、左カメラで左視点画像を、右カメラで右視点画像を撮影する撮影手段と、
視点画像の中央部を主画像とし、視点画像の周辺部を副画像として、左右の各視点画像のそれぞれから取り出す画像分割手段と、主画像に対する広角レンズの歪曲収差を補正する歪み補正手段と、装着者の左眼の前方に設けられ左視点画像から得られる主画像を表示する左側主画面、及び右眼の前方に設けられ右視点画像から得られる主画像を表示する右側主画面からなり、主画像を立体視させる主画像表示手段と、各主画面の周囲に副画像を表示する副画面を有する副画像表示手段とを備えるものである。
【０００９】
請求項２記載のヘッドマウントディスプレイ装置では、画像分割手段を、主画像の一部と重複させて各視点画像から副画像を取り出すようにしたものである。
【００１０】
請求項３記載のヘッドマウントディスプレイ装置では、画像分割手段が、副画像を主画像の左側及び右側から取り出し、副画像表示手段を、主画面の左右に配された副画面に対応する副画像を表示するようにしたものである。
【００１１】
請求項４記載のヘッドマウントディスプレイ装置では、画像分割手段が、副画像を主画像の上下左右から取り出し、副画像表示手段を、主画面の上下左右に配された副画面に対応する副画像を表示するようにしたものである。
【００１２】
請求項５記載のヘッドマウントディスプレイ装置では、装着者の頭部の動きを検出する動き検出手段と、動き検出手段の検出結果に応じて、表示モードを３Ｄモードと２Ｄモードとのいずれか一方に決定するモード制御手段と、３Ｄモードでは、左視点画像から得られる主画像を左側主画面に表示するとともに、右視点画像から得られる主画像を右側主画面に表示させ、２Ｄモードでは、いずれか一方の視点画像から得られる主画像を左側主画面及び右側主画面にそれぞれ表示させる表示切り替え手段とを備えるものである。
【００１３】
請求項６記載のヘッドマウントディスプレイ装置では、モード制御手段を、動き検出手段によって動きが検出されている場合に、表示モードを３Ｄモードとし、動きが検出されていない場合に表示モードを２Ｄモードとするようにしたものである。
【００１４】
請求項７記載のヘッドマウントディスプレイ装置では、モード制御手段を、動き検出手段によって検出される動きの速度が所定値以上である場合に表示モードを３Ｄモードとし、動きの速度が所定値未満である場合に表示モードを２Ｄモードとするようにしたものである。
【００１５】
請求項８記載のヘッドマウントディスプレイ装置では、主画像または副画像上での装着者の視点位置を検出する視点検出手段と、視点検出手段の検出結果に応じて、表示モードを３Ｄモードと２Ｄモードとのいずれか一方を選択するモード制御手段と、３Ｄモードでは、左視点画像から得られる主画像を左側主画面に表示するとともに、右視点画像から得られる主画像を右側主画面に表示させ、２Ｄモードでは、いずれか一方の視点画像から得られる主画像を左側主画面及び右側主画面にそれぞれ表示させる表示切り替え手段とを備えるものである。
【００１６】
請求項９記載のヘッドマウントディスプレイ装置では、右視点画像と左視点画像から得られる対応する副画像同士の視差を用いて、装着者に接近する物体を検出する接近検出手段と、装着者に接近する物体が検出されたときに、検出された副画像が表示される副画面に報知表示を行う報知手段とを備えるものである。
【００１７】
請求項１０記載のヘッドマウントディスプレイ装置では、主画像または副画像に付加情報を重畳させて表示させる付加情報合成手段を備えるものである。
【発明の効果】
【００１８】
本発明によれば、それぞれ広角レンズを有する左右のカメラで現実空間を撮影した各視点画像から、主画像とその周辺の副画像とを取り出し、主画像には広角レンズの歪曲収差を補正し、また立体視されるように表示し、また副画像を主画像の周囲に表示するようにしたから、装着者が主画像を観察しながら活動を良好に行えるとともに、副画像により周辺視野を提供することができ、障害物との接触の回避等を容易に行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明を実施したＨＭＤの外観の構成を示す斜視図である。
【図２】ＨＭＤの構成を示すブロック図である。
【図３】画像処理ユニットの構成を示すブロック図である。
【図４】視点画像から主画像及び各副画像を生成する状態を示す説明図である。
【図５】装着者の動きに応じて主画像を３Ｄ表示と２Ｄ表示とに切り替える例を示す画像処理ユニットのブロック図である。
【図６】装着者の動きから３Ｄ表示と２Ｄ表示とに切り替える際の制御の概略を示すフローチャートである。
【図７】装着者の視点の動きに応じて主画像を３Ｄ表示と２Ｄ表示とに切り替える例を示す画像処理ユニットのブロック図である。
【図８】装着者の視点の動きから３Ｄ表示と２Ｄ表示とに切り替える際の制御の概略を示すフローチャートである。
【図９】左画像または右画像中で接近中の物体を点滅させる例を示す画像処理ユニットのブロック図である。
【図１０】左画像または右画像中で接近中の物体を点滅させる際の制御手順を示すフローチャートである。
【図１１】左右上下に副画像を表示する例を示す説明図である。
【発明を実施するための形態】
【００２０】
［第１実施形態］
本発明を実施したＨＭＤ（ヘッドマウントディスプレイ装置）の外観を図１に示す。ＨＭＤ１０は、ゴーグル形状にされており、眼前ユニット１２と、この眼前ユニット１２に一体に設けられた一対のテンプル（耳かけ）１３とからなる。このＨＭＤ１０は、テンプル１３を用いて使用者の頭部に装着される。眼前ユニット１２は、装着者の眼前を覆うように設けられた箱状の筐体１４と、カメラ部１５と、筐体１４の内部に配された左側表示部１７Ｌと右側表示部１７Ｒや画像処理用の各種回路などから構成される。
【００２１】
カメラ部１５は、左カメラ１５Ｌと右カメラ１５Ｒとからなる。これら各カメラ１５Ｌ，１５Ｒは、それぞれ撮影レンズ１５ａを有している。各撮影レンズ１５ａは、左眼，右眼の前方で筐体１４の前面に左右方向に並べて配置されている。各撮影レンズ１５ａは、それらの光軸ＰＬ，ＰＲの間隔が眼幅程度となるようにされている。このようなカメラ部１５によって、装着者と略同一の左右の視点からステレオ画像を撮影する。ステレオ画像は、左カメラ１５Ｌで現実空間（外部の景色）を撮影した左視点画像と、右カメラ１５Ｒで現実空間を撮影した右視点画像とからなる。なお、各撮影レンズ１５ａの光軸ＰＬ，ＰＲは、平行としてもよく、輻輳角を持たせてもよい。
【００２２】
各表示部１７Ｌ，１７Ｒは、左眼用、右眼用のＬＣＤ（液晶ディスプレイ）ユニット１８Ｌ，１８Ｒ（図２参照）や接眼光学系（図示省略）などから構成されており、それぞれ対応する左眼、右眼の前方に配されている。ＬＣＤユニット１８Ｌ，１８Ｒには、カメラ部１５で撮影されるステレオ画像に各種画像処理を施し、またＡＲ情報を重畳した画像が表示され、装着者は、これらＬＣＤユニット１８Ｌ，１８Ｒに表示される画像を接眼光学系を介して観察する。
【００２３】
図２に示すように、左カメラ１５Ｌは、撮影レンズ１５ａとイメージセンサ１５ｂとからなる。撮影レンズ１５ａとしては、大きな撮影画角を有し、広い視野を提供できる広角レンズを用いている。この例では、撮影レンズ１５ａとして、撮影画角が９４°の焦点距離２０ｍｍ（３５ｍｍ判換算値）の広角レンズを用いている。イメージセンサ１５ｂは、ＣＣＤ型やＭＯＳ型のものが用いられており、撮影レンズ１５ａによって結像される被写体像を光電変換し、左視点画像を出力する。右カメラ１５Ｒは、左カメラ１５Ｌと同じ構成であり、撮影レンズ１５ａとイメージセンサ１５ｂとからなり、右視点画像を出力する。
【００２４】
なお、撮影レンズ１５ａとしては、広い視野を提供するために、できるだけ短いものが好ましく、焦点距離２０ｍｍ（３５ｍｍ判換算値）以下の広角レンズとするのが好ましい。広角レンズとしては、撮影画角が約１８０°の対角魚眼レンズ、円周魚眼レンズであってもよい。また、現実空間の目的物を記録に残すなどの目的のために、撮影レンズ１５ａをズームレンズとして、その記録に必要な焦点距離を確保できるようにしてもよい。
【００２５】
左信号処理部２１Ｌは、左カメラ１５Ｌからの出力信号に対してノイズ除去、信号増幅、デジタル変換などを行う。また、左信号処理部２１Ｌは、デジタル変換された左視点画像に対して、ホワイトバランス処理などの各種処理を行う。左視点画像は、左信号処理部２１Ｌから画像処理ユニット２２に送られる。右信号処理部２１Ｒについても、左信号処理部２１Ｌと同様であり、右視点画像に各種の処理を行い、処理が施された右視点画像を画像処理ユニット２２に送る。
【００２６】
画像処理ユニット２２は、詳細を後述するように、各視点画像からの主画像，副画像の取り出しや、主画像の歪み補正、ＡＲ情報の合成などを行う。副画像としては、左副画像、右副画像が取り出される。主画像，副画像は、各表示部１７Ｌ，１７Ｒに送られる。
【００２７】
情報発生部２３は、カメラ部１５の位置や撮影方向（方位、仰角など）を検出するセンサを有しており、これらセンサの検出結果に基づいて、撮影中の現実空間中の被写体の説明などからなるＡＲ情報を発生させる。このＡＲ情報には、それを合成すべき画像上の位置などを示す合成制御情報が含まれている。ＡＲ情報は、例えば無線通信手段（図示せず）を介して、各種のＡＲ情報を蓄積している外部サーバから取得する。この情報発生部２３からのＡＲ情報は、画像処理ユニット２２に送られる。
【００２８】
左側表示部１７Ｌは、前述のようにＬＣＤユニット１８Ｌと接眼光学系とで構成される。ＬＣＤユニット１８Ｌは、それぞれＬＣＤで構成される主画面２５Ｃと、副画面となる左画面２５Ｌ，右画面２５Ｒとからなり、各画面は、駆動回路（図示省略）を備え、入力されるデータに基づいて画像を表示する。左側表示部１７Ｌには、左視点画像から得られる主画像と副画像とが表示されるようにしてあり、主画面２５Ｃに主画像が表示され、左画面２５Ｌ，右画面２５Ｒにそれぞれ対応する左副画像，右副画像が表示される。
【００２９】
上記ＬＣＤユニット１８Ｌは、主画面２５Ｃを中心に、その左側に左画面２５Ｌが、右側に右画面２５Ｒが配されている。このように構成されるＬＣＤユニット１８Ｌを接眼光学系を介して観察することにより、左眼のほぼ正面に主画像を観察することができ、その主画像の左側に左副画像を、右側に右副画像を観察することができる。なお、例えば１個のＬＣＤの表示面を分割して主画像、及び副画像を表示し、同様に観察されるようにしてもよい。
【００３０】
右側表示部１７Ｒは、左側表示部１７Ｌと同じ構成であり、ＬＣＤユニット１８Ｒと接眼光学系で構成される。またＬＣＤユニット１８Ｒは、主画面２６Ｃと、副画面となる左画面２６Ｌ，右画面２６Ｒとから構成され、右視点画像から得られる主画像，左副画像，右副画像が表示される。ＬＣＤユニット１８Ｒに表示される各画像は、接眼光学系を介して右眼で観察される。
【００３１】
主画像及び各副画像が観察されるサイズや装着者の視野に対する位置などは、主画像が立体視に適し、また各副画像は立体視に適さないが視野内にほぼ観察されるように、ＬＣＤユニット１８Ｌ，１８Ｒの各画面のサイズや配置，接眼光学系の倍率などによって調整されている。主画像については、人が片眼で明確に見ることができる視野にほぼ一致して観察されるように調整されていることが好ましい。この例では、明確に見ることができる視野を４６度として、そのように主画像が観察されるようにしてある。また、このような明確に見ることができる視野の外側に各副画像が観察されるにように、各副画面２５Ｌ，２６Ｒのサイズや主画面２５Ｃ，２６Ｃとの位置関係、接眼光学系が調整されている。
【００３２】
図３に示すように、画像処理ユニット２２は、左視点画像に対する処理を行う左画像処理系２２Ｌと、右視点画像に対して処理を行う右画像処理系２２Ｒとからなる。
【００３３】
左画像処理系２２Ｌは、画像分割部３１Ｌ，歪み補正部３２Ｌ，画像合成部３３Ｌから構成される。画像分割部３１Ｌは、左視点画像が入力され、左視点画像から主画像，左副画像，右副画像を取り出す。この画像分割部３１Ｌは、左視点画像の中央部を主画像として取り出し、左視点画像の左右の各周辺部分を左副画像，右副画像として取り出す。左副画像，右副画像を取り出す際には、それら各副画像の範囲の一部が主画像の範囲と重複するように取り出す。
【００３４】
歪み補正部３２Ｌには、画像分割部３１Ｌからの主画像が入力される。この歪み補正部３２Ｌは、主画像に対して撮影レンズ１５ａの歪曲収差をなく補正を行う。歪み補正部３２Ｌには、撮影レンズ１５ａの歪曲収差による画像の歪みをなくすための補正パラメータが設定されており、この補正パラメータを用いて主画像に対する歪み補正を行う。補正パラメータは、例えば撮影レンズ１５ａの仕様に基づいて予め決められている。
【００３５】
各副画像には主画像のような補正を行わない。これは画像を限られたサイズの表示画面に表示しながら、見易い画像のサイズを確保し、また表示される現実空間の情報量の欠落をなくすためである。
【００３６】
画像合成部３３Ｌには、歪み補正部３２Ｌで歪み補正された主画像と情報発生部２３からのＡＲ情報とが入力される。この画像合成部３３Ｌは、ＡＲ情報を、それに含まれる合成制御情報に基づいて主画像に合成し、ＡＲ情報を重畳した主画像を生成する。なお、画像合成部３３Ｌは、右視点画像との視差を考慮してＡＲ情報の合成を行うことにより、ＡＲ情報が主画像と同様に立体視されるようにしている。なお、副画像にもＡＲ情報を合成するなどしてもよい。
【００３７】
右画像処理系２２Ｒは、画像分割部３１Ｒ，歪み補正部３２Ｒ，画像合成部３３Ｒから構成される。この右画像処理系２２Ｒの各部は、右視点画像に対して処理を行う他は、左画像処理系２２Ｌの各部と同じであり、右視点画像から主画像と副画像とを取り出し、主画像に対して歪み補正とＡＲ情報の合成を行う。
【００３８】
左画像処理系２２Ｌからの各画像は、ＬＣＤユニット１８Ｌに送られ、主画面２５Ｃに主画像が、左画面２５Ｌに左副画像が、右画面２５Ｒに右副画像がそれぞれ表示される。一方の右画像処理系２２Ｒからの各画像は、ＬＣＤユニット１８Ｒに送られ、主画面２６Ｃに主画像が、左画面２６Ｌに左副画像が、右画面２６Ｒに右副画像がそれぞれ表示される。
【００３９】
上記のように、左眼で観察される主画面２５Ｃに左視点画像から得られる主画像を、また右眼で観察される主画面２６Ｃに右視点画像から得られる主画像をそれぞれ表示することにより、歪みが補正された主画像を立体視させる。左副画像、右副画像に関しては、やはり視差のあるものが左画面２５Ｌ，２６Ｌ、右画面２５Ｒ，２６Ｒに表示されるが、装着者の視野の中央から外れた位置に表示されるため立体視はされない。
【００４０】
なお、左画像，右画像は立体視されないので、例えば左画面２５Ｌ，２６Ｌに左視点画像から得られる左画像を、右画面２５Ｒ，２６Ｒに右視点画像から得られる右画像をそれぞれ表示するなどしてもよい、また、左側のＬＣＤユニット１８Ｌで右画像を、右側のＬＣＤユニット１８Ｒで左画像の表示をそれぞれ行わないようにしてもよい。
【００４１】
図４（ａ）に一例を示すように、右または左の視点画像Ｇの中央に区画された主画像領域Ｃ１から主画像が取り出される。この主画像領域Ｃ１は、その中心位置が視点画像Ｇの中心位置（撮影レンズ１５ａの光軸の位置）と一致するようにしてあり、補正後の主画像と視点画像との中心位置を一致させている。
【００４２】
また、主画像領域Ｃ１は、矩形よりも外側に膨らんだ樽型状になっており、図４（ｂ）に示すように、歪み補正後の主画像ＧＣが矩形となるようにされている。主画像ＧＣは、このように歪みが補正されて表示されるとともに、建物の名称を示すＡＲ情報Ｆ１や道路の名称を示すＡＲ情報Ｆ２、近隣の駅の方向を示すＡＲ情報Ｆ３などが合成されて表示される。
【００４３】
また、視点画像の周辺部分で主画像領域Ｃ１の左側に左副画像領域Ｃ２が、また右側に右副画像領域Ｃ３がそれぞれ矩形に区画されており、左副画像領域Ｃ２から左副画像ＧＬが、また右副画像領域Ｃ３から右副画像ＧＲが取り出される。左副画像ＧＬ，右副画像ＧＲは、歪みが補正されることなく、各副画像領域Ｃ２，Ｃ３に相似な矩形で表示される。
【００４４】
図４（ａ）にハッチングで示すように、左副画像領域Ｃ２の右側の一部、及び右副画像領域Ｃ３の左側の一部は、それぞれ主画像領域Ｃ１と重なるように区画されている。これにより、主画像中の被写体像と副画像中の被写体像の一部を重複させ、表示された主画像中の被写体像と副画像中の被写体像との対応関係を把握しやすくしている。図示の例では、左副画像ＧＬに先端部を含む自動車の被写体像Ｔ１ａが表示され、その自動車の先端部の被写体像Ｔ１ｂが主画面ＧＣに表示されている。
【００４５】
次に上記構成の作用について説明する。ＨＭＤ１０を装着して電源をオンとすると、動画の撮影が開始される。すなわち、左カメラ１５Ｌ、右カメラ１５Ｒによって、それぞれ撮影レンズ１５ａを通した現実空間の撮影が開始される。そして、この撮影で得られる左視点画像と右視点画像とがそれぞれ１フレーム分ごとに信号処理部２１Ｌ，２１Ｒを介して画像処理ユニット２２に順次に送られる。
【００４６】
左画像処理系２２Ｌには、左視点画像が順次に入力され、画像分割部３１Ｌによって、その左視点画像から主画像と、左副画像，右副画像とがそれぞれ取り出される。このときに、各副画像のそれぞれは、主画像と画像の一部が重複するようにして取り出される。取り出された主画像は、歪み補正部３２Ｌに送られ、この歪み補正部３２Ｌによって撮影レンズ１５ａの歪曲収差の補正がなされ、収差をなくした主画像が画像合成部３３Ｌに送られる。
【００４７】
撮影中では、情報発生部２３によって、カメラ部１５の位置や撮影方向などが検出される。そして、その検出結果に基づいてカメラ部１５で現在撮影されている現実空間の建物や道などの特定が行われて、それらのＡＲ情報が発生される。そして、そのＡＲ情報が画像合成部３３Ｌ，３３Ｒに送られる。
【００４８】
ＡＲ情報が画像合成部３３Ｌに入力されると、それに含まれる合成制御情報に基づいた主画像上の合成位置にＡＲ情報が合成される。複数のＡＲ情報が入力されているときには、それぞれのＡＲ情報が主画像に合成される。そして、このようにして、ＡＲ情報が合成された主画像と、画像分割部３１Ｌからの各副画像がＬＣＤユニット１８Ｌに送られる。
【００４９】
一方、右画像処理系２２Ｒには、右視点画像が順次に入力され、同様に画像分割部３１Ｒによって、右視点画像から主画像，左副画像，右副画像が取り出される。このうちの主画像が歪み補正部３２Ｒによって歪曲収差の補正がなされ、さらに画像合成部３３ＲによりＡＲ情報が合成される。そして、ＡＲ情報が合成された主画像と、画像分割部３１Ｒからの各副画像とがＬＣＤユニット１８Ｒに送られる。
【００５０】
上記のようにして、各視点画像から得られる左側と右側の主画像，各副画像がＬＣＤユニット１８Ｌ，１８Ｒに送られることにより、左側の主画面２５Ｃに左視点画像から生成された主画像が表示され、また右側の主画面２６Ｃに右視点画像から生成された主画像が表示される。また、主画面２５Ｃの左側に配された左画面２５Ｌには左視点画像から生成された左副画像が、右側に配された右画面２５Ｒには左視点画像から生成された右副画像がそれぞれ表示される。さらに、主画面２６Ｃの左側に配された左画面２６Ｌには右視点画像から生成された左副画像が、右側に配された右画面２６Ｒには右視点画像から生成された右副画像がそれぞれ表示される。
【００５１】
カメラ部１５の撮影に同期して、各画面に表示される主画像及び各副画像が更新されるので、装着者は、接眼光学系を通して、主画像及び各副画像を動画として観察することができ、装着者が向いている方向を変化させれば、それに応じて変化する主画像、各副画像を観察することができる。
【００５２】
そして、装着者は、視差がある左右の主画像を観察することにより主画像を立体視することができ、奥行き感をもって現実空間を観察することができ、また歪み補正された主画像とともにＡＲ情報を観察することができる。したがって、装着者は、主画像やそれに合成されたＡＲ情報を観察しながら移動や作業などを良好に行うことができる。
【００５３】
一方で、装着者は、上記のように観察される主画像の左右に左画像，右画像を見ることができる。これら左画像，右画像は、装着者の左右の現実空間の情報を多く含み、上述のように歪み補正されずまた立体視されないが、現実空間における装着者の左右方向の気配を感じるには十分であり、例えば接近してくる自動車などを早期に気づくことができる。また、このときに表示されている各副画像の一部が主画像と重複して表示されているから、副画像中の被写体像と主画像中の被写体像との対応関係を把握しやすい。
【００５４】
［第２実施形態］
装着者の頭部の動きに応じて主画像を３Ｄ表示と２Ｄ表示とに切り替えるようにした第２実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００５５】
この例では、図５に示すように、動きセンサ４１、モード制御部４２、セレクタ４３が設けられている。動きセンサ４１は、加速度センサや角速度センサ等から構成されており、装着者の頭部の動きを検出する。頭部の動きとして検出されるのは、装着者の頭部自体の動き（回転や直線運動等）の他、頭部の移動をともなう装着者自身の動きがある。
【００５６】
動きセンサ４１の検出結果は、モード制御部４２に送られる。モード制御部４２は、動きセンサ４１の検出結果に基づいて表示モードを決定し、セレクタ４３を制御する。表示モードとしては、主画像を３Ｄ表示する３Ｄモードと、主画像を２Ｄ表示する２Ｄモードとがある。３Ｄモードは、第１実施形態と同様に、左視点画像からの主画像を主画面２５Ｃに、また右視点画像からの主画像を主画面２６Ｃに表示し立体視させるモードである。一方の２Ｄモードは、一方の視点画像、この例では左視点画像からの主画像を主画面２５Ｃ及び主画面２６Ｃに表示し、平面的な主画像を観察させるモードである。
【００５７】
表示切り替え手段としてのセレクタ４３には、右画像処理系２２Ｒからの主画像及び各副画像と、左画像処理系２２Ｌからの主画像及び各副画像とが入力されており、一方の画像処理系を選択し、その選択した画像処理系の主画像及び各副画像をＬＣＤユニット１８Ｒに出力する。３Ｄモードでは、セレクタ４３は、右画像処理系２２Ｒを選択し、それからの主画像及び各副画像をＬＣＤユニット１８Ｒに出力する。また、２Ｄモードでは、セレクタ４３は、左画像処理系２２Ｌを選択し、それからの主画像及び各副画像をＬＣＤユニット１８Ｒに出力する。
【００５８】
モード制御部４２は、図６に示すように、装着者の頭部が予め設定されている規定値以上の速度、例えば通常に歩く程度の速度以上で移動していることを、動きセンサ５１の検出結果から検知しているときに２Ｄモードとし、規定値未満の速度の動きの場合には３Ｄモードとする。
【００５９】
この例によれば、ＬＣＤユニット１８Ｌには、動きの検出の有無に関わらず、左画像処理系２２Ｌからの主画像及び各副画像が送られて表示される。これにより、主画面２５Ｃには、左視点画像からの主画像が表示された状態になる。ここで、装着者が規定値未満の速度でゆっくりと歩行しているときや、静止しているときには、３Ｄモードとなり、セレクタ４３により、右画像処理系２２Ｒからの主画像及び各副画像がＬＣＤユニット１８Ｒに送られる。結果として、主画面２６Ｃには、右視点画像からの主画像が表示された状態となり、装着者は、主画像を立体視することができる。これにより、装着者は、例えば周囲の建物などを奥行き感を感じながらゆっくりと見渡すことができる。
【００６０】
一方、装着者が例えば規定値以上の速度で歩行しているときには、２Ｄモードとなり、セレクタ４３により、左画像処理系２２Ｌからの主画像及び各副画像がＬＣＤユニット１８Ｒに送られる。結果として、主画面２５Ｃ，２６Ｃのいずれにも、左視点画像からの主画像が表示された状態となる。これにより、周辺の障害物と接触する危険が高くなる移動時には、比較的に装着者の見易い２Ｄ表示となり、装着者が容易に障害物からの回避を行えるようになる。
【００６１】
上記の例では、規定値以上の速度で動いているか否かによって、３Ｄ表示か２Ｄ表示かを切り替えているが、これに限らず、例えば動いている否かで切り替えてもよい。また、一定時間以上の動きがあったとき、また動きが止まってから一定時間以上が経過したときに、３Ｄ表示と２Ｄ表示との切り替えを行ってもよい。さらに、この例での２Ｄモードでは、右視点画像から得られる主画像と副画像とに代えて左視点画像から得られる主画像と副画像とを表示しているが、主画像だけを左視点画像から得られるものに代えてもよい。もちろん、２Ｄモード時に、左視点画像から得られる画像に代えて、右視点画像から得られる画像を表示するようにしてもよい。
【００６２】
［第３実施形態］
装着者の視点の動きに応じて主画像を３Ｄ表示と２Ｄ表示とに切り替えるようにした第３実施形態について説明する。なお、以下に説明する他は、第２実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００６３】
この例では、図７に示すように、ＨＭＤ１０に視点センサ４４を設けてある。視点センサ４４は、例えば赤外線を装着者の眼球に向けて照射する赤外線照射部と、その眼球を撮影するカメラなどから構成されており、周知の角膜反射法によって視点を検出する。なお、視点を他の手法によって検出してもよい。
【００６４】
モード制御部４２は、視点センサ４４の検出結果に基づいて、セレクタ４３を制御し、ＨＭＤ１０の表示モードを３Ｄモードと２Ｄモードとで切り替える。このモード制御部４２は、図８に示すように、視点の動きの激しさの程度（レベル）で表示モードの切り替えを行うようにしており、視点の動きの激しさが規定レベル以上であるときは、そのような状態でも見易い２Ｄモードとし、規定レベル未満であるときは３Ｄモードとする。視点の動きの激しさの程度は、例えば単位時間あたりの視点の移動距離や移動範囲の大小等で判断することができ、移動距離や移動範囲が大きいときに、視点の動きの激しいと判断できる。
【００６５】
この例によれば、例えば視点が激しく移動させて建物などを探しているような場合には、そのような激しい視点移動があるときにも見易い２Ｄ表示となり、装着者が建物を注視しているような場合には、その状態でも見易い３Ｄ表示となる。
【００６６】
［第４実施形態］
左画面、右画面中に接近してくる物体があるときに報知を行うようにした第５実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００６７】
図９に示すように、画像処理ユニット２２には、左接近検出部５１Ｌ，右接近検出部５１Ｒと、点滅処理部５２ａ，５２ｂが設けられている。左接近検出部５１Ｌは、各画像処理系２２Ｌ，２２Ｒからの各左画像に基づいて、左画像中で装着者に接近してくる物体の検出を行う。この検出では、各左画像に視差があることを利用して、周知のステレオ法によって装着者に対する左画像中の被写体像の距離を調べ、そして順次に入力される左画像から得られる距離に基づいて距離変化を調べ、距離が漸減する場合に、その被写体像に対応する物体が接近して来ていると判定する。左接近検出部５１Ｌは、左画像中に接近してくる物体を検出すると、その物体の距離情報と、その物体の被写体像の領域を示す領域情報を各点滅処理部５２ａに送る
【００６８】
右接近検出部５１Ｒは、左接近検出部５１Ｌと同様にして、各画像処理系２２Ｌ，２２Ｒからの各右画像に基づいて、右画像中で装着者に接近してくる物体の検出を行う。この右接近検出部５１Ｒは、右画像中に接近してくる物体を検出すると、その物体の距離情報と、その物体の被写体像の領域を示す領域情報を各点滅処理部５２ｂに送る
【００６９】
点滅処理部５２ａは、左接近検出部５１Ｌからの距離情報と領域情報とが入力されると、その領域情報に示される左画像中の被写体像が点滅するように、各画像処理系２２Ｌ，２２Ｒからの各左画像に画像処理を行う。点滅処理部５２ｂは、右接近検出部５１Ｒから距離情報と領域情報が入力されると、その領域情報に示される右画像中の被写体像が点滅するように、各画像処理系２２Ｌ，２２Ｒからの各右画像に画像処理を行う。
【００７０】
点滅処理部５２ａ，５２ｂは、距離情報に応じて点滅速度を制御する。図１０に示すように、点滅処理部５２ａ，５２ｂには、第１基準距離と、この第１基準距離よりも短い距離の第２基準距離とが設定されている。点滅処理部５２ａ，５２ｂは、距離情報に示される物体の距離が第１基準距離よりも大きいときには、その物体の被写体像の点滅は行わず、その距離が第１基準距離以下となると点滅を開始させる。物体の距離が第１基準距離以下であり、第２基準距離よりも大きいときには物体の被写体像を低速で点滅させ、第２基準距離以下となると高速で点滅させる。これにより、装着者に物体の接近を距離に応じた態様で報知し、接触の危険性の警告を与える
【００７１】
この例では、物体の被写体像自体を点滅させているが、簡易には、接近中の物体が検出された右画像あるいは左画像を点滅させてもよい。また、点滅以外の態様で報知を行ってもよい。例えば、接近中の物体の被写体像の部分を適当な色に着色したり、物体の移動方向を示す矢印を合成して表示したりしてもよい。さらには、上記の第２，第３実施形態と組み合わせて利用することもできる。
【００７２】
上記各実施形態では、副画像を主画像の左右の各画像としたが、図１１に一例を示すように、左右上下の各副画像を表示してもよい。図１１に示す例では、主画面２５Ｃ，２６Ｃの左右に左画面２５Ｌ，２６Ｌ、右画面２５Ｒ，２６Ｒを配するとともに、上下に上画面２５Ｕ，２６Ｕ、下画面２５Ｄ，２６Ｄを配し、上画面２５Ｕ，２６Ｕに主画像ＧＣの上方の上副画像ＧＵを、下画面２５Ｄ，２６Ｄに主画像ＧＣの下方の下副画像ＧＤを表示させている。なお、実際には、主画面及び左右上下の各画面の対する画面同士では、視差がある画像が表示されるが、図１１ではそれを省略して描いてある。
【符号の説明】
【００７３】
１０  ＨＭＤ
１５Ｒ，１５Ｌ  カメラ
１５ａ  撮影レンズ
１7Ｌ，１７Ｒ  表示部
３１Ｌ，３１Ｒ  画像分割部
３２Ｌ，３２Ｒ  歪み補正部
４１  動きセンサ
４２  モード制御部
４３  セレクタ
４４  視点センサ
【図１】
2011205358.tif 000003
【図２】
2011205358.tif 000004
【図３】
2011205358.tif 000005
【図４】
2011205358.tif 000006
【図５】
2011205358.tif 000007
【図６】
2011205358.tif 000008
【図７】
2011205358.tif 000009
【図８】
2011205358.tif 000010
【図９】
2011205358.tif 000011
【図１０】
2011205358.tif 000012
【図１１】
2011205358.tif 000013