(57)【要約】【課題】輻輳角を固定された一対の撮像部からの撮影画像に基づいて、観察物までの距離によることなく自然に立体視を行うことができる立体視画像表示装置等を提供する。【解決手段】間隔２ｄを離して所定の輻輳角で固定された撮像部１２，１３と、これらの中点Ｓから観察物Ｐｋまでの距離Ｄ（Ｐｋ）を測定する測距部１６と、得られた一対の撮影画像から一対の表示画像を生成する画像処理部と、生成された一対の表示画像を各表示画面に表示する一対の表示部と、を備え、画像処理部は、間隔２ｄと、距離Ｄ（Ｐｋ）と、輻輳角または撮像部１２，１３の光軸の交点Ｐ１から中点Ｓまでの距離と、に基づいて、一対の表示部の各表示画面に対応する範囲の一対の撮影画像を、左右対称となるように台形補正することにより、一対の表示画像を生成する立体視画像表示装置。【選択図】図１３
2010011055.tif 000002
【特許請求の範囲】
【請求項１】
所定の間隔をもって所定の輻輳角となるように左右鏡面対称に固定された一対の撮像部と、
上記一対の撮像部の中点から観察物までの距離を実質的に測定する測距部と、
上記一対の撮像部から各得られた一対の撮影画像に対してそれぞれ画像処理を行い、該一対の撮像部に各対応する一対の表示画像を生成する画像処理部と、
上記画像処理部により生成された上記一対の表示画像を各表示画面に表示する一対の表示部と、
を具備し、
上記画像処理部は、上記一対の撮像部の間隔と、上記測距部により実質的に測定された上記一対の撮像部の中点から観察物までの距離と、上記一対の撮像部の輻輳角または上記一対の撮像部の光軸の交点から上記一対の撮像部の中点までの距離と、に基づいて、上記一対の表示部の各表示画面に対応する範囲の一対の撮影画像を、上記左右鏡面対称の鏡面に対して左右対称となるように台形補正することにより、上記一対の表示画像を生成するものであることを特徴とする立体視画像表示装置。
【請求項２】
上記一対の撮像部と上記測距部と上記観察物とが存在する空間内に、上記一対の表示画像に対応する一対の観察平面と、上記一対の撮影画像に対応する一対の撮影平面と、をそれぞれ設定したときに、
上記画像処理部は、
上記一対の撮像部の間隔と、上記測距部により実質的に測定された上記一対の撮像部の中点から観察物までの距離と、に基づいて上記一対の観察平面上の画素位置を求め、
上記一対の撮像部の間隔と、上記測距部により実質的に測定された上記一対の撮像部の中点から観察物までの距離と、上記一対の撮像部の輻輳角または上記一対の撮像部の光軸の交点から上記一対の撮像部の中点までの距離と、に基づいて上記一対の観察平面上の画素位置に対応する上記一対の撮影平面上の点の位置を求めて、
上記一対の撮影平面上における位置を求めた点の近傍に位置する撮影画素の画素値に基づいて該位置を求めた点の画素値を推定し、推定した画素値を上記一対の観察平面上の画素位置の画素値とすることを、上記一対の観察平面上の全ての画素位置に対して行うことにより、上記台形補正を行うものであることを特徴とする請求項１に記載の立体視画像表示装置。
【請求項３】
上記画像処理部は、
上記一対の撮影画像における上記一対の表示画面に各対応する範囲を、拡大縮小パラメータの値に基づいて変化させることにより、上記一対の表示画像が拡大または縮小して表示されるようにする処理をさらに行うものであって、
上記一対の観察平面上の画素位置を、上記一対の撮像部の間隔と、上記測距部により実質的に測定された上記一対の撮像部の中点から観察物までの距離と、に加えて、さらに上記拡大縮小パラメータの値に基づいて求めるものであることを特徴とする請求項２に記載の立体視画像表示装置。
【請求項４】
所定の間隔をもって所定の輻輳角となるように左右鏡面対称に固定された一対の撮像部と、上記一対の撮像部の中点から観察物までの距離を実質的に測定する測距部と、上記一対の撮像部から各得られた一対の撮影画像に基づいて生成された該一対の撮像部に各対応する一対の表示画像を各表示画面に表示する一対の表示部と、を具備する立体視画像表示装置に適用される立体視画像表示方法であって、
上記一対の撮像部の間隔と、上記測距部により実質的に測定された上記一対の撮像部の中点から観察物までの距離と、上記一対の撮像部の輻輳角または上記一対の撮像部の光軸の交点から上記一対の撮像部の中点までの距離と、に基づいて、上記一対の表示部の各表示画面に対応する範囲の一対の撮影画像を、上記左右鏡面対称の鏡面に対して左右対称となるように台形補正することにより、上記一対の表示画像を生成することを特徴とする立体視画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、輻輳角が固定された一対の撮像部と一対の表示部とを備える立体視画像表示装置と、立体視画像表示装置に適用される立体視画像表示方法と、に関する。
【背景技術】
【０００２】
所定間隔だけ離間して配設された一対の撮像部（一方を右目用撮像部、他方を左目用撮像部ということにする）を用いて観察物を撮像し、右目用撮像部により撮像した画像を右目用表示部に、左目用撮像部により撮像した画像を左目用表示部に、それぞれ表示して、画像を立体的に観察することができるようにした立体視画像表示装置は、従来より種々のものが提案されていて、一例として眼鏡に類似した形状となるように構成されているもの（いわゆる立体視眼鏡）が挙げられる。
【０００３】
こうした立体視画像表示装置は、人間が観察物を観察するときと同様に、右目用撮像部の撮像光軸と左目用撮像部の撮像光軸とが輻輳角をもって一点で交わるように構成されているが、人間の目の場合には、観察物までの距離に応じてこの輻輳角が変化する。
【０００４】
これについて、図２７〜図２９を参照して説明する。ここに、図２７は近傍にある観察物と遠方にある観察物とを観察する場合に輻輳角が異なる様子を示す図、図２８は近傍にある観察物を観察する際に眼球の寄り目の度合いが大きくなる様子を示す図、図２９は遠方にある観察物を観察する際に眼球の寄り目の度合いが小さくなる様子を示す図である。
【０００５】
観察者が近傍にある観察物から遠方にある観察物までを観察する場合について考える。人間が観察物を観察する場合に、瞳孔の中心が観察物の注視点を向くように眼球が回転するために、観察物が近距離にある場合には図２８に示すように寄り目の度合いが大きくなり、観察物が遠距離にある場合には図２９に示すように寄り目の度合いが小さくなる。
【０００６】
これは、人間の目が備える輻輳調整という機能である。すなわち、視線が交差する角度は輻輳角と呼ばれるが、人間の目（図２７〜図２９において、左目をＬＥＹＥ、右目をＲＥＹＥとして示している）は、図２７に示すように、近距離にある観察物（図２７において、ＮＯＢＪとして示している）を観察する場合にはこの輻輳角を大きくし、遠距離にある観察物（同様に、ＦＯＢＪとして示している）を観察する場合には輻輳角を小さくするように調整を行う。
【０００７】
従って、人間が目で直視して観察するときと同様の画像を撮像しようとする場合には、図３０に示すように、観察物までの距離に応じて輻輳角を調整する必要がある。ここに、図３０は、従来において、観察物までの距離に応じて輻輳角を調整するように構成された左右一対の撮像部の例を示す図である。
【０００８】
左目用撮像部１２は人間の左目、右目用撮像部１３は人間の右目の機能をそれぞれ果たすものとして設けられている。これら左目用撮像部１２および右目用撮像部１３は、水平面内において光軸ＬＯＡ，ＲＯＡが向く方向を変更することができるように構成されていて、すなわち、輻輳角の調整を行うことができるものとなっている。
【０００９】
そして、左目用撮像部１２により撮影して得られた映像を左目で観察し、右目用撮像部１３により撮影して得られた映像を右目で観察することができるような立体視画像表示装置、例えば本発明の実施形態に係る図１〜図３に示したような立体視眼鏡タイプの立体視画像表示装置に表示すれば、立体視が可能となって、観察者は観察物を立体的に観察することができる。
【００１０】
しかしながら、輻輳角を調整する機能を備えさせるためには、例えば右目用撮像部および左目用撮像部をそれぞれ回転させるための撮像部回転駆動機構や、あるいは撮像部の前面にミラーを配置してこのミラーを回転させるミラー駆動機構などの構成が必要になり、コストが高くなると共に、装置の重量が増すことになってしまう。
【００１１】
これに対して、機構的な輻輳角の調整をすることなく、所定の輻輳角に固定して、駆動機構を不要とする構成も考えられる。
【００１２】
本発明の実施形態に係る図４は、このような撮像部を固定した構成例を示している。撮像部を固定した場合には、上述したような撮像部回転駆動機構等が不要となるために、その分のコストが不要となり、装置の軽量化も図ることができるというメリットがある。
【００１３】
ただし、この場合には、固定された輻輳角に対応する距離以外の距離に観察物がある場合には、注視点が画像の中心からずれてしまうという課題がある。すなわち、左右一対の撮像部の輻輳角を、例えば近い位置にある観察物に合わせて固定したとする。この場合には、この近い位置にある観察物を撮像すると、左右何れの撮像部においても観察物が中心に位置する画像が撮像される（本発明の実施形態に係る図５参照）。これに対して、遠い位置にある観察物を撮像したとすると、輻輳角が一致しないために、左目用撮像部１２により撮像される画像においては観察物が中心よりも左方向にずれ、右目用撮像部１３により撮像される画像においては観察物が中心よりも右方向にずれてしまう（本発明の実施形態に係る図６参照）。その結果、ずれ量がどの程度の大きさであるかにも依存するが、立体視がし難くなる、目が疲れる、立体視ができない、という課題が生じる。
【００１４】
この課題に対応する技術として、特開平７−９５６２３号公報や特開平８−３３６１６５号公報には、画像処理を行うことにより、注視点が画像の中心に位置するようにする技術（輻輳角を画像処理的に合わせる技術）が記載されている。すなわち、これらの公報に記載の技術は、撮像して得られた左右の画像を一旦フレームメモリ等に取り込んで、左右各画像において、注視点（例えば観察物の中心位置）が画像の中心となるように画像の切り出しを行うことにより、輻輳角調整を行うものとなっている。そして、上述した２つの公報の内の前者の特開平７−９５６２３号公報には、さらに、この画像処理による輻輳角の決定を、フォーカス距離の測定結果に基づいて行う技術も記載されている。
【００１５】
また、設定されているズーム倍率に基づいて画像の切り出し範囲の大きさを調整することにより、いわゆる電子ズームを行う技術も従来より知られている。
【特許文献１】特開平７−９５６２３号公報
【特許文献２】特開平８−３３６１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、機構的な輻輳角の調整を行う場合と輻輳角を固定する場合との相違は、注視点が画像の中心からずれるという点だけではない。すなわち、画像の撮像平面は撮像光軸に垂直であるために、固定された輻輳角において得られた画像の撮像平面と、実際に輻輳角を機構的に調整したときの画像の撮像平面とは、一般に平行とはならない。従って、左右一対の撮像部から等距離にある観察物を想定した場合に、固定された輻輳角に対応する距離以外の距離にある観察物を中心に画像を切り出すと、画像に台形状の歪みが発生してしまうことになる。
【００１７】
例えば、撮像部の輻輳角が特開平７−９５６２３号公報に記載されているように遠距離にある観察物に合わせて固定されている場合には、近距離にある観察物の画像には横向きの台形歪（すなわち、台形を構成する２本の平行線が縦方向に並ぶ形状の台形歪）が生じてしまう。しかも、観察物の画像に生じる台形歪は左目用撮像部と右目用撮像部とで左右鏡面対称となるために、画像の周辺にいくほど左右画像が本来の画像から歪んでしまう。その結果、正常な立体視ができなくなってしまうが、該公報に記載の技術は、こうした課題に対して配慮されたものとはなっていなかった。
【００１８】
この台形歪みについて、本発明の実施形態に係る図８〜図１０を参照して具体的に説明する。
【００１９】
まず、図８は、図４に示すような配置の右目用撮像部１３により遠距離観察物ＦＯＢＪを撮像して得られた図６（Ｂ）に示すような撮影画像中の、観察物を中心とした画像部分に生じている台形歪みの形状を示している。
【００２０】
一方、図９は、図４に示すような配置の左目用撮像部１２により遠距離観察物ＦＯＢＪを撮像して得られた図６（Ａ）に示すような撮影画像中の、観察物を中心とした画像部分に生じている台形歪みの形状を示している。
【００２１】
そして、図８に示したような右目用撮像部１３で得られた画像を右目で観察し、図９に示したような左目用撮像部１２で得られた画像を左目で観察すると、これらが合成されて図１０に示すように観察されることになる。すなわち、画像の中心付近では左右の画像が一致して観察されるのに対して、画像の周辺に近付くに従って左右の画像が次第に大きくずれて観察される。こうして、右目で観察する画像と左目で観察する画像とにずれが生じる結果、正常な立体視を行うことが困難になってしまう。
【００２２】
上述したような従来の技術は、このような点に関して配慮されたものとはなっていなかった。
【００２３】
本発明は上記事情に鑑みてなされたものであり、輻輳角を固定して配設された一対の撮像部から得られた一対の撮影画像に基づいて、観察物までの距離によることなくより自然に立体視を行うことができる立体視画像表示装置、立体視画像表示方法を提供することを目的としてる。
【課題を解決するための手段】
【００２４】
上記の目的を達成するために、本発明のある態様による立体視画像表示装置は、所定の間隔をもって所定の輻輳角となるように左右鏡面対称に固定された一対の撮像部と、上記一対の撮像部の中点から観察物までの距離を実質的に測定する測距部と、上記一対の撮像部から各得られた一対の撮影画像に対してそれぞれ画像処理を行い該一対の撮像部に各対応する一対の表示画像を生成する画像処理部と、上記画像処理部により生成された上記一対の表示画像を各表示画面に表示する一対の表示部と、を具備し、上記画像処理部は、上記一対の撮像部の間隔と、上記測距部により実質的に測定された上記一対の撮像部の中点から観察物までの距離と、上記一対の撮像部の輻輳角または上記一対の撮像部の光軸の交点から上記一対の撮像部の中点までの距離と、に基づいて、上記一対の表示部の各表示画面に対応する範囲の一対の撮影画像を、上記左右鏡面対称の鏡面に対して左右対称となるように台形補正することにより、上記一対の表示画像を生成するものである。
【００２５】
また、本発明の他の態様による立体視画像表示方法は、所定の間隔をもって所定の輻輳角となるように左右鏡面対称に固定された一対の撮像部と、上記一対の撮像部の中点から観察物までの距離を実質的に測定する測距部と、上記一対の撮像部から各得られた一対の撮影画像に基づいて生成された該一対の撮像部に各対応する一対の表示画像を各表示画面に表示する一対の表示部と、を具備する立体視画像表示装置に適用される立体視画像表示方法であって、上記一対の撮像部の間隔と、上記測距部により実質的に測定された上記一対の撮像部の中点から観察物までの距離と、上記一対の撮像部の輻輳角または上記一対の撮像部の光軸の交点から上記一対の撮像部の中点までの距離と、に基づいて、上記一対の表示部の各表示画面に対応する範囲の一対の撮影画像を、上記左右鏡面対称の鏡面に対して左右対称となるように台形補正することにより、上記一対の表示画像を生成する方法である。
【発明の効果】
【００２６】
本発明の立体視画像表示装置、立体視画像表示方法によれば、輻輳角を固定して配設された一対の撮像部から得られた一対の撮影画像に基づいて、観察物までの距離によることなくより自然に立体視を行うことが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明の実施の形態を説明する。
【００２８】
［実施形態１］
図１から図２６は本発明の実施形態１を示したものであり、図１は立体視画像表示装置を正面側から示す図、図２は立体視画像表示装置を右側面側（左目側）から示す図、図３は立体視画像表示装置を背面側から示す図である。
【００２９】
本実施形態の立体視画像表示装置１は、眼鏡とほぼ同様に頭部に装着して用いる立体視眼鏡型の表示装置として構成されたものとなっている。
【００３０】
すなわち、立体視画像表示装置１の正面側には本体部２が配設されている。また、この本体部２の端部のうち、図３の左側に示された端部には左耳に掛けるための左テンプル部３が、図３の右側に示された端部には右耳に掛けるための右テンプル部４が、それぞれ配設されている。
【００３１】
上述した本体部２の上部にはフレーム５が設けられていて、このフレーム５には制御部１１が内蔵されている。
【００３２】
このフレーム５から下側に左目用部６および右目用部７が配設されており、左目用部６の正面側（観察物側）には左目用撮像部１２が、右目用部７の正面側（観察物側）には右目用撮像部１３が、それぞれ配置されている。これら右目用撮像部１３と左目用撮像部１２とは、標準的な眼幅である例えば６３ｍｍの間隔（以下、カメラ間隔などという）を離間して、後述するような所定の輻輳角に固定して配設された小型のカメラとなっている。そして、各撮像部１２，１３は、図示はしないが、ＣＭＯＳやＣＣＤ等で構成される撮像素子と、これらの撮像素子の撮像面に光学像を各結像するための左目用および右目用の撮像光学系と、これらの撮像光学系の焦点調節を行うためのフォーカス機構と、各撮像素子から得られた画像を信号処理するための信号処理回路と、等を含んで構成されている。
【００３３】
このような右目用撮像部１３および左目用撮像部１２から得られた画像信号は、上述した制御部１１へ出力される。制御部１１は、後述するように、右目用撮像部１３から得られた画像の少なくとも一部を切り出し、左目用撮像部１２により撮像された画像の少なくとも一部を切り出して、切り出した各画像に、固定された輻輳角との相違に基づく撮像平面の傾きを補正する処理を行い、右目用表示画像と左目用表示画像とを生成する。
【００３４】
また、図３に示すように、左目用部６の背面側（頭部側）には制御部１１により生成された左目用画像を表示するための左目用表示部１４が、右目用部７の背面側（頭部側）には制御部１１により生成された右目用画像を表示するための右目用表示部１５が、それぞれ配置されている。これら左目用表示部１４と右目用表示部１５とは、例えば、透過型ＬＣＤ、反射型ＬＣＤ、またはＯＬＥＤ等を用いて構成された小型の表示装置となっている。そして、これら左目用表示部１４の中心位置と右目用表示部１５の中心位置との間隔は、標準的な眼幅である６３ｍｍを基準として、使用者の実際の眼幅に合わせて調整可能となるように構成されている。
【００３５】
さらに、左目用部６と右目用部７とを結ぶブリッジ部８の正面側（観察物側）には、右目用撮像部１３と左目用撮像部１２との中点近傍となる位置に、観察物までの距離を測定するための測距部１６が配設されている。この測距部１６は、例えば、三角測量方式に基づいて、立体視画像表示装置１から観察物までの距離を測定するものである。すなわち、測距部１６は、観察物へ向けて赤外線を発光するための赤外発光部と、観察物により反射された赤外線を受光する受光部と、を備えて構成される反射型の測距センサとなっている。
【００３６】
なお、測距部１６は、三角測量方式に基づいて測距するに限るものではなく、例えばレーザー測定により測距を行うものであっても良いし、画像処理による方法を用いて測距を行うものであっても構わないし、その他の技術を用いて測距を行うものであっても良い。
【００３７】
また、ここでは、右目用撮像部１３と左目用撮像部１２との中点から観察物までの距離を直接測定するために、測距部１６をこの中点の位置（近傍）に設けているが、これに限るものではない。測距部１６の位置が、右目用撮像部１３および左目用撮像部１２の各位置に対して固定的であれば、設計時に定められたその配置に基づいて、右目用撮像部１３と左目用撮像部１２との中点から観察物までの距離を（例えば三平方の定理や余弦定理などを用いて）算出することが可能である。このように、測距部１６は、右目用撮像部１３と左目用撮像部１２との中点から観察物までの距離を実質的に測定できれば良く、直接測定できる必要はない。
【００３８】
次に、図１１は、立体視画像表示装置１の回路構成を示すブロック図である。
【００３９】
この立体視画像表示装置１は、上述したように、制御部１１と、左目用撮像部１２と、右目用撮像部１３と、左目用表示部１４と、右目用表示部１５と、測距部１６と、を備えている。
【００４０】
これらの内の制御部１１は、プロセッサ２１と、不揮発性メモリ２２と、左目用画像処理部２３と、右目用画像処理部２４と、を備えている。
【００４１】
不揮発性メモリ２２は、電源の供給を受けることなく各種のデータやパラメータを保持することが可能なメモリであり、ＥＥＰＲＯＭ、フラッシュメモリ等を用いて構成されている。ここに、不揮発性メモリ２２に保存される各種のパラメータとしては、左目用撮像部１２と右目用撮像部１３とがなす輻輳角ψ（図２６等参照）（または、左目用撮像部１２の光軸と右目用撮像部１３の光軸との交点Ｐ１（図２６等参照）から、これら左目用撮像部１２と右目用撮像部１３との中点Ｓ（図２６等参照）までの距離）、左目用撮像部１２と右目用撮像部１３とのカメラ間隔２ｄ（図２６等参照）、左目用撮像部１２、右目用撮像部１３、左目用画像処理部２３、右目用画像処理部２４、左目用表示部１４、右目用表示部１５等の各レジスタ設定値、などが幾つかの例として挙げられる。また、この不揮発性メモリ２２には、プロセッサ２１により実行されるこの立体視画像表示装置１の制御プログラムも格納されている。なお、観察物までの距離Ｄ（Ｐｋ）（図１３等参照）は、測距部１６により測定が行われたときに、制御部１１に入力されることになる。
【００４２】
左目用画像処理部２３は、左目用撮像部１２から得られた画像を処理して左目表示用画像を生成し、生成した左目表示用画像を左目用表示部１４へ出力するものである。これにより、左目用表示部１４は左目表示用画像を表示する。
【００４３】
右目用画像処理部２４は、右目用撮像部１３から得られた画像を処理して右目表示用画像を生成し、生成した右目表示用画像を右目用表示部１５へ出力するものである。これにより、右目用表示部１５は右目表示用画像を表示する。
【００４４】
プロセッサ２１は、左目用撮像部１２、右目用撮像部１３、左目用表示部１４、右目用表示部１５、測距部１６、不揮発性メモリ２２、左目用画像処理部２３、および右目用画像処理部２４とそれぞれ双方向に接続されており、上述した制御プログラムに基づいて、これらを含めたこの立体視画像表示装置１の全体の制御を行うようになっている。プロセッサ２１は、特に、上述したように測距部１６から得られた観察物までの距離Ｄ（Ｐｋ）と、不揮発性メモリ２２から読み出したカメラ輻輳角ψ（または交点Ｐ１から中点Ｓまでの距離）およびカメラ間隔２ｄと、に基づいて、左目用画像処理部２３に後述するように射影変換を行わせて適切な左目表示用画像を作成させ、同様に、右目用画像処理部２４に射影変換を行わせて適切な右目表示用画像を作成させるように制御する。
【００４５】
まず、本実施形態においては、図４に示すような状況を想定している。ここに、図４は、２台の撮像部を所定の輻輳角に固定した構成例を示す図である。
【００４６】
すなわち、左目用撮像部１２と右目用撮像部１３とは、左右中心線ＬＯＣを挟んで左右鏡面対称となるように所定のカメラ間隔を挟んで配設されている。さらに、これら左目用撮像部１２と右目用撮像部１３とは、左右中心線ＬＯＣ上において互いの撮像光軸ＬＯＡ，ＲＯＡが所定の輻輳角をもって交差するように固定されている。特に本実施形態においては、観察物が例えば歯科分野における歯牙等である場合を想定しており、撮像光軸ＬＯＡと撮像光軸ＲＯＡとが交差する位置は、歯牙観察時に想定される至近距離となるように設計されている。従って、この撮像光軸が交差する位置を、至近注視点ということにする（この至近注視点に位置する観察物をＮＯＢＪとして示している）。ただし、撮像光軸が交差する位置を至近注視点に固定しているのは説明を分かり易くするためであるので、もちろんこの位置で交差するように固定するに限るものではなく、その他の距離の位置で交差するように固定しても構わない。
【００４７】
従って、至近注視点に位置する至近観察物ＮＯＢＪを撮像すると、図５に示すように、左目用撮像部１２により撮像される注視点は画像の中心に位置し（図５（Ａ）参照）、右目用撮像部１３により撮像される注視点も画像の中心に位置する（図５（Ｂ）参照）ことになる。ここに、図５は撮像部の輻輳角を至近観察物に合わせて固定し、この至近観察物を左右一対の撮像部により撮像して得られる画像の様子を示す図である。なお、図４において、右目用撮像部１３（および図示はしないが左目用撮像部１２）の水平方向の撮影範囲（水平方向の画角）を２θｘとしている。
【００４８】
そして、任意距離にある観察物の注視点は、左目用撮像部１２と右目用撮像部１３と至近注視点（至近観察物ＮＯＢＪの至近注視点）とがある平面上において、左目用撮像部１２と右目用撮像部１３とを結ぶ線分の中点に直交する直線（すなわち、上述した左右中心線ＬＯＣ）上に位置しているものとする。言い換えれば、任意の距離の注視点は、左右の撮像光軸がある平面上において、左目用撮像部１２と右目用撮像部１３とから等距離に位置しているものとする。
【００４９】
このような配置において、至近注視点よりも遠い位置にある遠距離観察物ＦＯＢＪを撮像したとする。すると、図４や図７も参照すれば分かるように、遠距離観察物ＦＯＢＪは右目用撮像部１３の撮像光軸ＲＯＡよりも右側に位置しているために、右目用撮像部１３により撮像して得られる画像は図６（Ｂ）に示すようなものとなり、遠距離観察物ＦＯＢＪの像は画像の中心よりも右側に寄ることになる。同様に、遠距離観察物ＦＯＢＪは左目用撮像部１２の撮像光軸ＬＯＡよりも左側に位置しているために、左目用撮像部１２により撮像して得られる画像は図６（Ａ）に示すようなものとなり、遠距離観察物ＦＯＢＪの像は画像の中心よりも左側に寄ることになる。ここに、図６は撮像部の輻輳角を至近観察物に合わせて固定し、遠距離観察物を左右一対の撮像部により撮像して得られる画像の様子を示す図、図７は右目用撮像部１３により至近観察物ＮＯＢＪと遠距離観察物ＦＯＢＪとを撮影するときの撮影範囲をそれぞれ矩形で示す斜視図である。図７において、至近観察物ＮＯＢＪを撮影するときの撮影範囲は符号Ｓ１により、遠距離観察物ＦＯＢＪを撮影するときの撮影範囲は符号Ｓ２により、それぞれ示されている。
【００５０】
そして、遠距離観察物ＦＯＢＪ付近に生じる台形歪みは、図８〜図１０に示すようになる。
【００５１】
まず、図８は、図４に示すような配置の右目用撮像部１３により遠距離観察物ＦＯＢＪを撮像して得られた図６（Ｂ）に示すような撮影画像中の、観察物を中心とした画像部分に生じている台形歪みの形状を示す図である。この図８に示す台形歪みは、図４に示す配置において、右目用撮像部１３から遠距離観察物ＦＯＢＪへ向かう直線に垂直な平面であって、この遠距離観察物ＦＯＢＪを通る平面上に横長の長方形を置いたときに、右目用撮像部１３によりこの長方形がどのような形状として撮像されるかを示したものとなっている。
【００５２】
一方、図９は、図４に示すような配置の左目用撮像部１２により遠距離観察物ＦＯＢＪを撮像して得られた図６（Ａ）に示すような撮影画像中の、観察物を中心とした画像部分に生じている台形歪みの形状を示す図である。この図９に示す台形歪みは、図４に示す配置において、左目用撮像部１２から遠距離観察物ＦＯＢＪへ向かう直線に垂直な平面であって、この遠距離観察物ＦＯＢＪを通る平面上に上述と同一の横長の長方形を置いたときに、左目用撮像部１２によりこの長方形がどのような形状として撮像されるかを示したものとなっている。
【００５３】
まず、図８に示す台形歪みは、画像の右側よりも左側が相対的に縮小された形状となっている。一方、図９に示す台形歪みは、画像の左側よりも右側が相対的に縮小された形状となっている。そして、図８に示した台形歪みと図９に示した台形歪みとは、左右鏡面対称である。
【００５４】
図１０は、図８に示す台形歪みと図９に示す台形歪みとを両目で観察したときの様子を示す図である。
【００５５】
図８に示したような右目用撮像部１３で得られた画像を右目で観察し、図９に示したような左目用撮像部１２で得られた画像を左目で観察すると、これらが合成されて図１０に示すように観察されることになる。
【００５６】
すなわち、画像の中心付近では左右の画像が一致して観察されるのに対して、画像の周辺に近付くに従って左右の画像が次第に大きくずれて観察される（例えば、右目画像の右側が台形歪により画像の拡大された側になるとすると、左目画像の右側は台形歪により画像の縮小された側になるために、左右両目で観察する画像が周辺ほど大きく食い違うことになる）。
【００５７】
従って、このような台形歪を補正するための射影変換に基づく画像処理を、上述した左目用画像処理部２３および右目用画像処理部２４において、以下に説明するように行うことになる。なお、左目用撮像部１２と右目用撮像部１３とは、上述したように左右鏡面対称となるように配設されているために、以下では主として右目用撮像部１３に関する説明を行う（すなわち、左目用撮像部１２に関しては、右目用撮像部１３と左右鏡面対称になると考えれば良い）。
【００５８】
また、本実施形態においては、観察物までの距離範囲が至近注視点Ｐ１から最遠注視点Ｐ２までであるものとする。このとき、図１２は、右目用撮像部１３と、至近注視点Ｐ１および最遠注視点Ｐ２と、を上方から見たときの配置を示す図、図１３は、右目用撮像部１３と、至近注視点Ｐ１と最遠注視点Ｐ２との間の任意注視点Ｐｋと、を上方から見たときの配置を示す図である。
【００５９】
まず、これら図１２および図１３に記載されている各符号について説明する。
【００６０】
点Ｏは、右目用撮像部１３の位置を示している（この位置は、人間の右目の位置に対応する位置となっている）。
【００６１】
点Ｓは、右目用撮像部１３と左目用撮像部１２との中点の位置を示している（この位置は、人間の眼幅の中心点に対応する位置となっている）。そして、この点Ｓの位置に、上述した測距部１６が配置されているものとする。また、点Ｏから点Ｓまで長さをｄとする。従って、この長さｄは、左目用撮像部１２と右目用撮像部１３とのカメラ間隔の半分の長さを表している（逆に言えば、カメラ間隔は２ｄということになる）。
【００６２】
左右中心線ＬＯＣは、点Ｏ、点Ｓ、点Ｐ１がある平面上における右目用撮像部１３と左目用撮像部１２との左右対称軸である。この左右中心線ＬＯＣは、点Ｓを通り、左目用撮像部１２と右目用撮像部１３とを結ぶ直線とこの点Ｓにおいて直交している。
【００６３】
点Ｐ１は、上述したように至近注視点である。点Ｏからこの至近注視点Ｐ１までの距離をＬ１とする。また、点Ｓからこの至近注視点Ｐ１までの距離をＤ（Ｐ１）とする。なお、本実施形態においては、上述したように、直線ＯＰ１と一致するように右目用撮像部１３の光軸を設定している。
【００６４】
点Ｐ２は、上述したように最遠注視点である。点Ｏからこの最遠注視点Ｐ２までの距離をＬ２とする。また、点Ｓからこの最遠注視点Ｐ２までの距離をＤ（Ｐ２）とする。
【００６５】
点Ｐｋは、上述したように任意注視点であり、点Ｐ１と点Ｐ２との中間（ただし、両端点を含む）の任意の位置にある注視点を示している。点Ｏからこの任意注視点Ｐｋまでの距離をＬｋとする（ここで述べた任意注視点Ｐｋの定義によれば、Ｌ１≦Ｌｋ≦Ｌ２が満たされることになる）。また、点Ｓからこの任意注視点Ｐｋまでの距離をＤ（Ｐｋ）とする。
【００６６】
平面βは、右目用撮像部１３による撮像範囲（上述したように矩形領域であるとする）を、適宜の距離位置において仮想的に示した撮影平面である。この撮影平面βは、点Ｏから見たときの画角を示す後述する角度θｘ，θｙ（図１８等参照）に基づいて規定され、点Ｏからの距離によっては規定されない。ここに、図１７は点Ｏと撮影平面βおよび観察平面αｋ（後述する）との位置関係を示す斜視図、図１８は点Ｏと撮影平面βとの位置関係を示す（Ａ）正面図、（Ｂ）平面図、（Ｃ）右側面図、図１９は点Ｏと観察平面αｋとの位置関係を示す（Ａ）正面図、（Ｂ）平面図、（Ｃ）右側面図、図２１は点Ｏと観察平面αｋ上の点Ａおよび撮影平面β上の点Ｂとの位置関係を示す斜視図である。以下では、これら図１７〜図１９および図２１も適宜参照して説明を行う。
【００６７】
点Ｑは、撮影平面βにおける中心点を示し、直線ＯＰ１と撮影平面βとの交点である。
【００６８】
線分Ｌｗは、点Ｏと点Ｑとを結ぶ線分であり、撮影平面βの垂線となる。この線分Ｌｗの長さ（距離）を同様にＬｗにより表すとすると、この距離Ｌｗは点Ｏから点Ｑまでの距離（すなわち、点Ｏから撮影平面βまでの距離）を示している。上述したように、撮影平面βは仮想平面であるために、この距離Ｌｗは任意にとることが可能である。
【００６９】
角度θｘは、図１８（Ｂ）に示すように、撮影平面βの、点Ｑを中心とした左側または右側の画角である（つまり撮影平面β全体の水平方向の画角は２θｘとなる）。また、角度θｙは、図１８（Ｃ）に示すように、撮影平面βの、点Ｑを中心とした上側または下側の画角である（つまり撮影平面β全体の垂直方向の画角は２θｙとなる）。
【００７０】
平面α１は、至近注視点Ｐ１を観察するときの観察平面（矩形領域であるとする）であり、点Ｏから見た撮影平面βがなす画角の範囲内で設定される（これは、撮像して得られた画像からこの観察平面α１に対応する画像部分が切り出されることになるためである）。この観察平面α１は、線分ＯＰ１（上述した距離Ｌ１の線分）に垂直である。この観察平面α１の、点Ｐ１を中心とした左側または右側の画角をωｘ（１）とする（つまり観察平面α１全体の水平方向の画角は２ωｘ（１）となる）。
【００７１】
平面α２は、最遠注視点Ｐ２を観察するときの観察平面（矩形領域であるとする）であり、点Ｏから見た撮影平面βがなす画角の範囲内で設定される（上述と同様に、撮像して得られた画像からこの観察平面α２に対応する画像部分が切り出されることになるためである）。この観察平面α２は、線分ＯＰ２（上述した距離Ｌ２の線分）に垂直である。この観察平面α２の、点Ｐ２を中心とした左側または右側の画角をωｘ（２）とする（つまり観察平面α２全体の水平方向の画角は２ωｘ（２）となる）。
【００７２】
平面αｋは、至近注視点Ｐ１と最遠注視点Ｐ２との間の任意の注視点Ｐｋを観察するときの観察平面（矩形領域であるとする）であり、点Ｏから見た撮影平面βがなす画角の範囲内で設定される（上述と同様に、撮像して得られた画像からこの観察平面αｋに対応する画像部分が切り出されることになるためである）。この観察平面αｋは、線分ＯＰｋ（上述した距離Ｌｋの線分）に垂直である。この観察平面αｋの、点Ｐｋを中心とした左側または右側の画角を、図１９（Ｂ）に示すようにωｘ（ｋ）とする（つまり観察平面αｋ全体の水平方向の画角は２ωｘ（ｋ）となる）。同様に、この観察平面αｋの、点Ｐｋを中心とした上側または下側の画角を図１９（Ｃ）に示すようにωｙ（ｋ）とする（つまり観察平面αｋ全体の垂直方向の画角は２ωｙ（ｋ）となる）。
【００７３】
なお、これらωｘ（ｋ），ωｙ（ｋ）は表示範囲を示す画角である。また、これらωｘ（ｋ），ωｙ（ｋ）を撮像部の撮像範囲を示す角度θｘ，θｙ以下の範囲内において可変とすることにより、表示範囲を拡大／縮小する（電子ズームを行う）ことができる。このときには、これらωｘ（ｋ），ωｙ（ｋ）は、拡大縮小パラメータとなる。
【００７４】
角度δ２は、点Ｏから見た至近注視点Ｐ１と最遠注視点Ｐ２とがなす角度（あるいは、点Ｏから見た点Ｑと最遠注視点Ｐ２とがなす角度）である。観察平面α１と撮影平面βとは平行であるために、この角度δ２は、観察平面α２と撮影平面βとがなす角度でもある。
【００７５】
角度δｋは、点Ｏから見た至近注視点Ｐ１と注視点Ｐｋとがなす角度（あるいは、点Ｏから見た点Ｑと注視点Ｐｋとがなす角度）である。上述したように、観察平面α１と撮影平面βとは平行であるために、この角度δｋは、観察平面αｋと撮影平面βとがなす角度でもある。上述した観察平面αｋの定義に基づけば、角度δｋは、０≦δｋ≦δ２の範囲の値をとることになる。
【００７６】
点Ａは、観察平面αｋにおけるある表示画素位置を示している。
【００７７】
点Ｂは、直線ＯＡが撮影平面βと交差する点である（図２１も参照）。この点Ｂの座標の画素値を、点Ａの画素値とすることになる。ただし、点Ｂの座標に撮影画像の画素が丁度位置しているとは期待できず、一般には撮像して得られた画素同士の中間位置となる。従って、点Ｂの座標の近傍に位置する撮像画素に基づいて補間処理を行うことにより、この点Ｂの座標における画素値を求めることになる。
【００７８】
また、点Ｏを原点にとり、至近注視点Ｐ１を注視するときにはベクトルＯＰ１（ここに、ベクトルは例えば肉太文字で表すべきであるが、表記上の理由から通常文字で適宜代用することにする。以下同様。）、最遠注視点Ｐ２を注視するときにはベクトルＯＰ２、注視点Ｐｋを注視するときにはベクトルＯＰｋの方向をｚ軸方向とする。さらに、点Ｏと点Ｓと点Ｐ１または点Ｐ２または点Ｐｋとを通る平面上においてこのｚ軸方向に直交する方向をｘ軸方向、これらｘ軸およびｚ軸に直交する方向をｙ軸方向として、座標系を設定することにする。
【００７９】
まず、観察物が、例えば図２０に示すような平面チャートであるものとする。ここに、図２０は、観察物としての平面チャートの一例を示す図である。この平面チャートは、表示画面のアスペクト比（例えば横４：縦３）と一致する矩形状をなし、中心点において交差する水平線および垂直線が描かれているものとする。
【００８０】
そして、この平面チャートが、至近位置にあるときには観察平面α１に一致し、最遠位置にあるときには観察平面α２に一致し、点Ｐｋを通る位置にあるときには観察平面αｋに一致するように、適宜に拡大縮小されるものとする（すなわち、平面チャートの大きさは、観察したい範囲に合わせて（上述した拡大縮小パラメータωｘ（ｋ），ωｙ（ｋ）に応じて）適宜に拡大縮小されるものとする）。これにより、表示画面全体にこの平面チャートの全領域の映像が表示されることになる。
【００８１】
このような設定および定義の下に、制御部１１が行うべき処理手順の概要は、次のようになる。  
（１）  まず、観察平面αｋにおけるある画素位置（点Ａ）の座標を求める。  
（２）  次に、点Ａに対応する撮影平面β上の点Ｂの座標を求める。  
（３）  続いて、点Ｂの近傍に位置する例えば４点の画素位置を求める。そして、求めた４点の画素位置における各画素値に基づいて、点Ｂにおける画素値を求め、求めた画素値を点Ａにおける画素値とする。  
上述したような処理を、観察平面αｋ上の全ての画素位置に対して行うことにより、観察平面αｋの画像を表示部に表示することが可能となる。
【００８２】
このような処理の詳細について、以下に説明する。
【００８３】
まず、処理手順（１）について、図２２を参照して説明する。ここに、図２２は観察平面αｋの画素構成を示す図である。この図２２においては、格子点が画素位置を示している。
【００８４】
なお、この図２２（および後で説明する図２４）においては、簡単のために、表示部の画素構成が横９×縦７画素であるものとしてモデル化して説明する。また、後で説明する図２３，２４においては、同様に簡単のために、撮像部の画素構成が横１１×縦９画素であるものとしてモデル化して説明する。ただし、実際の製品等においては、撮像部の画素構成は例えばＵＸＧＡ（横１６００×縦１２００）、表示部の画素構成は例えばＳＶＧＡ（横８００×縦６００）などといった大きな値をとることになる。
【００８５】
点Ｏを原点にとって、上述したように、ｘｙｚ座標系を設定した場合には、観察平面αｋの中心の座標は図１３も参照すれば（０，０，Ｌｋ）となる。このとき、観察平面αｋの４角点の座標は、図２２に示すようになる。すなわち、右上角点の座標は、
（  Ｌｋ・ｔａｎ｛ωｘ（ｋ）｝，  Ｌｋ・ｔａｎ｛ωｙ（ｋ）｝，Ｌｋ）
左上角点の座標は、
（−Ｌｋ・ｔａｎ｛ωｘ（ｋ）｝，  Ｌｋ・ｔａｎ｛ωｙ（ｋ）｝，Ｌｋ）
左下角点の座標は、
（−Ｌｋ・ｔａｎ｛ωｘ（ｋ）｝，−Ｌｋ・ｔａｎ｛ωｙ（ｋ）｝，Ｌｋ）
右下角点の座標は、
（  Ｌｋ・ｔａｎ｛ωｘ（ｋ）｝，−Ｌｋ・ｔａｎ｛ωｙ（ｋ）｝，Ｌｋ）
となる。
【００８６】
そして、観察平面αｋ上の任意の画素Ａij（ここに、ｉはｘ方向の画素配列を示す整数、ｊはｙ方向の画素配列を示す整数であって、図２２に示す例においては、−４≦ｉ≦４，−３≦ｊ≦３）の座標（点Ａの座標）は、次の数式１により表される。  
［数１］
2010011055.tif 000003
【００８７】
次に、上述した内の処理手順（２）は、次のようになる。
【００８８】
まず、各点の幾何学的配置から、以下のような式が成り立つ。すなわち、ｔをスカラーの実数パラメータとすると、線分ＯＡの延長上に点Ｂが位置するために（図１３参照）、ベクトルＯＡとベクトルＯＢとの間に次の数式２が成り立つ。  
［数２］
ＯＢ＝ｔ・ＯＡ
【００８９】
また、線分ＯＱは撮影平面βに直交することから、ベクトルＯＱとベクトルＱＢとの間に次の数式３が成り立つ。  
［数３］
（ＯＱ，ＱＢ）＝０
ここに、記号（ｘ，ｙ）は、ベクトルｘとベクトルｙとの内積を表している。
【００９０】
この数式３に現れるベクトルＱＢは、ベクトルＯＢとベクトルＯＱとを用いて、次の数式４に示すように表される。  
［数４］
ＱＢ＝ＯＢ−ＯＱ
【００９１】
この数式４の右辺のベクトルＯＢ部分に数式２を代入してから、この数式４を数式３に代入することにより、次の数式５を得る。  
［数５］
（ＯＱ，ｔ・ＯＡ−ＯＱ）＝０
【００９２】
この数式５を変形することにより、パラメータｔが次の数式６に示すように求まる。  
［数６］
2010011055.tif 000004
【００９３】
従って、ベクトルＯＢの座標は、数式６を数式２に代入することにより、ベクトルＯＱとベクトルＯＡとに基づき、次の数式７に示すように求められることになる。  
［数７］
2010011055.tif 000005
【００９４】
この数式７の右辺に現れるベクトルＯＱは、図１３を参照すると、次の数式８に示すような成分をもっていることが分かる。  
［数８］
2010011055.tif 000006
【００９５】
ところで、上述したように、撮影平面βは仮想平面であり、距離Ｌｗを任意にとることが可能である。距離Ｌｗを任意にとることが可能である意味について、図１５および図１６を参照して説明する。図１５は点Ｏからの距離がＬｗである撮影平面βとＬｗ”である撮影平面β”との位置関係を示す平面図、図１６は点Ｏからの距離がＬｗである撮影平面βとＬｗ”である撮影平面β”との位置関係を示す斜視図である。なお、図１６において、点Ｂが線分ＱＣ上にあり、点Ｂ”が線分Ｑ”Ｃ”上にある例を示しているが、一般には、点Ｂは撮影平面β上の任意点、点Ｂ”は撮影平面β”上の任意点であって構わない。
【００９６】
距離Ｌｗを任意にとることが可能であるということは、撮影平面βに平行な平面であるならば、点Ｏから任意の距離にある平面を新たな撮影平面として設定することができることを意味する。ただし、撮影平面は上述したように水平方向の画角を示す角度θｘおよび垂直方向の画角を示す角度θｙにより規定されるために、近距離側にとれば距離に比例して縮小され、遠距離側にとれば距離に比例して拡大されることになる。
【００９７】
ところで、撮影平面βにおける任意の撮影画素位置は、撮影平面β内における相対位置であり、撮影平面β内に相対的な画素座標を設定すれば指定することができる。
【００９８】
具体例として、撮像素子が横１６０１×縦１２０１画素でなるほぼＵＸＧＡの構成であるものとする。そして、撮影平面β上の相対的な画素座標を、撮影平面の中心を原点Ｑ（０，０）として、右上角点Ｃの相対画素座標が（８００，６００）となるように設定したものとする。この座標の取り方を、撮影平面βまでの距離Ｌｗに依存することなく行うとすると、撮影平面β”においては、原点Ｑ”の相対画素座標は（０，０）、右上角点Ｃ”の相対画素座標は（８００，６００）となる。そして、このときに、同一の相対画素座標で表される撮影平面β上の点Ｂおよび撮影平面β”上の点Ｂ”は、点Ｏを通る同一直線上にのる。これは、撮影平面が角度θｘ，θｙにより規定されていて、撮影平面の大きさが点Ｏからの距離に比例して縮小／拡大されるためである（すなわち、三角形ＯＱＣと三角形ＯＱ”Ｃ”とは相似であり、三角形ＯＱＢと三角形ＯＱ”Ｂ”とも相似となる）。
【００９９】
従って、観察平面αｋ上の点Ａと点Ｏとを通る直線と、撮影平面βと、が交差する点Ｂの撮影平面β上の相対画素座標は、距離Ｌｗに依ることなく同一であり、点Ａの画素値として参照すべき撮影平面β上における点Ｂの近傍画素値も、距離Ｌｗに依存することなく同一である。
【０１００】
このような理由から、観察平面αｋ上の点Ａの画素値を算出するために撮影平面β上の点Ｂの位置近傍の画素値を参照するに際して、距離Ｌｗは任意で構わないことがわかるために、以下ではＬｗ＝１とおくことにする。すると、数式８は、次の数式９に書き換えられる。  
［数９］
2010011055.tif 000007
【０１０１】
従って、上述した数式１、数式７、およびこの数式９により求められる点Ｂの座標に基づき、この点Ｂの近傍に位置する画素の画素値から、点Ｂの位置における画素値を補間して求めれば良いのであるが、後述するような４点補間式を用いて算出を行う際に、点Ｂのｚ座標と、補間に用いる画素のｚ座標とが異なると計算が複雑になるために、ここでは、撮影平面βをｙ軸周りに角度δｋだけ回転させて得られる撮影平面β’（図１４に示すように、この撮影平面β’は観察平面αｋと平行になる）に関して、必要な情報を求めておくことにする。ここに、図１４は撮影平面βをｙ軸周りに角度δｋだけ回転させて得られる撮影平面β’と観察平面αｋとを上方から見たときの配置を示す図である。また、図２４は、点Ｏを中心とした射影により観察平面αｋが投影された撮影平面βを、さらにｙ軸周りに角度δｋだけ回転させて得られる撮影平面β’の様子を示す図である。なお、この図２４においては、理解を助けるために、撮影平面β’における点Ｑ’および４つの角点の座標を記載している（ただし、この図２４においてはＬｗを明記しているが、上述したように、実際の計算においてはＬｗ＝１とおけば良い）。
【０１０２】
ここで回転された撮影平面β’に関して必要な情報は、点Ｑをｙ軸周りに角度δｋだけ回転させて得られる点Ｑ’の座標の情報と、点Ｂをｙ軸周りに角度δｋだけ回転させて得られる点Ｂ’の座標の情報と、である。そして、回転後の撮影平面β’上の任意の点はｚ座標が同一となるために、この撮影平面β’上の任意の位置はｘ，ｙ座標の組み合わせだけで表すことが可能である。
【０１０３】
まず、点Ｑ’は、回転後の撮影平面β’上における各撮像画素の座標を計算するのに必要である。すなわち、撮像画素は、撮影平面β’上にｘ軸方向およびｙ軸方向に所定の画素間隔で離散的に配列されている。そして、撮影平面β’の縦横のサイズは、回転によっては変化しないために、撮影平面βの縦横のサイズと同一である。この撮影平面βのｘ軸方向のサイズは図１２〜図１４を見れば分かるように２・Ｌｗ・ｔａｎθｘとなり、ｙ軸方向のサイズも同様に２・Ｌｗ・ｔａｎθｙとなって、何れも既知である。従って、点Ｑ’の座標が分かれば、上述したｘ軸方向およびｙ軸方向のサイズと、撮像素子のｘ軸方向およびｙ軸方向の画素配列と、に基づき、任意の撮像画素の座標を算出することが可能である。
【０１０４】
こうして、ｙ軸周りにδｋだけ回転する回転行列をＶ（δｋ）とすると、ベクトルＯＱをｙ軸周りにδｋだけ回転して得られるベクトルＯＱ’は、次の数式１０に示すように算出される。  
［数１０］
ＯＱ’＝Ｖ（δｋ）ＯＱ
【０１０５】
同様に、ベクトルＯＢをｙ軸周りにδｋだけ回転して得られるベクトルＯＢ’は、次の数式１１に示すように算出される。  
［数１１］
ＯＢ’＝Ｖ（δｋ）ＯＢ
【０１０６】
なお、点Ｑ’と点Ｂ’とは、回転後の撮影平面β’上の点であるために、上述したように、ｚ成分は同一である。
【０１０７】
このｙ軸周りの角度δｋの回転行列Ｖ（δｋ）は、具体的には、次の数式１２に示すような３行３列の行列として表現される。ここに、回転の正方向は、図１３に合わせて右回り方向としている。  
［数１２］
2010011055.tif 000008
【０１０８】
従って、この数式１２を、数式７により求められるベクトルＯＢと、数式９により求められるベクトルＯＱとにそれぞれ演算することにより、点Ｂ’の座標と点Ｑ’の座標とを得ることができる。
【０１０９】
すなわち、数式１１に数式７を代入すれば、次の数式１３を得る。  
［数１３］
2010011055.tif 000009
【０１１０】
従って、上述した数式１により画素毎に順次算出されるベクトルＯＡを、この数式１３に代入することにより、ベクトルＯＢ’が求められる。また、ベクトルＯＱ’についても同様に求められる。
【０１１１】
次に、上述した処理手順（３）について、図２２〜図２５を参照して説明する。なお、上述では、処理手順（３）に関して、点Ｂの近傍に位置する例えば４点の画素位置を求めるとして説明したが、演算を簡単にするために処理手順（２）において点Ｂに代えて点Ｂ’を求めるようにしたために、ここでは、点Ｂ’の近傍に位置する例えば４点の画素位置を求めることになる。従って、求めた４点の画素位置における各画素値に基づいて、点Ｂ’における画素値を求め、求めた画素値を点Ａにおける画素値とすることになる。
【０１１２】
ここに、図２２は上述したように観察平面αｋの画素構成を示し、図２４は上述したように点Ｏを中心とした射影により観察平面αｋが投影された撮影平面βを、さらにｙ軸周りに角度δｋだけ回転させて得られる撮影平面β’の様子を示している。また、図２３は撮影平面βの画素構成を示す図、図２５は点Ｂ’とその近傍に位置する４点の画素位置とを示す図である。なお、図２５は、図２４における丸で囲んだ部分の拡大図となっている。
【０１１３】
これら図２２〜図２５において示している格子線は、格子線の交点（格子点）に撮像部の撮像画素または表示部の表示画素があることを意味している。そして、図２４の丸で囲んだ部分および図２５において、格子点に丸印を付して画素が格子点に位置していることを分かり易く示している。
【０１１４】
上述したように、点Ａは観察平面αｋ上の点であって表示部の画素の何れかに対応した点であるが、この点Ａに対応する撮影平面β’上の点Ｂ’は偶然を除いて撮像部の撮像画素には一致せず、撮像素子の画素同士の中間位置となる。従って、本実施形態においては、４点補間法を用いて点Ｂ’の画素値を算出することにする。そのためにまず、点Ｂ’の近傍に位置する４点の撮影画素位置を求める。
【０１１５】
具体的には、画素値の算出を次のように行う。
【０１１６】
まず、ｘ軸方向に隣接する画素同士およびｙ軸方向に隣接する画素同士の間隔が１になるように座標のスケーリングを選択するものとする。
【０１１７】
そして、撮影平面β’上の点Ｂ’の座標が、（ｘ＋ｄｘ，ｙ＋ｄｙ）（ここに、０≦ｄｘ＜１かつ０≦ｄｙ＜１）（なお、上述したように角度δｋだけ回転して得られる撮影平面β’はｚ座標が一定（Ｌｗ）であるために、ｚ座標の記載を省略している）となったものとする。
【０１１８】
すると、点Ｂ’の近傍に位置する４点の撮像画素の座標は、（ｘ，ｙ）、（ｘ＋１，ｙ）、（ｘ，ｙ＋１）、（ｘ＋１，ｙ＋１）となる。これら４点の撮像画素の画素値を、座標の前に文字βを付して表すとすると、それぞれβ（ｘ，ｙ）、β（ｘ＋１，ｙ）、β（ｘ，ｙ＋１）、β（ｘ＋１，ｙ＋１）となる。
【０１１９】
すると、点Ｂ’の画素値β（ｘ＋ｄｘ，ｙ＋ｄｙ）は、これら４点の撮像画素の画素値を用いて、次の数式１４に示すように４点補間法に基づき算出することができる。  
［数１４］
β（ｘ＋ｄｘ，ｙ＋ｄｙ）＝β（ｘ，ｙ）×（１−ｄｘ）（１−ｄｙ）
＋β（ｘ＋１，ｙ）×ｄｘ（１−ｄｙ）
＋β（ｘ，ｙ＋１）×（１−ｄｘ）ｄｙ
＋β（ｘ＋１，ｙ＋１）×ｄｘｄｙ
【０１２０】
そして、この数式１４により求められた画素値が、点Ａの表示画素の画素値となる。
【０１２１】
このような処理を、観察平面αｋ上の全ての表示画素位置について（つまり、表示機器の全画素について）行うことにより、観察可能な表示を行うことが可能となる。
【０１２２】
なお、上述したような処理により行われる画素値の算出は、その都度の演算によって行うようにしても良いし、ルックアップテーブル等を作成しておいて、このルックアップテーブルを参照することにより行うようにしても構わない。
【０１２３】
また、数式１４においては４点補間法により点Ｂ’の画素値を算出する例を示したが、もちろんこれに限るものではない。他の方法の一例としては、点Ｂ’の最も近傍に位置する１点の画素値を選択する技術を用いることが考えられる。この技術を用いれば、演算の付加を軽減して処理を高速化することができる利点がある。また、さらに他の方法の例としては、エッジ方向を検出して、検出されたエッジ方向において近傍に位置する複数点の画素値を平均（あるいは重み付け平均）する技術を用いることが考えられる。この技術を用いれば、水平方向のエッジ、垂直方向のエッジ、斜め方向のエッジなどを保存することができ、撮影画像から観察画像を作成する際の画質劣化を低減することができる利点がある。そして、これらに挙げた例に限らず、その他の方法により画素値を算出するようにしても構わない。
【０１２４】
次に、点Ｂ’の座標を算出するための構成要素について説明する。なお、構成要素とは、座標の算出に必要な要素のことであり、例えば撮影角度、撮影距離、表示画角等を意味するものである。
【０１２５】
点Ｂ’は数式１３により算出されるが、この数式１３は、ベクトルＯＱと、ベクトルＯＡと、回転行列Ｖ（δｋ）と、により構成されている。
【０１２６】
ここに、ベクトルＯＱは数式９により表されており、その構成要素はｓｉｎδｋとｃｏｓδｋとである。
【０１２７】
また、ベクトルＯＡは数式１により表されており、その構成要素はＬｋと、ωｘ（ｋ）と、ωｙ（ｋ）とである。
【０１２８】
さらに、回転行列Ｖ（δｋ）は数式１２により表されており、その構成要素はｓｉｎδｋと、ｃｏｓδｋとである。
【０１２９】
従って、点Ａの座標を算出するための構成要素は、
Ｌｋ、ωｘ（ｋ）、ωｙ（ｋ）
であることになる。また、点Ｂ’の座標を算出するための構成要素は、
Ｌｋ、ｓｉｎδｋ、ｃｏｓδｋ、ωｘ（ｋ）、ωｙ（ｋ）
であることになる。
【０１３０】
これらの内のｃｏｓδｋは、余弦定理を用いることにより、次の数式１５に示すように求められる。  
［数１５］
2010011055.tif 000010
【０１３１】
また、ｓｉｎδｋは、三角関数の基本公式にこの数式１５を代入することにより、次の数式１６に示すように求められる。
【０１３２】
［数１６］
2010011055.tif 000011
【０１３３】
従って、点Ｂ’の座標を算出するための構成要素は、
ｄ、Ｌ１、Ｌｋ、ωｘ（ｋ）、ωｙ（ｋ）
であると言い替えることができる。
【０１３４】
さらに、測距部１６によって測定した点Ｓと点Ｐｋとの間の距離をＤ（Ｐｋ）とし、設計によって予め定められた点Ｓと点Ｐ１との間の距離をＤ（Ｐ１）とすると、距離Ｌｋは次の数式１７により、距離Ｌ１は次の数式１８により、それぞれ求められる。  
［数１７］
2010011055.tif 000012
［数１８］
2010011055.tif 000013
【０１３５】
従って、点Ａの座標を算出するための構成要素は、
ｄ、Ｄ（Ｐｋ）、ωｘ（ｋ）、ωｙ（ｋ）
であると言い替えることができる。また、点Ｂ’の座標を算出するための構成要素は、
ｄ、Ｄ（Ｐ１）、Ｄ（Ｐｋ）、ωｘ（ｋ）、ωｙ（ｋ）
であるとさらに言い替えることができる。
【０１３６】
これらの内のｄは、左目用撮像部１２と右目用撮像部１３とのカメラ間隔の半分（つまり、カメラ間隔は２ｄとなる）であって、設計により決定された固定値であるために既知である。
【０１３７】
また、左目用撮像部１２と右目用撮像部１３との中点Ｓに配置された測距部１６から、左目用撮像部１２の光軸と右目用撮像部１３の光軸とが交わる点Ｐ１までの距離Ｄ（Ｐ１）も、左目用撮像部１２と右目用撮像部１３の取り付け位置および角度といった設計により決定された固定値であるために既知である。
【０１３８】
さらに、測距部１６から観察物の注視点Ｐｋまでの距離Ｄ（Ｐｋ）は、測距部１６により計測して求められる。
【０１３９】
加えて、撮像部の撮像領域の範囲内における表示部の表示範囲である観察平面を決定するための拡大縮小パラメータωｘ（ｋ），ωｙ（ｋ）は、電子ズームの手動設定あるいは自動設定により決定される。
【０１４０】
こうして、点Ｂ’の座標を算出するための構成要素が全て与えられるために、表示画素の点Ａに対応する点Ｂ’の位置を求めることができることがわかる。
【０１４１】
また、電子ズームを行わない場合には、拡大縮小パラメータωｘ（ｋ），ωｙ（ｋ）は固定値となるために、一定の表示範囲を示す画角を表すことになる。この場合に、観察平面αｋ上の任意の画素Ａijの座標を算出するための残る構成要素は、
ｄ、Ｄ（Ｐｋ）
であることになる。また、このことから、点Ｂ’の座標を算出するための残る構成要素は、
ｄ、Ｄ（Ｐ１）、Ｄ（Ｐｋ）
であることになる。すなわち、表示部の表示範囲（観察平面）が固定されているときは、ｄ、Ｄ（Ｐｋ）が与えられていれば、これらに基づいて点Ａの座標を算出することが可能となり、ｄ、Ｄ（Ｐ１）、Ｄ（Ｐｋ）が与えられていれば、点Ｂ’の座標を算出することが可能となる。
【０１４２】
なお、点Ｂ’の座標を算出するにあたり、上述した距離Ｄ（Ｐ１）に代えて、左目用撮像部１２と右目用撮像部１３との輻輳角ψを用いることも可能である。図２６は距離Ｄ（Ｐ１）と輻輳角ψとの関係を示す図である。この図２６を参照すると、次の数式１９が成り立つことが分かる。  
［数１９］
2010011055.tif 000014
【０１４３】
従って、点Ｂ’の座標を算出するための構成要素は、
ｄ、ψ、Ｄ（Ｐｋ）、ωｘ（ｋ）、ωｙ（ｋ）
であると言い替えることも可能である。
【０１４４】
このような実施形態１によれば、射影変換によって台形に歪んだ画像を矩形に補正（台形補正）することができるために、立体視を行う際の左目用画像と右目用画像との周辺におけるずれを低減することができ、観察物が遠近何れの位置にあっても正常に立体視を行うことが可能となる。
【０１４５】
なお、上述では、一対の撮像部と、測距部と、画像処理部と、一対の表示部と、を一体的に備える立体視画像表示装置を例に挙げたが、もちろんこれに限るものではなく、適宜に別体であっても構わない。例えば、一対の撮像部と測距部とは観察物が存在する場所に設置し、この場所とは遠隔した場所に一対の表示部を配置して、これらを通信回線等で接続して、遠隔的に立体視観察をすることができるような構成であっても構わない。この構成のときには、画像処理部は、一対の撮像部および測距部が存在する場所にあっても良いし、一対の表示部が存在する場所にあっても構わないし、これら以外のその他の場所であって通信回線等で接続された場所にあっても良い。このように、本発明の立体視画像表示装置は、その構成要素の配置場所を限定されるものではない。
【０１４６】
また、上述では主として立体視画像表示装置について説明したが、上述したような構成の立体視画像表示装置に適用される立体視画像表示方法であっても構わない。
【０１４７】
そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【図面の簡単な説明】
【０１４８】
【図１】本発明の実施形態１における立体視画像表示装置を正面側から示す図。
【図２】上記実施形態１における立体視画像表示装置を右側面側（左目側）から示す図。
【図３】上記実施形態１における立体視画像表示装置を背面側から示す図。
【図４】上記実施形態１において、２台の撮像部を所定の輻輳角に固定した構成例を示す図。
【図５】上記実施形態１において、撮像部の輻輳角を至近観察物に合わせて固定し、この至近観察物を左右一対の撮像部により撮像して得られる画像の様子を示す図。
【図６】上記実施形態１において、撮像部の輻輳角を至近観察物に合わせて固定し、遠距離観察物を左右一対の撮像部により撮像して得られる画像の様子を示す図。
【図７】上記実施形態１において、右目用撮像部により至近観察物と遠距離観察物とを撮影するときの撮影範囲をそれぞれ矩形で示す斜視図。
【図８】上記実施形態１において、右目用撮像部により遠距離観察物を撮像して得られた撮影画像中の、観察物を中心とした画像部分に生じている台形歪みの形状を示す図。
【図９】上記実施形態１において、左目用撮像部により遠距離観察物を撮像して得られた撮影画像中の、観察物を中心とした画像部分に生じている台形歪みの形状を示す図。
【図１０】上記実施形態１において、図８に示す台形歪みと図９に示す台形歪みとを両目で観察したときの様子を示す図。
【図１１】上記実施形態１における立体視画像表示装置の回路構成を示すブロック図。
【図１２】上記実施形態１において、右目用撮像部と、至近注視点Ｐ１および最遠注視点Ｐ２と、を上方から見たときの配置を示す図。
【図１３】上記実施形態１において、右目用撮像部と、至近注視点Ｐ１と最遠注視点Ｐ２との間の任意注視点Ｐｋと、を上方から見たときの配置を示す図。
【図１４】上記実施形態１において、撮影平面βをｙ軸周りに角度δｋだけ回転させて得られる撮影平面β’と観察平面αｋとを上方から見たときの配置を示す図。
【図１５】上記実施形態１において、点Ｏからの距離がＬｗである撮影平面βとＬｗ”である撮影平面β”との位置関係を示す平面図。
【図１６】上記実施形態１において、点Ｏからの距離がＬｗである撮影平面βとＬｗ”である撮影平面β”との位置関係を示す斜視図。
【図１７】上記実施形態１において、点Ｏと撮影平面βおよび観察平面αｋとの位置関係を示す斜視図。
【図１８】上記実施形態１において、点Ｏと撮影平面βとの位置関係を示す（Ａ）正面図、（Ｂ）平面図、（Ｃ）右側面図。
【図１９】上記実施形態１において、点Ｏと観察平面αｋとの位置関係を示す（Ａ）正面図、（Ｂ）平面図、（Ｃ）右側面図。
【図２０】上記実施形態１において、観察物としての平面チャートの一例を示す図。
【図２１】上記実施形態１において、点Ｏと観察平面αｋ上の点Ａおよび撮影平面β上の点Ｂとの位置関係を示す斜視図。
【図２２】上記実施形態１において、観察平面αｋの画素構成を示す図。
【図２３】上記実施形態１において、撮影平面βの画素構成を示す図。
【図２４】上記実施形態１において、点Ｏを中心とした射影により観察平面αｋが投影された撮影平面βを、さらにｙ軸周りに角度δｋだけ回転させて得られる撮影平面β’の様子を示す図。
【図２５】上記実施形態１において、点Ｂ’とその近傍に位置する４点の画素位置とを示す図。
【図２６】上記実施形態１において、距離Ｄ（Ｐ１）と輻輳角ψとの関係を示す図。
【図２７】近傍にある観察物と遠方にある観察物とを観察する場合に輻輳角が異なる様子を示す図。
【図２８】近傍にある観察物を観察する際に眼球の寄り目の度合いが大きくなる様子を示す図。
【図２９】遠方にある観察物を観察する際に眼球の寄り目の度合いが小さくなる様子を示す図。
【図３０】従来において、観察物までの距離に応じて輻輳角を調整するように構成された左右一対の撮像部の例を示す図。
【符号の説明】
【０１４９】
１…立体視画像表示装置
２…本体部
３…左テンプル部
４…右テンプル部
５…フレーム
６…左目用部
７…右目用部
８…ブリッジ部
１１…制御部
１２…左目用撮像部
１３…右目用撮像部
１４…左目用表示部
１５…右目用表示部
１６…測距部
２１…プロセッサ
２２…不揮発性メモリ
２３…左目用画像処理部
２４…右目用画像処理部
【図１】
2010011055.tif 000015
【図２】
2010011055.tif 000016
【図３】
2010011055.tif 000017
【図４】
2010011055.tif 000018
【図５】
2010011055.tif 000019
【図６】
2010011055.tif 000020
【図７】
2010011055.tif 000021
【図８】
2010011055.tif 000022
【図９】
2010011055.tif 000023
【図１０】
2010011055.tif 000024
【図１１】
2010011055.tif 000025
【図１２】
2010011055.tif 000026
【図１３】
2010011055.tif 000027
【図１４】
2010011055.tif 000028
【図１５】
2010011055.tif 000029
【図１６】
2010011055.tif 000030
【図１７】
2010011055.tif 000031
【図１８】
2010011055.tif 000032
【図１９】
2010011055.tif 000033
【図２０】
2010011055.tif 000034
【図２１】
2010011055.tif 000035
【図２２】
2010011055.tif 000036
【図２３】
2010011055.tif 000037
【図２４】
2010011055.tif 000038
【図２５】
2010011055.tif 000039
【図２６】
2010011055.tif 000040
【図２７】
2010011055.tif 000041
【図２８】
2010011055.tif 000042
【図２９】
2010011055.tif 000043
【図３０】
2010011055.tif 000044