(57)【要約】【課題】簡易且つ小型の構成により視差画像を取得する。【解決手段】視差画像取得装置１００は、被写体Ｓから到来する光束を集光する対物レンズ光学系１と、光束の光路上に設けられ、平面視による面領域に応じて直交する２種類の直線偏光を透過させる偏光板２ａ，２ｂと、光束の光路上に設けられ、光透過率を変更する光量変更部３ａ，３ｂと、集光レンズ光学系５の後段であり光束の光路上に設けられ、光束の偏光方向に応じて光束を２系統の光束に分離する光束分離部６と、光束分離部６で分離された２系統の光束それぞれを撮像して視差画像を生成する撮像部７ａ，７ｂとを備えた。【選択図】図１
2011215545.tif 000002
【特許請求の範囲】
【請求項１】
被写体から到来する光束を集光するレンズ光学系と、
前記光束の光路上に設けられ、平面視による面領域に応じて複数の異なる偏光方向を有する偏光板と、
前記光束の光路上に設けられ、光透過率を変更する光量変更部と、
前記偏光板の後段であり前記光束の光路上に設けられ、前記光束の偏光方向に応じて前記光束を複数の光束に分離する光束分離部と、
前記光束分離部で分離された複数の光束を撮像して視差画像を生成する撮像部と、
を備えることを特徴とする視差画像取得装置。
【請求項２】
前記光束分離部は、偏光ビームスプリッタであり、
前記撮像部は、前記光束分離部で分離された前記複数の光束それぞれを撮像するように複数設けられる
ことを特徴とする請求項１記載の視差画像取得装置。
【請求項３】
前記光束分離部は、画素に対応して複数の偏光特性を有する偏光フィルタであり、
前記撮像部は、前記偏光フィルタに対応して設けられる
ことを特徴とする請求項１記載の視差画像取得装置。
【請求項４】
前記光束分離部は、前記光束から第１の色の光束と第２の色の光束とを抽出するとともに、前記光束の偏光方向に応じて前記第１の色の光束を複数の光束に分離し、
前記撮像部は、前記光束分離部で抽出された前記第２の色の光束と前記光束分離部で分離された前記複数の光束とのそれぞれを撮像するように複数設けられる
ことを特徴とする請求項１記載の視差画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差画像取得装置に関する。
【背景技術】
【０００２】
従来、両光軸を平行にして設置した２台のカメラがそれぞれ撮像した２枚の撮像画像（ステレオ画像）に基づいて、画像における奥行方向の距離を求める方法が知られている。この方法は、例えば、ステレオ画像から視差量を取得し、その視差量に基づいて三角測量法を適用することによって奥行方向の距離を計算するものである。
【０００３】
また、１台のカメラでステレオ画像を撮像する技術が知られている（例えば、非特許文献１参照）。この非特許文献１に記載されたステレオカメラ装置は、単眼の対物レンズと、この対物レンズの光軸に対して垂直方向に離間して二つの窓が設けられた開口部と、単眼の集束レンズと、２系統の光束それぞれを反射させて進路を変更する反射光学系と、二つのフィルムとを備えたものである。そして、このステレオカメラ装置は、対物レンズで集光した光束を開口部の二つの窓を通すことによって視差のある２系統の光束を得る。そして、このステレオカメラ装置は、これら２系統の光束を、集束レンズを通して反射光学系に供給し、この反射光学系で系統ごとに光束の進路を変更して各フィルムに結像させ撮像する。よって、このステレオカメラ装置によれば、単眼の撮像光学系でステレオ画像を得ることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Kennedy, C. “The Development and Use of Stereo Photography for Educational Purposes”, J.SMPE, vol.26, No.1, pp.3-17, 1936.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、２台のカメラにより撮像されたステレオ画像に基づいて視差量を得る方法は、これら２台のカメラを同一の光学条件に設定して動作させる必要があるため、ズーム、フォーカス、絞り等の調節部を連動させる機構が必要となる。よって、この方法を実現する装置は、２台のカメラと調節部の連動機構とを含む大型で大規模なものとなり、実現コストも高いものとなる。
また、非特許文献１に記載されたステレオカメラ装置は、単眼のカメラ装置であるため、上記２台のカメラを備える装置に比べて小型化することが可能である。しかしながら、その文献記載のステレオカメラ装置において、反射光学系に導かれる２系統の光束の光量を調節するためには、開口部の二つの窓の面積を偏りが生じないようにして変更する手段が必要となる。しかし、開口部の二つの窓の面積を変更すると、これら二つの窓の間隔が変わるため、撮像されるステレオ画像における視差量が変わってしまう。
【０００６】
そこで、本発明は、上記の問題を解決するためになされたものであり、簡易且つ小型の構成により視差画像を取得することのできる視差画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
［１］上記の課題を解決するため、本発明の一態様である視差画像取得装置は、被写体から到来する光束を集光するレンズ光学系と、前記光束の光路上に設けられ、平面視による面領域に応じて複数の異なる偏光方向を有する偏光板と、前記光束の光路上に設けられ、光透過率を変更する光量変更部と、前記偏光板の後段であり前記光束の光路上に設けられ、前記光束の偏光方向に応じて前記光束を複数の光束に分離する光束分離部と、前記光束分離部で分離された複数の光束を撮像して視差画像を生成する撮像部と、を備えることを特徴とする。
この構成によれば、平面視による面領域に応じて複数の異なる偏光方向を有する偏光板を、レンズ光学系により集光された光束の光路上に設けられたことにより、視差を含む複数の光束を得ることができる。また、光透過率を変更する光量変更部を光束の光路上に設けたことにより、光量の変更に伴って視差量が変動することがない。
［２］上記［１］記載の視差画像取得装置において、前記光束分離部は、偏光ビームスプリッタであり、前記撮像部は、前記光束分離部で分離された前記複数の光束それぞれを撮像するように複数設けられることを特徴とする。
［３］上記［１］記載の視差画像取得装置において、前記光束分離部は、画素に対応して複数の偏光特性を有する偏光フィルタであり、前記撮像部は、前記偏光フィルタに対応して設けられることを特徴とする。
［４］上記［１］記載の視差画像取得装置において、前記光束分離部は、前記光束から第１の色の光束と第２の色の光束とを抽出するとともに、前記光束の偏光方向に応じて前記第１の色の光束を複数の光束に分離し、前記撮像部は、前記光束分離部で抽出された前記第２の色の光束と前記光束分離部で分離された前記複数の光束とのそれぞれを撮像するように複数設けられることを特徴とする。
【発明の効果】
【０００８】
簡易且つ小型の構成により視差画像を取得することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態において、奥行情報取得装置の概略の構成を示す図である。
【図２】同実施形態において、偏光板を奥行情報取得装置の前面側から見た模式的な正面図である。
【図３】同実施形態において、光量変更部を奥行情報取得装置の前面側から見た模式的な正面図である。
【図４】第２実施形態において、奥行情報取得装置の概略の構成を示す図である。
【図５】同実施形態において、撮像部の画素構造に対応して設けられた垂直ワイヤーグリッド偏光子および水平ワイヤーグリッド偏光子を模式的に表した図である。
【図６】撮像部の画素構造に対応して設けられた垂直ワイヤーグリッド偏光子および水平ワイヤーグリッド偏光子の別の例を模式的に表した図である。
【図７】第３実施形態において、奥行情報取得装置の概略の構成を示す図である。
【図８】偏光板の別の例を示した図であり、偏光板を奥行情報取得装置の前面側から見た模式的な正面図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態である視差画像取得装置を適用した奥行情報取得装置について説明する。この第１実施形態における奥行情報取得装置は、被写体を単眼のレンズ光学系でとらえて撮像し、所定の一方向に視差がある第１および第２の撮像画像（視差画像）を生成してこれら第１および第２の撮像画像から視差量を取得し、さらに画像上奥行方向の距離を視差量から取得する装置である。なお、本実施形態では、視差の方向が水平方向である例について説明する。
【００１１】
図１は、第１実施形態における奥行情報取得装置の概略の構成を示す図である。同図に示すように、奥行情報取得装置１００は、対物レンズ光学系１と、偏光板２ａ，２ｂと、光量変更部３ａ，３ｂと、光量調節部４と、集束レンズ光学系５と、光束分離部６と、撮像部７ａ，７ｂと、画像処理部８とを備える。同図は、撮像装置でもある奥行情報取得装置１００が被写体の一点である被写体点Ｓを撮像する様子を模式的に示したものである。
なお、同図において、被写体点Ｓから撮像部７ａ，７ｂに光束が到達するまでの光路および構成部は、奥行情報取得装置１００の撮像系の光軸Ｏを含む水平面での断面を模式的に示す図である。そして、光量調節部４と撮像部７ａ，７ｂの出力以降の構成とは、機能構成および信号の流れを示す図である。また、同図における断面図部分は、厳密に正確な縮尺を表したものではない。
【００１２】
図２は、偏光板２ａ，２ｂを奥行情報取得装置１００の前面側から見た模式的な正面図である。また、図３は、光量変更部３ａ，３ｂを奥行情報取得装置１００の前面側から見た模式的な正面図である。図２および図３に示したｘｙ直交軸において、ｘ軸は水平面に平行な軸である。以下、図１から図３までを併せ参照して奥行情報取得装置１００の構成について説明する。
【００１３】
対物レンズ光学系１は、被写体から到来する光束を集光するレンズを含む。このレンズは、１枚のレンズであってもよいし、複数のレンズを組み合わせたレンズ群であってもよい。対物レンズ光学系１は、対物レンズ光学系１の光軸が奥行情報取得装置１００の光軸Ｏに一軸上に重なる位置に設けられる。
【００１４】
偏光板２ａ，２ｂは、対物レンズ光学系１で集光された非偏光である光束から直交する２種類の直線偏光をそれぞれ透過する２枚の半円板状の偏光板である。偏光板２ａ，２ｂは、これら２枚の半円板状の偏光板を組み合わせて円板状の偏光板セットを構成する。偏光板２ａは、直線偏光の振動方向がｙ軸に平行となる向き（水平面に垂直である向き）に設けられ、偏光板２ｂは、直線偏光がｘ軸に平行となる向き（水平面に平行である向き）に設けられる。そして、偏光板２ａ，２ｂは、偏光板セットの中心点が奥行情報取得装置１００の光軸Ｏに貫かれる位置に設けられる。よって、偏光板２ａ，２ｂは、平面視による面領域に応じて直交する２種類の直線偏光を有するものであり、偏光板２ａを透過する直線偏光の光束と偏光板２ｂを透過する直線偏光の光束とは、ｘ軸方向の視差、すなわち水平視差を含んでいる。
なお、偏光板２ａ，２ｂの組み合わせ形状は、好ましくは円板であるが、円板以外にも楕円形状の板や多角形状の板であってもよい。
【００１５】
光量変更部３ａ，３ｂは、偏光板２ａ，２ｂそれぞれを透過した直線偏光の光束の光量を変更する２枚の半円板状の液晶シャッターである。液晶シャッターは、直流の駆動電圧が印加されると、光束の通過面の面積を一定に保ったままその駆動電圧の電圧値に応じて光透過率を変える光学素子である。液晶シャッターは、駆動電圧が高くなるにしたがって光透過率が低くなる駆動電圧−光透過率特性を有する。光量変更部３ａ，３ｂは、その駆動電圧−光透過率特性に基づいて偏光板２ａ，２ｂから到来する偏光された光束の光量を変更するものである。光量変更部３ａ，３ｂは、２枚の半円板状の液晶シャッターを組み合わせて円板状の液晶シャッターセットを構成する。光量変更部３ａは、液晶分子群の配向がｙ軸に平行となるように設けられ、光量変更部３ｂは、液晶分子群の配向がｘ軸に平行となるように設けられる。そして、光量変更部３ａ，３ｂは、液晶シャッターセットの中心点が奥行情報取得装置１００の光軸Ｏに貫かれる位置に設けられる。
つまり、偏光板２ａと光量変更部３ａとは、偏光板２ａの直線偏光と光量変更部３ａの液晶分子群の配向との方向が一致するように設けられ、偏光板２ｂと光量変更部３ｂとは、偏光板２ｂの直線偏光と光量変更部３ｂの液晶分子群の配向との方向が一致するように設けられる。
【００１６】
また、奥行情報取得装置１００を背面視したときに、偏光板２ａの光透過性を有する部分の面積と光量変更部３ａの光透過性を有する部分の面積とが一致するか、または、光量変更部３ａの面積が偏光板２ａの面積よりも大きくなるように、偏光板２ａと光量変更部３ａとは設けられる。同様に、偏光板２ｂの光透過性を有する部分の面積と光量変更部３ｂの光透過性を有する部分の面積とが一致するか、または、光量変更部３ｂの面積が偏光板２ｂの面積よりも大きくなるように、偏光板２ｂと光量変更部３ｂとは設けられる。
なお、液晶シャッターの駆動電圧−光透過率特性は非線形であるため、光量変更部３ａ，３ｂは、できるだけ線形に近い特性を有する範囲内の駆動電圧で動作させることが好ましい。
【００１７】
光量調節部４は、光量変更部３ａ，３ｂそれぞれに直流の駆動電圧を供給して光量変更部３ａ，３ｂの透過光の光量を調節する液晶シャッター制御部である。光量調節部４は、例えば外部からの操作によって不図示の制御部から供給される光量調節信号にしたがって、光量変更部３ａ，３ｂそれぞれに供給する駆動電圧の電圧値を変更する。なお、光量調節部４によって光量変更部３ａ，３ｂそれぞれに供給される駆動電圧は、同一の電圧値である。
【００１８】
集束レンズ光学系５は、光量変更部３ａ，３ｂから到来する光束を集光するレンズを含む。このレンズは、１枚のレンズであってもよいし、複数のレンズが組み合わされたレンズ群であってもよい。集束レンズ光学系５は、集束レンズ光学系５の光軸が奥行情報取得装置１００の光軸Ｏに一軸上に重なる位置に設けられる。
本実施形態において、対物レンズ光学系１と集束レンズ光学系５とを併せてレンズ光学系と呼ぶ。対物レンズ光学系１と偏光板２ａ，２ｂと光量変更部３ａ，３ｂと集束レンズ光学系５とは、不図示の鏡筒に収納されて支持される。
【００１９】
光束分離部６は、集束レンズ光学系５によって集光された光束のうち、偏光板２ａを透過して到来した第１の光束と偏光板２ｂを透過して到来した第２の光束とを分離する偏光ビームスプリッタである。偏光ビームスプリッタは、例えば、入射する光束のうちＰ偏光を透過させる一方、Ｓ偏光を反射させる偏光特性を有する偏光ハーフミラー面６ｓを含むものである。Ｐ偏光は入射面に対して平行な方向に振動する偏光であり、Ｓ偏光は入射面に対して垂直の方向に振動する偏光である。
本実施形態において、光束分離部６は、偏光ハーフミラー面６ｓが偏光板２ａ，２ｂにおけるｙ軸に平行であって且つｘｙ平面に対して４５度の傾斜を有するように設けられる。よって、光束分離部６は、集束レンズ光学系５で集光された光束のうち、偏光板２ａで偏光された水平面に対して垂直方向に振動する直線偏光の光束（第１の光束）のみを反射させ、偏光板２ｂで偏光された水平面に対して平行な方向に振動する直線偏光の光束（第２の光束）のみを透過させる。
【００２０】
撮像部７ａ，７ｂそれぞれは、単一の撮像面を有する２個の固体撮像素子であり、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。撮像部７ａ，７ｂそれぞれは、例えば、３８４０画素×２１６０画素または７６８０画素×４３２０画素の超高精細画像の解像度で撮像可能な単板式カラー撮像素子である。
【００２１】
撮像部７ａは、光束分離部６からの反射光である第１の光束が撮像面に結像される位置に設けられ、撮像部７ｂは、光束分離部６からの透過光である第２の光束が撮像面に結像される位置に設けられる。撮像部７ａは、撮像面に結像した像を撮像すると第１の撮像画像を生成して画像処理部８に供給する。また、撮像部７ｂは、撮像面に結像した像を撮像すると第２の撮像画像を生成して画像処理部８に供給する。
偏光板２ａを透過して到来する第１の光束と偏光板２ｂを透過して到来する第２の光束とはｘ軸方向の視差を含むため、第１および第２の撮像画像は水平視差を有する視差画像である。
【００２２】
画像処理部８は、撮像部７ａ，７ｂから第１および第２の撮像画像の供給を受けると、これら第１および第２の撮像画像を取り込んで水平視差の視差量を計算する。例えば、画像処理部８は、第１および第２の撮像画像の相互相関量を計算することによってパターンマッチングを行い、水平方向の画像のずれ量を計算して視差量とする。
また、画像処理部８は、その視差量に基づいて画像における奥行方向の距離を計算する。画像における奥行方向の距離とは、画像の仮想三次元空間における奥行情報取得装置１００の位置（例えば、撮像部７ｂの位置）から当該画像の任意の場所までの距離である。視差量から奥行方向の距離を計算する方法は、三角測量法を適用した公知の計算方法による。画像処理部８は、例えば、画素ごとまたは画素ブロックごとに算出した奥行方向の距離を表す二次元配列データを奥行情報として出力するとともに、視差画像である第１および第２の撮像画像を画像情報として出力する。
【００２３】
また、奥行情報取得装置１００は、不図示のフォーカス調整部を含む。このフォーカス調整部は、例えば、対物レンズ光学系１および集束レンズ光学系５のうち少なくとも対物レンズ光学系１の位置を光軸Ｏの方向に前後移動させることによって、光束の焦点位置を撮像部７ａ，７ｂの各撮像面に合わせるものである。このフォーカス調整部は、マニュアル方式であってもよいしオートフォーカス方式であってもよい。
【００２４】
次に、奥行情報取得装置１００の動作について、被写体点Ｓを撮像して奥行情報および画像情報を出力する例を示して説明する。まず、対物レンズ光学系１は、被写体点Ｓから到来する光束を集光する。次に、偏光板２ａは、対物レンズ光学系１によって集光された光束から、水平面に対して垂直方向に振動する直線偏光のみを透過させるとともに、偏光板２ｂは、対物レンズ光学系１によって集光された光束から、水平面に平行な方向に振動する直線偏光のみを透過させる。
次に、光量変更部３ａは、光量調整部４によって調節された光透過率で、偏光板２ａが透過した直線偏光の光束の光量を調節するとともに、光量変更部３ｂは、偏光板２ｂが透過した直線偏光の光束の光量を調節する。光量調整部４は、外部からの操作によって制御部から供給される光量調節信号にしたがい、光量変更部３ａ，３ｂそれぞれに供給する駆動電圧の電圧値を変更する。次に、集束レンズ光学系５は、光量変更部３ａ，３ｂから到来した光束を集光する。
【００２５】
次に、光束分離部６は、集束レンズ光学系５によって集光された光束のうち、偏光板２ａを透過して到来した第１の光束を偏光ハーフミラー面６ｓで反射させる一方、偏光板２ｂを透過して到来した第２の光束を透過させる。第１の光束は、水平面に対して垂直方向に振動する直線偏光の光束であり、第２の光束は、水平面に対して平行な方向に振動する直線偏光の光束である。
次に、撮像部７ａは、撮像面に結像された第１の光束による像を撮像して第１の撮像画像を生成するとともに、撮像部７ｂは、撮像面に結像された第２の光束による像を撮像して第２の撮像画像を生成する。
次に、画像処理部８は、撮像部７ａ，７ｂから第１および第２の撮像画像の供給を受けると、これら第１および第２の撮像画像を取り込んで水平視差の視差量を計算する。具体的には、画像処理部８は、例えば、第１および第２の撮像画像について画素単位または水平ライン単位でのパターンマッチング処理を行い、水平方向の画素ずれ量を取得して画像全体の視差量を計算する。次に、画像処理部８は、画像全体の水平方向の視差量に基づいて、画像における奥行方向の距離を計算する。具体的には、画像処理部８は、例えば、撮像部７ｂの位置から画像における任意の被写体点までの奥行方向の距離を、三角測量法によって水平方向の視差量に基づいて計算する。そして、画像処理部８は、画素ごとまたは画素ブロックごとに算出した奥行方向の距離を表す二次元配列データを奥行情報として出力するとともに、第１および第２の撮像画像を画像情報として出力する。
【００２６】
本実施形態によれば、単眼のレンズ光学系で且つレンズ光学系の前面や周囲に視差を生じさせるための光学系を設ける必要がないため、奥行情報取得装置１００は、装置自体を簡易且つ小型にして視差画像と奥行情報とを取得することができる。
また、本実施形態によれば、光束の光量を変更させるために光路上の光透過率を変更させるようにしたため、撮像部７ａ，７ｂで撮像される第１および第２の撮像画像の視差量が絞りによって変わることがない。
【００２７】
［第２の実施の形態］
本発明の第２実施形態である視差画像取得装置を適用した奥行情報取得装置について説明する。第１実施形態では、奥行情報取得装置１００は、集束レンズ光学系５で集光された光束を光束分離部６で第１および第２の光束に分離し、撮像部７ａ，７ｂに第１および第２の光束による像をそれぞれ撮像させて第１および第２の撮像画像を生成させるようにした。本発明の第２実施形態である視差画像取得装置を適用した奥行情報取得装置は、単一の撮像部から第１および第２の撮像画像（視差画像）を生成し、これら第１および第２の撮像画像から視差量を取得してさらに奥行情報を取得する例である。本実施形態でも、視差の方向が水平方向である例について説明する。
なお、本実施形態において、第１実施形態と同一の構成については同一の符号を付してその説明を省略する。
【００２８】
図４は、第２実施形態における奥行情報取得装置の概略の構成を示す図である。同図に示すように、奥行情報取得装置１００Ａは、第１実施形態における奥行情報取得装置１００から光束分離部６を削除し、撮像部７ａ，７ｂの代わりに撮像部９を備え、さらに画像処理部８の代わりに画像処理部８Ａを備える。
なお、同図において、被写体点Ｓから撮像部９に光束が到達するまでの光路および構成部は、奥行情報取得装置１００Ａの撮像系の光軸Ｏを含む水平面での断面を模式的に示す図である。そして、光量調節部４と撮像部９の出力以降の構成とは、機能構成および信号の流れを示す図である。また、同図における断面図部分は、厳密に正確な縮尺を表したものではない。
【００２９】
撮像部９は、撮像面の画素ごとに偏光フィルタ特性を設けた固体撮像素子であり、例えば、画素ごとに偏光フィルタであるオンチップ偏光子を組み込んだイメージセンサ型偏光分析ＣＭＯＳセンサである。本実施形態では、撮像部９は、その撮像面を水平面に直交する向きに置いたときに、水平面に垂直方向に振動する直線偏光を透過させる垂直ワイヤーグリッド偏光子と、水平面に平行な方向に振動する直線偏光を透過させる水平ワイヤーグリッド偏光子とを設けたものである。撮像部９は、集束レンズ光学系５によって集光された光束、すなわち、偏光板２ａを透過して到来した第１の光束と偏光板２ｂを透過して到来した第２の光束とが撮像面に結像される位置に設けられる。
【００３０】
図５は、撮像部９の画素構造に対応して設けられた垂直ワイヤーグリッド偏光子および水平ワイヤーグリッド偏光子を模式的に表した図である。同図に示すように、撮像部９の撮像面には、ｙ軸に平行な方向（水平面に垂直である方向）に振動する直線偏光を透過させる垂直ワイヤーグリッド偏光子９１ａと、ｘ軸に平行な方向（水平面に平行である方向）に振動する直線偏光を透過させる水平ワイヤーグリッド偏光子９１ｂとが、それぞれ画素に対応して設けられている。同図に示すように、撮像部９は、ｘ軸方向において同一の偏光フィルタ特性を有し、且つｙ軸方向において１ラインおきに偏光方向が直交するように垂直ワイヤーグリッド偏光子９１ａと水平ワイヤーグリッド偏光子９１ｂとを設けている。
【００３１】
撮像部９は、偏光板２ａで偏光された直線偏光の光束（第１の光束）を垂直ワイヤーグリッド偏光子９１ａを有するラインで撮像して、第１の撮像画像を生成する。偏光板２ａで偏光された光束は、水平面に対して垂直方向に振動するものである。また、撮像部９は、偏光板２ｂで偏光された直線偏光の光束（第２の光束）を水平ワイヤーグリッド偏光子９１ｂを有するラインで撮像して、第２の撮像画像を生成する。偏光板２ｂで偏光された光束は、水平面に対して平行な方向に振動するものである。撮像部９が生成する第１および第２の撮像画像は、互いに水平視差を有する視差画像であるが、垂直方向には通常の半分の解像度を有する画像である。
【００３２】
画像処理部８Ａは、撮像部９から第１および第２の撮像画像の供給を受けると、これら第１および第２の撮像画像を取り込んで水平視差の視差量を計算する。例えば、画像処理部８Ａは、第１および第２の撮像画像の相互相関量を計算することによりパターンマッチング処理を行い、水平方向の画像のずれ量を計算して視差量とする。
また、画像処理部８Ａは、第１および第２の撮像画像それぞれについて、垂直方向に画素を補間して垂直方向の解像度を撮像部９の垂直解像度と同一にする。つまり、画像処理部８Ａは、垂直方向の解像度を２倍にする。
また、画像処理部８Ａは、計算した視差量に基づいて補間した画像における奥行方向の距離を計算する。視差量から奥行方向の距離を計算する方法は、第１実施形態と同様であるためここでの説明を省略する。そして画像処理部８Ａは、画素ごとまたは画素ブロックごとに算出した奥行方向の距離を表す二次元配列データを奥行情報として出力するとともに、補間した第１および第２の撮像画像を画像情報として出力する。
【００３３】
なお、撮像部９は、ｙ軸方向において複数ラインおきに偏光方向が直交するように垂直ワイヤーグリッド偏光子９１ａおよび水平ワイヤーグリッド偏光子９１ｂを設けるようにしてもよい。また、図６に示すように、撮像部９は、ｘ軸およびｙ軸の各方向の１画素おきに偏光特性が異なるように、垂直ワイヤーグリッド偏光子９１ａおよび水平ワイヤーグリッド偏光子９１ｂを設けるようにしてもよい。また、撮像部９は、ｘ軸およびｙ軸の各方向の例えば２×２画素等のブロックごとに偏光特性が異なるように、垂直ワイヤーグリッド偏光子９１ａおよび水平ワイヤーグリッド偏光子９１ｂを設けるようにしてもよい。
撮像部９を上記のように構成した場合、画像処理部８Ａは、垂直ワイヤーグリッド偏光子９１ａおよび水平ワイヤーグリッド偏光子９１ｂの配置に応じて第１および第２の撮像画像を補間する。
【００３４】
次に、奥行情報取得装置１００Ａの動作について、被写体点Ｓを撮像して奥行情報および画像情報を出力する例を示して説明する。被写体点Ｓから到来する光束を対物レンズ光学系１が集光してから集束レンズ光学系５が光束を集光するところまでの動作は、第１実施形態と同一であるためその部分の説明を省略する。
撮像部９は、集束レンズ光学系５によって集光された光束のうち、偏光板２ａで偏光された直線偏光の光束（第１の光束）を垂直ワイヤーグリッド偏光子９１ａを有するラインで撮像して、第１の撮像画像を生成する。また、撮像部９は、偏光板２ｂで偏光された直線偏光の光束（第２の光束）を水平ワイヤーグリッド偏光子９１ｂを有するラインで撮像して、第２の撮像画像を生成する。
【００３５】
次に、画像処理部８Ａは、撮像部９から第１および第２の撮像画像の供給を受けると、これら第１および第２の撮像画像を取り込んで水平視差の視差量を計算する。具体的には、画像処理部８Ａは、例えば、第１および第２の撮像画像について画素単位または水平ライン単位でのパターンマッチング処理を行い、水平方向の画素ずれ量を取得して画像全体の視差量を計算する。次に、画像処理部８Ａは、第１および第２の撮像画像それぞれについて、垂直方向に画素を補間して垂直方向の解像度を撮像部９の垂直解像度と同一にする。具体的には、画像処理部８Ａは、例えば、垂直方向に隣り合う二つの画素の間に、これら二つの画素の値の平均値である画素を生成して挿入する処理を画像全体について行う。次に、画像処理部８Ａは、画像全体の水平方向の視差量に基づいて、補間した画像における奥行方向の距離を計算する。この奥行方向の距離の計算は、第１実施形態と同一であるためその説明を省略する。そして、画像処理部８Ａは、画素ごとまたは画素ブロックごとに算出した奥行方向の距離を表す二次元配列データを奥行情報として出力するとともに、補間した第１および第２の撮像画像を画像情報として出力する。
【００３６】
本実施形態によれば、偏光ビームスプリッタを設ける必要がなく、またこれによって二つの撮像素子を設ける必要がないため、奥行情報取得装置１００Ａは、第１実施形態における奥行情報取得装置１００よりもさらに小型化して視差画像と奥行情報とを取得することができる。
【００３７】
［第３の実施の形態］
本発明の第３実施形態である視差画像取得装置を適用した奥行情報取得装置について説明する。この第３実施形態における奥行情報取得装置は、被写体を単眼のレンズ光学系でとらえて撮像し、青色撮像画像と赤色撮像画像と所定の一方向に視差がある第１および第２の緑色撮像画像（視差画像）とを生成し、これら第１および第２の緑色撮像画像から視差量を取得し、さらに画像上奥行方向の距離を視差量から取得する装置である。なお、本実施形態でも、視差の方向が水平方向である例について説明する。
なお、本実施形態において、第１実施形態と同一の構成については同一の符号を付してその説明を省略する。
【００３８】
図７は、第３実施形態における奥行情報取得装置の概略の構成を示す図である。同図に示すように、奥行情報取得装置１００Ｂは、第１実施形態における奥行情報取得装置１００に対して、光束分離部６の代わりにビームスプリッタ１０を備え、撮像部７ａ，７ｂの代わりに撮像部７Ｂ，７Ｒ，７Ｇａ，７Ｇｂを備え、さらに画像処理部８の代わりに画像処理部８Ｂを備える。
なお、同図において、被写体点Ｓから撮像部７Ｂ，７Ｒ，７Ｇａ，７Ｇｂに光束が到達するまでの光路および構成部は、奥行情報取得装置１００Ｂの撮像系の光軸Ｏを含む水平面での断面を模式的に示す図である。そして、光量調節部４と撮像部７Ｂ，７Ｒ，７Ｇａ，７Ｇｂの出力以降の構成とは、機能構成および信号の流れを示す図である。また、同図における断面図部分は、厳密に正確な縮尺を表したものではない。また、同図は、撮像装置でもある奥行情報取得装置１００Ｂが被写体の一点である被写体点Ｓを撮像する様子を模式的に示したものであるが、集光レンズ光学系５を透過した後は、中心光軸の光路のみを示して図を簡略化している。
【００３９】
ビームスプリッタ１０は、入射した光束から赤色光と青色光と緑色光とを分離するダイクロイックプリズムと偏光ビームスプリッタとを組み合わせて一体的に構成した光束分離部である。ビームスプリッタ１０は、集束レンズ光学系５によって集光された光束のうち、青色光の波長を有する青色光束のみを反射させる青色光反射ハーフミラー面１０ｓ１と、赤色光の波長を有する赤色光束のみを反射させる赤色光反射ハーフミラー面１０ｓ２と、緑色光の光束からＰ偏光を透過させる一方、Ｓ偏光を反射させる偏光特性を有する偏光ハーフミラー面１０ｓ３とを含む。
【００４０】
本実施形態において、ビームスプリッタ１０は、偏光ハーフミラー面１０ｓ３が偏光板２ａ，２ｂにおけるｘｙ平面に対してｙ軸に平行であって且つ所定角度の傾斜を有するように設けられる。よって、ビームスプリッタ１０は、集束レンズ光学系５で集光された光束を青色光反射ハーフミラー面１０ｓ１と赤色光反射ハーフミラー面１０ｓ２とをそれぞれ透過させて得られた緑色光のうち、偏光板２ａで偏光された水平面に対して垂直方向に振動する直線偏光の光束（第１の緑色光束）のみを反射させ、偏光板２ｂで偏光された水平面に対して平行な方向に振動する直線偏光の光束（第２の緑色光束）のみを透過させる。
【００４１】
撮像部７Ｂ，７Ｒ，７Ｇａ，７Ｇｂそれぞれは、単一の撮像面を有する４個の固体撮像素子であり、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサである。撮像部７Ｂは、ビームスプリッタ１０の青色光反射ハーフミラー面１０ｓ１からの反射光である青色光束が撮像面に結像される位置に設けられる。また、撮像部７Ｒは、ビームスプリッタ１０の赤色光反射ハーフミラー面１０ｓ２からの反射光である赤色光束が撮像面に結像される位置に設けられる。また、撮像部７Ｇａは、ビームスプリッタ１０の偏光ハーフミラー面１０ｓ３からの反射光である第１の緑色光束が撮像面に結像される位置に設けられる。また、撮像部７Ｇｂは、ビームスプリッタ１０の偏光ハーフミラー面１０ｓ３からの透過光である第２の緑色光束が撮像面に結像される位置に設けられる。
【００４２】
撮像部７Ｂは、撮像面に結像した青色光束による像を撮像すると青色撮像画像を生成して画像処理部８Ｂに供給する。また、撮像部７Ｒは、撮像面に結像した赤色光束による像を撮像すると赤色撮像画像を生成して画像処理部８Ｂに供給する。また、撮像部７Ｇａは、撮像面に結像した第１の緑色光束による像を撮像すると第１の緑色撮像画像を生成して画像処理部８Ｂに供給する。また、撮像部７Ｇｂは、撮像面に結像した第２の光束による像を撮像すると第２の緑色撮像画像を生成して画像処理部８Ｂに供給する。
偏光板２ａを透過して到来する第１の光束と偏光板２ｂを透過して到来する第２の光束とはｘ軸方向の視差を含むため、第１および第２の緑色撮像画像は水平視差を有する視差画像である。
【００４３】
画像処理部８Ｂは、撮像部７Ｇａ，７Ｇｂから第１および第２の緑色撮像画像の供給を受けると、これら第１および第２の緑色撮像画像を取り込んで水平視差の視差量を計算する。例えば、画像処理部８Ｂは、第１および第２の撮像画像のパターンマッチング処理を行い、水平方向の画像のずれ量を計算して視差量とする。
また、画像処理部８Ｂは、計算した視差量に基づいて画像における奥行方向の距離を計算する。視差量から奥行方向の距離を計算する方法は、第１実施形態と同様であるためここでの説明を省略する。
また、画像処理部８Ｂは、撮像部７Ｂから青色撮像画像の供給を受けると、この青色撮像画像を取り込み、また、撮像部７Ｒから赤色撮像画像の供給を受けると、この赤色撮像画像を取り込む。そして、画像処理部８Ｂは、第１および第２の緑色撮像画像から視差のない緑色撮像画像を画素単位の線形補間処理によって生成する。そして、画像処理部８Ｂは、画素ごとまたは画素ブロックごとに算出した奥行方向の距離を表す二次元配列データを奥行情報として出力するとともに、緑色撮像画像と青色撮像画像と赤色撮像画像とを画像情報として出力する。
【００４４】
次に、奥行情報取得装置１００Ｂの動作について、被写体点Ｓを撮像して奥行情報および画像情報を出力する例を示して説明する。被写体点Ｓから到来する光束を対物レンズ光学系１が集光してから集束レンズ光学系５が光束を集光するところまでの動作は、第１実施形態と同一であるためその部分の説明を省略する。
ビームスプリッタ１０は、集束レンズ光学系５によって集光された光束のうち、青色光の波長を有する青色光束のみを青色光反射ハーフミラー面１０ｓ１で反射させ、赤色光の波長を有する赤色光束のみを赤色光反射ハーフミラー面１０ｓ２で反射させ、緑色光のうち、偏光板２ａで偏光された水平面に対して垂直方向に振動する直線偏光の光束（第１の緑色光束）のみを反射させ、偏光板２ｂで偏光された水平面に対して平行な方向に振動する直線偏光の光束（第２の緑色光束）のみを透過させる。
【００４５】
撮像部７Ｂは、撮像面に結像した青色光束による像を撮像すると青色撮像画像を生成して画像処理部８Ｂに供給する。また、撮像部７Ｒは、撮像面に結像した赤色光束による像を撮像すると赤色撮像画像を生成して画像処理部８Ｂに供給する。また、撮像部７Ｇａは、撮像面に結像した第１の緑色光束による像を撮像すると第１の緑色撮像画像を生成して画像処理部８Ｂに供給する。また、撮像部７Ｇｂは、撮像面に結像した第２の光束による像を撮像すると第２の緑色撮像画像を生成して画像処理部８Ｂに供給する。
【００４６】
次に、画像処理部８Ｂは、撮像部７Ｇａ，７Ｇｂから第１および第２の緑色撮像画像の供給を受けると、これら第１および第２の緑色撮像画像を取り込んで水平視差の視差量を計算する。具体的には、画像処理部８Ｂは、第１および第２の緑色撮像画像について画素単位または水平ライン単位でのパターンマッチング処理を行い、水平方向の画素ずれ量を取得して画像全体の視差量を計算する。
次に、画像処理部８Ｂは、画像全体の水平方向の視差量に基づいて画像における奥行方向の距離を計算する。この奥行方向の距離の計算は、第１実施形態と同一であるためその説明を省略する。
【００４７】
また、画像処理部８Ｂは、撮像部７Ｂから青色撮像画像の供給を受けると、この青色撮像画像を取り込み、また、撮像部７Ｒから赤色撮像画像の供給を受けると、この赤色撮像画像を取り込む。そして、画像処理部８Ｂは、第１および第２の緑色撮像画像から視差のない緑色撮像画像を画素単位の線形補間によって生成する。そして、画像処理部８Ｂは、画素ごとに算出した奥行方向の距離の値を画素に対応させて奥行情報に含めて出力するとともに、緑色撮像画像と青色撮像画像と赤色撮像画像とを画像情報として出力する。
【００４８】
本実施形態によれば、いわゆる３板式による解像度の高いカラー画像を取得するとともに、視差画像と奥行情報とを取得することができる。
【００４９】
［その他の変形例］
上述した第１実施形態から第３実施形態までにおいては、偏光板２ａを、直線偏光の振動方向がｙ軸に平行となる向きに設けるとともに、偏光板２ｂを、直線偏光の振動方向がｘ軸に平行となる向きに設けるようにした。これ以外にも、偏光板２ａ，２ｂをそれぞれ透過する直線偏光の振動方向が各実施形態における振動方向に対して９０度異なるように、偏光板２ａ，２ｂを設けてもよい。つまり、偏光板２ａを、直線偏光の振動方向がｘ軸に平行となる向き（水平面に平行である向き）に設け、偏光板２ｂを、直線偏光の振動方向がｙ軸に平行となる向き（水平面に垂直である向き）に設けてもよい。これに伴って、光量変更部３ａ，３ｂは、光量変更部３ａ，３ｂの液晶分子群の配向と偏光板２ａ，２ｂの直線偏光との方向が一致するように設けられる。
【００５０】
また、上記のように、偏光板２ａ，２ｂをそれぞれ透過する直線偏光の振動方向が各実施形態における振動方向に対して９０度異なるように偏光板２ａ，２ｂを設けた場合、各実施形態では、以下の構成の配置の変更が生じる。
（１）第１実施形態
光束分離部６は、偏光ハーフミラー面６ｓが偏光板２ａ，２ｂにおけるｘｙ平面に対してｘ軸に平行であって且つ４５度の傾斜を有するように設けられる。よって、光束分離部６は、集束レンズ光学系５で集光された光束のうち、偏光板２ａで偏光された水平面に対して平行な方向に振動する直線偏光の光束（第１の光束）のみを透過させ、偏光板２ｂで偏光された水平面に対して垂直方向に振動する直線偏光の光束（第２の光束）のみを反射させる。
また、撮像部７ａは、光束分離部６からの透過光である第１の光束が撮像面に結像される位置に設けられ、撮像部７ｂは、光束分離部６からの反射光である第２の光束が撮像面に結像される位置に設けられる。
【００５１】
（２）第２実施形態
撮像部９は、偏光板２ａで偏光された水平面に対して平行な方向に振動する直線偏光の光束（第１の光束）を、水平ワイヤーグリッド偏光子９１ｂを有するラインで撮像して第１の撮像画像を生成する。また、撮像部９は、偏光板２ｂで偏光された水平面に対して垂直方向に振動する直線偏光の光束（第２の光束）を、垂直ワイヤーグリッド偏光子９１ａを有するラインで撮像して第２の撮像画像を生成する。
【００５２】
（３）第３実施形態
ビームスプリッタ１０は、偏光ハーフミラー面１０ｓ３が偏光板２ａ，２ｂにおけるｘｙ平面に対してｘ軸に平行であって且つ所定角度の傾斜を有するように設けられる。よって、ビームスプリッタ１０は、集束レンズ光学系５で集光された光束を青色光反射ハーフミラー面１０ｓ１と赤色光反射ハーフミラー１０ｓ２とをそれぞれ透過させて得られた緑色光のうち、偏光板２ａで偏光された水平面に対して平行な方向に振動する直線偏光の光束（第１の緑色光束）のみを透過させ、偏光板２ｂで偏光された水平面に対して垂直方向に振動する直線偏光の光束（第２の緑色光束）のみを反射させる。
また、撮像部７Ｇａは、ビームスプリッタ１０の偏光ハーフミラー面１０ｓ３からの透過光である第１の緑色光束が撮像面に結像される位置に設けられ、撮像部７Ｇｂは、ビームスプリッタ１０の偏光ハーフミラー面１０ｓ３からの反射光である第２の緑色光束が撮像面に結像される位置に設けられる。
【００５３】
また、第１実施形態から第３実施形態までにおいて、入射側から光軸Ｏに沿う対物レンズ光学系１と偏光板２ａ，２ｂと光量変更部３ａ，３ｂと集束レンズ光学系５との配置の順序は、各実施形態に記載の順序のみならず、偏光板２ａ，２ｂと光量変更部３ａ，３ｂとが光学レンズ系の前段または後段に配置されてもよい。また、偏光板２ａ，２ｂと光量変更部３ａ，３ｂとの間にレンズ光学系が配置されてもよい。
【００５４】
また、第１実施形態から第３実施形態までにおいて、偏光板２ａ，２ｂは、２枚の半円板状の偏光板を組み合わせて円板状の偏光板セットを構成するものとした。偏光板セットは、この形態に限らず、光軸Ｏに貫かれる中心点に対して対象となるように、偏光板２ａ，２ｂが設けられればよい。
例えば、図８に示すような偏光板セットを用いてもよい。同図（ａ）は、偏光板セットの中心部付近に遮光板２１を設けて偏光板２ａＡと偏光板２ｂＡとを分離したものである。遮光板２１は、光の反射率が小さい色（黒色等）に着色されるか、または光の反射率の小さい部材で形成されたものである。このような偏光板セットを用いることにより、偏光板２ａＡを通過する直線偏光の光束と偏光板２ｂＡを通過する直線偏光の光束との間の視差量をさらに大きくすることができる。
また、同図（ｂ）は外形が円形である遮光板２２に、光軸Ｏが貫く中心点に対して対象となる二つの開口部を設け、これらの開口部に偏光板２ａＢ，２ｂＢを設けたものである。遮光板２２も、光の反射率が小さい色（黒色等）に着色されるか、または光の反射率の小さい部材で形成されたものである。
【００５５】
また、光量変更部３ａ，３ｂには、例えばＰＬＺＴ素子を適用してもよい。ＰＬＺＴ素子は、チタン酸ジルコン酸ランタン鉛により得られる透明強誘電性セラミックス材料を含んで構成された光学素子であり、液晶シャッターと同様に、印加電圧に応じて光透過率を変更することができる。このＰＬＺＴ素子も、印加電圧が高くなるにつれて光透過率が低くなる印加電圧−光透過率特性を有しており、この印加電圧−光透過率特性を用いて、通過面の面積を一定に保ったまま光束の光量を変更することができる。
【００５６】
また、第３実施形態において、ビームスプリッタ１０は、ダイクロイックプリズムと偏光ビームスプリッタとに分離して設けてもよい。
【００５７】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５８】
１  対物レンズ光学系
２ａ，２ｂ，２ａＡ，２ｂＡ，２ａＢ，２ｂＢ  偏光板
３ａ，３ｂ  光量変更部
４  光量調節部
５  集束レンズ光学系
６  光束分離部
６ｓ，１０ｓ３  偏光ハーフミラー面
７ａ，７ｂ、７Ｂ，７Ｒ，７Ｇａ，７Ｇｂ，９  撮像部
８，８Ａ，８Ｂ  画像処理部
１０  ビームスプリッタ
１０ｓ１  青色光反射ハーフミラー面
１０ｓ２  赤色光反射ハーフミラー面
２１，２２  遮光板
９１ａ  垂直ワイヤーグリッド偏光子
９１ｂ  水平ワイヤーグリッド偏光子
１００  奥行情報取得装置
Ｏ  光軸
Ｓ  被写体点
【図１】
2011215545.tif 000003
【図２】
2011215545.tif 000004
【図３】
2011215545.tif 000005
【図４】
2011215545.tif 000006
【図５】
2011215545.tif 000007
【図６】
2011215545.tif 000008
【図７】
2011215545.tif 000009
【図８】
2011215545.tif 000010