(57)【要約】【課題】異なる光軸を有する２つの撮像光学系によって得られる視差画像を１台のカメラを用い、距離計測に重要となる横方向の解像度を維持したまま撮影する。【解決手段】左眼画像光用偏光板１Ｌによって垂直偏光されている左眼画像光用ミラー２Ｌからの反射光は、右眼画像光用偏光ミラー４Ｒを透過し、左眼画像光用偏光ミラー４Ｌで反射され、対物レンズ５により撮像素子（ＣＣＤ）６上に結像される。撮像素子６の前面には、水平偏光板と垂直偏光板が垂直走査方向に交互に密接配置された偏光板７で覆われているため、左眼画像光用ミラー２Ｌから来る垂直偏光された物体光は、撮像素子６の垂直偏光板が配置されたラインにのみ撮像される。同様にして、右眼画像光用ミラー２Ｒから来る水平偏光された物体光は、撮像素子６の垂直偏光板が配置されたラインにのみ撮像される。【選択図】        図１
2004228629.tif 000002
【特許請求の範囲】
【請求項１】
左眼画像と右眼画像が結像される撮像素子の素子面に密接して左眼画像光用偏光板と右眼画像光用偏光板を垂直走査方向に交互に配置したことを特徴とする３次元視差画像用撮像素子。
【請求項２】
前記左眼画像光用偏光板と右眼画像光用偏光板は、前記撮像素子の垂直走査方向に交互に１／４波長捩れて偏光するように偏光配列されていることを特徴とする請求項１に記載の３次元視差画像用撮像素子。
【請求項３】
前記３次元視差画像用撮像素子をモノクロ用の撮像素子として使用する場合、前記左眼画像光用偏光板と右眼画像光用偏光板の偏光配列は、１水平走査毎に１／４波長捩れていることを特徴とする請求項２に記載の３次元視差画像用撮像素子。
【請求項４】
前記３次元視差画像用撮像素子をカラー用の撮像素子として使用する場合、前記左眼画像光用偏光板と右眼画像光用偏光板の偏光配列は、２水平走査毎に１／４波長捩れていることを特徴とする請求項２に記載の３次元視差画像用撮像素子。
【請求項５】
偏光を利用して左眼画像光と右眼画像光の光量制御を行う３次元視差画像用撮像光学系において、左眼画像光用ミラーと右眼画像光用ミラーからなる光学系の被写体側に夫々１／４波長異なる偏光板を配置し、撮像素子側に夫々１／４波長異なる偏光ミラーを一体に形成したプリズムを配置することを特徴とする３次元視差画像用撮像光学系。
【請求項６】
請求項１乃至４いずれかに記載の３次元視差画像用撮像素子を使用し、該３次元視差画像用撮像素子から出力される前記左眼画像光と右眼画像光の色差画像に対しライン補間処理を行うことを特徴とする３次元視差画像用撮像装置。
【請求項７】
請求項１乃至４いずれかに記載の３次元視差画像用撮像素子からなる３次元撮像部、及び請求項５に記載の３次元視差画像撮像用光学系を有することを特徴とする３次元視差画像用撮像装置。
【請求項８】
前記３次元撮像部と前記３次元視差画像撮像用光学系とは着脱自在であることを特徴とする請求項７に記載の３次元視差画像用撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元視差画像用撮像素子、撮像光学系及び撮像装置に関し、さらに詳しくは、３次元画像処理の為に必要となる３次元視差画像を取得する３次元視差画像用撮像素子、３次元視差画像用撮像光学系及び３次元視差画像用撮像装置に関する。
【０００２】
【従来の技術】
３次元の画像処理及び距離計測を行う為には、３次元の情報を得る為の視差情報が必要となる。視差とは、人間の目でいえば、左右の目で見たときのそれぞれの目に見える画像の違いである。この視差情報の違いは距離に依存することから、この視差情報により三角測量法を適用することで距離を計測することが出来る。
この視差情報（視差画像）を得る手法として、光軸の異なる撮像系を用いて行う方法がある。この光軸の異なる撮像系に関しては、通常のカメラだけの場合では２台必要となることから、カメラ１台で撮影を行う為のさまざまな手法が従来から提案されている。
以下に、従来の３次元視差画像用撮像装置について説明する。
【０００３】
図５は、従来の３次元視差画像用撮像装置を示す図である。
図５に示す従来の３次元視差画像用撮像装置は、光軸の異なる４枚のミラーを用いて光軸の異なる２枚の画像を撮像素子の半分づつに取り込む構成である。すなわち、この従来例の撮像光学系は、左眼画像用ミラー１０１Ｌ，１０２Ｌ、右眼画像用ミラー１０１Ｒ，１０２Ｒ、対物レンズ１０３、撮像素子（ＣＣＤ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）１０４を備えている。対物レンズ１０３、撮像素子１０４は、通常のカメラと同様の構成であって、左眼及び右眼画像用ミラー１０１Ｌ，１０２Ｌ，１０１Ｒ，１０２Ｒで構成した光学系をカメラの前に取り付ける方法が一般的となっている。
【０００４】
左眼及び右眼画像光用ミラー１０１Ｌ，１０１Ｒは、それぞれ物体Ｓから入射する物体光を左眼及び右眼画像光用ミラー１０２Ｌ，１０２Ｒへ導く。左眼及び右眼画像光用ミラー１０２Ｌ，１０２Ｒは、それぞれ左眼及び右眼画像光用ミラー１０１Ｌ，１０１Ｒより導かれた物体光を対物レンズ１０３、撮像素子１０４へ導く。左眼及び右眼画像光用ミラー１０１Ｌ，１０１Ｒは、それぞれの反射面が延長上で所定の角度をもって交差するように取り付けられ、それぞれ異なる光軸１０５Ｌ，１０５Ｒを有している。
【０００５】
左眼及び右眼画像光用ミラー１０１Ｌ，１０２Ｌ，１０１Ｒ，１０２Ｒの前方に置かれた物体Ｓより反射された光（物体光）は、まず左眼及び右眼画像光用ミラー１０１Ｌ，１０１Ｒに入射される。この時、左眼及び右眼画像光用ミラー１０１Ｌ，１０１Ｒは、それぞれの反射面が物体Ｓに対し異なる角度で設定されている為、左眼及び右眼画像光用ミラー１０１Ｌ，１０１Ｒに入射する物体像はそれぞれ異なったものとなる。左眼画像光用ミラー１０１Ｌに入射された物体光は、反射されて左眼画像光用ミラー１０２Ｌに入射される。同様に、右眼画像光用ミラー１０１Ｒに入射された物体光は、反射されて右眼画像光用ミラー１０２Ｒに入射される。
左眼画像光用ミラー１０２Ｌに入射された物体光は、対物レンズ１０３によって撮像素子１０４の撮像面の半面に結像されて左眼画像ＳＬとして撮影される。同様に、右眼画像光用ミラー１０２Ｒに入射された物体光は、撮像素子１０４の反対側の反面に右眼画像ＳＲとして結像される。撮影される像は、例えば、１つの物体Ｓを左右より撮影した左眼画像ＳＬと右眼画像ＳＲが、画面１０９に半分づつ左右に並ぶようになる。
【０００６】
通常の距離算出では、この得られた画像に基づき、信号処理部１１１において、カラー画像であればＹＣｒＣｂ変換、Ｙ信号の取り出し等を行い、それぞれの画像から視差の算出部１１２にて視差の算出を行う。その後、その視差より三角測量法により、距離情報の算出部１１３にて距離情報の算出を行う。
【０００７】
また、他の従来例として特許文献１に記載されたように、３Ｄカメラの２つの光軸による画像を時分割により撮像素子に取り込む方法も知られている。この従来例は、左右に分かれて並設された２つ対物系から入射する物体光により形成される光学像を時分割でメカニカルに切替えることで、撮像素子への入力光の光軸は１つとしている。この方法であれば、横方向の解像度は低下しない。
【０００８】
【特許文献１】
特開２００１−１８８３１０号公報
【０００９】
【発明が解決しようとする課題】
前述した図５に示すような従来技術では、撮像素子（ＣＣＤ）の横方向（主走査方向）に２つの画像を並べてしまう為、横方向の解像度が落ちてしまう。距離計算を行う際、横方向においての視差の解像度がどれだけあるかが精度に大きく影響する為、図５に示すような従来技術の撮像装置では、距離の計測の精度が落ちてしまうという問題がある。
また、特許文献１に記載の従来技術では、取りこまれる左右の視差画像の撮影時刻に差がでるため、動きの大きなものを撮影した場合、正確な視差画像が得られず、正確な距離情報の算出が行えないという問題がある。
【００１０】
本発明は、従来技術が有する問題点に鑑みなされたもので、光軸の異なる２つの撮像系によって得られる視差画像を１台のカメラを用いて撮影することを目的とする。
また、従来の装置に比べて距離計測に重要となる横方向の解像度を維持したまま３次元距離計測の為の視差画像を撮影することを目的とする。
また、撮像素子には左眼画像と右眼画像とを同時に記録して、被写体の速い動きに対しても影響を受けない３次元距離計測の為の視差画像を撮影することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、前記課題を解決するためになされたもので、
第１の技術手段は、左眼画像と右眼画像が結像される撮像素子の素子面に密接して左眼画像光用偏光板と右眼画像光用偏光板を垂直走査方向に交互に配置した３次元視差画像用撮像素子であることを特徴とする。
【００１２】
第２の技術手段は、第１の技術手段の３次元視差画像用撮像素子において、前記左眼画像光用偏光板と右眼画像光用偏光板は、前記撮像素子の垂直走査方向に交互に１／４波長捩れて偏光するように偏光配列されていることを特徴とする。
【００１３】
第３の技術手段は、第２の技術手段の３次元視差画像用撮像素子において、前記３次元視差画像用撮像素子をモノクロ用の撮像素子として使用する場合、前記左眼画像光用偏光板と右眼画像光用偏光板の偏光配列は、１水平走査毎に１／４波長捩れていることを特徴とする。
【００１４】
第４の技術手段は、第２の技術手段の３次元視差画像用撮像素子において、前記３次元視差画像用撮像素子をカラー用の撮像素子として使用する場合、前記左眼画像光用偏光板と右眼画像光用偏光板の偏光配列は、２水平走査毎に１／４波長捩れていることを特徴とする。
【００１５】
第５の技術手段は、偏光を利用して左眼画像光と右眼画像光の光量制御を行う３次元視差画像用撮像光学系において、左眼画像光用ミラーと右眼画像光用ミラーからなる光学系の被写体側に夫々１／４波長異なる偏光板を配置し、撮像光学側に夫々１／４波長異なる偏光ミラーを一体に形成したプリズムを配置することを特徴とする。
【００１６】
第６の技術手段は、第１〜４の技術手段の３次元視差画像用撮像素子を使用し、該３次元視差画像用撮像素子から出力される前記左眼画像光と右眼画像光の色差画像に対しライン補間処理を行う３次元視差画像用撮像装置であることを特徴とする。
【００１７】
第７の技術手段は、第１〜４の技術手段の３次元視差画像用撮像素子からなる３次元撮像部、及び第５の技術手段の３次元視差画像撮像用光学系を有する３次元視差画像用撮像装置であることを特徴とする。
【００１８】
第８の技術手段は、第７の技術手段の３次元視差画像用撮像装置において、前記３次元撮像部と前記３次元視差画像撮像用光学系とは着脱自在であることを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図２〜図４に示す実施例に基づいて説明する。
図１は、本発明の実施例の３次元視差画像用撮像装置を示す図、図２は、撮像素子に配置する偏光板の部分を拡大して示す図、図３は、本発明の３次元視差画像用撮影装置により撮影される視差画像を示す図である。
【００２０】
図１に示す実施例の３次元視差画像用撮影装置は、対物レンズ５、対物レンズ５により形成される画像を記録する撮像素子（ＣＣＤ）６、対物レンズの前方に取り付けられる撮像光学系を備えている。撮像光学系は、左眼画像光用の光学系と右眼画像光用の光学系とが左右対称に配置されたものであって、左眼及び右眼画像用偏光板１Ｌ，１Ｒ、左眼及び右眼画像光用ミラー２Ｌ，２Ｒ、左眼及び右眼画像光用偏光ミラー４Ｌ，４Ｒを含むプリズム３から構成される。
また、得られた画像から距離情報を算出する部分として、信号処理部１１、ライン補間処理部１２、視差の算出部１３及び距離情報の算出部１４を備えている。
【００２１】
撮像素子６の前面には、図２（Ａ）、（Ｂ）に示すようなモノクロ用偏光板７ｍ、カラー用偏光板７ｃの何れかが密接配置される。これらのモノクロ用偏光板７ｍ、カラー用７ｃは、水平偏光板７ｈ、垂直偏光板７ｖが垂直方向に交互に並べて形成されている。この為、左眼画像光用ミラー２Ｌから来る垂直偏光された物体光は、撮像素子６の垂直偏光板７ｖが配置されたラインにのみ撮像され、同様に右眼画像光用ミラー２Ｒから来る水平偏光された物体光は、撮像素子６の垂直偏光板７ｈが配置されたラインにのみ撮像されることになる。
【００２２】
本実施例の３次元視差画像撮影装置により、左眼及び右眼画像光用偏光板１Ｌ，１Ｒの前方に置かれた被写体である物体Ｓからの物体光は、左眼及び右眼画像光用偏光板１Ｌ，１Ｒを通過した後、左眼及び右眼画像光用ミラー２Ｌ，２Ｒに入射される。ここで、ミラー２Ｌから入る画像を左眼画像、ミラー２Ｒから入る画像を右眼画像とする。
左眼画像光用ミラー２Ｌへの物体光は、ミラー直前にある左眼画像光用偏光板１Ｌにより偏光される。ここでは左眼画像光用偏光板１Ｌを垂直偏光板、右眼画像光用偏光板１Ｒを水平偏光板とし、左眼画像光用の垂直偏光板と右眼画像光用の水平偏光板とはλ／４の位相差を有している。
【００２３】
左眼画像光用偏光板１Ｌにて垂直偏光され、左眼画像光用ミラー２Ｌに入射された物体光は、左眼画像光用ミラー２Ｌにより反射されて、プリズム３内に一体に構成された左眼画像光用偏光ミラー４Ｌに入射される。ここで、左眼画像光用偏光ミラー４Ｌは、水平偏光を反射するが垂直偏光は透過させる性質のある偏光ミラーであり、またプリズム３内に一体に構成された右眼画像光用偏光ミラー４Ｒは、垂直偏光を反射するが水平偏光は透過させる性質のある偏光ミラーである。
左眼画像光用ミラー２Ｌからの反射光は垂直偏光されている為、右眼画像光用偏光ミラー４Ｒは透過し、左眼画像光用偏光ミラー４Ｌに達する。左眼画像光用偏光ミラー４Ｌに入射された物体光は、反射されて対物レンズ５により撮像素子６上に結像される。
【００２４】
撮像素子６の前面には、図２（Ａ）、（Ｂ）に示すようなモノクロ用偏光板７ｍ、カラー用偏光板７ｃの何れかの偏光板７が密接配置される。これらのモノクロ用及びカラー用偏光板７ｍ，７ｃは、それぞれ水平偏光板７ｈ、垂直偏光板７ｖが垂直方向に交互に並べてある。この為、左眼画像光用ミラー２Ｌから来る垂直偏光された物体光は、撮像素子６の垂直偏光板７ｖが配置されたラインにのみ撮像されることになる。
一方、右眼画像光用偏光板１Ｒにより水平偏向された物体光は、右眼画像光用ミラー２Ｒにて反射され、プリズム３内に一体に形成された右眼画像光用偏光ミラー４Ｒに入射される。この時、左眼画像光用偏向ミラー４Ｌは、水平偏光は透過するので反射されない。右眼画像光用偏光ミラー４Ｒに入射された光は、対物レンズ５により撮像素子６上に結像される。右眼画像光用ミラー２Ｒからの物体光は水平偏光されている為、撮像素子前面にある偏光板７ｍ，７ｃにより、左眼画像光用ミラー２Ｌからの像が撮像されているラインとは別のラインに結像されることになる。
以上の結果、撮像素子６には図３に示すような視差画像が撮像されることになる。
【００２５】
撮像素子（ＣＣＤ）６がモノクロ用撮像素子である場合には、撮影された視差画像２１には左眼画像２１Ｌ、右眼画像２１Ｒが交互に並ぶ。撮像素子６がカラー用撮像素子である場合には、図２（Ｂ）に示す偏光板７ｃを用いるので、２ライン毎に左眼画像、右眼画像が並ぶことになる。
この理由は、カラー用撮像素子の場合、カラーフィルタは図２（Ｂ）に示すようなベイヤ配列になっており、ＲＧの次のラインはＧＢとなって２ラインで一対になって並んでいる。ここで、偏光板を１ライン毎に並べた場合、右眼画像、左眼画像は夫々ＲＧのみ、或いはＢＧのみとなってしまう。例えば、右眼画像はＲＧのデータのみ、左眼画像はＢＧのデータのみとなる。このようになると、夫々の画像からＹＵＶ（輝度、色差）に変換することが難しくなる。その為、２ラインを一対として、左右夫々の画像が単独で、ＲＧ、ＧＢを含むようにし、ＹＵＶの計算が行なえるようにしている。
【００２６】
次に、信号処理部１１では右眼画像、左眼画像それぞれ別々に信号処理を行う。また、左右の視差画像は１ライン（カラーは２ライン）のずれがあるので、これについてライン補間処理を行う。
図４は、左右の視差画像におけるライン補間処理を示す図である。
以下、図４を用いてライン補間処理について説明する。
図４（Ａ）は、前記した左右の視差画像が１ラインごとにずれがあることを示している。撮像素子６からの出力信号は、信号処理部１１に入力され左眼画像（信号）は図４（Ｂ）、右眼画像（信号）は図４（Ｃ）のように左右視差画像（信号）として分離されるので、夫々の画像における（１），（２），…、（１）’，（２）’，…のように１ライン毎に信号の抜けた状態となる。したがって、信号が抜けたラインについては、同フレーム（或いはフィールド）の一つ前のラインと一つ後のラインとで補間を行う。例えば、（１）、（１）’のラインについて、
（１）  ＝（Ｌｉｎｅ１＋Ｌｉｎｅ２）／２    （図４（Ｂ），（Ｄ）参照）
（１）’＝（Ｌｉｎｅ１′＋Ｌｉｎｅ２′）／２    （図４（Ｃ），（Ｅ）参照）
のようにライン間補間することができる。但し、補間方法は上記ライン間補間に限定するものではない。なお、図４において、右眼画像の最上位ラインと左眼画像の最下位ラインは無視してもよい。
【００２７】
視差の算出部１３では、２つの画像の相関を取り、これに基づき視差の算出を行う。横方向については解像度が維持されるので、従来法に比べて２倍の精度を確保することが出来る。
距離情報の算出部１４では、得られた視差の情報を用いて三角測量により距離の算出を行う。
【００２８】
【発明の効果】
本発明の３次元視差画像用撮像素子、撮像光学系及び撮像装置によれば、光軸の異なる２つの撮像系によって得られる視差画像を１台のカメラを用いて撮影可能となる。
また、撮像素子の垂直方向に沿い交互に左眼画像光用の偏光板と右眼画像光用の偏光板を配列するので、従来の３次元視差画像用撮像装置に比べて距離計測に重要となる横方向の解像度を維持したまま３次元距離計測の為の視差画像が撮影可能となる。
また、撮像素子には左眼画像と右眼画像とを同時に記録することが可能であるので、被写体の速い動きに対しても影響を受けない３次元距離計測の為の視差画像が撮影可能となる。
【図面の簡単な説明】
【図１】本発明の３次元視差画像用撮像装置を示す図である。
【図２】本発明の撮像素子に配置する偏光板の部分を拡大して示す図である。
【図３】本発明の３次元視差画像用撮影装置により撮影される視差画像を示す図である。
【図４】本発明の視差画像におけるライン間補間処理を示す図である。
【図５】従来の３次元視差画像用撮像装置を示す図である。
【符号の説明】
１Ｌ…左眼画像光用偏光板（垂直偏光板）、１Ｒ…右眼画像光用偏光板（水平偏光板）、２Ｌ…左眼画像光用ミラー、２Ｒ…右眼画像光用ミラー、３…プリズム、４Ｌ…左眼画像光用偏光ミラー（垂直偏光ミラー）、４Ｒ…右眼画像光用偏光ミラー（水平偏光ミラー）、５…対物レンズ、６…撮像素子（ＣＣＤ）、７…偏光板、７ｍ…モノクロ用偏光板、７ｃ…カラー用偏光板、１１…信号処理部、１２…ライン補間処理部、１３…視差の算出部、１４…距離情報の算出部、２１…視差画像、２１Ｌ…左眼画像、２１Ｒ…右眼画像。
【図１】
2004228629.tif 000003
【図２】
2004228629.tif 000004
【図３】
2004228629.tif 000005
【図４】
2004228629.tif 000006
【図５】
2004228629.tif 000007