(57)【要約】      （修正有）【課題】被写体までの測距の精度を向上させた撮像装置を提供する。【解決手段】同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、複数の画素から得られる画像を生成する複数の撮像部と、複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する距離算出部とを備える。少なくとも１つの撮像部のフィルタアレイは、マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているＢ、Ｃ。【選択図】図６
2018026619.tif 000002
【特許請求の範囲】
【請求項１】
同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部と、
前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する距離算出部と
を備え、
少なくとも１つの前記撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
撮像装置。
【請求項２】
前記複数の撮像部が２つで構成される場合、
２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
請求項１に記載の撮像装置。
【請求項３】
前記複数の撮像部が３つで構成される場合、
基準となる撮像部のフィルタアレイは、Bayerに配列されており、
２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
請求項１に記載の撮像装置。
【請求項４】
前記複数の撮像部が３つで構成される場合、
基準となる撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に同じ特性を有するフィルタが多くなるようにBayer配列を変更して配列されており、
２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
請求項１に記載の撮像装置。
【請求項５】
前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向のみに高密度に構成されている
請求項１に記載の撮像装置。
【請求項６】
前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に低密度に構成されている
請求項５に記載の撮像装置。
【請求項７】
前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、アナモーフィックスレンズを通常の利用形態に対して９０度回転させた配置とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行う
請求項１に記載の撮像装置。
【請求項８】
前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に階段状にオフセットさせた配列とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行う
請求項１に記載の撮像装置。
【請求項９】
前記フィルタアレイは、同じ色の特性または色の特性を有するカラーフィルタが２次元状に配列されたカラーフィルタアレイである
請求項１に記載の撮像装置。
【請求項１０】
同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部を備え、少なくとも１つの前記撮像部のフィルタアレイが、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている撮像装置の
距離算出部が、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置および画像処理方法に関し、特に、被写体までの測距の精度を向上することができるようにした撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
従来より、ステレオベースのDepth測距装置が提案され、実用化されている（特許文献１参照）。ステレオベースのDepth測距において、対象物が遠距離に離れるに従い１ピクセルのDisparityでの距離誤差が大きくなり、測距精度が落ちる傾向にあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３５４２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、ベースラインを調整しようとすると、
１．ベースラインが狭い場合、遠距離に行くに従って、Disparityが発生しにくい傾向となる。
２．ベースラインが広い場合、１については改善するが、近距離において視点間の被写体の見え方が変わり、マッチングがとりにくくなり、Depthが正しく求まらないケースがでやすい傾向となる。
といったトレードオフの関係となってしまっていた。
【０００５】
また、Disparityの１ピクセルあたりの精度を高める目的で画素ピッチを狭めた場合においても、セル面積が狭くなり画素値がノイジーになり、同様に測距精度が落ちてしまうことがあった。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、被写体までの測距の精度を向上することができるものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の撮像装置は、同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記画素アレイから得られる画像を生成する複数の撮像部と、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する距離算出部とを備え、少なくとも１つの前記撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。
【０００８】
前記複数の撮像部が２つで構成される場合、２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。
【０００９】
前記複数の撮像部が３つで構成される場合、基準となる撮像部のフィルタアレイは、Bayerに配列されており、２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。
【００１０】
前記複数の撮像部が３つで構成される場合、基準となる撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に同じ特性を有するフィルタが多くなるようにBayer配列を変更して配列されており、２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。
【００１１】
前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向のみに高密度に構成されている。
【００１２】
前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に低密度に構成されている。
【００１３】
前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、アナモーフィックスレンズを通常の利用形態に対して９０度回転させた配置とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行うことができる。
【００１４】
前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に階段状にオフセットさせた配列とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行うことができる。
【００１５】
前記フィルタアレイは、同じ色の特性または異なる色の特性を有するカラーフィルタが２次元状に配列されたカラーフィルタアレイである。
【００１６】
本技術の一側面の画像処理方法は、同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部を備え、少なくとも１つの前記撮像部のフィルタアレイが、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている撮像装置の距離算出部が、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する。
【００１７】
本技術の一側面においては、同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部が備えられ、少なくとも１つの前記撮像部のフィルタアレイが、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。そして、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離が算出される。
【発明の効果】
【００１８】
本技術によれば、被写体までの測距の精度を向上することができる。
【００１９】
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術を適用した撮像装置の構成例を示すブロック図である。
【図２】ステレオマッチングにおけるカメラの配置形態を示す図である。
【図３】演算部の構成例を示すブロック図である。
【図４】撮像装置の測距処理について説明するフローチャートである。
【図５】２眼ステレオマッチングにおけるカメラの配置形態を示す図である。
【図６】２眼ステレオに適したカメラのカラーフィルタ配列を示す図である。
【図７】３眼ステレオマッチングにおける配置形態を示す図である。
【図８】３眼ステレオに適したカメラのカラーフィルタ配列（一部）の例である。
【図９】３眼ステレオに適したカメラのカラーフィルタ配列（一部）の他の例である。
【図１０】３眼ステレオに適したカメラのカラーフィルタ配列（一部）の他の例である。
【図１１】Anamorphicレンズの使用例を示す図である。
【図１２】Anamorphicレンズの使用例を示す図である。
【図１３】オフセットを付けて位置をずらしたカラーフィルタ配列を説明する図である。
【図１４】パーソナルコンピュータの例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
【００２２】
＜撮像装置の構成例＞
図１は、本技術を適用した撮像装置の構成例を示すブロック図である。図１の撮像装置１１においては、複数台のカメラからの画像間のステレオマッチングを用いた測距が行われる。
【００２３】
図１の例において、撮像装置１１は、カメラ画像入力部２１、演算部２２、および記憶部２３を含むように構成されている。
【００２４】
カメラ画像入力部２１は、撮像素子（センサ）を有するRGBカメラや赤外線カメラなどの複数のカメラ（センサ）により構成されている。カメラ画像入力部２１は、被写体Ｍを撮像し、撮像した被写体Ｍの画像を、演算部２２に入力する。カメラ画像入力部２１が、カメラ２１Ｌおよびカメラ２１Ｒで構成される場合、例えば、図２に示されるように配置される。
【００２５】
＜カメラの配置例＞
図２の例においては、基本的なステレオマッチングにおけるカメラの配置形態が示されている。カメラ２１Ｌおよびカメラ２１Ｒは、被写体Ｍを撮像する、各撮像面が同一平面上にあるように配置されている。ベースラインBLは、カメラ２１Ｌが配置される位置と、カメラ２１Ｒが配置される位置との距離である。
【００２６】
演算部２２は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、およびDSP（Digital Signal Processor）などで構成される。演算部２２は、図３に示されるように、Disparity（視差）算出部３１およびDepth値算出部３２からなる。Disparity算出部３１は、ステレオマッチング処理、すなわち、カメラ画像入力部２１からの画像間でのマッチング処理を行うことで、Disparityを算出する。Depth値算出部３２は、算出されたDisparityからDepth値を算出する。
【００２７】
記憶部２３は、メモリやハードディスクなどからなる。記憶部２３は、演算部２２により各種データなどが記憶される。
【００２８】
＜撮像装置の動作＞
次に、図４のフローチャートを参照して、撮像装置１１の測距処理について説明する。ステップＳ１１において、カメラ画像入力部２１は、被写体Ｍを撮像し、撮像した被写体Ｍの画像を、Disparity算出部３１に入力する。
【００２９】
ステップＳ１２において、Disparity算出部３１は、カメラ画像入力部２１からの画像間でのマッチング処理を行うことで、Disparityを算出する。Disparity算出部３１は、算出されたDisparityをDepth値算出部３２に供給する。
【００３０】
ステップＳ１３において、Depth値算出部３２は、Disparity算出部３１からのDisparity から、Depth値を算出する。撮像装置１１においては、このようにて求められたDepth値が即距に用いられ、測距処理は終了する。
【００３１】
ここで、ステップＳ１３のDepth値の算出は、図５Ａおよび図５Ｂに示されるように、Depth、Disparity、ベースラインBL、Focal Lengthを用いての３角形の相似関係から、次の式（１）で求まる。なお、図５Ａの例においては、被写体Ｍに対するカメラ２１Ｌおよびカメラ２１Ｒの配置の例が示されており、図５Ｂの例においては、撮像面側から見たカメラ２１Ｌおよびカメラ２１Ｒが示されている。
【００３２】
【数１】
2018026619.tif 000003
なお、Depthは、被写体Ｍのカメラ２１Ｌ（カメラ２１Ｒ）からの奥行き方向の距離[mm]である。Disparityは、カメラ２１Ｌで撮影された左画像５１Ｌ上の被写体Ｍの位置の、画像５１Ｌの中心からの水平方向の距離から、カメラ２１Ｒで撮影された右画像上の被写体Ｍの位置の、画像５１Ｒの中心からの水平方向の距離を減算した値[Pix]である。ベースラインBLは、カメラ２１Ｌが配置される位置とカメラ２１Ｒが配置される位置の水平方向の距離[mm]、すなわち、カメラ間距離である。Focal Lengthは、カメラ２１Ｌ（カメラ２１Ｒ）の焦点距離[Pix]である。
【００３３】
DisparityをPixl（ピクセル）単位で考えた場合、遠距離を測距する際に、1 PixlのDisparityの差によって生じるDepth値は、Disparityが小さくなるに従って大きくなるため、一般的に遠距離での測距分解能／精度は劣化していく傾向になる。
【００３４】
そこで、測距分解能低下への対処としては、カメラやセンサの構成を変更することで、上述した式（１）における変数、すなわち、Disparity、ベースラインBL、Focal Lengthが変化する。これらの変数の変化は、それぞれ、分解能向上に対して、トレードオフの関係となる場合がある。以下、それぞれ各変数について測距分解能を向上させる場合の施策によって生じる悪影響を順に述べる。
【００３５】
ベースラインBLについては、ベースラインBL距離を広げることで、カメラ間で重複して撮像可能な領域が狭まり、特に近距離がマッチング対象の両カメラに写らなくなってしまう恐れがある。また、映った場合でも、近距離において視点間の被写体の見え方が大きく変わり、マッチングが取りにくくなることで、測距精度が落ちることがある。
【００３６】
Focal Lengthについては、Focal Lengthを長くすることで、視野角が狭くなり、撮影できる画枠が狭くなることがある。
【００３７】
Disparityについては、センサの画素ピッチを狭めることで、遠距離でもDisparityが発生しやすくなるが、セル面積が小さく狭くなってしまうので、画素値がノイジーになり、マッチング精度が低下する。結果として、出力結果のDepth値もノイジーになり、信頼度が落ちる傾向となってしまう。
【００３８】
これらに対して、本技術においては、センサのカラーフィルタのセル単位の配列が、RGBがそれぞれ１列に並んだ状態とされる。これにより、測距分解能を向上することができる。以下、本技術について、具体的に説明していく。
【００３９】
＜カラーフィルタの配置例＞
図６の例においては、図２および図５のように左右にカメラ２１Ｌおよびカメラ２１Ｒを配置する２眼ステレオに適したカメラのカラーフィルタ（画素）配列の一部の例が示されている。なお、図６の例においては、カメラの撮像素子の撮像面側から見ており、カラーフィルタ配列（アレイ）の下には、対応する画素配列（アレイ）が配置されている。また、図６の例においては、横がステレオマッチングにおけるDisparityサーチ方向（ステレオマッチングのスキャン方向）である。さらに、図６Ａにおいては、図６Ｂ、図６Ｃに記載の本技術のカラーフィルタ（画素）配列と比較するために、カラーフィルタ（画素）配列が、Bayer配列の場合の例が示されている。
【００４０】
図６Ａに示されるように、Bayer配列において、カラーフィルタは、上から、１段目、R(Red),G(Green),R,G,…,２段目、G,B(Blue),G,B,…,３段目、R,G,…,４段目、G,B,…の順に配列されている。
【００４１】
これに対して、図６Ｂに示されるように、本技術のカラーフィルタは、１段目、R,R,R,R…,２段目、B,B,B,…,３段目、G,G,G,…の順に配列される。
【００４２】
このように、カラーフィルタの配列をDisparityサーチ方向に揃える（同じ色のカラーフィルタを並べる）ことで、色毎にマッチングする場合に、図６Ａのような従来のカラーフィルタ配列と比して、色毎のDisparty分解能が向上する。
【００４３】
なお、図６の例においては、１段目R,２段目G,３段目Bとした例を説明したが、分解能が向上する配置であれば、どの段の画素をどの色のカラーフィルタとしてもよい。
【００４４】
また、図６Ｃの例においては、カラーフィルタの配列は、図６Ｂの例のカラーフィルタと同じであるが、Disparityサーチ方向のみ、ピクセル密度が高く（高解像度化）されている。これにより、さらに分解能を向上することができる。
【００４５】
ここで、カメラ画像入力部２１が、カメラ２１Ｌ、カメラ２１Ｒ、およびカメラ２１Ｔで構成される場合、例えば、図７に示されるように配置される。
【００４６】
＜カメラの配置例＞
図７の例においては、左右に加えて上下方向にもステレオマッチングする３眼ステレオの場合のカメラの配置形態が示されている。例えば、この場合、カメラ画像入力部２１は、カメラ２１Ｌ、カメラ２１Ｒ、カメラ２１Ｔで構成され、カメラ２１Ｔは、カメラ２１Ｌの上に配置される。
【００４７】
図７Ａの例においては、被写体Ｍに対するカメラ２１Ｌおよびカメラ２１Ｒ、加えてカメラ２１Ｔの配置の例が示されている。図７Ｂの例においては、撮像面側から見たカメラ２１Ｌ、カメラ２１Ｒ、カメラ２１Ｔが示されている。カメラ２１Ｔは、カメラ２１Ｌの画像を基準として、カメラ２１Ｌの上に配置されている。
【００４８】
＜カラーフィルタの配置例＞
図８の例においては、図７のように左右にカメラ２１Ｌおよびカメラ２１Ｒを配置し、カメラ２１Ｌの上にカメラ２１Ｔを配置する場合の３眼ステレオに適したカメラのカラーフィルタ（画素）配列の一部が示されている。なお、カメラの撮像素子の撮像面側から見た、カメラ２１Ｔおよびカメラ２１Ｌの上下方向配置においては、縦がステレオマッチングのDisparityサーチ方向であり、カメラ２１Ｌおよびカメラ２１Ｒの左右方向配置においては、横がステレオマッチングのDisparityサーチ方向である。
【００４９】
この場合のカラーフィルタ配列は、基準となるカメラ２１Ｌのみ、Bayer配列であり、縦のマッチング対象のカメラ２１Ｔと、横のマッチング対象のカメラ２１Ｒは、それぞれ、対応する縦／横Disparityサーチ方向のみ高解像度とし、Disparityサーチ方向に沿ってRGBがライン毎に並んだ配列となる。
【００５０】
すなわち、カメラ２１Ｌにおいて、カラーフィルタは、上から１段目、R(Red),G(Green),R,G,…,２段目、G,B(Blue),G,B,…,３段目、R,G,…,４段目、G,B,…の順に配列されている。
【００５１】
カメラ２１Ｒにおいて、カラーフィルタは、横のDisparityサーチ方向に、同じカラーフィルタが並ぶように、上から１段目、R,R,R,R…,２段目、B,B,B,…,３段目、G,G,G,…,４段目、B,B,B,…の順に配列されている。
【００５２】
カメラ２１Ｔにおいて、カラーフィルタは、縦のDisparityサーチ方向に、同じカラーフィルタが並ぶように、左から１列目、R,R,R,R…,２列目、B,B,B,…,３列目、G,G,G,…,４列目、B,B,B,…の順に配列されている。
【００５３】
このように配列することで、ステレオマッチング精度を高めると同時に、基準カメラ（カメラ２１Ｌ）においては、通常の写真画質を保ったRGB画像が出力できる。
【００５４】
また、他の例としては、写真画質の品質をそれほど必要としない場合においては、図９および図１０に示されるように、基準カメラ（カメラ２１Ｌ）についても、RGBのマッチング方向になるべく各色の画素数が多くなる配列とすることで、さらに高解像度化を図ることができる。
【００５５】
図９の例においては、赤色を優先した場合の例が示されている。図９のカメラ２１Ｌについては、１段目の左から２番目および４番目の画素において、図８のカメラ２１ＬのBayer配列のGがRに入れ替えられている。２段目と４段目の左から１番目の画素において、図８のカメラ２１ＬのBayer配列のGがRに入れ替えられている。３段目の左から３番目の画素において、図８のカメラ２１ＬのBayer配列のRがGに入れ替えられている。
【００５６】
図１０の例においては、図９の例からさらに、緑色を優先した場合の例が示されている。図１０のカメラ２１Ｌについては、１段目の左から３番目の画素において、図９のカメラ２１Ｌの配列のRがGに入れ替えられている。３段目の左から１番目の画素において、図９のカメラ２１Ｌの配列のRがGに入れ替えられている。
【００５７】
さらに、Anamorphicレンズを利用して、Disparityサーチ方向のピクセル解像度を向上させることも可能である。
【００５８】
＜Anamorphic（アナモーフィックス）レンズの利用例＞
図１１に示されるように、Anamorphicレンズ１０１は、本来、映画撮影においてワイドな（＝横長な）スクリーン照射を想定した画枠情報１１１を、ナロウな（４：３や35mmなどの通常サイズの）フィルム（センサ）１１２に撮影、保存することを目的として考案された光学系である。
【００５９】
ここでは、空間方向の分解能を縦横で変動できる点を利用して、ステレオマッチングのDisparityサーチ方向の分解能を大きくとる構成とする。具体的には、図１２に示されるように、Anamorphicレンズ１０１を９０度回転した配置にすることで、普通のレンズで撮像した画像１２１に対して、Anamorphicレンズ１０１で撮像した画像１２２は、縦方向が、光学的に圧縮された状態で入力される。これにより、通常の矩形のセンサ配列においても、Disparityサーチ方向である横方向の分解能のみ高い状態で撮像することが可能となる。
【００６０】
その他、Anamorphicレンズを用いない場合にも、縦方向の空間分解能について、カラーフィルタ（センサ）を、図１３に示されるように、オフセットを付けて位置をずらした配置とする方法がある。
【００６１】
図１３の例においては、上から順に、１段目は、R,R,R,…,２段目は、画素の横サイズの1/5ほどオフセットを付けて、R,R,R,…, ３段目は、さらに、横サイズの1/5ほどオフセットを付けてR,R,R,…, ４段目は、G,G,G,…,２段目は、横サイズの1/5ほどオフセットを付けて、G,G,G,…, ３段目は、さらに、横サイズの1/5ほどオフセットを付けて、G,G,G,…というように配置されている。
【００６２】
このように縦方向についてオフセットを付けて位置をずらした配置とすることでも、Disparityサーチ方向（横方向）のマッチング分解能を上げることができる
【００６３】
なお、上記説明においては、RGB画素の配列を例に説明したが、IRなどの非可視光やさらに多岐に渡る分光フィルタ、単色のグレースケールの場合、複数方向の偏向フィルタを含むケースにも適用可能である。
【００６４】
また、上記説明においては、画素配列に対応してカラーフィルタアレイを対応させる例を説明したが、１列同じ色であれば、同じ列の複数の画素で１つのフィルタであってもよい。
【００６５】
以上のように、本技術によれば、ステレオベースで求められるDepthの精度を向上させることができる。特に、ベースラインが狭く、Disparityが発生しにくい場合、対象物が遠距離にあり、１ピクセルのDisparityが測距結果に大きな影響を及ぼす場合に、測距精度の向上が達成できる。
【００６６】
＜パーソナルコンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【００６７】
図１４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
【００６８】
パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１、ROM（Read Only Memory）５０２、RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【００６９】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【００７０】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【００７１】
以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
【００７２】
コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００７３】
コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【００７４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
【００７５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【００７７】
例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【００７８】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００７９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８０】
なお、本技術は以下のような構成も取ることができる。
（１）  同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部と、
前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する距離算出部と
を備え、
少なくとも１つの前記撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
撮像装置。
（２）  前記複数の撮像部が２つで構成される場合、
２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
前記（１）に記載の撮像装置。
（３）  前記複数の撮像部が３つで構成される場合、
基準となる撮像部のフィルタアレイは、Bayerに配列されており、
２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
前記（１）に記載の撮像装置。
（４）  前記複数の撮像部が３つで構成される場合、
基準となる撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に同じ特性を有するフィルタが多くなるようにBayer配列を変更して配列されており、
２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
前記（１）に記載の撮像装置。
（５）  前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向のみに高密度に構成されている
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）  前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に低密度に構成されている
前記（５）に記載の撮像装置。
（７）  前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、アナモーフィックスレンズを通常の利用形態に対して９０度回転させた配置とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行う
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）  前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に階段状にオフセットさせた配列とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行う
前記（１）乃至（６）のいずれかに記載の撮像装置。
（９）  前記フィルタアレイは、同じ色の特性または異なる色の特性を有するカラーフィルタが２次元状に配列されたカラーフィルタアレイである
前記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）  同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部を備え、少なくとも１つの前記撮像部のフィルタアレイが、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている撮像装置の
距離算出部が、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する
画像処理方法。
【符号の説明】
【００８１】
１１  撮像装置，  ２１  カメラ画像入力部，  ２１Ｌ，２１Ｒ，２１Ｔ  カメラ，  ２２  演算部，  ２３  記憶部，  ３１  Disparity算出部，  ３２  Depth値算出部,  ５１，５１Ｒ，５１Ｌ  画像，  １０１  Anamorphicレンズ，  １１１  画枠情報、  １１２  フィルム，  １２１，１２２  画像
【図１】
2018026619.tif 000004
【図２】
2018026619.tif 000005
【図３】
2018026619.tif 000006
【図４】
2018026619.tif 000007
【図５】
2018026619.tif 000008
【図６】
2018026619.tif 000009
【図７】
2018026619.tif 000010
【図８】
2018026619.tif 000011
【図９】
2018026619.tif 000012
【図１０】
2018026619.tif 000013
【図１１】
2018026619.tif 000014
【図１２】
2018026619.tif 000015
【図１３】
2018026619.tif 000016
【図１４】
2018026619.tif 000017