(57)【要約】【課題】  被写体までの距離を精度良く求めることができる撮像装置及び自動制御システムを提供すること。【解決手段】  実施形態によれば、撮像装置は、光学系と、イメージセンサと、処理部を具備する。光学系は、被写体からの光に第１ぼけと第２ぼけを与える。イメージセンサは、被写体からの光が光学系を介して入射され、第１ぼけを有する第１画像信号と第２ぼけを有する第２画像信号とを出力する。処理部は、第１画像信号と第２画像信号に基づいて距離情報を生成する。【選択図】図４
2018077190.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光に対する第１ぼけ処理と第２ぼけ処理を実行する第１光学系と、
前記被写体からの光が前記第１光学系を介して入射され、第１ぼけを有する第１画像信号と第２ぼけを有する第２画像信号とを出力するイメージセンサと、
前記第１画像信号と前記第２画像信号に基づいて距離情報を生成する処理部と、
を具備する撮像装置。
【請求項２】
前記処理部は、前記第１ぼけの形状を前記第１ぼけの形状とも前記第２ぼけの形状とも異なる第３形状に変更するように前記第１画像信号を補正し、前記第２画像信号と補正後の前記第１画像信号の相関に基づいて前記距離情報を生成する請求項１記載の撮像装置。
【請求項３】
前記第１ぼけは第１形状であり、前記第２ぼけは第２形状であり、
前記第１画像信号と前記第２画像信号との加算画像信号は第３形状の第３ぼけを有し、
前記処理部は、前記第１形状が前記第３形状と一致するように前記第１画像信号を補正してから、前記第１画像信号と前記加算画像信号との相関に応じて前記距離情報を生成する請求項１記載の撮像装置。
【請求項４】
前記第１ぼけは第１形状であり、前記第２ぼけは第２形状であり、
前記処理部は、前記第１形状が、前記第１形状とも前記第２形状とも異なる第３形状と一致するように前記第１画像信号を補正し、前記第２形状が前記第３形状と一致するように前記第２画像信号を補正してから、前記第１画像信号と前記第２画像信号との相関に応じて前記距離情報を生成する請求項１記載の撮像装置。
【請求項５】
前記イメージセンサは、複数の画素と、前記複数の画素に対応する複数のカラーフィルタと、を具備し、
前記複数の画素は、それぞれが前記第１画像信号を出力する複数の第１画素を具備し、
前記複数の第１画素は同じ色のカラーフィルタに対応する請求項１記載の撮像装置。
【請求項６】
前記イメージセンサは、複数の画素を具備し、前記複数の画素の各画素は２つのサブ画素を具備し、
前記第１光学系は、前記各画素に対応する複数のマイクロレンズを具備する請求項１記載の撮像装置。
【請求項７】
前記イメージセンサは、複数の画素を具備し、
前記複数の画素は、前記第１画像信号を出力する第１画素と、前記第２画像信号を出力する第２画素とを具備し、
前記第１光学系は前記第１画素の第１部分を遮光する第１遮光部と、前記第２画素の第２部分を遮光する第２遮光部とを具備し、
前記第１部分と前記第２部分は異なる請求項１記載の撮像装置。
【請求項８】
前記第１光学系は第１偏光軸の第１領域と第２偏光軸の第２領域とからなる偏光素子を具備し、前記第１偏光軸は前記第２偏光軸に直交する請求項１記載の撮像装置。
【請求項９】
前記第１ぼけの形状は被写体までの距離に応じて異なり、
前記処理部は、複数の被写体までの距離に関して設定されている複数の畳み込み補正フィルタであって、前記第１ぼけの形状を基準ぼけの形状に変更し、変更の度合いが被写体までの距離に応じている複数の補正フィルタを用いて前記第１画像信号を補正し、補正後の前記第１画像信号と前記基準ぼけを有する基準画像信号との相関に基づき前記距離情報を生成する請求項６、７または８記載の撮像装置。
【請求項１０】
前記基準ぼけの形状は、前記第１光学系の絞りの形状と等しい請求項９記載の撮像装置。
【請求項１１】
前記イメージセンサは、複数の画素と、前記複数の画素に対応する複数のカラーフィルタと、を具備し、
前記複数の画素は、前記第１画像信号を出力する第１画素と、前記第２画像信号を出力する第２画素と、を具備し、
前記第１画素は、第１色のカラーフィルタに対応し、前記第２画素は、第２色のカラーフィルタに対応する請求項１記載の撮像装置。
【請求項１２】
前記処理部は、前記距離情報に基づき、距離マップ、画素毎の距離を示す表、全焦点画像、リフォーカス画像、または領域分割画像を生成する請求項１記載の撮像装置。
【請求項１３】
前記処理部は、前記距離情報に基づき、画像内の距離の最大値、最小値、中心値、または平均値を計算する請求項１記載の撮像装置。
【請求項１４】
前記被写体からの光の第１色成分に対して第３ぼけ処理を実行し、前記被写体からの光の第２色成分に対して第４ぼけ処理を実行する第２光学系をさらに具備し、
前記イメージセンサは、前記被写体からの光が前記第１光学系と前記第２光学系を介して入射され、第３ぼけを有する第３画像信号と第４ぼけを有する第４画像信号をさらに出力し、
前記処理部は、前記第３画像信号と前記第４画像信号に基づいて第２距離情報を生成する請求項１記載の撮像装置。
【請求項１５】
前記第２光学系は、イエローとシアン、またはマゼンタとシアンのカラーフィルタを具備する請求項１４記載の撮像装置。
【請求項１６】
請求項１から請求項１５のいずれか１項に記載の撮像装置と、
前記処理部で発生された前記距離情報に基づいて制御対処を制御する制御部と、
を具備する自動制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、撮像装置及び自動制御システムに関する。
【背景技術】
【０００２】
撮影画像と距離情報を同時に取得する手法としてステレオカメラを用いる手法が知られている。２台のカメラにより同じ対象物を撮影し、２枚の画像のマッチングにより同じ特徴量をもつ画素の対応関係である視差が求められ、視差と２台のカメラの位置関係とから三角測量の原理により被写体までの距離が求められる。しかし、この手法は、２台のカメラが必要であることと、距離を精度良く求めるためには２台のカメラの間隔を長くする必要があるために、装置が大型化する。
【０００３】
１台のカメラで距離を求める手法として、カメラのオートフォーカス(ＡＦ)技術の１つである像面位相差ＡＦ技術を利用することが考えられている。像面位相差ＡＦ方式は、レンズの異なる領域を透過した光を受光して得られた２枚の画像のイメージセンサの撮像面での位相差を求めることにより、合焦状態を判定することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2015-161785号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、マッチングによる手法は、繰り返しパターンが被写体に含まれている場合、視差を正しく検出することが困難であり、距離を精度良く求めることができない。また、ＡＦ技術は合焦状態か否かを判定できるが、距離を求めることができない。
【０００６】
本発明の目的は、被写体までの距離を精度良く求めることができる撮像装置及び自動制御システムを提供することである。
【課題を解決するための手段】
【０００７】
実施形態によれば、撮像装置は、光学系と、イメージセンサと、処理部を具備する。
【０００８】
光学系は、被写体からの光に第１ぼけと第２ぼけを与える。イメージセンサは、被写体からの光が光学系を介して入射され、第１ぼけを有する第１画像信号と第２ぼけを有する第２画像信号とを出力する。処理部は、第１画像信号と第２画像信号に基づいて距離情報を生成する。
【図面の簡単な説明】
【０００９】
【図１】図１は第１実施形態の概略構成の一例を示すブロック図である。
【図２】図２はイメージセンサの断面構造の概略の一例を示す。
【図３】図３は画素配列とカラーフィルタの一例を示す。
【図４】図４は被写体までの距離に応じた結像状態の一例を示す。
【図５】図５はサブ画素から得られた画像信号におけるぼけ形状の一例を示す。
【図６】図６は画像信号のぼけ形状補正フィルタの一例を示す。
【図７】図７は画像信号のぼけ形状補正の一例を示す。
【図８】図８は距離を求める機能ブロックの構成の一例を示す。
【図９】図９は距離を求める演算の一例を示す。
【図１０】図１０は距離を求める演算の他の一例を示す。
【図１１】図１１は距離を求める手順の一例のフローチャートである。
【図１２】図１２は第２実施形態のイメージセンサの画素配列の一例を示す。
【図１３】図１３はイメージセンサの断面構造の概略の一例を示す。
【図１４】図１４は距離を求める演算の一例を示す。
【図１５】図１５は距離を求める手順の一例のフローチャートである。
【図１６】図１６は第３実施形態の撮像装置の光学系の一例を示す。
【図１７】図１７は第４実施形態の撮像装置の光学系の一例を示す。
【図１８】図１８は画素配列の一例を示す。
【図１９】図１９は距離を求める機能ブロックの構成の一例を示す。
【図２０】図２０は被写体までの距離に応じた結像状態の一例を示す。
【図２１】図２１は距離を求める演算の一例を示す。
【図２２】図２２は距離を求める演算の他の一例を示す。
【図２３】図２３は距離を求める手順の一例のフローチャートである。
【図２４】図２４は距離を求める演算に使われる画像の組み合わせの一例を示す。
【図２５】図２５は距離情報の出力形態の変形例を示す。
【図２６】図２６は実施形態の撮像装置を利用する自動車の運転制御システムの一例を示す。
【図２７】図２７は実施形態の撮像装置を利用するロボットの一例を示す。
【図２８】図２８は実施形態の撮像装置を利用するドローンの飛行制御システムの一例を示す。
【図２９】図２９は実施形態の撮像装置を利用する自動ドアシステムの一例を示す。
【図３０】図３０は実施形態の撮像装置を利用する監視システムの一例を示す。
【発明を実施するための形態】
【００１０】
以下、実施の形態について図面を参照して説明する。  
第１実施形態  
[概略構成]  
図１は第１実施形態の概略構成の一例を示す。  
第１実施形態は、撮像装置あるいはカメラと、画像処理装置を含むシステムである。被写体からの光（図示破線矢印）がイメージセンサ１２に入射される。被写体とイメージセンサ１２の間に複数枚（便宜上図示は２枚）のレンズ１４ａ、１４ｂからなる撮影レンズが設けられ、これらを介して被写体からの光がイメージセンサ１２に入射されるように構成してもよい。イメージセンサ１２は、入射光を光電変換し、画像信号（動画でも静止画でもよい）を出力するものであり、ＣＣＤ（Charge Coupled Device）型のイメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサ等、どのようなセンサを用いてもよい。例えば、レンズ１４ｂは光軸に沿って移動可能であり、レンズ１４ｂの移動により焦点が調節される。２枚のレンズ１４ａ、１４ｂの間には絞り１６が設けられる。絞りは調節不可能でもよい。絞りが小さければ、焦点調節機能は不要である。撮影レンズはズーム機能を備えていてもよい。イメージセンサ１２、撮影レンズ１４、絞り１６等から撮像装置が構成される。
【００１１】
画像処理装置は、ＣＰＵ（Central Processing Unit）２２、フラッシュメモリまたはハードディスクドライブ等の不揮発性記憶部２４、ＲＡＭ（Random Access Memory）等の揮発性メモリ２６、通信インタフェース２８、ディスプレイ３０、メモリカードスロット３２等からなる。イメージセンサ１２、ＣＰＵ２２、不揮発性記憶部２４、揮発性メモリ２６、通信インタフェース２８、ディスプレイ３０、メモリカードスロット３２等は、バス３４により互いに接続される。
【００１２】
撮像装置と画像処理装置は別体でもよいし、一体でもよい。一体の場合、両者は、携帯電話、スマートフォン、タブレット、ＰＤＡ（Personal Digital Assistant）等のカメラ付の電子機器として実現されてもよい。別体の場合、一眼レフカメラ等として実現される撮像装置から出力されるデータが、有線または無線でパソコン等として実現される画像処理装置に入力されてもよい。データは、例えば画像データや距離データである。また、撮像装置は各種の電子機器に内蔵される組み込みシステムとして実現されてもよい。
【００１３】
ＣＰＵ２２は、システム全体の動作を統括的に制御する。例えば、ＣＰＵ２２は、不揮発性記憶部２４に記憶された撮影制御プログラム、距離計算プログラム、表示制御プログラム等を実行し、撮影制御、距離算出、表示制御等のための機能ブロックを実現する。これにより、ＣＰＵ２２は、撮像装置のイメージセンサ１２に限らず、レンズ１４ｂ、絞り１６、画像処理装置のディスプレイ３０等も制御する。なお、撮影制御、距離算出、表示制御等のための機能ブロックをＣＰＵ２２により実現するのではなく、専用のハードウェアにより実現してもよい。詳細は後述するが、距離計算プログラムは、撮影画像の画素毎に当該画素に写っている被写体までの距離を求める。
【００１４】
不揮発性記憶部２４はハードディスクドライブ、フラッシュメモリ等から構成される。ディスプレイ３０は、液晶ディスプレイやタッチパネル等から構成される。ディスプレイ３０は撮影画像をカラー表示するとともに、画素毎に求められた距離情報を特定の形態で、例えば、撮影画像が距離に応じて色が付けられた距離マップ画像として表示する。なお、距離情報の表示は、画像としてではなく、距離と位置の対応関係表等の表形式でもよい。
【００１５】
例えば、ＲＡＭ例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等からなる揮発性メモリ２６は、システム全体の制御に関するプログラムや処理に使用される各種データ等を記憶する。
【００１６】
通信部２８は、外部機器との通信や、キーボード、操作ボタン等を用いるユーザによる各種指示の入力を制御するインタフェースである。撮影画像や距離情報はディスプレイ３０で表示されるだけではなく、通信部２８を介して外部情報へ送信され、距離情報に基づいて動作が制御される外部機器で利用されてもよい。外部機器の一例は、自動車やドローン等の走行支援システムや、不審者の侵入を監視する監視システム等がある。画像信号から距離を求める処理の一部を画像処理装置が行い、残りはホスト等の外部機器が行うように、複数の機器で分担して距離情報を求めてもよい。
【００１７】
メモリカードスロット３２には、ＳＤ（Secure Digital）メモリカードやＳＤＨＣ（SD High-Capacity）メモリカード等の可搬型記憶媒体が挿入可能である。撮影画像や距離情報が可搬記憶媒体に記憶され、可搬記憶媒体の情報が他の機器で読み取られることにより、撮影画像や距離情報が他の機器で利用されるようにしてもよい。あるいは、他の撮像装置で撮影された画像信号がメモリカードスロット３２内の可搬型記憶媒体を介して本システムの画像処理装置に入力され、その画像信号に基づいて距離が計算されてもよい。さらに、他の撮像装置で撮影された画像信号が通信部２８を介して本システムの画像処理装置に入力されてもよい。
【００１８】
[イメージセンサ]  
イメージセンサ、例えばＣＣＤ型のイメージセンサ１２は、２次元マトリクス状に配列された受光素子としてのフォトダイオードと、フォトダイオードが入射光を光電変換することにより発生された信号電荷を転送するＣＣＤとからなる。図２は、フォトダイオードの部分の断面構造の一例を示す。ｐ型シリコン基板４２の表面領域に多数のｎ型半導体領域４４が形成され、ｐ型シリコン基板４２とｎ型半導体領域４４とのｐｎ接合により多数のフォトダイオードが形成される。ここでは、図２の左右方向に並ぶ２つのフォトダイオードが１つの画素を構成する。そのため、各フォトダイオードはサブ画素とも称される。各フォトダイオードの間には、クロストーク抑制用の遮光膜４６が形成される。ｐ型シリコン基板４２の上にトランジスタや各種配線等が設けられる多層の配線層４８が形成される。
【００１９】
配線層４８の上にカラーフィルタ５０が形成される。カラーフィルタ５０は、画素毎に例えば赤（Ｒ）、緑（Ｇ）または青（Ｂ）の光を透過し２次元アレイ状に配列された多数のフィルタ要素からなる。このため、各画素はＲ、Ｇ、Ｂのいずれかの色成分の画像情報しか発生しない。画素で発生されない他の２色の色成分の画像情報は、周囲の画素の色成分画像情報から補間により求められる。周期的な繰り返しパターンの撮影においては、補間の際にモアレや偽色が発生することがある。これを防止するために、図示していないが、石英等からなり、繰り返しパターンを多少ぼかす光学的ローパスフィルタが撮影レンズ１４とイメージセンサ１２との間に配置されてもよい。光学的ローパスフィルタを設ける代わりに、画像信号の信号処理で同様な効果を得るようにしてもよい。
【００２０】
カラーフィルタ５０の上にマイクロレンズアレイが形成される。マイクロレンズアレイは画素に対応して２次元アレイ状に配列された多数のマイクロレンズ５２からなる。マイクロレンズ５２は画素毎に設けられる。図２は、表面入射型のイメージセンサ１２を示したが、裏面入射型でもよい。１画素を構成する左右２つのフォトダイオードは、マイクロレンズ５２の左右部分５２ａ、５２ｂを介して撮影レンズ１４の射出瞳（Exit pupil）の異なる領域を透過した光を受光するように構成され、所謂瞳分割が実現されている。マイクロレンズ５２は、左右２つのフォトダイオードに光を導く左右部分５２ａ、５２ｂに分割されていてもよいし、分割されていなくてもよい。分割されている場合は、図２に示すように、左右部分５２ａ、５２ｂの形状は異なる。
【００２１】
図３（ａ）は、各画素を構成するフォトダイオード５４ａ、５４ｂとマイクロレンズ５２との関係の一例の平面図である。ｘ方向が左右方向、ｙ方向が上下方向であり、左右方向はイメージセンサ１２から見た場合の左右を示す。図３（ａ）に示すように、フォトダイオード５４ａは各画素の左半分（被写体から見ると右半分）に位置し、射出瞳の被写体から見た右側の領域を透過した光がマイクロレンズ５２ａを介してフォトダイオード５４ａに入射される。フォトダイオード５４ｂは各画素の右半分（被写体から見ると左半分）に位置し、射出瞳の被写体から見た左側の領域を透過した光がマイクロレンズ５２ｂを介してフォトダイオード５４ｂに入射される。
【００２２】
図３（ｂ）はカラーフィルタ５０の一例を示す。カラーフィルタ５０は、例えばベイヤ配列の原色カラーフィルタである。カラーフィルタ５０は、補色フィルタでもよい。さらに、カラー画像を撮影する必要が無く距離情報だけを求めればよい場合は、イメージセンサ１２はカラーセンサである必要は無く、モノクロセンサでもよく、カラーフィルタ５０は無くてもよい。
【００２３】
なお、１画素を構成するフォトダイオード５４ａ、５４ｂは、図３（ａ）に示すように画素を左右に分割するような配置に限らず、上下に分割するような配置でもよい。さらに、分割線は垂直方向、水平方向に限らず、任意の角度の方向で、画素が斜めに分割されてもよい。
【００２４】
[距離による結像状態の違い]  
図４は、イメージセンサ１２における被写体の結像状態の一例を示す。図４（ｂ）は、ある画素に写っている被写体６２が合焦面に位置する時の結像状態を示す。この場合、被写体像はイメージセンサ１２の撮像面で結像するため、光軸上の被写体６２から出射され撮影レンズ１４の射出瞳の異なる領域を透過した２つの光束Ｌａ、Ｌｂは光軸上の１つの画素６６に入射される。合焦面に位置するが光軸上にはない他の被写体から出射され撮影レンズ１４の射出瞳の異なる領域を透過した２つの光束も１つの画素に入射される。撮影レンズ１４の射出瞳の左側（被写体から見ると右側）領域を透過した光束Ｌａは全画素の左側のフォトダイオード５４ａで光電変換され、撮影レンズ１４の射出瞳の右側（被写体から見ると左側）領域を透過した光束Ｌｂは全画素の右側のフォトダイオード５４ｂで光電変換される。全画素の左右のフォトダイオード５４ａ、５４ｂから出力される画像信号（の総和）Ｉａ、Ｉｂはぼけを含まない。
【００２５】
撮影画像は、全画素の２つのフォトダイオード５４ａ、５４ｂから出力される画像信号（の総和）Ｉａ、Ｉｂの加算信号Ｉａ＋Ｉｂにより生成される。なお、各画素にはＲ、Ｇ、Ｂのいずれかの色成分の光しか入射されないので、厳密にはフォトダイオード５４ａ（または５４ｂ）からはＲ、Ｇ、Ｂのいずれかの色成分の画像信号ＩａＲ、ＩａＧ、またはＩａＢ（またはＩｂＲ、ＩｂＧ、またはＩｂＢ）が出力される。しかし、説明の便宜上、画像信号ＩａＲ、ＩａＧ、ＩａＢ（またはＩｂＲ、ＩｂＧ、ＩｂＢ）の総称を画像信号Ｉａ（またはＩｂ）とする。
【００２６】
図４（ａ）は、ある画素に写っている被写体６２が合焦面より手前に位置する、所謂前ピン（front focus）の場合の結像状態を示す。この場合、被写体像が結像する平面は、被写体から見てイメージセンサ１２より奥であるため、光軸上の被写体６２から出射され撮影レンズ１４の射出瞳の異なる領域を透過した２つの光束Ｌａ、Ｌｂは光軸上の画素６６だけではなく、その周囲の画素、例えば６６Ａ、６６Ｂにも入射される。
【００２７】
全画素の左右のフォトダイオード５４ａ、５４ｂから出力される画像信号（の総和）Ｉａ、Ｉｂはそれぞれぼけを含む。ぼけは、ぼけ関数（Point Spread Function：ＰＳＦ）で定義されるので、ぼけ関数あるいはＰＳＦと称されることもある。光束Ｌａ、Ｌｂがそれぞれ入射される画素の範囲は、被写体が合焦面から離れている距離に応じる。すなわち、被写体が合焦面から手前になるにつれて、光束Ｌａ、Ｌｂが入射される画素範囲は広くなる。被写体が合焦面から離れるにつれて、ぼけの大きさ（量）は大きくなる。
【００２８】
撮影レンズ１４の射出瞳の左側領域を透過した光束Ｌａは全画素の左側のフォトダイオード５４ａで光電変換され、撮影レンズ１４の射出瞳の右側の領域を透過した光束Ｌｂは全画素の右側のフォトダイオード５４ｂで光電変換される。光束Ｌａが入射される画素群は光束Ｌｂが入射される画素群よりも左側である。
【００２９】
図４（ｃ）は、ある画素に写っている被写体６２が合焦面より奥に位置する、所謂後ピン（back focus）の場合の結像状態を示す。この場合、被写体像が結像する平面は、被写体から見てイメージセンサ１２より手前であるため、光軸上の被写体６２から出射され撮影レンズ１４の射出瞳の異なる領域を透過した２つの光束Ｌａ、Ｌｂは光軸上の画素６６だけではなく、その周囲の画素、例えば６６Ｃ、６６Ｄにも入射される。全画素の左右のフォトダイオード５４ａ、５４ｂから出力される画像信号（の総和）Ｉａ、Ｉｂはそれぞれぼけを含む。光束Ｌａ、Ｌｂがそれぞれ入射される画素の範囲は、被写体が合焦面から離れている距離に応じる。すなわち、被写体が合焦面から奥になるにつれて、光束Ｌａ、Ｌｂが入射される画素範囲は広くなる。被写体が合焦面から離れるにつれて、ぼけの大きさ（量）は大きくなる。
【００３０】
撮影レンズ１４の射出瞳の左側領域を透過した光束Ｌａは全画素の左側のフォトダイオード５４ａで光電変換され、撮影レンズ１４の射出瞳の右側領域を透過した光束Ｌｂは画素６６Ｄの右側のフォトダイオード５４ｂで光電変換される。図４（ａ）の前ピン状態とは異なり、光束Ｌａが入射される画素群は光束Ｌｂが入射される画素群よりも右側である。
【００３１】
被写体が合焦面の手前か奥かに応じて、画像信号Ｉａ、Ｉｂが表すぼけの偏り方向は反転している。この偏り方向に基づいて被写体が合焦面の手前、あるいは奥に位置するかを判定することができ、被写体までの距離が求められる。被写体が合焦面の手前か奥の場合のぼけを区別するために、被写体が合焦面より手前に位置する場合のぼけ関数の大きさ（画素サイズに対するぼけ関数の相対的なサイズ）をマイナスとし、被写体が合焦面より奥に位置する場合のぼけ関数の大きさをプラスとする。なお、プラス、マイナスの定義はこの逆でもよい。
【００３２】
[ぼけ関数]  
次に、図５を参照して、被写体の位置に応じた画像のぼけ関数の形状の変化を説明する。絞り１６の開口の形状は円である（実際には多角形であるが、角数が多いので円と見なせる）とする。
【００３３】
図４（ｂ）に示すように被写体が合焦面に位置する場合、図５の中央列（column）に示すように、画像信号Ｉａ、Ｉｂ、Ｉａ＋Ｉｂそれぞれのぼけ関数の形状は略円形である。
【００３４】
図４（ａ）に示すように被写体が合焦面より手前に位置する場合、図５の左側列に示すように、画素の左側に位置するフォトダイオード５４ａから出力された画像信号Ｉａのぼけ関数の形状は、右側が欠けた略左半円形（実際には半円より大きい）であり、画素の右側に位置するフォトダイオード５４ｂから出力された画像信号Ｉｂのぼけ関数の形状は、左側が欠けた略右半円形である。ぼけ関数の形状は、被写体の位置と合焦面との距離（絶対値）が大きくなるにつれて、大きくなる。画像信号Ｉａ＋Ｉｂのぼけ関数の形状は略円形である。
【００３５】
同様に、図４（ｃ）に示すように被写体が合焦面より奥に位置する場合、図５の右側列に示すように、画素の左側に位置するフォトダイオード５４ａから出力された画像信号Ｉａのぼけ関数の形状は、左側が欠けた略右半円形であり、画素の右側に位置するフォトダイオード５４ｂから出力された画像信号Ｉｂのぼけ関数の形状は、右側が欠けた略左半円形である。ぼけ関数の形状は、被写体の位置と合焦面との距離（絶対値）が大きくなるにつれて、大きくなる。画像信号Ｉａ＋Ｉｂのぼけ関数の形状は略円形である。
【００３６】
図５に示すように、画像信号Ｉａのぼけ関数は、被写体が合焦面より手前に位置する場合、左側に偏っており、被写体が合焦面より奥に位置する場合、右側に偏っている。画像信号Ｉａのぼけ関数とは反対に、画像信号Ｉｂのぼけ関数は、被写体が合焦面より手前に位置する場合、右側に偏っており、被写体が合焦面より奥に位置する場合、左側に偏っている。このため、両画像信号の加算信号Ｉａ＋Ｉｂのぼけ関数は被写体の位置によらず中心にある。
【００３７】
実施形態では、合焦面と被写体との位置に応じてぼけ関数の形状が変化する少なくとも２枚の画像に基づいて、所謂ＤｆＤ（Depth from Defocus）法により被写体までの距離が計算される。２枚の画像のぼけ関数の形状を揃えるためのぼけ補正フィルタ（ぼけ補正カーネルとも称する）が用意されている。ぼけ関数は被写体までの距離に応じて大きさや形状が変化するので、被写体までの距離毎に補正の強度（形状を変える程度）が異なる多数のぼけ補正フィルタが用意されている。ぼけ関数の形状が補正された補正画像と他方の基準画像との相関がより高くなるぼけ補正フィルタを求めることにより、被写体までの距離が算出できる。
【００３８】
ぼけ補正は、一方の画像のぼけ関数の形状を他方の画像のぼけ関数の形状に一致させる第１の補正、または両画像のぼけ関数の形状をともに第３のぼけ関数の形状に一致させる第２の補正がある。第１の補正は、例えば、画像信号ＩａまたはＩｂと画像信号Ｉａ＋Ｉｂの相関を演算する場合に使用され、ぼけ補正フィルタは、画像信号ＩａまたはＩｂのぼけ関数の形状を略円形に補正する。第２の補正は、例えば画像信号Ｉａと画像信号Ｉｂの相関を計算する場合に使用され、ぼけ補正フィルタは、画像信号Ｉａと画像信号Ｉｂのぼけ関数の形状を円あるいは特定の形状に補正する。
【００３９】
３つの画像から選ぶ２枚の画像の組み合わせは３つ（ＩａとＩａ＋Ｉｂ；ＩｂとＩａ＋Ｉｂ；ＩａとＩｂ）ある。このうち１つの相関計算結果のみにより距離を決定してもよいが、２つ、または３つの相関演算結果を統合して距離を決定してもよい。統合の例は、単純平均、重み付け平均等でもよい。
【００４０】
レンズから被写体までの距離をｄとすると、撮影画像信号Ｉｘは、ぼけの少ない理想的な撮影画像信号Ｉｙと、撮影画像のぼけ関数ｆ（ｄ）を用いて、式１で表すことができる。“＊”は畳み込み演算を示す。
【００４１】
Ｉｘ＝ｆ（ｄ）＊Ｉｙ        （１）
撮影画像のぼけ関数ｆ（ｄ）は、絞り１６の開口形状と距離ｄによって決定される。距離ｄの符号については、被写体が合焦面より奥に位置する場合は、ｄ＞０、被写体が合焦面より手前に位置する場合は、ｄ＜０とする。
【００４２】
距離によりぼけ関数の形状が変化しない画像信号Ｉａ＋Ｉｂを基準画像信号Ｉｘｒ、画像信号ＩａまたはＩｂを対象画像信号Ｉｘｏとする。
【００４３】
図５に示したように、基準画像信号Ｉｘｒ（画像信号Ｉａ＋Ｉｂ）のぼけ関数ｆ（ｄ）は、被写体が合焦面の前後にあっても形状は変化せず、距離ｄの大きさ｜ｄ｜によって幅が変化するガウス関数として表現される。なお、ぼけ関数ｆ（ｄ）は、距離ｄの大きさ｜ｄ｜によって幅が変化するピルボックス関数として表現しても良い。
【００４４】
基準画像信号Ｉｘｒ（画像信号Ｉａ＋Ｉｂ）は、式１と同様に、絞りの開口形状と距離ｄによって決定されるぼけ関数ｆｒ（ｄ）を用いて、式２で表すことができる。
【００４５】
Ｉｘｒ＝ｆｒ（ｄ）＊Ｉｙ        （２）
対象画像信号Ｉｘo（画像信号ＩａまたはＩｂ）は、式１と同様に、絞りの開口形状と距離から決定されるぼけ関数ｆｏ（ｄ）を用いて、式３で表すことができる。
【００４６】
Ｉｘｏ＝ｆｏ（ｄ）＊Ｉｙ        （３）
基準画像信号Ｉｘｒ（画像信号Ｉａ＋Ｉｂ）のぼけ関数ｆｒ（ｄ）はｆ（ｄ）と等しい。対象画像信号Ｉｘo（画像信号ＩａまたはＩｂ）のぼけ関数ｆｏ（ｄ）はｄ＝０（合焦面）の前後で異なる形状に変化する。図５に示したように、対象画像信号Ｉｘo（画像信号ＩａまたはＩｂ）のぼけ関数ｆｏ（ｄ）は、被写体が合焦面よりも奥（ｄ＞０）の場合、左側（または右側）の成分が減衰した結果の短い幅のガウス関数となり、被写体が合焦面よりも手前（ｄ＜０）の場合、右側（または左側）の成分が減衰した結果の短い幅のガウス関数となる。
【００４７】
ある距離ｄにおいて、対象画像信号Ｉｘo（画像信号ＩａまたはＩｂ）のぼけ関数の形状を基準画像信号Ｉｘｒ（画像信号Ｉａ＋Ｉｂ）のぼけ関数の形状と一致させるためのぼけ関数であるぼけ補正フィルタｆｃ（ｄ）は、式４で表すことができる。
【００４８】
Ｉｘｒ＝ｆｃ（ｄ）＊Ｉｘｏ        （４）
式４のぼけ補正フィルタｆｃ（ｄ）は、式２〜式４から、基準画像信号Ｉｘｒのぼけ関数ｆｒ（ｄ）と、対象画像信号Ｉｘｏのぼけ関数ｆｏ（ｄ）とを用いて、式５で表すことができる。
【００４９】
ｆｃ（ｄ）＝ｆｒ（ｄ）＊ｆ０−１（ｄ）        （５）
式５のｆ０−１（ｄ）は、対象画像のぼけ関数ｆｏ（ｄ）の逆フィルタである。
【００５０】
これらにより、ぼけ補正フィルタｆｃ（ｄ）は、基準画像信号Ｉｘｒと対象画像信号Ｉｘｏとのぼけ関数から解析して算出することが可能である。また、ある距離における対象画像信号Ｉｘｏのぼけ関数は、ぼけ補正フィルタｆｃ（ｄ）を用いて、任意の距離ｄに対応する様々な形状のぼけ関数に補正することができる。
【００５１】
図６は、画像信号Ｉａ、Ｉｂの略半円形のぼけ関数を画像信号Ｉａ＋Ｉｂの略円形のぼけ関数に補正するためのぼけ補正フィルタの例を示す。ぼけ補正フィルタはｘ軸上に成分を有する。画像のぼけ関数が左側に偏っている場合は、フィルタ成分は右側に分布し、画像のぼけ関数が右側に偏っている場合は、フィルタ成分は左側に分布する。
【００５２】
[ぼけ補正処理]  
図７は、ぼけ補正処理の一例を示す。補正対象の画像信号Ｉｘｏ（画像信号ＩａまたはＩｂ）のぼけ関数を任意の距離ｄにおけるぼけ補正フィルタｆｃ（ｄ）を用いて補正すると、補正画像信号Ｉ´ｘｏ（ｄ）（画像信号Ｉａ´またはＩｂ´）は、式６で表すことができる。
【００５３】
Ｉ´ｘｏ（ｄ）＝ｆｃ（ｄ）＊Ｉｘｏ    （６）
ぼけ関数の補正後の補正画像信号Ｉ´ｘｏ（ｄ）と基準画像信号Ｉｘｒ（画像信号Ｉａ＋Ｉｂ）が一致しているか否か判定される。一致する場合、その補正フィルタｆｃ（ｄ）に関する距離ｄが被写体までの距離であると決定できる。一致するとは、画像信号が完全に一致するのみでなく、例えば一致度が所定の閾値未満である場合を含めてもよい。画像信号の一致度は、例えば、各画素を中心とする任意サイズの矩形領域における補正画像信号Ｉ´ｘｏ（ｄ）と基準画像信号Ｉｘｒの相関により計算できる。相関計算の例は、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）、Color Alignment Measure等がある。
【００５４】
[距離計算]  
図８は、第１実施形態に係る距離計算処理の一例を示す。図８はＣＰＵ２２により距離計算プログラムが実行されることにより、実現される機能ブロック図を示す。全画素のフォトダイオード５４ａ、５４ｂの出力がぼけ補正部７２に入力される。ぼけ補正部７２は多数の距離ｄに関する式５に示すようなぼけ補正フィルタｆｃ（ｄ）を有しており、フォトダイオード５４ａから出力された画像信号Ｉａ、フォトダイオード５４ｂから出力された画像信号Ｉｂ、または両フォトダイオード５４ａ、５４ｂの出力の加算画像信号Ｉａ＋Ｉｂにぼけ補正フィルタを演算してそれらのぼけ関数を変更する。ぼけ補正部７２の出力が相関計算部７４に入力される。相関計算部７４は、画素毎に２画像間の相関が最大になるぼけ補正フィルタを決定し、そのフィルタに対応する距離を当該画素に写っている被写体までの距離として出力する。
【００５５】
なお、ＣＰＵ２２がプログラムを実行することにより図８の機能ブロックを実現するのではなく、専用のハードウェアにより実現してもよい。
【００５６】
式５に示すぼけ補正フィルタｆｃ（ｄ）は、一例としては、対象画像信号Ｉｘo（画像信号ＩａまたはＩｂ）のぼけ関数を基準画像信号Ｉｘｒ（画像信号Ｉａ＋Ｉｂ）のぼけ関数と一致させるフィルタである。しかし、補正の態様はこれに限らず、基準画像信号Ｉｘｒ（画像信号Ｉａ＋Ｉｂ）のぼけ関数を対象画像信号Ｉｘo（画像信号ＩａまたはＩｂ）のぼけ関数と一致させてもよいし、対象画像信号Ｉｘo（画像信号ＩａまたはＩｂ）のぼけ関数と基準画像信号Ｉｘｒ（画像信号Ｉａ＋Ｉｂ）のぼけ関数を第３のぼけ関数に一致させてもよい。
【００５７】
相関を演算する２画像の組み合わせのいくつかの例を図９、図１０に示す。この説明では、フォトダイオード５４ａからはＲ画像信号ＩａＲ、Ｇ画像信号ＩａＧ、またはＢ画像信号ＩａＢが出力され、フォトダイオード５４ｂからはＲ画像信号ＩｂＲ、Ｇ画像信号ＩｂＧ、またはＢ画像信号ＩｂＢが出力されるとする。
【００５８】
図９（ａ）はフォトダイオード５４ａ、５４ｂから出力される画像信号ＩａまたはＩｂを対象画像とし、同じ色成分の画像信号Ｉａ＋Ｉｂを基準画像とする例である。Ｒ画像について、対象画像信号ＩａＲまたはＩｂＲが図６に示すような略半円形のぼけ関数を略円形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＲ´またはＩｂＲ´が得られる。補正対象画像信号ＩａＲ´またはＩｂＲ´と基準画像信号ＩａＲ＋ＩｂＲの相関が計算される。
【００５９】
Ｇ画像についても、ＩａＧまたはＩｂＧが略半円形のぼけ関数を略円形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＧ´またはＩｂＧ´が得られ、補正対象画像信号ＩａＧ´またはＩｂＧ´と基準画像信号ＩａＧ＋ＩｂＧの相関が計算される。
【００６０】
Ｂ画像についても、ＩａＢまたはＩｂＢが略半円形のぼけ関数を略円形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＢ´またはＩｂＢ´が得られ、補正対象画像信号ＩａＢ´またはＩｂＢ´と基準画像信号ＩａＢ＋ＩｂＢの相関が計算される。
【００６１】
図９（ｂ）は画像信号ＩａまたはＩｂを対象画像とし、同じ色成分の画像信号Ｉａ＋Ｉｂを基準画像とし、対象画像と基準画像をともに特定形状のぼけ関数に補正する例である。Ｒ画像について、対象画像信号ＩａＲまたはＩｂＲが略半円形のぼけ関数を特定形状、例えば多角形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＲ´またはＩｂＲ´が得られる。基準画像信号ＩａＲ＋ＩｂＲが略半円形のぼけ関数を特定形状、例えば多角形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正基準画像信号ＩａＲ´＋ＩｂＲ´が得られる。補正対象画像信号ＩａＲ´またはＩｂＲ´と補正基準画像信号ＩａＲ´＋ＩｂＲ´の相関が計算される。
【００６２】
Ｇ画像についても、対象画像信号ＩａＧまたはＩｂＧが略半円形のぼけ関数を特定形状、例えば多角形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＧ´またはＩｂＧ´が得られる。基準画像信号ＩａＧ＋ＩｂＧが略半円形のぼけ関数を特定形状、例えば多角形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正基準画像信号ＩａＧ´＋ＩｂＧ´が得られる。補正対象画像信号ＩａＧ´またはＩｂＧ´と補正基準画像信号ＩａＧ´＋ＩｂＧ´の相関が計算される。
【００６３】
Ｂ画像についても、対象画像信号ＩａＢまたはＩｂＢが略半円形のぼけ関数を特定形状、例えば多角形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＢ´またはＩｂＢ´が得られる。基準画像信号ＩａＢ＋ＩｂＢが略半円形のぼけ関数を特定形状、例えば多角形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正基準画像信号ＩａＢ´＋ＩｂＢ´が得られる。補正対象画像信号ＩａＢ´またはＩｂＢ´と補正基準画像信号ＩａＢ´＋ＩｂＢ´の相関が計算される。
【００６４】
図１０（ａ）は画像信号ＩａまたはＩｂを対象画像とし、同じ色成分の画像信号ＩｂまたはＩａを基準画像とする例である。Ｒ画像について、対象画像信号ＩａＲまたはＩｂＲが左、または右の略半円形のぼけ関数を基準画像のぼけ関数である右、または左の略半円形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＲ´またはＩｂＲ´が得られる。補正対象画像信号ＩａＲ´またはＩｂＲ´と基準画像信号ＩｂＲまたはＩａＲの相関が計算される。
【００６５】
Ｇ画像についても、対象画像信号ＩａＧまたはＩｂＧが左、または右の略半円形のぼけ関数を基準画像のぼけ関数である右、または左の略半円形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＧ´またはＩｂＧ´が得られる。補正対象画像信号ＩａＧ´またはＩｂＧ´と基準画像信号ＩｂＧまたはＩａＧの相関が計算される。
【００６６】
Ｂ画像についても、対象画像信号ＩａＢまたはＩｂＢが左、または右の略半円形のぼけ関数を基準画像のぼけ関数である右、または左の略半円形のぼけ関数に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＢ´またはＩｂＢ´が得られる。補正対象画像信号ＩａＢ´またはＩｂＢ´と基準画像信号ＩｂＢまたはＩａＢの相関が計算される。
【００６７】
図１０（ｂ）は画像信号ＩａまたはＩｂを対象画像とし、同じ色成分の画像信号ＩｂまたはＩａを基準画像とする例である。ぼけ補正の態様は両画像のぼけ関数が揃えばよく、揃えるぼけ関数は任意の形状が可能であるが、ここでは、両画像のぼけ関数の形状を略円形とする補正を説明する。Ｒ画像について、第１画像信号ＩａＲがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、第１補正画像信号ＩａＲ´が得られる。第２画像信号ＩｂＲがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、第２補正画像信号ＩａＲ´が得られる。第１補正画像信号ＩａＲ´と第２補正画像信号ＩｂＲ´の相関が計算される。
【００６８】
Ｇ画像についても、第１画像信号ＩａＧがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、第１補正画像信号ＩａＧ´が得られる。第２画像信号ＩｂＧがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、第２補正画像信号ＩａＧ´が得られる。第１補正画像信号ＩａＧ´と第２補正画像信号ＩｂＧ´の相関が計算される。
【００６９】
Ｂ画像についても、第１画像信号ＩａＢがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、第１補正画像信号ＩａＢ´が得られる。第２画像信号ＩｂＢがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、第２補正画像信号ＩａＢ´が得られる。第１補正画像信号ＩａＢ´と第２補正画像信号ＩｂＢ´の相関が計算される。
【００７０】
図１１は、図８に示す機能ブロック図による距離計算処理の流れを示すフローチャートである。ブロック８２で、ぼけ補正部７２は、イメージセンサ１２の各画素の２つのフォトダイオード５４ａ、５４ｂから出力された画像信号Ｉａ、Ｉｂを取り込む。ここでは、相関演算の種類は図９（ａ）に示すものとする。このため、ブロック８４で、ぼけ補正部７２は、画像信号Ｉａ（またはＩｂ）と、ぼけ関数の形状を左右(または左右)の略半円形から略円形に補正するためのぼけ補正フィルタ群の中のある距離ｄ１に対応するぼけ補正フィルタとを畳み込み演算する。ブロック８６で、相関計算部７４は、補正画像信号Ｉａ´（またはＩｂ´）と基準としての画像信号Ｉａ＋Ｉｂとの相関を、ＳＳＤ、ＳＡＤ、ＮＣＣ、ＺＮＣＣ、Color Alignment Measure等により、画素毎に計算する。
【００７１】
ブロック８８で、相関計算部７４は、相関の最大値を検出したか否かを判定する。最大値が検出されない場合、相関計算部７４はぼけ補正部７２にフィルタ変更を指示する。ぼけ補正部７２は、ブロック９０で、補正フィルタ群の中から他の距離ｄ１＋αに対応するぼけ補正フィルタを選択し、ブロック８４で、画像信号Ｉａ（またはＩｂ）と当該選択した補正フィルタとを畳み込み演算する。
【００７２】
ブロック８８で、画素毎の相関の最大値が検出されると、ブロック９２で、相関計算部７４は、相関を最大にするぼけ補正フィルタが対応する距離を当該画素に写っている被写体までの距離と決定する。相関計算部７４から出力される距離情報の出力の一例は距離マップ画像がある。ＣＰＵ２２は、画像信号Ｉａ＋Ｉｂに基づき撮像画像をディスプレイ３０に表示するとともに、撮影画像に距離情報が重畳され、距離に応じた色（例えば、最も手前が赤で、最も奥が青で、距離に応じて色が変わる）が付けられた距離マップ画像もディスプレイ３０に表示する。距離マップ画像は、色に応じて距離が識別できるので、ユーザが直観的に見てわかりやすい。なお、距離情報の出力方法は用途に応じて多くの例が考えられる。
【００７３】
第１実施形態によれば、１画素毎にマイクロレンズ（単一のマイクロレンズの場合もあるし、２つに分離されている場合もある）が設けられ、１画素に含まれる２つのフォトダイオードがマイクロレンズを共有することにより、１画素が特性の異なる２つのフォトダイオードにより構成されるのと同じとみなすことができる。このため、被写体からの光が瞳分割され、射出瞳の異なる領域を透過する２つの光が２つのフォトダイオードにそれぞれ入射される。２つのフォトダイオードから出力される２つの画像は、異なるぼけ関数を有し、ぼけ関数の形状が距離に応じて異なるので、これら２つのフォトダイオードから出力される２つの画像のぼけ関数と基準画像のぼけ関数との比較に基づいて被写体までの距離を求めることができる。２画像のぼけ関数の比較に基づいて距離を求めているので、被写体が繰り返しパターンを含んでいても、正確に距離を求めることができる。
【００７４】
[瞳分割の変形例１]  
マイクロレンズ以外の手段により被写体からの光を瞳分割する変形例を説明する。１画素に１つのフォトダイオードが配置される場合でも、瞳分割できるイメージセンサの一例を図１２に示す。図１２は、イメージセンサの受光面を示す。第１実施例と同様にＲ、Ｇ、Ｂのフィルタ要素がベイヤ配列されているカラーフィルタが受光面に設けられているが、一部の画素の開口が遮光板（図示斜線）で覆われている。遮光される画素は撮影には使わない距離測定用の画素である。Ｒ、Ｇ、Ｂのどの画素を距離測定用の画素としてもよいが、一番多く配列されているＧ画素の一部を距離測定用の画素としてもよい。
【００７５】
斜め方向に隣接する一対、ここでは右上と左下のＧ画素が遮光され、遮光領域は相補的である。例えば、右上のＧ画素では、左側領域が遮光され、左下のＧ画素では、右側領域が遮光される。これにより、一対のＧ画素の一方には射出瞳の右側領域を透過する光が入射され、他方には射出瞳の左側領域を透過する光が入射される。距離測定用のＧ画素は撮影の邪魔にならない程度に全画面内に均等に分散される。なお、距離測定用のＧ画素の画像信号は撮影用の周囲のＧ画素の画像信号から補間により生成される。
【００７６】
図１３は図１２のイメージセンサのフォトダイオードの付近の断面構造の一例を示す。図２に示した第１実施形態と異なる点は、マイクロレンズ５２の下には１つのｎ型半導体領域４４（フォトダイオード）しか形成されない点と、いくつかのマイクロレンズ５２の下の画素開口の一部が遮光される点である。一部の画素間の遮蔽板４６の上端がｐ型基板４２の表面に沿って延長され、画素開口の遮光板４６Ａとされる。
【００７７】
左側が遮光されたＧＲ画素から出力される画像信号は第１実施形態の画像信号Ｉａと等価であり、ぼけ関数の形状は略半円形である。右側が遮光されたＧＬ画素から出力される画像信号は第１実施形態の画像信号Ｉｂと等価であり、ぼけ関数の形状はＧＲ画素から出力された画像のぼけ関数の形状である略半円形と左右反転した略半円形である。そのため、例えば、図１４に示すように、ぼけ関数の形状を略円形に補正するぼけ補正フィルタとＧＲ画素から出力される画像信号Ｉａとが畳み込み演算され、ぼけ関数の形状を略円形に補正するぼけ補正フィルタとＧL画素から出力される画像信号Ｉｂとが畳み込み演算され、両演算結果の相関が計算される。相関は図１４の２枚の画像の相関に限らず、図９、図１０に示した画像の組み合わせのいずれでもよい。
【００７８】
図１５は、図８のぼけ補正部７２と相関計算部７４が図１２、図１３に示した変形例のイメージセンサを用いて距離を計算する処理のフローチャートである。ブロック１１２で、ぼけ補正部７２は、イメージセンサ１２の遮光画素ＧＲ、ＧＬから出力された画像信号Ｉａ、Ｉｂを取り込む。ブロック１１４で、ぼけ補正部７２は、画像信号Ｉａと、ぼけ関数の形状を略円形に補正するためのぼけ補正フィルタ群の中のある距離ｄ１に対応するぼけ補正フィルタとを畳み込み演算し、補正画像信号Ｉａ´を求める。同様に、ぼけ補正部７２は、画像信号Ｉｂと、ぼけ関数の形状を略円形に補正するためのぼけ補正フィルタ群の中のある距離ｄ１に対応するぼけ補正フィルタとを畳み込み演算し、補正画像信号Ｉｂ´を求める。ブロック１１６で、相関計算部７４は、図１４に示すように、補正画像信号Ｉａ´と補正画像信号Ｉｂ´との相関を画素毎に計算する。
【００７９】
ブロック１１８で、相関計算部７４は、相関の最大値を検出したか否かを判定する。最大値が検出されない場合、相関計算部７４はぼけ補正部７２にフィルタ変更を指示する。ぼけ補正部７２は、ブロック１２０で、補正フィルタ群の中から他の距離ｄ１＋αに対応するぼけ補正フィルタを選択し、ブロック１１４で、画像信号Ｉａ、Ｉｂと当該選択した補正フィルタとを畳み込み演算する。
【００８０】
ブロック１１８で、画素毎の相関の最大値が検出されると、ブロック１２２で、相関計算部７４は、相関を最大にするぼけ補正フィルタが対応する距離を当該画素に写っている被写体までの距離と決定する。
【００８１】
[瞳分割の変形例２]  
第１実施形態はマイクロレンズにより瞳分割を実現したが、マイクロレンズと偏光素子の組み合わせにより瞳分割する変形例を図１６に示す。レンズ１４の射出瞳と共役な面に偏光素子１３２が配置される。偏光素子１３２は垂直な光軸を中心に２つの領域１３２ａ、１３２ｂに分割され、領域１３２ａの偏光軸と領域１３２ｂの偏光軸とは互いに直交している。偏光素子１３２は瞳位置近傍に配置されているので、瞳領域は領域１３２ａ，１３２ｂに対応する２つの部分瞳領域に分割されることになる。
【００８２】
レンズ１４に入射した被写体からの光は偏光素子１３２によって互いに直交する２つの偏光光に変換される。領域１３２ａを透過する偏光光は、左側のフォトダイオード５４ａに入射され、領域１３２ｂを透過する偏光光は右側のフォトダイオード５４ｂに入射される。これにより、図１６のフォトダイオード５４ａ、５４ｂから出力される画像信号Ｉａ、Ｉｂは第１実施形態の画像信号Ｉａ、Ｉｂと等しいので、第１実施形態と同じ演算処理を画像信号Ｉａ、Ｉｂに施すことができる。偏光素子１３２は図示のようにレンズ１４ａ、１４ｂの間に配置する代わりに、レンズ１４ａより被写体側、あるいはレンズ１４ｂよりイメージセンサ１２側に配置してもよい。
【００８３】
以下、他の実施形態を説明する。他の実施形態において、第１実施形態と対応する構成は同じ参照数字を付して詳細な説明は省略する。
【００８４】
第２実施形態
第１実施形態は、射出瞳分割により射出瞳の異なる領域を透過する色の光のぼけ関数の形状が異なり、ぼけ関数の形状が距離に応じて変化することを利用して、距離を求めた。第１実施形態が利用するぼけ関数は色による違いはない。第２実施形態も、ぼけ関数を利用して距離を求めるが、第２実施形態では、色によってぼけ関数の形状を異ならせるカラーフィルタをレンズ開口に追加し、射出瞳の異なる領域を透過する光のぼけ関数が異なることに加えて、色によりぼけ関数が変化することも利用して距離を求める。
【００８５】
図１７は第２実施形態の撮像装置の概略を示す。撮像装置以外のシステム全体は図１に示した第１実施形態と同じであるので、図示省略する。被写体からの光が入射されるレンズ開口にカラーフィルタ１４２が配置される。例えば、カラーフィルタ１４２はレンズ１４の前面に配置される。イメージセンサ１２の結像面に位置するカラーフィルタ５０（図１７では図示省略するが、図２に示す）と区別するために、以下、カラーフィルタ１４２はカラー開口と称する。カラー開口１４２は直線の分割線により２つの領域１４２ａ、１４２ｂに分割される。この分割線の向きは任意であるが、画素を構成する２つのフォトダイオード５４ａ、５４ｂの分割線（垂直方向）と直交してもよい。カラー開口１４２は図示のようにレンズ１４ａより被写体側に配置する代わりに、レンズ１４ａ、１４ｂの間、あるいはレンズ１４ｂよりイメージセンサ１２側に配置してもよい。
【００８６】
カラー開口１４２の２つの領域１４２ａ、１４２ｂはそれぞれ異なる複数の色成分の光を透過する。例えば、上側の領域１４２ａはイエロー（Ｙ）フィルタであり、Ｇ光とＲ光を透過し、下側の領域１４２ｂはシアン（Ｃ）フィルタであり、Ｇ光とＢ光を透過する。光量をより多く透過するためには、カラー開口１５２の面は、イメージセンサ１２の撮像面と平行であってもよい。
【００８７】
なお、第１領域１４２ａと、第２領域１４２ｂが透過する色の組み合わせは、上記に限られない。例えば、第１領域１４２ａが、Ｇ光とＲ光とを透過するＹフィルタであり、第２領域１４２ｂが、Ｒ光とＢ光を透過するマゼンタ（Ｍ）フィルタであってもよい。さらに、第１領域１４２ａがＭフィルタであり、第２領域１４２ｂがＣフィルタであってもよい。さらに、一方の領域が全ての色成分を透過する透明フィルタであってもよい。例えば、イメージセンサ１２が第１の波長領域を検出する画素と、第２の波長領域を検出する画素と、第３の波長領域を検出する画素とを有する場合には、第１領域１４２ａは第１、第２の波長領域の光を透過し、第３の波長領域の光を透過しない。第２領域１４２ｂは第２、第３の波長領域の光を透過し第１の波長領域の光を透過しない。
【００８８】
カラー開口１４２の一方の領域が透過する光の波長領域の一部と他方の領域が透過する光の波長領域の一部は重複してもよい。カラー開口１４２の一方の領域が透過する光の波長領域は他方の領域が透過する光の波長領域を含んでもよい。
【００８９】
ある波長帯域の光がカラー開口１４２の領域を透過することは、その領域が高い透過率でその波長帯域の光を透過し、その領域によるその波長帯域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。また、ある波長帯域の光がカラー開口１４２の領域を透過しないことは、その領域が光を遮蔽（例えば反射）すること、あるいは減衰（例えば吸収）することを意味する。
【００９０】
図１８はイメージセンサ１２の結像面のカラーフィルタ５０の画素配列の一例を示す。第２実施形態もカラーフィルタ５０はＲ画素、Ｂ画素に比べてＧ画素が２倍であるベイヤ配列のカラーフィルタである。このため、カラー開口１４２は、イメージセンサ１２の受光量が増えるように、両方のフィルタ領域がＧ光を透過するように構成されている。フォトダイオード５４ａは右側（イメージセンサ１２から見ると、左側）のサブ画素ＲＲ、ＧＲ、ＢＲに対応し、フォトダイオード５４ｂは左側（イメージセンサ１２から見ると、右側）のサブ画素ＲＬ、ＧＬ、ＢＬに対応する。Ｒ画素からはサブ画素ＲＲ、ＲＬ毎に画像信号ＩａＲ、ＩｂＲが出力され、Ｇ画素からはサブ画素ＧＲ、ＧＬ毎に画像信号ＩａＧ、ＩｂＧが出力され、Ｂ画素からはサブ画素ＢＲ、ＢＬ毎に画像信号ＩａＢ、ＩｂＢが出力される。
【００９１】
図１９は、第２実施形態の機能構成の一例を示すブロック図である。破線は光の経路、実線は電子信号の経路を示す。カラー開口１４２の第１フィルタ領域（Ｙ）１４２ａを透過したＲ光のうち射出瞳の左側（被写体から見た右側）領域を透過した光は、第１Ｒセンサ（サブ画素ＲＲ）１５２に入射され、射出瞳の右側（被写体から見た左側）領域を透過した光は、第２Ｒセンサ（サブ画素ＲＬ）１５４に入射される。カラー開口１４２の第１フィルタ領域（Ｙ）１４２ａを透過したＧ光のうち射出瞳の左側（被写体から見た右側）領域を透過した光は、第１Ｇセンサ（サブ画素ＧＲ）１５６に入射され、射出瞳の右側（被写体から見た左側）領域を透過した光は、第２Ｇセンサ（サブ画素ＧＬ）１５８に入射される。
【００９２】
カラー開口１４２の第２フィルタ領域（Ｃ）１４２ｂを透過したＧ光のうち射出瞳の左側（被写体から見た右側）領域を透過した光は、第１Ｇセンサ（サブ画素ＧＲ）１５６に入射され、射出瞳の右側（被写体から見た左側）領域を透過した光は、第２Ｇセンサ（サブ画素ＧＬ）１５８に入射される。カラー開口１４２の第２フィルタ領域（Ｃ）１４２ｂを透過したＢ光のうち射出瞳の左側（被写体から見た右側）領域を透過した光は、第１Ｂセンサ（サブ画素ＢＲ）１６０に入射され、射出瞳の右側（被写体から見た左側）領域を透過した光は、第２Ｂセンサ（サブ画素ＢＬ）１６２に入射される。
【００９３】
第１Ｒセンサ（サブ画素ＲＲ）１５２からは第１Ｒ画像信号ＩａＲが、第２Ｒセンサ（サブ画素ＲＬ）１５４からは第２Ｒ画像信号ＩｂＲが、第１Ｇセンサ（サブ画素ＧＲ）１５６からは第１Ｇ画像信号ＩａＧが、第２Ｇセンサ（サブ画素ＧＬ）１５８からは第２Ｇ画像信号ＩｂＧが、第１Ｂセンサ（サブ画素ＢＲ）１６０からは第１Ｂ画像信号ＩａＢが、第２Ｂセンサ（サブ画素ＢＬ）１６２からは第２Ｂ画像信号ＩｂＢがぼけ補正部１６４に入力される。ぼけ補正部１６４は入力された画像信号と、ぼけ補正後の画像信号を相関計算部１６６に供給する。
【００９４】
このように、カラー開口が直線で２分割され、第１領域はＹ、第２領域はＣとされているので、Ｇ光は第１領域（Ｙ）、第２領域（Ｃ）を透過するが、Ｒ光は第１領域（Ｙ）のみを透過し、Ｂ光は第２領域（Ｃ）のみを透過する。すなわち、Ｇ光は、カラー開口１４２で光吸収の影響が少なく、撮影画像のうちＧ画像はより明るく、ノイズの少ない画像となり得る。また、Ｇ光は両領域とも透過するため、Ｇ画像はカラー開口を設けたことによる影響が少ない画像と言える。このため、Ｇ画像は、カラー開口を設けないときの理想的な画像（リファレンス画像と呼ぶ）に近い画像となる。Ｒ画像とＢ画像は、第１領域と第２領域の何れか一方のみを透過した光に基づくため、リファレンス画像（Ｇ画像）とは異なり、Ｒ画像とＢ画像のぼけ形状は被写体までの距離に応じて変化する。
【００９５】
図２０は、イメージセンサ１２における被写体の結像状態の一例を示す。図２０の左右方向は図１７の垂直方向（ｙ方向）である。図２０（ｂ）は、ある画素に写っている被写体１７２が合焦面に位置する時の結像状態を示す。この場合、被写体像はイメージセンサ１２の撮像面で結像するため、カラー開口付き撮影レンズ１７４の第１フィルタ領域（Ｙ）１４２ａ（図示ハッチング領域）と第２フィルタ領域（Ｃ）１４２ｂを透過した２つの光は１つの画素１７６に入射される。画像信号Ｉａ、Ｉｂ、Ｉａ＋Ｉｂのぼけ形状は略円形である。
【００９６】
図２０（ａ）は、ある画素に写っている被写体１７２が合焦面より手前に位置する、所謂前ピン状態の時の結像状態を示す。この場合、被写体像が結像する平面は、被写体から見てイメージセンサ１２より奥であるため、カラー開口付き撮影レンズ１７４の第１フィルタ領域（Ｙ）１４２ａ（図示ハッチング領域）と第２フィルタ領域（Ｃ）１４２ｂを透過した２つの光は画素１７６を中心とするｙ方向位置が異なる複数の画素に入射される。第１フィルタ領域（Ｙ）１４２ａを透過した光が入射される画素は、第２フィルタ領域（Ｃ）１４２ｂを透過した光が入射される画素より上（ｙの値が大きい）である。
【００９７】
第１実施形態で説明したように、１つのフィルタ領域の右側を透過する光と左側を透過する光は、同じ画素の異なるサブ画素にそれぞれ入射される。図５に示したように、２つのサブ画素から出力された画像のぼけ関数の形状は左右が反転するので、説明の簡略化のために、図２０では、第１サブ画素ＲＲ、ＧＲ、ＢＲから出力される画像のぼけ関数についてのみ図示する。
【００９８】
第１フィルタ領域（Ｙ）１４２ａを透過したＲ光に基づきサブ画素ＲＲから出力された第１Ｒ画像信号ＩａＲのぼけ関数の形状は下側が欠けた上側の略半円形であり、第２フィルタ領域（Ｃ）１４２ｂを透過したＢ光に基づきサブ画素ＢＲから出力された第１Ｂ画像信号ＩａＢのぼけ関数の形状は上側が欠けた下側の略半円形である。
【００９９】
図示しないが、第１フィルタ領域（Ｙ）１４２ａを透過したＲ光に基づきサブ画素ＲＬから出力された第２Ｒ画像信号ＩｂＲのぼけ関数の形状は上側が欠けた下側の略半円形であり、第２フィルタ領域（Ｃ）１４２ｂを透過したＢ光に基づきサブ画素ＢＬから出力された第２Ｂ画像信号ＩｂＢのぼけ関数の形状は下側が欠けた上側の略半円形である。
【０１００】
第１フィルタ領域（Ｙ）１４２ａ、第２フィルタ領域（Ｃ）１４２ｂを透過したＧ光に基づきサブ画素ＧＲから出力された第１Ｇ画像信号ＩａＢのぼけ関数の形状は略円形である。図示しないが、第１フィルタ領域（Ｙ）１４２ａ、第２フィルタ領域（Ｃ）１４２ｂを透過したＧ光に基づきサブ画素ＧＬから出力された第２Ｇ画像信号ＩｂＧのぼけ関数の形状も略円形である。
【０１０１】
同様に、図２０（ｃ）は、ある画素に写っている被写体１７２が合焦面より奥に位置する、所謂後ピン状態の時の結像状態を示す。この場合、被写体像が結像する平面は、被写体から見てイメージセンサ１２より手前であるため、カラー開口付き撮影レンズ１７４の第１フィルタ領域（Ｙ）１４２ａ（図示ハッチング領域）と第２フィルタ領域（Ｃ）１４２ｂを透過した２つの光は画素１７６を中心とするｙ方向位置が異なる複数の画素に入射される。前ピン状態とは異なり、第１フィルタ領域（Ｙ）１４２ａを透過した光が入射される画素は、第２フィルタ領域（Ｃ）１４２ｂを透過した光が入射される画素より下（ｙの値が小さい）である。
【０１０２】
第１フィルタ領域（Ｙ）１４２ａを透過したＲ光に基づきサブ画素ＲＲから出力された第１Ｒ画像信号ＩａＲのぼけ関数の形状は上側が欠けた下側の略半円形であり、第２フィルタ領域（Ｃ）１４２ｂを透過したＢ光に基づきサブ画素ＢＲから出力された第１Ｂ画像信号ＩａＢのぼけ関数の形状は下側が欠けた上側の略半円形である。
【０１０３】
図示しないが、第１フィルタ領域（Ｙ）１４２ａを透過したＲ光に基づきサブ画素ＲＬから出力された第２Ｒ画像信号ＩｂＲのぼけ関数の形状は下側が欠けた上側の略半円形であり、第２フィルタ領域（Ｃ）１４２ｂを透過したＢ光に基づきサブ画素ＢＬから出力された第２Ｂ画像信号ＩｂＢのぼけ関数の形状は上側が欠けた下側の略半円形である。
【０１０４】
第１フィルタ領域（Ｙ）１４２ａ、第２フィルタ領域（Ｃ）１４２ｂを透過したＧ光に基づきサブ画素ＧＲから出力された第１Ｇ画像信号ＩａＧのぼけ関数の形状は略円形である。図示しないが、第１フィルタ領域（Ｙ）１４２ａ、第２フィルタ領域（Ｃ）１４２ｂを透過したＧ光に基づきサブ画素ＧＬから出力された第２Ｇ画像信号ＩｂＧのぼけ関数の形状も略円形である。
【０１０５】
図２０（ａ）に示すように、被写体が合焦面より手前に位置する場合、Ｇ成分の画像信号ＩａＧのぼけ関数の形状は中央に位置する略円形であり、Ｒ成分の画像信号ＩａＲのぼけ関数は上側に偏っており、Ｂ成分の画像信号ＩａＢのぼけ関数は下側に偏っている。図２０（ｃ）に示すように、被写体が合焦面より奥に位置する場合、Ｇ成分の画像信号ＩａＧのぼけ関数は中央に位置する略円形であり、Ｒ成分の画像信号ＩａＲのぼけ関数は下側に偏っており、Ｂ成分の画像信号ＩａＢのぼけ関数は上側に偏っている。このように画像のぼけ関数は色毎に異なり、その形状は距離に応じて変化する。
【０１０６】
第２実施形態では、第１実施形態において瞳分割により生じた２つの光の各光の色成分間のぼけ関数の差に基づいて距離が計算される。第２実施形態では、３つの色成分の画像信号のうちの２色成分の画像信号のぼけ関数に基づいてＤｆＤ法により距離が求められる。３つの色成分画像信号のうち相関を計算する２色成分の画像信号の組み合わせは３通り（ＲとＧ；ＢとＧ；ＲとＢ）ある。このうち１つの相関計算結果のみにより距離を決定してもよいが、２つ、または３つの相関演算結果を総合して距離を決定してもよい。
【０１０７】
さらに、色成分間のぼけ関数の差を利用する対象は第１サブ画素ＲＲ、ＧＲ、ＢＲから出力される第１画像信号Ｉａでもよいし、第２サブ画素ＲＬ、ＧＬ、ＢＬから出力される第２画像信号Ｉｂでもよいし、両サブ画素から出力される画像信号の加算信号Ｉａ＋Ｉｂでもよい。
【０１０８】
ぼけ関数の差を利用する２色の画像信号の組み合わせのいくつかの例を図２１、図２２に示す。
【０１０９】
図２１（ａ）は、Ｒ成分または／およびＢ成分の画像を対象画像とし、Ｇ成分の画像を基準画像とする例である。第１サブ画素の出力画像について、第１Ｒ画像信号ＩａＲ、第１Ｂ画像信号ＩａＢがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタ（図２１（ｃ）参照）と畳み込み演算され、補正画像信号ＩａＲ´、ＩａＢ´が得られる。
【０１１０】
図２１（ｃ）は第２実施形態の画像信号ＩａＲ、ＩａＢの略半円形のぼけ関数を画像信号ＩａＧ、ＩａＧの略円形のぼけ関数に補正するためのぼけ補正フィルタの例を示す。ぼけ補正フィルタはｙ軸上に成分を有する。画像のぼけ関数が上側に偏っている場合は、フィルタ成分は下側に分布し、画像のぼけ関数が下側に偏っている場合は、フィルタ成分は上側に分布する。補正画像信号ＩａＲ´、ＩａＢ´と基準画像信号ＩａＧの相関が計算される。
【０１１１】
第２サブ画素の出力画像について、第２Ｒ画像信号ＩｂＲ、第２Ｂ画像信号ＩｂＢがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩｂＲ´、ＩｂＢ´が得られる。補正画像信号ＩｂＲ´、ＩｂＢ´と基準画像信号ＩｂＧの相関が計算される。
【０１１２】
第１サブ画素の出力画像と第２サブ画素の出力画像の和について、対象画像信号ＩａＲ＋ＩｂＲ、ＩａＢ＋ＩｂＢがぼけ補正フィルタと畳み込み演算され、補正画像信号（ＩａＲ＋ＩｂＲ）´、（ＩａＢ＋ＩｂＢ）´が得られる。補正画像信号（ＩａＲ＋ＩｂＲ）´、（ＩａＢ＋ＩｂＢ）´と基準画像信号（ＩａＧ＋ＩｂＧ）の相関が計算される。
【０１１３】
図２１（ｂ）は、Ｒ成分または／およびＢ成分の画像を対象画像とし、Ｂ成分または／およびＲ成分の画像を基準画像とする例である。第１サブ画素について、第１Ｒ画像信号ＩａＲがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩａＲ´が得られる。第１Ｂ画像信号ＩａＢがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩａＢ´が得られる。補正画像信号ＩａＲ´、補正画像信号ＩａＢ´の相関が計算される。
【０１１４】
第２サブ画素について、第２Ｒ画像信号ＩｂＲがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩｂＲ´が得られる。第２Ｂ画像信号ＩｂＢがぼけ関数の形状を略半円形から略円形に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩｂＢ´が得られる。補正画像信号ＩｂＲ´、補正画像信号ＩｂＢ´の相関が計算される。
【０１１５】
図２２（ａ）は、Ｒ成分または／およびＢ成分の画像を対象画像とし、Ｇ成分の画像を基準画像とするが、図２１（ａ）とは異なり、ともにぼけ関数の形状が特定形状となるように補正する例である。第１サブ画素について、第１Ｒ画像信号ＩａＲ、第１Ｂ画像信号ＩａＢがぼけ関数の形状を略半円形から特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩａＲ´、ＩａＢ´が得られる。第１Ｇ画像信号ＩａＧがぼけ関数の形状を略円形から特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正基準画像信号ＩａＧ´が得られる。補正対象画像信号ＩａＲ´、ＩａＢ´と基準画像信号ＩａＧ´の相関が計算される。
【０１１６】
第２サブ画素について、第２Ｒ画像信号ＩｂＲ、第２Ｂ画像信号ＩｂＢがぼけ関数の形状を略半円形から特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号ＩｂＲ´、ＩｂＢ´が得られる。第２Ｇ画像信号ＩｂＧがぼけ関数の形状を略円形から特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正基準画像信号ＩｂＧ´が得られる。補正対象画像信号ＩｂＲ´、ＩｂＢ´と基準画像信号ＩｂＧ´の相関が計算される。
【０１１７】
第１サブ画素の出力画像と第２サブ画素の出力画像の和について、対象画像信号ＩａＲ＋ＩｂＲ、ＩａＢ＋ＩｂＢがぼけ関数の形状を特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正対象画像信号（ＩａＲ＋ＩｂＲ）´、（ＩａＢ＋ＩｂＢ）´が得られる。基準画像信号ＩａＧ＋ＩｂＧがぼけ関数の形状を特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正基準画像信号（ＩａＧ＋ＩｂＧ）´が得られる。補正対象画像信号（ＩａＲ＋ＩｂＲ）´、（ＩａＢ＋ＩｂＢ）´と補正基準画像信号（ＩａＧ＋ＩｂＧ）´の相関が計算される。
【０１１８】
図２２（ｂ）は、Ｒ成分または／およびＢ成分の画像を対象画像とし、Ｂ成分または／およびＲ成分の画像を基準画像とするが、図２１（ｂ）とは異なり、ともにぼけ関数の形状が特定形状となるように補正する例である。第１サブ画素について、第１Ｒ画像信号ＩａＲがぼけ関数の形状を略半円形から特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩａＲ´が得られる。第１Ｂ画像信号ＩａＢがぼけ関数の形状を略半円形から特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩａＢ´が得られる。補正画像信号ＩａＲ´、補正画像信号ＩａＢ´の相関が計算される。
【０１１９】
第２サブ画素について、第２Ｒ画像信号ＩｂＲがぼけ関数の形状を略半円形から特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩｂＲ´が得られる。第２Ｂ画像信号ＩｂＢがぼけ関数の形状を略半円形から特定形状に補正するぼけ補正フィルタと畳み込み演算され、補正画像信号ＩｂＢ´が得られる。補正画像信号ＩｂＲ´、補正画像信号ＩｂＢ´の相関が計算される。
【０１２０】
図２３は、第２実施形態の距離計算処理の流れを示すフローチャートである。ブロック１７２で、ぼけ補正部１６４は、イメージセンサ１２の各画素の２つのフォトダイオード５４ａ、５４ｂから出力された画像信号ＩａＲ／Ｇ／Ｂ、ＩｂＲ／Ｇ／Ｂを取り込む。ここでは、相関演算の種類は図２１（ａ）に示すものとする。このため、ブロック１７４で、ぼけ補正部１６４は、距離をある距離ｄ１であると想定し、画像信号ＩａＲ／Ｂ（またはＩｂＲ／Ｂ）と、ぼけ関数の形状を略円形に補正するためのぼけ補正フィルタ群の中の想定距離ｄ１に対応するぼけ補正フィルタとを畳み込み演算する。ブロック１７６で、相関計算部１６６は、図２１（ａ）に示すように、補正画像信号ＩａＲ／Ｂ´（またはＩｂＲ／Ｂ´）と基準画像信号ＩａＧ（またはＩｂＧとの相関を、ＳＳＤ、ＳＡＤ、ＮＣＣ、ＺＮＣＣ、Color Alignment Measure等により、画素毎に計算する。
【０１２１】
ブロック１７８で、相関計算部１６６は、相関の最大値を検出したか否かを判定する。最大値が検出されない場合、相関計算部１６６はぼけ補正部１６４にフィルタ変更を指示する。ぼけ補正部１６４は、ブロック１８０で、補正フィルタ群の中から他の距離ｄ１＋αに対応するぼけ補正フィルタを選択し、ブロック１７４で、画像信号ＩａＲ／Ｂ（またはＩｂＲ／Ｂ）と当該選択した補正フィルタとを畳み込み演算する。
【０１２２】
ブロック１７８で、画素毎の相関の最大値が検出されると、ブロック１８２で、相関計算部１６６は、相関を最大にするぼけ補正フィルタが対応する距離を当該画素に写っている被写体までの距離と決定する。
【０１２３】
図２３では、第１実施形態において瞳分割により生じた２つの光の一方の光の色成分間のぼけ関数の形状の比較結果に基づいて距離が計算される。第２実施形態で生成される画像を図２４に模式的に示す。図２４の実線で接続される同じ行（row）の画像、例えばＩａＲ、ＩｂＲ、ＩａＲ＋ＩｂＲは、同じ色（Ｒ）であるが、射出瞳の異なる領域を透過した光が入射されるサブ画素ＲＲ、ＲＬから出力される画像である。第１実施形態は、図２４の同じ行の３枚の画像のうちの少なくとも２枚の画像の相関を計算する。図２４の破線で接続される同じ列（column）の画像、例えばＩａＲ、ＩａＧ、ＩａＢは、異なる色であるが、射出瞳の同じ領域を透過した光が入射されるサブ画素ＲＲから出力される画像である。第２実施形態は、図２４の同じ列の３枚の画像のうちの少なくとも２枚の画像の相関を計算する。
【０１２４】
上述したぼけ補正は補正フィルタを画像に畳み込み演算している。補正フィルタは、その要素がぼけ関数の偏り方向と反対方向の軸上に１次元的に分布してなるので、被写体に含まれるエッジの方向がぼけ関数の偏り方向と一致する場合、相関を求めることができない恐れがある。例えば、ぼけ補正フィルタが、第１実施形態のように、ｘ軸に沿った１次元フィルタの場合、水平エッジと補正フィルタとの畳み込み演算結果は、どの距離についても同じとなり、距離を求めることができない。また、ぼけ補正フィルタが、第２実施形態のように、ｙ軸に沿った１次元フィルタの場合、垂直エッジと補正フィルタとの畳み込み演算結果は、どの距離についても同じとなり、距離を求めることができない。
【０１２５】
しかし、第２実施形態では、図１９に示すように、６つの画像ＩａＲ、ＩｂＲ、ＩａＧ、ＩｂＧ、ＩａＢ、ＩａＢが生成されるので、これら全部を使って第１実施形態の相関と愛２実施形態の相関を計算すると、被写体が水平エッジを含んでいても、垂直エッジを含んでいても、距離を求めることができる。第１実施形態の相関により求めた第１の距離と第２実施形態の相関により求めた第２の距離を平均してもよい。
【０１２６】
なお、第２実施形態では、図２４に破線で示したように、第１または第２サブ画素どうしの異なる色の画像信号の相関を計算したが、図２４に一点鎖線で示すように、第１サブ画素の第１の色の画像、例えばＩａＲと、第２サブ画素の第２の色の画像、例えばＩｂＧと、第１サブ画素の第３の色の画像と第２サブ画素の第３の色の画像の加算信号、例えばＩａＢ＋ＩｂＢの相関を計算してもよい。
【０１２７】
なお、第２実施形態では、イエローとシアンの２つの色領域を有する一つのカラー開口を設ける例を示した。カラー開口は、複数の色領域を有し、複数の色領域それぞれは複数の画素それぞれと対応してもよい。あるいは、カラー開口の複数の色領域のそれぞれは、複数画素に対応してもよい。例えば４画素や９画素や１６画素に対して一つの色領域を設けることができる。
【０１２８】
[距離情報の応用例]  
上述の実施形態は距離情報の出力形態として距離マップの表示を説明したが、これに限らず、図２５に示すような距離と位置の対応関係表の表示でもよい。図２５（ａ）は、画像の各座標に対応して距離を数値として２次元的に表示する例である。図２５（ｂ）は、画像の各座標と距離（数値）との対応関係を表として表示する例である。距離情報の出力は表示に限らず、印刷でもよい。距離マップも図２５の表示例でも同様であるが、全ての画素について距離情報を求めなくてもよく、数画素あるいは数１０画素のブロック毎に距離情報を求めてもよい。さらに、画面全体について距離情報を求めなくてもよく、画面内の一部の被写体のみを距離検出対象としてもよい。距離検出対象の特定は、例えば画像認識や、ユーザの入力による指定により行うことができる。
【０１２９】
各画素に写っている被写体までの距離に加えて、画面全体に映っている被写体の距離の最大値／最小値／中心値／平均値等を出力してもよい。さらに、画面全体の距離マップに限らず、距離に応じて画面を分割した領域分割結果を出力してもよい。
【０１３０】
距離マップを表示する場合、ＣＰＵ２２からディスプレイ３０に距離マップ画像を示す信号を供給してもよいし、ＣＰＵ２２からディスプレイ３０にＲＧＢの画像を示す画像信号及び距離を示す信号を供給してもよい。
【０１３１】
さらに、実施形態を画像記録機器に応用した場合、記録画像に対応する属性情報として距離情報を利用してもよい。例えば、ある距離より手前に近付いた被写体があったシーンに対応する少なくとも一つの画像に対して、属性情報（インデックス）を付加する。これにより、ユーザは、録画された複数の画像または複数の画像を含む映像を視聴する際に、属性情報が付加されているシーンだけを再生し、他のシーンをスキップできるので、イベントが起こったシーンだけを効率的に視聴することができる。逆に、属性情報が生成されていないシーンだけを再生することで、イベントが起こっていないシーンだけを効率的に視聴することもできる。
【０１３２】
距離情報を用いて各画素の画像信号のぼけ関数を処理することにより下記の情報を得ることができる。全ての画素の画像信号が合焦状態である全焦点画像や、撮影時とは異なる被写体領域が合焦状態となり、撮影時に合焦状態の被写体領域は非合焦状態となるリフォーカス画像を生成することができる。任意の距離にある物体を抽出することや、抽出した物体を認識することも可能である。さらには、認識した物体の現在までの距離の変化を辿ることにより、物体の行動も推定できる。
【０１３３】
実施形態では、距離情報は画像処理装置においてユーザが認識できるように表示されるが、これに限らず、他の装置へ出力され、他の装置で距離情報が利用されてもよい。実施形態によれば、ステレオカメラを用いずに、単眼カメラを用いて撮影画像と距離情報を取得することができ、小型軽量の単眼カメラは種々の分野に応用できる。
【０１３４】
実施形態のカメラの応用例の一つは、自動車、ドローン、移動ロボット（Automated Guided Vehicle）、自走式クリーナとも呼ばれる掃除ロボット、イベント会場等で来場者に各種案内を行うコミュニケーションロボット、アーム等を有する産業用ロボット等の移動体がある。移動体は周辺の状況を監視し、それに応じて移動を制御する。例えば、近年の自動車では、周辺の状況を監視するため、車体の全周にカメラが搭載されつつある。周辺の状況の監視のためには、周辺にある物体までの距離を知ることが必要である。しかし、サイドミラー用のカメラやバックモニタ用のカメラは小型化しなければならず、単眼カメラが主流であるため、物体までの距離を測ることはできなかった。しかし、実施形態によれば、単眼カメラで物体までの距離を正確に測ることができるので、自動運転も可能である。自動運転は、完全な無人運転に限らず、レーンキープやクルーズコントロール、自動ブレーキなどの運転支援も含む。また、近年、ドローンによる橋梁の外観検査等が実施され、ドローンがインフラ点検に活用される場面がある。また、ドローンによる荷物の配達も検討されている。ドローンには通常ＧＰＳが搭載され、目的地まで簡単に操縦できるようになっているが、予期せぬ障害物に対処するために、やはりドローンの周囲の状況の監視が望まれている。移動ロボットや掃除ロボットにも同様の障害物回避機能が必要とされる。移動体は、上述の例に限らず、移動用の駆動機構を有するものであればよく、自動車を含む車両、ドローンや飛行機などの飛翔体、船舶等、様々なものとして実現され得る。移動体にはさらに、ロボット本体が移動するものだけでなく、ロボットアームのような、ロボットの一部分の移動・回転用の駆動機構を有する産業用ロボットも含まれ得る。
【０１３５】
図２６は、実施形態を自動車に応用した場合のシステム構成の一例を示す。図２６（ａ）に示すように、実施形態のカメラであるフロントカメラ２６０２は自動車２６００の運転席前面のフロントガラスの上部に取り付けられ、運転席前方の画像を撮影する。カメラは、フロントカメラ２６０２に限定されず、サイドミラーに取り付けられ、後方を撮影するサイドカメラ２６０４でもよい。さらに、図示しないが、リアガラスに取り付けられるリアカメラでもよい。近年、自動車のフロントガラスに取り付けられたカメラで撮影された自動車前方の風景をＳＤカード等に記録するドライブレコーダが開発されている。このドライブレコーダのカメラに実施形態のカメラを応用することにより、車内に別途カメラを設けることなく、自動車の前方の撮影画像に加えて距離情報を得ることができる。
【０１３６】
図２６（ｂ）は自動車の運転制御システムの一例を示すブロック図である。カメラ２０２（フロントカメラ２６０２、サイドカメラ２６０４、あるいはリアカメラ）の出力が第１または第２実施形態の画像処理装置２０４に入力される。画像処理装置２０４は、撮影画像と画素毎の距離情報を出力する。撮影画像と距離情報は、歩行者／車両検出部２０６に入力される。歩行者／車両検出部２０６は、撮影画像と距離情報に基づいて、撮影画像内に道路に対して垂直な物体を歩行者／車両の候補領域として設定する。歩行者／車両検出部２０６は、各候補領域に対して特徴量を計算し、この特徴量を大量のサンプル画像データから予め求めておいた多数の基準データと比較することにより、歩行者／車両を検出することができる。歩行者／車両を検出すると、ドライバに警報２１０が出されてもよいし、運転制御部２０８が作動され、衝突回避等のために運転が制御される。運転制御は、自動ブレーキによる減速あるいは停止、ステアリング制御等を含む。なお、歩行者／車両検出部２０６の代わりに、特定の被写体を検出する検出部を用いてもよい。サイドカメラ、リアカメラの場合は、歩行者／車両を検出する代わりに、後進して駐車する際の障害物を検出してもよい。また、運転制御は、エアーバッグ等の安全装置の駆動も含むことができる。運転制御部２０８は、カメラ２０２により前方の自動車との距離が一定になるように運転を制御してもよい。
【０１３７】
実施形態をドライブレコーダに応用した場合、被写体までの距離が基準距離よりも短いか長いかに基づいて、画像の記録開始、停止、解像度切り替え、及び圧縮率切り替えの内の少なくとも一つが実行されるようにしてもよい。これにより、例えば基準距離内に物体が近付いた事故直前の時点から、画像の記録を開始したり、解像度を高くしたり、圧縮率を低くしたりすることができる。さらに、この技術を家等に設置された監視カメラに応用すると、基準距離内に人が近付いた時点から、画像の記録を開始したり、解像度を高くしたり、圧縮率を低くしたりすることができる。反対に、被写体が奥側に遠ざかった場合に、画像の記録を停止したり、解像度を低くしたり、圧縮率を高くしたりすることができる。さらに、実施形態をドローン等の飛翔体に応用し、上空から地上を撮影する場合、遠くにある被写体の細かい部分を観察できるように、解像度を高くしたり、圧縮率を低くしたりすることもできる。
【０１３８】
図２７は、実施形態のカメラが応用されたＡＧＶ、掃除ロボット、コミュニケーションロボットなど自律的に移動するロボット２７００の一例を示す。ロボット２７００は、カメラ２７０２と、駆動機構２７０４を含む。カメラ２７０２は、ロボット２７００またはそのパーツ（アーム等）の進行方向・移動方向の被写体を撮像するように構成される。進行方向・移動方向の被写体を撮像する形態としては、前方を撮像するいわゆるフロントカメラとして実装され得るほか、バック時に後方を撮像するいわゆるリアカメラとしても実装され得る。もちろん、これら両方が実装されてもよい。また、カメラ２７０２は、自動車におけるドライブレコーダとしての機能を兼ねてもよい。ロボット２７００のアーム等のパーツの移動及び回転が制御される場合、カメラ２７０２は、例えば、ロボットアームで把持される物体を撮像するように、ロボットアームの先端等に設置されてもよい。
【０１３９】
駆動機構２７０４は、距離情報に基づいて、ロボット２７００あるいはそのパーツの加速、減速、衝突回避、方向転換、あるいは安全装置の作動等を行う。
【０１４０】
図２８に、障害物を回避できるドローンの移動制御の一例を示す。図２８（ａ）に示すように、ドローンに第１または第２実施形態のカメラ２８０２が取り付けられる。図２８（ｂ）に示すように、カメラ２８０２の出力が第１または第２実施形態の画像処理装置２８０４に入力される。画像処理装置２８０４から出力された撮影画像と画素毎の距離情報は、障害物認識部２８１４に入力される。ドローンの移動ルートは移動先と現在地が分ると自動的に決定される。ドローンはＧＰＳ２８１８を備え、移動先情報と現在地情報が移動ルート計算部２８１６に入力される。移動ルート計算部２８１６から出力される移動ルート情報が障害物認識部２８１４と、飛行制御部２８２０に入力される。飛行制御部２８２０は操舵、加速・減速、推力・楊力の調整等を行う。
【０１４１】
障害物認識部２８１４は、撮影画像と距離情報に基づいて、ドローンから一定距離以内の物体を抽出する。検出結果は、移動ルート計算部２８１６に供給される。移動ルート計算部２８１６は障害物が検知されると、移動先と現在地から決定された移動ルートを、障害物を回避できる滑らかな軌道の移動ルートに修正する。
【０１４２】
これにより、空中に予期せぬ障害物が出現した場合でも、自動的に障害物を避けて目的地までドローンを安全に飛行させることができる。図２８（ｂ）のシステムは、ドローンに限らず、移動ルートが決まっている移動ロボット（Automated Guided Vehicle）、掃除ロボット等にも同様に応用可能である。なお、掃除ロボットの場合、ルート自体が決まっているのではなく、障害物が検知されたら、曲がる、後退する等のルールが決まっている場合もある。この場合でも、障害物の検知、回避に図２８（ｂ）のシステムが応用できる。
【０１４３】
道路や構造体のひび割れや電線破断等の上空からの点検用のドローンは、点検対象を撮影した画像から点検対象までの距離を求め、点検対象物と一定の距離を保って飛行するように制御されてもよい。さらに、点検対象物に限らず、カメラで地面を撮影し、地面からの高さが指定された高さを保つようにドローンの飛翔を制御してもよい。地面から一定の距離を保つことは、農薬散布用ドローンにおいて農薬を均等に散布しやすくなる効果がある。
【０１４４】
次に、静止物に設置する例を説明する。代表的なものに監視システムがある。監視システムは、カメラで撮影している空間への侵入物を検出して、何かの動作を行う、例えば警報を発する、ドアを開けるものである。
【０１４５】
図２９（ａ）は、自動ドアシステムの一例を示す。自動ドアシステムは、ドア３３２の上部に取り付けられたカメラ３０２を含む。カメラ２０３はドア３３２の正面を移動する歩行者等を撮影できる位置に設けられ、ドア３３２の正面の通路等を俯瞰した画像を撮影できるように設置されている。自動ドアシステムは、ドア３３２の前方に基準面３３４を設定し、歩行者までの距離情報に基づいて歩行者等が基準面３３４よりも手前にいるか、奥にいるかを判定し、判定結果に基づいてドアを開閉する。基準面３３４はドア３３２から一定距離の平面(ドア３３２に平行な平面)でもよいし、カメラ３０２から一定距離の平面（ドア３３２とは平行ではない平面）でもよい。さらに、平面に限らず、曲面（例えば、ドアの中心線を中心とする円柱の一部）でもよい。
【０１４６】
図２９（ｂ）に示すように、第１または第２実施形態のカメラ３０２の出力が第１または第２実施形態の画像処理装置３０４に入力される。画像処理装置３０４から出力された撮影画像と画素毎の距離情報は、人物検出部３２４に入力される。人物検出器３２４は、歩行者等が基準面３３４の奥から手前に移動したことを検出すると、駆動部３３０を制御してドア３３２を開放し、歩行者等が基準面３３４の手前から奥に移動したことを検出すると、駆動部３３０を制御して（開放している）ドアを閉じる。駆動部３３０は、例えば、モーターを有し、モーターの駆動をドア３３２に伝達することによって、ドア３３２を開閉する。
【０１４７】
このような自動ドアシステムの構成は、自動車のドアの制御にも適用することができる。例えば、ドアノブにカメラを内蔵し、人物がドアに近づいて来たら、ドアを開放する。この場合のドアはスライドドアでもよい。あるいは、人物がドアに非常に近い場合は、たとえ乗員がドアを開く操作を行ったとしても、ドアは開かないように制御する。このため、ドアの直近に人物が居る場合、ドアが開くことによるドアと人物の接触事故を防ぐことができる。
【０１４８】
図３０は監視システムの一例を示す。カメラの配置は図２９（ａ）と同じでもよい。第１または第２実施形態のカメラ３０２の出力が第１または第２実施形態の画像処理装置３０４に入力される。画像処理装置３０４から出力された撮影画像と画素毎の距離情報は、人物検出部３２４に入力される。人物検出器３２４は、歩行者／車両検出部２０６と同様に人物を検出する。検出結果はエリア侵入検出部３２６に供給される。エリア侵入検出部３２６は、検出した人物までの距離に基づいてカメラ３０２から所定範囲内の特定エリアに人物が侵入したか否かを判定する。人物の侵入が検出されると、警報３２８が発せられる。
【０１４９】
監視システムは、侵入検出に限らず、例えば、店舗や駐車場における人や車の流れ等を時間帯毎に把握するためのシステムでもよい。
【０１５０】
移動体ではなく静止しているが、移動部を備えるもの、例えば製造ロボット等にも応用可能である。部品を掴む、移す、部品を加工するアームからの距離に応じて障害物を検出すると、アームの移動を制限するようにしてもよい。
【０１５１】
本実施形態の処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１５２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【０１５３】
１２…イメージセンサ、１４…レンズ、１６…絞り、２２…ＣＰＵ、３０…ディスプレイ、５０…カラーフィルタ、５２…マイクロレンズ、５４ａ，５４ｂ…フォトダイオード、７２…ぼけ補正部、７４…相関計算部。
【図１】
2018077190.tif 000003
【図２】
2018077190.tif 000004
【図３】
2018077190.tif 000005
【図４】
2018077190.tif 000006
【図５】
2018077190.tif 000007
【図６】
2018077190.tif 000008
【図７】
2018077190.tif 000009
【図８】
2018077190.tif 000010
【図９】
2018077190.tif 000011
【図１０】
2018077190.tif 000012
【図１１】
2018077190.tif 000013
【図１２】
2018077190.tif 000014
【図１３】
2018077190.tif 000015
【図１４】
2018077190.tif 000016
【図１５】
2018077190.tif 000017
【図１６】
2018077190.tif 000018
【図１７】
2018077190.tif 000019
【図１８】
2018077190.tif 000020
【図１９】
2018077190.tif 000021
【図２０】
2018077190.tif 000022
【図２１】
2018077190.tif 000023
【図２２】
2018077190.tif 000024
【図２３】
2018077190.tif 000025
【図２４】
2018077190.tif 000026
【図２５】
2018077190.tif 000027
【図２６】
2018077190.tif 000028
【図２７】
2018077190.tif 000029
【図２８】
2018077190.tif 000030
【図２９】
2018077190.tif 000031
【図３０】
2018077190.tif 000032