(57)【特許請求の範囲】
【請求項１】
第一の距離画像と前記第一の距離画像よりも解像度の低い第二の距離画像とに基づいて第三の距離画像を生成する画像処理装置であって、
前記第二の距離画像の対象画素に対応する前記第一の距離画像の領域を選択して、当該領域内の前記第一の距離画像の距離値の代表値を決定する代表値決定手段と、
前記代表値と前記対象画素における前記第二の距離画像の距離値との加重平均に基づいて補正値を決定する補正値決定手段と、
前記領域内の各画素の距離値を前記補正値に基づいて補正した距離値を画素値として有する第三の距離画像を生成する生成手段と、
を備える、画像処理装置。
【請求項２】
前記補正値決定手段は、前記第一の距離画像の距離計測の安定度と前記第二の距離画像の距離計測の安定度との比に基づく重み係数を用いて前記代表値と前記対象画素における前記第二の距離画像の距離値との加重平均を求め、当該加重平均から前記代表値を減算した値を前記補正値として決定する、
請求項１に記載の画像処理装置。
【請求項３】
前記補正値決定手段は、前記領域内の前記第一の距離画像の各画素における距離値の代表信頼度と前記第二の距離画像の前記対象画素における距離値の信頼度との比に基づく重み係数を用いて前記代表値と前記対象画素における前記第二の距離画像の距離値との加重平均を求め、当該加重平均から前記代表値を減算した値を前記補正値として決定する、
請求項１または２に記載の画像処理装置。
【請求項４】
前記代表値決定手段は、前記領域内の前記第一の距離画像の距離値の中央値または平均値を前記代表値として決定する、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記代表値決定手段は、前記第一の距離画像の各画素における距離値の信頼度も用いて前記代表値を決定する、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記代表値決定手段は、前記第一の距離画像の各画素における距離値の信頼度を重み係数とする、前記領域内の前記第一の距離画像の距離値の加重平均値を、前記代表値として決定する、
請求項５に記載の画像処理装置。
【請求項７】
前記信頼度は、被写体像のコントラスト、被写体像の輝度値、被写体の周期性情報、被写体および撮像時の動き情報、距離計測範囲情報の少なくとも何れか一つを用いて決定される、
請求項３、５、６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記領域内の各画素の距離値に前記補正値を加算した値を距離値を画素値として有する第三の距離画像を生成する、
請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、前記領域内の各画素の距離値に、当該領域に対して決定される補正値と当該領域に隣接する隣接領域に対して決定される補正値との加重平均値を加算した値を距離値を画素値として有する第三の距離画像を生成する、
請求項１から７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記生成手段は、前記第三の距離画像の、前記第二の距離画像の隣接する画素に対応する隣接する領域の境界に対して平滑化処理を施す、
請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第一の距離画像と前記第二の距離画像は、同じ撮像面から取得される、
請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第一の距離画像は、異なる撮影条件で撮影された複数の画像から、ぼけの違いに基づいて距離が検出された距離画像である、
請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記第二の距離画像は、視差のある複数の画像の位相差に基づいて距離が検出された距離画像である、
請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記第二の距離画像は、Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ方式により取得された距離画像である、
請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１５】
前記第二の距離画像は、レーザースキャン方式により取得された距離画像である、
請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１６】
前記第一の距離画像と前記第二の距離画像が同一視点の画像となるように、前記第一の距離画像と前記第二の距離画像の少なくとも一方を変形する変形手段をさらに備える、
請求項１から１５のいずれか１項に記載の画像処理装置。
【請求項１７】
撮像素子と、
前記撮像素子により撮影された画像から、前記第一の距離画像および前記第二の距離画像を生成する距離画像生成手段と、
請求項１から１６のいずれか１項に記載の画像処理装置と、
を備える、撮像装置。
【請求項１８】
第一の距離画像と前記第一の距離画像よりも解像度の低い第二の距離画像とに基づいて第三の距離画像を生成する画像処理方法であって、
前記第二の距離画像の対象画素に対応する前記第一の距離画像の領域を選択して、当該領域内の前記第一の距離画像の距離値の代表値を決定する代表値決定ステップと、
前記代表値と前記対象画素における前記第二の距離画像の距離値との加重平均に基づいて補正値を決定する補正値決定ステップと、
前記領域内の各画素の距離値を前記補正値に基づいて補正した距離値を画素値として有する第三の距離画像を生成する生成ステップと、
を含む、画像処理方法。
【請求項１９】
請求項１８に記載の方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関連し、特に、異なる解像度の距離画像の合成により高解像度な距離画像を生成する技術に関する。
【背景技術】
【０００２】
従来、撮像装置によって取得された画像から撮影シーンの距離を取得する手法としてＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ（ＤＦＤ）法が提案されている。ＤＦＤ法では撮像光学系の撮影パラメータを制御することでぼけの異なる複数の画像を取得し、互いのぼけの大きさや相関量を算出する。このぼけの大きさや相関量は画像中の被写体の距離に応じて変化するため、その関係を用いて距離を算出できる。ＤＦＤ法による距離計測は、計測に利用する画像の解像度で距離画像を生成することができ、同じ視点からの鑑賞画像と距離画像を生成することができる。
【０００３】
撮像装置におけるオートフォーカス（ＡＦ）技術で用いられる位相差方式を用い、撮像素子中に距離計測用の画素を配置することで距離画像を取得する技術が提案されている。距離計測専用の画素は撮像素子中に多く配置できないので、得られる距離画像の解像度は低い（画素数が少ない）。
【０００４】
また、Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ（ＴＯＦ）法などのアクティブな距離計測技術も多数提案されている。アクティブ方式は、コントラストの低い被写体であっても安定した距離計測が可能となるが、生成される距離画像の解像度は低い（画素数が少ない）。
【０００５】
このような異なる距離計測方式を用いた距離計測方法として、特許文献１がある。特許文献１では、位相差方式で距離計測を行った結果とＤＦＤ方式で距離計測を行った結果から、信頼度の高いデフォーカス量あるいは被写体距離を選択することで異なる距離計測方式の距離画像の合成を行う提案がなされている。
【０００６】
また、特許文献２では、ＴＯＦ方式の距離計測結果を初期値として位相差方式による距離計測の高速化を行う提案がなされている。さらに、位相差方式の距離計測結果をもとにＴＯＦ方式の不定性の回避を行う提案もなされている。
【０００７】
特許文献３では、ステレオ方式とＴＯＦ方式を用いてステレオ方式では距離計測できなかった領域をＴＯＦ方式による距離計測結果を用いることが提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−６３１４２号公報
【特許文献２】特開２００８−８６８７号公報
【特許文献３】特開２００８−１１６３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１のように、解像度の異なる距離画像の合成を行う際に、領域ごとに距離計測方式の切り替えを行うと、低解像度の距離画像の影響により、距離値がブロック状に変化する領域が生じる可能性がある。
【００１０】
特許文献２では、位相差方式の距離計測の高速化のためにＴＯＦ方式を用いているが、
最終的な距離計測性能は位相差方式に依存するため、コントラストの低い被写体では距離計測が安定しない可能性がある。
【００１１】
特許文献３では、ステレオ方式では距離計測できなかった領域をＴＯＦ方式による距離計測結果で補っており、距離計測方式を切り替えて統合している。よって、ステレオ方式による高解像度な距離画像の中で計測できなかった領域は、解像度の低いＴＯＦ方式の距離計測結果を用いることにより一様な距離となる可能性がある。
【００１２】
このようにいずれの文献においても、異なる測距方式を組み合わせて高精度かつ高解像の距離画像を得るという効果を十分に達成できているとはいえない。
【００１３】
本発明は、異なる距離計測方式により得られた異なる解像度の距離画像から、精度と解像度が両立した距離画像を生成することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の第一の態様は、第一の距離画像と前記第一の距離画像よりも解像度の低い第二の距離画像とに基づいて第三の距離画像を生成する画像処理装置であって、
前記第二の距離画像の対象画素に対応する前記第一の距離画像の領域を選択して、当該領域内の前記第一の距離画像の距離値の代表値を決定する代表値決定手段と、
前記代表値と前記対象画素における前記第二の距離画像の距離値との加重平均に基づいて補正値を決定する補正値決定手段と、
前記領域内の各画素の距離値を前記補正値に基づいて補正した距離値を画素値として有する第三の距離画像を生成する生成手段と、
を備える、ことを特徴とする。
【００１５】
本発明の第二の態様は、第一の距離画像と前記第一の距離画像よりも解像度の低い第二の距離画像とに基づいて第三の距離画像を生成する画像処理方法であって、
前記第二の距離画像の対象画素に対応する前記第一の距離画像の領域を選択して、当該領域内の前記第一の距離画像の距離値の代表値を決定する代表値決定ステップと、
前記代表値と前記対象画素における前記第二の距離画像の距離値との加重平均に基づいて補正値を決定する補正値決定ステップと、
前記領域内の各画素の距離値を前記補正値に基づいて補正した距離値を画素値として有する第三の距離画像を生成する生成ステップと、
を含む、ことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、異なる距離計測方式により得られた異なる解像度の距離画像から、精度と解像度の両立した距離画像を生成可能である。
【図面の簡単な説明】
【００１７】
【図１】第一の実施形態に係る撮像装置の構成を示す図。
【図２】第一の実施形態における撮像素子における画素配置の説明図。
【図３】第一の実施形態に係る撮像用画素の構成を示す図。
【図４】第一の実施形態に係る距離計測用画素の構成を示す図。
【図５】第一の実施形態における撮影処理の流れを示すフローチャート。
【図６】第一の実施形態におけるＤＦＤ方式の距離計測を説明する図。
【図７】第一の実施形態における距離補正処理の流れを示すフローチャート。
【図８】第一の実施形態における距離補正処理を説明する図。
【図９】第一の実施形態における変形例に係る撮像素子の構成を示す図。
【図１０】第一の実施形態における変形例に係る撮像装置の構成を示す図。
【図１１】第二の実施形態における距離計測の流れを示すフローチャート。
【発明を実施するための形態】
【００１８】
（第一の実施形態）
＜システム構成＞
図１（Ａ）は、第一実施形態に係る撮像装置のシステム構成図である。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、信号処理部１３、距離計測部１４、メモリ１５、入力部１６、表示部１７、記憶部１８を有する。
【００１９】
撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像光学系１０としては可変焦点の光学系が用いられており、制御部１２のオートフォーカス機能により自動焦点合わせが可能である。
【００２０】
制御部１２は、撮像装置１の各部を制御する機能部である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッターやフラッシュ（いずれも不図示）の制御、入力部１６や表示部１７や記憶部１８の制御などがある。
【００２１】
信号処理部１３は、撮像素子１１から出力された信号に対して処理を行う機能部である。具体的には、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などを行う。信号処理部１３から出力されるデジタル画像データは一時的にメモリ１５に蓄積された後、表示部１７への表示、記憶部１８への記録（保存）、距離計測部１４などに出力され、所望の処理が行われる。
【００２２】
距離計測部１４は、画像中の被写体までの奥行き方向の距離を算出する機能である。距離計測部１４は、図１（Ｂ）に示すように、位相差方式距離画像生成部１４１、ＤＦＤ方式距離画像生成部１４２、代表値決定部（代表値決定手段）１４３、補正値決定部（補正値決定手段）１４４、生成部（生成手段）１４７を含む。生成部１４７は、補正部１４５と平滑化処理部１４６を含む。距離計測部１４は、論理回路により構成してもよいし、コンピュータ（プロセッサ）とプログラムとにより構成してもよいし、これらの組み合わせにより構成してもよい。距離計測部１４の詳細については後述する。
【００２３】
入力部１６は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。
【００２４】
表示部１７は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１７は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。
【００２５】
記憶部１８は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１８としては、高速に読み書きでき、且つ、大容量の記憶媒体を用いることが好ましい。例えばフラッシュメモリなどを好適に用いることができる。
【００２６】
＜撮像素子の構成＞
図２は、撮像素子１１の構成を説明する図である。撮像素子１１の、１つの撮影用画素２１は２行２列のベイヤー配列の画素群からなる。さらにこのベイヤー配列の中に、距離計測用画素２２Ｈ，２２Ｖが規則的に疎に配置される。図２では、１０行１０列の正方領
域に対して、１組の距離計測用画素が配置されている。ブロックごとに互い違いに、水平方向に瞳分割した距離計測用画素２２Ｈと垂直方向に瞳分割した距離計測用画素２２Ｖが配置される。
【００２７】
図３（Ａ）、図３（Ｂ）は撮影用画素２１を説明する図である。図３（Ａ）に示すように各撮影用画素２１は、２行２列の４画素を一組からなる。撮影用画素２１は、対角方向の画素にＧ（緑色）の分光感度を有する画素が配置され、残りの２画素にＲ（赤色）とＢ（青色）の分光感度を有数する画素が１画素ずつ配置されたベイヤー配列を有する。
【００２８】
図３（Ｂ）は、図３（Ａ）におけるＳ−Ｓ’断面図を表す。各画素２１の上部にはマイクロレンズＭＬが配置され、その下部にカラーフィルタＣＬが配置される。カラーフィルタは各画素２１においてＲＧＢのそれぞれの波長を透過するフィルタであり、前述のようなベイヤー配列で配置される。カラーフィルタの下部には、配線層ＣＬがあり、これは撮像素子内における各種信号の伝達を行う信号線を形成する配線層である。その下部には光電変換素子である光電変換部ＰＤが配置される。
【００２９】
このようにベイヤー配列で配置された撮影用画素の中に、瞳分割位相差方式による距離検出を行うための距離計測用画素２２Ｈ，２２Ｖが配置される。距離計測用画素２２Ｈ，２２Ｖでは、ベイヤー配列の２行２列の画素のうち、Ｇ画素は撮影用に残し、Ｒ画素位置とＢ画素位置に距離計測用の画素が配置される。
【００３０】
Ｇ画素を撮影用画素として残したのは、人間の視覚の感度特性は５５５ｎｍをピークとするためＧ波長域に対して感度が高いためである。また視覚特性は、色情報より輝度情報に敏感であり、輝度情報は主にＧ画素で取得し色情報は主にＲ画素およびＢ画素で取得するため、Ｇ画素を残す方が画質の劣化が認知され難いためである。
【００３１】
図４（Ａ）、図４（Ｂ）は、水平方向に瞳分割を行う距離計測用画素２２Ｈを含む２行２列の画素配列の一例を示すものであり、図４（Ｂ）は図４（Ａ）のＳ−Ｓ’断面図で距離計測用画素の断面を表すものである。図４（Ａ）の画素ＤＡおよび画素ＤＢが距離計測用の画素であり、画素ＤＡおよび画素ＤＢにおける塗りつぶし部分は、配線層ＣＬの開口部である。距離計測用画素に照射された光は、この開口部を通って光電変換部ＰＤに入射される。距離計測用の画素を画像生成に用いない場合は、透明膜のフィルタを配置するのが良い。
【００３２】
図４（Ｂ）に示すように、画素ＤＡ，ＤＢの基本的な構造は撮影用画素２１の構造と同一である。相違点は、画素ＤＡに対応する開口部、および画素ＤＢに対応する開口部が、マイクロレンズＭＬの中心に対して水平方向に偏移させて配置されている点である。これにより、画素ＤＡに入射される光は撮影レンズＬの左側の射出瞳ＥＰＡを通過した光束となり、画素ＤＢに入射される光は撮影レンズＬの右側の射出瞳ＥＰＢを通過した光束となる。すなわち、撮像素子による瞳分割が行われる。
【００３３】
垂直方向に瞳分割を行う距離計測用画素２２Ｖの構造は、開口部が垂直方向にシフトしている点を除けば距離計測用画素２２Ｈの構造と同様であるため説明を省略する。
【００３４】
本実施形態に示す撮像素子１１を用いることで、同じ撮像面からＤＦＤ方式の距離画像と位相差方式の距離画像を取得することができる。
【００３５】
＜距離計測処理＞
次に、撮像装置１が行う距離計測処理について、図面を参照しながら詳細に説明する。図５（Ａ）は距離計測処理の基本的な流れを示すフローチャートである。
【００３６】
ユーザが、入力部１６を操作して距離計測の実行を指示し撮影（ステップＳ１１）を開始すると、制御部１２が撮影制御を行い、以下の撮影を実行する。図５（Ｂ）は撮影処理Ｓ１１の詳細を示すフローチャートである。
【００３７】
撮影処理が開始すると、まず、制御部１２によって、オートフォーカス（ＡＦ）や自動露光制御（ＡＥ）が実行され、フォーカス位置と絞り（Ｆナンバー）、シャッター速度を決定される（ステップＳ１１１）。なお、これらの撮影パラメータはユーザが入力することもできる。その後、ステップＳ１１２にて撮影が実行され、制御部１２は、撮像素子１１から画像を取り込みメモリ１５に一時的に格納する。
【００３８】
一枚目の撮影が完了すると、制御部１２が撮影パラメータを変更する（ステップＳ１１３）。変更する撮影パラメータとは、絞り（Ｆナンバー）、フォーカス位置、焦点距離の少なくとも何れかひとつである。変更後のパラメータの値あるいは変更量は予め保存された値を用いても良いし、入力部１６でユーザが入力した情報をもとに決定しても良い。本実施形態では、フォーカス位置を変更して二枚目の画像を撮影する。例えば、一枚目は主被写体に合焦するように撮影を行い、二枚目は主被写体がぼけるようにフォーカス位置を変更して撮影を行う。
【００３９】
撮影パラメータの変更が完了すると、処理はステップＳ１１４に遷移し、制御部１２によって二枚目の撮影が行われる。
【００４０】
二枚の画像の撮影が完了すると、一枚目の撮影画像中の距離計測用の画素から視差のある二画像（Ａ像、Ｂ像）を生成する（ステップＳ１１５）。具体的には、画素ＤＡによって取得された被写体像がＡ像であり、画素ＤＢによって取得された被写体像がＢ像である。
【００４１】
以上の撮影が終了すると、信号処理部１３は、撮影および生成した画像が、距離計測に適した画像となるようにそれぞれ処理し、一時的にメモリ１５に蓄積する。具体的には現像処理を行うが、信号処理時にぼけが変化しないようにエッジ強調処理などは避ける必要がある。また、以後の距離計測処理に利用する画像は、輝度画像または特定のカラー画像が適している。このとき、撮影した画像のうち少なくとも一枚を、観賞用の画像として信号処理し、メモリ１５に蓄積してもよい。
【００４２】
＜位相差方式による距離計測方法＞
次に、距離計測部１４の距離画像生成部１４１が、位相差方式による距離計測（ステップＳ１２）を実行して位相差方式の距離画像（第二の距離画像）ＤＰＤを生成する。位相差方式による距離計測処理Ｓ１２について図５（Ｃ）のフローチャートを参照して説明する。
【００４３】
位相差方式では、Ａ像とＢ像の像ずれ量ｒを検出することで、被写体像のデフォーカス量Ｄｅｆを検出する。したがって、距離画像生成部１４１は、Ａ像とＢ像の相関演算により、像ずれ量ｒの検出を求める（ステップＳ１２１）。相関演算は公知の手法を用いることができ、例えば数式１により相関値Ｃ（ｋ）を算出し、Ｃ（ｋ）＝０となるｋから、像ずれ量ｒを算出することをできる。
【数１】
0006700818.tif 000002
ここで、Ａ（ｉ）はＡ像の像信号、Ｂ（ｉ）はＢ像の像信号、ｉは画素番号、ｋはＡ像
とＢ像の相対シフト量である。ｍは、相関値Ｃ（ｋ）の演算に用いる対象画素範囲を表している。
【００４４】
次に、距離画像生成部１４１は、算出された像ずれ量ｒを数式２に代入することでデフォーカス量Ｄｅｆを算出する（ステップＳ１２２）。
【数２】
0006700818.tif 000003
ここでｗは基線長（射出瞳ＥＰＡと射出瞳ＥＰＢの中心間隔）であり、Ｚは撮像素子から射出瞳までの距離である。
【００４５】
距離計測に用いるＡ像、Ｂ像の全面に対して同様の処理を行うことで、デフォーカス量を画素値として有する距離画像を生成することができる。また、算出したデフォーカス量を撮影時のパラメータを用いて被写体までの距離に換算し、距離画像を生成することもできる。
【００４６】
距離計測用の画素は、例えば図２に示したように１０行１０列に対して一つ配置されているため、取得したＡ像およびＢ像から算出される距離画像は、撮影画像に対して画素数の少ない距離画像となる。この距離画像を撮像素子の画素数（撮影画像またはＤＦＤ方式の距離画像の画素数）に拡大した場合、１０行１０列のブロック領域Ｒでは同じ距離値となり、画素数は多いが解像度の低い距離画像となる。
【００４７】
＜ＤＦＤ方式による距離計測方法＞
次に、距離計測部１４の距離画像生成部１４２が、ＤＦＤ方式による距離計測（ステップＳ１３）を実行してＤＦＤ方式の距離画像（第一の距離画像）ＤＤＦＤを生成する。ＤＦＤ方式による距離計測処理Ｓ１３について、図６（Ａ）〜６（Ｃ）を参照して説明する。
【００４８】
ＤＦＤ方式は、２画像間のぼけの違いから距離を計測する方法である。図６（Ａ）はＤＦＤ方式を説明する図である。ぼけの半径をσ、撮像素子までの距離をｖ、焦点距離をｆ、Ｆ値をＦとすると、物体距離ｓは数式３で表される。
【数３】
0006700818.tif 000004
撮像素子までの距離ｖ、焦点距離ｆ、Ｆ値は既知なのでぼけの半径σを求めれば物体距離を求めることができる。
【００４９】
ここで、撮影条件を変えることでぼけの異なる二画像を取得し、ぼけの違いから距離情報を算出できる。変更する撮影条件は、開口の大きさ、フォーカス位置、焦点距離の少なくともいずれか一つとすることが好ましい。ぼけの大きさは、フォーカス位置を最小としてデフォーカスするにしたがって大きくなるため、二画像のぼけの違いからデフォーカス量を算出することができる。
【００５０】
本実施形態ではフォーカス位置を変更して撮影した二画像から距離情報を取得する手法を例に説明する。図６（Ｂ）はＤＦＤ方式による距離計測のフローチャートである。
【００５１】
まず、距離情報を算出する画像上の座標を決定し、二つの画像において決定した座標位置の周辺の局所領域を選択する（ステップＳ１３１）。なお、ここで選択した領域には同
じ被写体像が写っているものとする。二画像撮影中に手振れなどの動きにより画像にずれがあった場合は、二画像間の位置合わせ処理を予め実行しておく必要がある。領域選択を、１画素ずつずらして画像全体に渡り局所領域を設定することで入力画像と同じ画素数の高解像度な距離画像を算出することが可能である。
【００５２】
次に相関値算出ステップＳ１３２では、前記領域選択ステップＳ１３１で選択した第一の画像Ｉ１の局所領域Ｉｒ１と、第二の画像Ｉ２の局所領域Ｉｒ２との相関を数式４で算出する。
【数４】
0006700818.tif 000005
収差が無くデフォーカスした場合のぼけ方がフォーカス位置の前と後で同じ場合、像側においてフォーカスを移動して撮影した２つのフォーカス位置の中間でぼけが同等となり、その位置での相関が最も高い値となる。この中間位置から離れるに従い、二画像のぼけ方は変化し相関が低下していく。つまり、ぼけの大きさが同じ位置をピークとしてその位置から離れるに従い相関が低下する。相関値はデフォーカスによるぼけに応じた値となるため、相関値が分かれば対応するデフォーカス量を知ることができ、フォーカス位置からの相対的な距離を算出することが可能となる。
【００５３】
次に距離情報算出ステップＳ１３３では、相関演算ステップＳ１３２で算出された相関値をフォーカス位置からの像距離（デフォーカス量）に変換する。相関値とデフォーカス量の関係は図６（Ｃ）のようになっている。相関値からデフォーカス量に変換する異なる変換テーブルまたは変換式を保持しておき、デフォーカス量に変換する。変換テーブルまたは変換式は、予め計測によって求めるか光学設計情報を利用したシミュレーションによって求めておく。シミュレーションの場合、代表波長を選択してその波長を用いたシミュレーションした結果を適用する。または、複数波長の結果を平均して用いてもよい。
【００５４】
本実施形態では演算の方法として数式４を例に説明したが、２つの画像間のぼけの関係を判断できる数式であればよくこの式に限定するものではない。演算に応じた出力値と像面でのフォーカス位置の関係が既知であれば相対距離への変換が可能である。他の演算例としては、以下の数式５などが挙げられる。
【数５】
0006700818.tif 000006
【００５５】
また、フーリエ変換を行い周波数空間での評価値による演算例として数式６が挙げられる。
【数６】
0006700818.tif 000007
ここでＦはフーリエ変換を表し、ＯＴＦは光学伝達関数、Ｓは撮影シーンのフーリエ変換結果を表している。数式６では、２つの撮影条件における光学伝達関数の比が得られ、予め光学系の設計データからこの値のデフォーカスによる変化を知ることができるため変換が可能となる。
【００５６】
以上のステップＳ１２，Ｓ１３の処理により、二つの距離計測方式によって距離情報を画像として取得することができる。距離情報は被写体までの絶対距離であっても良いし、フォーカス位置から被写体までの相対的な距離（デフォーカス量）であっても良い。しかし、以降の処理で距離補正を行うため、二つの距離情報は同じ情報でなければならず、被写体までの絶対距離またはデフォーカス量に統一している必要がある。本実施形態ではデフォーカス量を画像として取得した場合を例に以降の説明を行う。
【００５７】
＜距離補正＞
距離補正ステップＳ１４では、位相差方式による距離画像（第二の距離画像）ＤＰＤとＤＦＤ方式による距離画像（第一の距離画像）ＤＤＦＤを統合して、安定性が高く高解像度な距離画像（第三の距離画像）Ｄ３を生成する。なお、本実施形態では、距離画像ＤＤＦＤの各画素における距離値（画素値）を、距離画像ＤＰＤおよび距離画像ＤＤＦＤに基づいて補正することによって、距離画像Ｄ３を生成する。本実施形態では、距離画像Ｄ３のことを補正距離画像とも称する。
【００５８】
具体的な処理内容を説明する前に、まず本実施形態による二つの距離計測方式によって得た距離画像を、解像度の観点から比較する。位相差方式による距離画像ＤＰＤは、距離計測用の画素が撮像素子１１において図２のように疎に配置されているため、画像面内の解像度が距離画像ＤＤＦＤに比べて低い。距離画像ＤＰＤを距離画像ＤＤＦＤと同じ画素数（撮像素子の画素数）になるように拡大した場合は、ブロック単位で同じ距離値を有する距離画像となる。図８（Ａ）に位相差方式による距離計測結果の一次元方向の例を示す。一方、ＤＦＤ方式による距離画像ＤＤＦＤは、画素ごとに相関演算が行われ、画素ごとに距離が求められる。したがって、距離画像ＤＤＦＤは、図８（Ｂ）に示すように撮像素子１１の画素数と同等の画素数を持つ。すなわち、ＤＦＤ方式による距離画像ＤＤＦＤは、位相差方式による距離画像ＤＰＤよりも高精細な（解像度が高い）距離画像である。
【００５９】
次に距離計測の安定性の観点から二方式を比較する。ＤＦＤ方式は、数式４のように二画像中の選択領域の相関値を直接デフォーカス量と関連付けている方式の場合、ノイズや被写体の影響を受けやすい傾向にあり、距離計測の安定性が低い。一方、位相差方式の場合は、像ずれ量を算出の際に相関値による探索を行い、相関値の変化から最も比較する領域が一致する領域を得るため、ＤＦＤ方式に比べノイズなどに頑健である。
【００６０】
これらの長所短所を利用し、測距安定性の高い位相差方式による距離画像ＤＰＤを用い、ＤＦＤ方式による画面内解像度の高い距離画像ＤＤＦＤを補正することで、高安定性と高い画面内解像度を両立させる。
【００６１】
距離補正ステップＳ１４の処理の流れを示すフローチャートを図７に示す。
【００６２】
まず、ステップＳ１４１において、代表値決定部１４３が、距離画像ＤＰＤから１つの画素を選択する。ステップＳ１４２において、距離画像ＤＰＤの選択対象画素に対応する、距離画像ＤＤＦＤの領域を選択する。上述のように、距離画像ＤＰＤの方が距離画像ＤＤＦＤよりも解像度が低いので、距離画像ＤＰＤの１画素は距離画像ＤＤＦＤの複数画素に対応する。本実施形態では、距離画像ＤＰＤの１画素は、距離画像ＤＤＦＤの１０画素×１０画素の領域に対応する。
【００６３】
ステップＳ１４３において、代表値決定部１４３は、選択された領域における距離画像ＤＤＦＤ（高解像度距離画像）のデフォーカス量（距離値）の代表値を決定する。この代表値を以下では代表デフォーカス量ＤＨｒｅｐとも称する。代表デフォーカス量ＤＨｒｅｐは、領域内のデフォーカス量の平均値や中央値とすることが好適である。
【００６４】
ステップＳ１４４において、補正値決定部１４４は、距離画像ＤＤＦＤ（低解像度距離画像）の選択画素におけるデフォーカス量ＤＬ（距離値）を取得する。
【００６５】
図８（Ａ）の距離画像ＤＰＤの画素ＲＰｉに対応する距離画像ＤＤＦＤの領域は、図８（Ｂ）に示す領域ＲＤｉである。図８（Ｂ）における破線ｌｂは距離画像ＤＤＦＤの各領域における代表デフォーカス量を示し、破線ｌｄは距離画像ＤＰＤの対応する画素でのデフォーカス量を示す。一般に、これら２つのデフォーカス量は異なる値となる。
【００６６】
ステップＳ１４５において、補正値決定部１４４は、距離画像ＤＤＦＤから得られる代表デフォーカス量ＤＬと距離画像ＤＰＤから得られるデフォーカス量ＤＨｒｅｐに基づいて、補正値ＤＣを数式７にしたがって決定する。
【数７】
0006700818.tif 000008
ここで、αは位相差方式による距離計測の安定度とＤＦＤ方式による距離計測の安定度の比を表す。２つの安定度の和が１となるように規格化した場合に、αが位相差方式による距離計測の安定度であり、１−αがＤＦＤ方式による距離計測の安定度である。
【００６７】
本実施形態では、補正値ＤＣは、距離画像ＤＤＦＤの代表デフォーカス量ＤＨｒｅｐと距離画像ＤＰＤのデフォーカス量ＤＬの距離計測安定度に基づく加重平均値から、距離画像ＤＤＦＤの代表デフォーカス量ＤＨｒｅｐを減算した値と定義される。
【００６８】
距離計測の安定度は、距離計測方式や撮影時の条件によって定まる。例えば、二つの距離計測方式で既知の距離を計測した場合の正答率や誤差量に応じて距離計側方式ごとの安定度を決定できる。また、撮影時の条件を考慮する場合は、二つの距離計測方式で既知の距離を種々の撮影条件で計測し、撮影条件ごとの正答率や誤差量に基づいて安定度を決定できる。後者の場合、補正値決定部１４４は、撮影時の条件に応じた安定度αを採用する。
【００６９】
位相差方式による距離計測は、ＤＦＤ方式に比べ低い空間周波数で演算し、更に像ずれ量算出時の相関演算で最適像ずれ量を選択するためＤＦＤ方式よりも安定度が高い。よって、位相差方式の安定度αは０．５より大きい値となる。
【００７０】
次にステップＳ１４６において、補正部１４５は、ステップＳ１４１で算出したデフォーカス量補正値ＤＣを領域ＲＤｉの各画素のデフォーカス量に加算することでＤＦＤ方式の距離画像の補正を行う。具体的には、距離画像ＤＤＦＤの補正前の距離値をＤとしたとき、補正後の距離値Ｄ’は以下の数式８により決定される。
【数８】
0006700818.tif 000009
【００７１】
この補正により領域ＲＤｉの代表デフォーカス量がブロック領域ＲＰｉのデフォーカス量と近づき、図８（Ｃ）に示すように破線ｌｂと点線ｌｄの差が図８（Ｂ）よりも小さくなる。
【００７２】
このとき、補正対象のブロック領域とそれに隣接するブロック領域（隣接領域）の間で補正値ＤＣの差が大きい場合は、ブロック領域の境界で大きな段差が生じることがある。したがって、補正部１４５は、補正対象のブロック領域と隣接するブロック領域の間での
補正値ＤＣの差が閾値以上の場合は、数式８による補正の代わりに、補正対象領域の補正値と隣接領域の補正値の重み付け平均を加算する補正を行うことも好ましい。この場合は、これにより、領域間の急激な段差を抑制できる。この重み付け平均における重み付け係数は、予め定められた値を採用できる。
【００７３】
ステップＳ１４７では、全ての画素（領域）に対して上記の処理を行ったか判定し、未処理の画素がある場合にはステップＳ１４１に戻って上記の処理を繰り返す。全ての画素に対して上記の処理を行うことで、ＤＦＤ方式の距離画像ＤＤＦＤを補正し、補正距離画像Ｄ３が得られる。補正処理画像Ｄ３は、距離画像ＤＤＦＤの各画素の距離値Ｄをデフォーカス量補正値ＤＣに基づいて補正して得られる距離値を画素値として有する距離画像である。
【００７４】
得られた補正距離画像Ｄ３は、ブロック領域ごとにデフォーカス量補正値が異なるため、図８（Ｃ）に示すように隣接ブロック間でデフォーカス量の段差が生じる。そのため、ステップＳ１４８において、平滑化処理部１４６が、ブロック領域境界に沿って、例えば４×４画素の平均化処理を行う。これにより、補正によって生じたデフォーカス量の段差が目立たなくなる。この処理により、図８（Ｄ）のようにブロック境界での段差が目立たなくなり、滑らかな距離画像を生成することができる。
【００７５】
以上の補正処理を実施することで、解像度が高い距離画像を、安定度の高い距離画像を用いて補正し、解像度が高く安定度の高い距離画像を求めることができる。なお、算出した距離画像をそのまま出力しても良いし、焦点距離および物体側におけるフォーカス距離を用いて物体距離に変換して出力してもよい。
【００７６】
本実施形態によれば、距離計測の安定度が高く撮像素子面内における解像度が低い距離情報画像と、前記安定度は劣るが前記解像度が高い距離情報画像を合成することで、前記安定度と前記解像度を両立した距離情報画像を生成することが可能となる。
【００７７】
＜変形例１＞
撮像素子１１の別の形態として図９（Ａ）〜９（Ｃ）に示すような構成としても良い。図９（Ａ）に、２行×２列の画素を画素群２０１及び画素群２０２を示す。画素群２０１内には、対角方向に緑画素２０１Ｇｖが配置され、もう一方の対角方向に赤画素２０１Ｒｖと青画素２０１Ｂｖが配置されている。同様に画素群２０２内にも、対角方向に緑画素２０２Ｇｈが、他方には赤画素２０２Ｒｈと青画素２０２０Ｂｈが配置されている。これらの二種類の画素群が撮像素子１１上に市松模様状に配置されている。
【００７８】
図９（Ｂ）は、画素群２０１におけるＶ−Ｖ’概略断面図を示す。画素群２０１内の各画素は、マイクロレンズ２０１ＭＬ、カラーフィルタ２０１ＣＦ、光電変換部２０１Ａ
２０１Ｂを備える。図９（Ｃ）は、画素群２０２におけるＨ−Ｈ’概略断面図を示す。画素分２０２内の各画素は、マイクロレンズ２０２ＭＬ、カラーフィルタ２０２ＣＦ、光電変換部２０２Ａ、２０２Ｂを備える。また、図９（Ｂ）及び９（Ｃ）において、受光面２１０は、光電変換部の光入射側のｘｙ面（＋ｚ側の面）である。
【００７９】
本変形例の撮像素子１１では、１つの画素（緑画素などの各画素）内に光電変換部を２つ配置し、受光面２１０と射出瞳が光学的に共役関係になるようにマイクロレンズ２０１ＭＬ、２０２ＭＬのパワーを設定している。このような配置とすることで、光電変換部２０１Ａと２０１Ｂ（及び２０２Ａと２０２Ｂ）では、それぞれ、射出瞳の異なる領域を通過した光束を受光することができる。また、画素群２０１と画素群２０２では、２つの光電変換部の配置が９０°回転している。このような構成とすることで、画素群２０１と画素群２０２では射出瞳を異なる方向に分割した領域を通過した光束を光電変換部で受光す
ることとなる。これにより、画素群２０１と画素群２０２では異なる方向にコントラスト変化のある被写体に対して被写体距離の検出を行うことができる。
【００８０】
本変形例においては、各画素群２０１，２０２における２つの光電変換部で受光した光から生成される像信号をそれぞれＡ像、Ｂ像として取得する。このＡ像およびＢ像は、撮像素子の画素と同数の解像度を持つため、高精細な距離画像を取得することが可能である。ここでの距離画像の算出はステップＳ１２と同様の処理である。しかし、解像度が高い画像を用いて位相差方式による距離計測を実行する場合、像ずれ量算出時にノイズや周期被写体による像ずれ量算出エラーが生じる可能性が高くなる。そこで、本変形例においては、Ａ像およびＢ像をそのまま用いた位相差方式の距離計測に加えて、Ａ像およびＢ像を縮小した低周波成分の画像を用いた位相差方式の距離計測も行う。縮小したＡ像およびＢ像で距離計測した場合、ノイズや周期被写体による像ずれ量算出エラーは低減される。
【００８１】
上記の理由から、本変形例においては、解像度の異なる２つの距離画像が得られる。一方は高解像度だが安定度が低く、他方は低解像度だが安定度が高い。したがって、本変形例においても、上記と同様の処理により、高解像度の距離画像を、低解像度の距離画像を用いて補正することで、高解像度かつ高安定度の距離画像を得ることができる。具体的には、低解像度の距離画像を実施例１における位相差方式による距離画像として扱い、高解像度の距離画像を実施例１におけるＤＦＤ方式による距離画像として扱って、同様の距離補正処理を行えばよい。
【００８２】
このように、全面で位相差方式による距離計測ができる撮像素子を用いた場合であっても、より安定度が高く高精細な距離画像を生成することが可能となる。
【００８３】
＜変形例２＞
別の変形例として、アクティブ距離計測方式であるＴＯＦ方式（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ方式）による距離計測と、ＤＦＤ方式による距離計測を行う構成を採用することができる。図１０は本変形例に係る撮像装置２の構成を示す。本変形例に係る撮像装置２は、実施例１の撮像装置１の構成に加え照明部１９、ホットミラー２０、撮像素子２１が追加されている。また、撮像素子１１は距離計測用の画素を配置しない、一般に用いられる撮像素子であってよい。
【００８４】
この構成では、撮影時に制御部１２で照明部１９を制御し、変調した近赤外光を照明する。近赤外光と可視光を分離するために光路内にホットミラー２０を設置する。照明した近赤外光が被写体で反射し撮像光学系により集光され、ホットミラー２０で近赤外光のみ反射され、撮像素子２１上に結像される。一方、可視光はホットミラー２０を透過し、撮像素子１１上に結像される。
【００８５】
撮像素子１２では、変調照明光に対して位相を９０°ずらしたタイミングで４回の露光を行い、被写体からの反射光の位相差を算出する。算出した位相差と変調周波数ｆｍおよび光速を用いることで被写体までの距離を算出することが可能である。
【００８６】
このＴＯＦ方式のようなアクティブな距離計測手法は、一般に被写体に対する依存性が少なく安定した距離計測が行える。その反面、距離計測の画素数が少なく、ＶＧＡ程度の画素数の距離画像しか得られない。よって、ＴＯＦ方式による距離画像を用いて、ＤＦＤ方式による距離画像を距離補正ステップＳ１４で補正することで、安定度が高く高精細な距離画像を生成することが可能となる。
【００８７】
本変形例の撮像装置によって得られるＤＦＤ方式の距離画像とＴＯＦ方式の距離画像は、異なる視点の画像となる。したがって、距離計測部１４は、２つの距離画像が同一視点
となるようにいずれか一方の距離画像または両方の距離画像に対して変形処理を施す距離画像変形部（変形手段）を備えることが好ましい。
【００８８】
ここではアクティブ距離計測方式の代表例としてＴＯＦ方式を用いて説明したが、他のレーザースキャン方式（レーザースキャナ方式）などのアクティブ距離計測方式を用いても同様の処理を行うことが可能である。
【００８９】
（第二の実施形態）
次に、本発明の第二実施形態について説明する。第二実施形態は、二つの距離計測を実行した際に距離情報（画像）の信頼性を表す信頼度情報（画像）を同時に演算し、その信頼度画像を利用して距離補正を実行する点が第一の実施形態と相違する。本実施形態に係る撮像装置の構成は第一実施形態のものと同様のため、同一の符号を用いて説明を行う。
【００９０】
以下、第一の実施形態との処理の相違点について説明する。図１１（Ａ）、１１（Ｂ）は、第二の実施形態における、各距離計測方式の流れを示した図である。図１１（Ａ）は位相差方式による距離計測Ｓ１２のフローチャートである。第１の実施形態（図５（Ａ））と比較して、信頼度情報算出ステップＳ１２３が追加されている。
【００９１】
信頼度情報算出ステップＳ１２３では、算出した距離情報がどの程度信頼できるかを表す距離計測の信頼度情報を算出する。この信頼度情報は、距離情報算出に用いた画像の輝度情報やコントラスト情報、像ずれ量算出時の相関値ピークの数などを用いて算出するもので、被写体によって変化する値である。
【００９２】
像ずれ量を算出する際に演算範囲において画像が黒潰れや白飛びを起こしていた場合は正しい像ずれ量を算出できないため、被写体像の輝度値（輝度情報）を信頼度情報の指標とすることができる。
【００９３】
また、演算範囲において画像のコントラストが低い場合は像ずれ量算出の際の相関演算においてピーク値の算出に誤差が生じるため、コントラスト情報を信頼度情報の指標として用いることができる。
【００９４】
像ずれ量算出時の相関値ピークの数は、像ずれ量算出時の演算範囲において周期的な被写体が存在すると多数の相関値ピークが生じる。このとき、最も小さい（大きい）ピークが必ずしも正しい像ずれ位置とは限らないため、相関値のピークが多数生じた場合は距離計測の信頼度が低いとみなすことができる。したがって、被写体像の周期性情報を信頼度情報の指標とすることもできる。
【００９５】
図１１（Ｂ）はＤＦＤ方式による距離計測のフローチャートである。第１の実施形態（図８（Ｂ））と比較して、上記と同様に信頼度情報算出ステップＳ１３４が追加されている。ＤＦＤ方式における信頼度情報算出の指標としては、被写体像の輝度値、被写体像のコントラスト、被写体の周期性情報、撮像時の被写体の動き情報、距離計測範囲情報、距離エッジ情報、位置ずれ情報などが利用できる。
【００９６】
演算に用いる領域に黒潰れや白飛びが生じているとぼけの違いを正しく検出することができないため、被写体像の輝度値（輝度情報）は、信頼度情報の指標として利用可能である。
【００９７】
コントラストが低いとぼけの違いを正しく検出することができない上に、ノイズによる影響が距離計測において支配的になるため、被写体像のコントラスト情報も信頼度情報の指標として用いることができる。
【００９８】
距離計測範囲情報は、精度良く距離計測できる範囲を示す情報である。距離計測範囲情報によって指定される範囲外の領域の信頼度は低いと判断できる。例えば、数式４を利用して距離計測を行った場合など、ぼけが大きくなると二画像のぼけの違いが区別しにくくなり、再び相関が高くなるということが生じる。その領域は、フォーカス近傍の相関が高い領域とは異なるため、信頼できない領域とする必要がある。
【００９９】
ＤＦＤ方式は撮影パラメータを変えて二画像を取得する必要があるため、撮影タイミングが異なることにより二画像間で位置ずれが生じる。位置合わせ処理を行うことで同じ領域のぼけの比較を行うことができるが、被写体の動きを合わせることは難しい。このため、二画像の演算領域の画素ごとの差分二乗和や差分絶対値和などの動き情報を演算し、動き情報が閾値以上の場合は位置ずれが大きいと判断して信頼度を低くすることができる。
【０１００】
以上のように、距離計測方式によって信頼度情報を求める方法は多数あり、ここで述べた方法以外にも考えられるが、ここでは信頼度情報を算出する方法を限定するものではない。また信頼度情報は、算出した距離情報が信頼できるかできないかを表す二値の情報としても良いし、多値として多段階の信頼度情報としてもよい。
【０１０１】
また、算出した複数種類の信頼度情報を統合して一つの信頼度情報として出力しても良い。統合の際は、それぞれの信頼度情報算出に用いた情報が距離計測への与える影響の大きさを考慮して合成することが望ましい。例えば、演算領域中を黒潰れもしくは白飛びの一方が全て占めていた場合は、アクティブ方式を含むどの距離計測方式においても距離計測できないためこの信頼度情報の重みを大きくして加重平均により信頼度情報の統合を行う。位相差方式においては、次にコントラストの低下や周期被写体が距離計測における誤差要因として影響が大きい。ＤＦＤ方式においては、撮影タイミングの違いによる位置ずれの影響が黒潰れ・白飛びの次に影響が高く、その後に距離計測範囲やコントラストの影響が続く。
【０１０２】
次に、各距離計測方式で算出した距離情報および信頼度情報を用いた距離補正に関して説明する。距離補正処理の基本的な流れは図７に示すフローチャートと同様である。しかしながら、補正値算出ステップＳ１４５の動作が異なる。
【０１０３】
第一の実施形態では、ＤＦＤ方式の距離画像ＤＤＦＤの中で選択した領域ＲＤｉにおいて、代表デフォーカス量を算出する際に平均値や中央値を用いた。本実施形態では、数式９のように距離画像ＤＤＦＤの画素ごとに算出した信頼度情報ＣＭＤＦＤを重み係数としたデフォーカス量ＤＨの加重平均値を代表デフォーカス量ＤＨｒｅｐとして算出する。
【数９】
0006700818.tif 000010
【０１０４】
信頼度情報ＣＭＤＦＤが二値の情報の場合は、信頼できるデフォーカス量のみを用いて代表デフォーカス量ＤＨｒｅｐを算出することになり、信頼度情報ＣＭＤＦＤが多値の情報の場合は、加重平均により代表デフォーカス量ＤＨｒｅｐを算出することになる。この代表デフォーカス量ＤＨｒｅｐを数式７に代入することで補正値ＤＣを算出する。
【０１０５】
これにより、ＤＦＤ方式で演算された距離画像ＤＤＦＤにおいて距離計測誤差が大きいと推測される値の影響を抑えることができ、より正確な代表デフォーカス量を算出するこ
とでより正解な補正値の算出が可能となる。
【０１０６】
数式９を用いた補正ではＤＦＤ方式の信頼度情報のみを用いて補正を行ったが、位相差方式の信頼度情報も使用する方法を以下に説明する。
【０１０７】
まず、位相差方式により計測された距離画像において画素ＲＰｉの信頼度情報ＣＭＰＤを取得し、同様にＤＦＤ方式により計測された距離画像からブロック領域ＲＰｉに対応する領域ＲＤｉの信頼度情報ＣＭＤＦＤを取得する。ＤＦＤ方式の距離画像ＤＤＦＤでは、領域ＲＤｉ内でデフォーカス量も信頼度情報ＣＭＤＦＤも一定ではない。そこで、領域ＲＤｉの信頼度情報の平均値を代表信頼度情報ＣＭＤＦＤ_ＲＥＰとして算出する（ＣＭＤ
ＦＤ＿ＲＥＰ＝Ａｖｅｒａｇｅ（ＣＭＤＦＤ））。このＤＦＤ方式の代表信頼度情報ＣＭＤＦＤ_ＲＥＰと位相差方式の信頼度情報ＣＭＰＤを用いて数式１０により、位相差方式
の信頼度情報の比率βを算出する。
【数１０】
0006700818.tif 000011
【０１０８】
位相差方式の信頼度情報の比率βは、最大値が１で最小値が０であり、位相差方式とＤＦＤ方式の信頼度情報の比率の和が１となるように規格化した値である。
【０１０９】
本実施形態では、信頼度情報の比率βと安定度αを用い、数式７を変形した数式１１によってデフォーカス量補正値ＤＣを算出する。ただし、安定度αは数式７と同様に１≧α＞０．５を満たすものとする。
【数１１】
0006700818.tif 000012
ここで、距離計測方式の安定度αは被写体とは無関係に決定されるもので主に撮像装置側（距離計測装置側）で決定される値であり、信頼度情報の比率βは被写体側に依存して決定される値である。
【０１１０】
また、信頼度情報の比率βのみを用いた数式１２でデフォーカス量補正値ＤＣを算出することもできる。
【数１２】
0006700818.tif 000013
【０１１１】
本実施形態では、位相差方式とＤＦＤ方式の距離計測結果と信頼度情報を用いる場合を例に示したが、他の距離計測方式でも各方式の特徴に応じた信頼度情報を用いて同様の補正を行うことが可能であり、距離計測方式を限定するものではない。
【０１１２】
本実施形態によれば、被写体に依存しない距離計測方式の安定度に加え、被写体に依存した距離計測の信頼度情報を用いることで、より正確なデフォーカス量の補正値を算出す
ることが可能となる。これにより、より正確で安定度が高く高解像度な距離情報を生成することが可能となる。
【０１１３】
＜変形例＞
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像手段を有さない距離計測装置として実施することもできる。また、距離計測方法として実施することもできるし、当該距離計測方法を距離計測装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【０１１４】
上記の説明では、高解像度の距離画像の各画素における距離値を補正することによって、高解像度かつ高安定度の距離画像を生成している。しかしながら、高解像度の距離画像と低解像度の距離画像を統合して高解像度かつ高安定度の距離画像を生成すればよく、例えば、高解像度および低解像度の距離画像は保持したまま、新しい距離画像を生成しても構わない。すなわち、高解像度かつ高安定度の距離画像を生成する方法は、既存の距離画像を補正する処理に限られない。
【０１１５】
また、実施形態で説明した各要素技術は、任意に組み合わせてもよい。
【０１１６】
本発明を異なる距離計測装置で取得された距離情報を統合する画像処理装置として実施する際は、異なる距離情報画像間の位置合わせ処理を追加する必要がある。位置合わせを行った二つの距離情報画像に対して、本発明の距離補正手段を実行することにより高安定かつ高解像度な距離情報画像を生成することができる。
【０１１７】
＜実装例＞
上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明を適用することができる。
【０１１８】
また、実施形態の説明では、撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離の算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能を組み込み、当該コンピュータがネットワークを介して複数枚の画像を取得し、距離計測を行うようにしてもよい。
【０１１９】
得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。
【０１２０】
なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。
【０１２１】
この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体はいずれも本発明の範疇に含まれる。
【符号の説明】
【０１２２】
１４：距離計測部
１４３：代表値決定部
１４４：補正値決定部
１４７：生成部
【図１】
0006700818.tif 000014
【図２】
0006700818.tif 000015
【図３】
0006700818.tif 000016
【図４】
0006700818.tif 000017
【図５】
0006700818.tif 000018
【図６】
0006700818.tif 000019
【図７】
0006700818.tif 000020
【図８】
0006700818.tif 000021
【図９】
0006700818.tif 000022
【図１０】
0006700818.tif 000023
【図１１】
0006700818.tif 000024