(57)【要約】  カメラ１は、位相差画素Ｇ＊、Ｒ＊、Ｂ＊が離散的に配置されたＣＣＤ１６を有し、視差優先の開放絞り制御で視点画像の組を撮像し、該視点画像の組から視差情報を得た上、該視差情報に基づいて該２Ｄ画像にぼかし処理を施す箇所を決定し、その箇所にぼかし処理を施す。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えた平面画像と視差画像を同時に得ることができる。
2012132797.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部と、
前記撮像部が前記第１の画像信号と前記第２の画像信号とを同時に撮像するよう制御する撮像制御部と、
前記撮像部から出力された第２の画像信号に基づいて視差情報を算出する視差情報算出部と、
前記撮像部から出力された第１の画像信号に基づいて平面画像を作成する平面画像作成部と、
前記視差情報算出部の算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施すぼかし処理部と、
を備える撮像装置。
【請求項２】
前記第１の画像信号と前記視差情報とを関連づけて記録する記録部を備え、
前記ぼかし処理部は、前記記録部が前記第１の画像信号に関連付けて記録した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施す請求項１に記載の撮像装置。
【請求項３】
前記視差情報は、前記視点画像の組の対応点間の視差量を表す視差マップを含み、
前記ぼかし処理部は、前記対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１または２に記載の撮像装置。
【請求項４】
少なくとも前記第１の画像信号から輪郭情報を抽出する輪郭情報抽出部を備え、
前記ぼかし処理部は、前記輪郭情報抽出部の抽出した輪郭情報に基づいて、ぼかし処理を施す対象画素を決定し、前記対象画素にぼかし処理を施す請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記視差情報は、各画素の距離情報を含み、
前記ぼかし処理部は、前記距離情報が所定の第１の距離よりも遠い遠景の画素および／または前記距離情報が所定の第２の距離よりも小さい近景の画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記視差情報は、前記視点画像の組の対応点間の視差量を表す視差マップを含み、
前記ぼかし処理部は、前記対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を前記対象画素に施す１〜６のいずれかに記載の撮像装置。
【請求項９】
前記位相差画素は、所定の配列の１または複数のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている請求項１〜８のいずれかに記載の撮像装置。
【請求項１０】
前記位相差画素は、ベイヤ配列された緑、赤または青のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている請求項９に記載の撮像装置。
【請求項１１】
前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、
前記撮像部から出力される第２の画像信号の位相差が得られるよう前記絞り部の開放量を制御する絞り制御部と、
を備える請求項１〜１０のいずれかに記載の撮像装置。
【請求項１２】
撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部を備える撮像装置が、
前記撮像部が前記第１の画像信号と前記第２の画像信号とを同時に撮像するよう制御するステップと、
前記撮像部から出力された第２の画像信号に基づいて視差情報を算出するステップと、
前記撮像部から出力された第１の画像信号に基づいて平面画像を作成するステップと、
前記算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施すステップと、
を実行する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影レンズの２以上の方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する撮像装置及び撮像方法に関する。特に本発明は、視差を有する立体画像と平面画像を同時に撮像する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する立体撮像装置が存在する。【０００３】
図１０に示す光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。【０００４】
図１１（Ａ）部分〜（Ｃ）部分は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図１１では、フォーカスによる分離の違いを比較するために、図１０に示したミラー４を省略している。【０００５】
図１１（Ｂ）部分に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１１（Ａ）部分及び（Ｃ）部分に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。【０００６】
従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。【０００７】
特許文献１によると、電子カメラは、撮像部と、光量分布検出部と、像ズレ量検出部と、画像処理部とを有する。撮像部は撮影光学系による被写体像を光電変換して撮影画像データを生成する。光量分布検出部は、異なる光路を通った被写体からの光束による光量分布をそれぞれ検出する。像ズレ量検出部は光量分布に基づいて撮影画面内の複数箇所における像ズレ量を検出する。画像処理部は複数箇所の像ズレ量に基づいて、撮影画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを生成する。また、入力部からの入力に基づいて、ステレオグラム画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを補正する。ステレオグラム画像データを補正することができるので、ユーザにとって違和感がより少ない自然なステレオグラム画像を得ることが可能となる。【０００８】
特許文献２は、左右２台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素ごとのマッチング画像を特定し、左右の画素ごとのマッチング画像間で画素間距離の内挿によって中間位置画像を求め、左右の画素ごとのマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法を開示する。【０００９】
特許文献３において、ステレオマッチング処理部（対象物検出手段）は、画像処理部によってそれぞれ処理され、メモリ部に格納された２つの画像データＡ、Ｂにおける、上述の空間設定部によって設定された検索空間に対して、互いに対応する１つ以上の対応点（対象物）を検出する。距離算出部（位置算出手段）は、上述したステレオマッチング処理部によって検出された対応点の３次元座標値（位置情報）を算出する。撮影部及び撮影部の撮影レンズの構成は異なり、撮影レンズは、ズームレンズ及び該ズームレンズを駆動する図示しないズームレンズ駆動部（駆動手段）を備え、撮影レンズは、撮影レンズのズームレンズの広角端と等しい画角の固定焦点レンズを備える。このような構成にすることによりコストを低減する。【００１０】
特許文献４〜６は単一の光学系を用いた３次元画像生成技術の一例である。例えば特許文献４では、多数の画素を同一撮像面上に配列し、該撮像面に結像された被写体像を光電変換して画像信号を生成する固体撮像素子において、上記多数の画素を２つのグループに区分けし、各グループにおける画素の受光入射角度をそれぞれ異ならせてなることを特徴とする固体撮像素子が開示されている。【００１１】
特許文献７〜１１は、異なる視点画像間の対応点検索の方法、ステレオマッチングで奥行き情報を取得する技術、２次元画像と距離情報（奥行き情報）を用いた３次元画像生成技術の一例である。【００１２】
特許文献１２は、主要被写体だけに焦点を合わせ、主要被写体以外の他の部分を意図的にぼかすため、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得て、複数の画像を合成することで、ぼけ強調画像を得ることができる。【００１３】
特許文献１３は、撮影しようとする画像を複数のエリアに区分けし、主要被写体の前景又は背景となるエリアについては、エリアの距離に対応する焦点位置からずらして撮像を行う。そして、撮像された各エリアごとの撮像画像から各エリアの画像を個別に抽出し、これらを合成することにより、１枚の画像を作成する。これにより、好みのボケ量の画像を簡単に撮影することができる。【００１４】
特許文献１４は視差マップ作成方法の一例を示す。【００１５】
特許文献１５では、視差値分布画像の視差値を線形的あるいは非線形に変換することにより、視差値の調整を行い、立体画像の設計条件、すなわち、「最大飛び出し量と最大沈み込み量がある最大視差範囲内に収めつつ、有効に使う視点を取る。」及び「画像内の主被写体位置の視差をできるだけ０にする」を同時に満たし、最大視差値範囲を有効に利用するような多眼立体画像のデプス値構成へと変更を行う。修正された視差値分布画像、及び、視点位置、つまり視点位置に対応する入力左右ステレオ画像対の視差に対する各画像の比率ｒ、を用いて各視点位置の仮想視点画像が生成され、全画素有効な新規視点画像が生成される。この処理を視点数分繰り返して、多視点画像シーケンスとする。多視点画像シーケンスから３次元ストライプ画像を合成する。このとき、多視点画像シーケンス中の各画像の同一座標の画素を画像の視点配置に従い、隣接画素として配列するように３次元画像を合成する。合成はそれぞれの視点の画像を垂直方向に１ラインごとに短冊状に分解し、視点位置の逆順に視点数分だけ合成する。ここで、視点位置の配列順を逆順にするのはレンチキュラ板により観察する際、レンチキュラの１ピッチ内で画像が左右逆に観察されるためである。この処理により印刷した画像にレンチキュラ板を重ね合わせると良好な立体画像が観察できる。【００１６】
特許文献１６に係る３Ｄ画像出力装置は、３Ｄディスプレイの画面サイズ又は視距離に応じて視差調整パラメータを選択し、各特徴点における視差量を選択した変換テーブルにより変換し、変換後の視差量に対応する視差画像を生成し、生成した視差画像を含む複数の視差画像を表示デバイスに出力する。視距離は、３Ｄディスプレイ又はその近傍に配設した測距手段により自動的に取得されるか、マニュアル入力される。３Ｄ画像出力装置は、種々の画面サイズを有する立体表示デバイス、立体表示プリントを生成するプリンタ等に視差画像を出力する。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開2007-104248号公報
【特許文献２】特開2009-124308号公報
【特許文献３】特開2008-92007号公報、段落００４７−００４８、００７１
【特許文献４】特開2003-7994号公報
【特許文献５】特開2001-12916号公報
【特許文献６】特開2001-016611号公報
【特許文献７】特開平08-331607号公報
【特許文献８】特開2008-141666号公報
【特許文献９】特開2009-14445号公報
【特許文献１０】特開2008-116309号公報
【特許文献１１】特開2000-102040号公報
【特許文献１２】特開2008-271241号公報
【特許文献１３】特開2003-209727号公報
【特許文献１４】特開2010-226500号公報
【特許文献１５】特開2003-209858号公報
【特許文献１６】特開2010-206774号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
特許文献４〜６のような、画像結像手段の異なる瞳位置を通過した画像情報を選択的に取得することで視差画像を撮像して立体画像を生成する瞳分割式立体撮像装置においては、合焦位置の視差が０となり、非合焦位置ではボケ（デフォーカス量）に応じた視差が生じる。【００１９】
そのため、上記立体撮像装置で、ボケのない平面画像を得るためには、絞りを絞って焦点深度を深くし、撮影を行う必要がある。しかし、絞りを絞って撮影すると、主要被写体に対して前景や背景をぼかすことができない。瞳分割式立体撮像装置では、クリアな平面画像を得るために、絞りを絞って撮影するため、絵づくりに制約がある。【００２０】
本発明は、主要被写体に対して前景及び背景などの所望の部分をぼかした平面画像と立体画像を同時に得ることのできる瞳分割式立体撮像装置、ならびに瞳分割式立体撮像装置において上記平面画像と立体画像を同時に撮像する方法を提供する。
【課題を解決するための手段】
【００２１】
本発明の第１態様は、撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、第１の画素の間に離散的に配置され、撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部と、撮像部が第１の画像信号と第２の画像信号とを同時に撮像するよう制御する撮像制御部と、撮像部から出力された第２の画像信号に基づいて視差情報を算出する視差情報算出部と、撮像部から出力された第１の画像信号に基づいて平面画像を作成する平面画像作成部と、視差情報算出部の算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の対象画素にぼかし処理を施すぼかし処理部と、を備える撮像装置を提供する。【００２２】
本発明の第２態様は、第１の画像信号と視差情報とを関連づけて記録する記録部を備え、ぼかし処理部は、記録部が第１の画像信号に関連付けて記録した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の対象画素にぼかし処理を施す撮像装置を提供する。【００２３】
本発明の第３態様は、視差情報は、視点画像の組の対応点間の視差量を表す視差マップを含み、ぼかし処理部は、対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す撮像装置を提供する。【００２４】
本発明の第４態様は、少なくとも第１の画像信号から輪郭情報を抽出する輪郭情報抽出部を備え、ぼかし処理部は、輪郭情報抽出部の抽出した輪郭情報に基づいて、ぼかし処理を施す対象画素を決定し、対象画素にぼかし処理を施す撮像装置を提供する。【００２５】
本発明の第５態様は、視差情報は、各画素の距離情報を含み、ぼかし処理部は、距離情報が所定の第１の距離よりも遠い遠景の画素及び／又は距離情報が所定の第２の距離よりも小さい近景の画素を平面画像のぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す撮像装置を提供する。【００２６】
本発明の第６態様は、ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を平面画像のぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す撮像装置を提供する。【００２７】
本発明の第７態様は、視差情報は、視点画像の組の対応点間の視差量を表す視差マップを含み、ぼかし処理部は、対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す撮像装置を提供する。【００２８】
本発明の第８態様は、ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を対象画素に施す撮像装置を提供する。【００２９】
本発明の第９態様は、位相差画素は、所定の配列の１又は複数のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている撮像装置を提供する。【００３０】
本発明の第１０態様は、位相差画素は、ベイヤー配列された緑、赤又は青のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている撮像装置を提供する。【００３１】
本発明の第１１態様は、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、撮像部から出力される第２の画像信号の位相差が得られるよう絞り部の開放量を制御する絞り制御部と、を備える撮像装置を提供する。【００３２】
本発明の第１２態様は、撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、第１の画素の間に離散的に配置され、撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部を備える撮像装置が、撮像部が第１の画像信号と第２の画像信号とを同時に撮像するよう制御するステップと、撮像部から出力された第２の画像信号に基づいて視差情報を算出するステップと、撮像部から出力された第１の画像信号に基づいて平面画像を作成するステップと、算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の対象画素にぼかし処理を施すステップと、を実行する撮像方法を提供する。
【発明の効果】
【００３３】
この発明によると、同時に出力された第１の画像信号と第２の画像信号のうち、第１の画像信号からは平面画像が生成されるとともに、第２の画像信号に基づいて視差情報が算出される。そして、算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の対象画素にぼかし処理が施される。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えることができる。また、視差を有する立体画像と平面画像とを１度の撮影で同時に得ることができる。
【図面の簡単な説明】
【００３４】
【図１】第１実施形態に係るカメラのブロック図
【図２】第１実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図
【図３】第１、第２画素の１画素ずつを示した図
【図４】図３の要部拡大図
【図５】２Ｄ／３Ｄ同時撮像処理のフローチャート
【図６】第２実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤ（Ｇ＊画素）の構成例を示す図
【図７】第２実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤ（Ｒ＊，Ｇ＊，Ｂ＊画素）の構成例を示す図
【図８】第２実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤ（垂直・水平４ピッチのＲ＊，Ｇ＊，Ｂ＊画素）の構成例を示す図
【図９】第３実施形態に係る瞳分割視差画像取得撮像素子ＣＣＤ（マイクロレンズ）の構成例を示す図
【図１０】従来の単眼立体撮像装置の一例を示す図
【図１１】撮像素子に結像する像の分離状態を示す図
【発明を実施するための形態】
【００３５】
＜第１実施形態＞
図１は第１実施形態に係るカメラ１の実施の形態を示すブロック図である。
【００３６】
このカメラ１は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００３７】
カメラ１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいてカメラ１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ（ＬＣＤ）３０の表示制御などを行う。
【００３８】
ＲＯＭ１０には、ＣＰＵ４０が実行するプログラム及び制御に必要な各種データ、ＣＣＤ１６の画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。
【００３９】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択手段である。
【００４０】
再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画をＬＣＤ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、ＬＣＤ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００４１】
撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ」というが、ＣＭＯＳ等でも可）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。
【００４２】
また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。
【００４３】
＜ＣＣＤの構成例＞
図２はＣＣＤ１６の構成例を示す図である。
【００４４】
図２（Ａ）部分に示すように、ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインＡ１、Ａ２…からなるラインＡの画素と、偶数ラインＢ１、Ｂ２…からなるラインＢの画素とを有しており、これらの２つのラインＡ・Ｂの画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。
【００４５】
図２（Ｂ）部分に示すように、ＣＣＤ１６の奇数ラインＡには、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。奇数ラインＡ全体としてのカラーフィルタの色配列は、一方向に「Ｇ」と「Ｂ」を繰り返し、それと直交する方向に「Ｇ」と「Ｒ」を繰り返した、いわゆるベイヤー配列となっている。
【００４６】
ＧＲＧＲ…の画素配列のラインには、４画素置きに位相差画素Ｇ＊、Ｒ＊が設けられている。例えば、Ｇ１Ｒ１Ｇ１Ｒ１…の画素配列のラインには、位相差画素Ｇ１＊、Ｒ１＊が設けられている。
【００４７】
ＢＧＢＧ…の画素配列のラインには、４画素置きに位相差画素が設けられている。例えば、Ｂ２Ｇ２Ｂ２Ｇ２…の画素配列のラインには、位相差画素Ｂ＊２が設けられている。
【００４８】
位相差画素Ｇ＊、Ｒ＊、Ｂ＊には、画素遮光部が形成され、カメラ１を横置きにして撮像する場合、この遮光部材により画素のフォトダイオードＰＤの受光面の右半分が遮光される。
【００４９】
一方、図２（Ｃ）部分に示すように、ＣＣＤ１６の偶数ラインＢの画素は、奇数ラインＡと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、奇数ラインＡの画素に対して画素同士が２分の１ピッチだけライン方向右にずれて配置されている。偶数ラインＢ全体としてのカラーフィルタの色配列は、いわゆるベイヤー配列となっている。ＣＣＤ１６のカラーフィルタの配列は、全体としてベイヤー配列を２つ組み合わせた色配列であることから、ダブルベイヤー配列とも称される。
【００５０】
ＧＲＧＲ…の画素配列のラインには、４画素置きに位相差画素Ｇ＊、Ｒ＊が設けられている。例えば、Ｇ１Ｒ１Ｇ１Ｒ１…の画素配列のラインには、位相差画素Ｇ１＊、Ｒ１＊が設けられている。
【００５１】
ＢＧＢＧ…の画素配列のラインには、４画素置きに位相差画素Ｂ＊が設けられている。例えば、Ｂ２Ｇ２Ｂ２Ｇ２…の画素配列のラインには、位相差画素Ｂ２＊が設けられている。
【００５２】
位相差画素Ｇ＊、Ｒ＊、Ｂ＊には、画素遮光部が形成され、カメラ１を横置きにして撮像する場合、この遮光部材により画素のフォトダイオードＰＤの受光面の左半分が遮光される。
【００５３】
ＣＣＤ１６に被写体像を結像する撮像レンズ１２のピントがあっているのであれば、奇数ラインＡの位相差画素Ｇ＊、Ｒ＊、Ｂ＊からの像信号と、偶数ラインＢの位相差画素Ｇ＊、Ｒ＊、Ｂ＊からの像信号は一致する。もし、ピントを結ぶ点がＣＣＤ１６の受光面よりも前方か後方にあるならば、これらの像信号の間に位相差が生じる。そして、結像点が前の場合と後の場合では位相のずれ方向が逆になる。
【００５４】
図３は、撮像レンズ１２、絞り１４、及び図２（Ａ）部分のＣＣＤ１６の位相差画素を示した図であり、図４は図３の要部拡大図である。
【００５５】
図４（Ａ）部分に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
【００５６】
これに対し、図４（Ｂ）部分に示すようにＣＣＤ１６の位相差画素には遮光部材１６Ａが形成される。カメラ１を横置きにして撮像する場合、この遮光部材１６Ａにより位相差画素（フォトダイオードＰＤ）の受光面の右半分又は左半分が遮光される。あるいは、カメラ１を縦置きにして撮像する場合、この遮光部材１６Ａにより位相差画素（フォトダイオードＰＤ）の受光面の上半分又は下半分が遮光される。マイクロレンズＬの光軸Ｉｃから右、左、上、あるいは下方向（例えば図４（Ｂ）部分では光軸より左方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
【００５７】
なお、奇数ラインの位相差画素と偶数ラインの位相差画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、偶数ラインの位相差画素では光束の左半分が制限され、奇数ラインの位相差画素では光束の右半分が制限されると、偶数ラインからは右の視点画像、奇数ラインからは左の視点画像が得られる。あるいは、偶数ラインの位相差画素では光束の上半分が制限され、奇数ラインの位相差画素では光束の下半分が制限されると、偶数ラインの位相差画素からは下の視点画像、奇数ラインの位相差画素からは上の視点画像が得られる。
【００５８】
従って、図１１に示すように、後ピン、合焦、前ピンの状態に応じて第１画素（左視点画素）と第２画素（右視点画素）の出力は、位相がずれるか又は位相が一致する。奇数・偶数ラインの位相差画素の出力信号の位相差は撮像レンズ１２のデフォーカス量に対応するため、この位相差を検出することにより撮像レンズ１２のＡＦ制御を行うことができる（位相差ＡＦ）。
【００５９】
図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００６０】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
【００６１】
ここで、図２（Ｂ）部分及び（Ｃ）部分に示すように，ＣＣＤ１６の奇数ラインの位相差画素から読み出される画像データは、左視点画像データとして処理され、偶数ラインの位相差画素から読み出される画像データは、右視点画像データとして処理される。
【００６２】
デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像がＬＣＤ３０の表示画面上に表示される。
【００６３】
このＬＣＤ３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。ただし、ＬＣＤ３０の立体表示方式はこれに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
【００６４】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００６５】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて適正露出が得られる絞り１４の絞り値及びＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御する（平面画像の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。
【００６６】
所定のプログラム線図は、被写体の明るさ（撮影ＥＶ値）に対応して、絞り１４の絞り値とＣＣＤ１６のシャッタスピードの組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものである。
【００６７】
なお、絞りのＦ値を大きくすれば、視差は弱くなり、Ｆ値を一定の小さい値で固定すれば、視差は強くなる。操作部３８を介してユーザから指示された視差に応じてＦ値とプログラム線図を切り替えてもよい。一方、Ｆ値を一定の大きい値で固定すれば、画像全域にピントのあった画像の撮影を行うことができる。本実施形態では、視差を有する画像の対を得ると同時に平面画像を得るため、Ｆ値を一定の小さい値で固定する（視差優先のプログラム線図）。
【００６８】
視差優先のプログラム線図は、Ｆ値を一定の小さい値で固定している。このプログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、所望の視差を有する主画像、副画像の撮影が可能となる。
【００６９】
例えば、視差優先のプログラム線図は、Ｆ値が1.4(ＡＶ＝１)の一定の値を取り、撮影ＥＶ値が７から１２まで（明るい）は撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が７よりも小さくなると（暗くなると）、Ｆ値＝1.4、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。すなわち、被写体が明るくても、絞り１４を絞らず、シャッタ速度を落として被写体輝度を調整する。
【００７０】
ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内（画面中央部の矩形領域など）の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の位相差画素間の位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００７１】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される第１画素及び第２画素に対応する左視点画像（第１画像）及び右視点画像（第２画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM)４８に入力し、一時的に記憶される。
【００７２】
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
【００７３】
メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。
【００７４】
デフォーカスマップ作成部６１は、奇数ライン・偶数ライン間の対応する位相差画素間の位相差を算出する。
【００７５】
デフォーカスマップ作成部６１は、上記位相差画素間の各々について算出された位相差に基づき、デフォーカス量を求める。この、対応する位相差画素間の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。デフォーカスマップ作成部６１は、ステレオマッチング処理部８３にて各位相差画素間で対応点検出を行い、それらの対応点間の位置情報の差に基づいてデフォーカスマップを作成してもよい。
【００７６】
さらに、デフォーカスマップ作成部６１は、各位相差画素間で求まったデフォーカス量から、元々対応点を求めていない画素及び対応点が求まらなかった画素である非位相差画素に対してもデフォーカス量を求める。すなわち、非位相差画素の近傍の位相差画素のデフォーカス量を用いて補間処理を行うことにより、密なデフォーカスマップが得られる。ある非位相差画素のデフォーカス量の補間の際に利用する画素は、近傍の同色の画素である。
【００７７】
復元フィルタ保存部６２は、ＲＯＭなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）及びデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。
【００７８】
復元部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。この信号処理により、光学系のボケ、特に光束の入射のアンバランスが生じる受光面の周辺画素に対応する画像のボケが取り除かれる。このボケが取り除かれた２つの視点画像を合成することで、ボケのない平面画像が得られる。
【００７９】
ステレオマッチング処理部（対象物検出手段）８３は、同じタイミングでメモリ４８に格納された２つの画像データＡ、Ｂ間で互いに対応する１つ以上の対応点（対象物）を検出するものである。なおステレオマッチング処理部８３における処理方法は、領域ベース法、セグメントベース法、等輝度線法等を用いる公知の技術を使用することができる。また、ステレオマッチングはパッシブ式でもアクティブ式でもよい。また、画素数の異なる画像間でのステレオマッチングは、例えば特許文献３、７〜１１のような公知の技術に基づいて行うことができる。
【００８０】
距離算出部８４は、上述したステレオマッチング処理部８３によって検出された対応点の３次元座標値（距離情報）を算出するものである。距離算出部８４における距離情報の算出方法は、三角測量の原理により計算する公知の技術を使用することができる。なお、ステレオマッチング処理部８３及び距離算出部８４はプログラムにより構成されるものであっても、ＩＣ、ＬＳＩ等によって構成されるものであってもよい。
【００８１】
視差マップ（基準の視点画像、例えば画像データＡから、別の視点画像、例えば画像データＢへの対応点までの視差量で、別の視点画像を表したもの）は、距離情報やデフォーカスマップと技術的に等価であり、以下の距離情報やデフォーカスマップについての処理は、視差マップについても行うことができる。さらに、被写体までの距離情報、デフォーカスマップ又は視差マップを包括して、視差情報と呼ぶ。視差情報の算出は、カメラ１でなく、パソコンのような他の情報処理装置とその制御プログラムで行うこともできる。
【００８２】
第１画像データの取得画素と第２画像データの取得画素は、同じ構成であってもよいし、そうでなくてもよい。第１画像データは色情報と輝度情報を有するが、第２画像データは輝度情報のみを有してもよい。あるいは、第２画素は、赤外領域を受光可能な白黒ＣＣＤとし、特許文献７のような赤外光を用いたアクティブ式のステレオマッチングが採用されてもよい。
【００８３】
以下では、ステレオマッチングを可能にするため、第１画像データ・第２画像データの双方は少なくとも輝度情報を含むものとする。また、好ましくは、２次元画像に色情報を付加するためには、第１画像データ・第２画像データの双方は色情報を含むものとする。ここでは説明の簡略のため、第１画像データ・第２画像データは、ともに輝度情報と色情報を含むものとする。
【００８４】
３次元画像処理部８５は、ＣＣＤ１６から取得された視点画像の組から３次元画像を生成することができる。これは特許文献２と同様である。なお、視差情報からの３次元画像生成は、特許文献７〜１１のような公知技術に基づいて行うことができる。３次元画像の生成は、撮影モードが「３Ｄ静止画記録」に設定された場合に行われ、所望の視差量を有する立体画がＬＣＤ３０に表示される。
【００８５】
３次元画像処理部４５が生成する３次元画像の視差量は、固定値又は任意の設定値のいずれでもよい。
【００８６】
ぼかし処理部８６は、所定周波数以上の画像信号成分を除去するローパスフィルタ処理を行う。
【００８７】
図５は本発明の好ましい第１実施形態に係る２Ｄ／３Ｄ同時撮像処理のフローチャートを示す。この処理は撮影モードが「２Ｄ／３Ｄ同時記録」に設定されたことに応じて開始される。この処理は、ＣＰＵ４０の実行するプログラムに規定されており、該プログラムはメモリ（ＲＯＭ）４８などに記憶されている。
【００８８】
Ｓ１では、ＣＰＵ４０は、操作部３８のシャッタボタンの第１段階の押下（半押し）があったか否かを判断する。Ｙｅｓの場合はＳ２に進み、Ｎｏの場合は当該判断を繰り返す。その間、ＣＣＤ１６から取得された画像は、２Ｄ又は３Ｄスルー画としてＬＣＤ３０に表示されうる。２Ｄ又は３Ｄのいずれのスルー画を表示するかは、操作部３８で任意に選択されてもよい。
【００８９】
Ｓ２では、ＣＰＵ４０は、撮影モードが「２Ｄ／３Ｄ同時記録」に設定されたことに応じ、視差優先のプログラム線図に従って絞り値Ｘとシャッタスピードを決定する。
【００９０】
Ｓ３では、ＣＰＵ４０は、操作部３８のシャッタボタンの第２段階の押下（全押し）があったか否かを判断する。Ｙｅｓの場合はＳ４に進み、Ｎｏの場合は当該判断を繰り返す。その間、ＣＣＤ１６から取得された画像は、２Ｄ又は３Ｄスルー画としてＬＣＤ３０に表示されうる。
【００９１】
Ｓ４では、ＣＰＵ４０は、Ｓ２で決定した絞り値Ｘに基づいて絞り駆動部３４を介して絞り１４を制御する（視差優先の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。これにより、ＣＣＤ１６から、視差画素Ｒ＊Ｇ＊Ｂ＊については視差を有し、その他の画素については視差のない左右の画像データＡ・Ｂ（視点画像の組）が取得される。ＣＰＵ４０は、左右の画像データＡ・Ｂを、３Ｄ画像データとしてＶＲＡＭ５０に記憶する。
【００９２】
ＣＰＵ４０は、左右の画像データＡ・Ｂについて、瞳分割された同一の光束に対応する２つの画素ごとに画像信号を加算する。これにより、高解像度の２Ｄ画像が生成される。ＣＰＵ４０は、この加算画像信号を、２Ｄ画像データとしてＶＲＡＭ５０に記憶する。なお、２Ｄ画像データのうち、位相差画素に対応する画像信号については、該位相差画素の周囲の同色の非位相差画素の画像信号に基づく補間などによるぼけ除去処理を行うことが好ましい。
【００９３】
この２Ｄ画像データは、ＬＣＤ３０に２Ｄポストビュー画として表示されるものの１つであってもよいし、２Ｄポストビュー画とは別でもよい。
【００９４】
Ｓ５では、ＣＰＵ４０は、ステレオマッチング処理部８３と距離算出部８４にステレオマッチングと距離情報（視差情報）の算出を行わせる。ステレオマッチング処理部８３は、Ｓ３で取得された３Ｄ画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４は、ステレオマッチング処理部８３によって検出された対応点ごとの距離情報を算出する。続いて、これで算出された距離情報から、元々画像データＡ・Ｂ間の対応点を求めていない点（画素）、及び、対応点が求まらなかった未対応点（画素）に対しても距離情報を求める。これは、特許文献１５と同様、近隣の既算出視差情報を用いた補間処理で実現できる。これにより、２Ｄ画像データの各画素に対応した密な視差情報の分布が得られる。
【００９５】
Ｓ６では、ぼかし処理部８６は、Ｓ５で算出された画素ごとの距離情報（視差情報）に基づき、２Ｄ画像データのぼかし対象画素を決定する。ぼかし対象画素決定の詳細は後述する。
【００９６】
Ｓ７では、復元部６３は、２Ｄ画像データの各画素のうち、ぼかし対象画素以外の画素ごとに、視差（デフォーカス量）を０に調整する。視差調整の仕方は公知技術、例えば特許文献２や特許文献１５のようにできる。これにより、ぼかし対象画素以外の画素の対応画素間のぼけが復元される。一方、ぼかし処理部８６は、決定されたぼかし処理の対象画素に、ぼかし処理を行う。ぼかし処理の詳細は後述する。
【００９７】
Ｓ８では、ＣＰＵ４０は、Ｓ７の処理後の２Ｄ画像データを、メモリカード５４に圧縮記録する。またＣＰＵ４０は、２Ｄ画像データとともに、あるいは２Ｄ画像データとは別個独立に、３Ｄ画像データや視差情報をメモリカード５４に圧縮記録することもできる。さらに、２Ｄ画像データと視差情報を関連付けてメモリカード５４に圧縮記録した場合、カメラ１やパソコンなどの情報処理装置がメモリカード５４から２Ｄ画像データと視差情報を読み出し、読み出した２Ｄ画像データと関連づけられた視差情報に基づいて、下記のぼかし処理部８６と同様のぼかし処理を行うこともできる。
【００９８】
また、ビデオ・エンコーダ２８は、３Ｄ画像データと視差情報から、視差が所望の範囲（強め、普通、あるいは弱め）に調整された３Ｄ画像をＬＣＤ３０に表示することができる。視覚条件に合わせた視差調整は公知技術の通りであり、例えば特許文献１６と同様に、ＬＣＤ３０の横幅サイズと視距離に基づいて視差が調整される。
【００９９】
ここで、Ｓ６でのぼかし対象画素の決定は、自動的に行われる。ただし、それに加えて、ユーザ操作に基づいて決定されてもよい。例えば、ぼかし処理の対象として決定される画素は、次のものが挙げられる。
【０１００】
例１：ぼかし処理部８６は、各画素の距離情報を参照し、所定の第１の距離よりも遠い遠景の画素（例えば５ｍ以上の被写体像の画素）、あるいは所定の第２の距離よりも小さい近景の画素（例えば５０ｃｍ以下の被写体像の画素）を、ぼかし対象画素に決定する。
【０１０１】
例２：ぼかし処理部８６は、各画素の視差マップを参照し、対応点間の視差量が所定の値（例えば２画素分）以上となる対応点を構成する画素を、ぼかし対象画素に決定する。
【０１０２】
例３：例１及び／又は例２に加え、ぼかし処理部８６は、輪郭情報（画像信号の高周波成分）を２Ｄ画像データから抽出し、輪郭成分の外側である背景領域を構成する画素を、ぼかし対象画素に決定する。なお、位相差画素付近に被写体のエッジ成分が集中的に存在する場合、輪郭情報の抽出が正確に行われない可能性がある。そのため、位相差画素は離散的に配置される方が望ましい。
【０１０３】
例４：例１、例２及び／又は例３に加え、ぼかし処理部８６は、ユーザ操作で指定された領域に含まれる各画素を、ぼかし対象画素に決定する。
【０１０４】
また、Ｓ７でのぼかし処理の程度は、ユーザ操作に基づいて決定されてもよいし、自動的に決定されてもよい。
【０１０５】
例えば、ユーザが、ぼかし強を指定した場合、ぼかし処理部８６は、ぼかし対象画素の対応点間の視差量をαに設定し、ぼかし中を指定した場合、該視差量をβに設定し、ぼかし弱を指定した場合、該視差量をγに設定する。ここでα＜β＜γである。
【０１０６】
あるいは、ぼかし処理部８６は、視差マップで示される視差量に応じて、ぼかしの程度を変化させてもよい。すなわち、ある対応点間の視差量が大きければ、それに従ってそれらの対応点のぼかしの程度をローパスフィルタなどで強くする。
【０１０７】
以上のように、カメラ１は、視差優先の絞り制御で視点画像の組を撮像し、該視点画像の組から視差情報を得た上、該視差情報に基づいて該２Ｄ画像にぼかし処理を施す箇所を決定し、その箇所にぼかし処理を施す。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えた平面画像と視差画像を同時に得ることができる。また、開放側で撮影をするため、暗いシーンでも撮像でき、撮影感度も高い。
【０１０８】
＜第２実施形態＞
位相差画素の配列は、図２に示したものに限られず、各種のものが採用されうる。例えば、図６のように、奇数・偶数ラインの最初の対Ａ１・Ｂ１のＧ画素を４画素ごとに位相差画素とし、次のラインＡ２・Ｂ２の対のＧ画素は位相差画素としない。さらにその次のラインの対Ａ３・Ｂ３では、画素を４画素ごとに位相差画素とする。これを同様に繰り返し、ラインの対ＡＢに対して１つおきに位相差画素Ｇを配置する。この場合、非位相差Ｇ画素であるＧ画素のデフォーカス量の補間の際に利用する画素は、近傍の同色の位相差Ｇ画素である。また、非位相差画素のＢＧ画素のデフォーカス量の補間の際に利用する画素は、近傍の位相差画素Ｇである。
【０１０９】
あるいは、図７のように、奇数・偶数ラインの全てのＲ，Ｇ，Ｂ画素について、４画素ごとに位相差画素を配置する。
【０１１０】
あるいは、位相差画素の分布範囲は、有効画素全体でなく、画面中央近傍や画面周辺を除く領域など局所的でもよい。
【０１１１】
さらに、位相差画素間のピッチ数も、４画素に限らず、それ以上、あるいはそれ以下でもよい。ただし、位相差画素間のピッチ数が４画素の場合、位相差画素の間に通常画素ＲＧＢが存在し、位相差画素の画像信号が周囲の通常画素で補間できるため、４画素のピッチが最適である。
【０１１２】
よって、例えば、図８に示すように、垂直方向および水平方向の両方について、４画素のピッチで位相差画素を配置してもよい。図８では、ラインＡ３、Ｂ３、Ａ４、Ｂ４は通常の画素配列となり、ラインＡ１、Ｂ１、Ａ２、Ｂ２から垂直方向に４画素隔てたラインＡ５、Ｂ５、Ａ６、Ｂ６では、図２のラインＡ１、Ｂ１、Ａ２、Ｂ２と同様に位相差画素Ｇ＊、Ｒ＊、Ｂ＊が水平方向に４画素隔てて配置されている。図示は省略するが、図６や図７の水平方向のラインの位相差画素を、垂直方向に４画素隔てたラインごとに配置することもできる。
【０１１３】
位相差画素となる画素の色が増えれば、それだけ各色に対する位相差を正確に検出できる。また、位相差画素間のピッチ数が増えれば、それだけ位相差の補間処理が減り、対応点間の位相差を精密に検出できる。
【０１１４】
ただし、位相差画素の増加が２Ｄ画像の画質に影響を与えることも考えられるため、２Ｄ・３Ｄ画像の画質の双方を考慮して位相差画素の配置が決定されることが望ましい。
【０１１５】
＜第３実施形態＞
上記構成のＣＣＤ１６は、奇数・偶数ラインの位相差画素では、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、奇数・偶数ラインの２以上の位相差画素に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるもの（例えば図９）でもよいし、ミラーにより瞳分割するもの（例えば図１０）でもよい。
【符号の説明】
【０１１６】
３０：ＬＣＤ、４０：ＣＰＵ、８３：ステレオマッチング処理部、８４：距離算出部、８５：３次元画像処理部、８６：ぼかし処理部
【図１】
2012132797.tif 000003
【図２】
2012132797.tif 000004
【図３】
2012132797.tif 000005
【図４】
2012132797.tif 000006
【図５】
2012132797.tif 000007
【図６】
2012132797.tif 000008
【図７】
2012132797.tif 000009
【図８】
2012132797.tif 000010
【図９】
2012132797.tif 000011
【図１０】
2012132797.tif 000012
【図１１】
2012132797.tif 000013
【手続補正書】
【提出日】平成25年12月13日(2013.12.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部と、
前記撮像部が前記第１の画像信号と前記第２の画像信号とを同時に撮像するよう制御する撮像制御部と、
前記撮像部から出力された第２の画像信号に基づいて視差情報を算出する視差情報算出部と、
前記撮像部から出力された第１の画像信号に基づいて平面画像を作成する平面画像作成部と、
前記視差情報算出部の算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施すぼかし処理部と、
を備える撮像装置。
【請求項２】
前記第１の画像信号と前記視差情報とを関連づけて記録する記録部を備え、
前記ぼかし処理部は、前記記録部が前記第１の画像信号に関連付けて記録した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施す請求項１に記載の撮像装置。
【請求項３】
前記視差情報は、前記第１の画像信号と前記第２の画像信号の組の対応点間の視差量を表す視差マップを含み、
前記ぼかし処理部は、前記対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１または２に記載の撮像装置。
【請求項４】
少なくとも前記第１の画像信号から輪郭情報を抽出する輪郭情報抽出部を備え、
前記ぼかし処理部は、前記輪郭情報抽出部の抽出した輪郭情報に基づいて、ぼかし処理を施す対象画素を決定し、前記対象画素にぼかし処理を施す請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記視差情報は、各画素の距離情報を含み、
前記ぼかし処理部は、前記距離情報が所定の第１の距離よりも遠い遠景の画素および／または前記距離情報が所定の第２の距離よりも小さい近景の画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記視差情報は、前記第１の画像信号と前記第２の画像信号の組の対応点間の視差量を表す視差マップを含み、
前記ぼかし処理部は、前記対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を前記対象画素に施す請求項１〜６のいずれか１項に記載の撮像装置。
【請求項９】
前記第２の画素は、所定の配列の１または複数のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第２の画素は、ベイヤ配列された緑、赤または青のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている請求項９に記載の撮像装置。
【請求項１１】
前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、
前記撮像部から出力される第２の画像信号の位相差が得られるよう前記絞り部の開放量を制御する絞り制御部と、
を備える請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部を備える撮像装置が、
前記撮像部が前記第１の画像信号と前記第２の画像信号とを同時に撮像するよう制御するステップと、
前記撮像部から出力された第２の画像信号に基づいて視差情報を算出するステップと、
前記撮像部から出力された第１の画像信号に基づいて平面画像を作成するステップと、
前記算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施すステップと、
を実行する撮像方法。
【手続補正書】
【提出日】平成26年4月28日(2014.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部と、
前記撮像部が前記第１の画像信号と前記第２の画像信号とを同時に撮像するよう制御する撮像制御部と、
前記撮像部から出力された第１の画像信号に基づいて平面画像を作成する平面画像作成部と、
前記撮像部から出力された第２の画像信号に基づいて前記平面画像の各画素に対応した視差情報を算出する視差情報算出部と、
前記視差情報算出部の算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施すぼかし処理部と、
を備える撮像装置。
【請求項２】
前記第１の画像信号と前記視差情報とを関連づけて記録する記録部を備え、
前記ぼかし処理部は、前記記録部が前記第１の画像信号に関連付けて記録した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施す請求項１に記載の撮像装置。
【請求項３】
前記視差情報は、前記第１の画像信号と前記第２の画像信号の組の対応点間の視差量を表す視差マップを含み、
前記ぼかし処理部は、前記対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１または２に記載の撮像装置。
【請求項４】
少なくとも前記第１の画像信号から輪郭情報を抽出する輪郭情報抽出部を備え、
前記ぼかし処理部は、前記輪郭情報抽出部の抽出した輪郭情報に基づいて、ぼかし処理を施す対象画素を決定し、前記対象画素にぼかし処理を施す請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記視差情報は、各画素の距離情報を含み、
前記ぼかし処理部は、前記距離情報が所定の第１の距離よりも遠い遠景の画素および／または前記距離情報が所定の第２の距離よりも小さい近景の画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記視差情報は、前記第１の画像信号と前記第２の画像信号の組の対応点間の視差量を表す視差マップを含み、
前記ぼかし処理部は、前記対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を前記対象画素に施す請求項１〜６のいずれか１項に記載の撮像装置。
【請求項９】
前記第２の画素は、所定の配列の複数のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第２の画素は、ベイヤ配列された緑、赤および青のカラーフィルタに対応する画素群において所定の間隔ごとに配置されている請求項９に記載の撮像装置。
【請求項１１】
前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、
前記撮像部から出力される第２の画像信号の位相差が得られるよう前記絞り部の開放量を制御する絞り制御部と、
を備える請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
撮影レンズにより結像される被写体像を光電変換素子群により光電変換して第１の画像信号を出力する第１の画素と、前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの複数の被写体像をそれぞれ光電変換素子群により光電変換して位相差を有する第２の画像信号を出力する第２の画素とを有する撮像部を備える撮像装置が、
前記撮像部が前記第１の画像信号と前記第２の画像信号とを同時に撮像するよう制御するステップと、
前記撮像部から出力された第１の画像信号に基づいて平面画像を作成するステップと、
前記撮像部から出力された第２の画像信号に基づいて前記平面画像の各画素に対応した視差情報を算出するステップと、
前記算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の対象画素にぼかし処理を施すステップと、
を実行する撮像方法。
【請求項１３】
前記平面画像の各画素のうち、ぼかし対象画素以外の画素については、視差を０に調整し、前記平面画像のぼかし対象画素以外の画素のぼけを復元する復元部を備える請求項１に記載の撮像装置。
【請求項１４】
前記第２の画素は前記撮像部の受光面の全体または部分領域に離散的に配置され、
前記視差情報算出部は、前記撮像部から出力された第２の画像信号に基づいて前記撮像部の受光面の全体または部分領域の各画素に対応した視差情報を算出する請求項１に記載の撮像装置。
【国際調査報告】
2012132797.tif 000014
2012132797.tif 000015