(57)【特許請求の範囲】
【請求項１】
単一の撮影光学系と、
前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスと、
前記第１の撮像画素群の画素信号に基づく第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、
前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出する視差量算出部と、
前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分をボケている部分であると判定する判定部と、
前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、
ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
を備える撮像装置。
【請求項２】
前記ぼかし処理は、前記視差量が閾値よりも大きい部分における画素値の加算平均またはフィルタ処理である、請求項１に記載の撮像装置。
【請求項３】
前記視差量算出部は、前記第１の平面画像および前記第２の平面画像の各画素の視差量を算出し、
前記判定部は、前記視差量が閾値よりも大きい画素はボケている画素であると判定し、
前記ぼかし処理部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケている画素を含む前記画素ペアの画素間で画素値の加算平均を行う、請求項１に記載の撮像装置。
【請求項４】
単一の撮影光学系と、
前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスと、
前記第１の撮像画素群の画素信号に基づく第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、
前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、
前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい前記部分に対してぼかし処理を行うぼかし処理部と、
ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
を備える撮像装置。
【請求項５】
前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケ量の差として、前記画素ペアを構成している画素間における先鋭度の差を算出する、請求項４に記載の撮像装置。
【請求項６】
前記ぼかし処理は、前記ボケ量の差の絶対値が閾値よりも大きい前記部分における画素値の加算平均またはフィルタ処理である、請求項４または５に記載の撮像装置。
【請求項７】
前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、
前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアの画素間で画素値の加算平均を行う、請求項４または５に記載の撮像装置。
【請求項８】
前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、
前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う、請求項４または５に記載の撮像装置。
【請求項９】
前記ぼかし処理部は、少なくともボケ量の差に基づいて、フィルタ係数を決定する、請求項８に記載の撮像装置。
【請求項１０】
前記高解像度平面画像を生成する高解像度平面画像撮影モード、前記高解像度平面画像よりも解像度が低い低解像度平面画像を生成する低解像度平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、
前記高解像度平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する、請求項１ないし９のうちいずれか１項に記載の撮像装置。
【請求項１１】
前記高解像度平面画像を生成する平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、
前記平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する、請求項１ないし１０のうちいずれか１項に記載の撮像装置。
【請求項１２】
前記撮像デバイスの画素配列は、ハニカム配列である、請求項１ないし１１のうちいずれか１項に記載の撮像装置。
【請求項１３】
前記撮像デバイスの画素配列は、ベイヤ配列である、請求項１ないし１１のうちいずれか１項に記載の撮像装置。
【請求項１４】
単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分の視差量を算出する視差量算出部と、
前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定する判定部と、
前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、
ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
を備える画像処理装置。
【請求項１５】
単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、
前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理部と、
ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
を備える画像処理装置。
【請求項１６】
単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、
前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出するステップと、
前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定するステップと、
前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理ステップと、
ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップと、
を備える画像処理方法。
【請求項１７】
単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、
前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって、
前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出ステップと、
前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理ステップと、
ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置、その撮像装置で得られた複数視点の平面画像を用いて画像処理を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置が知られている。【０００３】
特許文献１には、単一の撮影光学系を備え、絞りを回転させることで瞳分割を行って、立体視画像を生成する構成が開示されている。【０００４】
特許文献２には、単一の撮影光学系を備え、マイクロレンズアレイにより瞳分割し、位相差方式の合焦制御を行う構成が開示されている。【０００５】
特許文献３には、単一の撮影光学系と、その単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１画素群および第２画素群を配列した撮像デバイスとを備え、第１画素群により得られた平面画像および第２画素群により得られた平面画像からなる立体視画像を生成する撮像装置が開示されている。【０００６】
特許文献４には、特許文献３に記載の撮像装置において、第１画素の出力と第２画素の出力とを加算することが記載されている。【０００７】
特許文献５には、画像を複数エリアに分割し、輝度レベルが暗いなどの特定エリアに限定して画素加算を行う構成が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００９−５２７００７号公報
【特許文献２】特開平４−２６７２１１号公報
【特許文献３】特開平１０−４２３１４号公報
【特許文献４】特開２００８−２９９１８４号公報
【特許文献５】特開２００７−２５１６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置（以下「単眼３Ｄ撮像装置」という）では、複数視点の平面画像から一枚の高解像度画像を生成しようとすると、高解像度平面画像のうちで非合焦部分にノイズパターンが発生してしまう。このようなノイズパターンの発生のしくみについて、以下説明する。【００１０】
まず、図１８Ａを用いて、瞳分割をしない単眼撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明しておく。撮像デバイス１６に結像された３つの像９１ａ、９２ａ、９３ａのうち、撮像デバイス１６で焦点が合うのは、合焦面Ｄ上にある被写体９２の像９２ａだけである。被写体９１と撮影レンズ１２との間の距離は被写体９１と合焦面Ｄとの間の距離よりも長く、その合焦像９１ｄは撮像デバイス１６よりも撮影レンズ１２に近い位置に形成されるので、被写体９１の像９１ａはボケた像となる。また、被写体９３と撮影レンズ１２との間の距離は被写体９３と合焦面Ｄとの間の距離よりも短く、その合焦像９３ｄは撮像デバイス１６よりも撮影レンズ１２から遠い位置に形成されるので、被写体９３の像９３ａもボケた像となる。【００１１】
次に、瞳分割の単眼３Ｄ撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明する。本例の単眼３Ｄ撮像装置では、図１８Ｂに示すように撮影レンズ１２の瞳をシャッタ９５によって上方のみに制限した状態と、図１８Ｃに示すように撮影レンズ１２の瞳をシャッタ９５によって下方のみに制限した状態とがある。このような単眼３Ｄ撮像装置における撮像デバイス１６上の像のボケ量および位置は、図１８Ａに示した単眼撮像装置と異なる。即ち、図１８Ｂに示した状態では、図１９Ｂに示すように、被写体９１の像９１ｂは、瞳分割なしの場合（図１９Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の下側に移動する。また、被写体９３の像９３ｂは、ボケ量が小さくなり且つ位置が図中の上側に移動する。図１８Ｃに示した状態では、図１９Ｃに示すように、被写体９１の像９１ｃは、瞳分割なしの場合（図１９Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の上側に移動する。また、被写体９３の像９３ｃは、ボケ量が小さくなり且つ位置が図中の下側に移動する。【００１２】
このような単眼３Ｄ撮像装置において、高解像度平面画像を生成するために、図１９Ｂに示した画像と図１９Ｃに示した画像とを合成すると、像９１ｂと像９１ｃ、像９３ｂと像９３ｃとで、結像位置がズレていることにより、段差状のノイズパターンが発生してしまう。即ち、高解像度平面画像のうちボケた部分に、視差に起因したノイズパターンが発生してしまうという問題がある。【００１３】
特許文献１〜５には、高解像度平面画像における高解像度の維持と視差に起因するノイズパターンの解消とを両立させることができる構成について、開示がない。【００１４】
なお、特許文献４に記載の構成では、単純に近傍画素同士で画素加算を行うだけなので、合焦した主要被写体の解像度が画素加算により低下してしまうという問題がある。例えば、２画素混合の場合には、解像度が１／２に低下してしまうことになる。また、特許文献５には、立体視画像を生成可能な単眼３Ｄ撮像装置が開示されておらず、視差に起因するノイズパターンを抑止することできる構成についても記載がない。【００１５】
本発明はこのような事情に鑑みてなされたもので、視差を有する複数の平面画像を合成した高解像度平面画像における合焦した主要被写体部分の解像度を維持することができるとともに視差に起因したノイズパターンを確実に解消することができる撮像装置、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
前記目的を達成するために、本発明の一態様は、単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスと、前記第１の撮像画素群の画素信号に基づく第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出する視差量算出部と、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分をボケている部分であると判定する判定部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える撮像装置を提供する。なお、ボケている「部分」の画素数は限定されない。領域ごとにあるいは画素ごとに、ボケているか否かの判定、および、ぼかし処理を行ってよい。
【００１７】
即ち、前記第１の平面画像および前記第２の平面画像のうち視差量が閾値よりも大きい部分に対してぼかし処理が行われるので、視差を有する第１の平面画像および第２の平面画像を合成した高解像度平面画像における、合焦した主要被写体部分の解像度を維持することができるとともに、視差に起因したノイズパターンを確実に解消することができる。【００１８】
前記ぼかし処理として、画素値の加算平均、フィルタ処理などが挙げられる。他のぼかし処理でもよい。【００１９】
本発明の一態様では、前記視差量算出部は、前記第１の平面画像および前記第２の平面画像の各画素の視差量を算出し、前記判定部は、前記視差量が閾値よりも大きい画素はボケている画素であると判定し、前記ぼかし処理部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケている画素を含む前記画素ペアの画素間で画素値の加算平均を行う。【００２０】
また、本発明の一態様は、単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスと、前記第１の撮像画素群の画素信号に基づく第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい前記部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える撮像装置を提供する。なお、「撮像画素配置にて共通する部分」とは、第１の平面画像と第２の平面画像とで撮像素子が異なるので、完全に同一な部分という意味ではなく、互いに重なる領域、または、互いに近傍に位置する画素である。
【００２１】
即ち、ボケ量の差が閾値よりも大きい領域に対してぼかし処理が行われるので、視差を有する第１の平面画像および第２の平面画像を合成した高解像度平面画像における、合焦した主要被写体部分の解像度を維持することができるとともに、視差に起因したノイズパターンを確実に解消することができる。【００２２】
本発明の一態様では、前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケ量の差として、前記画素ペアを構成している画素間における先鋭度の差を算出する。
【００２３】
本発明の一態様では、前記ぼかし処理は、前記ボケ量の差の絶対値が閾値よりも大きい前記部分における画素値の加算平均またはフィルタ処理である。【００２４】
本発明の一態様では、前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアの画素間で画素値の加算平均を行う。【００２５】
本発明の一態様では、前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う。即ち、画素ペアのうちボケ量が小さい方の画素のみフィルタ処理が行われ、画素ペアのうちボケ量が大きい方の画素はフィルタ処理が行われないので、視差に起因するノイズパターンを確実に解消しつつ、ボケ量の拡大を最小限に抑えることができる。【００２６】
本発明の一態様では、前記ぼかし処理部は、少なくともボケ量の差に基づいて、フィルタ係数を決定する。【００２７】
本発明の一態様では、前記高解像度平面画像を生成する高解像度平面画像撮影モード、前記高解像度平面画像よりも解像度が低い低解像度平面画像を生成する低解像度平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、前記高解像度平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する。【００２８】
本発明の一態様では、前記高解像度平面画像を生成する平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、前記平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する。【００２９】
本発明の一態様では、前記撮像デバイスの画素配列は、ハニカム配列である。【００３０】
本発明の一態様では、前記撮像デバイスの画素配列は、ベイヤ配列である。【００３１】
また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分の視差量を算出する視差量算出部と、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定する判定部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える画像処理装置を提供する。
【００３２】
また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える画像処理装置を提供する。
【００３３】
また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出するステップと、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定するステップと、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理ステップと、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップとを備える画像処理方法を提供する。
【００３４】
また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出ステップと、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理ステップと、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップとを備える画像処理方法を提供する。
【発明の効果】
【００３５】
本発明によれば、視差を有する複数の平面画像を合成した高解像度平面画像における合焦した主要被写体部分の解像度を維持することができるとともに視差に起因したノイズパターンを確実に解消することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明に係る撮像装置のハードウェア構成例を示すブロック図
【図２Ａ】撮像デバイスの構成例を示す図
【図２Ｂ】撮像デバイス（主画素）の構成例を示す図
【図２Ｃ】撮像デバイス（副画素）の構成例を示す図
【図３】撮像画素を示した図
【図４Ａ】図３の要部拡大図（通常画素）
【図４Ｂ】図３の要部拡大図（位相差画素）
【図５】第１実施形態における撮像装置の要部ブロック図
【図６】ＲＡＷ画像、左画像、右画像および視差マップの説明に用いる説明図
【図７】第１実施形態における画像処理例の流れを示すフローチャート
【図８】視差マップ生成処理の流れを示すフローチャート
【図９】視差量の大きさとボケ量の大きさとの関係の説明に用いる説明図
【図１０】第２実施形態における撮像装置の要部ブロック図
【図１１】第２実施形態における画像処理例の流れを示すフローチャート
【図１２】ラプラシアンフィルタのフィルタ行列の一例を示す図
【図１３】第３実施形態における撮像装置の要部ブロック図
【図１４】先鋭度の差｜ｋ｜とガウシアンフィルタのパラメータαとの関係を示すグラフ
【図１５】第３実施形態における画像処理例の流れを示すフローチャート
【図１６】撮影モード選択処理の流れを示すフローチャート
【図１７Ａ】ベイヤ配列の例を示す模式図
【図１７Ｂ】ベイヤ配列の別の例を示す模式図
【図１８Ａ】瞳分割なしの撮像系の要部を示す説明図
【図１８Ｂ】瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図
【図１８Ｃ】瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図
【図１９Ａ】瞳分割なしの撮像系での結像の様子を示す模式図
【図１９Ｂ】瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図
【図１９Ｃ】瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図
【発明を実施するための形態】
【００３７】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３８】
＜撮像装置の全体構成＞
図１は本発明の一実施形態に係る撮像装置１０の実施の形態を示すブロック図である。
【００３９】
この撮像装置１０は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）４０によって統括制御される。
【００４０】
撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ（ＬＣＤ：ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）３０の表示制御などを行う。
【００４１】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択操作用の操作部材である。
【００４２】
再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画または動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作用の操作部材）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。
【００４３】
撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影レンズ１２（撮影光学系）、絞り１４を介して固体撮像素子である撮像デバイス１６の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ１．４〜Ｆ１１まで１ＡＶ刻みで６段階に絞り制御される。
【００４４】
また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、撮像制御部３２を介して撮像デバイス１６での電荷蓄積時間（シャッタ速度）や、撮像デバイス１６からの画像信号の読み出し制御等を行う。
【００４５】
＜単眼３Ｄ撮像デバイスの構成例＞
図２Ａから図２Ｃは撮像デバイス１６の構成例を示す図である。
【００４６】
撮像デバイス１６は、それぞれマトリクス状に配列された奇数ラインの撮像画素（以下「主画素」という）と、偶数ラインの撮像画素（以下「副画素」という）とを有している。これらの主、副画素によってそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができる。
【００４７】
図２Ｂに示すように、撮像デバイス１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられている。一方、図２Ｃに示すように、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が配列ピッチの２分の１ピッチだけライン方向にずれて配置されている。即ち、撮像デバイス１６の画素配列は、ハニカム配列となっている。
【００４８】
図３は撮影レンズ１２、絞り１４、および撮像デバイス１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４Ａおよび図４Ｂは図３の要部拡大図である。
【００４９】
図４Ａに示すように通常の撮像デバイスの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
【００５０】
これに対し、撮像デバイス１６の主画素ＰＤａおよび副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、または左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
【００５１】
なお、上記構成の撮像デバイス１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、本発明はこれに限定されるものではない。例えば、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
【００５２】
図１に戻って、撮像デバイス１６に蓄積された信号電荷は、撮像制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像デバイス１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００５３】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理（色補間処理）、ＹＣ処理、コントラスト強調処理、輪郭補正処理等の所定の信号処理を行う。
【００５４】
また、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）５６は、カメラ制御プログラム、撮像デバイス１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図等が記憶されている不揮発性メモリである。
【００５５】
ここで、図２Ｂおよび図２Ｃに示すように、撮像デバイス１６の奇数ラインの主画素から読み出される主画像データは、左視点の平面画像（以下「左画像」という）として処理され、偶数ラインの副画素から読み出される副画像データは、右視点の平面画像（以下「右画像」という）として処理される。
【００５６】
デジタル信号処理部２４で処理された左画像および右画像は、ＶＲＡＭ（ｖｉｄｅｏ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３次元（３Ｄ）画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力される。これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
【００５７】
この液晶モニタ３０は、立体視画像（左画像及び右画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示装置である。なお、立体表示装置は、これに限定されるものではない。例えば、レンチキュラレンズを使用するものや、ユーザが偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左画像と右画像とを個別に見ることができるものでもよい。
【００５８】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像デバイス１６は、ＡＦ（ａｕｔｏｍａｔｉｃ  ｆｏｃｕｓ  ａｄｊｕｓｔｍｅｎｔ）動作およびＡＥ（ａｕｔｏｍａｔｉｃ  ｅｘｐｏｓｕｒｅ）動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００５９】
ＡＥ検出部４４は、画面全体のＧ信号を積算し、または画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値および撮像デバイス１６の電子シャッタ（シャッタ速度）を所定のプログラム線図に従って決定する。ＣＰＵ４０は、上記決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいて撮像制御部３２を介して撮像デバイス１６での電荷蓄積時間を制御する。
【００６０】
ＡＦ処理部４２は、コントラストＡＦ処理または位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左画像データおよび右画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左画像データおよび右画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００６１】
ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素および副画素に対応する左画像および右画像の２枚分の画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４８に入力し、一時的に記憶される。
【００６２】
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｉｃ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
【００６３】
メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成される。このＭＰファイルは、メディアインターフェース（メディアＩ／Ｆ）５２を介して読み出され、記録メディア５４に記録される。
【００６４】
以下では、本発明に係る撮像装置を各種の実施形態に分けて説明する。
【００６５】
＜第１実施形態＞
図５は、第１実施形態における撮像装置１０ａの要部ブロック図である。なお、図５において、図１に示した構成要素には同じ符号を付してあり、既に説明した事項について以下ではその説明を省略する。
【００６６】
本例の単眼３Ｄ撮像システム１７は、具体的には、図１の撮影レンズ１２、絞り１４、撮像デバイス１６、アナログ信号処理部１８、Ａ／Ｄ変換器２０を含む。即ち、単眼３Ｄ撮像システム１７は、単一の撮影レンズ１２（撮影光学系）と、単一の撮影レンズ１２の異なる領域を通過した光束をそれぞれ光電変換する主画素群および副画素群を有する撮像デバイス１６を含んいる。
【００６７】
単眼３Ｄ撮像システム１７は、被写体を撮像し、図２Ｂに示した主画素（第１の撮像画素）群から出力された画素信号および図２Ｃに示した副画素（第２の撮像画素）群から出力された画素信号からなるＲＡＷ画像を生成する。ＲＡＷ画像における画素（「画像画素」ともいう）の配置は、図２Ａに示した撮像画素（フォトダイオードＰＤ）の配置に対応している。
【００６８】
ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）６０は、図１のデジタル信号処理部２４を含む。なお、図５ではＣＰＵ４０とＤＳＰ６０とを別の要素として示したが、一体に形成されていてもよい。また、ＤＳＰ６０の構成要素の一部をＣＰＵ４０により構成してもよい。
【００６９】
画素分離部６１は、図６に示すように、図２Ａに示した画素は位置に対応したＲＡＷ画像８０を、図２Ｂに示した主画素群の画素配置に対応した左画像８０Ｌ（第１の平面画像）と、図２Ｃに示した副画素群の画素配置に対応した右画像８０Ｒ（第２の平面画像）とに分離する。
【００７０】
視差マップ生成部６２は、図６に示すように、左画像８０Ｌと右画像８０Ｒとで同一被写体の同一点を示す２つの画素同士の対応関係を検出し、その対応関係を有する画素同士の視差量△Ｘを算出して、各画素と視差量△Ｘとの対応関係を示す視差マップ８８を生成する。言い換えると、視差マップ生成部６２は、左画像８０Ｌおよび右画像８０Ｒの各部分の視差量を算出する。
【００７１】
例えば、図６における左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ２ｂとのｘ方向における座標値の差△Ｘが視差量として算出される。本例の第１の視差マップ８８は、左画像８０Ｌの画素配置に対応しており、左画像８０Ｌの各画素ごとの視差量を示す。
【００７２】
ボケ画素判定部６３は、視差マップ生成部６２により生成された視差マップ８８に基づいて、左画像８０Ｌおよび右画像８０Ｒの各画素の視差量（絶対値）を閾値と比較して、視差量（絶対値）が閾値よりも大きい画素はボケている画素であると判定する。即ち、ボケ画素判定部６３は、左画像８０Ｌの画素と右画像８０Ｒの画素とからなる画素ペアであって、撮像デバイス１６において互いに近傍に配置されている主画素および副画素に対応した各画素ペアのうち、少なくとも一方の画素がボケているか否かの判定を行う。例えば、図６において、左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ１ｂとが画素ペアであり、また、左画像８０Ｌの画素Ｐ２ａと右画像８０Ｒの画素Ｐ２ｂとが画素ペアである。言い換えると、ボケ画素判定部６３は、左画像８０Ｌおよび右画像８０Ｒのうち、視差量が閾値よりも大きい部分はボケている部分であると判定する。
【００７３】
ボケ均等処理部６４は、撮像デバイス１６において互いに近傍に配置されている主画素および副画素に対応した各画素ペアに注目し、ボケている画素を含む画素ペアに対しては、画素ペアを構成している画素間でボケ量を均等にするぼかし処理を行い、ボケている画素を含まない画素ペアに対しては前記ぼかし処理を行わない。例えば、図６において、左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ１ｂとで画素値の加算平均を行い、左画像８０Ｌの画素Ｐ２ａと右画像８０Ｒの画素Ｐ２ｂとで画素値の加算平均を行う。言い換えると、ボケ均等処理部６４は、左画像８０Ｌおよび右画像８０Ｒのうち、ボケている部分に対して、ぼかし処理を行う。
【００７４】
高解像度画像処理部６５は、ボケ均等処理部６４による加算平均処理後の左画像８０Ｌおよび右画像８０Ｒを組み合わせる合成を行うことで、再合成したＲＡＷ画像としての一枚の高解像度平面画像（以下「高解像度平面画像」という）を生成する。ここで、高解像度平面画像は、図２Ａに示した撮像デバイス１６の全画素の画素配置に対応した平面画像データであって、本例では左画像（または右画像）の解像度に対し２倍の解像度を有する。
【００７５】
立体視画像処理部６６は、ボケ均等処理部６４による加算平均処理を施していない左画像８０Ｌおよび右画像８０Ｒからなる立体視画像に対する画像処理を行う。左画像８０Ｌは、図２Ｂに示した主画素ＰＤａの画素配置に対応した平面画像データであり、右画像８０Ｒは、図２Ｃに示した副画素ＰＤｂの画素配置に対応した平面画像データである。
【００７６】
ＹＣ処理部６７は、Ｒ，Ｇ，Ｂ画素信号からなる画像をＹ，Ｃ画像信号の画像に変換する。
【００７７】
図５の画素分離部６１、視差マップ生成部６２、ボケ画素判定部６３、ボケ均等処理部６４および高解像度画像処理部６５によって、Ｒ，Ｇ，Ｂ画素信号からなる２Ｄ画像（高解像度平面画像、２Ｄ低解像度画像）を生成する２Ｄ画像生成装置が構成されている。また、図５の画素分離部６１および立体視画像処理部６６によって、Ｒ，Ｇ，Ｂ画素信号からなる立体視画像を生成する３Ｄ画像生成装置が構成されている。
【００７８】
図７は、第１実施形態における画像処理の流れを示すフローチャートである。本処理は、プログラムに従ってＣＰＵ４０の制御により実行される。
【００７９】
まず、ステップＳ１にて、単眼３Ｄ撮像システム１７により、被写体を撮像して、ＲＡＷ画像８０を取得する。即ち、図２Ａに示した撮像デバイス１６の全画素から出力された画素信号からなるＲＡＷ画像８０が、メモリ４８に格納される。
【００８０】
次に、ステップＳ２にて、画素分離部６１により、ＲＡＷ画像８０を左画像８０Ｌと右画像８０Ｒとに分離する。
【００８１】
次に、ステップＳ３にて、視差マップ生成部６２により、視差マップ８８を生成する。このステップＳ３を図８の詳細フローチャートに示した。まず、左画像８０Ｌおよび右画像８０Ｒのうちのいずれか一方（本例では左画像８０Ｌ）を基準画像として選択して他方（本例では右画像８０Ｒ）を追跡画像とする（ステップＳ１１）。次に、基準画像８０Ｌから注目画素を順次選択する（ステップＳ１２）。次に、基準画像８０Ｌの注目画素と特徴が一致する画素を追跡画像８０Ｒから検出して、基準画像８０Ｌの注目画素と追跡画像８０Ｒの検出された画素との対応関係をメモリ４８に記憶する（ステップＳ１３）。基準画像８０Ｌの全画素の選択が完了したか否かを判定し（ステップＳ１４）、未完了の場合にはステップＳ１２に戻り、完了した場合には視差量△Ｘの算出を行って視差マップ８８を作成する（ステップＳ１５）。即ち、左画像８０Ｌの各画素と視差量△Ｘとの対応関係を示す視差マップ８８が生成される。
【００８２】
ここで、視差量△ＸとＲＡＷ画像８０に生じるノイズとの関係について説明しておく。視差量は、図９に示すように、左画像８０Ｌの画素（例えば８１ｂ、８２ｂ、８３ｂ）と、これらの画素に特徴がそれぞれ一致する右画像８０Ｒの対応画素（例えば８１ｃ、８２ｃ、８３ｃ）との座標位置の差分△Ｘ（例えば△Ｘ１、△Ｘ２、△Ｘ３）である。算出された視差量△Ｘが大きい場合、図２Ａに示した撮像デバイス１６にペアとして配置されている主画素ＰＤａと副画素ＰＤｂとで、撮像デバイス１６の受光面上の位置はほぼ同じ（近傍）であるが、受光量（入射した光量）は大きく異なっていたことになる。つまり、ＲＡＷ画像８０のうち、視差量△Ｘが大きい領域には、段差状のノイズが生じている可能性がある。もしも、このようなノイズを含んだＲＡＷ画像８０を、高解像度平面画像として扱ってコントラスト強調や輪郭補正等の画像処理を加えると、ノイズが目立って現われてしまう。そこで、後述のステップＳ４〜Ｓ７では、高解像度を維持しつつノイズを解消するための画像処理を行う。
【００８３】
ステップＳ４にて、基準画像（例えば左画像８０Ｌ）から注目画素を選択する。
【００８４】
ステップＳ５にて、ボケ画素判定部６３により、基準画像８０Ｌに対応する視差マップ８８に基づいて注目画素の視差量の絶対値｜△Ｘ｜が閾値Ｓよりも大きいか否かを判定し、｜△Ｘ｜が閾値Ｓよりも大きい注目画素はボケているボケ画素であると判定する。例えば、図９に示した左画像８０Ｌ中の画素８１ｂおよび８３ｂは、｜△Ｘ｜が閾値Ｓよりも大きいボケ画素と判定される。同様に、右画像８０Ｒの画素８１ｃ、８３ｃもボケ画素と判定される。その一方で、｜△Ｘ｜が閾値Ｓよりも小さい画素８２ｂ、８２ｃは、ボケていない画素であると判定される。｜△Ｘ｜とノイズ量とは、｜△Ｘ｜が大きくなるほどノイズ量が右肩上がりに（若しくは比例して）大きくなる関係にある。実験や計算により｜△Ｘ｜とノイズ量との対応関係を求め、その対応関係に基づいて閾値Ｓを予め求めてＥＥＰＲＯＭ５６等に予め設定しておく。閾値Ｓの大きさは特に限定されないが、人の両眼で立体融合限界よりも十分に小さい値（立体融合限界の１／ｎ未満）である。
【００８５】
ボケ画素であると判定された場合、ステップＳ６にて、ボケ均等処理部６４により、基準画像８０Ｌのボケ画素の画素値と、撮像デバイス１６の画素配置においてボケ画素のペアとして配置されている他方の平面画像８０Ｒの画素の画素値とを、加算平均する。即ち、画素ペアを構成している画素間でボケ量を均等にするぼかし処理（ボケ均等処理）を行う。
【００８６】
図２Ａに示したように主画素ＰＤａと副画素ＰＤｂとが撮像デバイス１６にてペアで配置されており、左画像８０ＬのＰＤａに対応する画素と右画像８０ＲのＰＤｂに対応する画素とで、画素値が加算平均される。本例の主画素ＰＤａおよび副画素ＰＤｂは、撮像デバイス１６において互いに隣接して配置されている同色の撮像画素である。これらの２つの撮像画素の画素値の平均値は、左画像８０Ｌの画素および右画像８０Ｒの画素の両方に、設定される。
【００８７】
ステップＳ７にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ４に戻り、完了した場合にはステップＳ８に進む。
【００８８】
ステップＳ８にて、高解像度画像処理部６５により、左画像８０Ｌと右画像８０Ｒとを合成することで、１枚の高解像度平面画像を生成する。
【００８９】
ステップＳ９にて、ＹＣ処理部６７により、Ｒ，Ｇ，Ｂ画素信号からなる高解像度画像を、Ｙ（輝度）信号およびＣ（色差）信号からなる高解像度画像に変換するＹＣ処理を行う。
【００９０】
本実施形態では、高解像度平面画像の全領域のうち、ボケ量が大きい部分のみを加算平均の対象領域として限定するため、ピントが合っている主要被写体の解像度を劣化させることなく、ノイズを抑制することができる。
【００９１】
なお、ボケている「部分」の画素数は限定されない。領域ごとにあるいは画素ごとに、ボケているか否かの判定、および、ぼかし処理を行ってよい。また、ぼかし処理として、画素値の加算平均のみ示したが、後述のフィルタ処理（例えばガウシアンフィルタ）によりぼかし処理を行ってもよい。
【００９２】
＜第２実施形態＞
図１０は、第２実施形態における撮像装置１０ｂの要部ブロック図である。なお、図５に示した第１実施形態の撮像装置１０ａと同じ構成要素には同じ符号を付してあり、第１実施形態にて説明した事項については以下ではその説明を省略する。
【００９３】
先鋭度比較部７２（ボケ量差算出部）は、撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂにそれぞれ対応した左画像の画素と右画像の画素との間で先鋭度を比較して、先鋭度差を算出する。
【００９４】
画素間の先鋭度差は、画素間のボケ量の差を示しており、先鋭度差が大きいほど画素間でボケ量の差が大きい。即ち、先鋭度比較部７２は、左画像の画素と右画像の画素とからなる画素ペアであって撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂに対応した各画素ペアに注目し、画素ペアを構成している画素間で、ボケ量の差を示す先鋭度差を算出する。言い換えると、先鋭度比較部７２は、左画像８０Ｌの各部分と右画像８０Ｒの各部分とのボケ量の差であって、撮像デバイス１６の撮像画素配置にて共通する部分間のボケ量の差を算出する。なお、「撮像画素配置にて共通する部分」とは、第１の平面画像と第２の平面画像とで撮像素子が異なるので、完全に同一な部分という意味ではなく、互いに重なる領域、または、互いに近傍に位置する画素である。
【００９５】
本実施形態のボケ画素判定部７３は、先鋭度比較部７２により算出された先鋭度差（ボケ量の差）の絶対値を閾値と比較する。ボケ画素判定部７３は、先鋭度差の絶対値が閾値よりも大きい画素ペアに対しては、画素ペアを構成している画素間で加算平均を行うと判定する。一方、ボケ画素判定部７３は、先鋭度差の絶対値が閾値以下である画素ペアに対しては、加算平均を行わないと判定する。言い換えると、ボケ画素判定部７３は、左画像８０Ｌおよび右画像８０Ｒのうちボケ量の差の絶対値が閾値よりも大きい部分に対して、ぼかし処理を行うと判定する。
【００９６】
ボケ均等処理部６４は、ボケ画素判定部７３の判定結果に応じて、画素ペアを構成している画素間で画素値の加算平均を行う。つまり、ボケ均等処理部６４は、左画像および右画像の各画素に注目し、先鋭度差の絶対値が閾値よりも大きい場合には、撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂにそれぞれ対応した画素同士を加算平均する。一方、ボケ均等処理部６４は、先鋭度差の絶対値が閾値以下である場合には、加算平均を行わない。即ち、ボケ均等処理部６４は、ボケ量の差の絶対値が閾値よりも大きい部分に対しては、ぼかし処理を行う。
【００９７】
図１１は、第２実施形態における画像処理例の流れを示すフローチャートである。
【００９８】
ステップＳ２１およびＳ２２は、図７に示した第１実施形態のステップＳ１およびＳ２とそれぞれ同様である。
【００９９】
ステップＳ２３にて、基準画像（例えば左画像８０Ｌ）で注目画素を選択する。
【０１００】
ステップＳ２４にて、先鋭度比較部７２により、撮像デバイス１６の画素配置にてペアとして配置されている左画像８０Ｌの画素と右画像８０Ｒの画素とで、先鋭度差を算出する。例えば、左画像８０Ｌの画素および右画像８０Ｒの画素の各々について先鋭度Ｓａ、Ｓｂを算出し、これらの先鋭度の差分(ｋ＝Ｓａ−Ｓｂ)を算出する。
【０１０１】
各画素の先鋭度の算出は、ラプラシアンフィルタ処理により行う。ラプラシアンフィルタのフィルタ行列の一例を図１２に示す。ラプラシアンフィルタ処理によりエッジ検出を行うことができ、出力値の絶対値が先鋭度を示す。ボケ量が小さい画素ほど先鋭度が大きくなり、ボケ量が大きい画素ほど先鋭度が小さくなる。なお、ラプラシアンフィルタは本例に限定されるものではない。また、ラプラシアンフィルタ以外のフィルタを用いて先鋭度を算出してもよい。
【０１０２】
ステップＳ２５にて、ボケ画素判定部７３により、先鋭度差の絶対値｜ｋ｜が閾値ｋｔｈよりも大きいか否かを判定する。｜ｋ｜が閾値ｋｔｈよりも大きい場合には、ペアの画素間でボケ量の差が大きいので、視差量に起因したノイズが発生している可能性がある。
【０１０３】
ステップＳ２６にて、ボケ均等処理部６４により、先鋭度差の絶対値｜ｋ｜が閾値ｋｔｈよりも大きいペアの画素同士で画素値の加算平均を行う。
【０１０４】
ステップＳ２７にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ２３に戻り、完了した場合にはステップＳ２８に進む。
【０１０５】
ステップＳ２８およびＳ２９は、図７に示した第１実施形態のステップＳ８およびＳ９とそれぞれ同様である。
【０１０６】
本実施形態では、高解像度平面画像の全領域のうち、ボケ量の差が大きい部分のみを加算平均の対象領域として限定することができるため、ピントが合っている主要被写体の解像度を劣化させることなく、ノイズを抑制することができる。
【０１０７】
＜第３実施形態＞
次に、第３実施形態について、説明する。第３実施形態では、加算平均ではなく、フィルタ処理を適用して、画素ペアのうちボケ量がより少ない方の画素のみ先鋭度を低下させることで、視差に起因するノイズを抑制する。つまり、ボケ量がより少ない方の画素のみをよりぼかす処理を行う。
【０１０８】
図１３は、第３実施形態における撮像装置の要部構成を示すブロック図である。なお、図１０に示した第２実施形態の撮像装置と同じ構成要素には同じ符号を付してあり、説明済みの事項については以下ではその説明を省略する。
【０１０９】
本実施形態のボケ画素判定部７３は、先鋭度比較部７２により算出された先鋭度差（ボケ量の差）の絶対値を閾値と比較する。そして、ボケ画素判定部７３は、先鋭度差の絶対値が閾値よりも大きい場合には、先鋭度差の符号が正であるか否かに基づいて、撮像デバイス１６において互いに近傍に配置されている２つの撮像画素にそれぞれ対応した左画像および右画像の２つ画素（画素ペア）のうち、いずれの画素のボケ量が大きいかを判定する。
【０１１０】
ぼかしフィルタ処理部７４は、先鋭度差（ボケ量の差）の絶対値が閾値よりも大きい画素ペアに対しては、画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う。一方、ぼかしフィルタ処理部７４は、先鋭度差の絶対値が閾値以下である画素ペアに対しては、前記フィルタ処理を行わない。
【０１１１】
フィルタとして、例えばガウシアンフィルタを用いる。ガウシアンフィルタ係数ｆ（ｘ）を次の数１に示す。
【０１１２】
【数１】
0005470458.tif 000002
【０１１３】
図１４は、先鋭度差｜ｋ｜とガウシアンフィルタのパラメータαとの関係を示すグラフである。｜ｋ｜が閾値ｋｔｈ以上であるとき、｜ｋ｜と比例関係にあるαが求められ、そのαに対応するガウシアンフィルタ係数ｆ（ｘ）を決定する。αからｆ（ｘ）を算出するには、上記数１を用いて演算を行い、算出されたｆ（ｘ）の総和が「１」になるように正規化を行えばよい。
【０１１４】
デジタルフィルタの場合は注目画素を中心とした離散位置ごとにｆ（ｘ）が決定される。例えば、５タップフィルタの場合、ｆ（ｘ）＝｛０．１、０．２、０．４、０．２、０．１｝等となる。なお、一般には、画像の明るさが変動しないよう、各係数の総和が「１．０」になるように正規化される。ここでは１次元のフィルタ係数で表現しているが、フィルタ処理を水平方向および垂直方向に順に施すことにより、２次元のフィルタ処理を行ってもよい。また、ガウシアンフィルタ以外のフィルタ（例えばローパスフィルタ）を用いてもよい。
【０１１５】
なお、ぼかしフィルタ処理部７４は、ボケ量の差（本例では先鋭度差）、撮影時の焦点距離、および、撮影時の絞り値のうち、少なくともひとつに基づいて、フィルタ係数を決定することが、好ましい。
【０１１６】
図１５は、第３実施形態における画像処理の流れを示すフローチャートである。
【０１１７】
ステップＳ３１およびＳ３２は、図７に示した第１実施形態のステップＳ１およびＳ２とそれぞれ同様である。
【０１１８】
ステップＳ３３にて、左画像を基準画像に設定する。
【０１１９】
ステップＳ３４にて、基準画像で注目画素を選択する。
【０１２０】
ステップＳ３５にて、先鋭度比較部７２により、撮像デバイス１６においてペアで配置されている主画素ＰＤａおよびＰＤｂにそれぞれ対応する左画像８０Ｌの画素と右画像８０Ｒの画素とで、先鋭度差を算出する。（先鋭度差）＝（右画像８０Ｒの画素の先鋭度）−（左画像８０Ｌの画素の先鋭度）である。
【０１２１】
ステップＳ３６にて、ボケ画素判定部７３により、先鋭度差の絶対値｜ｋ｜が閾値ｋｔｈよりも大きいか否かを判定する。｜ｋ｜が閾値ｋｔｈよりも大きい場合には、ペアの画素間でボケ量の差が大きいので、視差量に起因したノイズが発生している可能性がある。
【０１２２】
ステップＳ３７にて、フィルタ係数を決定する。
【０１２３】
ステップＳ３８にて、先鋭度差ｋが正であるか否かを判定する。先鋭度差ｋが正である場合には、ステップＳ３９にて、右画像の画素に対してフィルタ処理を行う。一方、先鋭度差ｋが正でない場合には、ステップＳ４０にて、左画像の画素に対してフィルタ処理を行う。即ち、先鋭度が高い方の画素に対しフィルタ処理を適用して先鋭度を低下させることで、ボケ量の差分を抑制する。
【０１２４】
ステップＳ４０にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ３４に戻り、完了した場合にはステップＳ４１に進む。
【０１２５】
ステップＳ４２およびＳ４３は、図７に示した第１実施形態のステップＳ８およびＳ９とそれぞれ同様である。
【０１２６】
第３実施形態では、先鋭度比較部７２により、左画像の各部分と右画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出し、ぼかしフィルタ処理部７４により、左画像および右画像のうちボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行っている。従って、視差に起因するノイズパターンを確実に解消しつつ、ボケ量の拡大を最小限に抑えることができる。
【０１２７】
図１６は、図１の撮像装置１０における撮影モード選択処理の流れを示すフローチャートである。本処理は図１のＣＰＵ４０により実行される。なお、本処理は第１実施形態から第３実施のうちでいずれの実施形態で行ってもよい。
【０１２８】
電源がオンされると撮像装置１０はスタンバイ状態になる（ステップＳ５１）。スタンバイ状態では、操作部３８により撮影モードの選択指示操作を受け付ける。
【０１２９】
選択指示操作を受け付けると、選択指示された撮影モードが２Ｄ撮影モードであるか３Ｄ撮影モードであるかを判定する（ステップＳ５２）。
【０１３０】
選択指示された３Ｄ撮影モードである場合には、３Ｄ撮影モードを設定する（ステップＳ５３）。
【０１３１】
選択指示された２Ｄ撮影モードである場合には、記録画素数が（撮像デバイス１６の有効画素数／２）よりも大きいか否かを判定する（ステップＳ５４）。記録画素数が（撮像デバイス１６の有効画素数／２）よりも大きい場合には、２Ｄ高解像度撮影モードを設定する（ステップＳ５５）。一方、記録画素数が（撮像デバイス１６の有効画素数／２）以下の場合には、２Ｄ低解像度撮影モードを設定する（ステップＳ５６）。２Ｄ低解像度撮影モードでは、記録する２Ｄ画像の解像度を、例えば２Ｄ高解像度撮影モードの１／２に設定する。
【０１３２】
３Ｄ撮影モードでは、左画像および右画像の各々に対し、通常のベイヤ処理を行う。
【０１３３】
２Ｄ低解像度撮影モード処理では、全画素に対し、加算平均処理を行うことで、視差に起因するパタンノイズの発生を抑える。
【０１３４】
本例では、高解像度平面画像を生成する２Ｄ高解像度撮影モード（高解像度平面画像撮影モード）、高解像度平面画像よりも解像度が低い２Ｄ低解像度画像を生成する２Ｄ低解像度撮影モード（低解像度平面画像撮影モード）、および、３Ｄ画像（立体視画像）を生成する３Ｄ撮影モード（立体視画像撮影モード）を有し、２Ｄ高解像度撮影モードが設定されている場合に、高解像度平面画像が生成される。
【０１３５】
本発明は、図１６に示した場合には特に限定されない。例えば、高解像度平面画像を生成する２Ｄ画像撮影モード、および、３Ｄ画像を生成する３Ｄ撮影モードを有し、２Ｄ画像撮影モードが設定されているときに、高解像度平面画像を生成するようにしてもよい。
【０１３６】
なお、本発明において、瞳分割の方式は、図３、図４Ａおよび図４Ｂに示した瞳分割用の遮光部材１６Ａを用いる態様には特に限定されない。例えば、マイクロレンズＬおよびフォトダイオードＰＤのうちで少なくとも一方の配置や形状により瞳分割する態様でもよいし、機械的な絞り１４により瞳分割する態様でもよいし、それ以外の態様でもよい。
【０１３７】
また、撮像デバイス１６における撮像画素の配列は、図２に示したハニカム配列である場合には、限定されない。図１７Ａまたは図１７Ｂに配列の一部を模式的に示すベイヤ配列であってもよい。具体的には、偶数列全体としての画素配列（主画素配列）および奇数列全体としての画素配列（副画素配列）がいずれもベイヤ配列である、ダブルのベイヤ配列となっている。図１７Ａおよび図１７Ｂにおいて、Ｒ、Ｇ，Ｂは、それぞれ赤、緑、青のフィルタを有する撮像画素であって、互いに隣接するＲ−Ｒ、Ｇ−Ｇ、Ｂ−Ｂの２つの画素（即ち近傍の同色画素）により画素ペアが構成されている。画素ペアのうち一方の画素信号により左画像の画素が構成され、他方の画素信号により右画像の画素が構成される。
【０１３８】
また、撮像デバイス１６は、ＣＣＤ撮像デバイスに特に限定されない。例えば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ−ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像デバイスであってもよい。
【０１３９】
また、前述の第１実施形態から第３実施形態において、判定に用いる閾値は、例えば、モニタサイズ（表示画面のサイズ）、モニタ解像度（表示画面の解像度）、観視距離（表示画面を見る距離）、ユーザの立体視融合限界（個人差がある）などの算出条件に基づいて、ＣＰＵ４０により算出される。これらの算出条件の設定は、ユーザ設定および自動設定のいずれでもよい。ユーザ設定の場合には、操作部３８により設定操作が行われ、その設定内容がＥＥＰＲＯＭ５６に記憶される。モニタサイズおよびモニタ解像度（表示画面の解像度）は、モニタ（図１のＬＣＤ３０）等から情報を自動的に取得してもよい。また、ユーザ設定されなかった算出条件（または自動取得できなかった算出条件）については、標準的な条件を適用してもよい。
【０１４０】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０１４１】
１０（１０ａ、１０ｂ、１０ｃ）…撮像装置、１２…撮像レンズ、１６…撮像デバイス、４０…ＣＰＵ、６０…ＤＳＰ、６２…視差マップ生成部、６３、７３…ボケ画素判定部、６４…ボケ均等処理部、６５…高解像度処理部、６６…立体視画像処理部、７２…先鋭度比較部、７４…ぼかしフィルタ処理部、８０…ＲＡＷ画像、８０Ｌ…左画像（第１の平面画像）、８０Ｒ…右画像（第２の平面画像）、８８…視差マップ
【図１】
0005470458.tif 000003
【図２Ａ】
0005470458.tif 000004
【図２Ｂ】
0005470458.tif 000005
【図２Ｃ】
0005470458.tif 000006
【図３】
0005470458.tif 000007
【図４Ａ】
0005470458.tif 000008
【図４Ｂ】
0005470458.tif 000009
【図５】
0005470458.tif 000010
【図６】
0005470458.tif 000011
【図７】
0005470458.tif 000012
【図８】
0005470458.tif 000013
【図９】
0005470458.tif 000014
【図１０】
0005470458.tif 000015
【図１１】
0005470458.tif 000016
【図１２】
0005470458.tif 000017
【図１３】
0005470458.tif 000018
【図１４】
0005470458.tif 000019
【図１５】
0005470458.tif 000020
【図１６】
0005470458.tif 000021
【図１７Ａ】
0005470458.tif 000022
【図１７Ｂ】
0005470458.tif 000023
【図１８Ａ】
0005470458.tif 000024
【図１８Ｂ】
0005470458.tif 000025
【図１８Ｃ】
0005470458.tif 000026
【図１９Ａ】
0005470458.tif 000027
【図１９Ｂ】
0005470458.tif 000028
【図１９Ｃ】
0005470458.tif 000029