(57)【要約】  瞳分割の撮像により生成された視点の異なる複数の視点画像を取得する画像取得手段と、複数の視点画像の視点画像間の第１の視差量を算出する視差算出手段４０ａと、第１の視差量と、瞳分割の撮像に起因する複数の視点画像の視点画像間の対応する物体像の視差方向のずれ量との関係を表す視差補正情報が記憶されたメモリ４８と、第１の視差量とメモリ４８に記憶されている視差補正情報とに基づいて、第１の視差量を物体像の視差方向のずれ量分に補正した第２の視差量を算出する視差補正手段４０ｂを備えた。
2013146996.tif 000002
【特許請求の範囲】
【請求項１】
瞳分割の撮像により生成された視点の異なる複数の視点画像を取得する画像取得手段と、
前記複数の視点画像の視点画像間の第１の視差量を算出する第１の視差量算出手段と、
前記第１の視差量と、前記瞳分割の撮像に起因する前記複数の視点画像の視点画像間の対応する物体像の視差方向のずれ量との関係を表す視差補正情報が記憶された記憶手段と、
前記第１の視差量と前記記憶手段に記憶されている視差補正情報とに基づいて、前記第１の視差量を前記物体像の視差方向のずれ量分に補正した第２の視差量を算出する第２の視差量算出手段と、
を備えた画像処理装置。
【請求項２】
前記物体像の視差方向のずれ量は、前記複数の視点画像の視点画像間における前記物体像の画素値のピーク位置のずれ量であり、
前記第２の視差量算出手段は、前記第１の視差量を前記物体像の画素値のピーク位置のずれ量分に補正した第２の視差量を算出する請求項１に記載の画像処理装置。
【請求項３】
前記第１の視差量算出手段は、前記第１の視差量を相関により算出する請求項１または２に記載の画像処理装置。
【請求項４】
前記複数の視点画像は、複数の光電変換素子が配列された撮像面を有する撮像素子によって瞳分割で撮像されており、
前記記憶手段は、前記撮像素子の前記撮像面における異なる位置ごとに前記視差補正情報を記憶し、
前記第２の視差量算出手段は、前記複数の視点画像内の位置に対応した前記撮像素子の前記撮像面の位置ごとの前記視差補正情報を前記記憶手段から取得し、該取得した視差補正情報に基づいて前記第２の視差量を算出する請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記記憶手段は、前記視点画像の画素の色チャネルごとに前記視差補正情報を記憶し、
前記第２の視差量算出手段は、前記記憶手段に記憶された前記色チャネルごとの前記視差補正情報を取得し、該取得した視差補正情報に基づいて前記色チャネルごとに前記第２の視差量を算出する請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の視点画像は、緑の画素を含む複数色の画素で構成されており、
前記記憶手段は、前記緑の画素に対応した前記視差補正情報を記憶し、
前記第２の視差量算出手段は、前記記憶手段に記憶された前記緑の画素に対応した前記視差補正情報に基づいて前記緑の画素に対応した前記視差補正情報を取得し、該取得した視差補正情報に基づいて、前記複数の視点画像の前記緑の画素及び前記緑の画素以外の画素における前記第２の視差量を算出する請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の視点画像は、絞り値が可変な撮影光学系を用いて撮像されており、
前記記憶手段は、前記撮影光学系の絞り値ごとに前記視差補正情報を記憶し、
前記第２の視差量算出手段は、前記撮影光学系を用いて前記複数の視点画像を撮像したときの前記絞り値をパラメータとして前記視差補正情報を取得し、該取得した視差補正情報に基づいて前記第２の視差量を算出する請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２の視差量算出手段によって算出された前記複数の視点画像の前記第２の視差量を増加させる視差強調手段を備えた請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の視差量算出手段によって算出された前記第２の視差量に基づいて、前記画像取得手段で取得された前記複数の視点画像とは視点数が異なる多視点画像を生成する多視点画像生成手段を備えた請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第１の視差量算出手段は、前記視点画像間でブロックマッチングを行うことにより所定のピクセル単位またはサブピクセル単位で一致の程度を示す評価値を算出し、前記評価値が最小となる位置同士のずれ量を前記第１の視差量とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第１の視差量算出手段は、前記視点画像間における画素値の差分の２乗和、又は前記視点画像間における画素値の差分の総和を求めることにより、前記評価値を算出する請求項１０に記載の画像処理装置。
【請求項１２】
前記記憶手段は、前記視差補正情報をルックアップテーブルまたは計算式として記憶する請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
請求項１から１２のいずれか１項に記載の画像処理装置と、
瞳分割方式の撮像を行う撮像手段と、
を備えた撮像装置。
【請求項１４】
前記撮像手段は、フォーカスレンズを含む撮影光学系を有し、
前記第２の視差量算出手段によって算出された第２の視差量に基づいて、前記撮影光学系のフォーカスレンズの位置を調整する制御を行うオートフォーカス処理手段を備えた請求項１３に記載の撮像装置。
【請求項１５】
瞳分割の撮像により生成された視点の異なる複数の視点画像を取得するステップと、
前記複数の視点画像の視点画像間の第１の視差量を算出するステップと、
前記第１の視差量と、前記瞳分割の撮像に起因する前記複数の視点画像の視点画像間の対応する物体像の視差方向のずれ量との関係を表す視差補正情報を予め記憶手段に記憶させておき、前記第１の視差量と前記記憶手段に記憶されている視差補正情報とに基づいて、前記第１の視差量を前記物体像の視差方向のずれ量分に補正した第２の視差量を算出するステップと、
を備えた画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理方法に関し、特に、瞳分割で撮像された複数の視点画像の視差を検出する場合に、ノイズに強く、かつ人の感知する視差と同等の視差を得ることができる画像処理装置、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
瞳分割方式で撮像を行う撮像素子を備えた立体撮像装置が知られている。このような瞳分割方式の撮像素子を用いた場合、左右の画像間でマッチングを行って視差を算出する方法としては、画素値の差分の２乗和が最小となるブロックの位置ズレ量を正解とみなして出力する方法がよく知られている。このように視差の算出は、左目画像と右目画像とで画素値に基づく相関により視差を算出する方法（相関法）を用いて行うのが一般的である。【０００３】
例えば、特許文献１は、上部が開口したマイクロレンズと下部が開口したマイクロレンズとを備えることで、左目画像と右目画像とを得られるようにした位相差式のイメージセンサを開示している。また、左目画像と右目画像とで相関法によるマッチングを行い、距離情報を求めることが開示されている。【０００４】
また、特許文献２は、１つのシリンドリカルマイクロレンズに対して、左側と右側とに光電変換素子を配置することで、左目画像と右目画像とを得られるようにした位相差式のイメージセンサを開示している。【０００５】
また、特許文献３は、瞳分割の撮像を行って複数の視点画像（第１の画像および第２の画像）を取得し、これらの複数の視点画像に対してそれぞれ異なる画像処理を行なう際に、各画像処理後の複数の視点画像間の画質の差が低減するように各画像処理を行なうことを開示している。【０００６】
また、特許文献４は、瞳分割の撮像を行って複数の視点画像（第１の視差画像および第２の視差画像）を取得し、これらの複数の視点画像内の各位置のデフォーカス量と像高とに対応した復元フィルタを位置ごとに選択し、選択した復元フィルタに基づいて複数の視点画像内の位置ごとにデコンボリューションを実施することで、複数の視点画像を復元することを開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−１９１０６０号公報
【特許文献２】特表２０１１−５１５０４５号公報
【特許文献３】ＷＯ２０１１／１１８０８９号公報
【特許文献４】ＷＯ２０１１／１１８０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、瞳分割方式の撮像素子で撮像した場合、左目画像及び右目画像は、単純に同じ形状の物体像が左右方向に互いにずれている画像のセットになるわけではなく、撮像光学系に起因して、実際にはそれぞれに左右対称の半月状フィルタをかけたような画像のセットになる。したがって、そのような左目画像と右目画像とでブロックマッチングを行うと、人が感知する視差とは若干異なる視差が算出されてしまうという問題がある。【０００９】
視差の算出法として、ブロックマッチングを行って画素値の差分の２乗和が最小となる位置ズレ量を正解とみなして出力する方法（いわゆる相関法のひとつである）を用いたとする。これに対して、人は、左右の画像間で信号のピーク位置のずれ量を視差と感知していると考えられる。つまり、相関法で視差を算出すると、必ずしもピーク位置のずれ量が正解として出力されるわけではないため、人が感知する視差と若干異なる可能性がある。【００１０】
また、ピーク位置のずれ量を視差として算出することも考えられるが、ピーク位置同士の比較は一般にノイズに弱く、視差を検出できない確率が高くなる。これに対して、相関法による視差算出はノイズに強い。【００１１】
特許文献１、２は、位相差式のイメージセンサを開示しているにすぎず、ノイズに強く、かつ人が感知する視差と同等の視差を得ることについての開示が無い。また、特許文献３は、視点画像間の画質の差が低減するように各画像処理を行なうことを開示しているのであって、ノイズに強く、かつ人が感知する視差と同等の視差を得ることについての開示が無い。また、特許文献４は、複数の視点画像内の位置ごとにデコンボリューションを実施する復元処理を開示しているのであって、ノイズに強く、かつ人が感知する視差と同等の視差を得ることについての開示が無い。即ち、特許文献１〜４に記載の技術では、人が感知する視差と同等の視差を得ることが困難である。【００１２】
本発明はこのような事情に鑑みてなされたもので、瞳分割の撮像により生成された視点の異なる複数の視点画像の視差を検出する場合に、ノイズに強く、かつ人が感知する視差と同等の視差を得ることができる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明は、瞳分割の撮像により生成された視点の異なる複数の視点画像を取得する画像取得手段と、複数の視点画像の視点画像間の第１の視差量を算出する第１の視差量算出手段と、第１の視差量と、瞳分割の撮像に起因する複数の視点画像の視点画像間の対応する物体像の視差方向のずれ量との関係を表す視差補正情報が記憶された記憶手段と、第１の視差量と記憶手段に記憶されている視差補正情報とに基づいて、第１の視差量を物体像の視差方向のずれ量分に補正した第２の視差量を算出する第２の視差量算出手段と、を備えた画像処理装置を提供する。【００１４】
ここで、「視差方向」は、両眼の目と目とを結ぶ方向に対応した、視点画像における方向である。例えば、位相差画素を有する撮像素子を用いて瞳分割の撮像を行う場合、位相差画素の位相差の方向が、「視差方向」である。即ち、複数の視点画像間で対応する対応点間を結ぶ方向が、「視差方向」である。
本発明によれば、第１の視差量算出手段によって視点画像間の視差量の一時的な正解としての第１の視差量を算出し、その一時的な正解としての第１の視差量を、その第１の視差量と記憶手段に記憶されている視差補正情報とに基づいて、視点画像間の現実の物体像の視差方向のずれ量分に補正するので、ノイズに強く、かつ人の感知する視差と同等の視差を得ることができる。ここで、「人の感知する視差」は、「現実の物体像の視差方向のずれ量」である。【００１５】
一実施形態では、物体像の視差方向のずれ量は、複数の視点画像の視点画像間における物体像の画素値のピーク位置のずれ量であり、第２の視差量算出手段は、第１の視差量を物体像の画素値のピーク位置のずれ量分に補正した第２の視差量を算出する。【００１６】
一実施形態では、第１の視差量算出手段は、第１の視差量を相関により算出する。【００１７】
本実施形態によれば、相関によるマッチングで算出される視差と、現実の物体像の視差方向のずれ量（ピーク位置のずれ量）との関係を予め記憶し、瞳分割で任意の被写体が撮像されて生成された複数の視点画像を取得すると、相関によるマッチングで視点画像間の視差量の一時的な正解（第１の視差量）を求め、その一時的な正解と視差補正情報とに基づいて、一時的な正解を現実の物体像の視差方向のずれ量分（第２の視差量）に補正するので、ノイズに強く、かつ人の感知する視差と同等の視差を得ることができる。【００１８】
一実施形態では、複数の視点画像は、複数の光電変換素子が配列された撮像面を有する撮像素子によって瞳分割で撮像されており、記憶手段は、撮像素子の撮像面における異なる位置ごとに視差補正情報を記憶し、第２の視差量算出手段は、複数の視点画像内の位置に対応した撮像素子の撮像面の位置ごとの視差補正情報を記憶手段から取得し、該取得した視差補正情報に基づいて第２の視差量を算出する。【００１９】
一実施形態では、記憶手段は、視点画像の画素の色チャネルごとに視差補正情報を記憶し、第２の視差量算出手段は、記憶手段に記憶された色チャネルごとの視差補正情報を取得し、該取得した視差補正情報に基づいて色チャネルごとに第２の視差量を算出する。【００２０】
一実施形態では、複数の視点画像は、緑の画素を含む複数色の画素で構成されており、記憶手段は、緑の画素に対応した視差補正情報を記憶し、第２の視差量算出手段は、記憶手段に記憶された緑の画素に対応した視差補正情報に基づいて、複数の視点画像の緑の画素及び緑の画素以外の画素における第２の視差量を算出する。【００２１】
一実施形態では、複数の視点画像は、絞り値が可変な撮影光学系を用いて撮像されており、記憶手段は、撮影光学系の絞り値ごとに視差補正情報を記憶し、第２の視差量算出手段は、撮影光学系を用いて複数の視点画像を撮像したときの絞り値をパラメータとして視差補正情報を取得し、該取得した視差補正情報に基づいて第２の視差量を算出する。【００２２】
一実施形態では、第２の視差量算出手段によって算出された複数の視点画像の第２の視差量を増加させる視差強調手段を備えた。【００２３】
一実施形態では、第２の視差量算出手段によって算出された第２の視差量に基づいて、画像取得手段で取得された複数の視点画像とは視点数が異なる多視点画像を生成する多視点画像生成手段を備えた。【００２４】
一実施形態では、第１の視差量算出手段は、視点画像間でブロックマッチングを行うことにより所定のピクセル単位またはサブピクセル単位で一致の程度を示す評価値を算出し、評価値が最小となる位置同士のずれ量を第１の視差量とする。【００２５】
一実施形態では、視差算出手段は、視点画像間における画素値の差分の２乗和、又は視点画像間における画素値の差分の総和を求めることで、評価値を算出する。【００２６】
記憶手段は、視差補正情報をルックアップテーブルまたは計算式として記憶する。【００２７】
また、本発明は、上記の画像処理装置と、瞳分割方式の撮像を行う撮像手段と、を備えた撮像装置を提供する。【００２８】
一実施形態では、撮像手段は、フォーカスレンズを含む撮影光学系を有し、第２の視差量算出手段によって算出された第２の視差量に基づいて、撮影光学系のフォーカスレンズの位置を調整する制御を行うオートフォーカス処理手段を備えた。【００２９】
また、本発明は、瞳分割の撮像により生成された視点の異なる複数の視点画像を取得するステップと、複数の視点画像の視点画像間の第１の視差量を算出するステップと、第１の視差量と、瞳分割の撮像に起因する複数の視点画像の視点画像間の対応する物体像の視差方向のずれ量との関係を表す視差補正情報を予め記憶手段に記憶させておき、第１の視差量と記憶手段に記憶されている視差補正情報とに基づいて、第１の視差量を物体像の視差方向のずれ量分に補正した第２の視差量を算出するステップと、を備えた画像処理方法を提供する。
【発明の効果】
【００３０】
本発明によれば、瞳分割方式の撮像により生成された視点の異なる複数の視点画像の視差を検出する場合に、ノイズに強く、かつ人が感知する視差と同等の視差を得ることが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る画像処理装置が適用された立体撮像装置の実施の形態を示す斜視図
【図２】上記立体撮像装置の背面図
【図３】立体撮像装置の撮像素子の構成例を示す図
【図４】上記撮像素子の要部拡大図
【図５】上記立体撮像装置の内部構成の一実施形態を示すブロック図
【図６】上記撮像素子によって瞳分割で撮像された左目画像及び右目画像の例を示す説明図
【図７】ジャスピン位置よりも近い位置に存在する点光源を瞳分割で撮像する様子を示した説明図
【図８】従来の撮像素子により通常の撮像で点光源を撮像した場合の説明図
【図９】本例の撮像素子により瞳分割の撮像で点光源を撮像した場合の説明図
【図１０】ジャスピン位置よりも近い位置に存在する点光源を瞳分割で撮像して得られた左目画像及び右目画像の例を示す説明図
【図１１】ジャスピン位置よりも遠い位置に存在する点光源を瞳分割で撮像して得られた左目画像及び右目画像の例を示す説明図
【図１２】算出視差と画素値のピーク位置のずれ量との差分を示す説明図
【図１３】ＣＰＵ及びメモリの機能的な内部構成例を示すブロック図
【図１４】点光源の距離と算出視差とピーク位置のずれ量との関係の説明に用いる説明図であって点光源を瞳分割で撮像して得られた左目画像及び右目画像を示す説明図
【図１５】算出視差と視差補正量との対応関係の例を示すグラフ
【図１６】色チャネルごとの算出視差と視差補正量との対応関係の例を示すグラフ
【図１７】画面内の位置と算出視差とピーク位置のずれ量との関係の説明に用いる説明図であって点光源を瞳分割で撮像して得られた左目画像及び右目画像を示す説明図
【図１８】画面内の位置ごとの算出視差と視差補正量との対応関係の例を示すグラフである
【図１９】視差強調を行う場合の画像処理例の流れを示すフローチャート
【図２０】多視点画像生成を行う場合の画像処理例の流れを示すフローチャート
【図２１】従来の位相差ＡＦ処理例の流れを示すフローチャート
【図２２】本発明を適用した位相差ＡＦ処理例の流れを示すフローチャート
【図２３】本発明に係る画像処理装置の他の実施形態である携帯型電子機器としてのスマートフォンの外観図
【図２４】上記スマートフォンの構成を示すブロック図
【発明を実施するための形態】
【００３２】
以下、添付図面に従って本発明に係る画像処理装置、画像処理方法、立体撮像装置、及び携帯電子機器の実施の形態について説明する。
【００３３】
［立体撮像装置の全体構成］
図１は本発明に係る画像処理装置が適用された立体撮像装置の実施の形態を示す斜視図である。図２は上記立体撮像装置の背面図である。この立体撮像装置１０（３Ｄデジタルカメラ）は、レンズを通った光を撮像素子で受け、デジタル信号に変換してメモリカード等の記録メディアに記録するデジタルカメラである。
【００３４】
図１に示すように、立体撮像装置１０は、その正面に撮影レンズ１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、３Ｄ表示用の３Ｄ液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。
【００３５】
撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体に向けてストロボ光を照射するものである。
【００３６】
シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。立体撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、立体撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「全押し」されることにより、撮影を実行する。
【００３７】
電源／モードスイッチ３は、立体撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、立体撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。立体撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
【００３８】
モードダイヤル４は、立体撮像装置１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、立体撮像装置１０の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体画像（３Ｄ画像）の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。
【００３９】
３Ｄ液晶モニタ３０は、立体画像（左目画像及び右目画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が３Ｄ液晶モニタ３０に入力された場合には、３Ｄ液晶モニタ３０のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像やユーザインターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。尚、３Ｄ液晶モニタ３０の形態はこれに限らず、左目画像及び右目画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左目画像と右目画像とを個別に見ることができるものでもよい。
【００４０】
ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。立体撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。
【００４１】
十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。
【００４２】
ＭＥＮＵ／ＯＫボタン７は、３Ｄ液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。
【００４３】
再生ボタン８は、撮影記録した立体画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を３Ｄ液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。
【００４４】
ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
【００４５】
［撮影光学系、撮像素子の構成例］
撮影レンズ１２は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。撮影モード時において、被写体を示す画像光は、撮影レンズ１２を介して撮像素子１６の受光面に結像される。
【００４６】
図３は撮像素子１６の構成例を示す図である。
【００４７】
撮像素子１６は、視差を有する画像（複数の視点画像）検出用のＣＣＤイメージセンサとして構成されており、それぞれマトリクス状に配列された奇数ラインの画素（主画素、Ａ面画素ともいう）と、偶数ラインの画素（副画素、Ｂ面画素ともいう）とを有し、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号（複数の視点画像）は、独立して読み出すことができるようになっている。
【００４８】
図３に示すように撮像素子１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
【００４９】
図４は位相差イメージセンサとして機能する撮像素子１６の要部拡大図である。
【００５０】
図４（ａ）に示すように撮像素子１６の主画素のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設され、一方、図４（ｂ）に示すように副画素のフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ、及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有し、図４（ａ）に示すように遮光部材１６Ａは、主画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、主画素には、撮影レンズ１２の射出瞳を通過する光束の光軸の左側のみが受光される。また、図４（ｂ）に示すように遮光部材１６Ｂは、副画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、副画素には、撮影レンズ１２の射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ主画素、副画素に入射する。
【００５１】
また、撮影レンズ１２の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている部分は、撮像素子１６上の同じ位置に結像するが、前ピン又は後ピンの部分は、それぞれ撮像素子１６上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目画像、右目画像）として取得することができる。尚、この実施の形態の撮像素子１６は、ＣＣＤイメージセンサであるが、これに限らず、ＣＭＯＳ型のイメージセンサでもよい。
【００５２】
［立体撮像装置の内部構成］
図５は上記立体撮像装置１０の内部構成の実施形態を示すブロック図である。この立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００５３】
立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、３Ｄ液晶モニタ３０の表示制御などを行う。操作部３８には、視差補正をユーザ設定するための視差量設定部が設けられている。
【００５４】
電源／モードスイッチ３により立体撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、立体撮像装置１０の駆動が開始される。
【００５５】
撮影レンズ１２は、多数のレンズから構成される撮像光学系である。絞り１４は、例えば、５枚の絞り羽根からなり、絞り駆動部３４によって、例えば、絞り値（Ｆ値）をＦ２〜Ｆ８まで連続的又は段階的に絞り制御される。撮影レンズ１２、絞り１４等を通過した光束は撮像素子１６に結像され、撮像素子１６には信号電荷が蓄積される。撮像素子１６に蓄積された信号電荷は、撮像素子制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１６から読み出された電圧信号は、アナログ信号処理部１８に加えられる。
【００５６】
アナログ信号処理部１８は、撮像素子１６から出力された電圧信号に対して相関二重サンプリング処理（撮像素子１６の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子１６の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００５７】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、エッジ強調処理等の所定の信号処理を行う。
【００５８】
ここで、撮像素子１６の奇数ラインの主画素から読み出される主画像データは、左目画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右目画像データとして処理される。
【００５９】
デジタル信号処理部２４で処理された左目画像データ及び右目画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。
【００６０】
ＶＲＡＭ５０から読み出された３Ｄ画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている３Ｄ液晶モニタ３０に出力され、これにより３Ｄの被写体像が連続的に３Ｄ液晶モニタ３０の表示画面上に表示される。
【００６１】
操作部３８のシャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
【００６２】
ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左目画像及び右目画像の少なくとも一方の画像のうちの所定のフォーカス領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左目画像及び右目画像のうちの所定のフォーカス領域内の主画素、副画素に対応する画像の位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００６３】
ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
【００６４】
また、シャッタボタン２の半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００６５】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影ＥＶ値に基づいて絞り１４のＦ値及び撮像素子１６の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。
【００６６】
尚、図５において、符号４６を付した要素は、撮影画角内の人物の顔を検出し、その顔を含むエリアをＡＦエリア、ＡＥエリアとして設定するための公知の顔検出回路である（例えば、特開平９−１０１５７９号公報を参照）。
【００６７】
また、符号４７を付した要素は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルの他に、本発明に係る左目画像及び右目画像の立体感を補正（視差補正）するための画像処理プログラム、フィルタ係数算出用の計算式又はルックアップテーブル、視差や視差強調の度合いに応じた計算式のパラメータ、又はルックアップテーブルを決定するための情報が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。尚、本発明に係る画像処理プログラム等の詳細については後述する。
【００６８】
シャッタボタン２の半押しによりＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
【００６９】
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、本発明に係る視差補正及びエッジ強調の画像処理、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所
定の信号処理が行われ、ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。
【００７０】
メモリ４８に記憶された２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。
【００７１】
尚、立体撮像装置１０は、立体画像（３Ｄ画像）のみでなく、平面画像（２Ｄ画像）の取得も可能である。
【００７２】
［視差補正の原理］
次に、本発明に係る画像処理方法における視差補正の原理について説明する。
【００７３】
図６は、撮像素子１６によって瞳分割の撮像により生成された視点の異なる左目画像６０Ｌ及び右目画像６０Ｒの例を示す。符号６１は近距離の物体像、符号６２は中距離の物体像、符号６３は遠距離の物体像である。左目画像６０Ｌと右目画像６０Ｒとの間における同じ符号の物体像の視差方向（図中の左右方向である）のずれ量（符号６１の物体像同士の視差方向のずれ量、符号６２の物体像同士の視差方向のずれ量、符号６３の物体像同士の視差方向のずれ量）が現実の視差に相当する。
【００７４】
大まかな流れは、次の［１］視差計測、及び［２］視差補正である。
【００７５】
［１］視差計測：取得された複数の視点画像（瞳分割方式の撮像により生成された視点の異なる左目画像６０Ｌ及び右目画像６０Ｒ）間で、相関演算によりブロックマッチングを行って、視差（「視差量」ともいう）を算出する。
【００７６】
［２］視差補正：複数の視点画像（左目画像６０Ｌ及び右目画像６０Ｒ）の算出された視差と、その算出された視差に対応する視差補正情報とに基づいて、算出された視差を実際の物体像の視差方向のずれ量分（現実の視差）に補正する。
【００７７】
視差計測の方法として、相関法が知られている。例えばｘ方向に１５pixel、y方向に１pixelであるようなカーネルをスキャンし、最も画素値の差分の２乗和が小さい箇所を見つけることによりマッチングを行うことができる。視差の計測結果は、遠いほど明るく近いほど暗いようなモノクロ画像（距離画像）で表現することができる。サブピクセル単位での視差の測定も可能であり、詳細な方法については新井らによる「画像のブロックマッチングにおける相関関数とサブピクセル推定方式の最適化(情報処理学会研究報告、巻:2004、号:40(CVIM-144)、頁:33-40)」などに記載されている。
【００７８】
視差計測においては、一般に、ブロックマッチングを行い相関を用いて算出した視差の値と人が感じる視差の値とで若干の差異がある、という問題がある。
【００７９】
この問題について、図７〜図１２を用いて説明する。
【００８０】
図７に示すようにジャスピン位置よりも近い位置に存在する点光源を、撮像素子１６で瞳分割方式により撮像した場合、その撮像素子１６の撮像面１６Ｃには、円形状のぼけた点光源の光像が与えられる。
【００８１】
もしも、図８に示すように、従来の撮像素子９６により通常の撮像（非瞳分割方式の撮像）で点光源を撮像した場合には、撮像面に与えられた通り、円形状のぼけた点光源像として写される。
【００８２】
しかし、図９に示すように、本例の撮像素子１６で瞳分割方式の撮像を行った場合には、半月形状のぼけた点光源像として写される。図１０は、ジャスピン位置よりも近い位置に存在する点光源を瞳分割方式で撮像して得られた左目画像７１Ｌ及び右目画像７１Ｒの例を示す。図１１は、ジャスピン位置よりも遠い位置に存在する点光源を瞳分割方式で撮像して得られた左目画像７２Ｌ及び右目画像７２Ｒの例を示す。
【００８３】
ここで、図１０に示した場合（ジャスピン位置よりも近い点光源を瞳分割方式で撮像した場合）を例に、図１２を用いて、相関により算出された視差と、人が感じる視差とを対比して問題点を説明する。
【００８４】
図１２に示すように、もしも点光源がジャスピン位置に存在している場合には、符号１２Ａで示すように理想的なパルス形状の画像信号が得られるが、点光源がジャスピン位置よりも近くに存在している場合には、符号１２Ｂで示すように視差がある左目画像７１Ｌ及び右目画像７１Ｒが得られる。
【００８５】
仮に、ブロックマッチングを行って視差を算出し、その算出された視差の分だけ右目画像７１Ｒをｘ軸方向において移動させたとする。そうすると、符号１２Ｃで示すように、左目画像７１Ｌの画素値のピーク位置と右目画像７１Ｒの画素値のピーク位置とが不一致となる場合がある。即ち、符号１２Ｄで示すように左目画像７１Ｌの画素値のピーク位置と右目画像７１Ｒの画素値のピーク位置とが一致するとは、限らない。これは、ブロックマッチングを行って相関により算出した視差（算出視差）と、人が感じる視差（ピーク位置のずれ量によって示される物体像の視差方向のずれ量）とに、若干の違いがあることを意味する。
【００８６】
しかし、もしもピーク位置のずれ量を画像処理により演算で検出しようとすると、現実の撮影シーンに点光源が必ず存在するわけではなく、視差の検出が困難な場合があるため、実際には、ブロックマッチングを行って相関により視差を算出する方が好ましい。
【００８７】
そうすると、符号８０で示すように、計測結果である算出視差（視差量）を入力パラメータとして、その算出視差を補正するための補正量（符号１２Ｃのずれ量ｄである）を出力するような、ルックアップテーブル（又は計算式）を用いることが、好ましい。
【００８８】
尚、図１２には、算出視差とその算出視差の補正量（算出視差とピーク位置のずれ量との差分）との対応関係を表す視差補正情報（ルックアップテーブル又は計算式）を用いる場合を例に説明したが、この視差補正情報は、算出視差とピーク位置のずれ量（現実の物体像の視差方向のずれ量である）との対応関係を間接的に表しているということもできる。算出視差とピーク位置のずれ量との対応関係を直接的に表した視差補正情報（ルックアップテーブル又は計算式）を用いるようにしてもよい。
【００８９】
図１３は、本実施形態におけるＣＰＵ４０及びメモリ４８（記憶手段）の機能的な内部構成例を示すブロック図である。
【００９０】
図１３において、メモリ４８は、瞳分割により点光源を撮像して生成された複数の視点の点光源画像における、点光源画像間の相関により算出された視差（算出視差）と、点光源画像間の画素値のピーク位置のずれ量（現実の物体像の視差方向のずれ量）との関係を表す視差補正情報を、記憶する。言い換えると、視差補正情報は、瞳分割により任意の被写体を撮像して生成される複数の視点画像の視点画像間の算出視差と、複数の視点画像の視点画像間における画素値のピーク位置のずれ量（現実の物体像の視差方向のずれ量）との関係を表す。
【００９１】
以下では、本例のメモリ４８は、視差補正情報として、算出視差と補正量ｄ（算出視差とピーク位置のずれ量との差分）とを対応付けたルックアップテーブル（または関数の計算式）を、記憶する。
【００９２】
ＣＰＵ４０は、撮像素子１６によって瞳分割方式の撮像で生成された複数の視点画像における視点画像間の視差（算出視差）を、相関で算出する視差算出手段４０ａと、視差算出手段４０ａによって算出された算出視差と、メモリ４８に記憶されている視差補正情報とに基づいて、算出視差をピーク位置のずれ量（現実の物体像の視差方向のずれ量）分に補正する視差補正手段４０ｂと、視差補正手段４０ｂによって補正された複数の視点画像の視差を増加させる視差強調手段４０ｃを備える。本例の視差補正手段４０ｂは、相関で算出された算出視差を補正するための補正量を、メモリ４８に記憶されたルックアップテーブル（又は関数の計算式）に基づいて取得し、その取得した補正量に基づいて、算出視差をピーク位置のずれ量分に補正する。
【００９３】
尚、メモリ４８に、算出視差とピーク位置のずれ量とを直接的に対応付けたルックアップテーブル（または関数の計算式）を、視差補正情報として、記憶させてもよい。この場合、視差補正手段４０ｂは、視差補正情報に基づいて、算出視差を直接的にピーク位置のずれ量分に補正する。
【００９４】
以上のように、本実施形態の立体撮像装置１０は、複数の視点画像の視点画像間の第１の視差量（算出視差）を算出する第１の視差量算出手段（視差算出手段４０ａ）と、第１の視差量と、瞳分割の撮像に起因する複数の視点画像の視点画像間の対応する現実の物体像の視差方向のずれ量との関係を表す視差補正情報が記憶された記憶手段（メモリ４８）と、第１の視差量と記憶手段（メモリ４８）に記憶されている視差補正情報とに基づいて、第１の視差量を現実の物体像の視差方向のずれ量分に補正した第２の視差量を算出する第２の視差量算出手段（視差補正手段４０ｂ）と、第２の視差量算出手段（視差補正手段４０ｂ）によって算出された複数の視点画像の第２の視差量を増加させる視差強調手段４０ｃを備える。
【００９５】
尚、本例では、相関法の演算処理により視点画像間のマッチング（対応関係の取得）を行って第１の視差量を算出しているが、本発明は、相関法以外の演算処理を用いて視点画像間の特徴点同士のマッチングを行い第１の視差量を算出する場合を含む。また、本例では、第１の視差量をピーク位置のずれ量分に補正するが、本発明は、ピーク位置のずれ量以外の現実の物体像の視差方向のずれ量を示す情報として第２の視差量を算出する場合を含む。
【００９６】
視点画像間のマッチングの他の実施例として、ＫＬＴ(Kanade Lucas Tomasi)法、ＳＩＦＴ（Scale-Invariant Feature Transform）法などのマッチングが挙げられる。ＫＬＴ法やＳＩＦＴ法を用いた場合、複数の視点画像からマッチングに適した特徴点を抽出し、視点画像間で特徴点同士のマッチングを行う。ＫＬＴ法は、画像全体の明るさにギャップがある場合、相関法よりもロバスト性が高い。ＳＩＦＴ法は、処理時間がかかるものの、画像の回転や拡縮にも対応可能という長所をもつ。よって、処理速度や、撮像シーンの多様性などに応じて、適切な演算方法を選択することが、好ましい。ＫＬＴ法やＳＩＦＴ法を用いた場合でも、視点画像間の特徴点同士のマッチングの演算処理により算出された算出視差と、現実の物体像の視差方向のずれ量とでは、差異が生じるので、本発明を適用し、算出視差を現実の物体像の視差方向のずれ量分に補正することが、好ましい。
【００９７】
［相関の例］
相関で用いる関数として、例えば、２乗和（ＳＳＤ）がある。即ち、両視点画像のブロック間の一致度の評価値を、左目画像の注目ブロックの各画素値Ｌ（i,j）と右目画像の注目ブロックの各画素値Ｒ（i,j）との差の２乗和Σ｛Ｌ（i,j）−Ｒ（i,j））｝２として、算出する。本例では、ブロック間の一致度の評価値である２乗和が小さいほど、ブロック間の一致度が高いことを示す。
【００９８】
尚、一致度の評価値の算出は、２乗和（ＳＳＤ）に限定されない。例えば、総和（ＳＡＤ）、相互相関（ＣＣ）、正規化相互相関（ＮＣＣ）、などが挙げられる。
【００９９】
本発明における相関は、上記の例には限定されない。複数の視点画像間でブロックマッチングを行って画像間の相関関係をピクセル又はサブピクセル単位で解析することで視差を算出する様々な方法（相関法）を用いることができる。
【０１００】
［算出視差と補正量との対応関係］
図１４は、ジャスピン位置よりも近く且つ立体撮像装置１０からの距離が異なる複数の位置に点光源を置き、各位置で瞳分割方式により点光源を撮像して得られた複数の視点画像（複数の視点の点光源画像）の例を示す。本例では、ジャスピン位置よりも近い位置に点光源を置いているので、立体撮像装置１０に近いほど、算出視差が大きくなり、点光源のボケ形状が大きくなる。第１の複数視点画像（第１の左目画像１０１Ｌ及び第１の右目画像１０１Ｒ）は、算出視差が２．６４ピクセルであり、画素値のピーク位置のずれ量が２．７８ピクセルであり、視差補正量が０．１４ピクセルであった。第２の複数視点画像（第２の左目画像１０２Ｌ及び第２の右目画像１０２Ｒ）は、算出視差が４．６６ピクセルであり、画素値のピーク位置のずれ量が４．８９ピクセルであり、視差補正量が０．２３ピクセルであった。第３の複数視点画像（第３の左目画像１０３Ｌ及び第３の右目画像１０３Ｒ）は、算出視差が７．９０ピクセルであり、画素値のピーク位置のずれ量が８．１９ピクセルであり、視差補正量が０．２９ピクセルであった。
【０１０１】
ここで、算出視差は、左目画像中の点光源の像の位置と右目画像中の点光源の像の位置とのずれ量を示す視差であって、左目画像中の点光源の像と右目画像中の点光源の像との相関により算出された視差である。画素値のピーク位置のずれ量（現実の物体像の視差方向のずれ量）は、左目画像中の画素値のピーク位置と右目画像中の画素値のピーク位置とのずれ量であって、実際の点光源像のずれ量分を示す。視差補正量は、算出視差と画素値のピーク位置のずれ量との差分である。
【０１０２】
図１４に示したように、ジャスピン位置よりも近くに点光源を置いた場合、点光源を置いた位置が近いほど、算出視差が大きくなり、画像中の点光源の像のサイズが大きくなって、算出視差と画素値のピーク位置のずれ量との差分である視差補正量も大きくなる。尚、ジャスピン位置よりも遠くに点光源を置いた場合には、点光源を置いた位置が遠いほど、算出視差が大きくなり、画像中の点光源の像のサイズが大きくなって、算出視差と画素値のピーク位置のずれ量との差分である視差補正量も大きくなる。
【０１０３】
図１５は、算出視差と視差補正量との対応関係の例を示すグラフである。このグラフは、図１４を用いて説明したように、点光源を遠近が異なる複数の位置に置いて、その点光源を置いた各位置ごとに点光源を瞳分割方式で撮像し、相関により算出した視差（算出視差）と画素値のピーク位置のずれ量（現実の物体像の視差方向のずれ量）との差分である視差補正量を求めて、補間処理により、任意の視差ごとに視差補正量を示す情報として生成されたものである。
【０１０４】
図１４に示すように、相関で算出される視差（算出視差）に対して、視差補正量は、一定の相関関係を持つ。算出視差と視差補正量との関係は、予め実測して求めておき、ルックアップテーブル（ＬＵＴ）として記憶させておく。算出視差と視差補正量との関係を関数にしておき、相関で算出された視差をパラメータにして、視差補正量を算出してもよい。シミュレーションにより視差補正量を算出してもよい。また、算出視差と現実の物体像の視差方向のずれ量との直接的な関係をルックアップテーブル（ＬＵＴ）として記憶させておいてもよいし、算出視差と現実の物体像の視差方向のずれ量との直接的な関係を関数にしておいてもよい。
【０１０５】
本例では、複数の視点画像は、複数の光電変換素子が配列された撮像面１６Ｃを有する撮像素子１６によって瞳分割で撮像されており、メモリ４８は、撮像素子１６の撮像面１６Ｃにおける異なる位置ごとに視差補正情報を記憶し、視差算出手段４０ａ（第２の視差量算出手段）は、複数の視点画像内の位置に対応した撮像素子１６の撮像面１６Ｃの位置ごとの視差補正情報をメモリ４８から取得し、その取得した視差補正情報に基づいて算出視差を補正する。
【０１０６】
［色チャネルと視差補正量との関係］
図１６は、色チャネルごとの算出視差と視差補正量との対応関係の例を示すグラフである。図１６に示すように、色チャネルごとに、算出視差と視差補正量との対応関係は異なる。
【０１０７】
ここで、色チャネルは、撮像素子１６の画素が備えたカラーフィルタの各色（Ｒ、Ｇ、Ｂ）に対応した、視点画像内の同色画素の系列である。
【０１０８】
撮像素子１６の撮像面１６Ｃに配列されたカラーフィルタ付き光電変換素子は一般にＲ、Ｇ、ＢのうちでＢ（青）の屈折率が最も高いので、撮像画像（複数の視点画像）においてＢチャネル（Ｂ画素系列）でのボケ形状のサイズが、Ｒチャネル、Ｇチャネルでのボケ形状のサイズと比較して、大きくなる。よって、色チャネルごと（Ｒ，Ｇ，Ｂごと）に算出視差と画素値のピーク値のずれ量との差分（視差補正量）を算出すると、算出される差分（視差補正量）の絶対値は一般にＲ＜Ｇ＜Ｂになる。
【０１０９】
そこで、本例のメモリ４８は、色チャネルごとに、視差補正量を出力するためのルックアップテーブル（又は関数）を記憶する。視差補正量は、色チャネルごとに相関で算出された点光源の視差（算出視差）と、色チャネルごとに算出された画素値のピーク位置のずれ量（現実の物体像の視差方向のずれ量）との差分である。つまり、メモリ４８は、複数の視点画像を撮像する撮像素子１６の画素の色（フォトダイオードＰＤが備えたカラーフィルタの色である）ごとに、ルックアップテーブル（又は関数）を、記憶する。
【０１１０】
本例の視差補正手段４０ｂは、色チャネルごとに、相関で算出された点光源の視差（算出視差）と画素値のピーク位置のずれ量（現実の物体像の視差方向のずれ量）との差分（視差補正量）をメモリ４８から取得し、その取得した差分に基づいて、色チャネルごとに、複数の視点画像における視差（算出視差）を補正する。
【０１１１】
これにより、色チャネルごとに屈折率が異なっても、適切な補正量で視差を補正することができる。
【０１１２】
尚、本例は、上記のように色チャネルごとに視差補正を行う場合には限定されず、輝度との相関が最も大きいＧチャネルの情報（算出視差と現実の物体像の視差方向のずれ量との対応関係）をメモリ４８に予め記憶させておき、そのＧチャネルの情報に基づいて、他の色チャネルの視差補正を行ってもよい。
【０１１３】
［画面内の位置と視差補正量との関係］
図１７は、画面内の位置と算出視差とピーク位置のずれ量との関係の説明に用いる説明図であって点光源を瞳分割で撮像して得られた左目画像及び右目画像を示す説明図である。図１８は、画面内の位置（中心、端）ごとの算出視差と視差補正量との対応関係の例を示すグラフである。
【０１１４】
ここで、画面内の位置は、撮像素子１６の光電変換素子が配列された撮像面１６Ｃに対応した画面であって、撮像画像（視点画像）の全領域に相当する画面である。
【０１１５】
撮像素子１６の撮像面１６Ｃに配列された光電変換素子（フォトダイオードＰＤ）は、撮像面の中心と端とで光の入射角度が異なる。従って、一般に、撮像素子１６の撮像面１６Ｃに対応した撮像画像の全領域のうち、中心位置での点光源の像のボケ形状と、左右の両端位置での点光源のボケ形状とでは、異なる。
【０１１６】
そこで、本例のメモリ４８は、画面内の位置ごとに、視差補正量を出力するルックアップテーブル（又は関数）を記憶する。つまり、メモリ４８は、複数の視点画像を撮像する撮像素子１６の撮像面における異なる位置ごとに、ルックアップテーブル（又は関数）を記憶する。視差補正量は、画面の位置ごとに相関で算出された点光源の視差（算出視差）と、画面の位置ごとに算出された画素値のピーク位置のずれ量（現実の物体像の視差方向のずれ量）との差分である。つまり、メモリ４８は、撮像画像の全領域における所定の位置ごとに、視差補正量を、記憶する。ここで、所定の位置とは、画面内の２箇所以上の位置であればよい。例えば、画面の中心の位置における視差補正量と、左右の両端の位置における視差補正量のみを、メモリ４８に記憶してもよい。
【０１１７】
本例の視差補正手段４０ｂは、画面内の位置ごとの視差補正量をメモリ４８から読み出し、その読み出した差分に基づいて、画面内の位置ごとに複数の視点画像における算出視差を補正する。
【０１１８】
これにより、撮像素子１６の撮像面１６Ｃ内の位置に応じて光の入射角度が異なることで、撮像画像に対応した画面内の位置に応じてボケ形状が異なっても、適切な補正量で視差を補正することができる。
【０１１９】
尚、図１８では、画面中心と画面端とのみを例示したが、画面内の位置の個数は特に限定されない。精度を向上させるために、視差補正量を画面内の多数（例えば１６箇所）の位置のそれぞれの位置ごとに、ルックアップテーブルまたは関数で管理してよい。
【０１２０】
また、視差補正量の管理及び補正を簡単な処理で行うために、画面内を左右方向に短冊状の複数の領域に分割して、いずれの領域であるかによって視差補正量を切り換えてもよい。ただし、補正の精度を向上させる観点から、画面内の左右方向のいずれの位置であるかによって、滑らかに視差補正量を切り換えることが、好ましい。
【０１２１】
［絞値（Ｆ値）との関係］
また、視差補正をＦ値によって変更することが、好ましい。この場合、メモリ４８は、視差補正量を、撮影光学系１１のＦ値ごとに記憶し、視差補正手段４０ｂは、撮影光学系１１を用いて複数の視点画像を撮像したときのＦ値をパラメータとして、メモリ４８から視差補正量を読み出し、その読み出された視差補正量に基づいて、複数の視点画像における算出視差を補正するようにしてもよい。
【０１２２】
［視差強調］
図１９は、視差強調をおこなう場合の画像処理例の流れを示すフローチャートである。
【０１２３】
尚、メモリ４８に、予め、瞳分割で点光源を撮像して得られる複数視点の点光源画像（左目画像、右目画像）における、相関で算出された点光源の視差と画素値のピーク位置のずれ量との差分を、点光源の視差ごとに視差補正量として記憶させておく。
【０１２４】
まず、瞳分割で任意の被写体が撮像されている複数の視点画像（左目画像、右目画像）を取得する（ステップＳ１１）。ここで、複数の視点画像は、被写体として点光源を含まないものとする。
【０１２５】
次に、取得された複数の視点画像における視差を相関で算出する（ステップＳ１２）。
【０１２６】
次に、複数の視点画像における相関で算出された視差に対応する視差補正量をメモリ４８から読み出し、その読み出した視差補正量に基づいて、複数の視点画像における前記相関で算出された視差を補正する（ステップＳ１３）。
【０１２７】
次に、補正された複数の視点画像の視差を増加させる視差強調を実行する（ステップＳ１４）。
【０１２８】
［多視点画像生成］
図２０は、多視点画像生成を行う場合の画像処理例の流れを示すフローチャートである。
【０１２９】
ステップＳ１１〜１４は、図１９の画像処理例と同じである。
【０１３０】
本例では、ステップＳ１５において、ステップＳ１３によって補正された複数の視点画像の視差に基づいて、ステップＳ１１で取得された複数の視点画像とは視点数が異なる多視点画像を生成する。
【０１３１】
［位相差ＡＦ］
図２１は従来の位相差ＡＦ（オートフォーカス）処理例の流れを示すフローチャートであり、図２２は本発明を適用した位相差ＡＦ処理例の流れを示すフローチャートである。
【０１３２】
図２１に示すように従来の位相差ＡＦ処理では、左右の位相差画素の信号を取得すると（ステップＳ２１）、相関によりデフォーカス量としての視差を求める（ステップＳ２２）。例えば、相関として、最小２乗法により、左右の位相差画素間の画素値の差分の２乗を所定の領域内で総和し、その総和が最小となる視差を正解のデフォーカス量とする。
【０１３３】
図２２に示すように本例の位相差ＡＦ処理では、左右の位相差画素の信号を取得すると（ステップＳ３１）、相関によりデフォーカス量としての視差を求めて一時的な正解とし（ステップＳ３２）、その一時的な正解をパラメータとしてメモリ４８内のルックアップテーブルを用いて視差補正量を算出し（ステップＳ３３）、ステップＳ３２で求めた一時的な正解に視差補正量を加えたものをデフォーカス量の正解とする（ステップＳ３４）。
【０１３４】
以上説明したように、本発明に係る画像処理方法は、瞳分割方式の撮像により生成された視点の異なる複数の視点画像を取得するステップと、複数の視点画像の視点画像間の第１の視差量を算出するステップと、第１の視差量と、瞳分割方式の撮像に起因する複数の視点画像の視点画像間の対応する現実の物体像の視差方向のずれ量との関係を表す視差補正情報を予めメモリ４８に記憶させておき、第１の視差量とメモリ４８に記憶されている視差補正情報とに基づいて、第１の視差量を現実の物体像の視差方向のずれ量分に補正した第２の視差量を算出するステップを備える。
【０１３５】
尚、図２１及び図２２では、本発明の理解を容易にするため、デフォーカス量を求めるまでの流れを示したが、実際には、算出したデフォーカス量に基づいて、撮影光学系１１のフォーカスレンズを撮影光学系１１の光軸方向に移動させることで、フォーカスレンズを目的の被写体に合焦させる処理も行う。
【０１３６】
以上、立体撮像装置（デジタルカメラ）１０を例に携帯型電子機器を説明してきたが、携帯型電子機器の構成はこれに限定されない。本発明を適用するその他の携帯型電子機器としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
【０１３７】
本発明に係る携帯型電子機器の第２の実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０１３８】
＜スマートフォンの構成＞
図２３は、本発明に係る携帯型電子機器の他の実施形態であるスマートフォン５００の外観を示すものである。図２３に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１３９】
図２４は、図２３に示すスマートフォン５００の構成を示すブロック図である。図２４に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０１４０】
無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１４１】
表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆる操作パネルであって、表示パネル５２１と、操作パネル５２２とを備える。
【０１４２】
表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【０１４３】
図２３に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１４４】
なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１４５】
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図２３に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載してもよい。また、マイクロホン５３２を筐体５０２の側面に搭載することができる。
【０１４６】
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２３に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１４７】
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０１４８】
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標）)、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１４９】
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【０１５０】
ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０１５１】
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
【０１５２】
電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１５３】
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１５４】
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【０１５５】
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【０１５６】
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０１５７】
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１５８】
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１５９】
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御する操作パネル制御機能を備える。
【０１６０】
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１６１】
カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図２３に示すスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
【０１６２】
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１６３】
その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。
【０１６４】
なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０１６５】
１０…立体撮像装置（画像処理装置）、１２…撮影レンズ、１６…撮像素子、３０…ＬＣＤ、４０…ＣＰＵ、４０ａ…視差算出手段、４０ｂ…視差補正手段、４０ｃ…視差強調手段、４２…ＡＦ処理部、４８…メモリ、５００…スマートフォン
【図１】
2013146996.tif 000003
【図２】
2013146996.tif 000004
【図３】
2013146996.tif 000005
【図４】
2013146996.tif 000006
【図５】
2013146996.tif 000007
【図６】
2013146996.tif 000008
【図１２】
2013146996.tif 000009
【図１３】
2013146996.tif 000010
【図１５】
2013146996.tif 000011
【図１６】
2013146996.tif 000012
【図１８】
2013146996.tif 000013
【図１９】
2013146996.tif 000014
【図２０】
2013146996.tif 000015
【図２１】
2013146996.tif 000016
【図２２】
2013146996.tif 000017
【図２３】
2013146996.tif 000018
【図２４】
2013146996.tif 000019
【図７】
2013146996.tif 000020
【図８】
2013146996.tif 000021
【図９】
2013146996.tif 000022
【図１０】
2013146996.tif 000023
【図１１】
2013146996.tif 000024
【図１４】
2013146996.tif 000025
【図１７】
2013146996.tif 000026
【国際調査報告】
2013146996.tif 000027
2013146996.tif 000028