(57)【要約】【課題】左右の視点から撮影して得られた左右画像の双方でピント位置が合っていない場合であっても、違和感のない立体画像を提供する。【解決手段】視差を有する画像の対からなる立体画像を入力する立体画像入力手段と、前記立体画像の対応点周辺のＡＦ情報を保持するＡＦ情報保持手段と、前記対をなす各々の画像のコントラストを算出するコントラスト算出手段と、前記各々の画像の視差量を算出する視差量算出手段と、前記視差量に応じて前記各々の画像のコントラストが等しくなるように画質調整する画質調整手段と、を備え、前記ＡＦ情報から得られる前記対をなす各々の画像の対応する点の合焦位置の相違を表す量が所定量以内の場合には、該画像の対応する点の視差量を０とするようにしたことを特徴とする画像処理装置を提供することにより前記課題を解決する。【選択図】図６
2012044319.tif 000002
【特許請求の範囲】
【請求項１】
視差を有する画像の対からなる立体画像を入力する立体画像入力手段と、
前記立体画像の対応点周辺のＡＦ情報を保持するＡＦ情報保持手段と、
前記対をなす各々の画像のコントラストを算出するコントラスト算出手段と、
前記各々の画像の視差量を算出する視差量算出手段と、
前記視差量に応じて前記各々の画像のコントラストが等しくなるように画質調整する画質調整手段と、
を備え、前記ＡＦ情報から得られる前記対をなす各々の画像の対応する点の合焦位置の相違を表す量が所定量以内の場合には、該画像の対応する点の視差量を０とするようにしたことを特徴とする画像処理装置。
【請求項２】
前記画質調整手段は、前記コントラストが低い方の画像を前記コントラストが高い方の画像に合わせるように画質調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、さらに、前記視差量に応じた理想的なコントラスト状態を設定する理想的コントラスト状態設定手段を備え、前記画質調整手段は、前記各々の画像のコントラスト状態を前記理想的なコントラスト状態に近づけるように画質調整することを特徴とする画像処理装置。
【請求項４】
前記視差量算出手段は、前記各々の画像の１画素毎に視差量を算出し、前記画質調整手段は、前記視差量に応じて前記各々の画像の１画素毎に画像のコントラストが等しくなるように画質調整することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
請求項１〜３のいずれかに記載の画像処理装置であって、さらに、前記各々の画像においてそれぞれ対応する特徴点を検出する特徴点検出手段を備え、前記視差量算出手段は前記特徴点の視差量を算出すると共に、前記画質調整手段は前記特徴点の画質調整量を算出することを特徴とする画像処理装置。
【請求項６】
請求項１〜３のいずれかに記載の画像処理装置であって、さらに、前記各々の画像においてオブジェクト認識する手段を備え、前記画質調整手段は、前記認識されたオブジェクト毎に画質調整量を算出することを特徴とする画像処理装置。
【請求項７】
視差を有する画像の対からなる立体画像を入力する立体画像入力工程と、
前記立体画像の対応点周辺のＡＦ情報を保持するＡＦ情報保持工程と、
前記対をなす各々の画像のコントラストを算出するコントラスト算出工程と、
前記各々の画像の視差量を算出する視差量算出工程と、
前記視差量に応じて前記各々の画像のコントラストが等しくなるように画質調整する画質調整工程と、
を備え、前記ＡＦ情報から得られる前記対をなす各々の画像の対応する点の合焦位置の相違を表す量が所定量以内の場合には、該画像の対応する点の視差量を０とするようにしたことを特徴とする画像処理方法。
【請求項８】
前記画質調整工程は、前記コントラストが低い方の画像を前記コントラストが高い方の画像に合わせるように画質調整することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
請求項７に記載の画像処理方法であって、さらに、前記視差量に応じた理想的なコントラスト状態を設定する理想的コントラスト状態設置工程を備え、前記画質調整工程は、前記各々の画像のコントラスト状態を前記理想的なコントラスト状態に近づけるように画質調整することを特徴とする画像処理方法。
【請求項１０】
前記視差量算出工程は、前記各々の画像の１画素毎に視差量を算出し、前記画質調整工程は、前記視差量に応じて前記各々の画像の１画素毎に画像のコントラストが等しくなるように画質調整することを特徴とする請求項７〜９のいずれかに記載の画像処理方法。
【請求項１１】
請求項７〜９のいずれかに記載の画像処理方法であって、さらに、前記各々の画像においてそれぞれ対応する特徴点を検出する特徴点検出工程を備え、前記視差量算出工程は前記特徴点の視差量を算出すると共に、前記画質調整工程は前記特徴点の画質調整量を算出することを特徴とする画像処理方法。
【請求項１２】
請求項７〜９のいずれかに記載の画像処理方法であって、さらに、前記各々の画像においてオブジェクト認識する手段を備え、前記画質調整工程は、前記認識されたオブジェクト毎に画質調整量を算出することを特徴とする画像処理方法。
【請求項１３】
視差を有する画像の対からなる立体画像を取得する２つ以上の撮像部と、前記２つ以上の撮像部のそれぞれについてピントを合わせる手段と、を備えた立体撮像装置であって、請求項１〜６のいずれかに記載の画像処理装置を備えたことを特徴とする立体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び立体撮像装置に関し、特に、互いに視差を有する複数の画像のそれぞれに対して画質調整を施す画像処理装置と、このような画像処理装置を備え複数の視点に対応する複数の画像を撮像する画像処理装置、画像処理方法及び立体撮像装置に関する。
【背景技術】
【０００２】
従来、立体撮像装置は、左右に視差をもって並べられた２つの撮像部を使って同一被写体を左右の視点から撮影し、左眼用画像と右眼用画像とをそれぞれ取得するようにしている。このようにして取得された左眼用画像及び右眼用画像は、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。
【０００３】
しかし、左右の視点から撮影した画像は視差があり、画角が全く同じではないため、一方のみ主要被写体にピントが合っていない画像が取得されることがある。その場合、立体視すると、双方の主要被写体のピント感の違いにより、不自然な画像になってしまう。
【０００４】
このように、左右の視点から撮影して得られた左眼用画像と右眼用画像について、左眼で左眼用画像を観察し、同時に右眼で右眼用画像を観察することにより、左右両画像を融合して立体画像として観察する場合に、例えば左右画像で視差があまり大きいと左右画像を融合することができず違和感や疲労を感じてしまう。
【０００５】
このような問題に対して、従来様々な提案がなされている。
【０００６】
例えば、特許文献１においては、左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出し、抽出した左右の対象領域のいずれかの目立たない方の領域を排除領域として抽出し、この排除領域に対してそれ以外の領域よりも目立たなくさせる加工を施すようにすることが記載されている。ここで、目立たなくさせる加工とは、ぼかす加工、コントラストを低くする加工、彩度または明度を下げる加工、色相を寒色系に近づける加工、排除領域の色相、彩度または明度をその他の領域の色相、彩度または明度に近づける加工であるとされている。
【０００７】
また、特許文献２においては、複数の撮像部で各受光レンズの個体差等によってピント位置が異なり、わずかに倍率が異なるような場合に、画像の倍率を補正することが記載されている。
【０００８】
また、特許文献３においては、２つの撮像系を備えた複眼カメラであって、外部から受信した制御情報に基づき、複眼カメラ本体内の相対する合焦機構の２つの合焦状態が一致するように制御する制御手段を有する複眼カメラが記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−４２２９８号公報
【特許文献２】特開２００１−１４８８６６号公報
【特許文献３】特開平１１−１４６４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献１に記載のものでは、融合点自体のピントが合っていない場合が考慮されておらず、立体視した際に違和感が生じてしまい、また、上記特許文献２に記載のものでは、左右の画像でピントが合っていないため、違和感が解消されないという問題がある。またさらに、上記特許文献３に記載のものでは、左右の撮像系には視差があるため、必ずしも同じ合焦状態とすることができない虞がある。
【００１１】
また、例えば、図１５に示すように、複数の被写体を撮影する場合に、カメラ（撮像装置）からの距離（被写体奥行方向の距離）が同じであっても、左側撮像部１１２Ｌ及び右側撮像部１１２Ｒそれぞれからの距離が微妙に異なる場合がある。このとき、主要被写体に対する、左側撮像部１１２Ｌの被写体面及び右側撮像部１１２Ｒの被写体面のなす角度が大きく変わる場合には、視差が発生してしまう。
【００１２】
その結果、図１６に示すように、主要被写体の左右の被写体Ａ、Ｂは、カメラからの距離は同じなので、本来はボカさなくて良いのにもかかわらず、ボケてしまうという問題がある。
【００１３】
本発明は、このような事情に鑑みてなされたもので、左右の視点から撮影して得られた左右画像の双方でピント位置が合っていない場合であっても、違和感のない立体画像を提供することのできる画像処理装置、画像処理方法及び立体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
前記目的を達成するために、請求項１に記載の発明は、視差を有する画像の対からなる立体画像を入力する立体画像入力手段と、前記立体画像の対応点周辺のＡＦ情報を保持するＡＦ情報保持手段と、前記対をなす各々の画像のコントラストを算出するコントラスト算出手段と、前記各々の画像の視差量を算出する視差量算出手段と、前記視差量に応じて前記各々の画像のコントラストが等しくなるように画質調整する画質調整手段と、を備え、前記ＡＦ情報から得られる前記対をなす各々の画像の対応する点の合焦位置の相違を表す量が所定量以内の場合には、該画像の対応する点の視差量を０とするようにしたことを特徴とする画像処理装置を提供する。
【００１５】
これにより、左右の画像で主要被写体のピント状態に差があったとしても、コントラストを互いに等しくすることで違和感なく立体視することが可能な立体画像を得ることができる。また、左右の画像で対応する点の合焦位置の差分や比等の相違を表す量（比の場合には比の１からのずれ）が所定量以内であれば同じ距離と見做して、視差を０として扱うようにすることで、カメラから同じ距離であってもぼかしてしまうということがない。
【００１６】
また、請求項２に示すように、前記画質調整手段は、前記コントラストが低い方の画像を前記コントラストが高い方の画像に合わせるように画質調整することを特徴とする。
【００１７】
これにより、左右の画像で主要被写体のピント状態に差があっても、コントラストを互いに近づけることで違和感なく立体視できる立体画像を得ることが可能となる。
【００１８】
また、請求項３に示すように、請求項１に記載の画像処理装置であって、さらに、前記視差量に応じた理想的なコントラスト状態を設定する理想的コントラスト状態設定手段を備え、前記画質調整手段は、前記各々の画像のコントラスト状態を前記理想的なコントラスト状態に近づけるように画質調整することを特徴とする。
【００１９】
このように、左右の画像のコントラストを互いに理想のコントラスト状態に近づけることで破綻の少ない画像を生成することができる。
【００２０】
また、請求項４に示すように、前記視差量算出手段は、前記各々の画像の１画素毎に視差量を算出し、前記画質調整手段は、前記視差量に応じて前記各々の画像の１画素毎に画像のコントラストが等しくなるように画質調整することを特徴とする。
【００２１】
また、請求項５に示すように、請求項１〜３のいずれかに記載の画像処理装置であって、さらに、前記各々の画像においてそれぞれ対応する特徴点を検出する特徴点検出手段を備え、前記視差量算出手段は前記特徴点の視差量を算出すると共に、前記画質調整手段は前記特徴点の画質調整量を算出することを特徴とする。
【００２２】
また、請求項６に示すように、請求項１〜３のいずれかに記載の画像処理装置であって、さらに、前記各々の画像においてオブジェクト認識する手段を備え、前記画質調整手段は、前記認識されたオブジェクト毎に画質調整量を算出することを特徴とする。
【００２３】
また、同様に前記目的を達成するために、請求項７に記載の発明は、視差を有する画像の対からなる立体画像を入力する立体画像入力工程と、前記立体画像の対応点周辺のＡＦ情報を保持するＡＦ情報保持工程と、前記対をなす各々の画像のコントラストを算出するコントラスト算出工程と、前記各々の画像の視差量を算出する視差量算出工程と、前記視差量に応じて前記各々の画像のコントラストが等しくなるように画質調整する画質調整工程と、を備え、前記ＡＦ情報から得られる前記対をなす各々の画像の対応する点の合焦位置の相違を表す量が所定量以内の場合には、該画像の対応する点の視差量を０とするようにしたことを特徴とする画像処理方法を提供する。
【００２４】
これにより、左右の画像で主要被写体のピント状態に差があったとしても、コントラストを互いに等しくすることで違和感なく立体視することが可能な立体画像を得ることができる。また、左右の画像で対応する点の合焦位置の差分や比等の相違を表す量（比の場合には比の１からのずれ）が所定量以内であれば同じ距離と見做して、視差を０として扱うようにすることで、カメラから同じ距離であってもぼかしてしまうということがない。
【００２５】
また、請求項８に示すように、前記画質調整工程は、前記コントラストが低い方の画像を前記コントラストが高い方の画像に合わせるように画質調整することを特徴とする。
【００２６】
これにより、左右の画像で主要被写体のピント状態に差があっても、コントラストを互いに近づけることで違和感なく立体視できる立体画像を得ることが可能となる。
【００２７】
また、請求項９に示すように、請求項７に記載の画像処理方法であって、さらに、前記視差量に応じた理想的なコントラスト状態を設定する理想的コントラスト状態設置工程を備え、前記画質調整工程は、前記各々の画像のコントラスト状態を前記理想的なコントラスト状態に近づけるように画質調整することを特徴とする。
【００２８】
このように、左右の画像のコントラストを互いに理想のコントラスト状態に近づけることで破綻の少ない画像を生成することができる。
【００２９】
また、請求項１０に示すように、前記視差量算出工程は、前記各々の画像の１画素毎に視差量を算出し、前記画質調整工程は、前記視差量に応じて前記各々の画像の１画素毎に画像のコントラストが等しくなるように画質調整することを特徴とする。
【００３０】
また、請求項１１に示すように、請求項７〜９のいずれかに記載の画像処理方法であって、さらに、前記各々の画像においてそれぞれ対応する特徴点を検出する特徴点検出工程を備え、前記視差量算出工程は前記特徴点の視差量を算出すると共に、前記画質調整工程は前記特徴点の画質調整量を算出することを特徴とする。
【００３１】
また、請求項１２に示すように、請求項７〜９のいずれかに記載の画像処理方法であって、さらに、前記各々の画像においてオブジェクト認識する手段を備え、前記画質調整工程は、前記認識されたオブジェクト毎に画質調整量を算出することを特徴とする。
【００３２】
また、同様に前記目的を達成するために、請求項１３に記載の発明は、視差を有する画像の対からなる立体画像を取得する２つ以上の撮像部と、前記２つ以上の撮像部のそれぞれについてピントを合わせる手段と、を備えた立体撮像装置であって、請求項１〜６のいずれかに記載の画像処理装置を備えたことを特徴とする立体撮像装置を提供する。
【００３３】
これにより、左右の画像で主要被写体のピント状態に差があったとしても、コントラストを互いに近づけることで違和感なく立体視することが可能な立体画像を得ることができる。
【発明の効果】
【００３４】
以上説明したように、本発明によれば、左右の画像で主要被写体のピント状態に差があったとしても、コントラストを互いに近づけることで違和感なく立体視することが可能な立体画像を得ることができる。また、左右の画像で対応する点の合焦位置が所定量以内の差分であれば同じ距離と見做して、視差を０として扱うようにすることで、カメラから同じ距離であってもぼかしてしまうということがない。
【図面の簡単な説明】
【００３５】
【図１】本発明の画像処理装置を備えた立体撮像装置の一実施形態としてのデジタルカメラの一例の外観構成を示す正面斜視図である。
【図２】図１に示したデジタルカメラの背面斜視図である。
【図３】図１に示したデジタルカメラの概略構成を示すブロック図である。
【図４】本発明の概要を示す模式図である。
【図５】第１の実施形態における撮影状況を示す模式図である。
【図６】第１の実施形態におけるコントラスト制御の様子を示す模式図である。
【図７】第１の実施形態の処理を示すフローチャートである。
【図８】ぼかし量算出回路を示す概略構成図である。
【図９】ぼかし量算出回路でぼかし量を算出する様子を示す模式図である。
【図１０】第２の実施形態の処理を示すフローチャートである。
【図１１】理想のコントラスト状態の例を示す説明図であり、（ａ）は主要被写体が人物一人の場合、（ｂ）は主要被写体が複数の人物の場合、（ｃ）は主要被写体が物体の場合である。
【図１２】第２の実施形態における理想のコントラスト状態を示す線図である。
【図１３】第２の実施形態におけるコントラスト制御の様子を示す模式図である。
【図１４】左右の画像で対応する点の合焦位置が所定量以内の差分の場合に視差を０として扱う例を示す説明図である。
【図１５】カメラからの距離が同じであっても左右画像で視差が発生してしまう様子を示す説明図である。
【図１６】図１５の場合に、主要被写体の左右の被写体をボカす様子を示す説明図である。
【発明を実施するための形態】
【００３６】
以下、添付図面を参照して、本発明に係る画像処理装置及びそれを備えた立体撮像装置について詳細に説明する。
【００３７】
図１は、本発明の画像処理装置を備えた立体撮像装置の一実施形態としてのデジタルカメラの一例の外観構成を示す正面斜視図である。また、図２は、図１に示したデジタルカメラの背面斜視図である。
【００３８】
図１に示すように、デジタルカメラ１０は、複数の撮像手段（図１では左右に２つ）を備えており、同一被写体を複数の視点（図１では左眼及び右眼に対応する２つの視点）から撮影可能となっている。なお、本例では、説明の便宜のため２つの撮像手段を備えた場合を例に説明するが、本発明はこれに限定されない。また、撮像手段（撮影光学系）の配置は、図１に示すような横一列でなくともよく、例えば撮像手段が３つ以上の場合、２次元的に配置されていてもよい。
【００３９】
デジタルカメラ１０のカメラボディ１１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影光学系１１Ｒ、１１Ｌと、ストロボ１１６が設けられている。また、カメラボディ１１２の上面には、レリーズボタン１４、電源／モードスイッチ１２０、モードダイヤル１２２等が設けられている。また、カメラボディ１１２の背面には、図２に示すように、液晶表示装置（ＬＣＤ）１３、ズームボタン１２６、十字ボタン１２８、ＭＥＮＵ／ＯＫボタン１３０、ＤＩＳＰボタン１３２、ＢＡＣＫボタン１３４等が設けられている。
【００４０】
左右一対の撮影光学系１１Ｒ、１１Ｌは、それぞれ沈胴式のズームレンズ（後述、図３参照）を含んで構成されており、デジタルカメラ１０の電源をＯＮすると、ズームレンズがカメラボディ１１２から繰り出されるようになっている。なお、撮影光学系におけるズーム機構や沈胴機構については公知であるのでここではその具体的な説明は省略する。
【００４１】
ＬＣＤ１３は、蒲鉾状のレンズ群を有した、いわゆるレンチキュラーレンズが前面に配置されたカラー液晶パネル等の画像表示装置である。このＬＣＤ１３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとしても利用される。また、撮影時には、撮像素子で捉えた画像がスルー表示され、電子ファインダとして利用される。
【００４２】
レリーズボタン１４は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル１２２又はメニューによる静止画撮影モード選択時）、このレリーズボタン１４を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure:自動露出）、ＡＦ（Auto Focus:自動焦点合わせ）、ＡＷＢ（Automatic White Balance:自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードダイヤル１２２又はメニューにより動画撮影モード選択時）、このレリーズボタン１４を全押しすると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズボタン１４を全押ししている間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のレリーズボタン及び動画撮影専用のレリーズボタンを設けてもよい。
【００４３】
電源／モードスイッチ１２０（電源スイッチ及びモードスイッチ）は、デジタルカメラ１０の電源スイッチとして機能すると共に、デジタルカメラ１０の再生モードと撮影モードとを切り替える切替手段として機能する。モードダイヤル１２２は、撮影モードの設定に用いられる。デジタルカメラ１０は、このモードダイヤル１２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定される。
【００４４】
ズームボタン１２６は、撮影光学系１１Ｒ、１１Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。十字ボタン１２８は、上下左右４方向に押圧操作可能に設けられており、各方向の押圧操作に対して、カメラの設定状態に応じた機能が割り当てられる。ＭＥＮＵ／ＯＫボタン１３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられる。ＤＩＳＰボタン１３２は、ＬＣＤ１３の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン１３４は入力操作のキャンセル等の指示の入力に用いられる。
【００４５】
図３は、デジタルカメラ１０の概略構成を示すブロック図である。
【００４６】
図３に示すように、デジタルカメラ１０は、右眼用の撮影光学系１１Ｒ及び撮像素子２９Ｒを有する右眼用の撮像手段１２Ｒと、左眼用の撮影光学系１１Ｌ及び撮像素子２９Ｌを有する左眼用の撮像手段１２Ｌを備えている。
【００４７】
２つの撮影光学系１１（１１Ｒ、１１Ｌ）は、それぞれズームレンズ１８（１８Ｒ、１８Ｌ）、フォーカスレンズ１９（１９Ｒ、１９Ｌ）を有する。これらのズームレンズ１８及びフォーカスレンズ１９は、それぞれズームモータ２２（２２Ｒ、２２Ｌ）、フォーカスモータ２３（２３Ｒ、２３Ｌ）により駆動される。各モータ２２、２３は、ステッピングモータからなり、ＣＰＵ２６に接続されたモータドライバ２７（２７Ｒ、２７Ｌ）から与えられる駆動パルスにより制御されるようになっている。
【００４８】
左右の撮影光学系１１Ｒ及び１１Ｌにおいて、フォーカスレンズ１９Ｒ及び１９Ｌは、それぞれフォーカスモータ２３Ｒ及び２３Ｌにより独立に駆動され、左右それぞれ独立にピント合わせが行われる。
【００４９】
２つの撮影光学系１１（１１Ｒ、１１Ｌ）の背後には、それぞれ、ＣＣＤイメージセンサ（以下、単に「ＣＣＤ」と言う）２９（２９Ｒ、２９Ｌ）が配置されている。なお、ＣＣＤ２９の代わりに、ＭＯＳ型のイメージセンサを用いるようにしてもよい。ＣＣＤ２９は、周知のように、複数の光電変換素子が並べられた光電変換面を有し、この光電変換面に撮影光学系１１を介して被写体光が入射することにより、被写体像が結像される。ＣＣＤ２９には、図示を省略するが、ＣＰＵ２６によって制御されるタイミングジェネレータが接続され、このタイミングジェネレータから入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度（各光電変換素子の電荷蓄積時間である）が決定される。
【００５０】
ＣＣＤ２９（２９Ｒ、２９Ｌ）から出力された撮像信号は、Ａ／Ｄ変換器３２（３２Ｒ、３２Ｌ）に入力される。Ａ／Ｄ変換器３２（３２Ｒ、３２Ｌ）は、入力された画像データをアナログからデジタルに変換する。そして、Ａ／Ｄ変換器３２から出力されたデジタルの画像データは、画像入力コントローラ３４（３４Ｒ、３４Ｌ）及びデータバス３６を介して、作業用のメモリ３８に一時的に記憶される。画像入力コントローラ３４（３４Ｒ、３４Ｌ）は、所定容量のラインバッファを内蔵しており、ＣＰＵ２６からの指令に従い、Ａ／Ｄ変換器３２（３２Ｒ、３２Ｌ）から出力された１画像分の画像信号を蓄積して、データバス３６を介してメモリ３８に記録する。
【００５１】
データバス３６には、ＣＰＵ２６、メモリ３８、被写体検出回路４０、画像信号処理回路４２、圧縮処理回路４４、表示回路４６、メディアコントローラ４８、ぼかし量算出回路５０などが接続されている。また、表示回路４６には画像表示装置（ＬＣＤ）１３が接続され、メディアコントローラ４８には記録メディア５４が接続されている。
【００５２】
ＣＰＵ２６は、デジタルカメラ１０の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能し、レリーズボタン（ＳＷシャッタ）１４等の各種スイッチ等を含む操作部からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１０の各部を制御する。
【００５３】
例えば、ＣＰＵ２６は、図示を省略したＡＦ処理部やＡＦ用撮像回路を制御してオートフォーカス（ＡＦ）処理を実行する。
【００５４】
ＡＦ用撮像回路の撮像素子（ＡＦ用撮像素子）には、デジタルカメラ１０の撮影光学系１１の光路上に配置されたハーフミラー等によってＣＣＤイメージセンサ２９に入射する被写体光から分岐された被写体光が結像する。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、ＣＣＤイメージセンサ２９の撮像エリアに対する撮影範囲及び被写体距離と一致するようになっている。
【００５５】
ＣＰＵ２６によって制御され、ＡＦ処理部はＡＦ用撮像回路から画像信号を取得し、被写体画像のコントラストの高低を表す焦点評価値を算出する。そして、焦点評価値が最大（極大）、すなわち、ＡＦエリアの被写体画像のコントラストが最大となるようにフォーカスレンズ１９を移動し、合焦位置に移動させて自動ピント合わせを行う。このとき、被写体に対する左右の各撮影光学系１１Ｒ、１１Ｌの合焦位置等の画像の対応点周辺のＡＦ情報は、画像データととともにメモリ３８に記憶、保持される。
【００５６】
被写体検出回路４０は、メモリ３８から入力された画像データを読み出して、画像データ中から被写体を検出するものである。
【００５７】
画像信号処理回路４２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ２６からの指令に従い、Ａ／Ｄ変換器３２でデジタルデータに変換された右眼用画像データ及び左眼用画像データに所要の信号処理を施して、表示用の映像信号として表示回路４６に出力する。表示回路４６は、画像信号処理回路４２から出力された映像信号を画像表示装置（ＬＣＤ）１３に出力する。
【００５８】
圧縮処理回路４４は、ＣＰＵ２６からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。圧縮処理回路４４はまた、メモリ３８に記憶された右眼用画像データ及び左眼用画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。
【００５９】
メディアコントローラ４８は、圧縮処理回路４４によって圧縮処理された各画像データをメディアコントローラ４８経由で接続された記録メディア５４やその他の記録メディアに記録させる。
【００６０】
また、ぼかし量算出回路５０は、画像中のオブジェクトの視差量に応じたぼかし量を算出する回路であるが、これについては後で詳しく説明する。
【００６１】
以下、本発明の作用としての実施形態を説明する前に、本発明の概要（基本的考え方）を簡単に説明する。
【００６２】
図４に、本発明の概要を模式的に示す。
【００６３】
図４の左側に示すように、主要被写体（人物）Ｓの手前に物体Ｏがあるシーンを立体画像撮像装置Ｃで撮影する場合を考える。立体画像撮像装置Ｃは、左眼用画像及び右眼用画像をそれぞれ撮像する左右一対の撮像系ＣＬ、ＣＲを有している。
【００６４】
このとき、図４の右側一番上に示すように、左眼用画像ＩＭＬにおいては、主要被写体ＩＳにピントが合っているが、物体ＩＯにはピントが合っていないのに対して、右眼用画像ＩＭＲにおいては、主要被写体ＩＳにはピントが合っていないが、物体ＩＯにはピントが合っている。
【００６５】
このように、撮影した画像について主要被写体ＩＳに対し、コントラストなどの情報を測定し、ピント状態を確認し、左右双方の画像でピント位置が異なっているとされた場合には、以下のような処理を行う。
【００６６】
すなわち、ピントが合っている画像を視差のズレ量を加味してぼかし、他方の画像の主要被写体に見えを合わせて立体画像を作成する。図４に示す例では、左眼用画像ＩＭＬにおいては、主要被写体ＩＳのシャープネスを弱め、物体ＩＯのシャープネスを強めるとともに、右眼用画像ＩＭＲにおいては、主要被写体ＩＳのシャープネスを強め、物体ＩＯのシャープネスを弱めるようにする。
【００６７】
このようにすることで、違和感が軽減された立体画像ＩＭを得ることができる。なお、極端な画質劣化を防ぐため、ボケている画像のシャープネスを強めたり、彩度を強調したりして、合焦画像のぼかし量を抑えるようにしてもよい。
【００６８】
立体視したい主要被写体において、左右画像の一方の画像でピントが合っており、他方でピントが合っていない場合に立体視すると違和感が生じてしまうが、本発明では上記のようにそれぞれのコントラストを近づける処理を施すことで違和感を軽減させて立体視することができる。
【００６９】
次に、本発明の第１の実施形態について説明する。
【００７０】
本実施形態は、左右画像のコントラスト状態が一致するように（例えば、主要被写体にピントが合っている方の画像に他方の画像のコントラストを合わせるように）、左右画像の各対応点の画質を調整するものである。
【００７１】
本実施形態における撮影状況を図５に示す。ここでは、図５の左側に示すように、手前側、中央、奥側と３つの物体（オブジェクト）Ｏ１、Ｏ２、Ｏ３が並んでいるとき、これをその手前側からデジタルカメラ１０で撮影する場合を考える。３つの物体Ｏ１、Ｏ２、Ｏ３は左眼画像用の撮影光学系１１Ｌの光軸上に並んでおり、中央の物体Ｏ２は左右の撮影光学系１１Ｌ及び１１Ｒの光軸のクロスポイント上に存在している。
【００７２】
また図５の右側に示すように、左画像を実線で、右画像を破線で示すと、手前側の物体Ｏ１の右画像における像は左画像における像よりも左側にずれている。このときの視差量をマイナスとする。また、クロスポイント上の中央の物体Ｏ２の像は左右画像で一致している。さらに、奥側の物体Ｏ３の右画像における像は左画像における像よりも右側にずれている。このときの視差量をプラスとする。このずれ量で物体の前後の位置関係が算出される。
【００７３】
またこのとき、左画像ではクロスポイント上の物体Ｏ２にピントが合っていて、右画像では手前の物体Ｏ１にピントが合っているとする。すると、左画像については視差０のクロスポイント上においてコントラストがピークとなり、また右画像については視差がマイナスの手前側程コントラストが高くなっている。このように左右画像のコントラストは、各視差量に応じて図６の左側に示すような関係となる。
【００７４】
なお、この視差量とコントラストの関係は、図５からもわかるように視差量とカメラからの距離とは相関関係があり、カメラからの距離とコントラストとの関係として見ても同じである。
【００７５】
そこで本実施形態においては、図６の右側に示すように、視差量に応じて右画像のシャープネスを制御することにより、右画像のコントラストを左画像のコントラストに合わせるようにして左右画像のコントラスト状態が等しくなるようにする。
【００７６】
以下、本実施形態の処理を図７のフローチャートに沿って説明する。
【００７７】
まず、図７のステップＳ１０において、左右の画像それぞれから特徴点を抽出する。そして、それぞれの特徴点について、左右の画像で対応する点を算出する。
【００７８】
次に、ステップＳ１２において、対応点の視差量を算出し、次のステップＳ１３において、左右の画像で対応する点の合焦位置をメモリ３８より取得する。そして、ステップＳ１４において、視差量がまだ算出されていない特徴点（対応点）が存在するか否か判断し、まだ視差量が算出されていない特徴点がある場合には、ステップＳ１２に戻り、視差量の算出を続行する。
【００７９】
すべての特徴点について視差量の算出が終了したら、次のステップＳ１６において、視差量から対応点の前後の位置関係を求める。そして次のステップＳ１７において、左右の画像で対応する点の合焦位置の差分が予め設定された所定量以内の場合には、これらの点には距離差がないものとして、これらの点の視差は０とする。
【００８０】
例えば、図１４に示すように、画面中央の主要被写体（主）の両側に２つの被写体Ａ及びＢがある場合に、それぞれの点（被写体Ａ、Ｂ及び主要被写体）の合焦位置を取得し、左右それぞれの画像における、被写体Ａ、Ｂそれぞれの合焦位置の差分を求め、その差分が所定量以内の場合には、被写体Ａ、Ｂはデジタルカメラ１０からの距離が主要被写体（主）と略同じであるとして、視差量を０とし、被写体Ａ、Ｂはボカさないようにする。
【００８１】
なお、左右画像におけるそれぞれの被写体の点の合焦位置の差分が所定量以内のときは視差量を０としてそれぞれの被写体はボカさないようにしたが、ボカさないようにするかを判断する基準量（基準値）としては差分に限定されるものではない。例えば、それぞれの被写体の点の合焦位置の比を用いてボカすか否か判断するようにしてもよい。比を用いる場合には、それぞれの合焦位置が近い場合にはその比は１に近づくので、比の１からのずれが所定値以内のときにはボカさないようにする。このように、それぞれの被写体の点の合焦位置の相違を表す量が所定量以内の場合（つまり一定値以上小さい場合）にはボカさないようにする。
【００８２】
次に、ステップＳ１８において、左右のコントラスト状態が一致するように、各対応点の画質調整量を算出する。そしてステップＳ２０において、上で算出された画質調整量に基づいて画像処理が行われる。
【００８３】
なお、ここでは上に述べたように各対応点の画質調整量を算出したが、特徴点の検出を行わずに、１画素毎に視差量を算出し、１画素毎に画質調整量を決定するようにしてもよい。また、特徴点の代わりにオブジェクト認識を行い、オブジェクト毎の画質調整量を決定するようにしてもよい。またさらには、特徴点の検出とオブジェクト認識とを組み合わせるようにすると、特徴点の個数が少ない場合に有効である。
【００８４】
図６に示すように、視差量が手前側の場合には、右画像のシャープネスを弱めてコントラストを低くして左画像に合わせるように、基本的にぼかす処理が行われる。
【００８５】
このぼかす処理は、ぼかし量算出回路５０で算出されるぼかし量を用いて行われる。
【００８６】
図８に、ぼかし量算出回路５０の概略構成を示す。
【００８７】
ぼかし量算出回路５０には、視差量（≒クロスポイントからの距離の差分）と各物体（オブジェクト）のコントラストデータが入力される。ぼかし量算出回路５０では、左（あるいは右）画像のコントラストを合わせるべき基準となる基準コントラストデータを視差量を用いて算出すると共に、実コントラストデータをプロットする。そしてコントラスト差分を抽出する。
【００８８】
図９に、このコントラスト差分を抽出する様子を示す。ここに示す視差量とコントラストとの関係を示すグラフは図６の左側に示すものと同様である。図９において、実線のグラフは基準コントラストを表すものであり、ここでは左画像のコントラストに合わせるので、左画像のコントラストが基準コントラストとなる。また、破線は右画像のコントラストを表す。
【００８９】
次に、図９に矢印ａ、ｂ、ｃ、ｄで示すように、各視差量（対応点）毎に基準コントラストとの差分を抽出する。そして、基準コントラストにする量を算出する際、補正強度を変更可能となるように、パラメータｐ、ｑ、ｒ、ｍを別途用意し、最終的にぼかし量ａ’、ｂ’、ｃ’、ｄ’を次の式のように算出する。
【００９０】
ａ’＝ａ＊ｐ／１００
ｂ’＝ｂ＊ｑ／１００
ｃ’＝ｃ＊ｒ／１００
ｄ’＝ｄ＊ｍ／１００
このようにして、ぼかし量算出回路５０が出力した最終的なぼかし量ａ’、ｂ’、ｃ’、ｄ’を用いて、画像信号処理回路４２において右画像データに対して画質調整処理が行われ、図６の右側に示すように、左右画像のコントラスト状態が一致するように制御される。
【００９１】
ぼかし処理は、この他に、以下の式（１）に示すようなガウシアンフィルタなどを用いるようにしてもよい。
【００９２】
【数１】
2012044319.tif 000003
ここで、分散σ２を大きくすると、ぼかし量が大きくなる。一方の画像をぼかす場合、この分散σ２を調整して画質調整を行うことができる。なお、標準偏差σは、被写体のコントラスト差（ΔＣ）から設計値で以下のようにパラメータ調整して決定する。
【００９３】
σ＝Ｋ×ΔＣ    （Ｋ：設計パラメータ）
なお、ぼかし処理としては、その他に、単純な平均化処理を用いるようにしてもよい。
【００９４】
このように、本実施形態では、左右画像のコントラスト状態が等しくなるように、視差量に応じて図６の右側に示すようにシャープネスを制御する。
【００９５】
左右画像でクロスポイント上のオブジェクトのピント状態が異なる場合、画面一律にコントラスト状態を左右画像で単純に合わせてしまうと、却って違和感のある立体画像となってしまうが、本実施形態のようにオブジェクトの位置（視差量）に応じた画像調整をすることで、立体視した際に違和感の少ない画像を得ることができると共に、手前側のぼかし方を強くすることで、眼の負担も軽減することができる。
【００９６】
次に、本発明の第２の実施形態について説明する。
【００９７】
本実施形態は、理想のコントラスト状態を設定して、左右画像のコントラスト状態をそれぞれ理想のコントラスト状態とするように左右画像の各対応点の画質を調整することによって左右画像のコントラストを一致させるようにするものである。
【００９８】
本実施形態における撮影状況は、図５に示す第１の実施形態の場合と同じである。すなわち、左画像がクロスポイント上の物体（オブジェクト）にピントが合っていて、右画像が手前の物体（オブジェクト）にピントが合っており、左右画像のコントラストと視差量の関係は図６の左側に示すものと同じである。
【００９９】
以下、本実施形態の処理を図１０に示すフローチャートに沿って説明する。
【０１００】
ステップＳ３０からステップＳ３６までは、第１の実施形態の図７のステップＳ１０からステップＳ１６までと同様である。
【０１０１】
すなわち、ステップＳ３０で特徴点を検出し、それぞれの特徴点について、左右の画像で対応する点を算出する。次に、ステップＳ３２で対応点の視差量を算出し、ステップＳ３３で左右の画像で対応する点の合焦位置をメモリ３８より取得する。そして、すべての特徴点に対して視差量を算出したら、ステップＳ３６で、視差量の対応点の前後の位置関係を求める。次のステップＳ３７において左右の画像で対応する点の合焦位置の差分が予め設定された所定量以内の場合には、これらの点には距離差がないものとして、これらの点の視差は０とする。これにより、デジタルカメラ１０からの距離が略同じなのにある被写体についてはボカされてしまうということがなくなる。
【０１０２】
そして、ステップＳ３８において、理想のコントラスト状態となるよう、各対応点の画質調整量を算出する。
【０１０３】
図１１に、理想のコントラスト状態の例を示す。
【０１０４】
図１１（ａ）は、人物が一人でこれが主要被写体で、手前に物体がある場合である。これに対する理想のコントラスト状態は、右側に示すように、主要被写体が人物の場合は、シャープネスを強めすぎると顔のノイズが目立ってしまうため、コントラストのピークの目標レベルを低めに設定する。
【０１０５】
図１１（ｂ）は、複数の人物が主要被写体の場合である。この場合は、右側に理想のコントラスト状態を示すように、視差が多少異なっても人物が複数いる場合には、人物のコントラストレベルを統一させるようにコントラストのピークを一点ではなくある程度の幅を有する平坦な形状とする。
【０１０６】
図１１（ｃ）は、主要被写体が物体の場合である。右側に理想のコントラスト状態を示すように、物体の場合はコントラスト目標を高めに設定し、くっきり感を出すようにすることが望ましい。
【０１０７】
以上理想のコントラスト状態の例を示したが、シーンや被写体に応じてその傾きや目標レベルは変更することができるようにすることが好ましい。
【０１０８】
本実施形態の場合、主要被写体は人物一人であるので、図１２に示すような理想のコントラスト状態を設定する。理想のコントラスト状態は、シーンや主要被写体等に応じて設定されるが、これは画像中から被写体検出を行い自動的に設定されるが、ユーザが操作部を介して自分で設定できるようにしてもよい。
【０１０９】
図１３の左側のグラフは、左右画像のコントラスト状態と、この理想のコントラスト状態を重ねて表示したものである。
【０１１０】
ステップＳ３８における画質調整量（ぼかし量）の算出は、ぼかし量算出回路５０で行われる。本実施形態においては、基準コントラストデータは図１２に示すような理想のコントラスト状態である。ぼかし量算出回路５０では、第１の実施形態と同様にして、理想のコントラスト状態とするための画質調整量（ぼかし量）を算出し、出力する。
【０１１１】
ステップＳ４０では、この画質調整量を用いて画像処理が行われ、図１３の右側に示すように、左右画像とも理想のコントラスト状態となるように制御される。すなわち、理想の線に近づけるように、クロスポイント上の物体のシャープネスを制御すると共に、それぞれの場所に位置している物体についてもシャープネスを制御する。
【０１１２】
左右画像でクロスポイント上の物体のピント状態が異なる場合、画面一律にコントラスト状態を左右画像で単純に合わせてしまうと、却って違和感のある立体画像となってしまい、また、いずれの画像に合わせる場合であっても、合わせる目標のコントラスト状態が必ずしも正解とは限らない。従って、本実施形態のように、理想のコントラスト状態に合わせることでより破綻のおきにくい画像加工が可能となる。そして、物体の位置に応じた画像調整を行うことで、立体視した際に違和感の少ない画像が得られると共に、手前側のぼかし方を強くすることで眼の負担も軽減することができる。
【０１１３】
このように本実施形態においては、単純に視差量に応じて左右のコントラスト状態を一致させるのではなく、理想のコントラスト状態に合わせることで、破綻のない画質調整量を決定することができる。
【０１１４】
また、本実施形態においても、特徴点の代わりにオブジェクト認識を行い、オブジェクト毎の画質調整量を決定するようにしてもよい。
【０１１５】
また、上記いずれの実施形態においても、ぼかし量算出回路により画質調整量を算出したが、視差量やコントラストデータを用いて各物体のぼかし量を算出する必要があるが、本回路構成であれば、煩雑な処理も一括で処理でき、高速処理が可能である。
【０１１６】
なお、以上説明した各実施形態では、立体撮像装置（デジタルカメラ１０）の中に画像処理装置が組み込まれており、立体撮像装置内で画像の撮影から画像処理までを行ったが、例えばパソコン等で本発明の画像処理装置を構成し、これに別の撮像装置で撮影された左右画像を入力して、上記図７あるいは図１０のフローチャートに示した画像処理を行うようにしてもよい。
【０１１７】
このようにすれば、たとえ立体画像撮像装置が上記本発明のような画像処理を行う機能を有していなくとも、左右画像でピント状態の異なった撮影画像を本発明の画像処理機能が組み込まれたパソコン等に入力して処理することで違和感のない立体画像を提供することが可能となる。
【０１１８】
以上、本発明に係る画像処理装置及びそれを備えた立体撮像装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【符号の説明】
【０１１９】
１０…デジタルカメラ（立体撮像装置）、１１Ｒ、１１Ｌ…撮影光学系、１２Ｒ、１２Ｌ…撮像手段、１３…ＬＣＤ、１４…レリーズボタン、２６…ＣＰＵ、３８…メモリ、４０…被写体検出回路、４２…画像信号処理回路、４４…圧縮処理回路、４６…表示回路、４８…メディアコントローラ、５０…ぼかし量算出回路
【図１】
2012044319.tif 000004
【図２】
2012044319.tif 000005
【図３】
2012044319.tif 000006
【図４】
2012044319.tif 000007
【図５】
2012044319.tif 000008
【図６】
2012044319.tif 000009
【図７】
2012044319.tif 000010
【図８】
2012044319.tif 000011
【図９】
2012044319.tif 000012
【図１０】
2012044319.tif 000013
【図１１】
2012044319.tif 000014
【図１２】
2012044319.tif 000015
【図１３】
2012044319.tif 000016
【図１４】
2012044319.tif 000017
【図１５】
2012044319.tif 000018
【図１６】
2012044319.tif 000019