(57)【要約】【課題】立体視用画像について適切に立体感を調整するとともに、調整の際にユーザーに違和感を生じさせないようにする。【解決手段】画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が第１の所定量以上である被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に第２の所定量以上にならないように、段階的に視差を調整する。その際に、暫定的クロスポイント位置の画像、視差調整中の画像、および視差調整後の画像の各々において、視差の絶対値が第３の所定量以上である被写体をぼかし処理対象被写体として特定し、ぼかし処理対象被写体に対して、画像上でぼかし処理を施す。【選択図】図４Ｂ
2012001970.tif 000002
【特許請求の範囲】
【請求項１】
視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、該クロスポイント位置の視差が０になるように前記複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
前記画像上の被写体毎に、前記複数の画像間の視差量を算出する視差量算出手段と、
前記複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が第１の所定量以上である被写体を表示位置調整対象被写体として特定する表示位置調整対象被写体特定手段と、
前記表示位置調整対象被写体の視差の絶対値が、調整後に第２の所定量以上にならないように、段階的に視差を調整する視差調整手段と、
前記暫定的クロスポイント位置の画像、視差調整中の画像、および視差調整後の画像の各々において、視差の絶対値が第３の所定量以上である被写体をぼかし処理対象被写体として特定するぼかし処理対象被写体特定手段と、
前記ぼかし処理対象被写体に対して、前記画像上でぼかし処理を施す画像処理手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段が、前記ぼかし処理対象被写体の視差の絶対値が大きい程、前記ぼかし処理対象被写体に対して強いぼかし処理を施すものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記視差調整手段が、３段階以上かけて視差を調整するものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記画像中の顔を検出する顔検出手段を備え、
前記視差調整手段が、顔のみを前記表示位置調整対象被写体とするものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記視差調整手段が、画像中央部の所定範囲にある被写体のみを前記表示位置調整対象被写体とするものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項６】
前記視差調整手段が、前記表示位置調整対象被写体が画像外に移動した場合に、クロスポイント位置を初期位置に戻すように、視差を調整するものであることを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
【請求項７】
視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、該クロスポイント位置の視差が０になるように前記複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
前記画像上の被写体毎に、前記複数の画像間の視差量を算出し、
前記複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が第１の所定量以上である被写体を表示位置調整対象被写体として特定し、
前記表示位置調整対象被写体の視差の絶対値が、調整後に第２の所定量以上にならないように、段階的に視差を調整し、
前記暫定的クロスポイント位置の画像、視差調整中の画像、および視差調整後の画像の各々において、視差の絶対値が第３の所定量以上である被写体をぼかし処理対象被写体として特定し、
前記ぼかし処理対象被写体に対して、前記画像上でぼかし処理を施すことを特徴とする画像処理方法。
【請求項８】
前記ぼかし処理対象被写体の視差の絶対値が大きい程、前記ぼかし処理対象被写体に対して強いぼかし処理を施すことを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記画像中の顔を検出し、
顔のみを前記表示位置調整対象被写体とすることを特徴とする請求項７または８項載の画像処理方法。
【請求項１０】
画像中央部の所定範囲にある被写体のみを前記表示位置調整対象被写体とすることを特徴とする請求項７または８項載の画像処理方法。
【請求項１１】
前記表示位置調整対象被写体が画像外に移動した場合に、クロスポイント位置を初期位置に戻すように、視差を調整することを特徴とする請求項７から１０のいずれか１項記載の画像処理方法。
【請求項１２】
請求項７から１１のいずれか１項記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できるようにすることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平衡法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせ、これら複数の画像を合成して立体視用画像を生成した立体視用画像を、赤青メガネや偏光メガネ等の画像分離メガネを用いて、融合視することにより、立体視を可能にすることができる（アナグリフ方式、偏光フィルタ方式）。【０００３】
また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている（スキャンバックライト方式）。【０００４】
このように立体視を行う場合、手前側に過剰に飛び出した被写体があるとユーザーに対して眼の疲労を起こさせるという問題があるため、立体視用画像の立体感を適切に調整する必要がある。そのため、立体視表示された立体視用画像の適切な視差量を判断して、この視差量に基づいて立体視用画像を生成する手法が提案されている（特許文献１参照）。また、ユーザーの眼から注視点までの距離を検出し、視点が合っている被写体にピントを合わせ、視点が合っていない被写体についてはぼかし処理を施すことによって、手前側に過剰に飛び出した被写体に対して注意が向かないようにする手法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０８−２１１３３２号公報
【特許文献２】特開平１０−２３９６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、表示中の立体視用画像の視差量が適切でないと判断された場合に、即座に視差量が適切な量に調整されるため、視差量の変化が急激に生じて、ユーザーに違和感を与えるという問題がある。【０００７】
また、特許文献２の手法は、ユーザーの視点が合っている被写体にピントを合わせるものであり、ユーザーが手前側に過剰に飛び出した被写体に対して視点を合わせた場合はこの被写体にピントが合ってしまい手前側に過剰に飛び出した被写体を注視してしまうため、ユーザーの眼の疲労を抑えることができないという問題がある。【０００８】
本発明は上記事情に鑑みなされたものであり、立体視用画像について適切に立体感を調整するとともに、調整の際にユーザーに違和感を生じさせないようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、クロスポイント位置の視差が０になるように複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像上の被写体毎に、複数の画像間の視差量を算出する視差量算出手段と、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が第１の所定量以上である被写体を表示位置調整対象被写体として特定する表示位置調整対象被写体特定手段と、表示位置調整対象被写体の視差の絶対値が、調整後に第２の所定量以上にならないように、段階的に視差を調整する視差調整手段と、暫定的クロスポイント位置の画像、視差調整中の画像、および視差調整後の画像の各々において、視差の絶対値が第３の所定量以上である被写体をぼかし処理対象被写体として特定するぼかし処理対象被写体特定手段と、ぼかし処理対象被写体に対して、画像上でぼかし処理を施す画像処理手段とを備えたことを特徴とするものである。【００１０】
本発明（上記画像処理装置および後述の画像処理方法）において、第１の所定値、第２の所定値、および第３の所定値は０を含み、全て同じ値に設定してもよいし、異なる値に設定してもよい。【００１１】
なお、裸眼方式の立体表示と眼鏡方式の立体表示とでは、手前側と奥側の視差量で健康被害リスクが異なり、裸眼方式の立体表示の場合には被写体が手前側に飛び出しすぎる程ユーザーの眼に負担が掛かり、眼鏡方式の立体表示の場合には被写体が奥側に引っ込みすぎる程ユーザーの眼に負担が掛かることになるため、表示方式に応じて適切な処理を行う必要がある。【００１２】
本発明の画像処理装置において、画像処理手段は、ぼかし処理対象被写体の視差の絶対値が大きい程、ぼかし処理対象被写体に対して強いぼかし処理を施すものとすることが好ましい。【００１３】
また、視差調整手段は、３段階以上かけて視差を調整するものとすることが好ましい。この３段階とは、例えば動画の場合の３フレームとすることができる。【００１４】
また、画像中の顔を検出する顔検出手段を備え、視差調整手段は、顔のみを表示位置調整対象被写体とするものとしてもよい。【００１５】
また、視差調整手段は、画像中央部の所定範囲にある被写体のみを表示位置調整対象被写体とするものとしてもよい。【００１６】
また、視差調整手段は、表示位置調整対象被写体が画像外に移動した場合に、クロスポイント位置を初期位置に戻すように、視差を調整するものとすることが好ましい。【００１７】
本発明の画像処理方法は、視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、クロスポイント位置の視差が０になるように複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が第１の所定量以上である被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に第２の所定量以上にならないように、段階的に視差を調整し、暫定的クロスポイント位置の画像、視差調整中の画像、および視差調整後の画像の各々において、視差の絶対値が第３の所定量以上である被写体をぼかし処理対象被写体として特定し、ぼかし処理対象被写体に対して、画像上でぼかし処理を施すことを特徴とするものである。【００１８】
本発明の画像処理方法においては、ぼかし処理対象被写体の視差の絶対値が大きい程、ぼかし処理対象被写体に対して強いぼかし処理を施すことが好ましい。【００１９】
また、画像中の顔を検出し、顔のみを表示位置調整対象被写体としてもよい。【００２０】
また、画像中央部の所定範囲にある被写体のみを表示位置調整対象被写体としてもよい。【００２１】
また、表示位置調整対象被写体が画像外に移動した場合に、クロスポイント位置を初期位置に戻すように、視差を調整することが好ましい。【００２２】
本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２３】
本発明によれば、画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が第１の所定量以上である被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に第２の所定量以上にならないように、段階的に視差を調整するようにしたので、立体視用画像について適切に立体感を調整することができ、また段階的にクロスポイント位置が変化するので調整の際にユーザーに違和感を生じさせないようにすることができる。さらにその際に、暫定的クロスポイント位置の画像、視差調整中の画像、および視差調整後の画像の各々において、視差の絶対値が第３の所定量以上である被写体をぼかし処理対象被写体として特定し、ぼかし処理対象被写体に対して、画像上でぼかし処理を施すようにして、クロスポイント位置から手前側にある被写体に対して注意が向かないようにしたので、ユーザーの眼の負担をより軽減させることができる。【００２４】
ここで、ぼかし処理対象被写体の視差の絶対値が大きい程、ぼかし処理対象被写体に対して強いぼかし処理を施すようにすれば、ユーザーに対して違和感をより感じさせないようにすることができる。【００２５】
また、３段階以上かけて視差を調整するようにすれば、ユーザーに対して違和感を感じさせないようにすることができる。【００２６】
また、画像中の顔を検出し、顔のみを表示位置調整対象被写体とするか、もしくは、画像中央部の所定範囲にある被写体のみを表示位置調整対象被写体として、ユーザーの関心が高い被写体についてのみ表示位置調整対象被写体とするようにすれば、必要以上に立体視用画像の立体感が損なわれることが無くなる。【００２７】
また、表示位置調整対象被写体が画像外に移動した場合に、クロスポイント位置を初期位置に戻すように、視差を調整するようにすれば、立体感を抑える必要が無い画像についてまで立体感が抑えられることが無くなるため、必要以上に立体視用画像の立体感が損なわれることが無くなる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態による画像処理装置を適用した複眼カメラの内部構成を示す概略ブロック図
【図２】第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図
【図３】上記複眼カメラの３次元処理部の構成を示す概略ブロック図
【図４Ａ】第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート（１）
【図４Ｂ】第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート（２）
【図５】立体感調整前の表示画像の一例を示す図
【図６】立体感調整後の表示画像の一例を示す図
【図７】ぼかし処理の手順を説明するための図
【図８】画像切り出し位置と立体視用画像における被写体の奥行き方向の位置との関係を説明するための図
【図９】立体感の調整を行なうタイミングを説明するための図
【図１０】本発明の第２の実施形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図
【図１１Ａ】第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート（１）
【図１１Ｂ】第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート（２）
【図１２】本発明の第３の実施形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図
【図１３Ａ】第３の実施の形態において立体感の調整時に行われる処理を示すフローチャート（１）
【図１３Ｂ】第３の実施の形態において立体感の調整時に行われる処理を示すフローチャート（２）
【図１４】第３の実施の形態において立体感の調整時に行われる処理を説明するための図
【図１５】本発明の第４の実施形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図
【図１６Ａ】第４の実施の形態において立体感の調整時に行われる処理を示すフローチャート（１）
【図１６Ｂ】第４の実施の形態において立体感の調整時に行われる処理を示すフローチャート（２）
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明の第１の実施形態による画像処理装置を適用した複眼カメラの内部構成を示す概略ブロック図、図２は上記複眼カメラの撮影部の構成を示す図、図３は上記複眼カメラの３次元処理部の構成を示す概略ブロック図である。
【００３０】
図１に示すように本実施の形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、３次元処理部３０、およびＣＰＵ３３を備える。なお、撮影部２１Ａ，２１Ｂは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。なお、撮影部２１Ａおよび２１Ｂの垂直方向の位置は同一であるものとする。
【００３１】
図２に示すように、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂ、ズームレンズ１１Ａ，１１Ｂ、絞り１２Ａ，１２Ｂ、シャッタ１３Ａ，１３Ｂ、ＣＣＤ１４Ａ，１４Ｂ、アナログフロントエンド（ＡＦＥ）１５Ａ，１５ＢおよびＡ／Ｄ変換部１６Ａ，１６Ｂをそれぞれ備える。また、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂを駆動するフォーカスレンズ駆動部１７Ａ，１７Ｂおよびズームレンズ１１Ａ，１１Ｂを駆動するズームレンズ駆動部１８Ａ，１８Ｂを備える。
【００３２】
フォーカスレンズ１０Ａ，１０Ｂは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部１７Ａ，１７Ｂによって光軸方向に移動可能である。フォーカスレンズ駆動部１７Ａ，１７Ｂは、後述する撮影制御部２２が行うＡＦ処理により得られる合焦データに基づいてフォーカスレンズ１０Ａ，１０Ｂの移動を制御する。
【００３３】
ズームレンズ１１Ａ，１１Ｂは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部１８Ａ，１８Ｂによって光軸方向に移動可能である。ズームレンズ駆動部１８Ａ，１８Ｂは入力部３４に含まれるズームレバーを操作することによりＣＰＵ３３において得られるズームデータに基づいて、ズームレンズ１１Ａ，１１Ｂの移動を制御する。
【００３４】
絞り１２Ａ，１２Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
【００３５】
シャッタ１３Ａ，１３Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
【００３６】
ＣＣＤ１４Ａ，１４Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１４Ａ，１４Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３７】
ＡＦＥ１５Ａ，１５Ｂは、ＣＣＤ１４Ａ，１４Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３８】
Ａ／Ｄ変換部１６Ａ，１６Ｂは、ＡＦＥ１５Ａ，１５Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を画像ＧＲ、撮影部２１Ｂにより取得される画像データにより表される画像を画像ＧＬとする。
【００３９】
撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像の明るさを輝度評価値として算出し、輝度評価値に基づいて露出値を決定し、露出値に基づいて絞り値とシャッタ速度とを決定して撮影部２１Ａ，２１Ｂに出力する。
【００４０】
また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して画像ＧＲ，ＧＬの本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるためのスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。
【００４１】
画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した画像ＧＲ，ＧＬのデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。
【００４２】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために画像ＧＲ，ＧＬの本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、画像ＧＲ，ＧＬの画像データおよび３次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。
【００４３】
フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した画像ＧＲ，ＧＬを表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００４４】
メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイルの書き込みと読み込みの制御を行う。
【００４５】
内部メモリ２７は、複眼カメラ１において設定される各種定数、並びにＣＰＵ３３が実行するプログラム等を記憶する。
【００４６】
表示制御部２８は、撮影時においてフレームメモリ２５に格納された画像ＧＲ，ＧＬをモニタ２０に２次元表示させたり、記録メディア２９に記録されている画像ＧＲ，ＧＬをモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた画像ＧＲ，ＧＬをモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像をモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、入力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、画像ＧＲ，ＧＬのスルー画像がモニタ２０に３次元表示される。
【００４７】
３次元処理部３０は、画像ＧＲ，ＧＬをモニタ２０に３次元表示させるために、画像ＧＲ，ＧＬに３次元処理を行う。ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、画像ＧＲ，ＧＬを並べて表示して裸眼平行法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像ＧＲ，ＧＬを表示することにより、左右の目に画像ＧＲ，ＧＬを入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に画像ＧＲ，ＧＬをバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。
【００４８】
モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。
【００４９】
なお、本実施の形態の説明では、立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。
【００５０】
従って、３次元処理部３０は、画像ＧＲ，ＧＬをモニタ２０に３次元表示させるために、画像ＧＲ，ＧＬ中の所定の点をクロスポイントとして設定し、画像ＧＲ，ＧＬ中のクロスポイントがモニタ２０上で同じ位置に表示されるように、画像ＧＲ，ＧＬからモニタ２０上での表示範囲を切り出す処理を行う。
【００５１】
図３に示すように、３次元処理部３０は、ぼかし処理回路４１、特徴点検出回路４２、ベクトル検出回路４３、飛び出し領域算出回路４４、および表示画像切り出し位置算出回路４５を備える。ぼかし処理回路４１は、画像ＧＲ，ＧＬ中のぼかし処理対象被写体に対してぼかし処理を施す。特徴点検出回路４２は、画像ＧＲ，ＧＬの一方の画像中から特徴点を検出するとともに、他方の画像中から一方の画像中の特徴点に対応する対応点を検出する処理を行う。ベクトル検出回路４３は、特徴点毎に対応する対応点との間のベクトルを算出する処理を行う。飛び出し領域算出回路４４は、処理中の画像におけるクロスポイント位置から手前に飛び出すことになる被写体をぼかし処理対象被写体として特定する処理を行う。表示画像切り出し位置算出回路４５は、処理中の画像におけるクロスポイント位置から最も手前に飛び出すことになる被写体を表示位置調整対象被写体として特定し、この表示位置調整対象被写体がクロスポイント位置になるように、段階的に画像ＧＲ，ＧＬから表示領域として切り出す位置を調整する処理を行う。
【００５２】
ＣＰＵ３３は、レリーズボタンおよび十字キー等を含む入力部３４からの信号に応じて複眼カメラ１の各部を制御する。
【００５３】
データバス３５は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。
【００５４】
次に、第１の実施の形態において行われる処理について説明する。図４は第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図５は立体感調整前の表示画像の一例を示す図、図６は立体感調整後の表示画像の一例を示す図、図７はぼかし処理の手順を説明するための図、図８は画像切り出し位置と立体視用画像における被写体の奥行き方向の位置との関係を説明するための図、図９は立体感の調整を行なうタイミングを説明するための図である。
【００５５】
第１の実施の形態による複眼カメラ１の主な特徴は、暫定クロスポイント位置から手前側に離れた位置にある被写体を全て表示位置調整対象被写体とみなし、立体視用画像における被写体の奥行き方向において、表示位置調整対象被写体が調整後クロスポイント位置から手前側に離れないように、暫定クロスポイント位置から調整後クロスポイント位置まで段階的にクロスポイント位置を調整するものである。
【００５６】
例えば動画や静止画やスルー画等の立体視用画像をモニタ２０に表示する際に、まず、立体視用画像を生成するための２つの画像ＧＲ、ＧＬを取得する（ステップＳ１）。なお、画像ＧＲ、ＧＬには、切り出し位置移動フラグ情報が付与されているが、初期状態では切り出し位置移動フラグはＯＦＦである。また、画像ＧＲ、ＧＬの表示領域の切り出し位置は、暫定位置（初期状態）として画像ＧＲ、ＧＬの中央をクロスポイント位置として設定した状態に基づいて決定されている。
【００５７】
次に、図５に示すように、いずれか一方の画像を基準として、この基準画像中から特徴点ｆの検出を行う（ステップＳ２）。本実施の形態においては左画像ＧＬを基準画像とする。次に、他方の画像（本実施の形態においては右画像ＧＲ）から基準画像中の特徴点ｆに対応する対応点ｍの検出を行う（ステップＳ３）。次に、各特徴点ｆとそれに対応する対応点ｍとの間のベクトル値を算出し（ステップＳ４）、その中から最もベクトル値が大きい特徴点を抽出する（ステップＳ５）。
【００５８】
次に、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＮであるか判定し（ステップＳ６）、Ｎｏの場合には、ステップＳ５で検出した最も大きいベクトル値が所定値（Ｖ＿ｌｉｍｉｔ）を超えていないか判定する（ステップＳ７）。本実施の形態ではＶ＿ｌｉｍｉｔは０とする。すなわち、クロスポイント位置から少しでも手前にある被写体は、手前側に過剰に飛び出した被写体と認識されることになる。
【００５９】
ステップＳ６における初回の判定では、切り出し位置移動フラグの初期状態がＯＦＦであるため必ずステップＳ７に遷移し、ステップＳ７における判定でＮｏの場合には、そのまま処理を終了する。
【００６０】
ステップＳ７における判定でＹｅｓの場合には、図７に示すように、画像ＧＲ、ＧＬから特徴点ｆ／対応点ｍを検出し、特徴点ｆ・対応点ｍ間のベクトル量が所定値を超えている特徴点ｆ／対応点ｍのみ抽出し、抽出した特徴点ｆ／対応点ｍが含まれるオブジェクトｏ（ぼかし処理対象被写体）を抽出する（ステップＳ８）。ここでの所定値は、ステップＳ７における所定値と同じ値としてもよいし異なる値としてもよいが、本実施の形態では同じ値（Ｖ＿ｌｉｍｉｔ）とする。また、オブジェクトを抽出する方法については、既存の種々の方法を適用することができる。
【００６１】
次に、抽出したオブジェクトｏに対してぼかし処理を施す（ステップＳ９）。ここで、ぼかし処理については、ガウシアンフィルタ等のフィルタを用いてもよいし、単純な平均化処理を行ってもよい。
【００６２】
本実施の形態では一例としてガウシアンフィルタを用いた場合について説明する。２次元のガウシアンフィルタの場合、（Ｘａ，Ｘｂ）座標のピクセル出力は下記の（１）式で表される。
【数１】
2012001970.tif 000003
【００６３】
ただし、
Ｐ ｏｕｔ：フィルタ後のピクセル出力
Ｐ ｉｎ：フィルタ前のピクセル出力
Ｎ：規格化定数
ｉ：周辺ピクセルサンプリング数
ｊ：周辺ピクセルサンプリング数
σ２：分散
ここで、分散σ２を大きくするとぼかし量が大きくなる。そこで、被写体のクロスポイント位置から手前側への飛び出し量に応じて分散σ２を大きくするような制御を行うことで、飛び出し量に応じてぼかし量を調整することができる。なお、ここでの詳細な処理については、後述のステップＳ１５の説明部分においてさらに行なう。
【００６４】
次に、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＮであるか判定し（ステップＳ１０）、Ｎｏの場合には、現在の切り出し位置（初回の処理では暫定位置）から調整後の切り出し位置までの切り出し位置移動量を算出する（ステップＳ１４）。なお、ステップＳ１０における初回の判定では、切り出し位置移動フラグの初期状態がＯＦＦであるため必ずステップＳ１４に遷移する。
【００６５】
ここで調整後の切り出し位置は、被写体のクロスポイント位置から手前側への飛び出し量が小さくなる位置であればどのような位置に設定してもよいが、最初にステップＳ５で検出した最もベクトル値が大きい特徴点をクロスポイント位置とする切り出し位置、すなわち、最終的にクロスポイント位置より手前に表示される被写体が無くなる位置に設定することが好ましい。
【００６６】
しかしながら、手前の被写体の飛び出し量を抑える方向に切り出し位置を移動させた場合には、背景はさらに奥側に移動することになり、表示するモニタによっては、両眼を大きく広げるような位置となって、子供が見た場合に斜視になる危険性が大きい。そこで、例えば６０インチ程度の大型モニタであっても、斜視の危険性が無い位置までに切り出し位置の移動量を抑えるようにすることが好ましい。
【００６７】
斜視にならないための、ステップＳ４におけるベクトル限界をＶ＿ｂａｃｋ＿ｌｉｍｉｔ（マイナス値）とすると、切り出し位置移動量は、下記の（４）式を満足する場合には、下記の（５）式で表される通りとなり、下記の（４）式を満足しない場合には、下記の（６）式で表される通りとなる。なお、撮影画像に対する切り出し余裕がない場合は、移動できる最大位置まで移動させる。
【００６８】
ベクトルＭＩＮ値−ベクトルＭＡＸ値≦Ｖ＿ｂａｃｋ＿ｌｉｍｉｔ  （４）
切り出し位置移動量＝ ベクトルＭＡＸ値
＋(ベクトルＭＩＮ値 − ベクトルＭＡＸ値−Ｖ＿ｂａｃｋ＿ｌｉｍｉｔ)  （５）
切り出し位置移動量＝ベクトルＭＡＸ値  （６）
次に、ステップＳ１４で算出された切り出し位置移動量を複数に分割し、１回の処理毎に１段ずつ切り出し位置を移動させる。なお、手前側に飛び出した被写体の飛び出し量を抑えるためには、左画像ＧＬ中における表示領域を固定したまま右画像ＧＲ中における表示領域を左方向に移動させるか、右画像ＧＲ中における表示領域を固定したまま左画像ＧＬ中における表示領域を右方向に移動させるか、左画像ＧＬ中における表示領域を右方向に、右画像ＧＲ中における表示領域を左方向に同時に移動させればよい。逆に、被写体の飛び出し量を増やすためには、画像ＧＲ、ＧＬの表示領域を上記と逆方向に移動させればよい。また、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＦＦである場合には、これをＯＮに変更する（ステップＳ１５）。
【００６９】
ここで、切り出し位置移動量の分割数については特に制限はない。本実施の形態では３分割にするものとして説明する。また、切り出し位置移動量の分割については、均等に分割してもよいし、異なる量で分割してもよい。
【００７０】
ただし、図８に示すように、被写体が手前から奥方向へ移動するに従い、切り出し位置変化（左右の表示位置変化）が被写体のクロスポイント位置から手前側への飛び出し量変化に与える影響が大きくなるため、切り出し位置移動量を均等に分割した場合には、被写体が目標位置まで加速しながら動いて行くように見える。
【００７１】
そこで、手前から奥方向に、被写体が目標位置まで等速で動いて行くように変化させる方法もある。例えば、被写体からクロスポイントまでの距離と、被写体からカメラまでの距離とがほぼ３対１になるような位置に被写体がいる場合を考える。上記の切り出し位置移動量を３分割する場合、分割した切り出し位置移動量Ｘ１、Ｘ２、Ｘ３について、下記の（２）式の比率に従って段階的に変化させることで、被写体が目標位置まで等速で動いて行くように見える。
【数２】
2012001970.tif 000004
【００７２】
なお、被写体からクロスポイントまでの距離と、被写体からカメラまでの距離との関係によっては、３分割以外の複数に分割する場合も考えられるが、基本的に同様であり、下記の（３）式の比率に従って段階的に変化させればよい。また、各特徴点ｆとそれに対応する対応点ｍとの間のベクトル値によって、被写体からクロスポイントまでの距離と、被写体からカメラまでの距離との関係を判断し、分割方法を切り替えてもよい。
【数３】
2012001970.tif 000005
【００７３】
また、ここで決定された切り出し位置の各段階毎の移動量は、２周目以降のステップＳ９でのぼかし処理に密接に関わることになる。
【００７４】
光学撮影において被写体が合焦位置から距離Ｌ離れた場合に、ボケ量は１／Ｌにほぼ比例することが知られている。ボケ量は焦点面からの距離で決まり、焦点面からの距離は、被写体距離の逆数にほぼ比例するため（ニュートンの公式）、上記の飛び出し量変化に合わせてぼかし処理の強さを変えていくようにすれば、ユーザーにとって自然な画像を生成することができる。
【００７５】
ここで、ぼかし処理の強さはσで調節する。例えば、切り出し位置移動量の分割について３段階に均等に行なった場合には下記の通りσを設定すればよい。なお、Ｌは各段階毎の被写体の移動量である。また、ｋは所定の係数であり、被写界深度などレンズ特性により設定するものとする。
【００７６】
移動前：σ＝１／３Ｌ×ｋ
Ｘ１移動後：σ＝１／２Ｌ×ｋ
Ｘ２移動後：σ＝１／Ｌ×ｋ
Ｘ３移動後：σ＝∞（つまりぼかし処理を行なわない）
なお、上記以外の場合であっても、各段階毎にクロスポイント位置からオブジェクト（ぼかし処理対象被写体）までの距離に応じてσを調節すればよい。
【００７７】
ステップＳ１５の処理が終了したら再度ステップＳ１に戻る。以後、１周目と同様の処理が行なわれることになるが、２周目以降では、切り出し位置移動フラグがＯＮになっているため、ステップＳ６における判定で、１周目と異なりここからステップＳ８に直接遷移する。また、ステップＳ１０における判定でも、１周目と異なりここからステップＳ１１に遷移する。
【００７８】
ステップＳ１１では、表示用切り出し位置の移動が完了しているか判定を行い、Ｎｏの場合には、ステップＳ１５に遷移して切り出し位置を１段階移動させた後、再度ステップＳ１に戻る。
【００７９】
ステップＳ１１における判定でＹｅｓの場合、すなわち、図６に示すように最初にステップＳ５で検出した最もベクトル値が大きい特徴点がクロスポイント位置となった場合には、画像ＧＲ、ＧＬの切り出し位置移動フラグをＯＦＦに変更し（ステップＳ１２）、ぼかし処理が行なわれている場合にはぼかし処理を停止して（ステップＳ１３）、処理を終了する。
【００８０】
上記の処理を行うタイミングとしては、例えば動画や静止画やスルー画等の立体視用画像をモニタ２０に映像を表示している際に、図９に示すように、所定フレーム毎（図９では一例として３フレーム）に定期的にステップＳ１からＳ７までの確認処理を行い、手前側に過剰に飛び出した被写体が無い場合には処理を終了し（例えば図９中のＡ、Ｃ、Ｄ）、手前側に過剰に飛び出した被写体が有る場合にはステップＳ１からＳ１５までの全体処理を行う（例えば図９中のＢ、Ｅ）。なお、確認処理の間隔よりも、全体処理の時間が長くなる場合には、重複する確認処理は行なわない（例えば図９中のＥ）。
【００８１】
上記の構成とすることにより、立体視用画像について適切に立体感を調整することができ、また段階的にクロスポイント位置が変化するので調整の際にユーザーに違和感を生じさせないようにすることができる。さらに段階的にクロスポイント位置を変化させる際に、各画像のクロスポイント位置から手前側に離れた位置にあるぼかし処理対象被写体に対して画像上でぼかし処理を施してクロスポイント位置から手前側にある被写体に対して注意が向かないようにしているので、ユーザーの眼の負担をより軽減させることができる。
【００８２】
次いで、本発明の第２の実施の形態について説明する。なお、本発明の第２の実施形態による画像処理装置を適用した複眼カメラは、第１の実施の形態による複眼カメラ１とほぼ同様の構成を有するため、同様の構成部分についての詳細な説明は省略する。図１０は本発明の第２の実施形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図、図１１は第２の実施の形態において立体感の調整時に行われる処理を示すフローチャートである。
【００８３】
第２の実施の形態による複眼カメラの主な特徴は、暫定クロスポイント位置から手前側に離れた位置にある被写体のうち顔のみを表示位置調整対象被写体とみなし、表示位置調整対象被写体が調整後クロスポイント位置から手前側に離れないように、暫定クロスポイント位置から調整後クロスポイント位置まで段階的にクロスポイント位置を調整するものである。
【００８４】
第２の実施の形態による複眼カメラは、第１の実施の形態による複眼カメラ１と比較して、３次元処理部の構成と、さらに画像ＧＲ，ＧＬ中から顔を検出する顔検出手段を備えた点が異なるものである。
【００８５】
図１０に示すように、本実施の形態の３次元処理部３０aは、ぼかし処理回路４１、特徴点検出回路４２、ベクトル検出回路４３、飛び出し領域算出回路４４、および表示画像切り出し位置算出回路４５を備える。ぼかし処理回路４１は、画像ＧＲ，ＧＬ中のぼかし処理対象被写体に対してぼかし処理を施す。特徴点検出回路４２は、画像ＧＲ，ＧＬの一方の画像中から特徴点を検出するとともに、他方の画像中から一方の画像中の特徴点に対応する対応点を検出する処理を行う。また、ぼかし処理回路４１および特徴点検出回路４２は、不図示の顔検出手段から画像ＧＲ，ＧＬ中の顔検出座標情報を取得し、後述の必要な処理を行う。ベクトル検出回路４３は、特徴点毎に対応する対応点との間のベクトルを算出する処理を行う。飛び出し領域算出回路４４は、処理中の画像におけるクロスポイント位置から手前に飛び出すことになる被写体をぼかし処理対象被写体として特定する処理を行う。表示画像切り出し位置算出回路４５は、処理中の画像におけるクロスポイント位置から最も手前に飛び出すことになる被写体を表示位置調整対象被写体として特定し、この表示位置調整対象被写体がクロスポイント位置になるように、段階的に画像ＧＲ，ＧＬから表示領域として切り出す位置を調整する処理を行う。
【００８６】
次に、第２の実施の形態において行われる処理について説明する。
【００８７】
例えば動画や静止画やスルー画等の立体視用画像をモニタ２０に表示する際に、まず、立体視用画像を生成するための２つの画像ＧＲ、ＧＬを取得する（ステップＳ１０１）。なお、画像ＧＲ、ＧＬには、切り出し位置移動フラグ情報が付与されているが、初期状態では切り出し位置移動フラグはＯＦＦである。また、画像ＧＲ、ＧＬの表示領域の切り出し位置は、暫定位置（初期状態）として画像ＧＲ、ＧＬの中央をクロスポイント位置として設定した状態に基づいて決定されている。
【００８８】
次に、いずれか一方の画像を基準として、この基準画像中から特徴点ｆの検出を行う（ステップＳ１０２）。本実施の形態においては左画像ＧＬを基準画像とする。次に、他方の画像（本実施の形態においては右画像ＧＲ）から基準画像中の特徴点ｆに対応する対応点ｍの検出を行う（ステップＳ１０３）。次に、各特徴点ｆとそれに対応する対応点ｍとの間のベクトル値を算出し（ステップＳ１０４）、その中から最もベクトル値が大きい特徴点を抽出する（ステップＳ１０５）。
【００８９】
次に、画像ＧＲ、ＧＬ中から顔を検出する処理を行い（ステップＳ１０６）、画像ＧＲ、ＧＬのいずれかの中から顔が検出されたか判定し（ステップＳ１０７）、Ｙｅｓの場合には、顔領域内での各特徴点ｆとそれに対応する対応点ｍとの間のベクトル値が最も大きい特徴点を抽出する（ステップＳ１０８）。また、ステップＳ１０７における判定でＮｏの場合には、ステップＳ１０８を飛ばして、ステップＳ１０９に直接遷移する。
【００９０】
次に、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＮであるか判定し（ステップＳ１０９）、Ｎｏの場合には、ステップＳ１０５で検出した最も大きいベクトル値が所定値（Ｖ＿ｌｉｍｉｔ）を超えていないか判定する（ステップＳ１１０）。本実施の形態ではＶ＿ｌｉｍｉｔは０とする。すなわち、クロスポイント位置から少しでも手前にある被写体は、手前側に過剰に飛び出した被写体と認識されることになる。
【００９１】
ステップＳ１０９における初回の判定では、切り出し位置移動フラグの初期状態がＯＦＦであるため必ずステップＳ１１０に遷移し、ステップＳ１１０における判定でＮｏの場合には、そのまま処理を終了する。
【００９２】
ステップＳ１１０における判定でＹｅｓの場合には、画像ＧＲ、ＧＬから顔領域以外の被写体の特徴点／対応点を検出し、特徴点・対応点間のベクトル量が所定値を超えている特徴点／対応点のみ抽出し、抽出した特徴点／対応点が含まれるオブジェクト（ぼかし処理対象被写体）を抽出する（ステップＳ１１１）。ここでの所定値は、ステップＳ１１０における所定値と同じ値としてもよいし異なる値としてもよいが、本実施の形態では同じ値（Ｖ＿ｌｉｍｉｔ）とする。また、オブジェクトを抽出する方法については、既存の種々の方法を適用することができる。
【００９３】
次に、抽出したオブジェクトｏに対してぼかし処理を施す（ステップＳ１１２）。ここで、ぼかし処理については、ガウシアンフィルタ等のフィルタを用いてもよいし、単純な平均化処理を行ってもよい。詳細については上記第１の実施の形態と同様である。
【００９４】
次に、画像ＧＲ、ＧＬのいずれかの中から顔が検出されたか判定し（ステップＳ１１３）、Ｎｏの場合には、そのまま処理を終了する。また、ステップＳ１１３における判定でＹｅｓの場合には、ステップＳ１１１で抽出されたぼかし処理対象被写体に顔が含まれているか判定する（ステップＳ１１４）。
【００９５】
ステップＳ１１４における判定でＮｏの場合には、ステップＳ１０８で抽出された顔領域内でのベクトル最大値が所定値（Ｖ＿ｌｉｍｉｔ）を超えていないか判定し（ステップＳ１１５）、Ｎｏの場合には、そのまま処理を終了する。ステップＳ１１５における判定でＹｅｓの場合には、顔領域のぼかし処理を行う（ステップＳ１１６）。ここでのぼかし処理の詳細については、ステップＳ１１１およびステップＳ１１２の内容に準じる。また、ステップＳ１１４における判定でＹｅｓの場合には、ステップＳ１１７に直接遷移する。
【００９６】
次に、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＮであるか判定し（ステップＳ１１７）、Ｎｏの場合には、現在の切り出し位置（初回の処理では暫定位置）から調整後の切り出し位置までの切り出し位置移動量を算出する（ステップＳ１２１）。なお、ステップＳ１１７における初回の判定では、切り出し位置移動フラグの初期状態がＯＦＦであるため必ずステップＳ１２１に遷移する。ここで調整後の切り出し位置は、顔領域のクロスポイント位置から手前側への飛び出し量が小さくなる位置であればどのような位置に設定してもよいが、最初にステップＳ１０８で検出した顔領域における最もベクトル値が大きい特徴点をクロスポイント位置とする切り出し位置、すなわち、最終的にクロスポイント位置より手前に表示される顔領域が無くなる位置に設定することが好ましい。これ以外の調整後の切り出し位置の詳細については、上記第１の実施の形態と同様である。
【００９７】
次に、ステップＳ１１７で算出された切り出し位置移動量を複数に分割し、１回の処理毎に１段ずつ切り出し位置を移動させる。また、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＦＦである場合には、これをＯＮに変更する（ステップＳ１２２）。ここで、切り出し位置移動量の分割数や、切り出し位置移動量の分割については、上記第１の実施の形態と同様である。
【００９８】
ステップＳ１２２の処理が終了したら再度ステップＳ１０１に戻る。以後、１周目と同様の処理が行なわれることになるが、２周目以降では、切り出し位置移動フラグがＯＮになっているため、ステップＳ１０９における判定で、１周目と異なりここからステップＳ１１１に直接遷移する。また、ステップＳ１１７における判定でも、１周目と異なりここからステップＳ１１８に遷移する。
【００９９】
ステップＳ１１８では、表示用切り出し位置の移動が完了しているか判定を行い、Ｎｏの場合には、ステップＳ１２２に遷移して切り出し位置を１段階移動させた後、再度ステップＳ１０１に戻る。
【０１００】
ステップＳ１１８における判定でＹｅｓの場合、すなわち、最初にステップＳ一〇五で検出した最もベクトル値が大きい特徴点がクロスポイント位置となった場合には、画像ＧＲ、ＧＬの切り出し位置移動フラグをＯＦＦに変更し（ステップＳ１１９）、ぼかし処理が行なわれている場合にはぼかし処理を停止して（ステップＳ１２０）、処理を終了する。
【０１０１】
上記の処理を行うタイミングについては、上記第１の実施の形態と同様である。
【０１０２】
上記の構成としても上記第１の実施の形態と同様の効果を得ることができる。また、基本的に主要被写体は顔である場合が多く、顔でない部分の飛び出し量が大きくても、ユーザーはその部分を注視する可能性が低いと考えられる。そこで、本実施の形態では、顔でない部分が飛び出している場合にはぼかし処理のみを行うようにしており、これによりユーザーの眼の負担を軽減させつつ、必要以上に立体視用画像の立体感が損なわれることが無くなる。
【０１０３】
次いで、本発明の第３の実施の形態について説明する。なお、本発明の第３の実施形態による画像処理装置を適用した複眼カメラは、第１の実施の形態による複眼カメラ１とほぼ同様の構成を有するため、同様の構成部分についての詳細な説明は省略する。図１２は本発明の第３の実施形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図、図１３は第３の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図１４は第３の実施の形態において立体感の調整時に行われる処理を説明するための図である。
【０１０４】
第３の実施の形態による複眼カメラの主な特徴は、暫定クロスポイント位置から手前側に離れた位置にある被写体のうち画像中央部の所定範囲にある被写体のみを表示位置調整対象被写体とみなし、表示位置調整対象被写体が調整後クロスポイント位置から手前側に離れないように、暫定クロスポイント位置から調整後クロスポイント位置まで段階的にクロスポイント位置を調整するものである。
【０１０５】
第３の実施の形態による複眼カメラは、第１の実施の形態による複眼カメラ１と比較して、３次元処理部の構成のみが異なるものである。
【０１０６】
図１２に示すように、本実施の形態の３次元処理部３０ｂは、ぼかし処理回路４１、特徴点検出回路４２、ベクトル検出回路４３、飛び出し領域算出回路４４、表示画像切り出し位置算出回路４５、および飛び出し領域位置判定回路４６を備える。ぼかし処理回路４１は、画像ＧＲ，ＧＬ中のぼかし処理対象被写体に対してぼかし処理を施す。特徴点検出回路４２は、画像ＧＲ，ＧＬの一方の画像中から特徴点を検出するとともに、他方の画像中から一方の画像中の特徴点に対応する対応点を検出する処理を行う。ベクトル検出回路４３は、特徴点毎に対応する対応点との間のベクトルを算出する処理を行う。飛び出し領域算出回路４４は、処理中の画像におけるクロスポイント位置から手前に飛び出すことになる被写体をぼかし処理対象被写体として特定する処理を行う。飛び出し領域位置判定回路４６は、暫定クロスポイント位置から手前側に離れた位置にある被写体のうち、図１４に示すように、画像中央部の所定範囲にかかる被写体のみを表示位置調整対象被写体の候補として設定する。表示画像切り出し位置算出回路４５は、飛び出し領域位置判定回路４６により設定された表示位置調整対象被写体の候補の中で、処理中の画像におけるクロスポイント位置から最も手前に飛び出すことになる被写体を表示位置調整対象被写体として特定し、この表示位置調整対象被写体がクロスポイント位置になるように、段階的に画像ＧＲ，ＧＬから表示領域として切り出す位置を調整する処理を行う。
【０１０７】
次に、第３の実施の形態において行われる処理について説明する。
【０１０８】
例えば動画や静止画やスルー画等の立体視用画像をモニタ２０に表示する際に、まず、立体視用画像を生成するための２つの画像ＧＲ、ＧＬを取得する（ステップＳ２０１）。なお、画像ＧＲ、ＧＬには、切り出し位置移動フラグ情報が付与されているが、初期状態では切り出し位置移動フラグはＯＦＦである。また、画像ＧＲ、ＧＬの表示領域の切り出し位置は、暫定位置（初期状態）として画像ＧＲ、ＧＬの中央をクロスポイント位置として設定した状態に基づいて決定されている。
【０１０９】
次に、いずれか一方の画像を基準として、この基準画像中から特徴点ｆの検出を行う（ステップＳ２０２）。本実施の形態においては左画像ＧＬを基準画像とする。次に、他方の画像（本実施の形態においては右画像ＧＲ）から基準画像中の特徴点ｆに対応する対応点ｍの検出を行う（ステップＳ２０３）。次に、各特徴点ｆとそれに対応する対応点ｍとの間のベクトル値を算出し（ステップＳ２０４）、その中から最もベクトル値が大きい特徴点を抽出する（ステップＳ２０５）。
【０１１０】
次に、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＮであるか判定し（ステップＳ２０６）、Ｎｏの場合には、ステップＳ２０５で検出した最も大きいベクトル値が所定値（Ｖ＿ｌｉｍｉｔ）を超えていないか判定する（ステップＳ２０７）。本実施の形態ではＶ＿ｌｉｍｉｔは０とする。すなわち、クロスポイント位置から少しでも手前にある被写体は、手前側に過剰に飛び出した被写体と認識されることになる。
【０１１１】
ステップＳ２０６における初回の判定では、切り出し位置移動フラグの初期状態がＯＦＦであるため必ずステップＳ２０７に遷移し、ステップＳ２０７における判定でＮｏの場合には、そのまま処理を終了する。
【０１１２】
ステップＳ２０７における判定でＹｅｓの場合には、画像ＧＲ、ＧＬから被写体の特徴点／対応点を検出し、特徴点・対応点間のベクトル量が所定値を超えている特徴点／対応点のみ抽出し、抽出した特徴点／対応点が含まれるオブジェクト（ぼかし処理対象被写体）を抽出する（ステップＳ２０８）。ここでの所定値は、ステップＳ２０７における所定値と同じ値としてもよいし異なる値としてもよいが、本実施の形態では同じ値（Ｖ＿ｌｉｍｉｔ）とする。また、オブジェクトを抽出する方法については、既存の種々の方法を適用することができる。
【０１１３】
次に、抽出したオブジェクトｏに対してぼかし処理を施す（ステップＳ２０９）。ここで、ぼかし処理については、ガウシアンフィルタ等のフィルタを用いてもよいし、単純な平均化処理を行ってもよい。詳細については上記第１の実施の形態と同様である。
【０１１４】
次に、ステップＳ２０８で抽出されたぼかし処理対象被写体が、画像ＧＲ、ＧＬの表示領域の中央部の所定範囲にあるか判定し、Ｎｏの場合には、そのまま処理を終了する。ステップＳ２０８における判定でＹｅｓの場合には、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＮであるか判定し（ステップＳ２１１）、Ｎｏの場合には、現在の切り出し位置（初回の処理では暫定位置）から調整後の切り出し位置までの切り出し位置移動量を算出する（ステップＳ２１５）。なお、ステップＳ２１１における初回の判定では、切り出し位置移動フラグの初期状態がＯＦＦであるため必ずステップＳ２１５に遷移する。ここで調整後の切り出し位置は、画像ＧＲ、ＧＬの表示領域の中央部の所定範囲にある被写体のクロスポイント位置から手前側への飛び出し量が小さくなる位置であればどのような位置に設定してもよいが、画像ＧＲ、ＧＬの表示領域の中央部の所定範囲にあるオブジェクトの特徴点をクロスポイント位置とする切り出し位置、すなわち、画像ＧＲ、ＧＬの表示領域の中央部の所定範囲において、最終的にクロスポイント位置より手前に表示される被写体が無くなる位置に設定することが好ましい。これ以外の調整後の切り出し位置の詳細については、上記第１の実施の形態と同様である。
【０１１５】
次に、ステップＳ２１５で算出された切り出し位置移動量を複数に分割し、１回の処理毎に１段ずつ切り出し位置を移動させる。また、画像ＧＲ、ＧＬの切り出し位置移動フラグがＯＦＦである場合には、これをＯＮに変更する（ステップＳ２１６）。ここで、切り出し位置移動量の分割数や、切り出し位置移動量の分割については、上記第１の実施の形態と同様である。
【０１１６】
ステップＳ２１６の処理が終了したら再度ステップＳ２０１に戻る。以後、１周目と同様の処理が行なわれることになるが、２周目以降では、切り出し位置移動フラグがＯＮになっているため、ステップＳ２０６における判定で、１周目と異なりここからステップＳ２０８に直接遷移する。また、ステップＳ２１１における判定でも、１周目と異なりここからステップＳ２１２に遷移する。
【０１１７】
ステップＳ２１２では、表示用切り出し位置の移動が完了しているか判定を行い、Ｎｏの場合には、ステップＳ２１６に遷移して切り出し位置を１段階移動させた後、再度ステップＳ２０１に戻る。
【０１１８】
ステップＳ２１２における判定でＹｅｓの場合、すなわち、画像ＧＲ、ＧＬの表示領域の中央部の所定範囲にあるオブジェクトの特徴点うち、最もベクトル値が大きい特徴点がクロスポイント位置となった場合には、画像ＧＲ、ＧＬの切り出し位置移動フラグをＯＦＦに変更し（ステップＳ２１３）、ぼかし処理が行なわれている場合にはぼかし処理を停止して（ステップＳ２１４）、処理を終了する。
【０１１９】
上記の処理を行うタイミングについては、上記第１の実施の形態と同様である。
【０１２０】
上記の構成としても上記第１の実施の形態と同様の効果を得ることができる。また、基本的に主要被写体は画像中央付近にある場合が多く、画像周辺にある被写体については、ユーザーはその部分を注視する可能性が低いと考えられる。そこで、本実施の形態では、画像周辺にある被写体が飛び出している場合にはぼかし処理のみを行うようにしており、これによりユーザーの眼の負担を軽減させつつ、必要以上に立体視用画像の立体感が損なわれることが無くなる。
【０１２１】
次いで、本発明の第４の実施の形態について説明する。なお、本発明の第４の実施形態による画像処理装置を適用した複眼カメラは、第１の実施の形態による複眼カメラ１とほぼ同様の構成を有するため、同様の構成部分についての詳細な説明は省略する。図１５は本発明の第４の実施形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図、図１６は第４の実施の形態において立体感の調整時に行われる処理を示すフローチャートである。
【０１２２】
第４の実施の形態による複眼カメラの主な特徴は、表示位置調整対象被写体が画像外に移動した場合に、調整後クロスポイント位置から暫定クロスポイント位置にクロスポイント位置を戻すものである。
【０１２３】
第４の実施の形態による複眼カメラは、第１の実施の形態による複眼カメラ１と比較して、３次元処理部の構成のみが異なるものである。
【０１２４】
図１６に示すように、本実施の形態の３次元処理部３０ｃは、ぼかし処理回路４１、特徴点検出回路４２、ベクトル検出回路４３、飛び出し領域算出回路４４、表示画像切り出し位置算出回路４５、および表示画像切り出し位置判定回路４７を備える。ぼかし処理回路４１は、画像ＧＲ，ＧＬ中のぼかし処理対象被写体に対してぼかし処理を施す。特徴点検出回路４２は、画像ＧＲ，ＧＬの一方の画像中から特徴点を検出するとともに、他方の画像中から一方の画像中の特徴点に対応する対応点を検出する処理を行う。ベクトル検出回路４３は、特徴点毎に対応する対応点との間のベクトルを算出する処理を行う。飛び出し領域算出回路４４は、処理中の画像におけるクロスポイント位置から手前に飛び出すことになる被写体をぼかし処理対象被写体として特定する処理を行う。表示画像切り出し位置算出回路４５は、処理中の画像におけるクロスポイント位置から最も手前に飛び出すことになる被写体を表示位置調整対象被写体として特定し、この表示位置調整対象被写体がクロスポイント位置になるように、段階的に画像ＧＲ，ＧＬから表示領域として切り出す位置を調整する処理を行う。表示画像切り出し位置判定回路４７は、現在の切り出し位置が初期位置であるか判定し、初期位置で無い場合は現在の切り出し位置と初期位置との差分を算出する処理を行う。
【０１２５】
次に、第４の実施の形態において行われる処理について説明する。本実施の形態において行われる処理は、第１の実施の形態において行われる処理と比較して、ステップＳ３０８からＳ３１１までの処理が加わっただけであるため、主にこの点についての説明のみ行い、その他の部分については省略する。
【０１２６】
第１の実施の形態と同様の処理が行われることによりステップＳ３０６まで遷移した後、ステップＳ３０５で検出した最も大きいベクトル値が所定値（Ｖ＿ｌｉｍｉｔ）を超えていないか判定する（ステップＳ３０７）。本実施の形態ではＶ＿ｌｉｍｉｔは０とする。すなわち、クロスポイント位置から少しでも手前にある被写体は、手前側に過剰に飛び出した被写体と認識されることになる。
【０１２７】
ステップＳ３０７における判定でＹｅｓの場合には、以後第１の実施の形態と同様の処理が行われることになる。
【０１２８】
ステップＳ３０７における判定でＮｏの場合には、画像ＧＲ、ＧＬの表示領域の切り出し位置が初期位置であるか判定し（ステップＳ３０８）、Ｙｅｓの場合には、そのまま処理を終了する。
【０１２９】
ステップＳ３０８における判定でＮｏの場合には、画像ＧＲ、ＧＬの表示領域の切り出し位置を初期位置に戻した場合における、画像ＧＲ、ＧＬ中の特徴点・対応点間の最も大きいベクトル値を算出し（ステップＳ３０９）、このベクトル値が所定値（Ｖ＿ｌｉｍｉｔ）を超えていないか判定する（ステップＳ３１０）。
【０１３０】
ステップＳ３１０における判定でＮｏの場合には、そのまま処理を終了する。また、ステップＳ３１０における判定でＹｅｓの場合には、画像ＧＲ、ＧＬの表示領域の切り出し位置を初期位置に移動させて（ステップＳ３１１）、処理を終了する。なお、このときも段階的に切り出し位置を変化させることが好ましい。
【０１３１】
上記の処理を行うタイミングについては、上記第１の実施の形態と同様である。
【０１３２】
上記の構成としても上記第１の実施の形態と同様の効果を得ることができる。また、立体感を抑える必要が無い画像についてまで立体感が抑えられることが無くなるため、必要以上に立体視用画像の立体感が損なわれることが無くなる。
【０１３３】
以上、本発明の実施の形態に係る装置について説明したが、コンピュータを、上記の３次元処理部３０に対応する手段として機能させ、各実施の形態における処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施の形態の１つである。
【０１３４】
また、本発明の画像処理装置は、複眼カメラに適用する場合に限るものではなく、画像表示装置等の他の装置に適用してもよい。
【図１】
2012001970.tif 000006
【図２】
2012001970.tif 000007
【図３】
2012001970.tif 000008
【図４Ａ】
2012001970.tif 000009
【図４Ｂ】
2012001970.tif 000010
【図５】
2012001970.tif 000011
【図６】
2012001970.tif 000012
【図７】
2012001970.tif 000013
【図８】
2012001970.tif 000014
【図９】
2012001970.tif 000015
【図１０】
2012001970.tif 000016
【図１１Ａ】
2012001970.tif 000017
【図１１Ｂ】
2012001970.tif 000018
【図１２】
2012001970.tif 000019
【図１３Ａ】
2012001970.tif 000020
【図１３Ｂ】
2012001970.tif 000021
【図１４】
2012001970.tif 000022
【図１５】
2012001970.tif 000023
【図１６Ａ】
2012001970.tif 000024
【図１６Ｂ】
2012001970.tif 000025
【国際調査報告】
2012001970.tif 000026
2012001970.tif 000027
2012001970.tif 000028