(57)【要約】【課題】人物が写っている立体視用画像について適切に立体感を調整できるようにする。【解決手段】暫定的なクロスポイント位置となる注目点を人物の目に設定するとともに、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点からバックシフトさせて、クロスポイントから手前側に飛び出してくる物体の量が多くなるように立体感を調整する。バックシフト量の算出については、基準画像中に占める顔の割合（ＦＳＩＺＥ）が大きいほどバックシフト量ＢＳが大きくなるように設定し、さらに注目点よりも手前に位置する画素の数ＴＳＨが多いほど小さい値となる係数ｋｂをバックシフト量ＢＳに乗算する。【選択図】図７
2011211488.tif 000002
【特許請求の範囲】
【請求項１】
視点が異なる複数の画像において対応する所定の点をクロスポイントとし、該クロスポイント位置の視差が最も小さくなるように前記複数の画像に対して視差調整を行って立体視用画像を生成する画像処理装置であって、
前記画像中の顔を検出する顔検出手段と、
暫定的なクロスポイント位置となる所定の注目点を前記顔中から検出する注目点検出手段と、
前記画像中に占める前記顔の割合が大きいほどクロスポイント位置を前記注目点から後方移動させるクロスポイント位置調整手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段を備え、
前記クロスポイント位置調整手段が、前記注目点よりも手前に位置する画素の数が多いほど前記後方移動の量を少なくするように調整する後方移動量調整手段を備えたものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記後方移動量調整手段が、前記注目点よりも手前に位置する画素の数を判定する際に、前記画像の中心に近い画素ほど重み付けを高くするものであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記後方移動量調整手段が、前記注目点よりも手前に位置する画素の数を判定する際に、前記顔の中心に近い画素ほど重み付けを高くするものであることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記注目点が、目であることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
【請求項６】
前記注目点が、左右の目のうち奥側に位置する目であることを特徴とする請求項５記載の画像処理装置。
【請求項７】
視点が異なる複数の画像において対応する所定の点をクロスポイントとし、該クロスポイント位置の視差が最も小さくなるように前記複数の画像に対して視差調整を行って立体視用画像を生成する画像処理方法であって、
前記画像中の顔を検出し、
暫定的なクロスポイント位置となる所定の注目点を前記顔中から検出し、
前記画像中に占める前記顔の割合が大きいほどクロスポイント位置を前記注目点から後方移動させることを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平衡法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成することによっても立体視表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、立体視表示された立体視用画像を融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。
【０００３】
また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている（スキャンバックライト方式）。
【０００４】
このように立体視を行う場合、立体感を適切に調整する必要があるため、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法が提案されている（特許文献１参照）。また、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法も提案されている（特許文献２参照）。また、ゲームにおいて立体感を調整する手法も提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２９１８６号公報
【特許文献２】特開平１０−９０８１４号公報
【特許文献３】特開平９−１９２３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような立体感の調整は、具体的には視線の交差位置であるクロスポイントを被写体の注目点に合せることで行なわれる。
【０００７】
画像中に人物が映っている場合には、その人物の顔の位置をクロスポイントとして設定することが好ましく、また顔の中でも特に目の位置をクロスポイントとして設定することにより、人物の目が注目点として強調されて非常に好ましい感じの画像を得ることができる。
【０００８】
しかしながら、顔をアップで撮影した場合等、画像中に占める顔の割合が大きい場合に、目の位置にクロスポイントを合せると、例えば鼻や前髪等、目より手前に位置する極一部の被写体のみが手前に飛び出し、残りの被写体は全て奥に引っ込んで立体感の乏しい画像となってしまうという問題がある。
【０００９】
本発明は上記事情に鑑みなされたものであり、人物が写っている立体視用画像について適切に立体感を調整できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、視点が異なる複数の画像において対応する所定の点をクロスポイントとし、クロスポイント位置の視差が最も小さくなるように複数の画像に対して視差調整を行って立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、暫定的なクロスポイント位置となる所定の注目点を顔中から検出する注目点検出手段と、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させるクロスポイント位置調整手段とを備えたことを特徴とするものである。
【００１１】
本発明の画像処理装置においては、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段を備え、クロスポイント位置調整手段を、注目点よりも手前に位置する画素の数が多いほど後方移動の量を少なくするように調整する後方移動量調整手段を備えたものとすることが好ましい。
【００１２】
この場合、後方移動量調整手段は、注目点よりも手前に位置する画素の数を判定する際に、画像の中心に近い画素ほど重み付けを高くするもの、もしくは顔の中心に近い画素ほど重み付けを高くするものとすることが好ましい。
【００１３】
また、注目点は、目とすることが好ましく、左右の目のうち奥側に位置する目とすればさらに好ましい。
【００１４】
本発明の画像処理方法は、視点が異なる複数の画像において対応する所定の点をクロスポイントとし、クロスポイント位置の視差が最も小さくなるように複数の画像に対して視差調整を行って立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、暫定的なクロスポイント位置となる所定の注目点を顔中から検出し、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させることを特徴とする方法である。
【００１５】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１６】
本発明によれば、人物が写っている立体視用画像について、暫定的なクロスポイント位置となる注目点を例えば目等の顔中の被写体に設定するとともに、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させて、クロスポイントから手前側に飛び出してくる物体の量が多くなるように立体感を調整するようにしたので、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
【００１７】
ここで、注目点よりも手前に位置する画素の数が多いほど後方移動の量を少なくするように調整するようにすれば、注目点から手前側に飛び出してくる物体の量が多くなりすぎることがなくなるため、視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
【００１８】
この場合、注目点よりも手前に位置する画素の数を判定する際に、画像の中心に近い画素ほど重み付けを高くする、もしくは顔の中心に近い画素ほど重み付けを高くすれば、被写体の配置を考慮したより適切な立体視用画像を得ることができる。
【００１９】
また、注目点を目とすれば、人物の目が注目点として強調されて非常に好ましい感じの画像を得ることができる。この場合、左右の目のうち奥側に位置する目とすれば、手前側に飛び出してくる物体がより多くなるので、より立体感に富んだ立体視用画像を得ることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態による画像処理装置の外観構成を示す斜視図
【図２】第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図
【図３】第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート
【図４】左右画像間の視差量を説明するための図（その１）
【図５】表示画像の一例を示す図（その１）
【図６】表示画像の一例を示す図（その２）
【図７】顔の大きさに基づいてバックシフト量を調整する場合の説明図
【図８】表示画像の一例を示す図（その３）
【図９】画素毎に重み付け係数を調整する場合の説明図（その１）
【図１０】表示画像の一例を示す図（その４）
【図１１】画素毎に重み付け係数を調整する場合の説明図（その２）
【図１２】表示画像の一例を示す図（その５）
【図１３】第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明の第１の実施の形態による画像処理装置の外観構成を示す斜視図、図２は第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図である。
【００２２】
図１に示すように第１の実施の形態による画像処理装置１は、正面に液晶ディスプレイ（ＬＣＤ）２および操作ボタン３を備える。また、側面にはメモリカード等の記録メディア４を挿入するスロット５を備える。そして、第１の実施の形態による画像処理装置１は、記録メディア４に記録された、互いに異なる位置において撮影を行うことにより取得した複数の画像から生成された立体視用画像を、ＬＣＤ２に立体視表示するものである。なお、本実施の形態においては、２つの画像ＧＬ、ＧＲを用いて立体視表示を行うものとして説明する。また、画像ＧＬは立体視表示する際の左目用の画像、画像ＧＲは右目用の画像とする。
【００２３】
操作ボタン３は、上ボタン３Ｕ、下ボタン３Ｄ、左ボタン３Ｌ、右ボタン３Ｒおよび中央ボタン３Ｃを備える。
【００２４】
図２に示すように、画像処理装置１は、記録制御部２１、圧縮／伸長処理部２２、フレームメモリ２３、内部メモリ２４、画像処理部２５、表示制御部２６およびＣＰＵ２７を備える。
【００２５】
記録制御部２１は、スロット５に挿入された記録メディア４に対する情報の記録および読み出しの制御を行う。
【００２６】
圧縮／伸長処理部２２は、記録メディア４から読み出した立体視表示を行うための２つの画像ＧＬ，ＧＲの圧縮および解凍の処理を行う。画像ＧＬ、ＧＲの画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、後述する立体感調整値および撮影日時等の付帯情報が格納されたタグが付与される。
【００２７】
フレームメモリ２３は、画像ＧＬ、ＧＲを表す画像データに対して、後述する３次元処理を含む各種処理を行う際に使用する作業用メモリである。
【００２８】
内部メモリ２４は、画像処理装置１において設定される各種定数、およびＣＰＵ２７が実行するプログラム等を記憶する。
【００２９】
画像処理部２５は、画像ＧＬ、ＧＲをＬＣＤ２に立体視表示させるために、画像ＧＬ、ＧＲに３次元処理を行って立体視用画像を生成する。ここで、本実施の形態における立体視表示の方式としては、公知の任意の方式を用いることができる。例えば、画像ＧＬ、ＧＲを並べて表示して裸眼平衡法により立体視を行う方式、またはＬＣＤ２にレンチキュラーレンズを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するレンチキュラー方式を用いることができる。また、ＬＣＤ２に左右の目への光路を変更するバリアを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するパララックスバリア方式を用いることができる。
【００３０】
また、画像ＧＬ、ＧＲの色を例えば赤と青のように異ならせて重ね合わせたり、画像ＧＬ、ＧＲの偏光方向を異ならせて重ね合わせることにより、画像ＧＬ、ＧＲを合成して立体視表示を実現する方式（アナグリフ方式、偏光フィルタ方式）を用いることができる。さらに、ＬＣＤ２のバックライトの光路を光学的に左右の目に対応するように交互に分離し、ＬＣＤ２の表示面に画像ＧＬ、ＧＲをバックライトの左右への分離にあわせて交互に表示することにより、立体視表示を実現するスキャンバックライト方式を用いることができる。
【００３１】
なお、ＬＣＤ２は画像処理部２５が行う３次元処理の方式に応じた加工がなされている。例えば、立体視表示の方式がレンチキュラー方式の場合には、ＬＣＤ２の表示面にレンチキュラーレンズが取り付けられており、パララックスバリア方式の場合には、ＬＣＤ２の表面にバリアが取り付けられている。また、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がＬＣＤ２の表示面に取り付けられている。
【００３２】
また、画像処理部２５は、複数の画像間の視差量に基づいて各画素毎に奥行き方向の距離を算出する距離算出手段、画像中の顔を検出する顔検出手段、暫定的なクロスポイント位置となる所定の注目点を顔中から検出する注目点検出手段、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させるクロスポイント位置調整手段、およびクロスポイント位置の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段としての機能を有する他、必要に応じて画像ＧＬ、ＧＲに対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施すことも可能である。
【００３３】
表示制御部２６は、３次元処理により取得される立体視用画像を立体視表示したり、画像ＧＬ、ＧＲを２次元表示したりする。
【００３４】
ＣＰＵ２７は、操作ボタン３からの指示に応じて画像処理装置１の各部を制御する。
【００３５】
データバス２８は、画像処理装置１を構成する各部およびＣＰＵ２７に接続されており、画像処理装置１における各種データおよび各種情報のやり取りを行う。
【００３６】
次に、第１の実施の形態において行われる処理について説明する。図３は第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図４は左右画像間の視差量を説明するための図（その１）、図５は表示画像の一例を示す図（その１）、図６は表示画像の一例を示す図（その２）、図７は顔の大きさに基づいてバックシフト量を調整する場合の説明図である。
【００３７】
第１の実施の形態による画像処理装置１は、人物が写っている立体視用画像について、人物の目を注目点として、この目の位置を基準にクロスポイントの位置を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。
【００３８】
立体視用画像を生成するための２つの画像ＧＬ、ＧＲは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像ＧＬ、ＧＲを重ねた場合、画像ＧＬ、ＧＲに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図４に示すように、画像ＧＬ、ＧＲに基づいて視差マップＰＭの作成を行なう（ステップＳ１）。この視差マップＰＭは、画像ＧＬ、ＧＲのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像ＧＬを基準画像とし、視差量が大きいほど高輝度で表示しているが、この態様に限定されるものではない。
【００３９】
次いで、図５に示すように、基準画像とした左画像ＧＬ中において顔の位置および大きさの検出を行ない（ステップＳ２）、検出した顔中において暫定的なクロスポイント位置となる目（注目点）の検出を行なう（ステップＳ３）。なお、画像中の顔や目の検出方法についてはどのような方法を用いてもよい。
【００４０】
次いで、視差マップＰＭに基づいて画像中の目の視差の算出を行なう（ステップＳ４）。なお、目の視差を判定する位置については、両目のうちのいずれか一方の目の中心、両目の中心同士を結ぶ線の中心位置等、どの位置を基準としてもよい。
【００４１】
次いで、視差マップＰＭに基づいて画像中の注目点よりも手前に位置する画素の数ＴＳＨの算出を行なう（ステップＳ５）。これは、人物の顔がアップで撮影された画像等、顔の割合が大きい画像の場合であっても、図６（ａ）に示すように、画像中の注目点（本実施の形態では人物の目）よりも手前に主要な被写体が無い場合に比べ、図６（ｂ）に示すように、画像中の注目点（本実施の形態では人物の目）よりも手前に主要な被写体（図中のピース表示の手首）が有る場合、すなわちクロスポイントとなる注目点よりも手前に位置する画素の数ＴＳＨが多い場合には、人物の目（注目点）をクロスポイントの位置としても十分な立体感を得ることができるため、クロスポイントの位置を目（注目点）からあまり後方に移動させないようにするためである。
【００４２】
ここで、注目点よりも手前に位置する画素の数ＴＳＨを判定する際に、画素の位置毎に重み付けを変化させるようにしてもよい。以下、そのような態様について説明する。
【００４３】
例えば、画像の中心に近い画素ほど重み付けを高くするようにしてもよい。図８は表示画像の一例を示す図（その３）、図９は画素毎に重み付け係数を調整する場合の説明図（その１）である。
【００４４】
注目点よりも手前に位置する被写体は、図８（ａ）に示すように画像中心付近に写っている場合（図中のピース表示の手首）や、図８（ｂ）に示すように画像端部付近に写っている場合（図中の葉）が考えられるが、図９に示すように画像の中心に近い画素ほど重み付け係数ｋｃが高くなるように設定し、各画素毎に係数ｋｃを乗算して画素数を累積することによりＴＳＨを算出するようにすれば、被写体の配置を考慮したより適切な立体視用画像を得ることができる。
【００４５】
また、顔の中心に近い画素ほど重み付けを高くするようにしてもよい。図１０は表示画像の一例を示す図（その４）、図１１は画素毎に重み付け係数を調整する場合の説明図（その２）である。
【００４６】
注目点よりも手前に位置する被写体は、図１０（ａ）に示すように顔中心付近に写っている場合（図中のピース表示の手首）や、図１０（ｂ）に示すように顔中心から離れた位置に写っている場合（図中の葉）が考えられるが、図１１に示すように顔の中心に近い画素ほど重み付け係数ｋｃ´が高くなるように設定し、各画素毎に係数ｋｃ´を乗算して画素数を累積することによりＴＳＨを算出するようにすれば、人物の顔が画像端部にあるような場合でも、被写体の配置を考慮したより適切な立体視用画像を得ることができる。
【００４７】
次いで、図５に示すように、基準画像とした左画像ＧＬ中に占める顔の割合に基づいて、クロスポイント位置を目（注目点）から後方に移動させる量（バックシフト量）の算出を行なう（ステップＳ６）。
【００４８】
このバックシフト量の算出については、図７（ａ）に示すように、基準画像とした左画像ＧＬ中に占める顔の割合（ＦＳＩＺＥ）が大きいほどバックシフト量ＢＳが大きくなるように設定すればよい。さらに、図７（ｂ）に示すように、注目点よりも手前に位置する画素の数ＴＳＨが多いほど小さい値となる係数ｋｂをバックシフト量ＢＳに乗算する。
【００４９】
次いで、上記で決定したバックシフト量ＢＳの分だけ、クロスポイント位置を目（注目点）から後方に移動させて３次元処理を行う（ステップＳ７）。
【００５０】
本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、３次元処理として２つの画像ＧＬ、ＧＲの視差調整を行なう。
【００５１】
この処理の具体的な内容としては、目の位置の視差量をＥＰ、バックシフト量をＢＳ、バックシフト量に乗算する係数をｋｂとすると、最終的な画像移動量ＣＰＰは下記（１）式により求められ、ここで求められたＣＰＰ分だけ、ＬＣＤ２上での右画像ＧＲの表示位置を左方向に移動させればよい。
【００５２】
ＣＰＰ＝ＥＰ＋ＢＳ×ｋｂ  （１）
なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。
【００５３】
最後に、上記の様にして生成した立体視用画像をＬＣＤ２上に表示して処理を終了する。
【００５４】
上記の構成とすることにより、人物の顔がアップで撮影された画像等、顔の割合が大きい画像の場合でも、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
【００５５】
次いで、本発明の第２の実施の形態について説明する。なお、第２の実施の形態による画像処理装置は、第１の実施の形態による画像処理装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。図１２は表示画像の一例を示す図（その５）、図１３は第２の実施の形態において立体感の調整時に行われる処理を示すフローチャートである。
【００５６】
第２の実施の形態による画像処理装置１は、図１２に示すように、人物の顔が傾いて写っている立体視用画像について、人物の左右の目のうち奥側に位置する目を注目点として、この目の位置を基準にクロスポイントの位置を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。
【００５７】
立体視用画像を生成するための２つの画像ＧＬ、ＧＲは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像ＧＬ、ＧＲを重ねた場合、画像ＧＬ、ＧＲに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図４に示すように、画像ＧＬ、ＧＲに基づいて視差マップＰＭの作成を行なう（ステップＳ１１）。この視差マップＰＭは、画像ＧＬ、ＧＲのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像ＧＬを基準画像とし、視差量が大きいほど高輝度で表示しているが、この態様に限定されるものではない。
【００５８】
次いで、基準画像とした左画像ＧＬ中において顔の位置および大きさの検出を行ない（ステップＳ１２）、検出した顔中において暫定的なクロスポイント位置となる目（注目点）の検出を行なう（ステップＳ１３）。なお、画像中の顔や目の検出方法についてはどのような方法を用いてもよい。
【００５９】
次いで、視差マップＰＭに基づいて画像中の目の視差の算出を行なって（ステップＳ１４）、奥側に位置する目の特定を行ない、特定した方の目を注目点として設定する（ステップＳ１５）。
【００６０】
次いで、視差マップＰＭに基づいて画像中の注目点よりも手前に位置する画素の数ＴＳＨの算出を行なう（ステップＳ１６）。ここでは、第１の実施の形態と同様に、注目点よりも手前に位置する画素の数ＴＳＨを判定する際に、画素の位置毎に重み付けを変化させるようにしてもよい。
【００６１】
次いで、基準画像とした左画像ＧＬ中に占める顔の割合に基づいて、クロスポイント位置を目（注目点）から後方に移動させる量（バックシフト量）の算出を行なう（ステップＳ１６）。
【００６２】
このバックシフト量の算出については、図７（ａ）に示すように、基準画像とした左画像ＧＬ中に占める顔の割合（ＦＳＩＺＥ）が大きいほどバックシフト量ＢＳが大きくなるように設定すればよい。さらに、図７（ｂ）に示すように、注目点よりも手前に位置する画素の数ＴＳＨが多いほど小さい値となる係数ｋｂをバックシフト量ＢＳに乗算する。
【００６３】
次いで、上記で決定したバックシフト量ＢＳの分だけ、クロスポイント位置を目（注目点）から後方に移動させて３次元処理を行う（ステップＳ１８）。
【００６４】
本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、３次元処理の具体的な内容としては、目の位置の視差量をＥＰ、バックシフト量をＢＳ、バックシフト量に乗算する係数をｋｂとすると、最終的な画像移動量ＣＰＰは下記（１）式により求められ、ここで求められたＣＰＰ分だけ、ＬＣＤ２上での右画像ＧＲの表示位置を左方向に移動させればよい。
【００６５】
ＣＰＰ＝ＥＰ＋ＢＳ×ｋｂ  （１）
なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。
【００６６】
最後に、上記の様にして生成した立体視用画像をＬＣＤ２上に表示して処理を終了する。
【００６７】
このように、左右の目のうち奥側に位置する目を注目点とするようにすれば、手前側に飛び出してくる物体がより多くなるので、より立体感に富んだ立体視用画像を得ることができる。
【００６８】
なお、上記第１および第２の実施の形態による画像処理装置１を、複数の撮影部を備えた複眼撮影装置に適用してもよい。この場合、撮影により取得した複数の画像を直ちに表示して、立体感の調整を行って記録メディア４に記録することが可能となる。
【００６９】
以上、本発明の実施の形態に係る装置１０について説明したが、コンピュータを、画像処理部２５、記録制御部２１および表示制御部２６に対応する手段として機能させ、図３および図１３に示すような処理を行わせるプログラムも、本発明の実施の形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施の形態の１つである。
【符号の説明】
【００７０】
１    画像処理装置
２    ＬＣＤ
３    操作ボタン
４    記録メディア
５    スロット
２１    記録制御部
２５    画像処理部
２６    表示制御部
【図１】
2011211488.tif 000003
【図２】
2011211488.tif 000004
【図３】
2011211488.tif 000005
【図５】
2011211488.tif 000006
【図６】
2011211488.tif 000007
【図７】
2011211488.tif 000008
【図８】
2011211488.tif 000009
【図１０】
2011211488.tif 000010
【図１２】
2011211488.tif 000011
【図１３】
2011211488.tif 000012
【図４】
2011211488.tif 000013
【図９】
2011211488.tif 000014
【図１１】
2011211488.tif 000015
【手続補正書】
【提出日】平成23年4月12日(2011.4.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視点が異なる複数の画像に対して視差調整を行って立体視用画像を生成する画像処理装置であって、
前記画像中の顔を検出する顔検出手段と、
暫定的なクロスポイント位置となる所定の注目点を前記顔中から検出する注目点検出手段と、
前記画像中に占める前記顔の割合が大きいほどクロスポイント位置を前記注目点から後方移動させるクロスポイント位置調整手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段を備え、
前記クロスポイント位置調整手段が、前記注目点よりも手前に位置する画素の数が多いほど前記後方移動の量を少なくするように調整する後方移動量調整手段を備えたものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記後方移動量調整手段が、前記注目点よりも手前に位置する画素の数を判定する際に、前記画像の中心に近い画素ほど重み付けを高くするものであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記後方移動量調整手段が、前記注目点よりも手前に位置する画素の数を判定する際に、前記顔の中心に近い画素ほど重み付けを高くするものであることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記注目点が、目であることを特徴とする請求項１または２記載の画像処理装置。
【請求項６】
前記注目点が、左右の目のうち奥側に位置する目であることを特徴とする請求項５記載の画像処理装置。
【請求項７】
視点が異なる複数の画像に対して視差調整を行って立体視用画像を生成する画像処理方法であって、
前記画像中の顔を検出し、
暫定的なクロスポイント位置となる所定の注目点を前記顔中から検出し、
前記画像中に占める前記顔の割合が大きいほどクロスポイント位置を前記注目点から後方移動させることを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平行法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成することによっても立体視表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、立体視表示された立体視用画像を融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
このように立体視を行う場合、立体感を適切に調整する必要があるため、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法が提案されている（特許文献１および２参照）。また、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法も提案されている（特許文献３参照）。また、ゲームにおいて立体感を調整する手法も提案されている（特許文献４参照）。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２００４−１２９１８６号公報
【特許文献２】特開２００９−１２９４２０号公報
【特許文献３】特開平１０−９０８１４号公報
【特許文献４】特開平９−１９２３４９号公報
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の画像処理装置は、視点が異なる複数の画像に対して視差調整を行って立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、暫定的なクロスポイント位置となる所定の注目点を顔中から検出する注目点検出手段と、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させるクロスポイント位置調整手段とを備えたことを特徴とするものである。
ここで「クロスポイント位置を注目点から後方移動させる」とは、クロスポイント位置を画像を撮影する撮像手段に対し離間する方向（すなわち、ユーザーが立体視用画像を観賞した際にユーザー側から離間する方向）に移動させることをいうものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の画像処理方法は、視点が異なる複数の画像に対して視差調整を行って立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、暫定的なクロスポイント位置となる所定の注目点を顔中から検出し、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させることを特徴とする方法である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
画像処理部２５は、画像ＧＬ、ＧＲをＬＣＤ２に立体視表示させるために、画像ＧＬ、ＧＲに３次元処理を行って立体視用画像を生成する。ここで、本実施の形態における立体視表示の方式としては、公知の任意の方式を用いることができる。例えば、画像ＧＬ、ＧＲを並べて表示して裸眼平行法により立体視を行う方式、またはＬＣＤ２にレンチキュラーレンズを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するレンチキュラー方式を用いることができる。また、ＬＣＤ２に左右の目への光路を変更するパララックスバリアを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するパララックスバリア方式を用いることができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
なお、ＬＣＤ２は画像処理部２５が行う３次元処理の方式に応じた加工がなされている。例えば、立体視表示の方式がレンチキュラー方式の場合には、ＬＣＤ２の表示面にレンチキュラーレンズが取り付けられており、パララックスバリア方式の場合には、ＬＣＤ２の表面にパララックスバリアが取り付けられている。また、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がＬＣＤ２の表示面に取り付けられている。