(57)【要約】【課題】複数の人物が写っている立体視用画像について適切に立体感を調整できるようにする。【解決手段】複数の顔を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ａが頂点となる立体感評価関数Ｆ１に基づいて各顔毎に立体感評価値ｒを決定し、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する。次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する。【選択図】図６
2011210027.tif 000002
【特許請求の範囲】
【請求項１】
複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
前記画像中の顔を検出する顔検出手段と、
各顔毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、
前記複数の顔を前記距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、
前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記中間距離にある顔が、前記複数の顔を前記距離順に並べたとき、手前から奥に向けて１：２に内分する点に最も近い顔であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記主要被写体決定手段が、前記画像中において顔が２つ検出された場合に、該２つの顔を前記距離順に並べたとき、手前側の顔を前記主要被写体として決定するものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記主要被写体決定手段が、前記優先順位を調整する優先順位調整手段を備えたものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記優先順位調整手段が、前記表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて前記優先順位を調整するものであることを特徴とする請求項４記載の画像処理装置。
【請求項６】
複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
前記画像中の顔を検出する顔検出手段と、
前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、
前記各画素を前記距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、
前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とする画像処理装置。
【請求項７】
前記中間距離にある画素が、前記各画素を前記距離順に並べたとき、手前から奥に向けて１：２に内分する点の画素であることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記主要被写体決定手段が、前記画像中において顔が２つ検出された場合に、該２つの顔を前記距離順に並べたとき、手前側の顔を前記主要被写体として決定するものであることを特徴とする請求項６または７記載の画像処理装置。
【請求項９】
前記主要被写体決定手段が、前記優先順位を調整する優先順位調整手段を備えたものであることを特徴とする請求項６から８のいずれか１項記載の画像処理装置。
【請求項１０】
前記優先順位調整手段が、前記表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて前記優先順位を調整するものであることを特徴とする請求項９記載の画像処理装置。
【請求項１１】
複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
前記画像中の顔を検出し、
各顔毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出し、
前記複数の顔を前記距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定し、
前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする画像処理方法。
【請求項１２】
複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
前記画像中の顔を検出し、
前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出し、
前記各画素を前記距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定し、
前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする画像処理方法。
【請求項１３】
請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平衡法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成することによっても立体視表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、立体視表示された立体視用画像を融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。
【０００３】
また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている（スキャンバックライト方式）。
【０００４】
このように立体視を行う場合、立体感を適切に調整する必要があるため、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法が提案されている（特許文献１参照）。また、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法も提案されている（特許文献２参照）。また、ゲームにおいて立体感を調整する手法も提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２９１８６号公報
【特許文献２】特開平１０−９０８１４号公報
【特許文献３】特開平９−１９２３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような立体感の調整は、具体的には視線の交差位置であるクロスポイントを主要被写体に合せることで行なわれる。
【０００７】
画像中に人物が映っている場合、その人物の顔の位置をクロスポイントとして設定することにより、好ましい立体感の画像を得ることができるが、画像中に複数の人物が映っている場合には、最も手前の人物の顔にクロスポイントを合せると、他の人物の顔が全て奥に引っ込んで立体感の乏しい画像となってしまい、逆に最も奥の人物の顔にクロスポイントを合せると、他の人物の顔が全て手前に飛び出して視覚疲労や不快感を生じる画像となってしまうという問題がある。
【０００８】
本発明は上記事情に鑑みなされたものであり、複数の人物が写っている立体視用画像について適切に立体感を調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の画像処理装置は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、各顔毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、複数の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とするものである。
【００１０】
最適な立体感を得るために必要な要件としては、「（１）：主要被写体より手前に飛び出した被写体が存在すること」、「（２）：主要被写体より奥に引っ込んだ被写体が存在すること」等が挙げられる。これらを実現するためには、複数の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定すればよい。
【００１１】
ここで、中間距離にある顔、すなわち優先順位を最も高くする顔は、複数の顔を距離順に並べたとき、手前から奥に向けて１：２に内分する点に最も近い顔とすることが好ましい。
【００１２】
その根拠について図２０を用いて説明する。図２０は３Ｄコンソーシアムが定めた立体映像に関する安全ガイドライン「ＧＬ−１２：快適に見られる奥行き範囲を超えてコンテンツを表示しないこと」に示される立体視可能範囲である。なお図２０中の数値の単位はｃｍである。
【００１３】
このガイドラインに従えば、立体視可能な範囲について、手前側の飛び出し量（図２０の表示面ＩＳより右側）は、奥側の引っ込み量（図２０の表示面ＩＳより左側）に比べて抑える必要があるとしている。この範囲を超える視差を残すようなクロスポイント調整を行えば、視覚疲労や不快感が生じる可能性がある。
【００１４】
従って、クロスポイントとなる主要被写体は、少なくとも最も手前の被写体と最も奥の被写体の中心よりも手前にすべきであり、この目安として手前から奥に向けて概ね１：２に内分する点に最も近い被写体とすることが望ましいと言える。もちろんこれは１：２に限定するものではなく、表示システムや観察者の視距離によっても変わり得るが、重要なことは中心よりも手前に位置する被写体を主要被写体として設定することである。
【００１５】
従って、画像中において顔が２つのみ検出された場合には、２つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することが好ましい。
【００１６】
また、主要被写体決定手段は、優先順位を調整する優先順位調整手段を備えたものとすることが好ましい。
【００１７】
この場合、優先順位調整手段は、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて優先順位を調整するものとすることが好ましい。
【００１８】
本発明の第２の画像処理装置は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、各画素を距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とするものである。
【００１９】
ここで、中間距離にある画素、すなわち優先順位を最も高くする顔を決めるための基準となる画素は、各画素を距離順に並べたとき、手前から奥に向けて１：２に内分する点の画素とすることが好ましい。
【００２０】
従って、画像中において顔が２つのみ検出された場合には、２つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することが好ましい。
【００２１】
本発明の第２の画像処理装置は、上記第１の画像処理装置と比較して、奥行き方向の距離が人物同士の中で中間付近にある人物の顔ではなく、画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにした点が異なるだけであり、その利点の根拠は上記第１の画像処理装置での説明と同様である。
【００２２】
また、主要被写体決定手段は、優先順位を調整する優先順位調整手段を備えたものとすることが好ましい。
【００２３】
この場合、優先順位調整手段は、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて優先順位を調整するものとすることが好ましい。
【００２４】
本発明の第１の画像処理方法は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、各顔毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出し、複数の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定し、主要被写体の視差が最も小さくなるように、複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする方法である。
【００２５】
本発明の第２の画像処理方法は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出し、各画素を距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定し、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成することを特徴とする方法である。
【００２６】
なお、本発明による第１および第２の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２７】
本発明によれば、複数の人物が写っている立体視用画像について、奥行き方向の距離が人物同士の中で中間付近にある人物の顔、もしくは画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたので、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
【００２８】
ここで、主要被写体を、奥行き方向の距離が人物同士の中で手前から奥に向けて１：２に内分する点に最も近い顔、もしくは画像全体の中で手前から奥に向けて１：２に内分する点の画素に最も近い顔とすることで、より適切な立体視用画像を得ることができる。
【００２９】
なお、画像中において顔が２つのみ検出された場合には、２つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することにより、同様の効果を得ることができる。
【００３０】
また、主要被写体を決定する上で、優先順位を調整可能にすることで、より柔軟な調整を行なうことができる。
【００３１】
この場合、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて優先順位を調整することで、これらの条件を考慮したより適切な立体視用画像を得ることができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施の形態による画像処理装置の外観構成を示す斜視図
【図２】第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図
【図３】第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート
【図４】左右画像間の視差量を説明するための図（その１）
【図５】表示画像の一例を示す図（その１）
【図６】立体感評価値を示す図（その１）
【図７】表示手段毎に異なる立体感評価値とした場合の図
【図８】顔の信頼度に基づいて優先度を調整する場合の説明図
【図９】表示画像の一例を示す図（その２）
【図１０】顔の大きさに基づいて優先度を調整する場合の説明図
【図１１】表示画像の一例を示す図（その３）
【図１２】顔の表情に基づいて優先度を調整する場合の説明図
【図１３】表示画像の一例を示す図（その４）
【図１４】服の彩度に基づいて優先度を調整する場合の説明図
【図１５】肌の露出度に基づいて優先度を調整する場合の説明図
【図１６】第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート
【図１７】左右画像間の視差量を説明するための図（その２）
【図１８】立体感評価値を示す図（その２）
【図１９】その他の態様において立体感の調整時に行われる処理を示すフローチャート
【図２０】３Ｄコンソーシアムが定めた立体映像に関する安全ガイドラインに示される立体視可能範囲を示す図
【発明を実施するための形態】
【００３３】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明の第１の実施の形態による画像処理装置の外観構成を示す斜視図、図２は第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図である。
【００３４】
図１に示すように第１の実施の形態による画像処理装置１は、正面に液晶ディスプレイ（ＬＣＤ）２および操作ボタン３を備える。また、側面にはメモリカード等の記録メディア４を挿入するスロット５を備える。そして、第１の実施の形態による画像処理装置１は、記録メディア４に記録された、互いに異なる位置において撮影を行うことにより取得した複数の画像から生成された立体視用画像を、ＬＣＤ２に立体視表示するものである。なお、本実施の形態においては、２つの画像ＧＬ、ＧＲを用いて立体視表示を行うものとして説明する。また、画像ＧＬは立体視表示する際の左目用の画像、画像ＧＲは右目用の画像とする。
【００３５】
操作ボタン３は、上ボタン３Ｕ、下ボタン３Ｄ、左ボタン３Ｌ、右ボタン３Ｒおよび中央ボタン３Ｃを備える。
【００３６】
図２に示すように、画像処理装置１は、記録制御部２１、圧縮／伸長処理部２２、フレームメモリ２３、内部メモリ２４、画像処理部２５、表示制御部２６およびＣＰＵ２７を備える。
【００３７】
記録制御部２１は、スロット５に挿入された記録メディア４に対する情報の記録および読み出しの制御を行う。
【００３８】
圧縮／伸長処理部２２は、記録メディア４から読み出した立体視表示を行うための２つの画像ＧＬ，ＧＲの圧縮および解凍の処理を行う。画像ＧＬ、ＧＲの画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、後述する立体感調整値および撮影日時等の付帯情報が格納されたタグが付与される。
【００３９】
フレームメモリ２３は、画像ＧＬ、ＧＲを表す画像データに対して、後述する３次元処理を含む各種処理を行う際に使用する作業用メモリである。
【００４０】
内部メモリ２４は、画像処理装置１において設定される各種定数、およびＣＰＵ２７が実行するプログラム等を記憶する。
【００４１】
画像処理部２５は、画像ＧＬ、ＧＲをＬＣＤ２に立体視表示させるために、画像ＧＬ、ＧＲに３次元処理を行って立体視用画像を生成する。ここで、本実施の形態における立体視表示の方式としては、公知の任意の方式を用いることができる。例えば、画像ＧＬ、ＧＲを並べて表示して裸眼平衡法により立体視を行う方式、またはＬＣＤ２にレンチキュラーレンズを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するレンチキュラー方式を用いることができる。また、ＬＣＤ２に左右の目への光路を変更するバリアを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するパララックスバリア方式を用いることができる。
【００４２】
また、画像ＧＬ、ＧＲの色を例えば赤と青のように異ならせて重ね合わせたり、画像ＧＬ、ＧＲの偏光方向を異ならせて重ね合わせることにより、画像ＧＬ、ＧＲを合成して立体視表示を実現する方式（アナグリフ方式、偏光フィルタ方式）を用いることができる。さらに、ＬＣＤ２のバックライトの光路を光学的に左右の目に対応するように交互に分離し、ＬＣＤ２の表示面に画像ＧＬ、ＧＲをバックライトの左右への分離にあわせて交互に表示することにより、立体視表示を実現するスキャンバックライト方式を用いることができる。
【００４３】
なお、ＬＣＤ２は画像処理部２５が行う３次元処理の方式に応じた加工がなされている。例えば、立体視表示の方式がレンチキュラー方式の場合には、ＬＣＤ２の表示面にレンチキュラーレンズが取り付けられており、パララックスバリア方式の場合には、ＬＣＤ２の表面にバリアが取り付けられている。また、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がＬＣＤ２の表示面に取り付けられている。
【００４４】
また、画像処理部２５は、画像中の顔を検出する顔検出手段、各顔毎に複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段、複数の顔を距離順に並べたとき中間距離にある顔を最も優先順位の高い顔として主要被写体を決定する主要被写体決定手段、および主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段としての機能を有する他、必要に応じて画像ＧＬ、ＧＲに対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施すことも可能である。
【００４５】
表示制御部２６は、３次元処理により取得される立体視用画像を立体視表示したり、画像ＧＬ、ＧＲを２次元表示したりする。
【００４６】
ＣＰＵ２７は、操作ボタン３からの指示に応じて画像処理装置１の各部を制御する。
【００４７】
データバス２８は、画像処理装置１を構成する各部およびＣＰＵ２７に接続されており、画像処理装置１における各種データおよび各種情報のやり取りを行う。
【００４８】
次に、第１の実施の形態において行われる処理について説明する。図３は第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図４は左右画像間の視差量を説明するための図（その１）、図５は表示画像の一例を示す図（その１）、図６は立体感評価値を示す図（その１）である。
【００４９】
第１の実施の形態による画像処理装置１は、複数の人物が写っている立体視用画像について、奥行き方向の距離が人物同士の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。
【００５０】
立体視用画像を生成するための２つの画像ＧＬ、ＧＲは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像ＧＬ、ＧＲを重ねた場合、画像ＧＬ、ＧＲに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図４に示すように、画像ＧＬ、ＧＲに基づいて視差マップＰＭの作成を行なう（ステップＳ１）。この視差マップＰＭは、画像ＧＬ、ＧＲのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像ＧＬを基準画像とし、視差量が大きい程高輝度で表示しているが、この態様に限定されるものではない。
【００５１】
次いで、図５に示すように、基準画像とした左画像ＧＬ中において顔の検出を行ない（ステップＳ２）、各顔の代表視差の算出を行なう（ステップＳ３）。なお、画像中の顔の検出方法についてはどのような方法を用いてもよい。また、各顔の代表視差については、顔の中心位置や瞳の位置等どの位置を基準としてもよい。また、各顔の代表視差については、視差マップＰＭを参照して顔領域の視差の平均値を代表視差としてもよいし、顔の中心位置や瞳の位置等の任意の位置の視差量を代表視差としてもよい。
【００５２】
次いで、図６に示すように、複数の顔を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ａが頂点となる立体感評価関数Ｆ１に基づいて各顔毎に立体感評価値ｒを決定し（ステップＳ４）、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する（ステップＳ５）。
【００５３】
ここで、立体感評価値ｒの調整を行なわない場合には、立体感評価値ｒが最も高い顔２が主要被写体として決定されるのだが、各種の条件に基づいて各顔毎の立体感評価値ｒの調整を行なうようにしてもよい。以下、その条件について説明する。
【００５４】
例えば、表示手段の特性に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図７は表示手段毎に異なる立体感評価値とした場合の図である。
【００５５】
ＬＣＤ２（表示手段）の構成によって立体視の見え方は異なる。例えばレンチキュラーレンズが取り付けられたものの場合、レンチキュラーレンズのクロストーク特性によって立体視の見え方が異なる。クロストークが少ない場合には左右画像の視差が多少残っていてもクロスポイントがあっているように見えるため、この場合は、図７に示すように、頂点の位置は変えないものの他の部分の立体感評価値ｒが高い別の立体感評価関数Ｆ１ａやＦ１ｂに変更する。その結果、後述の他の調整を組み合わせた場合に、各顔毎の優先順位が入れ替わり易くなる。
【００５６】
なお、レンチキュラーレンズが取り付けられたもの以外の場合であっても、その表示手段の特性を考慮して、立体感評価関数を変更すればよい。
【００５７】
また、各顔の信頼度に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図８は顔の信頼度に基づいて優先度を調整する場合の説明図である。
【００５８】
顔の信頼度とは、画像から検出された顔が本当に顔であるかの信憑性を測る度合であって、図８に示すように、顔の信頼度が高い程、顔優先度ｋ１の値を大きくする。なお、顔の信憑性を測る方法については、既に種々の方法が提案されており、どのような方法を用いてもよい。これにより顔の誤判別の影響を小さくすることができる。この顔優先度ｋ１は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（１）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ１  （１）
また、各顔の大きさに基づいて立体感評価値ｒの調整を行なうようにしてもよい。図９は表示画像の一例を示す図（その２）、図１０は顔の大きさに基づいて優先度を調整する場合の説明図である。
【００５９】
図９に示すように、画像中の顔の大きさが小さい程、図１０に示すように、顔優先度ｋ２の値を大きくする。これは、一般には子供を主役として画像の撮影を行なうことが多く、顔の大きさが小さい程子供の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度ｋ２は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（２）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ２  （２）
なお、上記とは逆に画像中の顔の大きさが大きい程、顔優先度ｋ２の値を大きくするようにしてもかまわない。
【００６０】
また、各顔の表情に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図１１は表示画像の一例を示す図（その３）、図１２は顔の表情に基づいて優先度を調整する場合の説明図である。
【００６１】
図１１に示すように、画像中の顔の表情が笑顔である程、図１２に示すように、顔優先度ｋ３の値を大きくする。なお、顔の表情を判断する方法については、既に種々の方法が提案されており、どのような方法を用いてもよい。これは、一般には笑顔で写っている人を主要被写体とした方が好ましいため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度ｋ３は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（３）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ３  （３）
なお、笑顔以外にも怒った表情等他の表情に基づいて顔優先度ｋ３の値を調整するようにしてもかまわない。
【００６２】
また、各顔の下部領域の色に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図１３は表示画像の一例を示す図（その４）、図１４は服の彩度に基づいて優先度を調整する場合の説明図である。
【００６３】
図１３に示すように、画像中の顔の下部領域、すなわち人物の服装部分である可能性が高い領域の色の彩度が高い程、図１４に示すように、顔優先度ｋ４の値を大きくする。これは、例えば結婚式等のパーティーでは鮮やか色の服装をした人物が主役であることが多く、服装の色の彩度が高い程主役の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度ｋ４は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（４）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ４  （４）
なお、上記とは逆に画像中の顔の下部領域の色の彩度が低い程、顔優先度ｋ４の値を大きくするようにしてもかまわない。
【００６４】
また、各顔の下部領域の所定範囲内における肌色の割合に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図１３は表示画像の一例を示す図（その４）、図１５は肌の露出度に基づいて優先度を調整する場合の説明図である。
【００６５】
図１３に示すように、画像中の顔の下部領域、すなわち人物の服装部分である可能性が高い領域の所定範囲内における肌色の割合が多い程、図１５に示すように、顔優先度ｋ５の値を大きくする。これは、例えば結婚式等のパーティーでは肌の露出が多い服装をした人物が主役であることが多く、顔の下部領域の所定範囲内における肌色の割合が多い程主役の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度ｋ５は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（５）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ５  （５）
なお、上記とは逆に顔の下部領域の所定範囲内における肌色の割合が少ない程、顔優先度ｋ５の値を大きくするようにしてもかまわない。
【００６６】
以上の調整を、１つもしくは複数組み合わせて主要被写体を決定することによって、ユーザのニーズに沿ったより適切な立体視用画像を得ることができる。仮に以上の調整を全て組み合わせた場合には、最終的な立体感評価値ｒｆは式（６）に基づいて算出される。
【００６７】
ｒｆ＝ｒ×ｋ１×ｋ２×ｋ３×ｋ４×ｋ５  （６）
次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する（ステップＳ６）。
【００６８】
本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、３次元処理の具体的な内容としては、ＬＣＤ２上で画像ＧＬ、ＧＲの主要被写体の表示位置が同じ位置となるように画像ＧＬ、ＧＲの水平方向の座標を変更すればよい。なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。
【００６９】
最後に、上記の様にして生成した立体視用画像をＬＣＤ２上に表示して処理を終了する。
【００７０】
上記の構成とすることにより、人物のみを主体として撮影された画像の場合に、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
【００７１】
次いで、本発明の第２の実施の形態について説明する。なお、第２の実施の形態による画像処理装置は、第１の実施の形態による画像処理装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。図１６は第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図１７は左右画像間の視差量を説明するための図（その２）、図１８は立体感評価値を示す図（その２）である。
【００７２】
本実施の形態による画像処理装置は、複数の人物が写っている立体視用画像について、画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。
【００７３】
立体視用画像を生成するための２つの画像ＧＬ、ＧＲは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像ＧＬ、ＧＲを重ねた場合、画像ＧＬ、ＧＲに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図１７に示すように、画像ＧＬ、ＧＲに基づいて視差マップＰＭの作成を行なう（ステップＳ１１）。この視差マップＰＭは、画像ＧＬ、ＧＲのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像ＧＬを基準画像とし、視差量が大きい程高輝度で表示しているが、この態様に限定されるものではない。
【００７４】
次いで、基準画像とした左画像ＧＬ中において顔の検出を行ない（ステップＳ１２）、各顔の代表視差の算出を行なう（ステップＳ１３）。なお、画像中の顔の検出方法についてはどのような方法を用いてもよい。また、各顔の代表視差については、顔の中心位置や瞳の位置等どの位置を基準としてもよい。
【００７５】
次いで、図１８に示すように、各画素を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ｂが頂点となる立体感評価関数Ｆ２に基づいて各顔毎に立体感評価値ｒを決定し（ステップＳ１４）、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する（ステップＳ１５）。
【００７６】
ここで、立体感評価値ｒの調整を行なわない場合には、立体感評価値ｒが最も高い顔２が主要被写体として決定されるのだが、上記第１の実施の形態と同様に、各種の条件に基づいて各顔毎の立体感評価値ｒの調整を行なうようにしてもよい。
【００７７】
次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する（ステップＳ１６）。
【００７８】
本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、３次元処理の具体的な内容としては、ＬＣＤ２上で画像ＧＬ、ＧＲの主要被写体の表示位置が同じ位置となるように画像ＧＬ、ＧＲの水平方向の座標を変更すればよい。なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。
【００７９】
最後に、上記の様にして生成した立体視用画像をＬＣＤ２上に表示して処理を終了する。
【００８０】
上記の構成とすることにより、風景まで含めた全体が撮影された画像の場合に、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
【００８１】
なお、第１の実施の形態における処理と第２の実施の形態における処理とを切り替え可能に構成することもできる。そのような態様とした場合において行われる処理について説明する。図１９はこの場合の立体感の調整時に行われる処理を示すフローチャートである。
【００８２】
まず、視差マップの作成を行ない（ステップＳ２１）、次いで基準画像中において顔の検出を行ない（ステップＳ２２）、各顔の代表視差の算出を行なう（ステップＳ２３）。
【００８３】
次いで、撮影画像についてのモード種別の取得を行なう（ステップＳ２４）。このモード種別とは、立体視用画像を生成するための画像が、人物のみを主体として撮影されたものか風景まで含めた全体が撮影されたものかを判断するための情報であって、撮影を行なったカメラにおいて、撮影を行なった際の撮影モード（例えば人物／風景）の情報を画像のデータに添付するようにしてもよいし、本発明の画像処理装置において、ユーザに手動入力により選択させるようにしてもよい。
【００８４】
そして、モード種別の判定を行い（ステップＳ２５）、風景を含むモードである場合には、図１８に示すように、各画素を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ｂが頂点となる立体感評価関数Ｆ２に基づいて各顔毎に立体感評価値ｒを決定し（ステップＳ２６）、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する（ステップＳ２７）。また、人物のみを主体としたモードである場合には、図６に示すように、複数の顔を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ａが頂点となる立体感評価関数Ｆ１に基づいて各顔毎に立体感評価値ｒを決定し（ステップＳ２９）、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する（ステップＳ２７）。
【００８５】
ここで、立体感評価値ｒの調整を行なわない場合には、立体感評価値ｒが最も高い顔２が主要被写体として決定されるのだが、上記第１および第２の実施の形態と同様に、各種の条件に基づいて各顔毎の立体感評価値ｒの調整を行なうようにしてもよい。
【００８６】
次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成し（ステップＳ２８）、最後に上記の様にして生成した立体視用画像をＬＣＤ２上に表示して処理を終了する。
【００８７】
上記の構成とすることにより、画像の内容に応じて最適な処理を選択できるため、より適切な立体視用画像を得ることができる。
【００８８】
また、上記第１および第２の実施の形態による画像処理装置１を、複数の撮影部を備えた複眼撮影装置に適用してもよい。この場合、撮影により取得した複数の画像を直ちに表示して、立体感の調整を行って記録メディア４に記録することが可能となる。
【００８９】
以上、本発明の実施の形態に係る装置１０について説明したが、コンピュータを、画像処理部２５、記録制御部２１および表示制御部２６に対応する手段として機能させ、図３、図１６および図１９に示すような処理を行わせるプログラムも、本発明の実施の形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施の形態の１つである。
【符号の説明】
【００９０】
１    画像処理装置
２    ＬＣＤ
３    操作ボタン
４    記録メディア
５    スロット
２１    記録制御部
２５    画像処理部
２６    表示制御部
【図１】
2011210027.tif 000003
【図２】
2011210027.tif 000004
【図３】
2011210027.tif 000005
【図５】
2011210027.tif 000006
【図６】
2011210027.tif 000007
【図７】
2011210027.tif 000008
【図８】
2011210027.tif 000009
【図９】
2011210027.tif 000010
【図１０】
2011210027.tif 000011
【図１１】
2011210027.tif 000012
【図１２】
2011210027.tif 000013
【図１３】
2011210027.tif 000014
【図１４】
2011210027.tif 000015
【図１５】
2011210027.tif 000016
【図１６】
2011210027.tif 000017
【図１８】
2011210027.tif 000018
【図１９】
2011210027.tif 000019
【図２０】
2011210027.tif 000020
【図４】
2011210027.tif 000021
【図１７】
2011210027.tif 000022
【手続補正書】
【提出日】平成23年4月12日(2011.4.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
前記画像中の顔を検出する顔検出手段と、
各顔毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、
前記画像中において顔が３つ以上検出された場合に、該３つ以上の顔を前記距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、
前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記中間距離にある顔が、前記複数の顔を前記距離順に並べたとき、手前から奥に向けて１：２に内分する点に最も近い顔であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記主要被写体決定手段が、前記画像中において顔が２つ検出された場合に、該２つの顔を前記距離順に並べたとき、手前側の顔を前記主要被写体として決定する機能をさらに備えるものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記主要被写体決定手段が、前記優先順位を調整する優先順位調整手段を備えたものであることを特徴とする請求項１または２項記載の画像処理装置。
【請求項５】
前記優先順位調整手段が、前記表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて前記優先順位を調整するものであることを特徴とする請求項４記載の画像処理装置。
【請求項６】
複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
前記画像中の顔を検出する顔検出手段と、
前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、
前記画像中において顔が３つ以上検出された場合に、前記各画素を前記距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、
前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とする画像処理装置。
【請求項７】
前記中間距離にある画素が、前記各画素を前記距離順に並べたとき、手前から奥に向けて１：２に内分する点の画素であることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記主要被写体決定手段が、前記画像中において顔が２つ検出された場合に、該２つの顔を前記距離順に並べたとき、手前側の顔を前記主要被写体として決定する機能をさらに備えるものであることを特徴とする請求項６または７記載の画像処理装置。
【請求項９】
前記主要被写体決定手段が、前記優先順位を調整する優先順位調整手段を備えたものであることを特徴とする請求項６または７記載の画像処理装置。
【請求項１０】
前記優先順位調整手段が、前記表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて前記優先順位を調整するものであることを特徴とする請求項９記載の画像処理装置。
【請求項１１】
複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
前記画像中の顔を検出し、
各顔毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出し、
前記画像中において顔が３つ以上検出された場合に、該３つ以上の顔を前記距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定し、
前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする画像処理方法。
【請求項１２】
複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
前記画像中の顔を検出し、
前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出し、
前記画像中において顔が３つ以上検出された場合に、前記各画素を前記距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定し、
前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする画像処理方法。
【請求項１３】
請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平行法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成することによっても立体視表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、立体視表示された立体視用画像を融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
このように立体視を行う場合、立体感を適切に調整する必要があるため、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法が提案されている（特許文献１参照）。また、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法も提案されている（特許文献２参照）。また、ゲームにおいて立体感を調整する手法も提案されている（特許文献３参照）。さらに、正確に主要被写体を特定すべく、撮影時の奥行き方向の情報を取得し、主要被写体を決定する手法も提案されている（特許文献４参照）。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２００４−１２９１８６号公報
【特許文献２】特開平１０−９０８１４号公報
【特許文献３】特開平９−１９２３４９号公報
【特許文献４】特開２００９−８１８６９号公報
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
画像中に人物が映っている場合、その人物の顔の位置をクロスポイントとして設定することにより、好ましい立体感の画像を得ることができるが、画像中に複数の人物が映っている場合には、最も手前の人物の顔にクロスポイントを合せると、他の人物の顔が全て奥に引っ込んで立体感の乏しい画像となってしまい、逆に最も奥の人物の顔にクロスポイントを合せると、他の人物の顔が全て手前に飛び出して視覚疲労や不快感を生じる画像となってしまうという問題がある。また、特許文献４に記載の主要被写体抽出手段では、奥行き方向の情報に基づき主要被写体（クロスポイント）を決定しているものの、上記した立体感等の問題を鑑みた上でのクロスポイントの調整については何ら言及されていない。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の第１の画像処理装置は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、各顔毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、画像中において顔が３つ以上検出され、かかる３つ以上の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とするものである。
なお、ここでいう「中間距離にある顔」とは、画像を撮影する撮像手段からの距離順（すなわち、ユーザーが立体視用画像を観賞した際にユーザー側から順）に並んだ３つ以上の顔のうち、最も手前の顔と最も奥の顔との間に挟まれている顔をいうものである。また、ここでいう「手前」とは、画像を撮影する撮像手段（立体視用画像観賞時におけるユーザー側）に対し近位であることをいうものであり、「奥」とは、画像を撮影する撮像手段（立体視用画像観賞時におけるユーザー側）に対し遠位であることをいうものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明の第２の画像処理装置は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、画像中において顔が３つ以上検出された場合に、各画素を距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とするものである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
本発明の第１の画像処理方法は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、各顔毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出し、画像中において顔が３つ以上検出された場合に、３つ以上の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定し、主要被写体の視差が最も小さくなるように、複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする方法である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
本発明の第２の画像処理方法は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出し、画像中において顔が３つ以上検出された場合に、各画素を距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定し、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成することを特徴とする方法である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
画像処理部２５は、画像ＧＬ、ＧＲをＬＣＤ２に立体視表示させるために、画像ＧＬ、ＧＲに３次元処理を行って立体視用画像を生成する。ここで、本実施の形態における立体視表示の方式としては、公知の任意の方式を用いることができる。例えば、画像ＧＬ、ＧＲを並べて表示して裸眼平行法により立体視を行う方式、またはＬＣＤ２にレンチキュラーレンズを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するレンチキュラー方式を用いることができる。また、ＬＣＤ２に左右の目への光路を変更するパララックスバリアを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するパララックスバリア方式を用いることができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
なお、ＬＣＤ２は画像処理部２５が行う３次元処理の方式に応じた加工がなされている。例えば、立体視表示の方式がレンチキュラー方式の場合には、ＬＣＤ２の表示面にレンチキュラーレンズが取り付けられており、パララックスバリア方式の場合には、ＬＣＤ２の表面にパララックスバリアが取り付けられている。また、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がＬＣＤ２の表示面に取り付けられている。