(57)【特許請求の範囲】
【請求項１】
第１画像から識別対象としての特定の被写体の条件を満たす識別領域を検出する検出手段と、
前記検出手段が前記第１画像から複数の識別領域を検出した場合に、検出した前記複数の識別領域からいずれの識別領域を中心領域として特定する中心領域特定手段と、
前記複数の識別領域のうち前記中心領域とは異なる識別領域である非中心領域のそれぞれの中心と前記中心領域の中心とからなるベクトルに沿って、それぞれの非中心領域を前記中心領域に近づくように移動させてから、前記識別領域の画像を拡大して第２画像を生成する画像拡大手段と、
前記第１画像および前記第２画像を表示する表示手段を有することを特徴とする画像表示装置。
【請求項２】
第１画像から識別対象としての特定の被写体の条件を満たす識別領域を検出する検出手段と、
前記第１画像から複数の識別領域を検出した場合に、前記第１画像内で当該複数の識別領域のそれぞれの位置が近づくように、それぞれの前記識別領域の画像を移動させるとともに拡大することで第２画像を生成する画像拡大手段と、
前記第１画像および前記第２画像を表示する表示手段と、
前記検出手段が検出した識別領域の数が閾値以上であるかどうかを判断する判定手段と、を有し、
前記判定手段が閾値以上であると判断した場合に前記表示手段に前記第２画像を表示させ、
前記判定手段が閾値未満であると判断した場合に前記第１画像を表示させることを特徴とする画像表示装置。
【請求項３】
前記画像表示装置は、動作モードを設定するモード設定部を更に有し、
前記モード設定部が、特定のモードを設定した場合に、前記第２画像を表示させることを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記特定のモードでは、撮影前、撮影後の一定時間、及びメモリに格納された画像を再生する際の少なくともいずれかに前記第２画像を表示させることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記表示手段に、前記第１画像を縮小した画像を前記第２画像と共に表示させることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像表示装置。
【請求項６】
前記複数の識別領域の平均面積を算出する平均面積算出手段と、
前記平均面積算出手段が算出した平均面積に前記複数の識別領域が等しくなるように前記複数の識別領域を拡大又は縮小する拡大縮小手段を有し、
前記画像拡大手段は、前記拡大縮小手段で拡大又は縮小された前記複数の識別領域のそれぞれの位置が近づくように前記第１画像内でそれぞれの前記識別領域の画像を移動させることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像表示装置。
【請求項７】
表示手段に画像を表示させる画像表示方法であって、
第１画像から識別対象としての特定の被写体の条件を満たす識別領域を検出する検出ステップと、
前記第１画像から複数の識別領域を検出した場合に、前記複数の識別領域からいずれの識別領域を中心領域として特定するステップと、
前記複数の識別領域のうち前記中心領域とは異なる識別領域である非中心領域のそれぞれの中心と前記中心領域の中心とからなるベクトルに沿って、それぞれの各非中心領域を前記中心領域に近づくように移動させてから、前記複数の識別領域を拡大して第２画像を生成するステップと、
前記第２画像を表示手段に表示させるステップを有することを特徴とする画像表示方法。
【請求項８】
表示手段に画像を表示させる画像表示方法であって、
第１画像から識別対象としての特定の被写体の条件を満たす識別領域を検出する検出ステップと、
前記第１画像から複数の識別領域を検出した場合に、前記第１画像内で当該複数の識別領域のそれぞれの位置が近づくように、それぞれの前記識別領域の画像を移動させるとともに拡大することで第２画像を生成するステップと、
前記検出ステップにて検出した識別領域の数が閾値以上であるかどうかを判断する判定ステップと、
前記判定ステップにて閾値以上であると判断した場合に前記表示手段に前記第２画像を表示させ、閾値未満であると判断した場合に前記表示手段に前記第１画像を表示させるステップを有することを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置及び画像表示方法に関する。
【背景技術】
【０００２】
目をつぶっていないかなど、撮影画像内のそれぞれの人物が撮影に適した表情をしているかの確認は、集合写真など撮影画角内に多数の人物が存在していると人物の顔が小さいために、困難になる。
【０００３】
そこで、特許文献１は、撮影画像の再生時に対して顔検出した人数が基準人数より多い場合に基準人数より少ない人数が表示されるように複数の画像を切り出して拡大表示する撮像装置を提案している。また、特許文献２は、撮影画像に対して顔検出をし、顔領域から目の存在する領域を検出し、撮影画像内の人物が目を閉じているかどうか判定し、目を閉じている人物が存在する場合に撮影者へ再撮影を指示する撮像装置を提案している。
【特許文献１】特開２００６−３０９６６１号公報
【特許文献２】特開２００６−２５４２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１は、切り出し拡大した画像が撮影画像のどの部分を拡大したものであるのかが分かり難く、また、切り出した画像を複数枚確認しないと撮影画像に写っている全ての人物を確認することはできない。一方、特許文献２は、撮影画像内の人物が目を閉じているかどうかを判定するため、目が開いていても撮影に適した表情をしているかどうかの判断はできない。
【０００５】
本発明は、撮影の前後で撮影画像に写る識別対象が撮影に適した状態にあるかどうかを容易に撮影者に確認させることができる画像表示装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像表示装置は、第１画像から識別対象としての特定の被写体の条件を満たす識別領域を検出する検出手段と、前記検出手段が前記第１画像から複数の識別領域を検出した場合に、検出した前記複数の識別領域からいずれの識別領域を中心領域として特定する中心領域特定手段と、前記複数の識別領域のうち前記中心領域とは異なる識別領域である非中心領域のそれぞれの中心と前記中心領域の中心とからなるベクトルに沿って、それぞれの非中心領域を前記中心領域に近づくように移動させてから、前記識別領域の画像を拡大して第２画像を生成する画像拡大手段と、前記第１画像および前記第２画像を表示する表示手段を有することを特徴とする。
本発明の別の側面としての画像表示装置は、第１画像から識別対象としての特定の被写体の条件を満たす識別領域を検出する検出手段と、前記第１画像から複数の識別領域を検出した場合に、前記第１画像内で当該複数の識別領域のそれぞれの位置が近づくように、それぞれの前記識別領域の画像を移動させるとともに拡大することで第２画像を生成する画像拡大手段と、前記第１画像および前記第２画像を表示する表示手段と、前記検出手段が検出した識別領域の数が閾値以上であるかどうかを判断する判定手段と、を有し、前記判定手段が閾値以上であると判断した場合に前記表示手段に前記第２画像を表示させ、前記判定手段が閾値未満であると判断した場合に前記第１画像を表示させることを特徴とする。
【０００８】
本発明の別の側面としての画像表示方法は、表示手段に画像を表示させる画像表示方法であって、第１画像から識別対象としての特定の被写体の条件を満たす識別領域を検出する検出ステップと、前記第１画像から複数の識別領域を検出した場合に、前記複数の識別領域からいずれの識別領域を中心領域として特定するステップと、前記複数の識別領域のうち前記中心領域とは異なる識別領域である非中心領域のそれぞれの中心と前記中心領域の中心とからなるベクトルに沿って、それぞれの各非中心領域を前記中心領域に近づくように移動させてから、前記複数の識別領域を拡大して第２画像を生成するステップと、前記第２画像を表示手段に表示させるステップを有することを特徴とする。
本発明の別の側面としての画像表示方法は、表示手段に画像を表示させる画像表示方法であって、第１画像から識別対象としての特定の被写体の条件を満たす識別領域を検出する検出ステップと、前記第１画像から複数の識別領域を検出した場合に、前記第１画像内で当該複数の識別領域のそれぞれの位置が近づくように、それぞれの前記識別領域の画像を移動させるとともに拡大することで第２画像を生成するステップと、前記検出ステップにて検出した識別領域の数が閾値以上であるかどうかを判断する判定ステップと、前記判定ステップにて閾値以上であると判断した場合に前記表示手段に前記第２画像を表示させ、閾値未満であると判断した場合に前記表示手段に前記第１画像を表示させるステップを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影の前後で撮影画像に写る識別対象が撮影に適した状態にあるかどうかを容易に撮影者に確認させることができる画像表示装置及び画像表示方法を提供することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本実施例の画像表示装置１０（本実施例では、以下、デジタルカメラ１０と呼ぶ）のブロック図である。なお、本発明の画像表示装置は、データを記録・再生する撮像装置（例えば、デジタルカメラやデジタルビデオカメラ等）であってもよい。また、撮像機能を有する電子機器、画像データを再生表示する再生表示装置にも適用可能である。ここで、撮像機能を有する電子機器は、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）や携帯電話等である。
【００１１】
デジタルカメラ１０は、被写体を撮像する撮像部と、中央処理装置（ＣＰＵ）２０と、操作部３５と、ＶＲＡＭ４０と、ビデオエンコーダ４２と、メモリ４４と、表示部５０と、を有する。
【００１２】
撮像部は、撮像レンズ１２、撮像素子１４、撮像回路１６、画像処理回路１８を有する。撮像レンズ１２を通過した光は、撮像素子１４に入射し画像信号として順次読み出され、それぞれ撮像回路１６に加えられる。撮像回路１６はゲイン調整回路を含み、得られた画像データは画像処理回路１８へ送られる。画像処理回路１８はＣＰＵ２０からのコマンドに従ってホワイトバランス補正、ガンマ補正、コントラスト補正等の画像処理を行う。そして画像処理回路１８に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（ＣｒＣ１信号）に変換されると共に、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ４０に格納される。
【００１３】
図２は、ＣＰＵ２０のブロック図である。ＣＰＵ２０は操作部３５からの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。撮像画像を表示部５０に出力する場合、ＶＲＡＭ４０からＹＣ信号が読み出され、ビデオエンコーダ４２に送られる。ビデオエンコーダ４２は入力されたＹＣ信号を表示用の所定のフォーマット（ＮＴＳＣ等）に変換して表示部５０に出力する。また、所定のフレームレートで処理された各フレームのＹＣ信号はＶＲＡＭ４０のＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭ４０のＡ領域とＢ領域のうちＹＣ信号が書き込まれている方の領域とは異なる領域から書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ４０内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部５０に供給されることにより、撮像中の映像がリアルタイムに表示部５０に表示される。そして撮影者は表示部５０に表示されるスルー画像によって撮影画角を確認することができる。
【００１４】
ＣＰＵ２０は、顔検出部２１、人数判定部２２、顔領域トリミング部２３、トリミング領域平均面積算出部２４、トリミング領域拡大縮小部２５、中心領域特定部２６、中心座標算出部２７を有する。また、ＣＰＵ２０は、中心座標間距離算出部２８、移動順位決定部２９、顔領域移動部３０、画像拡大部３１を更に有する。
【００１５】
顔検出部２１は、表示部５０が表示した撮影画角内の画像（第１画像）に対して顔検出を行う。人数判定部２２は、顔検出部２１が検出した顔の数が第１の閾値以上又は第２の閾値以下（本実施例では４人以上２１人以下）であるかどうかを判断する。顔領域トリミング部２３は、顔検出部２１が検出した顔を囲む領域（後述する「顔領域」）を形成する。この顔領域を囲む方形領域の座標が、識別対象としての条件を満たす被写体の位置を示す識別領域となる。トリミング領域平均面積算出部２４は、トリミングされた顔領域の平均面積を算出する。トリミング領域拡大縮小部２５は、トリミングされた複数の顔領域が平均面積になるように拡大又は縮小する。
【００１６】
中心領域特定部２６は、顔検出部２１が第１画像に複数の顔を検出した場合に複数の顔の中で中心の顔の領域である中心領域を特定する。中心座標算出部２７は、顔領域の中心座標を算出する。中心座標間距離算出部２８は、第１画像の重心と各顔領域の中心座標との距離又は中心領域と中心領域とは異なる領域である非中心領域との距離を算出する。移動順位決定部２９は、非中心領域の中で移動順位を決定する。顔領域移動部３０は、複数の顔の領域のうち非中心領域の中心と中心領域の中心とからなるベクトルに沿って各非中心領域を中心領域に近づくように移動して第２画像を生成する。画像拡大部３１は、第２画像を表示部５０が表示可能な範囲内で拡大して第３画像を生成する。
【００１７】
図３は、操作部３５のブロック図である。操作部３５は、焦点調節や撮影を行うレリーズスイッチ３６と、動作モードを設定するモードダイヤル（モード設定部）３７を有する。モードダイヤル３７は、ポートレートモード、風景モード、夜景モード、スポーツモード、集合写真モード等の撮影モードを設定することができる。この中で、特定のモード（例えば集合写真モード）が選択された場合に、ファインダ画像表示（スルー画像表示）３７ａ、レビュー表示３７ｂ、再生表示３７ｃの少なくともいずれかを実行する。ファインダ画像表示（スルー画像表示）３７ａは、撮影前の撮影画角内の画像を表示する。レビュー表示３７ｂは、撮像部による撮影後（又は撮影直後）、一定時間だけ撮像された画像を前記表示部に表示する。再生表示３７ｃは、画像を格納するメモリ４４に格納された画像を再生表示する。
【００１８】
メモリ４４は、撮影画像を格納する。操作部３５は、メモリ４４が格納すべき画像と廃棄する画像を選択することができる。表示部５０は、デジタルカメラ１０の背面に設けられ、画像を表示する液晶表示部である。デジタルカメラ１０は、ファインダ（覗き窓）を有し、表示部５０は、撮影された画像のみならず撮影前のファインダ画像（スルー画像）も表示可能である。
【００１９】
以下、図４を参照して、モードダイヤル３７が特定のモードに設定された場合のファインダ画像表示３７ａの動作（画像表示方法）を説明する。図４は、ファインダ画像表示におけるＣＰＵ２０の動作を説明するためのフローチャートである。図４において、「Ｓ」はステップの略である。図４に示す画像表示方法は表示部５０による表示に使用され、プログラムとして実行又は具体化が可能である。
【００２０】
まず、スルー画像を表示部５０に表示させる指示を行うと共に、顔検出部２１がスルー画像内の顔検出処理を行う（Ｓ１０１）。顔検出の方法は限定されない。例えば、顔検出部２１は、撮像画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割すると共に、画像中のエッジを検出して画像中の各箇所をエッジ部分又は非エッジ部分に分類する。顔検出部２１は、肌色領域内に位置し非エッジ部分に分類された画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が顔に相当する領域かを判定し、この判定結果に基づき顔領域を抽出する。顔検出部２１は顔が存在しないと判断した場合には表示部５０はスルー画像を表示する（Ｓ１０３）。
【００２１】
顔検出部２１が顔を検出した場合（Ｓ１０１）、複数の顔が存在するかどうかを判断する（Ｓ１０２）。顔検出部２１が複数の顔が存在すると判断すると（Ｓ１０２）、人数判定部２２が顔の数をカウントする（Ｓ１０３）。顔検出部２１が複数の顔が存在しないと判断すると（Ｓ１０２）、表示部５０はスルー画像を表示する（Ｓ１０３）。
【００２２】
人数判定部２２は顔の数（人数）Ｎが閾値範囲であるかどうかを判断する（Ｓ１０５）。上述したように、本実施例では、人数判定部２２は、Ｎが第１の閾値以上（４人以上）第２の閾値以下（２１人以下）であるかどうか（３＜Ｎ＜２２）を判断する。人数判定部２２はＮがこの条件を満足しないと判断すると（Ｓ１０５）、表示部５０はスルー画像を表示する（Ｓ１０３）。これは撮影画角内の人数が少ない場合（第１の閾値未満の場合）、既に十分に人物の顔が大きく写っている場合が多いのであえて人物の顔を拡大表示する必要性が少ないからである。また、逆に人数が多すぎると全ての人物の顔を拡大表示するとかえって見難い画像となってしまうからである。なお、閾値範囲は撮影者が自由に設定可能である。
【００２３】
次に、顔領域トリミング部２３が、顔検出部２１が検出した顔の位置情報に基づいて、各顔を包囲する最小の矩形領域をトリミングする（Ｓ１０６）。トリミングされた領域を、以後、「顔領域」と呼ぶ。図５は、顔領域トリミング部２３が生成した顔領域Ｐ１〜Ｐ５を含む第１画像Ｆ１を示す。
【００２４】
次に、トリミング領域平均面積算出部２４がＳ１０６で作成した顔領域面積の平均値を算出し、トリミング領域拡大縮小部２５がそれぞれの顔領域面積が平均値と等しくなるように矩形の重心を中心点として拡大又は縮小する（Ｓ１０７）。
【００２５】
次に、中心領域特定部２６が、Ｓ１０７を経た顔領域Ｐ１〜Ｐ５を拡大又は縮小した顔領域Ｋ１〜Ｋ５のうち中心領域Ｋｃを特定する（Ｓ１０８）。この際、中心座標算出部２７が、図６に示すように、顔領域Ｋ１〜Ｋ５の重心ｇ１〜ｇ５を自己交差しないよう直線で結びできた図形の重心Ｇを求める。そして、中心領域特定部２６は、重心Ｇと重心ｇ１〜ｇ５間の距離Ｌ１〜Ｌ５を算出し、最も短い距離を有する顔領域を中心領域Ｋｃとして特定する。図６においては、Ｌ３が最小なので中心領域Ｋｃは顔領域Ｋ３となる。
【００２６】
次に、中心座標間距離算出部２８が、図７に示すように、中心領域Ｋｃである顔領域Ｋ３の重心点ｇ３と他の顔領域（非中心領域）の重心点ｇ１、ｇ２、ｇ４、ｇ５との間の距離ｌ１、ｌ２、ｌ４、ｌ５を算出する。そして、移動順位決定部２９が小さいものから順番付けを行う（Ｓ１０９）。本実施例では、ｌ４、ｌ２、ｌ１、ｌ５の順となる。
【００２７】
次に、顔領域移動部３０が、移動順位決定部２９が決定した順位に従って中心領域ＫＫ３の重心ｇ３と非中心領域の重心ｇ４、ｇ２、ｇ１、ｇ５を結ぶ直線のＫ３に向かうベクトルに沿って顔領域Ｋ１、Ｋ２、Ｋ４、Ｋ５を移動する。顔領域移動部３０は、顔領域Ｋ１〜Ｋ５の何れかに接するまで順に顔領域を移動を行って画像（第２画像）を生成する（Ｓ１１０）。第２画像を図８に示す。
【００２８】
次に、画像拡大部３１が、顔領域Ｋ１〜Ｋ５全てを包囲する最小の矩形を表示部５０のアスペクト比に併せて算出する（Ｓ１１１）。そして、算出された矩形画像が表示部５０で最大となるよう拡大した画像（第３画像）Ｆ３を生成し、表示部５０へ図９のように出力する（Ｓ１１２）。
【００２９】
以上述べた方法により、撮影画角内の人物それぞれの顔が均等な大きさで拡大表示され、更に撮影画角と対応した位置関係で表示される。このため、撮影者が直感的に撮影画角内の人物の顔の表情を一度に確認することが可能となる。この際、顔領域とは異なる領域は背景をそのまま残してもよいし、黒や青等の単色表示としてもよい。また、全体の雰囲気を伝えるために、図１０に示すように、撮影画像全体を縮小したものを第３画像と共に表示部５０に表示してもよい。
【００３０】
なお、本実施例ではモードダイヤル３７が特定のモードに設定された場合のファインダ画像表示３７ａの動作（画像表示方法）を説明した。しかし、モードダイヤル３７が特定のモードに設定された場合のレビュー表示３７bの動作や、再生表示３７cの動作も同様の表示方法にて、撮影者が直感的に撮影画角内の人物の顔の表情を一度に確認することが可能となる。
【００３１】
また、本実施例では撮像画面内の検出された顔領域を識別領域としているが、その他、画像検出により特定の被写体を検出しても構わない。例えば、背景から被写体像を切り出して検出したりすることも考えられる。その他、外部入力手段から撮像画面内の位置を入力したり、ファインダを見ている撮影者の視線を検出したりして、撮像画面内の識別領域を決定してもよい。
【図面の簡単な説明】
【００３２】
【図１】実施例のデジタルカメラのブロック図である。
【図２】図１に示すＣＰＵのブロック図である。
【図３】図１に示す操作部のブロック図である。
【図４】ファインダ画像表示モードにおける図１に示すＣＰＵの動作を説明するためのフローチャートである。
【図５】図４に示すＳ１０６の結果を表示部に表示する例を示す図である。
【図６】図４に示すＳ１０８の結果を表示部に表示する例を示す図である。
【図７】図４に示すＳ１０９の結果を表示部に表示する例を示す図である。
【図８】図４に示すＳ１１０の結果を表示部に表示する例を示す図である。
【図９】図４に示すＳ１１２の結果を表示部に表示する例を示す図である。
【図１０】図４に示すＳ１１２の結果を表示部に表示する際の別の例を示す図である。
【符号の説明】
【００３３】
１０              デジタルカメラ
２０              ＣＰＵ
２１              顔検出部
２２              人数判定部
２４              トリミング領域平均面積算出部
２５              トリミング領域拡大縮小部
３０              顔領域移動部
３１              画像拡大部
３５              操作部
３７              モードダイヤル（モード設定部）
５０              表示部
【図１】
0005142825.tif 000002
【図２】
0005142825.tif 000003
【図３】
0005142825.tif 000004
【図４】
0005142825.tif 000005
【図５】
0005142825.tif 000006
【図６】
0005142825.tif 000007
【図７】
0005142825.tif 000008
【図８】
0005142825.tif 000009
【図９】
0005142825.tif 000010
【図１０】
0005142825.tif 000011