(57)【要約】【課題】画像内に登場する被写体の関係を考慮した画像表示を可能とした画像表示装置および画像表示方法を提供する。【解決手段】画像に含まれる複数の顔情報を抽出し、顔情報から、複数の被写体の関係を判定し（Ｓ１０３）、判定された関係に基づいて、複数の画像の中から判定された関係を含む画像を含めて所定数の画像を選択し（Ｓ１０５〜Ｓ１０８）、選択された画像をスライドショーまたはアルバムで表示する（Ｓ１１３、Ｓ１１４）。【選択図】  図９
2012032728.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる複数の顔情報を抽出する顔情報抽出部と、
上記顔情報から、複数の被写体の関係を判定する関係性判定部と、
上記関係性判定部によって判定された上記関係に基づいて、上記複数の顔情報を含む画像の表示態様を制御する表示制御部と、
上記表示制御部によって決められた上記表示態様に従って上記画像を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項２】
上記複数の顔は、少なくとも子供の顔、または動物の顔であり、
上記関係性判定部は、上記子供の顔または動物の顔と、他の顔の人物との関係を判定することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記関係性判定部は、上記子供または上記動物の保護者、または飼い主を特定することを特徴とする請求項２に記載の画像表示装置。
【請求項４】
上記表示制御部は、スライドショー、アルバムの順番、または画像のページ上の配置を制御することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
上記表示制御部は、複数の被写体の関係が分かる関係画像を選択し、少なくとも最初と最後に上記関係画像を表示することを特徴とする請求項１に記載の画像表示装置。
【請求項６】
上記関係性判定部は、上記顔情報抽出部によって抽出した顔の人物が向き合っているか否かに基づいて、上記被写体の関係を判定することを特徴とする請求項１に記載の画像表示装置。
【請求項７】
上記顔情報抽出部は、上記抽出した顔の人物の手の位置を判定し、
上記関係性判定部は、上記顔情報抽出部によって抽出された顔の位置と上記手の位置に基づいて、上記被写体の関係を判定する、
ことを特徴とする請求項１に記載の画像表示装置。
【請求項８】
上記関係性判定部は、上記顔情報抽出部によって抽出された複数の顔の位置と大きさに基づいて、上記被写体の関係を判定することを特徴とする請求項１に記載の画像表示装置。
【請求項９】
画像に含まれる複数の顔情報を抽出し、
上記顔情報から、複数の被写体の関係を判定し、
上記判定された上記関係に基づいて、上記複数の顔情報を含む画像を表示する、
ことを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置および画像表示方法に関し、詳しくは、画像内の複数の被写体の関係を判断し、最適な表示を行うようにした画像表示装置および画像表示方法に関する。
【背景技術】
【０００２】
複数の画像を、スライドショーやアルバム形式で表示し、画像を楽しむことが多い。この場合、スライドショーで画像を表示する順番や、またアルバムに貼付する画像の位置や大きさ等の配列をどのようにするかで悩むことが多い。
【０００３】
そこで、複数の画像の配列については、種々提案がなされている。例えば、特許文献１には、顔画像の数の多いグループの代表画像から序列をつけてサイズを決定し集合シーンを生成し、この集合シーンをスライドショーの最後に表示するスライドショー再生方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２４９３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、複数の画像を配列するにあたっての提案がなされている。しかし、複数の画像が単に登場人物が多いというだけで配列されているのでは、無味乾燥であり楽しんで鑑賞することができない。しかし、親子関係等の人間関係や、ペットと飼い主の関係等、登場する被写体との関係が分かると、それぞれの画像に親しみを持って鑑賞することが可能となる。従来技術には、登場する被写体の関係を考慮して配列を決めることについては何ら示唆されていない。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、画像内に登場する被写体の関係を考慮した画像表示を可能とした画像表示装置および画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる画像表示装置は、画像に含まれる複数の顔情報を抽出する顔情報抽出部と、上記顔情報から、複数の被写体の関係を判定する関係性判定部と、上記関係性判定部によって判定された上記関係に基づいて、上記複数の顔情報を含む画像の表示態様を制御する表示制御部と、上記表示制御部によって決められた上記表示態様に従って上記画像を表示する表示部と、を有する。
【０００８】
第２の発明に係わる画像表示装置は、上記第１の発明において、上記複数の顔は、少なくとも子供の顔、または動物の顔であり、上記関係性判定部は、上記子供の顔または動物の顔と、他の顔の人物との関係を判定する。
第３の発明に係わる画像表示装置は、上記第２の発明において、上記関係性判定部は、上記子供または上記動物の保護者、または飼い主を特定する。
【０００９】
第４の発明に係わる画像表示装置は、上記第１の発明において、上記表示制御部は、スライドショー、アルバムの順番、または画像のページ上の配置を制御する。
第５の発明に係わる画像表示装置は、上記第１の発明において、上記表示制御部は、複数の被写体の関係が分かる関係画像を選択し、少なくとも最初と最後に上記関係画像を表示する。
【００１０】
第６の発明に係わる画像表示装置は、上記第１の発明において、上記関係性判定部は、上記顔情報抽出部によって抽出した顔の人物が向き合っているか否かに基づいて、上記被写体の関係を判定する。
第７の発明に係わる画像表示装置は、上記第１の発明において、上記顔情報抽出部は、上記抽出した顔の人物の手の位置を判定し、上記関係性判定部は、上記顔情報抽出部によって抽出された顔の位置と上記手の位置に基づいて、上記被写体の関係を判定する。
第８の発明に係わる画像表示装置は、上記第１の発明において、上記関係性判定部は、上記顔情報抽出部によって抽出された複数の顔の位置と大きさに基づいて、上記被写体の関係を判定する。
【００１１】
第９の発明に係わる画像表示方法は、画像に含まれる複数の顔情報を抽出し、上記顔情報から、複数の被写体の関係を判定し、上記判定された上記関係に基づいて、上記複数の顔情報を含む画像を表示する。
【発明の効果】
【００１２】
本発明によれば、画像内に登場する被写体の関係を考慮した画像表示を可能とした画像表示装置および画像表示方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係わるカメラの電気系を主とする全体構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラにおいて、撮影された画像の例を示す図である。
【図３】本発明の一実施形態に係わるカメラにおいて、撮影された画像の他の例を示す図である。
【図４】本発明の一実施形態に係わるカメラにおいて、撮影された画像の関係を示す図である。
【図５】本発明の一実施形態に係わるカメラにおいて、撮影された画像のスライドショーの例を示す図である。
【図６】本発明の一実施形態に係わるカメラにおいて、撮影された画像のアルバムの例を示す図である。
【図７】本発明の一実施形態に係わるカメラにおいて、ペットと人間の関係に基づいて表示を行う例を示す図である。
【図８】本発明の一実施形態に係わるカメラにおいて、肩車画像の例を示す図である。
【図９】本発明の一実施形態に係わるカメラの表示制御の動作を示すフローチャートである。
【図１０】本発明の一実施形態に係わるカメラの関係性判定の動作を示すフローチャートである。
【図１１】本発明の一実施形態に係わるカメラのスライドショー実行の動作を示すフローチャートである。
【図１２】本発明の一実施形態に係わるカメラのアルバムページレイアウトの動作を示すフローチャートである。
【図１３】本発明の一実施形態に係わるカメラのアルバムのページレイアウトの例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。再生モードでは、アルバムモードやスライドショーを行うことができ、この場合には、被写体間の関係を判定し、この判定結果に応じて、複数の画像を適宜選択し、表示する。
【００１５】
図１に示すブロック図を用いて、本発明の一実施形態に係わるカメラ１０の構成について説明する。カメラ１０は、制御部１、撮像部２、顔検出部２ａ、子供判定部２ｂ、ペット判定部２ｃ、記録部６、時計部７、表示部８、操作部９、フラッシュメモリ１１等から構成される。
【００１６】
撮像部２は、撮影レンズ、シャッタ等の露出制御部、撮像素子、撮像素子駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。なお、本明細書においては、画像データは、撮像素子から出力される画像信号に限らず、制御部１内の画像処理部５等によって処理された画像データ、および記録部６に記録されている画像データ等についても使用する。
【００１７】
顔検出部２ａは、制御部１内の画像処理部５によって画像処理された画像データを入力し、画像の中に人物や動物の顔の部分が含まれているか、また含まれていた場合には、その位置、顔の向きを検出し、検出結果を制御部１に出力する。さらに、顔の特徴が複数登録されている場合には、その複数登録された顔のいずれかと一致するか否かも判定する。また、顔に限らず、手の位置等も検出する。顔や手の位置の検出は、予め用意した顔のパーツや手のパーツのデータとのマッチングによって検出する。
【００１８】
子供判定部２ｂは、顔検出部２ａによって顔が検出されると、その顔が子供か否かを判定する。子供か否かの判定は、被写体像の画像データを用いて、背丈や服装等に基づいて判定する。ペット判定部２ｃは、顔検出部２ａによって顔が検出されると、その顔が犬や猫等のペットか否かを判定する。ペットか否かの判定は、被写体像の画像データを用いて、顔や手足、胴体等の形状から判定する。
【００１９】
制御部１は、ＣＰＵ（Central Processing Unit：中央処理装置）およびその周辺のハードウエア回路によって構成され、フラッシュメモリ１１等の不揮発性の記憶部に記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、顔大きさ・表情部１ａ、関係性判定部１ｂ、表示制御部１ｃ、画像処理部５を含む。
【００２０】
顔大きさ・表情部１ａは、顔検出部２ａによって検出された顔の大きさや表情を検出し、この検出結果に基づいて、後述するように、スライドショーやアルバムを作成する際に、アクセントとなるような、画像を選択する。
【００２１】
関係性判定部１ｂは、顔検出部２ａ、子供判定部２ｂ、ペット判定部２ｃ、および顔大きさ・表情部１ａによる検出・判定結果に基づいて、画像内の複数の被写体（例えば、大人や子供、またペット等の動物）の関係を判定する。例えば、親子関係やペットと飼い主のような従属・被従属関係になっているかどうか等を判定する。この判定にあたっては、複数の顔の位置関係、顔の向いている方向、および顔と手の位置関係等に基づいて行う。例えば、人物が向き合っている場合、顔や手の位置から抱っこしていると判定される場合、複数の顔の大きさと位置から肩車状態と判定される等の場合には、複数の被写体の間に関係性有りと判定する。
【００２２】
表示制御部１ｃは、表示部８にライブビュー表示、撮影時のレックビュー表示、再生表示、およびメニュー画面等の表示制御を行う。ライブビュー表示は、撮像部２によって取得され画像処理部５によってライブビュー表示用に画像処理された画像データを表示部８に表示させる。再生表示は、記録部６内に記録されている画像データを読み出し、表示部８に再生表示させる。また、アルバム再生やスライドショーによる再生表示にあたっては、関係性判定部１ｂによって判定された関係に基づいて、複数の画像の中から表示する画像およびの順番や表示位置等に関する表示形態を制御する。
【００２３】
画像処理部５は、撮像部２から出力された画像データのデジタル的増幅（デジタルゲイン調整処理）、色補正、ガンマ（γ）補正、コントラスト補正、白黒・カラーモード処理、ライブビュー表示用処理といった各種の画像処理を行う。また、撮影画像を記録するために画像圧縮処理を行い、また記録済みの撮影画像を再生表示するために画像伸張処理も行う。
【００２４】
操作部９は、カメラ１０の外装に配置されたレリーズ釦、電源釦、再生釦、簡易アルバム釦、メニュー釦、十字釦、ＯＫ釦等の各種操作部材であり、操作部９は、これらの操作部材に連動するスイッチ等の操作状態を判定し、この判定結果を制御部１に出力する。
【００２５】
表示部８は、制御部１に接続されており、本体の背面等に配置された液晶や有機ＥＬ等のモニタを有し、前述したように、表示制御部１ｃによる制御に従って、ライブビュー表示や、撮影時のレックビュー表示や、記録部４に記録されている記録画像の表示や、メニュー画面等の制御画面を表示する。また、表示部８にはタッチパネルが設けられており、ユーザがモニタ画面をタッチすると、タッチ位置等の情報が制御部１に出力される。
【００２６】
記録部６は、カメラ本体に脱着自在な記録媒体、若しくは内蔵の記録媒体から構成される。記録部６には、撮像部２から出力され、画像処理部５によって画像処理された静止画や動画の画像データが、付随する情報と共に記録される。時計部７は、計時機能を有し、また日時情報を出力する。撮影時には、この日時情報が画像データと共に記録部６の記録媒体に記録される。
【００２７】
フラッシュメモリ１１は、電気的書き換え可能な不揮発性メモリであり、前述したように、カメラ１０全体を制御するためのプログラムを記憶している。また、フラッシュメモリ１２には、プログラム以外にも、調整値等の種々のデータが記憶されている。
【００２８】
次に、図２ないし図８を用いて、本実施形態における画像の表示形態について説明する。図２は、記録部６に記録された４枚の画像の例を示す。図２に示された画像２１は大人Ａの単独画像であり、画像２２は大人Ａに子供Ｂが密着した様子の画像であり、画像２３、２４は子供Ｂの単独画像である。画像２１、２３、２４は、大人Ａや子供Ｂがそれぞれ単独で写っている画像であることから、両者の関係は不明である。しかし、画像２２に基づいて大人Ａと子供Ｂの間に関係が有ることを判定できる。
【００２９】
画像２１、２３、２４のみをスライドショーやアルバム表示すると、大人Ａと子供Ｂの関係が分からず唐突感がある表示となる。そこで、本実施形態においては、スライドショーの場合には、最初または最後、場合によって両方のタイミングで、画像２２を表示することにより大人Ａと子供Ｂを表示し、二人は密着するような関係、つまり親子関係にあることが分かる。またアルバム表示であれば、画像２１、２３、２４と共に画像２２を表示することにより、唐突感をなくした画面とすることができる。
【００３０】
図３は、記録部６に記録された他の画像の例を示す。図３に示された画像２６は、飼い主Ｐとペット（猫）Ｑが密着した様子の画像であり、画像２７、２８はペットＱの画像である。画像２７、２８だけが、スライドショーやアルバムで表示された場合には、ペット好きの鑑賞者を除けば、唐突感があり、あまり興味を引く画像ではない。しかし、ペットＱと共に飼い主Ｐが写っている画像２６と共に表示されると、ペットＱと飼い主Ｐとの関係が分かり、唐突感がなくなり興味深い画像となる。そこで、本実施形態においては、ペットＱが単独で写っている画像２７、２８を表示するだけではなく、ペットＱの飼い主Ｐとの関係が分かる画像２６をスライドショーやアルバムで表示するようにしている。
【００３１】
図４は、画像の内の被写体の関係の一例を示す図である。この例では、画像Ｎｏ．１〜６について、関係性が判定可能か、顔の種別、顔の大きさ、従属か被従属か、表示順について、画像を整理している。ここで、顔の種別は、顔検出部２ａ、子供判定部２ｂ、およびペット判定部２ｃによって判定され、男性か、女性か、また子供か、猫や犬等のペット等が判定され、いずれの種別に属さない場合には風景画像と判定される。
【００３２】
また、顔の大きさは、顔大きさ・表示部１ａによって、画面サイズに比較した顔のサイズの比率によって判定され、例えば、画面の１／５以下の場合には、「１」と判定され、比率が高くなるにつれ、「２」「３」と判定される。
【００３３】
従属か被従属も含めて関係性の判定は、関係性判定部１ｂによって判定される。関係性判定は、画面内に２以上の被写体があり、これらの被写体の従属か被従属かを、顔の位置や手の位置等に基づいて行う。図４の関係性判定の欄には、この関係性判定が可能な画像であるか否かが記録される。関係性判定は、詳しくは図１０に示すフローチャートを用いて後述する。
【００３４】
表示順は、スライドショーで表示する場合の順番を示し、関係性判定から被従属までの各欄に記録された事項に基づいて決める。図４に示す例では、最初に画像Ｎｏ．２が表示され、以下、画像Ｎｏ．３→Ｎｏ．４→Ｎｏ．１→Ｎｏ．２の順に表示される。ここでは、まず最初に親子が写っている画像Ｎｏ．２を表示することにより、これから表示する画像の人間関係を示し、その後、子供Ｂの写真（Ｎｏ．３）を表示する。そして、この写真よりも顔のサイズが大きい写真（Ｎｏ．４）を表示し、次に、男性Ａの写真（Ｎｏ．１）を表示し、最後にもう一度、親子の写真を表示するようにしている。このような表示順とすることにより、スライドショーに登場する被写体の関係が分かり、全体を統一しながら、画像に変化を付けており、スライドショーを楽しむことができる。
【００３５】
なお、親子の写真（画像Ｎｏ．２）は、最後のみとしてもよい。この場合には、子供Ｂと男性Ａがどんな関係だろうという期待感をもたせたスライドショーとすることができる。また、笑顔度も併せて整理し、表示順を決める際に笑顔度を考慮するようにしてもよい。
【００３６】
次に、図４に示したような関係性を利用して、画像を表示する例を図５ないし図７を用いて説明する。図５は、被写体がペット場合のスライドショーの一例を示す。この例では、まず、ペットである猫が写った画像３１を表示し、続いて、画像３２、画像３３の順に表示する。そして、最後に、飼い主が猫を抱っこしている画像３４を表示する。この画像３４には、親愛マーク３４ａを表示し、飼い主がペットを大事にしていることを示す。
【００３７】
ペットの写真が続くと、鑑賞者は、どこの猫だろうと興味を持ち、最後に、ペットの飼い主が写っている写真（画像３４）が表示することにより、ペットと飼い主の関係が分かり、画像に変化があると共に、全体としてのまとまりのあるスライドショーとなる。なお、図４で示した表示順の例のように、ペットと飼い主が一緒に表示される画像３４を、最後だけでなく、最初に表示するようにしても勿論かまわない。
【００３８】
図６は、家族写真のアルバムの一例を示す。アルバムの画面、左上には、親子が写っている写真の画像３６を配置し、また右上には、子供の写っている写真の画像３７を大きく配置している。また、画面の左下には親の写っている写真の画像３８を配置し、右下には子供の写っている写真の画像３９を配置している。子供単独の画像３７、３９と親単独の画像３８のみでは、統一感がなく両者の関係が不明であるが、親子の写っている写真の画像３６を一緒に配置することにより、両者の関係が分かるアルバムとなる。また、主役である子供の画像３７は、大きく表示するようにしている。
【００３９】
図７は、１枚の静止画の表示、またはスライドショー中の１枚の画像の表示の一例を示す。図７（ａ）は、飼い主４１ａとペットの猫４１ｂが写っている静止画の画像４１を示す。この画像４１の被写体の関係を判定することにより、猫４１ｂとその飼い主４１ｂの関係であることが分かると、カメラ１０の表示部８での表示方法として、まず、図７（ｂ）のように、画像４１の全体を示し、それから、図７（ｃ）に示すように猫４１ｂの部分を切出し拡大表示する。両者の関係が分かることにより、全体から部分への表示が可能となる。なお、表示方法としては、逆に猫４１ｂを拡大表示した後、全体を表示するようにしてもよい。この場合には、猫４１ｂの飼い主は誰だろうという期待感を抱かせる表示となる。
【００４０】
本実施形態においては、画像中の複数の被写体から、被写体間の関係を判定している。この関係が明確な場合としては、図２の画像２２のように、大人と子供の顔の位置が近い場合、図７（ａ）に示すように、人間の顔の下にペットの顔が有る場合がある。また図８に示すように、大人が子供を肩車している場合の画像のように、子供の顔が大人の顔よりも上にある場合等がある。
【００４１】
このように、本実施形態においては、画像を解析し、画像中の被写体が２以上有る場合には、両者の関係を判定し、この判定結果を用いて、表示を切り換えている。複数の画像をスライドショーで表示する場合には、その中から、登場する被写体の関係が分かる写真や単独で写っている写真等を、起承転結の順に、順次表示する。また、アルバム表示する場合には、登場する被写体の関係が分かる写真や単独で写っている写真等を適宜選択し、画面内に配置するようにしている。
【００４２】
次に、本実施形態における動作を図９ないし図１２に示すフローチャートを用いて説明する。これらのフローは、制御部１内のＣＰＵがフラッシュメモリ１１に記憶されたプログラムに従って実行する。表示制御のフローは、操作部９の内の１つである再生釦が操作され、再生モードが開始することにより、動作を開始する。
【００４３】
図９に示す表示制御のフローに入ると、まず、簡易アルバムか否かを判定する（Ｓ１０１）。簡易アルバムは、図５に示したスライドショーや、図６に示したアルバムページレイアウトで表示するモードであり、操作部９の１つである簡易アルバム釦の操作、またはメニュー画面における指定によって選択することができる。このステップでは、簡易アルバム釦が操作されたか、またはメニュー画面で簡易アルバムが指定されたか否かを判定する。
【００４４】
ステップＳ１０１における判定の結果、簡易アルバムであった場合には、次に、検索範囲の指定を行う（Ｓ１０２）。ユーザは、簡易アルバムで表示する際の検索範囲を指定することができ、例えば、撮影日で範囲を指定し、また最近撮影した所定枚数で指定し、また撮影画像を分類してある場合には、その分類を指定することができる。そこで、このステップでは、ユーザの指定した範囲を読み込む。なお、指定がない場合には、最近撮影した所定枚数を検索範囲とする。
【００４５】
検索範囲を指定すると、次に、関係性判定を行う（Ｓ１０３）。ここでは、指定された範囲内の複数の画像に基づいて、図２ないし図８を用いて説明したように、画像内の複数の被写体に関係があるか否かを判定する。この関係性判定の詳しい動作については、図１０を用いて後述する。
【００４６】
関係性の判定を判定すると、次に、関係性判定画像が有るか否かの判定を行う（Ｓ１０４）。ステップＳ１０３においては、画像ごとに関係性があるか否かが判定されるので、このステップでは、関係性有りと判定された画像があるか否かを判定する。
【００４７】
ステップＳ１０４における判定の結果、関係性の有る画像が有った場合には、次に、関連性判定画像の選択を行い、その画像をＩＭ１とする（Ｓ１０５）。ここでは、例えば、図２の画像２２、図３の画像２６、図４の画像Ｎｏ．２、図５の画像３４、図６の画像３６のように、複数の被写体の関係が分かる画像を選択し、その画像をＩＭ１とする。
【００４８】
次に、被写体Ｂ単独画像の選択を行い、その画像をＩＭ２とする（Ｓ１０６）。ここでは、ステップＳ１０４で選択された関連画像ＩＭ１に登場する被写体Ｂが単独で写っている画像を選択する。被写体Ｂは、子供やペットのように、複数の画像の中では、主役にあたる被写体である。
【００４９】
被写体Ｂ（ＩＭ２）を選択すると、次に、アクセント画像の選択を行い、その画像をＩＭ３とする（Ｓ１０７）。ここでアクセント画像は、被写体Ｂの顔が大きく写っている画像や、笑顔等、表情に特徴のある画像であり、顔大きさ・表情部１ａによって選択される。
【００５０】
アクセント画像を選択すると、次に、被写体Ａ単独画像の選択を行い、その画像をＩＭ４とする（Ｓ１０８）。ここでは、ステップＳ１０４で選択された関連画像ＩＭ１に登場する被写体Ａが単独で写っている画像を選択する。ステップＳ１０５ないしステップＳ１０８において、４枚の画像を選択しているが、４枚の画像を順に見ることにより、起承転結のストリー性を感じられるような画像が選択される。すなわち、最初に、被写体Ａおよび被写体Ｂが一緒の画像が登場し、次に、主役である被写体Ｂ、続いて被写体Ｂのアップもしくは笑顔、最後に、被写体Ａが登場する。
【００５１】
一方、ステップＳ１０４における判定の結果、関係性判定画像がなかった場合には、次に、最新画像を４枚選択し、これを時系列順にＩＭ１〜ＩＭ４とする（Ｓ１１１）。関係性の有る画像がないことから、撮影日時順の最新の画像を選択する。
【００５２】
ステップＳ１１１またはＳ１０８において画像を選択すると、次に、スライドショーを行うか否かの判定を行う（Ｓ１１２）。簡易アルバムとしては、スライドショーとアルバムページレイアウトによる表示がある。このステップでは、ユーザがメニュー画面等によりスライドショーを選択したか否かを判定する。
【００５３】
ステップＳ１１２における判定の結果、スライドショーが選択された場合には、スライドショーを実行する（Ｓ１１３）。ここでは、ステップＳ１０５からＳ１０８、またはＳ１１１において選択されたＩＭ１〜ＩＭ４を順次、スライドショーで表示する。このスライドショー実行の詳しい動作は、図１１を用いて後述する。
【００５４】
ステップＳ１１２における判定の結果、スライドショーでなかった場合には、アルバムレイアウトによる表示を行う（Ｓ１１４）。ここでは、図６に示したようなアルバムレイアウトによる表示を行う。このアルバムページレイアウトの詳しい動作は、図１２を用いて後述する。
【００５５】
ステップＳ１０１における判定の結果、簡易アルバムでなかった場合には、次に、ファイル一覧表示を行う（Ｓ１２１）。簡易アルバムでない場合には、通常の再生モードによる表示であることから、このステップでは、記録部６に記録されている撮影画像を、サムネイル画像で一覧表示する。
【００５６】
ファイル一覧表示すると、次に、ファイル選択か否かの判定を行う（Ｓ１２２）。一覧表示された画像の中から、ユーザが拡大表示を望む画像を、十字釦等の操作により選択し、ＯＫ釦の操作等により確定する。このステップでは、これらの操作がなされたか否かを判定する。
【００５７】
ステップＳ１２２における判定の結果、ファイル選択がなされた場合には、次に選択ファイルの再生を行う（Ｓ１２３）。ここでは、選択された画像の画像データを記録部６から読み出し、表示部８に拡大表示する。
【００５８】
選択ファイルの再生を行うと、次に、戻るか否かの判定を行う（Ｓ１２４）。ユーザが現在再生している画像を終わらせたい場合には、戻る釦を操作するので、このステップでは、戻る釦が操作されたか否かを判定する。この判定の結果、戻る釦が操作されていない場合には、待機状態となる。
【００５９】
ステップＳ１２４における判定の結果、戻るであった場合、またはステップＳ１２２における判定の結果、ファイル選択がなされなかった場合、またはステップＳ１１３におけるスライドショーを実行すると、またはステップＳ１１４におけるアルバムページレイアウトを行うと、次に、終了か否かの判定を行う（Ｓ１２５）。再生表示を終了する場合には、再生釦を再度操作することにより終了する。ここでは、再生釦が操作されたか否かを判定する。この判定の結果、終了でなかった場合には、ステップＳ１０１に戻り、一方、終了であった場合には、再生モードを終了する。
【００６０】
次に、ステップＳ１０３の関係性判定の動作について、図１０に示すフローチャートを用いて説明する。関係性判定のフローに入ると、まず、画面上部に所定以上の大きさの顔が検出されたか否かの判定を行う（Ｓ２０１）。ここでは、顔検出部２ａによって検出された顔の位置が画面の上部にあるか否かを判定し、上部にあった場合には、顔大きさ・表情部１ａによって判定された顔の大きさが所定より大きいか、例えばポートレート程度の大きさの顔の大きさがあるかを判定する。
【００６１】
ステップＳ２０１における判定の結果、画面上部に所定以上の大きさの顔が検出された場合には、顔の下に両手があるか否かを判定する（Ｓ２０２）。ここでは、顔検出部２ａ等によって手の位置を検出し、検出結果に基づいて判定する。
【００６２】
ステップＳ２０２における判定の結果、顔の下に両手が存在した場合には、次に、上の方の手の近くに顔があるか否かを判定する（Ｓ２０３）。ここでは、ステップＳ２０２において検出された両手の内で上側にある手の近くに、ステップＳ２０１で検出した顔とは異なる別の顔が有るかを判定する。
【００６３】
ステップＳ２０２における判定の結果、顔の下に両手がなかった場合には、次に、顔の向きが中央向きか否かを判定する（Ｓ２０５）。ここでは、画面上部に所定以上の大きさの顔が検出された場合に、この人物の顔の向きが画面の中央を向いているか否かを、顔検出部２ａによって判定する。
【００６４】
ステップＳ２０５における判定の結果、顔の向きが中央向きであった場合には、次に、顔が向いた方向、略同じ大きさの第２の顔があるか否かを判定する（Ｓ２０６）。ここでは、ステップＳ２０５において検出された中央向きの顔の向いている方向に、別の顔が有るか否かを、顔検出部２ａの検出結果に基づいて判定する。
【００６５】
ステップＳ２０６における判定の結果、第２の顔が存在した場合には、次に、第２の顔の向きが中央向きか否かを判定する（Ｓ２０７）。ここでは、ステップＳ２０６において検出された第２の顔の向きが画面の中央である否かを顔検出部２ａの検出結果に基づいて判定する。
【００６６】
ステップＳ２０７における判定の結果、第２の顔の向きが中央向きであった場合には、顔と顔の間の距離が顔１個分以下であるか否かを判定する（Ｓ２０８）。ここでは、ステップＳ２０１において検出された顔と、ステップＳ２０６において検出された第２の顔の間の距離に基づいて判定する。
【００６７】
ステップＳ２０８における判定の結果、顔と顔の間の距離が顔１個分以下でなかった場合には、次に、画面外側の方が上がっているか否かを判定する（Ｓ２０９）。ここでは、少なくともいずれか一方の顔の人物の肩を検出し、画面の外側にある肩が上がっているか否かを判定する。
【００６８】
ステップＳ２０１における判定の結果、画面上部に所定以上の大きさの顔を検出しなかった場合には、次に、肩車画像であるか否かの判定を行う（Ｓ２０４）。肩車画像は、図８に示したような画像である。肩車画像であるか否かの判定にあたっては、画面中に、第１及び第２の顔が存在し、所定より大きい顔の上側に、小さい顔があるか否かを判定し、これらの条件を満たす画像を肩車画像とする。
【００６９】
ステップＳ２０３、Ｓ２０８、Ｓ２０９、またはＳ２０４における判定の結果がＹｅｓであった場合には、最初に検出した顔を第１の顔とし（Ｓ２１２）、第１の顔を被写体Ａ、第２の顔を被写体Ｂとし（Ｓ２１３）、判定画像有りの判定を行う（Ｓ２１４）。ステップＳ２０３における判定がＹｅｓであった場合には、大人が赤ちゃんや子供を抱っこ、もしくは飼い主がペットを抱っこしているような画像であり、両者には従属・被従属の関係がある。この場合には、ステップＳ２０１において検出した顔を第１の顔（被写体Ａ）とし、ステップＳ２０３において検出した顔を第２の顔（被写体Ｂ）とする。
【００７０】
また、ステップＳ２０８における判定の結果がＹｅｓであった場合には、画面中央で二人の人物、または人物とペットが向き合っているような画像であり、両者には従属・被従属の関係がある。この場合には、ステップＳ２０１において検出した顔を第１の顔とし、ステップＳ２０６において検出した顔を第２の顔とする。
【００７１】
また、ステップＳ２０９における判定の結果がＹｅｓであった場合には、顔と顔の距離が多少、離れているものの、二人が向き合っていることから、両者には従属・被従属の関係がある。この場合には、ステップＳ２０１において検出した顔を第１の顔とし、ステップＳ２０６において検出した顔を第２の顔とする。
【００７２】
また、ステップＳ２０４における判定の結果がＹｅｓであった場合には、図８に示したような肩車画像であることから、両者には従属・被従属の関係がある。この場合には、ステップＳ２０１において検出した顔を第１の顔とし、ステップＳ２０４において検出した顔を第２の顔とする。
【００７３】
一方、ステップＳ２０３、Ｓ２０５、Ｓ２０６、Ｓ２０７、Ｓ２０９、またはＳ２０４における判定の結果がＮｏであった場合には、いずれも従属・被従属の関係がない場合であることから、判定画像なしの判定を行う（Ｓ２１５）。
【００７４】
ステップＳ２１４において判定画像有りの判定を行うと、またはステップＳ２１５において判定画像なしの判定を行うと、元のフローに戻る。元のフローに戻ると、ステップＳ２１４、Ｓ２１５における判定結果に基づいて、ステップＳ１０４における判定を行う。
【００７５】
次に、ステップＳ１１３におけるスライドショー実行の動作について、図１１に示すフローチャートを用いて説明する。スライドショー実行のフローに入ると、まず、関係性判定の画像が有るか否かの判定を行う（Ｓ３０１）。ここでは、ステップＳ１０３における関係性判定の結果に基づいて、ステップＳ１０４と同様に判定する。
【００７６】
ステップＳ３０１における判定の結果、関係判定画像が有った場合には、次に、ＩＭ１を表示する（Ｓ３０２）。ここでは、ステップＳ１０５において選択されたＩＭ１の画像を表示部８に表示する。
【００７７】
ＩＭ１の画像を表示すると、次に、ＩＭ１の中の被写体Ｂの顔をクローズアップする（Ｓ３０３）。ここでは、図７（ｂ）（ｃ）を用いて説明したように、被写体Ｂ（ペットとしての猫）を表示部８にクローズアップして表示する。
【００７８】
被写体Ｂのクローズアップを行うと、次に、ＩＭ２〜ＩＭ４を所定時間間隔で表示する（Ｓ３０４）。ここでは、ステップＳ１０６〜Ｓ１０８で選択された画像（ＩＭ２〜ＩＭ４）を順次、表示部８に表示する。所定時間としては、通常のスライドショーにおける時間間隔と同程度の時間とする。
【００７９】
続いて、装飾マーク付きでＩＭ１を再表示する（Ｓ３０５）。ここでは、例えば、図５に示したように、被写体Ａ、Ｂの関係を示す親愛マーク３４ａ等の装飾マークを画像（ＩＭ１）に重畳させて、表示部８に表示する。
【００８０】
ステップＳ３０１における判定の結果、関係性判定画像がなかった場合には、ＩＭ１〜ＩＭ４を所定時間間隔で表示する（Ｓ３０６）。関係性判定画像がない場合には、ステップＳ１１１において、最新画像４枚を選択して撮影日時順にＩＭ１〜ＩＭ４としている。このステップでは、選択されたＩＭ１〜ＩＭ４の画像を、表示部８に順次、所定時間間隔で表示する。
【００８１】
ステップＳ３０５において装飾マーク付きでＩＭ１の表示を行うと、または、ステップＳ３０６においてＩＭ１〜ＩＭ４を所定時間間隔で表示すると、元のフローに戻る。
【００８２】
次に、ステップＳ１１４におけるアルバムページレイアウトの動作について、図１２に示すフローチャートを用いて説明する。アルバムページレイアウトのフローに入ると、まず、テンプレート候補の表示を行う（Ｓ４０１）。
【００８３】
テンプレート候補は、例えば、図１３に示すように、複数の画像を表示するための枠の位置や大きさを示す。図１３に示すテンプレートでは、４枚の画像を貼付でき、左上にＰ１、右上にＰ２、左下にＰ３、右下にＰ４が画像を貼付する。ひとつの画面にひとつの画像では単調になるが、しかし、あまりに多い画像が表示されると画面が複雑になる。そこで、図１３に示したテンプレートでは、４画像をひとつの画面に表示するようにしている。なお、１画面の表示画像数は、４枚に限らず、３枚でも５枚でも構わない。
【００８４】
テンプレート候補の表示を行うと、次にテンプレートの変更が行うか否かの判定を行う（Ｓ４０２）。ユーザが、ステップＳ４０１において表示したテンプレート候補の変更を望む場合には、十字釦等によって操作されることから、このステップでは、変更操作がなされたか否かの判定を行う。
【００８５】
ステップＳ４０２における判定の結果、テンプレートの変更操作がなされた場合には、変更操作に応じて、テンプレート候補の切り替えを行う（Ｓ４０３）。ここでは、予め記憶されている複数のテンプレートに基づいて切り替え処理を行う。テンプレート候補の切り替えを行うと、元のフローに戻る。
【００８６】
ステップＳ４０２における判定の結果、テンプレート変更が行われなかった場合には、次に、一番大きな枠にＩＭ２（主役）を表示する（Ｓ４１１）。図１３に示すテンプレートの例では、Ｐ２の位置に、ステップＳ１０６において選択されたＩＭ２の画像を表示する。
【００８７】
次に、ＩＭ１の人物が小さいか否かを判定する（Ｓ４１２）。ＩＭ１は、主役（子供やペット等）と他の人の関係を示す画像である。このため、解説用の補助画像として扱う方が望ましい。また、画面の左上と右下は、横書き文書の最初もしくは最後に相当する位置であることから、関係画像を表示するようにする。したがって、ＩＭ１は、左上か右上のいずれかの位置に配置するが、この場合、ＩＭ１の人物の大きさに応じて、いずれかの位置にする。
【００８８】
ステップＳ４１２における判定の結果、ＩＭ１の人物が小さかった場合には、右上と左下の枠の大きい方にＩＭ１を表示する（Ｓ４１３）。一方、ＩＭ１の人物が大きかった場合には、右上と左下の小さい方にＩＭ１を表示する（Ｓ４１４）。ＩＭ１の人物が小さかった場合には、人物が大きく見えるように、大きい枠を選択し、一方、ＩＭ１の人物が大きい場合には、十分、見えることから小さい枠を選択する。
【００８９】
ステップＳ４１３またはＳ４１４においてＩＭ１の表示を行うと、次に、残っている一番小さい枠にＩＭ４を表示する（Ｓ４１５）。ＩＭ４は、ペットの飼い主や子供の親である場合が多く、主役でないことから、小さい枠を選択して、表示する。
【００９０】
ＩＭ４の表示を行うと、次に、残りの枠にＩＭ３を表示する（Ｓ４１６）。ＩＭ３の表示を行うと、元のフローに戻る。
【００９１】
以上説明したように、本実施形態においては、顔情報を用いて、画像に含まれる複数の被写体の関係を判定し、判定の結果基づいて、複数の画像の表示を如何に行うかを決めている。また、本実施形態においては、最初や最後の画像、代表画像、あるいは大きな画像や小さな画像等に、複数の人物が存在する画像を表示させている。このため、画像内に登場する被写体の関係を考慮した画像表示を行うことができる。
【００９２】
また、本実施形態において示したような関係性のある画像を抽出し表示することにより、画像を有効活用することができる。例えば、家族の写真を持ち歩き、その写真を海外の人に見せることによって仲良くなることがある。その場合、子供やペット等と、その保護者を撮影した写真は、万国共通の感情を呼び起こし、何時、撮影したのか、どこで撮影したのか等、無視されがちな背景までを見直し、様々な想像を呼び起こす効果がある。本実施形態に示したような画像の抽出により、画像を有効利用することができ、画像を更に楽しむことが可能となる。
【００９３】
なお、本実施形態においては、簡易アルバムモードが選択されると、スライドショーとアルバム表示を行っていたが、いずれか一方のみでも構わない。また、関係性の判定にあたっては、抱っこしている場合（Ｓ２０１〜Ｓ２０３Ｙｅｓ）、互いに向き合っている場合（Ｓ２０５〜Ｓ２０９）、肩車をしている場合（Ｓ２０４）の３通りで判定していたが、これに限らず、他の関係であっても関係性有りと判定するようにしても、勿論かまわない。
【００９４】
また、本実施形態においては、撮像部を有するデジタルカメラに本発明を適用した例について説明した。しかし、これに限らず、撮像部を省略し、撮影画像を記録した記録部を有し、この記録された撮影画像の再生表示専用装置や、パーソナルコンピュータにも適用することができる。
【００９５】
さらに、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【００９６】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９７】
１・・・制御部、１ａ・・・顔大きさ・表情部、１ｂ・・・関係性判定部、１ｃ・・・表示制御部、２・・・撮像部、２ａ・・・顔検出部、２ｂ・・・子供判定部、２ｃ・・・ペット判定部、５・・・画像処理部、６・・・記録部、７・・・時計部、８・・・表示部、９・・・操作部、１０・・・カメラ、１１・・・フラッシュメモリ、２１〜２４・・・画像、２６〜２８・・・画像、３１〜３４・・・画像、３４ａ・・・親愛マーク、３６〜３９・・・画像、４１・・・画像、４１ａ・・・飼い主、４１ｂ・・・猫
【図１】
2012032728.tif 000003
【図２】
2012032728.tif 000004
【図３】
2012032728.tif 000005
【図４】
2012032728.tif 000006
【図５】
2012032728.tif 000007
【図６】
2012032728.tif 000008
【図７】
2012032728.tif 000009
【図８】
2012032728.tif 000010
【図９】
2012032728.tif 000011
【図１０】
2012032728.tif 000012
【図１１】
2012032728.tif 000013
【図１２】
2012032728.tif 000014
【図１３】
2012032728.tif 000015