(57)【要約】【課題】見て楽しいレイアウト画像を容易に作成可能とする。【解決手段】複数枚の笑顔画像を配置してレイアウト画像を作成する際、中央の大画像枠５１には、笑顔度「高」（例えば、笑顔度９０％以上）の画像が配置され、左上の中画像枠５２には、笑顔度「中」（例えば、笑顔度５０％以上９０％未満）の画像が配置され、右下の小画像枠５３には、笑顔度「低」（例えば、笑顔度５０％未満）の画像が配置される。画像位置は、ボタン６１，６２の操作で調整可能であり、またボタン６２，６３の操作で画像そのものを変更可能である。【選択図】図６
2010187108.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を配置して成るレイアウト画像を作成する画像レイアウト装置において、
人物画像に対し、その画像中の人物の表情情報を取得する表情取得手段と、
複数の人物画像を用いて前記レイアウト画像を作成する際に、配置すべき各画像のサイズを、前記取得した各画像中の人物の表情情報に基づいて決定するサイズ決定手段とを具備することを特徴とする画像レイアウト装置。
【請求項２】
前記表情情報は、特定の喜怒哀楽の表情の度合いを示す情報であることを特徴とする請求項１に記載の画像レイアウト装置。
【請求項３】
前記サイズ決定手段は、前記表情の度合いが高い画像ほどサイズを大きくすることを特徴とする請求項２に記載の画像レイアウト装置。
【請求項４】
前記取得した各画像中の人物の表情情報に基づいて各画像の配置位置を決定する位置決定手段を更に備えることを特徴とする請求項１〜３のいずれか１項に記載の画像レイアウト装置。
【請求項５】
前記表情情報は、特定の喜怒哀楽の表情の度合いを示す情報であり、前記位置決定手段は、前記表情の度合いが高い画像ほど中央寄りに配置することを特徴とする請求項４に記載の画像レイアウト装置。
【請求項６】
外部操作に基づき、前記位置決定手段が決定した配置位置を変更する配置変更手段を更に備えることを特徴とする請求項４または５に記載の画像レイアウト装置。
【請求項７】
前記表情情報に基づいて前記配置すべき画像を選択する画像選択手段を更に備えることを特徴とする請求項１〜６のいずれか１項に記載の画像レイアウト装置。
【請求項８】
外部操作に基づき、前記画像選択手段が選択した画像を他の画像に変更する画像変更手段を更に備えることを特徴とする請求項７に記載の画像レイアウト装置。
【請求項９】
前記決定された画像のサイズに基づいて、前記レイアウト画像を表示する際の前記各画像の色彩を決定する色彩決定手段を更に備えることを特徴とする請求項１〜８のいずれか１項に記載の画像レイアウト装置。
【請求項１０】
前記色彩決定手段は、所定サイズ以上の画像はカラー表示、それ以外の画像はモノクロ表示とすることを特徴とする請求項９に記載の画像レイアウト装置。
【請求項１１】
前記レイアウト画像を表示する表示手段を更に備えることを特徴とする請求項１〜１０のいずれか１項に記載の画像レイアウト装置。
【請求項１２】
前記レイアウト画像を記録媒体に記録する記録手段を更に備えることを特徴とする請求項１〜１１のいずれか１項に記載の画像レイアウト装置。
【請求項１３】
被写体を撮像して画像を得る撮像手段を更に備えることを特徴とする請求項１〜１２のいずれか１項に記載の画像レイアウト装置。
【請求項１４】
前記表情取得手段は、画像解析によって前記画像中の人物の表情を得ることを特徴とする請求項１〜１３のいずれか１項に記載の画像レイアウト装置。
【請求項１５】
前記表情取得手段は、前記画像に対応づけられた表情情報を読み取って前記画像中の人物の表情を得ることを特徴とする請求項１〜１３のいずれか１項に記載の画像レイアウト装置。
【請求項１６】
人物画像に対し、その画像中の人物の表情情報を取得する処理と、
複数の人物画像を配置して成るレイアウト画像を作成する際に、配置すべき各画像のサイズを、前記取得した各画像中の人物の表情情報に基づいて決定する処理と、
前記決定された各画像のサイズに基づいて前記レイアウト画像を作成する処理とをコンピュータに実行させるための画像レイアウトプログラム。
【請求項１７】
前記表情情報は、特定の喜怒哀楽の表情の度合いを示す情報であり、前記表情の度合いが高い画像ほどサイズを大きくすることを特徴とする請求項１６に記載の画像レイアウトプログラム。
【請求項１８】
前記表情情報は、特定の喜怒哀楽の表情の度合いを示す情報であり、前記表情の度合いが高い画像ほど中央寄りに配置する処理を更に実行させるための請求項１６または１７に記載の画像レイアウトプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を１枚の画像としてレイアウトする画像レイアウト装置およびプログラムに関する。
【背景技術】
【０００２】
撮像した画像を所望の配置にレイアウトして記録することが可能なデジタルカメラが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１１７０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、何らの関連性もない複数の画像を同じサイズで配置したレイアウト画像を見ても面白くなく、見て楽しいレイアウト画像を作成するのは容易ではない。
【課題を解決するための手段】
【０００５】
本発明は、複数の画像を配置して成るレイアウト画像を作成する画像レイアウト装置に適用され、人物画像に対し、その画像中の人物の表情情報を取得する表情取得手段と、複数の人物画像を用いてレイアウト画像を作成する際に、配置すべき各画像のサイズを、取得した各画像中の人物の表情情報に基づいて決定するサイズ決定手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、従来のレイアウト画像よりも見て楽しいレイアウト画像が容易に作成可能となる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態におけるデジタルカメラの制御ブロック図。
【図２】表情による画像記録可否設定の一例を示す図。
【図３】笑顔レイアウトモード設定時の処理手順を示すフローチャート。
【図４】図３のレイアウト処理の詳細を示すフローチャート。
【図５】笑顔レイアウトモードにおける操作画面例を示す図。
【図６】レイアウト後の画面例を示す図。
【発明を実施するための形態】
【０００８】
図１〜図６により本発明をデジタルカメラに適用した場合の一実施形態を説明する。
図１は本実施形態におけるデジタルカメラの制御ブロック図である。なお、デジタルカメラは、デジタルカメラ機能を持つ機器全般を指す（例えば、カメラ機能付き携帯電話機も含む）。
【０００９】
図１において、撮影レンズ１を透過した被写体光束は、撮像素子２で撮像され、その撮像信号は画像処理部３に入力される。画像処理部３を構成する画像処理回路３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路３ｂによる処理を経て、カメラ背面などに設けられた液晶モニタ４に表示される。撮影モード設定時には、上記撮像および画像表示が繰り返され、いわゆるライブビュー表示（スルー画表示）が行われる。撮像指示がなされると改めて撮像が行われ、生成された画像データは記録／再生回路３ｃを介してメモリカード等の記録媒体５に記録される。
【００１０】
一方、再生モードでは、記録媒体５に記録された画像データを記録／再生回路３ｃにて読み出し、画像処理回路３ａおよび表示回路３ｂによる処理を経て液晶モニタ４に表示することができる。
【００１１】
ＣＰＵ６は、操作部７からの入力に応答して画像処理部３や不図示の回路を制御する。操作部７は、電源ボタンやレリーズボタン、再生操作や情報入力等で用いる各種操作部材、液晶モニタ４上に配置されたタッチパネル等を含む。
【００１２】
次に、顔認識および表情認識について説明する。
カメラは公知の顔認識機能を備え、画像データ中に被写体として人物が存在する場合は、画像解析によりその人物の顔領域の位置および大きさを検出し、顔部分にピントや露出が合うような制御を行う。１画像データ中に複数の顔を認識することが可能であり、認識された顔位置および大きさは、ライブビュー画像中の顔の位置に、顔の大きさに応じた顔認識枠を表示することでユーザに報知される。
【００１３】
さらに顔認識では、認識した顔の特徴情報に基づいてデータベース検索を行うことで、画像データ中の人物が誰であるかを特定することができる。これを可能とするために、カメラには顔認識用のデータベースが備えられ、所定の顔登録モードにおいて、人物を撮像した画像データと、その画像データから得た顔の特徴点と、その人物に関する情報（名前等）とを対応づけて複数人分登録することができる。顔の特徴情報しては、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点、顎の下端点などの特徴点と、各特徴点の相対距離などが含まれる。そして、撮像時に画像データから得た顔の特徴情報と、データベース内の特徴情報とを比較し、相似度が所定の閾値を上回るものが見つかった場合に人物特定となる。
【００１４】
表情認識は、画像解析により、上記顔認識で認識された画像データ中の顔の表情を認識する機能である。本実施形態では、表情として、「笑顔」、「喜び」、「悲しみ」、「怒り」、「驚き」といった喜怒哀楽の表情を検出できる。特に「笑顔」については、ちょっとした微笑み程度から大笑いまで、そのレベル（以下、笑顔度）を数段階に分けて認識できる。笑顔以外の表情に対してレベル検出が行えるようにしてもよい（喜び度、悲しみ度、怒り度、驚き度など）。さらに、被写体人物の所作として「ウインク」が検出できる他、視線がカメラ（レンズ）を向いているか否かをも検出できる。
【００１５】
各検出結果は、画像記録の有無に反映される。カメラは、撮影モード時に撮像を繰り返し、その都度得られる画像データに対して顔認識を行う。画像データ中に人物の顔が認識されると、表情認識を行い、人物が予め設定された表情になったことが検出されるまで、撮像、顔認識および表情認識が繰り返される。設定された表情になったことが検出されると、その表情で撮像した画像データが画像ファイルとして記録媒体５に記録される。これにより撮影者の望む表情の画像が得られる。
【００１６】
そして本実施形態では、画像記録の可否を決める表情を被写体となる人物ごとに設定し、その設定内容を上記顔認識用のデータベースに登録することができる。図２はその画像記録可否設定の一例を示し、この例では３人分の情報が登録されている。図中、丸印は「選択」（記録可）を、バツ印は「非選択」（記録不可）をそれぞれ意味し、また笑顔度のパーセンテージは、笑顔と認識する範囲を示す。例えば「笑顔度１０％」は、１０％以上の笑顔の表情を意味し、ほんの少しでも笑ったら画像記録が許可される。「笑顔度５０％」の場合は、ちょっとした微笑み程度では画像記録は許可されず、中程度以上の笑顔で初めて許可される。また、「笑顔度０％」は、笑顔非選択（笑顔では画像記録不可）を意味する。なお、パーセンテージの異なる笑顔は、同じ笑顔でも異なる表情と位置づける。
【００１７】
「ウインク」は、他の喜怒哀楽の表情とは異なり、被写体人物からの撮影許可または撮影催促の合図と捕らえる。別にウインクしている顔画像を取得したいわけではないので、ウインクが検出された場合は、所定時間（例えば、３秒〜５秒）経過後に改めて撮像を行い、その結果得られた画像データを記録することが望ましい。また「視線」は、被写体人物がカメラを向いていることを意味し、これが選択されている場合は、選択された他の表情や「ウインク」と「視線」とのＡＮＤ条件が成立したときに画像記録が許可される。「視線」が非選択の場合は、視線の方向に拘わらず、選択された表情のいずれかが検出された場合に画像記録が許可される。
【００１８】
例えば人物Ａの場合は、「悲しみ」以外の「笑顔度１０％」、「喜び」、「怒り」、「驚き」、「ウインク」のいずれかが検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。普段あまり笑わない人に対しては、少し笑っただけでも画像記録を許可する「笑顔度１０％」が有効かも知れない。また、「悲しみ」の表情は撮りたくないと思った人物に対しては、「悲しみ」は非選択とするのがよい。
【００１９】
人物Ｂの場合は、「笑顔度５０％」、「悲しみ」、「怒り」、「ウインク」のいずれかの表情が検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。人物Ｃの場合は、カメラに視線を向けてウインクしない限り、いずれの喜怒哀楽の表情が検出されても画像記録は許可されない。表情を被写体任せにするときはこの設定が有効である。
【００２０】
ここで、表情検出の結果は、画像に対応づけて記録される。例えば、画像は画像ファイルとして記録されるが、その画像ファイルのヘッダ情報として表情検出結果を記述することが考えられる。これによれば、画像ファイルを外部装置に転送した場合、その転送装置側で表情情報を読み取り、表示等に反映させることができる。
【００２１】
次に、画像再生時における画像レイアウト機能について説明する。
画像レイアウト機能は、複数枚の画像を所望の配置にレイアウトして、１枚のレイアウト画像を作成するというものである。特に本実施形態では、画像レイアウトの一形態として、上記笑顔度を利用した笑顔レイアウトモードが可能である。
【００２２】
笑顔レイアウトモードでは、笑顔度の高低によって画像サイズが決定される。すなわち、笑顔度の高い画像は大きなサイズで、笑顔度の低い画像は小サイズでそれぞれ配置される。これによれば、出来上がったレイアウト画像において、笑顔度の高い画像を目立たせることができる。より目立たせるには、笑顔度の高い画像（大サイズの画像）を中央に配置し、笑顔度の低い幾つかの画像（小サイズの画像）を周囲に配置することが望ましい。このように、画像中の人物の表情に基づいて画像サイズと画像の配置位置が自動的に決まるので、見て楽しいレイアウト画像を簡単に作成できる。
【００２３】
レイアウトに使用する画像は、カメラが自動的に決定してもよいし、ユーザが決定してもよいが、カメラが決定するようにすることで、レイアウト画像をより簡単に作成できる。カメラが決定する場合、ＣＰＵ６は、例えば候補画像のうち笑顔度の最も高い画像を選択し、これを大サイズで配置するとともに、笑顔度が所定値未満（例えば、２０％未満）の幾つかの画像を選択し、これらを大サイズ画像の周囲に配置する。
【００２４】
なお、上記候補画像とは、記録媒体５中、あるいは予め指定されたフォルダ内の全画像のうち笑顔検出された画像を指す。また、笑顔検出された画像は全て同一のフォルダ（例えば、スマイルフォルダと名付けられたフォルダ）に格納されるようにしておけば、そのフォルダ内の画像は全て候補画像となる。
【００２５】
例えば、笑顔度「高」の画像は大サイズ、笑顔度「中」の画像は中サイズ、笑顔度「低」の画像は小サイズで配置するというように、数段階に画像サイズを決めてもよい。ここで、例えば笑顔度「高」は笑顔度９０％以上 、笑顔度「中」は笑顔度２０％以上５０％未満、笑顔度「低」は笑顔度２０％未満のように決めてもよいし、笑顔度「高」は最も高い笑顔度、笑顔度「中」は２番目に高い笑顔度、笑顔度「低」は３番目に高い笑顔度としてもよい。この場合も、大サイズ画像を中央に置き、小サイズの画像ほど外側に配置されるように配置位置を決めることが望ましい。
【００２６】
一方、レイアウトに使用する画像をユーザ自身が選択する場合は、例えばユーザが笑顔画像を選択すると、それらの画像に対し、ＣＰＵ６が笑顔度に基づいて画像のサイズ（および配置位置）を決めるようにすることが考えられる。
【００２７】
図３は笑顔レイアウトモード設定時の処理手順の一例を示すフローチャートである。
この例では、画像の配置にレイアウトテンプレートを使用するとともに、テンプレート上の画像枠を選択することでその画像枠に配置すべき画像を決定する。
【００２８】
図３のプログラムは、笑顔レイアウトモードが選択されることでＣＰＵ６により起動され、まずステップＳ１でレイアウトテンプレートの一覧を表示する。ステップＳ２では、ユーザによっていずれかのテンプレートが選択されるのを待ち、選択されるとステップＳ３において、選択されたテンプレートを含む操作画面を液晶モニタ４に表示する。
【００２９】
図５は操作画面の一例を示している。このテンプレートでは、レイアウト画像枠５０の中央に大型の画像枠５１が表示され、左上に中型の画像枠５２が、右下に小型の画像枠５３がそれぞれ表示される。中小の画像枠５２，５３は大画像枠５１に一部が重なり、大画像枠５１が最も下にあるイメージである。
【００３０】
次にステップＳ４では、レイアウト処理を行う。レイアウト処理の詳細を示す図４にて説明すると、ステップＳ４１では、ユーザによりいずれかの画像枠が選択されるのを待つ。枠の選択方法は、所定の操作部材を押すたびに選択状態にある枠がサイクリックに切り替わり、決定ボタンで選択を確定させる方法でもよいし、液晶モニタ４にタッチパネルを配したものでは、いずれかの画像枠をタッチすることでその枠の選択が確定するようにしてもよい。
【００３１】
ステップＳ４１が否定された場合、既にレイアウトすべき３画像が決定されている場合は、ステップＳ５５からリターンする。ステップＳ４１が肯定されるとステップＳ４２に進み、いずれの画像枠が選択されたかを判定する。
【００３２】
大画像枠５１が選択された場合はステップＳ４３に進み、候補画像のうち笑顔度「高」の画像が複数あるか否かを判定する。笑顔度「高」の画像は、例えば笑顔度が９０％以上の画像である。最も笑顔度の高い画像であってもよい。笑顔度「高」の画像が１枚しかない場合、その画像が自動的に大画像枠に配置すべき画像となる。すなわち、ステップＳ４３が否定されてステップＳ４６に進み、その画像を大画像枠５１に配置すべき画像として認識し、かつ図５の表示に反映させる。ユーザは、液晶モニタの操作画面を見て、大画像枠５１に配置すべき画像が決定されたこと、およびその画像を確認できる。
【００３３】
笑顔度「高」の画像が複数ある場合は、ステップＳ４４で笑顔度「高」のサムネイル画像を全てサムネイル一覧ページに表示し、ユーザに選択を促す。ユーザは、所定操作を行うことでサムネイル一覧から好みの画像を選択する。例えばタッチパネルを採用するカメラでは、サムネイル画像をタッチすることで画像選択が行える。画像が選択されるとステップＳ４５からステップＳ４６に進み、その画像を大画像枠５１に配置すべき画像として認識し、かつ図５の表示に反映させる。
なお、サムネイル一覧ページと図５の操作画面は、所定のボタン操作で交互に表示切換が可能である。
【００３４】
中／小の画像枠５２，５３が選択された場合も同様の処理を行う（ステップＳ４７〜Ｓ５０，ステップＳ５１〜Ｓ５４）。ここで、中画像枠５２に表示すべき笑顔度「中」の画像は、例えば笑顔度５０％以上９０％未満の画像であり、小画像枠５３に表示すべき笑顔度「低」の画像は、例えば笑顔度２０％未満の画像である。
【００３５】
ステップＳ４６，Ｓ５０，Ｓ５４の後はステップＳ５５に進み、既にレイアウトすべき３画像が決定されているか否かを判定し、否定されるとステップＳ４１に戻り、肯定されるとリターンする。
図６は画像配置後の操作画面を示し、これにより、ユーザはレイアウト画像を一目で確認できる。
【００３６】
図３のステップＳ５では、レイアウト調整操作がなされたか否かを判定し、肯定されるとステップＳ６でレイアウト調整を行う。
【００３７】
レイアウト調整とは、手動によるレイアウトの調整であり、ユーザが図６の画像枠配置を見て調整が必要と判断したときに行う。操作画面には、移動開始ボタン６１、移動停止ボタン６２、周辺画像切換ボタン６３および画像送りボタン６４が表示されている。移動開始ボタン６１を操作すると、表示上の各画像枠５１〜５３が少量ずつ移動を開始し、移動停止ボタン６２の操作で移動が停止する。なお、移動はレイアウト画像枠内に限られる。周辺画像切換ボタン６３は、２枚の周辺画像を互いに入れ替えるためのもので、操作のたびに交互に入れ替わる。画像送りボタン６４は、中央画像と周辺画像とを他の画像に置き換えるためのもので、操作のたびに画像が順番に入れ替わる。
【００３８】
図３のステップＳ７では、決定操作の有無を判定し、決定操作が確認されない場合はステップＳ４に戻り、確認されるとステップＳ８でレイアウト画像を記録媒体５に記録して処理を終了する。記録されたレイアウト画像は、通常の画像と同様にいつでも呼び出して液晶モニタ４に表示したり、外部装置に転送することが可能である。
【００３９】
なお、図４の処理では、笑顔度「高」（「中」，「低」）の画像が複数ある場合に画像選択をユーザに委ねる例を示したが、これをカメラ（ＣＰＵ６）が選択してもよい。例えば、画像ファイルに「お気に入り度」を埋め込み可能なものでは、同一笑顔度の複数の画像のうち「お気に入り度」の最も高い画像を自動的に選択する構成が考えられる。あるいは、画像解析によってピント状態や手振れの度合いなどを検出して画像を評価し、その評価が最も高い画像を選択する構成でもよい。
【００４０】
レイアウト画像における画像の配置や数は図５のものに限定されない。例えば、笑顔度「高」の画像中央に大きく配置し、４隅に笑顔度「低」の画像を配置するレイアウトでもよい。あるいは、より多くの画像（例えば、笑顔画像の全て）を抽出し、それらを放射状、マンダラ状、渦巻き状に配置してもよい。これによれば、多くの画像を一度に閲覧できる。
【００４１】
以上は笑顔度に基づくレイアウトを示したが、その他の表情の度合い（例えば、喜び度、悲しみ度、怒り度、驚き度など）に基づいてレイアウト処理を行ってもよい。その際、あまり好ましくない表情の場合は、表情の度合いが低い画像ほど大サイズで表示するようにしてもよい。また、表情の度合いに限らず、複数の表情の画像が混在したレイアウトでもよい。例えば、笑顔や喜び等の好ましい表情の画像は大サイズで中央に、怒りや悲しみ等の好ましくない表情は小サイズで周辺に配置することが考えられる。これによりバラエティーに富んだレイアウト画像を楽しむことができる。
【００４２】
レイアウト画像を表示する際の色彩を人物の表情、各画像のサイズあるいは配置位置によって変えてもよい。例えば、所定サイズ以上の画像（強調したい画像）はカラー表示、それ以外の画像はモノクロ表示とすることが考えられる。モノクロ表示は、白黒表示に加えて、セピア色やその他の単色表示も含む。また、強調したい画像ほど彩度を高くするようにしてもよい。
【００４３】
さらに、レイアウト画像を表示したときに、スクリーンセーバーのように各画像が移動するようにもできる。例えば、例えば中央の画像は動かさず、周辺の画像が中央の画像の周りを回転するようにしてもよい。画像移動のバリエーションを複数プリセットしておき、ユーザが選択可能に構成してもよい。また、中央および周辺の画像が自動的に切換わるようにしてもよい。さらにまた、画像を移動させるときにＢＧＭを流すようにしてもよい。
【００４４】
以上はデジタルカメラにて説明したが、撮像機能を持たない電子機器にも本発明を適用可能である。例えば、上述したレイアウト機能を持つ画像レイアウトプログラムをパーソナルコンピュータ等に組み込めば、カメラから転送された画像を用いてレイアウト処理が行える。その際、画像に対応づけられた（例えば、画像ファイルに埋め込まれた）表情情報を読み取ることで、表情を認識できる。あるいは、画像レイアウトプログラムに画像解析による顔認識機能および表情認識機能を組み込んでもよい。
【符号の説明】
【００４５】
１  撮影レンズ
２  撮像素子
３  画像処理部
４  液晶モニタ
５  記録媒体
６  ＣＰＵ
５１〜５３  画像枠
６１  移動開始ボタン
６２  移動停止ボタン
６３  周辺画像切換ボタン
６４  画像送りボタン
【図１】
2010187108.tif 000003
【図２】
2010187108.tif 000004
【図３】
2010187108.tif 000005
【図４】
2010187108.tif 000006
【図５】
2010187108.tif 000007
【図６】
2010187108.tif 000008