(57)【要約】【課題】画像のレイアウト編集を行う場合に、ユーザが大量の未使用画像の中から所望の未使用画像を容易に選択することができるレイアウト編集装置、レイアウト編集方法およびプログラムを提供する。【解決手段】レイアウト編集装置は、ユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、複数の画像のそれぞれの画像解析を行う画像解析部と、レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測部と、ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価部と、複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシスト部とを備える。【選択図】図１
2014199641.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
前記レイアウトの編集画面を表示する画面表示部と、
前記レイアウトを編集するためのユーザの指示を入力する指示入力部と、
前記ユーザの指示に基づいて、前記画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
前記複数の画像のそれぞれの画像解析を行う画像解析部と、
前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測部と、
前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価部と、
前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシスト部とを備えることを特徴とするレイアウト編集装置。
【請求項２】
前記嗜好推測部は、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像の中から前記ユーザの指示に基づいて前記レイアウトに追加された１以上の追加画像のそれぞれに撮影されたそれぞれの人物の登場回数と、前記レイアウトから前記ユーザの指示に基づいて削除された１以上の削除画像のそれぞれに撮影された前記それぞれの人物と同一人物の登場回数との差に基づいて、前記ユーザの好みとして、前記それぞれの人物の重要度を算出するものである請求項１に記載のレイアウト編集装置。
【請求項３】
前記嗜好推測部は、前記追加画像および前記削除画像のそれぞれに撮影されたそれぞれの人物の顔のサイズに応じて、前記重要度を重み付けするものである請求項２に記載のレイアウト編集装置。
【請求項４】
前記嗜好推測部は、前記レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、前記ユーザの好みとして前記それぞれの人物の重要度を算出するものである請求項１に記載のレイアウト編集装置。
【請求項５】
前記嗜好推測部は、前記それぞれの人物の重要度に基づいて、前記重要度が低い人物よりも前記重要度が高い人物が撮影されている画像に撮影されている人物のうち、前記重要度が高い人物が撮影されている画像における登場回数が多い人物の重要度が、前記重要度が高い人物が撮影されている画像における登場回数が少ない人物の重要度よりも高くなるように前記重要度を算出するものである請求項４に記載のレイアウト編集装置。
【請求項６】
前記嗜好推測部は、前記それぞれの人物の重要度に基づいて、前記重要度が低い人物よりも前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が多い人物の重要度が、前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が少ない人物の重要度よりも高くなるように前記重要度を算出するものである請求項４に記載のレイアウト編集装置。
【請求項７】
前記嗜好推測部は、前記それぞれの人物の重要度に基づいて、前記重要度が低い人物よりも前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、前記重要度が高い人物が撮影されている画像の撮影日における登場日数が多い人物の重要度が、前記登場日数が少ない人物の重要度よりも高くなるように前記重要度を算出するものである請求項４に記載のレイアウト編集装置。
【請求項８】
前記嗜好推測部は、前記レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの画像内容に基づいて、前記ユーザの好みとして前記それぞれの人物の重要度を算出するものである請求項１に記載のレイアウト編集装置。
【請求項９】
前記嗜好推測部は、前記レイアウトに使用されている編集画像と、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像とが前記ユーザの指示に基づいて交換された場合、交換前後の画像に人物の顔が撮影されているかどうか、前記交換前後の画像に同一人物が撮影されているかどうか、前記交換前後の画像が類似画像かどうかに基づいて、前記ユーザの好みとして、前記交換前後の画像に撮影された人物の重要度、ならびに、前記交換前後の画像の場面および構図の重要度を算出するものである請求項１に記載のレイアウト編集装置。
【請求項１０】
前記嗜好推測部は、前記レイアウトに使用されている編集画像と、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像とが前記ユーザの指示に基づいて交換された場合、交換前後の画像の撮影時刻、前記交換前後の画像の撮影場所、前記交換前後の画像に撮影された人物の顔のサイズ、前記交換前後の画像に撮影された人物の顔の位置、前記交換前後の画像に撮影された人物の顔の向き、前記交換前後の画像に撮影された人物の表情、前記交換前後の画像のシーン、前記交換前後の画像全体の色味、前記交換前後の画像が風景画なのか人物画なのか、のいずれかに基づいて、前記ユーザの好みを推測するものである請求項１に記載のレイアウト編集装置。
【請求項１１】
前記嗜好推測部は、前記レイアウトに使用されている編集画像のうち、２以上の人物が撮影された画像から前記ユーザの指示に基づいて所定の人物を含む領域だけが抽出されて前記レイアウトに配置された場合、前記所定の人物の重要度が前記画像に撮影された２以上の人物のうち、前記所定の人物以外の人物の重要度よりも高くなるように前記重要度を算出するものである請求項１に記載のレイアウト編集装置。
【請求項１２】
前記画面表示部は、さらに、前記複数の画像のうちの前記レイアウトに配置されていない未使用画像のうち、所定数の未使用画像の一覧を前記編集画面に表示するものであり、
前記編集アシスト部は、前記アシスト情報として、前記評価値が低い未使用画像よりも前記評価値が高い未使用画像を優先的に前記未使用画像の一覧内に表示させるものである請求項１〜１１のいずれか１項に記載のレイアウト編集装置。
【請求項１３】
前記編集アシスト部は、前記評価値が高い未使用画像を、前記評価値が低い未使用画像よりも前記未使用画像の一覧内の先頭側に配置して表示させるものである請求項１２に記載のレイアウト編集装置。
【請求項１４】
前記編集アシスト部は、前記評価値が高い未使用画像を、前記未使用画像の一覧内で識別表示させるものである請求項１２に記載のレイアウト編集装置。
【請求項１５】
前記編集アシスト部は、前記未使用画像の一覧内で、前記評価値が高い未使用画像にマークを付ける、前記評価値が高い未使用画像の表示枠の色を変更する、もしくは、前記評価値が高い未使用画像の表示サイズを変更することにより、前記識別表示するものである請求項１４に記載のレイアウト編集装置。
【請求項１６】
前記編集アシスト部は、前記レイアウトに使用されている編集画像のうちの前記ユーザの指示に基づいて指定された所定の画像に応じて、前記所定数の未使用画像を切り換えて前記未使用画像の一覧内に表示させるものである請求項１２に記載のレイアウト編集装置。
【請求項１７】
前記嗜好推測部は、前記ユーザの好みとして、前記複数の画像のそれぞれに撮影されたそれぞれの人物または場所の重要度を算出するものであり、
前記編集アシスト部は、前記レイアウトに使用されている編集画像のうちの前記重要度が低い人物または場所が撮影された画像が前記ユーザの指示に基づいて指定された場合、前記重要度が低い人物または場所が撮影された画像よりも重要度が高い人物または場所が撮影された未使用画像を前記未使用画像の一覧内に表示させるものである請求項１６に記載のレイアウト編集装置。
【請求項１８】
さらに、前記ユーザの好みに基づいて、前記レイアウトを自動で作成する自動レイアウト部を備え、
前記編集アシスト部は、さらに、前記アシスト情報として、前記自動レイアウト部により作成されたレイアウトを前記画面表示部の編集画面に表示させるものである請求項１２〜１７のいずれか１項に記載のレイアウト編集装置。
【請求項１９】
前記編集アシスト部は、さらに、前記ユーザの好みに基づいて、前記アシスト情報として、背景台紙、フレーム装飾、クリップアート、および、文字入れ用のフォントのうちの少なくとも１つを前記画面表示部の編集画面に表示させるものである請求項１２〜１８のいずれか１項に記載のレイアウト編集装置。
【請求項２０】
複数のページからなるレイアウトを編集するレイアウト編集装置であって、
さらに、前記複数のページのそれぞれのレイアウトを自動で作成する自動レイアウト部を備え、
前記自動レイアウト部は、所定のページにおけるレイアウトの編集結果に基づいて、前記複数のページのうち、前記所定のページ以外のページのレイアウトを作成するものである請求項１〜１７のいずれか１項に記載のレイアウト編集装置。
【請求項２１】
複数のページからなるレイアウトを編集するレイアウト編集装置であって、
前記嗜好推測部は、前記複数のページのうちの２以上のページにわたるレイアウトの編集結果に基づいて、前記ユーザの好みを推測するものである請求項１〜２０のいずれか１項に記載のレイアウト編集装置。
【請求項２２】
複数のページからなるレイアウトを編集するレイアウト編集装置であって、
前記嗜好推測部は、前記複数のページのそれぞれにおけるレイアウトの編集時間に基づいて、前記ユーザの好みを推測するものである請求項１〜２０のいずれか１項に記載のレイアウト編集装置。
【請求項２３】
さらに、前記ユーザの好みのデータを保存する嗜好保存部を備え、
前記画像評価部は、前記嗜好保存部に保存されたユーザの好みのデータに基づいて、前記複数の画像のそれぞれの評価値を算出するものである請求項１〜２２のいずれか１項に記載のレイアウト編集装置。
【請求項２４】
複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
指示入力部を介して入力される、前記レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
前記複数の画像のそれぞれの画像解析を行う画像解析ステップと、
前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測ステップと、
前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価ステップと、
前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシストステップとを含むことを特徴とするレイアウト編集方法。
【請求項２５】
請求項２４に記載のレイアウト編集方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項２６】
請求項２４に記載のレイアウト編集方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置、レイアウト編集方法およびプログラムに関するものである。
【背景技術】
【０００２】
フォトブックは、ユーザが所有する複数の画像（画像データ）から所定数の画像を選択し、選択した所定数の画像を使用して、ユーザが希望するレイアウトの写真集（フォトアルバム）を作成したものである。近年では、ユーザが所有する複数の画像から自動的に所定数の画像を選択し、選択した所定数の画像を使用して、自動的にフォトブックのそれぞれのページのレイアウトを作成する自動レイアウト機能が提供されている。
【０００３】
従来のフォトブックでは、例えば、旅行、結婚式等の１つのイベントで撮影された数１００枚程度の画像からフォトブックを作成することが想定されていた。これに対し、近年では、大量の画像を保有するものの、フォトブックを作成する時間がないユーザ等を対象として、例えば、記念アルバムとして、１年分の１０００〜数１０００枚という大量の画像からフォトブックを作成することが行われている。
【０００４】
自動レイアウト機能を使用せずにフォトブックのレイアウトを行う場合、例えば、画像解析を行って、お薦め画像を提示する等の選択アシスト機能を提供するものがある。しかし、１０００〜数１０００枚という大量の画像からフォトブックのレイアウトを作成する場合、ユーザは、その中から所望の画像を選択するのに非常に手間がかかるという問題がある。
【０００５】
一方、自動レイアウト機能を使用する場合、ユーザは、自動で作成されたレイアウトにおいて、画像の追加、削除等の編集処理を実施する。しかし、例えば、１５００枚の画像から自動で２００枚の画像を選択してフォトブックのレイアウトを自動で作成した場合でも、ユーザは、フォトブックに使用されていない１３００枚の未使用画像を確認しながら画像の追加、削除を行うことになり、非常に手間がかかるという問題がある。
【０００６】
ここで、本発明に関連性のある先行技術文献として、特許文献１がある。
【０００７】
特許文献１は、ネットワークを介して画像を複数の閲覧者の情報処理装置に提供する画像管理装置に関するものであり、画像に対する閲覧者の行動パターンを閲覧者毎に個別の設定をするための設定手段と、設定手段により閲覧者毎に設定された行動パターンと提供された画像に対する閲覧者の過去の操作履歴とが一致している画像を検索する検索手段と、検索手段により検索された画像を画面に表示させる表示手段とを備える。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２６５８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１は、画像の閲覧者の行動パターンに基づいて画像の選別を行い、閲覧者のお気に入り度が高い画像を選別して表示するものである。これに対し、本発明は、ユーザによるレイアウトの編集結果に基づいてユーザの好みを推測し、推測したユーザの好みに基づいて、ユーザによるレイアウトの編集作業をアシストするものであり、フォトブックのレイアウト編集の簡易化を実現することが可能であるという違いがある。
【００１０】
本発明の目的は、前記従来技術の問題点を解消し、画像のレイアウト編集を行う場合に、ユーザが大量の未使用画像の中から所望の未使用画像を容易に選択することができるレイアウト編集装置、レイアウト編集方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
レイアウトの編集画面を表示する画面表示部と、
レイアウトを編集するためのユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
複数の画像のそれぞれの画像解析を行う画像解析部と、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測部と、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価部と、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシスト部とを備えることを特徴とするレイアウト編集装置を提供するものである。
【００１２】
ここで、嗜好推測部は、複数の画像のうちのレイアウトに使用されていない未使用画像の中からユーザの指示に基づいてレイアウトに追加された１以上の追加画像のそれぞれに撮影されたそれぞれの人物の登場回数と、レイアウトからユーザの指示に基づいて削除された１以上の削除画像のそれぞれに撮影されたそれぞれの人物と同一人物の登場回数との差に基づいて、ユーザの好みとして、それぞれの人物の重要度を算出するものであることが好ましい。
【００１３】
また、嗜好推測部は、追加画像および削除画像のそれぞれに撮影されたそれぞれの人物の顔のサイズに応じて、重要度を重み付けするものであることが好ましい。
【００１４】
また、嗜好推測部は、レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、ユーザの好みとしてそれぞれの人物の重要度を算出するものであることが好ましい。
【００１５】
また、嗜好推測部は、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像における登場回数が多い人物の重要度が、重要度が高い人物が撮影されている画像における登場回数が少ない人物の重要度よりも高くなるように重要度を算出するものであることが好ましい。
【００１６】
また、嗜好推測部は、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が多い人物の重要度が、重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が少ない人物の重要度よりも高くなるように重要度を算出するものであることが好ましい。
【００１７】
また、嗜好推測部は、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日における登場日数が多い人物の重要度が、登場日数が少ない人物の重要度よりも高くなるように重要度を算出するものであることが好ましい。
【００１８】
また、嗜好推測部は、レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの画像内容に基づいて、ユーザの好みとしてそれぞれの人物の重要度を算出するものであることが好ましい。
【００１９】
また、嗜好推測部は、レイアウトに使用されている編集画像と、複数の画像のうちのレイアウトに使用されていない未使用画像とがユーザの指示に基づいて交換された場合、交換前後の画像に人物の顔が撮影されているかどうか、交換前後の画像に同一人物が撮影されているかどうか、交換前後の画像が類似画像かどうかに基づいて、ユーザの好みとして、交換前後の画像に撮影された人物の重要度、ならびに、交換前後の画像の場面および構図の重要度を算出するものであることが好ましい。
【００２０】
また、嗜好推測部は、レイアウトに使用されている編集画像と、複数の画像のうちのレイアウトに使用されていない未使用画像とがユーザの指示に基づいて交換された場合、交換前後の画像の撮影時刻、交換前後の画像の撮影場所、交換前後の画像に撮影された人物の顔のサイズ、交換前後の画像に撮影された人物の顔の位置、交換前後の画像に撮影された人物の顔の向き、交換前後の画像に撮影された人物の表情、交換前後の画像のシーン、交換前後の画像全体の色味、交換前後の画像が風景画なのか人物画なのか、のいずれかに基づいて、ユーザの好みを推測するものであることが好ましい。
【００２１】
また、嗜好推測部は、レイアウトに使用されている編集画像のうち、２以上の人物が撮影された画像からユーザの指示に基づいて所定の人物を含む領域だけが抽出されてレイアウトに配置された場合、所定の人物の重要度が画像に撮影された２以上の人物のうち、所定の人物以外の人物の重要度よりも高くなるように重要度を算出するものであることが好ましい。
【００２２】
画面表示部は、さらに、複数の画像のうちのレイアウトに配置されていない未使用画像のうち、所定数の未使用画像の一覧を編集画面に表示するものであり、
編集アシスト部は、アシスト情報として、評価値が低い未使用画像よりも評価値が高い未使用画像を優先的に未使用画像の一覧内に表示させるものであることが好ましい。
【００２３】
また、編集アシスト部は、評価値が高い未使用画像を、評価値が低い未使用画像よりも未使用画像の一覧内の先頭側に配置して表示させるものであることが好ましい。
【００２４】
また、編集アシスト部は、評価値が高い未使用画像を、未使用画像の一覧内で識別表示させるものであることが好ましい。
【００２５】
また、編集アシスト部は、未使用画像の一覧内で、評価値が高い未使用画像にマークを付ける、評価値が高い未使用画像の表示枠の色を変更する、もしくは、評価値が高い未使用画像の表示サイズを変更することにより、識別表示するものであることが好ましい。
【００２６】
また、編集アシスト部は、レイアウトに使用されている編集画像のうちのユーザの指示に基づいて指定された所定の画像に応じて、所定数の未使用画像を切り換えて未使用画像の一覧内に表示させるものであることが好ましい。
【００２７】
また、嗜好推測部は、ユーザの好みとして、複数の画像のそれぞれに撮影されたそれぞれの人物または場所の重要度を算出するものであり、
編集アシスト部は、レイアウトに使用されている編集画像のうちの重要度が低い人物または場所が撮影された画像がユーザの指示に基づいて指定された場合、重要度が低い人物または場所が撮影された画像よりも重要度が高い人物または場所が撮影された未使用画像を未使用画像の一覧内に表示させるものであることが好ましい。
【００２８】
さらに、ユーザの好みに基づいて、レイアウトを自動で作成する自動レイアウト部を備え、
編集アシスト部は、さらに、アシスト情報として、自動レイアウト部により作成されたレイアウトを画面表示部の編集画面に表示させるものであることが好ましい。
【００２９】
また、編集アシスト部は、さらに、ユーザの好みに基づいて、アシスト情報として、背景台紙、フレーム装飾、クリップアート、および、文字入れ用のフォントのうちの少なくとも１つを画面表示部の編集画面に表示させるものであることが好ましい。
【００３０】
また、複数のページからなるレイアウトを編集するレイアウト編集装置であって、
さらに、複数のページのそれぞれのレイアウトを自動で作成する自動レイアウト部を備え、
自動レイアウト部は、所定のページにおけるレイアウトの編集結果に基づいて、複数のページのうち、所定のページ以外のページのレイアウトを作成するものであることが好ましい。
【００３１】
また、複数のページからなるレイアウトを編集するレイアウト編集装置であって、
嗜好推測部は、複数のページのうちの２以上のページにわたるレイアウトの編集結果に基づいて、ユーザの好みを推測するものであることが好ましい。
【００３２】
また、複数のページからなるレイアウトを編集するレイアウト編集装置であって、
嗜好推測部は、複数のページのそれぞれにおけるレイアウトの編集時間に基づいて、ユーザの好みを推測するものであることが好ましい。
【００３３】
さらに、ユーザの好みのデータを保存する嗜好保存部を備え、
画像評価部は、嗜好保存部に保存されたユーザの好みのデータに基づいて、複数の画像のそれぞれの評価値を算出するものであることが好ましい。
【００３４】
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
指示入力部を介して入力される、レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
複数の画像のそれぞれの画像解析を行う画像解析ステップと、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測ステップと、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価ステップと、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシストステップとを含むことを特徴とするレイアウト編集方法を提供する。
【００３５】
また、本発明は、上記に記載のレイアウト編集方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
【００３６】
また、本発明は、上記に記載のレイアウト編集方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００３７】
本発明によれば、ユーザの好みに基づいて、ユーザによるレイアウトの編集作業をアシストすることにより、ユーザは、大量の未使用画像の中から所望の未使用画像を容易に選択することができるようになるため、編集作業を効率的に行うことができる。
【図面の簡単な説明】
【００３８】
【図１】本発明のレイアウト編集装置の構成を表す一実施形態のブロック図である。
【図２】図１に示すレイアウト編集装置の動作を表す一例のフローチャートである。
【図３】フォトブックのレイアウトの表示画面を表す一例の概念図である。
【図４】フォトブックのレイアウトの編集画面を表す一例の概念図である。
【図５】未使用画像のレイアウトへの追加、および、編集画像のレイアウトからの削除を行う様子を表す一例の概念図である。
【図６】ＡさんとＢさんの二人が撮影された画像を表す一例の概念図である。
【図７】編集画像と未使用画像との入れ換えを行う様子を表す一例の概念図である。
【図８】Ａさんの顔を含む領域を抽出する様子を表す一例の概念図である。
【図９】評価値が高い未使用画像に「★」マークを付けた様子を表す一例の概念図である。
【図１０】重要度が低い人物が撮影された画像が選択された場合に、これに対応する未使用画像が未使用画像の一覧内に表示される様子を表す一例の概念図である。
【図１１】１〜２ページのレイアウトの編集結果に基づいて、３〜４ページのレイアウトが変更される様子を表した一例の概念図である。
【発明を実施するための形態】
【００３９】
以下に、添付の図面に示す好適実施形態に基づいて、本発明のレイアウト編集装置、レイアウト編集方法およびプログラムを詳細に説明する。
【００４０】
図１は、本発明のレイアウト編集装置の構成を表す一実施形態のブロック図である。同図に示すレイアウト編集装置１０は、複数の画像から選択された所定数の画像が所定の位置に配置された、フォトブックのそれぞれのページのレイアウトを編集するものであって、自動レイアウト部１２と、指示入力部１４と、レイアウト編集部１６と、画像解析部１８と、嗜好推測部２０と、嗜好保存部２２と、画像評価部２４と、編集アシスト部２６と、画面表示部２８とによって構成されている。
【００４１】
自動レイアウト部１２は、フォトブックで使用可能な複数の画像から、それぞれのページに対応する所定数の画像を選択して所定の位置に配置することにより、それぞれのページのレイアウトを自動で作成（自動レイアウト）する。
【００４２】
自動レイアウト部１２は、例えば、フォトブックで使用可能な複数の画像を、撮影時刻、撮影位置等を含む画像データの付帯情報に基づいて所定数のグループに分割し、分割したグループ毎に、画像の評価値等に基づいて、グループに含まれる画像の中から所定数の画像を選択し、グループ毎に選択した所定数の画像を、グループに対応する１ないし２以上のページに配置（自動レイアウト）する。
【００４３】
なお、自動レイアウト方法は何ら限定されず、自動レイアウト部１２は、従来公知の自動レイアウト方法を含む各種の自動レイアウト方法を利用して、フォトブックのそれぞれのページの自動レイアウトを行うことが可能である。
【００４４】
以下順に、指示入力部１４は、フォトブックのそれぞれのページのレイアウトを編集するためのユーザの指示の他、レイアウト編集装置１０を操作するための各種のユーザの指示を入力するためのものである。指示入力部１４は、例えば、マウス、キーボード、タッチパネル等の入力手段であり、画面表示部２８に表示されたレイアウトの表示画面や編集画面を操作して指示を入力することができるものが利用可能である。
【００４５】
ユーザは、フォトブックの作成時に、例えば、フォトブックのページ数、フォトブックで使用可能な複数の画像等の指示を指示入力部１４を介して入力する。また、ユーザは、フォトブックのレイアウトの編集時に、例えば、レイアウト編集を行うページ、編集対象のページのレイアウトに使用されている編集画像、フォトブックで使用可能な複数の画像のうちのフォトブックに使用されていない未使用画像の指定、編集内容の指定等の指示を入力する。
【００４６】
続いて、レイアウト編集部１６は、自動レイアウト部１２により自動で作成され、画面表示部２８の編集画面に表示されたフォトブックのそれぞれのページのレイアウトを、指示入力部１４を介して入力されたユーザの指示に基づいて編集する。
【００４７】
画像解析部１８は、フォトブックで使用可能な複数の画像のそれぞれについて、各種の画像解析を行って、例えば、画像に人物の顔があるかどうか（顔認識）、画像に人物の顔がある場合には、その人物の顔のサイズ、顔の位置、顔の向き、表情、画像に含まれる人物の数等を求め、さらに、シーン（屋内、屋外、夜景等）、画像全体の色味（明るさ、彩度、コントラスト等）、風景画なのか人物画なのか等を求める。
【００４８】
画像に人物の顔があるかどうかは、例えば、特開２００４−３４８７３３号公報で引用されている、「H. Schneiderman et al., “A statistical method for 3d object detection applied to faces and cars,” in IEEE Conf. on Computer Vision and Pattern Recognition, 2000, pp. 746-51」に記載された、画像をウェーブレット変換することにより得られたＤＷＴ係数を用いた顔検出の手法を用いることができる。
【００４９】
顔のサイズは、例えば、顔領域内の画素数、顔領域の画像全体に対する割合、顔領域の画像の幅に対する割合等を用いて求めることができる。
【００５０】
顔の位置は、例えば、顔領域の中心の位置（例えば顔領域が矩形の場合、対角線の交点）の座標値の画像の横および縦方向の長さに対する割合を百分率にて表した値を使用することができる。
【００５１】
顔の向きは、例えば、顔領域に含まれる顔の向きが正面または横であることを表す情報を用いて求めることができる。また、顔の向きは顔領域からさらに目を検出し、検出した目が２つある場合には正面、１つの場合には横向きであるとしてもよい。また、顔領域から顔の向きを表す特徴量を求め、その特徴量を用いて顔の向きが正面か横かを決定するようにしてもよい。
【００５２】
表情については、例えば、特開２００１−４３３４５号公報に記載された手法を用いて、画像に含まれる顔が笑っているか、笑っていないかを判定する。具体的には、各種表情を呈している顔の画像について、表皮の動きのパターンに基づいて表情を識別するための特徴ベクトルをあらかじめ記憶しておき、対象となる画像から特徴ベクトルを算出し、これとあらかじめ記憶した特徴ベクトルとの距離を算出し、最も近い距離となる特徴ベクトルに対応する表情を、対象となる画像に含まれる顔の表情と判定する。
【００５３】
画像に含まれる人物の数、シーン、画像全体の色味、風景画なのか人物画なのか等については、従来公知の画像解析を含む各種の画像解析によって求めることができる。
【００５４】
続いて、嗜好推測部２０は、レイアウト編集部１６によるレイアウトの編集結果、および、画像解析部１８による画像解析の結果に基づいて、ユーザの好み（編集意図、編集傾向）を推測する。
【００５５】
嗜好保存部２２は、嗜好推測部２０により推測されたユーザの好みのデータを保存する。
【００５６】
画像評価部２４は、嗜好推測部２０により推測されたユーザの好み、および、画像解析部１８による画像解析の結果に基づいて、フォトブックで使用可能な複数の画像のそれぞれの評価値を算出する。嗜好保存部２２にユーザの好みのデータが保存されている場合、画像評価部２４は、嗜好推測部２０により推測されたユーザの好みからではなく、嗜好保存部２２に保存されたユーザの好みのデータに基づいて、それぞれの画像の評価値を算出することができる。
【００５７】
編集アシスト部２６は、画像評価部２４により算出された、フォトブックで使用可能な複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部２８の編集画面に表示させる。
【００５８】
画面表示部２８は、自動レイアウト部１２により自動で作成されたレイアウトの表示画面、レイアウト編集部１６により編集されたレイアウトの編集画面を含む各種の画面を表示する。
【００５９】
次に、図２に示すフローチャートを参照しながら、ユーザがレイアウト編集を行う時のレイアウト編集装置１０の動作を説明する。
【００６０】
ユーザが、フォトブックの作成条件、例えば、作成しようとするフォトブックのページ数、撮影期間等の指定によるフォトブックで使用可能な複数の画像等の指示を指示入力部１４を介して入力すると、自動レイアウト部１２により、フォトブックのそれぞれのページの自動レイアウトが行われる（ステップＳ１）。自動レイアウトが終了すると、例えば、図３に示すように、レイアウトの表示画面の初期画面として、自動レイアウト部１２により作成されたフォトブックの見開きの１〜２ページのレイアウトが画面表示部２８に表示される（ステップＳ２）。
【００６１】
図３は、フォトブックのレイアウトの表示画面を表す一例の概念図である。同図に示すレイアウトの表示画面３０は、レイアウト表示エリア３２と、指示入力エリア３６とによって構成されている。
【００６２】
レイアウト表示エリア３２には、自動作成されたフォトブックのそれぞれのページのレイアウトが表示される。同図には、レイアウトの表示画面３０の初期画面として、見開きの１〜２ページのレイアウトに使用されている所定数の画像が表示されている。
【００６３】
指示入力エリア３６には、ユーザが指示入力部１４を介して各種の指示を入力するための各種のボタンが配置されている。例えば、ユーザが右向きボタン３８をマウスでクリックしたり、タッチパネルでタッチしたりして選択すると、次のページのレイアウトが表示され、左向きボタン４０を選択すると、前のページのレイアウトが表示される。また、「編集する」ボタン４２を選択すると、編集対象のページのレイアウトの編集画面が表示される。「保存」ボタン４４を選択すると、現在のレイアウトのデータが保存される。「戻る」ボタン４６を選択すると、レイアウト自動作成前のフォトブック作成条件の入力画面が表示される。
【００６４】
続いて、ユーザが、指示入力部１４を介して「編集する」ボタン４２を選択してレイアウト編集の指示を入力すると、図４に示すように、ユーザにより指定された編集対象のページのレイアウトの編集画面５０が画面表示部２８に表示される（ステップＳ３）。
【００６５】
図４は、フォトブックのレイアウトの編集画面を表す一例の概念図である。同図に示すレイアウトの編集画面５０は、レイアウト表示エリア３２と、未使用画像表示エリア３４と、指示入力エリア３６とによって構成されている。
【００６６】
レイアウト表示エリア３２には、編集対象のページのレイアウトが表示される。同図には、レイアウト編集の初期画面として、編集対象の見開きの１〜２ページのレイアウトに使用されている所定数の編集画像が表示されている。
【００６７】
未使用画像表示エリア３４には、フォトブックで使用可能な複数の画像のうちのフォトブックに使用されていない未使用画像５２のうち、所定数の未使用画像の一覧が縮小表示（サムネイル表示）される。編集画面５０上には所定数の未使用画像５２だけが表示されているが、ユーザが下向きボタン５４を選択すると、次の所定数の未使用画像が表示され、上向きボタン５６を選択すると、前の所定数の未使用画像が表示される。
【００６８】
指示入力エリア３６には、ユーザが指示入力部１４を介して各種の指示を入力するための各種のボタンが配置される。右向きボタン３８、左向きボタン４０、「保存」ボタン４４は、図３の場合と同じである。「レイアウト変更」ボタン４８を選択すると、編集対象のページのレイアウトが変更される。「戻る」ボタン４６を選択すると、レイアウト編集前の自動レイアウト後の画面が表示される。
【００６９】
ユーザは、編集画面５０において、指示入力部１４を介して各種の指示を入力することにより、例えば、レイアウト表示エリア３２に表示されたレイアウトの編集画像５１の中から編集しようとする画像を選択し、選択した編集画像の回転、拡大／縮小、レイアウトからの削除、未使用画像との入れ換え等を行うことができる。また、ユーザは、未使用画像表示エリア３４に表示された未使用画像５２の中から所定の未使用画像を選択してレイアウトに追加することができる。さらに、ユーザは、レイアウトの変更、レイアウトのデータの保存等を行うことができる。
【００７０】
ユーザが指示入力部１４を介して各種の指示を入力すると（ステップＳ４）、レイアウト編集部１６により、指示入力部１４を介して入力されたユーザの指示に基づいて、編集対象のページのレイアウトが編集される（ステップＳ５）。
【００７１】
次に、嗜好推測部２０の動作を説明する。
【００７２】
まず、図５に矢印で示すように、ユーザが未使用画像表示エリア３４からレイアウトに追加した未使用画像（追加画像）、および、ユーザがレイアウトから削除した編集画像（削除画像）に基づいて、嗜好推測部２０がユーザの好みを推測する場合の動作を説明する。
【００７３】
この場合、嗜好推測部２０は、レイアウト編集部１６によるレイアウトの編集結果、および、画像解析部１８による画像解析の結果に基づいて、未使用画像の中からユーザの指示に基づいてレイアウトに追加された１以上の追加画像のそれぞれに撮影されたそれぞれの人物の登場回数と、レイアウトからユーザの指示に基づいて削除された１以上の削除画像のそれぞれに撮影されたそれぞれの人物と同一人物の登場回数との差に基づいて、ユーザの好みとして、それぞれの人物の重要度を算出する。
【００７４】
例えば、表１に示すように、追加画像における人物の登場回数（追加回数）は、Ａさんが４回、Ｂさんが１０回、Ｃさんが１回、Ｄさんが０回、Ｅさんが１２回、…、であり、削除画像における人物の登場回数（削除回数）は、Ａさんが０回、Ｂさんが２回、Ｃさんが３回、Ｄさんが１０回、Ｅさんが７回、…であるとする。従って、（追加回数−削除回数）は、Ａさんが４回、Ｂさんが８回、Ｃさんが−２回、Ｄさんが−１０回、Ｅさんが５回、…である。
【００７５】
2014199641.tif 000003
【００７６】
この場合、嗜好推測部２０は、（追加回数−削除回数）が多い人物ほど重要度の高い人物であると判断する。表１の例では、Ｂさんの重要度が最も高く、続いて、Ｅさん、Ａさん、Ｃさん、Ｄさん、…の順に重要度が低くなると判断する。
【００７７】
そして、画像評価部２４は、それぞれの人物の重要度および画像解析の結果に基づいて、Ｂさんが撮影されている画像の評価値を最も高く設定し、続いて、Ｅさん、Ａさん、Ｃさん、Ｄさん、…の順に、それぞれの人物が撮影されている画像の評価値が低くなるように設定する。
【００７８】
なお、図６に示すように、ユーザが、例えば、ＡさんとＢさんの二人が撮影された画像をレイアウトに追加した場合、嗜好推測部２０は、Ａさん、Ｂさんともに、登場回数を加算する（重要度を高くする）が、それぞれの追加画像に撮影された人物の顔のサイズに応じて、加算する登場回数（重要度）を重み付けしてもよい。図６の例の場合、Ｂさんよりも顔のサイズが大きいＡさんの登場回数を＋１回加算し、Ｂさんの登場回数を＋０．５回加算する。画像を削除する場合も同様に登場回数を減算する。
【００７９】
また、嗜好推測部２０は、フォトブック（レイアウト）に使用されている編集画像（フォトブックの使用画像）のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、ユーザの好みとして、それぞれの人物の重要度を判断してもよい。
【００８０】
表２は、追加回数、削除回数、（追加回数−削除回数）が、表１と同じ場合について、フォトブックの使用画像における人物の登場回数を示したものである。表２の例では、フォトブックの使用画像における人物の登場回数は、Ａさんが２０回、Ｂさんが１０回、Ｃさんが８回、Ｄさんが２０回、Ｅさんが８回、…である。
【００８１】
2014199641.tif 000004
【００８２】
この場合、Ｄさんの（追加回数−削除回数）は−１０回であるが、フォトブックの使用画像における人物の登場回数は２０回と多いことから、嗜好推測部２０は、ユーザは表情、場面などが気に入らない画像が多かったが、Ｄさんは重要度が高いと判断する。同様に、Ａさんの重要度も高いと判断する。一方、Ｂさんの（追加回数−削除回数）は８回で最も多いが、フォトブックの使用画像における人物の登場回数は１０回であるから、ＢさんはＡさん、Ｄさんよりも重要度が低いと判断する。
【００８３】
また、嗜好推測部２０は、重要度が高い人物との関係性に基づいて、他の人物の重要度を判断してもよい。
例えば、嗜好推測部２０は、前述のように算出された、それぞれの人物の重要度に基づいて、さらに、重要度が低い人物よりも重要度が高い人物が撮影されている画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像における登場回数が多い人物の重要度が、登場回数が少ない人物の重要度よりも高くなるように重要度を算出してもよい。
この場合、嗜好推測部２０は、重要度が高い人物と同じ画像に撮影されている人物は、重要度の高い人物と何らかの関係がある人物（関係人物）であり、同様に関係人物の重要度は高いと判断する。
【００８４】
また、嗜好推測部２０は、前述のように算出された、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が多い人物の重要度が、登場回数が少ない人物の重要度よりも高くなるように重要度を算出してもよい。
例えば、重要度が高い人物が撮影されている画像の撮影日が、３／４、５／４、５／５、７／１８の場合、嗜好推測部２０は、これら全ての撮影日に撮影された全ての画像において登場回数が多い人物は関係人物であり、同様に重要度が高いと判断する。
【００８５】
また、嗜好推測部２０は、前述のように算出された、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日における登場日数が多い人物の重要度が、登場日数が少ない人物の重要度よりも高くなるように重要度を算出してもよい。
例えば、重要度が高い人物が撮影されている画像の撮影日が、３／４、５／４、５／５、７／１８の場合、嗜好推測部２０は、これらの撮影日において、登場日数が多い人物は、重要度が高い人物の関係人物であり、同様に重要度が高いと判断する。
嗜好推測部２０は、例えば、３／４に撮影された画像だけに登場している人物よりも、３／４および５／４に撮影された画像に登場している人物の方が重要度が高い、つまり、登場日数が多い人物ほど重要度が高い人物であると判断する。
【００８６】
また、嗜好推測部２０は、レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの画像内容に基づいて、ユーザの好みとして、それぞれの人物の重要度を算出してもよい。
【００８７】
ここで、画像内容は、画像に撮影された中身の様子を表す情報であり、画像解析部１８による画像解析により求められる。画像内容は何ら限定されないが、例えば、画像に人物が撮影されているのか、人物以外のオブジェクト（料理、子供のおもちゃ等）が撮影されているのか、どのようなシーン（夜景、屋外、夕景などの風景等）が撮影されているのか、画像の明るさやボケ具合はどの程度なのか、等を例示することができる。
【００８８】
例えば、「料理」の画像が一定枚数レイアウトに使用されている場合、嗜好推測部２０は、ユーザの好みとして、「料理」が重要であると判断し、「料理」の画像の重要度を、それ以外のものが撮影されている画像の重要度よりも高くする。また、例えば、多少でもボケている画像が一枚もレイアウトに採用されていない場合、ユーザの好みとして、「ボケ具合」が重要と判断し、ボケが少ない画像の重要度を、ボケが多い画像の重要度よりも高くする。
【００８９】
続いて、図７に矢印で示すように、ユーザが、編集画像と未使用画像との入れ換えを行った交換前後の画像に基づいて、嗜好推測部２０がユーザの好みを推測する場合の動作を説明する。
【００９０】
この場合、嗜好推測部２０は、表３に示すように、交換前後の画像に人物の顔が撮影されているかどうか（人物が撮影されているかどうか）、交換前後の画像に同一人物が撮影されているかどうか、交換前後の画像が類似画像かどうかに基づいて、ユーザの好みとして、交換前後の画像に撮影された人物の重要度、ならびに、交換前後の画像の場面および構図の重要度を算出する。
【００９１】
2014199641.tif 000005
【００９２】
Ｎｏ．１の場合、交換前後の画像ともに人物の顔が撮影され、かつ、同一人物であることから、嗜好推測部２０は、交換前後の画像に撮影されている人物の重要度が高いと判断する。また、交換前後の画像は類似画像であることから、嗜好推測部２０は、ユーザは変更前の画像に撮影されている人物の顔（表情）が不満で画像を入れ換えたのであり、場面や構図に不満はなく、その重要度は高いと判断する。
【００９３】
以下順に、Ｎｏ．２の場合、交換前後の画像ともに人物の顔が撮影され、かつ、同一人物であることから、嗜好推測部２０は、Ｎｏ．１と同様に、交換前後の画像に撮影されている人物の重要度が高いと判断する。また、交換前後の画像が類似画像ではないことから、嗜好推測部２０は、ユーザは変更前の画像に撮影されている場面や構図が不満で画像を入れ換えたのであり、変更前の画像の場面や構図の重要度は低いと判断する。
【００９４】
Ｎｏ．３の場合、交換前後の画像ともに人物の顔が撮影されているが、同一人物ではないことから、嗜好推測部２０は、ユーザは変更前の画像に撮影されている人物が不満で画像を入れ換えたのであり、変更前の画像に撮影されている人物の重要度は低いと判断する。また、交換前後の画像は類似画像であることから、嗜好推測部２０は、Ｎｏ．１と同様に、交換前後の画像の場面や構図の重要度は高いと判断する。
【００９５】
Ｎｏ．４の場合、交換前後の画像ともに人物の顔が撮影されているが、同一人物ではないことから、嗜好推測部２０は、Ｎｏ．３と同様に、変更前の画像に撮影されている人物の重要度は低いと判断する。また、交換前後の画像は類似画像ではないことから、嗜好推測部２０は、Ｎｏ．２と同様に、撮影前の画像に撮影されている場面や構図の重要度は低いと判断する。
【００９６】
Ｎｏ．５の場合、変更前の画像には人物の顔が撮影されているが、変更後の画像には人物の顔が撮影されていないことから、嗜好推測部２０は、変更前の画像に撮影されている人物の重要度は低いと判断する。また、交換前後の画像は類似画像であることから、嗜好推測部２０は、Ｎｏ．１と同様に、交換前後の画像の場面や構図の重要度は高いと判断する。
【００９７】
Ｎｏ．６の場合、変更前の画像には人物の顔が撮影されているが、変更後の画像には人物の顔が撮影されていないことから、嗜好推測部２０は、Ｎｏ．５と同様に、変更前の画像に撮影されている人物の重要度が低いと判断する。また、交換前後の画像は類似画像ではないことから、嗜好推測部２０は、Ｎｏ．２と同様に、撮影前の画像に撮影されている場面や構図の重要度が低いと判断する。
【００９８】
Ｎｏ．７の場合、変更前の画像には人物の顔が撮影されていないが、変更後の画像には人物の顔が撮影されていることから、嗜好推測部２０は、変更後の画像に撮影されている人物の重要度が高いと判断する。また、交換前後の画像は類似画像であることから、嗜好推測部２０は、Ｎｏ．１と同様に、交換前後の画像の場面や構図の重要度が高いと判断する。
【００９９】
Ｎｏ．８の場合、変更前の画像には人物の顔が撮影されていないが、変更後の画像には人物の顔が撮影されていることから、嗜好推測部２０は、Ｎｏ．７と同様に、変更後の画像に撮影されている人物の重要度が高いと判断する。また、交換前後の画像は類似画像ではないことから、嗜好推測部２０は、Ｎｏ．６と同様に、撮影前の画像に撮影されている場面や構図の重要度が低いと判断する。
【０１００】
なお、嗜好推測部２０は、上記例に限らず、画像解析部１８の解析結果を利用して、レイアウトの編集結果から、例えば、交換前後の画像の撮影時刻、交換前後の画像の撮影場所（ＧＰＳ情報）、交換前後の画像に撮影された人物の顔のサイズ、交換前後の画像に撮影された人物の顔の位置、交換前後の画像に撮影された人物の顔の向き、交換前後の画像に撮影された人物の表情、交換前後の画像のシーン、交換前後の画像全体の色味、交換前後の画像が風景画なのか人物画なのか等に基づいてユーザの好みを推測し、推測したユーザの好みに基づいて、フォトブックで使用可能なそれぞれの画像の評価値を算出することができる。
【０１０１】
例えば、嗜好推測部２０は、交換前後の画像の撮影時刻が近いかどうか（所定時間内かどうか）に基づいて、交換前後の画像に撮影されている場面の重要度を判断する。例えば、交換前後の画像の撮影時刻が近い場合、交換前後の画像に撮影されている場面の重要度が高いと判断する。一方、交換前後の画像の撮影時刻が離れている場合、変更前の画像に撮影されている場面は重要度が低いと判断する。
【０１０２】
また、嗜好推測部２０は、交換前後の画像の撮影場所が近いかどうか（所定範囲内かどうか）に基づいて、交換前後の画像の撮影場所の重要度を判断する。例えば、交換前後の画像の撮影場所が近い場合、交換前後の画像の撮影場所の重要度が高いと判断する。一方、交換前後の画像の撮影場所が遠い場合、変更前の画像の撮影場所の重要度は低いと判断する。
【０１０３】
ユーザには、例えば、「子供の顔はアップが好き」、「自分の顔がアップ過ぎるのは嫌い」などの好みがある。これに応じて、嗜好推測部２０は、交換前後の画像に撮影された人物、顔のサイズ等に基づいて、顔のサイズについてのユーザの好みを判断する。
【０１０４】
ユーザには、例えば、「顔が画面中心にある方が好き」、「顔が画面中心から少しずれている方が好き」などの好みがある。これに応じて、嗜好推測部２０は、交換前後の画像に撮影された顔の位置に基づいて、顔の位置についてのユーザの好みを判断する。
【０１０５】
ユーザには、例えば、「顔が正面を向いている方が好き」、「顔が少し斜めを向いている方が好き」などの好みがある。これに応じて、嗜好推測部２０は、交換前後の画像に撮影された顔の向きに基づいて、顔の向きについてのユーザの好みを判断する。
【０１０６】
ユーザには、例えば、「子供の顔は笑顔が好き」、「自分の顔は笑顔過ぎるのは嫌い」などの好みがある。これに応じて、嗜好推測部２０は、交換前後の画像に撮影された人物、表情等に基づいて、表情についてのユーザの好みを判断する。
【０１０７】
ユーザには、例えば、「屋内の画像が好き」、「屋外の画像が好き」、「夜景が好き」などの好みがある。これに応じて、嗜好推測部２０は、交換前後の画像のシーンに基づいて、シーンについてのユーザの好みを判断する。
【０１０８】
ユーザには、例えば、「淡い画像が好き」、「コントラストの強い画像が好き」などの好みがある。これに応じて、嗜好推測部２０は、交換前後の画像の明るさ、彩度、コントラスト等に基づいて、画像全体の色味についてのユーザの好みを判断する。
【０１０９】
ユーザには、「風景画が好き」、「人物画が好き」などの好みがある。これに応じて、嗜好推測部２０は、交換前後の画像に撮影されている人物、風景等に基づいて、人物画／風景画についてのユーザの好みを判断する。
【０１１０】
また、ユーザが、レイアウトに使用されている編集画像のうち、２以上の人物が撮影された画像からユーザの指示に基づいて所定の人物を含む領域だけを抽出してレイアウトに配置した場合、嗜好推測部２０は、抽出された所定の人物の重要度が、その画像に撮影された２以上の人物のうち、所定の人物以外の人物の重要度よりも高くなるように重要度を算出してもよい。
【０１１１】
例えば、図８に点線で示すように、ＡさんとＢさんの二人が撮影された画像からＡさんの顔を含む点線の領域を抽出し拡大してレイアウトに配置した場合、嗜好推測部２０は、ＢさんよりもＡさんの重要度が高いと判断する。
【０１１２】
また、嗜好推測部２０は、複数ページにわたるレイアウトの編集結果からユーザの好みを推測してもよい。
【０１１３】
例えば、ユーザが、Ａさんが撮影された画像を全ページに追加する等、全ページにわたって同じレイアウト編集を行った場合、嗜好推測部２０は、そのレイアウトの編集結果を最優先してユーザの好みを推測し、Ａさんが撮影された画像の評価値を優先的に高くする。一方、ユーザが、あるページではＡさんが撮影されている画像を追加し、別のページではＡさんが撮影された画像を削除した場合、嗜好推測部２０は、Ａさんが撮影された画像の評価値を下げる。
【０１１４】
また、嗜好推測部２０は、各ページの編集時間に基づいて、各ページの重要度を判断してもよい。
【０１１５】
例えば、ユーザがあまり時間をかけずにレイアウト編集を完了したページは、ユーザに迷いがないと考えられる。例えば、明らかに関連のない人物が画像に撮影されている場合、ユーザは、その画像を時間をかけずにすぐに削除する。これに応じて、嗜好推測部２０は、そのページのレイアウトの編集結果の重要度が高いと判断し、そのページのレイアウトの編集結果から推測されるユーザの好みの優先度を高くする。
【０１１６】
一方、ユーザが時間をかけてレイアウト編集を実施したページは、ユーザが悩んで判断したと考えられる。例えば、親しい友人のＡさん、Ｂさんがいて、あるページではＡさんが撮影された画像を使用したとしても、別のページではＢさんが撮影された画像を使用したくなる可能性もある。これに応じて、嗜好推測部２０は、そのページのレイアウトの編集結果の重要度が低いと判断し、そのページのレイアウトの編集結果から推測されるユーザの好みの優先度を低くする。
【０１１７】
次に、編集アシスト部２６の動作を説明する。
【０１１８】
編集アシスト部２６は、画像評価部２４により算出された、フォトブックで使用可能な複数の画像のそれぞれの評価値に基づいて、例えば、未使用画像の一覧の表示方法を変更する等、ユーザによるレイアウトの編集作業をアシストする。
【０１１９】
例えば、編集アシスト部２６は、未使用画像表示エリア３４に縮小表示されている未使用画像の一覧において、ユーザにとって重要度の高い画像、つまり、評価値が高い画像を優先的に表示させ、評価値が低い未使用画像を表示する優先度を下げる。言い換えると、編集アシスト部２６は、評価値が低い未使用画像よりも評価値が高い未使用画像を優先的に未使用画像の一覧内に表示させる。
【０１２０】
編集アシスト部２６は、例えば、評価値が高い未使用画像を、評価値が低い未使用画像よりも優先して未使用画像の一覧内の先頭側に配置して表示させたり、評価値が高い未使用画像を、未使用画像の一覧内で識別表示、例えば、図９に示すように、評価値が高い未使用画像に「★」等のマークを付けさせたり、評価値が高い未使用画像の表示枠の色を変更させたり、評価値が高い未使用画像の表示サイズを変更（評価値が高い未使用画像の表示サイズを大きく）させたりする。逆に、編集アシスト部２６は、評価値が低い未使用画像を、例えば、未使用画像の一覧の後ろ側へ移動させたり、表示させないようにする。
【０１２１】
また、編集アシスト部２６は、レイアウトに使用されている編集画像のうちのユーザの指示に基づいて指定された所定の編集画像に応じて、未使用画像の一覧内に表示させる未使用画像を切り換えてもよい。
【０１２２】
例えば、嗜好推測部２０が、ユーザの好みとして、フォトブックで使用可能な複数の画像のそれぞれに撮影されたそれぞれの人物の重要度を算出する場合、編集アシスト部２６は、図１０に太枠で示すように、レイアウトに使用されている編集画像のうちの重要度が低い人物が撮影された画像がユーザの指示に基づいて選択された場合、その重要度が低い人物が撮影された画像よりも重要度が高い人物が撮影された未使用画像を未使用画像の一覧内に優先的に表示させる。人物が場所の場合も同様である。
【０１２３】
また、編集アシスト部２６は、未使用画像の一覧の表示方法を変更するだけでなく、アシスト情報として、自動レイアウト部１２により作成されたレイアウトを画面表示部２８の編集画面に表示させてもよい。
例えば、フォトブックの所定のページにおいて、ユーザがそのページのレイアウトを編集している場合に、自動レイアウト部１２は、ユーザの好みに基づいて、自動で画像を選択し、選択した画像を使用してレイアウトを作成する。そして、編集アシスト部２６は、アシスト情報として、自動レイアウト部１２により作成されたレイアウトを画面表示部２８の編集画面に表示させる。
これにより、ユーザは、編集アシスト部２６により提案されたレイアウトをそのまま採用したり、あるいは、編集アシスト部２６により提案されたレイアウトを参考にして、編集中のレイアウトをさらに編集したりすることができる。
【０１２４】
さらに、編集アシスト部２６は、ユーザの好みに基づいて、アシスト情報として、背景台紙、フレーム装飾、クリップアート、文字入れ用のフォント等の装飾パーツを画面表示部２８の編集画面に表示させてもよい。
編集アシスト部２６は、例えば、「子供」の重要度が高い場合には、子供向けの背景台紙を優先的に表示させたり、「料理」の画像の重要度が高い場合には、「料理」の画像をアピールするフレーム装飾を優先的に表示させたりする。
これにより、ユーザは、編集アシスト部２６により提案された装飾パーツを使用して、編集中のレイアウトを装飾することができる。
【０１２５】
また、本実施形態のフォトブックのように、レイアウト編集装置１０が、複数のページからなるレイアウトを編集するものである場合、自動レイアウト部１２は、図１１に示すように、所定のページにおけるレイアウトの編集結果に基づいて、複数のページのうち、所定のページ以外のページのレイアウトを作成してもよい。例えば、ユーザが、見開きの１〜２ページでＡさんの画像を中心に追加した場合、自動レイアウト部１２は、見開きの３〜４ページ以降のページのレイアウトをＡさん中心のレイアウトに変更する。
【０１２６】
また、本実施形態のフォトブックのように、レイアウト編集装置１０が、複数のページからなるレイアウトを編集するものである場合、嗜好推測部２０は、複数のページのうちの２以上のページにわたるレイアウトの編集結果に基づいて、ユーザの好みを推測してもよい。もしくは、嗜好推測部２０は、複数のページのそれぞれにおけるレイアウトの編集時間に基づいて、ユーザの好みを推測してもよい。
【０１２７】
上記のように、ユーザの好みに基づいて、ユーザによるレイアウトの編集作業をアシストすることにより、ユーザは、大量の未使用画像の中から所望の未使用画像を容易に選択することができるようになるため、編集作業を効率的に行うことができる。
【０１２８】
上記実施形態では、本発明を、複数のページからなるフォトブックに適用した場合を説明したが、本発明はこれに限定されず、複数のページからなることは必須ではなく、１ページからなるレイアウトにも同様に適用可能である。
【０１２９】
また、本発明のレイアウト編集方法は、その各ステップをコンピュータに実行させるためのプログラムとして実現することができる。また、このプログラムが記録されたコンピュータ読取可能な記録媒体としてもよい。
【０１３０】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１３１】
１０  レイアウト編集装置
１２  自動レイアウト部
１４  指示入力部
１６  レイアウト編集部
１８  画像解析部
２０  嗜好推測部
２２  嗜好保存部
２４  画像評価部
２６  編集アシスト部
２８  画面表示部
３０  レイアウトの表示画面
３２  レイアウト表示エリア
３４  未使用画像表示エリア
３６  指示入力エリア
３８  右向きボタン
４０  左向きボタン
４２  「編集する」ボタン
４４  「保存」ボタン
４６  「戻る」ボタン
４８  「レイアウト変更」ボタン
５０  レイアウトの編集画面
５１  編集画像
５２  未使用画像
５４  下向きボタン
５６  上向きボタン
【図１】
2014199641.tif 000006
【図２】
2014199641.tif 000007
【図３】
2014199641.tif 000008
【図４】
2014199641.tif 000009
【図５】
2014199641.tif 000010
【図６】
2014199641.tif 000011
【図７】
2014199641.tif 000012
【図８】
2014199641.tif 000013
【図９】
2014199641.tif 000014
【図１０】
2014199641.tif 000015
【図１１】
2014199641.tif 000016