(57)【特許請求の範囲】
【請求項１】
１以上の画像を取得する画像取得部と、
前記１以上の画像の各々の画像解析情報を取得する画像解析情報取得部と、
１以上のテーマの各々について、画像の撮影傾向の情報を記憶するテーマ情報記憶部と、
前記１以上のテーマの各々についての画像の撮影傾向の情報、および、前記１以上の画像の各々についての画像解析情報に基づいて、前記１以上の画像に含まれる、関連性のある画像群の各々のテーマを表す主要テーマ、および、前記１以上の画像の各々のテーマを表す下位テーマを判別するテーマ判別部と、
前記主要テーマおよび前記下位テーマの情報を出力するテーマ情報出力部とを備え、
前記テーマ判別部は、
前記１以上のテーマの各々についての画像の撮影傾向の情報、および、前記１以上の画像の各々についての画像解析情報に基づいて、前記下位テーマを判別する下位テーマ判別部と、
前記１以上のテーマの各々についての画像の撮影傾向の情報、および、前記画像群に含まれる画像の各々の下位テーマに基づいて、前記主要テーマを判別する主要テーマ判別部とを備えることを特徴とする画像処理装置。
【請求項２】
前記画像取得部は、複数の画像の中から前記１以上の画像を選択して取得するものである請求項１に記載の画像処理装置。
【請求項３】
前記画像解析情報取得部は、前記１以上の画像の各々の画像解析を行って、前記１以上の画像の各々の画像解析情報を取得するものである請求項１または２に記載の画像処理装置。
【請求項４】
前記主要テーマおよび前記下位テーマの少なくとも一方に基づいて、同じテーマの画像をまとめて配置するように、前記１以上の画像を使用したレイアウトを生成するレイアウト部を備える請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
各種の指示を入力するための指示入力部を備え、
前記テーマ判別部は、前記レイアウト部により前記レイアウトが生成された後で、前記レイアウトの編集の指示が前記指示入力部を介して入力された場合、前記レイアウトの編集の指示に基づいて、前記編集された後のレイアウトに対応する画像群の主要テーマおよび前記編集された後のレイアウトに対応する画像群に含まれる画像の下位テーマの少なくとも一方を判別するものである請求項４に記載の画像処理装置。
【請求項６】
前記テーマ判別部は、前記レイアウトに含まれる画像が全て同じサイズである場合、前記レイアウトに含まれる画像の各々についての画像解析情報の全てに基づいて、前記主要テーマを判別するものである請求項５に記載の画像処理装置。
【請求項７】
前記テーマ判別部は、前記レイアウトに含まれる、他の画像よりも大きいサイズの画像が変更された場合、前記他の画像よりも大きいサイズの画像についての画像解析情報に基づいて、前記主要テーマを判別するものである請求項５に記載の画像処理装置。
【請求項８】
前記テーマ判別部は、トリミングによって画像の一部が切り出された場合、前記トリミングが行われた画像についての画像解析情報に基づいて、前記下位テーマを判別するものである請求項５に記載の画像処理装置。
【請求項９】
前記レイアウト部は、前記主要テーマおよび前記下位テーマの少なくとも一方に基づいて、前記レイアウトの装飾を行うものである請求項４〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記レイアウト部は、同じテーマの画像を同じページに配置するように、フォトブックの各々のページのレイアウトを生成するものである請求項４〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記レイアウト部は、同じテーマの画像を１枚の台紙に配置するように、ポストカードのレイアウトを生成するものである請求項４〜９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記テーマ判別部は、前記画像群に含まれる画像の各々の撮影日時および撮影位置の少なくとも一方が、あらかじめ設定された範囲に含まれる場合にのみ、前記主要テーマを判別するものである請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
画像取得部が、１以上の画像を取得するステップと、
画像解析情報取得部が、前記１以上の画像の各々の画像解析情報を取得するステップと、
テーマ判別部が、１以上のテーマの各々についての画像の撮影傾向の情報、および、前記１以上の画像の各々についての画像解析情報に基づいて、前記１以上の画像に含まれる、関連性のある画像群の各々のテーマを表す主要テーマ、および、前記１以上の画像の各々のテーマを表す下位テーマを判別するステップと、
テーマ情報出力部が、前記主要テーマおよび前記下位テーマの情報を出力するステップとを含み、
前記主要テーマおよび前記下位テーマを判別するステップは、
下位テーマ判別部が、前記１以上のテーマの各々についての画像の撮影傾向の情報、および、前記１以上の画像の各々についての画像解析情報に基づいて、前記下位テーマを判別するステップと、
主要テーマ判別部が、前記１以上のテーマの各々についての画像の撮影傾向の情報、および、前記画像群に含まれる画像の各々の下位テーマに基づいて、前記主要テーマを判別するステップとを含むことを特徴とする画像処理方法。
【請求項１４】
前記画像取得部は、複数の画像の中から前記１以上の画像を選択して取得する請求項１３に記載の画像処理方法。
【請求項１５】
前記画像解析情報取得部は、前記１以上の画像の各々の画像解析を行って、前記１以上の画像の各々の画像解析情報を取得する請求項１３または１４に記載の画像処理方法。
【請求項１６】
レイアウト部が、前記主要テーマおよび前記下位テーマの少なくとも一方に基づいて、同じテーマの画像をまとめて配置するように、前記１以上の画像を使用したレイアウトを生成するステップを含む請求項１３〜１５のいずれか１項に記載の画像処理方法。
【請求項１７】
前記テーマ判別部は、前記レイアウト部により前記レイアウトが生成された後で、前記レイアウトの編集の指示が指示入力部を介して入力された場合、前記レイアウトの編集の指示に基づいて、前記編集された後のレイアウトに対応する画像群の主要テーマを判別する請求項１６に記載の画像処理方法。
【請求項１８】
前記レイアウト部は、前記主要テーマおよび前記下位テーマの少なくとも一方に基づいて、前記レイアウトの装飾を行う請求項１６または１７に記載の画像処理方法。
【請求項１９】
請求項１３〜１８のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項２０】
請求項１３〜１８のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォトブック等のフォト商材における画像のレイアウト、レイアウトの装飾等に利用するために、大量の画像の中から、関連性のある画像群を判別する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
フォトブックは、ユーザが所有する複数の画像（画像データ）から所定数の画像を選択し、選択した所定数の画像を使用して、ユーザが希望するレイアウトの写真集（フォトアルバム）を作成したものである。なお、フォト商材としては、フォトブック以外にも、例えば、シャッフルプリント（１枚の台紙に複数の画像をランダムな順番に並べて配置したもの）、ポストカード、通常の写真プリント等がある。
【０００３】
従来のフォトブックでは、例えば、旅行、結婚式等の１つのイベントで撮影された数１００枚程度の画像からフォトブックを作成することが想定されていた。これに対し、近年では、大量の画像を保有するものの、フォトブックを作成する時間がないユーザを対象として、例えば、記念アルバムとして、１年分の１０００〜数１０００枚という大量の画像からフォトブックを作成することが行われている。
【０００４】
しかし、ユーザが大量の画像の中からフォトブックで使用したい画像を自分で選択したり、フォトブックのレイアウト、つまり、フォトブックの各々のページにどの画像をどのように配置するのかを考えるのが非常に手間であるという問題があった。
【０００５】
これに対し、現在では、画像の撮影期間およびフォトブックのページ数を指定することにより、大量の画像の中から撮影期間により指定された所定数の画像を自動的に選択し、選択した所定数の画像を使用して、ページ数により指定されたフォトブックの各々のページのレイアウトを自動的に作成する自動レイアウト機能が実現されている。これにより、ユーザは、大量の画像から手間をかけずに簡単にフォトブックを作成することができる。
【０００６】
しかし、自動レイアウト機能であっても、大量の画像の中から、旅行、結婚式等の１つのイベントで撮影された関連性のある画像群をフォトブックの同じページにまとめて配置することは難しいという問題があった。
【０００７】
また、前述のように、画像の選択、レイアウトに関しては自動化が実現されているが、フォトブックを作成する場合には、背景台紙、フレーム、クリップアート等のようなレイアウトの装飾のデザインも魅力度向上のための重要な要素である。
【０００８】
ただし、このような装飾は、レイアウトされた画像群の内容によって適切なデザインが変わってくる。例えば、「結婚式」の画像群のための装飾を、「子供」の画像群に適用すると違和感が生じる。また、「子供」の画像群を使用してフォトブックを作成した場合でも、「日常のスナップ画像」が配置されたページと「海に遊びに行った際の画像」が配置されたページとでは最適な装飾は変わってくる。
【０００９】
このように、魅力的なフォトブックを作成するには、画像のレイアウトだけでなく、レイアウトの装飾のデザイン的なセンスが必要になるが、レイアウトの装飾を自動的にデザインする機能は未だに実現されていない。
【００１０】
ここで、本発明に関連性のある先行技術文献として、特許文献１がある。
【００１１】
特許文献１には、ショートムービーにおける演出方法が決められたテンプレートを用いて、画像データからショートムービーを作成する情報処理装置であって、解析部により、画像データの画像情報を抽出し、抽出した画像情報に基づいて、複数の画像データを含む画像データ群毎のテーマ性を解析し、選択部により、解析したテーマ性に基づいて、テーマ性と関連付けて記憶されたテンプレートと、画像データ群との組合せを自動的に選択するものが記載されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１１−１７０６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の第１の目的は、前記従来技術の問題点を解消し、大量の画像の中から関連性のある画像群を判別することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
本発明の第２の目的は、上記第１の目的に加えて、関連性のある画像群をまとめて配置するようにレイアウトを生成したり、レイアウトの装飾を自動的に行うことができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明は、１以上の画像を取得する画像取得部と、
１以上の画像の各々の画像解析情報を取得する画像解析情報取得部と、
１以上のテーマの各々について、画像の撮影傾向の情報を記憶するテーマ情報記憶部と、
１以上のテーマの各々についての画像の撮影傾向の情報、および、１以上の画像の各々についての画像解析情報に基づいて、１以上の画像に含まれる、関連性のある画像群の各々のテーマを表す主要テーマ、および、１以上の画像の各々のテーマを表す下位テーマを判別するテーマ判別部と、
主要テーマおよび下位テーマの情報を出力するテーマ情報出力部とを備え、
テーマ判別部は、
１以上のテーマの各々についての画像の撮影傾向の情報、および、１以上の画像の各々についての画像解析情報に基づいて、下位テーマを判別する下位テーマ判別部と、
１以上のテーマの各々についての画像の撮影傾向の情報、および、画像群に含まれる画像の各々の下位テーマに基づいて、主要テーマを判別する主要テーマ判別部とを備えることを特徴とする画像処理装置を提供するものである。
【００１５】
ここで、画像取得部は、複数の画像の中から１以上の画像を選択して取得するものであることが好ましい。
【００１６】
また、画像解析情報取得部は、１以上の画像の各々の画像解析を行って、１以上の画像の各々の画像解析情報を取得するものであることが好ましい。
【００１７】
また、主要テーマおよび下位テーマの少なくとも一方に基づいて、同じテーマの画像をまとめて配置するように、１以上の画像を使用したレイアウトを生成するレイアウト部を備えることが好ましい。
【００１８】
また、各種の指示を入力するための指示入力部を備え、
テーマ判別部は、レイアウト部によりレイアウトが生成された後で、レイアウトの編集の指示が指示入力部を介して入力された場合、レイアウトの編集の指示に基づいて、編集された後のレイアウトに対応する画像群の主要テーマおよび編集された後のレイアウトに対応する画像群に含まれる画像の下位テーマの少なくとも一方を判別するものであることが好ましい。
【００１９】
また、テーマ判別部は、レイアウトに含まれる画像が全て同じサイズである場合、レイアウトに含まれる画像の各々についての画像解析情報の全てに基づいて、主要テーマを判別するものであることが好ましい。
【００２０】
また、テーマ判別部は、レイアウトに含まれる、他の画像よりも大きいサイズの画像が変更された場合、他の画像よりも大きいサイズの画像についての画像解析情報に基づいて、主要テーマを判別するものであることが好ましい。
【００２１】
また、テーマ判別部は、トリミングによって画像の一部が切り出された場合、トリミングが行われた画像についての画像解析情報に基づいて、下位テーマを判別するものであることが好ましい。
【００２２】
また、レイアウト部は、主要テーマおよび下位テーマの少なくとも一方に基づいて、レイアウトの装飾を行うものであることが好ましい。
【００２３】
また、レイアウト部は、同じテーマの画像を同じページに配置するように、フォトブックの各々のページのレイアウトを生成するものであることが好ましい。
【００２４】
また、レイアウト部は、同じテーマの画像を１枚の台紙に配置するように、ポストカードのレイアウトを生成するものであることが好ましい。
【００２７】
また、テーマ判別部は、画像群に含まれる画像の各々の撮影日時および撮影位置の少なくとも一方が、あらかじめ設定された範囲に含まれる場合にのみ、主要テーマを判別するものであることが好ましい。
【００２８】
また、本発明は、画像取得部が、１以上の画像を取得するステップと、
画像解析情報取得部が、１以上の画像の各々の画像解析情報を取得するステップと、
テーマ判別部が、１以上のテーマの各々についての画像の撮影傾向の情報、および、１以上の画像の各々についての画像解析情報に基づいて、１以上の画像に含まれる、関連性のある画像群の各々のテーマを表す主要テーマ、および、１以上の画像の各々のテーマを表す下位テーマを判別するステップと、
テーマ情報出力部が、主要テーマおよび下位テーマの情報を出力するステップとを含み、
主要テーマおよび下位テーマを判別するステップは、
下位テーマ判別部が、１以上のテーマの各々についての画像の撮影傾向の情報、および、１以上の画像の各々についての画像解析情報に基づいて、下位テーマを判別するステップと、
主要テーマ判別部が、１以上のテーマの各々についての画像の撮影傾向の情報、および、画像群に含まれる画像の各々の下位テーマに基づいて、主要テーマを判別するステップとを含むことを特徴とする画像処理方法を提供する。
【００２９】
ここで、画像取得部は、複数の画像の中から１以上の画像を選択して取得することが好ましい。
【００３０】
また、画像解析情報取得部は、１以上の画像の各々の画像解析を行って、１以上の画像の各々の画像解析情報を取得することが好ましい。
【００３１】
また、レイアウト部が、主要テーマおよび下位テーマの少なくとも一方に基づいて、同じテーマの画像をまとめて配置するように、１以上の画像を使用したレイアウトを生成するステップを含むことが好ましい。
【００３２】
また、テーマ判別部は、レイアウト部によりレイアウトが生成された後で、レイアウトの編集の指示が指示入力部を介して入力された場合、レイアウトの編集の指示に基づいて、編集された後のレイアウトに対応する画像群の主要テーマを判別することが好ましい。
【００３３】
また、レイアウト部は、主要テーマおよび下位テーマの少なくとも一方に基づいて、レイアウトの装飾を行うことが好ましい。
【００３６】
また、本発明は、上記のいずれかに記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【００３７】
また、本発明は、上記のいずれかに記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００３８】
本発明では、１以上の画像の各々について、画像解析を行って画像解析情報を取得し、取得した画像解析情報に基づいて、画像群および各々の画像の最適なテーマを判別することにより、大量の画像の中から関連性のある画像群を判別することができる。そのため、本発明によれば、判別したテーマに基づいて、同じテーマの画像をまとめて配置するようにレイアウトを生成したり、レイアウトの装飾を自動的に行うことができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の画像処理装置の構成を表す一実施形態のブロック図である。
【図２】図１に示す画像処理装置の動作を表す一例のフローチャートである。
【図３】所定数の画像の各々について、テーマに対応するキーワードの各々のスコアを表す一例の概念図である。
【図４】主要テーマおよび下位テーマに基づいて生成されたレイアウトの一例を表す概念図である。
【図５】（Ａ）は、同じサイズの画像が配置されたレイアウトを表す一例の概念図、（Ｂ）は、他の画像よりも大きいサイズの画像が配置されたレイアウトを表す一例の概念図である。
【図６】トリミングにより画像の一部が切り出された様子を表す一例の概念図である。
【図７】テーマに応じて装飾が適用されたフォトブックのレイアウトを表す一例の概念図である。
【発明を実施するための形態】
【００４０】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【００４１】
図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、所定数の画像の中から関連性のある画像群を判別し、判別した画像群および所定数の画像の各々のテーマを判別し、判別したテーマに基づいて、所定数の画像のレイアウトを生成するものである。
画像処理装置１０は、画像記憶部１２と、画像選択部１４と、テーマ情報記憶部１６と、画像解析部１８と、テーマ判別部２０と、レイアウト部２２と、指示入力部２４とを備えている。
【００４２】
画像記憶部１２は、ユーザが所有する複数の画像を記憶するものである。
【００４３】
画像選択部１４は、画像記憶部１２に記憶された複数の画像の中から所定数（１以上）の画像を選択するものである。
画像選択部１４は、例えば、フォトブックで使用するための候補画像を指定する指示が、後述する指示入力部２４を介して入力されると、画像記憶部１２に記憶された複数の画像の中から、前述の候補画像となる所定数の画像を選択する。
なお、画像選択部１４が、画像を選択する方法は、例えば、画像の撮影期間、画像の枚数、ユーザの指定等、何ら限定されない。
【００４４】
上記のように、画像処理装置１０の内部で複数の画像を記憶し、記憶した複数の画像の中から所定数の画像を選択する構成とする代わりに、画像処理装置１０に画像記憶部１２および画像選択部１４を設けることなく、画像取得部を設け、画像取得部が、画像処理装置１０の外部から入力される所定数の画像を取得する構成とすることができる。
あるいは、画像取得部が、画像選択部１４と同様に、画像処理装置１０の外部から入力される複数の画像の中から所定数の画像を選択して取得する構成とすることもできる。
【００４５】
テーマ情報記憶部１６は、テーマ情報として、所定数（１以上）のテーマの各々について、画像の撮影傾向の情報を記憶するものである。
ここで、テーマとは、ユーザが画像を閲覧したときに感じる画像の雰囲気や印象を表すキーワードであり、例えば、旅行、赤ちゃん、子供、結婚式、ペット等を例示することができる。また、画像の撮影傾向の情報とは、各々のテーマの画像が、どのような条件で撮影されることが多いかを表すものであり、例えば、屋内／屋外、被写体人数、非人物画像、撮影期間等を例示することができる。
【００４６】
テーマ情報記憶部１６には、表１に示すように、例えば、「旅行」のテーマについて、屋外写真が多い、被写体人数は２〜４人の傾向が高い、非人物画像は「風景」画像の比率が高い、撮影期間は１日〜数日である等の、画像の撮影傾向の情報が事前に記憶されている。他の「赤ちゃん」、「子供」、「結婚式」、「ペット」、…等のテーマについても同様である。これらは、日本国内において、フォトブックの作成頻度が高いテーマの例である。
【００４７】
【表１】
0005938379.tif 000002
【００４８】
上記表１に示すテーマは一例であり、テーマ情報記憶部１６には、テーマをさらに細分化して、表２に示す「運動会」、表３に示す「誕生日」等のようなイベント単位でテーマを設定することもできる。
【００４９】
【表２】
0005938379.tif 000003
【００５０】
【表３】
0005938379.tif 000004
【００５１】
また、テーマ情報記憶部１６には、上位のテーマである主要テーマ、および、主要テーマに含まれる下位テーマが記憶されている。表４に示すように、主要テーマが「旅行」の場合、「旅行」に関連性のある、「出発」、「乗り物」、「屋外」、「野原」、「山」、「海」、「砂浜」、「屋内」、「料理」、…等の下位テーマが記憶されている。他の主要テーマについても同様である。テーマ情報記憶部１６には、下位テーマについての画像の撮影傾向の情報も記憶されている。
【００５２】
【表４】
0005938379.tif 000005
【００５３】
続いて、画像解析部１８は、画像選択部１４により選択された所定数の画像の各々について、画像解析を行って、画像内容（被写体（子供中心、家族中心、…）、撮影シーン、撮影オブジェクト、…）を判別した画像解析情報を取得するものである。また、画像解析部１８は、画像解析情報として、画像内容だけでなく、画像のヘッダ情報として記録された、撮影日時、撮影位置等の情報を利用することも可能である。
ここで、画像解析は、画像に撮影された被写体の特徴を解析することであり、従来公知の解析方法を含む、各種の解析方法を利用することができる。画像解析としては、例えば、顔検出／顔認識、年齢／性別検出、シーン認識（夜景、海、紅葉、砂浜、空、…）、オブジェクト認識（金閣寺、自由の女神、料理、花、ケーキ、…）等を例示することができる。
【００５４】
上記のように、画像処理装置１０の内部で所定数の画像の各々の画像解析を行って画像解析情報を取得する代わりに、画像解析部１８を設けることなく、画像解析情報取得部を設け、画像解析情報取得部が、画像処理装置１０の外部から入力される、所定数の画像の各々の画像解析情報を取得する構成とすることができる。この場合、画像解析情報は、各々対応する画像に関連付けされていればよく、各々対応する画像に付帯させてもよいし、あるいは、各々対応する画像と独立させて持っていてもよい。
あるいは、画像解析情報取得部が、画像解析部１８と同様に、所定数の画像の各々について、画像解析を行って所定数の画像の各々の画像解析情報を生成して取得する構成とすることができる。
【００５５】
画像解析部１８は、画像解析により、例えば、表５に示すような画像解析情報を得ることができる。例えば、画像（DSC0001.jpg）については、画像解析（画像内容の判別）の結果から、被写体は子供、撮影シーンは屋内、撮影オブジェクトは無しであり、その他の情報（画像のヘッダ情報）から、撮影日時は2013/1/31、ＧＰＳ（全地球測位システム）による撮影位置は自宅であることなどが分かる。その他の画像についても同様である。
【００５６】
【表５】
0005938379.tif 000006
【００５７】
続いて、テーマ判別部２０は、テーマ情報記憶部１６に記憶された所定数のテーマの各々についての画像の撮影傾向の情報、および、画像選択部１４により選択された所定数の画像の各々についての画像解析情報に基づいて、所定数の画像に含まれる、関連性のある画像群の各々のテーマを表す主要テーマ、および、所定数の画像の各々のテーマを表す下位テーマを判別するものである。
【００５８】
本実施形態のテーマ判別部２０は、所定数のテーマの各々についての画像の撮影傾向の情報、および、画像群に含まれる画像の各々についての画像解析情報の全てに基づいて、主要テーマを判別する主要テーマ判別部と、判別した主要テーマ、所定数のテーマの各々についての画像の撮影傾向の情報、および、判別した主要テーマに対応する画像群に含まれる画像の各々の画像解析情報に基づいて、下位テーマを判別する下位テーマ判別部とを備えている。
【００５９】
続いて、レイアウト部２２は、テーマ判別部２０により判別された主要テーマおよび下位テーマの少なくとも一方に基づいて、同じテーマの画像をまとめて配置するように、画像選択部１４により選択された所定数の画像を使用したレイアウトを生成するものである。
レイアウト部２２は、例えば、フォトブックの場合、主要テーマおよび下位テーマの少なくとも一方に基づいて、同じテーマの画像を同じページにまとめて配置するように、所定数の画像を使用したレイアウトを生成する。
【００６０】
上記のように、画像処理装置１０の内部で所定数の画像を使用したレイアウトを生成する代わりに、レイアウト部２２を設けることなく、テーマ情報出力部を設け、テーマ情報出力部が、テーマ判別部２０により判別された主要テーマおよび下位テーマの情報を画像処理装置１０の外部へ出力（例えば、表示、送信等）する構成とすることもできる。この場合、レイアウト部２２は、テーマ情報出力部から画像処理装置１０の外部へ出力されたテーマ情報、つまり、主要テーマおよび下位テーマの少なくとも一方に基づいて、所定数の画像を使用したレイアウトを生成する。
【００６１】
最後に、指示入力部２４は、ユーザが、画像記憶部１２に記憶された複数の画像の中から、フォトブックで使用する候補画像を指定する指示、レイアウト部２２により生成されたレイアウトを編集する指示等を含む、各種の指示を入力するためのものである。
【００６２】
次に、図２に示すフローチャートを参照しながら、本発明の画像処理方法に従って画像処理装置１０の動作を説明する。以下の説明は、本発明をフォトブックに適用した場合の例である。
【００６３】
フォトブックで使用するための候補画像を指定する指示が、指示入力部２４を介して入力されると、画像選択部１４により、画像記憶部１２に記憶された複数の画像の中から、候補画像となる所定数の画像が選択される（ステップＳ１）。
【００６４】
所定数の画像が選択されると、画像解析部１８により、所定数の画像の各々について、画像解析が行われて画像解析情報が取得される（ステップＳ２）。
【００６５】
続いて、テーマ判別部２０により、テーマ情報記憶部１６に記憶された所定数のテーマの各々についての画像の撮影傾向の情報、および、画像群に含まれる画像の各々についての画像解析情報の全てに基づいて主要テーマが判別され、判別された主要テーマ、所定数のテーマの各々についての画像の撮影傾向の情報、および、判別された主要テーマに対応する画像群に含まれる画像の各々の画像解析情報に基づいて下位テーマが判別される（ステップＳ３）。
【００６６】
図３は、所定数の画像の各々について、テーマに対応するキーワードの各々のスコアを表す一例の概念図である。同図の横軸は、所定数の画像の各々、縦軸は、キーワードの各々のスコアを表す。同図は、所定数の画像の各々について、「旅行＿砂浜（travel_sand）」、「旅行＿海（travel_sea）」、「旅行＿空（travel_sky）」、「旅行＿水中（travel_underwatoer）」のキーワードのスコアを、同じキーワードごとに折れ線グラフのように接続して表したものである。
【００６７】
テーマ判別部２０は、図３に示すように、例えば、所定数の画像の各々について、画像解析情報に基づいて、画像の撮影傾向の情報に対応するキーワードの各々についてスコアを付ける。例えば、画像に「海」が撮影されている場合、テーマ判別部２０は、撮影されている「海」の面積に応じて、面積が大きくなるほど高いスコアを付ける。他のキーワードについても同様である。
【００６８】
そして、テーマ判別部（主要テーマ判別部）２０は、所定数の画像の各々についてのキーワードの各々のスコアに基づいて、所定数の画像に含まれる、関連性のある画像群を判別し、判別した画像群に含まれる画像の各々についてのキーワードの各々のスコアの全てに基づいて主要テーマを判別する。同図右部の画像群には、「旅行＿海」のキーワードのスコアが高い画像が多く含まれていることから、その主要テーマは「旅行＿海」であると判別する。他の部分の画像群についても同様である。
【００６９】
なお、同一シーンの画像群であっても、必ずしも全て同じテーマと判別されるわけではない。同図に示すように、例えば、主要テーマが「海」と判別された画像群であっても、「海」の画像や、「砂浜」の画像が混在する。テーマ判別部２０は、例えば、キーワードごとにスコアの合計値を求め、スコアの合計値が最も高いキーワードに対応するテーマを、画像群の主要テーマに決定することができる。
また、所定数の画像の中には、関連性のない画像群も存在する。このような画像群は重要なシーンを含む画像ではないと判断して、フォトブックのレイアウトには使用しないなどの対応をすることができる。
【００７０】
続いて、テーマ判別部（下位テーマ判別部）２０は、判別した主要テーマ、および、判別した主要テーマに対応する画像群に含まれる画像の各々についてのキーワードの各々のスコアに基づいて下位テーマを判別する。テーマ判別部（下位テーマ判別部）２０は、例えば、所定数の画像の各々についてのキーワードの各々のスコアのうち、最もスコアが高いキーワードに対応するテーマを、所定数の画像の各々の下位テーマに決定することができる。
【００７１】
続いて、レイアウト部２２により、テーマ判別部２０により判別された主要テーマおよび下位テーマの少なくとも一方に基づいて、同じテーマの画像がフォトブックの同じページにまとめて配置されるように、所定数の画像を使用したレイアウトが生成される（ステップＳ４）。
レイアウト部２２は、例えば、主要テーマおよび下位テーマの少なくとも一方に基づいて、所定数の画像を所定数のグループに分け、所定数のグループの各々に含まれる画像から所定数の画像を選択し、選択した所定数の画像を使用して、フォトブックの各々のページのレイアウトを生成することができる。
【００７２】
図４は、主要テーマおよび下位テーマに基づいて生成されたレイアウトの一例を表す概念図である。同図は、関連性のある画像群から「旅行」の主要テーマを判別し、その下位テーマである「屋外」、「屋外（背景：空）」、「野原」、「屋内」、…等に基づいて生成されたフォトブックの各々のページのレイアウトを表したものである。１ページ目は「屋外」の画像、２〜４ページ目は「屋外（背景：空）」の画像、５〜６ページ目は「野原」の画像、７〜１０ページ目は「屋内」の画像である。このように、テーマに基づいて、同一ページに同一の下位テーマの画像を配置することができる。
【００７３】
画像処理装置１０では、所定数の画像について、画像解析を行って画像解析情報を取得し、取得した画像解析情報に基づいて、関連性のある画像群および各々の画像の最適なテーマを判別する。これにより、画像処理装置１０では、大量の画像の中から、関連性のある画像群を判別することができるため、例えば、判別したテーマに基づいて、同じテーマの画像をまとめて配置するように、レイアウトを生成することができる。
【００７４】
上記実施形態では、主要テーマを判別した後、下位テーマを判別しているが、本発明はこれに限定されず、下位テーマを判別した後、主要テーマを判別することも可能である。
この場合、テーマ判別部２０は、所定数のテーマの各々についての画像の撮影傾向の情報、および、所定数の画像の各々についての画像解析情報に基づいて、下位テーマを判別する下位テーマ判別部と、所定数のテーマの各々についての画像の撮影傾向の情報、および、画像群に含まれる画像の各々の下位テーマに基づいて、主要テーマを判別する主要テーマ判別部とを備える。
テーマ判別部２０は、例えば、所定数のテーマの各々についての画像の撮影傾向の情報に基づいて、画像群に含まれる画像の各々の下位テーマがどの主要テーマに含まれるのかを判別し、含まれる下位テーマの数が最も多い主要テーマを、その画像群の主要テーマと判別することができる。
【００７５】
また、レイアウト部２２によりレイアウトが自動生成された後で、ユーザにより、レイアウトの編集の指示が指示入力部２４を介して入力された場合、テーマ判別部２０は、ユーザによるレイアウトの編集の指示に基づいて、編集された後のレイアウトに対応する画像群の主要テーマおよび編集された後のレイアウトに対応する画像群に含まれる画像の下位テーマの少なくとも一方を判別してもよい。これにより、編集された後のレイアウトに応じて、画像群の主要テーマおよび画像群に含まれる画像の下位テーマを自動的に調整（修正）することができる。
【００７６】
図５（Ａ）に示すように、編集された後のレイアウトに含まれる画像が全て同じサイズである場合、テーマ判別部２０は、編集された後のレイアウトに含まれる画像の各々についての画像解析情報の全てに基づいて、主要テーマを判別する。この場合、テーマ判別部２０は、例えば、編集された後のレイアウトに含まれる全ての画像の画像解析情報を均等に考慮して主要テーマを判別する。
【００７７】
同図（Ｂ）に示すように、編集された後のレイアウトに含まれる、他の画像よりも大きいサイズの画像が変更された場合、テーマ判別部２０は、他の画像よりも大きいサイズの画像についての画像解析情報に基づいて、主要テーマを変更する。例えば、他の画像よりも大きいサイズの画像が「海」の画像である場合、他の全ての画像が「屋内」の画像であったとしても、テーマ判別部２０は、編集された後のレイアウトに対応する画像群の主要テーマを「海」であると判別する。
なお、この場合、レイアウト部２２により生成されたレイアウトに含まれる１の画像を大きいサイズに拡大した場合や、レイアウト部２２により生成されたレイアウトに含まれる大きいサイズの画像を入れ換えたりした場合が含まれる。
【００７８】
図６に示すように、トリミングによって画像の一部が切り出された場合、テーマ判別部２０は、トリミングが行われた画像についての画像解析情報に基づいて、その画像の下位テーマを判別する。
【００７９】
また、レイアウト部２２は、主要テーマおよび下位テーマの少なくとも一方に基づいて、背景台紙、フレーム、クリップアート等のようなレイアウトの装飾を自動的に行うことができる。
【００８０】
図７は、テーマに応じて装飾が適用されたフォトブックのレイアウトを表す一例の概念図である。同図は、下位テーマが「海」である６枚の画像をフォトブックの見開きのページに配置した場合に、「海」をイメージした背景画像を背景台紙上に表示したものである。同様に、フレームやクリップアート、コメント入力時のフォント種類、サイズ、色などもテーマに応じて決定することができる。
【００８１】
また、テーマ判別部２０は、画像群に含まれる画像の各々の撮影日時および撮影位置（ＧＰＳによる撮影位置の情報を利用）の少なくとも一方が、あらかじめ設定された所定の範囲に含まれる場合にのみ、主要テーマを判別するようにすることができる。
テーマ判別部２０は、例えば、画像群に含まれる画像の撮影日時が近い（例えば、同一撮影日）場合や、撮影位置が近い場合であれば、関連性のある画像群であると判断し、画像群の主要テーマを判別する。しかし、画像群に含まれる画像の撮影日時がそれぞれ異なる場合や、撮影位置がそれぞれ異なる場合には、画像群の主要テーマを判別することは難しいと判断し、主要テーマを判別しない。
【００８２】
なお、上記実施形態では、レイアウト部２２が、同じテーマの画像を同じページに配置するように、フォトブックの各々のページのレイアウトを生成する場合を例に挙げて説明したが、本発明はこれに限定されず、例えば、レイアウト部２２が、同じテーマの画像を１枚の台紙に配置するように、シャッフルプリント、ポストカードのレイアウトを生成する場合など、画像を扱う様々なフォト商材においても適用可能である。
【００８３】
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【００８４】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【００８５】
１０  画像処理装置
１２  画像記憶部
１４  画像選択部
１６  テーマ情報記憶部
１８  画像解析部
２０  テーマ判別部
２２  レイアウト部
２４  指示入力部
【図１】
0005938379.tif 000007
【図２】
0005938379.tif 000008
【図３】
0005938379.tif 000009
【図４】
0005938379.tif 000010
【図５】
0005938379.tif 000011
【図６】
0005938379.tif 000012
【図７】
0005938379.tif 000013