(57)【要約】【課題】画像群の画像に含まれているオブジェクト同士の関連性を考慮してオブジェクトを適切にグループ化すること。【解決手段】画像処理装置１００は、画像群の複数の画像にそれぞれが対応する複数の画像データを取得する画像取得部２０１と、取得した画像データを解析して各画像内に含まれているオブジェクトを認識する画像解析部２０３と、認識された結果に基づいて、画像群の複数の画像を通じて特定のオブジェクトと他のオブジェクトとが１枚の画像内に同時に出現している出現回数を、オブジェクトの組み合わせを変えてそれぞれ抽出し、抽出された出現回数と、所定の閾値との比較結果に基づいて、所定の出現回数が抽出されたオブジェクトの組み合わせを除外し、除外されていないオブジェクト同士が１枚の画像内に同時に出現しているオブジェクト同士の組み合わせに基づいて各オブジェクトのグループを決定するグループ決定部２０４と、を有する。【選択図】図１１
2020204860.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを、
画像群の複数の画像にそれぞれが対応する複数の画像データを取得する取得手段と、
前記取得手段で取得した画像データを解析して各画像内に含まれているオブジェクトを認識する認識手段と、
前記認識手段によって認識された結果に基づいて、前記画像群の前記複数の画像を通じて特定のオブジェクトと他のオブジェクトとが１枚の画像内に出現している出現回数を、オブジェクトの組み合わせを変えてそれぞれ抽出する抽出手段と、
前記抽出手段で抽出された前記出現回数と、所定の閾値との比較結果に基づいて、所定の出現回数が抽出されたオブジェクトの組み合わせを除外し、除外されていないオブジェクト同士が１枚の画像内に出現しているオブジェクト同士の組み合わせに基づいて各オブジェクトのグループを決定する決定手段と、
として機能させることを特徴とするプログラム。
【請求項２】
前記決定手段は、前記出現回数と第１の閾値とを比較し、前記出現回数が前記第１の閾値以上のオブジェクトの組み合わせを除外することを特徴とする請求項1に記載のプログラム。
【請求項３】
前記決定手段は、前記出現回数と前記第１の閾値よりも小さい第２の閾値とを比較し、前記出現回数が前記第２の閾値以下のオブジェクトの組み合わせを除外することを特徴とする請求項２に記載のプログラム。
【請求項４】
前記決定手段は、前記画像群の画像の枚数に対する前記出現回数の割合と第１の閾値とを比較し、前記出現回数の割合が前記第１の閾値以上のオブジェクトの組み合わせを除外することを特徴とする請求項１に記載のプログラム。
【請求項５】
前記決定手段は、前記画像群の画像の枚数に対する前記出現回数の割合と前記第１の閾値よりも小さい第２の閾値とを比較し、前記出現回数の割合が前記第２の閾値以下のオブジェクトの組み合わせを除外することを特徴とする請求項４に記載のプログラム。
【請求項６】
前記決定手段は、前記除外されていないオブジェクト同士が１枚の画像内に同時に出現しているオブジェクト同士の組み合わせにおいて、第１のオブジェクトと第２のオブジェクトとの第１の組と、前記第１のオブジェクトと第３のオブジェクトとの第２の組とがある場合に、前記第１のオブジェクト、前記第２のオブジェクト、および前記第３のオブジェクトを同一のグループとして決定することを特徴とする請求項１から５のいずれか一項に記載のプログラム。
【請求項７】
前記コンピュータを、
前記抽出手段で抽出された前記出現回数と、前記所定の閾値との比較結果に基づいて所定の出現回数が抽出されたオブジェクトの組み合わせを除外するかを表示手段に表示し、指示を受け付ける制御手段としてさらに機能させ、
前記決定手段は、前記制御手段が前記オブジェクトの組み合わせを除外する指示を受け付けた場合、前記オブジェクトの組み合わせを除外することを特徴とする請求項１から６のいずれか一項に記載のプログラム。
【請求項８】
前記所定の閾値は、ユーザからの指示に基づいて決定されることを特徴とする請求項１から７のいずれか一項に記載のプログラム。
【請求項９】
前記認識手段は、前記画像内の特徴点に基づいて前記オブジェクトを認識することを特徴とする請求項１から８のいずれか一項に記載のプログラム。
【請求項１０】
前記オブジェクトは人物であり、前記認識手段は、前記画像内の顔を認識することで前記人物を認識することを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記決定手段で決定されたグループに従って、所定の処理を行う処理手段をさらに有することを特徴とする請求項１から１０のいずれか一項に記載のプログラム。
【請求項１２】
前記処理手段は、グループに属する各オブジェクトが出現している画像を用いて画像のレイアウトを行い、アルバムのデータを出力することを特徴とする請求項１１に記載のプログラム。
【請求項１３】
前記処理手段は、グループに属する各オブジェクトが出現している画像を用いて画像データを当該グループのフォルダに分類することを特徴とする請求項１１に記載のプログラム。
【請求項１４】
画像群の複数の画像にそれぞれが対応する複数の画像データを取得する取得工程と、
前記取得工程で取得した画像データを解析して各画像内に含まれているオブジェクトを認識する認識工程と、
前記認識工程によって認識された結果に基づいて、前記画像群の前記複数の画像を通じて特定のオブジェクトと他のオブジェクトとが１枚の画像内に出現している出現回数を、オブジェクトの組み合わせを変えてそれぞれ抽出する抽出工程と、
前記抽出工程で抽出された前記出現回数と、所定の閾値との比較結果に基づいて、所定の出現回数が抽出されたオブジェクトの組み合わせを除外し、除外されていないオブジェクト同士が１枚の画像内に出現しているオブジェクト同士の組み合わせに基づいて各オブジェクトのグループを決定する決定工程と、
を有することを特徴とする画像処理方法。
【請求項１５】
画像群の複数の画像にそれぞれが対応する複数の画像データを取得する取得手段と、
前記取得手段で取得した画像データを解析して各画像内に含まれているオブジェクトを認識する認識手段と、
前記認識手段によって認識された結果に基づいて、前記画像群の前記複数の画像を通じて特定のオブジェクトと他のオブジェクトとが１枚の画像内に出現している出現回数を、オブジェクトの組み合わせを変えてそれぞれ抽出する抽出手段と、
前記抽出手段で抽出された前記出現回数と、所定の閾値との比較結果に基づいて、所定の出現回数が抽出されたオブジェクトの組み合わせを除外し、除外されていないオブジェクト同士が１枚の画像内に出現しているオブジェクト同士の組み合わせに基づいて各オブジェクトのグループを決定する決定手段と、
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。特に、画像に含まれているオブジェクトをグループ化する技術に関する。
【背景技術】
【０００２】
画像群に含まれる複数の画像を分類する技術がある。特許文献１には、人物が写った複数の画像を入力し、１つの画像内において同時に写っている人物の出現回数に基づいて人物同士をグループ化して、画像を分類する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０７１１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、結婚式および誕生会等のように明確な主役がいる場面では、主役と一緒に写真を撮る場合が多い。この場合、ほとんどの人が主役と同一グループになってしまう。つまり、グループ化をしたにも関わらず、全員が同一グループになってしまう可能性がある。
【０００５】
本発明は、オブジェクトを適切にグループ化することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係るプログラムは、コンピュータを、画像群の複数の画像にそれぞれが対応する複数の画像データを取得する取得手段と、前記取得手段で取得した画像データを解析して各画像内に含まれているオブジェクトを認識する認識手段と、前記認識手段によって認識された結果に基づいて、前記画像群の前記複数の画像を通じて特定のオブジェクトと他のオブジェクトとが１枚の画像内に出現している出現回数を、オブジェクトの組み合わせを変えてそれぞれ抽出する抽出手段と、前記抽出手段で抽出された前記出現回数と、所定の閾値との比較結果に基づいて、所定の出現回数が抽出されたオブジェクトの組み合わせを除外し、除外されていないオブジェクト同士が１枚の画像内に出現しているオブジェクト同士の組み合わせに基づいて各オブジェクトのグループを決定する決定手段と、として機能させることを特徴とする。
【発明の効果】
【０００７】
本発明は、オブジェクトを適切にグループ化することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置のハードウェア構成を示すブロック図である
【図２】画像処理装置の機能構成を示すブロック図である。
【図３】画像取得部の処理を説明する図である。
【図４】画像処理装置のフローチャートである。
【図５】画像データの例を示す図である。
【図６】グループ化処理の詳細を示すフローチャートである。
【図７】出現人物記録テーブル生成処理の詳細を示すフローチャートである。
【図８】出現人物記録テーブルの一例を示す図である。
【図９】同時出現テーブルの一例を示す図である。
【図１０】出現人物同士の関係性を示す図である。
【図１１】調整処理の詳細を示すフローチャートである。
【図１２】グループ化処理の結果を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１０】
＜＜実施形態１＞＞
本実施形態では、画像群に含まれる複数の画像から自動的にアルバムを作成する装置を例に挙げて説明する。また、その際に、画像に含まれているオブジェクト（被写体）同士の関係性を考慮してグループ化を行い、グループごとのアルバムを作成する例を説明する。本実施形態では、オブジェクトが人物である形態を説明する。
【００１１】
前述したように、結婚式および誕生会等のように明確な主役がいる場面では、１つの画像内において同時に写っている人物の出現回数に基づいて人物同士をグループ化すると、ほとんどの人が主役と同一グループになってしまう。このため、全員に同一のアルバムが作成されることになったり、グループが実体とは相違したものとなってしまったりすることがある。
【００１２】
本実施形態では、画像処理装置が、画像群に含まれている複数の画像から各画像に含まれている人物の顔を検出して、特定する。そして、画像処理装置は、画像内に同時に出現している人物の回数をカウントする。ここで、本実施形態では、全員が同一グループと判定されないように、出現回数が第一の閾値以上の人物をカウント対象から除外する。一方、たまたま同時に写り込んでいる人物同士を同一グループから除外するために、出現回数が第二の閾値よりも多い人物同士を同一グループとして決定する。第一の閾値は、第二の閾値よりも大きい。このような態様により、関係性の高い人物同士を適切にグループ化することができる。この結果、複数人にアルバムを配布する際に、受取人それぞれを主軸としたアルバムを作成することができる。以下、具体的な構成を説明する。
【００１３】
＜装置構成＞
図１は、本実施形態における画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、不揮発性メモリ１０４、ＵＩ部１０５、画像処理部１０６、外部Ｉ／Ｆ（インターフェイス）１０７、および出力部１０８を有する。
【００１４】
ＣＰＵ１０１は、ＲＯＭ１０３に記憶された制御プログラムをＲＡＭ１０２に展開し、必要な時に読み出して画像処理制御などの各種制御を行う。ＲＡＭ１０２は、ＣＰＵ１０１の主記憶メモリであり、ワークエリアまたはＲＯＭ１０３に記憶された各種プログラムを展開するための一時記憶領域として用いられる。ＲＯＭ１０３には、各種プログラムが記憶されている。本実施形態ではＲＯＭ１０３としてフラッシュストレージ等を想定しているが、ハードディスク等の補助記憶装置でもよい。不揮発性メモリ１０４には、外部ストレージ１０９から受信した写真などの静止画の画像データまたは動画データなどの各種のデータ、および、アルバムのテンプレートなどが記憶されている。ＵＩ部１０５は、タッチパネル機能を有する液晶表示部および操作キーなどを備えており、ユーザの指示を受け付ける受付部として機能する。画像処理部１０６は、画像データを取得し、解析および補正などの各種の画像処理を行う。ＣＰＵ１０１が画像処理部１０６の代わりに画像処理を行ってもよい。外部Ｉ／Ｆ１０７は、ＵＳＢ  Ｉ／ＦまたはネットワークＩ／Ｆを有し、外部ストレージ１０９と接続される。出力部１０８は、ディスプレイ１１０または不図示のプリンタと接続されており、ＣＰＵ１０１によって作成されたアルバムの画像データを出力する。外部ストレージ１０９には、静止画の画像データまたは動画データなどの各種のデータ、および、アルバムのテンプレートが保存されており、外部Ｉ／Ｆ１０７を通じて画像処理装置１００内の不揮発性メモリ１０４にデータを提供する。
【００１５】
図２は、本実施形態における画像処理装置１００の機能ブロックを示す図である。図２には、図１の対応するハードウェア構成も併せて示している。画像処理装置１００は、画像処理部１０６によって実現される画像取得部２０１、画像解析部２０３、グループ決定部２０４、およびレイアウト部２０５を有する。画像処理装置１００は、不揮発性メモリ１０４によって実現される画像群記憶部２０２を有する。
【００１６】
アルバム作成処理が実行されると、画像取得部２０１は、外部ストレージ１０９から静止画の画像データまたは動画データを取得し、画像群記憶部２０２に記憶する。画像取得部２０１は、取得対象が動画データの場合、所定のタイミングのフレーム画像（静止画）の画像データを取得して画像群記憶部２０２に記憶する。本実施形態では、時系列に沿ってアルバムを作成するため、画像取得部２０１は、画像データを撮像時刻順に画像群記憶部２０２に記憶する。なお、アルバム作成まで行わず、グループを決定する処理または画像を分類する処理まででよい場合には、撮像時刻順に並べなくてもよい。画像取得部２０１が取得する画像群のデータは、不図示のＵＩ画面を通じてユーザから指定されたものでもよいし、外部ストレージ１０９に含まれている全ての画像データでもよいし、所定のフォルダ内または所定の撮像期間内の画像データであってもよい。
【００１７】
画像解析部２０３は、画像群記憶部２０２に記憶されている画像データを順に取り出し、画像毎に解析処理を行う。本実施形態では、画像解析部２０３は、画像内の人物を検出して特定する解析処理を行う。画像解析部２０３は、解析した結果を、後述する「出現人物記録テーブル」および「同時出現テーブル」に記録する。詳細は後述する。
【００１８】
画像解析部２０３が、画像群記憶部２０２に記憶されている全ての画像データの解析を終了すると、グループ決定部２０４は、解析結果を用いて画像内のオブジェクト（人物）同士の関係性を考慮したグループ分けを行う。詳細は後述する。
【００１９】
レイアウト部２０５は、グループ決定部２０４によって決定されたグループのうちの、ユーザが属するグループが主役となるようにアルバムのレイアウトを決定する。そして、レイアウト部２０５は、ユーザが属するグループの画像を、決定したレイアウトに従って配置する。あるいは、レイアウト部２０５は、グループ決定部２０４によって決定された各グループが主役となるように各アルバムのレイアウトを決定し、各レイアウトに各グループの画像を配置する。即ち、特定のユーザ（またはグループ）用のレイアウトを決定してもよいし、画像内の全グループ用のレイアウトを決定してもよい。このようにして作成されたアルバムのデータは、出力部１０８に送られる。出力部１０８は、ディスプレイ１１０または不図示のプリンタなどにアルバムのデータを出力する。あるいは、出力部１０８は、外部ストレージ１０９または不図示のネットワークを通じて不図示の外部サーバにアルバムのデータを出力してもよい。
【００２０】
図３は、画像取得部２０１の処理を説明する図である。画像取得部２０１は、外部ストレージ１０９から静止画の画像データまたは動画データを入力として受け取り、それらをＲＡＭ１０２や不揮発性メモリ１０４などの画像群記憶部２０２に記憶する。このように、アルバム作成の基となるデータとしては、静止画データもあれば動画データもある。本実施形態では、動画データを構成する各フレーム画像（静止画）のうち、所定のタイミングのフレーム画像の画像データがアルバム作成に用いられる。図３は、動画データを所定のタイミングでサンプリングをしたフレーム画像を抽出している例を示している。本実施形態の画像取得部２０１は、撮像時間順に画像データを画像群記憶部２０２に記憶する。ここで、動画データの撮像時刻の間に撮像された別の静止画の画像データが存在する場合、動画データのうちの対応する時間の前後のフレームに挟まれるようにして静止画の画像データを取得する。例えば、図３の動画データの他に２２フレーム目の時刻で撮像された静止画（写真）の画像データが入力されている場合、画像取得部２０１は、１フレーム、２１フレーム、静止画（写真）データ、４１フレームの順に画像データを画像群記憶部２０２に記憶する。このように画像データを並び替えている目的は、時系列に沿ってレイアウトに画像を配置するためである。なお、画像取得部２０１は、画像データを複製して画像群記憶部２０２へ追加してもよいし、参照する画像データの場所またはフレームの情報だけを記憶してもよい。
【００２１】
＜フローチャート＞
図４は、本実施形態の画像処理装置１００の処理の一例を示すフローチャートである。図４のフローチャートで示される一連の処理は、画像処理部１０６またはＣＰＵ１０１がＲＯＭ１０３に記憶されているプログラムコードをＲＡＭ１０２に展開し実行することにより行われる。あるいはまた、図４におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。
【００２２】
図４の処理は、画像群に含まれる複数の画像からアルバムのレイアウトを決定する処理である。図４では、画像群に含まれる複数の画像を、画像に出現する人物の関係性を考慮してグループ化する処理を説明する。また、各画像を漫画調に変換し、各グループに最適な漫画調の冊子を作成する。図４では、このような一連の流れを説明する。本実施形態は、結婚式等のように大人数が集まり、写真が大量に撮像される催しにおいて、参加者各々を主人公とした画像を漫画調にした冊子を配布する、といった使用態様を想定している。結婚式のような催しでは様々な状況の大量の画像データが撮像されることが想定される。例えば、全ての写真に主役である新郎新婦が写っているもの、仲の良いグループで写ったもの、または、スタッフが偶然写りこんでしまったものなど、様々な状況が想定される。本実施形態では、そのような大量の画像データを厳選して、参加者各々を主人公にした漫画調の冊子を配布する使用態様を説明する。
【００２３】
Ｓ４０１において画像取得部２０１は、画像群に含まれる複数の画像データを取得し、画像群記憶部２０２に記憶する。Ｓ４０１で取得した画像群の各画像が、本実施形態で行われる処理対象の画像となる。本実施形態においてＳ４０１で取得した画像群の各画像は、複数の人物が同時に写っている画像である。なお、画像取得部２０１が取得する画像には、一人の人物のみが写っている画像が含まれていてもよい。また、全く人物が写っていない画像が含まれていてもよい。
【００２４】
Ｓ４０２において画像処理部１０６は、Ｓ４０１で取得された画像群に含まれる複数の画像データを用いて、画像内の人物（オブジェクト）のグループ化処理を行う。Ｓ４０２においては、画像群に含まれる複数の画像を通じて、ある人物と他の人物とが１枚の画像内において同時に出現している出現回数を、人物同士の組み合わせを変えてそれぞれ抽出する処理が行われる。そして、この出現回数に応じてグループ化が行われる。詳細は後述する。
【００２５】
Ｓ４０３において画像処理部１０６は、Ｓ４０２のグループ化の結果に基づいてレイアウトに用いる画像データを決定する。そして、画像データに所定の画像処理を行う。本実施形態では、漫画調の画像となるように画像データの変換処理を行う。具体的には、色調補正、輪郭検出等の画像処理を実行する。
【００２６】
Ｓ４０４においてレイアウト部２０５は、Ｓ４０２のグループ化の結果およびＳ４０３で変換された画像データを用いて、レイアウトを決定する。Ｓ４０４でレイアウト部２０５は、ユーザが属するグループが主役となるようにアルバムのレイアウトを決定し、決定したレイアウトに従って、ユーザが属するグループの画像を、所定のテンプレートのスロット内に配置する。あるいは、各グループが主役となるように各アルバムのレイアウトを決定し、決定したレイアウトに従って、所定のテンプレートのスロット内に各グループの画像を配置する。Ｓ４０４では、該当グループのみの画像を使用する形態でもよいし、該当グループの画像を大きく配置するようにレイアウトを決定する形態でもよい。また、レイアウト部２０５によって決定されたレイアウトをそのまま適用してもよいし、ユーザによって手動で変更される形態でもよい。
【００２７】
Ｓ４０４により、画像がレイアウトされたレイアウトデータ（漫画調のアルバムデータ）が生成される。このレイアウトデータに基づいて印刷が実行されると、漫画調の冊子が作成される。
【００２８】
＜グループ化処理＞
以下、図面を参照しながら具体的な例を用いてＳ４０２のグループ化処理を説明する。Ｓ４０２のグループ化処理は、画像解析部２０３およびグループ決定部２０４によって行われる。
【００２９】
図５は、Ｓ４０２において１０枚の画像の画像データが画像解析部２０３に入力された例を示している。ここでは、理解を容易にするために１０枚の画像を例に挙げて説明するが、例えば数百枚程度の画像が入力されることもあり得る。図５では、各画像内に写っている人物を模式的に示している。図５では、１０枚の各画像内に、人物Ａ〜Ｋのいずれかが写っている。例えば画像１は、人物Ａ、Ｂ、Ｃ、Ｄ、Ｅが同時に映っている画像である。また、画像１〜１０の全てに人物Ａ、Ｂが出現する。これらの画像に出現する人物を、各人物の関係性を考慮してグループ化する処理を説明する。
【００３０】
図６は、Ｓ４０２のグループ化処理の詳細を示すフローチャートである。Ｓ６０１において画像解析部２０３は、入力された複数の画像データをそれぞれ解析する。画像解析部２０３は、解析結果に基づいて、画像毎にどの人物が写っているかを示す出現人物記録テーブルを生成する。出現人物記録テーブルについては、図８を用いて後述する。
【００３１】
Ｓ６０２においてグループ決定部２０４は、Ｓ６０１で生成された出現人物記録テーブルに基づいて、それぞれの人物同士が同時に写っている回数（画像の数）を記録する同時出現テーブルを生成する。即ち、グループ決定部２０４は、特定の人物と他の人物とが１枚の画像内に同時に出現している出現回数を、人物の組み合わせを変えてそれぞれ抽出した出現回数を記録する同時出現テーブルを生成する。同時出現テーブルについては、図９を用いて後述する。
【００３２】
Ｓ６０３においてグループ決定部２０４は、Ｓ６０１で生成された出現人物記録テーブルを用いて、Ｓ６０２で生成した同時出現テーブルを調整する。例えば、グループ決定部２０４は、出現回数と所定の閾値とを比較し、比較結果に基づいて人物を除外することで同時出現テーブルを調整する。例えば、出現回数が第１の閾値以上の人物を除外してグループを決定する。また、出現回数が第２の閾値以下の人物同士の組み合わせをグループから除外する。詳細は後述する。
【００３３】
図７は、Ｓ６０１における出現人物記録テーブル生成処理の詳細を示すフローチャートである。Ｓ７０１において画像解析部２０３は、入力された画像データのうち、未処理の画像データから人物を検出する。本実施形態において画像解析部２０３は、画像データから顔領域を検出することで人物を検出する。例えば、予め顔領域のパターンが登録されており、画像解析部２０３は、処理対象の画像内において顔領域のパターンと一致する領域を顔領域として検出する。Ｓ７０１では、処理対象の画像に含まれている全ての人物を検出する処理が行われる。
【００３４】
Ｓ７０２で画像解析部２０３は、Ｓ７０１の処理において人物を検出したかを判定する。一人も人物を検出できなかった場合、Ｓ７０５に進む。人物を検出できた場合、Ｓ７０３に進む。Ｓ７０３において画像解析部２０３は、検出した人物を特定する処理が行われる。本実施形態において、画像解析部２０３は、Ｓ７０１で検出した顔領域における顔の認識処理を行う。より詳細には、画像解析部２０３は、顔領域における特徴点を決定し、各特徴点の位置および距離などに応じて各人物の顔を識別（個人識別）する。例えば第１の特徴点群の顔領域が画像内にある場合には、人物Ａが写っていると判定される。第１の特徴点群とは異なる第２の特徴点群の顔領域が画像内にある場合には、人物Ａとは異なる、例えば人物Ｂが写っていると判定される。このようにして、画像内に写っている人物を特定する。画像解析部２０３は、特定した各人物に識別情報を付与し、かつその特徴点群の特徴（例えば各特徴点の位置および距離）を識別情報に関連付けて記憶する。ここでは、便宜上、識別情報として、そのまま人物Ａ〜Ｋを付すものとする。Ｓ７０３の処理で人物が特定された場合、画像解析部２０３は、処理対象の画像内に当該人物が出現したことを出現人物記録テーブルに記録する。
【００３５】
図８は、出現人物記録テーブルの一例を示す図である。出現人物記録テーブルにおいて、縦軸には画像の種類が並んでおり、横軸には人物Ａ〜Ｋが並んでいる。Ｓ７０３の処理では、画像と人物との対応するセルに「１」を記録する。例えば、処理対象の画像が「画像１」であり、かつ当該Ｓ７０３の処理で人物Ａが特定された場合、「画像１」かつ「Ａ」の対応するセルに「１」を記録する。図８の出現人物記録テーブルにおいて、「１」は、人物が当該画像に出現していることを示す。
【００３６】
図７に戻り処理の説明を続ける。Ｓ７０４で画像解析部２０３は、処理対象の画像内の人物を全て特定したかを判定する。全ての人物を特定した場合、Ｓ７０５に進み、そうでない場合、Ｓ７０３に戻り処理を繰り返す。Ｓ７０３およびＳ７０４の処理を繰り返すことで、処理対象の１枚の画像内に写っている全ての人物の特定が行われる。図５の「画像１」を処理した場合、図８の出現人物記録テーブルの１行目に示すように、人物Ａ、Ｂ、Ｃ、Ｄ、Ｅが「画像１」内に出現していると記録される。
【００３７】
Ｓ７０５において画像解析部２０３は、全ての画像データの解析が終了したかを判定する。未処理の画像データがある場合、Ｓ７０１に戻り処理を繰り返す。このような処理により、図５に示す画像それぞれの解析が終了すると、図８に示す出現人物記録テーブルが完成する。以上が、Ｓ６０１の出現人物記録テーブル生成処理の説明である。Ｓ６０１の処理が終了すると、前述したように、Ｓ６０２においてグループ決定部２０４は、出現人物記録テーブルに基づいて同時出現テーブルを生成する。
【００３８】
図９は、同時出現テーブルの一例を示す図である。図９（ａ）〜（ｃ）は、それぞれ同時出現テーブルを示しているが、ここでは図９（ａ）を用いて説明する。グループ決定部２０４は、図８に示す出現人物記録テーブルを参照する。そして、人物毎に、他の人物と同時に写っていた回数を同時出現テーブルに記録する。例えば、図８の人物Ａと人物Ｂとの組み合わせの観点で図８を参照すると、全ての画像に人物Ａおよび人物Ｂが写っている。このため、人物Ａおよび人物Ｂが同時に写っていた回数は、「１０」となる。この結果、図９（ａ）における人物Ａおよび人物Ｂで特定されるセルに、同時出現回数「１０」が記録される。他の例を説明する。図８の人物Ｃと人物Ｄとの組み合わせの観点でみると、同時に写っている画像は、画像１および画像２である。このため、人物Ｃおよび人物Ｄで特定されるセルに、同時出現回数「２」が記録される。このように各人物同士の同時出現回数が同時出現テーブルに記録される。
【００３９】
図１０は、同時出現テーブルによって表される出現人物同士の関係性を示す図である。図１０（ａ）〜（ｃ）は、図９（ａ）〜（ｃ）の同時出現テーブルの関係性をそれぞれ示している。ここでは、図１０（ａ）を用いて説明する。図１０（ａ）の各円は、各出現人物を示している。円の大きさは、出現回数に比例している。人物間をつなぐ線の太さは、つながれた人物同士が同時に出現した回数に比例している。グループ決定部２０４は、線がつながっている人物同士が同一グループに属すると認識する。さらに別の人物を介して線がつながっている人物同士も同一グループに属すると認識する。
【００４０】
図９（ａ）および図１０（ａ）に示すように、図５の全ての画像に人物Ａおよび人物Ｂが出現している。このため、図９（ａ）の同時出現テーブルをそのまま用いると、グループ決定部２０４は、図５の画像における出現人物全員が同一グループに属すると認識してしまうことになる。そこで、本実施形態では、Ｓ６０２の同時出現テーブルを生成した後に、Ｓ６０３で同時出現テーブルの調整処理が行われる。
【００４１】
図１１は、Ｓ６０３の調整処理の詳細を示すフローチャートである。Ｓ１１０１においてグループ決定部２０４は、出現人物記録テーブルを参照する。Ｓ１１０２においてグループ決定部２０４は、出現人物記録テーブルに含まれる出現人物のうち、未処理の出現人物を選択する。そして、当該出現人物の出現回数の割合が第一の閾値以上であるかを判定する。処理対象の出現人物の出現回数の割合が第一の閾値以上の場合、Ｓ１１０３に進み、当該出現人物を同時出現テーブルから除外する。その後、Ｓ１１０４に進む。処理対象の出現人物の出現回数の割合が第一の閾値以上でない場合、Ｓ１１０４に進む。Ｓ１１０４では、全出現人物の処理が終了したかを判定し、未処理の出現人物がいる場合、Ｓ１１０２に戻り処理を繰り返す。
【００４２】
Ｓ１１０２における第一の閾値は、例えば「１００」（％）である。即ち、グループ決定部２０４は、全ての画像に写っている人物を除外する。なお、この例は、一例であり、第一の閾値として任意の値を用いてよい。第一の閾値が１００（％）の場合、図９（ａ）の同時出現テーブルのうち、人物Ａおよび人物Ｂが除外される。この結果、同時出現テーブルは、図９（ｂ）に示すものとなる。
【００４３】
図１０（ｂ）は、図９（ｂ）に示す同時出現テーブルを用いた出現人物同士の関係性を示す図である。人物Ａおよび人物Ｂが除外されたことにより、線の数が減少していることがわかる。なお、Ｓ１１０３では、同時出現テーブルから人物Ａおよび人物Ｂを除外する例を説明したが、出現人物記録テーブルから人物Ａおよび人物Ｂを除外し、その後に、同時出現テーブルを再生成してもよい。
【００４４】
出現回数の割合が第一の閾値以上の出現人物を除外しても、一部でも関係性が残っていると、残りの全員が依然として同一グループであると認識されてしまう可能性がある。精度をより一層向上させるため、本実施形態ではさらなる処理を継続する。
【００４５】
Ｓ１１０５においてグループ決定部２０４は、Ｓ１１０２〜Ｓ１１０４の処理が終了した後の同時出現テーブルを参照する。Ｓ１１０６においてグループ決定部２０４は、同時出現テーブルの全要素（テーブルの全セル）のうち、未処理の要素を選択する。同時出現テーブルにおける要素は、ある人物と他の人物とが同時に写っている同時出現回数である。グループ決定部２０４は、処理対象の要素の同時出現回数の割合が第二の閾値以下であるかを判定する。偶然、同時に写りこんでしまった人物同士が同一グループと認識されるのを抑制するためである。処理対象の要素の同時出現回数の割合が第二の閾値以下の場合、Ｓ１１０８に進み、当該要素で特定される人物同士をグループから除外する。その後、Ｓ１１０９に進む。処理対象の要素の同時出現回数が第二の閾値以下でない場合、Ｓ１１０９に進む。
【００４６】
Ｓ１１０５における第二の閾値は、第一の閾値よりも低い値である。ここでは、第二の閾値として例えば「１０」（％）を用いる。即ち、図５の画像群の画像において、グループ決定部２０４は、１回しか同時に写っていない人物同士をグループから除外する。なお、偶然、１度しか同時に写っていないだけで、同一グループである可能性もある。このため、Ｓ１１０８でグループ決定部２０４は、直ちに当該要素で特定される人物同士をグループから除外せず、グループから除外するかどうかを確認するメッセージをディスプレイ１１０に表示し、ユーザに操作を促してもよい。このようなメッセージは、例えば、人物Ｉと人物Ｋとの顔画像をディスプレイ１１０に表示し、両者を同一グループとして扱うかを確認するメッセージであってよい。Ｓ１１０９では、同時出現テーブルの全要素の処理が終了したかを判定し、未処理の要素がある場合、Ｓ１１０６に戻り処理を繰り返す。
【００４７】
Ｓ１１０５〜Ｓ１１０９の処理によれば、同時出現回数の割合が第二の閾値以下の場合には、その人物同士がグループから除外される。ここで、グループから除外するとは、例えば図１０（ｂ）で示す人物同士をつなぐ細い線を削除することに相当する。
【００４８】
図９（ｂ）に示す同時出現テーブルから１回しか同時に写っていない人物同士を除外すると、図９（ｃ）に示す同時出現テーブルとなる。図９（ｃ）においてグループ決定部２０４は、白背景の数字部分の要素（セル）に対応する人物同士が同一グループであると認識する。図１０（ｃ）は、図９（ｃ）に示す同時出現テーブルを用いた出現人物同士の関係性を示す図である。グループ決定部２０４は、図１０（ｃ）において線がつながっている人物同士を同一グループと認識することを示している。即ち、人物Ｇ、Ｈ、Ｉ、Ｊが１つのグループであり、人物Ｃ、Ｄがもう１つのグループであることを示している。このように、本実施形態においては、精度の高い適切なグループ化処理を行うことができる。
【００４９】
図１２は、本実施形態によるグループ化処理の結果を用いて画像を分類した図である。図１２は、本実施形態のグループ化処理を図５の画像１〜１０に適用した結果を示している。図５の画像１〜１０のうち、各グループに適した画像のみを利用した漫画冊子を配布する場合に、図１２に示すように、人物Ｇ、Ｈ、Ｉ、Ｊには画像７、８、９が、人物Ｃ、Ｄには画像１、２が使用される。グループ化処理を行うと、自分自身が写っていない画像であっても、同じグループのメンバーが写っている画像が含まれた漫画冊子を配布することができる。例えば、図１２に示すように、人物Ｇには、自身が写っていないものの、同じグループの他のメンバーが写っている画像７が含まれた漫画冊子が配布される。
【００５０】
以上説明したように、本実施形態によれば、画像群の複数の画像に含まれているオブジェクト同士（人物同士）の関連性を考慮して適切に人物同士のグループ化を行うことが可能となる。このため、全員が同一グループとして決定されてしまうことを抑制することができる。また、偶然に同時に写り込んでしまった人物同士が同じグループとして決定されてしまうことを抑制できる。
【００５１】
＜＜その他の実施形態＞＞
上述した実施形態では、第一の閾値および第二の閾値は、出現回数の割合に対応する閾値である例を説明したが、単純に出現回数に対応する閾値であってもよい。また、第一の閾値および第二の閾値は、画像処理部１０６において予め決定した値でもよいし、ユーザによって設定された値でもよい。画像処理部１０６において予め決定した値としては、固定値でもよいし、画像の枚数または人物の最大数などのデータに基づいて決定した値でもよい。また、画像処理部１０６は、上述した実施形態で行ったグループ化処理の結果の情報を蓄積し、その情報から好適な閾値を決定してもよい。例えば、画像の枚数、各画像に出現する人物の数、各画像を通じて出現する人物の総数、１枚の画像内に出現する人物の最大数などから、何人のグループが何組できたか、などの情報から、好適な閾値を決定してもよい。
【００５２】
また、上述した実施形態では、第一の閾値および第二の閾値の両方を用いる形態を説明したが、画像内の人物の出現状態によっては、いずれか一方の閾値のみを用いて同時出現テーブル内の要素（人物同士）をグループから除外するだけでもよい。
【００５３】
また、上述した実施形態では、同時出現回数の割合が第二の閾値以下の場合に、除外するかをユーザに確認する形態を説明したが、第一の閾値以上の場合においても除外するかをユーザに確認してもよい。
【００５４】
また、上述した実施形態では、出現人物記録テーブルおよび同時出現テーブルという２種類のテーブルを用いる処理を説明したが、人物同士の出現回数の関係性がわかればよく、これらのテーブルを用いなくてもよい。
【００５５】
また、図５では、複数の人物が写っている画像の画像群が画像取得部２０１によって取得される形態を説明したが、一人の人物(例えば人物Ｋ)が写っている画像が画像群に含まれていてもよい。この場合、当該画像は、他の人物が写っていないことから同時出現回数が「０」となるので、グループ化処理においては、除外される。しかしながら、人物Ｋが属するグループに配布する漫画冊子には、人物Ｋのみが写っている画像を、人物Ｋが属するグループに配布する漫画冊子に含めてよい。
【００５６】
また、上述した実施形態では、グループ化した結果をアルバム（冊子）の作成に利用する形態を例に挙げて説明したが、これに限られない。グループ化した結果を電子機器上のフォルダ分類に使用するなど、他の用途で利用してもよい。即ち、画像群の画像を解析してグループ分けを行い、グループごとにフォルダを自動的に作成し、画像群の各画像を該当するフォルダに自動的に振り分ける形態でもよい。
【００５７】
また、上述した実施形態では、画像内のオブジェクトの例として人物を例に挙げて説明したが、画像内において他のオブジェクトと識別可能なものであればよい。例えばオブジェクトとして、人物ではなく、ペットなどの動物でもよい。
【００５８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１０６  画像処理部
２０１  画像取得部
２０３  画像解析部
２０４  グループ決定部
【図１】
2020204860.tif 000003
【図２】
2020204860.tif 000004
【図３】
2020204860.tif 000005
【図４】
2020204860.tif 000006
【図５】
2020204860.tif 000007
【図６】
2020204860.tif 000008
【図７】
2020204860.tif 000009
【図８】
2020204860.tif 000010
【図９】
2020204860.tif 000011
【図１０】
2020204860.tif 000012
【図１１】
2020204860.tif 000013
【図１２】
2020204860.tif 000014