(57)【要約】 【課題】複数の撮影画像から重要な被写体を効果的に検出する。【解決手段】画像処理装置は、複数の撮影画像を取得し、がい複数の撮影画像において、指定されたイベントに関連する素材を検出し、該第１の素材と、該複数の撮影画像に含まれる被写体との位置関係に基づいて、該複数の撮影画像から重要な被写体を特定する。【選択図】図１
2017058775.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影画像を取得する取得手段と、
前記複数の撮影画像において、指定されたイベントに関連する第１の素材を検出する第１の素材検出手段と、  
前記第１の素材検出手段により検出された前記第１の素材と、前記複数の撮影画像に含まれる被写体との位置関係に基づいて、前記複数の撮影画像から重要な被写体を特定する被写体特定手段と、  
を有することを特徴とする画像処理装置。
【請求項２】
前記複数の撮影画像において、少なくとも１つの被写体領域を検出する領域検出手段を更に有し、
前記被写体特定手段は、前記領域検出手段により検出された被写体領域を含む撮影画像において、該被写体領域と、前記第１の素材検出手段により検出された前記第１の素材との距離に基づいて重要な被写体を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体特定手段は、前記距離が短い被写体領域に対応する被写体を、前記重要な被写体と特定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の素材は、前記イベントに関連してあらかじめ定義されていることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記複数の撮影画像において、前記イベントに関連する第２の素材を検出する第２の素材検出手段と、
前記複数の撮影画像において、前記第２の素材検出手段により検出された前記第２の素材に基づいて前記第１の素材を特定する素材特定手段とを更に有し、
前記第１の素材検出手段は、前記複数の撮影画像において、前記素材特定手段により特定された前記第１の素材を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記複数の撮影画像において、少なくとも１つの被写体領域を検出する領域検出手段を更に有し、
前記素材特定手段は、前記領域検出手段により検出された被写体領域を含む撮影画像において、該被写体領域と、前記第２の素材検出手段により検出された前記第２の素材のそれぞれとの間の第１の距離に基づいて前記第１の素材を特定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記素材特定手段は、前記第１の距離が短い被写体領域に対応する被写体を、前記第１の素材と特定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記被写体特定手段は、前記領域検出手段により検出された被写体領域を含む撮影画像において、該被写体領域と、前記第１の素材検出手段により検出された前記第１の素材との間の第２の距離に基づいて前記重要な被写体を特定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記被写体特定手段は、前記第２の距離が短い被写体領域に対応する被写体を、前記重要な被写体と特定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２の素材は、前記イベントにおいて典型的に撮影される被写体であり、前記イベントに関連してあらかじめ定義されていることを特徴とする請求項５から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記複数の撮影画像から前記重要な被写体が含まれる撮影画像を選択する選択手段を更に有することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。、
【請求項１２】
前記選択手段は、前記複数の撮影画像から前記重要な被写体が含まれる撮影画像を所定の枚数選択することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記所定の枚数は、前記画像処理装置において決定されることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記所定の枚数は、外部からの設定に応じて決定されることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
複数の撮影画像を取得する取得工程と、
前記複数の撮影画像において、指定されたイベントに関連する素材を検出する検出工程と、  
前記検出工程により検出された前記素材と、前記複数の撮影画像に含まれる被写体との位置関係に基づいて、前記複数の撮影画像から重要な被写体を特定する特定工程と、  
を有することを特徴とする画像処理方法。
【請求項１６】
請求項１から請求項１４のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影画像から特定の撮影画像を選択する技術に関する。特に、複数の撮影画像から、フォトアルバム等を作成する際に、指定されたイベントならではの重要な被写体が含まれる画像を選択する技術に関する。
【背景技術】
【０００２】
従来、撮影した大量の画像の中から重要な被写体を推定する手法はいくつか提案されている。例えば、特許文献１では、輝度情報、色情報、エッジ情報から視覚刺激の強い領域を推定し、主要被写体が好ましい態様で写っている画像を抽出する方法が開示されている。特許文献２では、対象被写体の写り具合（被写体の大きさ、被写体の向き、鮮明度、表情、位置、数など）から重要被写体を設定する方法が開示されている。特許文献３では、撮影時に、画像だけでなく撮影前および撮影後の操作を合わせて保存し、これを利用して重要な画像を抽出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３―０１２１２４号公報
【特許文献２】特開２００５―１４８９００号公報
【特許文献３】特開２００７―０１３９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１や２で示した方法では、写り具合の良い被写体や、登場頻度の高い被写体を検出する事が可能である。しかし、そうした被写体がイベントにとって重要であるとは限らない。また、特許文献３で示した方法では、重要な被写体とそうでない被写体を撮影するときは撮影に要する時間等が異なるという仮定のもと、重要な被写体を推測する。しかし、この方法を使用するためには撮影時のパラメータを取得する必要があり、撮影時のパラメータを取得できるような特殊な撮影装置を使用する必要がある。
【０００５】
結婚式のようなイベントでは、ウェディングケーキや、ウェルカムボードのような、多くの結婚式で共通して存在する典型的な被写体と、ごく一部の結婚式でのみ存在するその結婚式特有の被写体が存在する。特有の被写体が存在するケースとして例えば、新郎新婦が出会ったきっかけがバイクのツーリングである場合に、二人のバイクを式場に展示しておくようなケースがある。また、二人の共通の趣味がギターであった場合に、二人が使用しているギターを式場に展示しておくようなケースなども考えられる。バイクやギターは、結婚式で被写体となる事が滅多にないため、あらかじめ検出する被写体として設定しておくことは難しい。しかしながら、新郎新婦の二人にとって、そして結婚式に参加した参列者にとって、新郎新婦の思い出の品は非常に重要な物であるから、重要な被写体となり得る。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、複数の撮影画像から重要な被写体を効果的に検出することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を有する。すなわち、複数の撮影画像を取得する取得手段と、前記複数の撮影画像において、指定されたイベントに関連する第１の素材を検出する第１の素材検出手段と、前記第１の素材検出手段により検出された前記第１の素材と、前記複数の撮影画像に含まれる被写体との位置関係に基づいて、前記複数の撮影画像から重要な被写体を特定する被写体特定手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の撮影画像から重要な被写体を効果的に検出することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の画像処理装置の機能構成の一例を示す図。
【図２】第１の実施形態で使用する画像群の例を示す図。
【図３】第１の実施形態の画像処理装置の処理フローを示す図。
【図４】第１の実施形態におけるサポート素材リストの例を示す図。
【図５】第１の実施形態におけるサポート素材検出結果の例を示す図。
【図６】第１の実施形態における物体領域検出結果の例を示す図。
【図７】第１の実施形態における物体領域とサポート素材の距離リストの例を示す図。
【図８】第１の実施形態における被サポート被写体リストの例を示す図。
【図９】第１の実施形態における同一被サポート被写体を認識した例を示す図。
【図１０】第１の実施形態における辞書ファイルのリストの例を示す図。
【図１１】第１の実施形態における被写体情報が追加されたリストの例を示す図。
【図１２】第２の実施形態における重要被写体抽出装置の構成図。
【図１３】第２の実施形態で使用する画像群の例を示す図。
【図１４】第２の実施形態における処理フローを示す図。
【図１５】第２の実施形態における典型被写体リストの例を示す図。
【図１６】第２の実施形態における典型被写体検出結果の例を示す図。
【図１７】第２の実施形態における物体領域検出結果の例を示す図。
【図１８】第２の実施形態における物体領域と典型被写体の距離リストの例を示す図。
【図１９】第２の実施形態において検出されたサポート素材の例を示す図。
【図２０】第２の実施形態における同一サポート素材リストを識別した例を示す図。
【図２１】第２の実施形態において作成したサポート素材リストの例を示す図。
【図２２】いくつかの実施形態の画像処理装置のハードウェア構成の一例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
［第１の実施形態］
以下、図面を参照して本発明の第１の実施形態を説明する。
【００１２】
（全体構成図と機能）
図１は、本実施形態の画像処理装置１０の機能構成の一例を示す図である。以下、図１を参照して本実施形態の構成について説明する。なお、下記の各部は、図２２に示すようなハードウェア構成により実現される。図２２は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。図２２において、制御部１１は例えばＣＰＵ（Central Processing Unit）であり、各構成要素の動作を制御する。ＲＯＭ（Read Only Memory）１２は、制御命令つまりプログラムを格納する。ＲＡＭ（Random Access Memory）１３は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。通信部１４は、外部の装置と通信するための制御を行う。出力部１５は、外部への出力処理を行う。ユーザＩ／Ｆ（インタフェース）１６は、ユーザの操作を受け付ける。以下に示す図３および図１４のフローチャートの処理は、ＣＰＵなどの制御部１１がＲＯＭ１２からＲＡＭ１３へ読みだされたプログラムを実行することによって行われる。
【００１３】
図１において、画像取得部１０１は、イベントなどで撮影された画像群を取得、保持し、要求に応じて出力する。サポート素材管理部１０２は、サポート素材（重要な被写体を探す手掛かりである被写体）のリストを取得し、要求に応じて出力する。サポート素材検出部１０３は、画像取得部１０１から画像を取得し、第１の素材としてのサポート素材の検出を行い、検出結果を出力する。物体領域検出部１０４は、画像取得部１０１から画像を取得し、物体領域の検出を行い、検出結果を出力する。被写体特定部１０５は、サポート素材検出部１０３と、物体領域検出部１０４の出力結果を取得し、被サポート被写体を特定して出力する。
【００１４】
被写体クラスタリング部１０６は、被写体特定部１０５によって出力された被サポート被写体のうち同一のものを認識し、被サポート被写体リストとして出力する。辞書データ作成部１０７は、被写体クラスタリング部１０６によってクラスタリングされた被サポート被写体の特徴量から、辞書データを作成し、出力する。被写体検索部１０８は、辞書データ作成部１０７により作成された辞書データを用いて、被サポート被写体リストに含まれる各被写体が含まれている画像を画像取得部１０１から検索する。その際に、被写体検索部１０８は、被サポート被写体リストに含まれていない画像があれば追加を行い出力する。画像選択部１０９は、被写体検索部１０８による検索によって得られた複数の画像から、所定の枚数選択し、出力する。
【００１５】
（具体的な処理例）
以下、本実施形態における画像処理装置において、結婚式において撮影された複数枚の画像からなる画像群が入力され、サポート素材リストに基づいて、入力された画像群の中から重要被写体が含まれる画像を抽出し出力する状況を想定し、説明する。
【００１６】
図２は、結婚式において撮影された複数の画像のうち３枚の画像を示す図である。画像２０１０は、ギター２０１１に花飾り２０１２〜２０１６が付けられている様子を撮影したものである。なお、画像２０１０において、物体２０１７、２０１８は、結婚式会場に置かれた観葉植物である。画像２０２０は、画像２０１０と同じ対象を別角度から撮影したものである。ギター２０３１は、ギター２０２１およびギター２０１１と同一であり、ギター２０２１はギター２０１１に、花飾り２０２２〜２０２６は花飾り２０１２〜２０２６に相当する。物体２０２７および物体２０２８は、物体２０１７、物体２０１８に相当する。なお、画像２０３０は、花飾りが外され、ギター２０３１が単体で置かれている時に撮影したものである。
【００１７】
次に、図２に示す３枚の画像を例に、図３を用いて具体的な処理について説明する。図３は、第１の実施形態における画像処理装置の処理フローを示す図である。図３は、具体的には、本実施形態における重要被写体抽出装置が画像群を取得して重要被写体が含まれる画像を抽出し出力する際の流れを示したフローチャートである。まず、図３（ａ）のフローチャートを参照しながら処理の全体の流れを説明する。
【００１８】
画像群取得工程Ｓ３０１では、画像取得部１０１が、指定されたイベントに関連する画像群を取得し、保持する。本実施形態における画像群は、フォトブックを作る対象となる、結婚式で撮影された複数枚の画像から構成される。取得する画像の指定方法としては、画像が保存されているディレクトリを指定する方法としても良いし、イベントが行われた日時を指定して該当する範囲の画像を取得する方法としても良い。また、画像取得部１０１は、画像に予め付与された撮影位置情報等に基づいてイベントで撮影された画像を推定し、取得しても良い。また、ユーザがＵＩ（ユーザインタフェース）等を介して手動で選択した画像を、画像取得部１０１が取得しても良い。また、取得方法も、ネットワーク越しに取得する方法として良いし、コンピュータに接続されたカメラから取得する方法としても良い。また、画像取得部１０１は、複数個所から画像を取得しても良い。このように、画像の取得方法は特定の方法に限定されない。
【００１９】
サポート素材リスト取得工程Ｓ３０２では、サポート素材管理部１０２が、結婚式におけるサポート素材リストを取得し、保持する。図４は、本実施形態で使用するサポート素材リストの例を示す図である。図４の表には、サポート素材のＩＤ、サポート素材名称、辞書データのファイル名が含まれる。ただし、サポート素材の項目は、便宜上、本説明のために使用されるものであり、処理に使うものではない。そのため、リストに含まれている必要はない。
【００２０】
サポート素材リストに含まれる項目は、図４の表に限定するものではなく、機能や構成その他状況により項目を追加削減して良い。例えば、重要度のような項目を付与しておき、後の工程で被サポート被写体を抽出する際に、重要度の高いサポート素材によりサポートされる被サポート被写体を重要な被写体として扱う等の処理を行っても良い。また、図４の表において、辞書データの項目には、外部ファイルの名前が格納されているが、ここに直接辞書データが格納されても良い。なお、本実施形態において、サポート素材リストは、装置内にイベント種別ごとにあらかじめ定義され、必要に応じてその中から選択される。ただし、ユーザが手動でサポート素材リストを作成しても良いし、画像群の内容を解析してある程度自動で生成されても良い。また、取得方法も、ネットワーク越しに取得しても良く、特定の方法に限定されない。
【００２１】
被写体リスト取得工程Ｓ３０３では、Ｓ３０１で得られた画像群の中から、Ｓ３０２で得られたサポート素材リストが含まれているものが検出され、被サポート被写体リストとして出力される。なお、この工程の詳細については、図３（ｂ）を用いて後述する。
【００２２】
被写体含有画像リスト取得工程Ｓ３０４では、Ｓ３０１で得られた画像群の中から、Ｓ３０３で取得された被サポート被写体リストに含まれる各被サポート被写体が含まれている画像が抽出され、リストとして出力される。なお、この工程の詳細については、図３（ｃ）を用いて後述する。
【００２３】
画像選択枚数取得工程Ｓ３０５では、画像選択部１０９は、Ｓ１０１で取得された複数の画像から選択される画像の枚数の情報を取得する。本実施形態においてこの枚数は、フォトアルバムを作成するシステム側で決定され、決定された数字を本装置が取得する。なお、本実施形態において、画像選択部１０９が外部から選択する枚数を取得しているが、画像選択部１０９や本装置内の構成において、選択する枚数が決定されても良い。
【００２４】
画像選択工程Ｓ３０６では、画像選択部１０９が、Ｓ３０１で取得された画像の内、Ｓ３０５で取得された枚数の画像を選択する。本実施形態では、一例として、下記のような選択方法をとる。まず、画像選択部１０９は、被写体検索部１０８から得られた、被サポート被写体を撮影した複数の画像群を、枚数順に並び変える。また、画像選択部１０９は、被サポート被写体を撮影した各画像群において、複数の画像を審美性の順に並び変える。審美性の評価方法としてどのような方法を用いても良いが、本実施形態における審美性は、被サポート被写体の大きさ、構図等から評価される。その後、画像選択部１０９は、撮影された枚数が多い画像群から順に、各被サポート被写体を撮影した画像の中で一番審美性の高いものを1枚ずつ画像を選択していく。なお、画像の選択方法は特定の方法に限定されず、例えば、画像群の構成等によって手法を変えても良い。
【００２５】
以上、図３（ａ）を用いて、画像群から重要な被写体を抽出する処理の流れを説明した。次に、図３（ｂ）と図３（ｃ）を用いて被写体リスト取得工程Ｓ３０３と被写体含有画像リスト取得工程Ｓ３０４の詳細について説明する。
【００２６】
図３（ｂ）は、被写体リスト取得工程Ｓ３０３の詳細を示すフローチャートである。画像取得工程Ｓ３０３０１では、サポート素材検出部１０３、物体領域検出部１０４および被写体検索部１０８が、画像取得部１０１から１枚画像を取得する。
【００２７】
サポート素材検出工程Ｓ３０３０２では、サポート素材検出部１０３が、サポート素材管理部１０２から取得した図４に示すようなサポート素材リストから、サポート素材を１つずつ取得する。そして、サポート素材検出部１０３は、Ｓ３０３０１で画像取得部１０１から取得した画像の中に、そのサポート素材が含まれるかどうかを確認する。サポート素材を確認する方法としては、図４に示されるようなサポート素材リストに含まれる辞書データと、特定物体認識技術を利用する方法がある。
【００２８】
図５は、サポート素材検出部１０３が画像２０１０に対してサポート素材検出を試みた結果の例を示す図である。右側の画像５０１０がサポート素材検出結果の例であり、画像５０１０において、太線で囲まれた領域がサポート素材検出部１０３によってサポート素材として認識された部分であり、花２０１２〜２０１６の領域が検出されている。なお、本実施形態では、特定物体認識の方法として、Cannyを用いた特徴量検出器とAdaboostオブジェクト検出器を利用する。しかし、Haar-LikeやHOG、SIFT、SURFなどの特徴量や、Latent SVMやその他のBoosting手法などでも良く、画像中からサポート素材を検出する方法は特定の方法に限定されない。
【００２９】
全サポート素材検出完了確認工程Ｓ３０３０３では、サポート素材検出部１０３が、Ｓ３０３０１で取得された画像に対して、サポート素材管理部１０２から取得した被サポート素材リストに含まれる、すべてのサポート素材について認識を試みたかどうかを確認する。まだ認識を試みていないサポート素材がリストに存在する場合は（Ｓ３０３０３のＮｏ）、他のサポート素材を対象に、Ｓ３０３０２の処理が再度行われる。すべてのサポート素材について認識が完了している場合は（Ｓ３０３０３のＹｅｓ）、処理はサポート素材存在確認工程Ｓ３０３０４へ進む。
【００３０】
サポート素材存在確認工程Ｓ３０３０４では、サポート素材検出部１０３が、Ｓ３０３０１で取得された画像に対して、Ｓ３０３０２の処理の結果を利用して、サポート素材リストに含まれるサポート素材が１個以上検出されたかどうかを確認する。サポート素材の存在が確認されれば（Ｓ３０３０４のＹｅｓ）、処理は物体領域検出工程Ｓ３０３０５へ進み、確認されていない場合は（Ｓ３０３０４のＮｏ）、処理は全画像処理完了確認工程Ｓ３０３０９へ進む。
【００３１】
物体領域検出工程Ｓ３０３０５では、物体領域検出部１０４が、Ｓ３０３０１で取得された画像に対して、物体領域（被写体領域）検出処理を行う。本実施形態における物体領域検出処理は、所謂Objectness認識を行い物体が存在する領域を推定する処理である。なお、本実施形態におけるObjectness認識は、顕著度や色コントラスト、エッジ密度、領域分割手法を組み合わせて行われるが、画像中から物体を検出できる方法であれば、どのような方法を用いて認識しても良い。
【００３２】
図６は、物体領域検出部１０４が画像２０１０に対して画像２０１０に対して物体領域検出を試みた結果の例を示す図である。右側の画像６０１０が物体領域検出結果の例であり、画像６０１０において、太線で囲まれた領域が物体領域として認識された部分であり、ギター２０１１、花２０１２〜２０１６、背景に置かれた物体２０１７、２０１８がそれぞれ含まれる物体領域６０１１〜６０１８が検出されている。なお、ここでは説明の便宜上、ギター、花などの名称を用いるが、一般的には、物体領域検出部１０４の出力からわかることは「ここに物体が存在する」と言う事である。
【００３３】
また、サポート素材も物体であるから、当然のことながら物体領域として検出される。後の処理を簡便にするため、サポート素材領域と物体領域の領域が同じ物体を指す場合は、物体領域検出部１０４は、その物体を物体領域として扱わない。同じ物体であるかどうかの判断として、物体領域検出部１０４は、サポート素材領域と検出された物体領域の重なり具合を確認し、重なっていない面積の割合が、重なった面積の10%以下であれば、同じ物体であると判断する。そのため本実施形態では、物体領域検出部１０４は、花２０１２〜２０１６が含まれる物体領域６０１２〜６０１６を物体領域から除外する。なお、サポート素材と物体領域の同一性判定はどのような方法でも良く、パターメータも自由に設定されても良い。また、物体領域検出部１０４は本工程で同一性を判定せずに、別の工程においてサポート素材と物体領域の識別を行っても良い。
【００３４】
距離算出工程Ｓ３０３０６では、被写体特定部１０５が、サポート素材検出部１０３によって検出されたサポート素材と、物体領域検出部１０４によって検出された物体領域との距離を算出する。図７は、物体領域とサポート素材の距離リストの例を示す図である。図７の表には、サポート素材以外の物体領域６０１１、６０１７、６０１８の重心点と、サポート素材領域の重心点との距離が含まれている。なお、本実施形態のようにサポート素材が複数検出された場合は、被写体特定部１０５は、複数のサポート素材の重心を求め、その重心から物体領域までの距離を求める。
【００３５】
なお、本実施形態では、ひとつの画像の中に含まれる被サポート被写体がひとつだけであると仮定されているが、被写体特定部１０５は、例えば物体領域の位置関係から画像を複数に分割することによって複数の被写体を対象として処理をしても良い。また、被写体特定部１０５は、サポート素材全体ではなく、複数グループにクラスタリング等を行ったうえで距離を算出しても良く、画像の構成に応じて処理を変えても良い。また、本実施形態では、被写体特定部１０５は、１枚の画像から距離を算出しているが、複数の画像から距離を推定しても良いし、実空間での距離を推定しても良く、奥行き情報を利用しても良いし、また、被写体特定部１０５は、方向などの位置関係を利用しても良い。サポート素材と物体の関係を評価する事が出来れば、どのような方法を利用しても良く、関係性を示す表の構成も、図７の例に限定されない。
【００３６】
被写体特定工程Ｓ３０３０７では、被写体特定部１０５が、Ｓ３０３０６で算出された各サポート素材と各物体領域の距離、すなわち位置関係から、サポート素材によってサポートされている被サポート被写体を特定する。図７に示す表によると、サポート素材と一番距離が近いのは、物体領域６０１１である。そのため、本実施形態では、被写体特定部１０５は、物体領域６０１１に対応する物体（被写体）を、需要な被写体である被サポート被写体として設定する。なお、本実施形態では、被写体特定部１０５は、サポート素材と物体領域間の距離が一番近いものを被サポート被写体と設定したが、サポート素材と物体領域とが一定以上距離が離れて居たら被サポート被写体とはみなさない等の処理を行っても良い。また、被写体特定部１０５は、サポート素材との方向性などの位置関係を考慮したうえで、被サポート被写体を特定してもよい。また、被写体特定部１０５は、複数物体を同時に被サポート被写体として特定しても良い。このように、被写体特定の方法に特段の限定はない。
【００３７】
被写体リスト追加工程Ｓ３０３０８では、被写体特定部１０５が、Ｓ３０３０７において特定した被サポート被写体を、リストに追加する。図８は、被サポート被写体リストの例を示す図である。図８に示すリストには、被サポート被写体が登場した各画像について、被サポート被写体が含まれる領域と、被サポート被写体をサポートするサポート素材に関する情報が含まれる。なお、表における被サポート被写体領域情報に含まれる４つの数字は、左から、画像内における被サポート被写体領域の画像上端からの距離、画像左端からの距離、被サポート被写体領域の幅、被サポート被写体領域の高さを示す。なお、この表に含まれる情報は、撮影画像、サポート素材、被サポート被写体領域情報だけに限定するものではなく、処理に応じて他の情報が含まれ得る。
【００３８】
全画像処理完了確認工程Ｓ３０３０９では、被写体特定部１０５が、画像群取得工程Ｓ３０１で取得された画像群に含まれる全画像に対して、画像取得工程Ｓ３０３０１〜被写体リスト追加工程Ｓ３０３０８の処理が完了したかを確認する。すべての画像について一連の処理が完了していれば（Ｓ３０３０９のＹｅｓ）、処理は被写体クラスタリング工程Ｓ３０３１０へ進む。そうでなければ（Ｓ３０３０９のＮｏ）、処理はＳ３０３０１へ戻り、一連の処理（画像取得工程Ｓ３０３０１〜被写体リスト追加工程Ｓ３０３０８）が繰り返される。
【００３９】
被写体クラスタリング工程Ｓ３０３１０では、被写体クラスタリング部１０６が、図８に示す被サポート被写体リストのうち、被写体の外見的な類似性を用いて同一被写体を認識し、クラスタリングを行う。そして、被写体クラスタリング部１０６は、被サポート被写体リスト（図８）に対し、被サポート被写体ＩＤを付与したリストを出力する。
【００４０】
図９は、同一被サポート被写体を認識した例を示す図である。例えば、図２に示すように、画像２０１０のギター２０１１と、ギター２０２１は同じ被写体であるので、被写体クラスタリング部１０６は、被サポート被写体ＩＤ９０１を割り当てる。本実施形態では、被写体クラスタリング部１０６は、同一被写体に認識のために、SIFT局所特徴量と近似最近傍検索を行う方法を用いるが、どのような方法で実施しても良い。図９に示す被サポート被写体リストには、被サポート被写体のＩＤと、その被サポート被写体が登場する画像、サポート素材が含まれる。なお、これ以外の情報をリストも含まれ得る。また、画像群の中に被サポート被写体が見つからなかった場合は、これ以降の処理は省略されても良く、また、空リストとして扱い処理が行われても良い。
【００４１】
被写体辞書データ作成工程Ｓ３０３１１では、辞書データ作成部１０７が、Ｓ３０３１０でクラスタリングされた各クラスタの特徴量を計算する事によって、辞書データを作成する。図１０は、辞書データ作成部１０７により作成された、辞書ファイルのリストを示す図である。辞書ファイルは、対応する被サポート被写体を検出するための辞書データである。辞書データ作成部１０７が辞書を作成する際に特徴量として使用する手法は、HOGや、Haar-Likeが挙げられるが、どのような方法を利用しても良い。また、本実施形態において、学習方法としては、辞書データ作成部１０７は、Boostingを利用するが、他の手法を利用しても良い。
【００４２】
以上が、被写体リスト取得工程Ｓ３０３の処理内容であり、この結果、図１０のようなリストを得ることが出来る。
【００４３】
次に、被写体含有画像リスト取得工程Ｓ３０４について説明する。Ｓ３０４では、被写体検索部１０８が、Ｓ３０３が出力する図１０に示すようなリストに含まれる各被サポート被写体が含まれている画像を、サポート素材の有無に関わらず、画像群の中から抽出する。なお、画像群の状況や、Ｓ３０３で取得されたリストの内容によっては、この工程を省略しても良い。図３（ｃ）は、被写体含有画像リスト取得工程Ｓ３０４の詳細を示すフローチャートである。
【００４４】
画像取得工程Ｓ３０４０１では、画像取得部１０１が、図３（ｂ）の画像取得工程Ｓ３０３０１と同様の処理を行う。被写体検出工程Ｓ３０４０２では、被写体検索部１０８が、図１０に示すリストに含まれる各被サポート被写体の辞書データを用いて、図３（ｂ）のサポート素材検出工程Ｓ３０３０２と同様の処理を行う。ただし、検出する対象は、サポート素材リストに含まれる各サポート素材ではなく、Ｓ３０３により取得された図１０に示すリストに含まれる被サポート被写体である点が異なる。
【００４５】
被写体検出確認工程Ｓ３０４０３では、被写体特定部１０５が、Ｓ３０４０１で取得された画像の中に、Ｓ３０４０２で被サポート被写体を検出できたかどうかを確認する。検出された場合は（Ｓ３０４０３のＹｅｓ）、処理は被写体含有画像リスト追加工程Ｓ３０４０４へ進みし、そうでない場合は（Ｓ３０４０３のＮｏ）、処理は全被写体認識完了確認工程Ｓ３０４０５へ進む。
【００４６】
被写体含有画像リスト追加工程Ｓ３０４０４では、被写体特定部１０５が、Ｓ３０４０２で検出された被写体が含まれる画像を図９のリストに追加する。図１１は、検出された被写体情報が追加されたリストの例を示す図である。本実施形態では、図２の画像２０３０にはサポート素材が含まれていなかったので、ギター２０３０１が被サポート被写体としては認識されていなかった。しかし、画像２０３０には、被サポート被写体ＩＤ９０１の画像２０１０のギター２０１１と、画像２０２０のギター２０２１と類似の被写体が含まれているため、図１１のリストに追加されている。
【００４７】
全被写体認識完了確認工程Ｓ３０４０５では、被写体特定部１０５が、Ｓ３０４０１で取得された全画像に対して、被サポート被写体リストに含まれるすべての被サポート被写体の検出を試みたかを確認する。確認されれば（Ｓ３０４０５のＹｅｓ）、処理はＳ３０４０６へ進み、確認されなければ（Ｓ３０４０５のＮｏ）、処理はＳ３０４０３へ戻る。
【００４８】
全画像認識完了確認工程Ｓ３０４０６では、被写体特定部１０５が、画像群取得工程Ｓ３０１で取得された画像群に含まれる全画像に対して、画像取得工程Ｓ３０４０１〜全被写体認識完了確認工程Ｓ３０４０５までの処理を実施したかを確認する。すべての画像に対して一連の処理を完了していれば（Ｓ３０４０６のＹｅｓ）、Ｓ３０４の処理は終了する。そうでない場合は（Ｓ３０４０６のＮｏ）、処理はＳ３０４０１へ戻り、一連の処理（画像取得工程Ｓ３０４０１〜全被写体認識完了確認工程Ｓ３０４０５）が実施される。
【００４９】
以上が、被写体含有画像リスト取得工程Ｓ３０４の処理内容であり、この結果、図１１のようなリストを得ることが出来る。
【００５０】
このように、第１の実施形態における画像処理装置は、サポート素材を検出して、そのサポート素材がサポートする被サポート素材を特定する事によって、重要な被写体を推定し、画像を選択する。このようにすることで、本実施形態における画像選択装置は、そのイベントにおける重要な被写体が何であるかと言う事前知識を必要とせずに、重要な被写体が含まれる画像を推定して選択する事が可能になる。
【００５１】
具体的には、本実施形態における画像処理装置は、写真群から写真を選択してフォトアルバム等を作成する際に、撮影した各画像の中から、第１のサポート素材として、重要な被写体を探す手掛かりである被写体を取得する。そして、画像処理装置は、そのサポート対象となっている被写体を重要被写体として設定することで、イベントにおいて重要な被写体を効果的に抽出する事が出来る。例えば結婚式の場合、重要な被写体は花などで飾り付けられている事が多いので、花をサポート素材として考える。他のイベントの場合、例えば運動会であれば、重要な被写体が紅白の花飾りや万国旗等で飾り付けられている場合が多いため、同じくこれらをサポート素材として考える事が出来る。
【００５２】
これによって、重要な被写体として何が存在するかわからなくても、画像処理装置は、サポート素材によってサポートされている被写体を重要被写体として検出するため、ユーザは重要被写体を指定する必要が無い。また、画像処理装置は、被写体のサポートされ具合によって被写体の重要性を評価するため、写り具合や頻度に関わらず、イベントにおいて重要と思われる被写体を効果的に抽出する事が出来る。さらに、撮影時にパラメータを付与する必要が無いので、本実施形態は、どのようなカメラで撮影した画像に対してでも適用可能である。例えばグループのメンバー各々が撮影した画像を集めて、その中から重要な被写体を抽出する事が出来る。
【００５３】
［第２の実施形態］
以下、図面を参照して本発明の第２の実施形態を詳細に説明する。第１の実施形態との主な差異は、サポート素材リストを外部から取得するのではなく、典型被写体リストを取得する点である。また、別の差異は、画像群の中からサポート素材を推定し、そのサポート素材がサポートする被写体を重要被写体として認識する点である。
【００５４】
（全体構成図と機能）
図１２は、本実施形態の重要被写体抽出装置の内部構成を示したブロック図である。第１の実施形態との差異は、典型被写体リスト管理部１２０１、典型被写体検出部１２０２、サポート素材特定部１２０３、素材クラスタリング部１２０４の存在であり、以下これらについて説明する。
【００５５】
典型被写体リスト管理部１２０１は、類似のイベントで良く撮影される典型被写体のリストを取得して保持する。また、典型被写体リスト管理部１２０１は、要求に応じてリストを出力する。典型被写体検出部１２０２は、画像と典型被写体リストを取得し、画像から、第２の素材としての典型被写体の検出を行い、検出結果を出力する。サポート素材特定部１２０３は、典型被写体検出結果と物体領域検出結果を取得し、サポート素材を特定して出力する。素材クラスタリング部１２０４は、サポート素材として特定された被写体のうち同一の物を認識し、サポート素材リストとして出力する。素材辞書データ作成部１２０５は、素材クラスタリング部１２０４の出力するリストを取得し、辞書データを作成して出力する。
【００５６】
（具体的な処理例）
以下、本実施形態における画像処理装置において、結婚式において撮影された複数枚の画像からなる画像群が入力され、典型被写体リストに基づいて、入力された画像群の中から重要被写体が含まれる画像を抽出し出力する状況を想定し、説明する。
【００５７】
図１３は、撮影された複数枚の画像群のうち３枚の画像を示す図である。図１３に示す３枚の画像を例に、図１４に示す処理フローを用いて具体的な処理について説明する。ここで、画像１３０１０は、結婚式会場に置かれたウェルカムボード１３０１３に風船１３０１４〜１３０１７に代表される風船を使って飾り付けられている様子を撮影したものである。なお、物体１３０１１、１３０１２は、結婚式会場に置かれた観葉植物である。画像１３０２０は、結婚式会場に置かれたウェディングケーキを撮影した画像である。画像１３０２０において、ウェディングケーキ１３０２３に、風船１３０２４〜１３０２７に代表される風船を使って飾り付けられている。なお、物体１３０２１、１３０２２は、結婚式会場に置かれた観葉植物である。なお、画像１３０３０は、ギター１３０３１が風船１３０３２〜１３０３５に代表される風船を使って飾り付けられている様子を撮影したものである。
【００５８】
図１４は、本実施形態における画像処理装置の処理フローを示す図である。図１４は、具体的には、本実施形態における画像処理装置が画像群を取得して重要被写体が含まれる画像を抽出し出力する際の流れを示したフローチャートである。
【００５９】
図１４（ａ）は、全体の処理の流れを示している。画像群取得工程Ｓ３０１〜画像選択工程Ｓ３０６は、第１の実施形態の処理と同様である。ただし、サポート素材リスト取得工程Ｓ３０２の内容が異なる。以下、サポート素材リスト取得工程Ｓ３０２の内容を図１４（ｂ）のフローチャートを用いて説明する。
【００６０】
典型被写体リスト取得工程Ｓ３０２０１では、典型被写体リスト管理部１２０１が、結婚式における典型被写体リストを取得し、保持する。本実施形態において、典型被写体リストは、装置内にイベント種別ごとにあらかじめ定義され、典型被写体リスト管理部１２０１が、必要に応じてその中から選択する。ただし、ユーザが手動で典型被写体リストを作成しても良いし、典型被写体リスト管理部１２０１が、画像群の内容を解析して、ある程度自動で生成しても良い。また、取得方法も、ネットワーク越しに取得する方法としても良い。このように、画像の取得方法は特定の方法に限定されない。
【００６１】
図１５は、本実施形態で使用する典型被写体リストの例を示す図である。図１５の表には、典型被写体のＩＤ、典型被写体名称、辞書データが含まれる。ただし、サポート素材の項目は、説明の便宜上の物であり、処理に使うものではない。そのため、リストに含まれていなくても良い。また、本実施形態では、辞書データは外部ファイルに記録され、このリストにはそのファイル名が記録されているが、データを直接リストに含んでも良い。典型被写体リストに含まれる項目は、上記項目に限定するものではなく、機能や構成その他状況により項目を追加削減して良い。例えば、重要度と言う項目を追加して、典型被写体ごとに異なる重要度を付与し、これ以降の処理で活用する等しても良い。
【００６２】
画像取得工程Ｓ３０２０２は、第１の実施形態における画像取得工程Ｓ３０３０１と同様である。ただし、第１の実施形態に加えて、典型被写体検出部１２０２が画像取得部１０１から画像を取得する。
【００６３】
典型被写体検出工程Ｓ３０２０３では、典型被写体検出部１２０２が、典型被写体リスト管理部１２０１から取得した図１５に示されるような典型被写体リストから、典型被写体を１つずつ取得する。そして、典型被写体検出部１２０２は、Ｓ３０２０２で取得された画像の中に、取得した典型被写体が含まれるかどうかを確認する。この確認の方法は、第１の実施形態におけるサポート素材検出工程Ｓ３０３０２と同様である。図１６は、本実施形態における典型被写体検出結果の例を示す図である。右側の画像１６０１０において、太枠で囲まれている領域は、ウェルカムボード１３０１３が典型被写体として検出されていることを示している。
【００６４】
全典型被写体検出完了確認工程Ｓ３０２０４では、典型被写体検出部１２０２が、Ｓ３０２０２で取得された画像に対して、典型被写体リスト管理部１２０１から取得した典型被写体リストに含まれる、すべての典型被写体について認識を試みたかどうかを確認する。本実施形態における典型被写体リストは図１５に示され、このリストには３つの典型被写体が含まれている。まだ認識を試みていない典型被写体がリストに存在する場合は、典型被写体検出部１２０２は、他の典型被写体を取得して典型被写体検出工程Ｓ３０２０３で認識を試みる。すべての典型被写体について認識が完了している場合は（Ｓ３０２０４のＹｅｓ）、処理は典型被写体存在確認工程Ｓ３０２０５へ進む。
【００６５】
典型被写体存在確認工程Ｓ３０２０５では、典型被写体検出部１２０２が、Ｓ３０２０２で取得された画像に対して、典型被写体検出工程Ｓ３０２０３を適用し、典型被写体リストに含まれる典型被写体が１個以上検出されたかどうかを確認する。典型被写体の存在が確認されれば（Ｓ３０２０５のＹｅｓ）、処理は物体領域検出工程Ｓ３０２０６へ進み、確認されていない場合は（Ｓ３０２０５のＮｏ）、処理は全画像処理完了確認工程Ｓ３０２１０へ進む。
【００６６】
物体領域検出工程Ｓ３０２０６は、第１の実施形態における物体領域検出工程Ｓ３０３０５と同様である。図１７は、本実施形態における物体領域検出結果の例を示す図である。右側の画像１７１０において、観葉植物である物体１３０１１、１３０１２と、ウェルカムボード１３０１３と、風船１３０１４〜１３０１７に代表される風船がそれぞれ含まれる物体領域１７０１１〜１７０１７が検出されている。ここでは、典型被写体も物体であるから、当然のことながら物体領域として検出される。後の処理を簡便にするため、典型被写体の領域と物体領域の領域が同じ物体を指す場合は、物体領域検出部１０４は、その典型被写体領域を物体領域として扱わない。同じ物体であるかどうかの判断として、物体領域検出部１０４は、典型被写体領域と検出された物体領域の重なり具合を確認し、重なっていない面積の割合が、重なった面積の１０%以下であれば、同じ物体であると判断する。そのため本実施形態では、物体領域検出部１０４は、ウェルカムボード１３０１３が含まれる物体領域１７０１３を物体領域から除外する。なお、典型被写体と物体領域の同一性判定はどのような方法でも良く、パターメータも自由に設定されても良い。また、本工程で同一性を判定せずに、別の工程において典型被写体と物体領域の識別を行っても良い。
【００６７】
距離算出工程Ｓ３０２０７では、サポート素材特定部１２０３が、典型被写体検出部１２０２によって検出された典型被写体と、物体領域検出部１０４によって検出された物体領域の距離を算出する。算出方法は、第１の実施形態の距離算出工程Ｓ３０３０６で説明した方法と同様である。図１８は、本実施形態における物体領域と典型被写体の距離リストの例を示す図である。
【００６８】
サポート素材特定工程Ｓ３０２０８では、サポート素材特定部１２０３が、Ｓ３０２０７で算出された典型被写体と各物体領域の距離、すなわち位置関係から、典型被写体をサポートしているサポート素材を特定する。特定方法については、対象は異なるが、第１の実施形態の被写体特定工程Ｓ３０３０７で説明した方法と同様である。
【００６９】
サポート素材リスト追加工程Ｓ３０２０９では、サポート素材特定部１２０３が、Ｓ３０２０８において特定したサポート素材を、リストに追加する。図１９は、本実施形態において検出されたサポート素材の例を示す図である。このリストには、サポート素材ＩＤ、撮影画像、典型被写体等の情報が含まれるが、これらの情報に限るものではなく、必要に応じて項目を追加、削除することも可能である。
【００７０】
全画像処理完了確認工程Ｓ３０２１０では、サポート素材特定部１２０３が、Ｓ３０１で取得された画像群全体に対して、典型被写体リスト取得工程Ｓ３０２０１〜サポート素材リスト追加工程Ｓ３０２０９の処理が完了したかを確認する。すべての画像について一連の処理が完了していれば（Ｓ３０２１０のＹｅｓ）、処理はＳ３０２１１へ進む。そうでなければ（Ｓ３０２１０のＮｏ）、処理はＳ３０２０２へ戻り、一連の処理（典型被写体リスト取得工程Ｓ３０２０１〜サポート素材リスト追加工程Ｓ３０２０９）が繰り返される。
【００７１】
サポート素材リストクラスタリング工程Ｓ３０２１１は、第１の実施形態の被写体クラスタリング工程Ｓ３０３１０と同様である。すなわち、素材クラスタリング部１２０４が、図１９に示すサポート素材リストのうち、被写体の外見的な類似性を用いて同一被写体を認識し、クラスタリングを行う。素材クラスタリング部１２０４は、各クラスタにユニークなサポート素材ＩＤを付与し、図２０のようにサポート素材毎のリスト作成処理を行う。図２０は、本実施形態における同一サポート素材リストを識別した例を示す図である。図２０において、同一のサポート素材には、同じサポート素材ＩＤが付されている。
【００７２】
サポート素材辞書データ作成工程Ｓ３０２１２では、素材辞書データ作成部１２０５が、図２０の各リストから特徴量を算出し学習して辞書データを作成する。特徴量の算出手法としてはHOGや、Haar-Likeが挙げられるが、どのような方法を利用しても良い。また、本実施形態において、学習方法としては、素材辞書データ作成部１２０５は、Boostingを利用するが、手法を限定するものではなく他の手法を利用しても良い。算出した結果は図２１のようになる。図２１は、本実施形態において作成されたサポート素材リストの例を示す図である。なお、図２１の表において、サポート素材の項目は、説明の便宜上の物であり、処理に使うものではない。また、必要に応じて表の項目を追加削除して良もい。
【００７３】
以上が、サポート素材リスト取得工程Ｓ３０２の処理内容であり、この結果、図２１のようなリストを得ることが出来る。
【００７４】
このように、第２の実施形態における画像処理装置は、まず、典型的な被写体を検出して、その典型的な被写体をサポートするサポート素材を特定する事によって、そのイベントにおけるサポート素材を特定する。その後、画像処理装置は、特定したサポート素材を利用して、そのイベントにおける重要な被写体を推定し、画像を選択する。このようにすることで、本実施形態における画像選択装置は、そのイベントにおける固有の重要な被写体が何であるか、重要な被写体を飾り付けるイベントならではの方法は何であるか、と言う事前知識を必要とせずに、重要な被写体が含まれる画像を選択する事が可能になる。
【００７５】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７６】
１０  画像処理装置、１０１  画像取得部、１０２  サポート素材リスト管理部１０２、サポート素材検出部１０３、物体領域検出部１０４、被写体特定部１０５、被写体クラスタリング部１０６、辞書データ作成部１０７、被写体検出部１０８、画像選択部１０９
【図１】
2017058775.tif 000003
【図２】
2017058775.tif 000004
【図３】
2017058775.tif 000005
【図４】
2017058775.tif 000006
【図５】
2017058775.tif 000007
【図６】
2017058775.tif 000008
【図７】
2017058775.tif 000009
【図８】
2017058775.tif 000010
【図９】
2017058775.tif 000011
【図１０】
2017058775.tif 000012
【図１１】
2017058775.tif 000013
【図１２】
2017058775.tif 000014
【図１３】
2017058775.tif 000015
【図１４】
2017058775.tif 000016
【図１５】
2017058775.tif 000017
【図１６】
2017058775.tif 000018
【図１７】
2017058775.tif 000019
【図１８】
2017058775.tif 000020
【図１９】
2017058775.tif 000021
【図２０】
2017058775.tif 000022
【図２１】
2017058775.tif 000023
【図２２】
2017058775.tif 000024