(57)【要約】【課題】分類対象である画像データ内の複数の顔画像データを適切な分類先に分類する。【解決手段】複数の顔画像データと顔画像データグループとの類似度を示す情報を入力する類似度入力部１４と、類似度入力部１４によって入力された類似度を示す情報に基づいて顔画像データを、顔画像データグループに分類する分類部１６と、分類された顔画像データを分類確定顔画像データとして分類対象から除外するとともに、分類確定顔画像データの分類先の顔画像データグループを分類確定顔画像データグループとして分類先から除外する分類確定データ除外部１７と、分類部１６及び分類確定データ除外部１７による処理を繰り返すように制御する繰り返し処理制御部１８と、を備える画像分類装置１を提供する。【選択図】図１
2014048722.tif 000002
【特許請求の範囲】
【請求項１】
画像データ内の複数の顔画像データを、類似度に基づいて分類する画像分類装置であって、
分類対象である画像データ内の複数の顔画像データと分類先である分類済みの顔画像データグループとの類似度を示す情報を入力する類似度入力手段と、
前記類似度入力手段によって入力された類似度を示す情報に基づいて、前記分類対象である顔画像データを、前記分類先である顔画像データグループに分類する分類手段と、
前記分類手段によって分類された分類対象の顔画像データを分類確定顔画像データとして前記分類対象から除外するとともに、前記分類確定顔画像データの分類先の顔画像データグループを分類確定顔画像データグループとして前記分類先から除外する分類確定データ除外手段と
前記分類手段及び前記分類確定データ除外手段による処理を繰り返すように制御する繰り返し処理制御手段と、を備える画像分類装置。
【請求項２】
前記分類手段が、前記類似度を示す情報のうち、前記類似度のスコアが所定の閾値に満たない情報を除外する、請求項１に記載の画像分類装置。
【請求項３】
前記繰り返し処理制御手段が、前記分類対象である複数の顔画像データ全てが、前記顔画像データグループに分類される、または、前記顔画像データグループのいずれにも分類することができない分類不可データと決定される、まで、前記分類手段及び前記分類確定データ除外手段による処理を繰りかえすように制御する、請求項１または２に記載の画像分類装置。
【請求項４】
前記分類不可データである前記分類対象の顔画像データを、新たに、前記分類先である顔画像データグループとして設定する顔画像データグループ設定手段をさらに備える、請求項３に記載の画像分類装置。
【請求項５】
前記分類先である顔画像データグループに日時情報が設定されており、前記分類対象である前記画像データの作成日と前記分類先である顔画像データグループに設定された日時情報とを比較し、前記作成日が、前記日時情報よりも前である場合には、前記日時情報に係る前記顔画像データグループを前記分類先から除外する不適分類先除外手段をさらに備える、請求項１〜４のいずれか一項に記載の画像分類装置。
【請求項６】
前記分類対象である画像データを入力する画像データ入力手段と、
前記画像データ入力手段により入力された前記画像データ内の前記複数の顔画像データの顔特徴量を導出し、該顔特徴量に基づき、前記複数の顔画像データと前記分類先である顔画像データグループとの類似度を算出する類似度算出手段と、をさらに備える、請求項１〜５のいずれか一項に記載の画像分類装置。
【請求項７】
画像データ内の複数の顔画像データを、類似度に基づいて分類する画像分類方法であって、
分類対象である画像データ内の複数の顔画像データと分類先である分類済みの顔画像データグループとの類似度を示す情報を入力する類似度入力ステップと、
前記類似度入力ステップにおいて入力された類似度を示す情報に基づいて、前記分類対象である顔画像データを、前記分類先である顔画像データグループに分類する分類ステップと、
前記分類ステップにおいて分類された分類対象の顔画像データを分類確定顔画像データとして前記分類対象から除外するとともに、前記分類確定顔画像データの分類先の顔画像データグループを分類確定顔画像データグループとして前記分類先から除外する分類確定データ除外ステップと
前記分類ステップ及び前記分類確定データ除外ステップにおける処理を繰り返すように制御する繰り返し処理制御ステップと、を含む画像分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像分類装置及び画像分類方法に関する。
【背景技術】
【０００２】
従来、画像データを適切に整理する等の目的で、画像データに含まれる人物の顔画像データを、事前に登録されている人物の顔画像データに係る顔画像データグループのいずれかに分類する方法が知られている。当該分類方法は、分類対象である画像データに含まれる人物の顔画像データについて、事前に登録されている顔画像データグループとの類似している確率（類似度）を算出し、当該類似度が一定以上の顔画像データグループに、分類対象の顔画像データを分類するものである。
【０００３】
具体的に、分類対象である顔画像データの、顔画像データグループへの分類方法としては、画像データから顔画像データである範囲を特定した後に、顔画像データと登録済みの顔画像データグループとの類似度を算出し、類似度が一定の閾値を上回った場合に、顔画像データを、当該顔画像データグループに分類する方法が知られている（例えば特許文献１参照）。ここでの類似度の算出は、目や口などの形状を示す特徴量を決め、顔画像データと登録済みの顔画像データグループとの間の各特徴量の差分値の逆数を求めることにより行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２７０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法は、単に、分類先候補である顔画像データグループとの類似度が一定以上の顔画像データ（分類対象）を当該顔画像データグループに分類する、というＡＰＬロジックにより分類するものである。よって、例えば、分類対象の画像データが写真であり、該写真に複数の顔画像データ（複数の人物）が存在し、該複数の顔画像データが同一の顔画像データグループと一定以上の類似度となった場合には、これらの複数の顔画像データは同一の顔画像データグループに分類されることとなる。通常、同一の写真内の複数の顔画像データは異なる人物に係るものであるため、同一の顔画像データグループに分類されるべきではないが、従来の方法のように、単に、類似度が一定以上であるか否かで分類先を判定している場合には、このような、同一写真の複数の顔画像データが同一の顔画像データグループに分類されるという事態が発生しえてしまう。
【０００６】
本発明は上記実情に鑑みてなされたものであり、分類対象である画像データ内の複数の顔画像データを適切な分類先に分類することができる画像分類装置及び画像分類方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像分類装置は、画像データ内の複数の顔画像データを、類似度に基づいて分類する画像分類装置であって、分類対象である画像データ内の複数の顔画像データと分類先である分類済みの顔画像データグループとの類似度を示す情報を入力する類似度入力手段と、類似度入力手段によって入力された類似度を示す情報に基づいて、分類対象である顔画像データを、分類先である顔画像データグループに分類する分類手段と、分類手段によって分類された分類対象の顔画像データを分類確定顔画像データとして分類対象から除外するとともに、分類確定顔画像データの分類先の顔画像データグループを分類確定顔画像データグループとして分類先から除外する分類確定データ除外手段と、分類手段及び分類確定データ除外手段による処理を繰り返すように制御する繰り返し処理制御手段と、を備える。
【０００８】
この画像分類装置では、画像データ内の複数の顔画像データのうち、類似度に基づいて分類先に分類された顔画像データついては、分類確定顔画像データとして分類対象から除外され、当該分類確定顔画像データに係る分類先の顔画像データグル―プについては、分類確定顔画像データグループとして分類先から除外される。分類確定顔画像データグループが分類先から除外されることにより、未だ分類されていない分類対象顔画像データが、分類確定顔画像データに係る分類先である分類確定顔画像データグループに分類されることを防止できる。すなわち、画像データに含まれる複数の顔画像データが、同一の顔画像データグループに分類されるという事態を防止することができる。同一の画像データに含まれる複数の顔画像データは通常異なる人物に係るものであると考えられるため、画像データに含まれる複数の顔画像データを同一の顔画像データグループに分類しないように制御することで、顔画像データを適切な分類先に分類することに寄与できる。
【０００９】
以上より、本発明によれば、分類対象である画像データ内の複数の顔画像データを適切な分類先に分類することができる。
【００１０】
また、本発明に係る画像分類装置は、分類手段が、類似度を示す情報のうち、類似度のスコアが所定の閾値に満たない情報を除外することが好ましい。
【００１１】
類似度が所定条件を満たさない情報を除外することで、不適切な分類を防止し、分類対象の適切な分類先への分類をより確実なものとすることができる。
【００１２】
また、本発明に係る画像分類装置は、繰り返し処理制御手段が、分類対象である複数の顔画像データ全てが、顔画像データグループに分類される、または、顔画像データグループのいずれにも分類することができない分類不可データと決定される、まで、分類手段及び分類確定データ除外手段による処理を繰りかえすように制御することが好ましい。
【００１３】
全ての顔画像データについて分類先の決定に関する処理を行うことで、分類対象の適切な分類先への分類をより確実なものとすることができる。
【００１４】
また、本発明に係る画像分類装置は、分類不可データである分類対象の顔画像データを、新たに、分類先である顔画像データグループとして設定する顔画像データグループ設定手段をさらに備えることが好ましい。
【００１５】
分類先が存在しなかった分類不可データについては、新たな顔画像データグループとして設定することで、その後に異なる画像データの顔画像データについて分類を行う際に更なる分類先とすることができる。このように、適切な分類先が存在しなかった分類対象の顔画像データを、新たな顔画像データグループとすることで、分類対象の適切な分類先への分類をより確実なものとすることができる。
【００１６】
また、本発明に係る画像分類装置は、分類先である顔画像データグループに日時情報が設定されており、分類対象である画像データの作成日と分類先である顔画像データグループに設定された日時情報とを比較し、作成日が、日時情報よりも前である場合には、日時情報に係る顔画像データグループを分類先から除外する不適分類先除外手段をさらに備えることが好ましい。
【００１７】
ある顔画像データグループの特定の日時情報よりも前に作成された画像データについては、当該顔画像データグループに分類されえない、と判断可能な日時情報を顔画像データグループに設定しておくことで、不適切な分類を防止し、分類対象の適切な分類先への分類をより確実なものとすることができる。
【００１８】
また、本発明に係る画像分類装置は、分類対象である画像データを入力する画像データ入力手段と、画像データ入力手段により入力された画像データ内の複数の顔画像データの顔特徴量を導出し、該顔特徴量に基づき、複数の顔画像データと分類先である顔画像データグループとの類似度を算出する類似度算出手段と、をさらに備えることが好ましい。
【００１９】
分類対象である画像データの入力、及び、当該画像データ内の複数の顔画像データと顔画像データグループとの類似度の算出を行うことで、顔画像データについての類似度の算出から分類先への分類までを、一元的に行うことができる。
【００２０】
また、本発明に係る画像分類方法は、画像データ内の複数の顔画像データを、類似度に基づいて分類する画像分類方法であって、分類対象である画像データ内の複数の顔画像データと分類先である分類済みの顔画像データグループとの類似度を示す情報を入力する類似度入力ステップと、類似度入力ステップにおいて入力された類似度を示す情報に基づいて、分類対象である顔画像データを、分類先である顔画像データグループに分類する分類ステップと、分類ステップにおいて分類された分類対象の顔画像データを分類確定顔画像データとして分類対象から除外するとともに、分類確定顔画像データの分類先の顔画像データグループを分類確定顔画像データグループとして分類先から除外する分類確定データ除外ステップと、分類ステップ及び分類確定データ除外ステップにおける処理を繰り返すように制御する繰り返し処理制御ステップと、を含む。この画像分類方法は、上述の画像分類装置と同様な効果を奏することができる。
【発明の効果】
【００２１】
本発明によれば、分類対象である画像データ内の複数の顔画像データを適切な分類先に分類することができる画像分類装置及び画像分類方法を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像分類装置の機能構成を示す図である。
【図２】本発明の実施形態に係る画像分類装置の分類処理等の概要を示す図である。
【図３】本発明の実施形態に係る画像分類装置の新規の顔画像データグループ設定イメージを示す図である。
【図４】本発明の実施形態に係る画像分類装置のハードウェア構成を示す図である。
【図５】本発明の実施形態に係る画像分類装置の処理フローを示す図である。
【図６】本発明の実施形態に係る画像分類装置の分類処理内容を示す図である。
【図７】本発明の実施形態に係る画像分類装置の分類処理内容を示す図である。
【図８】本発明の実施形態に係る画像分類装置の分類処理内容を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面と共に本発明に係る画像分類装置及び画像分類方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００２４】
デジタルカメラ等で写真を撮影して画像データを取得したユーザは、通常、画像データを分類、整理する。例えば、複数人を被写体として撮影を行った場合には、被写体となっている人物毎にその人物が写っている写真をまとめることが考えられる。ユーザが、個々の写真に写っている人物を確認して、分類、整理を行うこととすると非常に手間がかかる。
【００２５】
本発明の実施形態に係る画像分類装置は、画像データを自動で分類、整理することで、ユーザによる分類作業を軽減するとともに、画像データの閲覧時に容易に目的の画像を閲覧できるようにするものである。画像データ分類装置は、例えば事業者が運営するサーバである。画像分類装置は、移動体通信網等のネットワークを介して、ユーザに用いられる端末と接続されており、互いに情報を送受信することができる。当該画像分類装置は、ユーザが画像分類装置にアップロードした画像データ（例えば写真）を自動分類する。本発明に係る画像分類装置による画像データの自動分類方法は、画像データに含まれる顔画像データを、当該顔画像データに係る人物と同一人物の登録済みの顔画像データグループに分類するものである。
【００２６】
まず、図１及び図２を参照して、本実施形態に係る画像分類装置１の機能を説明する。図１は、本発明の実施形態に係る画像分類装置１の機能構成を示す図である。図２は、本発明の実施形態に係る画像分類装置の分類処理等の概要を示す図である。図１に示すように、本実施形態に係る画像分類装置１は、画像データ入力部１１と、顔画像データグループ記憶部１２と、類似度算出部１３と、類似度入力部１４と、不適分類先除外部１５と、分類部１６と、分類確定データ除外部１７と、繰り返し処理制御部１８と、顔画像データグループ設定部１９と、分類結果出力部２０と、分類状態記憶部２１と、を備えて構成される。画像分類装置１は、例えば、事業者が運営するサーバである。画像分類装置１は、画像データに含まれる複数の顔画像データを、類似度に基づいて分類する。
【００２７】
画像データ入力部１１は、分類対象である画像データを入力する画像データ入力手段である。ここで、画像データとは、例えば、ユーザによってデジタルカメラで撮影された写真データ等である。画像データは、作成日が自動で設定されるものとし、画像データがデジタルカメラで撮影された写真である場合には、撮影されたタイミングで、撮影日時等の付加情報（ｅｘｉｆ情報等）が設定される。画像データ入力部１１は、ユーザ（画像データがデジタルカメラ等で撮影された写真である場合には、該デジタルカメラのユーザ）によって作成後、例えばインターネットを介してサーバ（画像分類装置１）にアップロードされた画像データを、分類対象として入力する。本実施形態においては、図２に示すように、画像データ入力部１１は、複数の顔画像データが含まれる画像データ３０を入力することとする。
【００２８】
顔画像データグループ記憶部１２は、画像データ入力部１１により入力された画像データに含まれる顔画像データ（分類対象）の分類先である、分類済みの顔画像データグループを記憶するものである。ここで、顔画像データとは、画像データに含まれる人物に係る顔画像のデータである。画像データに含まれる顔画像データの特定は、例えば、画像データに対して顔画像データ検出用に用意されたテンプレートを用いて顔画像データを探索し、画像データのうち該テンプレートと高い相関性を示した部分を顔画像データとして特定することにより行われる。顔画像データグループとは、１つ以上の顔画像データからなるグループであり、同一の顔画像データグループに含まれる複数の顔画像データは、同一人物に係るものと想定されるものである。よって、同一の顔画像データグループ内の顔画像データは、相互に一定以上の類似度を有する。なお、異なる顔画像データグループに係る人物は、必ずしも異なる人物ではなく、これらの顔画像データグループに含まれる顔画像データの顔の向き（詳細は後述）の相違によっては、同一人物となる場合もある。なお、顔画像データグループテーブルに含まれる顔画像データグループは、グループｉｄで区別できる。グループｉｄは、例えば、顔画像データグループテーブルが設定される際に自動で若番から設定されるものとすることができる。
【００２９】
顔画像データに関しての類似度は、顔特徴量に基づいて算出される。ここで、顔特徴量とは、例えば、目や口などの顔の各パーツの形状や輪郭等の顔の特徴を示す特徴量のことをいい、顔の特徴毎に数値化され、数値化された値を要素とするベクトルで表される。顔画像データに関しての類似度は、類似判定対象の顔画像データ間での顔特徴量のベクトルが近似しているほど、当該類似判定対象の顔画像データは類似していると判断される。このような顔特徴量に基づいた顔画像データの類似度の算出は、従来からある手法を利用することができる。
【００３０】
顔画像データグループ記憶部１２は、顔画像データグループテーブルによって、顔画像データグループを記憶している。図２に示す例では、顔画像データグループテーブル２０１は、グループｉｄが１０１〜１０５である、顔画像データグループ１０１〜顔画像データグループ１０５を有しており、各顔画像データグループは、平均特徴量（正面）、平均特徴量（左４５度）、平均特徴量（右４５度）、誕生日に関するデータ、を管理している。
【００３１】
平均特徴量とは、顔画像データグループに含まれる各顔画像データの、顔特徴量に関する値の平均値を示すものである。なお、１つの顔画像データのみからなる顔画像データグループの平均特徴量は、当該１つの顔画像データの顔特徴量となる。また、正面、左４５度、右４５度とは、顔画像データの顔の向き（顔向き）であり、後述する類似度算出部１３は、顔向きが同一の顔画像データ間でのみ、顔画像データの類似度算出を行う。図２に示す、顔画像データグループテーブル２０１の顔画像データグループ１０１〜顔画像データグループ１０５は、平均特徴量（正面）の値が「あり」、となっていることから、顔向きが正面である顔画像データとのみ、類似度算出がされる。なお、図２では、単に、平均特徴量（正面）のデータが「あり」、ということのみ管理されているが、実際には、具体的な平均特徴量の値が管理されている必要がある。また、顔画像データグループに含まれる、各顔画像データの顔特徴量、及び、各顔画像データの顔画像データ自身についても、管理されていてもよい。また、誕生日に関するデータとは、顔画像データグループに係る人物の生年月日を示す情報である。なお、生年月日は、日だけでなく、時刻に関する情報も含めて管理してもよい。
【００３２】
顔画像データグループ記憶部１２は、後述する分類結果出力部２０が分類結果を出力することによって、既存の顔画像データグループに属する顔画像データが追加され、また、新たな顔画像データグループが設定される。
【００３３】
類似度算出部１３は、画像データ入力部１１により入力された画像データ内の複数の顔画像データの顔特徴量を導出し、該顔特徴量に基づき、複数の顔画像データと分類先である顔画像データグループとの類似度を算出する類似度算出手段である。なお、顔画像データグループの顔特徴量とは、上述した平均特徴量のことであり、顔画像データグループに含まれる顔画像データの顔特量の平均の値となる。
【００３４】
類似度算出部１３は、最初に、入力された画像データに含まれる顔画像データを特定する（顔抽出）。具体的には、画像データに対して顔画像データ検出用に用意されたテンプレートを用いて顔画像データを探索し、画像データのうち該テンプレートと高い相関性を示した部分を顔画像データとして特定する。なお、類似度算出部１３は、顔画像データを特定する際には、顔向き（アウトプレーン）を特定する。顔向きとは、例えば、正面、右４５度、左４５度、のいずれかが特定され、類似度算出の際には、同一の顔向きの画像間でのみ類似度が算出される。
【００３５】
図２の例では、画像データ３０（デジタルカメラにより２０１０年４月１９に撮影）が画像データ入力部１１から入力され、類似度算出部１３は、入力された画像データ３０に含まれる複数の顔画像データである、顔画像データＡ、顔画像データＢ、顔画像データＣ、顔画像データＤ、顔画像データＥ、を特定する。そして、類似度算出部１３は、顔画像データＡ〜顔画像データＥはいずれも、顔向きが正面であることを特定する。
【００３６】
類似度算出部１３は、検出した顔画像データＡ〜顔画像データＥの顔特徴量を導出する。ここで、顔特徴量の導出は、従来からある顔認識の方法を利用することができる。顔画像データＡ〜顔画像データＥの顔特徴量を導出した後に、それぞれの顔特徴量と、顔画像データグループ記憶部１２に記憶された顔画像データグループ１０１〜１０５それぞれの顔特徴量との類似度を算出する（類似判定）。なお、類似度は、スコアとして数値で表すことができる。ここで、顔画像データグループの顔特徴量は平均特徴量（該顔画像データグループに含まれる顔画像データの顔特徴量の平均）とし、各顔画像データとの類似度は、当該平均特徴量から算出されるものとする。なお、本実施形態では、顔画像データＡ〜顔画像データＥと、顔画像データグループ１０１〜顔画像データグループ１０５との類似度は、図２の類似度一覧４０に示すようになったとする。
【００３７】
類似度入力部１４は、分類対象である画像データ内の複数の顔画像データと分類先である分類済みの顔画像データグループとの類似度を示す情報を入力する類似度入力手段である。すなわち、類似度入力部１４は、類似度算出部１３が算出した、複数の顔画像データと顔画像データグループとの類似度を示す情報を入力する。なお、複数の画像データは、１つの画像データに含まれるものを処理単位とする。即ち、後述する顔画像データの分類は、画像データ毎に行う。
【００３８】
図２に示す例では、類似度算出部１３が、類似度一覧４０に示すように、顔画像データＡ〜顔画像データＥと、顔画像データグループ１０１〜顔画像データグループ１０５との類似度を算出している。類似度入力部１４は類似度一覧４０に示された各類似度を、入力する。
【００３９】
不適分類先除外部１５は、分類先である顔画像データグループに日時情報が設定されており、分類対象である画像データの作成日と分類先である顔画像データグループに設定された日時情報とを比較し、作成日が、日時情報よりも前である場合には、日時情報に係る顔画像データグループを分類先から除外する不適分類先除外手段である。
【００４０】
顔画像データグループに設定された日時情報とは、ユーザの入力を受けつけることにより設定された情報であり、具体的には、当該顔画像データグループに係る人物の誕生日などである。なお、ユーザの入力を受けつけるタイミングは、例えば、当該顔画像データグループが作成されたタイミングなどが考えられる。また、分類対象である画像データの作成日とは、画像データが作成された際に自動で設定されるものである。画像データがデジタルカメラで撮影された写真である場合には、撮影されたタイミングで設定される撮影日時等の情報（ｅｘｉｆ情報）から画像データの作成日が決定される。
【００４１】
不適分類先除外部１５は、各顔画像データグループに設定された日時情報、及び、画像データの作成日を、類似度算出部１３から取得することで、分類対象である画像データの作成日と分類先である顔画像データグループに設定された日時情報との比較を行う。
【００４２】
図２に示す例において、顔画像データＡ〜顔画像データＥを含んでいる画像データ３０は、２０１０年４月１９日に撮影された写真である。すなわち、画像データ３０は、２０１０年４月１９日が作成日である。一方で、分類先である各顔画像データグループのうち、顔画像データグループ１０２は、顔画像データグループ１０２に係る人物の誕生日が２０１０年４月２０日である。よって、画像データ３０の作成日が、顔画像データグループ１０２に係る人物の誕生日よりも前であるため、顔画像データグループ１０２は、不適分類先除外部１５により、分類先から除外される。
【００４３】
不適分類先除外部１５による分類先である顔画像データグループの除外は、後述する分類部１６による分類処理の前に行われる。不適分類先除外部１５は、除外した顔画像データグループを分類部１６に通知し、分類部１６による分類処理に用いないようにさせる。なお、顔画像データグループには、日時情報が設定されていなくてもよい。顔画像データグループに日時情報が設定されていない場合には、不適分類先除外部１５による分類先（顔画像データグループ）の除外は行われず、分類部１６による処理が行われる。また、一部の顔画像データグループのみに日時情報が設定されていてもよい。その場合、不適分類先除外部１５による処理は、日時情報が設定されている顔画像データグループに対してのみ行われる。
【００４４】
分類部１６は、同一の画像データに含まれる複数の顔画像データについて、同じ分類先に分類（同じ人物として分類）することがないように、顔画像データを分類するものである。
【００４５】
分類部１６は、類似度入力部１４によって入力された類似度を示す情報に基づいて、分類対象である顔画像データを、分類先である顔画像データグループに分類する分類手段である。ここで、類似度を示す情報に基づいて、とは、例えば、類似度のスコアの高さに基づくことをいう。類似度のスコアの高さに基づいて分類対象である顔画像データを分類する場合には、分類対象である全顔画像データのうち、顔画像データグループとの類似度のスコアが最も高い顔画像データを、当該顔画像データグループに分類する。
【００４６】
図２に示す例において、類似度一覧４０に示された各類似度が類似度入力部１４により入力されると、分類部１６は、分類対象である各顔画像データと各顔画像データグループとの類似度のうち、不適分類先除外部１５によって分類先から除外された顔画像データグループ１０２に係る各類似度を示す情報を除くと、顔画像データＢと顔画像データグループ１０４との類似度０．９７（９７％）が、最も類似度のスコアが高いと判断し、顔画像データＢを顔画像データグループ１０４に分類する。
【００４７】
なお、分類部１６によって顔画像データの分類先への分類（１つの顔画像データの１つの顔画像データグループへの分類）が行われる毎に、後述する分類確定データ除外部１７による分類確定顔画像データ及び分類確定顔画像データグループの除外が行われる。ここで、分類確定顔画像データ及び分類確定顔画像データグループの除外とは、分類確定顔画像データに係る各類似度（分類確定顔画像データと全ての顔画像データグループとの類似度）を示す情報と分類確定顔画像データグループに係る各類似度（分類確定顔画像データグループと全ての顔画像データとの類似度）を示す情報とが除外されることを意味する。そして、分類部１６によって、ある顔画像データの分類が行われた場合、次に分類部１６が同一の画像データに含まれる顔画像データを分類する際には、分類確定顔画像データに係る全類似度を示す情報と分類確定顔画像データグループに係る全類似度を示す情報とが除外された状態で、分類が行われる。
【００４８】
また、分類部１６は、分類対象である顔画像データが、分類先である顔画像データグループのいずれにも分類することができない場合に、当該顔画像データを分類不可データとする。ここで、顔画像データグループのいずれにも分類することができない顔画像データ（分類不可データ）とは、当該顔画像データとの類似度が所定の閾値以上であって分類確定顔画像データグループとなっていない顔画像データグループが存在しない、顔画像データをいう。
【００４９】
また、分類部１６は、類似度を示す情報のうち、類似度のスコアが所定の閾値に満たない情報を除外する。所定の閾値としては、例えば０．９０（類似度）、とすることが考えられる。
【００５０】
図２に示す例において、類似度のスコアの閾値が０．９０であった場合に、類似度一覧４０に示された各類似度が類似度入力部１４により入力されると、分類部１６は、顔画像データＡの分類先としての顔画像データグループ１０５（類似度０．５）、顔画像データＢの分類先としての顔画像データグループ１０３（類似度０．７）、顔画像データＣの分類先としての顔画像データグループ１０１（類似度０．７）、顔画像データＥの分類先としての顔画像データグループ１０１（類似度０．７）、顔画像データＥの分類先としての顔画像データグループ１０４（類似度０．７）、顔画像データＥの分類先としての顔画像データグループ１０５（類似度０．７）を、それぞれ分類先から除外する。
【００５１】
また、分類部１６は、類似度入力部１４によって入力された、分類対象である各顔画像データと分類先である各顔画像データグループとの類似度を示すデータ（以下、類似度を示すデータと記載）を分類状態記憶部２１に入力する。類似度を示すデータのイメージを図６（ａ）に示す。そして、分類部１６は、分類対象である顔画像データの分類先が決定すると、分類状態記憶部２１に記憶された類似度を示すデータの、分類先が決定した顔画像データに対して、分類完了フラグをたてる。分類部１６は、分類状態記憶部２１に記憶された類似度を示すデータにおいて、分類完了フラグをたてた顔画像データと、該顔画像データに対応する分類先の顔画像データグループとを紐づけて管理する。また、分類部１６は、分類不可データとなった顔画像データが存在する場合にも、分類状態記憶部２１に記憶された類似度を示すデータの、分類不可データとなった顔画像データに対して、分類不可フラグをたてる。なお、各顔画像データは、顔画像データのインデックスで管理されていてもよく、この場合には、顔画像データに対応するインデックスに対して、分類不可フラグをたててもよい。なお、顔画像データのインデックスは、類似度算出部１３が顔画像データを特定（顔抽出）した際に、自動で設定されるものとすることが考えられる。
【００５２】
また、分類部１６は、分類先が決定した顔画像データの情報（当該顔画像データと分類先の顔画像データグループとを紐づけた情報、分類先が決定した顔画像データのインデックス等）、及び、分類不可データに関する情報（分類不可データとなった顔画像データのインデックス等）を、後述する分類確定データ除外部１７、繰り返し処理制御部１８に対して入力する。当該入力は、顔画像データの分類先が決定したタイミング（または分類不可データが存在することとなったタイミング）で行うことが考えられる。
【００５３】
なお、分類部１６は、後述する、分類確定データ除外部１７によって、分類状態記憶部２１に記憶された類似度を示すデータにたてられた除外完了フラグを参照することで、分類確定顔画像データに係る各類似度を示す情報と分類確定顔画像データグループに係る各類似度を示す情報とを除外し、分類を行う。この場合、分類部１６は、分類を行うタイミングで、分類状態記憶部２１に記憶された類似度を示すデータにたてられた除外完了フラグを参照することとする。
【００５４】
分類確定データ除外部１７は、分類部１６によって分類された分類対象の顔画像データを分類確定顔画像データとして分類対象から除外するとともに、分類確定顔画像データの分類先の顔画像データグループを分類確定顔画像データグループとして分類先から除外する分類確定データ除外手段である。
【００５５】
ここで、分類部１６によって分類された顔画像データを分類確定顔画像データとして分類対象から除外する、とは、分類先が確定している顔画像データについては確定した分類先に分類されることとし確定後は異なる分類先に分類されることのないようにする、との意味である。同様に、分類確定顔画像データの分類先の顔画像データグループを分類確定顔画像データグループとして分類先から除外する、とは、分類確定顔画像データの分類先として確定している分類確定顔画像データグループについては他の顔画像データ（分類対象であって、分類が確定していないもの）の分類先とされることのないようにする、との意味である。
【００５６】
分類確定データ除外部１７は、分類状態記憶部２１に記憶された類似度を示すデータの分類完了フラグを参照することで、分類部１６によって分類された分類対象の顔画像データ（分類確定顔画像データ）が存在するか、を判断する。あるいは、分類確定データ除外部１７は、分類部１６からの、分類先が決定した顔画像データの情報（当該顔画像データと分類先の顔画像データグループとを紐づけた情報、分類先が決定した顔画像データのインデックス等）の入力に基づいて、分類確定顔画像データが存在するか、を判断してもよい。そして、分類確定顔画像データが存在する場合には、分類状態記憶部２１に記憶された類似度を示すデータ、または、分類部１６からの分類先が決定した顔画像データの情報の入力に基づいて、分類確定顔画像データの分類先である分類確定顔画像データグループを特定する。
【００５７】
そして、分類確定データ除外部１７は、分類状態記憶部２１に記憶された類似度を示すデータのうち、分類確定顔画像データに係る各類似度を示す情報、及び、分類確定顔画像データグループに係る各類似度を示す情報に対して、除外完了フラグをたてる。分類部１６は、分類状態記憶部２１に記憶された類似度を示すデータの除外完了フラグを参照することで、分類確定顔画像データに係る各類似度を示す情報と分類確定顔画像データグループに係る各類似度を示す情報とを除外し、分類を行うことができる。
【００５８】
なお、分類確定データ除外部１７は、分類確定顔画像データを分類対象から除外し、分類確定顔画像データグループを分類先から除外した旨の情報を、分類部１６及び、後述する繰り返し処理制御部１８に対して入力することとしてもよい。当該入力は、除外したタイミングで行われることが考えられる。
【００５９】
図２に示す例において、分類部１６により顔画像データＢが顔画像データグループ１０４に分類されると、分類確定データ除外部１７は、分類部１６によって分類された顔画像データＢを分類確定顔画像データとして分類対象から除外するとともに、顔画像データＢの分類先である顔画像データグループ１０４を分類確定顔画像データグループとして分類先から除外する。分類確定データ除外部１７による当該処理後は、同一の画像データ３０に係る顔画像データの分類において、分類確定顔画像データである顔画像データＢが分類対象となることはなく、また、分類確定顔画像データグループである顔画像データグループ１０４が分類先となることはない。
【００６０】
繰り返し処理制御部１８は、分類部１６及び分類確定データ除外部１７による処理を繰り返すように制御する繰り返し処理制御手段である。また、繰り返し処理制御部１８は、分類対象である複数の顔画像データ全てが、顔画像データグループに分類される、または、顔画像データグループのいずれにも分類することができない分類不可データと決定される、まで、分類部１６及び分類確定データ除外部１７による処理を繰りかえすように制御する。
【００６１】
繰り返し処理制御部１８は、分類状態記憶部２１に記憶された類似度を示すデータの分類完了フラグ、及び、分類不可フラグを参照することで、分類部１６及び分類確定データ除外部１７による処理を繰り返すか否かを判断する。すなわち、分類状態記憶部２１に記憶された類似度を示すデータの顔画像データの全てに、分類完了フラグまたは分類不可フラグのいずれかがたっている場合には、繰り返し処理を行わないように制御し、分類完了フラグまたは分類不可フラグのいずれもたっていない顔画像データが存在する場合には、繰り返し処理を行うように制御する。なお、繰り返し処理制御部１８は、分類部１６からの、分類先が決定した顔画像データの情報（当該顔画像データと分類先の顔画像データグループとを紐づけた情報、分類先が決定した顔画像データのインデックス等）、及び、分類不可データに関する情報（分類不可データとなった顔画像データのインデックス等）の入力に基づいて、分類部１６及び分類確定データ除外部１７による処理を繰り返すか否かを判断してもよい。
【００６２】
図２に示す例において、分類確定データ除外部１７により、分顔画像データＢを分類確定顔画像データとして分類対象から除外されるとともに、顔画像データＢの分類先である顔画像データグループ１０４を分類確定顔画像データグループとして分類先から除外されると、繰り返し処理制御部１８は、分類完了フラグ、及び、分類不可フラグを参照する。この時点では、顔画像データＢのみ分類先が決定している状況であり、他の顔画像データは分類先が決定していないので、分類状態記憶部２１に記憶された、顔画像データと顔画像データグループとの類似度を示すデータは、各顔画像データのうち、顔画像データＢのみ、分類完了フラグがたっていることを確認できる。よって、繰り返し処理制御部１８は、分類完了フラグから、分類先が決定していない顔画像データが存在すると判断し、分類部１６及び分類確定データ除外部１７による処理を繰り返すように制御する。
【００６３】
また、繰り返し処理制御部１８は、分類状態記憶部２１に記憶された類似度を示すデータの顔画像データの全てに、分類完了フラグまたは分類不可フラグのいずれかがたっており、繰り返し処理を行わないように判断した場合には、繰り返し処理の制御を行わず、分類部１６から入力された、分類先が決定した顔画像データと分類先の顔画像データグループとを紐づけた情報を、後述する分類結果出力部２０に入力する。また、繰り返し処理制御部１８は、合わせて、顔画像データの顔特徴量、当該顔画像データ自身、顔画像データのインデックス等を取得して、分類結果出力部２０に入力する。
【００６４】
また、繰り返し処理制御部１８は、分類状態記憶部２１に記憶された類似度を示すデータの顔画像データに分類不可フラグがたった顔画像データが存在する場合には、分類不可データが存在する旨、及び、当該分類不可データである顔画像データの情報（分類不可データとなた顔画像データのインデックス等）を、後述する顔画像データグループ設定部１９に入力する。
【００６５】
顔画像データグループ設定部１９は、分類不可データである分類対象の顔画像データを、新たに、分類先である顔画像データグループとして設定する顔画像データグループ設定手段である。顔画像データグル―プ設定部１９は、繰り返し処理制御部１８から、分類不可データが存在する旨、及び、当該分類不可データである顔画像データの情報（分類不可データとなった顔画像データのインデックス等）の入力があった場合に、当該分類不可データである顔画像データに係る顔画像データグループを新たに設定する。
【００６６】
顔画像データグループ設定部１９は、類似度算出部１３に、分類不可データである顔画像データの情報（分類不可データとなった顔画像データのインデックス等）を入力する。当該入力があった場合に、類似度算出部１３は、分類不可データである顔画像データの顔特徴量、顔向きに関する情報、顔画像データ自体を、顔画像データグループ設定部１９に入力する。そして、顔画像データグル―プ設定部１９は、類似度算出部１３から入力された顔特徴量を顔画像データグループの平均特徴量、類似度算出部１３から入力された顔向きを顔画像データグループの顔向きとして、新たな顔画像データグループを設定する。
【００６７】
また、顔画像データグループ設定部１９は、新たな顔画像データグループを設定するタイミングで、当該顔画像データグループの顔画像データに係る人物の名前及び誕生日を設定するユーザ操作を受けつける。なお、当該ユーザ操作を受けつけるタイミングは、後述する、分類結果出力部２０による出力時としてもよい。ここで、分類結果出力部２０による出力時とは、分類結果出力部２０が、新たな顔画像データグループ（画像データの新たな分類先）が設定されたことを、ユーザの端末等のディスプレイに表示するタイミング等をいう。顔画像データグループ設定部１９は、平均特徴量（顔向き）、誕生日を設定した、新たな顔画像データグループに関する情報を、分類結果出力部２０に入力する。
【００６８】
顔画像データグループ設定部１９による顔画像データグループの設定イメージについて、図３により説明する。図３は、本発明の実施形態に係る画像分類装置１の新規の顔画像データグループ設定イメージを示す図である。画像データ入力部１１に入力された画像データ５０に、顔画像データＦと顔画像データＧが含まれていたとする。顔画像データＦは顔向きが正面であり、顔画像データＧは顔向きが右４５度である。いま、顔画像データグループ記憶部１２に記憶された顔画像データグループテーブル２０２に含まれる顔画像データグループとして、図３に示す顔画像データグループ１０６〜１１０があり、それぞれに含まれる顔画像データの顔向きは、顔画像データグループ１０６、顔画像データグループ１０８、顔画像データグループ１１０が正面、顔画像データグループ１０７、顔画像データグループ１０９が右４５度である。
【００６９】
類似度算出部１３による類似度の算出は、顔向きが同じ顔画像データ同士でのみ行われるため、顔画像データＧは、顔画像データグループ１０７、顔画像データグル―プ１０９とのみ、類似度が算出される。図３に示すように、顔画像データＧと顔画像データグループ１０７との類似度は０．５０、顔画像データＧと顔画像データグループ１０９との類似度は０．７９であるため、分類先を決定するための所定の閾値が類似度０．９０であった場合には、分類部１６によって、顔画像データＧは分類不可データとされる。この場合には、顔画像データグループ設定部１９は、顔画像データＧの情報をもとに、図３に示す新たな顔画像データグループ１１１を設定する。
【００７０】
分類結果出力部２０は、繰り返し処理制御部１８から入力された、分類先が決定した顔画像データの情報（当該顔画像データと分類先の顔画像データグループとを紐づけた情報、当該顔画像データの顔特徴量、当該顔画像データ自身、当該顔画像データのインデックス等）、及び、顔画像データグループ設定部１９から入力された新たな顔画像データグループに関する情報（平均特徴量、顔向き、誕生日、顔画像データグループに属する顔画像データ）を出力する機能を有するものである。なお、分類の結果、既存の顔画像データグループに、新たな顔画像データが追加されることから、各既存の顔画像データグループの平均特徴量は変更となる。よって、分類結果出力部２０は、分類結果を類似度算出部１３に入力し、類似度算出部１３から、分類した顔画像データの顔特徴量及び分類した顔画像データ自身の入力を受けつける。そして、類似度算出部１３から入力された、分類した顔画像データの顔特徴量を考慮して、既存の顔画像データグループの平均特徴量を更新する。すなわち、今回分類した顔画像データを含めた、顔画像データグループの全顔画像データの顔特徴量の値の平均である平均特徴量を算出して、平均特徴量を更新する。分類結果出力部２０による出力は、顔画像データグループ記憶部１２に対して行われるものである。すなわち、分類結果出力部２０は、顔画像データグループ記憶部１２に、分類先が決定した顔画像データの情報（当該顔画像データと分類先の顔画像データグループとを紐づけた情報、当該顔画像データの顔特徴量、当該顔画像データ自身、当該顔画像データのインデックス等）、及び、顔画像データグループ設定部１９から入力された新たな顔画像データグループに関する情報（平均特徴量、顔向き、誕生日、顔画像データグループに属する顔画像データ）出力する。そして、顔画像データグループ記憶部１２は、分類結果出力部２０から出力された情報に基づいて、既存の顔画像データグループの情報を更新（今回分類された顔画像データの追加、平均特徴量の更新）、及び、新たな顔画像データグループの追加（平均特徴量、顔向き、誕生日の設定）を行う。
【００７１】
なお、分類結果出力部２０は、画像データを取得したユーザ（例えば画像データがデジタルカメラで撮影した写真であれば、当該写真を撮影してアップロードしたユーザ）に対して、インターネット等を介して、パソコン端末等のディスプレイに分類結果を表示するようにしてもよい。分類結果の表示は、分類を行った顔画像データに係る顔画像データグループを、フォルダ形式で表示することにより行われ、それぞれのフォルダには、当該フォルダ（顔画像データグループ）に属する顔画像データが含まれる画像データが格納される。
【００７２】
なお、顔画像データグループ毎のフォルダはユーザ単位で管理されることとし、通常は、他のユーザのフォルダを閲覧することはできないが、例えば、ユーザ同士で認証を行うことにより、他のユーザのフォルダを閲覧できる（ユーザ間での共有ができる）こととしてもよい。
【００７３】
つぎに、図４により、画像分類装置１のハードウェア構成について説明する。図４は本発明の実施形態に係る画像分類装置１のハードウェア構成を示す図である。図４に示すように、画像分類装置１は、ＣＰＵ１３１、主記憶装置であるＲＡＭ１３２及びＲＯＭ１３３、通信を行うための通信モジュール１３４、並びにハードディスク等の補助記憶装置１３５等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述した各機能が発揮される。
【００７４】
引き続いて、図２、図５、及び図６〜図８を用いて、画像分類装置１の処理フローを説明する。図５は、本発明の実施形態に係る画像分類装置１の処理フローを示す図である。図６〜図８は、本発明の実施形態に係る画像分類装置１の分類処理内容を示す図である。
【００７５】
なお、画像データ入力部１１から入力される画像は、図２に示した画像データ３０であり、各顔画像データグループは図２に示した顔画像データグループ１０１〜１０５である。
【００７６】
まず、図５のＳ１０１に示すように、画像データ入力部１１により画像データ３０が入力される（Ｓ１０１、画像データ入力ステップ）。そして、類似度算出部１３により画像データ３０に含まれる顔画像データＡ〜顔画像データＥが特定され、顔画像データＡ〜顔画像データＥの顔特徴量及び顔向きが特定された後に、顔画像データＡ〜顔画像データＥと、顔画像データグループ記憶部１２に記憶された顔画像データグループ１０１〜顔画像データグループ１０５との類似度が算出される（Ｓ１０２、類似度算出ステップ）。
【００７７】
そして、類似度入力部１４により、顔画像データＡ〜顔画像データＥと、顔画像データグループ１０１〜顔画像データグループ１０５との類似度が入力される（Ｓ１０３、類似度入力ステップ）。分類先を決定するための、各類似度を整理した表は、図６（ａ）に示すようになる。なお、図６（ａ）に示した各類似度と、図２に示した類似度一覧４０は同一の類似度を示している。
【００７８】
つぎに、不適分類先除外部１５により、顔画像データグループに係る人物の誕生日が、画像データ３０の作成日より後である、顔画像データグループ１０２が分類先から除外される（Ｓ１０４、不適分類先除外ステップ）。よって、分類先を決定するための表は、図６（ａ）に示した表から顔画像データグループ１０２を除外した図６（ｂ）に示す表となる。なお、顔画像データグループに日時情報が設定されていない場合には、不適分類先除外部１５による分類先（顔画像データグループ）の除外（Ｓ１０４の処理）は行われない。また、分類先として決定されうる類似度のスコアの閾値を０．９０とした場合には、類似度のスコアが０．９０に満たないデータは分類部１６により除外される。よって、図６（ｂ）に示した表から、さらに類似度が０．９０に満たないデータを除外した、図６（ｃ）に示した表が、分類先を決定するための表となる。
【００７９】
つぎに、分類部１６により、顔画像データグループとの類似度のスコアが高い顔画像データが、当該類似度のスコアに係る顔画像データグループに分類される（Ｓ１０５、分類ステップ）。この場合、図６（ｃ）に示した表は、図７に示すように、類似度の順でソートされた一覧表とされる（第１ソート：スコア、第２ソート：顔画像データ）。なお、類似度が同一であった場合には、顔画像データのインデックス（ｆａｃｅ_ｉｎｄｅｘ）が小さいもの（例えば、顔画像データＡ〜顔画像データＥがある場合には、顔画像データＡを最もｆａｃｅ_ｉｎｄｅｘが小さいとする等）を優先的に類似してソートしてもよい。そして、図７に示す最も類似度のスコアの高い顔画像データＢの分類先が、顔画像データグループ１０４と決定される。
【００８０】
つぎに、分類確定データ除外部１７により、分類確定顔画像データである顔画像データＢが分類対象から除外され、分類確定顔画像データグループである顔画像データグループ１０４が分類先から除外される（Ｓ１０６、分類確定データ除外ステップ）。顔画像データＢが分類対象から除外され、顔画像データグループ１０４が分類先から除外された一覧表を図８（ａ）に示す。
【００８１】
つぎに、繰り返し処理制御部１８が分類完了フラグ及び分類不可フラグにより、分類対象が全て、分類済みまたは分類不可データとなっているかを確認し、繰り返し処理を行うか否かを判断する。（Ｓ１０７、繰り返し処理制御ステップ）。この時点では顔画像データＢのみ分類先が決定されており、分類不可データも発生していない状況であるため、繰り返し処理制御部１８は、Ｓ１０５、Ｓ１０６の処理を繰り返すように制御する。
【００８２】
そして、Ｓ１０５に戻り、分類部１６により、除外されていないデータのうち最も類似度のスコアの高い顔画像データＡを顔画像データグループ１０３に分類すると決定される。そして、Ｓ１０６の処理として、分類確定データ除外部１７により、分類確定顔画像データである顔画像データＡが分類対象から除外され、分類確定顔画像データグループである顔画像データグループ１０３が分類先から除外される。顔画像データＡが分類対象から除外され、顔画像データグループ１０３が分類先から除外された一覧表を図８（ｂ）に示す。
【００８３】
このようなＳ１０５〜Ｓ１０７の処理が繰り返されることで、顔画像データＤは顔画像データグループ１０１に分類（除外後の一覧表は図８（ｃ））され、顔画像データＣは顔画像データグループ１０５に分類（除外後の一覧表は図８（ｄ））される。この場合、顔画像データＥは、図８（ｄ）に示すように、類似度のスコアが０．９０を上回る顔画像データグループが存在しないため、分類不可データとなる。
【００８４】
顔画像データＣが顔画像データグループ１０５に分類された後のＳ１０７の処理において、分類状態記憶部２１に記憶された、類似度を示すデータの分類完了フラグ及び分類不可フラグを参照すると、分類部１６により、顔画像データＡ〜顔画像データＤは分類済みであり、顔画像データＥは分類不可データであると判断される。よって、Ｓ１０７の処理において、全ての顔画像データが、分類済みまたは分類不可データのいずれか、という条件に合致し、Ｓ１０８の処理に移行する。
【００８５】
つぎに、繰り返し処理制御部１８により分類不可データがあるか否かが判断される（Ｓ１０８）。いま、顔画像データＥが分類不可データであるため、Ｓ１０９の処理に移行される。
【００８６】
そして、顔画像データグループ設定部１９により、顔画像データＥに係る顔画像データグル―プが新たに設定される（Ｓ１０９、顔画像データグループ設定ステップ）。
【００８７】
最後に、分類結果出力部２０により、分類先が決定した顔画像データの情報（当該顔画像データと分類先の顔画像データグループとを紐づけた情報、当該顔画像データの顔特徴量、当該顔画像データ自身、当該顔画像データのインデックス等）、及び、顔画像データグループ設定部１９から入力された新たな顔画像データグループに関する情報（平均特徴量、顔向き、誕生日、顔画像データグループに属する顔画像データ）が、顔画像データグループ記憶部１２に出力される（Ｓ１１０、分類結果出力ステップ）。以上が、本発明の実施形態に係る画像分類装置１の処理フローの説明である。
【００８８】
つぎに、本実施形態に係る画像分類装置１の作用・効果について説明する。
【００８９】
本実施形態に係る画像分類装置１では、画像データ内の複数の顔画像データのうち、類似度に基づいて分類部１６により分類先に分類された顔画像データついては、分類確定データ除外部１７により、分類確定顔画像データとして分類対象から除外され、当該分類確定顔画像データに係る分類先の顔画像データグル―プについては、分類確定顔画像データグループとして分類先から除外される。分類確定顔画像データグループが分類先から除外されることにより、未だ分類されていない分類対象顔画像データが、分類確定顔画像データに係る分類先である分類確定顔画像データグループに分類されることを防止できる。すなわち、画像データに含まれる複数の顔画像データが、同一の顔画像データグループに分類されるという事態を防止することができる。同一の画像データに含まれる複数の顔画像データは通常異なる人物に係るものであると考えられるため、画像データに含まれる複数の顔画像データを同一の顔画像データグループに分類しないように制御することで、顔画像データを適切な分類先に分類することに寄与できる。以上より、本実施形態に係る画像分類装置１によれば、分類対象である画像データ内の複数の顔画像データを適切な分類先に分類することができる。
【００９０】
また、本実施形態に係る画像分類装置１は、分類部１６が、類似度を示す情報のうち、類似度のスコアが所定の閾値に満たない情報を除外することで、類似しない顔画像データグループに分類対象が分類されるといった不適切な分類を防止し、分類対象の適切な分類先への分類をより確実なものとすることができる。
【００９１】
また、本実施形態に係る画像分類装置１は、繰り返し処理制御部１８が、分類対象である複数の顔画像データ全てが、顔画像データグループに分類される、または、顔画像データグループのいずれにも分類することができない分類不可データと決定される、まで、分類部１６及び分類確定データ除外部１７による処理を繰りかえすように制御することで、全ての顔画像データについて分類先の決定に関する処理を行うことができ、分類対象の適切な分類先への分類をより確実なものとすることができる。
【００９２】
また、本実施形態に係る画像分類装置１は、分類不可データである分類対象の顔画像データを、新たに、分類先である顔画像データグループとして設定する顔画像データグループ設定部１９をさらに備えることで、分類先が存在しなかった分類不可データについては、新たな顔画像データグループとして設定することができ、その後に異なる画像データの顔画像データについて分類を行う際に更なる分類先とすることができる。このように、適切な分類先が存在しなかった分類対象の顔画像データを、新たな顔画像データグループとすることで、分類対象の適切な分類先への分類をより確実なものとすることができる。
【００９３】
また本実施形態に係る画像分類装置１は、分類先である顔画像データグループに日時情報が設定されており、分類対象である画像データの作成日と分類先である顔画像データグループに設定された日時情報とを比較し、作成日が、日時情報よりも前である場合には、日時情報に係る顔画像データグループを分類先から除外する不適分類先除外部１５をさらに備えることで、ある顔画像データグループの特定の日時情報（例えば誕生日）よりも前に作成された画像データについては、当該顔画像データグループに分類されえない（産まれていないのに、画像データに写り得ない）、と判断可能な日時情報を顔画像データグループに設定しておくことで、不適切な分類を防止し、分類対象の適切な分類先への分類をより確実なものとすることができる。
【００９４】
一般的に、兄弟や親子は同類の遺伝子を持っているので、分類対象と分類先の画像データが兄弟や親子に係るものである場合には、異なる人物であるにも関わらず同一人物と判定しがちである。誕生日等の日時情報により顔画像データグループに係る人物が写り得ない顔画像データを特定することによって、たとえ類似判定の結果同一人物であると判定した場合であっても、当該類似判定に係る顔画像データを顔画像データグループに分類することを防止できる。すなわち、類似判定が難しいデータについて、類似判定以外の要素でも分類先を決定することで、分類対象の適切な分類先への分類をより確実なものとしている。
【００９５】
また、本実施形態に係る画像分類装置１は、分類対象である画像データを入力する画像データ入力部１１と、画像データ入力部１１により入力された画像データ内の複数の顔画像データの顔特徴量を導出し、該顔特徴量に基づき、複数の顔画像データと分類先である顔画像データグループとの類似度を算出する類似度算出部１３と、をさらに備えることで、顔画像データについての類似度の算出から分類先への分類までを、一元的に行うことができる。
【００９６】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限られたものではなく、各請求項に記載した要旨を変更しない範囲で変形し、または他のものに適用したものであってもよい。
【００９７】
例えば、本実施形態においては、画像データを入力して顔画像データと顔画像データグループとの類似度を算出する機能構成（画像データ入力部１１、顔画像データグループ記憶部１２、類似度算出部１３）については、分類に関する機能構成（類似度入力部１４、分類部１６等）と同一のサーバ（画像分類装置１）に含まれることとしたが、これに限定されるものではなく、類似度を算出する機能構成は、別のサーバに含まれる機能構成として、該別のサーバが算出した類似度を受信することにより、分類部１６による分類を可能とするものであってもよい。この場合の類似度の算出は、既存の画像認識エンジンにより行うものであってもよい。
【００９８】
また、本実施形態において、画像分類装置１は、画像データに含まれる顔画像データを、当該顔画像データに係る人物と同一人物の登録済みの顔画像データグループに分類する方法で画像データを分類したが、当該機能に加えて、画像データにイベント情報（時刻に関する情報、場所に関する情報、人に関する情報、行動内容に関する情報等）を設定（タグ設定）し、該タグ設定された内容に基づいて、画像データを分類する機能を有していてもよい。
【００９９】
また、本実施形態において、分類対象である顔画像データと、顔画像データグループとの類似度の算出においては、顔画像データグループに含まれる顔画像データの平均特徴量を用いる、としたが、これに限定されるものではなく、例えば、顔画像データグループに含まれる全顔画像データについて、それぞれの顔特徴量を用いて分類対象である顔画像データとの類似度を算出し、最も高い類似度を、分類対象である顔画像データと顔画像データグループとの類似度としてもよい。また、平均特徴量を用いた類似度を用いる方法と、最も高い類似度を用いる方法とを併用してもよい。
【符号の説明】
【０１００】
１…画像分類装置、２…画像データ入力部、１２…顔画像データグループ記憶部、１３…類似度算出部、１４…類似度入力部、１５…不適分類先除外部、１６…分類部、１７…分類確定データ除外部、１８…繰り返し処理制御部、１９…顔画像データグループ設定部、２０…分類結果出力部、２１…分類状態記憶部、３０、５０…画像データ、４０…類似度一覧、２０１、２０２…顔画像データグループテーブル、１０１、１０２、１０３、１０４、１０５、１０６、１０７、１０８、１０９、１１０、１１１…顔画像データグループ、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ…顔画像データ。
【図１】
2014048722.tif 000003
【図２】
2014048722.tif 000004
【図３】
2014048722.tif 000005
【図４】
2014048722.tif 000006
【図５】
2014048722.tif 000007
【図６】
2014048722.tif 000008
【図７】
2014048722.tif 000009
【図８】
2014048722.tif 000010