(57)【要約】  複数の画像データを取得する取得部（１０２）と、取得された複数の画像データから複数のオブジェクトを検出するオブジェクト検出部（１０３）と、複数のオブジェクトそれぞれの特徴量を算出する特徴量算出部（１０４）と、少なくとも１つのオブジェクトの特徴量が所定の条件を満たす場合、少なくとも１つのオブジェクトが属する第一クラスタを示す第一クラスタ情報を作成するクラスタ情報作成部（１０５）と、第一クラスタ情報に示される少なくとも１つのオブジェクトの中からサムネイル作成の対象となるオブジェクトを選択する選択部（１０６）と、選択されたオブジェクトを示す画像データを用いて、オブジェクトのサムネイルを作成するサムネイル作成部（１０７）とを備える。
2012114727.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データを取得する取得部と、
前記取得部により取得された複数の画像データから、それぞれが前記複数の画像データのうちの少なくとも１つの画像データに示される複数のオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部により検出された複数のオブジェクトそれぞれの特徴量を算出する特徴量算出部と、
前記複数のオブジェクトのうちの少なくとも１つのオブジェクトの特徴量が所定の条件を満たす場合、前記少なくとも１つのオブジェクトが属する第一クラスタであって、前記少なくとも１つのオブジェクトの特徴量に対応する第一クラスタを示す第一クラスタ情報を作成するクラスタ情報作成部と、
前記クラスタ情報作成部により作成された第一クラスタ情報に示される前記少なくとも１つのオブジェクトの中からサムネイル作成の対象となるオブジェクトを選択する選択部と、
前記選択部により選択されたオブジェクトを示す画像データを用いて、前記オブジェクトのサムネイルを作成するサムネイル作成部と
を備える画像処理装置。
【請求項２】
前記クラスタ情報作成部は、前記少なくとも１つのオブジェクトを含む２以上のオブジェクトそれぞれの特徴量が、前記所定の条件である、所定の大きさの範囲に含まれるという条件を満たす場合、前記２以上のオブジェクトが属する前記第一クラスタを示す前記第一クラスタ情報を作成する
請求項１記載の画像処理装置。
【請求項３】
前記クラスタ情報作成部は、（ｉ）２以上の整数Ｎの入力を受け付け、かつ、（ｉｉ）前記特徴量算出部により算出された、前記少なくとも１つのオブジェクトを含むＮ個のオブジェクトそれぞれの特徴量が前記所定の大きさの範囲に含まれる場合、前記Ｎ個のオブジェクトが属する前記第一クラスタを示す前記第一クラスタ情報を作成する
請求項２記載の画像処理装置。
【請求項４】
前記クラスタ情報作成部は、前記少なくとも１つのオブジェクトの特徴量が、前記所定の条件である、閾値を超えるという条件を満たす場合、前記少なくとも１つのオブジェクトが属する前記第一クラスタを示す前記第一クラスタ情報を作成する
請求項１記載の画像処理装置。
【請求項５】
前記クラスタ情報作成部はさらに、前記特徴量算出部により算出された他のオブジェクトの特徴量が前記所定の条件を満たす場合、前記他のオブジェクトが前記第一クラスタに属するように、作成済みの前記第一クラスタ情報を更新する
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記選択部は、前記第一クラスタ情報に示される全てのオブジェクトのそれぞれをサムネイル作成の対象となるオブジェクトとして選択し、
前記サムネイル作成部は、前記選択部により選択された全てのオブジェクトそれぞれを示す画像データを用いて、前記全てのオブジェクトのサムネイルを作成する
請求項５記載の画像処理装置。
【請求項７】
前記クラスタ情報作成部はさらに、前記特徴量算出部により算出された他のオブジェクトの特徴量が前記所定の条件を満たさず、かつ、前記他のオブジェクトの特徴量と、前記所定の条件を満たさない既存のオブジェクトの特徴量とが、所定の大きさの範囲に含まれる場合、前記他のオブジェクトおよび前記既存のオブジェクトが属する第二クラスタを示す第二クラスタ情報を作成し、
前記選択部はさらに、前記第一クラスタ情報および前記第二クラスタ情報の少なくとも一方から、サムネイル作成の対象となるオブジェクトを選択する
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記選択部はさらに、前記第一クラスタ情報および前記第二クラスタ情報の双方から、サムネイル作成の対象となるオブジェクトを選択する
請求項７記載の画像処理装置。
【請求項９】
前記選択部は、前記第一クラスタ情報に示される、前記少なくとも１つのオブジェクトを含む３以上のオブジェクトの中から、前記３以上のオブジェクトの特徴量の平均値に最も近い特徴量を有するオブジェクトを、サムネイル作成の対象として選択する
請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項１０】
前記選択部はさらに、前記第一クラスタ情報に示される、前記少なくとも１つのオブジェクトを含む３以上のオブジェクトの中から、前記３以上のオブジェクトの特徴量の平均値との差が、所定の値以上または最大である特徴量を有するオブジェクトを、サムネイル作成の対象として選択する
請求項９記載の画像処理装置。
【請求項１１】
前記サムネイル作成部は、（ａ）作成したサムネイルを、前記画像処理装置に接続された記録媒体に記録し、（ｂ）前記サムネイルをユーザからの所定の指示に応じて前記記録媒体から削除する場合、当該サムネイルに対応するオブジェクトの特徴量との差が所定の値より小さな特徴量を有するオブジェクトに対応するサムネイルであって、前記記録媒体に記録されている他のサムネイルを前記記録媒体から削除する
請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記サムネイル作成部はさらに、前記記録媒体から削除した前記サムネイルを、再度作成する場合、前記サムネイルとともに削除した前記他のサムネイルも再度作成する
請求項１１記載の画像処理装置。
【請求項１３】
複数のオブジェクトのそれぞれは、人物の顔、もしくは、人物以外の一般物体の全体または一部分である
請求項１〜１２のいずれか１項に記載の画像処理装置。
【請求項１４】
複数の画像データを取得する取得ステップと、
前記取得ステップにおいて取得された複数の画像データから、複数のオブジェクトであって、それぞれが前記複数の画像データのうちの少なくとも１つの画像データに示される複数のオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップにおいて検出された複数のオブジェクトそれぞれの特徴量を算出する特徴量算出ステップと、
前記複数のオブジェクトのうちの少なくとも１つのオブジェクトの特徴量が所定の条件を満たす場合、前記少なくとも１つのオブジェクトが属する第一クラスタであって、前記少なくとも１つのオブジェクトの特徴量に対応する第一クラスタを示す第一クラスタ情報を作成するクラスタ情報作成ステップと、
前記クラスタ情報作成ステップにおいて作成された第一クラスタ情報に示される前記少なくとも１つのオブジェクトの中からサムネイル作成の対象となるオブジェクトを選択する選択ステップと、
前記選択ステップにおいて選択されたオブジェクトを示す画像データを用いて、前記オブジェクトのサムネイルを作成するサムネイル作成ステップと
を含む画像処理方法。
【請求項１５】
複数の画像データを取得する取得部と、
前記取得部により取得された複数の画像データから、複数のオブジェクトであって、それぞれが前記複数の画像データのうちの少なくとも１つの画像データに示される複数のオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部により検出された複数のオブジェクトそれぞれの特徴量を算出する特徴量算出部と、
前記複数のオブジェクトのうちの少なくとも１つのオブジェクトの特徴量が所定の条件を満たす場合、前記少なくとも１つのオブジェクトが属する第一クラスタであって、前記少なくとも１つのオブジェクトの特徴量に対応する第一クラスタを示す第一クラスタ情報を作成するクラスタ情報作成部と、
前記クラスタ情報作成部により作成された第一クラスタ情報に示される前記少なくとも１つのオブジェクトの中からサムネイル作成の対象となるオブジェクトを選択する選択部と、
前記選択部により選択されたオブジェクトを示す画像データを用いて、前記オブジェクトのサムネイルを作成するサムネイル作成部と
を備える集積回路。
【請求項１６】
複数の画像データを取得する取得ステップと、
前記取得ステップにおいて取得された複数の画像データから、複数のオブジェクトであって、それぞれが前記複数の画像データのうちの少なくとも１つの画像データに示される複数のオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップにおいて検出された複数のオブジェクトそれぞれの特徴量を算出する特徴量算出ステップと、
前記複数のオブジェクトのうちの少なくとも１つのオブジェクトの特徴量が所定の条件を満たす場合、前記少なくとも１つのオブジェクトが属する第一クラスタであって、前記少なくとも１つのオブジェクトの特徴量に対応する第一クラスタを示す第一クラスタ情報を作成するクラスタ情報作成ステップと、
前記クラスタ情報作成ステップにおいて作成された第一クラスタ情報に示される前記少なくとも１つのオブジェクトの中からサムネイル作成の対象となるオブジェクトを選択する選択ステップと、
前記選択ステップにおいて選択されたオブジェクトを示す画像データを用いて、前記オブジェクトのサムネイルを作成するサムネイル作成ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像に示される複数のオブジェクトに対して、サムネイルの作成のための処理を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、画像に写る顔を検出して複数の顔の一覧表示を行い、ある１つの顔が選択されると、その顔が写る画像全体を表示するというアプリケーションがＰＣ（パーソナルコンピュータ）上などで実現されている。【０００３】
しかし、一般の電子機器ではＰＣとは異なり、メモリの容量が比較的小さく、かつ、比較的低速なＣＰＵが用いられている。そのため、このような電子機器では、リアルタイムに画像から顔を検出して複数の顔の一覧表示を行うには、時間がかかる上、メモリが不足して十分な枚数が表示できないという課題がある。【０００４】
そこで、予め複数の顔それぞれのサムネイルを作成しておき、顔の一覧表示を行う際には、作成しておいた複数のサムネイルを表示するという方法が考えられる。【０００５】
従来、画像内の顔のサムネイルを作成するという画像処理装置としては、表示されている画像の中で人物の顔を検出し、その顔のサムネイルを作成するというものがあった（例えば、特許文献１参照）。【０００６】
図１９は、特許文献１に記載された従来の画像処理装置の構成を示す図である。【０００７】
図１９に示す従来の画像処理装置１０００において、メモリ１６０１に保持されている画像に対して、顔検出部１６０３が人物の顔を検出し、検出結果をＣＰＵ１６０２に通知する。ＣＰＵ１６０２は顔が検出されたときには、その顔のサムネイル作成を画像信号処理部１６０４に指示する。画像信号処理部１６０４は、当該画像から顔領域を切り出し、当該顔領域に示される画像のサムネイルを作成する。また、画像信号処理部１６０４は、１枚の画像に複数の顔を検出した場合には、画像中心に近い顔のみか、または全ての顔のサムネイルを作成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２６９５６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来の構成において、画像の中心に近い顔のサムネイルを作成する場合では、ユーザにとって重要な人物の顔のサムネイルが作成されないことがあるという課題がある。また、全ての顔のサムネイルを作成する場合は、例えば背景に写りこんだ通行人などの、ユーザにとっては重要ではないと思われる人物の顔のサムネイルを作成してしまい、その結果、記録媒体の容量を無駄に消費してしまうという課題を有していた。【００１０】
本発明は、上記従来の課題を解決するもので、複数の画像から得られる複数のオブジェクトに対して、サムネイルの作成のための処理を効率よく行う画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記従来の課題を解決するために、本発明の一態様に係る画像処理装置は、複数の画像データを取得する取得部と、前記取得部により取得された複数の画像データから、それぞれが前記複数の画像データのうちの少なくとも１つの画像データに示される複数のオブジェクトを検出するオブジェクト検出部と、前記オブジェクト検出部により検出された複数のオブジェクトそれぞれの特徴量を算出する特徴量算出部と、前記複数のオブジェクトのうちの少なくとも１つのオブジェクトの特徴量が所定の条件を満たす場合、前記少なくとも１つのオブジェクトが属する第一クラスタであって、前記少なくとも１つのオブジェクトの特徴量に対応する第一クラスタを示す第一クラスタ情報を作成するクラスタ情報作成部と、前記クラスタ情報作成部により作成された第一クラスタ情報に示される前記少なくとも１つのオブジェクトの中からサムネイル作成の対象となるオブジェクトを選択する選択部と、前記選択部により選択されたオブジェクトを示す画像データを用いて、前記オブジェクトのサムネイルを作成するサムネイル作成部とを備える。【００１２】
この構成によれば、複数のオブジェクトのうちの、あるオブジェクトの特徴量が所定の条件を満たす場合に、当該オブジェクトが属する第一クラスタを示す第一クラスタ情報が作成される。つまり、所定の条件を満たすオブジェクトが属する第一クラスタが作成される。【００１３】
さらに、第一クラスタに属する少なくとも１つのオブジェクトが選択され、選択された当該少なくとも１つのオブジェクトのサムネイルが作成される。【００１４】
つまり、各オブジェクトの特徴量を参照し、所定の条件を満たすオブジェクトのみがクラスタに登録され、クラスタに登録されたオブジェクトのみが、サムネイルの作成の候補として扱われる。言い換えると、所定の条件を満たさないオブジェクトは、サムネイルの作成の対象から除外される。【００１５】
従って、本態様の画像処理装置によれば、例えば、ユーザにとって重要と思われるオブジェクトのサムネイルのみを作成することが可能となり、その結果、例えばサムネイルの一覧表示の高速化を実現することができる。【００１６】
さらに、本態様の画像処理装置によれば、例えば、重要とは思われないオブジェクトをサムネイルの作成対象から除外することが可能となり、その結果、本来的には必要のない処理の発生と、記録媒体の容量の無駄な消費とを抑制することが可能となる。【００１７】
このように、本態様の画像処理装置によれば、例えば、複数の画像から得られる複数のオブジェクトに対してサムネイルの作成のための処理を効率よく行うことができる。【００１８】
また、本発明の一態様に係る画像処理装置において、前記クラスタ情報作成部は、前記少なくとも１つのオブジェクトを含む２以上のオブジェクトそれぞれの特徴量が、前記所定の条件である、所定の大きさの範囲に含まれるという条件を満たす場合、前記２以上のオブジェクトが属する前記第一クラスタを示す前記第一クラスタ情報を作成するとしてもよい。【００１９】
この構成によれば、２以上のオブジェクトの特徴量が所定の大きさの範囲に含まれる場合に、これらオブジェクトが属する第一クラスタを示す第一クラスタ情報が作成される。つまり、簡単にいうと、複数のオブジェクトが近似している場合に、当該複数のオブジェクトと第一クラスタとが対応付けられた第一クラスタ情報が作成される。【００２０】
従って、例えば、１以上のオブジェクトを撮影することで得られた画像データが複数取得された場合に、２以上の所定の数の画像データに共通して出現するオブジェクトのみをサムネイル化することができる。その結果、例えば、ユーザにとって重要と考えられるオブジェクトについてのみ、サムネイルが作成される。【００２１】
また、本発明の一態様に係る画像処理装置において、前記クラスタ情報作成部は、（ｉ）２以上の整数Ｎの入力を受け付け、かつ、（ｉｉ）前記特徴量算出部により算出された、前記少なくとも１つのオブジェクトを含むＮ個のオブジェクトそれぞれの特徴量が前記所定の大きさの範囲に含まれる場合、前記Ｎ個のオブジェクトが属する前記第一クラスタを示す前記第一クラスタ情報を作成するとしてもよい。【００２２】
この構成によれば、クラスタ情報の作成の条件となる、特徴量が互いに近い関係にあるオブジェクトの個数Ｎが変数として扱われる。そのため、例えば、多数の画像データが処理の対象である場合に、Ｎを大きくすることで、オブジェクトがサムネイルの作成の候補として選択されるための条件を厳しくすることができる。【００２３】
また、本発明の一態様に係る画像処理装置において、前記クラスタ情報作成部は、前記少なくとも１つのオブジェクトの特徴量が、前記所定の条件である、閾値を超えるという条件を満たす場合、前記少なくとも１つのオブジェクトが属する前記第一クラスタを示す前記第一クラスタ情報を作成するとしてもよい。【００２４】
この構成によれば、例えば、１つの画像データにのみ示されるオブジェクトであっても、例えば、そのオブジェクトの面積の画像全体における割合が閾値よりも大きい場合、当該オブジェクトが第一クラスタに属することが示される第一クラスタ情報が作成される。【００２５】
例えば、あるオブジェクトを示す画像データが１つのみである場合であっても、当該画像データが当該オブジェクトをアップで撮影することで得られたものである場合は、サムネイルの作成の候補から除外されず、当該オブジェクトを識別する情報を含む第一クラスタ情報が作成される。【００２６】
また、本発明の一態様に係る画像処理装置において、前記クラスタ情報作成部はさらに、前記特徴量算出部により算出された他のオブジェクトの特徴量が前記所定の条件を満たす場合、前記他のオブジェクトが前記第一クラスタに属するように、作成済みの前記第一クラスタ情報を更新するとしてもよい。【００２７】
この構成によれば、例えば、新たに検出されたオブジェクトの特徴量が、既存の第一クラスタに対応する特徴量の範囲に含まれる場合、当該オブジェクトは、第一クラスタに追加登録される。【００２８】
例えば、ある特定の人物、または人物以外の特定の一般物体を撮影することで得られた画像データが、第一クラスタに登録された場合を想定する。この場合、その後に取得された、当該人物または当該一般物体を示す画像データは、第一クラスタに登録され、これにより、サムネイルの作成の候補として扱われる。【００２９】
また、本発明の一態様に係る画像処理装置において、前記選択部は、前記第一クラスタ情報に示される全てのオブジェクトのそれぞれをサムネイル作成の対象となるオブジェクトとして選択し、前記サムネイル作成部は、前記選択部により選択された全てのオブジェクトそれぞれを示す画像データを用いて、前記全てのオブジェクトのサムネイルを作成するとしてもよい。【００３０】
この構成によれば、例えば、第一クラスタに属する全てのオブジェクトのそれぞれのサムネイルが作成される。その結果、例えば、ユーザは、各サムネイルに対応するオブジェクトのそれぞれが、実際に第一クラスタに属するべきオブジェクトであるかの確認を行うことができる。【００３１】
また、本発明の一態様に係る画像処理装置において、前記クラスタ情報作成部はさらに、前記特徴量算出部により算出された他のオブジェクトの特徴量が前記所定の条件を満たさず、かつ、前記他のオブジェクトの特徴量と、前記所定の条件を満たさない既存のオブジェクトの特徴量とが、所定の大きさの範囲に含まれる場合、前記他のオブジェクトおよび前記既存のオブジェクトが属する第二クラスタを示す第二クラスタ情報を作成し、前記選択部はさらに、前記第一クラスタ情報および前記第二クラスタ情報の少なくとも一方から、サムネイル作成の対象となるオブジェクトを選択するとしてもよい。【００３２】
この構成によれば、新たに検出されたオブジェクトが、その特徴量が所定の条件を満たさないために既存のクラスタ（第一クラスタ）に属さないと判断され、かつ、当該特徴量が他の条件を満たす場合には、当該オブジェクトに対応する第二クラスタ情報が作成される。【００３３】
つまり、複数のオブジェクトに対するクラスタリングの結果に対応する複数のクラスタ情報が作成される。そのため、例えば、複数のメンバーで構成される集団の画像データが多数取得された場合に、メンバーごとのクラスタが作成され、これらクラスタに属するオブジェクト（各メンバーの顔を示す画像）のみがサムネイルの作成の候補として扱われる。【００３４】
また、本発明の一態様に係る画像処理装置において、前記選択部はさらに、前記第一クラスタ情報および前記第二クラスタ情報の双方から、サムネイル作成の対象となるオブジェクトを選択するとしてもよい。【００３５】
この構成によれば、複数のクラスタのそれぞれから少なくとも１つのオブジェクトが選択され、これらのサムネイルが作成される。これにより、例えば、複数のオブジェクトが複数のクラスタに分類された場合に、これらクラスタの一覧を、各クラスタに対応するサムネイルで表示させることができる。【００３６】
また、本発明の一態様に係る画像処理装置において、前記選択部は、前記第一クラスタ情報に示される、前記少なくとも１つのオブジェクトを含む３以上のオブジェクトの中から、前記３以上のオブジェクトの特徴量の平均値に最も近い特徴量を有するオブジェクトを、サムネイル作成の対象として選択するとしてもよい。【００３７】
この構成によれば、１つのクラスタに属する複数のオブジェクトの中から、当該クラスタ内で平均的な特徴量を有するオブジェクトが、サムネイルの作成の対象として選択される。つまり、当該クラスタの代表として相応しいと考えられるオブジェクトが選択され、そのサムネイルが作成される。【００３８】
そのため、例えば、各クラスタについて当該処理が実行されることで、これらクラスタの一覧を、各クラスタの内容が分かり易いサムネイルで表示させることができる。【００３９】
また、本発明の一態様に係る画像処理装置において、前記選択部はさらに、前記第一クラスタ情報に示される、前記少なくとも１つのオブジェクトを含む３以上のオブジェクトの中から、前記３以上のオブジェクトの特徴量の平均値との差が、所定の値以上または最大である特徴量を有するオブジェクトを、サムネイル作成の対象として選択するとしてもよい。【００４０】
この構成によれば、１つのクラスタに属する複数のオブジェクトの中から、当該クラスタにおける特徴量の平均値から遠い特徴量を有するオブジェクトが選択され、そのサムネイルが作成される。【００４１】
そのため、例えば、本来的には当該クラスタに属するべきでないオブジェクトのサムネイルが作成される。その結果、ユーザは、比較的に早い段階で、当該オブジェクトを当該クラスタから除外することができ、かつ、一旦作成された当該サムネイルも比較的に早い段階で削除される。つまり、クラスタの作成時の間違いに対する訂正が比較的早い段階でなされ、かつ、記録媒体の容量の無駄な消費も抑制される。【００４２】
また、本発明の一態様に係る画像処理装置において、前記サムネイル作成部は、（ａ）作成したサムネイルを、前記画像処理装置に接続された記録媒体に記録し、（ｂ）前記サムネイルをユーザからの所定の指示に応じて前記記録媒体から削除する場合、当該サムネイルに対応するオブジェクトの特徴量との差が所定の値より小さな特徴量を有するオブジェクトに対応するサムネイルであって、前記記録媒体に記録されている他のサムネイルを前記記録媒体から削除するとしてもよい。【００４３】
この構成によれば、例えば、ユーザにより不要と判断されるサムネイルが削除される場合に、同じく不要であると推定される他のサムネイルが削除される。これにより、例えば、複数のサムネイルが格納された記録媒体の容量の更なる有効活用が可能となる。【００４４】
また、本発明の一態様に係る画像処理装置において、前記サムネイル作成部はさらに、前記記録媒体から削除した前記サムネイルを、再度作成する場合、前記サムネイルとともに削除した前記他のサムネイルも再度作成するとしてもよい。【００４５】
この構成によれば、例えば、過去に削除され、事後的に必要となったサムネイル群を一括して復活させることができる。【００４６】
また、本発明の一態様に係る画像処理装置において、複数のオブジェクトのそれぞれは、人物の顔、もしくは、人物以外の一般物体の全体または一部分であるとしてもよい。【００４７】
この構成によれば、例えばユーザにとって重要と思われる顔または一般物体のサムネイルを作成することで、サムネイルの一覧表示の高速化を実現するとともに、重要とは思われない顔または一般物体のサムネイルを作成しないことで、記録媒体の容量の無駄な消費を抑制することが可能となる。【００４８】
また、本発明は、上記いずれかの態様に係る画像処理装置が実行する特徴的な処理を含む画像処理方法として実現することもできる。【００４９】
また、当該画像処理方法が含む各処理をコンピュータに実行させるためのプログラムとして実現すること、および、そのプログラムが記録された記録媒体として実現することもできる。そして、そのプログラムをインターネット等の伝送媒体又はＤＶＤ等の記録媒体を介して配信することもできる。【００５０】
また、本発明は、上記いずれかの態様に係る画像処理装置が有する特徴的な構成部を備える集積回路として実現することもできる。
【発明の効果】
【００５１】
本発明の画像処理装置および画像処理方法によれば、例えば、ユーザにとって重要と思われるオブジェクトのサムネイルを作成することで、一覧表示の高速化を実現するとともに、重要とは思われない顔のサムネイルは作成しないことで、記録媒体の容量の消費を低減することが可能となる。【００５２】
すなわち、本発明は、複数の画像から得られる複数のオブジェクトに対して、サムネイルの作成のための処理を効率よく行う画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００５３】
【図１】図１は、本発明の実施の形態における画像処理装置の構成の主要な機能構成を示すブロック図である。
【図２】図２は、実施の形態における処理対象画像の第１の例を示す模式図である。
【図３】図３は、実施の形態における処理対象画像の第２の例を示す模式図である。
【図４】図４は、実施の形態における処理対象画像の第３の例を示す模式図である。
【図５】図５は、実施の形態における処理対象画像の第４の例を示す模式図である。
【図６】図６は、実施の形態における処理対象画像の第５の例を示す模式図である。
【図７】図７は、実施の形態における検出結果データベースのデータ構造の一例を示す図である。
【図８】図８は、実施の形態におけるクラスタ情報データベースのデータ構造の一例を示す図である。
【図９】図９は、実施の形態における画像処理装置の処理の流れの概要を示すフローチャートである。
【図１０】図１０は、実施の形態における画像処理装置が実行する分類処理の詳細を示すフローチャートである。
【図１１】図１１は、実施の形態における画像処理装置が実行するクラスタ作成／更新処理の詳細を示すフローチャートである。
【図１２】図１２は、実施の形態における画像処理装置が実行するサムネイル作成処理の詳細を示すフローチャートである。
【図１３】図１３は、図１２におけるＳ５０６で記録された画像管理データベースのデータ構造の一例を示す図である。
【図１４】図１４は、図１２におけるＳ５０５で記録された顔サムネイルのデータ構成例を示す図である。
【図１５】図１５は、実施の形態におけるクラスタ情報データベースのデータ構造の他の一例を示す図である。
【図１６】図１６は、クラスタ情報の作成の条件となる個数Ｎを変数とした場合のクラスタ作成処理の概要を示すフローチャートである。
【図１７】図１７は、処理対象のオブジェクトの特徴量と閾値との比較を伴うクラスタ作成処理の概要を示すフローチャートである。
【図１８Ａ】図１８Ａは、実施の形態における画像処理装置から出力されるクラスタ一覧の一例を示す図である。
【図１８Ｂ】図１８Ｂは、実施の形態における画像処理装置から出力されるサムネイル一覧の一例を示す図である。
【図１８Ｃ】図１８Ｃは、実施の形態における画像処理装置から出力される、指定画像の表示態様の一例を示す図である。
【図１８Ｄ】図１８Ｄは、実施の形態における画像処理装置から出力される、指定画像の表示態様の別の一例を示す図である。
【図１９】図１９は、従来の画像処理装置の構成を示す図である。
【発明を実施するための形態】
【００５４】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ならびに、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
【００５５】
図１は、本発明の実施の形態における画像処理装置１００の主要な機能構成を示すブロック図である。
【００５６】
画像処理装置１００は、取得部１０２と、オブジェクト検出部１０３と、特徴量算出部１０４と、クラスタ情報作成部１０５と、選択部１０６と、サムネイル作成部１０７とを備える。
【００５７】
また、画像処理装置１００には、記録媒体１０１と、入力装置１０８と、表示装置１０９とが接続されている。以下、それぞれの構成要素について説明する。
【００５８】
記録媒体１０１は、画像データを含む各種情報を記録するための媒体であり、画像処理装置１００と有線または無線により接続されている。本実施の形態では、記録媒体１０１には、画像データおよびサムネイルデータに加え、検出結果データベース１５１と、クラスタ情報データベース１５２と、画像管理データベース１５３とが記録されている。なお、これら各種情報は、それぞれが互いに異なる記録媒体に記録されていてもよい。
【００５９】
取得部１０２は、画像データを記録媒体１０１から取得する。また、取得部１０２は、例えば通信ネットワークを介して接続された他の機器から画像データを取得してもよい。
【００６０】
オブジェクト検出部１０３は、画像データに示されるオブジェクトを検出する。本実施の形態では、各画像データに示される人物の顔領域を検出する。オブジェクト検出部１０３は、検出した顔領域の情報を、記録媒体１０１内の検出結果データベース１５１等に記録することができる。
【００６１】
なお、顔検出の方法はＰ．ＶｉｏｌａおよびＭ．Ｊｏｎｅｓによって発表された顔検出手法（Ｒｏｂｕｓｔ  ｒｅａｌ  ｔｉｍｅ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ）などが代表的な方法としてある。顔検出手法は、本願発明の本質ではないためその詳細は割愛する。
【００６２】
特徴量算出部１０４は、オブジェクト検出部１０３が検出した顔領域について特徴量を算出する。特徴量算出の方法はＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）およびＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）などの方法が代表的な方法としてある。特徴量算出の方法は、本願発明の本質ではないためその詳細は割愛する。
【００６３】
クラスタ情報作成部１０５は、複数のオブジェクトのうちの少なくとも１つのオブジェクトの特徴量が所定の条件を満たす場合、前記少なくとも１つのオブジェクトが属するクラスタであって、前記少なくとも１つのオブジェクトの特徴量に対応するクラスタを示すクラスタ情報を作成する。
【００６４】
本実施の形態では、クラスタ情報作成部１０５は、特徴量算出部１０４が算出した２以上の顔領域の特徴量を比較して、特徴量が近いと判断した２以上の顔領域を同一クラスタに登録する。つまり、当該２以上の顔領域と当該クラスタとが対応付けられたクラスタ情報が作成され、記録媒体１０１のクラスタ情報データベース１５２に記録される。
【００６５】
言い換えると、２以上のオブジェクトそれぞれの特徴量が所定の大きさの範囲に含まれる場合、当該２以上のオブジェクトが属するクラスタを示すクラスタ情報が作成され記録される。
【００６６】
一方、特徴量が近いものがないと判断された顔領域については、既存のクラスタへの登録、および、その時点での新規クラスタ情報の作成はせず、クラスタ情報データベース１５２にも記録されない。
【００６７】
選択部１０６は、クラスタ情報データベース１５２を参照し、少なくとも１つのクラスタに登録されている顔領域の少なくとも１つを選択する。本実施の形態では、複数のクラスタそれぞれに登録されている顔領域を全て選択する。
【００６８】
サムネイル作成部１０７は、選択された全ての顔領域について、これら顔領域が示される画像データのそれぞれから該当の顔領域を切り出し、所定サイズ（例えば横１２０ピクセル、縦１２０ピクセル）の顔サムネイルデータ（以下、単に「顔サムネイル」ともいう。）を作成する。その後、作成した顔サムネイルを、記録媒体１０１に記録する。
【００６９】
なお、顔サムネイルのサイズは、横１２０ピクセル、縦１２０ピクセルである必要はなく、当該サイズよりも大きくても小さくてもよい。また、顔サムネイルの横の長さと縦の長さとが同一でなくてもよい。
【００７０】
入力装置１０８は、画像処理装置１００に対するユーザの操作情報および文字入力などを受け付け、画像処理装置１００に出力する。
【００７１】
表示装置１０９は、記録媒体１０１に記録されている画像データおよび顔サムネイルなどを表示する。また、表示装置１０９は、入力装置１０８が受け付けたユーザ操作に基づいて、画像データと顔サムネイルとの切り替え表示などを行う。
【００７２】
図２〜図６のそれぞれは、画像処理装置１００が処理の対象とする画像データに示される画像の一例を示す模式図である。また、各図において、破線で示した矩形は説明を容易にするために記載したものであり画像には写っていない。
【００７３】
図２は画像ＩＤ＝１である画像を示しており、ここでは破線矩形６０１〜６０５それぞれに囲まれた領域が、オブジェクト検出部１０３に検出される顔領域である。
【００７４】
また、図３は画像ＩＤ＝２である画像を示しており、ここでは破線矩形７０１に囲まれた領域が、オブジェクト検出部１０３に検出される顔領域である。
【００７５】
また、図４は画像ＩＤ＝３である画像を示しており、ここでは破線矩形８０１に囲まれた領域が、オブジェクト検出部１０３に検出される顔領域である。
【００７６】
また、図５は画像ＩＤ＝４である画像を示しており、ここではオブジェクト検出部１０３が検出する顔領域は存在しない。
【００７７】
また、図６は画像ＩＤ＝５である画像を示しており、ここでは破線矩形１００１および１００２それぞれに囲まれた領域が、オブジェクト検出部１０３に検出される顔領域である。
【００７８】
このように、オブジェクト検出部１０３に検出された顔領域のそれぞれの情報は、検出結果データベース１５１に記録される。
【００７９】
図７は、実施の形態における検出結果データベース１５１のデータ構造の一例を示す図である。
【００８０】
図７に示すように、検出結果データベース１５１には、画像ＩＤ＝１〜５の各画像データを識別するための画像ＩＤと、その画像データに含まれる顔領域を識別するための顔ＩＤと、顔領域の情報とが記録されている。
【００８１】
本実施の形態における顔領域の情報は、画像内のＸ座標（図中のＸ）、Ｙ座標（図中のＹ）、幅（図中のＷ）および高さ（図中のＨ）で示しているが、顔領域は、これら情報以外の情報によって特定されてもよい。なお、例えば、顔ＩＤ＝６０１は破線矩形６０１の顔領域を示すように、顔ＩＤの番号と、顔領域の番号とを一致させて説明する。
【００８２】
図８は、実施の形態におけるクラスタ情報データベース１５２のデータ構造の一例を示す図である。
【００８３】
具体的には、クラスタ情報作成部１０５は、各顔領域の特徴量に基づいて、特徴量の近い顔領域が同一クラスタに属するように各クラスタ情報を作成する。また、このように作成されたクラスタ情報によって、クラスタ情報データベース１５２が構成されている。
【００８４】
つまり、本実施の形態では、クラスタ情報データベース１５２において、同一のクラスタ内にそれぞれ特徴量の近い顔領域の顔ＩＤが登録される。
【００８５】
以上のように構成される画像処理装置１００の動作を図９〜図１２のフローチャートを用いて説明する。
【００８６】
図９は、実施の形態における画像処理装置１００の処理の流れの概要を示すフローチャートである。
【００８７】
最初に画像処理装置１００は、記録媒体１０１に記録されている画像データを取得し、これら画像データの分類処理（Ｓ２０１）を行う。分類処理については後述する。
【００８８】
次に、まだ分類処理していない画像データがあれば（Ｓ２０２でＹｅｓ）、画像処理装置１００の処理フローは、その画像データについて分類処理を行うためＳ２０１に移行し、分類処理していない画像データが無ければ（Ｓ２０２でＮｏ）、Ｓ２０３の処理に移行する。
【００８９】
次に、画像処理装置１００は、後述するサムネイル作成処理（Ｓ２０３）を行い、処理を終了する。
【００９０】
＜分類処理＞
図１０は、実施の形態における画像処理装置１００が実行する分類処理の詳細を示すフローチャートである。
【００９１】
図１１は、実施の形態における画像処理装置１００が実行するクラスタ作成／更新処理の詳細を示すフローチャートである。
【００９２】
図１０および図１１のフローチャートを用いて、図９におけるＳ２０１の処理（分類処理）について説明する。
【００９３】
分類処理では、まずオブジェクト検出部１０３が、画像データに示される人物の顔の検出処理を開始する（Ｓ３０１）。
【００９４】
次に、まだ顔検出処理していない顔（未処理の顔）を検出した場合（Ｓ３０２でＹｅｓ）、画像処理装置１００処理フローは、Ｓ３０３の処理に移行する。Ｓ３０１において、未処理の顔を検出しなかった場合（Ｓ３０２でＮｏ）、その画像データについての分類処理は終了する。
【００９５】
次に、オブジェクト検出部１０３は、検出した顔領域の情報を画像データごとに検出結果データベース１５１（図７参照）に記録する（Ｓ３０３）。
【００９６】
次に、特徴量算出部１０４は、検出された顔領域それぞれの特徴量を算出し、保持する（Ｓ３０４）。なお、算出されたそれぞれの特徴量は、例えば、検出結果データベース１５１またはクラスタ情報データベース１５２に、顔ＩＤと対応づけて格納されてもよい。
【００９７】
また、顔領域の特徴量としては、当該顔領域に含まれる顔の輪郭形状、当該輪郭部分におけるエッジ強度、当該顔における眼または鼻などの部位の位置、当該顔領域の面積の当該顔領域を含む画像全体における割合などの各種物理量のそれぞれ、または、これら各種物理量の組み合わせなどが例示される。
【００９８】
次に、算出された特徴量をもとに、クラスタ情報作成部１０５は、下記のクラスタ作成／更新処理を実施する（Ｓ３０５）。
【００９９】
画像処理装置１００の処理フローは、クラスタ作成／更新処理（Ｓ３０５）が終了するとＳ３０１の処理に戻る。
【０１００】
＜クラスタ作成／更新処理＞
クラスタ作成／更新処理では、クラスタ情報作成部１０５は、図１０におけるＳ３０４で算出された、現在の処理対象である顔領域（現在の顔領域）の特徴量と、既に特徴量が算出されている顔領域（既存の顔領域）の特徴量を比較する。これにより、クラスタ情報作成部１０５は、現在の顔領域に、特徴量が近い既存の顔領域が存在するか否かを判断する。
【０１０１】
例えば、現在の顔領域の特徴量と既存の顔領域の特徴量とが所定の大きさの範囲に含まれる場合（言い換えると、これら特徴量の差分が所定の値より小さい場合）、現在の顔領域に特徴量が近い既存の顔領域が存在すると判断される。
【０１０２】
例えば、各顔領域の特徴量がｍ種類の物理量で示される場合、各顔領域の特徴量はｍ次元の特徴量空間における座標で表される。また、顔領域Ａの特徴量ａの座標と、顔領域Ｂの特徴量ｂの座標との距離が所定の値より小さい場合、顔領域Ａと顔領域Ｂとが類似している（特徴量ａと特徴量ｂとが近い）と判断される。
【０１０３】
また、既にクラスタが作成されており、当該クラスタに属する複数の既存の顔領域の特徴量の平均値と、現在の顔領域の特徴量との差分が所定の値より小さい場合を想定する。この場合も、現在の顔領域を含む２以上の顔領域それぞれの特徴量が所定の大きさの範囲に含まれると表現できる。つまり、現在の顔領域に特徴量が近い既存の顔領域が存在すると判断される。
【０１０４】
もし特徴量の近い既存の顔領域が存在する場合（Ｓ４０１でＹｅｓ）、画像処理装置１００処理フローは、Ｓ４０２に移行し、特徴量の近い既存の顔領域が存在しない場合（Ｓ４０１でＮｏ）には、現在の顔領域についてのクラスタ作成／更新処理を終了する。
【０１０５】
次に、クラスタ情報作成部１０５は、Ｓ４０１において現在の顔領域の特徴量と近いと判断された特徴量を有する既存の顔領域が、既にクラスタに登録されているか否かを確認する（Ｓ４０２）。もしクラスタに登録されていれば（Ｓ４０２でＹｅｓ）、画像処理装置１００処理フローは、Ｓ４０３に移行し、登録されていなければ（Ｓ４０２でＮｏ）、Ｓ４０４に移行する。
【０１０６】
Ｓ４０２における確認の結果、当該既存の顔領域がクラスタに登録されていた場合（Ｓ４０２でＹｅｓ）、クラスタ情報作成部１０５は、そのクラスタに、現在の顔領域を追加する。つまり、クラスタ情報作成部１０５は、当該クラスタに現在の顔領域が属するように、当該クラスタについてのクラスタ情報を更新する（Ｓ４０３）。更新後、クラスタ作成／更新処理を終了する。
【０１０７】
Ｓ４０２における確認の結果、当該既存の顔領域がクラスタ登録されていなかった場合、新たなクラスタを作成する（Ｓ４０４）。
【０１０８】
そして、新たなクラスタに、当該既存の顔領域と現在の顔領域とを登録する（Ｓ４０５）。つまり、クラスタ情報作成部１０５は、当該既存の顔領域と現在の顔領域とが当該新たなクラスタに属することを示すクラスタ情報を作成する。クラスタ情報の作成後、クラスタ作成／更新処理を終了する。
【０１０９】
以上の分類処理とクラスタ作成／更新処理とにより、特徴量の近い２以上の顔領域が１つのクラスタとして登録される。その結果、複数の顔領域が属するクラスタが１以上存在することとなる。
【０１１０】
つまり、本実施の形態では、処理対象の１以上の画像データに示される複数の顔領域のうち、特徴量が所定の条件を満たす顔領域が少なくとも２つ存在していれば、当該顔領域が属するクラスタが作成される。具体的には、当該２つの顔領域と当該クラスタとが対応づけられたクラスタ情報が作成される。
【０１１１】
より詳細には、クラスタ情報作成部１０５は、現在の顔領域の特徴量が、既存のクラスタに対応する特徴量の範囲に含まれず、かつ、現在の顔領域の特徴量と既存の顔領域の特徴量とが所定の大きさの範囲に含まれる場合、現在の顔領域の特徴量と既存の顔領域の特徴量とが属する新たなクラスタを示すクラスタ情報を作成する。
【０１１２】
また、現在の顔領域の特徴量が、既存のクラスタに対応する特徴量の範囲に含まれる場合、現在の顔領域が当該クラスタに属するように、作成済みのクラスタ情報を更新する。
【０１１３】
このように、クラスタ情報作成部１０５により、各オブジェクトに対する分類処理および、クラスタ作成／更新処理が行われた結果、図８に示すようなクラスタ情報がクラスタ情報データベース１５２に記録される。
【０１１４】
具体的には、図８は、図２〜図６に示す画像ＩＤ＝１〜５の画像に対して分類処理とクラスタ作成／更新処理とが行われた結果得られた、クラスタ情報データベース１５２のデータ構造を示している。
【０１１５】
図８に示すように、顔ＩＤが６０３、７０１および８０１の顔領域の特徴量が近いと判定され、それらの顔領域を示す顔ＩＤがクラスタＩＤ＝１のクラスタに登録されている。また、顔ＩＤが６０１と１００１の顔領域の特徴量が近いと判定され、それらの顔領域を示す顔ＩＤがクラスタＩＤ＝２のクラスタに登録されている。また、顔ＩＤが６０２と１００２の顔領域の特徴量が近いと判定され、それらの顔領域を示す顔ＩＤがクラスタＩＤ＝３のクラスタに登録されている。
【０１１６】
このように、複数の画像データから得られる複数のオブジェクトのうち、特徴量についての所定の条件を満たすオブジェクトのみがクラスタに登録される。本実施の形態では、特徴量が近い（つまり、所定の大きさの範囲に含まれる）２以上の顔領域のみがクラスタに登録される。
【０１１７】
いずれかのクラスタに登録された顔領域のそれぞれは、サムネイル作成の候補として扱われる。本実施の形態では、いずれかのクラスタに属する全ての顔領域それぞれのサムネイルが作成される。
【０１１８】
＜サムネイル作成処理＞
図１２は、実施の形態における画像処理装置１００が実行するサムネイル作成処理の詳細を示すフローチャートである。
【０１１９】
図１２のフローチャートを用いて、図９におけるＳ２０３の処理（サムネイル作成処理）について説明する。
【０１２０】
まず、選択部１０６が、クラスタ情報データベース１５２を参照し、いずれかのクラスタに登録された顔領域のうち顔サムネイルをまだ作成していないものが存在するかを確認する。もし、顔サムネイル未作成の顔領域が存在すれば（Ｓ５０１でＹｅｓ）、画像処理装置１００の処理フローは、Ｓ５０２に移行し、存在しなければ（Ｓ５０１でＮｏ）、画像処理装置１００は、サムネイル作成処理を終了する。
【０１２１】
次に選択部１０６は、Ｓ５０１で顔サムネイルが未作成であると判断された顔領域の１つを選択する（Ｓ５０２）。
【０１２２】
次にサムネイル作成部１０７は、Ｓ５０２で選択された顔領域を示す画像データから、当該顔領域を切り出す（Ｓ５０３）。
【０１２３】
次にサムネイル作成部１０７は、切り出した顔領域に対して縮小または拡大をするなどの画像変換を行うことで、所定サイズ（例えば横１２０ピクセル、縦１２０ピクセル）の顔サムネイルを作成する（Ｓ５０４）。
【０１２４】
次にサムネイル作成部１０７は、Ｓ５０４で作成した顔サムネイルを、記録媒体１０１に記録する（Ｓ５０５）。
【０１２５】
次にサムネイル作成部１０７は、Ｓ５０５で記録した顔サムネイルと顔領域との対応関係を記録媒体１０１の画像管理データベース１５３に記録する（Ｓ５０６）。その後、画像処理装置１００の処理フローは、Ｓ５０１に移行する。
【０１２６】
図１３は、図１２におけるＳ５０６で記録された画像管理データベース１５３のデータ構造の一例を示す図である。
【０１２７】
図１４は、図１２におけるＳ５０５で記録された顔サムネイルのデータ構成例を示す図である。
【０１２８】
図１３に示すように、画像管理データベース１５３では、顔サムネイルを作成した顔領域を示す顔ＩＤそれぞれに対して、当該顔サムネイルのデータを含むサムネイルファイルの記録媒体１０１上のファイルパス情報と、そのサムネイルファイル内のオフセットおよびデータサイズとが対応付けられている。
【０１２９】
本実施の形態では、１つの画像データ内の１以上の顔領域それぞれの顔サムネイルデータは、１つのファイルに記録される。
【０１３０】
図１４は、実施の形態におけるサムネイルファイルのデータ構成例を示す図である。
【０１３１】
具体的には、図１４は、画像ＩＤ＝１の画像データに含まれる３つの顔領域に関するサムネイルファイルを示している。当該サムネイルファイルには、顔サムネイルデータを作成した順番に、ファイルの先頭からそれぞれの顔サムネイルデータが並べられている。
【０１３２】
表示装置１０９に、ある顔サムネイルを表示させる際には、例えば、画像処理装置１００が備える表示制御部（図示せず）が、図１３に示した画像管理データベース１５３から当該顔サムネイルデータの記録場所を参照する。さらに、表示制御部は、図１４に示したサムネイルファイルから、当該顔サムネイルデータを取り出して表示装置１０９に表示させる。
【０１３３】
以上のように、本実施の形態では、画像ＩＤ＝１の画像データに示される顔ＩＤ＝６０４および６０５の顔領域に関しては、クラスタに登録されず、顔サムネイルデータが作成されないことになる。
【０１３４】
ここで、本実施の形態における処理対象の５つの画像を参照すると、顔ＩＤ＝６０４および６０５に対応する人物は、１つの画像（ＩＤ＝１）にしか出現しておらず、これらの人物は例えば背景に写りこんだ通行人などである可能性が高いと考えられる。つまり、これら人物の顔を示す顔ＩＤ＝６０４および６０５の顔領域はユーザにとっては重要ではない可能性がある。
【０１３５】
本実施の形態の画像処理装置１００は、このようにユーザにとって重要ではない可能性がある顔領域の顔サムネイルは作成しない。つまり、画像処理装置１００は、無駄な画像処理の実行を抑制することができ、かつ、記録媒体１０１の容量の無駄な消費を抑制することができる。
【０１３６】
一方、クラスタに登録された顔領域に関しては、当該顔領域と類似関係にある他の顔領域が少なくとも１つ存在していることが確認されている。つまり、同一クラスタに属する複数の顔領域は、同一人物の顔を示す画像領域であると推認され、かつ、当該人物の顔は、複数枚の画像に出現する（複数の画像データに示される）ことから、ユーザにとって重要である人物の顔である可能性が高い。
【０１３７】
本実施の形態の画像処理装置１００は、このようにユーザにとって重要である人物の顔である可能性が高い顔サムネイルを予め作成しておくことが可能である。その結果、複数の画像データに基づく複数の顔サムネイルの表示を行う際には、予め作成した顔サムネイルを表示することができる。従って、画像処理装置１００が、処理性能の低い電子機器によって実現された場合においても表示速度が向上するという効果が得られる。
【０１３８】
また、各顔サムネイルは、クラスタごとに分類される。そのため、例えばクラスタに属する複数の顔サムネイルの内の１つの顔サムネイルを当該クラスタの代表画像として設定し、クラスタ一覧を表示する場合には、これらクラスタごとの代表画像の顔サムネイルの一覧を表示するといった利用も可能である。
【０１３９】
これにより、例えば、クラスタ単位に人物名を付与するということが可能となる。その結果、ユーザが複数の画像データに対して１つずつ人物名を付与するような手間を軽減させることが可能となる。
【０１４０】
なお、本実施の形態では顔領域の情報を破線矩形に対応するＸ座標、Ｙ座標、幅および高さで示した。しかし、顔領域を表す方法としては、これ以外にも、円または楕円などを示す、座標および半径などで表す方法が用いられてもよい。
【０１４１】
また、多角形などを示す各頂点の座標、もしくは、中心座標と中心座標からの各頂点へのベクトルで表す方法が、顔領域を表す方法として用いられてもよい。また、顔領域をある基準点からのベクトルで表す方法などが、顔領域を表す方法として用いられてもよい。
【０１４２】
つまり、画像内の特定範囲を示す方法であれば、どのような方法を用いて顔領域が表されてもよい。
【０１４３】
これにより、例えば、より詳細な輪郭線を用いて顔領域を特定することも可能となる。なお、座標にはピクセル単位やミリメートルなどの長さの単位などが利用可能である。
【０１４４】
また、記録媒体１０１は、本実施の形態では画像処理装置１００の外部にあり、有線または無線を含む各種インタフェースで接続可能であるとした。しかし、記録媒体１０１は、インターネットなどの通信ネットワーク経由で画像処理装置１００と接続されてもよい。さらに、画像処理装置１００は、複数の記録媒体と接続することも可能である。これにより柔軟なシステム構成が可能となる。
【０１４５】
例えば、画像処理装置１００を備えるサーバ装置がインターネットに接続されている場合を想定する。この場合、記録媒体１０１を備える携帯端末からインターネットを介して当該サーバ装置に記録媒体１０１に記録されている複数の画像データを送信する。これにより、当該複数の画像データに対するクラスタ作成処理およびサムネイル作成処理（図９〜図１２参照）を、当該サーバ装置に実行させることができる。その結果、当該携帯端末は、当該複数の画像データから得られたクラスタ情報データベース１５２およびサムネイルファイル等を取得することができる。これにより、当該携帯端末はクラスタ一覧の表示などを行うことができる。
【０１４６】
つまり、画像処理装置１００を備える該サーバ装置をインターネットに接続することで、複数の携帯端末に対して、クラスタ作成処理およびサムネイル作成処理等のサービスを提供することも可能である。
【０１４７】
また、例えば、画像処理装置１００を備える携帯端末を、インターネットに接続し、記録媒体１０１を備えるサーバ装置から、記録媒体１０１に記録されている複数の画像データを取得してもよい。つまり、インターネット上の記録媒体１０１に蓄積された複数の画像データに対応したクラスタ情報データベース１５２およびサムネイルファイル等の作成を、ユーザの手元にある携帯端末で実行させることも可能である。
【０１４８】
さらに、入力装置１０８および表示装置１０９を備える携帯端末から、インターネットを介して、記録媒体１０１および画像処理装置１００を備えるサーバ装置にアクセスし、当該サーバ装置に、クラスタ作成処理およびサムネイル作成処理等を行わせてもよい。
【０１４９】
また、携帯端末に保持されている複数の画像データと、インターネット上のサーバ装置に保持されている複数の画像データとを、例えば他のサーバ装置に備えられた画像処理装置１００が一括して処理してもよい。
【０１５０】
また、記録媒体１０１は、画像処理装置１００の内部に存在してもよい。例えば、画像処理装置１００がＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）を内蔵する場合、当該ＨＤＤによって記録媒体１０１が実現されてもよい。また、例えば、画像処理装置１００に脱着可能なＳＤカード等の可搬媒体によって記録媒体１０１が実現されてもよい。
【０１５１】
また、本実施の形態では、画像処理装置１００における検出対象であるオブジェクトが、画像データに示される顔（または顔領域）である場合の各種処理について説明した。
【０１５２】
しかしながら、画像処理装置１００の検出対象であるオブジェクトは、人物の顔以外であってもよく、人物以外の一般物体（例えば動物、植物、自動車または建物などの物体）の全体または一部分であってもよい。
【０１５３】
この場合、オブジェクト検出部１０３は、一般物体検出技術を用いて一般物体を認識することが可能である。一般物体検出技術に関しては本願発明の本質ではないので説明は割愛するが、一般的な手法であれば利用可能であることは言うまでもない。
【０１５４】
また、各フローチャートにおける処理の順序は特にこれらに限定されるものではなく、同様の結果が得られるのであれば各ステップの順番が入れ替わってもよいことは言うまでもない。
【０１５５】
また、本実施の形態において、画像処理装置１００の処理対象である“画像”とは静止画に限るものではなく動画でもよい。この場合、動画内の人物の顔検出および一般物体検出の方法は本願の本質ではないので説明は割愛するが、動画内に写る人物の顔領域の抽出や一般物体領域の抽出ができればどのような方式でも利用可能である。
【０１５６】
また、本実施の形態では、顔領域の分類結果を、図８に示すように、クラスタと顔領域とを直接結ぶような関係でクラスタ情報データベース１５２に記録している。
【０１５７】
しかし、クラスタ情報データベース１５２は、図８に示す階層構造以外の階層構造を有していてもよい。
【０１５８】
図１５は、実施の形態におけるクラスタ情報データベース１５２のデータ構造の他の一例を示す図である。
【０１５９】
例えば図１５に示すように、より特徴量の近い関係にある顔領域をサブクラスタに登録し、サブクラスタの間で特徴量が近いものをクラスタに登録するような階層構造を、クラスタ情報データベース１５２に持たせてもよい。
【０１６０】
これにより、例えばサブクラスタ一覧を表示するとした場合、サブクラスタ内の１つの顔サムネイルを表示することができる。そしてサブクラスタ単位に人物名を付与することで、より正確に人物名を付与することが可能となる。
【０１６１】
また、本実施の形態では特徴量の近い２つの顔領域でクラスタに登録するとした。つまり、クラスタ情報の作成の条件となる、特徴量が互いに近い関係にあるオブジェクト（類似オブジェクト）の個数は２であるとした。
【０１６２】
しかしながら、クラスタ情報の作成の条件となる、類似オブジェクトの個数は２に限るものではなく、互いに類似関係にある、より多くの数の顔領域が存在した場合にクラスタ情報を生成してもよい。
【０１６３】
また、例えば、クラスタ情報の作成の条件となる、類似オブジェクトの個数Ｎを変数として扱ってもよい。
【０１６４】
図１６は、クラスタ情報の作成の条件となる個数Ｎを変数とした場合のクラスタ作成処理の概要を示すフローチャートである。
【０１６５】
例えば、ユーザの操作により入力装置１０８から整数Ｎ（Ｎ≧２）が入力されると、クラスタ情報作成部１０５は、整数Ｎの入力を受け付ける（Ｓ６０１）。クラスタ情報作成部１０５はさらに、類似するＮ個の顔領域が存在する場合（Ｓ６０２でＹｅｓ）、つまり、Ｎ個の顔領域のそれぞれの特徴量が所定の大きさの範囲に含まれる場合、当該Ｎ個の顔領域が属するクラスタを示すクラスタ情報を作成する（Ｓ６０３）。
【０１６６】
このように、クラスタ情報の作成の条件となる、類似オブジェクトの個数Ｎを変数として扱うことにより、例えば、Ｎを大きくすることで、オブジェクトがサムネイルの作成の候補として選択されるための条件を厳しくすることができる。
【０１６７】
例えば、家族等の所定のグループを撮影することで得られた多数（例えば１０００以上）の画像をサムネイル作成のための処理対象とする場合を想定する。この場合、当該グループとは無関係の人物が、２または３程度の複数の画像に現れている可能性がある。また、これら画像の枚数が多数であるために、当該グループの各メンバーは、少なくとも２０枚以上の画像に現れていると考えられる。
【０１６８】
この場合、例えば、Ｎ＝１０とすることで、画像処理装置１００は、当該グループとは無関係の人物を、顔サムネイルの作成の対象から除外することができるとともに、当該グループの各メンバーの顔を、ほぼ確実に、顔サムネイルの作成の対象として選択することができる。
【０１６９】
また、本実施の形態では、１つの画像データにしか示されない顔領域はクラスタに登録されないとした。つまり、現在の処理対象である顔領域（現在の顔領域）について、これと類似関係にある既存の顔領域がない場合は、その時点では、現在の顔領域が属するクラスタは作成されないとした。
【０１７０】
しかしながら、画像処理装置１００は、現在の顔領域が、既存の顔領域と類似しない場合であっても、現在の顔領域の特徴量と所定の閾値との比較結果によっては、現在の顔領域が属するクラスタを作成してもよい。
【０１７１】
図１７は、処理対象のオブジェクトの特徴量と閾値との比較を伴うクラスタ作成処理の概要を示すフローチャートである。
【０１７２】
例えば、現在の顔領域の特徴量の１つである、現在の顔領域を示す画像全体における現在の顔領域の面積の割合が、閾値（例えば５０％）を越えている場合（Ｓ７０１でＹｅｓ）を想定する。この場合、クラスタ情報作成部１０５は、類似の顔領域の存在の有無に関わらず、現在の顔領域が属するクラスタを作成してもよい（Ｓ７０２）。
【０１７３】
これにより、例えばある人物が写った写真の画像データが１枚だけであっても、その人物をアップで撮影された画像データである場合は、その人物はユーザにとって重要と判断され、顔サムネイルが作成されることになる。つまり画像処理装置１００は、重要と考えられる人物の顔サムネイルの表示に係る処理を早期に実行することが可能となる。
【０１７４】
また、クラスタ情報作成部１０５は、例えば、現在の顔領域における顔のボケ具合に応じて、現在の顔領域が属するクラスタを作成するか否かを決定してもよい。具体的には、クラスタ情報作成部１０５は、現在の顔領域の特徴量から当該顔に焦点が合っていると判断される場合、現在の顔領域が属するクラスタを作成してもよい。
【０１７５】
また、画像処理装置１００は、連写機能で撮影することで得られた複数の画像データに共通して示される類似関係にある複数の顔領域は、連写機能で撮影した複数の画像データで１つとしてカウントするとしてもよい。
【０１７６】
これにより、連写機能で撮影した場合に、複数の画像の背景に連続して写りこんだ重要ではない人物の顔サムネイルを誤って作成することを防止することが可能となる。
【０１７７】
なお、連写機能で撮影したかどうかの判断は、例えば画像データに付随する撮影日時情報から非常に短い時間間隔で撮影されているものを連写機能で撮影したと判断することが可能である。また、カメラが連写機能で撮影した場合に、そのカメラが、画像データに付与した、連写機能で撮影したことを示す情報が参照されてもよい。
【０１７８】
また、本実施の形態では、画像処理装置１００は、各クラスタに属する全ての顔領域の顔サムネイルを作成するとしたが、それに限らず、例えば、上述のサブクラスタに属する複数の顔領域のように、同一クラスタ内で特徴量が互いに非常に近い関係にある２以上の顔領域だけを選択して顔サムネイルを作成してもよい。
【０１７９】
例えば、あるクラスタに１０個の顔領域が属し、これらの中の３個の顔領域の特徴量が、特徴量空間において密集するように分布している場合を想定する。この場合、選択部１０６は、これら３個の顔領域を選択し、サムネイル作成部１０７は、これら３個の顔領域のサムネイルを作成する。
【０１８０】
これにより、１つのクラスタ内に多量の顔領域が登録された場合に、例えば、全ての顔サムネイルを作成する前に、その一部だけの顔サムネイルを作成して、それら顔サムネイルを用いて、クラスタ一覧の表示を行うということが可能となる。
【０１８１】
また、画像処理装置１００は、クラスタ内で平均的な特徴量をもつ顔領域だけを選択して顔サムネイルデータを作成してもよい。つまり、選択部１０６は、あるクラスタ情報に示される３以上の顔領域の中から、当該３以上の顔領域の特徴量の平均値に最も近い特徴量を有する顔領域を、サムネイル作成の対象として選択してもよい。この場合も、上記と同様の効果が得られる。
【０１８２】
また、画像処理装置１００は、クラスタ内における特徴量の平均値から遠い特徴量をもつ顔領域を選択して顔サムネイルデータを作成してもよい。つまり、選択部１０６は、あるクラスタ情報に示される３以上の顔領域の中から、当該３以上の顔領域の特徴量の平均値との差が、所定の値以上または最大である特徴量を有する顔領域を、サムネイル作成の対象として選択してもよい。
【０１８３】
この場合、例えば、本来的には当該クラスタに属するべきでない顔領域が選択され、当該顔領域のサムネイルが作成される。そのため、ユーザは、比較的に早い段階で、当該顔領域を当該クラスタから除外することができる。また、ユーザは、一旦作成された、本来的には不要であるサムネイルを、比較的に早い段階で削除することができる。
【０１８４】
例えば、ある人物Ａの顔と人物Ｂの顔とが似ているため、人物Ａの顔領域と人物Ｂの顔領域とを含むクラスタが作成された場合を想定する、つまり、クラスタの作成時の間違いが発生した場合を想定する。このような場合であっても、当該間違いに対する比較的早い段階での訂正が可能となり、かつ、記録媒体１０１の容量の無駄な消費も抑制される。
【０１８５】
なお、当該顔領域を当該クラスタから除外する場合、例えば、ユーザによる入力装置１０８からの所定の指示により、クラスタ情報作成部１０５が、当該顔領域を当該クラスタから除外するように、クラスタ情報データベース１５２を更新する。
【０１８６】
また、一旦作成されたサムネイルを削除する場合、例えば、ユーザによる入力装置１０８からの所定の指示により、サムネイル作成部１０７が、当該サムネイルを記録媒体１０１の中から選択し、記録媒体１０１から削除する。
【０１８７】
また、サムネイル作成部１０７は、サムネイルを削除する場合、当該サムネイルに対応する特徴量に近い（差が所定の値より小さい）特徴量を有する他のサムネイルも、当該サムネイルとともに記録媒体１０１から削除してもよい。なお、当該他のサムネイルは、選択部１０６が、特徴量算出部１０４によって算出された、顔ＩＤごとの特徴量を参照することで特定される。
【０１８８】
この場合、クラスタ情報作成部１０５は、当該他のサムネイルに対応する顔領域を、当該顔領域が登録されていたクラスタ情報から削除する。
【０１８９】
これにより、例えば、人物Ａに対応するクラスタに、人物Ｂの複数の顔領域が属している場合、人物Ｂの複数の顔領域を一括して削除することができる。
【０１９０】
つまり、ユーザによって不要と判断されるサムネイルが削除される場合に、同じく不要であると推定される他のサムネイルを削除することで、記録媒体１０１の容量の更なる有効活用が可能となる。
【０１９１】
また、この場合、当該他のサムネイルを削除してもよいか否か、ユーザに確認し、ユーザに削除が許可された場合にのみ当該他のサムネイルファイルを削除してもよい。
【０１９２】
また、サムネイルを削除する場合、例えば、ユーザに確認した後で、当該サムネイルに対応するクラスタを示すクラスタ情報を、クラスタ情報データベース１５２から削除してもよい。また、この場合、当該クラスタ情報を見かけ上削除し、実体的には削除しなくてもよい。
【０１９３】
例えば、当該クラスタ情報を削除しない場合、当該クラスタ情報の削除指示があったことを示す削除フラグを当該クラスタ情報に追加しておく。
【０１９４】
この場合、例えば、以下のような処理が可能となる。すなわち、ある時点においてユーザに不要であると判断された人物Ｃに対応するクラスタ情報が削除された場合、当該クラスタ情報に削除フラグが追加される。
【０１９５】
この場合、例えば、当該クラスタ情報に対応する全サムネイルが記録媒体１０１から削除される。また、削除フラグが付されていることにより、当該クラスタ情報は、選択部１０６による選択の対象にされない。
【０１９６】
つまり、当該クラスタ情報に示されるオブジェクトは、サムネイル作成部１０７による、サムネイル作成処理の対象にされない。
【０１９７】
しかし、その後に、例えば、人物Ｃが写った画像データに対する、ユーザによる入力装置１０８に対する所定の操作により、人物Ｃの顔領域が選択された場合を想定する。この時点では、当該顔領域のＩＤを含むクラスタ情報は、削除フラグが追加された状態でクラスタ情報データベース１５２に存在している。
【０１９８】
そこで、クラスタ情報作成部１０５は、当該クラスタ情報の削除フラグを削除する。その結果、当該クラスタ情報は、選択部１０６による選択の対象にされる。これにより、サムネイル作成部１０７は、ユーザに選択された、人物Ｃの顔領域のサムネイルとともに、当該クラスタ情報に示される他の顔領域のサムネイルも作成することができる。
【０１９９】
これにより、例えば、あるサムネイルが削除されることで、当該サムネイルに対応するクラスタが見かけ上削除された場合であっても、当該サムネイルを復活させる（再度作成すること）で、当該クラスタに属する全てのサムネイルを復活させることが可能となる。
【０２００】
また、選択部１０６は、全てのクラスタのうちの所定の条件を満たすクラスタのみから、サムネイルの作成の対象となる顔領域を選択してもよい。
【０２０１】
例えば、選択部１０６は、全てのクラスタのうち、所定の数（例えば１０）以上の顔領域が登録されたクラスタを特定し、特定したクラスタに属する１以上の顔領域を選択する。なお、この所定の数を変数として扱ってもよく、例えば、ユーザにより決定された数を、当該所定の数として採用してもよい。
【０２０２】
これにより、例えば、無関係の人物が複数の画像に現れていることで、当該無関係の人物に対応するクラスタが作成された場合であっても、当該無関係の人物を、顔サムネイルの作成の対象から除外することができる。
【０２０３】
つまり、図１６を用いて説明した、クラスタ情報の作成の条件となる個数Ｎを変数とした場合と同様の効果が得られる。
【０２０４】
以上のように、本実施の形態の画像処理装置１００は、複数の画像から得られる複数の顔領域の中から、それらの特徴量に基づいて顔領域を選択し、選択した顔領域についてのみクラスタに登録する。また、クラスタに登録された顔領域についてのみサムネイルを作成する。
【０２０５】
その結果、本来的にサムネイルの作成の必要のない顔領域についてはサムネイルの作成の対象から除外されるとともに、クラスタ一覧およびクラスタごとのサムネイル一覧などの各種の表示が可能となる。
【０２０６】
図１８Ａは、実施の形態における画像処理装置１００から出力されるクラスタ一覧の一例を示す図である。
【０２０７】
図１８Ｂは、実施の形態における画像処理装置１００から出力されるサムネイル一覧の一例を示す図である。
【０２０８】
画像処理装置１００が、上述のように顔領域の検出と分類、およびクラスタの作成等の処理を行うことで、表示装置１０９に、例えば、図１８Ａに示すクラスタ一覧が表示される。
【０２０９】
図１８Ａに示すクラスタ一覧は、図８に示すクラスタ情報データベース１５２の内容に対応しており、各クラスタの代表サムネイルが表示されている。
【０２１０】
また、各クラスタには名前が付されている。具体的には、クラスタＩＤ＝１であるクラスタには“太郎”と名付けられ、クラスタＩＤ＝２であるクラスタには“お父さん”と名付けられ、クラスタＩＤ＝３であるクラスタには“お母さん”と名付けられている。
【０２１１】
なお、各クラスタへ付す名前は、例えば、入力装置１０８から入力されるユーザからの指示に応じて決定される。また、例えば、各クラスタにおける特徴量の平均値と、人物のデータベースとのマッチングにより、自動的に各クラスタに名前が付されてもよい。
【０２１２】
このクラスタ一覧において、例えば、“太郎”のサムネイルがクリックされると、表示装置１０９における表示内容が、図１８Ｂに示すサムネイル一覧に遷移する。
【０２１３】
図１８Ｂに示すサムネイル一覧は、クラスタＩＤ＝１である“太郎”のクラスタに属する複数の顔領域それぞれのサムネイルが表示されている。
【０２１４】
ユーザは、このサムネイル一覧を参照することで、例えば顔領域の輝度の低さなどに起因する誤認識により、“太郎”のクラスタに、他人の顔が含まれていないかどうかを確認するこができる。仮に、“太郎”のクラスタに、他人の顔が含まれていた場合、ユーザは、画像処理装置１００に所定の指示を行うことで、当該他人の顔の顔領域が、適切なクラスタに属するように、または、いずれのクラスタにも属さないように、クラスタ情報データベース１５２を更新することができる。
【０２１５】
さらに、ユーザは、このサムネイル一覧において、いずれかのサムネイルをクリックすることで、当該サムネイルに示される顔領域が含まれる画像全体を確認することができる。
【０２１６】
図１８Ｃは、実施の形態における画像処理装置１００から出力される、指定画像の表示態様の一例を示す図であり、図１８Ｄは、指定画像の表示態様の別の一例を示す図である。
【０２１７】
図１８Ｂに示すサムネイル一覧においていずれかのサムネイルがクリックされると、例えば、図１８Ｃに示すように当該サムネイルに示される顔領域が含まれる画像全体が、サムネイル一覧に重畳するように表示される。
【０２１８】
また、同様にいずれかのサムネイルがクリックされると、例えば、図１８Ｄに示すように、当該サムネイルの領域に、当該サムネイルに代えて、顔領域が含まれる画像全体のサムネイルが表示される。
【０２１９】
図１８Ｃおよび図１８Ｄのいずれの場合であっても、ユーザは、サムネイル一覧の中から選択した顔に対応する全体画像を視認することができる。
【０２２０】
以上、本発明の画像処理装置について、実施の形態に基づいて説明した。しかしながら、本発明は、当該実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、あるいは、上記説明された複数の構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０２２１】
例えば、以下のような場合も本発明に含まれる。
【０２２２】
（１）上記の画像処理装置１００は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、画像処理装置１００は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、画像処理装置１００は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムには限らず、これらの一部から構成されているコンピュータシステムであってもよい。
【０２２３】
（２）上記の画像処理装置１００を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０２２４】
また、上記の画像処理装置１００を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０２２５】
また、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２２６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０２２７】
（３）上記の画像処理装置１００を構成する構成要素の一部または全部は、画像処理装置１００に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０２２８】
（４）本発明は、上記の画像処理装置１００が行う処理を含む方法であるとしてもよい。また、当該方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２２９】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０２３０】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２３１】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０２３２】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２３３】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０２３４】
本発明にかかる画像処理装置および画像処理方法は、画像データを、その画像データに示されるオブジェクトで分類して管理する機能をもつ機器、および当該機器が実行する画像処理方法等として有用である。またコンピュータの画像処理ソフトウェア等の用途にも応用できる。
【符号の説明】
【０２３５】
１００  画像処理装置
１０１  記録媒体
１０２  取得部
１０３  オブジェクト検出部
１０４  特徴量算出部
１０５  クラスタ情報作成部
１０６  選択部
１０７  サムネイル作成部
１０８  入力装置
１０９  表示装置
１５１  検出結果データベース
１５２  クラスタ情報データベース
１５３  画像管理データベース
【図１】
2012114727.tif 000003
【図２】
2012114727.tif 000004
【図３】
2012114727.tif 000005
【図４】
2012114727.tif 000006
【図５】
2012114727.tif 000007
【図６】
2012114727.tif 000008
【図７】
2012114727.tif 000009
【図８】
2012114727.tif 000010
【図９】
2012114727.tif 000011
【図１０】
2012114727.tif 000012
【図１１】
2012114727.tif 000013
【図１２】
2012114727.tif 000014
【図１３】
2012114727.tif 000015
【図１４】
2012114727.tif 000016
【図１５】
2012114727.tif 000017
【図１６】
2012114727.tif 000018
【図１７】
2012114727.tif 000019
【図１８Ａ】
2012114727.tif 000020
【図１８Ｂ】
2012114727.tif 000021
【図１８Ｃ】
2012114727.tif 000022
【図１８Ｄ】
2012114727.tif 000023
【図１９】
2012114727.tif 000024
【国際調査報告】
2012114727.tif 000025
2012114727.tif 000026
2012114727.tif 000027
2012114727.tif 000028