(57)【要約】  人物クラスタ選択部２３０は、顔画像数の多い順番に１以上の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、各代表人物クラスタにおいて、１番目に代表ユニットを選択する際は尤度の最も高いユニットを代表ユニットとして選択し、２番目以降に代表ユニットを選択する際は尤度の低い順番にユニットを代表ユニットとして選択する。代表顔画像選択部２５０は、各代表ユニットにおいて、１番目に代表顔画像を選択する際は尤度の最も高い顔画像を代表顔画像として選択し、２番目以降に代表顔画像を選択する際は尤度の低い順番に顔画像を代表顔画像として選択する。
2010041377.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像が類似する画像をまとめた下位クラスタに分類され、複数の下位クラスタが類似する下位クラスタをまとめた上位クラスタに分類された分類結果を用いて、表示部に表示する代表画像を選択して表示部に表示する代表画像表示装置において、
１以上の上位クラスタを代表上位クラスタとして選択する上位クラスタ選択部と、
各代表上位クラスタにおいて、下位クラスタの分類結果の確からしさを示す尤度に基づいて代表上位クラスタ内の下位クラスタからＭ（Ｍは１以上で代表上位クラスタ内の下位クラスタの数以下の整数）個の下位クラスタを代表下位クラスタとして選択する下位クラスタ選択部と、
各代表下位クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表下位クラスタ内の画像からＮ（Ｎは１以上で代表下位クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択部と、
を備える代表画像表示装置。
【請求項２】
前記下位クラスタ選択部は、
前記代表上位クラスタ内の１番尤度が高い下位クラスタを第１の代表下位クラスタとして選択し、前記Ｍが２以上の場合には、更に、前記代表上位クラスタ内の尤度が低い方から（Ｍ−１）個の下位クラスタを第２から第Ｍの代表下位クラスタとして選択する
請求項１記載の代表画像表示装置。
【請求項３】
前記下位クラスタ選択部は、前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用いる
請求項２記載の代表画像表示装置。
【請求項４】
前記下位クラスタ選択部は、
前記第１の代表下位クラスタの選択に用いる前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用い、
前記第２から第Ｍの代表下位クラスタの選択に用いる前記尤度として、ユーザが分類を修正した下位クラスタであるか否かを示す情報を用いる
請求項２記載の代表画像表示装置。
【請求項５】
前記下位クラスタ選択部は、
前記第１の代表下位クラスタの選択に用いる前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用い、
前記第２から第Ｍの代表下位クラスタの選択に用いる前記尤度として、下位クラスタ内の画像の数を用いる
請求項２記載の代表画像表示装置。
【請求項６】
前記代表画像選択部は、
前記代表下位クラスタ内の１番尤度が高い画像を第１の代表画像として選択し、前記Ｎが２以上の場合には、更に、前記代表下位クラスタ内の尤度が低い方から（Ｎ−１）個の画像を第２から第Ｎの代表画像として選択する
請求項１記載の代表画像表示装置。
【請求項７】
前記代表画像選択部は、前記尤度として、代表下位クラスタの特徴量空間上の中心位置又は重心位置から画像の特徴量空間上の位置までの距離を用いる
請求項６記載の代表画像表示装置。
【請求項８】
前記代表画像選択部は、
前記第１の代表画像の選択に用いる前記尤度として、代表下位クラスタの特徴量空間上の中心位置又は重心位置から画像の特徴量空間上の位置までの距離を用い、
前記第２から第Ｎの代表画像の選択に用いる前記尤度として、ユーザが分類を修正した画像であるか否かを示す情報を用いる
請求項６記載の代表画像表示装置。
【請求項９】
第１の代表画像と第２から第Ｎの代表画像とを異なる表示方法で前記表示部に表示する処理を行う表示レイアウト制御部
を更に備える請求項６記載の代表画像表示装置。
【請求項１０】
前記表示部の表示領域サイズとユーザが視認可能な画像サイズとに基づいて前記表示部に表示する代表画像の数を決定する表示画像数決定部
を更に備える請求項１記載の代表画像表示装置。
【請求項１１】
前記画像は人物の顔画像である
請求項１記載の代表画像表示装置。
【請求項１２】
複数の画像が類似する画像をまとめたクラスタに分類された分類結果を用いて、表示部に表示する代表画像を選択して表示部に表示する代表画像表示装置において、
１以上のクラスタを代表クラスタとして選択するクラスタ選択部と、
各代表クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表クラスタ内の画像からＮ（Ｎは１以上で代表クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択部と、
を備える代表画像表示装置。
【請求項１３】
前記代表画像選択部は、
前記代表クラスタ内の１番尤度が高い画像を第１の代表画像として選択し、前記Ｎが２以上の場合には、更に、前記代表クラスタ内の尤度が低い方から（Ｎ−１）個の画像を前記第２から第Ｎの代表画像として選択する
請求項１２記載の代表画像表示装置。
【請求項１４】
複数の画像が類似する画像をまとめた下位クラスタに分類され、複数の下位クラスタが類似する下位クラスタをまとめた上位クラスタに分類された分類結果を用いて、表示する代表画像を選択して表示する代表画像表示方法において、
１以上の上位クラスタを代表上位クラスタとして選択する上位クラスタ選択ステップと、
各代表上位クラスタにおいて、下位クラスタの分類結果の確からしさを示す尤度に基づいて代表上位クラスタ内の下位クラスタからＭ（Ｍは１以上で代表上位クラスタ内の下位クラスタの数以下の整数）個の下位クラスタを代表下位クラスタとして選択する下位クラスタ選択ステップと、
各代表下位クラスタにおいて、画像の確からしさを示す分類結果の尤度に基づいて代表下位クラスタ内の画像からＮ（Ｎは１以上で代表下位クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択ステップと、
を有する代表画像表示方法。
【請求項１５】
複数の画像が類似する画像をまとめたクラスタに分類された分類結果を用いて、表示する代表画像を選択して表示する代表画像表示方法において、
１以上のクラスタを代表クラスタとして選択するクラスタ選択ステップと、
各代表クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表クラスタ内の画像からＮ（Ｎは１以上で代表クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択ステップと、
を有する代表画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラなどで撮影された画像を分類して表示する技術に関する。
【背景技術】
【０００２】
従来の画像を分類して表示する表示手法として、画像に撮影されている人物に着目し、顔画像認識技術を用いて類似する顔同士をクラスタ単位に分類し、同じ人物が写っている写真毎に表示するものがある。【０００３】
また、顔画像のクラスタリングの精度を向上させることを目的として、ユーザにクラスタリング結果を修正する操作インターフェース（以下、「操作ＩＦ」と言う。）を提供し、人物の分類を補助する目的のものがある（例えば、非特許文献１参照。）。これは、ユーザが顔画像のクラスタリングの結果に対して手動で編集（アノテーション）を行うことによって顔画像のクラスタリングの結果を修正できるようになっている。例えば、異なる複数の人物の顔画像が一つのクラスタにまとめられていた場合、ユーザの判断で該クラスタを個別の人物のクラスタに分割することで、異なる人物の顔画像が同じクラスタ内に混在する状況を解消できる。一方、同一人物の顔画像が複数のクラスタに分かれていた場合は、該複数のクラスタを一つのクラスタに結合することで、同一人物の顔画像が複数のクラスタに分かれている状況を解消できる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Jingyu Cui, Fang Wen, Rong Xiao, Yuandong Tian, Xiaoou Tang. "EasyAlbun: An Interactive Photo Annotation System Based on Face Clustering and Re-ranking". CHI 2007 Proceedings, p.367-376, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、アノテーションを行う際に通常クラスタ内の顔画像の一部を代表顔画像として表示することになるが、上記の従来技術では表示する代表顔画像の選択の仕方については考慮されていない。このため、ユーザにとって修正すべき顔画像が表示されず、顔画像のクラスタリング結果に対して効率的にアノテーションを行うことができないと言う問題がある。なお、係る問題は、ユーザが顔画像以外の画像のクラスタリング結果に対してアノテーションを行う場合にも発生する。【０００６】
そこで、本発明は、ユーザが画像の分類結果に対して効率的にアノテーションを行えるようにする代表画像表示装置及び代表画像選択方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の代表画像表示装置は、複数の画像が類似する画像をまとめた下位クラスタに分類され、複数の下位クラスタが類似する下位クラスタをまとめた上位クラスタに分類された分類結果を用いて、表示部に表示する代表画像を選択して表示部に表示する代表画像表示装置において、１以上の上位クラスタを代表上位クラスタとして選択する上位クラスタ選択部と、各代表上位クラスタにおいて、下位クラスタの分類結果の確からしさを示す尤度に基づいて代表上位クラスタ内の下位クラスタからＭ（Ｍは１以上で代表上位クラスタ内の下位クラスタの数以下の整数）個の下位クラスタを代表下位クラスタとして選択する下位クラスタ選択部と、各代表下位クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表下位クラスタ内の画像からＮ（Ｎは１以上で代表下位クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択部と、を備える。【０００８】
また、本発明の代表画像表示方法は、複数の画像が類似する画像をまとめた下位クラスタに分類され、複数の下位クラスタが類似する下位クラスタをまとめた上位クラスタに分類された分類結果を用いて、表示する代表画像を選択して表示する代表画像表示方法において、１以上の上位クラスタを代表上位クラスタとして選択する上位クラスタ選択ステップと、各代表上位クラスタにおいて、下位クラスタの分類結果の確からしさを示す尤度に基づいて代表上位クラスタ内の下位クラスタからＭ（Ｍは１以上で代表上位クラスタ内の下位クラスタの数以下の整数）個の下位クラスタを代表下位クラスタとして選択する下位クラスタ選択ステップと、各代表下位クラスタにおいて、画像の確からしさを示す分類結果の尤度に基づいて代表下位クラスタ内の画像からＮ（Ｎは１以上で代表下位クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択ステップと、を有する。
【発明の効果】
【０００９】
上記の代表画像表示装置及び代表画像表示方法によれば、下位クラスタの分類結果の確からしさを示す尤度及び画像の分類結果の確からしさを示す尤度を用いて代表画像を選択して表示するため、代表画像をランダムに選択して表示する場合に比べて、ユーザは分類結果に対して効率的にアノテーションを行うことができる。【００１０】
上記の代表画像表示装置において、前記下位クラスタ選択部は、前記代表上位クラスタ内の１番尤度が高い下位クラスタを第１の代表下位クラスタとして選択し、前記Ｍが２以上の場合には、更に、前記代表上位クラスタ内の尤度が低い方から（Ｍ−１）個の下位クラスタを第２から第Ｍの代表下位クラスタとして選択するようにしてもよい。【００１１】
これによれば、ユーザは尤度の高い下位クラスタ内の画像を見ながら、場合によっては更に尤度の低い下位クラスタ内の画像を見ながら、分類結果に対してアノテーションを行うことができるので、ユーザは上位クラスタに誤って分類された下位クラスタの分離などアノテーションを効率的に行うことができる。【００１２】
上記の代表画像表示装置において、前記下位クラスタ選択部は、前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用いるようにしてもよい。【００１３】
上記の代表画像表示装置において、前記下位クラスタ選択部は、前記第１の代表下位クラスタの選択に用いる前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用い、前記第２から第Ｍの代表下位クラスタの選択に用いる前記尤度として、ユーザが分類を修正した下位クラスタであるか否かを示す情報を用いるようにしてもよい。【００１４】
上記の代表画像表示装置において、前記下位クラスタ選択部は、前記第１の代表下位クラスタの選択に用いる前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用い、前記第２から第Ｍの代表下位クラスタの選択に用いる前記尤度として、下位クラスタ内の画像の数を用いるようにしてもよい。【００１５】
これらによれば、適切な下位クラスタの選択ができる。【００１６】
上記の代表画像表示装置において、前記代表画像選択部は、前記代表下位クラスタ内の１番尤度が高い画像を第１の代表画像として選択し、前記Ｎが２以上の場合には、更に、前記代表下位クラスタ内の尤度が低い方から（Ｎ−１）個の画像を第２から第Ｎの代表画像として選択するようにしてもよい。【００１７】
これによれば、ユーザは尤度の高い画像を見ながら、場合によっては更に尤度の低い画像を見ながら、分類結果に対してアノテーションを行うことができるので、ユーザは下位クラスタに誤って分類された画像の分離などアノテーションを効率的に行うことができる。【００１８】
上記の代表画像表示装置において、前記代表画像選択部は、前記尤度として、代表下位クラスタの特徴量空間上の中心位置又は重心位置から画像の特徴量空間上の位置までの距離を用いるようにしてもよい。【００１９】
上記の代表画像表示装置において、前記代表画像選択部は、前記第１の代表画像の選択に用いる前記尤度として、代表下位クラスタの特徴量空間上の中心位置又は重心位置から画像の特徴量空間上の位置までの距離を用い、前記第２から第Ｎの代表画像の選択に用いる前記尤度として、ユーザが分類を修正した画像であるか否かを示す情報を用いるようにしてもよい。【００２０】
これらによれば、適切な画像の選択ができる。【００２１】
上記の代表画像表示装置において、第１の代表画像と第２から第Ｎの代表画像とを異なる表示方法で前記表示部に表示する処理を行う表示レイアウト制御部を更に備えるようにしてもよい。【００２２】
これによれば、ユーザは尤度の高い画像と尤度の低い画像とを一目見て区別できる。【００２３】
上記の代表画像表示装置において、前記表示部の表示領域サイズとユーザが視認可能な画像サイズとに基づいて前記表示部に表示する代表画像の数を決定する表示画像数決定部を更に備えるようにしてもよい。【００２４】
これによれば、ユーザは視認可能な画像サイズで多くの画像を見ながら分類結果に対してアノテーションを行えるので、ユーザはアノテーションを効率的に行うことができる。【００２５】
上記の代表画像表示装置において、前記画像は人物の顔画像であってもよい。【００２６】
これによれば、ユーザはニーズの高い人物の顔画像の分類結果に対して効率的にアノテーションを行うことができる。【００２７】
本発明の代表画像表示装置は、複数の画像が類似する画像をまとめたクラスタに分類された分類結果を用いて、表示部に表示する代表画像を選択して表示部に表示する代表画像表示装置において、１以上のクラスタを代表クラスタとして選択するクラスタ選択部と、各代表クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表クラスタ内の画像からＮ（Ｎは１以上で代表クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択部と、を備える。【００２８】
また、本発明の代表画像表示方法は、複数の画像が類似する画像をまとめたクラスタに分類された分類結果を用いて、表示する代表画像を選択して表示する代表画像表示方法において、１以上のクラスタを代表クラスタとして選択するクラスタ選択ステップと、各代表クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表クラスタ内の画像からＮ（Ｎは１以上で代表クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択ステップと、を有する。【００２９】
上記の代表画像表示装置及び代表画像表示方法によれば、画像の分類結果の確からしさを示す尤度を用いて代表画像を選択して表示するため、代表画像をランダムに選択して表示する場合に比べて、ユーザは分類結果に対して効率的にアノテーションを行うことができる。【００３０】
上記の代表画像表示装置において、前記代表画像選択部は、前記代表クラスタ内の１番尤度が高い画像を第１の代表画像として選択し、前記Ｎが２以上の場合には、更に、前記代表クラスタ内の尤度が低い方から（Ｎ−１）個の画像を前記第２から第Ｎの代表画像として選択するようにしてもよい。【００３１】
これによれば、ユーザは尤度の高い画像を見ながら、場合によっては更に尤度の低い画像を見ながら、分類結果に対してアノテーションを行うことができるので、ユーザはクラスタに誤って分類された画像の分離などアノテーションを効率的に行うことができる。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態の代表画像表示装置の全体構成図。
【図２】図１の画像データベース（画像ＤＢ）の一例を示す図。
【図３】図１の顔画像データベース（顔画像ＤＢ）の一例を示す図。
【図４】図１の顔画像クラスタデータベース（顔画像クラスタＤＢ）の一例を示す図。
【図５】図１の代表画像表示装置が行う顔画像自動分類処理の流れを示すフローチャート。
【図６】図１の代表画像表示装置が行う顔画像分類修正処理の流れを示すフローチャート。
【図７】図１の代表画像表示装置が行う顔画像選択表示処理の流れを示すフローチャート。
【図８】図７の代表顔画像選択処理の流れを示すフローチャート。
【図９】図１の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図１０】図１の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図１１】図１の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図１２】図１の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図１３】図１の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図１４】図１の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図１５】第２の実施の形態の代表画像表示装置の全体構成図。
【図１６】図１５の顔画像クラスタデータベース（顔画像クラスタＤＢ）の一例を示す図。
【図１７】図１５の代表画像表示装置が行う顔画像自動分類処理の流れを示すフローチャート。
【図１８】図１５の代表画像表示装置が行う顔画像分類修正処理の流れを示すフローチャート。
【図１９】図１５の代表画像表示装置が行う顔画像選択表示処理の流れを示すフローチャート。
【図２０】図１５の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図２１】図１５の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図２２】図１５の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図２３】図１５の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図２４】顔画像選択表示処理の結果に基づく表示部の表示内容の他の表示方法を示す図。
【発明を実施するための形態】
【００３３】
≪第１の実施の形態≫
以下、本発明の第１の実施の形態について図面を参照しつつ説明する。
【００３４】
＜装置構成＞
図１は本実施の形態の代表画像表示装置１の全体構成図であり、代表画像表示装置１は演算処理部１０と記憶部２０と表示部３０と操作インターフェース部（以下、「操作ＩＦ部」と言う。）４０とを備える。
【００３５】
演算処理部１０は、例えばＣＰＵ(Central Processing Unit)などで構築され、代表画像表示装置１全体の各種制御や各種演算を行う。
【００３６】
記憶部２０は、例えばＲＯＭ(Read Only Memory)、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などで構築されており、代表画像表示装置１を制御するための各種制御プログラムや各種アプリケーションプログラムなどを記憶している。記憶部２０は、図５〜図８に動作フローを示す手順を記述したプログラムを記憶している。また、記憶部２０は、画像データ、顔画像データ及び顔特徴量データを記憶するとともに、画像データベース（以下、「画像ＤＢ」と言う。）２１、顔画像データベース（以下、「顔画像ＤＢ」と言う。）２２、及び顔画像クラスタデータベース（以下、「顔画像クラスタＤＢ」と言う。）２３を記憶する。
【００３７】
表示部３０は、液晶ディスプレイやプラズマディスプレイなどを備える表示デバイスである。
【００３８】
操作ＩＦ部４０は、マウスやタッチパネル等によりユーザ操作を受け付ける。
【００３９】
（記憶部内の各データベースの構成）
以下、記憶部２０に記憶されている画像ＤＢ２１、顔画像ＤＢ２２、及び顔画像クラスタＤＢ２３について順に説明する。
【００４０】
「画像ＤＢの構成」
図２は図１の画像ＤＢ２１の一例を示す図である。画像ＤＢ２１は、画像毎に、画像を識別するためのＩＤ（以下、「画像ＩＤ」と言う。）に、画像が撮影された撮影時刻と画像の画像データの画像ファイル名とを対応付けて格納するためのデータベースである。但し、画像ファイル名は画像データの実体を表すファイル名である。
【００４１】
「顔画像ＤＢの構成」
図３は図１の顔画像ＤＢ２２の一例を示す図である。顔画像ＤＢ２２は、顔画像毎に、顔画像を識別するためのＩＤ（以下、「顔ＩＤ」と言う。）に、顔画像を含む画像の画像ＩＤと、顔画像の顔画像データの顔画像ファイル名と、顔画像の顔画像データから算出される顔特徴量データの顔特徴量ファイル名とを対応付けて格納するためのデータベースである。
【００４２】
但し、顔画像ファイル名は顔画像データの実体を表すファイル名であり、顔特徴量ファイル名は顔特徴量データの実体を表すファイル名である。但し、顔画像データはビットマップ形式で格納されているが、これに限らず、顔画像データは他のデータ形式で格納されていてもよい。なお、顔画像データ及び顔特徴量データについては後述する。
【００４３】
「顔画像クラスタＤＢの構成」
図４は図１の顔画像クラスタＤＢ２３の一例を示す図である。顔画像クラスタＤＢ２３は、顔画像毎に、顔画像の顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像が属する人物クラスタを識別するためのＩＤ（以下、「人物ＩＤと言う。）と、顔画像が属するユニットを識別するためのＩＤ（以下、「ユニットＩＤと言う。）と、顔画像の分類者情報と、顔画像の分類時刻情報とを対応付けて格納するためのデータベースである。但し、人物クラスタは同一人物の顔画像によって形成されるクラスタであり、ユニットは人物クラスタ内で特に類似する顔画像をまとめたクラスタであり、人物クラスタの形成及びユニットの形成については後述する。なお、本実施の形態の「ユニット」は「下位クラスタ」に相当し、「人物クラスタ」は「上位クラスタ」に相当する。
【００４４】
但し、分類者情報は、顔画像が後述するクラスタ形成部１３０によって自動分類された顔画像であるか、ユーザのアノテーションに従って後述するクラスタ修正部１４０によって分類の修正が行われた顔画像であるかを示す情報であり、分類者情報の内容は前者の場合には「システム」となり、後者の場合には「ユーザ」となる。分類時刻情報は顔画像が自動分類された時刻、分類の修正が行われた場合には分類の修正が行われた時刻を示す情報である。
【００４５】
なお、以下では、顔画像クラスタＤＢ２３の１レコード分の情報の集まりを、適宜、「顔画像クラスタ情報」と言う。
【００４６】
（演算処理部の構成）
演算処理部１０は、記憶部２０から図５〜図８に動作フローを示す手順を記述したプログラムを読み出し、読み出したプログラムを実行する。これによって、演算処理部１０は画像解析部１００と画像表示部２００として機能する。
【００４７】
（画像解析部の機能構成）
画像解析部１００は、図１に示すように、画像入力部１１０と、顔認識処理部１２０と、クラスタ形成部１３０と、クラスタ修正部１４０とを備える。
【００４８】
画像入力部１１０は、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮影機器によって撮影された画像の画像データを読み込む。そして、画像入力部１１０は、画像に対して一意に画像ＩＤを付与し、画像ＩＤに画像が撮影された撮影時刻と画像の画像データの画像ファイル名とを対応付けて画像ＤＢ２１に格納するとともに、読み込んだ画像データを記憶部２０に格納する。
【００４９】
但し、撮影時刻は画像データが撮影された日時情報であり、日時情報はデジタルビデオカメラやデジタルスチルカメラなどの撮影機器により撮影時に記録され、画像入力部１１０はＥＸＩＦ（Exchangeable Image File Format）情報として画像ファイルに記憶されている日時情報を撮影時刻として読み出す。
【００５０】
なお、代表画像表示装置１が備える例えばＵＳＢ（Universal Serial Bus）コネクタと撮影機器などを直接ケーブルで接続し、画像入力部１１０が撮影機器に装着された記録媒体から画像データを読み込むようにしてもよい。また、画像入力部１１０は、代表画像表示装置１に装着されたＳＤ（Secure Digital）メモリーカードなどの記録媒体から画像データを読み込むようにしてもよい。
【００５１】
また、画像データは一般的なＪＰＥＧ（Joint Photographic Experts Group）形式で圧縮符号化された画像データであってもよく、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）等の動画形式で圧縮符号化された画像データであってもよい。
【００５２】
顔認識処理部１２０は、画像ＤＢ２１を参照して、画像ＩＤ毎に、画像ＩＤに対応する画像ファイル名の画像データを記憶部２０から読み出し、読み出した画像データに画像認識処理を実行して画像に写っている人間の顔領域を検出する。顔認識処理部１２０は、１以上の顔領域を検出した場合には、検出した顔領域毎に、顔領域に対する顔画像の顔画像データを生成する。そして、顔認識処理部１２０は、顔領域に対する顔画像に対して一意に顔ＩＤを付与し、顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像の顔画像データの顔画像ファイル名とを対応付けて顔画像ＤＢ２２に格納するとともに、顔画像データを記憶部２０に格納する。
【００５３】
続いて、顔認識処理部１２０は、顔画像ＤＢ２２を参照して、顔ＩＤ毎に、顔ＩＤに対応する顔画像ファイル名の顔画像データを記憶部２０から読み出し、読み出した顔画像データから特徴量ベクトルで記述される顔画像の顔特徴量データを生成する。そして、顔認識処理部１２０は、顔画像の顔ＩＤに顔画像の顔特徴量データの顔特徴量ファイル名を対応付けて顔画像ＤＢ２２に格納するとともに、顔特徴量データを記憶部２０に格納する。
【００５４】
なお、１つの画像ＩＤに対応する顔ＩＤが複数存在する場合はあるが、１つの顔ＩＤに対応する画像ＩＤが複数存在する場合はない。
【００５５】
但し、顔認識処理部１２０は、画像データに対して例えば輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことによって顔領域を検出し、画像データのうちの顔領域部分のデータから当該顔領域に対する顔画像の顔画像データを生成する。また、顔認識処理部１２０は、顔画像データをガボールフィルタ等を用いて特徴量ベクトルのデータへ変換することによって、顔画像データに対応する顔画像の顔特徴量データを生成する。
【００５６】
クラスタ形成部１３０は、顔画像ＤＢ２２を参照して、各顔ＩＤに対応する顔特徴量ファイル名の顔特徴量データを記憶部２０から読み出す。そして、クラスタ形成部１３０は、読み出した顔特徴量データを用いて、類似する顔画像をまとめてユニットを形成し、形成した各ユニットに対して一意にユニットＩＤを付与する。続いて、クラスタ形成部１３０は、各ユニットの類似度を算出し、類似するユニットをまとめて人物クラスタを形成し、形成した人物クラスタに対して一意に人物ＩＤを付与する。
【００５７】
そして、クラスタ形成部１３０は、顔画像毎に、顔画像の顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像が属する人物クラスタの人物ＩＤと、顔画像が属するユニットのユニットＩＤと、顔画像の分類者情報と、顔画像の分類時刻情報とを対応付けて顔画像クラスタＤＢ２３に格納する。但し、分類者情報の内容はシステムとなり、分類時刻情報の内容は自動分類された時刻となる。
【００５８】
但し、クラスタ形成部１３０は、記憶部２０から読み出した複数の顔特徴量データを互いに比較し、顔特徴量データ間の差が第１閾値以下である顔特徴量データの顔画像が互いに類似するものとして、それらを１つにまとめることによって、ユニットを形成する。
【００５９】
また、クラスタ形成部１３０は、形成した複数のユニットの夫々に対して、ユニットの特徴量空間上の中心位置又は重心位置に最も近い位置の顔特徴量データの顔画像を選択する。そして、クラスタ形成部１３０は、複数のユニットの夫々から選択した顔画像の顔特徴量データを互いに比較し、顔特徴量データ間の差が第２閾値以下である顔特徴量データに対応するユニットが互いに類似するものとして、それらを１つにまとめることによって、人物クラスタを形成する。
【００６０】
なお、上記の第１閾値及び第２閾値は例えば第１閾値が第２閾値より小さくなるように予め設定される。また、ユニット及び人物クラスタの形成の手法は上記の手法に限定されるものではない。
【００６１】
クラスタ修正部１４０は、操作ＩＦ部４０を介してユーザ操作を受け取り、顔画像クラスタＤＢ２３において、受け取ったユーザ操作に従ってユーザが分類結果の修正を施した顔画像の顔画像クラスタ情報を修正する。但し、顔画像クラスタ情報に含まれる分類者情報の内容はユーザになり、分類時刻情報の内容は分類の修正が行われた時刻になる。
【００６２】
（画像表示部の機能構成）
画像表示部２００は、図１に示すように、表示レイアウト制御部２１０と、表示顔画像数決定部２２０と、人物クラスタ選択部２３０と、ユニット選択部２４０と、代表顔画像選択部２５０とを備える。
【００６３】
表示レイアウト制御部２１０は、表示部３０に表示する顔画像の表示レイアウトを画像ＤＢ２１、顔画像ＤＢ２２及び顔画像クラスタＤＢ２３の格納内容を参照して制御するものである。但し、表示レイアウト制御部２１０は、表示レイアウトを制御する際に、ユニット選択部２４０及び代表顔画像選択部２５０から入力される情報や操作ＩＦ部４０から入力される情報も用いる。
【００６４】
表示顔画像数決定部２２０は、表示レイアウト制御部２１０から表示部３０に表示する顔画像（以下、「代表顔画像」と言う。）の数（以下、「表示顔画像数」と言う。）の決定を要求されると、表示顔画像数を決定し、決定した表示顔画像数を人物クラスタ選択部２３０へ出力する。
【００６５】
本実施の形態では、表示顔画像数決定部２２０は、表示部３０の表示領域サイズを取得する。そして、表示顔画像数決定部２２０は、表示部３０に表示する顔画像の表示サイズを顔画像の視認性を確保できるようなサイズに決定し、表示部３０の表示領域サイズと顔画像の表示サイズとに基づいて表示顔画像数を決定する。なお、表示部３０の表示領域サイズが一定である場合には、顔画像の表示サイズが大きければ表示顔画像数は少なくなり、顔画像の表示サイズが小さければ表示顔画像数は多くなる。
【００６６】
人物クラスタ選択部２３０は、顔画像クラスタＤＢ２３を参照して、人物ＩＤの数、即ち、人物クラスタの数を取得する。そして、人物クラスタ選択部２３０は、表示顔画像数が人物クラスタの数未満の場合には代表顔画像を表示する人物クラスタ（以下、「代表人物クラスタ」と言う。）の数（以下、「代表人物クラスタ数」と言う。）を表示顔画像数と同じ値に決定し、表示顔画像数が取得した人物クラスタの数以上の場合には代表人物クラスタ数を取得した人物クラスタの数と同じ値に決定する。なお、前者では人物クラスタの一部が代表人物クラスタになり、後者では全ての人物クラスタが代表人物クラスタになる。
【００６７】
続いて、人物クラスタ選択部２３０は、顔画像クラスタＤＢ２３を参照して、人物クラスタ内の顔画像の数が多い順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択するとともに、各代表人物クラスタで表示される代表顔画像の数（以下、「人物クラスタ表示顔画像数」と言う。）を代表人物クラスタ間で均等になるように決定する。そして、人物クラスタ選択部２３０は、代表人物クラスタの人物ＩＤと人物クラスタ表示顔画像数とをユニット選択部２４０へ出力する。
【００６８】
なお、人物クラスタ選択部２３０は、表示顔画像数を人物クラスタの数で除算した余りの値に等しい数分の代表人物クラスタが選択されるまでは、選択した代表人物クラスタの人物クラスタ表示顔画像数をその除算した商の値に１加算した値に決定し、それ以降に選択される代表人物クラスタの人物クラスタ表示顔画像数をその除算した商の値に決定する。
【００６９】
顔画像の数が多い人物クラスタは顔画像の数が少ない人物クラスタに比べて誤った顔画像を含んでいる可能性が高いと考えられる。従って、代表人物クラスタの選択に人物クラスタ内の顔画像の数を用いることによって、人物クラスタ選択部２３０は、誤った顔画像を含んでいる可能性が高い人物クラスタを代表人物クラスタとして選択する可能性が高くなる。
【００７０】
ユニット選択部２４０は、人物クラスタ選択部２３０から入力された人物ＩＤの人物クラスタ（代表人物クラスタ）の夫々に対して、以下のようにして、代表人物クラスタ内のユニットから代表顔画像を表示するユニット（以下、「代表ユニット」と言う。）を選択し、選択した代表ユニットで表示される代表顔画像の数（以下、「ユニット表示顔画像数」と言う。）を決定する。
【００７１】
ユニット選択部２４０は、顔画像クラスタＤＢ２３を参照して、代表人物クラスタ内のユニットＩＤの数、即ち、ユニットの数を取得する。そして、ユニット選択部２４０は、人物クラスタ選択部２３０から入力される代表人物クラスタの人物クラスタ表示顔画像数がユニットの数未満の場合には代表顔画像を表示するユニット（代表ユニット）の数（以下、「代表ユニット数」と言う。）を人物クラスタ表示顔画像数と同じ値に決定し、人物クラスタ表示顔画像数がユニットの数以上の場合には代表ユニット数をユニットの数と同じ値に決定する。なお、前者では代表人物クラスタ内のユニットの一部が代表ユニットになり、後者では代表人物クラスタ内の全てのユニットが代表ユニットになる。
【００７２】
続いて、ユニット選択部２４０は、代表人物クラスタ内の各ユニットに対してユニットの分類結果の確からしさを示す尤度を算出する。そして、ユニット選択部２４０は、１番目に代表ユニットを選択する場合には代表人物クラスタ内の尤度が最も高いユニットを代表ユニットとして選択し、２番目以降に代表ユニットを選択する場合には代表人物クラスタ内の尤度が低い順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。これととともに、ユニット選択部２４０は、各代表ユニットで表示される代表顔画像の数（ユニット表示顔画像数）を代表人物クラスタ内の代表ユニット間で均等になるように決定する。そして、ユニット選択部２４０は、代表ユニットのユニットＩＤとユニット表示顔画像数とを代表顔画像決定部２５０へ出力する。また、ユニット選択部２４０は、代表ユニットのユニットＩＤと代表人物クラスタ内で代表ユニットが選択された順番とを表示レイアウト制御部２１０へ出力する。この情報は表示レイアウト制御部２１０が代表人物クラスタ内の一番尤度が高い代表ユニットとそれ以外の代表ユニットとを異なる表示方法で表示する際に利用される。なお、代表ユニット数が１の場合には、２番目以降の代表ユニットの選択が行われないことは言うまでもない。
【００７３】
なお、ユニット選択部２４０は、人物クラスタ表示顔画像数を選択した代表人物クラスタ内のユニットの数で除算した余りの値に等しい数分の代表ユニットが選択されるまでは、選択した代表ユニットのユニット表示顔画像数をその除算した商の値に１加算した値に決定し、それ以降に選択される代表ユニットのユニット表示顔画像数をその除算した商の値に決定する。
【００７４】
但し、ユニット選択部２４０は、尤度として、代表人物クラスタの特徴量空間上の中心位置又は重心位置からユニットの特徴量空間上の中心位置又は重心位置までの距離を用い、距離が小さいほどユニットに関する尤度が高く、距離が大きいほどユニットに関する尤度が低いとする。ユニット選択部２４０は、顔画像クラスタＤＢ２３及び顔画像ＤＢ２２を参照し、代表人物クラスタの中心位置又は重心位置を代表人物クラスタ内の顔画像の顔特徴量データを用いて算出し、代表人物クラスタ内の各ユニットの中心位置又は重心位置をユニット内の顔画像の顔特徴量データを用いて算出する。そして、ユニット選択部２４０は、１番目に代表ユニットを選択する場合には代表人物クラスタの中心位置又は重心位置に中心位置又は重心位置が１番近いユニットを代表ユニットとして選択する。ユニット選択部２４０は、２番目以降に代表ユニットを選択する場合には代表人物クラスタの中心位置又は重心位置から中心位置又は重心位置が遠い順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。
【００７５】
上記の各場合において、代表人物クラスタの中心位置又は重心位置に中心位置又は重心位置が１番近いユニットは代表人物クラスタに正しく分類された可能性が最も高い。一方、代表人物クラスタの中心位置又は重心位置から中心位置又は重心位置が離れているユニットほど代表人物クラスタに誤って分類された可能性が高い。従って、ユーザは、例えば、正しく分類された可能性が高い代表ユニットの顔画像と誤って分類された可能性が高い代表ユニットの顔画像とを見ながら顔画像の分類を修正することができることから、効率的なアノテーションを行うことができる。
【００７６】
代表顔画像選択部２５０は、ユニット選択部２４０から入力されたユニットＩＤのユニット（代表ユニット）の夫々に対して、以下のようにして、代表ユニット内の顔画像から代表顔画像を選択する。
【００７７】
代表顔画像選択部２５０は、顔画像クラスタＤＢ２３を参照して、代表ユニット内の顔ＩＤの数、即ち、顔画像の数を取得する。そして、代表顔画像選択部２５０は、ユニット選択部２４０から入力されるユニット表示顔画像数が顔画像の数未満の場合には、代表ユニットでの代表顔画像の数（以下、「代表顔画像数」と言う。）をユニット表示顔画像数と同じ値に決定し、ユニット表示顔画像数が顔画像の数以上の場合には代表顔画像数を顔画像の数に決定する。なお、前者では代表ユニット内の顔画像の一部が代表顔画像になり、後者では代表ユニット内の全ての顔画像が代表顔画像になる。
【００７８】
続いて、代表顔画像選択部２５０は、代表ユニット内の各顔画像に対して顔画像の分類結果の確からしさを示す尤度を算出する。そして、代表顔画像選択部２５０は、１番目に代表顔画像を選択する場合には代表ユニット内の尤度が最も高い顔画像を代表顔画像として選択し、２番目以降に代表顔画像を選択する場合には代表ユニット内の尤度が低い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。そして、代表顔画像選択部２５０は、代表顔画像の顔ＩＤと代表ユニット内で代表顔画像が選択された順番とを表示レイアウト制御部２１０へ出力する。この情報は表示レイアウト制御部２１０が代表顔画像を表示し、代表ユニット内の一番尤度が高い代表顔画像とそれ以外の代表顔画像とを異なる表示方法で表示する際に利用される。なお、代表顔画像数が１の場合には、２番目以降の代表顔画像の選択が行われないことは言うまでもない。
【００７９】
但し、代表顔画像選択部２５０は、尤度として、代表ユニットの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用い、距離が小さいほど顔画像に関する尤度が高く、距離が大きいほど顔画像に関する尤度が低いとする。代表顔画像選択部２５０は、顔画像クラスタＤＢ２３及び顔画像ＤＢ２２を参照し、代表ユニットの特徴量空間上の中心位置又は重心位置を代表ユニット内の顔画像の顔特徴量データを用いて算出し、代表ユニット内の各顔画像の特徴量空間上の位置をその顔画像の顔特徴量データを用いて算出する。そして、代表顔画像選択部２５０は、１番目に代表顔画像を選択する場合には代表ユニットの中心位置又は重心位置に位置が１番近い顔画像を代表顔画像として選択する。代表顔画像選択部２５０は、２番目以降に代表顔画像を選択する場合には代表ユニットの中心位置又は重心位置から位置が遠い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。
【００８０】
上記の各場合において、代表ユニットの中心位置又は重心位置に位置が１番近い顔画像は代表ユニットに正しく分類された可能性が最も高い。一方、代表ユニットの中心位置又は重心位置から位置が離れている顔画像ほど代表ユニットに誤って分類された可能性が高い。従って、ユーザは、例えば、正しく分類された可能性が高い顔画像と誤って分類された可能性が高い顔画像とを見ながら顔画像の分類を修正することができることから、効率的なアノテーションを行うことができる。
【００８１】
＜装置動作＞
図１の代表画像表示装置１によって行われる処理を、顔画像を自動分類する処理（以下、「顔画像自動分類処理」と言う。）、ユーザによるアノテーションに応じて顔画像の分類を修正する処理（以下、「顔画像分類修正処理」と言う。）、及び顔画像から代表顔画像を選択して表示する処理（以下、「顔画像選択表示処理」と言う。）の３つに分けて説明する。
【００８２】
（顔画像自動分類処理の動作）
図５は図１の代表画像表示装置１が行う顔画像自動分類処理の流れを示すフローチャートである。
【００８３】
画像入力部１１０は、例えば撮影機器から当該撮影機器によって撮影された画像の画像データを順次読み込む。そして、画像入力部１１０は、画像に対して一意に画像ＩＤを付与し、画像ＩＤに画像が撮影された撮影時刻と画像の画像データの画像ファイル名とを対応付けて画像ＤＢ２１に格納するとともに、画像データを記憶部２０に記憶する（ステップＳ１０１）。
【００８４】
顔認識処理部１２０は、画像認識処理の対象となっていない画像ＩＤがあるか、即ち、画像認識処理が実行されていない画像データ（以下、「未処理の画像データ」と言う。）があるかを判定する（ステップＳ１０２）。顔認識処理部１２０は、未処理の画像データがある場合には（Ｓ１０２：ＹＥＳ）、一つの未処理の画像データを記憶部２０から読み出し（ステップＳ１０３）、読み出した画像データに画像認識処理を実行して画像に写っている人間の顔領域を検出する（ステップＳ１０４）。
【００８５】
顔認識処理部１２０は、画像認識処理の結果、顔領域を検出できたかを判定する（ステップＳ１０５）。顔領域が検出できなかった場合には（Ｓ１０５：ＮＯ）、ステップＳ１０２の処理が行われる。一方、顔領域が検出できた場合には（Ｓ１０５：ＹＥＳ）、顔認識処理部１２０は、検出した顔領域毎に、顔領域に対する顔画像の顔画像データを生成する。そして、顔認識処理部１２０は、各顔領域に対する顔画像に対して一意に顔ＩＤを付与し、顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像の顔画像データの顔画像ファイル名とを対応付けて顔画像ＤＢ２２に格納するとともに、顔画像データを記憶部２０に格納する（ステップＳ１０６）。
【００８６】
顔認識処理部１２０は、顔特徴量データの算出処理の対象となっていない顔ＩＤがあるか、即ち、顔特徴量データの算出処理が実行されていない顔画像データ（以下、「未処理の顔画像データ」と言う。）があるかを判定する（ステップＳ１０７）。未処理の顔画像データがある場合には（Ｓ１０７：ＹＥＳ）、顔認識処理部１２０は、一つの未処理の顔画像データを記憶部２０から読み出し、読み出した顔画像データから顔画像の顔特徴量データを生成する。そして、顔認識処理部１２０は、顔画像の顔ＩＤに顔画像の顔特徴量データの顔特徴量ファイル名を対応付けて顔画像ＤＢ２２に格納するとともに、顔特徴量データを記憶部２０に格納する（ステップＳ１０８）。そして、ステップＳ１０７の処理が行われる。
【００８７】
未処理の顔画像データがない場合には（Ｓ１０７：ＮＯ）、ステップＳ１０３で読み出した画像データの画像内の全ての顔画像に対して顔特徴量データの算出を行ったことになるので、他の未処理の画像データを処理すべく、ステップＳ１０２の処理が行われる。
【００８８】
未処理の画像データがない場合には（Ｓ１０２：ＮＯ）、クラスタ形成部１３０は、顔画像ＤＢ２２を参照して、各顔ＩＤに対応する顔特徴量ファイル名の顔特徴量データを記憶部２０から読み出す。そして、クラスタ形成部１３０は、読み出した顔特徴量データを用いて、類似する顔画像をまとめてユニットを形成し、形成した各ユニットにユニットＩＤを付与する（ステップＳ１０９）。続いて、クラスタ形成部１３０は、顔特徴量データを用いて、類似するユニットをまとめて人物クラスタを形成し、形成した各人物クラスタに人物ＩＤを付与する（ステップＳ１１０）。そして、クラスタ形成部１３０は顔画像毎に顔画像クラスタ情報を顔画像クラスタＤＢ２３に格納する（ステップＳ１１１）。なお、顔画像クラスタ情報に含まれる分類者情報の内容はシステムであり、分類時刻情報の内容は自動分類された時刻である。
【００８９】
（顔画像分類修正処理の動作）
図６は図１の代表画像表示装置１が行う顔画像分類修正処理の流れを示すフローチャートである。なお、クラスタ修正部１４０は、表示レイアウト制御部２１０から入力される表示レイアウトに係る情報と操作ＩＦ部４０から入力される信号とを用いて、ユーザによる選択対象（人物クラスタ、ユニット、顔画像）を判断し、ユーザが選択対象をドラッグ・アンド・ドロップした先（選択対象の移動先）を判断する。
【００９０】
クラスタ修正部１４０は操作ＩＦ部４０からユーザの操作に係る操作情報を受け取ったかを判定する（ステップ２０１）。操作ＩＦ部４０から操作情報を受け取っていない場合には（Ｓ２０１：ＮＯ）、ステップＳ２０１の処理が行われる。
【００９１】
操作情報を受け取った場合には（Ｓ２０１：ＹＥＳ）、クラスタ修正部１４０はユーザによる選択対象が人物クラスタであるかを判定する（ステップＳ２０２）。選択対象が人物クラスタである場合には（Ｓ２０２：ＹＥＳ）、クラスタ修正部１４０は、顔画像クラスタＤＢ２３において、選択された人物クラスタ内の各顔画像の顔画像クラスタ情報を修正する（ステップＳ２０３）。但し、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【００９２】
選択対象が人物クラスタでない場合には（Ｓ２０２：ＮＯ）、クラスタ修正部１４０は選択対象がユニットであるかを判定する（ステップＳ２０４）。選択対象がユニットである場合には（Ｓ２０４：ＹＥＳ）、クラスタ修正部１４０は、顔画像クラスタＤＢ２３において、選択されたユニット内の各顔画像の顔画像クラスタ情報を修正する（ステップＳ２０５）。但し、選択されたユニットの移動先が別の人物クラスタの場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。また、選択されたユニットの移動先が人物クラスタが存在しないエリアである場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤをこれまでに付与していない人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。更に、選択されたユニットの移動先が別のユニットの場合、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先のユニットが属する人物クラスタの人物ＩＤに、ユニットＩＤを移動先のユニットのユニットＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【００９３】
選択対象がユニットでない場合には（Ｓ２０４：ＮＯ）、クラスタ修正部１４０は選択対象が顔画像であるかを判定する（ステップＳ２０６）。選択対象が顔画像でない場合には（Ｓ２０６：ＮＯ）、ステップＳ２０１の処理が行われる。一方、選択対象が顔画像である場合には（Ｓ２０６：ＹＥＳ）、クラスタ修正部１４０は、顔画像クラスタＤＢ２３において、選択された顔画像の顔画像クラスタ情報を修正する（ステップＳ２０７）。但し、選択された顔画像の移動先が人物クラスタの場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、ユニットＩＤをこれまでに付与していないユニットＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。また、選択された顔画像の移動先が別のユニットである場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先のユニットが属する人物クラスタの人物ＩＤに、ユニットＩＤを移動先のユニットのユニットＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。更に、選択された顔画像の移動先が人物クラスタが存在しないエリアである場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤをこれまでに付与していない人物ＩＤに、ユニットＩＤをこれまでに付与していないユニットＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【００９４】
（顔画像選択表示処理の動作）
図７は図１の代表画像表示装置１が行う顔画像選択表示処理の流れを示すフローチャートである。
【００９５】
表示顔画像数決定部２２０は、表示部３０の表示領域サイズを取得し（ステップＳ３０１）、顔画像の表示サイズと表示領域サイズとを利用して表示顔画像数を決定する（ステップＳ３０２）。
【００９６】
人物クラスタ選択部２３０は、顔画像クラスタＤＢ２３を参照して人物ＩＤの数、即ち、人物クラスタの数を取得する（ステップＳ３０３）。そして、人物クラスタ選択部２３０は、ステップＳ３０２で決定された表示顔画像数とステップＳ３０３で取得された人物クラスタの数とを用いて、表示部３０に顔画像を表示する人物クラスタ（代表人物クラスタ）の数（代表人物クラスタ数）Ｐを決定し、変数ｐの値を１にする（ステップＳ３０４）。
【００９７】
人物クラスタ選択部２３０は顔画像の数がｐ（変数ｐの値）番目に多い人物クラスタを代表人物クラスタとして選択するともに、ステップＳ３０２で決定された表示顔画像数とステップＳ３０３で取得された人物クラスタの数とを用いて、選択した代表人物クラスタで表示される代表顔画像の数（人物クラスタ表示顔画像数）を決定する（ステップＳ３０５）。
【００９８】
ユニット選択部２４０は、顔画像クラスタＤＢ２３を参照して、ステップＳ３０５で選択された代表人物クラスタ内のユニットＩＤの数、つまり、ユニットの数を取得する（ステップＳ３０６）。そして、ユニット選択部２４０は、ステップＳ３０５で決定された人物クラスタ表示顔画像数とステップＳ３０６で取得したユニットの数とを用いて、代表人物クラスタで表示部３０に顔画像を表示するユニット（代表ユニット）の数（代表ユニット数）Ｍを決定し、変数ｍの値を１にする（ステップＳ３０７）。
【００９９】
ユニット選択部２４０は、代表人物クラスタ内の１番尤度が高いユニットを第１の代表ユニットとして選択するともに、ステップＳ３０５で決定された人物クラスタ表示顔画像数とステップＳ３０６で取得したユニットの数とを用いて、選択した第１の代表ユニットで表示される代表顔画像の数（ユニット表示顔画像数）を決定する（ステップＳ３０８）。このとき、ユニット選択部２４０は第１の代表ユニットのユニットＩＤと第１の代表ユニットが代表人物クラスタ内で選択された順番とを表示レイアウト制御部２１０へ出力する。
【０１００】
代表顔画像選択部２５０は図８に動作フローを示す代表顔画像選択処理を行って第１の代表ユニット内の顔画像から代表顔画像を選択する（ステップＳ３０９）。
【０１０１】
ユニット選択部２４０は、変数ｍの値を１インクリメントし（ステップＳ３１０）、変数ｍの値が代表ユニット数Ｍ以下であるかを判定する（ステップＳ３１１）。
【０１０２】
変数ｍの値が代表ユニット数Ｍ以下である場合には（Ｓ３１１：ＹＥＳ）、ユニット選択部２４０は、代表人物クラスタ内の（ｍ−１）番目に尤度が低いユニットを第ｍの代表ユニットとして選択するともに、ステップＳ３０５で決定された人物クラスタ表示顔画像数とステップＳ３０６で取得したユニットの数とを用いて、第ｍの代表ユニットで表示される代表顔画像の数（ユニット表示顔画像数）を決定する（ステップＳ３１２）。このとき、ユニット選択部２４０は第ｍの代表ユニットのユニットＩＤと第ｍの代表ユニットが代表人物クラスタ内で選択された順番とを表示レイアウト制御部２１０へ出力する。
【０１０３】
代表顔画像選択部２５０は図８に動作フローを示す代表顔画像選択処理を行って第ｍの代表ユニット内の顔画像から代表顔画像を選択する（ステップＳ３１３）。そして、ステップＳ３１０の処理が行われる。
【０１０４】
変数ｍの値が代表ユニット数Ｍ以下でない場合には（Ｓ３１１：ＮＯ）、人物クラスタ選択部２３０は、変数ｐの値を１インクリメントし（ステップＳ３１４）、変数ｐの値が代表人物クラスタ数Ｐ以下であるかを判定する（ステップＳ３１５）。変数ｐの値が代表人物クラスタ数Ｐ以下である場合には（Ｓ３１５：ＹＥＳ）、代表人物クラスタ数Ｐ分の代表人物クラスタの選択が行われていないので、ステップＳ３０５の処理が行われる。
【０１０５】
変数ｐの値が代表人物クラスタ数Ｐ以下でない場合には（Ｓ３１５：ＮＯ）、表示レイアウト制御部２１０は、ステップＳ３０１からステップＳ３１５までの処理の実行結果に基づいて、表示部３０に代表顔画像を表示する表示制御を実行する（ステップＳ３１６）。但し、表示レイアウト制御部２１０は、各代表人物クラスタのエリアを示す枠を表示する。表示レイアウト制御部２１０は、各代表人物クラスタの枠内に当該代表人物クラスタ内の第１から第Ｍの代表ユニットを配置し、第１の代表ユニットのエリアを示す枠を太い線幅で表示し、第２から第Ｍの代表ユニットのエリアを示す枠を細い線幅で表示する。表示レイアウト制御部２１０は、各代表ユニットの枠内に当該代表ユニット内の第１から第Ｎの代表顔画像を配置し、第１の代表顔画像の枠を太い線幅で表示し、第２から第Ｎの代表顔画像の枠を細い線幅で表示する。なお、第１から第Ｎの代表顔画像は図８に動作フローを示す代表顔画像選択処理によって選択される。このように表示することによって、ユーザは、尤度の高い代表ユニットと尤度の低い代表ユニットとを簡単に区別することができ、尤度の高い代表顔画像と尤度の低い代表顔画像とを簡単に区別することができる。
【０１０６】
「代表顔画像選択処理の動作」
図８は図７の代表顔画像選択処理の流れを示すフローチャートである。
【０１０７】
代表顔画像選択部２５０は、顔画像クラスタＤＢ２３を参照して、代表ユニット内の顔画像の数を取得する（ステップＳ３３１）。そして、代表顔画像選択部２５０は、ステップＳ３０８又はステップＳ３１２で決定されたユニット表示顔画像数とステップＳ３３１で取得したユニットの数とを用いて、選択された代表ユニットで表示部３０に表示する顔画像の数（代表顔画像数）Ｎを決定し、変数ｎの値を１にする（ステップＳ３３２）。
【０１０８】
代表顔画像選択部２５０は、代表ユニット内の１番尤度が高い顔画像を第１の代表顔画像として選択する（ステップＳ３３３）。このとき、代表顔画像選択部２５０は第１の代表顔画像の顔ＩＤと第１の代表顔画像が代表ユニット内で選択された順番とを表示レイアウト制御部２１０へ出力する。
【０１０９】
代表顔画像選択部２５０は、変数ｎの値を１インクリメントし（ステップＳ３３４）、変数ｎの値が代表顔画像数Ｎ以下であるかを判定する（ステップＳ３３５）。変数ｎの値が代表顔画像数Ｎ以下である場合には（Ｓ３３５：ＹＥＳ）、代表顔画像選択部２５０は、代表ユニット内の（ｎ−１）番目に尤度が低い顔画像を第ｎの代表顔画像として選択する（ステップＳ３３６）。このとき、代表顔画像選択部２５０は第ｎの代表顔画像の顔ＩＤと第ｎの代表顔画像が代表ユニット内で選択された順番とを表示レイアウト制御部２１０へ出力する。ステップＳ３３６の処理に続いてステップＳ３３４の処理が行われる。
【０１１０】
変数ｎの値が代表顔画像数Ｎ以下でない場合には（Ｓ３３５：ＮＯ）、代表ユニットでの代表顔画像の選択が終了したので、図７のステップＳ３１０の処理が行われる。
【０１１１】
（代表画像表示装置の処理の例）
以下、図１の代表画像表示装置１が行う一連の処理の一例を図９から図１４を参照して説明する。
【０１１２】
図９は顔画像を自動分類した結果を特徴量空間上で模式的に表した図である。
【０１１３】
但し、図９において、“ＩＤ１１１”〜“ＩＤ１１４”の顔画像は“ＩＤ１１”のユニットに分類されており、“ＩＤ１１”のユニットは“ＩＤ１”の人物クラスタに分類されている。また、“ＩＤ２１１”の顔画像は“ＩＤ２１”のユニットに分類され、“ＩＤ２２１”の顔画像は“ＩＤ２２”のユニットに分類され、“ＩＤ２３１”の顔画像は“ＩＤ２３”のユニットに分類され、“ＩＤ２４１”〜“ＩＤ２４２”の顔画像は“ＩＤ２４”のユニットに分類されている。“ＩＤ２１”〜“ＩＤ２４”のユニットは“ＩＤ２”の人物クラスタに分類されている。
【０１１４】
“ＩＤ１１”のユニット内の顔画像は、“ＩＤ１１１”、“ＩＤ１１２”、“ＩＤ１１３”、“ＩＤ１１４”の順で尤度が高いとする。また、“ＩＤ２”の人物クラスタ内のユニットは、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”、“ＩＤ２４”の順で尤度が高いとし、“ＩＤ２４”のユニット内の顔画像は、“ＩＤ２４１”、“ＩＤ２４２”の順で尤度が高いとする。
【０１１５】
図９に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“６”とする。
【０１１６】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”のユニットを第１の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２１”の第１の代表ユニット内の最も尤度が高い“ＩＤ２１１”の顔画像を第１の代表顔画像として選択する。次に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が低い“ＩＤ２４”のユニットを第２の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２４”の第２の代表ユニット内の最も尤度が高い“ＩＤ２４１”の顔画像を第１の代表顔画像として選択する。更に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の２番目に尤度が低い“ＩＤ２３”のユニットを第３の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２３”の第３の代表ユニット内の最も尤度が高い“ＩＤ２３１”の顔画像を第１の代表顔画像として選択する。
【０１１７】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”のユニットを第１の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ１１”の第１の代表ユニット内の最も尤度が高い“ＩＤ１１１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ１１４”の顔画像を第２の代表顔画像として選択し、２番目に尤度が低い“ＩＤ１１３”の顔画像を第３の代表顔画像として選択する。
【０１１８】
表示レイアウト制御部２１０は、上記の処理結果に基づいて、図１０に示す表示内容を表示部３０に表示する。図１０は、図９の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１１９】
但し、表示レイアウト制御部２１０は、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２３”、“ＩＤ２４”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ２１”のユニットの枠を太い線幅で表示し、それ以外のユニットの枠を細い線幅で表示する。“ＩＤ２１”、“ＩＤ２３”、“ＩＤ２４”のユニットの枠内に“ＩＤ２１１”、“ＩＤ２３１”、“ＩＤ２４１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１１”、“ＩＤ２３１”、“ＩＤ２４１”の顔画像の枠を太い線幅で表示する。
【０１２０】
また、表示レイアウト制御部２１０は、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ１１”のユニットの枠を太い線幅で表示する。“ＩＤ１１”のユニットの枠内に“ＩＤ１１１”、“ＩＤ１１３”、“ＩＤ１１４”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。
【０１２１】
ユーザが図１０の表示に対して“ＩＤ２４”のユニットを選択して人物クラスタの枠外にドラッグ・アンド・ドロップする操作を行ったとする。この操作に応じて、クラスタ修正部１４０は、“ＩＤ２４”のユニット内の“ＩＤ２４１”，“ＩＤ２４２”の顔画像の顔画像クラスタ情報の人物ＩＤを“ＩＤ３”に、分類者情報を“ユーザ”に、分類時刻情報を分類を修正した時刻に修正する。顔画像の分類を修正した結果は図１１に示すようになる。図１１は顔画像の分類を修正した結果を特徴量空間上で模式的に表した図である。
【０１２２】
但し、図１１において、“ＩＤ１１１”〜“ＩＤ１１４”の顔画像は“ＩＤ１１”のユニットに分類されており、“ＩＤ１１”のユニットは“ＩＤ１”の人物クラスタに分類されている。また、“ＩＤ２１１”の顔画像は“ＩＤ２１”のユニットに分類され、“ＩＤ２２１”の顔画像は“ＩＤ２２”のユニットに分類され、“ＩＤ２３１”の顔画像は“ＩＤ２３”のユニットに分類されている。“ＩＤ２１”〜“ＩＤ２３”のユニットは“ＩＤ２”の人物クラスタに分類されている。さらに、“ＩＤ２４１”〜“ＩＤ２４２”の顔画像は“ＩＤ２４”のユニットに分類されており、“ＩＤ２４”のユニットは“ＩＤ３”の人物クラスタに分類されている。
【０１２３】
“ＩＤ１１”のユニット内の顔画像は、“ＩＤ１１１”、“ＩＤ１１２”、“ＩＤ１１３”、“ＩＤ１１４”の順で尤度が高いとする。また、“ＩＤ２”の人物クラスタ内のユニットは、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”の順で尤度が高いとする。“ＩＤ２４”のユニット内の顔画像は、“ＩＤ２４１”、“ＩＤ２４２”の順で尤度が高いとする。
【０１２４】
図１１に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“６”とする。
【０１２５】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”のユニットを第１の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ１１”の第１の代表ユニット内の最も尤度が高い“ＩＤ１１１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ１１４”の顔画像を第２の代表顔画像として選択する。
【０１２６】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”のユニットを第１の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２１”の第１の代表ユニット内の最も尤度が高い“ＩＤ２１１”の顔画像を第１の代表顔画像として選択する。次に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が低い“ＩＤ２３”のユニットを第２の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２３”の第２の代表ユニット内の最も尤度が高い“ＩＤ２３１”の顔画像を第１の代表顔画像として選択する。
【０１２７】
人物クラスタ選択部２３０は、顔画像の数が３番目に多い“ＩＤ３”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ３”の代表人物クラスタ内の最も尤度が高い“ＩＤ２４”のユニットを第１の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ２４”の第１の代表ユニット内の最も尤度が高い“ＩＤ２４１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ２４２”の顔画像を第２の代表顔画像として選択する。
【０１２８】
表示レイアウト制御部２１０は、上記の処理結果に基づいて、図１２に示す表示内容を表示部３０に表示する。図１２は、図１１の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１２９】
但し、表示レイアウト制御部２１０は、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ１１”のユニットの枠を太い線幅で表示する。“ＩＤ１１”のユニットの枠内に“ＩＤ１１１”、“ＩＤ１１４”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。
【０１３０】
また、表示レイアウト制御部２１０は、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２３”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ２１”のユニットの枠を太い線幅で表示し、それ以外のユニットの枠を細い線幅で表示する。“ＩＤ２１”、“ＩＤ２３”のユニットの枠内に“ＩＤ２１１”、“ＩＤ２３１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１１”、“ＩＤ２３１”の顔画像の枠を太い線幅で表示する。
【０１３１】
さらに、表示レイアウト制御部２１０は、“ＩＤ３”の人物クラスタの枠内に“ＩＤ２４”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ２４”のユニットの枠を太い線幅で表示する。“ＩＤ２４”のユニットの枠内に“ＩＤ２４１”、“ＩＤ２４２”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２４１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。
【０１３２】
ユーザが図１２の表示に対して“ＩＤ３”の人物クラスタを選択して“ＩＤ１”の人物クラスタ内にドラッグ・アンド・ドロップする操作を行ったとする。この操作に応じて、クラスタ修正部１４０は、“ＩＤ３”の人物クラスタ内の“ＩＤ２４１”，“ＩＳ２４２”の顔画像の顔画像クラスタ情報の人物ＩＤを“ＩＤ１”に、分類者情報を“ユーザ”に、分類時刻情報を分類を修正した時刻に修正する。顔画像の分類を修正した結果は図１３に示すようになる。図１３は顔画像の分類を修正した結果を特徴量空間上で模式的に表した図である。
【０１３３】
但し、図１３において、“ＩＤ１１１”〜“ＩＤ１１４”の顔画像は“ＩＤ１１”のユニットに分類され“ＩＤ２４１”〜“ＩＤ２４２”の顔画像は“ＩＤ２４”のユニットに分類されている。“ＩＤ１１”、“ＩＤ２４”のユニットは“ＩＤ１”の人物クラスタに分類されている。また、“ＩＤ２１１”の顔画像は“ＩＤ２１”のユニットに分類され、“ＩＤ２２１”の顔画像は“ＩＤ２２”のユニットに分類され、“ＩＤ２３１”の顔画像は“ＩＤ２３”のユニットに分類されている。“ＩＤ２１”〜“ＩＤ２３”のユニットは“ＩＤ２”の人物クラスタに分類されている。
【０１３４】
“ＩＤ１”の人物クラスタ内のユニットは、“ＩＤ１１”、“ＩＤ２４”の順で尤度が高いとする。“ＩＤ１１”のユニット内の顔画像は、“ＩＤ１１１”、“ＩＤ１１２”、“ＩＤ１１３”、“ＩＤ１１４”の順で尤度が高いとし、“ＩＤ２４”のユニット内の顔画像は、“ＩＤ２４１”、“ＩＤ２４２”の順で尤度が高いとする。また、“ＩＤ２”の人物クラスタ内のユニットは、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”の順で尤度が高いとする。
【０１３５】
図１３に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“６”とする。
【０１３６】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”のユニットを第１の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ１１”の第１の代表ユニット内の最も尤度が高い“ＩＤ１１１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ１１４”の顔画像を第２の代表顔画像として選択する。次に、ユニット選択部２４０は、“ＩＤ１”の代表人物クラスタ内の最も尤度が低い“ＩＤ２４”のユニットを第２の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ２４”の第２の代表ユニット内の最も尤度が高い“ＩＤ２４１”の顔画像を第１の代表顔画像として選択する。
【０１３７】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”のユニットを第１の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２１”の第１の代表ユニット内の最も尤度が高い“ＩＤ２１１”の顔画像を第１の代表顔画像として選択する。次に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が低い“ＩＤ２３”のユニットを第２の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２３”の第２の代表ユニット内の最も尤度が高い“ＩＤ２３１”の顔画像を第１の代表顔画像として選択する。更に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の２番目に尤度が低い“ＩＤ２２”のユニットを第３の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２２”の第３の代表ユニット内の最も尤度が高い“ＩＤ２２１”の顔画像を第１の代表顔画像として選択する。
【０１３８】
表示レイアウト制御部２１０は、上記の処理結果に基づいて、図１４に示す表示内容を表示部３０に表示する。図１４は、図１３の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１３９】
但し、表示レイアウト制御部２１０は、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”、“ＩＤ２４のユニットを配置し、第１の代表ユニットに相当する“ＩＤ１１”のユニットの枠を太い線幅で表示し、それ以外のユニットの枠を細い線幅で表示する。“ＩＤ１１”のユニットの枠内に“ＩＤ１１１”、“ＩＤ１１４”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。“ＩＤ２４”のユニットの枠内に“ＩＤ２４１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２４１”の顔画像の枠を太い線幅で表示する。
【０１４０】
また、表示レイアウト制御部２１０は、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ２１”のユニットの枠を太い線幅で表示し、それ以外のユニットの枠を細い線幅で表示する。“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”のユニットの枠内に“ＩＤ２１１”、“ＩＤ２２１”、“ＩＤ２３１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１１”、“ＩＤ２２１”、“ＩＤ２３１”の顔画像の枠を太い線幅で表示する。
【０１４１】
≪第２の実施の形態≫
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。
【０１４２】
第１の実施の形態では、顔画像は類似する顔画像をまとめたユニットに分類され、ユニットは類似するユニットをまとめた人物クラスタに分類され、この分類結果を利用して代表顔画像を選択して表示する。これに対して、本実施の形態では、顔画像は類似する顔画像をまとめた人物クラスタに分類され、この分類結果を利用して代表顔画像を選択して表示する。なお、本実施の形態の「人物クラスタ」は「クラスタ」に相当する。
【０１４３】
なお、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、第１の実施の形態の説明が適用できるため本実施の形態ではその説明を省略し或いは概略を記載するに留める。
【０１４４】
＜装置構成＞
図１５は本実施の形態の代表画像表示装置１ａの全体構成図であり、代表画像表示装置１ａは演算処理部１０ａと記憶部２０ａと表示部３０と操作ＩＦ部４０とを備える。
【０１４５】
演算処理部１０ａは、例えばＣＰＵなどで構築され、代表画像表示装置１ａ全体の各種制御や各種演算を行う。
【０１４６】
記憶部２０ａは、例えばＲＯＭ、ＲＡＭ、ＨＤＤなどで構築されており、代表画像表示装置１ａを制御するための各種制御プログラムや各種アプリケーションプログラムなどを記憶している。記憶部２０ａは、図１７〜図１９に動作フローを示す手順を記述したプログラムを記憶している。また、記憶部２０ａは、画像データ、顔画像データ及び顔特徴量データを記憶するとともに、画像ＤＢ２１、顔画像ＤＢ２２、及び顔画像クラスタＤＢ２３ａを記憶する。
【０１４７】
（記憶部内の各データベースの構成）
「顔画像クラスタＤＢの構成」
図１６は図１５の顔画像クラスタＤＢ２３ａの一例を示す図である。顔画像クラスタＤＢ２３ａは、顔画像毎に、顔画像の顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像が属する人物クラスタの人物ＩＤと、顔画像の分類者情報と顔画像の分類時刻情報とを対応付けて格納するためのデータベースである。なお、以下では、顔画像クラスタＤＢ２３ａの１レコード分の情報の集まりを、適宜、「顔画像クラスタ情報」と言う。
【０１４８】
（演算処理部の構成）
演算処理部１０ａは、記憶部２０ａから図１７〜図１９に動作フローを示す手順を記述したプログラムを読み出し、読み出したプログラムを実行する。これによって、演算処理部１０ａは画像解析部１００ａと画像表示部２００ａとして機能する。
【０１４９】
（画像解析部の機能構成）
画像解析部１００ａは、図１５に示すように、画像入力部１１０と、顔認識処理部１２０と、クラスタ形成部１３０ａと、クラスタ修正部１４０ａとを備える。
【０１５０】
クラスタ形成部１３０ａは、顔画像ＤＢ２２を参照して、各顔ＩＤに対応する顔特徴量ファイル名の顔特徴量データを記憶部２０から読み出す。そして、クラスタ形成部１３０ａは、読み出した顔特徴量データを用いて、類似する顔画像をまとめて人物クラスタを形成し、形成した各人物クラスタに対して一意に人物ＩＤを付与する。
【０１５１】
そして、クラスタ形成部１３０ａは、顔画像毎に、顔画像の顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像が属する人物クラスタの人物ＩＤと、顔画像の分類時刻情報とを対応付けて顔画像クラスタＤＢ２３ａに格納する。但し、分類者情報の内容はシステムとなり、分類時刻情報の内容は自動分類された時刻となる。
【０１５２】
但し、クラスタ形成部１３０ａは、記憶部２０ａから読み出した複数の顔特徴量データを互いに比較し、顔特徴量データ間の差が例えば予め定められた閾値以下である顔特徴量データの顔画像が互いに類似するものとして、それらを１つにまとめることによって、人物クラスタを形成する。なお、人物クラスタの形成の手法は上記の手法に限定されるものではない。
【０１５３】
クラスタ修正部１４０ａは、操作ＩＦ部４０を介してユーザ操作を受け取り、顔画像クラスタＤＢ２３ａにおいて、受け取ったユーザ操作に従ってユーザが分類の修正を施した顔画像の顔画像クラスタ情報を修正する。但し、顔画像クラスタ情報に含まれる分類者情報の内容はユーザになり、分類時刻情報の内容は分類の修正が行われた時刻になる。
【０１５４】
（画像表示部の機能構成）
画像表示部２００ａは、図１４に示すように、表示レイアウト制御部２１０ａと、表示顔画像数決定部２２０と、人物クラスタ選択部２３０と、代表顔画像選択部２５０ａとを備える。
【０１５５】
表示レイアウト制御部２１０ａは、表示部３０に表示する顔画像の表示レイアウトを画像ＤＢ２１、顔画像ＤＢ２２及び顔画像クラスタＤＢ２３ａの格納内容を参照して制御するものである。但し、表示レイアウト制御部２１０ａは、表示レイアウトを制御する際に、代表顔画像選択部２５０ａから入力される情報や操作ＩＦ部４０から入力される情報も用いる。
【０１５６】
代表顔画像選択部２５０ａは、人物クラスタ選択部２３０から入力された人物ＩＤの人物クラスタ（代表人物クラスタ）の夫々に対して、以下のようにして、代表人物クラスタ内の顔画像から代表顔画像を選択する。
【０１５７】
代表顔画像選択部２５０ａは、顔画像クラスタＤＢ２３ａを参照して、代表人物クラスタ内の顔ＩＤの数、即ち、顔画像の数を取得する。そして、代表顔画像選択部２５０ａは、人物クラスタ選択部２３０から入力される人物クラスタ表示顔画像数が顔画像の数未満の場合には代表人物クラスタでの代表顔画像の数（代表顔画像数）を人物クラスタ表示顔画像数と同じ値に決定し、人物クラスタ表示顔画像数が顔画像の数未満の場合には代表顔画像数を取得した顔画像の数と同じ値に決定する。なお、前者では代表人物クラスタ内の顔画像の一部が代表顔画像になり、後者では代表人物クラスタ内の全ての顔画像が代表顔画像になる。
【０１５８】
続いて、代表顔画像選択部２５０ａは、代表人物クラスタ内の各顔画像に対して顔画像の分類結果の確からしさを示す尤度を算出する。そして、代表顔画像選択部２５０ａは、１番目に代表顔画像を選択する場合には代表人物クラスタ内の尤度が最も高い顔画像を代表顔画像として選択し、２番目以降に代表顔画像を選択する場合には代表人物クラスタ内の尤度が低い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。そして、代表顔画像選択部２５０ａは、代表顔画像の顔ＩＤと代表人物クラスタ内で代表顔画像が選択された順番とを表示レイアウト制御部２１０ａへ出力する。この情報は表示レイアウト制御部２１０ａが代表顔画像を表示し、代表人物クラスタ内の一番尤度が高い代表顔画像とそれ以外の代表顔画像とを異なる表示方法で表示する際に利用される。なお、代表顔画像数が１の場合には、２番目以降の代表顔画像の選択が行われないことは言うまでもない。
【０１５９】
但し、代表顔画像選択部２５０ａは、尤度として、代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用い、距離が小さいほど顔画像に関する尤度が高く、距離が大きいほど顔画像に関する尤度が低いとする。代表顔画像選択部２５０ａは、顔画像クラスタＤＢ２３及び顔画像ＤＢ２２を参照し、代表人物クラスタの特徴量空間上の中心位置又は重心位置を代表人物クラスタ内の顔画像の顔特徴量データを用いて算出し、代表人物クラスタ内の夫々の顔画像の特徴量空間上の位置をその顔画像の顔特徴量データを用いて算出する。そして、代表顔画像選択部２５０ａは、１番目に代表顔画像を選択する場合には代表人物クラスタの中心位置又は重心位置に位置が１番近い顔画像を代表顔画像として選択する。代表顔画像選択部２５０ａは、２番目以降に代表顔画像を選択する場合には代表人物クラスタの中心位置又は重心位置から位置が遠い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。
【０１６０】
上記の各場合において、代表人物クラスタの中心位置又は重心位置に位置が１番近い顔画像は代表人物クラスタに最も正しく分類された可能性が高い。一方、代表人物クラスタの中心位置又は重心位置から位置が離れている顔画像ほど代表人物クラスタに誤って分類された可能性が高い。従って、ユーザは、例えば、正しく分類された可能性が高い顔画像と誤って分類された可能性が高い顔画像とを見ながら顔画像の分類を修正することができることから、効率的なアノテーションを行うことができる。
【０１６１】
＜装置動作＞
図１７の代表画像表示装置１ａによって行われる処理を、顔画像自動分類処理、顔画像分類修正処理、及び顔画像選択表示処理の３つに分けて説明する。
【０１６２】
（顔画像自動分類処理の動作）
図１７は図１５の代表画像表示装置１ａが行う顔画像自動分類処理の流れを示すフローチャートである。
【０１６３】
画像入力部１１０及び顔認識処理部１２０は、図５を参照して説明したステップＳ１０１〜ステップＳ１０８の処理を行う。
【０１６４】
クラスタ形成部１３０ａは、顔画像ＤＢ２２を参照して、各顔ＩＤに対応する顔特徴量ファイル名の顔特徴量データを記憶部２０から読み出す。そして、クラスタ形成部１３０ａは、読み出した顔特徴量データを用いて、類似する顔画像をまとめて人物クラスタを形成し、形成した各人物クラスタに人物ＩＤを付与する（ステップＳ１５１）。そして、クラスタ形成部１３０ａは、顔画像毎に顔画像クラスタ情報を顔画像クラスタＤＢ２３に格納する（ステップＳ１５２）。なお、顔画像クラスタ情報に含まれる分類者情報の内容はシステムであり、分類時刻情報の内容は自動分類された時刻である。
【０１６５】
（顔画像分類修正処理の動作）
図１８は図１５の代表画像表示装置１ａが行う顔画像分類修正処理の流れを示すフローチャートである。なお、クラスタ修正部１４０ａは、表示レイアウト制御部２１０ａから入力される表示レイアウトに係る情報を用いるとともに、操作ＩＦ部４０から入力される信号を用いて、ユーザによる選択対象（人物クラスタ、顔画像）を判断し、ユーザが選択対象をドラッグ・アンド・ドロップした先（選択対象の移動先）を判断する。
【０１６６】
クラスタ修正部１４０ａは、図６を参照して説明したステップＳ２０１〜ステップＳ２０２の処理を行う。クラスタ修正部１４０ａは、顔画像クラスタＤＢ２３ａにおいて、選択された人物クラスタ内の各顔画像の顔画像クラスタ情報を修正する（ステップＳ２０３ａ）。但し、クラスタ修正部１４０ａは、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【０１６７】
クラスタ修正部１４０ａは、図６を参照して説明したステップＳ２０６の処理を行う。クラスタ修正部１４０ａは、顔画像クラスタＤＢ２３において、選択された顔画像の顔画像クラスタ情報を修正する（ステップＳ２０７ａ）。但し、選択された顔画像の移動先が人物クラスタの場合には、クラスタ修正部１４０ａは、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。更に、選択された顔画像の移動先が人物クラスタが存在しないエリアである場合には、クラスタ修正部１４０ａは、顔画像クラスタ情報の人物ＩＤをこれまでに付与していない人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【０１６８】
（顔画像選択表示処理の動作）
図１９は図１５の代表画像表示装置１ａが行う顔画像選択表示処理の流れを示すフローチャートである。
【０１６９】
表示顔画像数決定部２２０及び人物クラスタ選択部２３０は、図７を参照して説明したステップＳ３０１〜ステップＳ３０５の処理を行う。
【０１７０】
代表顔画像選択部２５０ａは、顔画像クラスタＤＢ２３を参照して、代表人物クラスタ内の顔画像の数を取得する（ステップＳ３５１）。そして、代表顔画像選択部２５０ａは、代表人物クラスタで表示部３０に表示する顔画像の数（代表顔画像数）Ｎを決定し、変数ｎの値を１にする（ステップＳ３５２）。
【０１７１】
代表顔画像選択部２５０ａは、代表人物クラスタ内の１番尤度が高い顔画像を第１の代表顔画像として選択する（ステップＳ３５３）。このとき、代表顔画像選択部２５０は第１の代表顔画像の顔ＩＤと第１の代表顔画像が代表人物クラスタ内で選択された順番とを表示レイアウト制御部２１０ａへ出力する。
【０１７２】
代表顔画像選択部２５０ａは、変数ｎの値を１インクリメントし（ステップＳ３５４）、変数ｎの値が代表顔画像数Ｎ以下であるかを判定する（ステップＳ３５５）。変数ｎの値が代表顔画像数Ｎ以下である場合には（Ｓ３５５：ＹＥＳ）、代表顔画像選択部２５０ａは、代表人物クラスタ内の（ｎ−１）番目に尤度が低い顔画像を第ｎの代表顔画像として選択する（ステップＳ３５６）。このとき、代表顔画像選択部２５０ａは第ｎの代表顔画像の顔ＩＤと第ｎの代表顔画像が代表ユニット内で選択された順番とを表示レイアウト制御部２１０へ出力する。ステップＳ３５６の処理に続いてステップＳ３５４の処理が行われる。
【０１７３】
代表顔画像選択部２５０ａは、図７を参照して説明したステップＳ３１４〜ステップＳ３１５の処理を行う。
【０１７４】
表示レイアウト制御部２１０ａは、ステップＳ３０１からステップＳ３１５までの処理の実行結果に基づいて、表示部３０に代表顔画像を表示する表示制御を実行する（ステップＳ３１６ａ）。但し、表示レイアウト制御部２１０ａは、各代表人物クラスタのエリアを示す枠を表示する。表示レイアウト制御部２１０ａは、各代表人物クラスタの枠内に当該代表人物クラスタ内の第１から第Ｎの代表顔画像を配置し、第１の代表顔画像の枠を太い線幅で表示し、第２から第Ｎの代表顔画像の枠を細い線幅で表示する。このように表示することによって、ユーザは、尤度の高い代表顔画像と尤度の低い代表顔画像とを簡単に区別することができる。
【０１７５】
（代表画像表示装置の処理の例）
以下、図１５の代表画像表示装置１が行う一連の処理の一例を図２０から図２３を参照して説明する。
【０１７６】
図２０は顔画像を自動分類した結果を特徴量空間上で模式的に表した図である。
【０１７７】
但し、図２０において、“ＩＤ１１”〜“ＩＤ１２”の顔画像は“ＩＤ１”の人物クラスタに分類され、“ＩＤ２１”〜“ＩＤ２５”の顔画像は“ＩＤ２”の人物クラスタに分類されている。
【０１７８】
“ＩＤ１”の人物クラスタ内の顔画像は、“ＩＤ１１”、“ＩＤ１２”の順で尤度が高いとし、“ＩＤ２”の人物クラスタ内の顔画像は、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”、“ＩＤ２４”、“ＩＤ２５”の順で尤度が高いとする。
【０１７９】
図２０に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“４”とする。
【０１８０】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ２５”の顔画像を第２の代表顔画像として選択する。
【０１８１】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ１２”の顔画像を第２の代表顔画像として選択する。
【０１８２】
表示レイアウト制御部２１０ａは、上記の処理結果に基づいて、図２１に示す表示内容を表示部３０に表示する。図２１は、図２０の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１８３】
但し、表示レイアウト制御部２１０ａは、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２５”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。また、表示レイアウト制御部２１０ａは、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”、“ＩＤ１２”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。
【０１８４】
ユーザが図２１の表示に対して“ＩＤ２５”の顔画像を選択して人物クラスタの枠外にドラッグ・アンド・ドロップする操作を行ったとする。この操作に応じて、クラスタ修正部１４０ａは、“ＩＤ２５”の顔画像の顔画像クラスタ情報の人物ＩＤを“ＩＤ３”に、分類者情報を“ユーザ”に、分類時刻情報を分類を修正した時刻に修正する。顔画像の分類を修正した結果は図２２に示すようになる。図２２は顔画像の分類を修正した結果を特徴量空間上で模式的に表した図である。
【０１８５】
但し、図２２において、“ＩＤ１１”〜“ＩＤ１２”の顔画像は“ＩＤ１”の人物クラスタに分類され、“ＩＤ２１”〜“ＩＤ２４”の顔画像は“ＩＤ２”の人物クラスタに分類され、“ＩＤ２５”の顔画像は“ＩＤ１”の人物クラスタに分類されている。
【０１８６】
“ＩＤ１”の人物クラスタ内の顔画像は、“ＩＤ１１”、“ＩＤ１２”の順で尤度が高いとし、“ＩＤ２”の人物クラスタ内の顔画像は、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”、“ＩＤ２４”の順で尤度が高いとする。
【０１８７】
図２２に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“４”とする。
【０１８８】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ２４”の顔画像を第２の代表顔画像として選択する。
【０１８９】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”の顔画像を第１の代表顔画像として選択する。
【０１９０】
人物クラスタ選択部２３０は、顔画像の数が３番目に多い“ＩＤ３”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ３”の代表人物クラスタ内の最も尤度が高い“ＩＤ２５”の顔画像を第１の代表顔画像として選択する。
【０１９１】
表示レイアウト制御部２１０ａは、上記の処理結果に基づいて、図２３に示す表示内容を表示部３０に表示する。図２３は、図２２の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１９２】
但し、表示レイアウト制御部２１０ａは、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２４”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。また、表示レイアウト制御部２１０ａは、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１”の顔画像の枠を太い線幅で表示する。さらに、表示レイアウト制御部２１０ａは、“ＩＤ３”の人物クラスタの枠内に“ＩＤ２５”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２５”の顔画像の枠を太い線幅で表示する。
【０１９３】
≪補足≫
本発明は上記の実施の形態で説明した内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するためのいかなる形態においても実施可能であり、例えば、以下であってもよい。
【０１９４】
（１）上記の第１及び第２の実施の形態では、人物の顔画像をクラスタの対象としているが、これに限らず、人物の顔画像以外の各種画像に対して第１及び第２の実施の形態で説明した手法を適用可能である。
【０１９５】
（２）上記の第１及び第２の実施の形態では、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタ内の顔画像の数を利用しているが、これに限らず、例えば次のような選択の指標を用いて代表人物クラスタを選択するようにしてもよい。
【０１９６】
人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタが形成又は修正された時刻を用い、形成又は修正された時刻が新しい順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、これは、形成又は修正された時刻が古い人物クラスタはユーザが修正し終えて既に正しいものとなっており、形成又は修正された時刻が新しい人物クラスタはまだユーザが修正をし終えていないと考えられることを踏まえたものである。
【０１９７】
また、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタ内の顔画像の顔特徴量データの分散を用いる。人物クラスタ選択部２３０は、各人物クラスタに対して、人物クラスタ内の顔画像の顔特徴量データを用いて当該人物クラスタ内の顔画像の顔特徴量データの分散を算出し、算出した分散が大きい順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、これは、分散が大きい人物クラスタほど特徴量空間上で顔画像の顔特徴量データが広がっているので人物クラスタの内容が誤っている可能性が高く、それが小さい人物クラスタほど特徴量空間上で顔画像の顔特徴量データが広がっていないので人物クラスタの内容が誤っている可能性が低いと考えられることを踏まえたものである。
【０１９８】
更に、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタの特徴量空間上のクラスタ半径を用いる。人物クラスタ選択部２３０は、各人物クラスタに対して、人物クラスタ内の顔画像の顔特徴量データを用いて当該人物クラスタのクラスタ半径を算出し、算出したクラスタ半径が大きい順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、これは、クラスタ半径が大きい人物クラスタほど特徴量空間上で顔画像の顔特徴量データが広がっているので人物クラスタの内容が誤っている可能性が高く、それが小さい人物クラスタほど特徴量空間上で顔画像の顔特徴量データが広がっていないので人物クラスタの内容が誤っている可能性が低いと考えられることを踏まえたものである。
【０１９９】
更に、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタの特徴量空間上の中心位置や重心位置などの位置を用いる。人物クラスタ選択部２３０は、各人物クラスタに対して、人物クラスタ内の顔画像の顔特徴量データを用いて当該人物クラスタの位置（中心位置、重心位置など）を算出し、特徴量空間上の特定の位置から算出した位置が近い順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、特定の位置として、例えば特徴量空間の全体から見た中心位置、全ての人物クラスタの空間特徴量上の重心位置、指定された人物クラスタの特徴量空間上の中心位置や重心位置など位置を利用することができる。
【０２００】
更に、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタ内の顔画像のうち分類者情報が「システム」である顔画像の比率を用いる。人物クラスタ選択部２３０は、各人物クラスタに対して、人物クラスタ内の顔画像のうち分類者情報が「システム」である顔画像の比率を算出し、算出した比率が大きい順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、これは、ユーザが修正していない顔画像の比率が高い人物クラスタほどまだユーザが修正をし終えておらず、比率が低い人物クラスタほどユーザが修正し終えて既に正しいものとなっていると考えられることを踏まえたものである。
【０２０１】
（３）上記の第１の実施の形態では、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として代表人物クラスタの特徴量空間上の中心位置又は重心位置からユニットの特徴量空間上の中心位置又は重心位置までの距離を用いているが、これに限らず、例えば次のような尤度を用いて１番目の代表ユニットを選択するようにしてもよい。
【０２０２】
ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニットが形成又は修正された時刻を用い、形成又は修正された時刻が古いほど尤度が高いとする。ユニット選択部２４０は、形成又は修正された時刻が最も古いユニットを１番目の代表ユニットとして選択する。なお、これは、形成又は修正された時刻が古いユニットほど分類結果が正しいためにユーザが修正を必要としないと考えられること踏まえたものである。
【０２０３】
また、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニット内の顔画像の数を用い、顔画像の数が少ないほど尤度が高いとする。ユニット選択部２４０は、顔画像の数が最も少ないユニットを１番目の代表ユニットとして選択する。なお、これは、顔画像の数が少ないユニットほど誤った顔画像を含んでいる可能性が低いと考えられることを踏まえたものである。
【０２０４】
更に、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニットの特徴量空間上のクラスタ半径を用い、クラスタ半径が小さいほど尤度が高いとする。ユニットの選択部２４０は、代表人物クラスタ内の各ユニットの特徴量空間上のクラスタ半径をユニット内の顔画像の顔特徴量データを用いて算出し、クラスタ半径が最も小さいユニットを１番目の代表ユニットとして選択する。なお、これは、クラスタ半径が小さいユニットほど誤った顔画像を含んでいる可能性が低いと考えられることを踏まえたものである。
【０２０５】
更に、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニット内の顔画像の顔特徴量データの特徴量空間上の密度を用い、密度が高いほど尤度が高いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットの特徴量空間上の密度をユニット内の顔画像の顔特徴量データを用いて算出し、密度が最も高いユニットを１番目の代表ユニットとして選択する。なお、これは、密度が高いユニットほど特徴量空間上で顔画像の顔特徴量データが集まっているので誤った顔画像を含んでいる可能性が低いと考えられることを踏まえたものである。
【０２０６】
更に、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニット内の顔画像の特徴量空間上の分散を用い、分散が小さいほど尤度が高いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットに対して、ユニット内の顔画像の顔特徴量データを用いてユニット内の顔画像の顔特徴量データの分散を算出し、分散が最も小さいユニットを代表ユニットとして選択する。なお、これは、分散が小さいユニットほど特徴量空間上で顔画像の顔特徴量データが集まっているので誤った顔画像を含んでいる可能性が低いと考えられることを踏まえたものである。
【０２０７】
更に、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニット内の顔画像のうち分類者情報が「ユーザ」である顔画像の比率を用い、比率が大きいほど尤度が高いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットにおいて、ユニット内の顔画像のうち分類者情報が「ユーザ」である顔画像の比率を算出し、算出した比率が最も大きいユニットを１番目の代表ユニットとして選択する。なお、これは、ユーザが修正した顔画像の比率が高いユニットほどユーザが修正を終えていると考えられることを踏まえたものである。
【０２０８】
（４）上記の第１の実施の形態では、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として代表人物クラスタの特徴量空間上の中心位置又は重心位置からユニットの特徴量空間上の中心位置又は重心位置までの距離を用いているが、これに限らず、例えば次のような尤度を用いて２番目以降の代表ユニットを選択するようにしてもよい。
【０２０９】
ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニットが形成又は修正された時刻を用い、形成又は修正された時刻が新しいほど尤度が低いとする。ユニット選択部２４０は、形成又は修正された時刻が新しい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、形成又は修正された時刻が新しいユニットほどユーザが修正をし終えていないと考えられることを踏まえたものである。
【０２１０】
また、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニット内の顔画像の数を用い、顔画像の数が多いほど尤度が低いとする。ユニット選択部２４０は、顔画像の数が多い順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、顔画像の数が多いユニットほど誤った顔画像を含んでいる可能性が高いと考えられることを踏まえたものである。
【０２１１】
更に、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニットの特徴量空間上のクラスタ半径を用い、クラスタ半径が大きいほど尤度が低いとする。ユニットの選択部２４０は、代表人物クラスタ内の各ユニットの特徴量空間上のクラスタ半径をユニット内の顔画像の顔特徴量データを用いて算出し、クラスタ半径が大きい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、クラスタ半径が大きいユニットほど特徴量空間上で顔画像の顔特徴量データが広がっているので誤った顔画像を含んでいる可能性が高いと考えられることを踏まえたものである。
【０２１２】
更に、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニット内の顔画像の顔特徴量データの特徴量空間上の密度を用い、密度が小さいほど尤度が低いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットの特徴量空間上の密度をユニット内の顔画像の顔特徴量データを用いて算出し、密度が小さい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、密度が小さいユニットほど特徴量空間上で顔画像の顔特徴量データが広がっているので誤った顔画像を含んでいる可能性が高いと考えられることを踏まえたものである。
【０２１３】
更に、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニット内の顔画像の特徴量空間上の分散を用い、分散が大きいほど尤度が低いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットに対して、ユニット内の顔画像の顔特徴量データを用いてユニット内の顔画像の顔特徴量データの分散を算出し、分散が大きい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、分散が大きいユニットほど特徴量空間上で顔画像の顔特徴量データが広がっているので誤った顔画像を含んでいる可能性が高いと考えられることを踏まえたものである。
【０２１４】
更に、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニット内の顔画像のうち分類者情報が「システム」である顔画像の比率を用い、比率が大きいほど尤度が低いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットにおいて、ユニット内の顔画像のうち分類者情報が「システム」である顔画像の比率を算出し、算出した比率が大きい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、ユーザが修正していない顔画像の比率が高いユニットほどまだユーザが修正をし終えていないと考えられることを踏まえたものである。
【０２１５】
（５）上記の第１及び第２の実施の形態では、代表顔画像選択部２５０又は代表顔画像選択部２５０ａは、１番目の代表顔画像を選択する際の尤度として代表ユニット又は代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用いているが、これに限らず、例えば次のような尤度を用いて代表顔画像を選択するようにしてもよい。
【０２１６】
代表顔画像選択部２５０，２５０ａは、１番目の代表顔画像を選択する際の尤度として、顔画像が分類された時刻（自動分類された時刻、分類の修正が施された時刻）を用い、分類された時刻が古いほど尤度が高いとする。代表顔画像選択部２５０，２５０ａは、分類された時刻が最も古い顔画像を１番目の代表顔画像として選択する。なお、これは、分類された時刻が古い顔画像ほど分類結果が正しいためにユーザが修正を必要としないと考えられることを踏まえたものである。
【０２１７】
代表顔画像選択部２５０，２５０ａは、１番目の代表顔画像を選択する際の尤度として、顔画像の分類者情報を用い、分類者情報が「ユーザ」である顔画像ほど尤度が高いとする。代表顔画像選択部２５０，２５０ａは、分類者情報が「ユーザ」である顔画像を優先して、１番目の代表顔画像として選択する。
【０２１８】
代表顔画像選択部２５０は、１番目の代表顔画像を選択する際の尤度として、代表ユニットが属する代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用い、距離が小さいほど尤度が高いとする。代表顔画像選択部２５０は、代表ユニットが属する代表人物クラスタ内の顔画像の顔特徴量データを用いて代表人物クラスタの特徴量空間上の中心位置又は重心位置を算出し、代表ユニット内の各顔画像の特徴量空間上の位置をその顔特徴量データを用いて算出する。代表顔画像選択部２５０は、代表人物クラスタの中心位置又は重心位置に位置が最も近い顔画像を１番目の代表顔画像として選択する。
【０２１９】
（６）上記の第１及び第２の実施の形態では、代表顔画像選択部２５０又は代表顔画像選択部２５０ａは、２番目以降の代表顔画像を選択する際の尤度として代表ユニット又は代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用いているが、これに限らず、例えば次のような尤度を用いて代表顔画像を選択するようにしてもよい。
【０２２０】
代表顔画像選択部２５０，２５０ａは、２番目以降の代表顔画像を選択する際の尤度として、顔画像が分類された時刻（自動分類された時刻、分類の修正が施された時刻）を用い、分類された時刻が新しいほど尤度が低いとする。代表顔画像選択部２５０，２５０ａは、分類された時刻が新しい順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。なお、これは、分類された時刻が新しい顔画像ほどユーザが正しい分類に修正をし終えていないと考えられることを踏まえたものである。
【０２２１】
代表顔画像選択部２５０，２５０ａは、２番目以降の代表顔画像を選択する際の尤度として、顔画像の分類者情報を用い、分類者情報が「システム」である顔画像ほど尤度が低いとする。代表顔画像選択部２５０，２５０ａは、分類者情報が「システム」である顔画像を優先して、代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。
【０２２２】
代表顔画像選択部２５０は、２番目以降の代表顔画像を選択する際の尤度として、代表ユニットが属する代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用い、距離が大きいほど尤度が低いとする。代表顔画像選択部２５０は、代表ユニットが属する代表人物クラスタ内の顔画像の顔特徴量データを用いて代表人物クラスタの特徴量空間上の中心位置又は重心位置を算出し、代表ユニット内の各顔画像の特徴量空間上の位置をその顔特徴量データを用いて算出する。代表顔画像選択部２５０は、代表人物クラスタの中心位置又は重心位置から位置が遠い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。
【０２２３】
（７）上記の第１及び第２の実施の形態において、ユニット選択部２４０は代表ユニットの分布が顔特徴量空間上で均一になるように代表ユニットの選択を行ってもよく、代表顔画像選択部２５０，２５０ａは代表顔画像の分布が顔特徴量空間上で均一になるように代表顔画像の選択を行ってもよい。
【０２２４】
（８）上記の第１の実施の形態では、表示レイアウト制御部２５０は、第１の代表ユニットとそれ以外の代表ユニットとをその枠の線幅を変えることによって、第１の代表ユニットとそれ以外の代表ユニットとを異なる表示方法で表示している。しかしながら、これに限られるものではなく、表示レイアウト制御部２５０は、第１の代表ユニットとそれ以外の代表ユニットとをユーザが区別できるように、第１の代表ユニットとそれ以外の代表ユニットとを異なる表示方法で表示すればよい。例えば、第１の代表ユニットとそれ以外の代表ユニットとの表示色を変えること、第１の代表ユニット内の顔画像とそれ以外の代表ユニット内の顔画像との表示サイズを変えること、第１の代表ユニットであることを明示するためのアイコンを重畳表示することを、挙げることができる。
【０２２５】
上記の第１及び第２の実施の形態では、表示レイアウト制御部２５０，２５０ａは、第１の代表顔画像とそれ以外の代表顔画像とをその枠の線幅を変えることによって、第１の代表顔画像とそれ以外の代表顔画像とを異なる表示方法で表示している。しかしながら、これに限られるものではなく、表示レイアウト制御部２５０，２５０ａは、第１の代表顔画像とそれ以外の代表顔画像とをユーザが区別できるように、第１の代表顔画像とそれ以外の代表顔画像とを異なる表示方法で表示すればよい。例えば、第１の顔画像とそれ以外の代表顔画像との表示色を変えること、第１の代表顔画像とそれ以外の代表顔画像との表示サイズを変えること、第１の代表顔画像であることを明示するためのアイコンを重畳表示することを、挙げることができる。
【０２２６】
（９）上記の第１の実施の形態では、表示レイアウト制御部２５０は、例えば顔画像選択表示処理の結果の表示方法として図１０に一例を示す表示方法を用いている。しかしながら、これに限らず、例えば、表示レイアウト制御部２５０は顔画像選択表示処理の結果の表示方法として図２４に示す表示方法を用いてもよい。この場合、例えば、代表人物クラスタにおいて第１の代表ユニットから第Ｍの代表ユニットの順番に上から配置し、代表ユニットにおいて第１の代表顔画像から第Ｎの代表顔画像の順番に左から配置する。図中の空行は新たな人物の人物クラスタを形成するため、或いは、新たなユニットを形成するために利用される。
【０２２７】
但し、分類結果を修正する場合には、ユーザは修正対象の人物クラスタ、ユニット又は顔画像を選択し、それを移動先の人物クラスタ（空行を含む。）又はユニット（空行を含む。）にドラッグ・アンド・ドロップすればよい。例えば“ＩＤ２４”のユニット内の顔画像を別の人物の顔画像とする場合には、ユーザは“ＩＤ２４”のユニットを選択し、それを人物クラスタの“空行”の欄にドラッグ・アンド・ドロップする。
【０２２８】
なお、この表示方法は変形を加えることによって第２の実施の形態にも適用できる。
【０２２９】
（１０）上記の第１及び第２の実施の形態の代表画像表示装置１，１ａを、ユーザがアノテーションを行う場合には第１及び第２の実施の形態などで説明した方法に従って代表顔画像を選択して表示し、ユーザが画像の閲覧のみを行う場合には異なる方法に従って代表顔画像を選択して表示し、これらの表示方法を切り替えることができるように変形してもよい。なお、閲覧のみを行う場合、例えば、代表人物クラスタでの代表ユニットを選択する際、尤度が高いユニットから順に代表ユニットとして選択していき、代表ユニット又は代表人物クラスタで代表顔画像を選択する際、尤度が高い顔画像から順に代表顔画像として選択していくようにする。こうすることにより、ユーザは、代表人物クラスタがどの人物のものであるか、代表ユニットがどの人物のものであるかを把握しやすくなる。
【０２３０】
（１１）上記の第１及び第２の実施の形態では、人物クラスタ選択部２３０は、代表人物クラスタ内で表示する代表顔画像の数（人物クラスタ表示顔画像数）が代表人物クラスタ間でほぼ均等になるように、人物クラスタ表示顔画像数を決定しているが、これに限らず、例えば次のようなものであってもよい。
【０２３１】
第１の実施の形態では、人物クラスタ選択部２３０は、代表人物クラスタ内のユニットの数を考慮して、ユニットの数が多い代表人物クラスタほど代表人物クラスタ内で表示する代表顔画像の数（人物クラスタ表示顔画像数）が多くなるように、人物クラスタ表示顔画像数を決定する。
【０２３２】
また、第１及び第２の実施の形態では、人物クラスタ選択部２３０は、代表人物クラスタ内の顔画像の数を考慮して、顔画像の数が多い代表人物クラスタほど代表人物クラスタ内で表示する代表顔画像の数（人物クラスタ表示顔画像数）が多くなるように、人物クラスタ表示顔画像数を決定する。
【０２３３】
（１２）上記の第１の実施の形態では、ユニット選択部２４０は、代表ユニット内で表示する代表顔画像の数（ユニット表示顔画像数）が代表ユニット間でほぼ均等になるように、ユニット表示顔画像数を決定しているが、これに限らず、例えば次のようなものであってもよい。ユニットタ選択部２４０は、代表ユニット内の顔画像の数を考慮して、顔画像の数が多い代表ユニットほど代表ユニット内で表示する代表顔画像の数（ユニット表示顔画像数）が多くなるように、ユニット表示顔画像数を決定する。
【０２３４】
（１３）上記の各実施の形態の各装置は、ＣＰＵやＭＰＵで動作するソフトウェア構成に限られるものではなく、例えば、ハードウェア構成で実現されてもよい。この場合、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは、個別に１チップ化されてもよいし、全てまたは一部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０２３５】
本発明は、画像のクラスタリングの結果を表示する代表画像表示装置に有用である。
【符号の説明】
【０２３６】
１  代表画像表示装置
１０，１０ａ  演算処理部
２０，２０ａ  記憶部
２１  画像データベース（画像ＤＢ）
２２  顔画像データベース（顔画像ＤＢ）
２３，２３ａ  顔画像クラスタデータベース（顔画像クラスタＤＢ）
３０  表示部
４０  操作インターフェース部（操作ＩＦ部）
１００  画像解析部
１１０  画像入力部
１２０  顔認識処理部
１３０，１３０ａ  クラスタ形成部
１４０，１４０ａ  クラスタ修正部
２００  画像表示部
２１０  表示レイアウト制御部
２２０  表示顔画像数決定部
２３０  人物クラスタ選択部
２４０  ユニット選択部
２５０，２５０ａ  代表顔画像選択部
【図１】
2010041377.tif 000003
【図２】
2010041377.tif 000004
【図３】
2010041377.tif 000005
【図４】
2010041377.tif 000006
【図５】
2010041377.tif 000007
【図６】
2010041377.tif 000008
【図７】
2010041377.tif 000009
【図８】
2010041377.tif 000010
【図９】
2010041377.tif 000011
【図１０】
2010041377.tif 000012
【図１１】
2010041377.tif 000013
【図１２】
2010041377.tif 000014
【図１３】
2010041377.tif 000015
【図１４】
2010041377.tif 000016
【図１５】
2010041377.tif 000017
【図１６】
2010041377.tif 000018
【図１７】
2010041377.tif 000019
【図１８】
2010041377.tif 000020
【図１９】
2010041377.tif 000021
【図２０】
2010041377.tif 000022
【図２１】
2010041377.tif 000023
【図２２】
2010041377.tif 000024
【図２３】
2010041377.tif 000025
【図２４】
2010041377.tif 000026
【手続補正書】
【提出日】平成22年5月20日(2010.5.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラなどで撮影された画像を分類して表示する技術に関する。
【背景技術】
【０００２】
従来の画像を分類して表示する表示手法として、画像に撮影されている人物に着目し、顔画像認識技術を用いて類似する顔同士をクラスタ単位に分類し、同じ人物が写っている写真毎に表示するものがある。
【０００３】
また、顔画像のクラスタリングの精度を向上させることを目的として、ユーザにクラスタリング結果を修正する操作インターフェース（以下、「操作ＩＦ」と言う。）を提供し、人物の分類を補助する目的のものがある（例えば、非特許文献１参照。）。これは、ユーザが顔画像のクラスタリングの結果に対して手動で編集（アノテーション）を行うことによって顔画像のクラスタリングの結果を修正できるようになっている。例えば、異なる複数の人物の顔画像が一つのクラスタにまとめられていた場合、ユーザの判断で該クラスタを個別の人物のクラスタに分割することで、異なる人物の顔画像が同じクラスタ内に混在する状況を解消できる。一方、同一人物の顔画像が複数のクラスタに分かれていた場合は、該複数のクラスタを一つのクラスタに結合することで、同一人物の顔画像が複数のクラスタに分かれている状況を解消できる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Jingyu Cui, Fang Wen, Rong Xiao, Yuandong Tian, Xiaoou Tang."EasyAlbun: An Interactive Photo Annotation System Based on FaceClustering and Re-ranking". CHI 2007 Proceedings, p.367-376, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、アノテーションを行う際に通常クラスタ内の顔画像の一部を代表顔画像として表示することになるが、上記の従来技術では表示する代表顔画像の選択の仕方については考慮されていない。このため、ユーザにとって修正すべき顔画像が表示されず、顔画像のクラスタリング結果に対して効率的にアノテーションを行うことができないと言う問題がある。なお、係る問題は、ユーザが顔画像以外の画像のクラスタリング結果に対してアノテーションを行う場合にも発生する。
【０００６】
そこで、本発明は、ユーザが画像の分類結果に対して効率的にアノテーションを行えるようにする代表画像表示装置及び代表画像選択方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の代表画像表示装置は、複数の画像が類似する画像をまとめた下位クラスタに分類され、複数の下位クラスタが類似する下位クラスタをまとめた上位クラスタに分類された分類結果を用いて、表示部に表示する代表画像を選択して表示部に表示する代表画像表示装置において、１以上の上位クラスタを代表上位クラスタとして選択する上位クラスタ選択部と、各代表上位クラスタにおいて、下位クラスタの分類結果の確からしさを示す尤度に基づいて代表上位クラスタ内の下位クラスタからＭ（Ｍは１以上で代表上位クラスタ内の下位クラスタの数以下の整数）個の下位クラスタを代表下位クラスタとして選択する下位クラスタ選択部と、各代表下位クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表下位クラスタ内の画像からＮ（Ｎは１以上で代表下位クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択部と、を備える。
【０００８】
また、本発明の代表画像表示方法は、複数の画像が類似する画像をまとめた下位クラスタに分類され、複数の下位クラスタが類似する下位クラスタをまとめた上位クラスタに分類された分類結果を用いて、表示する代表画像を選択して表示する代表画像表示方法において、１以上の上位クラスタを代表上位クラスタとして選択する上位クラスタ選択ステップと、各代表上位クラスタにおいて、下位クラスタの分類結果の確からしさを示す尤度に基づいて代表上位クラスタ内の下位クラスタからＭ（Ｍは１以上で代表上位クラスタ内の下位クラスタの数以下の整数）個の下位クラスタを代表下位クラスタとして選択する下位クラスタ選択ステップと、各代表下位クラスタにおいて、画像の確からしさを示す分類結果の尤度に基づいて代表下位クラスタ内の画像からＮ（Ｎは１以上で代表下位クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択ステップと、を有する。
【発明の効果】
【０００９】
上記の代表画像表示装置及び代表画像表示方法によれば、下位クラスタの分類結果の確からしさを示す尤度及び画像の分類結果の確からしさを示す尤度を用いて代表画像を選択して表示するため、代表画像をランダムに選択して表示する場合に比べて、ユーザは分類結果に対して効率的にアノテーションを行うことができる。
【００１０】
上記の代表画像表示装置において、前記下位クラスタ選択部は、前記代表上位クラスタ内の１番尤度が高い下位クラスタを第１の代表下位クラスタとして選択し、前記Ｍが２以上の場合には、更に、前記代表上位クラスタ内の尤度が低い方から（Ｍ−１）個の下位クラスタを第２から第Ｍの代表下位クラスタとして選択するようにしてもよい。
【００１１】
これによれば、ユーザは尤度の高い下位クラスタ内の画像を見ながら、場合によっては更に尤度の低い下位クラスタ内の画像を見ながら、分類結果に対してアノテーションを行うことができるので、ユーザは上位クラスタに誤って分類された下位クラスタの分離などアノテーションを効率的に行うことができる。
【００１２】
上記の代表画像表示装置において、前記下位クラスタ選択部は、前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用いるようにしてもよい。
【００１３】
上記の代表画像表示装置において、前記下位クラスタ選択部は、前記第１の代表下位クラスタの選択に用いる前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用い、前記第２から第Ｍの代表下位クラスタの選択に用いる前記尤度として、ユーザが分類を修正した下位クラスタであるか否かを示す情報を用いるようにしてもよい。
【００１４】
上記の代表画像表示装置において、前記下位クラスタ選択部は、前記第１の代表下位クラスタの選択に用いる前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用い、前記第２から第Ｍの代表下位クラスタの選択に用いる前記尤度として、下位クラスタ内の画像の数を用いるようにしてもよい。
【００１５】
これらによれば、適切な下位クラスタの選択ができる。
【００１６】
上記の代表画像表示装置において、前記代表画像選択部は、前記代表下位クラスタ内の１番尤度が高い画像を第１の代表画像として選択し、前記Ｎが２以上の場合には、更に、前記代表下位クラスタ内の尤度が低い方から（Ｎ−１）個の画像を第２から第Ｎの代表画像として選択するようにしてもよい。
【００１７】
これによれば、ユーザは尤度の高い画像を見ながら、場合によっては更に尤度の低い画像を見ながら、分類結果に対してアノテーションを行うことができるので、ユーザは下位クラスタに誤って分類された画像の分離などアノテーションを効率的に行うことができる。
【００１８】
上記の代表画像表示装置において、前記代表画像選択部は、前記尤度として、代表下位クラスタの特徴量空間上の中心位置又は重心位置から画像の特徴量空間上の位置までの距離を用いるようにしてもよい。
【００１９】
上記の代表画像表示装置において、前記代表画像選択部は、前記第１の代表画像の選択に用いる前記尤度として、代表下位クラスタの特徴量空間上の中心位置又は重心位置から画像の特徴量空間上の位置までの距離を用い、前記第２から第Ｎの代表画像の選択に用いる前記尤度として、ユーザが分類を修正した画像であるか否かを示す情報を用いるようにしてもよい。
【００２０】
これらによれば、適切な画像の選択ができる。
【００２１】
上記の代表画像表示装置において、第１の代表画像と第２から第Ｎの代表画像とを異なる表示方法で前記表示部に表示する処理を行う表示レイアウト制御部を更に備えるようにしてもよい。
【００２２】
これによれば、ユーザは尤度の高い画像と尤度の低い画像とを一目見て区別できる。
【００２３】
上記の代表画像表示装置において、前記表示部の表示領域サイズとユーザが視認可能な画像サイズとに基づいて前記表示部に表示する代表画像の数を決定する表示画像数決定部を更に備えるようにしてもよい。
【００２４】
これによれば、ユーザは視認可能な画像サイズで多くの画像を見ながら分類結果に対してアノテーションを行えるので、ユーザはアノテーションを効率的に行うことができる。
【００２５】
上記の代表画像表示装置において、前記画像は人物の顔画像であってもよい。
【００２６】
これによれば、ユーザはニーズの高い人物の顔画像の分類結果に対して効率的にアノテーションを行うことができる。
【００２７】
本発明の代表画像表示装置は、複数の画像が類似する画像をまとめたクラスタに分類された分類結果を用いて、表示部に表示する代表画像を選択して表示部に表示する代表画像表示装置において、１以上のクラスタを代表クラスタとして選択するクラスタ選択部と、各代表クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表クラスタ内の画像からＮ（Ｎは１以上で代表クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択部と、を備える。
【００２８】
また、本発明の代表画像表示方法は、複数の画像が類似する画像をまとめたクラスタに分類された分類結果を用いて、表示する代表画像を選択して表示する代表画像表示方法において、１以上のクラスタを代表クラスタとして選択するクラスタ選択ステップと、各代表クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表クラスタ内の画像からＮ（Ｎは１以上で代表クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択ステップと、を有する。
【００２９】
上記の代表画像表示装置及び代表画像表示方法によれば、画像の分類結果の確からしさを示す尤度を用いて代表画像を選択して表示するため、代表画像をランダムに選択して表示する場合に比べて、ユーザは分類結果に対して効率的にアノテーションを行うことができる。
【００３０】
上記の代表画像表示装置において、前記代表画像選択部は、前記代表クラスタ内の１番尤度が高い画像を第１の代表画像として選択し、前記Ｎが２以上の場合には、更に、前記代表クラスタ内の尤度が低い方から（Ｎ−１）個の画像を前記第２から第Ｎの代表画像として選択するようにしてもよい。
【００３１】
これによれば、ユーザは尤度の高い画像を見ながら、場合によっては更に尤度の低い画像を見ながら、分類結果に対してアノテーションを行うことができるので、ユーザはクラスタに誤って分類された画像の分離などアノテーションを効率的に行うことができる。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態の代表画像表示装置の全体構成図。
【図２】図１の画像データベース（画像ＤＢ）の一例を示す図。
【図３】図１の顔画像データベース（顔画像ＤＢ）の一例を示す図。
【図４】図１の顔画像クラスタデータベース（顔画像クラスタＤＢ）の一例を示す図。
【図５】図１の代表画像表示装置が行う顔画像自動分類処理の流れを示すフローチャート。
【図６】図１の代表画像表示装置が行う顔画像分類修正処理の流れを示すフローチャート。
【図７】図１の代表画像表示装置が行う顔画像選択表示処理の流れを示すフローチャート。
【図８】図７の代表顔画像選択処理の流れを示すフローチャート。
【図９】図１の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図１０】図１の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図１１】図１の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図１２】図１の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図１３】図１の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図１４】図１の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図１５】第２の実施の形態の代表画像表示装置の全体構成図。
【図１６】図１５の顔画像クラスタデータベース（顔画像クラスタＤＢ）の一例を示す図。
【図１７】図１５の代表画像表示装置が行う顔画像自動分類処理の流れを示すフローチャート。
【図１８】図１５の代表画像表示装置が行う顔画像分類修正処理の流れを示すフローチャート。
【図１９】図１５の代表画像表示装置が行う顔画像選択表示処理の流れを示すフローチャート。
【図２０】図１５の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図２１】図１５の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図２２】図１５の代表画像表示装置が行う処理の一例を説明するための顔画像の分類結果を特徴量空間上で模式的に表した図。
【図２３】図１５の代表画像表示装置が行う処理の一例を説明するための顔画像選択表示処理の結果に基づく表示部の表示内容を表した図。
【図２４】顔画像選択表示処理の結果に基づく表示部の表示内容の他の表示方法を示す図。
【発明を実施するための形態】
【００３３】
≪第１の実施の形態≫
以下、本発明の第１の実施の形態について図面を参照しつつ説明する。
【００３４】
＜装置構成＞
図１は本実施の形態の代表画像表示装置１の全体構成図であり、代表画像表示装置１は演算処理部１０と記憶部２０と表示部３０と操作インターフェース部（以下、「操作ＩＦ部」と言う。）４０とを備える。
【００３５】
演算処理部１０は、例えばＣＰＵ(Central Processing Unit)などで構築され、代表画像表示装置１全体の各種制御や各種演算を行う。
【００３６】
記憶部２０は、例えばＲＯＭ(Read Only Memory)、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などで構築されており、代表画像表示装置１を制御するための各種制御プログラムや各種アプリケーションプログラムなどを記憶している。記憶部２０は、図５〜図８に動作フローを示す手順を記述したプログラムを記憶している。また、記憶部２０は、画像データ、顔画像データ及び顔特徴量データを記憶するとともに、画像データベース（以下、「画像ＤＢ」と言う。）２１、顔画像データベース（以下、「顔画像ＤＢ」と言う。）２２、及び顔画像クラスタデータベース（以下、「顔画像クラスタＤＢ」と言う。）２３を記憶する。
【００３７】
表示部３０は、液晶ディスプレイやプラズマディスプレイなどを備える表示デバイスである。
【００３８】
操作ＩＦ部４０は、マウスやタッチパネル等によりユーザ操作を受け付ける。
【００３９】
（記憶部内の各データベースの構成）
以下、記憶部２０に記憶されている画像ＤＢ２１、顔画像ＤＢ２２、及び顔画像クラスタＤＢ２３について順に説明する。
【００４０】
「画像ＤＢの構成」
図２は図１の画像ＤＢ２１の一例を示す図である。画像ＤＢ２１は、画像毎に、画像を識別するためのＩＤ（以下、「画像ＩＤ」と言う。）に、画像が撮影された撮影時刻と画像の画像データの画像ファイル名とを対応付けて格納するためのデータベースである。但し、画像ファイル名は画像データの実体を表すファイル名である。
【００４１】
「顔画像ＤＢの構成」
図３は図１の顔画像ＤＢ２２の一例を示す図である。顔画像ＤＢ２２は、顔画像毎に、顔画像を識別するためのＩＤ（以下、「顔ＩＤ」と言う。）に、顔画像を含む画像の画像ＩＤと、顔画像の顔画像データの顔画像ファイル名と、顔画像の顔画像データから算出される顔特徴量データの顔特徴量ファイル名とを対応付けて格納するためのデータベースである。
【００４２】
但し、顔画像ファイル名は顔画像データの実体を表すファイル名であり、顔特徴量ファイル名は顔特徴量データの実体を表すファイル名である。但し、顔画像データはビットマップ形式で格納されているが、これに限らず、顔画像データは他のデータ形式で格納されていてもよい。なお、顔画像データ及び顔特徴量データについては後述する。
【００４３】
「顔画像クラスタＤＢの構成」
図４は図１の顔画像クラスタＤＢ２３の一例を示す図である。顔画像クラスタＤＢ２３は、顔画像毎に、顔画像の顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像が属する人物クラスタを識別するためのＩＤ（以下、「人物ＩＤと言う。）と、顔画像が属するユニットを識別するためのＩＤ（以下、「ユニットＩＤと言う。）と、顔画像の分類者情報と、顔画像の分類時刻情報とを対応付けて格納するためのデータベースである。但し、人物クラスタは同一人物の顔画像によって形成されるクラスタであり、ユニットは人物クラスタ内で特に類似する顔画像をまとめたクラスタであり、人物クラスタの形成及びユニットの形成については後述する。なお、本実施の形態の「ユニット」は「下位クラスタ」に相当し、「人物クラスタ」は「上位クラスタ」に相当する。
【００４４】
但し、分類者情報は、顔画像が後述するクラスタ形成部１３０によって自動分類された顔画像であるか、ユーザのアノテーションに従って後述するクラスタ修正部１４０によって分類の修正が行われた顔画像であるかを示す情報であり、分類者情報の内容は前者の場合には「システム」となり、後者の場合には「ユーザ」となる。分類時刻情報は顔画像が自動分類された時刻、分類の修正が行われた場合には分類の修正が行われた時刻を示す情報である。
【００４５】
なお、以下では、顔画像クラスタＤＢ２３の１レコード分の情報の集まりを、適宜、「顔画像クラスタ情報」と言う。
【００４６】
（演算処理部の構成）
演算処理部１０は、記憶部２０から図５〜図８に動作フローを示す手順を記述したプログラムを読み出し、読み出したプログラムを実行する。これによって、演算処理部１０は画像解析部１００と画像表示部２００として機能する。
【００４７】
（画像解析部の機能構成）
画像解析部１００は、図１に示すように、画像入力部１１０と、顔認識処理部１２０と、クラスタ形成部１３０と、クラスタ修正部１４０とを備える。
【００４８】
画像入力部１１０は、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮影機器によって撮影された画像の画像データを読み込む。そして、画像入力部１１０は、画像に対して一意に画像ＩＤを付与し、画像ＩＤに画像が撮影された撮影時刻と画像の画像データの画像ファイル名とを対応付けて画像ＤＢ２１に格納するとともに、読み込んだ画像データを記憶部２０に格納する。
【００４９】
但し、撮影時刻は画像データが撮影された日時情報であり、日時情報はデジタルビデオカメラやデジタルスチルカメラなどの撮影機器により撮影時に記録され、画像入力部１１０はＥＸＩＦ（ExchangeableImage File Format）情報として画像ファイルに記憶されている日時情報を撮影時刻として読み出す。
【００５０】
なお、代表画像表示装置１が備える例えばＵＳＢ（Universal Serial Bus）コネクタと撮影機器などを直接ケーブルで接続し、画像入力部１１０が撮影機器に装着された記録媒体から画像データを読み込むようにしてもよい。また、画像入力部１１０は、代表画像表示装置１に装着されたＳＤ（SecureDigital）メモリーカードなどの記録媒体から画像データを読み込むようにしてもよい。
【００５１】
また、画像データは一般的なＪＰＥＧ（Joint Photographic Experts Group）形式で圧縮符号化された画像データであってもよく、ＭＰＥＧ−４（MovingPicture Experts Group phase 4）等の動画形式で圧縮符号化された画像データであってもよい。
【００５２】
顔認識処理部１２０は、画像ＤＢ２１を参照して、画像ＩＤ毎に、画像ＩＤに対応する画像ファイル名の画像データを記憶部２０から読み出し、読み出した画像データに画像認識処理を実行して画像に写っている人間の顔領域を検出する。顔認識処理部１２０は、１以上の顔領域を検出した場合には、検出した顔領域毎に、顔領域に対する顔画像の顔画像データを生成する。そして、顔認識処理部１２０は、顔領域に対する顔画像に対して一意に顔ＩＤを付与し、顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像の顔画像データの顔画像ファイル名とを対応付けて顔画像ＤＢ２２に格納するとともに、顔画像データを記憶部２０に格納する。
【００５３】
続いて、顔認識処理部１２０は、顔画像ＤＢ２２を参照して、顔ＩＤ毎に、顔ＩＤに対応する顔画像ファイル名の顔画像データを記憶部２０から読み出し、読み出した顔画像データから特徴量ベクトルで記述される顔画像の顔特徴量データを生成する。そして、顔認識処理部１２０は、顔画像の顔ＩＤに顔画像の顔特徴量データの顔特徴量ファイル名を対応付けて顔画像ＤＢ２２に格納するとともに、顔特徴量データを記憶部２０に格納する。
【００５４】
なお、１つの画像ＩＤに対応する顔ＩＤが複数存在する場合はあるが、１つの顔ＩＤに対応する画像ＩＤが複数存在する場合はない。
【００５５】
但し、顔認識処理部１２０は、画像データに対して例えば輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことによって顔領域を検出し、画像データのうちの顔領域部分のデータから当該顔領域に対する顔画像の顔画像データを生成する。また、顔認識処理部１２０は、顔画像データをガボールフィルタ等を用いて特徴量ベクトルのデータへ変換することによって、顔画像データに対応する顔画像の顔特徴量データを生成する。
【００５６】
クラスタ形成部１３０は、顔画像ＤＢ２２を参照して、各顔ＩＤに対応する顔特徴量ファイル名の顔特徴量データを記憶部２０から読み出す。そして、クラスタ形成部１３０は、読み出した顔特徴量データを用いて、類似する顔画像をまとめてユニットを形成し、形成した各ユニットに対して一意にユニットＩＤを付与する。続いて、クラスタ形成部１３０は、各ユニットの類似度を算出し、類似するユニットをまとめて人物クラスタを形成し、形成した人物クラスタに対して一意に人物ＩＤを付与する。
【００５７】
そして、クラスタ形成部１３０は、顔画像毎に、顔画像の顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像が属する人物クラスタの人物ＩＤと、顔画像が属するユニットのユニットＩＤと、顔画像の分類者情報と、顔画像の分類時刻情報とを対応付けて顔画像クラスタＤＢ２３に格納する。但し、分類者情報の内容はシステムとなり、分類時刻情報の内容は自動分類された時刻となる。
【００５８】
但し、クラスタ形成部１３０は、記憶部２０から読み出した複数の顔特徴量データを互いに比較し、顔特徴量データ間の差が第１閾値以下である顔特徴量データの顔画像が互いに類似するものとして、それらを１つにまとめることによって、ユニットを形成する。
【００５９】
また、クラスタ形成部１３０は、形成した複数のユニットの夫々に対して、ユニットの特徴量空間上の中心位置又は重心位置に最も近い位置の顔特徴量データの顔画像を選択する。そして、クラスタ形成部１３０は、複数のユニットの夫々から選択した顔画像の顔特徴量データを互いに比較し、顔特徴量データ間の差が第２閾値以下である顔特徴量データに対応するユニットが互いに類似するものとして、それらを１つにまとめることによって、人物クラスタを形成する。
【００６０】
なお、上記の第１閾値及び第２閾値は例えば第１閾値が第２閾値より小さくなるように予め設定される。また、ユニット及び人物クラスタの形成の手法は上記の手法に限定されるものではない。
【００６１】
クラスタ修正部１４０は、操作ＩＦ部４０を介してユーザ操作を受け取り、顔画像クラスタＤＢ２３において、受け取ったユーザ操作に従ってユーザが分類結果の修正を施した顔画像の顔画像クラスタ情報を修正する。但し、顔画像クラスタ情報に含まれる分類者情報の内容はユーザになり、分類時刻情報の内容は分類の修正が行われた時刻になる。
【００６２】
（画像表示部の機能構成）
画像表示部２００は、図１に示すように、表示レイアウト制御部２１０と、表示顔画像数決定部２２０と、人物クラスタ選択部２３０と、ユニット選択部２４０と、代表顔画像選択部２５０とを備える。
【００６３】
表示レイアウト制御部２１０は、表示部３０に表示する顔画像の表示レイアウトを画像ＤＢ２１、顔画像ＤＢ２２及び顔画像クラスタＤＢ２３の格納内容を参照して制御するものである。但し、表示レイアウト制御部２１０は、表示レイアウトを制御する際に、ユニット選択部２４０及び代表顔画像選択部２５０から入力される情報や操作ＩＦ部４０から入力される情報も用いる。
【００６４】
表示顔画像数決定部２２０は、表示レイアウト制御部２１０から表示部３０に表示する顔画像（以下、「代表顔画像」と言う。）の数（以下、「表示顔画像数」と言う。）の決定を要求されると、表示顔画像数を決定し、決定した表示顔画像数を人物クラスタ選択部２３０へ出力する。
【００６５】
本実施の形態では、表示顔画像数決定部２２０は、表示部３０の表示領域サイズを取得する。そして、表示顔画像数決定部２２０は、表示部３０に表示する顔画像の表示サイズを顔画像の視認性を確保できるようなサイズに決定し、表示部３０の表示領域サイズと顔画像の表示サイズとに基づいて表示顔画像数を決定する。なお、表示部３０の表示領域サイズが一定である場合には、顔画像の表示サイズが大きければ表示顔画像数は少なくなり、顔画像の表示サイズが小さければ表示顔画像数は多くなる。
【００６６】
人物クラスタ選択部２３０は、顔画像クラスタＤＢ２３を参照して、人物ＩＤの数、即ち、人物クラスタの数を取得する。そして、人物クラスタ選択部２３０は、表示顔画像数が人物クラスタの数未満の場合には代表顔画像を表示する人物クラスタ（以下、「代表人物クラスタ」と言う。）の数（以下、「代表人物クラスタ数」と言う。）を表示顔画像数と同じ値に決定し、表示顔画像数が取得した人物クラスタの数以上の場合には代表人物クラスタ数を取得した人物クラスタの数と同じ値に決定する。なお、前者では人物クラスタの一部が代表人物クラスタになり、後者では全ての人物クラスタが代表人物クラスタになる。
【００６７】
続いて、人物クラスタ選択部２３０は、顔画像クラスタＤＢ２３を参照して、人物クラスタ内の顔画像の数が多い順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択するとともに、各代表人物クラスタで表示される代表顔画像の数（以下、「人物クラスタ表示顔画像数」と言う。）を代表人物クラスタ間で均等になるように決定する。そして、人物クラスタ選択部２３０は、代表人物クラスタの人物ＩＤと人物クラスタ表示顔画像数とをユニット選択部２４０へ出力する。
【００６８】
なお、人物クラスタ選択部２３０は、表示顔画像数を人物クラスタの数で除算した余りの値に等しい数分の代表人物クラスタが選択されるまでは、選択した代表人物クラスタの人物クラスタ表示顔画像数をその除算した商の値に１加算した値に決定し、それ以降に選択される代表人物クラスタの人物クラスタ表示顔画像数をその除算した商の値に決定する。
【００６９】
顔画像の数が多い人物クラスタは顔画像の数が少ない人物クラスタに比べて誤った顔画像を含んでいる可能性が高いと考えられる。従って、代表人物クラスタの選択に人物クラスタ内の顔画像の数を用いることによって、人物クラスタ選択部２３０は、誤った顔画像を含んでいる可能性が高い人物クラスタを代表人物クラスタとして選択する可能性が高くなる。
【００７０】
ユニット選択部２４０は、人物クラスタ選択部２３０から入力された人物ＩＤの人物クラスタ（代表人物クラスタ）の夫々に対して、以下のようにして、代表人物クラスタ内のユニットから代表顔画像を表示するユニット（以下、「代表ユニット」と言う。）を選択し、選択した代表ユニットで表示される代表顔画像の数（以下、「ユニット表示顔画像数」と言う。）を決定する。
【００７１】
ユニット選択部２４０は、顔画像クラスタＤＢ２３を参照して、代表人物クラスタ内のユニットＩＤの数、即ち、ユニットの数を取得する。そして、ユニット選択部２４０は、人物クラスタ選択部２３０から入力される代表人物クラスタの人物クラスタ表示顔画像数がユニットの数未満の場合には代表顔画像を表示するユニット（代表ユニット）の数（以下、「代表ユニット数」と言う。）を人物クラスタ表示顔画像数と同じ値に決定し、人物クラスタ表示顔画像数がユニットの数以上の場合には代表ユニット数をユニットの数と同じ値に決定する。なお、前者では代表人物クラスタ内のユニットの一部が代表ユニットになり、後者では代表人物クラスタ内の全てのユニットが代表ユニットになる。
【００７２】
続いて、ユニット選択部２４０は、代表人物クラスタ内の各ユニットに対してユニットの分類結果の確からしさを示す尤度を算出する。そして、ユニット選択部２４０は、１番目に代表ユニットを選択する場合には代表人物クラスタ内の尤度が最も高いユニットを代表ユニットとして選択し、２番目以降に代表ユニットを選択する場合には代表人物クラスタ内の尤度が低い順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。これととともに、ユニット選択部２４０は、各代表ユニットで表示される代表顔画像の数（ユニット表示顔画像数）を代表人物クラスタ内の代表ユニット間で均等になるように決定する。そして、ユニット選択部２４０は、代表ユニットのユニットＩＤとユニット表示顔画像数とを代表顔画像決定部２５０へ出力する。また、ユニット選択部２４０は、代表ユニットのユニットＩＤと代表人物クラスタ内で代表ユニットが選択された順番とを表示レイアウト制御部２１０へ出力する。この情報は表示レイアウト制御部２１０が代表人物クラスタ内の一番尤度が高い代表ユニットとそれ以外の代表ユニットとを異なる表示方法で表示する際に利用される。なお、代表ユニット数が１の場合には、２番目以降の代表ユニットの選択が行われないことは言うまでもない。
【００７３】
なお、ユニット選択部２４０は、人物クラスタ表示顔画像数を選択した代表人物クラスタ内のユニットの数で除算した余りの値に等しい数分の代表ユニットが選択されるまでは、選択した代表ユニットのユニット表示顔画像数をその除算した商の値に１加算した値に決定し、それ以降に選択される代表ユニットのユニット表示顔画像数をその除算した商の値に決定する。
【００７４】
但し、ユニット選択部２４０は、尤度として、代表人物クラスタの特徴量空間上の中心位置又は重心位置からユニットの特徴量空間上の中心位置又は重心位置までの距離を用い、距離が小さいほどユニットに関する尤度が高く、距離が大きいほどユニットに関する尤度が低いとする。ユニット選択部２４０は、顔画像クラスタＤＢ２３及び顔画像ＤＢ２２を参照し、代表人物クラスタの中心位置又は重心位置を代表人物クラスタ内の顔画像の顔特徴量データを用いて算出し、代表人物クラスタ内の各ユニットの中心位置又は重心位置をユニット内の顔画像の顔特徴量データを用いて算出する。そして、ユニット選択部２４０は、１番目に代表ユニットを選択する場合には代表人物クラスタの中心位置又は重心位置に中心位置又は重心位置が１番近いユニットを代表ユニットとして選択する。ユニット選択部２４０は、２番目以降に代表ユニットを選択する場合には代表人物クラスタの中心位置又は重心位置から中心位置又は重心位置が遠い順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。
【００７５】
上記の各場合において、代表人物クラスタの中心位置又は重心位置に中心位置又は重心位置が１番近いユニットは代表人物クラスタに正しく分類された可能性が最も高い。一方、代表人物クラスタの中心位置又は重心位置から中心位置又は重心位置が離れているユニットほど代表人物クラスタに誤って分類された可能性が高い。従って、ユーザは、例えば、正しく分類された可能性が高い代表ユニットの顔画像と誤って分類された可能性が高い代表ユニットの顔画像とを見ながら顔画像の分類を修正することができることから、効率的なアノテーションを行うことができる。
【００７６】
代表顔画像選択部２５０は、ユニット選択部２４０から入力されたユニットＩＤのユニット（代表ユニット）の夫々に対して、以下のようにして、代表ユニット内の顔画像から代表顔画像を選択する。
【００７７】
代表顔画像選択部２５０は、顔画像クラスタＤＢ２３を参照して、代表ユニット内の顔ＩＤの数、即ち、顔画像の数を取得する。そして、代表顔画像選択部２５０は、ユニット選択部２４０から入力されるユニット表示顔画像数が顔画像の数未満の場合には、代表ユニットでの代表顔画像の数（以下、「代表顔画像数」と言う。）をユニット表示顔画像数と同じ値に決定し、ユニット表示顔画像数が顔画像の数以上の場合には代表顔画像数を顔画像の数に決定する。なお、前者では代表ユニット内の顔画像の一部が代表顔画像になり、後者では代表ユニット内の全ての顔画像が代表顔画像になる。
【００７８】
続いて、代表顔画像選択部２５０は、代表ユニット内の各顔画像に対して顔画像の分類結果の確からしさを示す尤度を算出する。そして、代表顔画像選択部２５０は、１番目に代表顔画像を選択する場合には代表ユニット内の尤度が最も高い顔画像を代表顔画像として選択し、２番目以降に代表顔画像を選択する場合には代表ユニット内の尤度が低い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。そして、代表顔画像選択部２５０は、代表顔画像の顔ＩＤと代表ユニット内で代表顔画像が選択された順番とを表示レイアウト制御部２１０へ出力する。この情報は表示レイアウト制御部２１０が代表顔画像を表示し、代表ユニット内の一番尤度が高い代表顔画像とそれ以外の代表顔画像とを異なる表示方法で表示する際に利用される。なお、代表顔画像数が１の場合には、２番目以降の代表顔画像の選択が行われないことは言うまでもない。
【００７９】
但し、代表顔画像選択部２５０は、尤度として、代表ユニットの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用い、距離が小さいほど顔画像に関する尤度が高く、距離が大きいほど顔画像に関する尤度が低いとする。代表顔画像選択部２５０は、顔画像クラスタＤＢ２３及び顔画像ＤＢ２２を参照し、代表ユニットの特徴量空間上の中心位置又は重心位置を代表ユニット内の顔画像の顔特徴量データを用いて算出し、代表ユニット内の各顔画像の特徴量空間上の位置をその顔画像の顔特徴量データを用いて算出する。そして、代表顔画像選択部２５０は、１番目に代表顔画像を選択する場合には代表ユニットの中心位置又は重心位置に位置が１番近い顔画像を代表顔画像として選択する。代表顔画像選択部２５０は、２番目以降に代表顔画像を選択する場合には代表ユニットの中心位置又は重心位置から位置が遠い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。
【００８０】
上記の各場合において、代表ユニットの中心位置又は重心位置に位置が１番近い顔画像は代表ユニットに正しく分類された可能性が最も高い。一方、代表ユニットの中心位置又は重心位置から位置が離れている顔画像ほど代表ユニットに誤って分類された可能性が高い。従って、ユーザは、例えば、正しく分類された可能性が高い顔画像と誤って分類された可能性が高い顔画像とを見ながら顔画像の分類を修正することができることから、効率的なアノテーションを行うことができる。
【００８１】
＜装置動作＞
図１の代表画像表示装置１によって行われる処理を、顔画像を自動分類する処理（以下、「顔画像自動分類処理」と言う。）、ユーザによるアノテーションに応じて顔画像の分類を修正する処理（以下、「顔画像分類修正処理」と言う。）、及び顔画像から代表顔画像を選択して表示する処理（以下、「顔画像選択表示処理」と言う。）の３つに分けて説明する。
【００８２】
（顔画像自動分類処理の動作）
図５は図１の代表画像表示装置１が行う顔画像自動分類処理の流れを示すフローチャートである。
【００８３】
画像入力部１１０は、例えば撮影機器から当該撮影機器によって撮影された画像の画像データを順次読み込む。そして、画像入力部１１０は、画像に対して一意に画像ＩＤを付与し、画像ＩＤに画像が撮影された撮影時刻と画像の画像データの画像ファイル名とを対応付けて画像ＤＢ２１に格納するとともに、画像データを記憶部２０に記憶する（ステップＳ１０１）。
【００８４】
顔認識処理部１２０は、画像認識処理の対象となっていない画像ＩＤがあるか、即ち、画像認識処理が実行されていない画像データ（以下、「未処理の画像データ」と言う。）があるかを判定する（ステップＳ１０２）。顔認識処理部１２０は、未処理の画像データがある場合には（Ｓ１０２：ＹＥＳ）、一つの未処理の画像データを記憶部２０から読み出し（ステップＳ１０３）、読み出した画像データに画像認識処理を実行して画像に写っている人間の顔領域を検出する（ステップＳ１０４）。
【００８５】
顔認識処理部１２０は、画像認識処理の結果、顔領域を検出できたかを判定する（ステップＳ１０５）。顔領域が検出できなかった場合には（Ｓ１０５：ＮＯ）、ステップＳ１０２の処理が行われる。一方、顔領域が検出できた場合には（Ｓ１０５：ＹＥＳ）、顔認識処理部１２０は、検出した顔領域毎に、顔領域に対する顔画像の顔画像データを生成する。そして、顔認識処理部１２０は、各顔領域に対する顔画像に対して一意に顔ＩＤを付与し、顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像の顔画像データの顔画像ファイル名とを対応付けて顔画像ＤＢ２２に格納するとともに、顔画像データを記憶部２０に格納する（ステップＳ１０６）。
【００８６】
顔認識処理部１２０は、顔特徴量データの算出処理の対象となっていない顔ＩＤがあるか、即ち、顔特徴量データの算出処理が実行されていない顔画像データ（以下、「未処理の顔画像データ」と言う。）があるかを判定する（ステップＳ１０７）。未処理の顔画像データがある場合には（Ｓ１０７：ＹＥＳ）、顔認識処理部１２０は、一つの未処理の顔画像データを記憶部２０から読み出し、読み出した顔画像データから顔画像の顔特徴量データを生成する。そして、顔認識処理部１２０は、顔画像の顔ＩＤに顔画像の顔特徴量データの顔特徴量ファイル名を対応付けて顔画像ＤＢ２２に格納するとともに、顔特徴量データを記憶部２０に格納する（ステップＳ１０８）。そして、ステップＳ１０７の処理が行われる。
【００８７】
未処理の顔画像データがない場合には（Ｓ１０７：ＮＯ）、ステップＳ１０３で読み出した画像データの画像内の全ての顔画像に対して顔特徴量データの算出を行ったことになるので、他の未処理の画像データを処理すべく、ステップＳ１０２の処理が行われる。
【００８８】
未処理の画像データがない場合には（Ｓ１０２：ＮＯ）、クラスタ形成部１３０は、顔画像ＤＢ２２を参照して、各顔ＩＤに対応する顔特徴量ファイル名の顔特徴量データを記憶部２０から読み出す。そして、クラスタ形成部１３０は、読み出した顔特徴量データを用いて、類似する顔画像をまとめてユニットを形成し、形成した各ユニットにユニットＩＤを付与する（ステップＳ１０９）。続いて、クラスタ形成部１３０は、顔特徴量データを用いて、類似するユニットをまとめて人物クラスタを形成し、形成した各人物クラスタに人物ＩＤを付与する（ステップＳ１１０）。そして、クラスタ形成部１３０は顔画像毎に顔画像クラスタ情報を顔画像クラスタＤＢ２３に格納する（ステップＳ１１１）。なお、顔画像クラスタ情報に含まれる分類者情報の内容はシステムであり、分類時刻情報の内容は自動分類された時刻である。
【００８９】
（顔画像分類修正処理の動作）
図６は図１の代表画像表示装置１が行う顔画像分類修正処理の流れを示すフローチャートである。なお、クラスタ修正部１４０は、表示レイアウト制御部２１０から入力される表示レイアウトに係る情報と操作ＩＦ部４０から入力される信号とを用いて、ユーザによる選択対象（人物クラスタ、ユニット、顔画像）を判断し、ユーザが選択対象をドラッグ・アンド・ドロップした先（選択対象の移動先）を判断する。
【００９０】
クラスタ修正部１４０は操作ＩＦ部４０からユーザの操作に係る操作情報を受け取ったかを判定する（ステップ２０１）。操作ＩＦ部４０から操作情報を受け取っていない場合には（Ｓ２０１：ＮＯ）、ステップＳ２０１の処理が行われる。
【００９１】
操作情報を受け取った場合には（Ｓ２０１：ＹＥＳ）、クラスタ修正部１４０はユーザによる選択対象が人物クラスタであるかを判定する（ステップＳ２０２）。選択対象が人物クラスタである場合には（Ｓ２０２：ＹＥＳ）、クラスタ修正部１４０は、顔画像クラスタＤＢ２３において、選択された人物クラスタ内の各顔画像の顔画像クラスタ情報を修正する（ステップＳ２０３）。但し、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【００９２】
選択対象が人物クラスタでない場合には（Ｓ２０２：ＮＯ）、クラスタ修正部１４０は選択対象がユニットであるかを判定する（ステップＳ２０４）。選択対象がユニットである場合には（Ｓ２０４：ＹＥＳ）、クラスタ修正部１４０は、顔画像クラスタＤＢ２３において、選択されたユニット内の各顔画像の顔画像クラスタ情報を修正する（ステップＳ２０５）。但し、選択されたユニットの移動先が別の人物クラスタの場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。また、選択されたユニットの移動先が人物クラスタが存在しないエリアである場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤをこれまでに付与していない人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。更に、選択されたユニットの移動先が別のユニットの場合、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先のユニットが属する人物クラスタの人物ＩＤに、ユニットＩＤを移動先のユニットのユニットＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【００９３】
選択対象がユニットでない場合には（Ｓ２０４：ＮＯ）、クラスタ修正部１４０は選択対象が顔画像であるかを判定する（ステップＳ２０６）。選択対象が顔画像でない場合には（Ｓ２０６：ＮＯ）、ステップＳ２０１の処理が行われる。一方、選択対象が顔画像である場合には（Ｓ２０６：ＹＥＳ）、クラスタ修正部１４０は、顔画像クラスタＤＢ２３において、選択された顔画像の顔画像クラスタ情報を修正する（ステップＳ２０７）。但し、選択された顔画像の移動先が人物クラスタの場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、ユニットＩＤをこれまでに付与していないユニットＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。また、選択された顔画像の移動先が別のユニットである場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤを移動先のユニットが属する人物クラスタの人物ＩＤに、ユニットＩＤを移動先のユニットのユニットＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。更に、選択された顔画像の移動先が人物クラスタが存在しないエリアである場合には、クラスタ修正部１４０は、顔画像クラスタ情報の人物ＩＤをこれまでに付与していない人物ＩＤに、ユニットＩＤをこれまでに付与していないユニットＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【００９４】
（顔画像選択表示処理の動作）
図７は図１の代表画像表示装置１が行う顔画像選択表示処理の流れを示すフローチャートである。
【００９５】
表示顔画像数決定部２２０は、表示部３０の表示領域サイズを取得し（ステップＳ３０１）、顔画像の表示サイズと表示領域サイズとを利用して表示顔画像数を決定する（ステップＳ３０２）。
【００９６】
人物クラスタ選択部２３０は、顔画像クラスタＤＢ２３を参照して人物ＩＤの数、即ち、人物クラスタの数を取得する（ステップＳ３０３）。そして、人物クラスタ選択部２３０は、ステップＳ３０２で決定された表示顔画像数とステップＳ３０３で取得された人物クラスタの数とを用いて、表示部３０に顔画像を表示する人物クラスタ（代表人物クラスタ）の数（代表人物クラスタ数）Ｐを決定し、変数ｐの値を１にする（ステップＳ３０４）。
【００９７】
人物クラスタ選択部２３０は顔画像の数がｐ（変数ｐの値）番目に多い人物クラスタを代表人物クラスタとして選択するともに、ステップＳ３０２で決定された表示顔画像数とステップＳ３０３で取得された人物クラスタの数とを用いて、選択した代表人物クラスタで表示される代表顔画像の数（人物クラスタ表示顔画像数）を決定する（ステップＳ３０５）。
【００９８】
ユニット選択部２４０は、顔画像クラスタＤＢ２３を参照して、ステップＳ３０５で選択された代表人物クラスタ内のユニットＩＤの数、つまり、ユニットの数を取得する（ステップＳ３０６）。そして、ユニット選択部２４０は、ステップＳ３０５で決定された人物クラスタ表示顔画像数とステップＳ３０６で取得したユニットの数とを用いて、代表人物クラスタで表示部３０に顔画像を表示するユニット（代表ユニット）の数（代表ユニット数）Ｍを決定し、変数ｍの値を１にする（ステップＳ３０７）。
【００９９】
ユニット選択部２４０は、代表人物クラスタ内の１番尤度が高いユニットを第１の代表ユニットとして選択するともに、ステップＳ３０５で決定された人物クラスタ表示顔画像数とステップＳ３０６で取得したユニットの数とを用いて、選択した第１の代表ユニットで表示される代表顔画像の数（ユニット表示顔画像数）を決定する（ステップＳ３０８）。このとき、ユニット選択部２４０は第１の代表ユニットのユニットＩＤと第１の代表ユニットが代表人物クラスタ内で選択された順番とを表示レイアウト制御部２１０へ出力する。
【０１００】
代表顔画像選択部２５０は図８に動作フローを示す代表顔画像選択処理を行って第１の代表ユニット内の顔画像から代表顔画像を選択する（ステップＳ３０９）。
【０１０１】
ユニット選択部２４０は、変数ｍの値を１インクリメントし（ステップＳ３１０）、変数ｍの値が代表ユニット数Ｍ以下であるかを判定する（ステップＳ３１１）。
【０１０２】
変数ｍの値が代表ユニット数Ｍ以下である場合には（Ｓ３１１：ＹＥＳ）、ユニット選択部２４０は、代表人物クラスタ内の（ｍ−１）番目に尤度が低いユニットを第ｍの代表ユニットとして選択するともに、ステップＳ３０５で決定された人物クラスタ表示顔画像数とステップＳ３０６で取得したユニットの数とを用いて、第ｍの代表ユニットで表示される代表顔画像の数（ユニット表示顔画像数）を決定する（ステップＳ３１２）。このとき、ユニット選択部２４０は第ｍの代表ユニットのユニットＩＤと第ｍの代表ユニットが代表人物クラスタ内で選択された順番とを表示レイアウト制御部２１０へ出力する。
【０１０３】
代表顔画像選択部２５０は図８に動作フローを示す代表顔画像選択処理を行って第ｍの代表ユニット内の顔画像から代表顔画像を選択する（ステップＳ３１３）。そして、ステップＳ３１０の処理が行われる。
【０１０４】
変数ｍの値が代表ユニット数Ｍ以下でない場合には（Ｓ３１１：ＮＯ）、人物クラスタ選択部２３０は、変数ｐの値を１インクリメントし（ステップＳ３１４）、変数ｐの値が代表人物クラスタ数Ｐ以下であるかを判定する（ステップＳ３１５）。変数ｐの値が代表人物クラスタ数Ｐ以下である場合には（Ｓ３１５：ＹＥＳ）、代表人物クラスタ数Ｐ分の代表人物クラスタの選択が行われていないので、ステップＳ３０５の処理が行われる。
【０１０５】
変数ｐの値が代表人物クラスタ数Ｐ以下でない場合には（Ｓ３１５：ＮＯ）、表示レイアウト制御部２１０は、ステップＳ３０１からステップＳ３１５までの処理の実行結果に基づいて、表示部３０に代表顔画像を表示する表示制御を実行する（ステップＳ３１６）。但し、表示レイアウト制御部２１０は、各代表人物クラスタのエリアを示す枠を表示する。表示レイアウト制御部２１０は、各代表人物クラスタの枠内に当該代表人物クラスタ内の第１から第Ｍの代表ユニットを配置し、第１の代表ユニットのエリアを示す枠を太い線幅で表示し、第２から第Ｍの代表ユニットのエリアを示す枠を細い線幅で表示する。表示レイアウト制御部２１０は、各代表ユニットの枠内に当該代表ユニット内の第１から第Ｎの代表顔画像を配置し、第１の代表顔画像の枠を太い線幅で表示し、第２から第Ｎの代表顔画像の枠を細い線幅で表示する。なお、第１から第Ｎの代表顔画像は図８に動作フローを示す代表顔画像選択処理によって選択される。このように表示することによって、ユーザは、尤度の高い代表ユニットと尤度の低い代表ユニットとを簡単に区別することができ、尤度の高い代表顔画像と尤度の低い代表顔画像とを簡単に区別することができる。
【０１０６】
「代表顔画像選択処理の動作」
図８は図７の代表顔画像選択処理の流れを示すフローチャートである。
【０１０７】
代表顔画像選択部２５０は、顔画像クラスタＤＢ２３を参照して、代表ユニット内の顔画像の数を取得する（ステップＳ３３１）。そして、代表顔画像選択部２５０は、ステップＳ３０８又はステップＳ３１２で決定されたユニット表示顔画像数とステップＳ３３１で取得したユニットの数とを用いて、選択された代表ユニットで表示部３０に表示する顔画像の数（代表顔画像数）Ｎを決定し、変数ｎの値を１にする（ステップＳ３３２）。
【０１０８】
代表顔画像選択部２５０は、代表ユニット内の１番尤度が高い顔画像を第１の代表顔画像として選択する（ステップＳ３３３）。このとき、代表顔画像選択部２５０は第１の代表顔画像の顔ＩＤと第１の代表顔画像が代表ユニット内で選択された順番とを表示レイアウト制御部２１０へ出力する。
【０１０９】
代表顔画像選択部２５０は、変数ｎの値を１インクリメントし（ステップＳ３３４）、変数ｎの値が代表顔画像数Ｎ以下であるかを判定する（ステップＳ３３５）。変数ｎの値が代表顔画像数Ｎ以下である場合には（Ｓ３３５：ＹＥＳ）、代表顔画像選択部２５０は、代表ユニット内の（ｎ−１）番目に尤度が低い顔画像を第ｎの代表顔画像として選択する（ステップＳ３３６）。このとき、代表顔画像選択部２５０は第ｎの代表顔画像の顔ＩＤと第ｎの代表顔画像が代表ユニット内で選択された順番とを表示レイアウト制御部２１０へ出力する。ステップＳ３３６の処理に続いてステップＳ３３４の処理が行われる。
【０１１０】
変数ｎの値が代表顔画像数Ｎ以下でない場合には（Ｓ３３５：ＮＯ）、代表ユニットでの代表顔画像の選択が終了したので、図７のステップＳ３１０の処理が行われる。
【０１１１】
（代表画像表示装置の処理の例）
以下、図１の代表画像表示装置１が行う一連の処理の一例を図９から図１４を参照して説明する。
【０１１２】
図９は顔画像を自動分類した結果を特徴量空間上で模式的に表した図である。
【０１１３】
但し、図９において、“ＩＤ１１１”〜“ＩＤ１１４”の顔画像は“ＩＤ１１”のユニットに分類されており、“ＩＤ１１”のユニットは“ＩＤ１”の人物クラスタに分類されている。また、“ＩＤ２１１”の顔画像は“ＩＤ２１”のユニットに分類され、“ＩＤ２２１”の顔画像は“ＩＤ２２”のユニットに分類され、“ＩＤ２３１”の顔画像は“ＩＤ２３”のユニットに分類され、“ＩＤ２４１”〜“ＩＤ２４２”の顔画像は“ＩＤ２４”のユニットに分類されている。“ＩＤ２１”〜“ＩＤ２４”のユニットは“ＩＤ２”の人物クラスタに分類されている。
【０１１４】
“ＩＤ１１”のユニット内の顔画像は、“ＩＤ１１１”、“ＩＤ１１２”、“ＩＤ１１３”、“ＩＤ１１４”の順で尤度が高いとする。また、“ＩＤ２”の人物クラスタ内のユニットは、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”、“ＩＤ２４”の順で尤度が高いとし、“ＩＤ２４”のユニット内の顔画像は、“ＩＤ２４１”、“ＩＤ２４２”の順で尤度が高いとする。
【０１１５】
図９に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“６”とする。
【０１１６】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”のユニットを第１の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２１”の第１の代表ユニット内の最も尤度が高い“ＩＤ２１１”の顔画像を第１の代表顔画像として選択する。次に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が低い“ＩＤ２４”のユニットを第２の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２４”の第２の代表ユニット内の最も尤度が高い“ＩＤ２４１”の顔画像を第１の代表顔画像として選択する。更に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の２番目に尤度が低い“ＩＤ２３”のユニットを第３の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２３”の第３の代表ユニット内の最も尤度が高い“ＩＤ２３１”の顔画像を第１の代表顔画像として選択する。
【０１１７】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”のユニットを第１の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ１１”の第１の代表ユニット内の最も尤度が高い“ＩＤ１１１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ１１４”の顔画像を第２の代表顔画像として選択し、２番目に尤度が低い“ＩＤ１１３”の顔画像を第３の代表顔画像として選択する。
【０１１８】
表示レイアウト制御部２１０は、上記の処理結果に基づいて、図１０に示す表示内容を表示部３０に表示する。図１０は、図９の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１１９】
但し、表示レイアウト制御部２１０は、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２３”、“ＩＤ２４”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ２１”のユニットの枠を太い線幅で表示し、それ以外のユニットの枠を細い線幅で表示する。“ＩＤ２１”、“ＩＤ２３”、“ＩＤ２４”のユニットの枠内に“ＩＤ２１１”、“ＩＤ２３１”、“ＩＤ２４１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１１”、“ＩＤ２３１”、“ＩＤ２４１”の顔画像の枠を太い線幅で表示する。
【０１２０】
また、表示レイアウト制御部２１０は、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ１１”のユニットの枠を太い線幅で表示する。“ＩＤ１１”のユニットの枠内に“ＩＤ１１１”、“ＩＤ１１３”、“ＩＤ１１４”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。
【０１２１】
ユーザが図１０の表示に対して“ＩＤ２４”のユニットを選択して人物クラスタの枠外にドラッグ・アンド・ドロップする操作を行ったとする。この操作に応じて、クラスタ修正部１４０は、“ＩＤ２４”のユニット内の“ＩＤ２４１”，“ＩＤ２４２”の顔画像の顔画像クラスタ情報の人物ＩＤを“ＩＤ３”に、分類者情報を“ユーザ”に、分類時刻情報を分類を修正した時刻に修正する。顔画像の分類を修正した結果は図１１に示すようになる。図１１は顔画像の分類を修正した結果を特徴量空間上で模式的に表した図である。
【０１２２】
但し、図１１において、“ＩＤ１１１”〜“ＩＤ１１４”の顔画像は“ＩＤ１１”のユニットに分類されており、“ＩＤ１１”のユニットは“ＩＤ１”の人物クラスタに分類されている。また、“ＩＤ２１１”の顔画像は“ＩＤ２１”のユニットに分類され、“ＩＤ２２１”の顔画像は“ＩＤ２２”のユニットに分類され、“ＩＤ２３１”の顔画像は“ＩＤ２３”のユニットに分類されている。“ＩＤ２１”〜“ＩＤ２３”のユニットは“ＩＤ２”の人物クラスタに分類されている。さらに、“ＩＤ２４１”〜“ＩＤ２４２”の顔画像は“ＩＤ２４”のユニットに分類されており、“ＩＤ２４”のユニットは“ＩＤ３”の人物クラスタに分類されている。
【０１２３】
“ＩＤ１１”のユニット内の顔画像は、“ＩＤ１１１”、“ＩＤ１１２”、“ＩＤ１１３”、“ＩＤ１１４”の順で尤度が高いとする。また、“ＩＤ２”の人物クラスタ内のユニットは、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”の順で尤度が高いとする。“ＩＤ２４”のユニット内の顔画像は、“ＩＤ２４１”、“ＩＤ２４２”の順で尤度が高いとする。
【０１２４】
図１１に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“６”とする。
【０１２５】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”のユニットを第１の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ１１”の第１の代表ユニット内の最も尤度が高い“ＩＤ１１１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ１１４”の顔画像を第２の代表顔画像として選択する。
【０１２６】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”のユニットを第１の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２１”の第１の代表ユニット内の最も尤度が高い“ＩＤ２１１”の顔画像を第１の代表顔画像として選択する。次に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が低い“ＩＤ２３”のユニットを第２の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２３”の第２の代表ユニット内の最も尤度が高い“ＩＤ２３１”の顔画像を第１の代表顔画像として選択する。
【０１２７】
人物クラスタ選択部２３０は、顔画像の数が３番目に多い“ＩＤ３”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ３”の代表人物クラスタ内の最も尤度が高い“ＩＤ２４”のユニットを第１の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ２４”の第１の代表ユニット内の最も尤度が高い“ＩＤ２４１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ２４２”の顔画像を第２の代表顔画像として選択する。
【０１２８】
表示レイアウト制御部２１０は、上記の処理結果に基づいて、図１２に示す表示内容を表示部３０に表示する。図１２は、図１１の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１２９】
但し、表示レイアウト制御部２１０は、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ１１”のユニットの枠を太い線幅で表示する。“ＩＤ１１”のユニットの枠内に“ＩＤ１１１”、“ＩＤ１１４”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。
【０１３０】
また、表示レイアウト制御部２１０は、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２３”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ２１”のユニットの枠を太い線幅で表示し、それ以外のユニットの枠を細い線幅で表示する。“ＩＤ２１”、“ＩＤ２３”のユニットの枠内に“ＩＤ２１１”、“ＩＤ２３１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１１”、“ＩＤ２３１”の顔画像の枠を太い線幅で表示する。
【０１３１】
さらに、表示レイアウト制御部２１０は、“ＩＤ３”の人物クラスタの枠内に“ＩＤ２４”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ２４”のユニットの枠を太い線幅で表示する。“ＩＤ２４”のユニットの枠内に“ＩＤ２４１”、“ＩＤ２４２”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２４１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。
【０１３２】
ユーザが図１２の表示に対して“ＩＤ３”の人物クラスタを選択して“ＩＤ１”の人物クラスタ内にドラッグ・アンド・ドロップする操作を行ったとする。この操作に応じて、クラスタ修正部１４０は、“ＩＤ３”の人物クラスタ内の“ＩＤ２４１”，“ＩＳ２４２”の顔画像の顔画像クラスタ情報の人物ＩＤを“ＩＤ１”に、分類者情報を“ユーザ”に、分類時刻情報を分類を修正した時刻に修正する。顔画像の分類を修正した結果は図１３に示すようになる。図１３は顔画像の分類を修正した結果を特徴量空間上で模式的に表した図である。
【０１３３】
但し、図１３において、“ＩＤ１１１”〜“ＩＤ１１４”の顔画像は“ＩＤ１１”のユニットに分類され“ＩＤ２４１”〜“ＩＤ２４２”の顔画像は“ＩＤ２４”のユニットに分類されている。“ＩＤ１１”、“ＩＤ２４”のユニットは“ＩＤ１”の人物クラスタに分類されている。また、“ＩＤ２１１”の顔画像は“ＩＤ２１”のユニットに分類され、“ＩＤ２２１”の顔画像は“ＩＤ２２”のユニットに分類され、“ＩＤ２３１”の顔画像は“ＩＤ２３”のユニットに分類されている。“ＩＤ２１”〜“ＩＤ２３”のユニットは“ＩＤ２”の人物クラスタに分類されている。
【０１３４】
“ＩＤ１”の人物クラスタ内のユニットは、“ＩＤ１１”、“ＩＤ２４”の順で尤度が高いとする。“ＩＤ１１”のユニット内の顔画像は、“ＩＤ１１１”、“ＩＤ１１２”、“ＩＤ１１３”、“ＩＤ１１４”の順で尤度が高いとし、“ＩＤ２４”のユニット内の顔画像は、“ＩＤ２４１”、“ＩＤ２４２”の順で尤度が高いとする。また、“ＩＤ２”の人物クラスタ内のユニットは、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”の順で尤度が高いとする。
【０１３５】
図１３に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“６”とする。
【０１３６】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”のユニットを第１の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ１１”の第１の代表ユニット内の最も尤度が高い“ＩＤ１１１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ１１４”の顔画像を第２の代表顔画像として選択する。次に、ユニット選択部２４０は、“ＩＤ１”の代表人物クラスタ内の最も尤度が低い“ＩＤ２４”のユニットを第２の代表ユニットとして選択する。そして、代表顔画像選択部２５０は、“ＩＤ２４”の第２の代表ユニット内の最も尤度が高い“ＩＤ２４１”の顔画像を第１の代表顔画像として選択する。
【０１３７】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”のユニットを第１の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２１”の第１の代表ユニット内の最も尤度が高い“ＩＤ２１１”の顔画像を第１の代表顔画像として選択する。次に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の最も尤度が低い“ＩＤ２３”のユニットを第２の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２３”の第２の代表ユニット内の最も尤度が高い“ＩＤ２３１”の顔画像を第１の代表顔画像として選択する。更に、ユニット選択部２４０は、“ＩＤ２”の代表人物クラスタ内の２番目に尤度が低い“ＩＤ２２”のユニットを第３の代表ユニットとして選択し、代表顔画像選択部２５０は、“ＩＤ２２”の第３の代表ユニット内の最も尤度が高い“ＩＤ２２１”の顔画像を第１の代表顔画像として選択する。
【０１３８】
表示レイアウト制御部２１０は、上記の処理結果に基づいて、図１４に示す表示内容を表示部３０に表示する。図１４は、図１３の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１３９】
但し、表示レイアウト制御部２１０は、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”、“ＩＤ２４のユニットを配置し、第１の代表ユニットに相当する“ＩＤ１１”のユニットの枠を太い線幅で表示し、それ以外のユニットの枠を細い線幅で表示する。“ＩＤ１１”のユニットの枠内に“ＩＤ１１１”、“ＩＤ１１４”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。“ＩＤ２４”のユニットの枠内に“ＩＤ２４１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２４１”の顔画像の枠を太い線幅で表示する。
【０１４０】
また、表示レイアウト制御部２１０は、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”のユニットを配置し、第１の代表ユニットに相当する“ＩＤ２１”のユニットの枠を太い線幅で表示し、それ以外のユニットの枠を細い線幅で表示する。“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”のユニットの枠内に“ＩＤ２１１”、“ＩＤ２２１”、“ＩＤ２３１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１１”、“ＩＤ２２１”、“ＩＤ２３１”の顔画像の枠を太い線幅で表示する。
【０１４１】
≪第２の実施の形態≫
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。
【０１４２】
第１の実施の形態では、顔画像は類似する顔画像をまとめたユニットに分類され、ユニットは類似するユニットをまとめた人物クラスタに分類され、この分類結果を利用して代表顔画像を選択して表示する。これに対して、本実施の形態では、顔画像は類似する顔画像をまとめた人物クラスタに分類され、この分類結果を利用して代表顔画像を選択して表示する。なお、本実施の形態の「人物クラスタ」は「クラスタ」に相当する。
【０１４３】
なお、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、第１の実施の形態の説明が適用できるため本実施の形態ではその説明を省略し或いは概略を記載するに留める。
【０１４４】
＜装置構成＞
図１５は本実施の形態の代表画像表示装置１ａの全体構成図であり、代表画像表示装置１ａは演算処理部１０ａと記憶部２０ａと表示部３０と操作ＩＦ部４０とを備える。
【０１４５】
演算処理部１０ａは、例えばＣＰＵなどで構築され、代表画像表示装置１ａ全体の各種制御や各種演算を行う。
【０１４６】
記憶部２０ａは、例えばＲＯＭ、ＲＡＭ、ＨＤＤなどで構築されており、代表画像表示装置１ａを制御するための各種制御プログラムや各種アプリケーションプログラムなどを記憶している。記憶部２０ａは、図１７〜図１９に動作フローを示す手順を記述したプログラムを記憶している。また、記憶部２０ａは、画像データ、顔画像データ及び顔特徴量データを記憶するとともに、画像ＤＢ２１、顔画像ＤＢ２２、及び顔画像クラスタＤＢ２３ａを記憶する。
【０１４７】
（記憶部内の各データベースの構成）
「顔画像クラスタＤＢの構成」
図１６は図１５の顔画像クラスタＤＢ２３ａの一例を示す図である。顔画像クラスタＤＢ２３ａは、顔画像毎に、顔画像の顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像が属する人物クラスタの人物ＩＤと、顔画像の分類者情報と顔画像の分類時刻情報とを対応付けて格納するためのデータベースである。なお、以下では、顔画像クラスタＤＢ２３ａの１レコード分の情報の集まりを、適宜、「顔画像クラスタ情報」と言う。
【０１４８】
（演算処理部の構成）
演算処理部１０ａは、記憶部２０ａから図１７〜図１９に動作フローを示す手順を記述したプログラムを読み出し、読み出したプログラムを実行する。これによって、演算処理部１０ａは画像解析部１００ａと画像表示部２００ａとして機能する。
【０１４９】
（画像解析部の機能構成）
画像解析部１００ａは、図１５に示すように、画像入力部１１０と、顔認識処理部１２０と、クラスタ形成部１３０ａと、クラスタ修正部１４０ａとを備える。
【０１５０】
クラスタ形成部１３０ａは、顔画像ＤＢ２２を参照して、各顔ＩＤに対応する顔特徴量ファイル名の顔特徴量データを記憶部２０から読み出す。そして、クラスタ形成部１３０ａは、読み出した顔特徴量データを用いて、類似する顔画像をまとめて人物クラスタを形成し、形成した各人物クラスタに対して一意に人物ＩＤを付与する。
【０１５１】
そして、クラスタ形成部１３０ａは、顔画像毎に、顔画像の顔ＩＤに、顔画像を含む画像の画像ＩＤと、顔画像が属する人物クラスタの人物ＩＤと、顔画像の分類時刻情報とを対応付けて顔画像クラスタＤＢ２３ａに格納する。但し、分類者情報の内容はシステムとなり、分類時刻情報の内容は自動分類された時刻となる。
【０１５２】
但し、クラスタ形成部１３０ａは、記憶部２０ａから読み出した複数の顔特徴量データを互いに比較し、顔特徴量データ間の差が例えば予め定められた閾値以下である顔特徴量データの顔画像が互いに類似するものとして、それらを１つにまとめることによって、人物クラスタを形成する。なお、人物クラスタの形成の手法は上記の手法に限定されるものではない。
【０１５３】
クラスタ修正部１４０ａは、操作ＩＦ部４０を介してユーザ操作を受け取り、顔画像クラスタＤＢ２３ａにおいて、受け取ったユーザ操作に従ってユーザが分類の修正を施した顔画像の顔画像クラスタ情報を修正する。但し、顔画像クラスタ情報に含まれる分類者情報の内容はユーザになり、分類時刻情報の内容は分類の修正が行われた時刻になる。
【０１５４】
（画像表示部の機能構成）
画像表示部２００ａは、図１４に示すように、表示レイアウト制御部２１０ａと、表示顔画像数決定部２２０と、人物クラスタ選択部２３０と、代表顔画像選択部２５０ａとを備える。
【０１５５】
表示レイアウト制御部２１０ａは、表示部３０に表示する顔画像の表示レイアウトを画像ＤＢ２１、顔画像ＤＢ２２及び顔画像クラスタＤＢ２３ａの格納内容を参照して制御するものである。但し、表示レイアウト制御部２１０ａは、表示レイアウトを制御する際に、代表顔画像選択部２５０ａから入力される情報や操作ＩＦ部４０から入力される情報も用いる。
【０１５６】
代表顔画像選択部２５０ａは、人物クラスタ選択部２３０から入力された人物ＩＤの人物クラスタ（代表人物クラスタ）の夫々に対して、以下のようにして、代表人物クラスタ内の顔画像から代表顔画像を選択する。
【０１５７】
代表顔画像選択部２５０ａは、顔画像クラスタＤＢ２３ａを参照して、代表人物クラスタ内の顔ＩＤの数、即ち、顔画像の数を取得する。そして、代表顔画像選択部２５０ａは、人物クラスタ選択部２３０から入力される人物クラスタ表示顔画像数が顔画像の数未満の場合には代表人物クラスタでの代表顔画像の数（代表顔画像数）を人物クラスタ表示顔画像数と同じ値に決定し、人物クラスタ表示顔画像数が顔画像の数未満の場合には代表顔画像数を取得した顔画像の数と同じ値に決定する。なお、前者では代表人物クラスタ内の顔画像の一部が代表顔画像になり、後者では代表人物クラスタ内の全ての顔画像が代表顔画像になる。
【０１５８】
続いて、代表顔画像選択部２５０ａは、代表人物クラスタ内の各顔画像に対して顔画像の分類結果の確からしさを示す尤度を算出する。そして、代表顔画像選択部２５０ａは、１番目に代表顔画像を選択する場合には代表人物クラスタ内の尤度が最も高い顔画像を代表顔画像として選択し、２番目以降に代表顔画像を選択する場合には代表人物クラスタ内の尤度が低い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。そして、代表顔画像選択部２５０ａは、代表顔画像の顔ＩＤと代表人物クラスタ内で代表顔画像が選択された順番とを表示レイアウト制御部２１０ａへ出力する。この情報は表示レイアウト制御部２１０ａが代表顔画像を表示し、代表人物クラスタ内の一番尤度が高い代表顔画像とそれ以外の代表顔画像とを異なる表示方法で表示する際に利用される。なお、代表顔画像数が１の場合には、２番目以降の代表顔画像の選択が行われないことは言うまでもない。
【０１５９】
但し、代表顔画像選択部２５０ａは、尤度として、代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用い、距離が小さいほど顔画像に関する尤度が高く、距離が大きいほど顔画像に関する尤度が低いとする。代表顔画像選択部２５０ａは、顔画像クラスタＤＢ２３及び顔画像ＤＢ２２を参照し、代表人物クラスタの特徴量空間上の中心位置又は重心位置を代表人物クラスタ内の顔画像の顔特徴量データを用いて算出し、代表人物クラスタ内の夫々の顔画像の特徴量空間上の位置をその顔画像の顔特徴量データを用いて算出する。そして、代表顔画像選択部２５０ａは、１番目に代表顔画像を選択する場合には代表人物クラスタの中心位置又は重心位置に位置が１番近い顔画像を代表顔画像として選択する。代表顔画像選択部２５０ａは、２番目以降に代表顔画像を選択する場合には代表人物クラスタの中心位置又は重心位置から位置が遠い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。
【０１６０】
上記の各場合において、代表人物クラスタの中心位置又は重心位置に位置が１番近い顔画像は代表人物クラスタに最も正しく分類された可能性が高い。一方、代表人物クラスタの中心位置又は重心位置から位置が離れている顔画像ほど代表人物クラスタに誤って分類された可能性が高い。従って、ユーザは、例えば、正しく分類された可能性が高い顔画像と誤って分類された可能性が高い顔画像とを見ながら顔画像の分類を修正することができることから、効率的なアノテーションを行うことができる。
【０１６１】
＜装置動作＞
図１７の代表画像表示装置１ａによって行われる処理を、顔画像自動分類処理、顔画像分類修正処理、及び顔画像選択表示処理の３つに分けて説明する。
【０１６２】
（顔画像自動分類処理の動作）
図１７は図１５の代表画像表示装置１ａが行う顔画像自動分類処理の流れを示すフローチャートである。
【０１６３】
画像入力部１１０及び顔認識処理部１２０は、図５を参照して説明したステップＳ１０１〜ステップＳ１０８の処理を行う。
【０１６４】
クラスタ形成部１３０ａは、顔画像ＤＢ２２を参照して、各顔ＩＤに対応する顔特徴量ファイル名の顔特徴量データを記憶部２０から読み出す。そして、クラスタ形成部１３０ａは、読み出した顔特徴量データを用いて、類似する顔画像をまとめて人物クラスタを形成し、形成した各人物クラスタに人物ＩＤを付与する（ステップＳ１５１）。そして、クラスタ形成部１３０ａは、顔画像毎に顔画像クラスタ情報を顔画像クラスタＤＢ２３に格納する（ステップＳ１５２）。なお、顔画像クラスタ情報に含まれる分類者情報の内容はシステムであり、分類時刻情報の内容は自動分類された時刻である。
【０１６５】
（顔画像分類修正処理の動作）
図１８は図１５の代表画像表示装置１ａが行う顔画像分類修正処理の流れを示すフローチャートである。なお、クラスタ修正部１４０ａは、表示レイアウト制御部２１０ａから入力される表示レイアウトに係る情報を用いるとともに、操作ＩＦ部４０から入力される信号を用いて、ユーザによる選択対象（人物クラスタ、顔画像）を判断し、ユーザが選択対象をドラッグ・アンド・ドロップした先（選択対象の移動先）を判断する。
【０１６６】
クラスタ修正部１４０ａは、図６を参照して説明したステップＳ２０１〜ステップＳ２０２の処理を行う。クラスタ修正部１４０ａは、顔画像クラスタＤＢ２３ａにおいて、選択された人物クラスタ内の各顔画像の顔画像クラスタ情報を修正する（ステップＳ２０３ａ）。但し、クラスタ修正部１４０ａは、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【０１６７】
クラスタ修正部１４０ａは、図６を参照して説明したステップＳ２０６の処理を行う。クラスタ修正部１４０ａは、顔画像クラスタＤＢ２３において、選択された顔画像の顔画像クラスタ情報を修正する（ステップＳ２０７ａ）。但し、選択された顔画像の移動先が人物クラスタの場合には、クラスタ修正部１４０ａは、顔画像クラスタ情報の人物ＩＤを移動先の人物クラスタの人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。更に、選択された顔画像の移動先が人物クラスタが存在しないエリアである場合には、クラスタ修正部１４０ａは、顔画像クラスタ情報の人物ＩＤをこれまでに付与していない人物ＩＤに、分類者情報をユーザに、分類時刻情報を分類が修正された時刻に修正する。
【０１６８】
（顔画像選択表示処理の動作）
図１９は図１５の代表画像表示装置１ａが行う顔画像選択表示処理の流れを示すフローチャートである。
【０１６９】
表示顔画像数決定部２２０及び人物クラスタ選択部２３０は、図７を参照して説明したステップＳ３０１〜ステップＳ３０５の処理を行う。
【０１７０】
代表顔画像選択部２５０ａは、顔画像クラスタＤＢ２３を参照して、代表人物クラスタ内の顔画像の数を取得する（ステップＳ３５１）。そして、代表顔画像選択部２５０ａは、代表人物クラスタで表示部３０に表示する顔画像の数（代表顔画像数）Ｎを決定し、変数ｎの値を１にする（ステップＳ３５２）。
【０１７１】
代表顔画像選択部２５０ａは、代表人物クラスタ内の１番尤度が高い顔画像を第１の代表顔画像として選択する（ステップＳ３５３）。このとき、代表顔画像選択部２５０は第１の代表顔画像の顔ＩＤと第１の代表顔画像が代表人物クラスタ内で選択された順番とを表示レイアウト制御部２１０ａへ出力する。
【０１７２】
代表顔画像選択部２５０ａは、変数ｎの値を１インクリメントし（ステップＳ３５４）、変数ｎの値が代表顔画像数Ｎ以下であるかを判定する（ステップＳ３５５）。変数ｎの値が代表顔画像数Ｎ以下である場合には（Ｓ３５５：ＹＥＳ）、代表顔画像選択部２５０ａは、代表人物クラスタ内の（ｎ−１）番目に尤度が低い顔画像を第ｎの代表顔画像として選択する（ステップＳ３５６）。このとき、代表顔画像選択部２５０ａは第ｎの代表顔画像の顔ＩＤと第ｎの代表顔画像が代表ユニット内で選択された順番とを表示レイアウト制御部２１０へ出力する。ステップＳ３５６の処理に続いてステップＳ３５４の処理が行われる。
【０１７３】
代表顔画像選択部２５０ａは、図７を参照して説明したステップＳ３１４〜ステップＳ３１５の処理を行う。
【０１７４】
表示レイアウト制御部２１０ａは、ステップＳ３０１からステップＳ３１５までの処理の実行結果に基づいて、表示部３０に代表顔画像を表示する表示制御を実行する（ステップＳ３１６ａ）。但し、表示レイアウト制御部２１０ａは、各代表人物クラスタのエリアを示す枠を表示する。表示レイアウト制御部２１０ａは、各代表人物クラスタの枠内に当該代表人物クラスタ内の第１から第Ｎの代表顔画像を配置し、第１の代表顔画像の枠を太い線幅で表示し、第２から第Ｎの代表顔画像の枠を細い線幅で表示する。このように表示することによって、ユーザは、尤度の高い代表顔画像と尤度の低い代表顔画像とを簡単に区別することができる。
【０１７５】
（代表画像表示装置の処理の例）
以下、図１５の代表画像表示装置１が行う一連の処理の一例を図２０から図２３を参照して説明する。
【０１７６】
図２０は顔画像を自動分類した結果を特徴量空間上で模式的に表した図である。
【０１７７】
但し、図２０において、“ＩＤ１１”〜“ＩＤ１２”の顔画像は“ＩＤ１”の人物クラスタに分類され、“ＩＤ２１”〜“ＩＤ２５”の顔画像は“ＩＤ２”の人物クラスタに分類されている。
【０１７８】
“ＩＤ１”の人物クラスタ内の顔画像は、“ＩＤ１１”、“ＩＤ１２”の順で尤度が高いとし、“ＩＤ２”の人物クラスタ内の顔画像は、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”、“ＩＤ２４”、“ＩＤ２５”の順で尤度が高いとする。
【０１７９】
図２０に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“４”とする。
【０１８０】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ２５”の顔画像を第２の代表顔画像として選択する。
【０１８１】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ１２”の顔画像を第２の代表顔画像として選択する。
【０１８２】
表示レイアウト制御部２１０ａは、上記の処理結果に基づいて、図２１に示す表示内容を表示部３０に表示する。図２１は、図２０の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１８３】
但し、表示レイアウト制御部２１０ａは、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２５”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。また、表示レイアウト制御部２１０ａは、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”、“ＩＤ１２”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。
【０１８４】
ユーザが図２１の表示に対して“ＩＤ２５”の顔画像を選択して人物クラスタの枠外にドラッグ・アンド・ドロップする操作を行ったとする。この操作に応じて、クラスタ修正部１４０ａは、“ＩＤ２５”の顔画像の顔画像クラスタ情報の人物ＩＤを“ＩＤ３”に、分類者情報を“ユーザ”に、分類時刻情報を分類を修正した時刻に修正する。顔画像の分類を修正した結果は図２２に示すようになる。図２２は顔画像の分類を修正した結果を特徴量空間上で模式的に表した図である。
【０１８５】
但し、図２２において、“ＩＤ１１”〜“ＩＤ１２”の顔画像は“ＩＤ１”の人物クラスタに分類され、“ＩＤ２１”〜“ＩＤ２４”の顔画像は“ＩＤ２”の人物クラスタに分類され、“ＩＤ２５”の顔画像は“ＩＤ１”の人物クラスタに分類されている。
【０１８６】
“ＩＤ１”の人物クラスタ内の顔画像は、“ＩＤ１１”、“ＩＤ１２”の順で尤度が高いとし、“ＩＤ２”の人物クラスタ内の顔画像は、“ＩＤ２１”、“ＩＤ２２”、“ＩＤ２３”、“ＩＤ２４”の順で尤度が高いとする。
【０１８７】
図２２に模式的に表した分類結果に対する顔画像選択表示処理の概略を以下に記載する。なお、表示顔画像数を“４”とする。
【０１８８】
人物クラスタ選択部２３０は、顔画像の数が最も多い“ＩＤ２”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ２”の代表人物クラスタ内の最も尤度が高い“ＩＤ２１”の顔画像を第１の代表顔画像として選択し、最も尤度が低い“ＩＤ２４”の顔画像を第２の代表顔画像として選択する。
【０１８９】
人物クラスタ選択部２３０は、顔画像の数が２番目に多い“ＩＤ１”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ１”の代表人物クラスタ内の最も尤度が高い“ＩＤ１１”の顔画像を第１の代表顔画像として選択する。
【０１９０】
人物クラスタ選択部２３０は、顔画像の数が３番目に多い“ＩＤ３”の人物クラスタを代表人物クラスタとして選択する。代表顔画像選択部２５０ａは、“ＩＤ３”の代表人物クラスタ内の最も尤度が高い“ＩＤ２５”の顔画像を第１の代表顔画像として選択する。
【０１９１】
表示レイアウト制御部２１０ａは、上記の処理結果に基づいて、図２３に示す表示内容を表示部３０に表示する。図２３は、図２２の分類結果に対して顔画像選択表示処理が実行されたときの表示部３０の表示内容を表した図である。
【０１９２】
但し、表示レイアウト制御部２１０ａは、“ＩＤ２”の人物クラスタの枠内に“ＩＤ２１”、“ＩＤ２４”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２１”の顔画像の枠を太い線幅で表示し、それ以外の顔画像の枠を細い線幅で表示する。また、表示レイアウト制御部２１０ａは、“ＩＤ１”の人物クラスタの枠内に“ＩＤ１１”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ１１”の顔画像の枠を太い線幅で表示する。さらに、表示レイアウト制御部２１０ａは、“ＩＤ３”の人物クラスタの枠内に“ＩＤ２５”の顔画像を配置し、第１の代表顔画像に相当する“ＩＤ２５”の顔画像の枠を太い線幅で表示する。
【０１９３】
≪補足≫
本発明は上記の実施の形態で説明した内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するためのいかなる形態においても実施可能であり、例えば、以下であってもよい。
【０１９４】
（１）上記の第１及び第２の実施の形態では、人物の顔画像をクラスタの対象としているが、これに限らず、人物の顔画像以外の各種画像に対して第１及び第２の実施の形態で説明した手法を適用可能である。
【０１９５】
（２）上記の第１及び第２の実施の形態では、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタ内の顔画像の数を利用しているが、これに限らず、例えば次のような選択の指標を用いて代表人物クラスタを選択するようにしてもよい。
【０１９６】
人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタが形成又は修正された時刻を用い、形成又は修正された時刻が新しい順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、これは、形成又は修正された時刻が古い人物クラスタはユーザが修正し終えて既に正しいものとなっており、形成又は修正された時刻が新しい人物クラスタはまだユーザが修正をし終えていないと考えられることを踏まえたものである。
【０１９７】
また、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタ内の顔画像の顔特徴量データの分散を用いる。人物クラスタ選択部２３０は、各人物クラスタに対して、人物クラスタ内の顔画像の顔特徴量データを用いて当該人物クラスタ内の顔画像の顔特徴量データの分散を算出し、算出した分散が大きい順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、これは、分散が大きい人物クラスタほど特徴量空間上で顔画像の顔特徴量データが広がっているので人物クラスタの内容が誤っている可能性が高く、それが小さい人物クラスタほど特徴量空間上で顔画像の顔特徴量データが広がっていないので人物クラスタの内容が誤っている可能性が低いと考えられることを踏まえたものである。
【０１９８】
更に、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタの特徴量空間上のクラスタ半径を用いる。人物クラスタ選択部２３０は、各人物クラスタに対して、人物クラスタ内の顔画像の顔特徴量データを用いて当該人物クラスタのクラスタ半径を算出し、算出したクラスタ半径が大きい順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、これは、クラスタ半径が大きい人物クラスタほど特徴量空間上で顔画像の顔特徴量データが広がっているので人物クラスタの内容が誤っている可能性が高く、それが小さい人物クラスタほど特徴量空間上で顔画像の顔特徴量データが広がっていないので人物クラスタの内容が誤っている可能性が低いと考えられることを踏まえたものである。
【０１９９】
更に、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタの特徴量空間上の中心位置や重心位置などの位置を用いる。人物クラスタ選択部２３０は、各人物クラスタに対して、人物クラスタ内の顔画像の顔特徴量データを用いて当該人物クラスタの位置（中心位置、重心位置など）を算出し、特徴量空間上の特定の位置から算出した位置が近い順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、特定の位置として、例えば特徴量空間の全体から見た中心位置、全ての人物クラスタの空間特徴量上の重心位置、指定された人物クラスタの特徴量空間上の中心位置や重心位置など位置を利用することができる。
【０２００】
更に、人物クラスタ選択部２３０は、代表人物クラスタの選択の指標として人物クラスタ内の顔画像のうち分類者情報が「システム」である顔画像の比率を用いる。人物クラスタ選択部２３０は、各人物クラスタに対して、人物クラスタ内の顔画像のうち分類者情報が「システム」である顔画像の比率を算出し、算出した比率が大きい順に代表人物クラスタ数分の人物クラスタを代表人物クラスタとして選択する。なお、これは、ユーザが修正していない顔画像の比率が高い人物クラスタほどまだユーザが修正をし終えておらず、比率が低い人物クラスタほどユーザが修正し終えて既に正しいものとなっていると考えられることを踏まえたものである。
【０２０１】
（３）上記の第１の実施の形態では、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として代表人物クラスタの特徴量空間上の中心位置又は重心位置からユニットの特徴量空間上の中心位置又は重心位置までの距離を用いているが、これに限らず、例えば次のような尤度を用いて１番目の代表ユニットを選択するようにしてもよい。
【０２０２】
ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニットが形成又は修正された時刻を用い、形成又は修正された時刻が古いほど尤度が高いとする。ユニット選択部２４０は、形成又は修正された時刻が最も古いユニットを１番目の代表ユニットとして選択する。なお、これは、形成又は修正された時刻が古いユニットほど分類結果が正しいためにユーザが修正を必要としないと考えられること踏まえたものである。
【０２０３】
また、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニット内の顔画像の数を用い、顔画像の数が少ないほど尤度が高いとする。ユニット選択部２４０は、顔画像の数が最も少ないユニットを１番目の代表ユニットとして選択する。なお、これは、顔画像の数が少ないユニットほど誤った顔画像を含んでいる可能性が低いと考えられることを踏まえたものである。
【０２０４】
更に、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニットの特徴量空間上のクラスタ半径を用い、クラスタ半径が小さいほど尤度が高いとする。ユニットの選択部２４０は、代表人物クラスタ内の各ユニットの特徴量空間上のクラスタ半径をユニット内の顔画像の顔特徴量データを用いて算出し、クラスタ半径が最も小さいユニットを１番目の代表ユニットとして選択する。なお、これは、クラスタ半径が小さいユニットほど誤った顔画像を含んでいる可能性が低いと考えられることを踏まえたものである。
【０２０５】
更に、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニット内の顔画像の顔特徴量データの特徴量空間上の密度を用い、密度が高いほど尤度が高いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットの特徴量空間上の密度をユニット内の顔画像の顔特徴量データを用いて算出し、密度が最も高いユニットを１番目の代表ユニットとして選択する。なお、これは、密度が高いユニットほど特徴量空間上で顔画像の顔特徴量データが集まっているので誤った顔画像を含んでいる可能性が低いと考えられることを踏まえたものである。
【０２０６】
更に、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニット内の顔画像の特徴量空間上の分散を用い、分散が小さいほど尤度が高いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットに対して、ユニット内の顔画像の顔特徴量データを用いてユニット内の顔画像の顔特徴量データの分散を算出し、分散が最も小さいユニットを代表ユニットとして選択する。なお、これは、分散が小さいユニットほど特徴量空間上で顔画像の顔特徴量データが集まっているので誤った顔画像を含んでいる可能性が低いと考えられることを踏まえたものである。
【０２０７】
更に、ユニット選択部２４０は、１番目の代表ユニットを選択する際の尤度として、ユニット内の顔画像のうち分類者情報が「ユーザ」である顔画像の比率を用い、比率が大きいほど尤度が高いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットにおいて、ユニット内の顔画像のうち分類者情報が「ユーザ」である顔画像の比率を算出し、算出した比率が最も大きいユニットを１番目の代表ユニットとして選択する。なお、これは、ユーザが修正した顔画像の比率が高いユニットほどユーザが修正を終えていると考えられることを踏まえたものである。
【０２０８】
（４）上記の第１の実施の形態では、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として代表人物クラスタの特徴量空間上の中心位置又は重心位置からユニットの特徴量空間上の中心位置又は重心位置までの距離を用いているが、これに限らず、例えば次のような尤度を用いて２番目以降の代表ユニットを選択するようにしてもよい。
【０２０９】
ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニットが形成又は修正された時刻を用い、形成又は修正された時刻が新しいほど尤度が低いとする。ユニット選択部２４０は、形成又は修正された時刻が新しい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、形成又は修正された時刻が新しいユニットほどユーザが修正をし終えていないと考えられることを踏まえたものである。
【０２１０】
また、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニット内の顔画像の数を用い、顔画像の数が多いほど尤度が低いとする。ユニット選択部２４０は、顔画像の数が多い順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、顔画像の数が多いユニットほど誤った顔画像を含んでいる可能性が高いと考えられることを踏まえたものである。
【０２１１】
更に、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニットの特徴量空間上のクラスタ半径を用い、クラスタ半径が大きいほど尤度が低いとする。ユニットの選択部２４０は、代表人物クラスタ内の各ユニットの特徴量空間上のクラスタ半径をユニット内の顔画像の顔特徴量データを用いて算出し、クラスタ半径が大きい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、クラスタ半径が大きいユニットほど特徴量空間上で顔画像の顔特徴量データが広がっているので誤った顔画像を含んでいる可能性が高いと考えられることを踏まえたものである。
【０２１２】
更に、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニット内の顔画像の顔特徴量データの特徴量空間上の密度を用い、密度が小さいほど尤度が低いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットの特徴量空間上の密度をユニット内の顔画像の顔特徴量データを用いて算出し、密度が小さい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、密度が小さいユニットほど特徴量空間上で顔画像の顔特徴量データが広がっているので誤った顔画像を含んでいる可能性が高いと考えられることを踏まえたものである。
【０２１３】
更に、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニット内の顔画像の特徴量空間上の分散を用い、分散が大きいほど尤度が低いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットに対して、ユニット内の顔画像の顔特徴量データを用いてユニット内の顔画像の顔特徴量データの分散を算出し、分散が大きい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、分散が大きいユニットほど特徴量空間上で顔画像の顔特徴量データが広がっているので誤った顔画像を含んでいる可能性が高いと考えられることを踏まえたものである。
【０２１４】
更に、ユニット選択部２４０は、２番目以降の代表ユニットを選択する際の尤度として、ユニット内の顔画像のうち分類者情報が「システム」である顔画像の比率を用い、比率が大きいほど尤度が低いとする。ユニット選択部２４０は、代表人物クラスタ内の各ユニットにおいて、ユニット内の顔画像のうち分類者情報が「システム」である顔画像の比率を算出し、算出した比率が大きい順に代表ユニット数より１小さい数分のユニットを代表ユニットとして選択する。なお、これは、ユーザが修正していない顔画像の比率が高いユニットほどまだユーザが修正をし終えていないと考えられることを踏まえたものである。
【０２１５】
（５）上記の第１及び第２の実施の形態では、代表顔画像選択部２５０又は代表顔画像選択部２５０ａは、１番目の代表顔画像を選択する際の尤度として代表ユニット又は代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用いているが、これに限らず、例えば次のような尤度を用いて代表顔画像を選択するようにしてもよい。
【０２１６】
代表顔画像選択部２５０，２５０ａは、１番目の代表顔画像を選択する際の尤度として、顔画像が分類された時刻（自動分類された時刻、分類の修正が施された時刻）を用い、分類された時刻が古いほど尤度が高いとする。代表顔画像選択部２５０，２５０ａは、分類された時刻が最も古い顔画像を１番目の代表顔画像として選択する。なお、これは、分類された時刻が古い顔画像ほど分類結果が正しいためにユーザが修正を必要としないと考えられることを踏まえたものである。
【０２１７】
代表顔画像選択部２５０，２５０ａは、１番目の代表顔画像を選択する際の尤度として、顔画像の分類者情報を用い、分類者情報が「ユーザ」である顔画像ほど尤度が高いとする。代表顔画像選択部２５０，２５０ａは、分類者情報が「ユーザ」である顔画像を優先して、１番目の代表顔画像として選択する。
【０２１８】
代表顔画像選択部２５０は、１番目の代表顔画像を選択する際の尤度として、代表ユニットが属する代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用い、距離が小さいほど尤度が高いとする。代表顔画像選択部２５０は、代表ユニットが属する代表人物クラスタ内の顔画像の顔特徴量データを用いて代表人物クラスタの特徴量空間上の中心位置又は重心位置を算出し、代表ユニット内の各顔画像の特徴量空間上の位置をその顔特徴量データを用いて算出する。代表顔画像選択部２５０は、代表人物クラスタの中心位置又は重心位置に位置が最も近い顔画像を１番目の代表顔画像として選択する。
【０２１９】
（６）上記の第１及び第２の実施の形態では、代表顔画像選択部２５０又は代表顔画像選択部２５０ａは、２番目以降の代表顔画像を選択する際の尤度として代表ユニット又は代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用いているが、これに限らず、例えば次のような尤度を用いて代表顔画像を選択するようにしてもよい。
【０２２０】
代表顔画像選択部２５０，２５０ａは、２番目以降の代表顔画像を選択する際の尤度として、顔画像が分類された時刻（自動分類された時刻、分類の修正が施された時刻）を用い、分類された時刻が新しいほど尤度が低いとする。代表顔画像選択部２５０，２５０ａは、分類された時刻が新しい順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。なお、これは、分類された時刻が新しい顔画像ほどユーザが正しい分類に修正をし終えていないと考えられることを踏まえたものである。
【０２２１】
代表顔画像選択部２５０，２５０ａは、２番目以降の代表顔画像を選択する際の尤度として、顔画像の分類者情報を用い、分類者情報が「システム」である顔画像ほど尤度が低いとする。代表顔画像選択部２５０，２５０ａは、分類者情報が「システム」である顔画像を優先して、代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。
【０２２２】
代表顔画像選択部２５０は、２番目以降の代表顔画像を選択する際の尤度として、代表ユニットが属する代表人物クラスタの特徴量空間上の中心位置又は重心位置から顔画像の特徴量空間上の位置までの距離を用い、距離が大きいほど尤度が低いとする。代表顔画像選択部２５０は、代表ユニットが属する代表人物クラスタ内の顔画像の顔特徴量データを用いて代表人物クラスタの特徴量空間上の中心位置又は重心位置を算出し、代表ユニット内の各顔画像の特徴量空間上の位置をその顔特徴量データを用いて算出する。代表顔画像選択部２５０は、代表人物クラスタの中心位置又は重心位置から位置が遠い順に代表顔画像数より１小さい数分の顔画像を代表顔画像として選択する。
【０２２３】
（７）上記の第１及び第２の実施の形態において、ユニット選択部２４０は代表ユニットの分布が顔特徴量空間上で均一になるように代表ユニットの選択を行ってもよく、代表顔画像選択部２５０，２５０ａは代表顔画像の分布が顔特徴量空間上で均一になるように代表顔画像の選択を行ってもよい。
【０２２４】
（８）上記の第１の実施の形態では、表示レイアウト制御部２５０は、第１の代表ユニットとそれ以外の代表ユニットとをその枠の線幅を変えることによって、第１の代表ユニットとそれ以外の代表ユニットとを異なる表示方法で表示している。しかしながら、これに限られるものではなく、表示レイアウト制御部２５０は、第１の代表ユニットとそれ以外の代表ユニットとをユーザが区別できるように、第１の代表ユニットとそれ以外の代表ユニットとを異なる表示方法で表示すればよい。例えば、第１の代表ユニットとそれ以外の代表ユニットとの表示色を変えること、第１の代表ユニット内の顔画像とそれ以外の代表ユニット内の顔画像との表示サイズを変えること、第１の代表ユニットであることを明示するためのアイコンを重畳表示することを、挙げることができる。
【０２２５】
上記の第１及び第２の実施の形態では、表示レイアウト制御部２５０，２５０ａは、第１の代表顔画像とそれ以外の代表顔画像とをその枠の線幅を変えることによって、第１の代表顔画像とそれ以外の代表顔画像とを異なる表示方法で表示している。しかしながら、これに限られるものではなく、表示レイアウト制御部２５０，２５０ａは、第１の代表顔画像とそれ以外の代表顔画像とをユーザが区別できるように、第１の代表顔画像とそれ以外の代表顔画像とを異なる表示方法で表示すればよい。例えば、第１の顔画像とそれ以外の代表顔画像との表示色を変えること、第１の代表顔画像とそれ以外の代表顔画像との表示サイズを変えること、第１の代表顔画像であることを明示するためのアイコンを重畳表示することを、挙げることができる。
【０２２６】
（９）上記の第１の実施の形態では、表示レイアウト制御部２５０は、例えば顔画像選択表示処理の結果の表示方法として図１０に一例を示す表示方法を用いている。しかしながら、これに限らず、例えば、表示レイアウト制御部２５０は顔画像選択表示処理の結果の表示方法として図２４に示す表示方法を用いてもよい。この場合、例えば、代表人物クラスタにおいて第１の代表ユニットから第Ｍの代表ユニットの順番に上から配置し、代表ユニットにおいて第１の代表顔画像から第Ｎの代表顔画像の順番に左から配置する。図中の空行は新たな人物の人物クラスタを形成するため、或いは、新たなユニットを形成するために利用される。
【０２２７】
但し、分類結果を修正する場合には、ユーザは修正対象の人物クラスタ、ユニット又は顔画像を選択し、それを移動先の人物クラスタ（空行を含む。）又はユニット（空行を含む。）にドラッグ・アンド・ドロップすればよい。例えば“ＩＤ２４”のユニット内の顔画像を別の人物の顔画像とする場合には、ユーザは“ＩＤ２４”のユニットを選択し、それを人物クラスタの“空行”の欄にドラッグ・アンド・ドロップする。
【０２２８】
なお、この表示方法は変形を加えることによって第２の実施の形態にも適用できる。
【０２２９】
（１０）上記の第１及び第２の実施の形態の代表画像表示装置１，１ａを、ユーザがアノテーションを行う場合には第１及び第２の実施の形態などで説明した方法に従って代表顔画像を選択して表示し、ユーザが画像の閲覧のみを行う場合には異なる方法に従って代表顔画像を選択して表示し、これらの表示方法を切り替えることができるように変形してもよい。なお、閲覧のみを行う場合、例えば、代表人物クラスタでの代表ユニットを選択する際、尤度が高いユニットから順に代表ユニットとして選択していき、代表ユニット又は代表人物クラスタで代表顔画像を選択する際、尤度が高い顔画像から順に代表顔画像として選択していくようにする。こうすることにより、ユーザは、代表人物クラスタがどの人物のものであるか、代表ユニットがどの人物のものであるかを把握しやすくなる。
【０２３０】
（１１）上記の第１及び第２の実施の形態では、人物クラスタ選択部２３０は、代表人物クラスタ内で表示する代表顔画像の数（人物クラスタ表示顔画像数）が代表人物クラスタ間でほぼ均等になるように、人物クラスタ表示顔画像数を決定しているが、これに限らず、例えば次のようなものであってもよい。
【０２３１】
第１の実施の形態では、人物クラスタ選択部２３０は、代表人物クラスタ内のユニットの数を考慮して、ユニットの数が多い代表人物クラスタほど代表人物クラスタ内で表示する代表顔画像の数（人物クラスタ表示顔画像数）が多くなるように、人物クラスタ表示顔画像数を決定する。
【０２３２】
また、第１及び第２の実施の形態では、人物クラスタ選択部２３０は、代表人物クラスタ内の顔画像の数を考慮して、顔画像の数が多い代表人物クラスタほど代表人物クラスタ内で表示する代表顔画像の数（人物クラスタ表示顔画像数）が多くなるように、人物クラスタ表示顔画像数を決定する。
【０２３３】
（１２）上記の第１の実施の形態では、ユニット選択部２４０は、代表ユニット内で表示する代表顔画像の数（ユニット表示顔画像数）が代表ユニット間でほぼ均等になるように、ユニット表示顔画像数を決定しているが、これに限らず、例えば次のようなものであってもよい。ユニットタ選択部２４０は、代表ユニット内の顔画像の数を考慮して、顔画像の数が多い代表ユニットほど代表ユニット内で表示する代表顔画像の数（ユニット表示顔画像数）が多くなるように、ユニット表示顔画像数を決定する。
【０２３４】
（１３）上記の各実施の形態の各装置は、ＣＰＵやＭＰＵで動作するソフトウェア構成に限られるものではなく、例えば、ハードウェア構成で実現されてもよい。この場合、典型的には集積回路であるＬＳＩ（LargeScale Integration）として実現される。これらは、個別に１チップ化されてもよいし、全てまたは一部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（FieldProgrammable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０２３５】
本発明は、画像のクラスタリングの結果を表示する代表画像表示装置に有用である。
【符号の説明】
【０２３６】
１  代表画像表示装置
１０，１０ａ  演算処理部
２０，２０ａ  記憶部
２１  画像データベース（画像ＤＢ）
２２  顔画像データベース（顔画像ＤＢ）
２３，２３ａ  顔画像クラスタデータベース（顔画像クラスタＤＢ）
３０  表示部
４０  操作インターフェース部（操作ＩＦ部）
１００  画像解析部
１１０  画像入力部
１２０  顔認識処理部
１３０，１３０ａ  クラスタ形成部
１４０，１４０ａ  クラスタ修正部
２００  画像表示部
２１０  表示レイアウト制御部
２２０  表示顔画像数決定部
２３０  人物クラスタ選択部
２４０  ユニット選択部
２５０，２５０ａ  代表顔画像選択部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画像が類似する画像をまとめた下位クラスタに分類され、複数の下位クラスタが類似する下位クラスタをまとめた上位クラスタに分類された分類結果を用いて、表示部に表示する代表画像を選択して表示部に表示する代表画像表示装置において、
１以上の上位クラスタを代表上位クラスタとして選択する上位クラスタ選択部と、
各代表上位クラスタにおいて、下位クラスタの分類結果の確からしさを示す尤度に基づいて代表上位クラスタ内の下位クラスタからＭ（Ｍは１以上で代表上位クラスタ内の下位クラスタの数以下の整数）個の下位クラスタを代表下位クラスタとして選択する下位クラスタ選択部と、
各代表下位クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表下位クラスタ内の画像からＮ（Ｎは１以上で代表下位クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択部と、
を備える代表画像表示装置。
【請求項２】
前記下位クラスタ選択部は、
前記代表上位クラスタ内の１番尤度が高い下位クラスタを第１の代表下位クラスタとして選択し、前記Ｍが２以上の場合には、更に、前記代表上位クラスタ内の尤度が低い方から（Ｍ−１）個の下位クラスタを第２から第Ｍの代表下位クラスタとして選択する
請求項１記載の代表画像表示装置。
【請求項３】
前記下位クラスタ選択部は、前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用いる
請求項２記載の代表画像表示装置。
【請求項４】
前記下位クラスタ選択部は、
前記第１の代表下位クラスタの選択に用いる前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用い、
前記第２から第Ｍの代表下位クラスタの選択に用いる前記尤度として、ユーザが分類を修正した下位クラスタであるか否かを示す情報を用いる
請求項２記載の代表画像表示装置。
【請求項５】
前記下位クラスタ選択部は、
前記第１の代表下位クラスタの選択に用いる前記尤度として、代表上位クラスタの特徴量空間上の中心位置又は重心位置から下位クラスタの特徴量空間上の中心位置又は重心位置までの距離を用い、
前記第２から第Ｍの代表下位クラスタの選択に用いる前記尤度として、下位クラスタ内の画像の数を用いる
請求項２記載の代表画像表示装置。
【請求項６】
前記代表画像選択部は、
前記代表下位クラスタ内の１番尤度が高い画像を第１の代表画像として選択し、前記Ｎが２以上の場合には、更に、前記代表下位クラスタ内の尤度が低い方から（Ｎ−１）個の画像を第２から第Ｎの代表画像として選択する
請求項１記載の代表画像表示装置。
【請求項７】
前記代表画像選択部は、前記尤度として、代表下位クラスタの特徴量空間上の中心位置又は重心位置から画像の特徴量空間上の位置までの距離を用いる
請求項６記載の代表画像表示装置。
【請求項８】
前記代表画像選択部は、
前記第１の代表画像の選択に用いる前記尤度として、代表下位クラスタの特徴量空間上の中心位置又は重心位置から画像の特徴量空間上の位置までの距離を用い、
前記第２から第Ｎの代表画像の選択に用いる前記尤度として、ユーザが分類を修正した画像であるか否かを示す情報を用いる
請求項６記載の代表画像表示装置。
【請求項９】
第１の代表画像と第２から第Ｎの代表画像とを異なる表示方法で前記表示部に表示する処理を行う表示レイアウト制御部
を更に備える請求項６記載の代表画像表示装置。
【請求項１０】
前記表示部の表示領域サイズとユーザが視認可能な画像サイズとに基づいて前記表示部に表示する代表画像の数を決定する表示画像数決定部
を更に備える請求項１記載の代表画像表示装置。
【請求項１１】
前記画像は人物の顔画像である
請求項１記載の代表画像表示装置。
【請求項１２】
複数の画像が類似する画像をまとめたクラスタに分類された分類結果を用いて、表示部に表示する代表画像を選択して表示部に表示する代表画像表示装置において、
１以上のクラスタを代表クラスタとして選択するクラスタ選択部と、
各代表クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表クラスタ内の画像からＮ（Ｎは１以上で代表クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択部と、
を備える代表画像表示装置。
【請求項１３】
前記代表画像選択部は、
前記代表クラスタ内の１番尤度が高い画像を第１の代表画像として選択し、前記Ｎが２以上の場合には、更に、前記代表クラスタ内の尤度が低い方から（Ｎ−１）個の画像を前記第２から第Ｎの代表画像として選択する
請求項１２記載の代表画像表示装置。
【請求項１４】
複数の画像が類似する画像をまとめた下位クラスタに分類され、複数の下位クラスタが類似する下位クラスタをまとめた上位クラスタに分類された分類結果を用いて、表示する代表画像を選択して表示する代表画像表示方法において、
１以上の上位クラスタを代表上位クラスタとして選択する上位クラスタ選択ステップと、
各代表上位クラスタにおいて、下位クラスタの分類結果の確からしさを示す尤度に基づいて代表上位クラスタ内の下位クラスタからＭ（Ｍは１以上で代表上位クラスタ内の下位クラスタの数以下の整数）個の下位クラスタを代表下位クラスタとして選択する下位クラスタ選択ステップと、
各代表下位クラスタにおいて、画像の確からしさを示す分類結果の尤度に基づいて代表下位クラスタ内の画像からＮ（Ｎは１以上で代表下位クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択ステップと、
を有する代表画像表示方法。
【請求項１５】
複数の画像が類似する画像をまとめたクラスタに分類された分類結果を用いて、表示する代表画像を選択して表示する代表画像表示方法において、
１以上のクラスタを代表クラスタとして選択するクラスタ選択ステップと、
各代表クラスタにおいて、画像の分類結果の確からしさを示す尤度に基づいて代表クラスタ内の画像からＮ（Ｎは１以上で代表クラスタ内の画像の数以下の整数）個の画像を代表画像として選択する代表画像選択ステップと、
を有する代表画像表示方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010041377.tif 000027
【図２】
2010041377.tif 000028
【図３】
2010041377.tif 000029
【図４】
2010041377.tif 000030
【図５】
2010041377.tif 000031
【図６】
2010041377.tif 000032
【図７】
2010041377.tif 000033
【図８】
2010041377.tif 000034
【図９】
2010041377.tif 000035
【図１０】
2010041377.tif 000036
【図１１】
2010041377.tif 000037
【図１２】
2010041377.tif 000038
【図１３】
2010041377.tif 000039
【図１４】
2010041377.tif 000040
【図１５】
2010041377.tif 000041
【図１６】
2010041377.tif 000042
【図１７】
2010041377.tif 000043
【図１８】
2010041377.tif 000044
【図１９】
2010041377.tif 000045
【図２０】
2010041377.tif 000046
【図２１】
2010041377.tif 000047
【図２２】
2010041377.tif 000048
【図２３】
2010041377.tif 000049
【図２４】
2010041377.tif 000050
【国際調査報告】
2010041377.tif 000051
2010041377.tif 000052