(57)【要約】  データ処理装置（１００）は、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別されるクラスタに属する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別されるグループに属するクラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部（５）と、新たに追加された要素データの特徴量を抽出する特徴抽出部（１）と、複数のクラスタのうちから帰属クラスタを決定すると共に、帰属クラスタの境界を定める分類境界条件を所定の制約条件に従って更新する自動分類処理部（２）と、新たに追加された要素データの要素ＩＤと帰属クラスタのクラスタＩＤとを対応付けてクラスタ・要素対応表に記録するデータ管理部（６）とを備える。
2010125781.tif 000002
【特許請求の範囲】
【請求項１】
要素データを分類するデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える
データ処理装置。
【請求項２】
前記所定の制約条件とは、既存のクラスタ同士を結合して新たなクラスタを生成することを禁止する条件である
請求項１に記載のデータ処理装置。
【請求項３】
前記所定の制約条件とは、既存のクラスタの一部を分割して新たなクラスタを生成することを禁止する条件である
請求項１又は２に記載のデータ処理装置。
【請求項４】
前記自動分類処理部は、
前記一時記録部から前記クラスタ毎の前記分類境界条件を読み出す分類境界条件読出部と、
前記特徴抽出部で抽出された特徴量と、前記分類境界条件読出部で読み出された前記クラスタ毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属クラスタを判定する帰属クラスタ判定部と、
前記帰属クラスタ判定部での判定結果に基づいて、前記データ管理部に前記クラスタ・要素対応表を更新させるクラスタ・要素ＩＤ管理部と、
前記帰属クラスタ判定部での判定結果に基づいて、前記帰属クラスタの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する分類境界条件更新記録部とを備える
請求項１〜３のいずれか１項に記載のデータ処理装置。
【請求項５】
前記データ管理部は、
前記新たに追加された要素データが既存のクラスタに属すると前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、当該既存のクラスタのクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記し、前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、新たに採番されたクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記する第１のクラスタ・要素対応表更新記録部と、
前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、新たに採番された前記クラスタＩＤと、新たに採番されたグループＩＤとを対応付けて前記グループ・クラスタ対応表に追記するグループ・クラスタ対応表追記部とを備える
請求項１〜４のいずれか１項に記載のデータ処理装置。
【請求項６】
該データ処理装置は、さらに、前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部を備え、
前記データ管理部は、前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新する
請求項１〜５のいずれか１項に記載のデータ処理装置。
【請求項７】
前記データ管理部は、
前記ユーザ改変操作検出部によって検出された前記要素ＩＤに対応付けられた前記クラスタＩＤを前記クラスタ・要素対応表から抽出し、前記抽出されたクラスタＩＤと、前記ユーザ改変操作検出部によって検出されたグループＩＤとの前記グループ・クラスタ対応表上の対応関係を更新するグループ・クラスタ対応表更新記録部と、
前記ユーザ改変操作検出部によって検出された前記グループＩＤと前記要素ＩＤとの対応関係の変更によって、前記クラスタＩＤと前記要素ＩＤとの対応関係を変更する必要が生じた場合にのみ、前記クラスタＩＤと前記要素ＩＤとの前記クラスタ・要素対応表上の対応関係を更新する第２のクラスタ・要素対応表更新記録部とを備える
請求項６に記載のデータ処理装置。
【請求項８】
該データ処理装置は、
１以上のグループＩＤを含む表示グループ情報を生成する表示グループ決定部と、
前記表示グループ情報に含まれる前記グループＩＤに対応付けられた前記クラスタＩＤを前記グループ・クラスタ対応表から抽出し、抽出された前記クラスタＩＤを含む表示クラスタ情報を生成するグループ・クラスタ関係検索部と、
前記表示クラスタ情報に含まれる前記クラスタＩＤに対応付けられた前記要素ＩＤを前記クラスタ・要素対応表から抽出し、抽出された前記要素ＩＤを含む表示要素情報を生成するクラスタ・要素関係検索部と、
前記表示要素情報に含まれる前記要素ＩＤで識別される前記要素データを前記一時記録部から読み出して表示する表示部とを備える
請求項１〜７のいずれか１項に記載のデータ処理装置。
【請求項９】
各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合において、
前記自動分類処理部は、前記帰属クラスタを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理装置は、さらに、全ての前記要素データに対する処理が終了した後に、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする分類マージ部を備える
請求項１〜８のいずれか１項に記載のデータ処理装置。
【請求項１０】
要素データを分類するデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、
前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部と、
前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新するデータ管理部とを備える
データ処理装置。
【請求項１１】
要素データを分類するデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部と、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備え、
前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理装置は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える
データ処理装置。
【請求項１２】
該データ処理装置は、さらに、複数の前記ユニットを含むクラスタを生成し、前記クラスタの境界を定める分類境界条件を決定するクラスタリング部を備え、
前記階層分類処理部は、前記特徴量を前記クラスタの分類境界条件と比較することによって、前記新たに追加された要素データが属すべき帰属クラスタを決定し、さらに、前記特徴量を前記帰属クラスタに含まれる前記複数のユニットそれぞれの分類境界条件と比較することによって、前記帰属ユニットを決定する
請求項１１に記載のデータ処理装置。
【請求項１３】
前記階層分類処理部は、
前記特徴抽出部で抽出された特徴量と、前記一時記録部から読み出した前記ユニット毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属ユニットを判定する帰属ユニット判定部と、
前記帰属ユニット判定部での判定結果に基づいて、前記ユニット・要素対応表を更新するユニット・要素ＩＤ管理部と、
前記帰属ユニット判定部での判定結果に基づいて、前記帰属ユニットの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する階層分類境界条件更新記録部とを備える
請求項１１又は１２に記載のデータ処理装置。
【請求項１４】
前記所定の制約条件とは、既存のユニット同士を結合して新たなユニットを生成することを禁止する条件、又は、既存のユニットの一部を分割して新たなユニットを生成することを禁止する条件である
請求項１１〜１３のいずれか１項に記載のデータ処理装置。
【請求項１５】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させるデータ処理方法であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを含む
データ処理方法。
【請求項１６】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させるデータ処理方法であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを含み、
前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理方法は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを含む
データ処理方法。
【請求項１７】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させるプログラムであって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させる
プログラム。
【請求項１８】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させるプログラムであって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させ、
前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該プログラムは、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを前記データ処理装置に実行させる
プログラム。
【請求項１９】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に搭載される集積回路であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える
集積回路。
【請求項２０】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に搭載される集積回路であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備え、
前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該集積回路は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、逐次入力されるデータを自動的に分類し、かつその結果を手入力で修正（アノテーション）できることを前提にしたデータ処理装置もしくはその処理方法に関するものである。
【背景技術】
【０００２】
従来、データを自動的に分類する手法として、事前学習データを用いてデータを認識して分類する方法と、事前学習データを用いずにデータを分類する方法とが知られている。いずれも複数次元の特徴量をデータから抽出し、特徴量の比較を行うことで実現する。【０００３】
事前学習の一例として、分類グループごとに学習データの分布情報から確率分布を算出しておき、入力データがどの分類グループに帰属するのかを判定する方法（例えばベイズ推定）がある。他の例として、学習データの分布情報を複数のガウス分布の重なりに近似し、入力データがどの分類グループに帰属するのかを判定する方法（例えば、Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌなど）がある。さらに他の例として、分類グループ間の境界を学習データの分布情報から設定しておき、入力データがどの分類グループに帰属するのかを判定する方法（例えばＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅなど）がある。これらの手法は、自動分類を実現する前に、あらかじめ人の手による学習のためのデータを用意する必要があり、その登録作業は煩雑である。【０００４】
一方、事前学習データを用いずにデータを自動分類する手法としては、さまざまなクラスタリング手法が知られている。クラスタリングは、データそのものの分布の濃淡から、データを分類していくものである。具体的なクラスタリング手法としては、あらかじめ分類数を指定して分類するｋ−ｍｅａｎｓ法、又は入力パターン群の類似度に応じて、分類する能力を自律的に獲得していくニューラルネットワークである自己組織化マップ法（ＳＯＭ）などがある。【０００５】
データの自動分類には、逐次処理型の学習及び分類を要求する場合も多い。例えば、ｋ−ｍｅａｎｓ法に基づくＬＢＧ（Ｌｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ）アルゴリズムなどが知られている。このＬＢＧアルゴリズムは、例えば、音声信号又は画像信号の情報圧縮のために、各ベクトルをどの代表ベクトルで代表させるかを適応的にコードとして記述するベクトル量子化などに応用されている。ただし実用的には、ＬＢＧアルゴリズムはデータを繰返し処理して代表ベクトルを見つける手法であるため、逐次処理とはいえ、かなりの処理時間を要するという問題がある。一般的に、分類精度と、逐次処理時の分類結果の更新速度とは、トレードオフの関係にある。【０００６】
このような自動分類手法を実際に用いるときの処理構成例を、図２２及び図２３を用いて説明する。図２２は、自動分類を行い、その結果を一時記録部に記録するデータ処理装置１００のブロック図である。具体的には、図２２に示されるデータ処理装置１０００は、特徴抽出部１１００と、自動分類処理部１２００と、クラスタ・要素対応表更新記録部１３００と、一時記録部１４００とを備える。【０００７】
特徴抽出部１１００は、新たに追加される要素データ（以下「追加要素」ともいう）が入力されると、その特徴空間上の座標を算出するために特徴抽出処理を行う。例えば、顔画像の分類の場合、顔の特徴量を表すＧａｂｏｒウェーブレット特徴量などが挙げられる。これらの特徴量ならびに追加要素に関する情報は、対応関係が明確になるように一時記録部１４００に記録されて、管理される。【０００８】
自動分類処理部１２００は、追加要素の特徴量が算出されると、一時記録部１４００からこれまでの過去の分類結果である各クラスタの分類境界条件と、近傍クラスタに属する全要素データの特徴空間上の座標情報とを読み出し、追加要素がどのクラスタに属するか判定を行う。そして、自動分類処理部１２００は、追加要素の情報（更新対象要素）と、当該追加要素が帰属するクラスタの情報（帰属クラスタ）とを、クラスタ・要素対応表更新記録部１３００に送信する。【０００９】
その後、自動分類処理部１２００は、追加要素の追加をしたことに応じて過去の分類結果を修正する。そして、自動分類処理部１２００は、変更が加えられたクラスタの分類境界条件と、追加要素の座標を加えたこれまでの全要素データの座標データとを、一括して一時記録部１４００に記録する。詳細な処理構成例を、後に説明する。【００１０】
クラスタ・要素対応表更新記録部１３００は、一時記録部１４００に記録されている過去のクラスタ・要素対応表を読み出し、変更箇所についての更新を行い、更新された対応表を一時記録部１４００に記録する。【００１１】
図２３は、自動分類処理部１２００の詳細な処理および構成例を示す図である。図２３に示される自動分類処理部１２００は、帰属クラスタ判定部１２１０と、近傍クラスタ再分類部１２２０と、分類境界条件読出部１２４０と、分類境界条件更新記録部１２３０とを備える。【００１２】
帰属クラスタ判定部１２１０は、追加要素が入力されると、分類境界条件読出部１２４０を通じて、一時記録部１４００から過去のクラスタの分類境界条件を読み出し、追加要素が各クラスタとどれだけ近いかマッチング処理を行う。マッチング処理の方法は、先に挙げた事前学習データを用いずにデータを逐次自動分類するｋ−ｍｅａｎｓ法に基づくＬＢＧアルゴリズムが挙げられる。他にも、逐次処理に対応したＳＶＭ（サポート・ベクター・マシーン）又は階層的自動分類手法などを用いてもよい。分類境界条件とは、例えばＳＶＭであればクラスタ間の分類境界面を表す関数に相当し、階層的自動分類手法であれば各階層・各ノードでの分岐条件に相当する。又は、事前学習データを用いる方式のＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）のように、各クラスタが特徴空間上に分布する確率密度関数をもつような形態も考えられうる。つまり、新たな要素データを対象としたときに、どのクラスタに属するべきかの判定条件を示す情報であれば、特にその形態を問わない。【００１３】
近傍クラスタ再分類部１２２０は、帰属クラスタ判定部１２１０で得られた追加要素の特徴空間上の座標と、そのマッチング結果とを入力とし、追加要素の近傍クラスタを抽出する。近傍か否かの判定には、任意の距離指標を予め設定しておき、この距離より小さい場合には近傍クラスタであると判定する。この近傍クラスタに帰属する要素データをすべて一時記録部１４００から読み出し、追加要素とともに再分類を行う。【００１４】
分類境界条件更新記録部１２３０は、再分類の結果得られた各要素データの帰属するクラスタ情報と、一時記録部１４００から読み出した各要素データの座標とに基づいて、近傍クラスタ間の分類境界条件及び既存クラスタとの分類境界条件を更新し、一時記録部１４００に記録する。また、再分類の結果、修正が加わった要素データについては、当該要素データと最終帰属クラスタの情報とをクラスタ・要素対応表更新記録部１３００に送信する。【００１５】
なお、近傍クラスタ再分類部１２２０において、追加要素がいずれのクラスタに対しても、予め定めておいた距離指標よりも遠いと判定された場合、当該要素データが属する新たなクラスタを生成し、同様に分類境界条件更新記録部１２３０で分類境界条件の更新を行う。【００１６】
一時記録部１４００は、ハードディスク、光ディスク、半導体メモリなど、データを一時記憶できるものを用いる。【００１７】
このような構成を採用することで、データが逐次追加される場合においても、過去の自動分類の結果を保持しつつ、新たな追加データの自動分類結果も反映させることができる。【００１８】
なお、このようなデータ自動分類方法は統計的手法を用いていることから、１００％の分類精度結果ということは通常ありえず、結果を確率論的に推定できるにすぎない。そのため、用途に応じて、得られる結果の解釈をうまく処理する必要がある。さらに、自動分類後の結果をユーザ自身が手動で修正することを前提にしたシステム構成とすることで、データ自動分類を「大量データをユーザが手動分類する際のアシスト」として位置づけるシステムも存在する。【００１９】
例えば、顔画像分類の場合、米国特許第７，２７４，８２２号明細書及び米国特許第７，４０３，６４２号明細書は、精度よく効率的に顔写真をアノテーション（ユーザの手入力による分類修正）するための自動分類手法、及びそのユーザーインターフェースに関して記述されている。例えば、アノテーションの例を図２４Ａ〜図２４Ｄに示す。【００２０】
図２４Ａ〜図２４Ｄでは、分類対象である要素データを黒丸で、分類結果を線で表現している。以後、分類された結果の単位をクラスタと称する。そして、アノテーションの具体例としては、分類結果として得られた１つのクラスタを２つに分割する分割作業（図２４Ａ）、２つのクラスタを１つに結合する結合作業（図２４Ｂ）、１つのクラスタから任意の要素データを除外して無所属化する除外作業（図２４Ｃ）、及びあるクラスタ全体に名前又は情報を付与するメタデータ付与作業（図２４Ｄ）等が挙げられる。【００２１】
このようなアノテーションを行うために必要なデータ処理装置１０００の処理構成例を、図２５を用いて説明する。図２５に示されるデータ処理装置１００は、クラスタ・要素対応表更新記録部１３００と、一時記録部１４００と、ユーザ改変操作検出部１５００とを備える。なお、クラスタ・要素対応表更新記録部１３００と一時記録部１４００との具体的な構成は、上記と同様である。また、図２５において、アノテーションの処理に直接関係のない構成要素は、図示を省略している。【００２２】
ユーザ改変操作検出部１５００は、ユーザによるアノテーション操作開始を検出すると、これをクラスタ・要素対応表更新記録部１３００に通知する。クラスタ・要素対応表更新記録部１３００は、上記の通知を受け取ると、一時記録部１４００から過去の分類結果であるクラスタ・要素対応表を読み出し、ユーザがどの要素データをどのように改変したのか把握できるようにしておく。【００２３】
次に、ユーザ改変操作検出部１５００は、実際にユーザがした改変内容を示す情報を、クラスタ・要素対応表更新記録部１３００に送信する。そして、クラスタ・要素対応表更新記録部１３００は、取得した改変内容を示す情報でクラスタ・要素対応表を更新し、一時記録部１４００に記録する。【００２４】
このような構成を採用することで、アノテーション結果を保存し、検索することができるようになる。【００２５】
一方実用上、大量のデータを自動分類するシステムにおいては、分類手法の問題だけでなく、分類した結果をいかに管理するかの問題も重要である。すなわち、自動分類した結果を、検索しやすい何らかの方法で管理し、検索時にすばやく提示することが求められる。すなわち、検索速度の速さが求められる。なお、検索速度の速さは、前述の逐次処理型分類手法で触れた分類結果の更新速度とも密接に関係する。すなわち、部分的な分類結果の更新を行う際に、該当データのみを取り出し、更新し、記録するという手順が必要なためである。【００２６】
もっとも、分類結果の更新速度向上のためには、部分的な分類結果の更新が可能なデータ管理方法が必要である。このような条件を満たすデータ管理の代表的な手法としては、階層的なツリー構造による方法が一般的に知られている。図２６に階層分類の例を示す。各分類クラスタは、階層構造で分類されており、比較的近いもの（似ているもの）は下位の階層で束ねられ、上位階層ではより大きな単位で分類されている。【００２７】
このような検索を行うために必要なデータ処理装置１００の構成例を、図２７を用いて説明する。図２７に示されるデータ処理装置１０００は、表示クラスタ決定部１６００と、クラスタ・要素関係検索部１７００と、表示部１８００と、一時記録部１４００とを備える。なお、一時記録部１４００の具体的な構成は、上記と同様である。また、図２７において、検索処理に直接関係のない構成要素は、図示を省略している。【００２８】
表示クラスタ決定部１６００は、ユーザの操作等に応じて表示するべきクラスタを決定し、クラスタ・要素関係検索部１７００にその情報を送信する。クラスタ・要素関係検索部１７００は、一時記録部１４００から過去の分類結果であるクラスタ・要素対応表を読み出し、入力された表示対象のクラスタをクエリとし、該当クラスタに帰属する要素データの検索を行う。そして、クラスタ・要素関係検索部１７００は、検索完了後、対象となる要素データの情報である表示要素情報を、表示部１８００に送信する。表示部１８００は、この表示要素情報をもとに、一時記録部１４００から該当要素データに関する情報である要素関連情報を表示する。【００２９】
このような構成を採用することで、検索の際、自動分類の結果及びアノテーションの結果を利用することができる。
【先行技術文献】
【特許文献】
【００３０】
【特許文献１】米国特許第７，２７４，８２２号明細書
【特許文献２】米国特許第７，４０３，６４２号明細書
【発明の概要】
【発明が解決しようとする課題】
【００３１】
しかしながら、逐次処理型自動分類とユーザによる手動での分類とを両立するデータ管理方法は、これまでなかった。【００３２】
米国特許第７，２７４，８２２号明細書及び米国特許第７，４０３，６４２号明細書では、フォルダ構成による画像データ管理方法を示しているが、逐次処理型に対応しているとはいえない。例えば、図２８に示すように、追加された要素データ群（Ｍ個、Ｎ個、Ｐ個を順次追加）それぞれに対しては、毎回その要素データ群内で閉じた自動分類が行われる。つまり、過去に分類した結果との整合およびマージ、及びユーザによる手動での分類修正結果との整合も自動的には実施されない。ユーザ自身の手により、過去の自動分類結果及びアノテーション結果との整合をとることができるのみである。なお、図２８は、左から右へ時系列順に並んだ処理が行われる様子を示している。【００３３】
このような処理構成では、例えば、新しい画像群を次々に追加していくような実使用環境において、自動分類は動作せず、ユーザによるマージ操作により大きく依存してしまう。その結果、大量データの整理において、自動分類手法によるアシスト効果は限定的となる。【００３４】
一方、図２９に示すように、毎回追加されたデータ群を自動分類する際、過去の自動分類結果を考慮し更新していく（逐次処理を実施する）。さらにその一方で、アノテーションも過去の結果を更新していく形態とすることが考えられる。この場合、２つの問題が生じる。１つは、過去の結果を受け継ぐことで、自動分類結果とアノテーション情報との整合が取れなくなることである。【００３５】
図３０にこのような問題が生じるときの例を示す。図３０では、過去の自動分類の結果、要素０がクラスタ０に、要素１、２がクラスタ１に、要素３、４がクラスタ２に、要素５がクラスタ３に分類されている。また、アノテーションの結果、クラスタ０とクラスタ１とが同一のクラスタであり、クラスタ２とクラスタ３とが同一のクラスタであると、ユーザによって修正されたとする。【００３６】
次に、新たな要素６が追加され、自動分類アルゴリズムに従い再クラスタ化しようとしたとき、近いものどうしをクラスタ化しようとするので、新たに要素１、要素３、要素６を含むクラスタ４が生成されると共に、要素０を含むクラスタ０と、要素２を含むクラスタ１と、要素４を含むクラスタ２と、要素５を含むクラスタ３とが結果として出力される。【００３７】
ここで過去のアノテーションでは、要素０、１、２が同一のクラスタに属し、要素３、４、５が同一のクラスタに属するような操作が行われた。そこで、新たに追加された要素６により、２つのクラスタ（要素０、要素１、要素２からなるクラスタと要素３、要素４、要素５からなるクラスタ）を統合するのがよいか、それとも２つのクラスタを分けるべきか、問題となる。【００３８】
前者のようにアノテーション結果を優先すると、大きいクラスタがどんどん生成されていってしまう可能性がある。一方、後者のように自動分類結果を優先すると、アノテーション結果を無視することにつながり、ユーザの印象を悪くする。また、クラスタ４をどう扱うべきかという問題も残る。このように、どのように整合を取るべきか一概に決めることはできない。【００３９】
次に、２つ目の問題として、追加された要素データを自動分類する際、もしくはユーザがアノテーション操作をした際の分類結果更新速度、又は過去の分類結果（クラスタと要素データとの関係）に基づく検索を行う際の速度が、著しく低下してしまうという問題がある。図３１及び図３２を用いてこの理由を説明する。なお、以降の説明は、図３０に示される例を前提として行う。【００４０】
図３１の左側の図は、自動分類の結果を表している。このとき、図３２の左側のようなクラスタ・要素対応表が得られる。次に、図３１の中央の図のようにアノテーションを行ったとする。アノテーションの結果を、このクラスタ・要素対応表に反映させようとすると、図３２の中央のように、下線つき斜字の箇所の書き換えが必要となる。変更対象となる要素データの数が多いほど、更新箇所は増えてしまう。更新に必要な処理は、該当要素データのソートとクラスタＩＤの書き換えである。【００４１】
次に、図３１の右側の図のように、新たな要素データが追加され自動分類されたときの、クラスタ・要素対応表の更新箇所を図３２の右側に示す。同じく必要な更新箇所を下線つき斜字に示す。この場合も同様に、要素データの追加（表の下部への追記）とクラスタＩＤの更新とが生じる。このように、クラスタ・要素対応表の更新が多発すると、更新対象とする要素データの数が多いときに処理速度が低下するという問題が起こる。さらに、これだけでなく、母数である要素データの総数（すなわち表の行数）が増えても、同様に処理速度が低下してしまうという問題が生じる。つまり大量データの分類が必要なケースでは、このデータ管理方法には問題がある。【００４２】
また、図３３に示すように、毎回追加された要素データ群を自動分類する際、過去のアノテーション結果のみを考慮し更新していく（逐次処理を実施する）形態とすることも考えられる。この場合、過去のアノテーション情報が次の自動分類に影響を与えてしまい、性能劣化の副作用が起こりうるという問題がある。この問題を、図３４を用いて説明する。図３４は、特徴空間上に要素データを配置した図を示している。【００４３】
図３４の左側の図は、過去の自動分類結果を示している。この自動分類結果に対して、例えば図３４の中央の図に示されるように、クラスタ０とクラスタ３とが同一クラスタであるとアノテーションされたとする。すると、自動分類結果にこのアノテーション結果を反映させるためには、図３４の右側の図のように、射影により空間を変形させる、つまり、旧クラスタ０と旧クラスタ３との距離が近いものとして扱わせるように空間変形することを意味する。これにより、以後自動分類結果はこのアノテーションの結果を反映していくことになるが、問題はこの変形に伴い、誤って分類される要素データも出現してくるということである。図３４右側の図には、本来どのクラスタにも属さない要素データだったものが、空間変形により、いずれかのクラスタに属するようになってしまった要素データを白丸で表現している。これらは誤分類である可能性が高く、空間変形による副作用ともいえる。【００４４】
例えば、顔画像の場合、同一人物の２つの顔が、日のあたり方の違いや顔の向きの違いなどにより、それぞれ距離の遠い座標へと配置されることが起こりうる。これをアノテーションにより同一クラスタとするため、空間を変形させる（もしくは射影させる）と、異なる人物の顔まで含んでしまう可能性が高い。【００４５】
図３５は、考えられうるもっとも単純な形態である。すなわち、要素データが追加されるたびに、アノテーション結果を破棄してしまう。しかしながらこのような処理方法では、ユーザにとって、アノテーションの動機を低くさせてしまうことにつながりかねず、あまりよい方法とはいえない。【００４６】
以上の問題点に鑑み、本発明は、逐次処理型自動分類とユーザによる手動での分類とを両立するためのデータ管理を実現するものであって、アノテーション結果と自動分類結果とを矛盾させることなく両立できるデータ処理装置を提供することを目的とする。
【課題を解決するための手段】
【００４７】
本発明の一形態に係るデータ処理装置は、要素データを分類する。具体的には、前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える。【００４８】
上記構成のように、データ処理装置による自動分類の結果をクラスタ・要素対応表に保持させ、アノテーションの結果をグループ・クラスタ対応表に保持させることにより、自動分類とアノテーションとの矛盾を防止することができる。【００４９】
一例として、前記所定の制約条件とは、既存のクラスタ同士を結合して新たなクラスタを生成することを禁止する条件であってもよい。他の例として、前記所定の制約条件とは、既存のクラスタの一部を分割して新たなクラスタを生成することを禁止する条件であってもよい。これにより、逐次追加される要素データを自動分類するとともに、ユーザによる手動での分類を両立できるような効率的なデータ管理方法を確立することが可能となる。その結果、大量データの分類を高い精度を保ちながらユーザアシストする機能を提供することが可能になる。【００５０】
また、前記自動分類処理部は、前記一時記録部から前記クラスタ毎の前記分類境界条件を読み出す分類境界条件読出部と、前記特徴抽出部で抽出された特徴量と、前記分類境界条件読出部で読み出された前記クラスタ毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属クラスタを判定する帰属クラスタ判定部と、前記帰属クラスタ判定部での判定結果に基づいて、前記データ管理部に前記クラスタ・要素対応表を更新させるクラスタ・要素ＩＤ管理部と、前記帰属クラスタ判定部での判定結果に基づいて、前記帰属クラスタの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する分類境界条件更新記録部とを備えてもよい。【００５１】
また、前記データ管理部は、前記新たに追加された要素データが既存のクラスタに属すると前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、当該既存のクラスタのクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記し、前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、新たに採番されたクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記する第１のクラスタ・要素対応表更新記録部と、前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、新たに採番された前記クラスタＩＤと、新たに採番されたグループＩＤとを対応付けて前記グループ・クラスタ対応表に追記するグループ・クラスタ対応表追記部とを備えてもよい。【００５２】
このように、データ管理部は、自動分類処理部による自動分類の結果を各対応表に反映させる場合に、各表に記録データを追記するだけでよいので、処理速度が向上する。また、過去の分類結果の変更（つまり、既存記録データの更新）を行わないので、自動分類とアノテーションとが矛盾するのを防止することができる。【００５３】
さらに、該データ処理装置は、前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部を備えてもよい。そして、前記データ管理部は、前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新してもよい。【００５４】
また、前記データ管理部は、前記ユーザ改変操作検出部によって検出された前記要素ＩＤに対応付けられた前記クラスタＩＤを前記クラスタ・要素対応表から抽出し、前記抽出されたクラスタＩＤと、前記ユーザ改変操作検出部によって検出されたグループＩＤとの前記グループ・クラスタ対応表上の対応関係を更新するグループ・クラスタ対応表更新記録部と、前記ユーザ改変操作検出部によって検出された前記グループＩＤと前記要素ＩＤとの対応関係の変更によって、前記クラスタＩＤと前記要素ＩＤとの対応関係を変更する必要が生じた場合にのみ、前記クラスタＩＤと前記要素ＩＤとの前記クラスタ・要素対応表上の対応関係を更新する第２のクラスタ・要素対応表更新記録部とを備えてもよい。【００５５】
また、該データ処理装置は、１以上のグループＩＤを含む表示グループ情報を生成する表示グループ決定部と、前記表示グループ情報に含まれる前記グループＩＤに対応付けられた前記クラスタＩＤを前記グループ・クラスタ対応表から抽出し、抽出された前記クラスタＩＤを含む表示クラスタ情報を生成するグループ・クラスタ関係検索部と、前記表示クラスタ情報に含まれる前記クラスタＩＤに対応付けられた前記要素ＩＤを前記クラスタ・要素対応表から抽出し、抽出された前記要素ＩＤを含む表示要素情報を生成するクラスタ・要素関係検索部と、前記表示要素情報に含まれる前記要素ＩＤで識別される前記要素データを前記一時記録部から読み出して表示する表示部とを備えてもよい。【００５６】
また、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合において、前記自動分類処理部は、前記帰属クラスタを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行してもよい。そして、該データ処理装置は、さらに、全ての前記要素データに対する処理が終了した後に、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする分類マージ部を備えてもよい。これにより、自動分類の際の分類境界条件の更新に制約条件を設けた場合でも、自動分類の性能が劣化するのを有効に防止することができる。【００５７】
本発明の一形態に係るデータ処理装置は、要素データを分類する。具体的には、前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部と、前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新するデータ管理部とを備える。【００５８】
本発明の一形態に係るデータ処理装置は、要素データを分類する。具体的には、前記要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部と、新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備える。前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行する。そして、該データ処理装置は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える。【００５９】
さらに、該データ処理装置は、複数の前記ユニットを含むクラスタを生成し、前記クラスタの境界を定める分類境界条件を決定するクラスタリング部を備えてもよい。そして、前記階層分類処理部は、前記特徴量を前記クラスタの分類境界条件と比較することによって、前記新たに追加された要素データが属すべき帰属クラスタを決定し、さらに、前記特徴量を前記帰属クラスタに含まれる前記複数のユニットそれぞれの分類境界条件と比較することによって、前記帰属ユニットを決定してもよい。これにより、分類境界条件を階層化して管理することができるので、自動分類の処理速度が向上する。【００６０】
また、前記階層分類処理部は、前記特徴抽出部で抽出された特徴量と、前記一時記録部から読み出した前記ユニット毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属ユニットを判定する帰属ユニット判定部と、前記帰属ユニット判定部での判定結果に基づいて、前記ユニット・要素対応表を更新するユニット・要素ＩＤ管理部と、前記帰属ユニット判定部での判定結果に基づいて、前記帰属ユニットの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する階層分類境界条件更新記録部とを備えてもよい。【００６１】
一例として、前記所定の制約条件とは、既存のユニット同士を結合して新たなユニットを生成することを禁止する条件、又は、既存のユニットの一部を分割して新たなユニットを生成することを禁止する条件であってもよい。【００６２】
本発明の一形態に係るデータ処理方法は、要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させる方法である。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを含む。【００６３】
本発明の他の形態に係るデータ処理方法は、要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させる方法である。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを含む。前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行する。そして、該データ処理方法は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを含む。【００６４】
本発明の一形態に係るプログラムは、要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させる。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させる。【００６５】
本発明の他の形態に係るプログラムは、要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させる。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させる。前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行する。そして、該プログラムは、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを前記データ処理装置に実行させる。【００６６】
本発明の一形態に係る集積回路は、要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に搭載される。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える。【００６７】
本発明の他の形態に係る集積回路は、要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に搭載される。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備える。前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行する。そして、該集積回路は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える。
【発明の効果】
【００６８】
本発明のように、逐次処理型自動分類とユーザによる手動での分類とを両立するためのデータ管理を実現することで、アノテーション結果と自動分類結果との矛盾を防止することができる。
【図面の簡単な説明】
【００６９】
【図１】図１は、本発明の実施の形態１に係るデータ処理装置のブロック構成図である。
【図２】図２は、本発明の実施の形態１のデータ処理装置の自動分類処理部の具体的なブロック構成図である。
【図３】図３は、本発明の実施の形態１のグループ／クラスタ／要素データの関係を示した図である。
【図４Ａ】図４Ａは、本発明の実施の形態１のグループ・クラスタ対応表を示す図である。
【図４Ｂ】図４Ｂは、本発明の実施の形態１のクラスタ・要素対応表を示す図である。
【図５】図５は、本発明の実施の形態１のクラスタ分類境界条件の更新を説明した概念図である。
【図６】図６は、本発明の実施の形態２のデータ処理装置のブロック構成図である。
【図７】図７は、本発明の実施の形態３のデータ処理装置のブロック構成図である。
【図８】図８は、本発明の実施の形態１〜３のデータ処理装置における処理手順のフロー図である。
【図９】図９は、本発明の実施の形態１〜３のデータ処理装置における分類経過の一例を示した図である。
【図１０】図１０は、本発明の実施の形態１〜３のデータ処理装置における分類結果の一例を、グループ・クラスタ対応表及びクラスタ・要素対応表で示した図である。
【図１１】図１１は、従来の構成における逐次階層分類によるデータ処理装置のブロック構成図である。
【図１２】図１２は、従来の構成における逐次階層分類によるデータ処理装置の処理フロー図である。
【図１３】図１３は、従来の構成における逐次階層分類によるデータ処理装置の自動分類性能を比較した図である。
【図１４】図１４は、本発明の実施の形態４のデータ処理装置のブロック構成図である。
【図１５】図１５は、本発明の実施の形態４のデータ処理装置の階層分類の概念図である。
【図１６】図１６は、本発明の実施の形態４のデータ処理装置の詳細なブロック構成図である。
【図１７】図１７は、本発明の実施の形態４のデータ処理装置の処理フロー図である。
【図１８】図１８は、本発明の実施の形態４のデータ処理装置の階層分類マージ部の処理イメージ図である。
【図１９】図１９は、本発明の実施の形態４のデータ処理装置の階層分類マージ部の処理イメージ図である。
【図２０】図２０は、本発明の実施の形態４のデータ処理装置の自動分類性能を示した図である。
【図２１Ａ】図２１Ａは、制約付き逐次更新法によって生成されたユニットの成長の過程を示す概念図である。
【図２１Ｂ】図２１Ｂは、制限付きマージ法によって生成されたユニットの成長の過程を示す概念図である。
【図２２】図２２は、従来の構成における逐次自動分類時のデータ処理装置のブロック構成図である。
【図２３】図２３は、従来の構成における逐次自動分類時のデータ処理装置の自動分類処理部の具体的なブロック構成図である。
【図２４Ａ】図２４Ａは、アノテーションの一例である分割作業を示す概念図である。
【図２４Ｂ】図２４Ｂは、アノテーションの一例である結合作業を示す概念図である。
【図２４Ｃ】図２４Ｃは、アノテーションの一例である除外作業を示す概念図である。
【図２４Ｄ】図２４Ｄは、アノテーションの一例であるメタデータ付与作業を示す概念図である。
【図２５】図２５は、従来の構成のアノテーション結果反映時のデータ処理装置のブロック構成図である。
【図２６】図２６は、従来の構成における階層分類の概念図である。
【図２７】図２７は、従来の構成のデータ検索時のデータ処理装置のブロック構成図である。
【図２８】図２８は、従来の構成のデータ処理装置における処理手順の一例を示すフロー図である。
【図２９】図２９は、従来の構成のデータ処理装置における処理手順の他の例を示すフロー図である。
【図３０】図３０は、図２９の処理手順における分類結果の例を示した図である。
【図３１】図３１は、図２９の処理手順における自動分類及びアノテーションの結果の例を示した図である。
【図３２】図３２は、図２９の処理手順におけるクラスタ・要素対応を示す図である。
【図３３】図３３は、従来の構成のデータ処理装置における処理手順のさらに他の例を示すフロー図である。
【図３４】図３４は、図３３の処理手順における課題を示した分類概念図である。
【図３５】図３５は、従来の構成のデータ処理装置における処理手順のさらに他の例を示すフロー図である。
【発明を実施するための形態】
【００７０】
以下、本発明の各実施の形態について図面を参照しながら説明する。
【００７１】
（実施の形態１）
本発明の実施の形態１におけるデータ処理装置について、図１〜図５を参照しながら説明する。
【００７２】
図１は、本実施の形態１に係るデータ処理装置１００を示したものであり、特に、自動分類を行う際に必要となる構成要素を示している。図１に示されるデータ処理装置１００は、特徴抽出部１と、自動分類処理部２と、クラスタ・要素対応表更新記録部３と、グループ・クラスタ対応表追記部４と、一時記録部５と、データ管理部６とを備える。なお、特徴抽出部１及び一時記録部５の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。
【００７３】
特徴抽出部１は、要素データの特徴量を抽出する。例えば、要素データとして人の顔の画像がデータ処理装置１００に入力されると、当該画像をＧａｂｏｒウェーブレット変換して、特徴量を抽出する。また、特徴抽出部１は、要素データ及び当該要素データの特徴量にユニークな要素ＩＤを付番して、一時記録部５に記録する。
【００７４】
自動分類処理部２は、追加要素の特徴量が特徴抽出部１で算出されると、一時記録部５から各クラスタの分類境界条件を読み出す。そして、追加要素の特徴量と各クラスタの分類境界条件とを比較することによって、追加要素がどのクラスタに属するか判定を行う。なお、分類境界条件とは、各クラスタの境界を定める条件であって、過去の分類結果によって決定される。
【００７５】
その後、自動分類処理部２は、追加要素の要素ＩＤとこれが帰属するクラスタ（帰属クラスタ）のクラスタＩＤとを含むクラスタ・要素対応情報を、クラスタ・要素対応表更新記録部３へと送信する。また、自動分類処理部２は、帰属クラスタに追加要素が含まれるように、帰属クラスタの分類境界条件を所定の制約条件に従って更新する。そして、自動分類処理部２は、変更が加えられたクラスタの分類境界条件と、追加要素の座標とを一時記録部５に記録する。詳細な処理構成例を、後に説明する。
【００７６】
クラスタ・要素対応表更新記録部３は、一時記録部５に記録されている過去のクラスタ・要素対応表を読み出し、自動分類処理部２から取得したクラスタ・要素対応情報に基づいて変更箇所についての更新を行う。そして、更新終了後、更新されたクラスタ・要素対応表を一時記録部５に記録する。さらに、要素データの追加に伴って新たにクラスタが発生した場合は、該当するクラスタの情報である追加クラスタ情報を、グループ・クラスタ対応表追記部４に送信する。
【００７７】
より具体的には、クラスタ・要素対応表更新記録部３は、新たに追加された要素データが既存のクラスタに属すると自動分類処理部２で決定された場合に、当該新たに追加された要素データの要素ＩＤと、当該既存のクラスタのクラスタＩＤとを対応付けてクラスタ・要素対応表に追記する。一方、新たに追加された要素データが既存のクラスタのいずれにも属しないと自動分類処理部２で決定された場合に、当該新たに追加された要素データの要素ＩＤと、新たに採番されたクラスタＩＤとを対応付けてクラスタ・要素対応表に追記する。
【００７８】
グループ・クラスタ対応表追記部４は、過去のアノテーション結果であるグループ・クラスタ対応表を一時記録部５から読み出し、新たに発生したクラスタ１つがそのまま１つのグループになるようグループＩＤを付番し、グループ・クラスタ対応表に追記する。そして、追記終了後、更新されたグループ・クラスタ対応表を一時記録部５に記録する。なお、データ管理部６は、クラスタ・要素対応表更新記録部３とグループ・クラスタ対応表追記部４とを包含したものである。
【００７９】
具体的には、グループ・クラスタ対応表追記部４は、新たに追加された要素データが既存のクラスタのいずれにも属しないと自動分類処理部２で決定された場合に、新たに採番されたクラスタＩＤと、新たに採番されたグループＩＤとを対応付けてグループ・クラスタ対応表に追記する。
【００８０】
一時記録部５には、要素データ及びその特徴量と、クラスタ・要素対応表と、分類境界条件と、グループ・クラスタ対応表とが記録されている。なお、一時記録部５の具体例は特に限定されないが、例えば、ハードディスク、光ディスク、半導体メモリなど、データを一時記憶できるあらゆる記録媒体を採用することができる。
【００８１】
グループ・クラスタ対応表は、例えば図４Ａに示されるように、ユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別されるグループに属するクラスタを識別するクラスタＩＤとを対応付けて保持している。クラスタ・要素対応表は、例えば図４Ｂに示されるように、データ処理装置１００によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別されるクラスタに属する要素データを識別する要素ＩＤとを対応付けて保持している。
【００８２】
図２は、自動分類処理部２のさらに詳細な構成を示したものである。図２に示される自動分類処理部２は、帰属クラスタ判定部７と、クラスタ・要素ＩＤ管理部８と、分類境界条件読出部９と、分類境界条件更新記録部１０とを備える。帰属クラスタ判定部７、分類境界条件読出部９の構成内容及び処理内容は、従来例に示すとおりであるが、ここの挙げた処理構成のみに限定するものではない。
【００８３】
帰属クラスタ判定部７は、特徴抽出部１で得られた追加要素の特徴量の特徴空間上における座標と、分類境界条件読出部９を通じて一時記録部５から読み出した過去のクラスタの分類境界条件とを入力とし、最も近いクラスタを帰属先のクラスタとして判定する。なお、入力された特徴量が、いずれのクラスタの分類境界条件に対しても、予め定めておいた距離よりも遠いと判定された場合、当該追加要素の帰属先のクラスタを新たに生成することで対応する。そして、帰属クラスタ判定部７は、追加要素の帰属クラスタをクラスタ・要素ＩＤ管理部８に通知する。
【００８４】
クラスタ・要素ＩＤ管理部８は、帰属クラスタ判定部７から取得した追加要素の帰属クラスタの情報に基づき、クラスタＩＤを決定する。例えば、追加要素が独立した新規のクラスタに属するべきと判定されれば、新たなクラスタＩＤを付番する。一方、既存のクラスタに属するべきと判定されれば、該当するクラスタＩＤを付番する。そしてその情報をクラスタ・要素対応情報としてデータ管理部６に送信し、クラスタ・要素対応表を更新させる。
【００８５】
分類境界条件更新記録部１０は、過去の分類結果であるクラスタ毎の分類境界条件を分類境界条件読出部９を通じて一時記録部５から読み出す。そして、追加要素が帰属するクラスタに関連する分類境界条件のみを修正する。例えば、クラスタＡとクラスタＢとの境界条件が存在しているが、クラスタＡとクラスタＣとは隣接しておらず、境界条件が存在していないとする。ここで、追加要素ａがクラスタＡに追加されると、クラスタＡとクラスタＢとの分類境界条件のみを、追加要素ａがクラスタＡに含まれるように修正する。分類境界条件の設定方法は、先に挙げた自動分類手法に依存する。そして、更新したクラスタ別の分類境界条件と、追加要素の帰属クラスタとを一時記録部５に記録する。
【００８６】
また、分類境界条件更新記録部１０は、追加要素が帰属するクラスタの分類境界条件を更新する際に、少なくとも２つの制約条件（「更新条件」ともいう。以下同じ。）に従って処理を実行する。具体的には、まず、既存のクラスタ同士を結合して新たなクラスタを生成することを禁止する。例えば、分類境界条件の更新前に帰属クラスタと異なる他のクラスタに属していた要素データが、分類境界条件の更新後に帰属クラスタに属することは許されない。次に、既存のクラスタの一部を分割して新たなクラスタを生成することを禁止する。例えば、分類境界条件の更新前に帰属クラスタに属していた要素データが、分類境界条件の更新後に帰属クラスタと異なる他のクラスタに属することは許されない。
【００８７】
このように、自動分類処理部２においては、既に分類の結果得られた過去のクラスタに要素データが追加されても、クラスタ自身が分割されたり、新たに既存クラスタどうしが結合されたりしないよう制限（更新条件）を加えている。ちなみに、追加要素自身により新たにクラスタが生成されることと、既存クラスタに追加要素が追加されることは認めている。
【００８８】
図３は、従来の要素データ、クラスタという概念に加えて、クラスタの上位にグループという概念を加えた概念図である。図４Ａは、グループＩＤとクラスタＩＤとの関係を示すグループ・クラスタ対応表の例を示す図である。図４Ｂは、クラスタＩＤと要素ＩＤとの関係を示すクラスタ・要素対応表の例を示す図である。
【００８９】
このように、図４Ａに示されるクラスタ・要素対応表には、自動分類の結果を保存する役割をもたせる。一方、図４Ｂに示されるグループ・クラスタ対応表には、アノテーションの結果を保存する役割を持たせる。このようにすることで、追加要素による自動再分類に対応することができる。加えて、図２の自動分類処理部２のように、追加の自動分類処理の際の更新条件（制約条件）を定めて、既に分類された結果を大きく変更せずに追加要素が帰属するクラスタに関連する情報のみを更新させる。これにより、自動分類処理の精度を大きく損ねることなく、その更新に要する分類ないしデータ管理の演算量を削減することができる。
【００９０】
図５は、分類境界条件更新記録部１０における更新の様子を示した概念図である。図５は、特徴空間上に要素データが追加された際、その追加要素が帰属するクラスタの分類境界条件を更新する必要があることを示している。この図５のように、帰属するクラスタの分類境界条件のみを更新するだけでなく、隣接するクラスタとの関係を考慮し、分類境界条件を決定する手法を用いてもよい。その際、各クラスタを構成する要素データの座標によって、分類境界条件を決める手法が一般的である（例えば、ＳＶＭにおけるサポート・ベクターなど）。
【００９１】
（実施の形態２）
本発明の実施の形態２に係るデータ処理装置２００について、図６を参照しながら説明する。
【００９２】
図６は、本実施の形態２に係るデータ処理装置２００を示したものであり、特に、アノテーションを行う際に必要となる構成要素を示している。図６に示されるデータ処理装置２００は、ユーザ改変操作検出部１１と、グループ・クラスタ対応表更新記録部１２と、クラスタ・要素対応表更新記録部３と、一時記録部５とを備える。クラスタ・要素対応表更新記録部３の構成内容は、実施の形態１に示すとおりである。また、データ管理部６は、クラスタ・要素対応表更新記録部３とグループ・クラスタ対応表更新記録部１２とを包含したものである。さらに、ユーザ改変操作検出部１１及び一時記録部５の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。
【００９３】
ユーザ改変操作検出部１１は、ユーザによるアノテーション操作の開始を検出すると、これをグループ・クラスタ対応表更新記録部１２及びクラスタ・要素対応表更新記録部３に通知する。ユーザ改変操作検出部１１からの通知を受けると、グループ・クラスタ対応表更新記録部１２は一時記録部５から過去の分類結果であるグループ・クラスタ対応表を、クラスタ・要素対応表更新記録部３は一時記録部５から過去の分類結果であるクラスタ・要素対応表をそれぞれ読み出し、ユーザがどの要素データをどのように改変したのか把握できるようにしておく。
【００９４】
そして、ユーザ改変操作検出部１１は、実際に改変した内容をグループ・クラスタ・要素対応情報として、グループ・クラスタ対応表更新記録部１２に送信する。例えば、データ処理装置２００は、グループ・クラスタ対応表及びクラスタ・要素対応表に基づいて、グループと当該グループに属する要素データとの関係を表示部（図６では図示省略）に表示する。そして、ユーザ改変操作検出部１１は、ユーザにグループと要素データとの対応関係を変更させる。そして、ユーザ改変操作検出部１１は、ユーザによる改変操作の結果を、グループ・クラスタ・要素対応情報としてグループ・クラスタ対応表更新記録部１２に送信する。
【００９５】
グループ・クラスタ対応表更新記録部１２は、ユーザ改変操作検出部１１から取得したグループ・クラスタ・要素対応情報に基づいて、グループ・クラスタ対応表を更新し、一時記録部５に記録する。具体的には、グループ・クラスタ対応表更新記録部１２は、ユーザ改変操作検出部１１によって検出された要素ＩＤに対応付けられたクラスタＩＤをクラスタ・要素対応表から抽出する。そして、抽出されたクラスタＩＤと、ユーザ改変操作検出部１１によって検出されたグループＩＤとのグループ・クラスタ対応表上の対応関係を更新する。また、グループ・クラスタ対応表更新記録部１２は、更新すべきクラスタ・要素対応情報をクラスタ・要素対応表更新記録部３に送信する。具体的には、グループ・クラスタ対応表更新記録部１２は、ユーザ改変操作検出部１１によって検出されたグループＩＤと要素ＩＤとの対応関係の変更によって、クラスタＩＤと要素ＩＤとの対応関係を変更する必要が生じた場合に、その変更内容をクラスタ・要素対応情報としてクラスタ・要素対応表更新記録部３に送信する。
【００９６】
クラスタ・要素対応表更新記録部３は、グループ・クラスタ対応表更新記録部１２から取得したクラスタ・要素対応情報に基づいて、クラスタ・要素対応表を更新し、一時記録部５に記録する。
【００９７】
このように、要素データ、クラスタという概念に加えて、クラスタの上位にグループという概念を加える。そして、クラスタ・要素対応表には自動分類の結果を保存する役割をもたせ、グループ・クラスタ対応表にはアノテーションの結果を保存する役割を持たせるようにする。これにより、追加要素による自動再分類に対応しつつ、アノテーション結果を簡単に更新することができるようになる。
【００９８】
（実施の形態３）
本発明の実施の形態３に係るデータ処理装置３００について、図７〜図１０を参照しながら説明する。
【００９９】
図７は、本実施の形態３に係るデータ処理装置３００を示したものであり、特に、データ検索の際に必要な構成要素を示している。図７に示されるデータ処理装置３００は、表示グループ決定部１３と、グループ・クラスタ関係検索部１４と、クラスタ・要素関係検索部１５と、表示部１６と、一時記録部５とを備える。クラスタ・要素関係検索部１５、表示部１６、及び一時記録部５の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。
【０１００】
表示グループ決定部１３は、ユーザの操作等に応じて表示するべきグループを決定し、グループ・クラスタ関係検索部１４に、表示対象となる１以上のグループのグループＩＤを含む表示グループ情報を送信する。例えば、データ処理装置３００は、グループの一覧を表示部１６に表示し、ユーザに表示すべきグループを選択させてもよい。
【０１０１】
グループ・クラスタ関係検索部１４は、一時記録部５から過去の分類結果であるグループ・クラスタ対応表を読み出す。そして、入力された表示対象のグループのグループＩＤをクエリとし、グループ・クラスタ対応表から該当グループに帰属するクラスタのクラスタＩＤを検索し、抽出する。検索完了後、グループ・クラスタ関係検索部１４は、表示対象となるクラスタのクラスタＩＤを含む表示クラスタ情報をクラスタ・要素関係検索部１５に送信する。
【０１０２】
クラスタ・要素関係検索部１５は、一時記録部５から過去の分類結果であるクラスタ・要素対応表を読み出す。そして、入力された表示対象のクラスタのクラスタＩＤをクエリとし、クラスタ・要素対応表から該当クラスタに帰属する要素データの要素ＩＤを検索し、抽出する。検索完了後、表示対象となる要素データの要素ＩＤを含む表示要素情報を表示部１６に送信する。
【０１０３】
表示部１６は、クラスタ・要素関係検索部１５から取得した表示要素情報をもとに、一時記録部５から読み出した該当要素データに関する情報である要素関連情報を表示する。
【０１０４】
このように、要素データ、クラスタという概念に加えて、クラスタの上位にグループという概念を加える。さらに、クラスタ・要素対応表には自動分類の結果を保存する役割をもたせ、グループ・クラスタ対応表にはアノテーションの結果を保存する役割を持たせる。このようにすることで、追加要素による自動再分類に対応し、なおかつアノテーション結果を簡単に更新できると共に、容易に所望のグループに関するデータを検索することができるようになる。
【０１０５】
図８に、逐次処理における自動分類とアノテーションの処理のフローを示す。なお図８は、図２８、図２９、図３３、および図３５と同様に、左から右へ時系列順に並んだ処理が行われる様子を示している。これまでに示すような処理を行うことで、逐次自動分類とアノテーションとの整合をとりつつ、管理データの更新及び検索に要する時間を大きく削減することができる。具体的には、実施の形態１で述べたように、既存クラスタに対する更新条件を設定し、なおかつ実施の形態１、２、３で述べたように自動分類結果とアノテーション結果とを分けて２重管理を行う。
【０１０６】
図９は、自動分類において更新条件を設け、グループという概念を新たに導入したことで、従来の図３０及び図３１の条件下において、分類結果がどのように変わるかを表したものである。図１０は、グループという概念を新たに導入したことで、グループ・クラスタ対応表とクラスタ・要素対応表との更新部分が、従来の構成の図３２の場合と比較してどれだけ削減されたかを示す図である。
【０１０７】
図９及び図１０を参照して、データ処理装置１００による自動分類処理と、データ処理装置２００によるアノテーション処理とを詳しく説明する。なお、上記の説明では、自動分類処理を実行するデータ処理装置１００と、アノテーション処理を実行するデータ処理装置２００とを別装置として説明したが、これらを同一の装置として構成することができることは、言うまでもない。
【０１０８】
まず、データ処理装置１００は、５つの要素データ（要素０〜５）の入力を受け付け、これらを自動分類したものとする。自動分類結果を図９の左側の図及び図１０の左側の表に示す。具体的には、図９の左側の図及び図１０の左側のクラスタ・要素対応表に示されるように、要素０をクラスタ０に、要素１、２をクラスタ１に、要素３、４をクラスタ２に、要素５をクラスタ３に帰属させている。また、現時点ではアノテーションが実行されていないので、図１０の左側のグループ・クラスタ対応表に示されるように、グループＩＤとクラスタＩＤとは、１対１に対応付けられている。
【０１０９】
次に、データ処理装置２００のユーザ改変操作検出部１１は、ユーザによるアノテーション操作を検出する。ここでは、ユーザが要素０、１、２をグループ０に、要素３、４、５をグループ１に帰属させたとする。ユーザ改変操作検出部１１は、ユーザが指定した要素データとグループとの対応関係を、グループ・クラスタ・要素対応情報としてグループ・クラスタ対応表更新記録部１２に送信する。
【０１１０】
グループ・クラスタ対応表更新記録部１２は、ユーザ改変操作検出部１１から取得したグループ・クラスタ・要素対応情報に基づいて、一時記録部５から読み出したグループ・クラスタ対応表を更新する。
【０１１１】
具体的には、まず、操作の対象となる要素データの要素ＩＤに対応付けられたクラスタＩＤをクラスタ・要素対応表から抽出する。上記の例では、要素０を含むクラスタ０と、要素１、２を含むクラスタ１とが抽出される。次に、抽出されたクラスタ０、１が同一のグループ０に属するように、グループ・クラスタ対応表上の対応関係を更新する。同様に、要素３、４を含むクラスタ２と、要素５を含むクラスタ３とが同一のグループ１に属するように、グループ・クラスタ対応表上の対応関係を更新する。これにより、図１０の中央に示すグループ・クラスタ対応表が得られる。
【０１１２】
次に、グループ・クラスタ対応表更新記録部１２は、ユーザの改変操作によって、クラスタＩＤと要素ＩＤとの対応関係を変更する必要が生じたか否かを判断する。上記の例では、クラスタＩＤと要素ＩＤとの対応関係を変更する必要はない。一方、クラスタＩＤと要素ＩＤとの対応関係の変更が必要な場合、新たな対応関係を示すクラスタ・要素対応情報をクラスタ・要素対応表更新記録部３に送信する。
【０１１３】
クラスタ・要素対応表更新記録部３は、グループ・クラスタ対応表更新記録部１２からクラスタ・要素対応情報を受信した場合（すなわち、クラスタＩＤと要素ＩＤとの対応関係を変更する必要が生じた場合）にのみ、一時記録部５から読み出したクラスタ・要素対応表を更新する。
【０１１４】
次に、データ処理装置１００に新たな要素６が入力されると、特徴抽出部１で当該要素６の特徴量が抽出され、帰属クラスタ判定部７で要素６の帰属クラスタが判定される。この例では、要素６がクラスタ１に帰属するものとする。クラスタ・要素ＩＤ管理部８は、帰属クラスタ判定部７の判定結果に基づいて、クラスタ１と要素６との対応関係を示すクラスタ・要素対応情報をクラスタ・要素対応表更新記録部３に送信する。
【０１１５】
また、分類境界条件更新記録部１０は、要素６がクラスタ１に帰属したことに伴って、クラスタ１の分類境界条件を更新する。更新後の分類境界条件は、新たに追加された要素６を含み、且つ制約条件に従ったものとなる。つまり、クラスタ１に要素６が含まれ、且つ更新前に他のクラスタ０、２、３に属していた要素０、３、４、５がクラスタ１に属するようになったり、更新前にクラスタ１に属していた要素１、２がクラスタ１から外れたりすることがないように、分類境界条件が更新される。
【０１１６】
一方、クラスタ・要素対応表更新記録部３は、クラスタ・要素ＩＤ管理部８から取得したクラスタ・要素対応情報に基づいて、クラスタ１と要素６との対応関係をクラスタ・要素対応表に追記する。これにより、図１０の右側に示すクラスタ・要素対応表が得られる。また、新たに追加された要素６が既存のクラスタのいずれにも帰属しなかった場合には、追加クラスタ情報がクラスタ・要素対応表更新記録部３からグループ・クラスタ対応表追記部４に送信され、グループ・クラスタ対応表追記部４によってグループ・クラスタ対応表が更新される。しかしながら、上記の例では、グループ・クラスタ対応表の更新の必要はない。
【０１１７】
このように、まずアノテーションに際しては、ユーザの操作によって生じたグループＩＤの付け替えがグループ・クラスタ対応表で生じるのみで、クラスタ・要素対応表の書き換えは必要ない。また従来例で述べたような、すべての要素データについて所属クラスタのＩＤを書き換える必要がなく、高速な更新動作が期待できる。また、要素データが追加されたときについては、更新条件を設定しているため、新たに追加された要素データについてのみ、クラスタ・要素対応表に追記するだけでよく、グループ・クラスタ対応表の更新は発生していない。
【０１１８】
なお、追加要素がこの例に示すように、既存クラスタへの追加ではなく、新たなクラスタを生成した場合については、グループ・クラスタ対応表に更新が発生するが、該当クラスタとそれに対応する新規グループＩＤの１行を追記するのみでよく、やはり従来例に示すような、すべての要素データについての所属クラスタのＩＤ書き換えは発生せず、高速な更新動作が期待できる。検索速度についても、グループ、クラスタ、及び要素データの２階層としていることから、従来例で示した１階層よりも、一般的に高速な検索となる場合が多い。
【０１１９】
（実施の形態４）
図１１は、実施の形態４の比較例としてのデータ処理装置２０００を示したものであり、特に、実施の形態３に示すデータ管理方法と階層的なツリー分類方法とを組み合わせたときの分類処理を実行する際に必要となる構成要素を示す図である。
【０１２０】
図１１に示されるデータ処理装置２０００は、特徴抽出部１１００と、帰属クラスタ判定部１２１０と、クラスタ・要素ＩＤ管理部１２５０と、分類境界条件読出部１２４０と、階層分類境界条件更新記録部１２６０と、階層分類部１２０１と、一時記録部１４００とを備える。特徴抽出部１１００、帰属クラスタ判定部１２１０、分類境界条件読出部１２４０、及び一時記録部１４００の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。また、クラスタ・要素ＩＤ管理部１２５０は、実施の形態１の構成に準じる。
【０１２１】
階層分類部１２０１は、特徴抽出部１１００で追加要素の特徴量が算出されると、一時記録部１４００からこれまでの過去の分類結果である各クラスタの分類境界条件と、全要素データの特徴空間上の座標情報を読み出し、追加要素がどのクラスタに属するか判定を行う。その後、新たな要素データを追加したことに応じて過去の分類結果に修正を加え、変更が加えられたクラスタの分類境界条件と、追加要素の座標とを一時記録部１４００に記録する。詳細な処理構成例を以下説明する。
【０１２２】
階層分類に適用する際の帰属クラスタ判定部１２１０の具体的な方法は、以下のとおりである。まず、帰属クラスタ判定部１２１０は、図２６に示す過去の階層自動結果に対して、入力された追加要素がどちらの枝に近いのか、逐次上位階層から各ノードでの階層分類境界条件に基づいて判定を行っていき、最下位層までマッチングを行っていく。このようにして、最終的に帰属すべき最も近いクラスタを判定する。なお、階層分類境界条件は、分類境界条件読出部１２４０を通じて一時記録部１４００から読み出しておく。また、帰属クラスタ判定部１２１０は、判定した帰属すべきクラスタ情報を、階層分類境界条件更新記録部１２６０に出力すると同時に、一時記録部１４００に記録する。
【０１２３】
階層分類境界条件の具体的な例としては、それぞれのノードにおいて、各集団の下位構成要素を考慮し、１つは特徴空間上に分布する確率密度関数を各集団別に用意しておく手法が考えられる。この場合、要素データの座標を入力して得られた確率密度が最も高い集団に属するよう、逐次階層別に判定していくことになる。このほかにも、確率密度ではなく距離判定を行うものであってもよい。例えば、それぞれのノードにおいて、各集団の下位の構成要素を考慮し、要素データの座標を入力すると、各集団との距離が算出される。この場合の距離算出方法は、ユークリッド距離、マハラノビス距離、マンハッタン距離など、どの手法を用いてもよい。
【０１２４】
階層分類境界条件更新記録部１２６０は、追加要素の特徴空間上の座標とその帰属クラスタとをクラスタ・要素ＩＤ管理部１２５０から取得し、以前の分類境界条件を分類境界条件読出部１２４０から取得する。そして、追加要素が属する各階層の集団の確率密度関数もしくは距離計算式を更新する。最後に、更新後の分類境界条件を、一時記録部１４００に記録する。
【０１２５】
図１２は、図１１のようなデータ処理装置２０００を用いたときの、データ追加時の動作フローを示している。より具体的には、Ｍ個の要素データ（第１の要素データ群）に対して分類処理を実行し（Ｓ１１〜Ｓ１４）、その後、Ｎ個の要素データ（第２の要素データ群）に対して分類処理を実行する（Ｓ２１〜Ｓ２５）様子を示している。
【０１２６】
まず、Ｍ個の逐次階層分類において、要素データを逐次追加し、自動分類していく（Ｓ１１）。また、要素データを追加するたびに、分類境界条件を更新する（Ｓ１２）。すべての追加要素を分類処理した後（Ｓ１３でＹｅｓ）、階層分類結果である追加要素の帰属クラスタの情報とクラスタ別の分類境界条件の情報とを、一時記録部１４００に記録する（Ｓ１４）。その後、Ｎ個のデータを追加する際には、一時記録部１４００に記録した階層分類結果を読み出し（Ｓ２１）、引き続きＮ個の自動分類処理を行う（Ｓ２２〜Ｓ２４）。同じく、すべての追加要素を分類処理した後（Ｓ２４でＹｅｓ）は、階層分類結果である追加要素の帰属クラスタの情報とクラスタ別の分類境界条件の情報とを、一時記録部５に記録する（Ｓ２５）。これを繰り返していく。
【０１２７】
このような構成を採用することで、データが逐次追加される場合においても、追加分の分類処理のみを行うだけで、過去の自動分類の結果を保持しつつ、新たな追加データの自動分類結果を反映させることができる。また、階層構造をとることにより、毎回過去の分類結果におけるすべてのクラスタとのマッチングを行う必要がなく、階層の数だけマッチングを行うだけでよいため、分類の処理負荷が小さい。また、新規追加された要素データが所属する集団の各階層の分類境界条件を更新するだけでよいため、更新時の処理負荷も小さくてすむ。
【０１２８】
しかしながら、実施の形態１〜３に記すような分類の制約条件（更新条件）を設定することにより、自動分類の性能がやや劣化するという問題があった。
【０１２９】
図１３は、同じ階層分類手法（距離計算法）、顔特徴量抽出法を用いた顔分類アルゴリズムを構築し、分類の制約条件（更新条件）を設定した場合と設定しない場合との２つの自動分類結果を比較したものである。評価用データとして２つの写真データセット（家族写真セット２つ、それぞれ３００個の顔含む）を用意する。
【０１３０】
１つ目（図１３の上段）は、図１２に示すフローのように、１００個の顔を追加した後に２００個の顔を追加するというように、２回に分けて自動分類を行い、階層分類の際に更新条件を設定した場合の正解率を表している。２つ目（図１３の下段）は、更新条件を設定せず、３００個の顔を一気に自動分類した場合の正解率を表している。なお、正解率とは、同一人物を示す各要素データ（この場合顔）が同一人物のクラスタに分類された場合を正解とし、そうでない場合を不正解として、正解顔数を全顔数で割った数値である。
【０１３１】
図１３を参照すれば、更新条件ありの場合の正解率が、更新条件なしの場合と比較して４〜５％ほど低下しているのがわかる。ここでの実験では、１００個の顔を追加した後に２００個の顔を追加するというように、第２のデータ群（２００個の顔）を追加した後に求めた正解率のため、データ群の追加を複数回行うと、さらに性能が劣化していくことが予想される。
【０１３２】
例えば、１０００個の顔を一気に自動分類した場合と、１００個の顔を追加する処理を１０回繰り返した場合との正解率の差は、後者のほうが大きく劣化してしまうことが予想される。なお、前者の方式の場合、自動分類の対象となる要素データ数がどんどん増えていくため、演算量が増えていってしまう。つまり逐次処理を行わないということを意味しており、演算量増加という別の問題があることを付記しておく。
【０１３３】
以上の問題点に鑑み、以下に説明する本実施の形態４は、逐次処理型自動分類とユーザによる手動での分類とを両立しつつ、自動分類の性能を毎回すべての過去の要素データを分類しなおした場合と同等の性能に維持するためのデータ処理を実現するものである。
【０１３４】
本発明の実施の形態４に係るデータ処理装置４００について、図１４〜図２０を参照しながら説明する。なお、実施の形態４における「ユニット」とは、実施の形態１〜３における「クラスタ」の下位概念に相当する、自動分類結果の小単位を示すものとする。
【０１３５】
図１４は、本実施の形態４に係るデータ処理装置４００を示したものであり、特に自動分類の際に必要となる構成要素を示している。図１４に示されるデータ処理装置４００は、特徴抽出部１と、自動分類処理部２と、帰属ユニット判定部１７と、ユニット・要素ＩＤ管理部１８と、分類境界条件更新部１９と、分類マージ部２０と、クラスタリング部２１と、データ管理部６と、一時記録部５とを備える。特徴抽出部１及び一時記録部５の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。また、データ管理部６、帰属ユニット判定部１７、及びユニット・要素ＩＤ管理部１８は、実施の形態１に係るデータ管理部６、帰属クラスタ判定部７、及びクラスタ・要素ＩＤ管理部８の構成に準じるものであり、「クラスタ」を「ユニット」と読み替えた違いのみである。
【０１３６】
上記構成のデータ処理装置４００に、各々が２以上の要素データを含む第１及び第２の要素データ群が入力された場合において、自動分類処理部２は、帰属クラスタを決定する処理と分類境界条件を更新する処理とを、第１及び第２の要素データ群それぞれに対して独立して実行する。
【０１３７】
分類マージ部２０は、全ての要素データに対する処理が終了した後に、第１及び第２の要素データ群それぞれに対する処理で更新された分類境界条件をマージする。クラスタリング部２１は、複数のユニットを含むクラスタを生成し、クラスタの境界を定める分類境界条件を決定する。
【０１３８】
図１５に、階層分類手法におけるユニットとクラスタとの関係を示す。ここで分類とは、比較的小単位で区切られた集団（ユニット）に分類することである。一方、クラスタリングとは、この小分類の集団（ユニット）を、大分類（クラスタ）化した結果を出力することを指す。分類マージ部２０は、ある任意の距離尺度ａより小さい範囲を一つの小集団（ユニット）とする。クラスタリング部２１は、距離尺度ａより大きい距離尺度ｂより小さい範囲を大分類（クラスタ）とする。
【０１３９】
ここで距離尺度ａは固定であるが、距離尺度ｂは例えばユーザにより可変値を設定できるようにしておく。こうすることで、自動分類の結果は小さな単位（ユニット）で常に過去の要素データも含めてその分類された結果が保存され続ける。また、自動分類処理が実行されるときにどの程度の尺度で分類を行うかを、つど判定できるようになる。さらに、つどすべての要素データを再分類することなく、過去の小分類結果を利用して大分類化しなおすだけになるため、追加分類処理を行うときの演算量を減らすことができる。
【０１４０】
本実施の形態４に係る自動分類処理部２は、逐次処理に対応した構成であり、追加要素の特徴量が算出されると、これまで追加された複数の要素データの中で閉じた分類結果に基づいて、どのクラスタに属するかを逐次判定していく。すべての追加要素の入力が終わり、分類結果が出そろうと、その結果を分類マージ部２０に送信する。以下、その内部処理の流れを説明する。
【０１４１】
帰属ユニット判定部１７は、特徴抽出部１から取得した追加要素の特徴空間上の座標と、分類境界条件更新部１９から取得した分類境界条件とを入力とし、最も近いユニットを帰属ユニットとして判定する。ここで分類境界条件更新部１９から取得した分類境界条件とは、追加された複数の要素データの中で閉じた、直前までのユニットの分類境界条件である。ただし、一回に追加される複数の要素データで閉じた分類を行うため、最初に追加された要素データを分類する際には分類境界条件はない。そして、要素データを追加するたびに分類境界条件更新部１９にて分類境界条件が設定されなおされ、それを帰属ユニット判定部１７が逐次読み出しては該要素データの帰属先を判定する。さらに、判定された結果を受けて、階層分類境界条件更新部２２で分類境界条件が設定されなおされる、ということを繰り返す。
【０１４２】
そして、追加要素がなくなった段階で、最新の分類境界条件を分類マージ部２０に送信する。なお、帰属ユニットの判定にあたり、いずれのユニットに対しても、予め定めておいた距離よりも遠いと判定された場合、帰属先のユニットを新たに生成することで対応する。
【０１４３】
ユニット・要素ＩＤ管理部１８は、追加要素の帰属するべきユニット情報に基づき、ユニットＩＤを決定する。例えば、追加要素が独立した新規のユニットに属するべきと判定されれば、新たなユニットＩＤを付番する。また、既存のユニットに属するべきと判定されれば、該当するユニットＩＤを付番する。そしてその情報を、分類境界条件更新部１９に送信する。
【０１４４】
分類境界条件更新部１９は、追加された複数の要素データの中で閉じた、直前までのユニットの分類境界条件を更新する。具体的には、追加要素が帰属するクラスタに関連する分類境界条件のみ修正する。例えば、クラスタＡとクラスタＢとの境界条件が存在しているが、クラスタＡとクラスタＣとは隣接しておらず、境界条件が存在していないとする。ここで、追加要素ａがクラスタＡに追加されると、クラスタＡとクラスタＢとの分類境界条件のみを修正する。分類境界条件の設定方法は、先に挙げた自動分類手法に依存する。そして、更新したクラスタ別の分類境界条件と、追加要素の帰属クラスタとを一時記録部５に記録する。
【０１４５】
なお、本実施の形態４の自動分類処理部２では、実施の形態１と同様、既に分類の結果得られた過去のクラスタに新たに要素データが追加されても、クラスタ自身が分割されたり、また新たに既存クラスタ同士が結合されたりしないよう制限（更新条件）を加える。具体的には、分類境界条件更新部１９でそのような制限を加えることになる。なお、追加要素自身により新たにクラスタが生成されることと、既存クラスタに追加要素が追加されることは認めている。
【０１４６】
分類マージ部２０は、すべての追加要素の入力が終わり、分類結果が出そろうと、追加された複数の要素データにおけるユニット別の分類境界条件と、一時記録部５から読み出した以前までの分類結果であるユニット別の分類境界条件とをマージし、新しいユニット別の分類境界条件を算出し、一時記録部５に記録する。そして、追加された要素データとその要素データが帰属するユニットの情報とを、クラスタリング部２１に送信する。
【０１４７】
クラスタリング部２１は、分類マージ部２０から出力された最新のユニット・要素対応情報に基づき、クラスタリングを行う。ここでいうクラスタリングとは、前述のように、小分類の集団（ユニット）に基づき、大分類化した結果を出力することを指す。
【０１４８】
図１６は、実施の形態４に係るデータ処理装置４００の構成要素のうち、自動分類処理部２を階層分類処理部２４に置き換え、分類境界条件更新部１９を階層分類境界条件更新部２２に置き換え、分類マージ部２０を階層分類処理部２４に置き換えたデータ処理装置５００の構成を示したものである。なお、階層分類境界条件更新部２２、及び階層分類マージ部２３以外の構成要素は、先に説明した図１４の構成に準じる。
【０１４９】
図１６に示されるデータ処理装置５００では、分類境界条件を階層化して管理する。具体的には、図１５に示されるように、ユニット０、１、２それぞれの境界条件を定める分類境界条件を下位の分類境界条件とし、ユニット０、１、２を含むクラスタ０の境界を定める分類境界条件を上位の分類境界条件とする。ユニット３、４、５とクラスタ１、２との分類境界条件の関係も同様である。
【０１５０】
そして、階層分類処理部２４の帰属ユニット判定部１７は、追加要素の帰属ユニットを判定する際に、上位の分類境界条件から順に比較する。例えば、帰属ユニット判定部１７は、まず、追加要素の特徴量とクラスタ０の分類境界条件（上位の分類境界条件）とを比較することによって、追加要素がクラスタ０に帰属すべきか否かを判定する。そして、追加要素がクラスタ０に帰属すべきと判定された場合、帰属ユニット判定部１７は、追加要素の特徴量とユニット０、１、２それぞれの分類境界条件（下位の分類境界条件）とを比較することによって、追加要素がユニット０、１、２のいずれに帰属するかを判定する。
【０１５１】
また、階層分類処理部２４の階層分類境界条件更新部２２は、追加要素が帰属するユニット及びクラスタの分類境界条件のみを更新する。例えば、上記の例で、追加要素がユニット１に帰属すると判定された場合、階層分類境界条件更新部２２は、クラスタ０の分類境界条件、及びユニットの１の分類境界条件のみを更新する。
【０１５２】
上記の構成によれば、追加要素の特徴量と分類境界条件との比較回数を削減することができる。同様に、分類境界条件の更新回数も削減することができる。
【０１５３】
以下、帰属ユニット判定部１７、ユニット・要素ＩＤ管理部１８、階層分類境界条件更新部２２、及び階層分類マージ部２３の詳細な処理内容を、図１７〜図１９を用いて説明する。図１７は、本願の実施の形態４における図１４及び図１６のようなデータ処理装置４００、５００を用いたときの、データ追加時の動作フローを示している。図１２と比較されたい。図１２との相違点は、追加された要素データ群ごとに閉じた階層自動分類を実施しておき（Ｓ１１〜Ｓ１３、Ｓ２２〜Ｓ２４）、自動分類処理後に階層分類結果をマージする（Ｓ３２）という点と、自動分類処理及び分類結果のマージ後に、クラスタリング処理を行う（Ｓ３１、Ｓ３３）という点である。
【０１５４】
図１８に分類結果をマージするときの概念図を示す。このように、初回のＭ個の要素データ（第１の要素データ群）の分類処理と、次のＮ個の要素データ（第２の要素データ群）の分類処理とを独立して実行する。次に、独立して実行された２つの分類処理の結果を比較し、各ユニット間の距離が任意の距離より小さい場合、各ユニットはマージされる。ユニット間の距離算出方法については、最近隣法、最遠隣法、群平均法、加重平均法、重心法、重み付き重心法、ウォード法などが挙げられるが、どの手法を用いてもよい。
【０１５５】
例えば、図１８に示されるように、新たに追加された要素データにより構成されたユニット１０に着目し、ユニット１０とユニット０との距離、ユニット１０とユニット１との距離、及びユニット１０とユニット２との距離をそれぞれ求め、最も近いユニットを求める。これをユニット１１、ユニット１２についても繰り返す。この方法では、すべてのユニット間距離を算出する必要があるので、演算処理コストがかかる。
【０１５６】
図１９は、さらに階層化分類の考え方を採用したときの具体的な分類マージ方法を示したものである。図１９の左上の図は、Ｍ個の要素データを自動分類によって３つのユニット０、１、２に分類し、さらにクラスタリングによってユニット１、２を含むクラスタを生成した状態を示している。このとき、ユニット０とクラスタとの境界を定める境界条件０−０と、ユニット１とユニット２との境界を定める境界条件１−０とが決まることを示している。また、図１９の左下の図に示すように、境界条件０−０は最上位階層の分類境界条件を示しており、ユニット０とユニット１及びユニット２（つまり、クラスタ）との境界を示している。一方、境界条件１−０は、下の階層の分類境界条件を示しており、ユニット１とユニット２との境界を示している。
【０１５７】
さて、次にＮ個の追加要素が入力され、自動分類処理を行った結果、図１６の右上の図の丸で囲んだ領域に示すようなユニット１０、１１、１２が得られたとする。これらのユニット単位で、過去の階層分類境界条件と比較し、それぞれ追加されるユニット１０、１１、１２がどのユニット０、１、２とマージされるかを決定する。
【０１５８】
例えば、この図の上位ノードの場合、ユニット１０とユニット１及びユニット２（つまり、クラスタ）の距離、及びユニット１０とユニット０との距離を、前記距離計算法により算出し、近いほうの下位層に判定が移る。この場合すぐにユニット０に当たるため、ユニット１０はユニット０とマージされるべきと判断される。このようにしてすべての追加データについてのユニット分類を行った後、ユニットをマージし、各階層の分類境界条件を更新する。
【０１５９】
上記の方法を採用すれば、マージされたユニットに関係する階層の分類境界条件のみ更新すればよい。図１８で説明した、すべてのユニットとの距離を求める場合と比較して、マージ対象の探索及び更新にかかる演算処理コストがより低くすむ。
【０１６０】
図２０に、本実施の形態４のデータ分類方法を用いて顔の分類を行ったときの性能を示す。前述の図１３で説明したように、図２０の３つの手法すべてにおいて、同じ階層分類手法（距離計算法）、顔特徴量抽出法を用いた顔分類アルゴリズムを構築し、評価用データとして図１３と同じ２つの写真データセット（家族写真セット２つ、それぞれ３００個の顔を含む）を用いた。本実施の形態４の結果を表の一番上の段に追加している。
【０１６１】
図２０を参照すれば明らかなように、本実施の形態４では、分類の制約（更新条件）を設定している。また正解率の定義も、従来例で記したとおりである。このように本実施の形態４の場合、すべての顔画像を一気に分類した場合に相当する更新条件なし・全処理手法とほぼ同等の性能が得られており、更新条件あり・逐次処理継続手法に比べて、４〜５％ほど性能向上していることがわかる。
【０１６２】
図２１Ａ及び図２１Ｂに、本実施の形態４において性能が回復した理由の考察を示す。図２１Ａに示される制約つき逐次更新法（図２０の真ん中の行）の場合、要素データの追加順序によっては、ユニットがいびつに成長していってしまう可能性が高いと考えられる。一方、図２１Ｂに示される制約条件つきマージ法（本実施の形態４）の場合、新たに追加したデータがユニット単位でマージされていくため、いびつな形状でマージされる可能性が少ないと考えられる。
【０１６３】
ユニットがいびつになると、特徴空間上でユニットが入り組んだ状態になってしまう。そしてこのような場合、一般的に、分類精度は低下すると考えられている。これが一般的な逐次更新法の欠点であると考えられる。一方、本実施の形態４では、この逐次更新法の決定が少ないことがわかる。
【０１６４】
本発明にかかるデータ処理装置およびデータ処理方法は、自動的に分類処理された結果とその結果を手入力で修正（アノテーション）した結果とを、分けてデータ管理及び更新することで、逐次自動分類結果とアノテーション情報の双方を引き継ぐことができる。また、データ管理処理の軽量化を実現することができる。また、そのデータ管理方法を採用したとき、追加したデータ群ごとに独立して閉じた分類処理を行い、分類処理後に分類結果どうしをマージすることで、アノテーション結果と自動分類結果を矛盾させることなく、なおかつ逐次入力される場合であっても劣化しない分類性能を実現する。
【０１６５】
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１６６】
上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１６７】
上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１６８】
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１６９】
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１７０】
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【０１７１】
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１７２】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。
【０１７３】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１７４】
上記実施の形態をそれぞれ組み合わせてもよい。
【０１７５】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【０１７６】
これらの構成は、大量のデータを自動的に分類し、なおかつその精度をユーザの手によるアノテーション操作で保障するような、例えば、民生用写真整理装置、検索装置、又は研究用データベース構築装置など、様々な分野において有用である。
【符号の説明】
【０１７７】
１，１１００  特徴抽出部
２，１２００  自動分類処理部
３，１３００  クラスタ・要素対応表更新記録部
４  グループ・クラスタ対応表追記部
５，１４００  一時記録部
６  データ管理部
７，１２１０  帰属クラスタ判定部
８，１２５０  クラスタ・要素ＩＤ管理部
９，１２４０  分類境界条件読出部
１０，１２３０  分類境界条件更新記録部
１１，１５００  ユーザ改変操作検出部
１２  グループ・クラスタ対応表更新記録部
１３  表示グループ決定部
１４  グループ・クラスタ関係検索部
１５，１７００  クラスタ・要素関係検索部
１６，１８００  表示部
１７  帰属ユニット判定部
１８  ユニット・要素ＩＤ管理部
１９  分類境界条件更新部
２０  分類マージ部
２１  クラスタリング部
２２  階層分類境界条件更新部
２３  階層分類マージ部
２４  階層分類処理部
１２０１  階層分類部
１２２０  近傍クラスタ再分類部
１２６０  階層分類境界条件更新記録部
１６００  表示クラスタ決定部
１００，２００，３００，４００，５００，１０００，２０００  データ処理装置
【図１】
2010125781.tif 000003
【図２】
2010125781.tif 000004
【図３】
2010125781.tif 000005
【図４Ａ】
2010125781.tif 000006
【図４Ｂ】
2010125781.tif 000007
【図５】
2010125781.tif 000008
【図６】
2010125781.tif 000009
【図７】
2010125781.tif 000010
【図８】
2010125781.tif 000011
【図９】
2010125781.tif 000012
【図１０】
2010125781.tif 000013
【図１１】
2010125781.tif 000014
【図１２】
2010125781.tif 000015
【図１３】
2010125781.tif 000016
【図１４】
2010125781.tif 000017
【図１５】
2010125781.tif 000018
【図１６】
2010125781.tif 000019
【図１７】
2010125781.tif 000020
【図１８】
2010125781.tif 000021
【図１９】
2010125781.tif 000022
【図２０】
2010125781.tif 000023
【図２１Ａ】
2010125781.tif 000024
【図２１Ｂ】
2010125781.tif 000025
【図２２】
2010125781.tif 000026
【図２３】
2010125781.tif 000027
【図２４Ａ】
2010125781.tif 000028
【図２４Ｂ】
2010125781.tif 000029
【図２４Ｃ】
2010125781.tif 000030
【図２４Ｄ】
2010125781.tif 000031
【図２５】
2010125781.tif 000032
【図２６】
2010125781.tif 000033
【図２７】
2010125781.tif 000034
【図２８】
2010125781.tif 000035
【図２９】
2010125781.tif 000036
【図３０】
2010125781.tif 000037
【図３１】
2010125781.tif 000038
【図３２】
2010125781.tif 000039
【図３３】
2010125781.tif 000040
【図３４】
2010125781.tif 000041
【図３５】
2010125781.tif 000042
【手続補正書】
【提出日】平成22年8月4日(2010.8.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
要素データが追加されるたびに逐次自動分類を実行すると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える
データ処理装置。
【請求項２】
前記所定の制約条件は、逐次自動分類された結果とユーザによる手動分類の結果の整合を保つためのものであり、逐次自動分類の際、既存のクラスタ同士を結合して新たなクラスタを生成することを禁止する条件である
請求項１に記載のデータ処理装置。
【請求項３】
前記所定の制約条件は、逐次自動分類された結果とユーザによる手動分類の結果の整合を保つためのものであり、逐次自動分類の際、既存のクラスタの一部を分割して新たなクラスタを生成することを禁止する条件である
請求項１又は２に記載のデータ処理装置。
【請求項４】
前記自動分類処理部は、
前記一時記録部から前記クラスタ毎の前記分類境界条件を読み出す分類境界条件読出部と、
前記特徴抽出部で抽出された特徴量と、前記分類境界条件読出部で読み出された前記クラスタ毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属クラスタを判定する帰属クラスタ判定部と、
前記帰属クラスタ判定部での判定結果に基づいて、前記データ管理部に前記クラスタ・要素対応表を更新させるクラスタ・要素ＩＤ管理部と、
前記帰属クラスタ判定部での判定結果に基づいて、前記帰属クラスタの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する分類境界条件更新記録部とを備える
請求項１〜３のいずれか１項に記載のデータ処理装置。
【請求項５】
前記データ管理部は、
前記新たに追加された要素データが既存のクラスタに属すると前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、当該既存のクラスタのクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記し、前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、新たに採番されたクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記する第１のクラスタ・要素対応表更新記録部と、
前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、新たに採番された前記クラスタＩＤと、新たに採番されたグループＩＤとを対応付けて前記グループ・クラスタ対応表に追記するグループ・クラスタ対応表追記部とを備える
請求項１〜４のいずれか１項に記載のデータ処理装置。
【請求項６】
該データ処理装置は、さらに、前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部を備え、
前記データ管理部は、前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新する
請求項１〜５のいずれか１項に記載のデータ処理装置。
【請求項７】
前記データ管理部は、
前記ユーザ改変操作検出部によって検出された前記要素ＩＤに対応付けられた前記クラスタＩＤを前記クラスタ・要素対応表から抽出し、前記抽出されたクラスタＩＤと、前記ユーザ改変操作検出部によって検出されたグループＩＤとの前記グループ・クラスタ対応表上の対応関係を更新するグループ・クラスタ対応表更新記録部と、
前記ユーザ改変操作検出部によって検出された前記グループＩＤと前記要素ＩＤとの対応関係の変更によって、前記クラスタＩＤと前記要素ＩＤとの対応関係を変更する必要が生じた場合にのみ、前記クラスタＩＤと前記要素ＩＤとの前記クラスタ・要素対応表上の対応関係を更新する第２のクラスタ・要素対応表更新記録部とを備える
請求項６に記載のデータ処理装置。
【請求項８】
該データ処理装置は、
１以上のグループＩＤを含む表示グループ情報を生成する表示グループ決定部と、
前記表示グループ情報に含まれる前記グループＩＤに対応付けられた前記クラスタＩＤを前記グループ・クラスタ対応表から抽出し、抽出された前記クラスタＩＤを含む表示クラスタ情報を生成するグループ・クラスタ関係検索部と、
前記表示クラスタ情報に含まれる前記クラスタＩＤに対応付けられた前記要素ＩＤを前記クラスタ・要素対応表から抽出し、抽出された前記要素ＩＤを含む表示要素情報を生成するクラスタ・要素関係検索部と、
前記表示要素情報に含まれる前記要素ＩＤで識別される前記要素データを前記一時記録部から読み出して表示する表示部とを備える
請求項１〜７のいずれか１項に記載のデータ処理装置。
【請求項９】
各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合において、
前記自動分類処理部は、前記帰属クラスタを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理装置は、さらに、全ての前記要素データに対する処理が終了した後に、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする分類マージ部を備える
請求項１〜８のいずれか１項に記載のデータ処理装置。
【請求項１０】
要素データが追加されるたびに逐次自動分類を実行すると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、
前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部と、
前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新するデータ管理部とを備える
データ処理装置。
【請求項１１】
要素データが追加されるたびに逐次自動分類を実行すると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部と、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備え、
前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理装置は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える
データ処理装置。
【請求項１２】
該データ処理装置は、さらに、複数の前記ユニットを含むクラスタを生成し、前記クラスタの境界を定める分類境界条件を決定するクラスタリング部を備え、
前記階層分類処理部は、前記特徴量を前記クラスタの分類境界条件と比較することによって、前記新たに追加された要素データが属すべき帰属クラスタを決定し、さらに、前記特徴量を前記帰属クラスタに含まれる前記複数のユニットそれぞれの分類境界条件と比較することによって、前記帰属ユニットを決定する
請求項１１に記載のデータ処理装置。
【請求項１３】
前記階層分類処理部は、
前記特徴抽出部で抽出された特徴量と、前記一時記録部から読み出した前記ユニット毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属ユニットを判定する帰属ユニット判定部と、
前記帰属ユニット判定部での判定結果に基づいて、前記ユニット・要素対応表を更新するユニット・要素ＩＤ管理部と、
前記帰属ユニット判定部での判定結果に基づいて、前記帰属ユニットの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する階層分類境界条件更新記録部とを備える
請求項１１又は１２に記載のデータ処理装置。
【請求項１４】
前記所定の制約条件は、逐次自動分類された結果とユーザによる手動分類の結果の整合を保つためのものであり、逐次自動分類の際、既存のユニット同士を結合して新たなユニットを生成することを禁止する条件、又は、既存のユニットの一部を分割して新たなユニットを生成することを禁止する条件である
請求項１１〜１３のいずれか１項に記載のデータ処理装置。
【請求項１５】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データが追加されるたびに逐次自動分類を実行させると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理方法であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを含む
データ処理方法。
【請求項１６】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データが追加されるたびに逐次自動分類を実行させると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理方法であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを含み、
前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理方法は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを含む
データ処理方法。
【請求項１７】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データが追加されるたびに逐次自動分類を実行させると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なプログラムであって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させる
プログラム。
【請求項１８】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データが追加されるたびに逐次自動分類を実行させると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なプログラムであって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させ、
前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該プログラムは、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを前記データ処理装置に実行させる
プログラム。
【請求項１９】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に搭載される集積回路であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える
集積回路。
【請求項２０】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に搭載される集積回路であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備え、
前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該集積回路は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える
集積回路。
【手続補正書】
【提出日】平成22年12月6日(2010.12.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、逐次入力されるデータを自動的に分類し、かつその結果を手入力で修正（アノテーション）できることを前提にしたデータ処理装置もしくはその処理方法に関するものである。
【背景技術】
【０００２】
従来、データを自動的に分類する手法として、事前学習データを用いてデータを認識して分類する方法と、事前学習データを用いずにデータを分類する方法とが知られている。いずれも複数次元の特徴量をデータから抽出し、特徴量の比較を行うことで実現する。
【０００３】
事前学習の一例として、分類グループごとに学習データの分布情報から確率分布を算出しておき、入力データがどの分類グループに帰属するのかを判定する方法（例えばベイズ推定）がある。他の例として、学習データの分布情報を複数のガウス分布の重なりに近似し、入力データがどの分類グループに帰属するのかを判定する方法（例えば、Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌなど）がある。さらに他の例として、分類グループ間の境界を学習データの分布情報から設定しておき、入力データがどの分類グループに帰属するのかを判定する方法（例えばＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅなど）がある。これらの手法は、自動分類を実現する前に、あらかじめ人の手による学習のためのデータを用意する必要があり、その登録作業は煩雑である。
【０００４】
一方、事前学習データを用いずにデータを自動分類する手法としては、さまざまなクラスタリング手法が知られている。クラスタリングは、データそのものの分布の濃淡から、データを分類していくものである。具体的なクラスタリング手法としては、あらかじめ分類数を指定して分類するｋ−ｍｅａｎｓ法、又は入力パターン群の類似度に応じて、分類する能力を自律的に獲得していくニューラルネットワークである自己組織化マップ法（ＳＯＭ）などがある。
【０００５】
データの自動分類には、逐次処理型の学習及び分類を要求する場合も多い。例えば、ｋ−ｍｅａｎｓ法に基づくＬＢＧ（Ｌｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ）アルゴリズムなどが知られている。このＬＢＧアルゴリズムは、例えば、音声信号又は画像信号の情報圧縮のために、各ベクトルをどの代表ベクトルで代表させるかを適応的にコードとして記述するベクトル量子化などに応用されている。ただし実用的には、ＬＢＧアルゴリズムはデータを繰返し処理して代表ベクトルを見つける手法であるため、逐次処理とはいえ、かなりの処理時間を要するという問題がある。一般的に、分類精度と、逐次処理時の分類結果の更新速度とは、トレードオフの関係にある。
【０００６】
このような自動分類手法を実際に用いるときの処理構成例を、図２２及び図２３を用いて説明する。図２２は、自動分類を行い、その結果を一時記録部に記録するデータ処理装置１００のブロック図である。具体的には、図２２に示されるデータ処理装置１０００は、特徴抽出部１１００と、自動分類処理部１２００と、クラスタ・要素対応表更新記録部１３００と、一時記録部１４００とを備える。
【０００７】
特徴抽出部１１００は、新たに追加される要素データ（以下「追加要素」ともいう）が入力されると、その特徴空間上の座標を算出するために特徴抽出処理を行う。例えば、顔画像の分類の場合、顔の特徴量を表すＧａｂｏｒウェーブレット特徴量などが挙げられる。これらの特徴量ならびに追加要素に関する情報は、対応関係が明確になるように一時記録部１４００に記録されて、管理される。
【０００８】
自動分類処理部１２００は、追加要素の特徴量が算出されると、一時記録部１４００からこれまでの過去の分類結果である各クラスタの分類境界条件と、近傍クラスタに属する全要素データの特徴空間上の座標情報とを読み出し、追加要素がどのクラスタに属するか判定を行う。そして、自動分類処理部１２００は、追加要素の情報（更新対象要素）と、当該追加要素が帰属するクラスタの情報（帰属クラスタ）とを、クラスタ・要素対応表更新記録部１３００に送信する。
【０００９】
その後、自動分類処理部１２００は、追加要素の追加をしたことに応じて過去の分類結果を修正する。そして、自動分類処理部１２００は、変更が加えられたクラスタの分類境界条件と、追加要素の座標を加えたこれまでの全要素データの座標データとを、一括して一時記録部１４００に記録する。詳細な処理構成例を、後に説明する。
【００１０】
クラスタ・要素対応表更新記録部１３００は、一時記録部１４００に記録されている過去のクラスタ・要素対応表を読み出し、変更箇所についての更新を行い、更新された対応表を一時記録部１４００に記録する。
【００１１】
図２３は、自動分類処理部１２００の詳細な処理および構成例を示す図である。図２３に示される自動分類処理部１２００は、帰属クラスタ判定部１２１０と、近傍クラスタ再分類部１２２０と、分類境界条件読出部１２４０と、分類境界条件更新記録部１２３０とを備える。
【００１２】
帰属クラスタ判定部１２１０は、追加要素が入力されると、分類境界条件読出部１２４０を通じて、一時記録部１４００から過去のクラスタの分類境界条件を読み出し、追加要素が各クラスタとどれだけ近いかマッチング処理を行う。マッチング処理の方法は、先に挙げた事前学習データを用いずにデータを逐次自動分類するｋ−ｍｅａｎｓ法に基づくＬＢＧアルゴリズムが挙げられる。他にも、逐次処理に対応したＳＶＭ（サポート・ベクター・マシーン）又は階層的自動分類手法などを用いてもよい。分類境界条件とは、例えばＳＶＭであればクラスタ間の分類境界面を表す関数に相当し、階層的自動分類手法であれば各階層・各ノードでの分岐条件に相当する。又は、事前学習データを用いる方式のＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）のように、各クラスタが特徴空間上に分布する確率密度関数をもつような形態も考えられうる。つまり、新たな要素データを対象としたときに、どのクラスタに属するべきかの判定条件を示す情報であれば、特にその形態を問わない。
【００１３】
近傍クラスタ再分類部１２２０は、帰属クラスタ判定部１２１０で得られた追加要素の特徴空間上の座標と、そのマッチング結果とを入力とし、追加要素の近傍クラスタを抽出する。近傍か否かの判定には、任意の距離指標を予め設定しておき、この距離より小さい場合には近傍クラスタであると判定する。この近傍クラスタに帰属する要素データをすべて一時記録部１４００から読み出し、追加要素とともに再分類を行う。
【００１４】
分類境界条件更新記録部１２３０は、再分類の結果得られた各要素データの帰属するクラスタ情報と、一時記録部１４００から読み出した各要素データの座標とに基づいて、近傍クラスタ間の分類境界条件及び既存クラスタとの分類境界条件を更新し、一時記録部１４００に記録する。また、再分類の結果、修正が加わった要素データについては、当該要素データと最終帰属クラスタの情報とをクラスタ・要素対応表更新記録部１３００に送信する。
【００１５】
なお、近傍クラスタ再分類部１２２０において、追加要素がいずれのクラスタに対しても、予め定めておいた距離指標よりも遠いと判定された場合、当該要素データが属する新たなクラスタを生成し、同様に分類境界条件更新記録部１２３０で分類境界条件の更新を行う。
【００１６】
一時記録部１４００は、ハードディスク、光ディスク、半導体メモリなど、データを一時記憶できるものを用いる。
【００１７】
このような構成を採用することで、データが逐次追加される場合においても、過去の自動分類の結果を保持しつつ、新たな追加データの自動分類結果も反映させることができる。
【００１８】
なお、このようなデータ自動分類方法は統計的手法を用いていることから、１００％の分類精度結果ということは通常ありえず、結果を確率論的に推定できるにすぎない。そのため、用途に応じて、得られる結果の解釈をうまく処理する必要がある。さらに、自動分類後の結果をユーザ自身が手動で修正することを前提にしたシステム構成とすることで、データ自動分類を「大量データをユーザが手動分類する際のアシスト」として位置づけるシステムも存在する。
【００１９】
例えば、顔画像分類の場合、米国特許第７，２７４，８２２号明細書及び米国特許第７，４０３，６４２号明細書は、精度よく効率的に顔写真をアノテーション（ユーザの手入力による分類修正）するための自動分類手法、及びそのユーザーインターフェースに関して記述されている。例えば、アノテーションの例を図２４Ａ〜図２４Ｄに示す。
【００２０】
図２４Ａ〜図２４Ｄでは、分類対象である要素データを黒丸で、分類結果を線で表現している。以後、分類された結果の単位をクラスタと称する。そして、アノテーションの具体例としては、分類結果として得られた１つのクラスタを２つに分割する分割作業（図２４Ａ）、２つのクラスタを１つに結合する結合作業（図２４Ｂ）、１つのクラスタから任意の要素データを除外して無所属化する除外作業（図２４Ｃ）、及びあるクラスタ全体に名前又は情報を付与するメタデータ付与作業（図２４Ｄ）等が挙げられる。
【００２１】
このようなアノテーションを行うために必要なデータ処理装置１０００の処理構成例を、図２５を用いて説明する。図２５に示されるデータ処理装置１００は、クラスタ・要素対応表更新記録部１３００と、一時記録部１４００と、ユーザ改変操作検出部１５００とを備える。なお、クラスタ・要素対応表更新記録部１３００と一時記録部１４００との具体的な構成は、上記と同様である。また、図２５において、アノテーションの処理に直接関係のない構成要素は、図示を省略している。
【００２２】
ユーザ改変操作検出部１５００は、ユーザによるアノテーション操作開始を検出すると、これをクラスタ・要素対応表更新記録部１３００に通知する。クラスタ・要素対応表更新記録部１３００は、上記の通知を受け取ると、一時記録部１４００から過去の分類結果であるクラスタ・要素対応表を読み出し、ユーザがどの要素データをどのように改変したのか把握できるようにしておく。
【００２３】
次に、ユーザ改変操作検出部１５００は、実際にユーザがした改変内容を示す情報を、クラスタ・要素対応表更新記録部１３００に送信する。そして、クラスタ・要素対応表更新記録部１３００は、取得した改変内容を示す情報でクラスタ・要素対応表を更新し、一時記録部１４００に記録する。
【００２４】
このような構成を採用することで、アノテーション結果を保存し、検索することができるようになる。
【００２５】
一方実用上、大量のデータを自動分類するシステムにおいては、分類手法の問題だけでなく、分類した結果をいかに管理するかの問題も重要である。すなわち、自動分類した結果を、検索しやすい何らかの方法で管理し、検索時にすばやく提示することが求められる。すなわち、検索速度の速さが求められる。なお、検索速度の速さは、前述の逐次処理型分類手法で触れた分類結果の更新速度とも密接に関係する。すなわち、部分的な分類結果の更新を行う際に、該当データのみを取り出し、更新し、記録するという手順が必要なためである。
【００２６】
もっとも、分類結果の更新速度向上のためには、部分的な分類結果の更新が可能なデータ管理方法が必要である。このような条件を満たすデータ管理の代表的な手法としては、階層的なツリー構造による方法が一般的に知られている。図２６に階層分類の例を示す。各分類クラスタは、階層構造で分類されており、比較的近いもの（似ているもの）は下位の階層で束ねられ、上位階層ではより大きな単位で分類されている。
【００２７】
このような検索を行うために必要なデータ処理装置１００の構成例を、図２７を用いて説明する。図２７に示されるデータ処理装置１０００は、表示クラスタ決定部１６００と、クラスタ・要素関係検索部１７００と、表示部１８００と、一時記録部１４００とを備える。なお、一時記録部１４００の具体的な構成は、上記と同様である。また、図２７において、検索処理に直接関係のない構成要素は、図示を省略している。
【００２８】
表示クラスタ決定部１６００は、ユーザの操作等に応じて表示するべきクラスタを決定し、クラスタ・要素関係検索部１７００にその情報を送信する。クラスタ・要素関係検索部１７００は、一時記録部１４００から過去の分類結果であるクラスタ・要素対応表を読み出し、入力された表示対象のクラスタをクエリとし、該当クラスタに帰属する要素データの検索を行う。そして、クラスタ・要素関係検索部１７００は、検索完了後、対象となる要素データの情報である表示要素情報を、表示部１８００に送信する。表示部１８００は、この表示要素情報をもとに、一時記録部１４００から該当要素データに関する情報である要素関連情報を表示する。
【００２９】
このような構成を採用することで、検索の際、自動分類の結果及びアノテーションの結果を利用することができる。
【先行技術文献】
【特許文献】
【００３０】
【特許文献１】米国特許第７２７４８２２号明細書
【特許文献２】米国特許第７４０３６４２号明細書
【発明の概要】
【発明が解決しようとする課題】
【００３１】
しかしながら、逐次処理型自動分類とユーザによる手動での分類とを両立するデータ管理方法は、これまでなかった。
【００３２】
米国特許第７２７４８２２号明細書及び米国特許第７４０３６４２号明細書では、フォルダ構成による画像データ管理方法を示しているが、逐次処理型に対応しているとはいえない。例えば、図２８に示すように、追加された要素データ群（Ｍ個、Ｎ個、Ｐ個を順次追加）それぞれに対しては、毎回その要素データ群内で閉じた自動分類が行われる。つまり、過去に分類した結果との整合およびマージ、及びユーザによる手動での分類修正結果との整合も自動的には実施されない。ユーザ自身の手により、過去の自動分類結果及びアノテーション結果との整合をとることができるのみである。なお、図２８は、左から右へ時系列順に並んだ処理が行われる様子を示している。
【００３３】
このような処理構成では、例えば、新しい画像群を次々に追加していくような実使用環境において、自動分類は動作せず、ユーザによるマージ操作により大きく依存してしまう。その結果、大量データの整理において、自動分類手法によるアシスト効果は限定的となる。
【００３４】
一方、図２９に示すように、毎回追加されたデータ群を自動分類する際、過去の自動分類結果を考慮し更新していく（逐次処理を実施する）。さらにその一方で、アノテーションも過去の結果を更新していく形態とすることが考えられる。この場合、２つの問題が生じる。１つは、過去の結果を受け継ぐことで、自動分類結果とアノテーション情報との整合が取れなくなることである。
【００３５】
図３０にこのような問題が生じるときの例を示す。図３０では、過去の自動分類の結果、要素０がクラスタ０に、要素１、２がクラスタ１に、要素３、４がクラスタ２に、要素５がクラスタ３に分類されている。また、アノテーションの結果、クラスタ０とクラスタ１とが同一のクラスタであり、クラスタ２とクラスタ３とが同一のクラスタであると、ユーザによって修正されたとする。
【００３６】
次に、新たな要素６が追加され、自動分類アルゴリズムに従い再クラスタ化しようとしたとき、近いものどうしをクラスタ化しようとするので、新たに要素１、要素３、要素６を含むクラスタ４が生成されると共に、要素０を含むクラスタ０と、要素２を含むクラスタ１と、要素４を含むクラスタ２と、要素５を含むクラスタ３とが結果として出力される。
【００３７】
ここで過去のアノテーションでは、要素０、１、２が同一のクラスタに属し、要素３、４、５が同一のクラスタに属するような操作が行われた。そこで、新たに追加された要素６により、２つのクラスタ（要素０、要素１、要素２からなるクラスタと要素３、要素４、要素５からなるクラスタ）を統合するのがよいか、それとも２つのクラスタを分けるべきか、問題となる。
【００３８】
前者のようにアノテーション結果を優先すると、大きいクラスタがどんどん生成されていってしまう可能性がある。一方、後者のように自動分類結果を優先すると、アノテーション結果を無視することにつながり、ユーザの印象を悪くする。また、クラスタ４をどう扱うべきかという問題も残る。このように、どのように整合を取るべきか一概に決めることはできない。
【００３９】
次に、２つ目の問題として、追加された要素データを自動分類する際、もしくはユーザがアノテーション操作をした際の分類結果更新速度、又は過去の分類結果（クラスタと要素データとの関係）に基づく検索を行う際の速度が、著しく低下してしまうという問題がある。図３１及び図３２を用いてこの理由を説明する。なお、以降の説明は、図３０に示される例を前提として行う。
【００４０】
図３１の左側の図は、自動分類の結果を表している。このとき、図３２の左側のようなクラスタ・要素対応表が得られる。次に、図３１の中央の図のようにアノテーションを行ったとする。アノテーションの結果を、このクラスタ・要素対応表に反映させようとすると、図３２の中央のように、下線つき斜字の箇所の書き換えが必要となる。変更対象となる要素データの数が多いほど、更新箇所は増えてしまう。更新に必要な処理は、該当要素データのソートとクラスタＩＤの書き換えである。
【００４１】
次に、図３１の右側の図のように、新たな要素データが追加され自動分類されたときの、クラスタ・要素対応表の更新箇所を図３２の右側に示す。同じく必要な更新箇所を下線つき斜字に示す。この場合も同様に、要素データの追加（表の下部への追記）とクラスタＩＤの更新とが生じる。このように、クラスタ・要素対応表の更新が多発すると、更新対象とする要素データの数が多いときに処理速度が低下するという問題が起こる。さらに、これだけでなく、母数である要素データの総数（すなわち表の行数）が増えても、同様に処理速度が低下してしまうという問題が生じる。つまり大量データの分類が必要なケースでは、このデータ管理方法には問題がある。
【００４２】
また、図３３に示すように、毎回追加された要素データ群を自動分類する際、過去のアノテーション結果のみを考慮し更新していく（逐次処理を実施する）形態とすることも考えられる。この場合、過去のアノテーション情報が次の自動分類に影響を与えてしまい、性能劣化の副作用が起こりうるという問題がある。この問題を、図３４を用いて説明する。図３４は、特徴空間上に要素データを配置した図を示している。
【００４３】
図３４の左側の図は、過去の自動分類結果を示している。この自動分類結果に対して、例えば図３４の中央の図に示されるように、クラスタ０とクラスタ３とが同一クラスタであるとアノテーションされたとする。すると、自動分類結果にこのアノテーション結果を反映させるためには、図３４の右側の図のように、射影により空間を変形させる、つまり、旧クラスタ０と旧クラスタ３との距離が近いものとして扱わせるように空間変形することを意味する。これにより、以後自動分類結果はこのアノテーションの結果を反映していくことになるが、問題はこの変形に伴い、誤って分類される要素データも出現してくるということである。図３４右側の図には、本来どのクラスタにも属さない要素データだったものが、空間変形により、いずれかのクラスタに属するようになってしまった要素データを白丸で表現している。これらは誤分類である可能性が高く、空間変形による副作用ともいえる。
【００４４】
例えば、顔画像の場合、同一人物の２つの顔が、日のあたり方の違いや顔の向きの違いなどにより、それぞれ距離の遠い座標へと配置されることが起こりうる。これをアノテーションにより同一クラスタとするため、空間を変形させる（もしくは射影させる）と、異なる人物の顔まで含んでしまう可能性が高い。
【００４５】
図３５は、考えられうるもっとも単純な形態である。すなわち、要素データが追加されるたびに、アノテーション結果を破棄してしまう。しかしながらこのような処理方法では、ユーザにとって、アノテーションの動機を低くさせてしまうことにつながりかねず、あまりよい方法とはいえない。
【００４６】
以上の問題点に鑑み、本発明は、逐次処理型自動分類とユーザによる手動での分類とを両立するためのデータ管理を実現するものであって、アノテーション結果と自動分類結果とを矛盾させることなく両立できるデータ処理装置を提供することを目的とする。
【課題を解決するための手段】
【００４７】
本発明の一形態に係るデータ処理装置は、要素データを分類する。具体的には、前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える。
【００４８】
上記構成のように、データ処理装置による自動分類の結果をクラスタ・要素対応表に保持させ、アノテーションの結果をグループ・クラスタ対応表に保持させることにより、自動分類とアノテーションとの矛盾を防止することができる。
【００４９】
一例として、前記所定の制約条件とは、既存のクラスタ同士を結合して新たなクラスタを生成することを禁止する条件であってもよい。他の例として、前記所定の制約条件とは、既存のクラスタの一部を分割して新たなクラスタを生成することを禁止する条件であってもよい。これにより、逐次追加される要素データを自動分類するとともに、ユーザによる手動での分類を両立できるような効率的なデータ管理方法を確立することが可能となる。その結果、大量データの分類を高い精度を保ちながらユーザアシストする機能を提供することが可能になる。
【００５０】
また、前記自動分類処理部は、前記一時記録部から前記クラスタ毎の前記分類境界条件を読み出す分類境界条件読出部と、前記特徴抽出部で抽出された特徴量と、前記分類境界条件読出部で読み出された前記クラスタ毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属クラスタを判定する帰属クラスタ判定部と、前記帰属クラスタ判定部での判定結果に基づいて、前記データ管理部に前記クラスタ・要素対応表を更新させるクラスタ・要素ＩＤ管理部と、前記帰属クラスタ判定部での判定結果に基づいて、前記帰属クラスタの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する分類境界条件更新記録部とを備えてもよい。
【００５１】
また、前記データ管理部は、前記新たに追加された要素データが既存のクラスタに属すると前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、当該既存のクラスタのクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記し、前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、新たに採番されたクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記する第１のクラスタ・要素対応表更新記録部と、前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、新たに採番された前記クラスタＩＤと、新たに採番されたグループＩＤとを対応付けて前記グループ・クラスタ対応表に追記するグループ・クラスタ対応表追記部とを備えてもよい。
【００５２】
このように、データ管理部は、自動分類処理部による自動分類の結果を各対応表に反映させる場合に、各表に記録データを追記するだけでよいので、処理速度が向上する。また、過去の分類結果の変更（つまり、既存記録データの更新）を行わないので、自動分類とアノテーションとが矛盾するのを防止することができる。
【００５３】
さらに、該データ処理装置は、前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部を備えてもよい。そして、前記データ管理部は、前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新してもよい。
【００５４】
また、前記データ管理部は、前記ユーザ改変操作検出部によって検出された前記要素ＩＤに対応付けられた前記クラスタＩＤを前記クラスタ・要素対応表から抽出し、前記抽出されたクラスタＩＤと、前記ユーザ改変操作検出部によって検出されたグループＩＤとの前記グループ・クラスタ対応表上の対応関係を更新するグループ・クラスタ対応表更新記録部と、前記ユーザ改変操作検出部によって検出された前記グループＩＤと前記要素ＩＤとの対応関係の変更によって、前記クラスタＩＤと前記要素ＩＤとの対応関係を変更する必要が生じた場合にのみ、前記クラスタＩＤと前記要素ＩＤとの前記クラスタ・要素対応表上の対応関係を更新する第２のクラスタ・要素対応表更新記録部とを備えてもよい。
【００５５】
また、該データ処理装置は、１以上のグループＩＤを含む表示グループ情報を生成する表示グループ決定部と、前記表示グループ情報に含まれる前記グループＩＤに対応付けられた前記クラスタＩＤを前記グループ・クラスタ対応表から抽出し、抽出された前記クラスタＩＤを含む表示クラスタ情報を生成するグループ・クラスタ関係検索部と、前記表示クラスタ情報に含まれる前記クラスタＩＤに対応付けられた前記要素ＩＤを前記クラスタ・要素対応表から抽出し、抽出された前記要素ＩＤを含む表示要素情報を生成するクラスタ・要素関係検索部と、前記表示要素情報に含まれる前記要素ＩＤで識別される前記要素データを前記一時記録部から読み出して表示する表示部とを備えてもよい。
【００５６】
また、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合において、前記自動分類処理部は、前記帰属クラスタを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行してもよい。そして、該データ処理装置は、さらに、全ての前記要素データに対する処理が終了した後に、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする分類マージ部を備えてもよい。これにより、自動分類の際の分類境界条件の更新に制約条件を設けた場合でも、自動分類の性能が劣化するのを有効に防止することができる。
【００５７】
本発明の一形態に係るデータ処理装置は、要素データを分類する。具体的には、前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部と、前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新するデータ管理部とを備える。
【００５８】
本発明の一形態に係るデータ処理装置は、要素データを分類する。具体的には、前記要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部と、新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備える。前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行する。そして、該データ処理装置は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える。
【００５９】
さらに、該データ処理装置は、複数の前記ユニットを含むクラスタを生成し、前記クラスタの境界を定める分類境界条件を決定するクラスタリング部を備えてもよい。そして、前記階層分類処理部は、前記特徴量を前記クラスタの分類境界条件と比較することによって、前記新たに追加された要素データが属すべき帰属クラスタを決定し、さらに、前記特徴量を前記帰属クラスタに含まれる前記複数のユニットそれぞれの分類境界条件と比較することによって、前記帰属ユニットを決定してもよい。これにより、分類境界条件を階層化して管理することができるので、自動分類の処理速度が向上する。
【００６０】
また、前記階層分類処理部は、前記特徴抽出部で抽出された特徴量と、前記一時記録部から読み出した前記ユニット毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属ユニットを判定する帰属ユニット判定部と、前記帰属ユニット判定部での判定結果に基づいて、前記ユニット・要素対応表を更新するユニット・要素ＩＤ管理部と、前記帰属ユニット判定部での判定結果に基づいて、前記帰属ユニットの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する階層分類境界条件更新記録部とを備えてもよい。
【００６１】
一例として、前記所定の制約条件とは、既存のユニット同士を結合して新たなユニットを生成することを禁止する条件、又は、既存のユニットの一部を分割して新たなユニットを生成することを禁止する条件であってもよい。
【００６２】
本発明の一形態に係るデータ処理方法は、要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させる方法である。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを含む。
【００６３】
本発明の他の形態に係るデータ処理方法は、要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させる方法である。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを含む。前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行する。そして、該データ処理方法は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを含む。
【００６４】
本発明の一形態に係るプログラムは、要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させる。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させる。
【００６５】
本発明の他の形態に係るプログラムは、要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データを分類させる。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させる。前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行する。そして、該プログラムは、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを前記データ処理装置に実行させる。
【００６６】
本発明の一形態に係る集積回路は、要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に搭載される。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える。
【００６７】
本発明の他の形態に係る集積回路は、要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に搭載される。具体的には、新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備える。前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行する。そして、該集積回路は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える。
【発明の効果】
【００６８】
本発明のように、逐次処理型自動分類とユーザによる手動での分類とを両立するためのデータ管理を実現することで、アノテーション結果と自動分類結果との矛盾を防止することができる。
【図面の簡単な説明】
【００６９】
【図１】図１は、本発明の実施の形態１に係るデータ処理装置のブロック構成図である。
【図２】図２は、本発明の実施の形態１のデータ処理装置の自動分類処理部の具体的なブロック構成図である。
【図３】図３は、本発明の実施の形態１のグループ／クラスタ／要素データの関係を示した図である。
【図４Ａ】図４Ａは、本発明の実施の形態１のグループ・クラスタ対応表を示す図である。
【図４Ｂ】図４Ｂは、本発明の実施の形態１のクラスタ・要素対応表を示す図である。
【図５】図５は、本発明の実施の形態１のクラスタ分類境界条件の更新を説明した概念図である。
【図６】図６は、本発明の実施の形態２のデータ処理装置のブロック構成図である。
【図７】図７は、本発明の実施の形態３のデータ処理装置のブロック構成図である。
【図８】図８は、本発明の実施の形態１〜３のデータ処理装置における処理手順のフロー図である。
【図９】図９は、本発明の実施の形態１〜３のデータ処理装置における分類経過の一例を示した図である。
【図１０】図１０は、本発明の実施の形態１〜３のデータ処理装置における分類結果の一例を、グループ・クラスタ対応表及びクラスタ・要素対応表で示した図である。
【図１１】図１１は、従来の構成における逐次階層分類によるデータ処理装置のブロック構成図である。
【図１２】図１２は、従来の構成における逐次階層分類によるデータ処理装置の処理フロー図である。
【図１３】図１３は、従来の構成における逐次階層分類によるデータ処理装置の自動分類性能を比較した図である。
【図１４】図１４は、本発明の実施の形態４のデータ処理装置のブロック構成図である。
【図１５】図１５は、本発明の実施の形態４のデータ処理装置の階層分類の概念図である。
【図１６】図１６は、本発明の実施の形態４のデータ処理装置の詳細なブロック構成図である。
【図１７】図１７は、本発明の実施の形態４のデータ処理装置の処理フロー図である。
【図１８】図１８は、本発明の実施の形態４のデータ処理装置の階層分類マージ部の処理イメージ図である。
【図１９】図１９は、本発明の実施の形態４のデータ処理装置の階層分類マージ部の処理イメージ図である。
【図２０】図２０は、本発明の実施の形態４のデータ処理装置の自動分類性能を示した図である。
【図２１Ａ】図２１Ａは、制約付き逐次更新法によって生成されたユニットの成長の過程を示す概念図である。
【図２１Ｂ】図２１Ｂは、制限付きマージ法によって生成されたユニットの成長の過程を示す概念図である。
【図２２】図２２は、従来の構成における逐次自動分類時のデータ処理装置のブロック構成図である。
【図２３】図２３は、従来の構成における逐次自動分類時のデータ処理装置の自動分類処理部の具体的なブロック構成図である。
【図２４Ａ】図２４Ａは、アノテーションの一例である分割作業を示す概念図である。
【図２４Ｂ】図２４Ｂは、アノテーションの一例である結合作業を示す概念図である。
【図２４Ｃ】図２４Ｃは、アノテーションの一例である除外作業を示す概念図である。
【図２４Ｄ】図２４Ｄは、アノテーションの一例であるメタデータ付与作業を示す概念図である。
【図２５】図２５は、従来の構成のアノテーション結果反映時のデータ処理装置のブロック構成図である。
【図２６】図２６は、従来の構成における階層分類の概念図である。
【図２７】図２７は、従来の構成のデータ検索時のデータ処理装置のブロック構成図である。
【図２８】図２８は、従来の構成のデータ処理装置における処理手順の一例を示すフロー図である。
【図２９】図２９は、従来の構成のデータ処理装置における処理手順の他の例を示すフロー図である。
【図３０】図３０は、図２９の処理手順における分類結果の例を示した図である。
【図３１】図３１は、図２９の処理手順における自動分類及びアノテーションの結果の例を示した図である。
【図３２】図３２は、図２９の処理手順におけるクラスタ・要素対応を示す図である。
【図３３】図３３は、従来の構成のデータ処理装置における処理手順のさらに他の例を示すフロー図である。
【図３４】図３４は、図３３の処理手順における課題を示した分類概念図である。
【図３５】図３５は、従来の構成のデータ処理装置における処理手順のさらに他の例を示すフロー図である。
【発明を実施するための形態】
【００７０】
以下、本発明の各実施の形態について図面を参照しながら説明する。
【００７１】
（実施の形態１）
本発明の実施の形態１におけるデータ処理装置について、図１〜図５を参照しながら説明する。
【００７２】
図１は、本実施の形態１に係るデータ処理装置１００を示したものであり、特に、自動分類を行う際に必要となる構成要素を示している。図１に示されるデータ処理装置１００は、特徴抽出部１と、自動分類処理部２と、クラスタ・要素対応表更新記録部３と、グループ・クラスタ対応表追記部４と、一時記録部５と、データ管理部６とを備える。なお、特徴抽出部１及び一時記録部５の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。
【００７３】
特徴抽出部１は、要素データの特徴量を抽出する。例えば、要素データとして人の顔の画像がデータ処理装置１００に入力されると、当該画像をＧａｂｏｒウェーブレット変換して、特徴量を抽出する。また、特徴抽出部１は、要素データ及び当該要素データの特徴量にユニークな要素ＩＤを付番して、一時記録部５に記録する。
【００７４】
自動分類処理部２は、追加要素の特徴量が特徴抽出部１で算出されると、一時記録部５から各クラスタの分類境界条件を読み出す。そして、追加要素の特徴量と各クラスタの分類境界条件とを比較することによって、追加要素がどのクラスタに属するか判定を行う。なお、分類境界条件とは、各クラスタの境界を定める条件であって、過去の分類結果によって決定される。
【００７５】
その後、自動分類処理部２は、追加要素の要素ＩＤとこれが帰属するクラスタ（帰属クラスタ）のクラスタＩＤとを含むクラスタ・要素対応情報を、クラスタ・要素対応表更新記録部３へと送信する。また、自動分類処理部２は、帰属クラスタに追加要素が含まれるように、帰属クラスタの分類境界条件を所定の制約条件に従って更新する。そして、自動分類処理部２は、変更が加えられたクラスタの分類境界条件と、追加要素の座標とを一時記録部５に記録する。詳細な処理構成例を、後に説明する。
【００７６】
クラスタ・要素対応表更新記録部３は、一時記録部５に記録されている過去のクラスタ・要素対応表を読み出し、自動分類処理部２から取得したクラスタ・要素対応情報に基づいて変更箇所についての更新を行う。そして、更新終了後、更新されたクラスタ・要素対応表を一時記録部５に記録する。さらに、要素データの追加に伴って新たにクラスタが発生した場合は、該当するクラスタの情報である追加クラスタ情報を、グループ・クラスタ対応表追記部４に送信する。
【００７７】
より具体的には、クラスタ・要素対応表更新記録部３は、新たに追加された要素データが既存のクラスタに属すると自動分類処理部２で決定された場合に、当該新たに追加された要素データの要素ＩＤと、当該既存のクラスタのクラスタＩＤとを対応付けてクラスタ・要素対応表に追記する。一方、新たに追加された要素データが既存のクラスタのいずれにも属しないと自動分類処理部２で決定された場合に、当該新たに追加された要素データの要素ＩＤと、新たに採番されたクラスタＩＤとを対応付けてクラスタ・要素対応表に追記する。
【００７８】
グループ・クラスタ対応表追記部４は、過去のアノテーション結果であるグループ・クラスタ対応表を一時記録部５から読み出し、新たに発生したクラスタ１つがそのまま１つのグループになるようグループＩＤを付番し、グループ・クラスタ対応表に追記する。そして、追記終了後、更新されたグループ・クラスタ対応表を一時記録部５に記録する。なお、データ管理部６は、クラスタ・要素対応表更新記録部３とグループ・クラスタ対応表追記部４とを包含したものである。
【００７９】
具体的には、グループ・クラスタ対応表追記部４は、新たに追加された要素データが既存のクラスタのいずれにも属しないと自動分類処理部２で決定された場合に、新たに採番されたクラスタＩＤと、新たに採番されたグループＩＤとを対応付けてグループ・クラスタ対応表に追記する。
【００８０】
一時記録部５には、要素データ及びその特徴量と、クラスタ・要素対応表と、分類境界条件と、グループ・クラスタ対応表とが記録されている。なお、一時記録部５の具体例は特に限定されないが、例えば、ハードディスク、光ディスク、半導体メモリなど、データを一時記憶できるあらゆる記録媒体を採用することができる。
【００８１】
グループ・クラスタ対応表は、例えば図４Ａに示されるように、ユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別されるグループに属するクラスタを識別するクラスタＩＤとを対応付けて保持している。クラスタ・要素対応表は、例えば図４Ｂに示されるように、データ処理装置１００によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別されるクラスタに属する要素データを識別する要素ＩＤとを対応付けて保持している。
【００８２】
図２は、自動分類処理部２のさらに詳細な構成を示したものである。図２に示される自動分類処理部２は、帰属クラスタ判定部７と、クラスタ・要素ＩＤ管理部８と、分類境界条件読出部９と、分類境界条件更新記録部１０とを備える。帰属クラスタ判定部７、分類境界条件読出部９の構成内容及び処理内容は、従来例に示すとおりであるが、ここの挙げた処理構成のみに限定するものではない。
【００８３】
帰属クラスタ判定部７は、特徴抽出部１で得られた追加要素の特徴量の特徴空間上における座標と、分類境界条件読出部９を通じて一時記録部５から読み出した過去のクラスタの分類境界条件とを入力とし、最も近いクラスタを帰属先のクラスタとして判定する。なお、入力された特徴量が、いずれのクラスタの分類境界条件に対しても、予め定めておいた距離よりも遠いと判定された場合、当該追加要素の帰属先のクラスタを新たに生成することで対応する。そして、帰属クラスタ判定部７は、追加要素の帰属クラスタをクラスタ・要素ＩＤ管理部８に通知する。
【００８４】
クラスタ・要素ＩＤ管理部８は、帰属クラスタ判定部７から取得した追加要素の帰属クラスタの情報に基づき、クラスタＩＤを決定する。例えば、追加要素が独立した新規のクラスタに属するべきと判定されれば、新たなクラスタＩＤを付番する。一方、既存のクラスタに属するべきと判定されれば、該当するクラスタＩＤを付番する。そしてその情報をクラスタ・要素対応情報としてデータ管理部６に送信し、クラスタ・要素対応表を更新させる。
【００８５】
分類境界条件更新記録部１０は、過去の分類結果であるクラスタ毎の分類境界条件を分類境界条件読出部９を通じて一時記録部５から読み出す。そして、追加要素が帰属するクラスタに関連する分類境界条件のみを修正する。例えば、クラスタＡとクラスタＢとの境界条件が存在しているが、クラスタＡとクラスタＣとは隣接しておらず、境界条件が存在していないとする。ここで、追加要素ａがクラスタＡに追加されると、クラスタＡとクラスタＢとの分類境界条件のみを、追加要素ａがクラスタＡに含まれるように修正する。分類境界条件の設定方法は、先に挙げた自動分類手法に依存する。そして、更新したクラスタ別の分類境界条件と、追加要素の帰属クラスタとを一時記録部５に記録する。
【００８６】
また、分類境界条件更新記録部１０は、追加要素が帰属するクラスタの分類境界条件を更新する際に、少なくとも２つの制約条件（「更新条件」ともいう。以下同じ。）に従って処理を実行する。具体的には、まず、既存のクラスタ同士を結合して新たなクラスタを生成することを禁止する。例えば、分類境界条件の更新前に帰属クラスタと異なる他のクラスタに属していた要素データが、分類境界条件の更新後に帰属クラスタに属することは許されない。次に、既存のクラスタの一部を分割して新たなクラスタを生成することを禁止する。例えば、分類境界条件の更新前に帰属クラスタに属していた要素データが、分類境界条件の更新後に帰属クラスタと異なる他のクラスタに属することは許されない。
【００８７】
このように、自動分類処理部２においては、既に分類の結果得られた過去のクラスタに要素データが追加されても、クラスタ自身が分割されたり、新たに既存クラスタどうしが結合されたりしないよう制限（更新条件）を加えている。ちなみに、追加要素自身により新たにクラスタが生成されることと、既存クラスタに追加要素が追加されることは認めている。
【００８８】
図３は、従来の要素データ、クラスタという概念に加えて、クラスタの上位にグループという概念を加えた概念図である。図４Ａは、グループＩＤとクラスタＩＤとの関係を示すグループ・クラスタ対応表の例を示す図である。図４Ｂは、クラスタＩＤと要素ＩＤとの関係を示すクラスタ・要素対応表の例を示す図である。
【００８９】
このように、図４Ａに示されるクラスタ・要素対応表には、自動分類の結果を保存する役割をもたせる。一方、図４Ｂに示されるグループ・クラスタ対応表には、アノテーションの結果を保存する役割を持たせる。このようにすることで、追加要素による自動再分類に対応することができる。加えて、図２の自動分類処理部２のように、追加の自動分類処理の際の更新条件（制約条件）を定めて、既に分類された結果を大きく変更せずに追加要素が帰属するクラスタに関連する情報のみを更新させる。これにより、自動分類処理の精度を大きく損ねることなく、その更新に要する分類ないしデータ管理の演算量を削減することができる。
【００９０】
図５は、分類境界条件更新記録部１０における更新の様子を示した概念図である。図５は、特徴空間上に要素データが追加された際、その追加要素が帰属するクラスタの分類境界条件を更新する必要があることを示している。この図５のように、帰属するクラスタの分類境界条件のみを更新するだけでなく、隣接するクラスタとの関係を考慮し、分類境界条件を決定する手法を用いてもよい。その際、各クラスタを構成する要素データの座標によって、分類境界条件を決める手法が一般的である（例えば、ＳＶＭにおけるサポート・ベクターなど）。
【００９１】
（実施の形態２）
本発明の実施の形態２に係るデータ処理装置２００について、図６を参照しながら説明する。
【００９２】
図６は、本実施の形態２に係るデータ処理装置２００を示したものであり、特に、アノテーションを行う際に必要となる構成要素を示している。図６に示されるデータ処理装置２００は、ユーザ改変操作検出部１１と、グループ・クラスタ対応表更新記録部１２と、クラスタ・要素対応表更新記録部３と、一時記録部５とを備える。クラスタ・要素対応表更新記録部３の構成内容は、実施の形態１に示すとおりである。また、データ管理部６は、クラスタ・要素対応表更新記録部３とグループ・クラスタ対応表更新記録部１２とを包含したものである。さらに、ユーザ改変操作検出部１１及び一時記録部５の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。
【００９３】
ユーザ改変操作検出部１１は、ユーザによるアノテーション操作の開始を検出すると、これをグループ・クラスタ対応表更新記録部１２及びクラスタ・要素対応表更新記録部３に通知する。ユーザ改変操作検出部１１からの通知を受けると、グループ・クラスタ対応表更新記録部１２は一時記録部５から過去の分類結果であるグループ・クラスタ対応表を、クラスタ・要素対応表更新記録部３は一時記録部５から過去の分類結果であるクラスタ・要素対応表をそれぞれ読み出し、ユーザがどの要素データをどのように改変したのか把握できるようにしておく。
【００９４】
そして、ユーザ改変操作検出部１１は、実際に改変した内容をグループ・クラスタ・要素対応情報として、グループ・クラスタ対応表更新記録部１２に送信する。例えば、データ処理装置２００は、グループ・クラスタ対応表及びクラスタ・要素対応表に基づいて、グループと当該グループに属する要素データとの関係を表示部（図６では図示省略）に表示する。そして、ユーザ改変操作検出部１１は、ユーザにグループと要素データとの対応関係を変更させる。そして、ユーザ改変操作検出部１１は、ユーザによる改変操作の結果を、グループ・クラスタ・要素対応情報としてグループ・クラスタ対応表更新記録部１２に送信する。
【００９５】
グループ・クラスタ対応表更新記録部１２は、ユーザ改変操作検出部１１から取得したグループ・クラスタ・要素対応情報に基づいて、グループ・クラスタ対応表を更新し、一時記録部５に記録する。具体的には、グループ・クラスタ対応表更新記録部１２は、ユーザ改変操作検出部１１によって検出された要素ＩＤに対応付けられたクラスタＩＤをクラスタ・要素対応表から抽出する。そして、抽出されたクラスタＩＤと、ユーザ改変操作検出部１１によって検出されたグループＩＤとのグループ・クラスタ対応表上の対応関係を更新する。また、グループ・クラスタ対応表更新記録部１２は、更新すべきクラスタ・要素対応情報をクラスタ・要素対応表更新記録部３に送信する。具体的には、グループ・クラスタ対応表更新記録部１２は、ユーザ改変操作検出部１１によって検出されたグループＩＤと要素ＩＤとの対応関係の変更によって、クラスタＩＤと要素ＩＤとの対応関係を変更する必要が生じた場合に、その変更内容をクラスタ・要素対応情報としてクラスタ・要素対応表更新記録部３に送信する。
【００９６】
クラスタ・要素対応表更新記録部３は、グループ・クラスタ対応表更新記録部１２から取得したクラスタ・要素対応情報に基づいて、クラスタ・要素対応表を更新し、一時記録部５に記録する。
【００９７】
このように、要素データ、クラスタという概念に加えて、クラスタの上位にグループという概念を加える。そして、クラスタ・要素対応表には自動分類の結果を保存する役割をもたせ、グループ・クラスタ対応表にはアノテーションの結果を保存する役割を持たせるようにする。これにより、追加要素による自動再分類に対応しつつ、アノテーション結果を簡単に更新することができるようになる。
【００９８】
（実施の形態３）
本発明の実施の形態３に係るデータ処理装置３００について、図７〜図１０を参照しながら説明する。
【００９９】
図７は、本実施の形態３に係るデータ処理装置３００を示したものであり、特に、データ検索の際に必要な構成要素を示している。図７に示されるデータ処理装置３００は、表示グループ決定部１３と、グループ・クラスタ関係検索部１４と、クラスタ・要素関係検索部１５と、表示部１６と、一時記録部５とを備える。クラスタ・要素関係検索部１５、表示部１６、及び一時記録部５の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。
【０１００】
表示グループ決定部１３は、ユーザの操作等に応じて表示するべきグループを決定し、グループ・クラスタ関係検索部１４に、表示対象となる１以上のグループのグループＩＤを含む表示グループ情報を送信する。例えば、データ処理装置３００は、グループの一覧を表示部１６に表示し、ユーザに表示すべきグループを選択させてもよい。
【０１０１】
グループ・クラスタ関係検索部１４は、一時記録部５から過去の分類結果であるグループ・クラスタ対応表を読み出す。そして、入力された表示対象のグループのグループＩＤをクエリとし、グループ・クラスタ対応表から該当グループに帰属するクラスタのクラスタＩＤを検索し、抽出する。検索完了後、グループ・クラスタ関係検索部１４は、表示対象となるクラスタのクラスタＩＤを含む表示クラスタ情報をクラスタ・要素関係検索部１５に送信する。
【０１０２】
クラスタ・要素関係検索部１５は、一時記録部５から過去の分類結果であるクラスタ・要素対応表を読み出す。そして、入力された表示対象のクラスタのクラスタＩＤをクエリとし、クラスタ・要素対応表から該当クラスタに帰属する要素データの要素ＩＤを検索し、抽出する。検索完了後、表示対象となる要素データの要素ＩＤを含む表示要素情報を表示部１６に送信する。
【０１０３】
表示部１６は、クラスタ・要素関係検索部１５から取得した表示要素情報をもとに、一時記録部５から読み出した該当要素データに関する情報である要素関連情報を表示する。
【０１０４】
このように、要素データ、クラスタという概念に加えて、クラスタの上位にグループという概念を加える。さらに、クラスタ・要素対応表には自動分類の結果を保存する役割をもたせ、グループ・クラスタ対応表にはアノテーションの結果を保存する役割を持たせる。このようにすることで、追加要素による自動再分類に対応し、なおかつアノテーション結果を簡単に更新できると共に、容易に所望のグループに関するデータを検索することができるようになる。
【０１０５】
図８に、逐次処理における自動分類とアノテーションの処理のフローを示す。なお図８は、図２８、図２９、図３３、および図３５と同様に、左から右へ時系列順に並んだ処理が行われる様子を示している。これまでに示すような処理を行うことで、逐次自動分類とアノテーションとの整合をとりつつ、管理データの更新及び検索に要する時間を大きく削減することができる。具体的には、実施の形態１で述べたように、既存クラスタに対する更新条件を設定し、なおかつ実施の形態１、２、３で述べたように自動分類結果とアノテーション結果とを分けて２重管理を行う。
【０１０６】
図９は、自動分類において更新条件を設け、グループという概念を新たに導入したことで、従来の図３０及び図３１の条件下において、分類結果がどのように変わるかを表したものである。図１０は、グループという概念を新たに導入したことで、グループ・クラスタ対応表とクラスタ・要素対応表との更新部分が、従来の構成の図３２の場合と比較してどれだけ削減されたかを示す図である。
【０１０７】
図９及び図１０を参照して、データ処理装置１００による自動分類処理と、データ処理装置２００によるアノテーション処理とを詳しく説明する。なお、上記の説明では、自動分類処理を実行するデータ処理装置１００と、アノテーション処理を実行するデータ処理装置２００とを別装置として説明したが、これらを同一の装置として構成することができることは、言うまでもない。
【０１０８】
まず、データ処理装置１００は、５つの要素データ（要素０〜５）の入力を受け付け、これらを自動分類したものとする。自動分類結果を図９の左側の図及び図１０の左側の表に示す。具体的には、図９の左側の図及び図１０の左側のクラスタ・要素対応表に示されるように、要素０をクラスタ０に、要素１、２をクラスタ１に、要素３、４をクラスタ２に、要素５をクラスタ３に帰属させている。また、現時点ではアノテーションが実行されていないので、図１０の左側のグループ・クラスタ対応表に示されるように、グループＩＤとクラスタＩＤとは、１対１に対応付けられている。
【０１０９】
次に、データ処理装置２００のユーザ改変操作検出部１１は、ユーザによるアノテーション操作を検出する。ここでは、ユーザが要素０、１、２をグループ０に、要素３、４、５をグループ１に帰属させたとする。ユーザ改変操作検出部１１は、ユーザが指定した要素データとグループとの対応関係を、グループ・クラスタ・要素対応情報としてグループ・クラスタ対応表更新記録部１２に送信する。
【０１１０】
グループ・クラスタ対応表更新記録部１２は、ユーザ改変操作検出部１１から取得したグループ・クラスタ・要素対応情報に基づいて、一時記録部５から読み出したグループ・クラスタ対応表を更新する。
【０１１１】
具体的には、まず、操作の対象となる要素データの要素ＩＤに対応付けられたクラスタＩＤをクラスタ・要素対応表から抽出する。上記の例では、要素０を含むクラスタ０と、要素１、２を含むクラスタ１とが抽出される。次に、抽出されたクラスタ０、１が同一のグループ０に属するように、グループ・クラスタ対応表上の対応関係を更新する。同様に、要素３、４を含むクラスタ２と、要素５を含むクラスタ３とが同一のグループ１に属するように、グループ・クラスタ対応表上の対応関係を更新する。これにより、図１０の中央に示すグループ・クラスタ対応表が得られる。
【０１１２】
次に、グループ・クラスタ対応表更新記録部１２は、ユーザの改変操作によって、クラスタＩＤと要素ＩＤとの対応関係を変更する必要が生じたか否かを判断する。上記の例では、クラスタＩＤと要素ＩＤとの対応関係を変更する必要はない。一方、クラスタＩＤと要素ＩＤとの対応関係の変更が必要な場合、新たな対応関係を示すクラスタ・要素対応情報をクラスタ・要素対応表更新記録部３に送信する。
【０１１３】
クラスタ・要素対応表更新記録部３は、グループ・クラスタ対応表更新記録部１２からクラスタ・要素対応情報を受信した場合（すなわち、クラスタＩＤと要素ＩＤとの対応関係を変更する必要が生じた場合）にのみ、一時記録部５から読み出したクラスタ・要素対応表を更新する。
【０１１４】
次に、データ処理装置１００に新たな要素６が入力されると、特徴抽出部１で当該要素６の特徴量が抽出され、帰属クラスタ判定部７で要素６の帰属クラスタが判定される。この例では、要素６がクラスタ１に帰属するものとする。クラスタ・要素ＩＤ管理部８は、帰属クラスタ判定部７の判定結果に基づいて、クラスタ１と要素６との対応関係を示すクラスタ・要素対応情報をクラスタ・要素対応表更新記録部３に送信する。
【０１１５】
また、分類境界条件更新記録部１０は、要素６がクラスタ１に帰属したことに伴って、クラスタ１の分類境界条件を更新する。更新後の分類境界条件は、新たに追加された要素６を含み、且つ制約条件に従ったものとなる。つまり、クラスタ１に要素６が含まれ、且つ更新前に他のクラスタ０、２、３に属していた要素０、３、４、５がクラスタ１に属するようになったり、更新前にクラスタ１に属していた要素１、２がクラスタ１から外れたりすることがないように、分類境界条件が更新される。
【０１１６】
一方、クラスタ・要素対応表更新記録部３は、クラスタ・要素ＩＤ管理部８から取得したクラスタ・要素対応情報に基づいて、クラスタ１と要素６との対応関係をクラスタ・要素対応表に追記する。これにより、図１０の右側に示すクラスタ・要素対応表が得られる。また、新たに追加された要素６が既存のクラスタのいずれにも帰属しなかった場合には、追加クラスタ情報がクラスタ・要素対応表更新記録部３からグループ・クラスタ対応表追記部４に送信され、グループ・クラスタ対応表追記部４によってグループ・クラスタ対応表が更新される。しかしながら、上記の例では、グループ・クラスタ対応表の更新の必要はない。
【０１１７】
このように、まずアノテーションに際しては、ユーザの操作によって生じたグループＩＤの付け替えがグループ・クラスタ対応表で生じるのみで、クラスタ・要素対応表の書き換えは必要ない。また従来例で述べたような、すべての要素データについて所属クラスタのＩＤを書き換える必要がなく、高速な更新動作が期待できる。また、要素データが追加されたときについては、更新条件を設定しているため、新たに追加された要素データについてのみ、クラスタ・要素対応表に追記するだけでよく、グループ・クラスタ対応表の更新は発生していない。
【０１１８】
なお、追加要素がこの例に示すように、既存クラスタへの追加ではなく、新たなクラスタを生成した場合については、グループ・クラスタ対応表に更新が発生するが、該当クラスタとそれに対応する新規グループＩＤの１行を追記するのみでよく、やはり従来例に示すような、すべての要素データについての所属クラスタのＩＤ書き換えは発生せず、高速な更新動作が期待できる。検索速度についても、グループ、クラスタ、及び要素データの２階層としていることから、従来例で示した１階層よりも、一般的に高速な検索となる場合が多い。
【０１１９】
（実施の形態４）
図１１は、実施の形態４の比較例としてのデータ処理装置２０００を示したものであり、特に、実施の形態３に示すデータ管理方法と階層的なツリー分類方法とを組み合わせたときの分類処理を実行する際に必要となる構成要素を示す図である。
【０１２０】
図１１に示されるデータ処理装置２０００は、特徴抽出部１１００と、帰属クラスタ判定部１２１０と、クラスタ・要素ＩＤ管理部１２５０と、分類境界条件読出部１２４０と、階層分類境界条件更新記録部１２６０と、階層分類部１２０１と、一時記録部１４００とを備える。特徴抽出部１１００、帰属クラスタ判定部１２１０、分類境界条件読出部１２４０、及び一時記録部１４００の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。また、クラスタ・要素ＩＤ管理部１２５０は、実施の形態１の構成に準じる。
【０１２１】
階層分類部１２０１は、特徴抽出部１１００で追加要素の特徴量が算出されると、一時記録部１４００からこれまでの過去の分類結果である各クラスタの分類境界条件と、全要素データの特徴空間上の座標情報を読み出し、追加要素がどのクラスタに属するか判定を行う。その後、新たな要素データを追加したことに応じて過去の分類結果に修正を加え、変更が加えられたクラスタの分類境界条件と、追加要素の座標とを一時記録部１４００に記録する。詳細な処理構成例を以下説明する。
【０１２２】
階層分類に適用する際の帰属クラスタ判定部１２１０の具体的な方法は、以下のとおりである。まず、帰属クラスタ判定部１２１０は、図２６に示す過去の階層自動結果に対して、入力された追加要素がどちらの枝に近いのか、逐次上位階層から各ノードでの階層分類境界条件に基づいて判定を行っていき、最下位層までマッチングを行っていく。このようにして、最終的に帰属すべき最も近いクラスタを判定する。なお、階層分類境界条件は、分類境界条件読出部１２４０を通じて一時記録部１４００から読み出しておく。また、帰属クラスタ判定部１２１０は、判定した帰属すべきクラスタ情報を、階層分類境界条件更新記録部１２６０に出力すると同時に、一時記録部１４００に記録する。
【０１２３】
階層分類境界条件の具体的な例としては、それぞれのノードにおいて、各集団の下位構成要素を考慮し、１つは特徴空間上に分布する確率密度関数を各集団別に用意しておく手法が考えられる。この場合、要素データの座標を入力して得られた確率密度が最も高い集団に属するよう、逐次階層別に判定していくことになる。このほかにも、確率密度ではなく距離判定を行うものであってもよい。例えば、それぞれのノードにおいて、各集団の下位の構成要素を考慮し、要素データの座標を入力すると、各集団との距離が算出される。この場合の距離算出方法は、ユークリッド距離、マハラノビス距離、マンハッタン距離など、どの手法を用いてもよい。
【０１２４】
階層分類境界条件更新記録部１２６０は、追加要素の特徴空間上の座標とその帰属クラスタとをクラスタ・要素ＩＤ管理部１２５０から取得し、以前の分類境界条件を分類境界条件読出部１２４０から取得する。そして、追加要素が属する各階層の集団の確率密度関数もしくは距離計算式を更新する。最後に、更新後の分類境界条件を、一時記録部１４００に記録する。
【０１２５】
図１２は、図１１のようなデータ処理装置２０００を用いたときの、データ追加時の動作フローを示している。より具体的には、Ｍ個の要素データ（第１の要素データ群）に対して分類処理を実行し（Ｓ１１〜Ｓ１４）、その後、Ｎ個の要素データ（第２の要素データ群）に対して分類処理を実行する（Ｓ２１〜Ｓ２５）様子を示している。
【０１２６】
まず、Ｍ個の逐次階層分類において、要素データを逐次追加し、自動分類していく（Ｓ１１）。また、要素データを追加するたびに、分類境界条件を更新する（Ｓ１２）。すべての追加要素を分類処理した後（Ｓ１３でＹｅｓ）、階層分類結果である追加要素の帰属クラスタの情報とクラスタ別の分類境界条件の情報とを、一時記録部１４００に記録する（Ｓ１４）。その後、Ｎ個のデータを追加する際には、一時記録部１４００に記録した階層分類結果を読み出し（Ｓ２１）、引き続きＮ個の自動分類処理を行う（Ｓ２２〜Ｓ２４）。同じく、すべての追加要素を分類処理した後（Ｓ２４でＹｅｓ）は、階層分類結果である追加要素の帰属クラスタの情報とクラスタ別の分類境界条件の情報とを、一時記録部５に記録する（Ｓ２５）。これを繰り返していく。
【０１２７】
このような構成を採用することで、データが逐次追加される場合においても、追加分の分類処理のみを行うだけで、過去の自動分類の結果を保持しつつ、新たな追加データの自動分類結果を反映させることができる。また、階層構造をとることにより、毎回過去の分類結果におけるすべてのクラスタとのマッチングを行う必要がなく、階層の数だけマッチングを行うだけでよいため、分類の処理負荷が小さい。また、新規追加された要素データが所属する集団の各階層の分類境界条件を更新するだけでよいため、更新時の処理負荷も小さくてすむ。
【０１２８】
しかしながら、実施の形態１〜３に記すような分類の制約条件（更新条件）を設定することにより、自動分類の性能がやや劣化するという問題があった。
【０１２９】
図１３は、同じ階層分類手法（距離計算法）、顔特徴量抽出法を用いた顔分類アルゴリズムを構築し、分類の制約条件（更新条件）を設定した場合と設定しない場合との２つの自動分類結果を比較したものである。評価用データとして２つの写真データセット（家族写真セット２つ、それぞれ３００個の顔含む）を用意する。
【０１３０】
１つ目（図１３の上段）は、図１２に示すフローのように、１００個の顔を追加した後に２００個の顔を追加するというように、２回に分けて自動分類を行い、階層分類の際に更新条件を設定した場合の正解率を表している。２つ目（図１３の下段）は、更新条件を設定せず、３００個の顔を一気に自動分類した場合の正解率を表している。なお、正解率とは、同一人物を示す各要素データ（この場合顔）が同一人物のクラスタに分類された場合を正解とし、そうでない場合を不正解として、正解顔数を全顔数で割った数値である。
【０１３１】
図１３を参照すれば、更新条件ありの場合の正解率が、更新条件なしの場合と比較して４〜５％ほど低下しているのがわかる。ここでの実験では、１００個の顔を追加した後に２００個の顔を追加するというように、第２のデータ群（２００個の顔）を追加した後に求めた正解率のため、データ群の追加を複数回行うと、さらに性能が劣化していくことが予想される。
【０１３２】
例えば、１０００個の顔を一気に自動分類した場合と、１００個の顔を追加する処理を１０回繰り返した場合との正解率の差は、後者のほうが大きく劣化してしまうことが予想される。なお、前者の方式の場合、自動分類の対象となる要素データ数がどんどん増えていくため、演算量が増えていってしまう。つまり逐次処理を行わないということを意味しており、演算量増加という別の問題があることを付記しておく。
【０１３３】
以上の問題点に鑑み、以下に説明する本実施の形態４は、逐次処理型自動分類とユーザによる手動での分類とを両立しつつ、自動分類の性能を毎回すべての過去の要素データを分類しなおした場合と同等の性能に維持するためのデータ処理を実現するものである。
【０１３４】
本発明の実施の形態４に係るデータ処理装置４００について、図１４〜図２０を参照しながら説明する。なお、実施の形態４における「ユニット」とは、実施の形態１〜３における「クラスタ」の下位概念に相当する、自動分類結果の小単位を示すものとする。
【０１３５】
図１４は、本実施の形態４に係るデータ処理装置４００を示したものであり、特に自動分類の際に必要となる構成要素を示している。図１４に示されるデータ処理装置４００は、特徴抽出部１と、自動分類処理部２と、帰属ユニット判定部１７と、ユニット・要素ＩＤ管理部１８と、分類境界条件更新部１９と、分類マージ部２０と、クラスタリング部２１と、データ管理部６と、一時記録部５とを備える。特徴抽出部１及び一時記録部５の構成内容は、従来例に示すとおりであるが、その具体的な内容に関する例示は、これに限定するものではない。また、データ管理部６、帰属ユニット判定部１７、及びユニット・要素ＩＤ管理部１８は、実施の形態１に係るデータ管理部６、帰属クラスタ判定部７、及びクラスタ・要素ＩＤ管理部８の構成に準じるものであり、「クラスタ」を「ユニット」と読み替えた違いのみである。
【０１３６】
上記構成のデータ処理装置４００に、各々が２以上の要素データを含む第１及び第２の要素データ群が入力された場合において、自動分類処理部２は、帰属クラスタを決定する処理と分類境界条件を更新する処理とを、第１及び第２の要素データ群それぞれに対して独立して実行する。
【０１３７】
分類マージ部２０は、全ての要素データに対する処理が終了した後に、第１及び第２の要素データ群それぞれに対する処理で更新された分類境界条件をマージする。クラスタリング部２１は、複数のユニットを含むクラスタを生成し、クラスタの境界を定める分類境界条件を決定する。
【０１３８】
図１５に、階層分類手法におけるユニットとクラスタとの関係を示す。ここで分類とは、比較的小単位で区切られた集団（ユニット）に分類することである。一方、クラスタリングとは、この小分類の集団（ユニット）を、大分類（クラスタ）化した結果を出力することを指す。分類マージ部２０は、ある任意の距離尺度ａより小さい範囲を一つの小集団（ユニット）とする。クラスタリング部２１は、距離尺度ａより大きい距離尺度ｂより小さい範囲を大分類（クラスタ）とする。
【０１３９】
ここで距離尺度ａは固定であるが、距離尺度ｂは例えばユーザにより可変値を設定できるようにしておく。こうすることで、自動分類の結果は小さな単位（ユニット）で常に過去の要素データも含めてその分類された結果が保存され続ける。また、自動分類処理が実行されるときにどの程度の尺度で分類を行うかを、つど判定できるようになる。さらに、つどすべての要素データを再分類することなく、過去の小分類結果を利用して大分類化しなおすだけになるため、追加分類処理を行うときの演算量を減らすことができる。
【０１４０】
本実施の形態４に係る自動分類処理部２は、逐次処理に対応した構成であり、追加要素の特徴量が算出されると、これまで追加された複数の要素データの中で閉じた分類結果に基づいて、どのクラスタに属するかを逐次判定していく。すべての追加要素の入力が終わり、分類結果が出そろうと、その結果を分類マージ部２０に送信する。以下、その内部処理の流れを説明する。
【０１４１】
帰属ユニット判定部１７は、特徴抽出部１から取得した追加要素の特徴空間上の座標と、分類境界条件更新部１９から取得した分類境界条件とを入力とし、最も近いユニットを帰属ユニットとして判定する。ここで分類境界条件更新部１９から取得した分類境界条件とは、追加された複数の要素データの中で閉じた、直前までのユニットの分類境界条件である。ただし、一回に追加される複数の要素データで閉じた分類を行うため、最初に追加された要素データを分類する際には分類境界条件はない。そして、要素データを追加するたびに分類境界条件更新部１９にて分類境界条件が設定されなおされ、それを帰属ユニット判定部１７が逐次読み出しては該要素データの帰属先を判定する。さらに、判定された結果を受けて、階層分類境界条件更新部２２で分類境界条件が設定されなおされる、ということを繰り返す。
【０１４２】
そして、追加要素がなくなった段階で、最新の分類境界条件を分類マージ部２０に送信する。なお、帰属ユニットの判定にあたり、いずれのユニットに対しても、予め定めておいた距離よりも遠いと判定された場合、帰属先のユニットを新たに生成することで対応する。
【０１４３】
ユニット・要素ＩＤ管理部１８は、追加要素の帰属するべきユニット情報に基づき、ユニットＩＤを決定する。例えば、追加要素が独立した新規のユニットに属するべきと判定されれば、新たなユニットＩＤを付番する。また、既存のユニットに属するべきと判定されれば、該当するユニットＩＤを付番する。そしてその情報を、分類境界条件更新部１９に送信する。
【０１４４】
分類境界条件更新部１９は、追加された複数の要素データの中で閉じた、直前までのユニットの分類境界条件を更新する。具体的には、追加要素が帰属するクラスタに関連する分類境界条件のみ修正する。例えば、クラスタＡとクラスタＢとの境界条件が存在しているが、クラスタＡとクラスタＣとは隣接しておらず、境界条件が存在していないとする。ここで、追加要素ａがクラスタＡに追加されると、クラスタＡとクラスタＢとの分類境界条件のみを修正する。分類境界条件の設定方法は、先に挙げた自動分類手法に依存する。そして、更新したクラスタ別の分類境界条件と、追加要素の帰属クラスタとを一時記録部５に記録する。
【０１４５】
なお、本実施の形態４の自動分類処理部２では、実施の形態１と同様、既に分類の結果得られた過去のクラスタに新たに要素データが追加されても、クラスタ自身が分割されたり、また新たに既存クラスタ同士が結合されたりしないよう制限（更新条件）を加える。具体的には、分類境界条件更新部１９でそのような制限を加えることになる。なお、追加要素自身により新たにクラスタが生成されることと、既存クラスタに追加要素が追加されることは認めている。
【０１４６】
分類マージ部２０は、すべての追加要素の入力が終わり、分類結果が出そろうと、追加された複数の要素データにおけるユニット別の分類境界条件と、一時記録部５から読み出した以前までの分類結果であるユニット別の分類境界条件とをマージし、新しいユニット別の分類境界条件を算出し、一時記録部５に記録する。そして、追加された要素データとその要素データが帰属するユニットの情報とを、クラスタリング部２１に送信する。
【０１４７】
クラスタリング部２１は、分類マージ部２０から出力された最新のユニット・要素対応情報に基づき、クラスタリングを行う。ここでいうクラスタリングとは、前述のように、小分類の集団（ユニット）に基づき、大分類化した結果を出力することを指す。
【０１４８】
図１６は、実施の形態４に係るデータ処理装置４００の構成要素のうち、自動分類処理部２を階層分類処理部２４に置き換え、分類境界条件更新部１９を階層分類境界条件更新部２２に置き換え、分類マージ部２０を階層分類処理部２４に置き換えたデータ処理装置５００の構成を示したものである。なお、階層分類境界条件更新部２２、及び階層分類マージ部２３以外の構成要素は、先に説明した図１４の構成に準じる。
【０１４９】
図１６に示されるデータ処理装置５００では、分類境界条件を階層化して管理する。具体的には、図１５に示されるように、ユニット０、１、２それぞれの境界条件を定める分類境界条件を下位の分類境界条件とし、ユニット０、１、２を含むクラスタ０の境界を定める分類境界条件を上位の分類境界条件とする。ユニット３、４、５とクラスタ１、２との分類境界条件の関係も同様である。
【０１５０】
そして、階層分類処理部２４の帰属ユニット判定部１７は、追加要素の帰属ユニットを判定する際に、上位の分類境界条件から順に比較する。例えば、帰属ユニット判定部１７は、まず、追加要素の特徴量とクラスタ０の分類境界条件（上位の分類境界条件）とを比較することによって、追加要素がクラスタ０に帰属すべきか否かを判定する。そして、追加要素がクラスタ０に帰属すべきと判定された場合、帰属ユニット判定部１７は、追加要素の特徴量とユニット０、１、２それぞれの分類境界条件（下位の分類境界条件）とを比較することによって、追加要素がユニット０、１、２のいずれに帰属するかを判定する。
【０１５１】
また、階層分類処理部２４の階層分類境界条件更新部２２は、追加要素が帰属するユニット及びクラスタの分類境界条件のみを更新する。例えば、上記の例で、追加要素がユニット１に帰属すると判定された場合、階層分類境界条件更新部２２は、クラスタ０の分類境界条件、及びユニットの１の分類境界条件のみを更新する。
【０１５２】
上記の構成によれば、追加要素の特徴量と分類境界条件との比較回数を削減することができる。同様に、分類境界条件の更新回数も削減することができる。
【０１５３】
以下、帰属ユニット判定部１７、ユニット・要素ＩＤ管理部１８、階層分類境界条件更新部２２、及び階層分類マージ部２３の詳細な処理内容を、図１７〜図１９を用いて説明する。図１７は、本願の実施の形態４における図１４及び図１６のようなデータ処理装置４００、５００を用いたときの、データ追加時の動作フローを示している。図１２と比較されたい。図１２との相違点は、追加された要素データ群ごとに閉じた階層自動分類を実施しておき（Ｓ１１〜Ｓ１３、Ｓ２２〜Ｓ２４）、自動分類処理後に階層分類結果をマージする（Ｓ３２）という点と、自動分類処理及び分類結果のマージ後に、クラスタリング処理を行う（Ｓ３１、Ｓ３３）という点である。
【０１５４】
図１８に分類結果をマージするときの概念図を示す。このように、初回のＭ個の要素データ（第１の要素データ群）の分類処理と、次のＮ個の要素データ（第２の要素データ群）の分類処理とを独立して実行する。次に、独立して実行された２つの分類処理の結果を比較し、各ユニット間の距離が任意の距離より小さい場合、各ユニットはマージされる。ユニット間の距離算出方法については、最近隣法、最遠隣法、群平均法、加重平均法、重心法、重み付き重心法、ウォード法などが挙げられるが、どの手法を用いてもよい。
【０１５５】
例えば、図１８に示されるように、新たに追加された要素データにより構成されたユニット１０に着目し、ユニット１０とユニット０との距離、ユニット１０とユニット１との距離、及びユニット１０とユニット２との距離をそれぞれ求め、最も近いユニットを求める。これをユニット１１、ユニット１２についても繰り返す。この方法では、すべてのユニット間距離を算出する必要があるので、演算処理コストがかかる。
【０１５６】
図１９は、さらに階層化分類の考え方を採用したときの具体的な分類マージ方法を示したものである。図１９の左上の図は、Ｍ個の要素データを自動分類によって３つのユニット０、１、２に分類し、さらにクラスタリングによってユニット１、２を含むクラスタを生成した状態を示している。このとき、ユニット０とクラスタとの境界を定める境界条件０−０と、ユニット１とユニット２との境界を定める境界条件１−０とが決まることを示している。また、図１９の左下の図に示すように、境界条件０−０は最上位階層の分類境界条件を示しており、ユニット０とユニット１及びユニット２（つまり、クラスタ）との境界を示している。一方、境界条件１−０は、下の階層の分類境界条件を示しており、ユニット１とユニット２との境界を示している。
【０１５７】
さて、次にＮ個の追加要素が入力され、自動分類処理を行った結果、図１６の右上の図の丸で囲んだ領域に示すようなユニット１０、１１、１２が得られたとする。これらのユニット単位で、過去の階層分類境界条件と比較し、それぞれ追加されるユニット１０、１１、１２がどのユニット０、１、２とマージされるかを決定する。
【０１５８】
例えば、この図の上位ノードの場合、ユニット１０とユニット１及びユニット２（つまり、クラスタ）の距離、及びユニット１０とユニット０との距離を、前記距離計算法により算出し、近いほうの下位層に判定が移る。この場合すぐにユニット０に当たるため、ユニット１０はユニット０とマージされるべきと判断される。このようにしてすべての追加データについてのユニット分類を行った後、ユニットをマージし、各階層の分類境界条件を更新する。
【０１５９】
上記の方法を採用すれば、マージされたユニットに関係する階層の分類境界条件のみ更新すればよい。図１８で説明した、すべてのユニットとの距離を求める場合と比較して、マージ対象の探索及び更新にかかる演算処理コストがより低くすむ。
【０１６０】
図２０に、本実施の形態４のデータ分類方法を用いて顔の分類を行ったときの性能を示す。前述の図１３で説明したように、図２０の３つの手法すべてにおいて、同じ階層分類手法（距離計算法）、顔特徴量抽出法を用いた顔分類アルゴリズムを構築し、評価用データとして図１３と同じ２つの写真データセット（家族写真セット２つ、それぞれ３００個の顔を含む）を用いた。本実施の形態４の結果を表の一番上の段に追加している。
【０１６１】
図２０を参照すれば明らかなように、本実施の形態４では、分類の制約（更新条件）を設定している。また正解率の定義も、従来例で記したとおりである。このように本実施の形態４の場合、すべての顔画像を一気に分類した場合に相当する更新条件なし・全処理手法とほぼ同等の性能が得られており、更新条件あり・逐次処理継続手法に比べて、４〜５％ほど性能向上していることがわかる。
【０１６２】
図２１Ａ及び図２１Ｂに、本実施の形態４において性能が回復した理由の考察を示す。図２１Ａに示される制約つき逐次更新法（図２０の真ん中の行）の場合、要素データの追加順序によっては、ユニットがいびつに成長していってしまう可能性が高いと考えられる。一方、図２１Ｂに示される制約条件つきマージ法（本実施の形態４）の場合、新たに追加したデータがユニット単位でマージされていくため、いびつな形状でマージされる可能性が少ないと考えられる。
【０１６３】
ユニットがいびつになると、特徴空間上でユニットが入り組んだ状態になってしまう。そしてこのような場合、一般的に、分類精度は低下すると考えられている。これが一般的な逐次更新法の欠点であると考えられる。一方、本実施の形態４では、この逐次更新法の決定が少ないことがわかる。
【０１６４】
本発明にかかるデータ処理装置およびデータ処理方法は、自動的に分類処理された結果とその結果を手入力で修正（アノテーション）した結果とを、分けてデータ管理及び更新することで、逐次自動分類結果とアノテーション情報の双方を引き継ぐことができる。また、データ管理処理の軽量化を実現することができる。また、そのデータ管理方法を採用したとき、追加したデータ群ごとに独立して閉じた分類処理を行い、分類処理後に分類結果どうしをマージすることで、アノテーション結果と自動分類結果を矛盾させることなく、なおかつ逐次入力される場合であっても劣化しない分類性能を実現する。
【０１６５】
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１６６】
上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１６７】
上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１６８】
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１６９】
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１７０】
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【０１７１】
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１７２】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。
【０１７３】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１７４】
上記実施の形態をそれぞれ組み合わせてもよい。
【０１７５】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【０１７６】
これらの構成は、大量のデータを自動的に分類し、なおかつその精度をユーザの手によるアノテーション操作で保障するような、例えば、民生用写真整理装置、検索装置、又は研究用データベース構築装置など、様々な分野において有用である。
【符号の説明】
【０１７７】
１，１１００  特徴抽出部
２，１２００  自動分類処理部
３，１３００  クラスタ・要素対応表更新記録部
４  グループ・クラスタ対応表追記部
５，１４００  一時記録部
６  データ管理部
７，１２１０  帰属クラスタ判定部
８，１２５０  クラスタ・要素ＩＤ管理部
９，１２４０  分類境界条件読出部
１０，１２３０  分類境界条件更新記録部
１１，１５００  ユーザ改変操作検出部
１２  グループ・クラスタ対応表更新記録部
１３  表示グループ決定部
１４  グループ・クラスタ関係検索部
１５，１７００  クラスタ・要素関係検索部
１６，１８００  表示部
１７  帰属ユニット判定部
１８  ユニット・要素ＩＤ管理部
１９  分類境界条件更新部
２０  分類マージ部
２１  クラスタリング部
２２  階層分類境界条件更新部
２３  階層分類マージ部
２４  階層分類処理部
１２０１  階層分類部
１２２０  近傍クラスタ再分類部
１２６０  階層分類境界条件更新記録部
１６００  表示クラスタ決定部
１００，２００，３００，４００，５００，１０００，２０００  データ処理装置
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
要素データが追加されるたびに逐次自動分類を実行すると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える
データ処理装置。
【請求項２】
前記所定の制約条件は、逐次自動分類された結果とユーザによる手動分類の結果の整合を保つためのものであり、逐次自動分類の際、既存のクラスタ同士を結合して新たなクラスタを生成することを禁止する条件である
請求項１に記載のデータ処理装置。
【請求項３】
前記所定の制約条件は、逐次自動分類された結果とユーザによる手動分類の結果の整合を保つためのものであり、逐次自動分類の際、既存のクラスタの一部を分割して新たなクラスタを生成することを禁止する条件である
請求項１又は２に記載のデータ処理装置。
【請求項４】
前記自動分類処理部は、
前記一時記録部から前記クラスタ毎の前記分類境界条件を読み出す分類境界条件読出部と、
前記特徴抽出部で抽出された特徴量と、前記分類境界条件読出部で読み出された前記クラスタ毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属クラスタを判定する帰属クラスタ判定部と、
前記帰属クラスタ判定部での判定結果に基づいて、前記データ管理部に前記クラスタ・要素対応表を更新させるクラスタ・要素ＩＤ管理部と、
前記帰属クラスタ判定部での判定結果に基づいて、前記帰属クラスタの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する分類境界条件更新記録部とを備える
請求項１〜３のいずれか１項に記載のデータ処理装置。
【請求項５】
前記データ管理部は、
前記新たに追加された要素データが既存のクラスタに属すると前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、当該既存のクラスタのクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記し、前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、当該新たに追加された要素データの要素ＩＤと、新たに採番されたクラスタＩＤとを対応付けて前記クラスタ・要素対応表に追記する第１のクラスタ・要素対応表更新記録部と、
前記新たに追加された要素データが既存のクラスタのいずれにも属しないと前記自動分類処理部で決定された場合に、新たに採番された前記クラスタＩＤと、新たに採番されたグループＩＤとを対応付けて前記グループ・クラスタ対応表に追記するグループ・クラスタ対応表追記部とを備える
請求項１〜４のいずれか１項に記載のデータ処理装置。
【請求項６】
該データ処理装置は、さらに、前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部を備え、
前記データ管理部は、前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新する
請求項１〜５のいずれか１項に記載のデータ処理装置。
【請求項７】
前記データ管理部は、
前記ユーザ改変操作検出部によって検出された前記要素ＩＤに対応付けられた前記クラスタＩＤを前記クラスタ・要素対応表から抽出し、前記抽出されたクラスタＩＤと、前記ユーザ改変操作検出部によって検出されたグループＩＤとの前記グループ・クラスタ対応表上の対応関係を更新するグループ・クラスタ対応表更新記録部と、
前記ユーザ改変操作検出部によって検出された前記グループＩＤと前記要素ＩＤとの対応関係の変更によって、前記クラスタＩＤと前記要素ＩＤとの対応関係を変更する必要が生じた場合にのみ、前記クラスタＩＤと前記要素ＩＤとの前記クラスタ・要素対応表上の対応関係を更新する第２のクラスタ・要素対応表更新記録部とを備える
請求項６に記載のデータ処理装置。
【請求項８】
該データ処理装置は、
１以上のグループＩＤを含む表示グループ情報を生成する表示グループ決定部と、
前記表示グループ情報に含まれる前記グループＩＤに対応付けられた前記クラスタＩＤを前記グループ・クラスタ対応表から抽出し、抽出された前記クラスタＩＤを含む表示クラスタ情報を生成するグループ・クラスタ関係検索部と、
前記表示クラスタ情報に含まれる前記クラスタＩＤに対応付けられた前記要素ＩＤを前記クラスタ・要素対応表から抽出し、抽出された前記要素ＩＤを含む表示要素情報を生成するクラスタ・要素関係検索部と、
前記表示要素情報に含まれる前記要素ＩＤで識別される前記要素データを前記一時記録部から読み出して表示する表示部とを備える
請求項１〜７のいずれか１項に記載のデータ処理装置。
【請求項９】
各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合において、
前記自動分類処理部は、前記帰属クラスタを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理装置は、さらに、全ての前記要素データに対する処理が終了した後に、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする分類マージ部を備える
請求項１〜８のいずれか１項に記載のデータ処理装置。
【請求項１０】
要素データが追加されるたびに逐次自動分類を実行すると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部と、
前記グループＩＤと前記要素ＩＤとの対応関係を変更するユーザの操作を検出するユーザ改変操作検出部と、
前記ユーザ改変操作検出部による検出結果に基づいて、少なくとも前記グループ・クラスタ対応表を更新するデータ管理部とを備える
データ処理装置。
【請求項１１】
要素データが追加されるたびに逐次自動分類を実行すると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理装置であって、
前記要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部と、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備え、
前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理装置は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える
データ処理装置。
【請求項１２】
該データ処理装置は、さらに、複数の前記ユニットを含むクラスタを生成し、前記クラスタの境界を定める分類境界条件を決定するクラスタリング部を備え、
前記階層分類処理部は、前記特徴量を前記クラスタの分類境界条件と比較することによって、前記新たに追加された要素データが属すべき帰属クラスタを決定し、さらに、前記特徴量を前記帰属クラスタに含まれる前記複数のユニットそれぞれの分類境界条件と比較することによって、前記帰属ユニットを決定する
請求項１１に記載のデータ処理装置。
【請求項１３】
前記階層分類処理部は、
前記特徴抽出部で抽出された特徴量と、前記一時記録部から読み出した前記ユニット毎の前記分類境界条件とを比較することによって、前記新たに追加された要素データが属すべき前記帰属ユニットを判定する帰属ユニット判定部と、
前記帰属ユニット判定部での判定結果に基づいて、前記ユニット・要素対応表を更新するユニット・要素ＩＤ管理部と、
前記帰属ユニット判定部での判定結果に基づいて、前記帰属ユニットの境界を定める前記分類境界条件を前記所定の制約条件に従って更新し、更新された前記分類境界条件を前記一時記録部に記録する階層分類境界条件更新記録部とを備える
請求項１１又は１２に記載のデータ処理装置。
【請求項１４】
前記所定の制約条件は、逐次自動分類された結果とユーザによる手動分類の結果の整合を保つためのものであり、逐次自動分類の際、既存のユニット同士を結合して新たなユニットを生成することを禁止する条件、又は、既存のユニットの一部を分割して新たなユニットを生成することを禁止する条件である
請求項１１〜１３のいずれか１項に記載のデータ処理装置。
【請求項１５】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データが追加されるたびに逐次自動分類を実行させると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理方法であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを含む
データ処理方法。
【請求項１６】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データが追加されるたびに逐次自動分類を実行させると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なデータ処理方法であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを含み、
前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該データ処理方法は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを含む
データ処理方法。
【請求項１７】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に、前記要素データが追加されるたびに逐次自動分類を実行させると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なプログラムであって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理ステップで決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させる
プログラム。
【請求項１８】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に、前記要素データが追加されるたびに逐次自動分類を実行させると共に、ユーザの主観的な基準によって随時手動により再分類することも可能なプログラムであって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理ステップと、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理ステップで決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理ステップとを前記データ処理装置に実行させ、
前記階層分類処理ステップでは、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該プログラムは、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージステップを前記データ処理装置に実行させる
プログラム。
【請求項１９】
要素データ、該データ処理装置によって分類された複数のクラスタ各々を識別するクラスタＩＤと、当該クラスタＩＤで識別される前記クラスタに属する前記要素データを識別する要素ＩＤとを対応付けて保持するクラスタ・要素対応表、前記複数のクラスタそれぞれの境界を定める分類境界条件、及びユーザの主観的な基準によって分類されたグループを識別するグループＩＤと、当該グループＩＤで識別される前記グループに属する前記クラスタを識別する前記クラスタＩＤとを対応付けて保持するグループ・クラスタ対応表を記録する一時記録部を備えるデータ処理装置に搭載される集積回路であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のクラスタのうち、前記新たに追加された要素データが属すべき帰属クラスタを決定すると共に、前記帰属クラスタに前記新たに追加された要素データが含まれるように、前記帰属クラスタの境界を定める前記分類境界条件を、所定の制約条件に従って更新する自動分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記自動分類処理部によって決定された前記帰属クラスタを識別する前記クラスタＩＤとを対応付けて前記クラスタ・要素対応表に記録するデータ管理部とを備える
集積回路。
【請求項２０】
要素データ、該データ処理装置によって分類された複数のユニット各々を識別するユニットＩＤと、当該ユニットＩＤで識別される前記ユニットに属する前記要素データを識別する要素ＩＤとを対応付けて保持するユニット・要素対応表、及び前記複数のユニットそれぞれの境界を定める分類境界条件を記録する一時記録部を備えるデータ処理装置に搭載される集積回路であって、
新たに追加された前記要素データの特徴量を抽出する特徴抽出部と、
前記特徴抽出部で抽出された特徴量を前記分類境界条件と比較することによって、前記複数のユニットのうち、前記新たに追加された要素データが属すべき帰属ユニットを決定すると共に、前記帰属ユニットに前記新たに追加された要素データが含まれるように、前記帰属ユニットの境界を定める前記分類境界条件を、所定の制約条件に従って更新する階層分類処理部と、
前記新たに追加された要素データを識別する要素ＩＤと、前記階層分類処理部によって決定された前記帰属ユニットを識別する前記ユニットＩＤとを対応付けて前記ユニット・要素対応表に記録するデータ管理部とを備え、
前記階層分類処理部は、各々が２以上の前記要素データを含む第１及び第２の要素データ群が該データ処理装置に入力された場合に、前記帰属ユニットを決定すると共に前記分類境界条件を更新する処理を、前記第１及び第２の要素データ群それぞれに対して独立して実行し、
該集積回路は、さらに、前記第１及び第２の要素データ群それぞれに対する処理で更新された前記分類境界条件をマージする階層分類マージ部を備える
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010125781.tif 000043
【図２】
2010125781.tif 000044
【図３】
2010125781.tif 000045
【図４Ａ】
2010125781.tif 000046
【図４Ｂ】
2010125781.tif 000047
【図５】
2010125781.tif 000048
【図６】
2010125781.tif 000049
【図７】
2010125781.tif 000050
【図８】
2010125781.tif 000051
【図９】
2010125781.tif 000052
【図１０】
2010125781.tif 000053
【図１１】
2010125781.tif 000054
【図１２】
2010125781.tif 000055
【図１３】
2010125781.tif 000056
【図１４】
2010125781.tif 000057
【図１５】
2010125781.tif 000058
【図１６】
2010125781.tif 000059
【図１７】
2010125781.tif 000060
【図１８】
2010125781.tif 000061
【図１９】
2010125781.tif 000062
【図２０】
2010125781.tif 000063
【図２１Ａ】
2010125781.tif 000064
【図２１Ｂ】
2010125781.tif 000065
【図２２】
2010125781.tif 000066
【図２３】
2010125781.tif 000067
【図２４Ａ】
2010125781.tif 000068
【図２４Ｂ】
2010125781.tif 000069
【図２４Ｃ】
2010125781.tif 000070
【図２４Ｄ】
2010125781.tif 000071
【図２５】
2010125781.tif 000072
【図２６】
2010125781.tif 000073
【図２７】
2010125781.tif 000074
【図２８】
2010125781.tif 000075
【図２９】
2010125781.tif 000076
【図３０】
2010125781.tif 000077
【図３１】
2010125781.tif 000078
【図３２】
2010125781.tif 000079
【図３３】
2010125781.tif 000080
【図３４】
2010125781.tif 000081
【図３５】
2010125781.tif 000082
【国際調査報告】
2010125781.tif 000083
2010125781.tif 000084
2010125781.tif 000085
2010125781.tif 000086