(57)【要約】【課題】サンプル画像収集の手間を効率化するとともに、分類カテゴリ及び画像検索用キーワードの多様性へ適応可能な画像分類装置を得る。【解決手段】キーワードを指定し該キーワードが掲載されている複数のHTMLページ内の画像を収集するWeb画像検索手段２と、収集したWeb検索画像又は入力画像から色，形，模様といった低次元の信号値を測定し画像特徴量として出力する特徴量変換手段３と、複数のWeb検索画像から生成された画像特徴量について、キーワードに関連するサンプル画像として特定するサンプル画像特定手段４と、サンプル画像に対応する画像特徴量を抽出し、指定されたキーワードを名称とする分類カテゴリを代表する画像特徴量とする一方、分類カテゴリが未知である入力画像から生成された画像特徴量と、分類カテゴリを代表する画像特徴量との類似度を算出し、類似度に基づいて入力画像を所定の分類先に分類する分類カテゴリ判定手段５とを備える。【選択図】図１
2011070408.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介してHTMLページに接続可能としたシステムにおいて、
キーワードを指定し該キーワードが掲載されている複数のHTMLページ内の画像をWebから収集し、
前記Webから収集した複数のWeb検索画像から色，形，模様といった低次元の信号値を測定し画像特徴量としてそれぞれ出力し、
前記複数の画像特徴量について、特徴空間上での分布特性から距離の近い画像特徴量同士で特徴空間をクラスタリングし、分布数の最も多いクラスタ又は分散の小さいクラスタに属する画像を指定されたキーワードに関連するサンプル画像として特定する
ことを特徴とするサンプル画像取得方法。
【請求項２】
ネットワークを介してHTMLページに接続可能としたシステムにおいて、
キーワードを指定し該キーワードが掲載されている複数のHTMLページ内の画像をWebから収集するWeb画像検索手段と、
前記Web画像検索手段から収集したWeb検索画像から色，形，模様といった低次元の信号値を測定し画像特徴量として出力する特徴量変換手段と、
前記特徴量変換手段で複数のWeb検索画像からそれぞれ生成された画像特徴量について、特徴空間上での分布特性から距離の近い画像特徴量同士で特徴空間をクラスタリングし、分布数の最も多いクラスタ又は分散の小さいクラスタに所属する画像を指定されたキーワードに関連するサンプル画像として特定するサンプル画像特定手段と、
を具備したことを特徴とするサンプル画像取得装置。
【請求項３】
ネットワークを介してHTMLページに接続可能としたシステムにおいて、
キーワードを指定し該キーワードが掲載されている複数のHTMLページ内の画像をWebから収集するWeb画像検索手段と、
前記Web画像検索手段から収集したWeb検索画像又は入力画像から色，形，模様といった低次元の信号値を測定し画像特徴量として出力する特徴量変換手段と、
前記特徴量変換手段で複数のWeb検索画像からそれぞれ生成された画像特徴量について、特徴空間上での分布特性から距離の近い画像特徴量同士で特徴空間をクラスタリングし、分布数の最も多いクラスタ又は分散の小さいクラスタに所属する画像を指定されたキーワードに関連するサンプル画像として特定するサンプル画像特定手段と、
前記サンプル画像特定手段により特定されたサンプル画像に対応する画像特徴量を抽出し、前記指定されたキーワードを名称とする分類カテゴリを代表する画像特徴量とする一方、分類カテゴリが未知である前記入力画像から前記特徴量変換手段により生成された画像特徴量と、前記分類カテゴリを代表する画像特徴量との類似度を算出し、前記類似度に基づいて入力画像を所定の分類先に分類する分類カテゴリ判定手段と
を具備したことを特徴とする画像分類装置。
【請求項４】
前記分類カテゴリ判定手段により、前記類似度に基づいて前記分類カテゴリに属しているかを判定し、前記入力画像が分類カテゴリに属していると判定した場合は、入力画像に分類カテゴリの名称をキーワードとして付与する画像検索用キーワード付与手段を備えた請求項３に記載の画像分類装置。
【請求項５】
前記特徴量変換手段は、
画像からエッジや凹凸等の信号変化の大きい点をキーポイントとして複数抽出し、各キーポイント付近の色，形，模様等から算出される特徴ベクトルを出力する特徴ベクトル抽出手段と、
前記特徴ベクトル抽出手段により異なる多種多様の画像から抽出された特徴ベクトル群の特徴空間上での分布特性を測定し、距離の近い特徴ベクトル同士で特徴空間をクラスタリングして、各クラスタの代表ベクトルをCodeBookとして出力するCodeBook生成手段と、
前記CodeBook生成手段により生成されたCodeBookを保存する蓄積部と、
前記特徴ベクトル抽出手段により抽出された特徴ベクトルを、前記蓄積部に蓄積されているCodeBookの中で最も近い代表ベクトルへとベクトル量子化するのと同時に各代表ベクトルの出現頻度を求め、そのヒストグラムを入力された画像の画像特徴量として出力するベクトル量子化手段と
を備えた請求項３又は請求項４に記載の画像分類装置。
【請求項６】
前記分類カテゴリ判定手段は、
前記サンプル画像特定手段により特定されたサンプル画像の特徴量を、指定されたキーワードを名称とする分類カテゴリの画像特徴量として保存する蓄積部と、
指定されたキーワードを名称とする分類カテゴリの画像特徴量が、前記蓄積部に既に保存されている他の様々な分類カテゴリの画像特徴量と大きく異なる相違点を分類判定の基準として機械学習により抽出し、分類判定の基準を分類器として出力するカテゴリ分類器生成手段と、
分類カテゴリが未知である入力画像から前記特徴量変換手段により生成された画像特徴量が、指定されたキーワードを名称とする分類カテゴリに属しているか否かを、前記カテゴリ分類器生成手段により生成された分類器を用いて判定し、属していると判定された場合は入力画像を所定の分類先に分類するカテゴリ分類手段と
を備えた請求項３又は請求項４に記載の画像分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量の画像を所定の分類先に分類する画像分類装置に関し、指定されたキーワードに対応する画像の特徴量を適応的に生成し、生成された画像特徴量を用いてユーザが所望する観点で分類を実現するための画像分類装置、及び、大量の画像の中からユーザが希望する画像を探し出すための画像検索用のキーワードを付与する機能を有する画像分類装置に関する。
【０００２】
また、本発明は、画像分類装置内で使用されるサンプル画像取得方法及び装置に関し、キーワードを指定することでWeb画像からサンプル画像を自動的に取得するサンプル画像取得方法及びサンプル画像取得装置に関する。
【背景技術】
【０００３】
近年のディジタルカメラの普及により、誰でもが気軽に大量の写真を撮影できるようになった。そのため、ストレージに蓄積された膨大な枚数の画像（写真）を効率良く閲覧する方法が求められている。
これまで紙に印刷された写真では、写真を日時別、人物別、シーン別に分類整理して保管することで閲覧時の効率を高めることが一般的に行われていた。一方、記録媒体に記録されるディジタル画像では、画像の内容を的確に表すキーワードを画像に付与して保存し、閲覧する際にはキーワードを指定して直接所望の画像を検索することで、効率良く閲覧することが可能となった。
【０００４】
この場合、キーワードには、例えば人物名、物体名称、シーン、日時、場所、情景、状況、場面、事象、印象、意味、意図等、画像から連想される物事で、言語記述できるものであれば全てが当てはまる。
【０００５】
しかしながら、キーワードの付与は人手を介して行われることから、画像の内容を一枚ずつ目視で確認し、適切なキーワードを考えて画像に付与するための手間が発生し、対象となる画像の枚数が増えると無視できない程大きな労力となっていた。
そこで、画像へのキーワード付与に要する作業負担を軽減するため、特許文献１〜特許文献３に示されるような画像分類装置や画像検索用キーワード付与装置が提案されている。
【０００６】
特許文献１及び特許文献２の記載の装置は、入力された画像が予め設定された分類カテゴリの内、いずれの分類カテゴリに属しているかを、入力された画像から抽出される色，形，模様といった画像特徴量と、予め各分類カテゴリを代表するサンプル画像から抽出された画像特徴量との類似度に基づいて、自動的に判定する画像分類装置である。
【０００７】
特に、特許文献２に記載の画像分類装置は、分類カテゴリ内を代表するサンプル画像から抽出される特徴量の中でも、他のカテゴリのサンプル画像とは大きく異なる顕著な特徴量を、カテゴリ間の分類のための画像特徴量として用いることによって、カテゴリ分類の精度を大きく改善するという効果を有する。
【０００８】
また、特許文献３には、特許文献１又は特許文献２に記載された画像分類装置によりカテゴリ分類された結果を使って、分類されたカテゴリの名称をキーワードとして画像に付与することを特徴とした画像検索用キーワード付与装置が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１１−３２８４２２号
【特許文献２】特開２００８−３３７０５号
【特許文献３】特開２００２−３２７５１号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した画像分類装置及び画像検索用キーワード付与装置によれば、入力された画像を自動的に分類してキーワードを付与することができる。しかしながら、画像分類を実施するためには、事前に各分類カテゴリの画像特徴量を生成しておく必要があり、そのためには予め各分類カテゴリを代表するサンプル画像を大量に収集する必要がある。
【００１１】
特許文献１〜特許文献３に記載された装置におけるサンプル画像の収集方法については、いずれの例においても特段の記述が無いため、自動分類とキーワード付与を実現するためには、事前にサンプル画像を人手で収集する必要があり、その収集作業に膨大な手間がかかってしまうという課題があった。
そのため、サンプル画像収集の手間を省くため、例えば自動もしくは半自動で、分類の基準となる各カテゴリを代表するサンプル画像を効率良く収集するサンプル画像取得方法の実現が望まれていた。
【００１２】
また、人によって分類・検索の観点は様々に異なるため、万人に共通する分類カテゴリ及び画像検索用キーワードを設定するのは困難である。できる限り多くの種類の分類カテゴリについて画像特徴量を生成するとしても、分類カテゴリ及び画像検索用キーワードの候補は無限に近いため、その全てについてサンプル画像を準備するのは現実的ではないという課題があった。
そのため、分類カテゴリ及び画像検索用キーワードの多様性に対処するため、ユーザの要求に応じて適応的に分類カテゴリを設定でき、またその画像特徴量を作り出すことが望まれていた。
【００１３】
本発明は上記事情に鑑みて提案されたものであり、サンプル画像収集の手間を効率化するサンプル画像取得方法及装置を得るとともに、分類カテゴリ及び画像検索用キーワードの多様性へ適応可能な画像分類装置を提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記目的を達成するため本発明は、Webに蓄積されているテキスト情報および画像情報を利用し、指定されたキーワードに関連するサンプル画像を人出を介さず自動的に、又は、ユーザの要求に応じて適応的に収集することを主要な構成としている。
【００１５】
すなわち、請求項１のサンプル画像取得方法は、ネットワークを介してHTMLページに接続可能としたシステムにおいて、キーワードを指定し該キーワードが掲載されている複数のHTMLページ内の画像をWebから収集し、前記Webから収集した複数のWeb検索画像から色，形，模様といった低次元の信号値を測定し画像特徴量としてそれぞれ出力し、前記複数の画像特徴量について、特徴空間上での分布特性から距離の近い画像特徴量同士で特徴空間をクラスタリングし、分布数の最も多いクラスタ又は分散の小さいクラスタに属する画像を指定されたキーワードに関連するサンプル画像として特定することを特徴としている。
【００１６】
請求項２のサンプル画像取得装置は、ネットワークを介してHTMLページに接続可能としたシステムにおいて、次の構成を含むことを特徴としている。
キーワードを指定し該キーワードが掲載されている複数のHTMLページ内の画像をWebから収集するWeb画像検索手段。
前記Web画像検索手段から収集したWeb検索画像から色，形，模様といった低次元の信号値を測定し画像特徴量として出力する特徴量変換手段。
前記特徴量変換手段で複数のWeb検索画像からそれぞれ生成された画像特徴量について、特徴空間上での分布特性から距離の近い画像特徴量同士で特徴空間をクラスタリングし、分布数の最も多いクラスタ又は分散の小さいクラスタに所属する画像を指定されたキーワードに関連するサンプル画像として特定するサンプル画像特定手段。
【００１７】
請求項３の画像分類装置は、請求項２のサンプル画像取得装置の構成に加えて、前記サンプル画像特定手段により特定されたサンプル画像に対応する画像特徴量を抽出し、前記指定されたキーワードを名称とする分類カテゴリを代表する画像特徴量とする一方、分類カテゴリが未知である前記入力画像から前記特徴量変換手段により生成された画像特徴量と、前記分類カテゴリを代表する画像特徴量との類似度を算出し、前記類似度に基づいて入力画像を所定の分類先に分類する分類カテゴリ判定手段とを具備したことを特徴としている。
【００１８】
請求項４は、請求項３の画像分類装置において、前記分類カテゴリ判定手段により、前記類似度に基づいて前記分類カテゴリに属しているかを判定し、前記入力画像が分類カテゴリに属していると判定した場合は、入力画像に分類カテゴリの名称をキーワードとして付与する画像検索用キーワード付与手段を備えたことを特徴としている。
【００１９】
請求項５は、請求項３又は請求項４の画像分類装置において、
前記特徴量変換手段は、
画像からエッジや凹凸等の信号変化の大きい点をキーポイントとして複数抽出し、各キーポイント付近の色，形，模様等から算出される特徴ベクトルを出力する特徴ベクトル抽出手段と、
前記特徴ベクトル抽出手段により異なる多種多様の画像から抽出された特徴ベクトル群の特徴空間上での分布特性を測定し、距離の近い特徴ベクトル同士で特徴空間をクラスタリングして、各クラスタの代表ベクトルをCodeBookとして出力するCodeBook生成手段と、
前記CodeBook生成手段により生成されたCodeBookを保存する蓄積部と、
前記特徴ベクトル抽出手段により抽出された特徴ベクトルを、前記蓄積部に蓄積されているCodeBookの中で最も近い代表ベクトルへとベクトル量子化するのと同時に各代表ベクトルの出現頻度を求め、そのヒストグラムを入力された画像の画像特徴量として出力するベクトル量子化手段と
を備えたことを特徴としている。
【００２０】
請求項６は、請求項３又は請求項４の画像分類装置において、
前記分類カテゴリ判定手段は、
前記サンプル画像特定手段により特定されたサンプル画像の特徴量を、指定されたキーワードを名称とする分類カテゴリの画像特徴量として保存する蓄積部と、
指定されたキーワードを名称とする分類カテゴリの画像特徴量が、前記蓄積部に既に保存されている他の様々な分類カテゴリの画像特徴量と大きく異なる相違点を分類判定の基準として機械学習により抽出し、分類判定の基準を分類器として出力するカテゴリ分類器生成手段と、
分類カテゴリが未知である入力画像から前記特徴量変換手段により生成された画像特徴量が、指定されたキーワードを名称とする分類カテゴリに属しているか否かを、前記カテゴリ分類器生成手段により生成された分類器を用いて判定し、属していると判定された場合は入力画像を所定の分類先に分類するカテゴリ分類手段と
を備えたことを特徴としている。
【発明の効果】
【００２１】
請求項１及び請求項２の発明によれば、人手による目視確認を必要とせず、指定されたキーワードに関連した画像をWebから自動的に収集できる。したがって、画像特徴量を生成するために必要となるサンプル画像を人手で収集する手間を省くことができ、指定されたキーワードに関連した画像特徴量を自動的に生成することできる。
【００２２】
請求項３の発明によれば、予め設定されている分類カテゴリだけでなく、ユーザがキーワードを指定して新たな分類カテゴリを設定し、適応的に画像を分類することができる。この際、指定されるキーワードに制限が無いため、ユーザは所望するキーワードによる画像分類が可能となる。例えば、ユーザが所持している画像の中から、ユーザが所望するキーワードに関連する画像を分類することができるようになる。
【００２３】
請求項４の発明によれば、ユーザが指定したキーワードに関連すると判定された画像に、画像検索用キーワードを付与することができる。例えば、ユーザが所持している画像の中から、ユーザが指定したキーワードに関連すると判定された画像に、画像検索用キーワードを付与することができる。
【００２４】
請求項５及び請求項６の発明によれば、画像からより安定した特徴量を抽出し、画像分類および画像検索用キーワードの付与の精度をより高めることができる。
さらに、人手を介した画像検索用のキーワード付与では、同じ画像を対象とした場合であっても、人の主観によって付与するキーワードが異なることがあり、画像の内容を的確に表すキーワードの付与には人物間で変動する可能性があったが、本発明の画像分類装置による画像検索用キーワードの付与によれば、画像にいずれのキーワードを付与するのが適切かを、画像特徴量の類似度に基づいて客観的な基準をもって判定され、類似していると判定された分類カテゴリの名称がキーワードとして付与されるため、人に依存せず常に統一された基準をもって画像検索用のキーワードが付与することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の画像分類装置の構成を示すブロック図である。
【図２】（ａ）〜（ｃ）は本発明の画像分類装置の特徴量変換手段における画像特徴量を算出する過程を説明するためのグラフ図である。
【図３】本発明の画像分類装置のサンプル画像特定手段における例として「トマトのクラスタ作成」を説明するためのグラフ図である。
【発明を実施するための形態】
【００２６】
本発明の画像分類装置の実施の形態の一例について、図面を参照しながら説明する。
本発明の画像分類装置は、ネットワークを介してHTMLページに接続可能とすることで、HTMLファイルの内容を手掛かりとして、Web上からサンプル画像を収集して分類するものである。
Web上のサーバには多数のHTMLファイルが蓄積されており、それらはネットワークを介して接続されている。HTMLはテキストと画像から構成され、同じHTML内のテキストの中に、画像の内容を的確に表すキーワードが含まれている場合が多い。本発明は、このことに着目し、キーワードを指定し、通常のWeb画像の検索方法を用いることでWeb上から複数のサンプル画像を収集し分類する。
【００２７】
本発明の画像分類装置は、Web上のテキスト情報及び画像にアクセスするための送受信部と、ユーザによるキーワードの入力を行う入力部と、処理中の画像データを一時的に展開する主記憶部と、画像と各種テキスト情報を格納する蓄積部と、計算および各種処理を制御する中央演算部と、処理結果を表示する表示部とを有して構成されている。
【００２８】
すなわち、本発明の画像分類装置は、図１に示すように、入力部から入力されるキーワードに対してネットワーク１に接続してHTMLページ内の画像を収集するWeb画像検索手段２と、収集画像又は入力画像から画像特徴量を算出する特徴量変換手段３と、キーワードに関連するサンプル画像を特定するサンプル画像特定手段４と、入力画像を所定の分類先に分類する分類カテゴリ判定手段５と、入力画像に分類カテゴリの名称を検索用のキーワードとして付与する画像検索用キーワード付与手段６と、各種の情報を記録する蓄積部７を有している。また、画像分類装置に使用される本発明のサンプル画像取得装置は、Web画像検索手段２と、特徴量変換手段３と、サンプル画像特定手段４とにより構成されている。
【００２９】
画像分類装置は、（１）ユーザにより指定されたキーワード（指定キーワード）に対して画像を収集して画像特徴量を生成する機能（特徴量生成時）と、（２）分類カテゴリが未知（キーワードが付与されていない）の入力画像に対して画像検索用のキーワードを付与する機能（分類・検索時）とを有している。
【００３０】
Web画像検索手段２は、ユーザにより指定されたキーワード（指定キーワード）が掲載されているHTMLページ内の画像をWebから多数収集し、特徴量変換手段３へ出力する。HTMLページ内の画像にはテキスト情報としての文字情報が付与されている場合が多いので、指定キーワードに合致したテキスト情報を有する画像を収集して取り込む。
【００３１】
特徴量変換手段３は、Web画像検索手段２で収集した画像（収集画像）や直接入力される入力画像から色，形，模様といった低次元の信号値を測定し、画像特徴量として出力する。
すなわち、特徴量変換手段３は、収集画像から特徴ベクトルを算出する特徴ベクトル抽出手段３１と、特徴ベクトルからCodeBookを生成するCodeBook生成手段３２と、特徴ベクトルを量子化して画像特徴量を算出するベクトル量子化手段３３を備えて構成されている。
【００３２】
特徴ベクトル抽出手段３１は、画像からエッジや凹凸等の信号変化の大きい点をキーポイントとして複数抽出し、各キーポイント付近の色，形，模様等から算出される特徴ベクトルを出力する。この特徴ベクトル抽出手段３１で行われる特徴ベクトルの算出は、公知の技術で実現される。具体的な実現手段としては、例えば、Loweらによって提案されたSIFT（Scale-Invariant Feature Transform, Lowe, D. "Distinctive Image Features from. scale-invariant keypoints," International journal of Computer Vision, Vol.60, No.2, pp. 91-110, 2004）を用いることができる。この場合、特徴ベクトルは128次元のベクトルとして出力される。
【００３３】
SIFTを使用することにより、回転や大きさ等について見え方の異なる画像でも、同一被写体および同じ内容の画像であれば、同じキーポイントが抽出され、同じ特徴ベクトルが抽出される。SIFTは、以下の流れで（Ａ）キーポイントの検出と、（Ｂ）特徴ベクトルの抽出の各処理が行われる。
（Ａ）キーポイントの検出
（ａ）キーポイント候補点の検出
（ｂ）キーポイントのローカライズ
（Ｂ）特徴ベクトルの抽出
（ｃ）オリエンテーションの算出
（ｄ）特徴量の抽出
【００３４】
（ａ）のキーポイント候補点の検出では、DoG（Difference-of-Gaussian）処理により画像からエッジや凹凸等の信号変化の大きい点をキーポイント候補点として複数検出する。ガウス関数のスケールを数段階に変化させ、ガウス関数と入力画像を畳み込んだ平滑化画像を複数作成し、それらの平滑化画像の差分画像（DoG画像）内で極値となる点をキーポイント候補点として検出する。
（ｂ）のキーポイントのローカライズでは、（ａ）で検出されたキーポイント候補点から安定して抽出できるキーポイントを絞り込む。すなわち、コントラストの小さい点、主曲率の大きな点を、ノイズの影響を受けた点、安定的な抽出には向かない点として、キーポイントの候補点からそれぞれ削除する。
（ｃ）のオリエンテーションの算出では、同じキーポイントであれば画像が回転しても同じ特徴ベクトルが抽出できるようにするため、平滑化画像内の各点の勾配から、各キーポイントを特徴付ける方向を算出する。具体的には、キーポイント周辺の矩形領域から勾配方向と勾配強度に関するヒストグラムを測定する。
先ず、勾配方向に関して36に量子化された階級で分類する。
次に、分類された階級に勾配強度を加算し、ヒストグラム内で最頻を示した階級の方向をオリエンテーションとして算出する。
（ｄ）の特徴量の記述では、（ｃ）で求めたオリエンテーションに基づいて、各キーポイントにおける特徴ベクトルの抽出対象領域を正規化し、正規化して切り出されたキーポイント周辺の特徴ベクトルの抽出対象領域から特徴ベクトルを算出する。
【００３５】
次に、CodeBook生成手段３２によるCodeBookの生成及びベクトル量子化手段３３による画像特徴量の算出について、図２を参照しながら説明する。
CodeBook生成手段３２は、特徴ベクトル抽出手段３１により様々に異なる多種多様の画像から抽出された特徴ベクトル（図２（ａ）における各×点）を特徴空間上にプロットし、特徴ベクトル群の特徴空間上での分布特性を測定し、距離の近い特徴ベクトル同士で特徴空間をクラスタリングして、各クラスタの代表ベクトル（図２（ａ）における○×点が特徴ベクトル）を後段のベクトル量子化手段３３のためのCodeBook７１として出力する。
【００３６】
クラスタリングの具体的な実現手段としては、公知技術であるk-meansを用いることができる。
k-means によるクラスタリングは、以下の（１）〜（４）の手順により行われる。
（１）データを指定された任意の数であるk個のクラスタに分割する。
（２）各クラスタについて重心を計算する。
（３）全てのデータについて、重心との距離を最小にするクラスタを求め、各データを最小のクラスタに割り当てる。
（４）前回のクラスタから変化がなければ終了する。変化がある場合は、（２）に戻る。
【００３７】
この場合、分割クラスタ数ｋを任意に設定でき、生成される画像特徴量はｋ次元となる。CodeBook７１は、様々に異なる多種多様の画像を特徴ベクトル抽出手段３１に予め入力することで、CodeBook生成手段３２により生成され、蓄積部７に保存される。
【００３８】
ベクトル量子化手段３３は、入力画像に対して特徴ベクトル抽出手段３１により抽出された特徴ベクトルを、蓄積部７に蓄積されているCodeBook７１の中で最も近い代表ベクトル（CodeBook）へとベクトル量子化する（図２（ｂ））のと同時に各代表ベクトルの出現頻度を求め、そのヒストグラムを入力画像の特徴量として出力する（図２（ｃ））。したがって、ベクトル量子化手段３３で算出される画像特徴量は、ｋ次元のヒストグラムで生成される。
【００３９】
ユーザにより指定されたキーワード（指定キーワード）に対して画像を収集する場合、Web画像検索手段２では、現在実用化されている検索方法でキーワードに対してWeb画像が検索される。例えば、Google（商標名）の画像検索サービスによる検索方法は、従来のキーワードを指定してテキスト情報を検索する方法を拡張したものである。すなわち、指定したキーワードが含まれるHTML内の画像を検索結果として提示するだけである。したがって、HTMLファイル内のテキストには画像の内容を的確に表すキーワード以外のノイズとなる成分も多く含まれるため、Web画像検索により検索された画像の内容が必ずしも指定されたキーワードとは一致しない場合も多い。
例えば、キーワードを「トマト」と指定しても、「トマト」の外観を示した画像だけでなく、「トマトジュース」や「トマトケチャップ」、さらにはトマトとは無関係の画像も検索される場合がある。
【００４０】
本発明の画像分類装置では、ベクトル量子化手段３３から出力される各画像特徴量からノイズとなる成分を除去するためのサンプル画像特定手段４を設けている。
サンプル画像特定手段４は、Web画像検索手段２によって収集された複数の画像（収集画像）を、特徴量変換手段３により画像特徴量（ｋ次元）にそれぞれ変換し、特徴空間上での分布特性から距離の近い画像特徴量同士で特徴空間をクラスタリングし、分布数の最も多いクラスタに所属する画像、又は、分散の小さいクラスタに所属する画像を指定されたキーワードに関連するサンプル画像として特定する。
【００４１】
例えば、キーワードを「トマト」を入力し、「トマト」の画像を得たい場合、Web画像から検索される画像はトマトの外観画像の他、「トマトジュース」や「トマトケチャップ」、「トマトとは無関係の画像」が含まれる。これらの画像について、特徴量変換手段３により画像特徴量にそれぞれ変換すると、図３のようになる。
そして、特徴空間上での分布特性から距離の近い画像特徴量同士で特徴空間をクラスタリングし、分布数の最も多いクラスタ（図３の場合、Ｘ領域）に所属する画像を指定されたキーワード「トマト」に関連するサンプル画像として特定する。また、別の実施形態として、分散の小さいクラスタに所属する画像を指定されたキーワード「トマト」に関連するサンプル画像として特定しても良い。
【００４２】
クラスタリングの具体的な実現手段としては、公知技術であるx-meansを用いることができる。x-means は、上述したk-meansと異なり、分割させたいクラスタ数kを指定する必要はなく、自動的にクラスタ数kまでもが決定されクラスタリングが実施される。
【００４３】
分類カテゴリ判定手段５は、特徴量変換手段３により生成された画像特徴量から、サンプル画像特定手段４により特定されたサンプル画像に対応する画像特徴量を抽出して、指定されたキーワードの分類カテゴリを代表する画像特徴量とする一方、分類カテゴリが未知である入力画像が入力された場合、特徴量変換手段３により生成された画像特徴量との類似度を算出し、類似度に基づいて入力画像を所定の分類先に分類する。
【００４４】
すなわち、分類カテゴリ判定手段５は、指定キーワードを名称とする分類カテゴリを代表する画像特徴量とする画像分類を行う機能（特徴量生成時）を実現させるためのカテゴリ分類器生成手段５１と、画像検索用のキーワードを付与する機能（分類・検索時）を実現させるため分類カテゴリが未知（キーワードが付与されていない）の入力画像に対してカテゴリの分類を行うカテゴリ分類手段５２とを有している。また、蓄積部７では、他の様々な分類カテゴリの画像特徴量７２を予め保存するとともに、サンプル画像特定手段４により特定されたサンプル画像の特徴量を、指定されたキーワードを名称とする分類カテゴリの画像特徴量となる分類器７３として保存する。
【００４５】
カテゴリ分類器生成手段５１は、指定されたキーワードを名称とする分類カテゴリの画像特徴量が、蓄積部７に予め保存されている他の様々な分類カテゴリの画像特徴量７２と大きく異なる相違点を分類判定の基準として機械学習により抽出し、分類判定の基準を分類器７３として出力する。
機械学習の具体的な実現手段として、公知技術であるSVM（Support Vector Machine）を用いることができる。
【００４６】
SVMは、与えられたデータが設定されたある２つのクラスのいずれに属するかを判定する分類法であり、1995年にAT&TのCorinna CortesとV.Vapnikによって提案された。SVMでは、分類のための判定基準は事前に収集したサンプルデータから学習によって抽出される。
例えば、与えられた画像が「顔画像であるかそうでないか」を分類するためには、顔画像だけでなく、顔以外の画像も多数収集し、学習用のサンプル画像として用いる。「この画像は顔である」もしくは「顔ではない」といった事前知識を与え、この事前知識に基づき、分類のための判定基準を生成することとなる。
【００４７】
具体的には、各サンプル画像を画像特徴量に変換し、特徴空間上での分布状況から顔と非顔とを分類する境界（超平面）を求め、分類の基準として用いる。実際に、新たに与えられた画像の分類を実施する際は、新たに与えられた画像から抽出された画像特徴量が特徴空間上で境界（超平面）のいずれ側に含まれるかによって、顔画像であるか否か、を判定する。
したがって、SVMにより実際に分類を実施するためには、（１）サンプル画像を多数収集し、（２）学習により分類のための判定基準（分類器）を生成する、という手順が事前に必要となる。この際、各サンプル画像には２つのクラスのいずれに属しているかが明らかにする情報が付与されていることが求められる。本例ではサンプル画像特定手段４によりこの条件が満たされている（キーワードが付与されたサンプル画像が入手できる）。
【００４８】
カテゴリ分類手段５２は、分類カテゴリが未知である入力画像から特徴量変換手段３により生成された画像特徴量が、指定されたキーワードを名称とする分類カテゴリに属しているか否かを、カテゴリ分類器生成手段５１により生成された分類器７３を用いて判定する。カテゴリ分類手段５２において、指定されたキーワードを名称とする分類カテゴリに属していると判定された場合は、入力画像を所定の分類先である蓄積部７の画像７４として分類するか、又は、画像検索用キーワード付与手段６へ出力する。
【００４９】
画像検索用キーワード付与手段６は、分類カテゴリ判定手段５により、入力画像が指定されたキーワードを名称とする分類カテゴリに属していると判定された場合に、入力画像に分類カテゴリの名称をキーワードとして付与し、蓄積部７における所定の分類先に画像７４として分類する。
【００５０】
次に、上述した画像分類装置を用いて画像特徴量の作成、画像検索用キーワードの付与を行う場合の手順について説明する。
「各種画像についての画像特徴量の作成」
先ず、カテゴリ分類器生成手段５１において各画像の画像特徴量に対する分類器７３を作成するための基準となる画像特徴量７２について、予め蓄積部７に記録する処理が行われる。この処理は、ネットワーク１を介して又は直接入力された任意の各種画像から特徴量変換手段３において画像特徴量を算出し、予め蓄積部７に画像特徴量７２として記録することで行われる。
【００５１】
すなわち、特徴量変換手段３の特徴ベクトル抽出手段３１により、異なる多種多様の画像から抽出された特徴ベクトル群をCodeBook生成手段３２に入力し、それらの特徴空間上での分布特性を測定し、距離の近い特徴ベクトル同士で特徴空間をクラスタリングする。そして、各クラスタの代表ベクトルをCodeBook７１として蓄積部７に記録する。そして、ベクトル量子化手段３３において、各CodeBookの量子化処理が行われ代表ベクトルの数が１００〜２００のヒストグラムから構成される各画像特徴量７２を作成し蓄積部７に記録する。
これらの画像特徴量（ベクトル量子化手段３３によって出力された画像特徴量）７２は、カテゴリ分類器生成手段５１にて分類器７３を作成するために必要となり、カテゴリ分類器生成手段５１によって出力された分類器７３は、蓄積部７に蓄積することで、分類カテゴリが未知の入力画像について、カテゴリ分類手段５２で分類を行うための判断基準として使用される。
【００５２】
「キーワードで検索された画像についての画像特徴量の作成」
ユーザが入力部からキーワードを入力し、キーワードに合致した画像の画像特徴量を作成する。すなわち、Web画像検索手段２では、入力部から入力されたキーワードに基づいて、Web画像検索を行い、ネットワーク１を通して得られた画像が特徴量変換手段３に出力される。
特徴ベクトル抽出手段３１では、例えばSIFTで行われるように、キーポイント検出と検出されたキーポイント周辺から特徴ベクトルを抽出する方法により、入力された画像を特徴ベクトルに変換して出力する。
【００５３】
ベクトル量子化手段３３では、蓄積部７に蓄積されたCodeBook７１を用いて入力された特徴ベクトルのベクトル量子化を行い、入力された特徴ベクトルをCodeBook７１の中で最も近い代表ベクトルへと量子化するのと同時に、各代表ベクトルへと量子化された頻度を求め、そのヒストグラムを画像特徴量として出力する。
【００５４】
サンプル画像特定手段４では、入力された画像特徴量を特徴空間上での分布特性から距離の近い画像特徴量同士でクラスタリングし、分布数の多いクラスタ又は分散の小さいクラスタに所属する画像を、指定されたキーワードに関連するサンプル画像として特定する。
【００５５】
カテゴリ分類器生成手段５１では、入力された指定されたキーワードを名称とする分類カテゴリの画像特徴量と、予め蓄積部７に蓄積された他の様々な分類カテゴリの画像特徴量７２から、両者が大きく異なる相違点を分類判定の基準として機械学習によって抽出し、分類器７３として出力する。出力された分類器７３は蓄積部７に蓄積することで、後段のカテゴリ分類手段５２にて分類のための判断基準として使用することができる。
【００５６】
「分類カテゴリが未知の入力画像に対するカテゴリ分類と画像検索用キーワード付与」
特徴ベクトル抽出手段３１では、例えばSIFTで行われるように、キーポイント検出と検出されたキーポイント周辺から特徴ベクトルを抽出する方法により、分類カテゴリが未知の入力画像を特徴ベクトルに変換して出力する。
ベクトル量子化手段３３では、蓄積部７に蓄積されたCodeBook７１を用いて入力された特徴ベクトルのベクトル量子化を行い、入力された特徴ベクトルをCodeBook７１の中で最も近い代表ベクトルへと量子化するのと同時に、各代表ベクトルへと量子化された頻度を求め、そのヒストグラムを画像特徴量として出力する。
【００５７】
カテゴリ分類手段５２では、蓄積部７に蓄積されている分類器７３を用いて、新たに入力された画像が分類器７３のカテゴリに属しているか否かを判定し、属していると判定された場合は入力画像を所定の分類先である画像７４に分類する。
画像検索用キーワード付与手段６は、前記カテゴリ分類手段５２の結果、入力画像が指定された分類器７３のカテゴリに属していると判定された場合は、入力画像に分類器７３の示す名称を画像検索用のキーワードとして付与する。画像に直接付与せずとも、データベースなどに、画像のファイル名とキーワードをリンクさせて記録しても良い。
【００５８】
上述した画像分類装置を使用した具体的な活用例について説明する。
ユーザが所持している複数の大量な画像を分類および検索するサービスに用いることができる。
例えば、ユーザが蓄積部７に子供の多数の画像を撮り貯めている場合（単に蓄積部７に記録だけしている場合）、これらの画像を蓄積部７から特徴量変換手段３（または直接入力画像として）に入力する。子供の多数の画像から「座ってご飯を食べている」画像を検索したいような場合、ユーザが入力部でキーワードとして「座ってご飯を食べている」と入力し、Web画像検索手段２でキーワードに基づいた画像がHTMLより収集されることで上述した各処理が行われ、蓄積部７に「座ってご飯を食べている」画像の画像特徴量が分類器７３として記録される。
次に、カテゴリ分類手段５２において、ユーザが所持している（蓄積部７に蓄積している又は直接入力される）各画像の画像特徴量と、分類器７３に記録された「座ってご飯を食べている」画像の画像特徴量と比較し、類似度が高い場合に「座ってご飯を食べている」画像と認識し、結果を表示部に表示することで、多数の画像の中から必要な画像を効率良く抽出することができる。
【００５９】
また、ユーザが所持している子供の多数の画像の分類を行いたいような場合、ユーザがキーワードを指定して（例えば「座ってご飯を食べている」）入力し、Web画像検索手段２でキーワードに基づいた画像がHTMLより収集されることで上述した各処理によって、分類器７３に「座ってご飯を食べている」画像の画像特徴量が記録される。
次に、カテゴリ分類手段５２において、ユーザが所持している各画像の画像特徴量と、分類器７３に記録された「座ってご飯を食べている」画像の画像特徴量と比較し、類似度が高い場合に「座ってご飯を食べている」画像と認識し、画像検索用付与手段６によりその画像について「座ってご飯を食べている」というキーワードを付与して画像とともに蓄積部７に画像７４として記録される。
【００６０】
上述した画像分類装置によれば、画像に検索用キーワードを付与することで、次回に画像の検索を行う場合に、キーワードの入力で直に抽出することが可能となる。
また、従来は分類カテゴリや画像検索用キーワードは予め設定されたものに制限されていたが、上述の例ではキーワードをユーザが自由に設定することができるので、ユーザの好みに応じたキーワードでの分類が可能となる。
【符号の説明】
【００６１】
１…ネットワーク、  ２…Web画像検索手段、  ３…特徴量変換手段、  ４…サンプル画像特定手段、  ５…分類カテゴリ判定手段、  ６…画像検索用キーワード付与手段、  ７…蓄積部、  ３１…特徴ベクトル抽出手段、  ３２…CodeBook生成手段、  ３３…ベクトル量子化手段、  ５１…カテゴリ分類器生成手段、  ５２…カテゴリ分類手段、  ７１…CodeBook、  ７２…画像特徴量、  ７３…分類器、  ７４…画像。
【図１】
2011070408.tif 000003
【図２】
2011070408.tif 000004
【図３】
2011070408.tif 000005