(57)【要約】【課題】ファイル分類子の割当てに関して、高いレベルの信頼性を提供するファイルカテゴリ化方法およびシステムを提供する。【解決手段】本発明は、テキスト以外の対象データをカテゴリ化するための方法およびシステムである。記録装置が非テキスト対象データを捕捉し、捕捉中に記録装置の動作条件に固有のメタデータを記録する。対象データは、データを一連の分類関数を有する分類方式にかけることにより、選択された分類子に基づいてカテゴリ化される。各分類関数は、コンテンツに基づく分析およびメタデータ分析のいずれか一方あるいは両方を利用する。特定の画像の記述として選択された分類子は、視覚化およびブラウジングのために後に画像のサーチが行われるときに、ある問い合わせと照合するために利用される。
2005510775.tif 000002
【特許請求の範囲】
【請求項１】
データのブロックを分類するための方法であって、
記録装置を用いて非テキストデータのブロックを捕捉するステップであって、データ捕捉属性のための設定値が前記非テキストデータの特徴を指示する、捕捉するステップと、
メタデータを前記非テキストデータのブロックと連結するステップであって、前記メタデータは前記記録装置による前記捕捉中の少なくとも１つの前記データ捕捉属性に対応する、連結するステップと、
前記ブロックのコンテンツに記述を割り当てるように、自動化された処理を実行するステップであって、該記述を判定する際に前記メタデータを利用することを含む、実行するステップと、
を含む方法。
【請求項２】
前記捕捉するステップが、画像捕捉装置による画像ファイルおよびオーディオレコーダによるオーディオファイルのうちの少なくとも１つを記録するステップを含む請求項１に記載の方法。
【請求項３】
前記連結するステップが、前記記録装置の露出設定値を特定する露出情報を得るステップを含む請求項１に記載の方法。
【請求項４】
前記捕捉するステップがさらに、前記ブロックをデジタル形式の非テキストデータのファイルとして構成するステップを含み、
前記連結するステップが前記ファイルにタグを形成するステップを含み、
該タグは、複数の露出時間、自動利得、フィルム速度、シャッタ速度、ホワイトバランス、口径／レンズインデックス、焦点距離およびフラッシュ／非フラッシュ動作を指示する請求項１もしくは２に記載の方法。
【請求項５】
前記自動化された処理を実行するように、前記記録装置からコンピュータに前記非テキストデータのブロックおよび前記メタデータを送信するステップをさらに含む請求項１ないし４のいずれかに記載の方法。
【請求項６】
前記自動化された処理が、コンテンツに基づく情報を特定するように、前記非テキストデータおよび前記メタデータを分析することと、
前記記述を導出するように、前記コンテンツに基づく情報を操作することと、
を含む請求項１もしくは５に記載の方法。
【請求項７】
前記自動化された処理を実行するステップが、前記データのブロックを整理すること、または前記非テキストデータのブロックをサーチ中にクエリと照合することのために少なくとも１つの記述子として用いるように、前記非テキストデータのブロックに意味論的な表現を割り当てるステップを含む請求項１に記載の方法。
【請求項８】
前記自動化された処理が、複数の分類ノードを含む意思決定の逐次的な進行であり、該分類ノードのうちの少なくともいつかは、前記逐次的な意思決定の連鎖において、複数の取り得る次の分類ノードのうちのいずれの分類ノードに出会うことになるかを判定するためのアルゴリズムを含む請求項１、５もしくは６に記載の方法。
【請求項９】
前記自動化された処理が、入力ステージと、出力ステージと、少なくとも１つの意思決定ステージとを有するニューラルネットワークであり、前記意思決定ステージは複数の分類ノードを含み、該分類ノードのうちの少なくともいくつかは、前記記述を特定するための基になる出力を生成するために、前記意思決定ステージ内の他の分類ノードから、および前記入力ステージから複数の重み付けされた入力を受信するように構成される請求項１、５もしくは６に記載の方法。
【請求項１０】
前記コンテンツに基づくデータが複数の学習画像のそれぞれから抽出され、前記メタデータが前記学習画像毎に特定される、学習手順を確立するステップをさらに含み、前記学習画像毎の前記メタデータは、前記学習画像の捕捉中の前記データ捕捉装置の動作条件を指示する請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は包括的にはテキスト以外の対象データを分類することに関し、特に、分類子（classifier）で対象データをカテゴリ化するための方法およびシステムに関する。
【背景技術】
【０００２】
コンシューマ用途（たとえば、デジタルカメラおよびインターネットによるサポート）においてイメージング技術が急激に拡大しており、パーソナルコンピュータ（ＰＣ）に、デジタル化された写真アルバム、ならびにビデオおよびオーディオファイルのような他のマルチメディアコンテンツを格納することが、より一般的になってきている。マルチメディアコンテンツをカテゴリ化するために、いくつかの手法が普及している。１つの手法は、初期のイベントから最新のイベントまで日付順にコンテンツ（たとえば、画像）を整理することである。別の手法は、休暇あるいはお気に入りのペットのように、対象のテーマによってコンテンツを整理することである。カテゴリ化されることになるコンテンツ数が比較的少ないものと仮定すると、ボリュームを容易に管理することができるので、２つの手法のうちのいずれかを利用することは実用的である。
【０００３】
あまり従来型でない手法では、整理されることになるマルチメディアコンテンツを分析することができる技術を用いてカテゴリ化が実行される。この手法は、カテゴリ化されることになる画像を含むコンテンツのボリュームが著しく大きい企業および法人に有用である可能性がある。コンテンツ分析技術を利用して画像をカテゴリ化するための通常の手段は、画像の属性を記述する分類子（すなわち、意味論的な記述）でデータを特定することである。正確に分類することによって、サーチソフトウエアは、ある問い合わせと、特定された分類子とを照合することにより、画像を効率的にサーチできるようになる。一例として、ハワイの砂浜の夕暮れの画像の分類は、夕暮れ、砂浜およびハワイという分類子を含むことができる。分類した後、サーチ動作中に、これらの記述のうちの任意の記述がクエリ（query、問い合わせ）として入力されることができる。
【０００４】
コンテンツに基づく処理においては、デジタル画像、ビデオおよびオーディオファイルのためのさらに正確で、自動化されたカテゴリ化方式を提供することに多大な研究が費やされてきた。コンテンツに基づく処理では、ファイルに関連付けることができる分類子（複数可）を特定するために、対象のデータのコンテンツを分析する１つあるいは１組のアルゴリズムが実施される。コンテンツ類似度、色分散比較およびコントラスト分析が実行される場合がある。色分散分析の場合、一連の画像間で、ブロック単位の色ヒストグラム相関方法が実行され、イベント境界における画像の色類似度を判定することができる。他のタイプのコンテンツに基づく処理によれば、屋内／屋外分類、都市／風景分類、夕暮れ／日中分類、顔検出分類等を判定できる。
【０００５】
多大な努力がコンテンツに基づく処理に傾けられてきたが、テキスト以外の対象データのファイルをより良好に整理できるようにするために、代替あるいは付加的な手法が開発されている。非特許文献１によれば、コンテンツに基づかないデータ（すなわち、地理的な場所、時間および対応するイベント）を利用して、ファイルをカテゴリ化するための精度を改善するシステムを記載されている。別のシステムは、システム性能を改善するために、既存のコンテンツに基づく分類方式に確率原理を組み込む。
【非特許文献１】Hewagamage and Hirakawa,「Augmented Album: Situation-dependent System for a Personal Digital Video/Image Collection」, IEEE, April, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００６】
実現可能な技術の開発を考慮したとしても、ファイルを適正にカテゴリ化し、所望のファイルを適当に検索する能力には多くの問題が残されたままである。カテゴリ化が不適正であると、そのカテゴリ化は効果がないであろう。同じように見えるが異なるファイルが誤ってカテゴリ化されてしまい易いので、これは問題である。一例として、夕暮れを含む画像が誤って、日中としてカテゴリ化される場合がある。結果として、あるサーチにおいてユーザがその画像を検索することができる確率が下がる。
【０００７】
ファイル分類子の割当てに関して、高いレベルの信頼性を提供するファイルカテゴリ化方法およびシステムが必要とされる。
【課題を解決するための手段】
【０００８】
本発明は、記述分類子（すなわち意味論的な記述）に基づいて、テキスト以外の対象データをカテゴリ化するための方法およびシステムである。記録装置が非テキスト対象データを捕捉し、捕捉中に記録装置の動作条件に固有のメタデータを記録する。一実施形態では、非テキスト対象データは、デジタルカメラによって捕捉されるデジタル画像ファイルであるが、マルチメディアコンテンツの他のファイルもカテゴリ化にかけることができる。メタデータは、限定はしないが、自動利得設定値、フィルム速度、シャッタ速度、ホワイトバランス、開口／レンズ指数、焦点距離、日付および時刻、フラッシュ／非フラッシュ動作を含むことができる。対象データは、データを一連の分類関数を有する分類方式にかけることにより、選択された分類子に基づいてカテゴリ化される。各分類関数は、コンテンツに基づく分析およびメタデータ分析のいずれか一方あるいは両方を利用する。特定の画像の記述として選択された分類子は、視覚化およびブラウジングのために後に画像のサーチが行われるときに、ある問い合わせと照合するために利用される。
【０００９】
好ましい実施形態では、対象データは、ファクタとして記録装置からの記録されたメタデータを利用することを含むデシジョントリー（decision tree、決定木）内の意思決定の逐次的な進行の中で分類される。意思決定の逐次的な進行の中には一連の判断ノードが含まれる。各ノードは、分類子が特定のファイル（たとえば画像ファイル）に割り当てられることになるか否かを判定するためのアルゴリズムを呼び出す分類関数である。各ノードにおいて、特定の対象画像に分類子を適用するか否かの判定は、コンテンツに基づく分析、メタデータ分析、あるいはその２つの組み合わせによって行うことができる。コンテンツに基づく分析では、画像コンテンツ情報に基づくアルゴリズムが用いられる。メタデータ分析では、画像の捕捉中に記録装置によって記録されたデータ捕捉属性を用いて、分類関数を支援する。
【００１０】
別の実施形態では、対象データは、ノードの入力レイヤ、ノードの出力レイヤ、および入力レイヤと出力レイヤとの間に挟まれるノードの少なくとも１つの意思決定レイヤとを含むニューラルネットワークによって分類される。入力レイヤの各ノードは、コンテンツに基づく成分あるいはメタデータ成分を受信するように構成される。入力ノードからの結果は意思決定レイヤに送られる。意思決定レイヤでは、分類子が非テキスト対象データに割り当てられることになるか否かの判定として、種々のアルゴリズム（たとえば、起動関数）を利用する計算が実行される。意思決定レイヤの各ノードは、分類するためにコンテンツに基づくデータ、メタデータあるいはその２つの組み合わせを利用する。その結果は出力ノードに送られる。
【発明を実施するための最良の形態】
【００１１】
図１を参照すると、分類システム１０は、非テキスト対象データ１４のファイルと、関連するメタデータ１６のタグラインとの両方を捕捉するための少なくとも１つの記録装置１２を含む。非テキスト対象データおよびメタデータは、非テキスト対象データに関連付けられる分類子（すなわち、意味的な記述）を特定し、指定するために処理システム１８に転送される。非テキスト対象データとして、デジタルカメラ２２によって捕捉された、デジタル化された画像ファイル２０を用いることができる。別法では、対象データは、ビデオレコーダ２４によって捕捉されたビデオファイル、あるいはオーディオレコーダ２６によって捕捉されたオーディオファイルである。
【００１２】
ファイルは、当分野において知られている手段（アルゴリズム）を用いて、分析のためのデータブロックにセグメント化される。非テキスト対象データ１４の各ファイルとともに、非テキスト対象データの捕捉中に記録装置１２の動作条件に固有のメタデータが記録される。記録装置がデジタルカメラ２２である実施形態では、メタデータは、限定はしないが、自動利得設定値、フィルム速度、シャッタ速度、ホワイトバランス、開口／レンズ指数、焦点距離、日付および時刻、フラッシュ／非フラッシュ動作に関する情報を含む。処理システム１８による分類は、デジタルシグナル処理（ＤＳＰ）２７を非テキスト対象データに適用すること、メタデータを考慮することとを含む。
【００１３】
図１とともに図２を参照すると、分類するためにデータを捕捉し、送信するためのプロセスフローのステップが逐次的に示される。ステップ２８では、記録装置１２が対象画像２０を捕捉し、メタデータ１６を記録する。この実施形態は、捕捉された非テキスト対象データをデジタル化された画像としているが、アナログ記録装置からのアナログ形式のデータを含む、他の形態の捕捉されたデータを分類することができる。当分野において知られている手段によって、アナログ形式のデータは処理前にデジタル化される。対象データの捕捉中にアナログ記録装置の動作条件に固有のメタデータが、オペレータによって手動で記録され、入力されることができるが、自動化された技法を用いて記録されることが好ましい。
【００１４】
ステップ３０では、記録装置１２に固有のメタデータ１６が対象画像２０に添付される。一例として、デジタルカメラ２２の露出時間および焦点距離を、捕捉された夕暮れの景色の画像上にタグ付けすることができる。特定の銘柄およびモデルに応じて、各タイプのデジタルカメラが、その装置に固有の、ある特定の１組のメタデータを記録することができる。
【００１５】
通常のカメラは対象データを分類するために必要とされる処理能力を欠いているので、対象画像２０およびメタデータ１６は、分析のためにステップ３２において図１の処理システム１８に送信される。処理システムは外部のユニットであり、対象画像を特定し、その画像に分類子を割り当てるためのアルゴリズムを用いる。処理システムは外部のユニットとして記載されるが、これは、対象画像を分類するために必要な内部処理能力を備えたカメラを利用することもできるので、本発明にとって重要ではない。
【００１６】
ステップ３４では、対象画像２０が、記録装置１２によって記録されたメタデータ１６に少なくとも部分的に基づいて処理システム１８によって分類される。対象画像のような対象データに関連付けられる分類子を特定し、指定するために、デシジョントリーあるいはニューラルネットワークのような意思決定分類方式を用いることができる。デシジョントリー３６の例が図３に示される。最初に、記録装置１２によって捕捉された対象画像２０および添付のメタデータ１６は、屋外分類関数３８にかけられ、その画像が屋外のシーンの特徴を有するか、あるいは屋内のシーンの特徴を有するかが判定される。各分類関数は判断ノードに対応し、各関数は２つの取り得る結果あるいは２種類の特性状態を有する（すなわち、イエス４０あるいはノー４２）。別法では、各関数は３つ以上の結果を有することができる。
【００１７】
判断ノードの結果がイエスである場合には、２つのイベントが続く。最初に、その画像が特定の値で特定される。ノード３８の場合には、その値は屋外分類子に対応する。次に、その画像は次の分類関数、この場合には、空分類関数４４に送られる。関数４４は、既に特定されている屋外分類子に加えて、その画像が空分類子で特定されることになるか否かを判定する。その画像が空分類関数４４によって、空を含むものと判定される場合には、夕暮れ分類関数４６が続く。その画像が夕暮れを含む場合には、顔検出分類関数４８が続く。その分類方式は、デシジョントリー３６の「末端」に到達するまで続けられる。
【００１８】
分析にかけられる画像は、複数の分類子で特定されることができる。デシジョントリー３６では、対象画像２０は、屋外分類子、空分類子、夕暮れ分類子および顔分類子で特定されることができる。取り得る分類子の数はデシジョントリーの分類方式の連鎖の特性に依存する。
【００１９】
屋外分類関数３８に戻ると、その結果がノー４２である場合には、画像２０は分類子で特定されないか、デフォルトの屋内分類子のような別の値で特定されるかのいずれかである。いずれにしても、その画像は次の分類関数、この場合には、家分類関数５０に進み、その画像が家の内部を含むか否かが判定される。家分類関数５０の結果がイエスである場合には、その画像は家分類子で特定される。さらに、顔検出分類関数５２が続き、その画像が顔も含むか否かが検出される。
【００２０】
各分類関数の結果は、コンテンツに基づくデータ分析、メタデータ分析、あるはその２つの組み合わせによって判定されることができる。コンテンツに基づく分析では、画像コンテンツ情報に基づくアルゴリズムを用いて、現在の分類関数の結果が判定される。当分野において知られている手段によって、限定はしないが、コンテンツ類似度、色分散およびコントラスト分析を含む、コンテンツに基づく処理を用いて、屋内／屋外分類関数３８、空／非空分類関数４４、顔検出分類関数４８および５２等の判定を得ることができる。画像シーケンスの色分散分析の場合の一例として、ブロック単位の色ヒストグラム相関が一連の画像間で実行され、イベント境界における画像の色の類似度を判定することができる。
【００２１】
メタデータ分析では、記録装置１２のデータ捕捉属性が、対象画像２０の捕捉中に記録される。データ捕捉属性に割り当てられる値は、現在の分類関数を実行する際にアクセスされ、成分として用いられることができる。上記のように、記録装置が、デジタル画像である非テキスト対象データ１４を記録するためのデジタルカメラ２２である場合、メタデータ１６は、限定はしないが、自動利得設定値、フィルム速度、シャッタ速度、ホワイトバランス、開口／レンズ指数、焦点距離、日付および時刻、フラッシュ／非フラッシュ動作を含む。焦点距離が、対象画像の捕捉中に無限遠であるものと判定される場合には、その画像が屋外で撮影された確率が高い。一方、フラッシュの利用は、その画像が屋内で、かつ／または標準的な日中以降に撮影されたことを指示する。さらに、画像捕捉中の露出時間が比較的短い場合には、同様に画像が屋外で撮影された確率が高い。コンテンツに基づく分析とともにメタデータを用いることにより、対象画像に適切な分類子が正確に判定される可能性が高くなる。
【００２２】
意思決定の逐次的な進行を判定し、対象画像２０に関連付けられる分類子（複数可）を特定し、指定するための図３のデシジョントリー３６は、図４に示されるように、最初に１組の学習画像５４から作成される。学習段階において、記録装置１２（たとえば、デジタルカメラ２２）を用いて、１組の学習画像５４を捕捉し、メタデータ１６を記録することができる。それぞれのメタデータとともに画像が処理システム１８に送信される。各学習画像は、画像のコンテンツおよび／または画像の捕捉中の捕捉装置の動作条件に関連付けられるメタデータに応じて、少なくとも１つの分類子で特定される。図４の１組の学習画像５４は限定された数の学習画像のみを示すが、デシジョントリーの意思決定の逐次的な進行を作成するためには、さらに多くの学習画像が用いられるべきである。さらに、その１組の学習画像は、コンテンツおよびメタデータが変化する画像を含むべきである。
【００２３】
１組の学習画像５４を用いて、３つの方法、すなわち（１）コンテンツに基づく分析、（２）メタデータ分析、および（３）外部ユニットあるいは人間オペレータによる少なくとも１つの分類子の指定のうちの少なくとも１つに基づいて、分類関数が逐次的な連鎖に並べられる。１つの分類関数から次の分類関数に導くデシジョントリーおよび経路に関する規則、ならびに任意の所与のノードにおいて分類子が対象画像２０で特定されるべきか否かを判定するために用いられるアルゴリズムのタイプは、データマイニングにおいて知られている連想パターン技法を用いて構成されることができる。
【００２４】
別の実施形態では、対象画像２０を分類するための意思決定分類方式は、図５に示されるようなニューラルネットワーク５６である。そのニューラルネットワークは、ノードの入力レイヤ５８と、ノードの「隠れ」レイヤあるいは意思決定レイヤ６０と、ノードの出力レイヤ６２とを含む。入力レイヤの各ノードは、コンテンツに基づくデータあるいはメタデータを受信するように構成される。たとえば、入力レイヤのノード６４は、対象画像２０の捕捉中に記録装置１２の焦点距離に対応するメタデータを受信するように構成されることができる。入力レイヤのノードでは処理は行われない。むしろ、入力ノードは、入力レイヤを表現するために用いられる意味上の構成物である。
【００２５】
意思決定レイヤ６０には、６つの意思決定ノードが存在する。各意思決定ノードは、先行するレイヤ（すなわち入力レイヤ５８）内のノードから、および同じレイヤ（すなわち意思決定レイヤ６０）内のノードから、重み付けされた値を受信するように構成されることができる。各意思決定ノードは、各入力に関連付けられる接続重みを有し、各入力値とその関連する重みとを乗算する。その後、そのノードは全ての入力に対する値を合計する。その後、その和を起動関数への入力として用いて、そのノードのための出力が生成される。各関数に関連付けられるバイアス項が、出力を調整するために用いられることができる。起動関数は通常、ロジスティック関数あるいは双曲線正接関数のようなＳ字型関数である。選択された起動関数からの出力は、さらに処理するために同じレイヤ（すなわち意思決定レイヤ）内のノードに、あるいは次のレイヤ（すなわち出力レイヤ）内のノードに送られることができる。
【００２６】
意思決定ノードは、出力レイヤ６２において対象画像２０のための分類子を特定し、指定するために、１つの判断を生成するように構成される。出力レイヤ内の各ノードは、ある特定の分類子に対応する。たとえば、ニューラルネットワーク５６内で分析にかけられる画像２０は、ノード６６において夕暮れ分類子で特定されるものとしてカテゴリ化されることができる。
【００２７】
図３のデシジョントリー３６と同じように、対象画像２０に関連付けられる分類子（複数可）を特定し、指定するための図５のニューラルネットワークは、最初に１組の学習画像から作成される。記録装置１２を用いて、１組の学習画像を捕捉し、メタデータを記録することができる。ニューラルネットワーク、および各意思決定ノードに対応する、関連付けられる重みに関する規則、ならびにある分類子がその対象画像で特定されることになるか否かを判定するために用いられる起動関数のタイプは、コンテンツに基づく分析、メタデータ分析あるいはその２つの組み合わせから決定される。
【００２８】
本発明は、意思決定レイヤ６０内の６つの意思決定ノードを含むものとして示されるが、さらに多くの、あるいはさらに少ないノードを用いることができる。最適なノードの数は、その分類方式のために用いられるトレーニングアルゴリズムのタイプ、およびその分類方式のために望ましい精度等、様々なファクタに依存する。さらに、同じく分類方式のために用いられるトレーニングアルゴリズムのタイプ、およびその分類方式のために望ましい精度によっては、ネットワーク内にさらに多くの意思決定レイヤを用いることができる。さらに、図５に示されるような６つの取り得る分類子ではなく、出力レイヤ６２において特定できるようにするために、さらに少ない、あるいはさらに多くの分類子を選択することもできる。最後に、画像カテゴリ化のためにニューラルネットワーク５６あるいはデシジョントリー３６を用いること以外に、本発明の範囲から逸脱することなく、遺伝的アルゴリズムを適用することなどの異なるタイプの分類方式を用いることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明による、非テキスト対象データおよびメタデータを捕捉するための記録装置を有する分類システムと、対象データを分類するための処理システムとを示す図である。
【図２】図１の分類システムによる、後に分類を行うためにデータを捕捉し、送信するためのプロセスフローの図である。
【図３】図１の処理システムによる、対象データに関連付けられる分類子（複数可）を特定するためのデシジョンツリーを示す図である。
【図４】１組の学習画像から意思決定の逐次的な進行を作成するための図１の分類システムを示す図である。
【図５】図１の処理システムによる、対象データに関連付けられる分類子（複数可）を特定するためのニューラルネットワークを示す図である。
【符号の説明】
【００３０】
１２  記録装置
１４  非テキストデータ
１６  メタデータ
２０  画像ファイル
２２  デジタルカメラ
２６  オーディオレコーダ
５４  学習画像
５６  ニューラルネットワーク
５８  入力ステージ
６０  意思決定ステージ
６２  出力ステージ  
【図１】
2005510775.tif 000003
【図２】
2005510775.tif 000004
【図３】
2005510775.tif 000005
【図４】
2005510775.tif 000006
【図５】
2005510775.tif 000007
【国際調査報告】
2005510775.tif 000008
2005510775.tif 000009
2005510775.tif 000010
2005510775.tif 000011