(57)【特許請求の範囲】
【請求項１】
情報特徴付け特性のセットをそれぞれ有する情報アイテムの集合を検索し、検索の結果を表示する情報検索装置において、
ユーザが定義した情報特徴付け特性に基づいて上記情報アイテムを検索し、該ユーザが定義した情報特徴付け特性に対応する情報特徴付け特性を有する情報アイテムを特定する検索プロセッサと、
上記検索によって特定された情報アイテムの集合から、該情報アイテムの互いの類似性に基づいて、類似する情報アイテムが近接した位置にマッピングされるように、特定された情報アイテムをアレー内の各位置に対応させて示す、情報アイテムのマップを表すデータを生成するマッピングプロセッサと、
上記少なくとも幾つかの特定された情報アイテムを表示するグラフィカルユーザインタフェースと、
特定された情報アイテムを選択するユーザ操作子とを備え、
上記検索プロセッサは、上記ユーザが選択した情報アイテムに関連する情報アイテムを特定するための絞込み検索を行うことが可能であり、
上記ユーザ操作子は、複数の特定された情報アイテムを選択し、該選択された情報アイテム間で、論理演算子を用いて検索関係を指定する機能をユーザに対して提供し、
上記検索プロセッサは、
上記論理演算子がＯＲである場合、上記ユーザが選択した各情報アイテムの各情報特徴付け特性によって特定される各アレー位置から所定数のアレー位置範囲内の情報アイテムを特定し、
上記論理演算子がＡＮＤである場合、上記ユーザが選択した各情報アイテムの各情報特徴付け特性を結合し、該結合された情報特徴付け特性によって特定されるアレー位置から所定数のアレー位置範囲内の情報アイテムを特定し、
上記論理演算子がＮＯＴである場合、上記ユーザが選択した情報アイテムの情報特徴付け特性によって特定されるアレー位置から所定数のアレー位置範囲内の情報アイテムを除外し、
上記情報特徴付け特性がビデオ画像を表すデータを含む場合、
上記ユーザ操作子は、上記特定された情報アイテムから複数のビデオ画像フレームを選択することで、上記論理演算子に基づいて、検索クエリを生成し該選択されたビデオ画像フレーム間で検索関係を指定する機能をユーザに提供し、
上記検索プロセッサは、
上記論理演算子がＯＲである場合、上記ユーザが選択した各ビデオ画像フレームから所定の距離内にある色ヒストグラムを有するビデオ画像フレームを代表フレームとして含む情報アイテムを特定し、
上記論理演算子がＡＮＤである場合、上記ユーザが選択した各ビデオ画像フレームの色ヒストグラムを結合し、該結合された色ヒストグラムから所定の距離内にある色ヒストグラムを有するビデオ画像フレームを上記代表フレームとして含む情報アイテムを特定し、
上記論理演算子がＮＯＴである場合、上記ユーザが選択したビデオ画像フレームから所定の距離内にある色ヒストグラムを有するビデオ画像フレームを上記代表フレームとして含む情報アイテムを除外することを特徴とする情報検索装置。
【請求項２】
上記情報特徴付け特性は、上記情報アイテムの内容又は属性を記述するメタデータを含むことを特徴とする請求項１記載の情報検索装置。
【請求項３】
上記ユーザ操作子は、上記特定された情報アイテムに関連するメタデータに基づいて該特定された情報アイテムを選択し、上記検索プロセッサは、同一及び／又は類似のメタデータを含む情報アイテムについて、上記情報アイテムの集合を検索することを特徴とする請求項１又は２記載の情報検索装置。
【請求項４】
上記代表フレームは、情報アイテムに関連するビデオ画像フレームの色情報の平均値に基づいて、該情報アイテムに関連するビデオ画像フレームから選択されることを特徴とする請求項１記載の情報検索装置。
【請求項５】
上記検索プロセッサは、同一及び／又は類似の色情報を有する代表フレームを有する情報アイテムを特定することによって、上記選択されたビデオ画像フレームに関連する情報アイテムを検索することを特徴とする請求項１又は４記載の情報検索装置。
【請求項６】
上記情報特徴付け特性がオーディオ信号を表すデータを含む場合、上記ユーザ操作子は、情報アイテムを選択し、該オーディオデータ又はオーディオ信号の内容又は属性を記述するオーディオメタデータの少なくとも一方の種類に基づく検索クエリを生成する機能を提供することを特徴とする請求項１乃至５いずれか１項記載の情報検索装置。
【請求項７】
上記検索プロセッサは、同一及び／又は類似のオーディオデータを有する情報アイテムを特定することによって、上記選択されたオーディオデータに関連する情報アイテムを検索することを特徴とする請求項６記載の情報検索装置。
【請求項８】
上記ユーザ操作子は、上記特定された情報アイテムから複数のオーディオデータを選択することで、上記論理演算子に基づいて、検索クエリを生成し該選択されたオーディオデータの間で検索関係を指定する機能をユーザに提供することを特徴とする請求項６又は７記載の情報検索装置。
【請求項９】
上記検索プロセッサは、
上記論理演算子がＯＲである場合、上記検索プロセッサは、上記ユーザが選択した各情報アイテムに関連するオーディオメタデータから生成された特徴ベクトルによって特定された各アレー位置から所定数のアレー位置範囲内の情報アイテムを特定し、
上記論理演算子がＡＮＤである場合、上記ユーザが選択した各情報アイテムに対応するオーディオメタデータを結合し、該結合されたオーディオメタデータに対応する特徴ベクトルによって特定されるアレー位置から所定数のアレー位置範囲内の情報アイテムを特定し、
上記論理演算子がＮＯＴである場合、上記ユーザが選択した情報アイテムに関連する特徴ベクトルによって特定されるアレー位置から所定数のアレー位置範囲内の情報アイテムを除外することを特徴とする請求項８記載の情報検索装置。
【請求項１０】
上記グラフィカルユーザインタフェースは、
情報特徴付け特性のセットをそれぞれ有する情報アイテムの集合を検索する検索クエリを特定する操作を受け付け可能であり、
上記情報アイテムの集合から情報アイテムを選択する機能を提供する複数のフィールドを有し、
上記複数のフィールドの各行は、それぞれの行に関係付けられた異なる種類の情報特徴付け特性に基づいて上記検索クエリを生成するための検索条件を定義することを特徴とする請求項１乃至９いずれか１項記載の情報検索装置。
【請求項１１】
上記各行について、複数の情報アイテムを選択でき、該各行に２つ以上の情報特徴付け特性が与えられている場合、上記検索クエリの検索条件は、ユーザが指定した論理演算子に基づいて結合されることを特徴とする請求項１０記載の情報検索装置。
【請求項１２】
情報特徴付け特性のセットをそれぞれ有する情報アイテムの集合を検索し、検索の結果を表示する情報検索方法において、
ユーザが定義した情報特徴付け特性に基づいて上記情報アイテムを検索するステップと、
上記検索によって特定された情報アイテムの集合から、該情報アイテムの互いの類似性に基づいて、類似する情報アイテムが近接した位置にマッピングされるように、特定された情報アイテムをアレー内の各位置に対応させて示す、情報アイテムのマップを表すデータを生成するステップと、
上記アレーにおいて、上記ユーザが定義した情報特徴付け特性に対応する情報特徴付け特性を有する情報アイテムの位置を特定するステップと、
上記少なくとも幾つかの特定された情報アイテムを表示するステップと、
特定された情報アイテムを選択するステップと、
上記選択された情報アイテムに関連する情報アイテムを特定するための絞込み検索を行うステップと、
ユーザに対し、複数の特定された情報アイテムを選択し、該選択された情報アイテム間で、論理演算子を用いて検索関係を指定する機能を提供するステップと、
上記論理演算子がＯＲである場合、上記ユーザが選択した各情報アイテムの各情報特徴付け特性によって特定される各アレー位置から所定数のアレー位置範囲内の情報アイテムを特定するステップと、
上記論理演算子がＡＮＤである場合、上記ユーザが選択した各情報アイテムの各情報特徴付け特性を結合し、該結合された情報特徴付け特性によって特定されるアレー位置から所定数のアレー位置範囲内の情報アイテムを特定するステップと、
上記論理演算子がＮＯＴである場合、上記ユーザが選択した情報アイテムの情報特徴付け特性によって特定されるアレー位置から所定数のアレー位置範囲内の情報アイテムを除外するステップとを有し、
上記情報特徴付け特性がビデオ画像を表すデータを含む場合、
上記特定された情報アイテムから複数のビデオ画像フレームを選択することで、上記論理演算子に基づいて、検索クエリを生成し該選択されたビデオ画像フレーム間で検索関係を指定する機能をユーザに提供するステップと、
上記論理演算子がＯＲである場合、上記ユーザが選択した各ビデオ画像フレームから所定の距離内にある色ヒストグラムを有するビデオ画像フレームを代表フレームとして含む情報アイテムを特定するステップと、
上記論理演算子がＡＮＤである場合、上記ユーザが選択した各ビデオ画像フレームの色ヒストグラムを結合し、該結合された色ヒストグラムから所定の距離内にある色ヒストグラムを有するビデオ画像フレームを上記代表フレームとして含む情報アイテムを特定するステップと、
上記論理演算子がＮＯＴである場合、上記ユーザが選択したビデオ画像フレームから所定の距離内にある色ヒストグラムを有するビデオ画像フレームを上記代表フレームとして含む情報アイテムを除外するステップとを有することを特徴とする情報検索方法。
【請求項１３】
上記情報特徴付け特性は、上記情報アイテムの内容又は属性を記述するメタデータを含むことを特徴とする請求項１２記載の情報検索方法。
【請求項１４】
上記特定された情報アイテムを選択するステップは、
該特定されたアイテムに関連するメタデータに基づいて該特定された情報アイテムを選択するステップと、
同一及び／又は類似のメタデータを含む情報アイテムについて、上記情報アイテムの集合を検索するステップとを有することを特徴とする請求項１２又は１３記載の情報検索方法。
【請求項１５】
上記情報特徴付け特性がオーディオ信号を表すデータを含む場合、
上記特定された情報アイテムを選択するステップは、
上記オーディオ信号の内容又は属性を記述するオーディオデータ又はオーディオメタデータの少なくとも一方の種類に基づいて、情報アイテムを選択する機能を提供するステップと、
同一及び／又は類似のオーディオデータを有する情報アイテムを特定することによって、上記選択されたオーディオデータに関連する情報アイテムを検索するステップとを有することを特徴とする請求項１２乃至１４いずれか１項記載の記載の情報検索方法。
【請求項１６】
請求項１２乃至１５いずれか１項記載の情報検索方法を実現するコンピュータで実行可能なプログラム。
【請求項１７】
請求項１６記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報検索装置及び情報検索方法に関する。
【背景技術】
【０００２】
キーワードに基づいて情報（例えば文書、画像、電子メール、特許情報、例えばオーディオ／ビデオコンテンツ等のインターネットコンテンツやメディアコンテンツ等）を検索するための多くの方式が確立されている。この検索の具体例としては、「グーグル（Google：商標）」、「ヤフー（Yahoo：商標）」等から提供されるインターネット検索「エンジン」も含まれ、これらにおいては、キーワードに基づく検索が実行され、検索エンジンによって適合度の順にランク付けされた検索結果のリストが得られる。
【０００３】
しかしながら、多くの場合大量のコンテンツコレクション（massive content collection）と呼ばれる大量のコンテンツを含むシステムにおいては、比較的短い「ヒット」した結果のリストが得られる有効な検索クエリを定式化することは困難となることがある。例えば、本出願を準備している時点では、グーグルにおいて、キーワード「massive document collection」を用いた検索を行うと、ヒット数は、２４３０００件となる。インターネット全体に蓄積されているコンテンツの量は、通常、時間と共に増加すると考えられるので、後に同じ検索を行った場合には、このヒット数は更に増加すると予想される。このようなヒットリストに基づいて、ヒットした全てのコンテンツに目を通す（Reviewing）ことは、現実的には殆ど不可能な程に時間がかかる作業である。
【０００４】
大量のコンテンツコレクションを活用することが困難である理由は、一般的には、以下のようなものがある。
・ユーザは、関連するコンテンツが存在することを知らない。
・ユーザは、関連するコンテンツが存在することを知っているが、そのコンテンツがどこにあるかを知らない。
・ユーザは、コンテンツが存在していることを知っているが、そのコンテンツが関連するコンテンツであることを知らない。
・ユーザは、関連するコンテンツが存在し、そのコンテンツを見つけ出す手法も知っているが、コンテンツを見つけ出すには時間がかかる。
【０００５】
「大量の文書集合の自己組織化（Self Organisation of a Massive Document Collection）」、コホネン（Kohonen）他、ニューラルネットワークに関するＩＥＥＥトランザクション（IEEE Transactions on Neural Networks）、Ｖｏｌ１１、Ｎｏ．３、２０００年５月、５７４〜５８５頁には、所謂「自己組織化マップ（self-organising maps：以下、ＳＯＭという。）」を用いた技術が開示されている。ＳＯＭは、各文書の属性を表す「特徴ベクトル（feature vector）」をＳＯＭのノードにマッピングする、所謂教師なき自己学習ニューラルネットワークアルゴリズム（unsupervised self-learning neural network algorithm）を利用している。
【０００６】
コホネン他の論文に開示されている手法では、まず、文書テキストを前処理し、前処理された各文書から特徴ベクトルが導かれる。この特徴ベクトルは、大きな単語の辞書における各単語の出現頻度を示すヒストグラムの形式で表してもよい。ヒストグラム内の各データ値（すなわち、辞書中のそれぞれの単語の各出現頻度）は、辞書内の候補となる単語の総数（この論文に記述されている具体例では、４３２２２個）をｎとして、ｎ値のベクトルにおける値となる。例えば、ある単語の適合度を増加させ又は特異性を強調するために、ｎ個のベクトル値に重み付けを適用してもよい。
【０００７】
ｎ値のベクトルは、次元がより小さいベクトル（すなわちｎに比べてかなり小さな値の数ｍ（論文内の具体例では５００）の値を有するベクトル）にマッピングされる。これは、乱数の配列により構成されるｎ×ｍの「射影行列（projection matrix）」をベクトルに乗算することによって実現される。この手法により、次元が小さくされたどの２つのベクトルをとっても、それぞれ対応する２つの入力ベクトルと略同じ内積を有する、次元がより小さいベクトルが生成される。このベクトルマッピング処理は、論文「ランダムマッピングによる次元縮退：クラスタリングのための高速類似性演算（Dimensionality Reduction by Random Mapping; Fast Similarity Computation for Clustering）」、カスキ（Kaski）、ＰｒｏｃＩＪＣＮＮ、４１３〜４１８頁、１９９８年に記載されている。
【０００８】
次元が縮退されたベクトルは、各ベクトルを１つの「モデル（他のベクトル）」に乗算する処理によって、ＳＯＭ上のノード（ニューロンともいう）にマッピングされる。これらのモデルは、学習プロセスによって生成される。この学習プロセスでは、モデルを相互の類似性に基づいてＳＯＭ上に順序付けし、ＳＯＭは、通常、ノードの２次元グリッドとして表される。これは、膨大な演算を必要とする処理であり、コホネン他は、この処理のために、７００万の文書に満たない文書データベースに対して、８００ＭＢのメモリを有する６プロセッサのコンピュータで６週間を費やしている。最終的には、ＳＯＭを構成するノードのグリッドが表示され、ユーザはマップの領域をズームしてノードを選択することができ、これにより、ユーザインタフェースは、そのノードにリンクされた文書が含まれるインターネットページへのリンクを提供する。
【発明の開示】
【課題を解決するための手段】
【０００９】
本発明の様々な側面及び特徴は、特許請求の範囲において定義されている。
【００１０】
本発明は、一側面として、情報を特徴付ける特性（characterising information features：この明細書では、「情報特徴付け特性」と呼ぶ。）のセットをそれぞれ有する情報アイテムのセットを検索し、検索の結果を表示する情報検索装置を提供する。情報検索装置は、ユーザが定義した情報特徴付け特性に基づいて情報アイテムを検索し、ユーザが定義した情報特徴付け特性に対応する情報特徴付け特性を有する情報アイテムを特定する検索プロセッサを備える。更に、情報検索装置は、検索によって特定された情報アイテムのセットから、情報アイテムのマップを表すデータを生成するマッピングプロセッサを備える。このマップは、同様の情報アイテムが同様の位置にマッピングされたアレー内の位置に関して、情報アイテムの互いの類似性に基づいて特定された情報アイテムを提供する。更に、情報検索装置は、少なくとも幾つかの特定された情報アイテムの表現を表示するグラフィカルユーザインタフェースと、特定された情報アイテムを選択するユーザ操作子とを備える。検索プロセッサは、選択された情報アイテムに関連する情報アイテムを特定するための検索の精度を高める。これにより、ユーザは、アレー内で互いに同様な位置にあるアイテムについて、必要な情報アイテムを特定することによって検索の精度を高めることができる。ユーザに表示可能なアレー内の位置に関する情報アイテムの構成と共に、情報アイテムを検索し及び検索結果の精度を高めるための機能が提供される。更に、本発明により、情報アイテムの検索が容易になり、これは特に、情報アイテムの量が大量である場合に有益である。
【００１１】
本発明は、情報アイテムを検索するための検索クエリを定義し、特に、大量のデータを検索する際に、情報アイテムの検索の精度を高めるための技術的課題を解決する。
【００１２】
情報特徴付け特性は、情報アイテムのコンテンツ又は属性を記述するメタデータを含んでいてもよい。情報アイテムの検索の精度を高めるために、ユーザ操作子は、特定された情報アイテムに関連するメタデータ、ビデオ画像又はオーディオメタデータに基づいて、特定された情報アイテムを選択するように構成してもよい。
【００１３】
検索プロセッサは、同じ及び／又は同様のメタデータ、同じ及び／又は同様のビデオ画像、又は同じ及び／又は同様のオーディオメタデータを含む情報アイテムについて、情報アイテムのセットを検索するよう構成してもよい。例えば、検索プロセッサは、選択された情報アイテムに関連するメタデータから生成された特徴ベクトルを比較し、この特徴ベクトルに最も近いアレー内の位置を見つけるように動作してもよい。検索プロセッサは、ユーザが選択した特定された情報アイテムに関連するメタデータに関して、情報アイテムのセットを検索する。検索プロセッサは、特徴ベクトルの最も近くのアレー内の位置に基づき、アレー内で所定数の位置内にある情報アイテムのセットから、情報アイテムを特定する。
【００１４】
ユーザ操作子は、ユーザに対し、複数の特定された情報アイテムを選択し、特定されたアイテム間で、論理演算子を用いて検索関係を指定するための機能を提供してもよい。これにより、ユーザが指定した論理演算子に基づいて、複数の情報特徴付け特性を結合し、検索クエリを生成してもよい。これにより、ユーザに興味がある情報アイテムに焦点を絞った検索を実現できる。
【００１５】
また、本発明の他の側面として、本発明は、情報アイテムのセットから情報アイテムを選択するための複数のフィールドを含むグラフィカルユーザインタフェースを提供する。複数のフィールドの各行は、各行に関連付けられている異なる種類の情報特徴付け特性に基づいて検索クエリを生成するための検索条件を定義する。２つ以上の情報特性が各行に与えられている場合、検索条件は、論理演算子によって指定される。これにより、ユーザは、インタフェースの異なる行において選択された情報アイテムに基づいて、検索クエリを指定できる。
【００１６】
本発明の更なる側面及び特徴は、特許請求の範囲において定義されている。
【発明を実施するための最良の形態】
【００１７】
図１は、情報格納及び検索システム（information storage and retrieval system）の構成を概略的に示す図であり、この情報格納及び検索システムは、汎用コンピュータ１０によって実現されており、汎用コンピュータ１０は、プログラム及びデータを格納するディスク記憶装置３０を含むプロセッサユニット２０と、イーサネット（登録商標）（Ethernet（登録商標） network）又はインターネット等のネットワーク５０に接続されたネットワークインタフェースカード４０と、例えば陰極線管等の表示装置６０と、キーボード７０及びマウス８０等のユーザ入力装置とを備える。この情報格納及び検索システムは、プログラム制御の下に動作し、このプログラムは、ディスク記憶装置３０に格納され、及び、例えばネットワーク５０又はリムーバブルディスク（図示せず）から、若しくはディスク記憶装置３０にプリインストールされて提供される。
【００１８】
情報格納及び検索システムは、２つの通常の動作モードで動作する。第１のモードでは、第１の情報アイテム（例えば、テキスト情報アイテム）の集合がディスク記憶装置３０に又はネットワーク５０を介して接続されたネットワークディスクドライブに集められ（assembled）、検索動作のために予めソートされるとともに、インデックスが付けられる。第２のモードの動作では、ソートされ、インデックスが付されたデータに対して実際の検索が行われる。
【００１９】
この具体例は、多くの種類の情報アイテムに適用できる。適用される情報アイテムとしては、以下に限定されるものではないが、例えば、特許情報、ビデオマテリアル、電子メール、プレゼンテーション、インターネットコンテンツ、放送コンテンツ、営業報告書、オーディオマテリアル、グラフィクス及びクリップアート、写真、これらの組合せ又は混合された情報等がある。ここでは、テキスト情報アイテム、又は少なくともテキストコンテンツを含む又は関連した情報について説明する。テキスト情報アイテムは、非テキストのアイテムに関連付け又はリンクさせることができる。例えば、オーディオ及び／又はビデオマテリアルは、そのマテリアルをテキスト用語（textual terms）で定義する「メタデータ」に関連付けることができる。
【００２０】
情報アイテムは、従来の方法でディスク記憶装置３０にロードされる。好ましくは、情報アイテムは、アイテムに索引を付けてより容易に検索できるようにデータベース構造の一部として格納されるが、このことは必ずしも必要なわけではない。情報及びアイテムが一旦格納されると、検索のために格納された情報を整理する、図２に示す処理が行われる。
【００２１】
なお、インデックスが付されたデータは、必ずしもローカルのディスクドライブであるディスク記憶装置３０に格納する必要はない。情報アイテムは、ネットワーク５０を介して汎用コンピュータ１０に接続されたリモートのドライブに格納することもできる。これに代えて、情報は、分散方式で、例えばインターネット全域の様々なサイトに格納することもできる。情報が異なるインターネットサイト又はネットワークサイトに格納されている場合、リモートの情報への「リンク」（例えば、ユニバーサルリソース識別子：Universal Resource Identifier：ＵＲＩ）を、例えば関連した要約（summary）、概要（abstract）、又はこのリンク関するメタデータと共に格納する第２のレベルの情報格納を用いることができる。リモートに格納された情報は、ユーザが（例えば、後述する結果リスト２６０から）関連するリンクを選択しない限り、アクセスされないが、以下に記述する技術的な説明においては、リモートに格納された情報、又は要約、概要、メタデータ、若しくはリンク／ＵＲＩも「情報アイテム」とみなすことができる。
【００２２】
換言すると、「情報アイテム」の正式な定義とは、（後述のように）特徴ベクトルを導出及び処理して、自己組織化マップ（ＳＯＭ）へのマッピングを行うことができるアイテムと形式的に定義することができる。後述する結果リスト２６０内のデータは、（情報アイテムがローカルに格納され、容易に表示できる程に十分短い場合）ユーザが求めている情報アイテム自体であってもよく、及び／又は、例えばメタデータ、ＵＲＬ、概要、キーワードのセット、代表的なキースタンプ画像等のうちの１つ以上である、情報アイテムを表現及び／又は指示するデータであってもよい。これは、必ずではないが、多くの場合、情報アイテムのセットを表すデータを一覧化する「リスト」動作に特有なものである。情報アイテムを表すデータは、異なる種類の情報を含むことができる。情報アイテムの各情報の種類及び各種類を表すデータを、ここでは情報特徴付け特性（characterising information feature）と呼ぶ。
【００２３】
更なる具体例においては、情報アイテムは、例えば研究チームや法律事務所等のネットワーク化されたワークグループ全体に格納してもよい。また、ハイブリッド法は、ローカルに格納された情報アイテム及び／又はローカル領域ネットワーク全体に格納された情報アイテム及び／又はワイド領域ネットワーク全体に格納された情報アイテムを含んでいてもよい。この場合、本発明に基づくシステムは、他者による類似した業績を検索するのに有用であり、例えば、後述するように、複数の国に亘る大規模な研究開発組織において、類似した研究業績をＳＯＭにおける類似した出力ノードにマッピングすることができる。あるいは、新たなテレビジョン番組を企画する場合、本発明に基づく技術を用いて、類似するコンテンツを有する以前の番組を検索することにより、企画中の番組の独創性を確認することもできる。
【００２４】
図１に示す汎用コンピュータ１０は、インデックスが付された情報アイテムを用いる可能なシステムの一例にすぎない。初期の（インデックス付与）段階は、相当の演算能力を有するコンピュータ、可能性としては携帯型ではないコンピュータによって実行されるが、後の段階では、例えば、携帯情報端末（personal digital assistant：ＰＤＡ）（ディスプレイとユーザ入力装置とを備えた、通常片手で持てる程度の寸法のデータ処理装置を指す）、ラップトップコンピュータ等の携帯型コンピュータによって、情報のアクセスを実行してもよく、更に携帯電話、ビデオ編集装置、ビデオカメラ等の機器で行ってもよい。包括的に言えば、情報にアクセスする動作段階では、ディスプレイを有するあらゆる機器を用いることができる。
【００２５】
この処理は、特定の数の情報アイテムに対する処理に限定されるものではない。
【００２６】
情報アイテムの自己組織化マップ（ＳＯＭ）表現を生成する処理について、図２〜図６を用いて説明する。図２は、ＳＯＭマッピング処理の前に行われる、所謂「特徴抽出（feature extraction）」を説明するフローチャートである。
【００２７】
特徴抽出は、生のデータ（raw data）を抽象的表現（abstract representation）に変換する処理である。そして、この抽象的表現は、パターン分類、クラスタリング、認識等の処理に用いることができる。この処理により、所謂「特徴ベクトル」が生成される。特徴ベクトルは、文書内で使用される用語の頻度の抽象的表現である。
【００２８】
特徴ベクトルを生成することにより、ビジュアライゼーション（visualisation）を形成する処理は、以下のステップを含む。
・用語の「文書データベース辞書（document database dictionary）」を作成する。
・「文書データベース辞書」に基づいて、個々の各文書について、「用語頻度ヒストグラム（term frequency histogram）」を作成する。
・ランダムマッピングを用いて、「用語頻度ヒストグラム」の次元を縮退する。
・情報空間の２次元ビジュアライゼーションを作成する。
【００２９】
以下、これらのステップをより詳細に説明する。各文書（情報アイテム）１００は、順番に開かれる。ステップ１１０において、文書から全ての「ストップワード（stop word）」を取り除く。ストップワードとは、例えば「a」、「the」、「however」、「about」、「and」等、予め準備されたリストに挙げられている極めてありふれた単語である。これらの単語は、極めてありふれており、平均的に、十分な長さを有するあらゆる文書において、同様の頻度で出現する可能性が高い。したがって、これらの単語は、特定の文書のコンテンツを特徴付ける目的には殆ど貢献せず、このため、これらのストップワードを削除する。
【００３０】
ストップワードを削除した後、ステップ１２０において、残っている単語の語幹を調べる。これは、単語の活用形に対する共通の原形を見出す処理を含む。例えば「thrower」、「throws」、「throwing」は、共通の語幹又は原形「throw」を有している。
【００３１】
文書内に出現する（ストップワードを除く）単語の語幹又は原形の辞書は、保守される。すなわち、新たな単語が出現すると、この単語は辞書に追加され、文書集合（情報アイテムの集合）全体の中でその単語が出現した回数も記録される。
【００３２】
この結果、その集合内の全ての文書内で使用された用語が、その出現頻度とともに登録されたリストが作成される。出現頻度が高すぎる又は低すぎる単語は除外（discount）され、すなわち、これらの単語は辞書から削除され、後の分析には使用しない。出現頻度が低すぎる単語は、綴り間違いのある単語や、造語（made up）、又はその文書集合によって表されている分野に関係がない単語である可能性がある。一方、出現頻度が高すぎる単語は、その集合内の文書を区別するために用いるには不適切である。例えば、「News」という単語が試験的な放送関連の文書集合全体の内、３分の１の文書において使用されており、一方、「football」という単語がこの試験的な文書集合全体の内、約２％しか使用されていないとする。この場合、「football」は、「News」より、文書のコンテンツを特徴付けるために適切な用語であると考えることができる。一方、「fottball（footballの綴り間違い）」が文書集合全体の内、１回しか出現していないとすると、この単語は、出現頻度が低すぎるとして除外される。これらの単語は、平均出現頻度に対して２標準偏差小さい出現頻度を有する単語、又は平均出現頻度に対して２標準偏差大きな出現頻度を有する単語と定義してもよい。
【００３３】
そして、ステップ１３０において、特徴ベクトルを生成する。
【００３４】
特徴ベクトルを生成するために、集合内の各文書に対して用語頻度ヒストグラムを作成する。用語頻度ヒストグラムは、辞書（文書集合に関連付けられている）内に存在する単語が、個々の文書内で出現する頻度を計数することによって作成される。辞書内の大半の用語は、単一の文書内には存在せず、したがって、これらの用語の出現頻度は０である。図３（ａ）及び（ｂ）は、２つの異なる文書についての用語頻度ヒストグラムの具体例を示している。
【００３５】
この具体例から、用語頻度ヒストグラムが、どのようにして文書のコンテンツを特徴付けているかがわかる。この具体例の場合、文書１は、文書２に比べて、「MPEG」、「Video」という用語の出現頻度が高く、一方、文書２は、文書１に比べて、「MetaData」という用語の出現頻度が高い。用語頻度ヒストグラム内の多くのアイテム（entry）は、対応する単語がその文書内に存在しないため、値が０となっている。
【００３６】
実際の具体例では、実際の用語頻度ヒストグラムは、この具体例に示す用語頻度ヒストグラムよりも遙かに多くの用語を含んでいる。多くの場合、用語頻度ヒストグラムは、５００００個以上の異なる用語の頻度を示し、したがって、用語頻度ヒストグラムの次元は、５００００以上となる。この用語頻度ヒストグラムの次元は、ＳＯＭ情報空間の構築に使用するためには、かなり減らす必要がある。
【００３７】
用語頻度ヒストグラム内の各アイテムは、その文書を表現する特徴ベクトルにおける対応する値として使用される。この処理の結果、文書集合内の各文書について、辞書によって特定された全ての用語の頻度を含む（５００００×１）ベクトルが生成される。このベクトルでは、殆どの値が０であり、更にこの他の値の大半が１程度の非常に低い値を取るため、このベクトルは、「疎（sparse）」ベクトルと呼ばれる。
【００３８】
ステップ１４０において、特徴ベクトルのサイズ、したがって用語頻度ヒストグラムの次元を小さくする。用語頻度ヒストグラムの次元を小さくする手法としては、例えば以下のような２つの手法がある。
１）ランダムマッピング法：用語頻度ヒストグラムに乱数の行列を乗算する手法。これは、計算機的には安い処理である。
２）潜在的意味抽出法（Latent Semantic Indexing）：文書内で同時に出現する可能性が高い用語のグループを調べることによって用語頻度ヒストグラムの次元を小さくする手法。これにより得られた単語のグループは、単一のパラメータにすることができる。これは、計算機的には高価な処理である。
【００３９】
ここで説明する具体例においては、用語頻度ヒストグラムの次元を低減するために、上述したカスキ（Kaski）の論文に開示されているランダムマッピング法を用いる。ランダムマッピング法では、用語頻度ヒストグラムに乱数の行列を乗算することによって、用語頻度ヒストグラムの次元を縮退する。
【００４０】
上述のように、「生の」特徴ベクトル（図４（ａ）に示す）は、５００００個もの値を有する疎ベクトルである。このベクトルは、約２００個の値を有するサイズ（図４（ｂ）に示す）にまで縮退されるが、それでもなお、特徴ベクトルの相対的直交性を保持しており、すなわち、同様に処理された他の特徴ベクトルに対する相対角（ベクトル内積）等の関係を保っている。これは、特定の次元の直交ベクトルの数が限られていても、略直交するベクトルの数が非常に多いので、有効である。
【００４１】
実際、ベクトルの次元が増加すると、ランダムに生成されたあらゆるベクトルの集合が、互いに略直交するようになる。このような性質は、ベクトルの相対的な向きは、そのベクトルに乱数の行列を乗算しても保たれることを意味する。この性質は、ランダムマッピングの前後のベクトルの内積の類似性によって示される。
【００４２】
疎ベクトルの数を５００００個から２００個に低減しても、これらのベクトルの相対的な類似性が保たれることが経験的に確認されている。このマッピングは、完全ではないが、文書のコンテンツを簡潔に特徴付ける目的としては十分である。
【００４３】
文書集合に対して、特徴ベクトルを作成し、文書集合の情報空間を定義した後、ステップ１５０において、意味論的なマップを生成するために、特徴ベクトルを２次元ＳＯＭに射影する。以下、図５を参照して、コホネン（Kohonen）の自己組織化マップを用いて、特徴ベクトルをクラスタリングすることによって２次元にマッピングする処理を説明する。
【００４４】
コホネンの自己組織化マップは、各文書に対して作成された特徴ベクトルをクラスタ化し、組織化するために使用される。
【００４５】
自己組織化マップは、入力ノード１７０と、２次元平面１８５として示されるノードの２次元アレー又はグリッド内の出力ノード１８０とを含む。自己組織化マップをトレーニングするために使用される特徴ベクトルの数と同じ数の入力ノード１７０が存在する。自己組織化マップ上の各出力ノード１８０は、重み付けされたコネクション（weighted connection）１９０（１つのコネクションに付き、１つの重み）によって入力ノード１７０に関連付けられている。
【００４６】
まず、各重みは、ランダムな値に設定され、繰返し処理により、これらの重みが「トレーニング」される。自己組織化マップは、このマップの入力ノード１７０に各特徴ベクトルを供給することによってトレーニングされる。各出力ノードの入力ベクトルと重みとの間のユークリッド距離を算出することにより、「最も近い」出力ノードが算出される。
【００４７】
最も近い出力ノード、すなわち入力ベクトルとそのノードに関する重みとの間のユークリッド距離が最も短いノードは、「勝者（winner）」と呼ばれ、このノードの重みは、このノードが入力ベクトルにより近づくように重みの値を若干変更することによってトレーニングされる。勝者のノードに加えて、この勝者のノードに隣接するノードもトレーニングされ、入力ベクトルに若干近づけられる。
【００４８】
単一のノードを重み付けするだけではなく、マップ上のノードの領域を重み付けするこの処理によって、マップは、一旦トレーニングされれば、ノードの２次元マップ内に入力空間のトポロジの大部分を保存することができる。
【００４９】
マップが一旦トレーニングされると、各文書をマップにマッピングし、どの出力ノードが、その文書の入力された特徴ベクトルに最も近いかを確認することができる。重みが特徴ベクトルと等しいことは希であり、特徴ベクトルとこの特徴ベクトルに最も近いノードとの間のユークリッド距離は、「量子化誤差」として知られる。
【００５０】
各文書についての特徴ベクトルをマップに与えて、この特徴ベクトルがどこに存在するかを確かめることにより、各文書について、（ｘ，ｙ）座標で表されるマップ上の位置が得られる。これらの（ｘ，ｙ）座標で表されるマップ上の位置は、文書ＩＤとともにルックアップテーブルで照合することにより、文書間の関係を視覚化するために使用することができる。
【００５１】
更に、ステップ１６０においてディザ成分（dither component）を加算する。ディザ成分については、図６を用いて後に説明する。
【００５２】
上述の手法では、２つの同一の又は実質的に同一の情報アイテムが、ＳＯＭのノードアレー内の同じノードにマッピングされてしまうことがある。これは、データを取り扱う上では問題にならないが、表示画面（後に説明する）上にデータを視覚化して表示する際には問題となる。特に、データを表示画面上に視覚化して表示する場合、多数の非常に似ているアイテムを特定のノードにおいて単一のアイテム上で区別できることが有用であると認められる。したがって、各情報アイテムがマッピングされるノード位置にディザ成分を加算する。ディザ成分は、ノード間隔の最大±１／２をランダムに加算するものである。例えば、図６に示すように、マッピング処理により出力ノード２００が選択された情報アイテムにはディザ成分が加算され、この情報アイテムは、実際には、図６に点線枠で示す領域２１０内の任意のノード位置にマッピングされる。
【００５３】
このように、情報アイテムは、図６の面上において、ＳＯＭ処理の「出力ノード」とは異なるノード位置にマッピングされることもある。
【００５４】
上述したステップ（すなわち、ステップ１１０〜１４０）に従って、いつでもＳＯＭに新たな情報アイテムを加えることができ、これにより得られる縮退された特徴ベクトルを「予めトレーニングされた」ＳＯＭモデル、すなわちマップの自己組織化によって準備されたＳＯＭモデルのセットに適用することができる。したがって、新たに加えられた情報アイテムについては、マップは、通常、「再トレーニング」されず、これに代えて、修正されていない全てのＳＯＭモデルに対して、ステップ１５０及びステップ１６０が行われる。新たな情報アイテムが追加される毎にＳＯＭを再トレーニングすると、演算コストが高くなり、また、ユーザは、マップ内においてよくアクセスする情報アイテムの相対的位置に慣れてくるので、再トレーニングは、ユーザを困惑させる場合もある。
【００５５】
しかしながら、再トレーニング処理を行う方が望ましい場合もある。例えば、最初にＳＯＭが作成された後に、新たな用語（例えば、ニュース又は新たな技術分野における新たな用語）が辞書に追加されたとすると、これらの新たな用語は、既存の出力ノードのセットには、うまくマッピングできない場合がある。これは、新たに受け取った情報アイテムの既存のＳＯＭへのマッピングの際に検出される所謂「量子化誤差」の増大によって検出される。この具体例では、量子化誤差を誤差量の閾値と比較する。量子化誤差が閾値を超えている場合、（ａ）ＳＯＭに元から含まれる情報アイテム及びＳＯＭの作成後に加えられたあらゆる情報アイテムを用いてＳＯＭを自動的に再トレーニングし、又は（ｂ）適切なときに再トレーニング処理を開始するようユーザに促す。再トレーニング処理は、関連する全ての情報アイテムの特徴ベクトルを用いて、ステップ１５０及びステップ１６０を全ての特徴アイテムを用いて再び実行することによって行われる。
【００５６】
図７は、表示装置６０に表示される画面を示している。この画面には、検索文字列入力枠２５０、結果リスト２６０、ＳＯＭ表示領域２７０が表示されている。
【００５７】
実際の作業では、ＳＯＭ表示領域２７０は、初期的にはブランクになっている。ユーザは、検索文字列入力枠２５０にキーワード検索文字列を入力する。次にユーザは、キーボード７０のエンターボタンを押圧操作し、又はマウス８０を用いて画面上の検索開始ボタンを選択することにより検索を開始する。キーワード検索文字列入力枠２５０に入力されたキーワードは、標準的なキーワード検索技術を用いて、データベース内の情報アイテムと比較される。この検索の結果は、結果リスト２６０内の各エントリ２８０として表示される。そして、ＳＯＭ表示領域２７０は、それぞれの結果アイテムに対応する表示点を表示する。
【００５８】
ＳＯＭ表現を作成するために用いたソート処理により、互いに類似する情報アイテムがＳＯＭ内でグループ化されるため、文字列の検索結果は、例えばクラスタ２９０のように、クラスタ内に集中しやすい。ここで、ＳＯＭ表示領域２７０内の各点は、結果リスト２６０内の関連する結果の１つに対応しており、ＳＯＭ表示領域２７０内の各点が表示されている位置は、ノードアレー内におけるこれらのノードのアレー位置に対応している。
【００５９】
ヒット（結果リスト内の結果）の数を少なくする手法を図８を用いて説明する。ユーザは、マウス８０を用いて、境界を画定し、この実施例では、ＳＯＭ表示領域２７０内に表示された表示点のセットを長方形のボックスである境界３００によって囲む。結果リスト２６０内には、境界３００内の点に対応する結果のみが表示される。これらの結果が、ユーザの求めるものと違うことが判明した場合、ユーザは、新たな境界で他の表示点の集合を囲む。
【００６０】
なお、結果リスト２６０は、検索文字列入力枠２５０に入力されたキーワードによる検索条件を満たし、且つ、表示点が境界３００内にある結果に対応するエントリを表示している。境界３００は、ノードアレー内に含まれる（populated）ノードに対応する他の表示点を囲むこともできるが、これらのノードが検索条件を満たしていない場合、これらのノードは表示されず、したがって、結果リスト２６０内の結果には含まれない。
【００６１】
図９は、本発明に基づく実施形態を示している。
【００６２】
図９に示すように、自己組織化マップＳＯＭを生成する際、この自己組織化マップは、（コホネンのＳＯＭとは異なり）ラベルを有していない。（Referring to Figure 9, step 920, when the Self Organising Map SOM is generated it has no labels, (unlike the SOM of Kohonen).）ユーザは、マップを検索するためのガイダンスとして、ラベルを必要とする。本発明に基づく実施形態では、このラベルは、ユーザの特定の要求に応じて、自動的に生成される。ユーザは、図７及び／又は図８を用いて説明したように、検索の結果のリストを生成する。ラベルは、この結果に基づいて、自動的且つ動的に生成され、ＳＯＭ表示領域２７０内の表示点のクラスタに、このラベルが付与される。
【００６３】
クロスクラスタ関連付け／クロスクラスタ支援キーワード検索（Cross-Cluster Association/Assisted Keyword Search）
以下、図１０、図１１及び図１２を用いて、本発明の例示的な実施形態を説明する。
【００６４】
図１０に示すデータレポジトリ４００には、情報アイテムのデータベースが格納され、データレポジトリ４００は、データ通信ネットワーク４１０を介して、検索プロセッサ４０４及びマッピングプロセッサ４１２に接続にされている。マッピングプロセッサ４１２は、ユーザ操作子４１４及びディスプレイプロセッサ４１６に接続されている。ディスプレイプロセッサ４１６の出力信号は、ディスプレイ４２０へのインタフェースを司るグラフィカルユーザインタフェース４１８に供給される。ディスプレイプロセッサ４１６は、マッピングプロセッサ４１２からのデータを、ディスプレイ４２０の表示画面に表示するために処理する。
【００６５】
データレポジトリ４００は、マッピングプロセッサ４１２とは別の場所に配設してもよい。同様に、検索プロセッサ４０４は、データレポジトリ４００、マッピングプロセッサ４１２、及び図１０に示す、情報の表示のために用いられる要素、すなわち、ディスプレイプロセッサ４１６、グラフィカルユーザインタフェース４１８及びディスプレイ４２０とは別の場所に配設してもよい。これに代えて、マッピングプロセッサ４１２、検索プロセッサ４０４及びディスプレイプロセッサ４１６は、例えば、図１に示すような汎用コンピュータ上で実行されるソフトウェアモジュールの形式で実現してもよい。但し、マッピングプロセッサ、検索プロセッサ及びディスプレイプロセッサを個別に作成し、個別に配設してもよいことは明らかである。
【００６６】
図１０に示す構成は、実質的に、図１に示し、図７、図８及び図９を用いて説明したストレージ及び検索データ処理装置として動作する。図７、図８及び図９は、検索クエリに対して情報アイテムをどのように検索するか、及び検索の結果をどのように表示するかに関する具体例を示している。これに対応して、図１０に示す実施形態は、ユーザ操作子４１４から検索クエリ、例えばキーワードを受け取るように構成されている。検索プロセッサ４０４は、このキーワードに応じて、検索を実行し、マッピングプロセッサ４１２と協働して、検索結果として特定される情報アイテムに対応するアレー内のｘ，ｙ位置のセットを特定する。例えば、４０×４０のノードのアレーについては、正方形の２次元アレー内に１６００個の位置がある。上述のように、検索プロセッサ４０４は、検索クエリに基づいて、情報アイテムを検索する。検索プロセッサ４０４による検索の結果、検索プロセッサが検索クエリに対応すると特定した情報アイテムのｘ，ｙ位置のセットが導き出される。この検索結果のｘ，ｙ位置は、マッピングプロセッサ４１２に供給される。
【００６７】
変形例として、検索プロセッサ４０４は、情報アイテムを検索し、検索クエリに対応する情報アイテムを特定する検索結果を生成するように構成してもよい。次に、マッピングプロセッサ４１２は、検索クエリに対応する情報アイテムを特定する検索結果を表すデータを受け取る。そして、マッピングプロセッサ４１２は、特定された情報アイテムに対応するアレー内の位置のｘ，ｙ座標を生成する。
【００６８】
マッピングプロセッサ４１２は、第１の包括的レベルにおいて、ｋ−ｍｅａｎｓクラスタリングアルゴリズム（k-means clustering algorithm）を実行することによって、情報アイテムのクラスタを特定する。ｋ−ｍｅａｎｓクラスタリングアルゴリズムは、クラスタ及びアレー内のクラスタの位置を特定する。ｋ−ｍｅａｎｓクラスタリングアルゴリズムは、オックスフォード大学出版（Oxford University Press）、クリストファー・エム・ビショップ（Christopher M. Bishop）著、「パターン認識のためのニューラルネットワーク（Neural Networks for Pattern Recognition）」第１８７頁〜１８８頁に開示されている。ｋ−ｍｅａｎｓクラスタリングアルゴリズムの更なる詳細については、以下のウェブサイトに開示されている。
http://cne.gmu.edu/modules/dau/stat/clustgalgs/clust5_bdy.html
図１１に示すキーワード「ショー（show）」の検索結果は、メタデータの一部に単語「ショー」を有する情報アイテムに対応するアレー内の位置を特定する。したがって、アレーに対してｋ−ｍｅａｎｓクラスタリングアルゴリズムを実行した結果、例えば、「クイズ（quiz）」、「ゲーム（game）」及び「ＤＩＹ（DIY）」の情報アイテムの３つのクラスタが特定される。これらの情報アイテムのクラスタは、第１の階層レベルｈ＿ｌｅｖｅｌ１を構成する。ディスプレイプロセッサ４１６は、マッピングプロセッサ４１２から、第１の階層レベルｈ＿ｌｅｖｅｌ１における情報アイテムのクラスタリングに対応するデータを受け取る。ディスプレイプロセッサ４１６は、このデータの第１の階層レベルｈ＿ｌｅｖｅｌ１を処理し、この第１の階層レベルｈ＿ｌｅｖｅｌ１を２次元的に表現するデータを生成する。ディスプレイプロセッサ４１６によって生成されたデータは、グラフィカルユーザインタフェース４１８に供給され、図１２に示すように、ディスプレイ４２０の第１の表示領域４３０に表示される。
【００６９】
幾つかの実施例では、マッピングプロセッサ４１２によって、ｋ−ｍｅａｎｓアルゴリズムを用いて、クラスタの識別の精度を高めるための更なる処理を実行してもよい。この更なる処理は、「ｋ−ｍｅａｎｓクラスタリング及び枝刈り（"k-means clustering and pruning"）」として知られている。周知のｋ−ｍｅａｎｓクラスタリング処理は、同様の情報アイテムを指示する検索結果において特定された情報アイテムのアレー位置のグループを特定する。次に、結果アイテムのｘ，ｙ位置に隣接するサブクラスタが同じメインクラスタの一部であるか否かを判定する更なる枝刈り処理（pruning process）を実行する。２つのサブクラスタの中心間の距離が、閾値以下である場合、この２つのサブクラスタは、同じメインクラスタの一部であるとみなされる。この枝刈り処理は、クラスタリングが安定するまで、周知の手法で繰り返し実行される。
【００７０】
マッピングプロセッサ４１２は、第１の階層レベルｈ＿ｌｅｖｅｌ１において特定された情報アイテムの各クラスタを更に分析する。情報アイテムのクラスタを個別に調べ、及びこれらの情報アイテム内で更なるクラスタを特定するための機能をユーザに提供するために、マッピングプロセッサ４１２は、更なる階層レベルを生成する。これに応じて、情報アイテムの各クラスタに対して、ｋ−ｍｅａｎｓクラスタリングアルゴリズムを適用し、そのクラスタについて、情報アイテムの第１の階層レベル内の更なるクラスタを特定する。したがって、例えば、図１１に示すように、「クイズ」クラスタに対してｋ−ｍｅａｎｓアルゴリズムを適用する場合、第２の階層レベルｈ＿ｌｅｖｅｌ２において、３つの更なるクラスタが特定される。
【００７１】
第１の階層レベルの場合と同様、これらの各クラスタには、キーワードによってラベルが付されている。キーワードは、クラスタ内の各情報アイテムが、その情報アイテムに関するメタデータ内に有している最も共通性が高い単語を見出すことによって特定される。例えば、第１の階層レベルにおいては、「クイズ（quiz）」、「ゲーム（game）」及び「ＤＩＹ（DIY）」の３つのクラスタが特定される。
【００７２】
第２の階層レベルｈ＿ｌｅｖｅｌ２内の各クラスタのキーワードは、第１の階層レベルｈ＿ｌｅｖｅｌ１のクラスタのラベル付けと同様の手法によって特定される。この具体例では、３つのクラスタには、それぞれ「ザ・チェア（the chair）」、「ワイプアウト（wipeout）」及び「エネミー・ウィズイン（enemy within）」のラベルが付されている。これらの３つのクラスタのそれぞれは、クイズ番組の異なるエピソードを含んでいる。
【００７３】
各クラスタの分析を更に繰り返してもよいことは明らかである。これは、第２の階層レベルｈ＿ｌｅｖｅｌ２において特定された各クラスタに対して、ｋ−ｍｅａｎｓアルゴリズムを適用することによって実行される。図１１に示す具体例では、「ワイプアウト」情報クラスタが、ｋ−ｍｅａｎｓクラスタリングアルゴリズムを用いて更に分析されている。但し、第３の階層レベルｈ＿ｌｅｖｅｌ３では、個別の情報アイテムをのみが分析され、したがって、図１１に示すように、第３の階層レベルｈ＿ｌｅｖｅｌ３では、「ワイプアウト」の個々のエピソードが特定されている。
【００７４】
このように、マッピングプロセッサ４１２は、異なる階層レベルにおいて、情報アイテムのクラスタを特定することができる。各階層レベルを表すデータは、ディスプレイプロセッサ４１６に供給される。これにより、ディスプレイプロセッサ４１６は、グラフィカルユーザインタフェース４１８と協働して、例えば、第２の階層レベルｈ＿ｌｅｖｅｌ２に対応する第２の領域をディスプレイ４２０に表示させる。また、ユーザは、ズーム制御によって、第１の階層レベルｈ＿ｌｅｖｅｌ１に表示されたクラスタをズームすることができる。ズーム制御は、ユーザ操作子４１４を用いて行うことができる。すなわち、ユーザは、特定のクラスタをズームすることによって、第２の階層レベルｈ＿ｌｅｖｅｌ２の情報アイテムを見ることができる。これに代えてユーザ操作子４１４を用いて、第１の表示領域４３０内で「現在の表示」領域を選択することもできる。これにより、第２の表示領域４４０には、第１の表示領域４３０内の第１の階層レベルｈ＿ｌｅｖｅｌ１に示す「クイズ」クラスタ内で特定されるクラスタに関する情報が表示される。
【００７５】
本発明に基づく実施形態によって提供される更なる利点として、第２の表示領域４４０又は更なる表示領域に表示される第２のレベル又は更なるレベルに、他のクラスタのインジケータを表示してもよい。このインジケータは、ユーザに対し、下位の階層レベルに表示されるクラスタに関連付けられたキーワードに対応する代替的なクラスタを指示する。したがって、第２の表示領域４４０内の下位の階層レベルに表示されているクラスタは、現在表示されているクラスタに対する代替的なクラスタを有する。例えば、図１２に示す具体例では、第１の表示領域４３０において、第１の階層レベルには、「クイズ」、「ゲーム」、「ＤＩＹ」の３つのクラスタが表示されている。ズーム制御によって「クイズ」クラスタにズームインすることにより、第２の表示領域４４０には、「クイズ」クラスタ内のクラスタ、すなわち「ザ・チェア」の「エネミー・ウィズイン」及び「ワイプアウト」が表示される。ここで、「クイズ」クラスタへの代替となるキーワードは、第１の表示領域４３０に示すように、「ＤＩＹ」、「ホラー」及び「ゲーム」である。したがって、第２の表示領域４４０に表示されている「クイズ」クラスタと同じ階層レベルにある情報アイテムのクラスタをユーザに知らせるために、矢印４４４、４４６、４４８が表示されている。これにより、ユーザが第１の階層レベルから異なるクラスタを表示させ、第２の階層レベル内のクラスタを確認することを望む場合、ユーザは、矢印を用いて、第１の階層レベル内の代替的となるクラスタを選択することができる。更に、好ましくは、矢印には、第１の階層レベルに表示されているクラスタのキーワードラベルが付される。他の実施形態として、クラスタ内のアイテムの相対的な数をユーザに示すために、方向を示す矢印に関連するキーワードの付近に、この数を表示してもよい。また、マウスポインタＭＰが方向を指示する矢印を通過した際、又はマウスポインタＭＰがこの矢印上に置かれた際に、この数が表示されるようにユーザ操作子及び画面を構成してもよい。
【００７６】
更に有利な実施形態として、更なるキーワードのリスト、すなわち第１のレベルのクラスタ内の第２のレベルのクラスタに関連するキーワードを表示してもよい。例えば、図１２に示すように、マウスポインタＭＰが「ホラー」に関連付けられた矢印上に置かれると、第１のレベルのクラスタである「ホラー」の更なるクラスタリングにより、第１のレベルのクラスタ「ホラー」内の第２のレベルにおけるクラスタに対応する更なるキーワードが表示される。これにより、第２の表示領域４４０内にクラスタを表示させることなく、第１レベルのクラスタに関連している情報アイテムのコンテンツに関する情報を非常に効率的にユーザに提供することができる。更に、図１２に示すように表示領域には、第１の表示領域４３０に表示されている情報アイテムをレビューし及びナビゲートするために、符号４５０によって包括的に示す操作アイコンを表示させてもよい。
マルチモード高精度検索（Multi-modal Refined Search）
以下、図１０及び図１３〜図１７を用いて本発明の他の実施形態について説明する。図１３は、情報アイテムに関連付けて保存される情報特徴付け特性の種類を例示的に示している。例えば、情報アイテムは、テレビ番組のオーディオデータ／ビデオデータのセクションであってもよい。この実施例では、このテレビジョン番組は、サッカーの試合のハイライトを提供する。したがって、データアイテムは、ビデオデータ４６０及びオーディオデータを含む。オーディオデータには、ボックス４６２内に示すオーディオメタデータが関連付けられている。オーディオメタデータは、ビデオデータに関連しているオーディオ信号のコンテンツ及び種類を記述する。この具体例では、オーディオデータは、「音楽」、「解説」、「歓声」を含んでいるが、オーディオデータは、更に、オーディオ信号の種類を示す他の１つ以上の種類のメタデータを含んでいてもよい。また、情報アイテムは、ビデオデータ及びオーディオデータに加えて、ビデオデータ及びオーディオデータのコンテンツ又は属性について記述する他のメタデータを含んでいてもよい。この具体例では、テレビ番組の内容を記述するメタデータをボックス４６４内に示している。このメタデータには、ＳＯＭを生成するために用いられる特徴ベクトルを構築するための単語が含まれている。但し、本発明に基づく他の実施形態として、オーディオデータ、すなわちオーディオメタデータ４６２又はビデオデータに基づいて、データレポジトリ４００に格納されている情報アイテムのセットを検索できるようにしてもよい。このために、ビデオデータ４６０のフレームから代表キースタンプ（representative key stamp）を生成してもよい。
【００７７】
代表キースタンプＲＫＳは、ビデオデータの各フレームの色ヒストグラムを生成することによって作成される。全ての又は選択されたビデオフレームの色ヒストグラムを結合し、正規化することにより、図１３にバーチャート４６６として代表的に示している合成色ヒストグラムが生成される。この合成色ヒストグラムは、各ビデオフレームの色ヒストグラムと比較される。各フレームの色ヒストグラムと、合成色ヒストグラムとの間の距離は、各ビデオフレームのそれぞれの色ヒストグラムの列と、合成色ヒストグラムの対応する列との間の距離の総和を求めることによって算出される。そして、合成色ヒストグラムからの距離を示す値が最も小さい色ヒストグラムを有するビデオフレームを代表キースタンプＲＫＳとして選択する。したがって、サッカーの試合を放送するテレビ番組では、生成される代表キースタンプは、図１３に代表キースタンプＲＫＳとして示すようにサッカーの競技場の一部のビデオ画像となる可能性が高い。
【００７８】
他の実施形態として、各情報アイテムの代表キースタンプＲＫＳは、以下のいずれかの手法によってビデオフレームから生成してもよい。
【００７９】
・情報アイテムの総合的な内容を最も代表していると思われるビデオフレームをユーザ自らが選択してもよい。この手法では、情報アイテムを主観的に代表するビデオフレームが確実に選択されるため、信頼性は高い。但し、この手法は、ユーザにとって手間が掛かる。
【００８０】
・ユーザは、情報アイテム内の最初のフレームを選択してもよく、無作為にフレームを選択してもよい。この手法では、適切なＲＫＳが選択される信頼度は低い。
【００８１】
・上述の手法に加えて、画像フレームのコンテンツに基づいて、ビデオフレームを処理し、代表キースタンプＲＫＳを選択する他の手法を用いてもよい。
【００８２】
本発明に基づく実施形態により、選択された情報特徴付け特性に基づいて、より精度が高い選択を行うことができる。一実施形態においては、検索プロセッサ１４２は、メタデータ、ビデオ画像又はオーディオデータのアイテムのいずれかに基づいて、第１の検索によって特定された情報アイテムに対して更なる検索を行うことができる。変形例として、メタデータのみ、ビデオデータのみ、又はオーディオデータのみに対する検索を行えるようにしてもよく、これらの任意の組合せに対して検索を実行できるようにしてもよい。検索クエリの構成をわかりやすくするために、図１０に示すディスプレイ４２０のグラフィカルユーザインタフェース４１８には、例えば図１４に示すような更なるユーザインタフェースを表示してもよい。
【００８３】
図１４に示す表示領域４７２内の第１の行４７０は、メタデータに基づいてクエリ情報を選択するための情報をユーザに提供する。すなわち、この行のウィンドウ内に、情報アイテムからの代表キースタンプを表す画像が表示されている場合、この情報アイテムに関連するメタデータ（図１３に示す）が検索クエリに加えられる。これにより、種類メタデータの情報特徴付け特性について、異なる情報アイテムからの１つ以上の代表キースタンプを検索クエリに導入できる。また、第２の行４７４には、検索クエリの一部を構成する、ユーザによって選択されたビデオフレームが表示されている。例えば、ユーザは、ビデオデータの特定のアイテムをブラウジングし、興味があるフレームを選択することができる。そして、ユーザは、この画像フレームを行４７４に配置し、検索クエリの一部とすることができる。ユーザは、１つ以上のビデオフレームを導入してもよい。
【００８４】
また、ユーザは、情報アイテム内のオーディオデータに基づいて、検索される情報アイテムを選択することもできる。また、表示領域４７６内の第３の行においては、ユーザは、情報アイテムを代表する画像を表示させ、これにより、このオーディオデータのための行内で、検索クエリが検索クエリ内の情報アイテムに対応するオーディオデータを含むように指定することができる。
【００８５】
また、情報特徴付け特性の種類に基づいて、検索すべき情報アイテムを選択することに加えて、本発明の実施形態は、論理演算子に基づいて、選択された情報アイテムの検索を行う機能を提供する。図１４に示すメタデータ検索のために選択された情報アイテムは、第１及び第２の列４７８、４８０の間に示されている「ＡＮＤ」演算子に基づいて検索される。また、検索クエリにおける第１のメタデータと第１のビデオ画像アイテムの間は、「ＯＲ」演算子で接続されている。ビデオ画像データについて検索される２つのアイテムは、「ＡＮＤ」演算子で接続されている。オーディオデータに基づいて検索される情報アイテムは、検索クエリ内で「ＮＯＴ」演算子に従って検索される。
【００８６】
検索クエリを構築した後は、検索プロセッサ４０４は、図１４に示すような、ユーザによる選択に基づいて構築された検索クエリに基づくキーワード探索によって特定された情報アイテムを検索することができる。検索プロセッサは、以下の段落で説明するように選択された情報特徴付け特性の種類に基づいて、異なる手法で情報項目を検索する。
【００８７】
例えば、メタデータ等の情報特徴付け特性の検索の具体例では、何らかの情報アイテムについて、メタデータから生成された、その情報アイテムのための特徴ベクトルを用いて、その特徴ベクトルに対応する２次元アレー内の点を特定することができる。すなわち、アレー内の特定された位置から所定の距離の範囲内の情報アイテムを検索クエリの結果として返すことができる。但し、メタデータ検索行内で２つ以上の情報アイテムが選択されている場合、選択された論理演算子に基づいて、これらの情報アイテムの両方が検索されるように検索クエリを構築しなければならない。
【００８８】
例えば、「ＡＮＤ」論理演算子の場合、各情報アイテムのための特徴ベクトルは結合され、図１５に示すような合成特徴ベクトルが生成される。すなわち、メタデータ内の各単語に関連する値を互いに加算し、正規化することによって、合成特徴ベクトルが生成される。図１５に示す具体例では、メタデータ検索クエリラインである行４７０及び列４７８〜４８０に示す代表キースタンプをそれぞれ有する、ユーザが選択したメタデータに関連している２つの特徴ベクトルＡ、Ｂは、互いに結合され、これにより特徴ベクトルＣが生成される。検索プロセッサは、この特徴ベクトルＣと、ＳＯＭとを比較することができる。合成特徴ベクトルＣに対応するアレー内の最も近い位置が特定されると、アレー内のその特定された位置から、アレー内の所定数の位置の情報アイテムが検索クエリの結果として返される。
【００８９】
対応するメタデータ検索の「ＯＲ」論理演算子の具体例では、第１の特徴ベクトルＡ及び第２の特徴ベクトルＢについて、これらの特徴ベクトルのアレーにおける対応する位置が特定される。この場合、検索クエリの結果としては、アレー内で特定された点の所定数の位置における全ての情報アイテムが返される。この処理を図１６及び図１７に示す。図１７では、２次元アレーにおいて、特徴ベクトルＡに対応する位置及び特徴ベクトルＢに対応する位置が特定されている。図１７に示すように、検索クエリの結果として、特徴ベクトルＡ及び特徴ベクトルＢについて、所定の半径内のアレー内の位置を返すことができる。但し、検索クエリにおいて、更なる特徴ベクトルＣが特定され、この特徴ベクトルＣについて「ＮＯＴ」論理演算子が指定されている場合、特徴ベクトルＣに対応するアレー内の位置も特定される。これに応じて、特徴ベクトルＣから所定の半径内のアレー位置の情報アイテムも特定される。ここでは、「ＮＯＴ」論理演算子を用いているため、特徴ベクトルＣのアレー位置から所定の半径内にあるアレー位置と、特徴ベクトルＡ及び特徴ベクトルＢのアレー位置から所定の半径内にあるアレー位置との間で互いに重なり合う部分は、検索結果から除外される。すなわち、検索プロセッサは、特徴ベクトルＡ又は特徴ベクトルＢに対応し、且つ特徴ベクトルＣには対応しないアレー内の位置にある情報アイテムを検索結果として返す。
【００９０】
検索の情報特徴付け特性であるビデオ画像データに対応する検索クエリの第２のラインである行４７４については、検索プロセッサは、ユーザが選択したビデオ画像に対応する代表キースタンプに関してビデオデータを検索する。ここでは、ユーザが選択したビデオ画像に関連する色ヒストグラムと、情報アイテムに関連する各代表キースタンプの色ヒストグラムとが比較される。そして、各情報アイテムの代表キースタンプの色ヒストグラムと、ユーザが指定したビデオ画像の色ヒストグラムとの間の距離が計算される。この計算は、画像の色コンポーネントを表す各列の間の距離を算出し、これらの各列の間の距離を合計することによって行われる。そして、ユーザが選択したビデオ画像の色ヒストグラムと、そのアレー位置に対応する代表キースタンプの色ヒストグラムとの間の距離が最短の情報アイテムに対応するアレー位置が特定される。ここでも、クエリの結果として、特定されたアレー位置から所定の範囲内の所定数のアレー位置における情報アイテムが返される。
【００９１】
論理演算子を用いる場合は、「ＡＮＤ」論理演算子によって選択及び指定された２つの画像の色ヒストグラムを結合することによって色ヒストグラムを生成できる。合成色ヒストグラムを生成する処理を図１８に示す。図１４に示す表示領域のビデオ画像検索クエリ行列の行４７４及び列４７８、４８０に示されている、第１及び第２のユーザが選択した画像の色ヒストグラムは、各色ヒストグラムの列の値を平均することによって結合される。すなわち、図１８（ａ）及び図１８（ｂ）に示す２つの色ヒストグラムを結合することによって、図１８（ｃ）に示す色ヒストグラムが生成される。検索すべき情報アイテムの代表キースタンプについては、この色ヒストグラムが検索される。
【００９２】
オーディオデータの具体例では、検索プロセッサは、選択された情報アイテムに関連するオーディオメタデータから特徴ベクトルを生成してもよい。例えば、オーディオメタデータは、オーディオ信号に存在する高調波成分、音声データ、又はオーディオメタデータによって表されているオーディオ信号内に音楽が含まれているか否かを特定するものであってもよい。更に、メタデータは、例えば、トニー・ブレア首相（Tony Blair）又は特定の解説者、例えば、ジョン・モトソン（John Motson）等の特定の話者の声がオーディオ信号に含まれているか否かを特定するものであってもよい。ここで、選択されたオーディオデータから特徴ベクトルを生成することができ、この特徴ベクトルを、特にオーディオデータに関連している他の特徴ベクトルに関して、検索することができる。上述した手法と同様に、論理演算子を用いて、２つ以上のオーディオメタデータ種類の検索を結合することができる。例えば、「ＡＮＤ」論理演算子を用いた場合、オーディオメタデータアイテムを結合して、合成メタデータアイテムを生成することができる。この場合、この合成メタデータアイテムに最も近い特徴ベクトルを有する対応する情報アイテムを検索することによって、情報アイテムが特定される。「ＯＲ」論理演算子が指定されている場合、検索プロセッサは、両方のメタデータアイテムのアレー内の所定数の位置における情報アイテムを再生してもよい。一方、「ＮＯＴ」論理演算子は、検索クエリの結果として返されたオーディオデータを有する、情報アイテムを除外するように機能する。
【００９３】
以上、特定された情報アイテムから検索の精度を高めるための本発明に基づく実施形態を説明した。但し、他の実施形態として、図１４に示す画面に表示される検索クエリ及びメタデータ、ビデオ画像データ及びオーディオデータに関するこの検索クエリの適用によって、データレポジトリ４００内の情報の全体を検索するようにしてもよいことは明らかである。
【００９４】
上述した具体例は、本発明の範囲から逸脱することなく、様々に変更することができる。本発明の様々な側面及び特徴は、特許請求の範囲に定義されている。
【図面の簡単な説明】
【００９５】
【図１】情報保存及び検索システムの構成を示す図である。
【図２】自己組織化マップ（ＳＯＭ）の作成の手順を説明するフローチャートである。
【図３】用語頻度ヒストグラムを示す図である。
【図４】（ａ）は、生の特徴ベクトルを示す図であり、（ｂ）は、縮退された特徴ベクトルを示す図である。
【図５】ＳＯＭの構造を示す図である。
【図６】ディザ処理を説明する図である。
【図７】ＳＯＭによって表現された情報にアクセスするためのユーザインタフェースを提供する表示画面を示す図である。
【図８】ＳＯＭによって表現された情報にアクセスするためのユーザインタフェースを提供する表示画面を示す図である。
【図９】ＳＯＭによって表現された情報にアクセスするためのユーザインタフェースを提供する表示画面を示す図である。
【図１０】本発明の一実施形態として示す情報検索装置のブロック図である。
【図１１】検索において特定される情報アイテムの階層的構成を生成する処理を説明する部分的なフロー図である。
【図１２】図１１に示す階層の異なるレベルを表示する２つの領域を表示する画面を図式的に示す図である。
【図１３】情報アイテムの具体例として、３つの種類の情報特徴付け特性を示す図である。
【図１４】本発明の実施形態に基づいて検索クエリを生成するグラフィカルユーザインタフェースを概略的に示す図である。
【図１５】ＡＮＤ論理演算子に基づく合成特徴ベクトルの生成を説明する図である。
【図１６】ＯＲ論理演算子に基づく２つの特徴ベクトル及びＮＯＴ論理演算子に基づく第３の特徴ベクトルの組合せを説明する図である。
【図１７】図１６に示す論理演算子及び特徴ベクトルに基づく検索結果を示す、特定された情報アイテムの二次元マップの一部を図式的に示す図である。
【図１８】（ａ）及び（ｂ）は、それぞれ、検索クエリを構成する２つのビデオ画像の色ヒストグラムを表す２つのバーチャートを示し、（ｃ）は、（ａ）及び（ｂ）の色ヒストグラムを結合することによって生成された色ヒストグラムを表すバーチャートを示す図である。
【図１】
0004569955.tif 000002
【図２】
0004569955.tif 000003
【図３】
0004569955.tif 000004
【図４】
0004569955.tif 000005
【図５】
0004569955.tif 000006
【図６】
0004569955.tif 000007
【図７】
0004569955.tif 000008
【図８】
0004569955.tif 000009
【図９】
0004569955.tif 000010
【図１０】
0004569955.tif 000011
【図１１】
0004569955.tif 000012
【図１２】
0004569955.tif 000013
【図１３】
0004569955.tif 000014
【図１４】
0004569955.tif 000015
【図１５】
0004569955.tif 000016
【図１６】
0004569955.tif 000017
【図１７】
0004569955.tif 000018
【図１８】
0004569955.tif 000019