(57)【要約】【課題】柔軟性に富む柔らか頭のマルチメディア認識・検索システム構築に向けての大きな課題はマルチメディア情報の多様性と情報量の膨大さにあり、その克服である。そこで、支配的特徴を用いた「変換不変性、計算時間の短縮、情報量圧縮、柔軟性の確保」のための手段を提供する。【解決手段】本発明は、支配的特徴を用い用いてコンテンツを表現し、コンテンツの類似度を求める手段と、共起行列から得られる特徴ベクトルを用いてコンテンツの類似度を求める手段と、を備える。【選択図】図１
2011221603.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアコンテンツから優勢な支配的特徴を抽出する抽出手段と、
上記抽出手段によって抽出された支配的特徴とその特徴間の関連性を用いてマルチメディアコンテンツを表現する表現手段と、
処理対象となるマルチメディアコンテンツ（以下、入力コンテンツという）を入力する入力手段と、
上記表現手段を用いてマルチメディアコンテンツ間の類似度を求め、入力コンテンツを認識する認識手段と、
入力コンテンツと類似のマルチメディアコンテンツをマルチメディアデータベースから検索する検索手段と、
を有する支配的特徴を用いたマルチメディア認識・検索システム。
【請求項２】
上記表現手段が、上記抽出手段により抽出された支配的特徴に対応する原空間での領域あるいは別途支配的特徴を配置した空間（以下、支配的特徴領域という）とその関連性を求めることにより、マルチメディアコンテンツ間の類似度を求めるための元となるパラメータを提供する
請求項１に記載の支配的特徴を用いたマルチメディア認識・検索システム。
【請求項３】
上記表現手段が、上記支配的特徴領域の存在を反映するパラメータを求め、そのパラメータを用いてマルチメディアコンテンツ間の類似度を求めるための元となるパラメータを提供する
請求項１又は２に記載の支配的特徴を用いたマルチメディア認識・検索システム。
【請求項４】
上記認識手段が、上記抽出手段により抽出された各支配的特徴に対応する原空間での位置から所定の相対的な位置にある投票箱に投票し、対象物を構成するために必要な支配的特徴からの投票を集めた投票箱があれば、その投票箱の位置に対象物があると認識する
請求項１又は２に記載の支配的特徴を用いたマルチメディア認識・検索システム。
【請求項５】
上記認識手段が、上記支配的特徴領域において、支配的特徴に離散的状態を割当てて、共起行列を求め、それを確率行列に変換した後、初期確率ベクトルと定常確率ベクトルを求め、この２つから得られる特徴ベクトルを用いたコンテンツ間の類似度あるいは距離を求めることにより入力コンテンツを認識する
請求項１又は２に記載の支配的特徴を用いたマルチメディア認識・検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を含む多種多様なマルチメディア認識・検索システムに関する。
【背景技術】
【０００２】
グーグルやYahoo!等多くの検索エンジンは、ユーザがキーワードを用いて検索要求（クエリー）を発行した後に、関連ウェブページを検索し、それぞれのランキング基準に基いてユーザに提示する。一般的に、ランキング基準としてリンク構造がよく用いられているが、現在ではウェブページの信頼度、人気度、重要性、季節性等、他の基準を考慮して提示することでユーザ満足度を上げる試みがなされており、実用的にも使われるようになるであろう。インターネット上では、画像、映像、音楽等の所謂マルチメディア情報の検索・利用が広がりつつある。しかし、検索のためのキーワードとして依然として文字ベースのキーワードが使われている。ユーザフレンドリーなインターフェースを実現するために、コンテンツベースの検索技術が提唱され、開発されつつあるが、実用的に広く普及する段階には至っていない。
【０００３】
支配的色を自動的に求めるために学習を用いる方法等があり、ヒストグラムから簡単に求められる場合もあるが、問題は求められた支配的色をどのように利用して、どう効率的に認識・検索システムを実現するか、さらに上位概念としてどのように一般化し、コンテンツに応用していくか、にある。また、検索分野だけでなく、その他の代表的な応用例として、ドライバー支援の観点から悪い照明条件、気候条件での歩行者検知などのＩＴＳ（高度道路交通システム）分野や監視・見守りシステムにおける応用が考えられる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ａ  ｈｉｓｔｏｇｒａｍ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ  ｆｏｒ  ｏｂｊｅｃｔ−ｂａｓｅｄ  ｑｕｅｒｙ−ｂｙ−ｓｈａｐｅ−ａｎｄ−ｃｏｌｏｒｉｎ  ｉｍａｇｅ  ａｎｄ  ｖｉｄｅｏ  ｄａｔａｂａｓｅ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ,Ｎｏｖ２００５,ｖｏｌ.２３,ｎｏ.１３,ｐｐ.１１７０−１１８０.
【非特許文献２】Ａ  Ｎｏｖｅｌ  Ｒｅｇｉｏｎｓ−ｏｆ−Ｉｎｔｅｒｅｓｔ  Ｂａｓｅｄ  Ｉｍａｇｅ  Ｒｅｔｒｉｅｖａｌ  Ｕｓｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ｆｅａｔｕｒｅｓ,１２ｔｈ  Ｉｎｔｌ.Ｍｕｌｔｉｍｅｄｉａ  Ｍｏｄｅｌｉｎｇ  Ｃｏｎｆ.Ｂｅｉｊｉｎｇ,Ｃｈｉｎａ,Ｊａｎ  ２００６,ｐｐ.３７７-３８０.
【非特許文献３】Ｄｏｍｉｎａｎｔ  Ｃｏｌｏｒ  Ｒｅｇｉｏｎ  Ｂａｓｅｄ  Ｉｎｄｅｘｉｎｇ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ＣＢＩＲ,Ｉｎ  Ｐｒｏｃ  ｏｆ  ｔｈｅ  Ｉｎｔｌ.  Ｃｏｎｆ.  ｏｎ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＩＡＰ‘９９）.Ｖｅｎｉｃｅ,Ｉｔａｌｙ,Ｓｅｐｔ.１９９９,ｐｐ.８８７−８９２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マルチメディア認識・検索システム構築の際の、問題の一つはマルチメディアの多様性と情報量の膨大さにある。そこでは、コンテンツの表現方法、情報量圧縮、変換不変性による計算時間の短縮、柔軟性の確保等が大きな課題である。ポイントは、『同じ』ものでなく、『似ている』ものを探しだすことであり、そこで類似度が重要な概念となる。このような柔軟な認識・検索システムの実現は今後ますます重要性を増してくるであろう。問題は、マルチメディア認識・検索に支配的特徴をどのように利用して、どう効率的に認識・検索システムを実現するか、にあり、現状では画像に限定されているだけでなく、その利用技術も開発途上にある。
【０００６】
一方、今後需要が増大するであろうマルチメディアコンテンツへの対応も不十分である。頑健で柔軟な対象物の認識・検索のために、前処理としてラベリングを行うことがよくあるが、その際にラベルを一意に決めてしまうと悪い条件では誤差が増え、頑健性が失われる。また、人の姿勢・動作等のように画一的でない対象物を分類、識別するために不可欠な柔軟なマッチングは、従来型手法では計算時間の点でも精度の点でも実現が難しい。また、検索分野だけでなく、ドライバー支援の観点から悪い照明条件、気候条件での歩行者検知などのＩＴＳ（高度道路交通システム）分野や監視・見守りシステムにおける頑健な検知手法の開発が求められている。
【課題を解決するための手段】
【０００７】
コンテンツから支配的特徴を抽出する抽出手段と、上記抽出手段によって抽出された支配的特徴とその特徴間の関連性を用いてコンテンツを表現する表現手段と、処理対象となる入力コンテンツを入力する入力手段と、上記表現手段を用いてコンテンツ間の類似度を求め、入力コンテンツを認識する認識手段と、入力コンテンツと類似のコンテンツをマルチメディアデータベースから検索する検索手段と、を備える。
【０００８】
上記表現手段が、上記抽出手段により抽出された支配的特徴に対応する原空間での領域あるいは別途支配的特徴を配置した空間（以下、支配的特徴領域という）とその関連性を求めることにより、コンテンツ間の類似度を求めるための元となるパラメータを提供する表現手段を備える。
【０００９】
上記表現手段が、上記支配的特徴領域の存在を反映するパラメータを求め、そのパラメータを用いてコンテンツ間の類似度を求めるための元となるパラメータを提供する表現手段を備える。
【００１０】
上記表現手段が、上記抽出手段により抽出された各支配的特徴に対応する原空間での位置から所定の相対的な位置にある投票箱に投票し、対象物を構成するために必要な支配的特徴からの投票を集めた投票箱があれば、その投票箱の位置に対象物があると認識する認識手段を備える。
【００１１】
上記の支配的特徴領域において、支配的特徴に離散的状態を割当てて、共起行列を求め、それを確率行列に変換した後、初期確率ベクトルと定常確率ベクトルを求め、この２つから得られる特徴ベクトルを用いたコンテンツ間の類似度あるいは距離を求めることにより入力コンテンツを認識する認識手段を備える。ここで求めた類似度は検索にも利用できる。
【００１２】
支配的特徴を用いることを特徴とし、支配的特徴に離散的状態を割当ててコンテンツを表現する手段と、支配的特徴領域に対応するコンテンツ上での領域特徴と領域相互間の関係（例えば、重心の相対的関係等）を用いてコンテンツの類似度を求める手段とを備える。
【発明の効果】
【００１３】
入力データの次元数とは無関係に最終的には次数を下げた１次元特徴ベクトルFを求め、Fを用いて認識、検索が行えるため次数を下げるため、ブロックマッチングに比べて計算時間は圧倒的に速くなり、少ないメモリ容量で実行でき、種々の変換不変性を持ち、トレランスが生じ、柔軟性も高まる。
ここで、ブロックマッチングは、ある大きさの領域をテンプレートブロックとし、画像中を全探索し、注目ブロックとの差分評価関数の値を最小とする点を対応点とする手法である。もし、所定の閾値以下のブロックが存在しなければ、該当ブロックは無しと判断する。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における処理手段を含むシステム全体の構成図及び処理フローダイアグラム
【図２】本実施形態における支配的特徴を用いたコンテンツ（画像）の表現手段の説明図
【図３】本実施形態におけるいくつかの支配的特徴の選び方と支配的特徴を例示した図
【図４】本実施形態における一次元の支配的特徴の選び方と支配的特徴を例示した図
【図５】本実施形態における歩行者検出のための横方向HOGから支配的特徴を選ぶときの例示
【図６】本実施形態における歩行者検知を例に挙げた投票方式による対象物認識手法の説明図
【図７】支配的特徴領域から求められる共起行列を示す図
【図８】本実施形態における支配的特徴領域から支配的特徴ベクトルを求める処理手順を示した図
【図９】本実施形態における２個の支配的特徴領域から特徴ベクトルを求める手順を例示した図
【図１０】本実施形態における境界線の長さの求め方の一例
【図１１】本実施形態における支配的特徴（色）を用いた画像データベース検索結果を例示した図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面と数式に基づいて説明する。図１(a)は、本実施形態における処理手段を含むシステム全体の構成図である。本システムは、処理対象となるコンテンツを入力する入力手段１０１と、検索対象となるマルチメディアデータベース１０２と、入力コンテンツを認識及び検索する処理手段１０３を備えている。
【００１６】
処理手段１０３は、入力手段１０１から取得したコンテンツ（画像、音、信号等）を分析し、特徴抽出し、認識及び検索するための処理手段を備えている。これらの手段は、具体的には例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、キーボード（操作部）、ディスプレイ（表示部）、ＨＤＤ（Hard Disk Drive、記憶部）等を備えたコンピュータで構成され、ＣＰＵが、ＲＯＭやＨＤＤ等に記憶されているプログラムを実行することで、各手段としての機能が果たされる。ここで、コンテンツと言えば、マルチメディアコンテンツを意味する。
【００１７】
各手段について説明する前に、まず本実施形態の支配的特徴を用いたマルチメディア認識・検索システムにおけるシステム全体の流れについて簡単に説明する。図１(b)は、本実施形態におけるシステム全体の処理フローダイアグラムである。同図に示すように、処理を始める前に入力手段２００Aからコンテンツを入力し（Ｓ２０１Ａ）、特徴空間に変換して（Ｓ２０２Ａ）その内容を分析し、支配的特徴を抽出する（Ｓ２０３Ａ）。
【００１８】
さらに原空間での対応領域あるいは別途支配的特徴を配置した空間を構成し（Ｓ２０４Ａ），抽出された支配的特徴間の関連性を求め（Ｓ２０５Ａ）、「コンテンツ、支配的特徴、支配的特徴間の関係」を合わせてコンテンツの中身と属性を表現するものとする（Ｓ２０６Ａ）。同様の処理をマルチメディアデータベースのコンテンツに対しても行う（２００Ｂ、Ｓ２０１Ｂ〜Ｓ２０４Ｂ）。さらに、上記過程で得られたＳ２０６ＡとＳ２０６Ｂの結果を比較するために類似度を計算し（Ｓ２０７）、類似度が所定の閾値より高ければ「似ている」と判断し、検索結果を採択し（Ｓ２０８）、低ければ「似ていない」と判断し、検索結果を棄却する（Ｓ２０９）。これらの手順により一連の処理を終わるが（Ｓ２１０）、マルチメディア認識・検索時間中は上の処理を繰り返す。
【００１９】
入力手段として用いる入力デバイスは、「０次元：位置計測GPS、温度、湿度」、「１次元：加速度計（３軸）、角加速度計（３軸）、傾斜計（３方向、角加速度計に含ませ得る）、マイク（音響）」、「２次元：通常の可視光カメラ、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ」、「３次元：３次元データ（レンジセンサー、３次元位置センサー、３次元モーションセンサー、３次元測距センサー）」等から選ばれる。ここでは、直感的な分かりやすさのために主に画像を用いて説明するが、その他のメディア（３次元データ等）を用いても同様に適用できる。
【００２０】
検索対象となるマルチメディアデータベースとしては、インターネットも巨大なデータベースと考えることができ、本システムの検索対象となり得るので、アクセス手段を問わず適用できる。
【００２１】
図２から図９は、一つの実施形態における支配的特徴の抽出手段及び表現手段に加えて認識及び検索手段の説明図である。図２は支配的特徴の抽出方法と支配的特徴領域による画像の表現結果を例示的に示している。この例では、全体での個数を基準にして、輝度値１と２を支配的特徴として選び、元の画像上で輝度値１と２を持つ画素を支配的特徴領域とする。１と２以外は個数が少ないので、支配的特徴ではないと判断している。どこまで詳細に検出したいのか、計算時間はどの程度まで許されるか等に応じて一定の閾値を決める。
【００２２】
この例では領域原点（OC：Operating Center：以下、OCと略す）を用いていないが、しいて言えば画素の位置が領域原点に相当しており、この表現のまま直接共起行列を計算できる。ここで、領域原点とは、領域を代表する点を意味し、例えば、円の場合は中心にとることができるが、中心に限らず円周上の1点やその他の任意の点に設定することができる。また、この２つの重心を支配的特徴領域の存在位置を反映するパラメータと考えることもできる。あるいは、値１又は２を持つ個々の画素の位置を支配的特徴領域の存在位置を反映するパラメータと考えることもできる。同図において２つの領域DFR1とDFR2の重心を求め、それらを領域原点として、それらを結ぶベクトルを支配的特徴領域の関連性とすることもできる。
【００２３】
また、コンテンツを表す特徴の中で優勢な特徴をそのコンテンツを代表する特徴の意味で支配的特徴（DF：Dominant Feature）とよび、一般的には数の点、数値の点で優位にある特徴を指す。例えば、原画像上で赤色領域が大きければ、赤色を支配的特徴として選ぶこともできる。支配的特徴領域（DFR：Dominant Feature Region)とは、支配的特徴に対応する原空間での領域あるいは別途支配的特徴を配置した空間のことをいい、コンテンツ間の類似度を計算するために用いられる。例えば、支配的特徴に対応する原コンテンツ上の領域を例に取って、赤色が支配的特徴であれば、原画像上で赤色の部分を指す。次に、明示的に領域原点を用いる例を示す。このように、ある画像の中で複数個の色が大部分を占めていればそれらの色を支配的色とよび、その色を持つ画素を支配的特徴領域として扱うこともできる。テキスチャー、形状、エッジの方向・傾斜強度、距離画像等も特徴として利用し得る。ここで、コンテンツは画像や音声、３次元データなどのコンテンツを意味するので、様々な支配的特徴が存在する。局所的な支配的特徴を統計的に集めたものを改めて支配的特徴と呼ぶこともできる。
【００２４】
図３は、本実施形態における支配的特徴の選び方と支配的特徴の例示である。この例に示すように支配的特徴の選び方にはいくつかあるので、対象となるコンテンツに応じて選択する。識別能力、汎化能力が高くなるように選ぶ。ここで、白い部分は背景として対象から除いて考える。同図(a)において、まず、原画像から支配的特徴である三角形と楕円を用いて、三角形の３個のOCと楕円の1個のOCを検出し、それらの位置関係を用いて認識を行う。支配的特徴の検出には該三角形及び該楕円を構造化要素（SE： Structure Element）としてモフォロジー演算を行うこと等により実現できる。
【００２５】
ここで、モルフォロジー演算は画像の特徴抽出やノイズ除去など様々な画像処理に用いられる基本的処理である。その基本的な形態学的演算子には膨張（Dilation）と侵食（Erosion）がある。孤立点除去、膨張、収縮、オープニング、クロージング、排他的膨張、縮退、細線化、穴埋め、スケルトン、輪郭線、再構成、円形分離等に用いられる。その際にどの範囲で演算を行うかを表す構造化要素（SE：Structuring  Element）が必要であるが、構造化要素は円形のディスクであってもよく、その他の任意の図形をすることもできる。ただし、円形ディスクを用いると回転不変、正方形を使うと90°回転不変になる等、不変性を確保することができる。構造化要素を用いる際には原点を指定する必要があり、ここでは広い意味で領域原点（OC：Operating
Center）という。イメージと構造化要素のセットを設定するには、２次元平面に制限される必要はない。また、上記膨張と侵食の演算結果の差はコントラストの強度を表す。ここでは、例としてモフォロジー演算をあげるが、存在位置を反映するその他の演算を用いることもできる。例えば、最大値（該領域に存在していることを表す）、最小値（該領域に存在していないことを表す）を組み合わせて用いることもできる。オプティカルフローは、画像の明るさのパターンの見かけの動きのことをいう。
【００２６】
図３(b)の例ではテキスチャーを支配的特徴として選び、右上の小さな領域は雑音として除去しているが、もし重要なら残してもよい。どちらを選択するかは用途に応じて決めればよい。
【００２７】
図３(c)の例において、２つの支配的特徴（黒と灰色）から原画像上で対応する部分を求めると、各連結領域は小さいが、たくさんの同じ支配的特徴を持った領域が近くにたくさんある。そこで、２つの支配的特徴領域を簡単に検出するために共通のOCを設定している。この例では、円板SEとリング状SEを用いてモフォロジー演算により簡単に検出でき、しかも回転不変となる。この例に見るように支配的特徴領域は重なっていてもよい。
【００２８】
図４は、1次元の例である。モフォロジー演算（膨張−縮退）で支配的特徴領域の検出は簡単にできる。この場合の雑音の扱いには小領域を残すか、除去するか、2通りがある。この例では各支配的特徴が上下２つの閾値を用いて表現されている。領域内の分散等を用いて、その大小で分けることもできる。
【００２９】
図５は、本実施形態における歩行者検出のための横方向HOGから支配的特徴を選ぶ例である。同図では、横方向HOGから得られたヒストグラムの横方向ベクトルの大きさを矢印の大小で表したものであるが、ヒストグラムをそのまま支配的特徴として用いるのは、効率が悪いので、ヒストグラムを離散ラベルに変換して用いてもよい。その際に、平均値、最大値、中央値等を用いて、さらにそれらの値を複数のビン（bin）に分類する（クラスに分けること）ことで離散化する。それぞれの位置でのラベルが与えられると、共起行列が計算でき、次のステップに進むことができる。全方向HOGでは支配的特徴として最大の値を持つ方向ベクトル等を用いてもよい。ここで、HOG（Histgrams of Oriented Gradients）は物体認識のための勾配ベースの特徴量である。
【００３０】
図６は、本実施形態における歩行者検知を行う場合を例とした投票方式の説明図であり、各特徴から中央の点に投票する様子を示している。この図では矢印が、各支配的特徴に対応する原空間での位置から所定の相対的な位置を示しており、投票の結果、対象物を構成するために必要な支配的特徴からの投票を集めた投票箱があれば、その投票箱の位置に対象物が存在すると判断する。例えば、頭部、胴体、脚部に対応する特徴が集まれば、歩行者を検出したと判断する。頭部と胴体の特徴に限定する、あるいは胴体と脚部に限定すれば、上半身と下半身に分けて検出することもできる。一つの特徴からの投票は1箇所に限らず、ある範囲に広めて複数個の投票箱に投票してもよい。
【００３１】
図７及び図８は、それぞれ一つの実施形態における支配的特徴から共起行列を求め、さらに支配的特徴ベクトルを求める処理手順の例である。支配的特徴（色、HOG特徴、エッジの方向・傾斜強度、距離画像等）に離散的状態を割当てて対象物を表現し、その特徴の共起行列から求まる支配的特徴ベクトル間の類似度（あるいは距離）をコンテンツ間の類似度（あるいは距離）として用いる。ここでは直感的な分かりやすさのために画像を用いて説明するが、支配的特徴が求まるなら、入力は必ずしも画像である必要はなく、音楽や加速度センサー等からの１次元信号や３次元データのようなコンテンツにも適用できる。また、画素値だけではなく、HOGに代表される各ブロックの濃淡値の傾斜やオプティカルフロー等のブロック情報等を統一的に扱うための統合的手法であり、柔軟な認識・検索システムでの利用を目指している。離散的な状態に割当てるラベルについては一意に決めてもよいが、確率あるいは重みが割当てられた複数のラベルの集合を、支配的特徴領域の一つの状態として設定してもよいし、各ラベル毎にグルーピングして別々に複数個の共起行列を求めてもよい。
【００３２】
支配的特徴に離散的状態を割当て、ある距離r、ある角度θにある支配的特徴の組から共起行列を求める。一番単純には２つの組の共起行列が用いられることが多いが、３個以上の組を用いてもよい。共起行列にはいくつかの種類がある。図２において、双方向で選べば（例えば、θ=0°, 180°）、共起行列は対称行列になり、拡大縮小、上下左右反転等に関して不変性が保たれる。この性質は、認識システムの構築には非常に重要である。連続空間上では、これらの不変性は厳密に保たれるが、離散空間上では、標本化誤差の影響を受ける。それでも、領域数が十分多いときは近似的に成立する。また、rを大きくとれば、方向性が顕著に表れる。
【００３３】
一般に、画像処理で２次元濃度ヒストグラムというと、相対的に同じ位置関係にある２点の画素値の統計量を表したものを意味するが（ある方向（θ）にある距離（r）離れた画素値ヒストグラム）、ここでは、画素値でなく支配的特徴領域に拡張する。２領域間の統計量だけでなく、それ以上（一般にn個の組（n≧2））に拡張して用いることもできる。例えば、次式数１のような３個の組を用いるときは、r2、θ2、r3、θ3をパラメータにとって度数を計算し、確率に変換することができる。ここで、領域特徴として、スカラー、ベクトル、行列等種々の表現形式を用いることができる。
【数１】
2011221603.tif 000003
【００３４】
図９は一つの実施形態における支配的特徴ベクトルを求める手順を説明するための具体例である。離散的状態が割当てられた支配的領域から共起行列を求め、それを確率行列に変換した後、初期確率ベクトルと定常確率ベクトルを求め、この２つから得られる特徴ベクトル間の類似度（あるいは距離）を計算する。図X1と図X2は類似しており、図X3とは似ていない。ここで、最上段のD1、D2は原画像から求めた支配的領域特徴を意味する。空欄は支配的領域特徴を持たない部分である。２行目は２個の組（0°,180°）の度数から得られた共起行列、３行目はそれを各行ごとに確率に変換したものである。４行目は、３行目から求めた図X1〜X3に対応する支配的特徴ベクトルである。次に順を追って説明する。
次式は、各支配的特徴のラベルDiの度数及び支配的特徴を持たない領域の度数を、それぞれci（i=1、・・・、ｒ）及びc0で表わしたものである。
【００３５】
【数２】
2011221603.tif 000004
【００３６】
さらに、次式はそれを確率（２種類）に変換したものである。
【数３】
2011221603.tif 000005
【００３７】
次に、共起行列を求める。
【数４】
2011221603.tif 000006
cijは、Diの位置から距離r、角度θ離れ位置にDjが存在する度数を意味する。ciiは両端の点を除いてラベルDiを持つ領域に含まれる格子点の数に一致するので、ciiはその領域の大きさにほぼ一致する。また、θ＝0°, 90°, 180°, 270°の時のcij（i≠j）は境界線の長さを表すので、近似的に回転不変となる。このような性質から、ciiをDiを含む領域の大きさ、cijをその領域の境界線の長さとすることもできるが、そのときは、共起行列は標本化に伴う誤差を除いて回転不変になる。同時に、特徴ベクトルの元々の性質から、特徴ベクトルは拡大縮小、上下左右反転に対しても不変となり、検索能力に柔軟性が増す。厳密に境界線の長さを離散空間上で求めることは難しいが、斜め線に対して図１０に示すような簡便法を用いてもよい。
【００３８】
次に、上でも求められた共起行列を確率行列に変換する。
【数５】
2011221603.tif 000007
【００３９】
【数６】
2011221603.tif 000008
【００４０】
一旦、確率行列Pが得られると、次のような処理を通じて次元数を減らし、柔軟性を高めることができる。
【数７】
2011221603.tif 000009
【００４１】
上式のdとsを用いて、特徴ベクトルFを次のように定義する。
【数８】
2011221603.tif 000010
【００４２】
さらにFをコンテンツ（画像）の特徴として用い、Fの間の距離（あるいは類似度）を定義し、その値が小さい（１に近い）ほどコンテンツ（画像）は似ているとする。sは本来回転、左右上下反転、拡大縮小不変な性質を持ち、Fは回転、左右上下反転、拡大縮小不変な性質を持つように選ぶことができるので、変形にも強いので頑健なパターン認識システムが実現できる。ここで、２つの特徴ベクトル間F1, F2の距離ED, CDと類似度CCは、次式数９で定義される。EDとCDは小さいほど、CCは１に近いほど（大きいほど）よく似たコンテンツ（画像）と判断する。常に同じ結果を得られるという訳ではないが、だいたいよく似た傾向を持つ。
【数９】
2011221603.tif 000011
【００４３】
上式数９に沿って計算した結果が次式数１０に示されている。この結果からは、どの指標を用いてもF1とF2は似ており、F3とは似ていないことが分かる。
【数１０】
2011221603.tif 000012
以上の特徴ベクトルFに加えて、支配的特徴領域の重心間の相対的な位置関係、あるいはモーメント等の形状特徴を用いて類似度の測度としてもよい。その際に、それぞれの測度に重みをつけてもよい。
【００４４】
図１１は一つの実施形態における支配的特徴として支配的色を用いた画像データベースの検索結果を示している。同図(a)は、支配的特徴領域としてヒストグラムから支配的色を決め、支配的色を持つ画素を抽出し、対応する支配的特徴領域（DCR）を抽出した結果を示している。ここでは色を用いているので、DFR（Dominant Feature Region）と言わずにDCR（Dominant Color Region）と表現している。同図(b)は画像データベースから検索された結果を示している。クエリー（データベース管理システムに対する処理要求(問い合わせ)）には携帯電話で撮影した写真を用いている。
【００４５】
特徴ベクトルの性質として、形状が同じならFも同じであり、支配的特徴のID番号によらないので、ID番号を入れ替えても同じ結果が得られる。即ち、ラベリングに依存しないので、形状が同じで色が異なる物を探し出したり、似た画像等を探し出す能力は高い。例えば、図９でD1とD2（濃い色と淡い色）、図１１でDCR1とDCR2（黄色と赤色）、を入れ替えても同じ結果を得る。一方、支配的特徴としての各色は分かっているので、入れ替えたものを識別することも可能であり、その時々の要求に合わせて使い分ければよい。また、確率から求めているので図形を拡大したもの、回転したものからも同じ結果が得られるように設定できる。また、変形に強く、少し欠けた部分があっても頑健に働くので、対象物の認識や類似したものを検索するのには有効である。
【００４６】
対象は、色、形状、濃度傾斜、オプティカルフロー等、何でもあっても構わないが、支配的特徴が存在することが必要である。一般には何らかの支配的特徴が存在しているので、問題ではない。
【符号の説明】
【００４７】
１０１  入力手段
１０２  マルチメディアデータベース
１０３  処理手段
２００A  入力手段
２００B  マルチメディアデータベース
【図１】
2011221603.tif 000013
【図２】
2011221603.tif 000014
【図３】
2011221603.tif 000015
【図４】
2011221603.tif 000016
【図５】
2011221603.tif 000017
【図６】
2011221603.tif 000018
【図７】
2011221603.tif 000019
【図８】
2011221603.tif 000020
【図９】
2011221603.tif 000021
【図１０】
2011221603.tif 000022
【図１１】
2011221603.tif 000023