(57)【要約】【課題】イメージの分類を自動的に行うための方法および装置。【解決手段】入力イメージを自動的に分類化するこの方法は、入力イメージの特徴を抽出するステップおよび入力イメージを表している特徴ベクトルを生成するステップを含む。特徴ベクトルは複数の異なる分類器を用いてプロセスされ、その複数の異なる分類器の組み合わせ出力に基づいて入力イメージを分類する。【選択図】図２
2008097607.tif 000002
【特許請求の範囲】
【請求項１】
入力イメージを自動的に分類する方法であって、
前記入力イメージの特徴を抽出する工程と、
前記抽出した特徴に基づいて前記入力イメージを表す特徴ベクトルを生成する工程と、
分類器を用いて前記特徴ベクトルを分類する工程と、
複数の前記分類器の出力の組み合せに基づいて前記入力イメージを分類する工程と、を
有し、
前記複数の分類器は、Ｋ平均最近傍分類器、知覚分類器、およびバックプロパゲーショ
ンニューラルネットワーク分類器のうち少なくとも二つを含むイメージ自動分類方法。
【請求項２】
前記抽出した特徴は、前記入力イメージのカラーの同調性、エッジ方向の同調性、およ
びテキスチャの同時生起を表す、請求項１に記載の方法。
【請求項３】
前記特徴抽出工程より前に、前記入力イメージをプリプロセシングする工程をさらに含
み、
該プリプロセシング工程は、ノイズのフィルタリングおよび前記入力イメージの正規化
のうちの少なくとも一つを含む、請求項２に記載の方法。
【請求項４】
前記分類工程は、前記複数の分類器を用いて重み付け出力を生成し、該重み付き出力を
評価して前記入力イメージを分類する、請求項３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はイメージ処理に関し、より具体的にはイメージを自動的に分類するための方法
、装置およびそのためのコンピュータプログラムを実装したコンピュータ可読媒体に関す
る発明である。
【背景技術】
【０００２】
大型の媒体管理システムにおいては、格納されているイメージを効率よく且つ有効に取
り出せるように、大まかなセマンティックの類似性を有するイメージを分類するのが望ま
しい。イメージを手作業で分類するのは時間がかかり現実的でない。特に、多数のイメー
ジを分類している際にはそうである。そのためにイメージを自動的に分類する技術が望ま
れる。
【０００３】
イメージを自動的に分類するための技術が考慮されてきている。例えば、Normile et a
lに付与された米国特許第５８７２８６５号明細書はイメージおよびビデオシーケンスを
自動的に分類するためのシステムを公開している。このシステムは、あるカテゴリーを定
義する固有値および固有ベクトルを決めるために初期カテゴリー集合を使った分類アプリ
ケーションを実行する。次に、イメージの属性、画素ドメインでの直交分解、およびニュ
ーラルネットベースの分類を用いる直交分解のうちの一つを使って入力ビデオシーケンス
の分類が行われる。平均のビンカラーヒストグラム、輝度（intensity）に対する平均の
ルミナンス、平均の動きベクトルおよびテキスチャーパラメータに基づく基本属性（prim
itive attributes）の集合がビデオシーケンスのフレーム毎に生成される。ビデオシーケ
ンスのフレームは、固定ベクトルによって定義された標準空間（canonical space）に変
換されて、カテゴリーを定義する固定値および固定ベクトルを基本属性と比較できるよう
になり、それによってフレームの分類が可能になる。
【０００４】
Kimmelに付与された米国特許第６０３１９３５号明細書は、変形可能な輪郭（deformab
le contours）を用いてイメージをセグメント化するための方法および装置を開示してい
る。セグメント化の対象となるターゲットオブジェクト（例えば、ボーダー）に関する事
前情報（a priori information）が入力される。ターゲットオブジェクトを訓練用イメー
ジ（training images）でトレースすることによって手作業でセグメント化して装置を訓
練する。次に検索イメージを選択し、最も近い近傍の訓練用イメージを選択する。検索輪
郭を形成するために訓練用イメージにおいてトレースした輪郭が次に検索イメージに転送
される。事前情報および訓練情報に基づいて高度に類似していると考えられるターゲット
オブジェクトの領域にくっ付くように検索輪郭の形が変わる。そうして検索輪郭の最終の
セグメント化が完了する。
【０００５】
Burmanに付与された米国特許第６０７５８９１号明細書は、ハイパースペクトル画像を
利用するためのリテラルでないパターン認識の方法およびシステムを開示している。空間
でないスペクトル情報および電磁気スペクトルバンドデータを含むオブジェクトのオプテ
ィカル特性を定義するイメージの集合を生成するためにオブジェクトをスキャンする。次
に、イメージ集合の中の単一の画素からスペクトルシグネチャが抽出される。そして、感
知したデータに関するカテゴリーを識別するためにスペクトルシグネチャがフィルタされ
、正規化され、マテリアル分類システム（material categorization system）に送られる
。入力スペクトルシグネチャをなす構成マテリアルの量を検出および推定するために制約
付きのミキシング方程式を解く遺伝的アルゴリズム（genetic algorithm）を採用する。
【０００６】
Krumm et al.に付与された米国特許第６４７７２７２号明細書は、検索イメージの中の
モデル化したオブジェクトの場所を識別するためのシステムおよびプロセスを開示してい
る。検索イメージの中で場所を識別しようとしているオブジェクトのモデルイメージがキ
ャプチャされる。一連の画素カラー範囲の同じ組み合わせ内に入るカラーを示すとともに
同じ一連の距離範囲内に入る距離で分離された全ての画素対の数を生成することによって
各モデルイメージを計算する。次に、モデルイメージ毎に同時発生ヒストグラム（co-occ
urrence histogram）が計算される。検索イメージのオーバーラップする部分から一連の
検索ウィンドウが生成される。モデルイメージ用に確立された画素のカラー範囲および距
離範囲を用いて検索ウィンドウ毎に同時発生ヒストグラムも計算される。類似性を評価（
assess）するために各モデルイメージと各検索ウィンドウとの間の比較が行われる。そし
て、モデルイメージおよび検索イメージウィンドウからのそれぞれの同時発生ヒストグラ
ムが類似性値を生み出すために比較される。類似性値がしきい値を超えていれば、オブジ
ェクトは検索ウィンドウ内にあると考える。
【０００７】
Krummに付与された米国特許第６６１１６２２号明細書は、シーンのイメージの中に描
かれた人物およびオブジェクトを識別するオブジェクト認識システムおよびプロセスを開
示している。イメージの中で識別の対象となる人物およびオブジェクトのモデルヒストグ
ラムが作られる。識別している人物およびオブジェクトに一致しそうな領域を抽出するた
めにイメージがセグメント化される。抽出した領域毎にヒストグラムを計算し、抽出した
各領域のヒストグラムとモデルヒストグラムそれぞれとの間の類似性の程度を評価する。
モデルヒストグラムのうちの一つとの類似性の程度を示す、つまり規定のしきい値を超え
るヒストグラムをもつ抽出領域がモデルヒストグラムと対応付いている人物またはオブジ
ェクトに一致するとして指定される。
【０００８】
Minamiに付与された米国特許第６６６８０８４号明細書は、ターゲットオブジェクトの
形状およびルミナンス分布を識別する検索モデルを作るイメージ認識方法を開示している
。オブジェクトの相関性を示すフィット具合（goodness-of-fit）を検索モデルのそれぞ
れ毎に計算し、計算したフィット具合に基づいて検索モデルが並べ替えられる。オブジェ
クトの形状をポリゴンとしてモデル化し、ルミナンス値をポリゴンの内側境界と考える。
【０００９】
Andersonの米国特許出願公開第２００１／００１２０６２号明細書は、イメージを分析
および分類するためのシステムおよび方法を開示している。分析モジュールは選択した判
定基準に対してキャプチャしたイメージファイルを審査して、望ましいカテゴリーのイメ
ージを自動的にアクセスできるようにしかるべきカテゴリータグを生成してそれらをイメ
ージと一緒に格納する。カテゴリータグを生成するために一つの分析モジュールは、赤、
緑、青（ＲＧＢ）の遷移点でのイメージの最後のラインを分析する。もう一つの分析モジ
ュールがイメージデータをＹＣＣフォーマットに変換するためにガンマ補正およびカラー
空間変換を行ってから、カテゴリータグを生成するためにイメージデータの最後のライン
をＹＹＣ遷移点で分析する。
【００１０】
Luo et al.の米国特許出願公開第２００３／００５３６８６号明細書は、カラーイメー
ジの中の内容領域（subject matter region）を検出するための方法を開示している。イ
メージの中の各画素にはカラーおよびテクスチャに基づいて内容領域に属するとして確信
値（belief value）が指定される。確信値のしきい値化によって空間的に連続した候補の
内容領域が形成される。そして、領域が望ましい内容に属する確率を判定するためにこの
形成された空間に連続した内容領域が分析される。検出した内容領域および対応付けられ
た確率のマップが生成される。
【００１１】
Luo et al.の米国特許出願公開第２００２／０１３１６４１号明細書は、イメージの類
似性を決めるためのシステムおよび方法を開示している。対象となるイメージの主体（ma
in subject）またはバックグラウンドの知覚的に有意義な特徴を決定する。こうした特徴
にはカラーテクスチャおよび／または形状が含まれる。主体は連続して値をつけられた確
信マップ（belief map）で示される。次に、対象となるイメージが格納されているイメー
ジのどれかに類似しているかどうか決定するために、決定された知覚的に有意義な特徴を
データベースに格納されたイメージの知覚的に有意義な特徴と比較される。
【００１２】
Deng et al.の米国特許出願公開第２００２／０１８３９８４号明細書は、デジタルイ
メージを分類するためのシステム並びに方法を開示している。各イメージを、シーケンシ
ャルに進行して一連の分類タスクにかけることで、キャプチャしたイメージを選択された
クラスに基づいて分類する。分類タスクは、イメージをクラスを指定するべきかどうか決
めるためのアルゴリズムを要するノードである。イメージ内で、ある特定のクラスを識別
できるかどうかを決めるためにノード毎にコントラストベースの分析および／またはメタ
データの分析を採用する。
【００１３】
Schneidermanの米国特許出願公開第２００４／００６６９６６号明細書は、オブジェク
ト検出プログラムにおいてサブ分類器（sub-classifiers）の集合を決めるためのシステ
ムおよび方法を開示している。候補としての係数サブセットを作成するモジュールは複数
の係数候補サブセットを作成する。係数は２次元のデジタル化されたイメージに対して行
われた変換操作（transform operation）の結果であり、空間、周波数およびオリエンテ
ーションのローカライズがなされたデジタル化されたイメージに基づいた対応するビジュ
アル情報を表している。訓練用のモジュールは複数の係数候補サブセットそれぞれのサブ
分類器を訓練する。サブ分類器選択モジュールはいくつかのサブ分類器を選択する。選択
されたサブ分類器は、オブジェクトがイメージのウィンドウ内に入っているかどうか決定
するために、各入力イメージを調べる。オブジェクトの見た目が変わることを考慮に入れ
るために統計モデル化を使う。
【００１４】
Crandall et al.の米国特許出願公開第２００４／０１７０３１８号明細書は、デジタ
ルイメージの中のカラーイメージを検出するための方法を開示している。ターゲットオブ
ジェクトを含んだモデルイメージおよび潜在的にターゲットオブジェクトを含む検索イメ
ージに対してカラー量子化を行う。複数の検索ウィンドウが生成され、各モデルイメージ
および検索イメージ毎の空間カラージョイント確率関数が計算される。空間カラージョイ
ント確率関数としてカラー同時発生エッジヒストグラムを選ぶ。ターゲットオブジェクト
を含んだ検索ウィンドウを指定できるようにモデルイメージに対する各検索ウィンドウの
類似性が評価される。
【００１５】
【特許文献１】米国特許第５８７２８６５号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１６】
上記の引例はイメージを分類するためのテクニックを開示しているけれども、改善が望
まれる。そこで、本発明の目的はイメージを自動的に分類するための新規の方法、装置お
よびそのためのコンピュータプログラムを実装したコンピュータ可読媒体を提供すること
である。
【課題を解決するための手段】
【００１７】
従って、一つの態様においては、入力イメージを自動的に分類する方法を提供しており
、この方法は次の工程を含んでいる：
前記入力イメージの特徴を抽出して、前記抽出された特徴に基づいて前記入力イメー
ジを表す特徴ベクトルを生成し、
分類器を用いて特徴ベクトルを分類して前記分類器の出力の組み合わせに基づいて前
記入力イメージを分類する。
一つの実施例において、分類工程には複数の分類器を用いて重み付き出力を生成して、
入力イメージを分類するためにその重み付き出力を評価（evaluate）することが含まれる
。抽出した特徴は、入力イメージにおけるカラーの同調性（coherence）、エッジのオリ
エンテーション、テキスチャの同時生起を表している。複数の分類器は、Ｋ中間近接近傍
分類器（K-mean-nearest neighbor classifiers）と、知覚分類器、およびバックプロバ
ゲーションニューラルネットワーク分類器のうち少なくとも二つを含む。
【００１８】
一つの実施例においては、特徴抽出工程の前に、入力イメージをプリプロセシングする
ステップをさらに含むものでもよい。このプリプロセシング工程はノイズの除去（フィル
タリング）、入力イメージの正規化のうち少なくとも一つを含むものでよい。
【００１９】
こうした方法、装置およびイメージを自動的に分類するためのコンピュータプログラム
を実装したコンピュータ可読媒体はフレキシブルであるとともにロバストで、しかも公知
のイメージ分類テクニックと比べて精度が向上している。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態を図面に基づいて説明する。
【００２１】
以下の説明において、入力イメージを自動的に分類するための方法およびシステムの一
つの実施例を提供している。イメージの分類時に、入力イメージの特徴が抽出され、その
抽出した特徴に基づいて入力イメージを表す特徴ベクトルが生成される。（特徴ベクトル
はシグネチャベクトルまたはフューチャベクトルと呼ばれることがある。）この特徴ベク
トルは分類器（分類子ともいう）を用いて処理され、その分類器の組み合わせ出力に基づ
いて入力イメージにはクラスが割り当てられる。
【００２２】
図１は、イメージを自動的に分類するための分類化システム１４０の概略図である。表
示されているように、分類化システム１４０はノイズを取り除き、分類の対象となる各入
力イメージを正規化するためのプリプロセッサ１４２を含んでいる。特徴ベクトルジェネ
レータ１４４はプリプロセッサ１４２によってフィルタおよび正規化されたイメージ出力
それぞれを受け取り、イメージを分類するために使用するイメージの特徴ｎを表す特徴ベ
クトルを生成する。木のような階層構造１４６に配列された一連の分類化ノード（入力イ
メージをクラスおよびサブクラスに分類することを担当している）は特徴ベクトルジェネ
レータ１４４と通信する。階層構造１４６のトップとしてのノード１５２は入力イメージ
毎に生成された特徴ベクトルを受け取り、入力イメージが分類されることになるクラスに
基づいて基礎行（underlying row）のノード１５４に特徴ベクトル出力を提供する。
【００２３】
この実施例において、ノード１５２，１５４はそれぞれ入力は一つで出力は複数である
。各出力はそのノードで分類されたクラスまたはサブクラスを表す。例えば、図に示すよ
うに、ノード１５２は各入力イメージを一つの「ランドスケープ」、「ビルディング」お
よび「人物」のうちの一つのクラスに分類する。基礎行の左側のノード１５４はノード１
５２で「ランドスケープ」クラスが割り当てられた各入力イメージの特徴ベクトルを受け
取り、その入力イメージをさらに「山」、「野原」、「砂漠」といったサブクラスに分類
する。基礎行の真ん中にあるノード１５４はノード１５２で「ビルディング」のクラスが
割り当てられた各入力イメージの特徴ベクトルを受け取り、その入力イメージをさらに「
教会」、「家」、「塔」といったサブクラスに分類する。基礎行の右側のノード１５４は
ノード１５２で「人物」クラスが割り当てられた各入力イメージの特徴ベクトルを受け取
り、その入力イメージをさらに「男性」および「女性」といったサブクラスに分類する。
表示している分類化システム１４０は３つのノードからなる一列の基礎行のノード１５４
しか含んでいないけれども、当業者ならばこれは例証を簡単にするためであることを理解
するだろう。普通、多数の基礎行のノードが提供され、それらの各基礎行は多数のノード
１５４をもち、入力イメージをうまく定義した詳細なサブクラスに分類できるようになっ
ている。
【００２４】
図２は、図１のイメージ分類システムの一部を形成する分類化ノードの概略図である。
分類化するノード１５２，１５４はそれぞれ、３つのＫ平均最近傍分類器１６０，１６２
，１６４と、１セットのＮ個のバイナリ知覚リニア分類器１６６と、一つのＮクラスのバ
ックプロパゲーションニューラルネットワーク分類器（以降、ＢＰＮＮ分類器という）１
６８とを含んで構成され、ここでＮは図２に表示したノードで分類されているクラスまた
はサブクラスの数である。わかるように、各分類化ノードは多数の複数の異なる分類器を
含んでおり、各複数の異なる分類器は違う範囲に強い（area of strength）。
【００２５】
Ｋ平均最近傍分類器１６０は、入力イメージのために生成された特徴ベクトルの色相成
分に基づいて各入力イメージを分類することを担当している。Ｋ平均最近傍分類器１６２
は、特徴ベクトルのエッジオリエンテーション成分に基づいて各入力イメージを分類する
ことを担当している。Ｋ平均最近傍分類器１６４は、特徴ベクトルのテキスチャ同時発生
成分に基づいて各入力イメージを分類することを担当している。
【００２６】
図３は、図２の分類化ノードの一部を形成する知覚リニア分類器の概略図である。図３
に表示しているように、各バイナリ知覚リニア分類器１６６は、特徴ベクトル入力１７０
と、ウェイト１７２、加算関数１７４、しきい値素子１７６、および出力１７８を含んで
いる。しきい値素子１７６は、加算関数１７４によって生成された総和に基づいて出力を
管理する設定を有する。総和がしきい値素子１７６の設定以下の場合には、バイナリ知覚
リニア分類器１６６はマイナス１（−１）値を出力する。総和がしきい値素子１７６の設
定以上の場合には、バイナリ知覚リニア分類器１６６は１値を出力する。
【００２７】
図４は、図２の分類化ノードの一部を形成するバックプロパゲーション人工ニューラル
ネットワーク分類器の概略図である。ＢＰＮＮ分類器１６８は、４４４個の入力ノード１
８２と、ウェイトを介して入力ノード１８２に連結した２０個の隠れたノード１８４から
なる隠れたレイヤー、および隠れたノード１８４に連結したＮ個の出力ノード１８６より
少なくともなる出力レイヤーを含んだ入力レイヤーを含み、ここでＮは図３に示した分類
化ノードによって処理されるサブクラス数である。
【００２８】
よく知られているように、ＢＰＮＮ分類器１６８はバイナリ知覚リニア分類器１６６よ
りもパワフルである。入力ノード１８２でのアクティビティいかんにより、隠れたノード
１８４のレイヤー全体でのエラーにかかる量でウェイトは変わる。入力特徴ベクトルを分
類している最中に、隠れたノード１８４は出力し、隠れたノード１８４でのエラーが計算
される。訓練を実施している最中に、隠れたノード１８４のレイヤー全体でのエラーが隠
れたレイヤーを通ってバックプロパゲートされ、隠れたノード１８４にかかるウェイトが
調整される。
【００２９】
図５は、自動イメージ分類時に分類化システム１４０が行う大まかなステップを表示す
るフローチャートである。最初、入力イメージを自動的に分類しようとするとき、ノイズ
を取り除いてからそのイメージを正規化するためにプリプロセッサ１４２（図１参照）が
入力イメージをフィルタする（ステップＳ２０２）。入力イメージが一旦フィルタされ正
規化されたら、特徴ベクトルジェネレータ１４４（図１参照）が入力イメージの特徴抽出
を行って入力イメージを分類するために使用しようとしている入力イメージの特徴ｎを表
す特徴ベクトルを生み出す（ステップＳ２０４）。この実施例では、特徴ベクトルは４４
４個のビンを有し、カラーの同調性と、エッジオリエンテーションの同調性、およびテク
スチャの同時発生に基づいている。特徴ベクトルは次に階層構造１４６（図１参照）に供
給され、そこで特徴ベクトルは複数の異なる分類器、具体的にはＫ平均最近傍分類器１６
０〜１６４と、バイナリ知覚リニア分類器１６６、およびＢＰＮＮ分類器１６８によって
処理されることでイメージを分類する（ステップＳ２０６）。
【００３０】
ステップＳ２０２で入力イメージがプリプロセッサ１４２（図１参照）によって処理さ
れているときに、入力イメージはノイズを取り除くために３×３のボックスフィルタを通
され、６４０×４８０の色相、彩度、輝度のイメージ（「ＨＳＩ」）を形成するために正
規化される。
【００３１】
ステップＳ２０４での特徴抽出時に、入力ＨＳＩイメージのための４４４ビン特徴ベク
トルが構築される。この特徴ベクトルは入力ＨＳＩイメージから抽出した特徴数に基づい
ている。最初に、ＨＳＩイメージにおける各画素のカラーの同調性／非同調性を調べるこ
とによって、図６に示すＨＳＩカラー空間における４８×２のローカライズされたカラー
同調性ベクトル（ＬＣＣＶ）マトリックスがポピュレートされる。マトリックスの各行は
、色相（Ｈ）に指定された３２のビンと、彩度（Ｓ）に指定された８のビン、および輝度
（Ｉ）に指定された８のビンを含んでいる。マトリックスの１行はイメージの画素のカラ
ーの同調性を表し、もう一方の行はイメージの画素のカラーの非同調性を表している。
【００３２】
この実施例では、良く知られたカラー同調性ベクトル（ＣＣＶ）ではなく、各画素のロ
ーカライズされたカラーの同調性ベクトル（ＬＣＣＶ）を使う。ローカライズされたカラ
ー同調性ベクトル（ＬＣＣＶ）は計算がもっと効率的である。カラーの同調性／非同調性
を決定する際に、問題の画素上でセンターにある指定したウィンドウ内の画素のうちの一
つがまったく同じカラーであるとき且つそのときに限って画素はローカルなカラーの同調
性であると考える。この実施例では、イメージの画素がカラーの同調性を有するかあるい
は非同調であるかどうかを決定するのに５×５のカラーの同調性ウィンドウを使う。図７
は対象となる画素Ｐ上でセンターにある５×５のカラー同調性ウィンドウを示している。
対象となる画素Ｐを取り囲む数字は、カラーの同調性ウィンドウ内の画素と対応付けられ
たＨＳＩカラー情報を表現している。シェーディングして示した取り囲んでいる画素は対
象となる画素Ｐとまったく同一のカラー情報を有する。従って、図７の例では、対象とな
る画素Ｐは８個のローカルな同調性をもつ近傍画素と１６個のローカルなカラー非同調の
近傍画素とを有する。
【００３３】
ＨＳＩイメージの各画素のローカルエッジのオリエンテーションを調べることによって
、図８に示す４６×２のローカライズされたエッジのオリエンテーションの同調性ベクト
ルのマトリックスもポピュレートされる。ローカライズされたエッジのオリエンテーショ
ンの同調性ベクトルマトリックスの各行はエッジ方向の４５のビンと非エッジのビン１個
を含む。各エッジ方向のビンは８度を含む（encompass 8 degrees）。マトリックスの１
行はイメージ画素のローカルエッジのオリエンテーションの同調性を表す一方、別の行は
イメージ画素のローカルエッジのオリエンテーションの非同調性を表している。
【００３４】
ローカライズされたエッジのオリエンテーションの同調性ベクトルマトリックスのポピ
ュレートする時に、問題の画素でセンターにある特定のウィンドウ内の画素のうちの一つ
が同じエッジオリエンテーションを有しているとき且つそのときに限って画素はローカル
的にエッジのオリエンテーションが同調性を有していると考える。この実施例では、５×
５のエッジオリエンテーション同調性ウィンドウを使う。図９は、対象となる画素Ｐでセ
ンターにあるエッジオリエンテーション同調性ウィンドウの一例を示す。ウィンドウの中
の数字はそのエッジオリエンテーション同調性ウィンドウ内の画素と対応付けられたエッ
ジオリエンテーションを表す。従って、図９の例において、対象となる画素Ｐは８のロー
カルエッジのオリエンテーションの同調性を有する画素をもつとともに１６のローカルエ
ッジのオリエンテーションの非同調性を有する画素を有する。
【００３５】
ＨＳＩイメージの画素に基づいて１６×１６のテクスチャ同時発生マトリックス（ＧＬ
ＣＭ）もポピュレートされる。ＧＬＣＭの定義については、Michael S.Lew（Ed）の著作
「Principals of Visual Information Retrieval」（Springer-Verlag, 2001, ISBN: 1-8
5233-381-2）に説明されている。この出版物の内容は参照することにより本明細書に組み
込まれているものとする。知られているように、ＧＬＣＭはテクスチャを特徴化し、ＨＳ
Ｉイメージにおいて隣接画素の輝度レベルの異なる組み合わせがどれだけ頻繁に発生する
かを表にする。ＧＬＣＭの各行は可能性のある画素レベルの輝度を表す一方、各列は隣接
画素の可能性のある輝度レベルを表している。ＧＬＣＭの各セル内の値は、ある特定の画
素の輝度レベル対がＨＳＩイメージにおいて発生する回数を識別するものである。
【００３６】
上記の特徴抽出の最終結果は、図１０に示す１１の成分特徴ベクトルである。特徴ベク
トルが生成された後、入力イメージデータが表すことに基づいてその特徴ベクトルの成分
を正規化する。この実施例では、色相成分が３×６４０×４８０により正規化され、ここ
で３はカラーのチャネル数で、６４０×４８０はステップＳ２０２で正規化されたイメー
ジの解像度である。エッジオリエンテーションの成分はエッジ画素の数により正規化され
、テクスチャの同時発生成分は６４０×４８０で正規化される。
【００３７】
特徴ベクトルが正規化された後、特徴ベクトルは階層構造１４６のトップとしてのノー
ド１５２に適用され、その中にある分類器の各々に供給される。つまり、Ｋ平均最近傍分
類器１６０は、特徴ベクトルの色相成分を受け取り、Ｋ平均最近傍分類器１６０が入力イ
メージはノード１５２で分類された各クラスを表していると思う度を表す重み付き出力Ｗ
hnnを生成する。Ｋ平均最近傍分類器１６２は、特徴ベクトルのエッジオリエンテーショ
ン成分を受け取り、Ｋ平均最近傍分類器１６２が入力イメージはノード１５２で分類され
た各クラスを表していると思う度を表す重み付き出力Ｗennを生成する。Ｋ平均最近傍分
類器１６２は、特徴ベクトルのテキスチャ同時発生成分を受け取り、Ｋ平均最近傍分類器
１６４が入力イメージはノード１５２で分類された各クラスを表していると思う度を表す
重み付き出力Ｗcnnを生成する。
【００３８】
つまり、Ｋ平均最近傍分類器１６０〜１６４による特徴ベクトル成分の処理時に、特徴
ベクトル成分は以下に示すベクトル交点方程式（intersection equation）（１）を用い
て、ノードで評価されたクラスの中にある平均的な表現ベクトル成分（average represen
tation vector components）と比較される。
【００３９】
【数１】
2008097607.tif 000003
ここで、Ｉは２つのベクトル成分のベクトル交点、
ν１は入力特徴ベクトル成分、
ν２は平均的ベクトル成分、
ν１［ｉ］およびν２［ｉ］はベクトル成分ν１およびベクトル成分ν２それぞ
れのｉ番目の元の値で、
元はベクトル成分に入っているビン総数で、
Ｗ１とＷ２はベクトル成分ν１およびベクトル成分ν２それぞれにおけるビンの
値の累積総和である。
【００４０】
上記のことを達成するために、訓練のプロセス時に、クラス毎にＫの数学的平均表現ベ
クトル（K mathematical mean representation vectors）が決定され、そのクラス内に入
るであろうイメージのジェネリックな表現としての機能をする。これらのベクトルはＭ／
Ｋの訓練用イメージベクトルの平均値をとることによって決定され、ここでＭは訓練用イ
メージベクトルの総数で、Ｋは平均的ベクトルの数で、ここでＫは分類化システム１４０
の要件に基づいて選択される。
【００４１】
Ｋのベクトル交点を決めてから、それを用いて入力イメージが属するクラスが決められ
る。例えば、最近傍の平均的な表現ベクトルの大半が「クラス１」に属する場合には、特
徴ベクトルは「クラス１」に属すると宣言される。
【００４２】
バイナリ知覚リニア分類器１６６は特徴ベクトル全体を受け取り、バイナリ知覚リニア
分類器１６６が入力イメージはノード１５２によって分類された各クラスを表していると
思う度を表す出力ＷPLCを生成する。つまり、バイナリ知覚リニア分類器１６６は、一致
するクラスと属する特徴ベクトルとそうでないクラスとを分けるハイパープレーン（hype
r-plane）を得る。バイナリ知覚リニア分類器１６６の結果を得て、最高の分類器の結果
値を最終のクラスと宣言する。シグモイド関数を起動関数（activation function）とし
て使う。
【００４３】
ＢＰＮＮ分類器１６８の各入力ノードは特徴ベクトルの対応付けられたビンを受け取る
。ＢＰＮＮ分類器１６８は、ＢＰＮＮ分類器１６８がノード１５２によって分類された各
クラスを表していると思う度を表す重み付き出力Ｗbpnnを生成する。
【００４４】
Ｋ平均最近傍分類器１６０〜１６４、バイナリ知覚リニア分類器１６６、ＢＰＮＮ分類
器１６８の重み付き出力は次にビンソートが行われる。最高の累積和をもつビンと対応付
けられたクラスを次に決定し、そのクラスが入力イメージがノード１５２によって分類さ
れたクラスであると考える。
【００４５】
一旦、ノード１５２が入力イメージをクラスに分類したら、上に説明したと同じような
やり方でさらにサブクラスの分類を行うために、そのクラスと対応付けられたノード１５
４に特徴ベクトルを適用する。
【００４６】
例えば、ノード１５２のクラス出力が「ビルディング」であると決定されたら、次にそ
の「ビルディング」に対応するノード１５４は更なるサブクラス分類のために特徴ベクト
ルを受け取る。ノード１５４が特徴ベクトルを受け取ると、そこに入っている分類器は、
入力イメージをさらに分類するために、上に説明したと同じようなやり方で特徴ベクトル
に対して働く。
【００４７】
小さな集合の訓練用イメージしか使えない時には分類化を強調するために、ベクトルの
密度に基づいて縮小された訓練用イメージから抽出したベクトルの集合を用いて分類して
いるノード１５２，１５４のＢＰＮＮ分類器１６８を訓練する。図１１は、訓練用イメー
ジとしての集合Ｓからベクトルの集合を生成するために行われるステップを表示している
。最初に、訓練用イメージが属するクラスを統計的に表す訓練用イメージの特徴ベクトル
を生成するために、集合Ｓにおける訓練用イメージに対して特徴抽出を行う（ステップＳ
３０２）。次に、制御されたランダム性を加えるためにスキュー特徴ベクトルを生成する
（ステップＳ３０４）。次に、分類化ノードの分類器を訓練するために使用する訓練用イ
メージの特徴を表す特徴ベクトルの集合を生み出すベクトルの密度に基づいて、訓練用イ
メージ特徴ベクトルおよびスキュー特徴ベクトルの集合を縮小する（ステップＳ３０６）
。
【００４８】
ステップＳ３０２で、最初に、訓練用イメージとしての集合Ｓの中の各イメージを、先
に説明したと同じようなやり方で、特徴ベクトルＶを表現する。次に、訓練用イメージの
特徴ベクトルＶをベクトル集合Ｈにコピーする。訓練用イメージとしての集合Ｓの中の各
カテゴリーはｍ個のサブ集合に分割される。そこでｍは事前に定義された値である。この
実施例では、ｍはｎs／７で、ｎsは訓練用イメージから抽出する特徴の集合である。次に
訓練用の特徴ｎsubのサブ集合Ｓ’を訓練用イメージとしての集合Ｓからランダムに選ぶ
。次に、訓練用の特徴ｎsubのサブ集合Ｓ’の数学的平均ベクトルＶmeanを以下の方程式
（２）の従って計算する。
【００４９】
【数２】
2008097607.tif 000004
ここで、Ｇj（ｉ）はサブ集合Ｓlにおけるｊthのベクトルのｉthの元で、
Ｖmean（ｉ）は数学的平均ベクトルＶmeanのｉthの元である。
【００５０】
計算した数学的平均ベクトルＶmeanをベクトル集合Ｈに加算する。選んだ訓練用として
の特徴ｎsubのルート平均平方サンプルベクトル（以降、ＲＭＳサンプルベクトルという
）Ｖmsも以下の方程式（３）に従って計算する。
【００５１】
【数３】
2008097607.tif 000005
ここで、
Ｖrms（ｉ）はＲＭＳベクトルＶrmsのｉthの元である。
【００５２】
次に、ＲＭＳサンプルベクトルＶmsをベクトル集合Ｈに加算する。次に、選んだ訓練用
の特徴ｎsubの最小の訓練用イメージの特徴ベクトルＶminを以下の方程式（４）に従って
計算する。
【００５３】
【数４】
2008097607.tif 000006
ここで、
Ｖmin（ｉ）は最小の訓練用イメージの特徴ベクトルＶminのｉthの元である。
【００５４】
次に、最小の訓練用イメージの特徴ベクトルＶminをベクトル集合Ｈに加算する。ステ
ップＳ２０４で、選んだ訓練用の特徴ｎsubにおけるサンプルベクトルの元Ｇごとに、ス
キューベクトルＶskewjを以下の方程式（５）に従って計算する。
【００５５】
【数５】
2008097607.tif 000007
ここで、
ｊは選んだ訓練用の特徴ｎsubにおけるサンプルベクトル（０，１，…，ｎ）の
指数（index）で、
ｐはランダムに選んだ統計的ベクトルのパーセンテージ（０~１）で、
ｒａｎｄ（ａ，ｂ，ｃ）はａ，ｂまたはｃからランダムに選んだ一つを表す。
【００５６】
計算したスキューベクトルＶskew0，Ｖskew1，…，ＶskewNもベクトル集合Ｈに加算す
る。それから、訓練用イメージとしての集合Ｓにおけるイメージがすべてプロセスされる
まで、上記のステップを繰り返す。これにより（２ｎs＋３ｍ＝ｎe）ベクトルを含んだベ
クトル集合Ｈが生み出される。
【００５７】
分かるように、余分の特徴ベクトル（本件の場合、ベクトル数学的平均ベクトルＶmean
、特徴ベクトルＶminおよびＲＭＳベクトルＶrms）を挿入することで特徴ベクトルの集合
を拡大する。訓練用のイメージ集合における特徴毎に歪曲したベクトル（distorted vect
or）Ｖskewも挿入する。訓練用のイメージ集合が小さいときには、訓練時こうしたベクト
ルを加えることが役に立つ。訓練用のイメージ集合が大きいときにはこうしたベクトルを
追加することが訓練に役立つ程度が小さくなる。
【００５８】
上記のプロセスは、各訓練用のイメージが属するクラスを統計的に表現するベクトルを
作成するために、訓練用のイメージ集合に含まれている情報を用いる。既存の訓練用のイ
メージ集合に表現ベクトルを付加することで、一様でない初期の訓練用のイメージデータ
の分布から生じるクラス情報のギャップを埋めることによって個々のクラスは平滑な推定
データの分布でよりうまく定義できるようになる。さらに、このプロセスは、これから説
明するように、クラスの定義を表現しているとは考えない訓練用のイメージ集合における
ベクトルがステップＳ２０６時に消去される確率が高くなる。
【００５９】
分類化システム１４０が訓練できる類似したデータのより連続してうまく定義された範
囲を提供するためにスキューしたベクトルを生成する。訓練用のイメージ集合にある程度
の制御された分散を提供することによって、スキューしたベクトルによって、精度を損な
うことなく、より広義な意味での訓練が可能になる。わずかに制御されたランダム性は、
訓練用のイメージが完璧に理に適ったデータに優れた分類を与えないときに、訓練用のラ
ーニングシステムによって、クラスにフィットする可能なデータの範囲に一様に沿って分
布されていない訓練用のイメージが高度に集中していることが原因で、頻繁に経験するよ
くある疎なデータの問題を減らすのに役立つ。
【００６０】
一旦、ベクトルの集合としてのベクトル集合Ｈを生成したら、ベクトル集合Ｈを縮小す
る（ステップＳ３０６）。このプロセス時に、｛ｈk｝で表記したベクトル集合Ｈの中の
ベクトルごとに、サブ集合Ｃi−｛ｈk｝上のベクトルの内部クラスの密度ＤＩ｛ｈk｝を
計算する。ここで、Ｃiは｛ｈk｝が属するクラスの全ての元を含んだベクトル集合Ｈのサ
ブ集合である。内部クラスの密度ＤＩ｛ｈk｝は以下の方程式（６）で定義される。
【００６１】
【数６】
2008097607.tif 000008
ここで、
【００６２】
【数７】
2008097607.tif 000009
式（７）、ＮciはＣiにおけるサンプル数で、
ｅはサンプルベクトルにおける元の総数で、
Ａh1およびＡh2はベクトル｛ｈ1｝およびベクトル｛ｈ2｝それぞれにおける元の
値の累積総和である。
【００６３】
ベクトル集合Ｈにおけるベクトル毎に、サブ集合Ｃ（ｏ）上のベクトル｛ｈk｝の外部
クラスの密度ＤＯ（ｈk）を計算する。ここで、Ｃoは｛ｈk｝が属しないクラスの全ての
元を含んだベクトル集合Ｈのサブ集合である。外部クラスの密度ＤＯ（ｈk）は以下の方
程式（８）で定義される。
【００６４】
【数８】
2008097607.tif 000010
ここで、
ＮCOはサブ集合ＣOにおけるサンプル数である。
【００６５】
ベクトル集合Ｈにおけるベクトル毎に、ベクトル｛ｈk｝の同調性の密度ＤＣ（ｈk）を
計算する。同調性の密度ＤＣ（ｈk）は以下の方程式（９）に従って定義される。
【００６６】
【数９】
2008097607.tif 000011
ここで、αは事前に定義した係数である。
【００６７】
最も高い同調性の密度をもつベクトルがベクトル集合Ｒに格納され、そのベクトルは分
類ノードの分類器を訓練するのに使用する拡張した訓練用のイメージ集合からの特徴を表
している。
【００６８】
上記のプロセスは訓練用のイメージ集合の密度データに基づいてベクトルの集合を小さ
くする。つまり、ベクトル集合Ｈにおいてとっておくべきベクトルはどれか決定するため
に、訓練用のイメージ集合の密度分布を活用する。ベクトル縮小の段階があることにより
、データ集合に完全に依存する場合よりも、最終的な訓練用のイメージ集合のサイズがも
っと正確になる。これにより、特定の問題点や性能上の拘束のニーズに適うようにユーザ
が訓練用のイメージ集合を微調整できるようになる。また、ベクトル縮小の段階は、どん
な形でもラーニングを必要としないので、性能が高速になる。また、異なった訓練用のイ
メージ集合をプロセスする場合、結果の一貫性が一層高くなる。ベクトル縮小の段階はモ
デルに依存しておらず、ある特定の分類システム専用の設計にはなっていない。ベクトル
縮小の段階はジェネリックな性質なので、異なったサブラーニングシステムを含んでいる
ことのあるハイブリッドなシステムに効果的に使用できる。
【００６９】
これまでに説明してきた実施例は特定の分類器に関係している。当業者ならば、様々な
分類器が複数の異なる場合には、代替えの分類器を使用できることが分かるだろう。
【００７０】
ベクトル集合の拡張および縮小は、パーソナルコンピュータやその他のコンピューティ
ングシステム環境などプロセシングユニットによって実行されるコンピュータが実行可能
な命令を含んだソフトウェアアプリケーションにより実行可能である。ソフトウェアアプ
リケーションはスタンドアローン版のイメージ分類化ツールとしてランできるし、あるい
はメディア管理システムに組み込んでこうしたメディア管理システムに向上した機能性を
提供することもできる。ソフトウェアアプリケーションは、ルーチン、プログラム、オブ
ジェクトコンポーネント、データストラクチャなどのプログラムモジュールを含んでいる
ことがあり、コンピュータが判読可能な媒体に格納したコンピュータ可読プログラムコー
ドとして実施されることがある。コンピュータ可読媒体は、後からコンピュータシステム
で読める、データを格納できるどんなデータストレージデバイスでも構わない。コンピュ
ータ可読媒体の例としては、例えば、リードオンリーメモリ、ランダムアクセスメモリ、
ＣＤ−ＲＯＭ、磁気テープ、オプティカルデータストレージデバイスなどを含む。コンピ
ュータが判読可能なプログラムコードは、コンピュータ可読プログラムコードを分散して
格納および実行できるように、結合型のコンピュータシステムなどネットワークで分散す
ることができる。
【００７１】
ノードベースの分類化ストラクチャにより、モジュール性および編成が向上するので、
装置が新たなイメージカテゴリーを含むべく拡張することが可能になる。数学的平均の代
表的なベクトルを組み込むことで、大型の事前に存在しているイメージコレクションがな
くても、優れたインスタントベースの分類を実行できる。多様なタイプが異なった分類器
を含む重み付きのコミティベースの分類システムを用いることによって、各分類器がもつ
異なった分野の強みを利用することでより優れた精度を達成する。特徴ベクトルのコンポ
ーネントしてＬＣＣＶおよびＬＥＯＣＶを用いると、正確であるけれど、保持しようとし
ているイメージの非常に凝縮された表現が可能になるので、訓練および分類がより高速に
なる。
【００７２】
実施例を説明してきたが、当業者ならば、添付の請求項で定義した精神ならびに範囲か
ら逸脱することなく、変形および変更ができることを理解するだろう。
【図面の簡単な説明】
【００７３】
【図１】イメージ分類システムの概略図。
【図２】図１のイメージ分類システムの一部を形成する分類化ノードの概略図。
【図３】図２の分類化ノードの一部を形成する知覚リニア分類器の概略図。
【図４】図２の分類化ノードの一部を形成するバックプロパゲーション人工ニューラルネットワーク分類器の概略図。
【図５】自動イメージ分類時に行われる大まかなステップを示すフローチャート。
【図６】ローカライズしたカラーの同調性ベクトルマトリックスを示す図。
【図７】図６のローカライズしたカラーの同調性マトリックスを生成するために使用するカラーの同調性ウィンドウを示す図。
【図８】ローカライズしたエッジオリエンテーションの同調性ベクトルマトリックスを示す図。
【図９】図８のローカライズしたエッジオリエンテーションの同調性ベクトルマトリックスを生成するために使用するエッジオリエンテーションの同調性ウィンドウを示す図。
【図１０】特徴ベクトルを示す図。
【図１１】イメージセット強調（image set enhancement）の訓練時に行われるステップを示すフローチャート。
【符号の説明】
【００７４】
１４０…分類化システム、１４２…プリプロセッサ、１４４…特徴ベクトルジェネレー
タ、１４６…階層構造、１５２，１５４…ノード、１６０，１６２，１６４…Ｋ平均最近
傍分類器、１６６…バイナリ知覚リニア分類器、１６８…バックプロパゲーションニュー
ラルネットワーク（ＢＰＮＮ）分類器、Ｈ…ベクトル集合、Ｓ…集合、Ｓ２０２…ステッ
プ；入力イメージをプリプロセス、Ｓ２０４…ステップ；特徴抽出に基づいて特徴ベクト
ルを生成、２０６…ステップ；複数の異なる分類器を用いて特徴ベクトルをプロセスして
イメージを分類、３０２…ステップ；訓練用のイメージを拡張してサンプルベクトルを生
成、３０４…ステップ；スキューベクトルを生成、３０６…ステップ；サンプルおよびス
キューベクトルの集合を縮小。
【図１】
2008097607.tif 000012
【図２】
2008097607.tif 000013
【図３】
2008097607.tif 000014
【図４】
2008097607.tif 000015
【図５】
2008097607.tif 000016
【図６】
2008097607.tif 000017
【図８】
2008097607.tif 000018
【図１０】
2008097607.tif 000019
【図１１】
2008097607.tif 000020
【図７】
2008097607.tif 000021
【図９】
2008097607.tif 000022