(57)【要約】【課題】画像内に写っているオブジェクトの識別を高速かつ高精度に実現する。【解決手段】学習装置１１は、複数画像から特徴ベクトルを抽出し、抽出した全ての特徴ベクトルに対して主成分分析を行い、計算された特徴ベクトルから圧縮した圧縮主成分ベクトルを出力し、各特徴ベクトルを入力された異なる圧縮率により圧縮して出力し、圧縮された各オブジェクトの圧縮特徴ベクトルの部分空間を求めて出力し、指定された複数圧縮率の個数分だけ圧縮と部分空間生成を繰り返す。  識別装置本体１２は、対象画像において注目する位置およびそのサイズを変更しながら注目する領域画像を切り出し、領域画像から対象特徴ベクトルを抽出し、全カテゴリを候補カテゴリとして登録し、指定された複数の圧縮率により候補を絞り込み、入力された複数圧縮率の個数分だけ候補識別の処理を繰り返す。【選択図】  図１
2005078555.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを含む複数画像を用いて複数のオブジェクトを登録し、画像中に１個以上存在する登録されたオブジェクトを識別するオブジェクト識別装置であって、
前記複数のオブジェクトを登録する手段は、複数画像から特徴ベクトルを抽出する特徴抽出手段と、前記抽出した全ての特徴ベクトルに対して主成分分析を行う主成分分析手段と、計算された特徴ベクトルから圧縮した圧縮主成分ベクトルを出力する圧縮主成分出力手段と、各特徴ベクトルを入力された異なる圧縮率により圧縮して出力する圧縮手段と、前記圧縮された各オブジェクトの圧縮特徴ベクトルの部分空間を求めて出力する部分空間生成手段と、指定された複数圧縮率の個数分だけ前記圧縮手段と部分空間生成手段を複数回繰り返す制御手段と、
を有することを特徴とするオブジェクト識別装置。
【請求項２】
前記圧縮手段は、全オブジェクトの特徴ベクトルを全て入力する全特徴入力手段と、入力された圧縮率から圧縮する特徴ベクトルの次元数（Ｎ）を求めて上位Ｎ個の主成分ベクトルと特徴ベクトルの内積を計算し、各内積値をベクトルとみなした圧縮特徴ベクトルを出力する圧縮特徴出力手段と、
を有することを特徴とする請求項１に記載のオブジェクト識別装置。
【請求項３】
前記部分空間生成手段は、各オブジェクトの圧縮特徴ベクトルを入力する各オブジェクト圧縮特徴入力手段と、前記圧縮特徴ベクトルに対して主成分分析を行う主成分分析手段と、前記分析した部分空間主成分を出力する部分空間主成分出力手段と、
を有することを特徴とする請求項１、２に記載のオブジェクト識別装置。
【請求項４】
オブジェクトを識別する手段は、識別したい対象画像を入力する入力手段と、対象画像において注目する位置およびそのサイズを変更しながら注目する領域画像を切り出す注目領域画像切り出し手段と、領域画像から対象特徴ベクトルを抽出する特徴抽出手段と、全カテゴリを候補カテゴリとして登録する全カテゴリ登録手段と、指定された複数の圧縮率により候補を絞り込む候補識別手段と、入力された複数圧縮率の個数分だけ前記候補識別手段の処理を繰り返す制御手段と、
を有することを特徴とする請求項１〜３に記載のオブジェクト識別装置。
【請求項５】
前記候補識別手段は、
入力された圧縮率から次元数（Ｎ）を求めて上位Ｎ個の前記主成分と対象特徴ベクトルの内積を計算し、各内積値をベクトルとみなした対象圧縮特徴ベクトルを算出する対象圧縮特徴ベクトル算出手段と、
各候補カテゴリの該当する圧縮率に対する部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出する投影距離算出手段と、
入力された閾値以下の各候補の投影距離の上位Ｋ個を新しい候補とする候補カテゴリ更新手段と、
入力された閾値以下の候補を識別結果として出力する識別結果出力手段と、
を有することを特徴とする請求項１〜４に記載のオブジェクト識別装置。
【請求項６】
前記特徴抽出手段は、
各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
各画像に対し、定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成する微分方向ヒストグラム化手段と、
作成された微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する正規化手段と、
を有することを特徴とする請求項１〜５に記載のオブジェクト識別装置。
【請求項７】
オブジェクトを含む複数画像を用いて複数のオブジェクトを登録し、画像中に１個以上存在する登録されたオブジェクトを識別するオブジェクト識別方法であって、
前記複数のオブジェクトを登録する過程は、複数画像から特徴ベクトルを抽出する特徴抽出過程と、前記抽出した全ての特徴ベクトルに対して主成分分析を行う主成分分析過程と、計算された特徴ベクトルから圧縮した圧縮主成分ベクトルを出力する圧縮主成分出力過程と、各特徴ベクトルを入力された異なる圧縮率により圧縮して出力する圧縮過程と、前記圧縮された各オブジェクトの圧縮特徴ベクトルの部分空間を求めて出力する部分空間生成過程と、指定された複数圧縮率の個数分だけ前記圧縮過程と部分空間生成過程を複数回繰り返す制御過程と、
を有することを特徴とするオブジェクト識別方法。
【請求項８】
前記圧縮過程は、全オブジェクトの特徴ベクトルを全て入力する全特徴入力過程と、入力された圧縮率から圧縮する特徴ベクトルの次元数（Ｎ）を求めて上位Ｎ個の主成分ベクトルと特徴ベクトルの内積を計算し、各内積値をベクトルとみなした圧縮特徴ベクトルを出力する圧縮特徴出力過程と、
を有することを特徴とする請求項７に記載のオブジェクト識別方法。
【請求項９】
前記部分空間生成過程は、各オブジェクトの圧縮特徴ベクトルを入力する各オブジェクト圧縮特徴入力過程と、前記圧縮特徴ベクトルに対して主成分分析を行う主成分分析過程と、前記分析した部分空間主成分を出力する部分空間主成分出力過程と、
を有することを特徴とする請求項７、８に記載のオブジェクト識別方法。
【請求項１０】
オブジェクトを識別する過程は、識別したい対象画像を入力する入力過程と、対象画像において注目する位置およびそのサイズを変更しながら注目する領域画像を切り出す注目領域画像切り出し過程と、領域画像から対象特徴ベクトルを抽出する特徴抽出過程と、全カテゴリを候補カテゴリとして登録する全カテゴリ登録過程と、指定された複数の圧縮率により候補を絞り込む候補識別過程と、入力された複数圧縮率の個数分だけ前記候補識別過程の処理を繰り返す制御過程と、
を有することを特徴とする請求項７〜９に記載のオブジェクト識別方法。
【請求項１１】
前記候補識別過程は、
入力された圧縮率から次元数（Ｎ）を求めて上位Ｎ個の前記主成分と対象特徴ベクトルの内積を計算し、各内積値をベクトルとみなした対象圧縮特徴ベクトルを算出する対象圧縮特徴ベクトル算出過程と、
各候補カテゴリの該当する圧縮率に対する部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出する投影距離算出過程と、
入力された閾値以下の各候補の投影距離の上位Ｋ個を新しい候補とする候補カテゴリ更新過程と、
入力された閾値以下の候補を識別結果として出力する識別結果出力過程と、
を有することを特徴とする請求項７〜１０に記載のオブジェクト識別方法。
【請求項１２】
前記特徴抽出過程は、
各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算過程と、
各画像に対し、定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成する微分方向ヒストグラム化過程と、
作成された微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する正規化過程と、
を有することを特徴とする請求項７〜１１に記載のオブジェクト識別方法。
【請求項１３】
上記の請求項７〜１２のいずれか１項に記載のオブジェクト識別方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【請求項１４】
上記の請求項７〜１２のいずれか１項に記載のオブジェクト識別方法を、コンピュータで実行可能に記載したプログラムを、記録媒体に記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内に、どのようなオブジェクトが写っているかを識別する画像識別技術に属し、その具体的な産業応用システムとして、例えば景観中文字認識システムなどが挙げられる。
【背景技術】
【０００２】
従来、景観に写った文字を認識する技術は、大きく分けて２つに分類される。１つは、景観の中から文字が写った領域を切り出し、その領域を２値化し、従来の文字認識技術により判別するという技術（以後文字切り出し方式と呼ぶ）である（例えば、特許文献１参照）。
【０００３】
もう１つは、文字の変形テンプレートを用意し、画像全面をスキャニングするという技術（以後テンプレートマッチング方式と呼ぶ）である（例えば、特許文献２参照）。
【特許文献１】特開平６−１３１４９２「ナンバープレート認識方法」
【特許文献２】特開２００１−３０７０２１「パターン列抽出方法およびナンバープレート認識方法」
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、文字切り出し方式においては、背景が複雑なテクスチャーを有する場合や文字同士がくっ付いている場合に、文字領域を切り出すこと自体が非常に難しいという課題があった。また、文字領域に陰影が存在する場合には、２値化に失敗し易いという課題があった。そのため、文字切り出し方式は、適用できる景観画像に大きな制約があった。
【０００５】
テンプレートマッチング方式においては、マッチングの計算自体に多大な時間を要するため、実用的なシステムを構築するには、判別するカテゴリ数が限られるという課題があった。また、景観中文字のようにフォント等の幾何学的形状が非常に多様な場合は、事前に万全なテンプレートを用意することは困難であり、実用的ではないという課題があった。
【０００６】
本発明の目的は、上記の課題を解決したオブジェクト識別装置、識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題をすべて解決するために、複数のオブジェクトを登録する手段（過程）においては、複数画像から特徴を抽出し複数の圧縮率により圧縮し、圧縮された各オブジェクトの特徴ベクトル（圧縮特徴ベクトル）の部分空間を求める。
【０００８】
また、オブジェクトを識別する手段（過程）においては、対象画像において注目する位置（注目位置）および大きさ（注目サイズ）を変更しながら注目する画像（注目領域画像）を切り出して注目領域画像から特徴（対象特徴ベクトル）を抽出し、
（ａ）指定された圧縮率の前記圧縮主成分を用いて対象特徴ベクトルを圧縮し、該当する圧縮率に対する各候補カテゴリの部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出し、
（ｂ）各候補の投影距離の上位（各圧縮率によって異なる）Ｋ個を新しい候補とし、ａ，ｂを指定された複数圧縮率分繰り返す。
【０００９】
さらに、特徴抽出においては、各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算し、各画像の定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラム作成し、微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する。
【００１０】
すなわち、本発明は、圧縮率の高いベクトルにおいては、識別率が低い反面、投影距離を高速に求めることができ、多くの候補を高速に除外できるのに対して、圧縮率の低いベクトルにおいては、識別率が高い反面、投影距離の計算にコストがかかることに着目し、複数の圧縮率により精度が悪い高速処理と精度を重視した低速処理を組み合わせることで、全体の処理を高速かつ高精度に実現する。さらに、正規化した微分方向ヒストグラムは、２値化を必要としないことで、陰影の混入に強くする。さらにまた、文字のフォントの多様な形状変動に対して、正規化した微分方向ヒストグラムは大きく変動しないため、代表的なフォントを用いて事前に万全な辞書を作成することを可能とするもので、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１１】
（装置の発明）
（１）オブジェクトを含む複数画像を用いて複数のオブジェクトを登録し、画像中に１個以上存在する登録されたオブジェクトを識別するオブジェクト識別装置であって、
前記複数のオブジェクトを登録する手段は、複数画像から特徴ベクトルを抽出する特徴抽出手段と、前記抽出した全ての特徴ベクトルに対して主成分分析を行う主成分分析手段と、計算された特徴ベクトルから圧縮した圧縮主成分ベクトルを出力する圧縮主成分出力手段と、各特徴ベクトルを入力された異なる圧縮率により圧縮して出力する圧縮手段と、前記圧縮された各オブジェクトの圧縮特徴ベクトルの部分空間を求めて出力する部分空間生成手段と、指定された複数圧縮率の個数分だけ前記圧縮手段と部分空間生成手段を複数回繰り返す制御手段と、
を有することを特徴とする。
【００１２】
（２）前記圧縮手段は、全オブジェクトの特徴ベクトルを全て入力する全特徴入力手段と、入力された圧縮率から圧縮する特徴ベクトルの次元数（Ｎ）を求めて上位Ｎ個の主成分ベクトルと特徴ベクトルの内積を計算し、各内積値をベクトルとみなした圧縮特徴ベクトルを出力する圧縮特徴出力手段と、
を有することを特徴とする。
【００１３】
（３）前記部分空間生成手段は、各オブジェクトの圧縮特徴ベクトルを入力する各オブジェクト圧縮特徴入力手段と、前記圧縮特徴ベクトルに対して主成分分析を行う主成分分析手段と、前記分析した部分空間主成分を出力する部分空間主成分出力手段と、
を有することを特徴とする。
【００１４】
（４）オブジェクトを識別する手段は、識別したい対象画像を入力する入力手段と、対象画像において注目する位置およびそのサイズを変更しながら注目する領域画像を切り出す注目領域画像切り出し手段と、領域画像から対象特徴ベクトルを抽出する特徴抽出手段と、全カテゴリを候補カテゴリとして登録する全カテゴリ登録手段と、指定された複数の圧縮率により候補を絞り込む候補識別手段と、入力された複数圧縮率の個数分だけ前記候補識別手段の処理を繰り返す制御手段と、
を有することを特徴とする。
【００１５】
（５）前記候補識別手段は、
入力された圧縮率から次元数（Ｎ）を求めて上位Ｎ個の前記主成分と対象特徴ベクトルの内積を計算し、各内積値をベクトルとみなした対象圧縮特徴ベクトルを算出する対象圧縮特徴ベクトル算出手段と、
各候補カテゴリの該当する圧縮率に対する部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出する投影距離算出手段と、
入力された閾値以下の各候補の投影距離の上位Ｋ個を新しい候補とする候補カテゴリ更新手段と、
入力された閾値以下の候補を識別結果として出力する識別結果出力手段と、
を有することを特徴とする。
【００１６】
（６）前記特徴抽出手段は、
各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
各画像に対し、定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成する微分方向ヒストグラム化手段と、
作成された微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する正規化手段と、
を有することを特徴とする。
【００１７】
（方法の発明）
（７）オブジェクトを含む複数画像を用いて複数のオブジェクトを登録し、画像中に１個以上存在する登録されたオブジェクトを識別するオブジェクト識別方法であって、
前記複数のオブジェクトを登録する過程は、複数画像から特徴ベクトルを抽出する特徴抽出過程と、前記抽出した全ての特徴ベクトルに対して主成分分析を行う主成分分析過程と、計算された特徴ベクトルから圧縮した圧縮主成分ベクトルを出力する圧縮主成分出力過程と、各特徴ベクトルを入力された異なる圧縮率により圧縮して出力する圧縮過程と、前記圧縮された各オブジェクトの圧縮特徴ベクトルの部分空間を求めて出力する部分空間生成過程と、指定された複数圧縮率の個数分だけ前記圧縮過程と部分空間生成過程を複数回繰り返す制御過程と、
を有することを特徴とする。
【００１８】
（８）前記圧縮過程は、全オブジェクトの特徴ベクトルを全て入力する全特徴入力過程と、入力された圧縮率から圧縮する特徴ベクトルの次元数（Ｎ）を求めて上位Ｎ個の主成分ベクトルと特徴ベクトルの内積を計算し、各内積値をベクトルとみなした圧縮特徴ベクトルを出力する圧縮特徴出力過程と、
を有することを特徴とする。
【００１９】
（９）前記部分空間生成過程は、各オブジェクトの圧縮特徴ベクトルを入力する各オブジェクト圧縮特徴入力過程と、前記圧縮特徴ベクトルに対して主成分分析を行う主成分分析過程と、前記分析した部分空間主成分を出力する部分空間主成分出力過程と、
を有することを特徴とする。
【００２０】
（１０）オブジェクトを識別する過程は、識別したい対象画像を入力する入力過程と、対象画像において注目する位置およびそのサイズを変更しながら注目する領域画像を切り出す注目領域画像切り出し過程と、領域画像から対象特徴ベクトルを抽出する特徴抽出過程と、全カテゴリを候補カテゴリとして登録する全カテゴリ登録過程と、指定された複数の圧縮率により候補を絞り込む候補識別過程と、入力された複数圧縮率の個数分だけ前記候補識別過程の処理を繰り返す制御過程と、
を有することを特徴とする。
【００２１】
（１１）前記候補識別過程は、
入力された圧縮率から次元数（Ｎ）を求めて上位Ｎ個の前記主成分と対象特徴ベクトルの内積を計算し、各内積値をベクトルとみなした対象圧縮特徴ベクトルを算出する対象圧縮特徴ベクトル算出過程と、
各候補カテゴリの該当する圧縮率に対する部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出する投影距離算出過程と、
入力された閾値以下の各候補の投影距離の上位Ｋ個を新しい候補とする候補カテゴリ更新過程と、
入力された閾値以下の候補を識別結果として出力する識別結果出力過程と、
を有することを特徴とする。
【００２２】
（１２）前記特徴抽出過程は、
各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算過程と、
各画像に対し、定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成する微分方向ヒストグラム化過程と、
作成された微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する正規化過程と、
を有することを特徴とする。
【００２３】
（プログラムの発明）
（１３）上記の（７）〜（１２）のいずれか１項に記載のオブジェクト識別方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００２４】
（記録媒体の発明）
（１４）上記の（７）〜（１２）のいずれか１項に記載のオブジェクト識別方法を、コンピュータで実行可能に記載したプログラムを、記録媒体に記録したことを特徴とする。
【発明の効果】
【００２５】
以上説明したように、本発明では、圧縮率の高いベクトルにおいては、識別率が低い反面、投影距離を高速に求めることができ、多くの候補を高速に除外でき、圧縮率の低いベクトルにおいては、識別率が高い反面、投影距離の計算にコストがかかることに着目し、異なる圧縮率の特徴ベクトルを用意しておき、最初の段階では圧縮率を高くし、精度が悪くとも高速に有力候補を絞り込み、次の段階では圧縮率を低くし、精度を重視して低速であるが確実な候補を絞り込む識別を行うようにしたため、精度を保ったまま、画像中に存在する多数オブジェクトの抽出・識別を高速化できる。
【００２６】
さらに、本発明は、特徴抽出に、各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算し、各画像の定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成し、微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する。これにより、正規化した微分方向ヒストグラムは、２値化を必要としないため、陰影の混入に強い。さらに、文字のフォントの多様な形状変動に対して、正規化した微分方向ヒストグラムは大きく変動しないため、代表的なフォントを用いて事前に万全な辞書を作成することが可能である。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２８】
図１は、本発明を景観中文字認識翻訳システムに適用した例であり、本システムにより、ユーザは、撮影した文字の画像を基に、その文字の翻訳情報をみることができる。ただし、文字の翻訳辞書を有していることが前提となる。システムは、本発明のオブジェクト識別装置１０および翻訳装置２０から構成される。本発明の識別装置１０は、文字の異なるフォントの画像を含んだ複数画像を用いて文字を登録し、登録された複数の文字を識別する。翻訳装置２０は、文字と翻訳情報を蓄積しておき、文字から翻訳情報を検索する装置であり、一般のデータベースにより構築できるため、本実施形態では詳細を記載しない。
【００２９】
オブジェクト識別装置１０は、学習装置１１と識別装置本体１２から構成される。学習装置１１は、文字の複数視点画像から識別に必要な情報を求め、蓄積する。識別装置本体１２は、ユーザが入力する画像と学習装置に蓄積された識別に必要な情報を利用し、画像に撮影された文字を識別する。以下の例では、「電」、「信」、「話」の３種類の文字を登録／識別する場合を例に説明する。ただし、本例は、オブジェクトを３種類に限定するものではなく、何種類にでも拡張可能である。
【００３０】
図２は、本発明の請求項１等に係る学習装置の詳細な機能構成を示す図である。学習装置１１は、全オブジェクト複数画像の特徴（特徴ベクトル）を抽出する特徴抽出手段１１Ａ、全ての特徴に対して主成分分析を行う主成分分析手段１１Ｂと、計算された主成分（圧縮主成分）を出力する圧縮主成分出力手段１１Ｃと、指定された複数圧縮率の個数（Ｔ）分の下記圧縮処理を繰り返す繰り返し制御手段１１Ｄと、各特徴ベクトルを入力された圧縮率により圧縮して出力する圧縮手段１１Ｅと、圧縮された各オブジェクトの特徴ベクトル（圧縮特徴ベクトル）の部分空間を求めて出力する部分空間生成手段１１Ｆとから構成される。図２では、圧縮率の個数Ｔ＝２（圧縮率Ａ，Ｂ）の場合であり、以下、これらの構成要素について説明を詳細に行う。
【００３１】
学習装置１１に与えられる複数画像は、各文字の様々な種類の画像群のことであり、フォント変化、幾何学変形（透視投影変換、アフィン変換）などが加えられた画像群である。図３は、「電」の例の一部を説明した図である。ここで、カテゴリ数Ｃ＝３、各カテゴリの画像数をＭとする。
【００３２】
図４は、本発明の請求項６等に係る特徴抽出手段１１Ａを説明した図であり、複数画像を入力する入力手段４１と、各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段４２と、各画像に対し、定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成する微分方向ヒストグラム化手段４３と、作成された微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する正規化手段４４より構成される。
【００３３】
微分強度方向計算手段４２による態様例を図５に示す。原画像Ｉの横をｘ軸、縦をｙ軸と考える。画像は横Ｘピクセル×縦Ｙピクセルであり、画像サイズはＸ×Ｙとなる。まず、原画像に対し、ソーベルオペレータを作用させ、ｘ方向の微分を計算したｘ方向微分画像Ｄｘと、ｙ方向の微分を計算したｙ方向微分画像Ｄｙを生成する。ただし、ソーベルオペレータを用いるのは一例であって、その他の方法であってもよい。最後に、微分強度画像Ｄｉと微分方向画像Ｄｄの各画素を以下の手段で求める。
【００３４】
【数１】
2005078555.tif 000003
【００３５】
次に、図４における微分方向ヒストグラム化手段４３の態様例を図６に示す。各画素において、まず、角度を量子化する。次に、その画素の強度を、その画素が所属する領域の、該当する角度のヒストグラムに加算する。以上により、微分方向ヒストグラムが作成される。
【００３６】
図６の例では、画像を４（ｎ）分割した領域内で方向を５（ｍ）段階に量子化してヒストグラムを作成しており、特徴は、２０（ｎ×ｍ）次元のベクトルＧで表現される。
【００３７】
微分ヒストグラム正規化手段４４は、以下の計算により正規化し、特徴ベクトル（Ｆ）とする。
【００３８】
【数２】
2005078555.tif 000004
【００３９】
ただし、ベクトルＧのｋ次元目のスカラー値をＧ（ｋ）と表す。また、Ｆは、各カテゴリに対応したカテゴリ番号ｃ（ｃ＝１〜Ｃ）と、そのフォント、変形などのパラメータを変数として持つ。その変数をＰと表すと、ＦはＦ（ｃ，Ｐ）として表現できる。
【００４０】
次に、図２の主成分分析手段１１Ｂでは、すべての特徴ベクトルに対して主成分分析を行い、第１〜第Ｉ圧縮主成分を求める。各圧縮主成分ベクトルは、ｎ×ｍ次元のベクトルとして表現できる（Ｓｉとする。ｉ＝１〜Ｉ）。ここで、主成分分析に関しては、例えば、文献１「パターン認識、大津展之ほか著、ｐ.３５、朝倉書店発行」のものを利用できる。
【００４１】
次に、図２の圧縮主成分出力手段１１Ｃでは、主成分分析下段１１Ｂにおいて算出された第１〜第Ｉ圧縮主成分ベクトルを出力する。
【００４２】
次に、図７は、図２および本発明の請求項２等に係る圧縮手段１１Ｅの例を示し、全オブジェクトの特徴データ（特徴ベクトル）を全て入力する全特徴入力手段７１と、入力された圧縮率から圧縮する特徴ベクトルの次元数（Ｎ）を求めて寄与率に関して上位Ｎ個の主成分と特徴ベクトルの内積を計算し、各内積値をベクトルとみなした圧縮特徴ベクトルを出力する圧縮特徴ベクトル出力手段７２から構成される。
【００４３】
上記の次元数Ｎは、例えば、圧縮率をＡ（％）とすると以下の方法により求められる。
【００４４】
【数３】
2005078555.tif 000005
【００４５】
ただし、［ａ］はａの切り捨てを意味する。
【００４６】
ここで、特徴ベクトルＦ（ｃ，Ｐ）の圧縮特徴ベクトル（Ｎ次元）ＡＦ（ｃ，Ｐ）の第ｉ成分Ｃｏｎｔ（ｃ，Ｐi）は、以下のように計算できる。
【００４７】
【数４】
2005078555.tif 000006
【００４８】
ただし、ｉ＝１〜Ｎであり、Ｎ＜Ｉが成立する。また、Ｐのパターンは各カテゴリの複数画像数Ｍ分存在する。
【００４９】
図８は、本発明の請求項３等に係る部分空間生成手段１１Ｆの例を示し、各オブジェクトの圧縮特徴ベクトル（Ｎ次元）を入力する各オブジェクト圧縮特徴入力手段８１と、圧縮特徴ベクトルに対して主成分分析を行う主成分分析手段８２と、寄与率順にＮ個の主成分（部分空間主成分）を出力する部分空間主成分出力手段８３より構成される。ここで、第ｊ部分空間主成分をＢＡＦ（ｃ，ｊ）と表し、ＢＡＦ（ｃ，ｊ）は、Ｎ次元のベクトルで表現される。ただし、ｊ＝１〜Ｎ。
【００５０】
図９は、図１および本発明の請求項４等に係る識別装置本体の詳細を示す。識別装置本体１２は、識別したい対象画像を入力する入力手段９１と、対象画像において注目する位置（注目位置）および大きさ（注目サイズ）を変更しながら注目する画像（注目領域画像）を切り出す注目領域画像切り出し手段９２と、注目領域画像から特徴（対象特徴ベクトル）を抽出する特徴抽出手段９３と、全カテゴリを候補カテゴリとして登録する全カテゴリ登録手段９４と、入力された複数圧縮率の個数分の下記の候補識別手段の処理を繰り返す繰り返し制御手段９５と、指定された複数の圧縮率により候補を絞り込む候補識別手段９６と識別結果を出力する手段９７より構成される。
【００５１】
上記の候補カテゴリは、以下のフォーマットで登録される。
【００５２】
「画像中の注目位置（ｘ）、画像中の注目位置（ｙ）、注目サイズ、候補カテゴリ１、候補カテゴリ２、…、候補カテゴリＱ」
また、全カテゴリ登録手段では、各画素および各注目サイズについて、辞書に登録されたカテゴリをすべて加える。本例では、３つのカテゴリがあるため、候補カテゴリは以下のようになる。
【００５３】
「各画素、各注目サイズ、電、信、話」
つまり、各画素、各注目サイズを切り出した矩形画像の文字カテゴリの候補は「電」、「信」、「話」であることを意味する。
【００５４】
図１０は、図９および本発明の請求項５等に係る候補識別手段９６の例を示し、入力された圧縮率から次元数（Ｎ）を求めて上位Ｎ個の前記主成分と対象特徴ベクトルＩＦの内積を計算し、各内積値をベクトルとみなした対象圧縮特徴ベクトルＡＩＦを算出する対象圧縮特徴ベクトル算出手段１０１と、各候補カテゴリの該当する圧縮率に対する部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の距離（投影距離）を算出する投影距離算出手段１０２と、入力された閾値以下の各候補の投影距離の上位（各圧縮率によって異なる）Ｋ個を新しい候補とする候補カテゴリ更新手段１０３とから構成される。この候補識別結果は、図９の識別結果出力手段９７で出力される。
【００５５】
上記の圧縮する次元数Ｎ、対象特徴ベクトルＩＦから対象圧縮特徴ベクトルＡＩＦを求める方法は、圧縮手段で説明した方法と同様である。
【００５６】
また、各カテゴリの投影距離Ｌ（ｃ）は以下の式により算出される。
【００５７】
【数５】
2005078555.tif 000007
【００５８】
ただし、各圧縮率に対応したＲは事前に入力された定数であるとする。
【００５９】
Ｌ（ｃ）の小さい順に並べた上位Ｋ個のカテゴリをｃ'（１）〜ｃ'（Ｋ）とすると、更新された候補カテゴリは以下のようなデータになる。
【００６０】
「画像中の注目位置（ｘ）、画像中の注目位置（ｙ）、注目サイズ、候補カテゴリｃ'（１）、候補カテゴリｃ'（２）、…、候補カテゴリｃ'（Ｋ）、Ｌ（ｃ'（１））、Ｌ（ｃ'（２））、…、Ｌ（ｃ'（Ｋ））」
また、識別結果として、上記候補カテゴリから、投影距離が閾値ＴＨよりも小さいカテゴリを以下のように出力する。
【００６１】
「画像中の注目位置（ｘ１）、画像中の注目位置（ｙ１）、注目サイズ、候補カテゴリｃ'（１）、候補カテゴリｃ'（２）、…候補カテゴリｃ'（Ｋ’）、Ｌ（ｃ'（１））、Ｌ（ｃ'（２））、…、Ｌ（ｃ'（Ｋ’））」
ただし、Ｌ（ｃ'（Ｋ'））＜ＴＨ＜Ｌ（ｃ'（Ｋ'＋１））である。
【００６２】
以上までに説明したオブジェクト識別装置１０の識別動作例を説明する。まず、学習装置１１による学習過程について説明する。図１１は、本発明の請求項７〜９等に係る学習過程の流れを示し、学習装置１１の学習動作例を示したフローチャートである。学習装置では以下の処理を行う。
【００６３】
（Ｓ１）全画像数Ｃ×Ｍ分繰り返し
（Ｓ２）画像の入力
（Ｓ３）特徴の抽出
（Ｓ４）繰り返し終了
（Ｓ５）主成分分析
（Ｓ６）圧縮主成分の出力
（Ｓ７）入力された圧縮率Ｔ分繰り返し
（Ｓ８）全画像数Ｃ×Ｍ分繰り返し
（Ｓ９）圧縮特徴ベクトルの算出
（Ｓ１０）繰り返し終了
（Ｓ１１）圧縮特徴ベクトルの出力
（Ｓ１２）カテゴリ数Ｃ分繰り返し
（Ｓ１３）主成分分析
（Ｓ１４）部分空間主成分の出力
（Ｓ１５）繰り返し終了
（Ｓ１６）繰り返し終了
図１２は、本発明の請求項１２等に係る特徴抽出過程の流れを示し、特徴抽出手段の動作例を示したフローチャートである。
【００６４】
（Ｓ２１）画像のピクセル数Ｐ分繰り返し
（Ｓ２２）微分強度の計算
（Ｓ２３）繰り返し終了
（Ｓ２４）分割数ｎ分繰り返し
（Ｓ２５）微分方向ヒストグラムの計算
（Ｓ２６）繰り返し終了
（Ｓ２７）微分ヒストグラムの正規化
図１３は、本発明の請求項１０〜１１等に係る識別過程の流れを示し、識別装置本体の動作例を示したフローチャートである。
【００６５】
（Ｓ３１）対象画像の入力
（Ｓ３２）注目点の数Ｖ×想定する大きさの数Ｗ分繰り返し
（Ｓ３３）注目領域の切り出し
（Ｓ３４）特徴の抽出
（Ｓ３５）全カテゴリの登録
（Ｓ３６）入力された圧縮率Ｔ分繰り返し
（Ｓ３７）対象圧縮ベクトルの算出
（Ｓ３８）カテゴリ数Ｃ分繰り返し
（Ｓ３９）投影距離の算出
（Ｓ４０）繰り返し終了
（Ｓ４１）候補カテゴリの更新
（Ｓ４２）繰り返し終了
（Ｓ４３）識別結果の出力
（Ｓ４４）繰り返し終了
以上のフローチャートに従うと、例えば、図１４の例の対象画像に対して、以下のような識別結果の出力を得ることができる。
【００６６】
［５，５，１０、電、１０００．］
［１０，５，５、信、９００．］
［１５，５，５、電、８２０．］
［２０，５，５、話、１２００．］
なお、本発明は、図１１等に示した方法の一部又は全部の処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明を景観中文字認識翻訳システムに適用した実施形態を示すシステム構成図。
【図２】実施形態における学習装置の詳細な構成図。
【図３】画像の例。
【図４】実施形態における特徴抽出手段の構成例。
【図５】実施形態における微分強度方向計算の例。
【図６】実施形態における微分方向ヒストグラム化の例。
【図７】実施形態における圧縮手段の構成例。
【図８】実施形態における部分空間生成手段の構成例。
【図９】実施形態における識別装置本体の詳細な構成図。
【図１０】実施形態における候補識別手段の構成例。
【図１１】実施形態における学習過程の流れを示す図。
【図１２】実施形態における特徴抽出過程の流れを示す図。
【図１３】実施形態における識別過程の流れを示す図。
【図１４】実施形態における対象画像の識別結果の例。
【符号の説明】
【００６８】
１０  オブジェクト識別装置
１１  学習装置
１２  識別装置本体
２０  翻訳装置
１１Ａ  特徴抽出手段
１１Ｂ  主成分分析手段
１Ｃ  圧縮主成分出力手段
１１Ｄ  制御手段
１１Ｅ  圧縮手段
１１Ｆ  部分空間生成手段
４１  入力手段
４２  微分強度計算手段
４３  微分方向ヒストグラム化手段
４４  微分ヒストグラム正規化手段
７１  全特徴入力手段
７２  圧縮特徴ベクトル出力手段
８１  各オブジェクト圧縮特徴入力手段
８２  主成分分析手段
８３  部分空間主成分出力手段
９１  入力手段
９２  注目領域画像切り出し手段
９３  特徴抽出手段
９４  全カテゴリ登録手段
９５  繰り返し制御手段
９６  候補識別手段
９７  識別結果出力手段
１０１  対象圧縮特徴ベクトル算出手段
１０２  投影距離算出手段
１０３  候補カテゴリ更新手段
【図１】
2005078555.tif 000008
【図２】
2005078555.tif 000009
【図３】
2005078555.tif 000010
【図４】
2005078555.tif 000011
【図５】
2005078555.tif 000012
【図６】
2005078555.tif 000013
【図７】
2005078555.tif 000014
【図８】
2005078555.tif 000015
【図９】
2005078555.tif 000016
【図１０】
2005078555.tif 000017
【図１１】
2005078555.tif 000018
【図１２】
2005078555.tif 000019
【図１３】
2005078555.tif 000020
【図１４】
2005078555.tif 000021