(57)【要約】【課題】２次元画像の比較、分類、意味判定等を有効に行うため、低次元でありながら、画像の成分信号値の分布形状の相違を反映した特徴量を抽出する。【解決手段】少なくとも１種の成分信号値に関し、２次元画像をなす複数の画素に割り当てられたその成分信号値の累積ヒストグラムを作成し、その累積ヒストグラムのｎ分位点の値を、特徴量として抽出する。ｎの値は、３以上、累積ヒストグラムの次元数未満の自然数とする。【選択図】          図６
2004152087.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像から、該２次元画像の特徴を表す特徴量を抽出する方法であって、
少なくとも１種の成分信号値に関し、前記２次元画像をなす複数の画素に割り当てられた該成分信号値の累積ヒストグラムを作成する工程と、
前記累積ヒストグラムのｎ分位点の値を、前記特徴量として抽出する工程を含み、
前記ｎは、３以上、前記累積ヒストグラムの次元数未満の、自然数であることを特徴とする方法。
【請求項２】
前記特徴量に基づいて、前記２次元画像の意味を判定する工程をさらに含むことを特徴とする請求項１記載の方法。
【請求項３】
２種以上の成分信号値に関して前記特徴量を抽出し、該２種以上の成分信号値に関する前記特徴量の組合せに基づいて、前記２次元画像の意味を判定することを特徴とする請求項２記載の方法。
【請求項４】
前記２種以上の成分信号値が、輝度成分の信号値、色成分の信号値およびエッジ成分の信号値のうちの少なくとも２つを含むことを特徴とする請求項３記載の方法。
【請求項５】
前記意味を判定する工程において、自己組織化マップを用いて前記意味を判定することを特徴とする請求項２から４いずれか１項記載の方法。
【請求項６】
前記ｎが、２０以下であることを特徴とする請求項２から５いずれか１項記載の方法。
【請求項７】
前記２次元画像が、全体画像であることを特徴とする請求項１から６いずれか１項記載の方法。
【請求項８】
前記２次元画像が、全体画像を分割して得られたブロック画像であることを特徴とする請求項１から６いずれか１項記載の方法。
【請求項９】
２次元画像から、該２次元画像の特徴を表す特徴量を抽出する装置であって、
少なくとも１種の成分信号値に関し、前記２次元画像をなす複数の画素に割り当てられた該成分信号値の累積ヒストグラムを作成する手段と、
前記累積ヒストグラムのｎ分位点の値を、前記特徴量として抽出する手段を備え、
前記ｎは、３以上、前記累積ヒストグラムの次元数未満の、自然数であることを特徴とする装置。
【請求項１０】
前記特徴量に基づいて、前記２次元画像の意味を判定する手段をさらに備えていることを特徴とする請求項９記載の装置。
【請求項１１】
２種以上の成分信号値に関して前記特徴量を抽出し、該２種以上の成分信号値に関する前記特徴量の組合せに基づいて、前記２次元画像の意味を判定するものであることを特徴とする請求項１０記載の装置。
【請求項１２】
前記２種以上の成分信号値が、輝度成分の信号値、色成分の信号値およびエッジ成分の信号値のうちの少なくとも２つを含むことを特徴とする請求項１１記載の装置。
【請求項１３】
前記意味を判定する手段が、自己組織化マップを用いて前記意味を判定するものであることを特徴とする請求項１０から１２いずれか１項記載の装置。
【請求項１４】
前記ｎが、２０以下であることを特徴とする請求項１０から１３いずれか１項記載の装置。
【請求項１５】
前記２次元画像が、全体画像であることを特徴とする請求項９から１４いずれか１項記載の装置。
【請求項１６】
前記２次元画像が、全体画像を分割して得られたブロック画像であることを特徴とする請求項９から１４いずれか１項記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２次元画像の特徴を表す特徴量を抽出する方法および装置に関し、特に、有効に低次元化された特徴量を抽出する方法および装置に関する。
【０００２】
【従来の技術】
２次元のデジタル写真画像や動画の１フレームの比較や分類を行うために、それらの画像またはそれらをブロックに分割したブロック画像から、当該画像の特徴を示す特徴量を抽出することが従来から行われている。また、このような特徴量の抽出は、２次元画像に含まれている撮影対象が何であるか、すなわち２次元画像の意味を判定するためにも用いることができる。意味の判定を行うことにより、特定の撮影対象に相当する画像領域のみに画像処理を施して高画質化を図ること等が可能となる。たとえば、色に関する特徴量に基づいて人物の肌に相当する画像領域を特定し、その画像領域のみに対し雑音を取り除く処理を施し、美しい肌色に仕上げる技術等が提案されている（たとえば、特許文献１参照）。
【０００３】
かかる２次元画像の特徴量として有用なものとして、ヒストグラムを用いたものが知られている。たとえば、ＲＧＢ表色系の各成分について、０から２５５の各濃度値を示す画素数を計数してヒストグラムを作成し、それらの３×２５６個の計数値をそのまま特徴量とする手法や、ＲＧＢ表色系の色空間を４×４×４個等の領域に分割して、各領域に属する画素数を計数したヒストグラムを作成し、各計数値を特徴量とする手法がある（たとえば、特許文献２参照）。
【０００４】
また、上記のようにヒストグラムの計数値をそのまま２次元画像の特徴量として用いるのではなく、色相、彩度および明度について作成したヒストグラムの各々について、その代表値として平均値と標準偏差を求めて、特徴量として用いる方法も知られている（たとえば、特許文献３参照）。この方法では、ヒストグラムの計数値をそのまま特徴量として用いる場合に比べ、抽出される特徴量の数、すなわち特徴量の次元を小さくすることができる。
【０００５】
一方、画像処理の分野ではないが、特に正規分布を示さない頻度分布に関し、平均値や標準偏差に代わるより適当な分布の代表値としてｎ分位点の値を用いることが、計測器の異常検出等の分野において提案されている（たとえば、特許文献４参照）。ここで、「ｎ分位点の値」とは、分布を調べる対象であるＮ個の値を小さい順に並べた場合に、小さい方からＮ／ｎ番目、２Ｎ／ｎ番目・・・Ｎ（ｎ−１）／ｎ番目となる各値を指す。
【０００６】
【特許文献１】
特公平５−６２８７９号公報
【０００７】
【特許文献２】
特開２０００−３５３１７３号公報
【０００８】
【特許文献３】
特開平７−２９００７号公報
【０００９】
【特許文献４】
特開平８−１６６８２０号公報
【００１０】
【発明が解決しようとする課題】
上記に説明したヒストグラムの計数値をそのまま２次元画像の特徴量として使用する方法は有効ではあるが、抽出される特徴量の数、すなわち特徴量の次元が一般に大きくなり、特徴量に基づいて画像の比較、分類、意味判定等を行う際の計算量が膨大になるという欠点がある。かかる問題は、精度を向上させるためにヒストグラムの刻み幅を細かくすればするほど深刻になる。一方、特徴量の次元を低く抑えるためにヒストグラムの刻み幅を粗くすれば、特徴量の数値精度が低くなってしまう。
【００１１】
ヒストグラムの平均値と標準偏差を特徴量として使用する方法によれば、特徴量の次元は小さく抑えることができる。しかしながら、２次元画像をなす各画素が担う輝度成分、色成分、エッジ成分等の成分信号値の分布は、様々な分布形状を示すものであり、特に複数の撮影対象や一様でないテクスチャーを含む画像については、分布形状の複雑さは高くなる。したがって、ヒストグラムの代表値を特徴量として使用する場合には、その代表値は分布形状の相違を適切に反映するものであることが好ましい。この点で、平均値および標準偏差は、２次元画像の特徴量として用いる代表値としては必ずしも適当でなく、特徴量に基づく画像の比較、分類、意味判定等の精度を低下させてしまう可能性が高い。
【００１２】
本発明は、かかる事情に鑑み、数値精度を保ちながら有効に低次元化され、かつ成分信号値の分布形状の相違を適切に反映した特徴量を、２次元画像から抽出することを目的とするものである。
【００１３】
【課題を解決するための手段】
すなわち、本発明に係る画像の特徴量を抽出する方法は、２次元画像から、該２次元画像の特徴を表す特徴量を抽出する方法であって、少なくとも１種の成分信号値に関し、その２次元画像をなす複数の画素に割り当てられた該成分信号値の累積ヒストグラムを作成する工程と、該累積ヒストグラムのｎ分位点の値を、特徴量として抽出する工程を含み、上記のｎが、３以上、上記の累積ヒストグラムの次元数未満の、自然数であることを特徴とする方法である。
【００１４】
また、本発明に係る画像の特徴量を抽出する装置は、２次元画像から、該２次元画像の特徴を表す特徴量を抽出する装置であって、少なくとも１種の成分信号値に関し、その２次元画像をなす複数の画素に割り当てられた該成分信号値の累積ヒストグラムを作成する手段と、該累積ヒストグラムのｎ分位点の値を、特徴量として抽出する手段を備え、上記のｎが、３以上、上記の累積ヒストグラムの次元数未満の、自然数であることを特徴とする装置である。
【００１５】
ここで、「特徴量」とは、ある２次元画像の特徴を示すパラメータとなる量の総称であって、たとえば色の特徴、輝度の特徴、奥行情報、該画像に含まれるエッジの特徴等を示す特徴量が含まれ得る。
【００１６】
また、「成分信号値」とは、２次元画像の各画素に割り当てられた当該画像の１成分の信号値であり、たとえば輝度成分の信号値や色成分の信号値が含まれる。さらに、輝度成分の分布等から導出されたエッジ画像等、何らかの処理を施した画像の各画素の信号値や、それらの信号値の絶対値を取ったものや規格化したもの等も、「成分信号値」に含まれるものとする。
【００１７】
また、「ｎ分位点」とは、分布の代表点の１種であって、分布を調べる対象であるＮ個の値を小さい順に並べた場合に、小さい方からＮ／ｎ番目、２Ｎ／ｎ番目・・・Ｎ（ｎ−１）／ｎ番目となる各値が、「ｎ分位点の値」となる。言い換えれば、これらのＮ個の値の累積ヒストグラムを作成して、縦軸をｎ等分に分割した点に対応する横軸の値を特定することにより、「ｎ分位点の値」を求めることができる。たとえば、四分位点であれば、規格化された累積ヒストグラムの縦軸の値０．２５、０．５０および０．７５に対応する横軸の値が、四分位点の値になる。
【００１８】
ヒストグラムや累積ヒストグラムの「次元数」とは、ヒストグラムや累積ヒストグラムの作成時において想定されている柱の本数を指すものとする。
【００１９】
また、本発明は、上記の特徴量に基づいて、さらに２次元画像の意味を判定するものであってもよい。ここで、２次元画像の「意味を判定する」とは、その画像が何を撮影した画像であるかを判定することを指す。この意味の判定は、２種以上の成分信号値に関して上記の特徴量を抽出し、該２種以上の成分信号値に関する特徴量の組合せに基づいて行うことが好ましい。これらの２種以上の成分信号値は、輝度成分の信号値、色成分の信号値およびエッジ成分の信号値のうちの少なくとも２つが含まれるように選択することができる。これらの場合において、上記の意味の判定は、自己組織化マップを用いて行ってもよい。
【００２０】
なお、上記のｎの値は、２０以下であることが好ましい。
【００２１】
また、特徴量を抽出する対象である上記の２次元画像は、全体画像であってもよいし、全体画像を分割して得られたブロック画像であってもよい。
【００２２】
ここで、「全体画像」とは、撮影したデジタル写真画像や、動画の１フレームの、１枚分全体に相当する２次元画像を指すものとする。一方、「ブロック画像」とは、全体画像をいくつかの領域（ブロック）に分割した各画像片を指し、たとえば、１０２４×１２８０画素の全体画像を３２×３２画素の大きさに分割したそれぞれの画像片等がこれに相当する。なお、上記の「意味を判定する」ことには、たとえば、ブロック画像について、「空」、「建物」、「草原」等のいずれの対象が撮影されたブロックであるかを判定することや、全体画像について、「人物写真」、「建物の写真」、「海の風景写真」等のいずれであるかを判定することが含まれる。
【００２３】
【発明の効果】
本発明の画像の特徴量を抽出する方法および装置は、成分信号値の累積ヒストグラムのｎ分位点の値を特徴量として抽出するものであり、ｎは累積ヒストグラムの次元数未満の自然数であるので、特徴量の次元を有効に圧縮し、画像の比較、分類、意味判定等を行う際の計算量を抑えることができる。加えて、ｎが３以上の自然数であるので、ヒストグラムの平均値や標準偏差を特徴量として用いる場合と異なり、成分信号値の分布形状の相違を特徴量に反映させることができ、信頼性の高い比較、分類、意味判定等を行うことができる。さらに、基となる累積ヒストグラムの刻み幅を細かくしておけば、ｎ分位点の値を特徴量とすることにより特徴量の次元を圧縮しても、特徴量の数値精度は高く保つことができる。
【００２４】
特に、当該特徴量を２次元画像の意味の判定に用いる場合には、複数の撮影対象や一様でないテクスチャーを含み、成分信号値の分布形状が複雑な画像についても、適切な意味の判定が期待できる。さらに、１種のみではなく２種以上の成分信号値、たとえば輝度成分の信号値、色成分の信号値およびエッジ成分の信号値のうちの少なくとも２つに関する特徴量の組合せに基づいて画像の意味を判定することとすれば、意味判定の信頼性を格段に高めることができる。
【００２５】
また、特に自己組織化マップを用いた意味判定においては、抽出した各特徴量を成分とする特徴ベクトルを、自己組織化マップ上の多数の参照特徴ベクトルの全てと比較する計算を行わなくてはならないので、上記の特徴量の次元圧縮の効果は極めて重要である。
【００２６】
【発明の実施の形態】
以下、図面により、本発明の例示的な実施形態を詳細に説明する。
【００２７】
図１は、本発明による画像の特徴量を抽出する方法または装置を利用した、２次元の全体画像に含まれる各画像領域の意味特定処理の手順を示したフローチャートである。この処理は、全体画像中の個々の画像領域、すなわち「空」、「建物」、「草原」等の撮影対象のいずれかに対応すると考えられる個々の有意な領域について、その意味を特定するものであり、その後、意味に基づく画像分類や、各意味に対応する画像領域ごとに区別された条件による画像処理を行うために有用な処理である。まず、ステップ１０において処理対象である全体画像を表す画像データが読み込まれ、ステップ１２において適当な画像領域が特定され、ステップ１４において全体画像がブロック画像に分割され、ステップ１６において各ブロック画像から特徴量が抽出されて各ブロック画像の意味が判定され、それに基づいて各画像領域の意味が特定される。これらの各ステップのうち、本発明は特にステップ１６において使用される特徴量の抽出方法および装置に関するものであるが、他のステップについても、以下、順を追って説明していく。
【００２８】
ステップ１２における画像領域の特定手法の例については、図２を用いて説明する。
【００２９】
図２の（ａ）は処理対象である原画像としての全体画像を示す。まず、この原画像を構成する各画素に関し、隣接する画素の色の特徴を比較して、類似画素を統合することとする。ここで、色の特徴を比較して類似画素を統合するとは、たとえば、ＲＧＢ表色系で表された原画像の各成分信号値、すなわちＲ、ＧおよびＢの各成分の濃度値を、隣接画素間でそれぞれ比較して、いずれの成分信号値の差もが所定の閾値を超える場合に、それらの画素を統合する等の処理を行うことである。ＲＧＢ表色系に代えて、ＹＣＣ表色系で表された各成分信号値を比較してもよい。この比較および統合は、上記の閾値等の所定の基準によりそれ以上の統合が起こらなくなるまで順次繰り返され、類似の色の特徴を有する画素からなる区域が拡大していく。この類似画素の統合が完了した後の状態が、図２の（ｂ）の状態であるとする。
【００３０】
ここに、図２の（ｂ）に示した画像を構成する各区域のうち、周囲長が所定の長さより短い区域を「微小区域」と呼び、周囲長が該所定の長さ以上である区域を「非微小区域」と呼ぶこととする。図２の（ｂ）においては、区域２０および２２等は微小区域、区域２４、２６および２８等は非微小区域である。
【００３１】
次に、図２の（ｂ）の画像を構成する各区域を隣接する区域と比較して、統合可能なものをさらに統合するのであるが、この区域の統合の基準は、微小区域と非微小区域で異なる。微小区域については、１の非微小区域に完全に包含されている微小区域（たとえば非微小区域２６に完全に包含されている微小区域２０）は、その１の非微小区域に統合されるものとする。また、２以上の非微小区域と境界を接する微小区域は、接する境界の長さが長い方の非微小区域に統合されるものとする。この基準によれば、微小区域統合後の状態は、図２の（ｃ）のようになる。
【００３２】
非微小区域については、当該非微小区域をなす画素の平均の色の特徴を、隣接する各非微小区域をなす画素の平均の色の特徴と比較し、類似の度合いが閾値等による所定の基準を超える隣接非微小区域がある場合は、統合が行われる。たとえば、図２の（ｃ）における非微小区域２４の平均の色の特徴について、非微小区域２６の平均の色の特徴との類似の度合いは上記の所定の基準を超えるが、非微小区域２８の平均の色の特徴との類似の度合いは上記の所定の基準以下である場合は、当該非微小区域２４は、非微小区域２６と統合され、非微小区域２８とは統合されない。かかる所定の基準による非微小区域の統合の最終的な結果は、たとえば図２の（ｄ）のようになる。この最終的な状態の画像を構成する各領域が、「画像領域」として特定される。
【００３３】
以上、図１のステップ１２における画像領域への分割手法の例を図２を用いて説明したが、このステップ１２における画像領域への分割が、他のいかなる周知の手法によるものでもよいことは言うまでもない。
【００３４】
図１に戻って、ステップ１４では、処理対象である全体画像がブロック画像に分割される。本実施形態では、全体画像は１０２４×１２８０画素のデジタル写真画像であるとし、ブロック画像は各々３２×３２画素の画像であるとする。分割された全体画像を、図３に示す。なお、図では、説明の便宜のため、実際よりも粗い分割で示してある。
【００３５】
続いて、図１のステップ１６において、分割された各ブロック画像から特徴量が抽出され、各ブロック画像の意味が判定され、それに基づいて各画像領域の意味が特定される。ステップ１６において行われる処理の詳細な工程を、図４のフローチャートに示す。
【００３６】
まず、図４のステップ４０において、図２の（ｄ）のように特定された複数の画像領域のうちの１の画像領域に包含されるブロック画像が特定される。ここで、１の画像領域に包含されるブロック画像とは、その画像領域に完全に包含されているブロック画像を言い、画像領域間の境界にまたがるブロック画像は含まないものとする。
【００３７】
次に、ステップ４２において、ステップ４０で特定されたブロック画像の１つについて、そのブロック画像に含まれる各画素が担う輝度成分の信号値の分布から、輝度に関する特徴量が抽出される。ここで輝度成分の信号値とは、本実施形態ではＹＣＣ表色系で表された当該ブロック画像のＹ成分の信号値を指すが、これに限られない。
【００３８】
このステップ４２において行われる処理を、図５のフローチャートにより詳細に示す。
【００３９】
まず、図５のステップ６０において、現在の特徴量抽出対象であるブロック画像に関し、各画素が担う輝度成分の信号値のヒストグラムを作成する。このヒストグラムは、たとえば現在のブロック画像が、図３中のブロック画像３０のような輝度が略一様の１つの撮影対象（ここでは空）のみを含むものであれば、図６の（ａ）の左側に示すような形状になる。図３中のブロック画像３２のような、それぞれ輝度が略一様の複数の撮影対象（ここでは建物の壁部分と窓部分）を含むブロック画像については、図６の（ｂ）の左側に示すような、複数のピークを有する形状になる。図３中のブロック画像３４のような、色が略一様であるが輝度にむらのある撮影対象（ここでは草原）を含むブロック画像については、図６の（ｃ）の左側に示すような形状になる。これらの例では、ヒストグラムの次元数は２５６である。
【００４０】
次に、図５のステップ６２において、ステップ６０で作成されたヒストグラムを基に、輝度成分の各信号値の累積計数値を示す累積ヒストグラムが作成され、規格化される。この累積ヒストグラムは、上記に例示した図３中のブロック画像３０、３２および３４に関しては、それぞれ図６の（ａ）、（ｂ）および（ｃ）の右側のような形状になる。このように、累積ヒストグラムの形状は、現在のブロック画像に含まれる撮影対象の数やテクスチャーを反映した、該ブロック画像に特有の形状となる。
【００４１】
続いて、図５のステップ６４において、上記の規格化された累積ヒストグラムから３つの四分位点の値が特定され、輝度に関する特徴量とされる。具体的には、図６に示すように、規格化された累積ヒストグラムの縦軸の値０．２５、０．５０および０．７５のそれぞれに対応する横軸の値が、四分位点の値として特定され、これらの３つの値が輝度に関する特徴量とされる。これらの四分位点の値や間隔は、累積ヒストグラムの形状の違い、すなわちもとのヒストグラムにおける輝度成分の信号値の分布形状の違いを反映したものとなっている。
【００４２】
上記のようにして輝度に関する３つの特徴量が抽出された後、図４に戻ってステップ４４において、同じ現在のブロック画像に関し、各画素が担う色成分の信号値から、さらに追加の特徴量が抽出される。本実施形態では、色成分の信号値として、ＹＣＣ表色系で表された当該ブロック画像の２つの色差成分（すなわち、Ｃｒ成分とＣｂ成分）の各信号値を用い、これら２つの色成分の信号値について、上記と同様の手法により、規格化された累積ヒストグラムを作成し、四分位点の値を特徴量として特定する。すなわち、２つの色差成分についてそれぞれ３つの四分位点の値が特徴量として特定されるので、合計で６つの色に関する特徴量が抽出されることになる。なお、色成分の信号値としては、本実施形態で使用するＣｒ成分とＣｂ成分の各信号値に限らず、たとえばＲＧＢ表色系における各成分の信号値等を用いてもよい。
【００４３】
次に、ステップ４６において、同じ現在のブロック画像に関し、エッジ成分の信号値から、さらに追加の特徴量が抽出される。本実施形態では、当該ブロック画像のＹＣＣ表色系におけるＹ成分の画像に対し、図７に示すようなエッジ検出用のフィルターを適用することにより求めた縦エッジ画像の絶対値成分の信号値、ならびに横エッジ画像の絶対値成分の信号値の２種類が、エッジ成分の信号値として使用する。ここでも、上記と同様の手法により、これら２種類のエッジ成分の信号値について、規格化された累積ヒストグラムを作成し、四分位点の値を特徴量として特定する。これにより、合計で６つのエッジの特徴に関する特徴量が抽出される。なお、エッジ成分の信号値は、上記の本実施形態で使用されるものに限られず、たとえば、絶対値成分ではなくエッジ画像のそのままの信号値を用いてもよいし、４方向のエッジ検出用フィルターを用いて導出した４種類の信号値等を用いてもよい。
【００４４】
以上のステップ４２から４６により、現在のブロック画像についての合計１５個の特徴量が抽出が終了すると、ステップ４８に進んで、該ブロック画像の意味の判定が行われる。本実施形態では、これら１５個の特徴量を成分とする「特徴ベクトル」を、「自己組織化マップ」上に写像する方法を用いて、ブロック画像の意味を判定する。
【００４５】
「自己組織化マップ」とは、図８に示すように、複数の参照特徴ベクトルに対応する点が２次元的に配されたマップであり、互いに類似する参照特徴ベクトルに対応する点は互いに近い位置に配置されている。この自己組織化マップには、やはり図８に示すように、対応する大きさの意味のマップが付随している。この意味のマップは、自己組織化マップ上の各参照特徴ベクトルに対応する画像が「空」の画像である確率の分布マップ、「建物」の画像である確率の分布マップ等の、複数の確率分布マップが重ね合わされたものである。この自己組織化マップおよび意味のマップは、予め、「空」や「建物」の画像であることが分かっている多数の画像の特徴ベクトルを、コンピュータに学習させることにより作成されている。
【００４６】
この学習過程の例を概略的に説明すると、学習前の状態においては、自己組織化マップ上には、様々な参照特徴ベクトルが、ランダムに分布している。また、各確率分布マップの各点の初期値は、０とされている。ここに、学習対象として、まず「空」であることが分かっている１枚の画像の特徴ベクトルが入力されると、自己組織化マップ上において、この入力された特徴ベクトルに最も類似する参照特徴ベクトルが特定される。この特定は、たとえば、入力された特徴ベクトルとのユークリッド距離が最も小さい参照特徴ベクトルを探索する等により行われる。すると、自己組織化マップ上においてその特定された参照特徴ベクトルの近傍、たとえば７×７の範囲にある参照特徴ベクトルが、上記の特定された参照特徴ベクトルに近づくように（すなわち、特定された参照特徴ベクトルとの類似度が高まるように）修正される。一方、「空」の画像である確率の分布マップ上では、上記の特定された参照特徴ベクトルに対応する点およびその７×７の範囲の近傍の点に、たとえば「１」の頻度値が加算される。次に、「建物」であることが分かっている１枚の画像の特徴ベクトルが入力されると、上記と同様に、自己組織化マップ上において、最も類似する参照特徴ベクトルの特定、および近傍の参照特徴ベクトルの修正が行われる。一方、「建物」の画像である確率の分布マップ上では、特定された参照特徴ベクトルに対応する点およびその近傍の点に、「１」の頻度値が加算される。このような学習を繰り返すと、自己組織化マップ上では、類似の特徴を示す参照特徴ベクトルが、徐々に互いに近い位置に集まってくる。一方、それぞれの確率分布マップ上でも、徐々に島状の頻度の分布が形成されていく。学習が進んで類似の参照特徴ベクトルが集合してくるにしたがって、当初７×７であった参照特徴ベクトルの修正を行う近傍の大きさは、徐々に小さくされていく。学習終了後、それぞれの確率分布マップは規格化されて重ね合わされ、図８に示すような意味のマップが形成される。
【００４７】
図４のステップ４８では、現在のブロック画像から抽出された特徴ベクトルは、上記のような学習により予め導出された自己組織化マップ上の、最も類似する参照特徴ベクトルに対応する点に写像される。ここでも、類似度の評価は、両ベクトル間のユークリッド距離等を指標として行われる。そして、自己組織化マップの写像先の点に対応する、意味のマップ上の点が参照され、「空」、「建物」等の「意味」のうち、その点において最も高い確率を示している意味が、現在のブロック画像の意味とされる。
【００４８】
ここで、本実施形態では四分位点の値を特徴量としているので、５種類の異なる成分信号値（すなわち、輝度成分、２つの色成分、２つのエッジ成分の各信号値）に基づきながら、特徴ベクトルの次元が１５次元に抑えられており、しかもなお成分信号値の分布形状の相違が特徴ベクトルに反映されている。さらに、基となる累積ヒストグラムの刻み幅を細かくすることにより、特徴量の数値精度も高く保つことができる。したがって、抽出された特徴ベクトルと参照特徴ベクトルの比較等に要する計算量を抑えながら、信頼性の高い意味判定を行うことができる。
【００４９】
続いて、図４のステップ５０において、現在の画像領域に含まれるブロック画像がまだ残っているかどうかが確認され、現在の画像領域に含まれる全てのブロック画像の意味が判定されるまで、ステップ４２から５０が繰り返される。
【００５０】
現在の画像領域に含まれる全てのブロック画像の意味の判定が終了すると、ステップ５２において、各ブロック画像の判定された意味のうち最多のものが、現在の画像領域の意味として特定される。たとえば、図２の（ｄ）の画像領域２８に含まれるブロック画像の中には、「水」等の意味に判定されるものも混在し得るが、大半は「空」の意味に判定されるので、画像領域２８は「空」の領域として特定される。
【００５１】
続いて、ステップ５４において、まだ意味を特定していない画像領域が残っているかどうかが確認され、全ての画像領域の意味が特定されるまで、図４に示した工程が繰り返される。
【００５２】
なお、本実施形態では、四分位点の値を特徴量としているが、本発明はｎ分位点の値を特徴量として抽出する点を特徴とするものであり、ｎの値は４に限られず、３以上、累積ヒストグラムの次元数未満の自然数であれば、いかなる値でもよい。抽出した特徴量を画像の意味の判定に用いる場合には、意味判定のための計算量が膨大になることを防止する観点から、ｎの値は３以上２０以下程度が好ましい。
【００５３】
また、上記の実施形態では、輝度成分、色成分およびエッジ成分の各信号値から抽出した特徴量を併用して画像の意味を判定したが、これに限られず、輝度成分、色成分およびエッジ成分の一部のみを使用してもよいし、これらに代えてあるいは加えて、奥行情報等に関する他の成分信号値を使用してもよい。
【００５４】
さらに、上記の実施形態では、画像の意味の判定方法として自己組織化マップを用いた方法を利用したが、これに限らず他の方法を利用してもよい。たとえば、意味が分かっている多数の画像を予め特徴量空間に写像して学習し、各意味の画像の特徴量空間における重心座標とばらつき（標準偏差）を求めておいて、意味判定の対象である画像から特徴量を抽出して特徴量空間に写像し、学習で求めた各意味の画像の重心とのマハラノビス距離に基づいて意味を判定する方法等を採用してもよい。また、主成分分析により、さらに低次元化された特徴ベクトルを用いてもよい。
【００５５】
また、上記では、本発明の１つの実施形態として、２次元の全体画像をブロック画像に分割し、それぞれのブロック画像の意味を判定することにより、該全体画像に含まれる各画像領域の意味を特定する処理について説明したが、本発明の別の実施形態として、全体画像の意味判定処理への適用も考えられる。この場合、たとえば、「人物写真」、「建物の写真」、「海の風景写真」等であることが分かっている全体画像を予め学習して自己組織化マップと意味のマップを作成しておき、意味判定対象である全体画像から、累積ヒストグラムの作成およびｎ分位点の特定により抽出した複数の特徴量を成分とする特徴ベクトルを、自己組織化マップ上に写像する。ここでも、意味判定方法は自己組織化マップを用いたものに限られないことは言うまでもない。
【００５６】
なお、本発明による画像の特徴量を抽出する方法および装置は、上記に説明したような画像の意味判定処理だけでなく、画像の比較、分類等、他の様々な画像処理にも応用できるものである。
【００５７】
以上、本発明の実施形態について詳細に述べたが、これらの実施形態は例示的なものに過ぎず、本発明の技術的範囲は、本明細書中の特許請求の範囲のみによって定められるべきものであることは言うまでもない。
【図面の簡単な説明】
【図１】本発明の１つの実施形態である、２次元の全体画像に含まれる各画像領域の意味特定処理の手順を示したフローチャート
【図２】図１の意味特定処理における画像領域の特定手法の例を示した工程図
【図３】ブロック画像に分割された全体画像を示した図
【図４】図１の意味特定処理における意味特定手法の詳細な工程を示したフローチャート
【図５】図４の輝度に関する特徴量の抽出工程をさらに詳細に示したフローチャート
【図６】輝度成分の信号値のヒストグラムおよび累積ヒストグラムの例を示した図
【図７】エッジ成分の信号値の導出に用いられるエッジ検出用フィルターの例を示した図
【図８】自己組織化マップおよび対応する意味のマップの例を示した概念図
【図１】
2004152087.tif 000003
【図２】
2004152087.tif 000004
【図３】
2004152087.tif 000005
【図４】
2004152087.tif 000006
【図５】
2004152087.tif 000007
【図６】
2004152087.tif 000008
【図７】
2004152087.tif 000009
【図８】
2004152087.tif 000010