(57)【要約】【課題】主に人工物に見られる規則的なパターンを有する２次元画像と、主に自然物に見られるランダムなパターンを有する２次元画像とを判別する。【解決手段】相互相関関数等を用いて、２次元画像から、その２次元画像をなす複数の画素に割り当てられた少なくとも１種の成分信号値の少なくとも１方向に沿った変化の規則性の程度を示す、相関特徴量を抽出する。【選択図】          図６
2004287783.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像から、該２次元画像の特徴を表す１または複数の特徴量を抽出する方法であって、
前記２次元画像をなす複数の画素に割り当てられた少なくとも１種の成分信号値の少なくとも１方向に沿った変化の規則性の程度を示す、相関特徴量を抽出する工程を含むことを特徴とする方法。
【請求項２】
前記２次元画像が、複数行および複数列の画素からなる方形の画像であって、
前記相関特徴量を抽出する工程が、
前記複数行のうちの２行からなる組合せの少なくとも一部および／または前記複数列のうちの２列からなる組合せの少なくとも一部について、各組合せごとに、前記少なくとも１種の成分信号値の相互相関関数を導出する工程と、
前記相互相関関数に基づいて前記相関特徴量を決定する工程を含むことを特徴とする請求項１記載の方法。
【請求項３】
前記相関特徴量を決定する工程が、
前記相互相関関数の各々について、最大値を特定する工程と、
行の組合せに関する全ての前記最大値の平均値および標準偏差、および列の組合せに関する全ての前記最大値の平均値および標準偏差の、少なくとも１つを前記相関特徴量とする工程を含むことを特徴とする請求項２記載の方法。
【請求項４】
前記２次元画像が、全体画像であることを特徴とする請求項１から３いずれか１項記載の方法。
【請求項５】
前記２次元画像が、全体画像を分割して得られたブロック画像であることを特徴とする請求項１から３いずれか１項記載の方法。
【請求項６】
前記相関特徴量を含む抽出された前記１または複数の特徴量に基づいて、前記２次元画像の意味を判定する工程をさらに含むことを特徴とする請求項１から５いずれか１項記載の方法。
【請求項７】
前記２次元画像の少なくとも１方向に関するエッジ特徴量を抽出する工程と、
前記相関特徴量および前記エッジ特徴量を含む抽出された前記１または複数の特徴量に基づいて、前記２次元画像の意味を判定する工程をさらに含むことを特徴とする請求項１から５いずれか１項記載の方法。
【請求項８】
前記意味を判定する前記工程において、自己組織化マップを用いて前記意味を判定することを特徴とする請求項６または７記載の方法。
【請求項９】
２次元画像から、該２次元画像の特徴を表す１または複数の特徴量を抽出する装置であって、
前記２次元画像をなす複数の画素に割り当てられた少なくとも１種の成分信号値の少なくとも１方向に沿った変化の規則性の程度を示す、相関特徴量を抽出する手段を含むことを特徴とする装置。
【請求項１０】
前記２次元画像が、複数行および複数列の画素からなる方形の画像であって、
前記相関特徴量を抽出する手段が、
前記複数行のうちの２行からなる組合せの少なくとも一部および／または前記複数列のうちの２列からなる組合せの少なくとも一部について、各組合せごとに、前記少なくとも１種の成分信号値の相互相関関数を導出する手段と、
前記相互相関関数に基づいて前記相関特徴量を決定する手段を含むことを特徴とする請求項９記載の装置。
【請求項１１】
前記相関特徴量を決定する手段が、
前記相互相関関数の各々について、最大値を特定する手段と、
行の組合せに関する全ての前記最大値の平均値および標準偏差、および列の組合せに関する全ての前記最大値の平均値および標準偏差の、少なくとも１つを前記相関特徴量とする手段を含むことを特徴とする請求項１０記載の装置。
【請求項１２】
前記２次元画像が、全体画像であることを特徴とする請求項９から１１いずれか１項記載の装置。
【請求項１３】
前記２次元画像が、全体画像を分割して得られたブロック画像であることを特徴とする請求項９から１１いずれか１項記載の装置。
【請求項１４】
前記相関特徴量を含む抽出された前記１または複数の特徴量に基づいて、前記２次元画像の意味を判定する手段をさらに含むことを特徴とする請求項９から１３いずれか１項記載の装置。
【請求項１５】
前記２次元画像の少なくとも１方向に関するエッジ特徴量を抽出する手段と、
前記相関特徴量および前記エッジ特徴量を含む抽出された前記１または複数の特徴量に基づいて、前記２次元画像の意味を判定する手段をさらに含むことを特徴とする請求項９から１３いずれか１項記載の装置。
【請求項１６】
前記意味を判定する前記手段が、自己組織化マップを用いて前記意味を判定するものであることを特徴とする請求項１４または１５記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２次元画像の特徴を示す特徴量を抽出する方法および装置に関し、特に、２次元画像の意味を判定するのに有用な特徴量を抽出する方法および装置に関する。
【０００２】
【従来の技術】
２次元のデジタル写真画像や動画の１フレームの比較や分類を行うために、それらの画像またはそれらをブロックに分割したブロック画像から、当該画像の特徴を示す特徴量を抽出することが従来から行われている。かかる特徴量としては、色相、彩度、明度等に関するヒストグラムから求めた平均値と標準偏差等の色特徴量を使用する場合（たとえば、特許文献１参照）や、さらに色特徴量と併用して、Ｓｏｂｅｌフィルター等のエッジ検出用フィルターを使用して求めた方向別のエッジ強度や勾配等のエッジ特徴量を使用する場合がある（たとえば、特許文献２参照）。
【０００３】
このような特徴量の抽出は、２次元画像に含まれている撮影対象が何であるか、すなわち２次元画像の意味を判定するためにも用いることができる。意味の判定を行うことにより、特定の撮影対象に相当する画像領域のみに画像処理を施して高画質化を図ること等が可能となる。たとえば、色特徴量に基づいて人物の肌に相当する画像領域を特定し、その画像領域のみに対し雑音を取り除く処理を施し、美しい肌色に仕上げる技術等が提案されている（たとえば、特許文献３参照）。
【０００４】
【特許文献１】
特開平７−２９００７号公報
【０００５】
【特許文献２】
特開２０００−３５３１７３号公報
【０００６】
【特許文献３】
特公平５−６２８７９号公報
【０００７】
【発明が解決しようとする課題】
上記のような人物の肌に相当する画像領域以外にも、２次元画像中の種々の画像領域の意味を判定できれば、それぞれの画像領域に異なる条件で画像処理を施すことにより、さらなる高画質化が期待できる。また、デジタル写真画像や動画の１フレーム等の全体画像自体についても、「人物写真」、「建物の写真」、「海の風景写真」等の意味を判定できれば、より好適な分類等が行えるようになる。
【０００８】
しかしながら、上記の色特徴量やエッジ特徴量等の従来の特徴量のみでは、画像の意味を効果的に判定することができない場合がある。たとえば、色特徴量のみを使用したのでは、肌の領域と砂の領域等を混同してしまう可能性がある。また、色特徴量とエッジ特徴量を併用しても、２つの画像間で、色の特徴と、当該画像に含まれるエッジ部分の全体量が類似していれば、建物の壁部分と窓部分の境界のような規則的なエッジを含む画像と、砂浜のテクスチャーのようなランダムなエッジを含む画像とを混同してしまう可能性がある。
【０００９】
本発明は、かかる事情に鑑み、２次元画像の意味の判定、とりわけ、主に人工物に見られる規則的なパターンを有する画像と、主に自然物に見られるランダムなパターンを有する画像とを区別し、それらの画像の意味を判定するのに特に有用な特徴量を抽出することを目的とするものである。
【００１０】
【課題を解決するための手段】
すなわち、本発明に係る画像の特徴量を抽出する方法は、２次元画像から、該２次元画像の特徴を表す１または複数の特徴量を抽出する方法であって、該２次元画像をなす複数の画素に割り当てられた少なくとも１種の成分信号値の少なくとも１方向に沿った変化の規則性の程度を示す、相関特徴量を抽出する工程を含むことを特徴とする方法である。
【００１１】
また、本発明に係る画像の特徴量を抽出する装置は、２次元画像から、該２次元画像の特徴を表す１または複数の特徴量を抽出する装置であって、該２次元画像をなす複数の画素に割り当てられた少なくとも１種の成分信号値の少なくとも１方向に沿った変化の規則性の程度を示す、相関特徴量を抽出する手段を含むことを特徴とする装置である。
【００１２】
ここで、「特徴量」とは、ある２次元画像の特徴を示すパラメータとなる量の総称であって、以下に説明する「相関特徴量」のほか、たとえば色の特徴、輝度の特徴、奥行情報、該画像に含まれるエッジの特徴等を示す特徴量が含まれ得る。
【００１３】
また、「成分信号値」とは、２次元画像の各画素に割り当てられた当該画像の１成分の信号値であり、たとえば輝度成分の信号値や色差成分の信号値が含まれる。また、輝度成分の分布等から導出されたエッジ画像等、何らかの処理を施した画像の各画素の信号値や、それらの信号値を規格化したもの等も、「成分信号値」に含まれるものとする。
【００１４】
さらに、「相関特徴量」とは、上記の特徴量のうち、少なくとも１種の成分信号値の少なくとも１方向（Ｘ方向、Ｙ方向等）に沿った変化の規則性の程度、すなわち、規則的なまたはランダムな変化の程度を示す特徴量を指し、以下において詳細に説明するような相互相関関数を利用したもの等が含まれる。
【００１５】
上記の２次元画像が、複数行および複数列の画素からなる方形の画像である場合には、上記の相関特徴量の抽出は、複数行のうちの２行からなる組合せの少なくとも一部および／または複数列のうちの２列からなる組合せの少なくとも一部について、各組合せごとに、上記の少なくとも１種の成分信号値の相互相関関数を導出し、該相互相関関数に基づいて相関特徴量を決定することにより行ってもよい。さらに、上記の相互相関関数に基づく相関特徴量の決定は、相互相関関数の各々について、最大値を特定し、行の組合せに関する全ての前記最大値の平均値および標準偏差、および列の組合せに関する全ての前記最大値の平均値および標準偏差の、少なくとも１つを相関特徴量とするものでもよい。
【００１６】
なお、特徴量を抽出する対象である上記の２次元画像は、全体画像であってもよいし、全体画像を分割して得られたブロック画像であってもよい。
【００１７】
ここで、「全体画像」とは、撮影したデジタル写真画像や、動画の１フレームの、１枚分全体に相当する２次元画像を指すものとする。一方、「ブロック画像」とは、全体画像をいくつかの領域（ブロック）に分割した各画像片を指し、たとえば、１０２４×１２８０画素の全体画像を３２×３２画素の大きさに分割したそれぞれの画像片等がこれに相当する。
【００１８】
また、本発明は、上記の相関特徴量を含む抽出された１または複数の特徴量に基づいて、さらに２次元画像の意味を判定するものであってもよい。あるいは、本発明は、上記の相関特徴量に加えて、２次元画像の少なくとも１方向に関するエッジ特徴量を抽出し、相関特徴量およびエッジ特徴量を含む抽出された１または複数の特徴量に基づいて、２次元画像の意味を判定するものであってもよい。これらの場合において、上記の意味の判定は、自己組織化マップを用いて行ってもよい。
【００１９】
ここで、２次元画像の「意味を判定する」とは、その画像が何を撮影した画像であるかを判定することを言い、たとえば、ブロック画像について、「空」、「建物」、「草原」等のいずれの対象が撮影されたブロックであるかを判定したり、全体画像について、「人物写真」、「建物の写真」、「海の風景写真」等のいずれであるかを判定することが含まれるものとする。
【００２０】
【発明の効果】
本発明の画像の特徴量を抽出する方法および装置は、２次元画像をなす複数の画素に割り当てられた少なくとも１種の成分信号値の少なくとも１方向に沿った変化の規則性の程度を示す相関特徴量を抽出するものであるから、その相関特徴量の示す変化の規則性に基づいて、２次元画像の比較、分類、意味判定等を行うことが可能となる。とりわけ、かかる相関特徴量を画像の意味判定に利用すれば、主に人工物に見られる規則的なパターンを有する画像と、主に自然物に見られるランダムなパターンを有する画像とを区別して適切な意味判定を行うことができ、意味に基づく画像分類や、各意味に対応する画像領域ごとに区別された条件による画像処理を、より有効に行うことができる。
【００２１】
また、上記の相関特徴量に加えてさらにエッジ特徴量を抽出し、相関特徴量とエッジ特徴量を併用して２次元画像の意味を判定することとすれば、成分信号値の変化の規則性に加え、２次元画像に含まれるエッジの多少やばらつきを意味判定の指標とすることができるので、たとえば、成分信号値の変化がランダムな自然物の中でもエッジの少ない「空」の画像と、エッジの多い「草原」や「花畑」の画像等を区別することができる。
【００２２】
【発明の実施の形態】
以下、図面により、本発明の例示的な実施形態を詳細に説明する。
【００２３】
図１は、本発明による画像の特徴量を抽出する方法または装置を利用した、２次元の全体画像に含まれる各画像領域の意味特定処理の手順を示したフローチャートである。この処理は、全体画像中の個々の画像領域、すなわち「空」、「建物」、「草原」等の撮影対象のいずれかに対応すると考えられる個々の有意な領域について、その意味を特定するものであり、その後、意味に基づく画像分類や、各意味に対応する画像領域ごとに区別された条件による画像処理を行うために有用な処理である。まず、ステップ１０において処理対象である全体画像を表す画像データが読み込まれ、ステップ１２において適当な画像領域が特定され、ステップ１４において全体画像がブロック画像に分割され、ステップ１６において各ブロック画像の意味が判定され、それに基づいて各画像領域の意味が特定される。これらの各ステップのうち、本発明は特にステップ１６において使用される方法および装置に関するものであるが、他のステップについても、以下、順を追って説明していく。
【００２４】
ステップ１２における画像領域の特定手法の例については、図２を用いて説明する。
【００２５】
図２の（ａ）は処理対象である原画像としての全体画像を示す。まず、この原画像を構成する各画素に関し、隣接する画素の色特徴を比較して、類似画素を統合することとする。ここで、色特徴を比較して類似画素を統合するとは、たとえば、ＲＧＢ表色系で表された原画像の各成分信号値、すなわちＲ、ＧおよびＢの各成分の濃度値を、隣接画素間でそれぞれ比較して、いずれの成分信号値の差もが所定の閾値を超える場合に、それらの画素を統合する等の処理を行うことである。ＲＧＢ表色系に代えて、ＹＣＣ表色系で表された各成分信号値を比較してもよい。この比較および統合は、上記の閾値等の所定の基準によりそれ以上の統合が起こらなくなるまで順次繰り返され、類似の色特徴を有する画素からなる区域が拡大していく。この類似画素の統合が完了した後の状態が、図２の（ｂ）の状態であるとする。
【００２６】
ここに、図２の（ｂ）に示した画像を構成する各区域のうち、周囲長が所定の長さより短い区域を「微小区域」と呼び、周囲長が該所定の長さ以上である区域を「非微小区域」と呼ぶこととする。図２の（ｂ）においては、区域２０および２２等は微小区域、区域２４、２６および２８等は非微小区域である。
【００２７】
次に、図２の（ｂ）の画像を構成する各区域を隣接する区域と比較して、統合可能なものをさらに統合するのであるが、この区域の統合の基準は、微小区域と非微小区域で異なる。微小区域については、１の非微小区域に完全に包含されている微小区域（たとえば非微小区域２６に完全に包含されている微小区域２０）は、その１の非微小区域に統合されるものとする。また、２以上の非微小区域と境界を接する微小区域は、接する境界の長さが長い方の非微小区域に統合されるものとする。この基準によれば、微小区域統合後の状態は、図２の（ｃ）のようになる。
【００２８】
非微小区域については、当該非微小区域をなす画素の平均の色特徴を、隣接する各非微小区域をなす画素の平均の色特徴と比較し、類似の度合いが閾値等による所定の基準を超える隣接非微小区域がある場合は、統合が行われる。たとえば、図２の（ｃ）における非微小区域２４の平均の色特徴について、非微小区域２６の平均の色特徴との類似の度合いは上記の所定の基準を超えるが、非微小区域２８の平均の色特徴との類似の度合いは上記の所定の基準以下である場合は、当該非微小区域２４は、非微小区域２６と統合され、非微小区域２８とは統合されない。かかる所定の基準による非微小区域の統合の最終的な結果は、たとえば図２の（ｄ）のようになる。この最終的な状態の画像を構成する各領域が、「画像領域」として特定される。
【００２９】
以上、図１のステップ１２における画像領域への分割手法の例を図２を用いて説明したが、このステップ１２における画像領域への分割が、他のいかなる周知の手法によるものでもよいことは言うまでもない。
【００３０】
図１に戻って、ステップ１４では、処理対象である全体画像がブロック画像に分割される。本実施形態では、全体画像は１０２４×１２８０画素のデジタル写真画像であるとし、ブロック画像は各々３２×３２画素の画像であるとする。分割された全体画像を、図３に示す。なお、図では、説明の便宜のため、実際よりも粗い分割で示してある。
【００３１】
図３において、たとえば建物の壁部分と窓部分の境界（エッジ）を含むブロック画像３０は、比較的規則的なパターンの画像となっている。一方、花や色むらのある草原の部分を含むブロック画像３２は、ランダムなパターンの画像となっている。一般に、規則的なパターンは人工物の画像に現れることが多く、ランダムなパターンは自然物の画像に現れることが多い。
【００３２】
続いて、図１のステップ１６において、分割された各ブロック画像の意味が判定され、それに基づいて各画像領域の意味が特定される。ステップ１６において行われる詳細な工程を、図４のフローチャートに示す。
【００３３】
まず、図４のステップ４０において、図２の（ｄ）のように特定された複数の画像領域のうちの１の画像領域に包含されるブロック画像が特定される。ここで、１の画像領域に包含されるブロック画像とは、その画像領域に完全に包含されているブロック画像を言い、画像領域間の境界にまたがるブロック画像は含まないものとする。
【００３４】
次に、ステップ４２において、ステップ４０で特定されたブロック画像の１つについて、色特徴量が抽出される。本実施形態では、色特徴量は、ＹＣＣ表色系で表された当該ブロック画像の各成分信号値の平均値および標準偏差、すなわち、輝度成分および２つの色差成分の３２×３２画素分の信号値に関する平均値および標準偏差であるとする。つまり、ステップ４２では、１のブロック画像から６個の色特徴量が抽出されることになる。
【００３５】
続いて、ステップ４４において、同じ１のブロック画像について、エッジ特徴量が抽出される。本実施形態では、３２×３２画素からなる当該ブロック画像のＹＣＣ表色系における輝度成分の画像に対し、図５に示すようなエッジ検出用のフィルターを適用することにより求めた縦エッジ画像および横エッジ画像について、それぞれの成分信号値の絶対値の平均値および標準偏差を求め、エッジ特徴量とするものとする。つまり、ステップ４４では、４個のエッジ特徴量が抽出されることになる。
【００３６】
次に、ステップ４６において、同じ１のブロック画像について、相関特徴量が抽出される。本実施形態においては、相互相関関数を利用して求めた相関特徴量を使用するものとする。ステップ４６において実行される相関特徴量抽出工程を、図６のフローチャートにさらに詳細に示す。
【００３７】
まず、横方向に沿った変化に関する相関特徴量の抽出について説明すると、ステップ６０において、相関特徴量を抽出するもととなる輝度成分の縦エッジ画像が導出される。実際には、図４のステップ４４において、エッジ特徴量抽出のために既に２つのエッジ画像を導出しているので、これらのうちの縦エッジ画像をそのまま使用すればよい。
【００３８】
次に、ステップ６２において、縦エッジ画像の各行に沿った成分信号値の変化を規格化する。具体的には、第ｉ行における第ｘ画素（ｉ＝０〜３１、ｘ＝０〜３１）の成分信号値をＦｉ（ｘ）とすると、規格化された成分信号値Ｆｉ’（ｘ）は、Ｆｉ（ｘ）からその平均値を引き、標準偏差で割ったものとなる、このように、成分信号値を規格化して相関特徴量を求めるのは、各行間における変動幅や平均値の違いを排除して、変動パターン自体の相互相関性を示す相関特徴量を導出するためである。なお、Ｆｉ（ｘ）が一定値であり標準偏差が０の場合は、Ｆｉ’（ｘ）＝０（一定）とする。
【００３９】
続いて、ステップ６４において、異なる２行（第ｉ行と第ｊ行）の組合せについて、これら２行に関する上記の規格化された成分信号値Ｆｉ’（ｘ）およびＦｊ’（ｘ）を用いて、相互相関関数
【数１】
2004287783.tif 000003
を導出する。この式（１）により求める相互相関関数は、概念的に言えば、図７の（ａ）に示すように、２行の規格化された成分信号値Ｆｉ’（ｘ）およびＦｊ’（ｘ）をｄ画素分だけずらして掛け合わせ、その総和を取るものである。このようにして、図７の（ｂ）に示すような、ｄの関数としての相互相関関数Ｇｉｊ（ｄ）が得られる。
【００４０】
次に、ステップ６６において、ステップ６４で求めた相互相関関数Ｇｉｊ（ｄ）の最大値
【数２】
2004287783.tif 000004
が特定される。
【００４１】
続いて、ステップ６８において、まだ相互相関関数の最大値を求めていない２行の組合せがあるかどうかが確認され、全ての２行の組合せについて上記の最大値が求められるまで、ステップ６４から６８が繰り返される。
【００４２】
全ての２行の組合せについて上記の最大値が求められると、ステップ７０において、これらの最大値の平均値および標準偏差が求められ、これらが相関特徴量とされる。以上、横方向に沿った変化に関する相関特徴量の抽出に関して説明したが、縦方向に沿った変化に関する相関特徴量も、図６に示した手順によって同様に導出される。つまり、合計で４つの相関特徴量が導出されることになる。
【００４３】
ここで、単にＦｉ’（ｘ）とＦｊ’（ｘ）の積の総和の平均値および標準偏差を相関特徴量として使用する形態も本発明の範囲に含まれるものではあるが、本実施形態においては、たとえば斜め方向に規則的な模様や波紋が撮影されたブロック画像についても、そのパターンの規則性を示す適当な相関特徴量を導出できるように、上記のとおり、相互相関関数の最大値の平均値および標準偏差を相関特徴量として用いている。
【００４４】
再び図４に戻って、現在のブロック画像について各特徴量が抽出されると、ステップ４８に進んで、該ブロック画像の意味の判定が行われる。本実施形態では、抽出した１４個の特徴量（すなわち、６個の色特徴量、４個のエッジ特徴量および４個の相関特徴量）を成分とする「特徴ベクトル」を、「自己組織化マップ」上に写像する方法を用いて、ブロック画像の意味を判定する。
【００４５】
「自己組織化マップ」とは、図８に示すように、複数の参照特徴ベクトルに対応する点が空間的に配されたマップであり、互いに類似する参照特徴ベクトルに対応する点は互いに近い位置に配置されている。この自己組織化マップには、やはり図８に示すように、対応する大きさの意味のマップが付随している。この意味のマップは、自己組織化マップ上の各参照特徴ベクトルに対応する画像が「空」の画像である確率の分布マップ、「建物」の画像である確率の分布マップ等の、複数の確率分布マップが重ね合わされたものである。この自己組織化マップおよび意味のマップは、予め、「空」や「建物」の画像であることが分かっている多数の画像の特徴ベクトルを、コンピュータに学習させることにより作成されている。
【００４６】
この学習過程の例を概略的に説明すると、学習前の状態においては、自己組織化マップ上には、様々な参照特徴ベクトルが、ランダムに分布している。また、各確率分布マップの各点の初期値は、０とされている。ここに、学習対象として、まず「空」であることが分かっている１枚の画像の特徴ベクトルが入力されると、自己組織化マップ上において、この入力された特徴ベクトルに最も類似する参照特徴ベクトルが特定される。この特定は、たとえば、入力された特徴ベクトルとのユークリッド距離が最も小さい参照特徴ベクトルを探索する等により行われる。すると、自己組織化マップ上においてその特定された参照特徴ベクトル、および近傍たとえば７×７の範囲にある参照特徴ベクトルが、上記の入力された特徴ベクトルに近づくように（すなわち、学習対象である入力された特徴ベクトルとの類似度が高まるように）修正される。一方、「空」の画像である確率の分布マップ上では、上記の特定された参照特徴ベクトルに対応する点およびその７×７の範囲の近傍の点に、たとえば「１」の頻度値が加算される。次に、「建物」であることが分かっている１枚の画像の特徴ベクトルが入力されると、上記と同様に、自己組織化マップ上において、最も類似する参照特徴ベクトルの特定、および近傍の参照特徴ベクトルの修正が行われる。一方、「建物」の画像である確率の分布マップ上では、特定された参照特徴ベクトルに対応する点およびその近傍の点に、「１」の頻度値が加算される。このような学習を繰り返すと、自己組織化マップ上では、類似の特徴を示す参照特徴ベクトルが、徐々に互いに近い位置に集まってくる。一方、それぞれの確率分布マップ上でも、徐々に島状の頻度の分布が形成されていく。学習が進んで類似の参照特徴ベクトルが集合してくるにしたがって、当初７×７であった参照特徴ベクトルの修正を行う近傍の大きさは、徐々に小さくされていく。学習終了後、それぞれの確率分布マップは規格化されて重ね合わされ、図８に示すような意味のマップが形成される。
【００４７】
図４のステップ４８では、現在のブロック画像から抽出した特徴ベクトルは、上記のような学習により予め導出された自己組織化マップ上の、最も類似する参照特徴ベクトルに対応する点に写像される。ここでも、類似度の評価は、両ベクトル間のユークリッド距離等を指標として行われる。そして、自己組織化マップの写像先の点に対応する、意味のマップ上の点が参照され、「空」、「建物」等の「意味」のうち、その点において最も高い確率を示している意味が、現在のブロック画像の意味とされる。
【００４８】
ここで、意味判定の基準となる特徴量には相関特徴量が含まれているので、主に人工物に見られる規則的なパターンを有するブロック画像と、主に自然物に見られるランダムなパターンを有するブロック画像とを区別し、より適切な意味判定を行うことができる。さらに、本実施形態では、相関特徴量と合わせてエッジ特徴量を用いているので、たとえば、成分信号値の変化がランダムな自然物の中でもエッジの少ない「空」のブロック画像と、エッジの多い「草原」や「花畑」のブロック画像等を区別することができる。
【００４９】
続いて、図４のステップ５０において、現在の画像領域に含まれるブロック画像がまだ残っているかどうかが確認され、現在の画像領域に含まれる全てのブロック画像の意味が判定されるまで、ステップ４２から５０が繰り返される。
【００５０】
現在の画像領域に含まれる全てのブロック画像の意味の判定が終了すると、ステップ５２において、各ブロック画像の判定された意味のうち最多のものが、現在の画像領域の意味として特定される。たとえば、図２の（ｄ）の画像領域２８に含まれるブロック画像の中には、「水」等の意味に判定されるものも混在し得るが、大半は「空」の意味に判定されるので、画像領域２８は「空」の領域として特定される。
【００５１】
続いて、ステップ５４において、まだ意味を特定していない画像領域が残っているかどうかが確認され、全ての画像領域の意味が特定されるまで、図４に示した工程が繰り返される。
【００５２】
以上説明した実施形態においては、相互相関関数を利用して求めた相関特徴量を用いたが、これに限らず、相関特徴量は、少なくとも１種の成分信号値の少なくとも１方向に沿った変化の規則性の程度を適切に表すものであれば、いかなるものでもよい。また、相互相関関数を利用する場合において、相互相関関数の求め方は上記の式（１）に示したものに限らず、クロススペクトルを逆フーリエ変換する方法を用いてもよい。
【００５３】
また、上記の実施形態では、色特徴量、エッジ特徴量および相関特徴量を併用して画像の意味を判定したが、少なくとも相関特徴量を利用していれば本発明の範囲に含まれるものであり、また、上記以外の奥行情報に関する特徴量等を併用してもよい。
【００５４】
さらに、上記の実施形態では、画像の意味の判定方法として自己組織化マップを用いた方法を利用したが、これに限らず他の方法を利用してもよい。たとえば、意味が分かっている多数の画像を予め特徴量空間に写像して学習し、各意味の画像の特徴量空間における重心座標とばらつき（標準偏差）を求めておいて、意味判定の対象である画像から特徴量を抽出して特徴量空間に写像し、学習で求めた各意味の画像の重心とのマハラノビス距離に基づいて意味を判定する方法等を採用してもよい。また、主成分分析により低次元化した特徴ベクトルを用いてもよい。
【００５５】
また、上記では、本発明の１つの実施形態として、２次元の全体画像をブロック画像に分割し、それぞれのブロック画像の意味を判定することにより、該全体画像に含まれる各画像領域の意味を特定する処理について説明したが、本発明の別の実施形態として、全体画像の意味判定処理への適用も考えられる。この場合、たとえば、「人物写真」、「建物の写真」、「海の風景写真」等であることが分かっている全体画像を予め学習して自己組織化マップと意味のマップを作成しておき、意味判定対象である全体画像から抽出した相関特徴量を含む複数の特徴量を成分とする特徴ベクトルを、自己組織化マップ上に写像する。ここでも、意味判定方法は自己組織化マップを用いたものに限られないことは言うまでもない。
【００５６】
なお、本発明による画像の特徴量を抽出する方法および装置は、上記に説明したような画像の意味判定処理への適用に特に適したものであるが、画像の比較・分類等、他の様々な画像処理にも応用できるものである。
【００５７】
以上、本発明の実施形態について詳細に述べたが、これらの実施形態は例示的なものに過ぎず、本発明の技術的範囲は、本明細書中の特許請求の範囲のみによって定められるべきものであることは言うまでもない。
【図面の簡単な説明】
【図１】本発明の１つの実施形態である、２次元の全体画像に含まれる各画像領域の意味特定処理の手順を示したフローチャート
【図２】図１の意味特定処理における画像領域の特定手法の例を示した工程図
【図３】ブロック画像に分割された全体画像を示した図
【図４】図１の意味特定処理における意味特定手法の詳細な工程を示したフローチャート
【図５】エッジ画像の導出に用いられるエッジ検出用フィルターの例を示した図
【図６】図４における相関特徴量抽出工程をさらに詳細に示したフローチャート
【図７】相互相関関数の概念を示した概念図
【図８】自己組織化マップおよび対応する意味のマップの例を示した概念図
【図１】
2004287783.tif 000005
【図２】
2004287783.tif 000006
【図３】
2004287783.tif 000007
【図４】
2004287783.tif 000008
【図５】
2004287783.tif 000009
【図６】
2004287783.tif 000010
【図７】
2004287783.tif 000011
【図８】
2004287783.tif 000012