(57)【特許請求の範囲】
【請求項１】
入力画像を多数の領域に分割するとともに、それぞれの分割領域の画像方向を抽出する領域分割部と、
対象画像を複数の領域に分割するとともに、それぞれの分割領域の画像方向を抽出することにより得られた、対象画像の分割結果と、上記領域分割部により得られた、入力画像の分割結果とから、入力画像中に対象画像が含まれているか否かを判定する画像認識部と、
を備え、
上記画像認識部は、
対象画像の複数の分割領域中の指定された分割領域の画像方向にもとづいて、対象画像の複数の分割領域の相対的位置関係を検出する手段と、
入力画像の多数の分割領域中の、対象画像の上記指定された分割領域と画素値が同一の、または近似する分割領域を含む、対象画像の複数の分割領域の相対的位置関係と同一の、または近似する相対的位置関係を有する複数の分割領域を選出する手段と、
対象画像の複数の分割領域と入力画像の上記選出された複数の分割領域とを比較して、入力画像中に対象画像が存在するか否かを判断する手段と、
を有する画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、入力画像中に、ある対象画像が含まれているか否かを判定する画像処理装置に関する。
【０００２】
【従来の技術】
イメージスキャナにより読み取られた画像などの入力画像中に、ある対象画像が含まれているか否かを判定する、いわゆる画像認識処理では、一般に、まず、入力画像のどこに、どのような向きで対象画像の候補が存在するかを調べ、次いで、その対象画像の候補と対象画像を、パターンマッチングなどの方法により比較して、入力画像中に対象画像が含まれているか否かを判定する。
【０００３】
これは、このように対象画像の候補を抽出しない場合には、例えば、あらかじめ保持している対象画像のパターンから、あらゆる向きのパターンを作成し、そのすべてのパターンで入力画像上を走査して、それぞれのパターンと入力画像のパターンを比較しなければならず、認識処理に要する時間が著しく長くなるなどの不都合をきたすからである。
【０００４】
このように、入力画像のどこに、どのような向きで対象画像の候補が存在するかを調べる方法としては、従来、一般的な文字認識における文字の切り出しで用いられているように、既知の背景色、例えば白色に対する入力画像の画素値のヒストグラムを作成して対象画像の候補を抽出する方法や、対象画像の色分布を検出し、その色分布範囲に属する画素数から対象画像の候補を抽出する方法が、考えられている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前者の方法は、既知の背景色に対する入力画像の画素値のヒストグラムを作成して対象画像の候補を抽出するので、背景色が未定の任意の入力画像中に対象画像が含まれているか否かを判定する場合には適用することができない欠点がある。
【０００６】
また、後者の方法は、色分布の状態のみにより対象画像の候補を抽出するため精度的に難があり、類似する色分布が多く存在する入力画像の場合には多くの対象画像候補が抽出されて、その後の認識処理に無駄な時間がかかってしまう可能性がある。
【０００７】
そこで、この発明は、任意の入力画像から対象画像の候補を精度よく抽出することができ、任意の入力画像中に対象画像が含まれているか否かを短時間で判定することができるようにしたものである。
【０００８】
【課題を解決するための手段】
この発明では、図１および図１８〜２０に示して後述する実施例の参照符号を対応させると（ただし、以下では＊の上つきは省略する）、
入力画像１ｂを多数の領域に分割するとともに、それぞれの分割領域の画像方向を抽出する領域分割部４０と、
対象画像１ａを複数の領域に分割するとともに、それぞれの分割領域の画像方向を抽出することにより得られた、対象画像１ａの分割結果と、上記領域分割部４０により得られた、入力画像１ｂの分割結果とから、入力画像１ｂ中に対象画像１ａが含まれているか否かを判定する画像認識部６０と、
を設け、
上記画像認識部６０を、
対象画像１ａの複数の分割領域中の指定された分割領域の画像方向にもとづいて、対象画像１ａの複数の分割領域の相対的位置関係を検出する手段Ｓ４１，Ｓ４２と、
入力画像１ｂの多数の分割領域中の、対象画像１ａの上記指定された分割領域と画素値が同一の、または近似する分割領域を含む、対象画像１ａの複数の分割領域の相対的位置関係と同一の、または近似する相対的位置関係を有する複数の分割領域を選出する手段Ｓ４３，Ｓ４４，Ｓ５１〜Ｓ５５と、
対象画像１ａの複数の分割領域と入力画像１ｂの上記選出された複数の分割領域とを比較して、入力画像１ｂ中に対象画像１ａが存在するか否かを判断する手段Ｓ５６，Ｓ６２と、
を有するものとする。
【０００９】
【作用】
上記のように構成した、この発明の画像処理装置においては、入力画像１ｂの多数の分割領域中の、対象画像１ａの複数の分割領域中の指定された分割領域と画素値が同一の、または近似する分割領域を含む、対象画像１ａの複数の分割領域の相対的位置関係と同一の、または近似する相対的位置関係を有する複数の分割領域のみが、対象画像１ａの候補として抽出される。
【００１０】
したがって、任意の入力画像から対象画像の候補が精度よく抽出され、その限られた少数の対象画像候補の複数の分割領域と対象画像の複数の分割領域とが比較されることにより、任意の入力画像中に対象画像が含まれているか否かが短時間で判定される。
【００１１】
【実施例】
図１は、この発明の画像処理装置の一例を示す。この例の画像処理装置は、画像入力部１０、画像バッファ２１〜２３、画像方向検出部３０、画像バッファ３５、領域分割部４０、画像バッファ４１、分割領域バッファ５０、画像認識部６０、操作部７０、表示部８０、システム制御部９０を備える。
【００１２】
画像入力部１０は、システム内の、原稿上の画像を読み取るイメージスキャナ部、もしくはコンピュータ処理により画像を生成する部分、またはシステム外で生成された画像をシステム内に取り込む部分で、この例では、画像入力部１０からは、入力画像としてＣＩＥ（国際照明委員会）が推奨するＬ＊ａ＊ｂ＊色空間で表現されたフルカラー画像が得られる。
【００１３】
ただし、その明度成分および２つの色度成分の、それぞれ例えば８ビットの多階調（多値）画像データは、それぞれ図面上ではｌ＊，ａ＊，ｂ＊と表記し、明細書中では＊を省略してｌ，ａ，ｂと表記する。
【００１４】
なお、この例は、対象画像についても、その画像が画像入力部１０から同じ画像処理装置に取り込まれ、後述するように画像方向が検出されるとともに、領域分割される場合である。したがって、「入力画像」には対象画像を含むことがある。
【００１５】
画像バッファ２１，２２，２３は、それぞれ画像入力部１０からの入力画像データｌ，ａ，ｂが書き込まれるものである。
【００１６】
画像方向検出部３０は、画像バッファ２１から読み出された入力画像データｌから、入力画像の各画素についての画像方向を検出して、画像方向成分ｄ１を抽出するもので、その具体例は後述する。画像バッファ３５は、画像方向検出部３０からの画像方向成分ｄ１が書き込まれるものである。
【００１７】
領域分割部４０は、図示していないがＣＰＵや、そのＣＰＵが実行すべき領域分割制御プログラムなどが書き込まれたＲＯＭなどを有し、画像バッファ２１，２２，２３から読み出された入力画像データｌ，ａ，ｂ、システム制御部９０から画像バッファ２１〜２３に対する読み出しアドレスなどとして得られる、入力画像上の各画素のＸＹ座標値ｘ，ｙ、および画像バッファ３５から読み出された画像方向成分ｄ１を用いて、後述するように入力画像を領域分割する。
【００１８】
画像バッファ４１は、領域分割部４０での領域分割の過程で得られる、入力画像の各画素と各分割領域との対応関係が書き込まれるものである。
【００１９】
分割領域バッファ５０は、領域分割部４０での領域分割の過程および結果が分割領域テーブルとして書き込まれるものである。
【００２０】
画像認識部６０は、図示していないがＣＰＵや、そのＣＰＵが実行すべき画像認識制御プログラムなどが書き込まれたＲＯＭなどを有し、分割領域バッファ５０の分割領域テーブルに記述された、対象画像の分割結果と、対象画像が含まれているか否かが判定されるべき入力画像の分割結果とから、後述するように、その入力画像中に対象画像が含まれているか否かを判定するものである。
【００２１】
操作部７０は、例えば表示部８０に表示された、対象画像の分割結果のデータを見て、オペレータが対象画像の分割結果の複数の分割領域中の特定の分割領域を指定するなどの操作をするものである。
【００２２】
表示部８０は、例えば対象画像の分割結果のデータや入力画像中に対象画像が含まれているか否かの判定結果などを表示するものである。
【００２３】
システム制御部９０は、図示していないがＣＰＵや、そのＣＰＵが実行すべきシステム制御プログラムなどが書き込まれたＲＯＭなどを有し、システム各部を制御する。
【００２４】
図２は、画像方向検出部３０の一例で、電子技術総合研究所研究報告第８３５号第８０頁に記載された方法を利用した場合である。
【００２５】
すなわち、図１に示した画像バッファ２１から読み出された入力画像データｌがブロック化回路３１に供給されて、ブロック化回路３１から、入力画像の図３（Ａ）に示すような注目画素Ｐｅを中心とする３×３画素である画素Ｐａ〜Ｐｉからなる画素群Ｇｐについての、図３（Ｂ）に示すような９個の画像データｌａ〜ｌｉからなる画像データ群Ｇｄが取り出され、これが畳み込み演算回路３２および３３に供給されて、それぞれ画素群Ｇｐの画素Ｐａ〜Ｐｉに対する図示するような値の係数からなる係数群ＫｈおよびＫｖにより畳み込み演算されて、畳み込み演算回路３２および３３から、それぞれ、
ＣＣ＝ｌａ・（−１）＋ｌｂ・（−１）＋……＋ｌｉ・１  …（１）
ＬＬ＝ｌａ・（−１）＋ｌｂ・０＋……＋ｌｉ・１  …（２）
で表される出力が得られる。
【００２６】
入力画像の画像方向とは、入力画像の濃度を等高線表示したときの等高線の方向で、この例は、入力画像データｌの値を入力画像の濃度とするものである。そして、係数群Ｋｈは水平方向の画像方向の検出用であり、係数群Ｋｖは垂直方向の画像方向の検出用である。
【００２７】
さらに、画像方向検出部３０においては、畳み込み演算回路３２および３３の出力ＣＣおよびＬＬが演算回路３４に供給されて、図４に示すように、
α＝ａｒｃｔａｎ（ＬＬ／ＣＣ）  …（３）
とするとき、それぞれ、
0003637927.tif 000002
で表される４ビット成分が算出される。
【００２８】
成分ｄａは、入力画像データｌから抽出された画像方向成分の向き、すなわち入力画像の濃度を等高線表示したときの等高線の方向を、ｄａ＝０からｄａ＝１５までの１６段階で示すもので、等高線の方向は向きを考える必要がないので、その等高線の方向、すなわち入力画像の画像方向は、図５に示すように０からπまでの範囲として示されれば十分なものである。
【００２９】
成分ｄｂは、入力画像データｌから抽出された画像方向成分の大きさ、すなわち入力画像の濃度を等高線表示したときの注目画素における等高線とこれと隣り合う等高線との間の濃度差を、ｄｂ＝０からｄｂ＝１５までの１６段階で示すもので、出力ＣＣの２乗と出力ＬＬの２乗の和に対して１を加えたものの対数値とすることによって、出力ＣＣおよびＬＬが小さいときでも値を持つようにしたものである。
【００３０】
具体的に、図３（Ｂ）に示した画像データ群Ｇｄが図６（Ａ）または（Ｂ）に示すような値であるときには、α＝−π／２またはα＝π／２となり、ｄａ＝０となって、注目画素における画像方向が垂直方向であることが検出される。画像データ群Ｇｄが図６（Ｃ）または（Ｄ）に示すような値であるときには、α＝−π／４となり、ｄａ＝４となって、注目画素における画像方向が左上から右下にかけてのπ／４の方向であることが検出される。
【００３１】
画像データ群Ｇｄが図６（Ｅ）または（Ｆ）に示すような値であるときには、α＝０となり、ｄａ＝８となって、注目画素における画像方向が水平方向であることが検出される。画像データ群Ｇｄが図６（Ｇ）または（Ｈ）に示すような値であるときには、α＝π／４となり、ｄａ＝１２となって、注目画素における画像方向が右上から左下にかけての３π／４の方向であることが検出される。
【００３２】
図２に示した演算回路３４からは、すなわち画像方向検出部３０からは、成分ｄａおよびｄｂが全体として８ビットの画像方向成分ｄ１として出力され、その画像方向成分ｄ１が画像バッファ３５に書き込まれる。
【００３３】
領域分割部４０においては、このように画像方向成分ｄ１が画像バッファ３５に書き込まれた後、入力画像全体が、その色および画像方向に応じて領域の形状が変えられるように、例えばＫ平均アルゴリズムにより領域分割される。
【００３４】
Ｋ平均アルゴリズムは、入力画像に対してＫ個の初期領域中心を設定する初期領域分割を含めて、分割された領域が一定の状態に収束するまで数次にわたって領域分割を繰り返し、初期領域分割後の各次の領域分割後において各分割領域の領域中心を計算することにより、分割された領域が一定の状態に収束したか否かを判定するものである。その領域中心としては、一般には各分割領域の重心および代表色値（代表画素値）が設定または計算されるが、この発明の図１の例においては、これに加えて各分割領域の代表画像方向成分を設定または計算する。
【００３５】
以下においては、初期領域分割を含む各次の領域分割の繰り返し順位をｉ（初期領域分割ではゼロの意味でｉ＝ｏ、その後の各次の領域分割ではｉ＝１，２…）とし、各次の領域分割で分割された領域の番号をｊ（ｊ＝１，２，…Ｋ）として、初期領域分割を含む各次の領域分割による各分割領域の領域中心をＣｉｊ、重心をＸｉｊ，Ｙｉｊ、代表色値をＬｉｊ，Ａｉｊ，Ｂｉｊ、代表画像方向成分をＤｉｊで、それぞれ示す。ただし、重心Ｘｉｊ，Ｙｉｊ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊ、および代表画像方向成分Ｄｉｊの詳細は、後述する。
【００３６】
以下、このような画像方向を考慮したＫ平均アルゴリズムによる、領域分割部４０での領域分割の具体的手順を、図７を用いて示す。ただし、図７は領域分割部４０が実行する領域分割の全体的な手順を示し、以下の例は領域分割数Ｋを１００とした場合である。
【００３７】
まず、ステップＳ１において、入力画像に対して１００個の初期領域中心を設定する。すなわち、画像バッファ２１，２２，２３から読み出された入力画像データｌ，ａ，ｂ、画像バッファ３５から読み出された画像方向成分ｄ１、およびシステム制御部９０から得られた座標値ｘ，ｙから、例えば図８に示すように入力画像１を互いに等しい画素数の縦横１０個ずつの合計１００個の領域に分割し、その各分割領域の領域中心Ｃｏｊとして、すなわち各分割領域の重心Ｘｏｊ，Ｙｏｊ、代表色値Ｌｏｊ，Ａｏｊ，Ｂｏｊ、および代表画像方向成分Ｄｏｊとして、各分割領域の中心画素の座標ｘｏｊ，ｙｏｊ、中心画素についての入力画像データｌｏｊ，ａｏｊ，ｂｏｊ、および中心画素についての画像方向成分ｄ１ｏｊを求める。
【００３８】
ただし、代表画像方向成分Ｄｏｊについては、これを５ビットデータとして、画像方向成分ｄ１中の４ビット成分ｄｂの中心画素についてのそれｄｂｏｊが１以上であれば、その中心画素は画像方向を有するものとして、５ビット中の最上位ビットを０にするとともに、下位４ビットとして画像方向成分ｄ１中の４ビット成分ｄａの中心画素についてのそれｄａｏｊを取り込み、成分ｄｂの中心画素についてのそれｄｂｏｊが０であれば、その中心画素は画像方向を持たないものとして、５ビット中の最上位ビットを１にするとともに、下位４ビットをすべて０にして、全体として１６の値とする。
【００３９】
次に、ステップＳ２において、上記のように求めた各分割領域の領域中心Ｃｏｊ、すなわち各分割領域の重心Ｘｏｊ，Ｙｏｊ（ｘｏｊ，ｙｏｊ）、代表色値Ｌｏｊ，Ａｏｊ，Ｂｏｊ（ｌｏｊ，ａｏｊ，ｂｏｊ）、および代表画像方向成分Ｄｏｊを、初期分割領域テーブルとして分割領域バッファ５０に書き込む。
【００４０】
図９は、この初期分割領域テーブルを含む、各次の領域分割後に作成される分割領域テーブルを示し、初期分割領域テーブルではｉ＝ｏと表現されるものである。
【００４１】
次に、ステップＳ３において、分割領域バッファ５０から初期分割領域テーブル、すなわち初期領域中心Ｃｏｊを読み出し、これと、画像バッファ２１，２２，２３から読み出された入力画像データｌ，ａ，ｂ、画像バッファ３５から読み出された画像方向成分ｄ１、およびシステム制御部９０から得られた座標値ｘ，ｙとから、入力画像のすべての画素を順次、注目画素Ｐｎとして、その注目画素Ｐｎとすべての初期領域中心Ｃｏｊとの距離Ｈｏｊｎを、以下のように計算する。ｎは、入力画像の画素番号である。
【００４２】
ただし、この距離計算と、これによる以下のような入力画像の各画素の領域判定は、後述するように、分割された領域が一定の状態に収束するまで、各次の領域分割後に繰り返し行うものである。すなわち、各次の領域分割後には、入力画像のすべての画素を順次、注目画素Ｐｎとして、その注目画素Ｐｎと、その順位の領域分割による新たなすべての領域中心Ｃｉｊとの距離Ｈｉｊｎを計算する。
【００４３】
そこで以下では、初期領域分割を含む各次の領域分割後に共通の手順としての、距離Ｈｉｊｎの計算、およびこれによる入力画像の各画素の領域判定につき示す。ただし、初期領域分割後の各次の領域分割による各分割領域の重心Ｘｉｊ，Ｙｉｊは、各分割領域内の全画素の座標値ｘ，ｙの平均値とされ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊは、各分割領域内の全画素についての入力画像データｌ，ａ，ｂの平均値とされ、代表画像方向成分Ｄｉｊは、後述するように各分割領域が顕著な画像方向を有するか否かにより０から１５までの値または１６の値とされるものである。
【００４４】
距離Ｈｉｊｎを計算するために、まず、
Δｘｉｊｎ＝ｘｎ−Ｘｉｊ  …（１１）
Δｙｉｊｎ＝ｙｎ−Ｙｉｊ  …（１２）
Δｌｉｊｎ＝ｌｎ−Ｌｉｊ  …（１３）
Δａｉｊｎ＝ａｎ−Ａｉｊ  …（１４）
Δｂｉｊｎ＝ｂｎ−Ｂｉｊ  …（１５）
で表されるように、各分割領域の重心Ｘｉｊ，Ｙｉｊおよび代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊと、注目画素Ｐｎの座標ｘｎ，ｙｎおよび注目画素Ｐｎについての入力画像データｌｎ，ａｎ，ｂｎとの差を、個々に求める。
【００４５】
画像方向成分については、図５に示したように画像方向が０からπまでの範囲の角度として１６段階で表されることから、以下の３つの場合に分けて、各分割領域の代表画像方向成分Ｄｉｊと画像方向成分ｄ１中の４ビット成分ｄａの注目画素Ｐｎについてのそれｄａｎとの差Δｄｉｊｎを求める。
【００４６】
第１に、代表画像方向成分Ｄｉｊが１６で、かつ画像方向成分ｄ１中の４ビット成分ｄｂの注目画素Ｐｎについてのそれｄｂｎが０であるときには、領域中心Ｃｉｊも注目画素Ｐｎも画像方向を持たないので、差Δｄｉｊｎはないものとして、
Δｄｉｊｎ＝０  …（１６）
とする。
【００４７】
第２に、代表画像方向成分Ｄｉｊが１５以下で、かつ成分ｄｂｎが１以上であるときには、
Δｄｉｊｎ＝｜ｄａｎ−Ｄｉｊ｜  …（１７）
とする。
【００４８】
ただし、差Δｄｉｊｎは、図１０（Ａ）に示すように領域中心Ｃｉｊにおける代表画像方向成分Ｄｉｊが示す画像方向と注目画素Ｐｎにおける成分ｄａｎが示す画像方向との角度差βに相当し、その角度差βは図１０（Ｂ）に示すようにπ／２より小さく、差Δｄｉｊｎは７以下となるべきであるので、Δｄｉｊｎ＝｜ｄａｎ−Ｄｉｊ｜≧８となるときには、
Δｄｉｊｎ＝１５−｜ｄａｎ−Ｄｉｊ｜  …（１８）
とする。
【００４９】
第３に、代表画像方向成分Ｄｉｊが１６で、かつ成分ｄｂｎが１以上であるとき、または代表画像方向成分Ｄｉｊが１５以下で、かつ成分ｄｂｎが０であるときには、すなわち、領域中心Ｃｉｊと注目画素Ｐｎのいずれか一方のみが画像方向を有し、他方は画像方向を持たないときには、領域中心Ｃｉｊと注目画素Ｐｎの画像方向が同じときよりは差Δｄｉｊｎは大きく、すなわち差Δｄｉｊｎは０ではなく、しかも領域中心Ｃｉｊと注目画素Ｐｎの画像方向がπ／２ずれるときよりは差Δｄｉｊｎは小さい、すなわち差Δｄｉｊｎは８よりは小さいと考えて、０と７の中間をとって、
Δｄｉｊｎ＝３．５  …（１９）
とする。
【００５０】
以上の差Δｘｉｊｎ，Δｙｉｊｎ，Δｌｉｊｎ，Δａｉｊｎ，Δｂｉｊｎ，Δｄｉｊｎの算出に加えて、領域の大きさを制御する関数Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）を以下のように定義する。
【００５１】
すなわち、図１１に示すように、
γ＝ａｒｃｔａｎ（Δｙｉｊｎ／Δｘｉｊｎ）  …（２１）
とし、
0003637927.tif 000003
とするとき、
｜Ｄｉｊ−ｄｃｎ｜≦７のときには、
Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）
＝１＋ｋｅ（｜Ｄｉｊ−ｄｃｎ｜／３．５−１）  …（２３）
とし、
｜Ｄｉｊ−ｄｃｎ｜≧８のときには、
Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）
＝１＋ｋｅ｛（１５−｜Ｄｉｊ−ｄｃｎ｜）／３．５−１｝  …（２４）
とする。
【００５２】
ただし、ｄｃｎは、図１１から明らかなように、領域中心Ｃｉｊ（重心Ｘｉｊ，Ｙｉｊ）に対する注目画素Ｐｎの方向を、領域中心Ｃｉｊ（重心Ｘｉｊ，Ｙｉｊ）を中心とするｘｙ座標のｙ軸に対する角（γ＋π／２）として、ｄｃｎ＝０からｄｃｎ＝１５までの１６段階で示すもので、方向のみで向きを考えないことによって、角（γ＋π／２）は、０からπまでの範囲とするものである。ｋｅは、後述するような係数である。
【００５３】
式（２３）の｜Ｄｉｊ−ｄｃｎ｜、および式（２４）の（１５−｜Ｄｉｊ−ｄｃｎ｜）は、それぞれ０以上、７以下となるので、関数Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）は、１を中心に±ｋｅの広がりを有し、ｋｅ＝０では常に１となり、ｋｅ＝１では０になり得る。そこで、係数ｋｅは、０＜ｋｅ＜１とする。
【００５４】
このように係数ｋｅを定め、領域の大きさを制御する関数Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）を定義して、図７のステップＳ３においては、入力画像のすべての画素を順次、注目画素Ｐｎとして、その注目画素Ｐｎとすべての領域中心Ｃｉｊとの距離Ｈｉｊｎを、一般的にｚの２乗を「（ｚ）＊＊２」で示すとすると、
0003637927.tif 000004
で定義して計算する。ただし、ｋｘ，ｋｌ，ｋａ，ｋｂ，ｋｄは、それぞれ任意の係数である。
【００５５】
次に、ステップＳ４に進んで、入力画像の注目画素Ｐｎからみて直前の領域分割による各分割領域の領域中心Ｃｉｊのうち上記の距離Ｈｉｊｎが最も小さい領域中心を有する分割領域に、その注目画素Ｐｎを含めるように、入力画像を新たに領域分割する。
【００５６】
すなわち、直前の領域分割の結果、例えば１番目の分割領域に含められた、ある画素からみて、領域中心Ｃｉｊとの距離Ｈｉｊｎが最も小さいのは２番目の分割領域であるとすれば、その画素は２番目の分割領域に含めるように、また例えば２番目の分割領域に含められた、ある画素からみて、領域中心Ｃｉｊとの距離Ｈｉｊｎが最も小さいのは１番目の分割領域であるとすれば、その画素は１番目の分割領域に含めるように、領域分割を修正する。
【００５７】
ここで、入力画像の注目画素Ｐｎと直前の領域分割による各分割領域の領域中心Ｃｉｊとの相対位置と、その領域中心Ｃｉｊの代表画像方向成分Ｄｉｊとの関係を、図１２に示す。
【００５８】
同図から明らかなように、式（２３）または（２４）で表される関数Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）は、領域中心Ｃｉｊ（重心Ｘｉｊ，Ｙｉｊ）と注目画素Ｐｎを結ぶ直線の方向、すなわち式（２２）で表される成分ｄｃｎが示す方向が、注目画素Ｐｎが点Ｐｎ（０）にあって成分ｄｃｎがｄｃｎ（０）で表されるときのように代表画像方向成分Ｄｉｊが示す画像方向と一致するとき、最小となり、上記の直線の方向、すなわち、成分ｄｃｎが示す方向が、注目画素Ｐｎが点Ｐｎ（π／２）にあって成分ｄｃｎがｄｃｎ（π／２）で表されるときのように代表画像方向成分Ｄｉｊが示す画像方向に対してπ／２ずれるとき、最大となる。
【００５９】
すなわち、ステップＳ４においては、直前の領域分割による領域中心Ｃｉｊに対して、その代表画像方向成分Ｄｉｊが示す方向にある画素は、その領域中心Ｃｉｊから離れているものも、その領域中心Ｃｉｊの分割領域に含まれやすくなるが、その代表画像方向成分Ｄｉｊが示す方向に対してπ／２ずれた方向にある画素は、その領域中心Ｃｉｊに近いものも、その領域中心Ｃｉｊの分割領域に含まれにくくなるように、入力画像が領域分割される。
【００６０】
そのため、ステップＳ４においては、直前の領域分割による各分割領域の形状が、代表画像方向成分Ｄｉｊが示す方向に沿う形状に変えられる。図１３は、このように領域分割が修正され、各分割領域の形状が変えられた状態を示す。
【００６１】
次に、ステップＳ５において、入力画像の注目画素Ｐｎと新たな領域分割による各分割領域との対応関係、すなわち新たな領域分割により入力画像の注目画素Ｐｎが属するとされた分割領域の番号を、画像バッファ４１に書き込む。
【００６２】
次に、ステップＳ６に進んで、新たな領域中心を計算する。すなわち、画像バッファ２１，２２，２３から読み出された入力画像データｌ，ａ，ｂ、画像バッファ３５から読み出された画像方向成分ｄ１、画像バッファ４１から読み出された分割領域番号、およびシステム制御部９０から得られた座標値ｘ，ｙから、新たに分割された領域ごとに、重心Ｘｉｊ，Ｙｉｊ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊ、および代表画像方向成分Ｄｉｊからなる領域中心Ｃｉｊを計算し直す。
【００６３】
ここで、上述したように、重心Ｘｉｊ，Ｙｉｊは、各分割領域内の全画素の座標値ｘ，ｙの平均値とし、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊは、各分割領域内の全画素についての入力画像データｌ，ａ，ｂの平均値とする。代表画像方向成分Ｄｉｊは、図１４に示す算出手順に従って求める。
【００６４】
すなわち、入力画像の画素には複数の画像方向を有するものもあり得るが、はっきり観測できるのは最大でも２方向であり、しかもはっきり観測できる第２の方向があるなら、それは第１の方向に対してほぼπ／２ずれていると考えられることから、まず、ステップＳ１１において、新たに分割された領域ごとに、ｄｂｎ≧１の条件を満たす画素の中で上記の成分ｄａｎがそれぞれ０，１，２…１５の値となる画素の数Ｎ０，Ｎ１，Ｎ２…Ｎ１５を計算するとともに、ｄｂｎ＝０である画素の数Ｎ１６を求める。
【００６５】
次に、ステップＳ１２において、最も画素数の多い成分値Ｄｍａｘと、その最も多い画素数Ｎｍａｘを算出する。ただし、Ｎ１６が一番大きいときには、Ｄｍａｘ＝１６とする。さらにステップＳ１３に進んで、Ｄｍａｘ＝１６であるか否かを判断し、Ｄｍａｘ＝１６と判断したときには、その領域は画像方向を持たないとして、次にステップＳ１４において、その領域の代表画像方向成分Ｄｉｊを１６とする。
【００６６】
ステップＳ１３においてＤｍａｘ≠１６と判断したときには、次にステップＳ１５において、図１５（Ａ）または（Ｂ）に示すように最も画素数の多い成分値Ｄｍａｘが示す方向に対してπ／２ずれた方向を示す、すなわち成分値Ｄｍａｘに対して＋８または−８ずれた成分値Ｄｍｉｄと、その成分値Ｄｍｉｄとなる画素数Ｎｍｉｄを算出し、さらにステップＳ１６に進んで、画素数Ｎｍａｘが画素数Ｎｍｉｄの２倍より多いか否かを判断する。
【００６７】
ステップＳ１６において画素数Ｎｍａｘが画素数Ｎｍｉｄの２倍以下であると判断したときには、その領域は顕著な画像方向を持たないとして、ステップＳ１３においてＤｍａｘ＝１６と判断したときと同様に、次にステップＳ１４において、その領域の代表画像方向成分Ｄｉｊを１６とする。
【００６８】
ステップＳ１６において画素数Ｎｍａｘが画素数Ｎｍｉｄの２倍より多いと判断したときには、その領域は顕著な画像方向を有するが、近接した方向に２つの方向成分が重なり合っているなど、方向成分が広がって存在していることもあり得るとして、さらにステップＳ１７に進んで、その領域につき以下のような加重平均値Ｄａｖｅを算出して、その加重平均値Ｄａｖｅを、その領域の代表画像方向成分Ｄｉｊとする。
【００６９】
すなわち、図１６に示すように、最も画素数の多い成分値Ｄｍａｘに対して±１，±２，±３，±４ずれた成分値Ｄｐ１，Ｄｍ１…Ｄｐ４，Ｄｍ４と、そのそれぞれの成分値Ｄｐ１，Ｄｍ１…Ｄｐ４，Ｄｍ４となる画素数Ｎｐ１，Ｎｍ１…Ｎｐ４，Ｎｍ４を算出し、加重平均値Ｄａｖｅとして、
Ｄａｖｅ＝（Ｎｍ４・Ｄｍ４＋Ｎｍ３・Ｄｍ３＋Ｎｍ２・Ｄｍ２＋Ｎｍ１・Ｄｍ１＋Ｎｍａｘ・Ｄｍａｘ＋Ｎｐ１・Ｄｐ１＋Ｎｐ２・Ｄｐ2 ＋Ｎｐ３・Ｄｐ３＋Ｎｐ４・Ｄｐ４）／（Ｎｍ４＋Ｎｍ３＋Ｎｍ２＋Ｎｍ１＋Ｎｍａｘ＋Ｎｐ１＋Ｎｐ２＋Ｎｐ３＋Ｎｐ４）  …（２６）
を計算する。
【００７０】
ステップＳ１４において代表画像方向成分Ｄｉｊを１６とし、またはステップＳ１７において式（２６）の加重平均値Ｄａｖｅを代表画像方向成分Ｄｉｊとしたときは、さらにステップＳ１８に進んで、すべての領域につき代表画像方向成分Ｄｉｊを求めたか否かを判断し、いまだ代表画像方向成分Ｄｉｊを求めていない領域があると判断したときには、ステップＳ１１以下に戻って、次の領域につき上述したように代表画像方向成分Ｄｉｊを求める。
【００７１】
このように、図７のステップＳ６においては、新たに分割された領域ごとに、重心Ｘｉｊ，Ｙｉｊ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊ、および代表画像方向成分Ｄｉｊからなる領域中心Ｃｉｊを計算し直す。
【００７２】
次に、ステップＳ７において、このように求めた各分割領域の領域中心Ｃｉｊ、すなわち重心Ｘｉｊ，Ｙｉｊ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊ、および代表画像方向成分Ｄｉｊを、図９に示したような分割領域テーブルとして、直前の領域分割についての分割領域テーブルを残しておく状態で、分割領域バッファ５０に書き込む。
【００７３】
次に、ステップＳ８に進んで、分割領域バッファ５０から、この新たな分割領域テーブル、すなわち新たな領域中心と、その前の分割領域テーブル、すなわちその前の領域中心を読み出して、分割領域の番号ｊが等しいもの同士の間で、それぞれ、新たな領域中心の、その前の領域中心に対するずれ量を、以下のように計算する。
【００７４】
ただし、ここでは、新たな領域中心をＣｉｊ、その重心をＸｉｊ，Ｙｉｊ、代表色値をＬｉｊ，Ａｉｊ，Ｂｉｊ、代表画像方向成分をＤｉｊで、それぞれ示すとともに、ｓ＝ｉ−１とおいて、その前の領域中心をＣｓｊ、その重心をＸｓｊ，Ｙｓｊ、代表色値をＬｓｊ，Ａｓｊ，Ｂｓｊ、代表画像方向成分をＤｓｊで、それぞれ示し、新たな領域中心Ｃｉｊの、その前の領域中心Ｃｓｊに対するずれ量をＨｓｉｊで示す。
【００７５】
ずれ量Ｈｓｉｊを計算するために、まず、
ΔＸｓｉｊ＝Ｘｉｊ−Ｘｓｊ  …（３１）
ΔＹｓｉｊ＝Ｙｉｊ−Ｙｓｊ  …（３２）
ΔＬｓｉｊ＝Ｌｉｊ−Ｌｓｊ  …（３３）
ΔＡｓｉｊ＝Ａｉｊ−Ａｓｊ  …（３４）
ΔＢｓｉｊ＝Ｂｉｊ−Ｂｓｊ  …（３５）
で表されるように、新たな領域中心Ｃｉｊの重心Ｘｉｊ，Ｙｉｊおよび代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊと、その前の領域中心Ｃｓｊの重心Ｘｓｊ，Ｙｓｊおよび代表色値Ｌｓｊ，Ａｓｊ，Ｂｓｊとの差を、個々に求める。
【００７６】
代表画像方向成分については、上述したように領域中心Ｃｉｊ，Ｃｓｊの代表画像方向成分Ｄｉｊ，Ｄｓｊが０から１６までの値をとり得ることから、以下の３つの場合に分けて、代表画像方向成分Ｄｉｊと代表画像方向成分Ｄｓｊとの差ΔＤｓｉｊを求める。
【００７７】
第１に、代表画像方向成分ＤｉｊおよびＤｓｊがともに１６であるときには、
ΔＤｓｉｊ＝０  …（３６）
とする。
【００７８】
第２に、代表画像方向成分ＤｉｊおよびＤｓｊがともに１５以下であるときには、
ΔＤｓｉｊ＝｜Ｄｉｊ−Ｄｓｉ｜  …（３７）
とする。
【００７９】
ただし、差ΔＤｓｉｊは代表画像方向成分Ｄｉｊが示す画像方向と代表画像方向成分Ｄｓｊが示す画像方向との角度差に相当し、その角度差はπ／２より小さく、差ΔＤｓｉｊは７以下となるべきであるので、ΔＤｓｉｊ＝｜Ｄｉｊ−Ｄｓｊ｜≧８となるときには、
ΔＤｓｉｊ＝１５−｜Ｄｉｊ−Ｄｓｊ｜  …（３８）
とする。
【００８０】
第３に、代表画像方向成分ＤｉｊおよびＤｓｊのいすれか一方のみが１６であるときには、代表画像方向成分ＤｉｊおよびＤｓｊがともに１６であるときよりは差ΔＤｓｉｊは大きく、すなわち差ΔＤｓｉｊは０ではなく、しかも代表画像方向成分Ｄｉｊが示す画像方向と代表画像方向成分Ｄｓｊが示す画像方向との角度差がπ／２となるときよりは差ΔＤｓｉｊは小さい、すなわち差ΔＤｓｉｊは８より小さいと考えて、０と７の中間をとって、
ΔＤｓｉｊ＝３．５  …（３９）
とする。
【００８１】
以上の差ΔＸｓｉｊ，ΔＹｓｉｊ，ΔＬｓｉｊ，ΔＡｓｉｊ，ΔＢｓｉｊ，ΔＤｓｉｊを算出して、図７のステップＳ８においては、分割領域の番号ｊが等しいもの同士の間で、それぞれ、新たな領域中心Ｃｉｊの、その前の領域中心Ｃｓｊに対するずれ量Ｈｓｉｊを、一般的にＺの２乗を「（Ｚ）＊＊２」で示すとすると、
Ｈｓｉｊ
＝ｋｘ｛（ΔＸｓｉｊ）＊＊２＋（ΔＹｓｉｊ）＊＊２｝
＋ｋｌ・（ΔＬｓｉｊ）＊＊２
＋ｋａ・（ΔＡｓｉｊ）＊＊２
＋ｋｂ・（ΔＢｓｉｊ）＊＊２
＋ｋｄ・（ΔＤｓｉｊ）＊＊２        …（４０）
で定義して計算する。ただし、ｋｘ，ｋｌ，ｋａ，ｋｂ，ｋｄは、ぞれぞれ任意の係数である。
【００８２】
次に、ステップＳ９に進んで、すべての分割領域についてのずれ量Ｈｓｉｊが１より小さいか否かを判断し、いずれかの分割領域についてのずれ量Ｈｓｉｊが１以上であると判断したときには、各分割領域はいまだ一定の状態に収束していないとして、ステップＳ３以下に戻る。
【００８３】
すなわち、ステップＳ３において、入力画像のすべての画素を順次、注目画素Ｐｎとして、その注目画素Ｐｎと新たなすべての領域中心Ｃｉｊとの距離Ｈｉｊｎを式（２５）に従って計算し、次にステップＳ４に進んで、注目画素Ｐｎからみて新たなすべての領域中心Ｃｉｊのうち距離Ｈｉｊｎが最も小さい領域中心を有する分割領域に、その注目画素Ｐｎを含めるように、入力画像をさらに新たに領域分割し、次にステップＳ５において、入力画像の注目画素Ｐｎとさらに新たな領域分割による各分割領域との対応関係を画像バッファ４１に書き込み、次にステップＳ６に進んで、さらに新たな領域中心Ｃｉｊを計算し、次にステップＳ７において、その求めたさらに新たな領域中心Ｃｉｊを分割領域テーブルとして分割領域バッファ５０に書き込み、次にステップＳ８に進んで、各分割領域ごとに、そのさらに新たな領域中心Ｃｉｊの、その前の領域中心Ｃｓｊに対するずれ量Ｈｓｉｊを式（４０）に従って計算する、という一連の手順を繰り返し実行する。
【００８４】
そして、ステップＳ９において、すべての分割領域についてのずれ量Ｈｓｉｊが１より小さいと判断したときには、各分割領域は一定の状態に収束したとして、領域分割を終了する。
【００８５】
以上のように、領域分割部４０においては、入力画像全体が、その色および画像方向に応じて領域の形状が変えられるように領域分割される。
【００８６】
図１７は、システム制御部９０による、この例の画像処理装置における画像認識の全体的な手順を示す。
【００８７】
まず、ステップＳ３１において、操作部７０におけるオペレータの指示操作にもとづいて、入力画像データｌ，ａ，ｂとして対象画像１ａの画像データを、画像入力部１０からシステム内に取り込んで、画像バッファ２１，２２，２３に書き込む。
【００８８】
次に、ステップＳ３２において、その対象画像１ａの画像データから、画像方向検出部３０により対象画像１ａの画像方向を検出し、画像方向成分ｄ１を抽出して、その画像方向成分ｄ１を画像バッファ３５に書き込む。
【００８９】
次に、ステップＳ３３において、領域分割部４０により対象画像１ａを領域分割し、分割領域バッファ５０に対象画像１ａの最終的な分割結果の分割領域テーブル５１ｘを形成する。
【００９０】
次に、ステップＳ３４において、操作部７０におけるオペレータの指示操作にもとづいて、入力画像データｌ，ａ，ｂとして対象画像１ａが含まれているか否かが判定されるべき入力画像１ｂの画像データを、画像入力部１０からシステム内に取り込んで、画像バッファ２１，２２，２３に書き込む。
【００９１】
次に、ステップＳ３５において、その入力画像１ｂの画像データから、画像方向検出部３０により入力画像１ｂの画像方向を検出し、画像方向成分ｄ１を抽出して、その画像方向成分ｄ１を画像バッファ３５に書き込む。
【００９２】
次に、ステップＳ３６において、領域分割部４０により入力画像１ｄを領域分割し、分割領域バッファ５０に対象画像１ａの最終的な分割結果の分割領域テーブル５１ｘとは別に入力画像１ｂの最終的な分割結果の分割領域テーブル５２ｘを形成する。
【００９３】
次に、ステップＳ３７において、操作部７０におけるオペレータの指示操作にもとづいて、画像認識部６０により、図１８〜図２０に示して後述する具体的手順に従って、分割領域テーブル５１ｘおよび５２ｘから、入力画像１ｂ中に対象画像１ａが含まれているか否かを判定し、その判定結果を表示部８０により表示する。
【００９４】
図２１は、対象画像１ａの最終的な分割結果の例を示し、対象画像１ａが２００×１００画素で、領域分割数Ｋが３とされて、それぞれ領域中心Ｃａ，Ｃｂ，Ｃｃを有する３個の分割領域に領域分割された場合である。
【００９５】
この対象画像１ａの最終的な分割結果の分割領域テーブル５１ｘには、図２３に示すように、分割領域の番号、各分割領域のＸＹ座標値で示された重心、代表色値Ｌ，Ａ，Ｂ、および代表画像方向成分Ｄが記述されるとともに、各分割領域の画素数Ｎが記述される。
【００９６】
図２２は、入力画像１ｂの最終的な分割結果の例を示し、入力画像１ｂが４００×２００画素で、領域分割数Ｋが８とされて、それぞれ領域中心Ｃ１〜Ｃ８を有する８個の分割領域に領域分割された場合である。
【００９７】
この入力画像１ｂの最終的な分割結果の分割領域テーブル５２ｘにも、図２４に示すように、分割領域の番号、各分割領域のＸＹ座標値で示された重心、代表色値Ｌ，Ａ，Ｂ、および代表画像方向成分Ｄが記述されるとともに、各分割領域の画素数Ｎが記述される。
【００９８】
なお、以下では分割領域を、その番号ではなく領域中心で示す。すなわち、例えば、対象画像１ａの領域番号３の分割領域は分割領域Ｃｃと称し、入力画像１ｂの領域番号７の分割領域は分割領域Ｃ７と称する。
【００９９】
このように対象画像１ａおよび入力画像１ｂの最終的な分割結果の分割領域テーブル５１ｘおよび５２ｘが形成された後の、図１７のステップＳ３７における手順として、画像認識部６０は、まず、図１８のステップＳ４１において、対象画像１ａの分割領域テーブル５１ｘから、対象画像１ａの最も特徴的な色の分割領域を選出する。
【０１００】
例えば、図１７のステップＳ３６において入力画像１ｂの分割領域テーブル５２ｘが形成された後、システム制御部９０におけるシステム制御プログラムにより自動的に、または操作部７０におけるオペレータの指示操作により、対象画像１ａの分割領域テーブル５１ｘ上の各分割領域の代表色値Ｌ，Ａ，Ｂが表示部８０に表示される。オペレータが、その表示内容を見て、対象画像１ａの最も特徴的な色として認識する、またはあらかじめ知っている画像データ値から、対象画像１ａの該当する分割領域の番号を操作部７０により指示することによって、画像認識部６０は、その指示された番号の分割領域を選出する。
【０１０１】
または、対象画像１ａの分割領域テーブル５１ｘの記述内容が表示部８０に表示されることなく、オペレータが、対象画像１ａの最も特徴的な色としてあらかじめ知っている画像データ値を操作部７０から入力することによって、画像認識部６０は、対象画像１ａの分割領域テーブル５１ｘ上の分割領域のうち、代表色値Ｌ，Ａ，Ｂが、その入力された画像データ値に最も近い分割領域を選出する。
【０１０２】
図２１および図２３の例においては、分割領域Ｃｃが対象画像１ａの最も特徴的な色の領域として選出されるものとする。
【０１０３】
次に、ステップＳ４２において、このように選出した分割領域の重心を中心とし、画像方向をθ＝０として、分割領域テーブル５１ｘ上の各分割領域の重心を極座標で記述し直し、分割領域テーブル５１ｒを形成する。
【０１０４】
すなわち、図２１および図２３の例においては、分割領域ＣｃのＸＹ座標値で（６０，５５）である重心が極座標におけるｒ＝０の中心とされ、Ｄ＝２である代表画像方向成分が示す図２１の矢印の方向がθ＝０とされて、分割領域テーブル５１ｘ上の各分割領域の重心が極座標値で表現されて、図２５に示すような分割領域テーブル５１ｒが形成される。図２５で、角度θの単位はラジアンである。
【０１０５】
次に、ステップＳ４３において、入力画像１ｂの分割領域テーブル５２ｘから、対象画像１ａのステップＳ４１で選出した分割領域の代表色と類似する色を代表色として有する分割領域を検索し、さらにステップＳ４４に進んで、類似する色の分割領域があるか否かを判断する。
【０１０６】
例えば、入力画像１ｂの分割領域のうち、代表色値Ｌ，Ａ，Ｂが対象画像１ａのステップＳ４１で選出した分割領域の代表色値Ｌ，Ａ，Ｂに対して、それぞれ±１０％の範囲内にある分割領域が、検索され、対象画像１ａのステップＳ４１で選出した分割領域の色と類似する色の分割領域とされる。
【０１０７】
ステップＳ４４で類似する色の分割領域がないと判断したときには、入力画像１ｂ中に対象画像１ａは含まれていないものとして、ステップＳ４５に進んで、入力画像１ｂ中に対象画像１ａが含まれていないことを表示部８０により表示して、画像認識の処理を終了する。
【０１０８】
図２１〜図２５の例においては、入力画像１ｂの分割領域Ｃ７の代表色値Ｌ，Ａ，Ｂのみが対象画像１ａの選出された分割領域Ｃｃの代表色値Ｌ，Ａ，Ｂに対してすべて±１０％の範囲内にあることから、分割領域Ｃ７のみが分割領域Ｃｃの色と類似する色の分割領域とされる。
【０１０９】
ステップＳ４４で類似する色の分割領域があると判断したときには、次に図１９のステップＳ５１において、その類似する色の分割領域を入力画像１ｂの分割領域テーブル５２ｘから１つ選出し、さらにステップＳ５２に進んで、その選出した分割領域についての後述する変数Ｑをゼロにクリアする。
【０１１０】
図２１〜図２５の例においては、入力画像１ｂの分割領域Ｃ７のみが対象画像１ａの分割領域Ｃｃの色と類似する色の分割領域であるので、ステップＳ５１においては分割領域Ｃ７が選出され、ステップＳ５２においては分割領域Ｃ７についての変数Ｑがゼロにクリアされる。
【０１１１】
次に、ステップＳ５３において、その選出した分割領域の重心を中心とし、画像方向をθ＝０として、分割領域テーブル５２ｘ上の各分割領域の重心を極座標で記述し直すとともに、その選出した分割領域の代表画像方向成分と対象画像１ａのステップＳ４１で選出した分割領域の代表画像方向成分との差Ｄｄを求めて、その差Ｄｄを入力画像１ｂの各分割領域の代表画像方向成分から減じるように分割領域テーブル５２ｘ上の各分割領域の代表画像方向成分を記述し直し、分割領域テーブル５２ｒを形成する。ただし、代表画像方向成分Ｄは、０以上、１６以下とされる。
【０１１２】
すなわち、図２１〜図２５の例においては、分割領域Ｃ７のＸＹ座標値で（１５０，１３９）である重心が極座標におけるｒ＝０の中心とされ、Ｄ＝６である代表画像方向成分が示す図２２の矢印の方向がθ＝０とされて、分割領域テーブル５２ｘ上の各分割領域の重心が極座標値で表現されるとともに、分割領域Ｃ７の代表画像方向成分と分割領域Ｃｃの代表画像方向成分との差Ｄｄ＝６−２＝４が入力画像１ｂの各分割領域の代表画像方向成分から減じられるように分割領域テーブル５２ｘ上の各分割領域の代表画像方向成分が書き換えられて、図２６に示すような分割領域テーブル５２ｒが形成される。図２６で、角度θの単位はラジアンである。
【０１１３】
次にステップＳ５４において、その分割領域テーブル５２ｒから、入力画像１ｂの、位置的に対象画像１ａのステップＳ４１で選出した分割領域以外の分割領域に対応する分割領域を検索し、さらにステップＳ５５に進んで、位置的に対象画像１ａのステップＳ４１で選出した分割領域以外の分割領域に対応する分割領域がすべてあるか否かを判断する。
【０１１４】
例えば、分割領域テーブル５２ｒ上で、重心の極座標値ｒ，θが分割領域テーブル５１ｒ上のステップＳ４１で選出した分割領域以外の分割領域の重心の極座標値ｒ，θに対して、それぞれ±１０％の範囲内にある分割領域が、検索され、位置的に対象画像１ａのステップＳ４１で選出した分割領域以外の分割領域に対応する分割領域とされる。
【０１１５】
図２１〜図２６の例においては、入力画像１ｂの分割領域Ｃ５およびＣ６の重心の極座標値ｒ，θが、それぞれ対象画像１ａの分割領域ＣａおよびＣｂの重心の極座標値ｒ，θに対して±１０％の範囲内にあることから、位置的に対象画像１ａのステップＳ４１で選出した分割領域以外の分割領域に対応する分割領域がすべてあると判断される。
【０１１６】
ステップＳ５５で対応する分割領域がすべてあると判断したときには、次にステップＳ５６に進んで、対象画像１ａの各分割領域と、これと位置的に対応する入力画像１ｂの複数の分割領域との、それぞれ位置的に対応するもの同士の間の類似度を計算して、それぞれの計算結果により、ステップＳ５２においてゼロにクリアした変数Ｑを更新する。
【０１１７】
対象画像１ａのある分割領域と、これと位置的に対応する入力画像１ｂの分割領域との間の類似度Ｑｎは、対象画像１ａのある分割領域の代表色値Ｌ，Ａ，ＢをＬａ，Ａａ，Ｂａ、代表画像方向成分ＤをＤａ、画素数ＮをＮａ、これと位置的に対応する入力画像１ｂの分割領域の代表色値Ｌ，Ａ，ＢをＬｂ，Ａｂ，Ｂｂ、代表画像方向成分ＤをＤｂ、画素数ＮをＮｂとして、一般的にｚの２乗を「（ｚ）＊＊２」で示すとすると、
Ｑｎ
＝（Ｌａ−Ｌｂ）＊＊２＋（Ａａ−Ａｂ）＊＊２＋（Ｂａ−Ｂｂ）＊＊２
＋ｋｄ（Ｄａ−Ｄｂ）＊＊２＋ｋｎ（Ｎａ−Ｎｂ）＊＊２  …（４１）
で定義して計算する。ただし、ｋｄ，ｋｎは、それぞれ任意の係数である。
【０１１８】
図２１〜図２６の例においては、対象画像１ａの分割領域Ｃａと入力画像１ｂの分割領域Ｃ５との間の類似度Ｑ１、対象画像１ａの分割領域Ｃｂと入力画像１ｂの分割領域Ｃ６との間の類似度Ｑ２、および対象画像１ａの分割領域Ｃｃと入力画像１ｂの分割領域Ｃ７との間の類似度Ｑ３が、それぞれ計算されて、変数Ｑが、
Ｑ＝Ｑ１＋Ｑ２＋Ｑ３  …（４２）
とされる。
【０１１９】
ステップＳ５５で対応する分割領域がすべてはないと判断したときには、次にステップＳ５７に進んで、入力画像１ｂのステップＳ５１で選出した分割領域についての変数Ｑを、後述する所定値Ｑｏより大きい所定値Ｑｍにする。
【０１２０】
ステップＳ５６で上記のように変数Ｑを更新し、またはステップＳ５７で変数Ｑを所定値Ｑｍにした後は、図２０のステップＳ６１に進んで、入力画像１ｂの分割領域中に、対象画像１ａのステップＳ４１で選出した分割領域の色と類似する色の分割領域がほかにもあるか否かを判断し、ほかにもあると判断したときには、図１９のステップＳ５１以下に戻って、その類似する色のほかの分割領域を入力画像１ｂの分割領域テーブル５２ｘから１つ選出し、さらにその選出した分割領域についての上記の変数Ｑをゼロにクリアするなど、その類似する色のほかの分割領域につき、上記の処理を実行する。
【０１２１】
ただし、図２１〜図２６の例は、上述したように、入力画像１ｂの分割領域Ｃ７のみが対象画像１ａのステップＳ４１で選出した分割領域Ｃｃの色と類似する色の分割領域であるので、ステップＳ５１以下に戻らない。
【０１２２】
ステップＳ６１で類似する色の分割領域はほかにないと判断したときには、次にステップＳ６２に進んで、類似する色の各分割領域についての変数Ｑが、すべて所定値Ｑｏ以上であるか否かを判断し、すべて所定値Ｑｏ以上であると判断したときには、入力画像１ｂのいずれの位置にも対象画像１ａは含まれていないものとして、図１８のステップＳ４５に進んで、入力画像１ｂ中に対象画像１ａが含まれていないことを表示部８０により表示して、画像認識の処理を終了する。
【０１２３】
ステップＳ６２で類似する色の少なくとも１つの分割領域についての変数Ｑが所定値Ｑｏより小さいと判断したときには、入力画像１ｂのいずれかの位置に対象画像１ａが含まれているものとして、ステップＳ６３に進んで、入力画像１ｂ中に対象画像１ａが含まれていることを表示部８０により表示して、画像認識の処理を終了する。
【０１２４】
図２１〜図２６の例においては、入力画像１ｂの分割領域Ｃ７のみが対象画像１ａのステップＳ４１で選出した分割領域Ｃｃの色と類似する色の分割領域であり、かつ上述したように位置的に入力画像１ｂの分割領域Ｃ５，Ｃ６，Ｃ７が対象画像１ａの分割領域Ｃａ，Ｃｂ，Ｃｃに対応するので、式（４２）で表される変数Ｑが所定値Ｑｏより小さいか否かによって、入力画像１ｂ中に対象画像１ａが含まれているか否かの判定が分かれることとなる。
【０１２５】
例えば、所定値Ｑｏは、上記の式（４１）の係数ｋｄ，ｋｎがｋｄ＝１０，ｋｎ＝０．００１とされるとき、Ｑｏ＝１００とされる。したがって、図２１〜図２６の例においては、式（４２）で表される変数Ｑが所定値Ｑｏより小さくなり、入力画像１ｂ中に対象画像１ａが含まれていると判定されることとなる。
【０１２６】
上述した例によれば、入力画像１ｂの多数の分割領域中の、対象画像１ａの複数の分割領域中の指定された分割領域と代表色値Ｌ，Ａ，Ｂが同一の、または近似する分割領域を含む、対象画像１ａの複数の分割領域の相対的位置関係と同一の、または近似する相対的位置関係を有する複数の分割領域のみが、対象画像１ａの候補として抽出される。
【０１２７】
すなわち、図２１〜図２６の例においては、入力画像１ｂの分割領域Ｃ１〜Ｃ８中の、対象画像１ａの分割領域Ｃａ，Ｃｂ，Ｃｃ中の対象画像１ａの最も特徴的な色の領域として指定された分割領域Ｃｃに対して代表色値Ｌ，Ａ，Ｂが一定範囲内にある分割領域Ｃ７を含む、対象画像１ａの分割領域Ｃａ，Ｃｂ，Ｃｃの相対的位置関係に対して一定範囲内の相対的位置関係を有する分割領域Ｃ５〜Ｃ７のみが、対象画像１ａの候補として抽出される。
【０１２８】
したがって、任意の入力画像から対象画像の候補が精度よく抽出され、その限られた少数の対象画像候補の複数の分割領域と対象画像の複数の分割領域とが比較されることにより、任意の入力画像中に対象画像が含まれているか否かが短時間で判定される。
【０１２９】
なお、図示した例は入力画像１ｂ中に対象画像１ａが含まれているか否かが判定されるだけであるが、図２０のステップＳ６２で類似する色の少なくとも１つの分割領域についての変数Ｑが所定値Ｑｏより小さいと判断したときには、さらにその変数Ｑが所定値Ｑｏより小さい分割領域が入力画像１ｂのいずれの分割領域であるかを検出するとともに、その分割領域とともに対象画像１ａの複数の分割領域と対応づけられる他の分割領域を検出することによって、入力画像１ｂ中に対象画像１ａが含まれていると判定する場合に、同時に入力画像１ｂのどこに、どのような向きで対象画像１ａが存在するかを検出することができる。
【０１３０】
また、対象画像１ａが多数の領域に分割されるような場合には、例えば、図１９のステップＳ５６においては、対象画像１ａの一部の複数の分割領域と、これと位置的に対応する入力画像１ｂの複数の分割領域との、それぞれ位置的に対応するもの同士の間の類似度のみを計算して、変数Ｑを更新するようにしてもよい。
【０１３１】
なお、対象画像は、その対象画像が含まれているか否かが判定されるべき入力画像を取り込んで領域分割する画像処理装置とは別の画像処理装置により領域分割して、その分割結果のみを分割領域テーブルとして、入力画像を領域分割する画像処理装置のメモリに書き込むようにしてもよい。
【０１３２】
上述した例は、Ｋ平均アルゴリズムによって入力画像を領域分割する場合であるが、Ｋ平均アルゴリズムでは一般に、入力画像のすべての画素と新たなすべての領域中心との距離を計算するなどのために、入力画像サイズが大きい場合には、作業エリアや分割領域バッファとしてサイズの大きいものが必要になるとともに、領域分割処理に長時間を要することになる。
【０１３３】
そこで、発明者は先に、一般に、大きなサイズの入力画像を、小さいサイズの作業エリアや分割領域バッファにより、高速に領域分割することのできる、分割Ｋ平均アルゴリズムと呼ぶべき方法を発明し、特願平６−９６３２８号によって提案した。
【０１３４】
この分割Ｋ平均アルゴリズムは、入力画像を複数の中領域に分けて、それぞれの中領域をＫ平均アルゴリズムにより領域分割するものであるが、入力画像を単純に複数の中領域に分けて、それぞれの中領域を領域分割したのでは、それぞれの中領域の境界で最終的に分割された領域のつながりが悪くなることから、それぞれの中領域の間に境界領域を設けて、それぞれの中領域の領域分割にあたっては、その中領域と接するすべての境界領域を一緒に領域分割するものである。
【０１３５】
この発明の図１に示した例においても、この分割Ｋ平均アルゴリズムによって入力画像を領域分割することができる。
【０１３６】
なお、画像方向検出部３０の画素サイズは、図２および図３に示したような３×３画素に限る必要はない。また、入力画像データｌのみからではなく、例えば入力画像データｌ，ａ，ｂを加算し、その加算結果の入力画像データから入力画像の画像方向を検出し、画像方向成分ｄ１を抽出することもできる。さらに、この発明は、入力画像がＬａｂ色空間以外の例えばＲＧＢ色空間などで表現されたフルカラー画像の場合にも適用することができるとともに、白黒画像などの単色画像の場合にも適用することができる。
【０１３７】
【発明の効果】
上述したように、この発明によれば、任意の入力画像から対象画像の候補を精度よく抽出することができ、任意の入力画像中に対象画像が含まれているか否かを短時間で判定することができる。
【図面の簡単な説明】
【図１】この発明の画像処理装置の一例を示す機能ブロック図である。
【図２】その画像方向検出部の一例を示す機能ブロック図である。
【図３】画像方向の検出の説明に供する図である。
【図４】画像方向の検出の説明に供する図である。
【図５】画像方向成分の値と画像方向との関係を示す図である。
【図６】入力画像データの値と画像方向との関係を示す図である。
【図７】領域分割部における領域分割の全体的な手順を示すフローチャートである。
【図８】初期領域分割の態様の一例を示す図である。
【図９】領域分割テーブルの一例を示す図である。
【図１０】領域分割における距離計算の説明に供する図である。
【図１１】領域分割における距離計算の説明に供する図である。
【図１２】新たな領域分割の説明に供する図である。
【図１３】新たな領域分割により各分割領域の形状が変えられた状態を示す図である。
【図１４】新たな領域中心の代表画像方向成分の算出手順を示すフローチャートである。
【図１５】代表画像方向成分の算出の説明に供する図である。
【図１６】代表画像方向成分の算出の説明に供する図である。
【図１７】この発明の画像処理装置の一例における全体的な手順を示すフローチャートである。
【図１８】画像認識部における画像認識の手順の一部を示すフローチャートである。
【図１９】画像認識部における画像認識の手順の他の一部を示すフローチャートである。
【図２０】画像認識部における画像認識の手順の残部を示すフローチャートである。
【図２１】対象画像の領域分割の結果の例を示す図である。
【図２２】入力画像の領域分割の結果の例を示す図である。
【図２３】対象画像の領域分割の結果の分割領域テーブルの例を示す図である。
【図２４】入力画像の領域分割の結果の分割領域テーブルの例を示す図である。
【図２５】対象画像の領域分割の結果の極座標に変換後の分割領域テーブルの例を示す図である。
【図２６】入力画像の領域分割の結果の極座標に変換後の分割領域テーブルの例を示す図である。
【符号の説明】
１０  画像入力部
３０  画像方向検出部
４０  領域分割部
５０  分割領域バッファ
６０  画像認識部
１ａ  対象画像
１ｂ  入力画像
【図１】
0003637927.tif 000005
【図２】
0003637927.tif 000006
【図３】
0003637927.tif 000007
【図４】
0003637927.tif 000008
【図５】
0003637927.tif 000009
【図６】
0003637927.tif 000010
【図７】
0003637927.tif 000011
【図８】
0003637927.tif 000012
【図９】
0003637927.tif 000013
【図１０】
0003637927.tif 000014
【図１１】
0003637927.tif 000015
【図１２】
0003637927.tif 000016
【図１３】
0003637927.tif 000017
【図１４】
0003637927.tif 000018
【図１５】
0003637927.tif 000019
【図１６】
0003637927.tif 000020
【図１７】
0003637927.tif 000021
【図１８】
0003637927.tif 000022
【図１９】
0003637927.tif 000023
【図２０】
0003637927.tif 000024
【図２１】
0003637927.tif 000025
【図２２】
0003637927.tif 000026
【図２３】
0003637927.tif 000027
【図２４】
0003637927.tif 000028
【図２５】
0003637927.tif 000029
【図２６】
0003637927.tif 000030