(57)【要約】【課題】  認識対象物を含む画像中から、認識対象物を認識する際に、高い精度で認識対象物を認識することができる画像処理装置を提供する。【解決手段】  認識対象物を含む供試画像を、供試画像分割手段１５において、色などの特徴量に基づいて分割領域に分割する。この分割領域の形状から解釈候補算出手段１６において、特徴量学習手段１３で学習された認識対象物の特徴量と比較して、複数の解釈候補を算出する。認識手段１７は、解釈候補算出手段１６から出力された複数の解釈候補について、認識対象物の形状などから確信度を算出し、解釈候補と確信度とから最尤の解釈となる最尤解釈を演算により求める。【選択図】図１
2005050285.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮像された画像中における認識対象物を認識する画像処理装置において、
前記画像を部分的特徴量に基づいて各領域に分割する領域分割手段と、
前記画像中における前記認識対象物として学習された学習部分的特徴量と、前記領域分割手段で分割された領域における部分的特徴量とを比較して、前記認識対象物を予想する認識対象物予想手段と、
前記認識対象物予想手段における予想結果と、前記認識対象物を含む画像として学習された学習全体的特徴量とを比較して、認識対象物を認識する認識手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記学習全体的特徴量として、前記画像中における各領域のモーメントが用いられている請求項１に記載の画像処理装置。
【請求項３】
撮像手段で撮像された画像中における認識対象物を認識する画像処理方法において、
前記画像を部分的特徴量に基づいて各領域に分割し、
前記画像中における前記認識対象物として学習された学習部分的特徴量と、前記領域分割手段で分割された領域における部分的特徴量とを比較して、前記認識対象物を予想し、
前記認識対象物の予想結果と、前記認識対象物を含む画像として学習された学習全体的特徴量とを比較して、認識対象物を認識することを特徴とする画像処理方法。
【請求項４】
前記学習全体的特徴量として、前記画像中における各領域のモーメントが用いられている請求項３に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に係り、特に、認識対象物を高い精度で認識することができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像処理においては、画像処理した情報を確実に利用することができるようにするために、認識対象物を正確に認識することが必要とされる。このような画像中における認識対象物を認識するものとして、従来特開平４−３５４０７１号公報に開示された画像処理方法がある。この画像処理方法は、特定色抽出方法によって抽出された特定の色や明度などに基づいて、認識対象物の形状などの幾何学的特徴を認識するものである。
【特許文献１】特開平４−３５４０７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、単に色相や明度などの特徴量から認識対象物の形状を認識したとしても、高い精度での形状の認識、ひいては認識対象物の認識を期待することができない。そこで、認識対象物を高い精度で認識する方法として、画像を特徴量に基づいて分割し、分割された領域のうち、隣接する領域同士の特徴量の関係を用いることで、認識の精度を高める画像処理方法もある。
【０００４】
ところが、このような画像処理方法では、単に隣接領域の特徴量を比較するのみであるので、各領域における他の要素は比較されていない。したがって、認識精度をさらに高める余地があるものであった。
【０００５】
そこで、本発明の課題は、認識対象物を含む画像中から、認識対象物を認識する際に、高い精度で認識対象物を認識することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決した本発明に係る画像処理装置は、撮像手段で撮像された画像中における認識対象物を認識する画像処理装置において、前記画像を部分的特徴量に基づいて各領域に分割する領域分割手段と、前記画像中における前記認識対象物として学習された学習部分的特徴量と、前記領域分割手段で分割された領域における部分的特徴量とを比較して、前記認識対象物を予想する認識対象物予想手段と、前記認識対象物予想手段における予想結果と、前記認識対象物を含む画像として学習された学習全体的特徴量とを比較して、認識対象物を認識する認識手段と、を備えることを特徴とするものである。
【０００７】
本発明に係る画像処理装置においては、認識対象物を認識するにあたり、まず部分的特徴量を、既に学習された既知部分特徴量とを比較して、認識対象物を予想する。それから、その予想結果と全体特徴量とを比較することにより、認識対象物を認識するようにしている。このため、単に隣接領域の特徴量を比較するのみの場合などと比較すると、精度の高い認識対象物の認識を可能とする。
【０００８】
ここで、学習全体的特徴量として、画像中における各領域のモーメントが用いられているのが好適である。
【０００９】
このように、学習全体的特徴量として、画像中における各領域のモーメントを用いることにより、少ない計算量で好適に学習全体的特徴量を設定することができる。
【００１０】
また、上記課題を解決した本発明に係る画像処理装置は、撮像手段で撮像された画像中における認識対象物を認識する画像処理方法において、画像を部分的特徴量に基づいて各領域に分割し、画像中における認識対象物として学習された学習部分的特徴量と、領域分割手段で分割された領域における部分的特徴量とを比較して、認識対象物を予想し、認識対象物の予想結果と、認識対象物を含む画像として学習された学習全体的特徴量とを比較して、認識対象物を認識することを特徴とする。
【００１１】
また、学習全体的特徴量として、画像中における各領域のモーメントが用いられているのが好適である。
【発明の効果】
【００１２】
本発明によれば、認識対象物を含む画像中から、認識対象物を認識する際に、高い精度で認識対象物を認識することができる画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の好適な実施形態について説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【００１４】
図１は、本発明の第１の実施形態に係る画像処理装置のブロック構成図である。
【００１５】
図１に示すように、本実施形態に係る画像処理装置１は、学習画像入力手段１１、学習画像領域分割手段１２、および特徴量学習手段１３を備えている。また、画像処理装置１は、供試画像入力手段１４、供試画像領域分割手段１５および本発明の認識対象物予想手段である解釈候補算出手段１６を備えている。さらに画像処理装置１は、認識手段１７を備えており、認識手段１７は、確信度演算手段１８および最尤解釈演算手段１９を備えている。
【００１６】
学習画像入力手段１１は、図示しない撮像手段であるＣＣＤカメラなどに接続されている。このＣＣＤカメラは、認識対象物を含む画像を学習画像として撮像し、学習画像入力手段１１に出力する。学習画像入力手段１１では、ＣＣＤカメラから出力された学習画像を入力処理し、入力処理学習画像として学習画像領域分割手段１２に出力する。学習画像領域分割手段１２では、学習画像入力手段１１から出力された入力処理学習画像から所定の特徴量を検出し、検出した特徴量に基づいて入力処理学習画像を領域分割する。
【００１７】
学習画像領域分割手段１２は、分割処理した入力処理学習画像（以下、「分割学習画像」という）を特徴量学習手段１３に出力する。特徴量学習手段１３では、分割学習画像から、認識対象物となる領域特徴量を検出し、この特徴量を認識対象物特徴量として学習し記憶しておく。ここで用いられる特徴量としては、たとえば色相、輝度、テクスチャなどを挙げることができる。
【００１８】
また、供試画像入力手段１４は、学習画像入力手段１１と同様、撮像手段である図示しないＣＣＤカメラに接続されている。ＣＣＤカメラは、周囲の風景などを撮像し、供試画像として供試画像入力手段１４に出力する。供試画像入力手段１４では、出力された供試画像を入力処理して、入力処理供試画像として供試画像領域分割手段１５に出力する。供試画像領域分割手段１５では、供試画像入力手段１４から出力された入力処理供試画像から特徴量を検出し、検出した特徴量に基づいて入力処理供試画像を領域分割する。
【００１９】
供試画像領域分割手段１５は、分割処理した入力処理供試画像（以下、「分割供試画像」という）を解釈候補算出手段１６に出力する。一方、特徴量学習手段１３は、学習した
認識対象物特徴量を解釈候補算出手段１６に出力する。解釈候補算出手段１６では、特徴量学習手段１３から出力された認識対象物特徴量と、供試画像領域分割手段１５から出力された分割供試画像とを比較し、分割供試画像における分割領域の特徴量と近い認識対象物特徴量で表される認識対象物をその分割領域の解釈候補として選出する。
【００２０】
解釈候補算出手段１６では、このような解釈候補として、分割領域に最も近い認識対象物特徴量で表される認識対象物だけでなく、分割領域に近い認識対象物特徴で表される複数の認識対象物を算出する。解釈候補算出手段１６は、算出した複数の解釈候補を認識手段１７における確信度演算手段１８または最尤解釈演算手段１９に出力する。
【００２１】
確信度演算手段１８では、解釈候補算出手段１６から出力された複数の解釈候補それぞれの確信度を算出し、最尤解釈演算手段１９に出力する。最尤解釈演算手段１９では、解釈候補算出手段１６から出力された複数の解釈候補または確信度演算手段１８から出力された複数の確信度から、最尤解釈を算出する。
【００２２】
以上の構成を有する本実施形態における画像処理装置における画像処理方法について説明する。図２は、本実施形態に係る画像処理装置における画像処理方法を示すフローチャートである。
【００２３】
図２に示すように、本実施形態に係る画像処理方法では、まず、認識対象物を決定し、ＣＣＤカメラで認識対象物を含む学習画像を撮像する。この学習画像から、認識対象物の特徴量を学習する（Ｓ１）。このときの認識対象物としては、たとえば屋外交通環境の認識を例とすると、道路、車、標識などを例示することができる。また、このときに学習する特徴量には、本発明の学習部分的特徴量となる学習画像中を分割した各分割領域の特徴量、および本発明の学習全体的特徴量となる認識対象物全体の形状情報がある。
【００２４】
学習部分的特徴量としては、画像中における各分割領域の色、テクスチャ、形状、面積の分布などを用いることができる。また、各分割領域における隣接する領域の特徴量の関係を用いることができる。このような隣接する特徴量の関係を用いる場合には、隣接領域の対象の組み合わせと、輝度等の特徴量の分布を用いることができる。この学習部分的特徴量は、認識対象物の予想（候補の絞込み）に用いられる。本実施形態では、学習部分的特徴量として色を用いる。
【００２５】
また、学習全体的特徴量としては、認識対象物の外形形状や構造の特徴を用いることができる。このような外形形状や構造の特徴は、ｐ記述子で求めることができる。本実施形態では、学習全体的特徴量として外形形状を用いる。
【００２６】
認識対象物の特徴量を学習する際には、画像処理装置１においては、ＣＣＤカメラで撮像された学習画像を学習画像入力手段１１で入力処理して入力学習画像とした後、学習画像領域分割手段１２で入力処理学習画像における特徴量を求める。この入力処理画像中における同様の特徴量を有する部分を１つの領域として、異なる特徴量を有する複数の分割領域を有する分割学習画像を得る。
【００２７】
それから、特徴量学習手段１３に分割学習画像を出力し、特徴量学習手段１３において、分割学習画像から、認識対象物を表す領域部分における色の分布を学習部分的特徴量として学習する。また、認識対象物の外形形状を学習全体的特徴量として学習する。特徴量学習手段１３は、学習した認識対象物の色および外形形状を解釈候補算出手段１６に出力する。
【００２８】
こうして認識対象物の色および外形形状を学習したら、認識対象物を解釈する供試画像をＣＣＤカメラで撮像し、この供試画像を領域分割する（Ｓ２）。供試画像の領域分割を行うにあたり、まず、ＣＣＤカメラで撮像した供試画像を画像処理装置１における供試画像入力手段１４に出力し、供試画像入力手段１４で入力処理を施して入力処理供試画像として供試画像領域分割手段１５に出力する。
【００２９】
供試画像領域分割手段１５では、入力処理供試画像における色の分布に基づいて、同様の色、たとえば白色と白色、赤色と赤色を有する領域を１つの領域としてまとめ、色に基づいて分割された複数の領域を有する分割供試画像を得る。ここで、領域分割を行うにあたり、複数の対象が１つの領域におさまることは避けた方がよいので、領域分割を行う閾値を小さくして過分割される程度のものとするのが好適である。供試画像領域分割手段１５は、入力処理供試画像を領域分割して得た分割供試画像を解釈候補算出手段１６に出力する。
【００３０】
続いて、解釈候補算出手段１６では、特徴量学習手段１３から出力された認識対象物の色と供試画像領域分割手段１５から出力された分割供試画像における各分割領域の色とを比較する。認識対象物の色と分割供試画像における各領域の色との比較は、色の一致度の確率的な尤度の高さを算出することによって行われる。この認識対象物の色と分割供試画像における各分割領域の色との比較の結果、尤度の高い解釈となる認識対象物を分割領域の解釈候補として複数求める（Ｓ３）。
【００３１】
この確率的に尤度の高い認識対象物の解釈の判断としてはいわゆるベイジアンネットワークなどの確率的手法を用いることができる。ここで、分割領域の色に近い色を有する認識対象物を求めるが、尤度が最も高い認識対象物のみならず、尤度が高い認識対象物を複数求める。
【００３２】
この解釈候補となる複数の認識対象物のいずれかが分割領域の解釈となると予想される。解釈候補算出手段１６は、尤度が高いと解釈された複数の認識対象物の特徴量およびその外形形状を認識手段１７における確信度演算手段１８に出力する。また、それらの分割領域の特徴量を最尤解釈演算手段１９に出力する。確信度演算手段１８では、解釈候補算出手段１６から出力された分割供試画像における分割領域について、認識対象物であると予想された結果が正しいことの確信度を算出する（Ｓ４）。
【００３３】
確信度の算出は、認識対象物の外形形状を用いることによって行うことができる。ステップＳ３で求められた複数の解釈候補は、部分的特徴量である色によって求められているものであり、外形形状などの全体的特徴量とは別個のものである。そこで、分割供試画像における部分的特徴量で表される形状を、学習された認識対象物の外形形状と比較することにより、認識対象物としての確かさを算出することができる。
【００３４】
こうして、確信度演算手段１８は、分割供試画像における分割領域に対する複数の認識対象物の確信度を算出したら、その算出結果を最尤解釈演算手段１９に出力する。最尤解釈演算手段１９では、ステップＳ３で求めた尤度の高い認識対象物とそれらの認識対象物におけるそれぞれの確信度を積算する（Ｓ５）。その算出結果が最も高いものが最尤な認識対象物であると判断することができる。
【００３５】
分割供試画像における最尤な分割領域を算出したら、その認識対象物が分割領域に該当すると判断し、その判断結果を図示しない出力装置に出力する（Ｓ６）。
【００３６】
このように、本実施形態に係る画像処理方法では、まず分割供試画像における分割領域の色を予め学習された認識対象物の色と比較して分割領域の解釈候補としての認識対象物を複数求め、続いて全体的特徴量としての外形形状を用いて複数の分割領域の中から、最尤の分割領域を演算により求めている。したがって、単に隣接領域の特徴量を比較するのみの場合などと比較すると、認識対象物の形状や構造といった全体的特徴量を考慮しているので、その分精度の高い認識対象物の認識を行うことができる。
【００３７】
次に、本発明の第２の実施形態について説明する。本実施形態では、上記第１の実施形態と比較して、既知全体特徴量として、画像中における各領域のモーメント情報を利用する点で主に異なっている。また、本実施形態で用いられる画像処理装置は、上記第１の実施形態で用いた図１に示す画像処理装置１と同様の構成を有している。
【００３８】
図３は、本発明の第２の実施形態に係る画像処理装置における画像処理方法を示すフローチャートである。
【００３９】
図３に示すように、本実施形態に係る画像処理方法では、まず、認識対象物を決定し、ＣＣＤカメラで認識対象物を含む学習画像を撮像する。この学習画像から、認識対象物の特徴量を学習する（Ｓ１１）。このときに学習する特徴量は、上記第１の実施形態と同様、学習部分的特徴量と、学習全体的特徴量であるが、本実施形態では、この学習全体的特徴量が、主に上記第１の実施形態と異なる。
【００４０】
学習部分的特徴量としては、上記第１の実施形態と同様、画像中における各分割領域の色、テクスチャ、形状、面積の分布、あるいは、各分割領域における隣接する領域の特徴量の関係を用いることができる。一方、学習全体的特徴量としては、画像中における各領域のモーメントが用いられる。特徴量の学習については、さらに後に説明する。
【００４１】
これらの認識対象物の特徴量を学習したら、認識対象物を解釈する供試画像をＣＣＤカメラで撮像し、この供試画像を領域分割する（Ｓ１２）。入力処理供試画像の領域分割は、上記第１の実施形態と同様の手順により行い、入力処理供試画像を領域分割して得た分割供試画像を解釈候補算出手段１６に出力する。
【００４２】
解釈候補算出手段１６では、供試画像領域分割手段１５から出力された分割供試画像における各領域の色を判断するとともに、各領域のモーメント特徴を演算によって求める（Ｓ１３）。モーメント特徴の算出については、後に説明する。
【００４３】
さらに、解釈候補算出手段１６では、特徴量学習手段１３から出力された認識対象物の色と供試画像領域分割手段１５から出力された分割供試画像における各分割領域の色とを比較する。認識対象物の色と分割供試画像における各領域の色との比較は、色の一致度の確率的な尤度の高さを算出することによって行われる。この認識対象物の色と分割供試画像における各分割領域の色との比較の結果、尤度の高い解釈となる認識対象物を分割領域の解釈候補として複数生成する（Ｓ１４）。認識対象物の解釈候補は、上記第１の実施形態と同様の手順によって生成することができる。
【００４４】
解釈候補となる認識対象物を複数生成したら、解釈候補算出手段１６は、それらの解釈候補を認識手段１７における確信度演算手段１８に出力する。解釈候補算出手段１６は、尤度が高いと解釈された複数の認識対象物および認識対象物のモーメント特徴を認識手段１７における確信度演算手段１８に出力する。また、分割領域の特徴量を最尤解釈演算手段１９に出力する。
【００４５】
確信度演算手段１８では、分割供試画像における分割領域の外形形状と予め学習された認識対象物の外形形状とを比較し、分割領域が認識対象物を示すことの確信度を算出する（Ｓ１５）。確信度の算出は、ステップＳ１３で求めるモーメント特徴を利用することができる。この確信度の算出については、後に説明する。
【００４６】
こうして、ある解釈候補について確信度を算出したら、確信度の算出が済んでいない解釈候補があるか否かを判断する（Ｓ１６）。その結果、解釈候補が残っている場合には、ステップＳ１４に戻り、同様の処理を行った確信度の算出が済んでいない解釈候補についての確信度を算出する。以後、すべての解釈候補についての確信度の算出が行われるまでステップＳ１４〜ステップＳ１６の工程の処理が行われる。その後、すべての解釈候補についての確信度を算出したら、確信度演算手段１８は、各解釈候補の確信度を最尤解釈演算手段１９に出力する。最尤解釈演算手段１９では、最尤解釈演算手段１９では、ステップＳ１４で求めた領域候補とそれらの領域候補におけるそれぞれの確信度を積算する。その算出結果を、最も高いものが最尤な認識対象物であると判断して最尤候補として提示する（Ｓ１７）。
【００４７】
次に、本実施形態の画像処理方法における個々の各工程のうち、特徴的な工程について説明する。
【００４８】
まず、ステップＳ１１に示す学習工程について説明する。図４は、本実施形態に係る画像処理方法における学習工程を示すフローチャートである。
【００４９】
図４に示すように、本実施形態に係る画像処理方法の学習工程では、まず、ＣＣＤカメラ認識対象物を含む学習画像を撮像し、学習画像入力手段１１で入力処理した後、その学習画像を領域分割する（Ｓ２１）。その後、初期学習が終了したか否かを判断する（Ｓ２２）。初期学習の終了は、たとえば領域分割された分割学習画像が１０枚程度揃っているか否かにより判断される。
【００５０】
その結果、初期学習が終了していないと判断したら、分割学習画像における各分割領域がどのような認識対象物となるかという属性を教示する（Ｓ２３）。たとえば、分割領域が緑色をしていれば植物の属するがある旨などを教示する。この段階が、認識対象物を表す領域を完全手動で教示する初期学習の第１のフェーズとなる。
【００５１】
一方、初期学習が終了したと判断したら、第２のフェーズとして、分割学習画像中における認識対象物のおおよその位置（ラフ位置）を教示する（Ｓ２４）。このラフ位置と、初期学習によって得られた分割学習画像中における認識対象物の特徴量から、解釈候補を提示する（Ｓ２５）。解釈候補を提示させた結果、誤った解釈をしている領域があるか否かについて判断する（Ｓ２６）。たとえば、特徴量として緑色を有する分割領域において、植物を認識対象物の解釈候補として提示すべきところ、ある分割領域では、他の認識対象物の解釈候補を提示してきた場合に、その分割領域の解釈は誤っていると判断する。
【００５２】
誤った解釈をしている領域があるか否かを判断した結果、誤った分割領域があると判断した場合には、その分割領域の解釈候補を正確な解釈候補に訂正する（Ｓ２７）。一方、誤った解釈をしている領域はないと判断した場合には、すべての分割学習画像に対する学習が終了したか否かを判断する（Ｓ２８）。その結果、学習が終了していない分割学習画像があると判断した場合には、ステップＳ２４に戻って第２のフェーズの学習を行う。一方。すべての画像に対する学習が終了したと判断したら、第２のフェーズの学習が終了する（Ｓ２９）。
【００５３】
このように、認識対象物の特徴量を学習するにあたり、少数の学習画像を用いて、認識対象物を表す領域を完全に手動で教示する初期学習のフェーズと、教示された認識対象物のラフ位置から、それまでの学習結果をもとに、解釈の候補をコンピュータ側が提示し、それに対する誤りを訂正するフェーズの２つのフェーズで学習を行っている。このため、処理の簡素化を図ることができる。また、ＮＮやＳＶＭと違い、別々のパーソナルコンピュータで学習した結果を統合して扱うこともできる。したがって、複数の人が別々のパーソナルコンピュータで学習を行って、それぞれの人の負荷を分散することもできる。
【００５４】
次に、モーメント特徴の算出について説明する。
【００５５】
本実施形態に係る画像処理方法における全体的特徴量としては、各分割領域のモーメントを利用している。画像を領域分割し、多数の分割領域の組み合わせに対して、全体的特徴量として形状、構造を判断する場合、ｐ記述子を用いることが考えられる。ところが、ｐ記述子を用いた場合には、各組み合わせに対して独立に形状、構造を計算するので、非常に計算負荷が高くなってしまう。これに対してモーメント特徴を用いることにより、組み合わせ領域の形状や構造を、各単一領域の形状から簡単に求めることができる。
【００５６】
たとえば、図５に示す２つの分割領域ＲＡ，ＲＢがあったとする。この場合、第一分割領域ＲＡのＸ方向の１次モーメントおよび２次モーメントは、それぞれ下記（１）式および（３）式により求めることができる。
【００５７】
【数１】
2005050285.tif 000003
また、第二分割領域ＲＢのＸ方向の１次モーメントおよび２次モーメントは、それぞれ下記（４）式および（６）式により求めることができる。
【００５８】
【数２】
2005050285.tif 000004
さらに、領域ＲＡ∪ＲＢのＸ方向の１次モーメントおよび２次モーメントは、それぞれ下記（７）式および（９）式により求めることができる。
【００５９】
【数３】
2005050285.tif 000005
また、同様の計算により、Ｙ方向のｎ次モーメント、およびｎ次モーメント（３≦ｎ）についても求めることができる。
【００６０】
このようなモーメント特徴を全体的特徴量として利用することができる。このモーメントを学習して学習全体的特徴量として特徴量学習手段１３で学習しテンプレートとする。このテンプレートを用いて供試画像における認識対象物の確信度を確信度演算手段１８で求める。
【００６１】
テンプレートは、ｎ次までの各モーメントの分布を有しており、認識対象物との比較から、各モーメントに対する尤度を求めることができる。
【００６２】
また、認識対象物の縦横比に関する情報は２次モーメントに現れるが、３次以上のモーメントにも縦横比が異なる影響が現れる。したがって、２次モーメントは面積を用いて、３次以上のモーメントは、縦横比を用いて正規化することができる。さらに、対象が画像平面内で回転した場合のモーメント情報についても、非常に簡単な計算で表すことができる。このように、全体的特徴量としてモーメントを用いることにより、全体的な計算量を減少させることができる。
【００６３】
また、モーメントを利用する場合に、認識対象物の形状のみならず、構造などを利用することができる。ここでいう構造とは、認識対象物が一般的に有する部品等の構成などを意味し、たとえば自動車を後方から撮像した場合には、幅方向左右両端部には、テールランプがあり、下端部にはタイヤがあるなどの認識対象物の構造をいう。後ろ向きの自動車を認識対象物とすると、テールランプやナンバープレートなどに構造の特徴が現れる。これらの構造を利用して全体的特徴量とするものである。
【００６４】
いま、車両の全体を全体領域、構造となる特徴部分を特徴領域とする。本発明の全体的特徴量は、全体領域と特徴領域を含めた構造として表される。全体的特徴量は、車両を含む複数枚の学習画像から、形状・構造・色のばらつきを表現したテンプレートとして用意される。
【００６５】
図６に示すように、分割領域の全体形状が全体領域Ｍとされる。また、車両の左後輪に相当する領域が第一特徴領域Ｒ１とされ、車両の右後輪に相当する領域が第二特徴領域Ｒ２とされる。これらの特徴領域を複数設定し、車両の右テールランプに相当する領域が第ｎ特徴領域Ｒｎとされる。特徴量学習手段１３では、全体領域Ｍ、第一〜第ｎ特徴領域Ｒ１〜Ｒｎのそれぞれのモーメント分布を学習して、テンプレートとする。ここで、各領域のモーメントは、全体領域の重心を中心とし、面積で正規化する。また、これらのモーメントを、それぞれＸ軸、Ｙ軸について、１次、２次、…ｎ次モーメントとして求める。
【００６６】
図７（ａ）は、全体領域ＭのＸ軸周りの１次モーメント、２次モーメント…を表すグラフである。１次モーメントを表すグラフでは、特徴領域の１つであるテールランプ位置のばらつきを表している、１次モーメントを表す横軸は、重心からの距離にほとんど等しくなっている。また、２次モーメントを表すグラフでは、テールランプ形状の平均を中心として、そのばらつきを表している。２次モーメントを表す横軸は、ほとんど形状の変化を示すものとなる。
【００６７】
また、図７（ｂ）は、全体領域ＭのＹ軸周りの１次モーメント、２次モーメント…を表すグラフである。１次モーメントを表すグラフでは、Ｘ軸周りの場合と同様、特徴領域の１つであるテールランプ位置のばらつきを表している、１次モーメントを表す横軸は、重心からの距離にほとんど等しくなっている。また、２次モーメントを表すグラフでは、テールランプ形状の平均を中心として、そのばらつきを表している。２次モーメントを表す横軸は、ほとんど形状の変化を示すものとなる。
【００６８】
さらに、第一〜第ｎ特徴領域Ｒ１〜Ｒｎでは、色分布についてもそのばらつきを求めておき、たとえば縦軸に色の分布、横軸にテールランプ色のばらつきを表すグラフを設定しておく。横軸のおけるばらつきの中心がテールランプ色の平均となる。
【００６９】
このようにしてテンプレートとして全体的特徴量を学習したら、供試画像との間のマッチングを行う。テンプレートと供試画像とのマッチングは次のようにして行う。図８は、全体的特徴量を構造のモーメントとした場合における各分割領域の確信度を算出する手順を示すフローチャートである。
【００７０】
テンプレートは、図１に示す特徴量学習手段１３から解釈候補算出手段１６に出力されている。また、供試画像は、供試画像領域分割手段１５で分割された分割供試画像として解釈候補算出手段１６に出力されている。解釈候補算出手段１６では、上記第１の実施形態と同様にして複数の解釈候補を算出し、認識手段１７に出力している。
【００７１】
認識手段１７では、テンプレートにおける全体領域と供試画像における全体形状とを比較し、供試画像における分割領域とテンプレートの全体領域とが一致している割合（以下「一致度」という）を求める（Ｓ３１）。
【００７２】
全体形状の一致度を算出したら、次に、第一〜第ｎ特徴領域Ｒ１〜Ｒｎの一致度を算出する。そのため、特徴領域の一致度の算出順序を決定する（Ｓ３２）。特徴領域の一致度の算出順序は、各特徴領域の面積と重心周り１次モーメントの分散の積によって決定される。各特徴領域における面積と重心周り１次モーメントの分散の積が小さい方が、探索範囲が狭い。したがって、この積が小さい順に優先度を設定して、優先度の高い順に特徴領域の一致度を算出する。特徴領域の優先度を設定したら、一致度の算出が行われていない未処理特徴領域のうち、優先度が最高の特徴領域を選択する（Ｓ３３）。それから、選択された特徴領域の一致度を算出する。
【００７３】
選択された特徴領域の一致度を算出するにあたり、まず、モーメントにより、全体領域Ｍのうちの特徴領域を探索する探索範囲を絞り込む（Ｓ３４）。ここでは、テンプレートにおける全体領域の１次モーメント分布を用いることにより、特徴領域の探索範囲を絞り込む。テンプレートにおける１次モーメントは、図９（ａ）に示すように、テンプレートとして記憶された全体領域の１次モーメントの分布を示すグラフから、図９（ｂ）に示す全体領域Ｍのうちの探索範囲Ｓを設定する。
【００７４】
１次モーメントによって探索範囲を絞り込んだら、テンプレートに記憶された色分布から、特徴領域がある可能性がある探索範囲をさらに絞り込む（Ｓ３５）。こうして、特徴領域があることがない範囲を探索範囲から除外する。こうして、探索範囲を設定したら、絞り込まれた探索範囲から、テンプレートにおける形状に最も近い形状を総当りで選び、その一致度を算出する（Ｓ３６）。
【００７５】
この作業を未処理特徴領域に対して行ったら、すべての特徴領域において行ったか否かを判断する（Ｓ３７）。その結果、すべての特徴領域において行われていないと判断した場合には、ステップＳ３３に戻り、未処理の特徴領域のうち、優先度が最高の特徴領域について同様の処理を繰り返す。一方、すべての特徴領域に対して一致度の算出が済んだら、最終的な一致度を算出する（Ｓ３８）。
【００７６】
こうして、分割画像についての一致度が算出される。認識手段１７では、複数の分割画像について同様の一致度の算出を行い、最も一致度が高い分割画像を認識対象物として認識することができる。このような方法では、車体などのように色の分布が支配的でない認識対象物について、色の重みを減らした認識対象物を認識することができる。したがって、その認識精度を高いものとすることができる。
【図面の簡単な説明】
【００７７】
【図１】第１の実施形態に係る画像処理装置のブロック構成図である。
【図２】第１の実施形態に係る画像処理装置における画像処理方法を示すフローチャートである。
【図３】第２の実施形態に係る画像処理装置における画像処理方法を示すフローチャートである。
【図４】第２の実施形態に係る画像処理方法における学習工程を示すフローチャートである。
【図５】画像中における分割領域を模式的に示す図である。
【図６】車両の全体領域と特徴領域との関係を説明するための図である。
【図７】（ａ）は、全体領域ＭのＸ軸周りの１次モーメント、２次モーメント…を表すグラフ、（ｂ）は、全体領域ＭのＹ軸周りの１次モーメント、２次モーメント…を表すグラフである。
【図８】全体的特徴量を構造のモーメントとした場合における各分割領域の確信度を算出する手順を示すフローチャートである。
【図９】（ａ）は、テンプレートとして記憶された全体領域の１次モーメントの分布を示すグラフ、（ｂ）は、（ａ）に対応する全体領域のうちの探索範囲を示す図である。
【符号の説明】
【００７８】
１…画像処理装置、１１…学習画像入力手段、１２…学習画像領域分割手段、１３…特徴量学習手段、１４…供試画像入力手段、１５…供試画像領域分割手段、１６…解釈候補算出手段、１７…認識手段、１８…確信度演算手段、１９…最尤解釈演算手段、Ｍ…全体領域、Ｒ１〜Ｒｎ…特徴領域、ＲＡ，ＲＢ…分割領域、Ｓ…探索範囲。
【図１】
2005050285.tif 000006
【図２】
2005050285.tif 000007
【図３】
2005050285.tif 000008
【図４】
2005050285.tif 000009
【図５】
2005050285.tif 000010
【図６】
2005050285.tif 000011
【図７】
2005050285.tif 000012
【図８】
2005050285.tif 000013
【図９】
2005050285.tif 000014