(57)【要約】  【課題】  撮像した画像データから直線と認識される部分又は角と認識される部分を有する領域を排除することにより、人間が存在する領域の認識精度を向上させる画像認識システム、画像認識方法、及び画像処理装置を提供する。  【解決手段】  外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、画像処理装置は、撮像装置から取得した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する判断手段と、判断手段で、直線部分又は角部分と認識する部分が存在すると判断した場合、直線部分又は角部分を含む領域を画像データから削除する手段とを備える。【選択図】        図３
2006171884.tif 000002
【特許請求の範囲】
【請求項１】
外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、
前記画像処理装置は、
前記撮像装置から取得した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する判断手段と、
前記判断手段で、直線部分又は角部分と認識する部分が存在すると判断した場合、該直線部分又は角部分を含む領域を画像データから削除する手段とを備えることを特徴とする画像認識システム。
【請求項２】
画像処理装置が、外部を撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成して外部へ出力する画像認識方法において、
前記画像処理装置は、
外部から取得した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断し、
直線部分又は角部分と認識する部分が存在すると判断した場合、該直線部分又は角部分を含む領域を画像データから削除して外部へ出力することを特徴とする画像認識方法。
【請求項３】
外部を撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成して外部へ出力する画像処理装置において、
外部から取得した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する判断手段と、
前記判断手段で、直線部分又は角部分と認識する部分が存在すると判断した場合、該直線部分又は角部分を含む領域を画像データから削除する手段とを備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部を撮像する撮像装置が撮像した画像データに基づいて、建物、道路等の人工物を画像データから排除して歩行者の存在の認識精度を向上する画像認識システム、画像認識方法、及び画像処理装置に関する。
【背景技術】
【０００２】
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用の撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の存在を認識して運転者に注意を促す周囲監視システムが多々開発されている。
【０００３】
すなわち、遠赤外用の撮像装置で人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有する。従来の周囲監視システムは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外用の撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間が存在する領域を特定することが可能となっている（非特許文献１参照）。
【非特許文献１】「ホンダ  アールアンドディー  テクニカル  レビュー  (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述した従来の周囲監視システムでは、人間の体温分布に基づいて人間が存在する領域であるか否かを認識しているため、例えば人間の肌が露出している頭部は輝度が高く表示され、衣服を身に付けている部分は比較的輝度が低く表示される。これに対して、例えば道路の脇に設置されている街灯は、発光している部分は輝度が高く表示され、他の部分は輝度が低く表示されることから、人間の体温分布と類似している場合には人間が存在する領域であると誤認識されるおそれがあるという問題点があった。
【０００５】
一方、街灯、道路、建物等の人工的な構造物は、直線と認識される部分又は角と認識される部分を、全体形状の一部に有することが多い。それに対して、人間の形状は、直線と認識される部分又は角と認識される部分を、ほとんど有することが無いという事実がある。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、撮像した画像データから直線と認識される部分又は角と認識される部分を有する領域を排除することにより、人間が存在する領域の認識精度を向上させる画像認識システム、画像認識方法、及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために第１発明に係る画像認識システムは、外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、前記画像処理装置は、前記撮像装置から取得した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する判断手段と、前記判断手段で、直線部分又は角部分と認識する部分が存在すると判断した場合、該直線部分又は角部分を含む領域を画像データから削除する手段とを備えることを特徴とする。
【０００８】
また、第２発明に係る画像認識方法は、画像処理装置が、外部を撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成して外部へ出力する画像認識方法において、前記画像処理装置は、外部から取得した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断し、直線部分又は角部分と認識する部分が存在すると判断した場合、該直線部分又は角部分を含む領域を画像データから削除して外部へ出力することを特徴とする。
【０００９】
また、第３発明に係る画像処理装置は、外部を撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成して外部へ出力する画像処理装置において、外部から取得した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する判断手段と、前記判断手段で、直線部分又は角部分と認識する部分が存在すると判断した場合、該直線部分又は角部分を含む領域を画像データから削除する手段とを備えることを特徴とする。
【００１０】
第１乃至第３発明では、外部を撮像した画像データにつき、直線部分又は角部分と認識する部分が存在する場合には、人工的な構造物を認識した領域であると判断し、直線部分又は角部分と認識する部分が存在する領域を画像データから削除することにより、人工的な構造物であると認識された画像データに関する画素が、歩行者等の画像認識処理において考慮されることが無く、人間特有の温度分布に対応した輝度分布を有する領域を人間が存在する領域であると認識する精度を向上させることが可能となる。
【発明の効果】
【００１１】
本発明によれば、人工的な構造物であると認識された画像データに関する画素が、歩行者等の画像認識処理において考慮されることが無く、人間特有の温度分布に対応した輝度分布を有する領域を人間が存在する領域であると認識する精度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明の実施の形態に係る画像認識システムの構成を示す模式図である。本実施の形態では、画像認識システムを車両に搭載した場合を例として説明する。
【００１３】
図１において、１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある画像処理装置３に送信される。
【００１４】
画像処理装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、及び音声、効果音等により聴覚的な警告を発する警報装置５とも、車載ＬＡＮケーブル６を介して接続されている。
【００１５】
図２は、本発明の実施の形態に係る画像認識システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１５を介して信号処理部１２へ送信する。
【００１６】
信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信したアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１３へ記憶する。
【００１７】
通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して画像処理装置３とデータの送受信を行う。通信インタフェース部１４は、画像処理装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの画像処理装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。
【００１８】
図３は、本発明の実施の形態に係る画像認識システムの画像処理装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。
【００１９】
また、通信インタフェース部３１は、液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００２０】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。
【００２１】
画像処理部３３は、ＬＳＩ基板であり、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する。画像処理部３３が、直線部分又は角部分と認識する部分が存在すると判断した場合、画像処理部３３は、直線部分又は角部分を含む認識領域を画像データから削除し、通信インタフェース部３１を介して表示装置４へ削除処理を施した後の画像データを送出する。また、画像処理部３３は、画像処理に必要なデータ、例えば直線パターン又は角パターンに対応するルックアップテーブル、若しくは演算処理の途上で生成したデータを記憶するＲＡＭを内蔵している。
【００２２】
画像処理部３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る画像認識システムの画像処理装置３の画像処理部３３の処理手順を示すフローチャートである。
【００２３】
画像処理部３３は、画像メモリ３２に記憶してある画像データを読出し（ステップＳ４０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ４０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。
【００２４】
ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。
【００２５】
【数１】
2006171884.tif 000003
【００２６】
（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。
【００２７】
エッジ部分を抽出した後、画像処理部３３は、抽出したエッジ部分が直線パターン又は角パターンに属するか否かを判断する（ステップＳ４０３）。
画像処理部３３が、抽出したエッジ部分が直線パターン又は角パターンに属すると判断した場合（ステップＳ４０３：ＹＥＳ）、画像処理部３３は、抽出したエッジ部分が属する直線パターン又は角パターンを境界とする領域に属する画素の画素値を‘０’にする（ステップＳ４０４）。すなわち、直線パターン又は角パターンを含む領域は、人工的な構造物を検出している可能性が高いと判断することができ、該人工的な構造物を示す領域に属する画素の画素値を‘０’とすることにより、画像データから除去する。
【００２８】
画像処理部３３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値を算出し（ステップＳ４０５）、相関値が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ４０６）。画像処理部３３が、相関値が所定の閾値以上の領域が存在すると判断した場合（ステップＳ４０６：ＹＥＳ）、画像処理部３３は、該領域が歩行者を示す領域であると判断して、表示装置４及び警報装置５に対して、通信インタフェース部３１を介して警報に関する情報を送出する（ステップＳ４０７）。
【００２９】
なお、画像処理部３３が、抽出したエッジ部分が直線パターン又は角パターンに属するか否かを判断する方法は、特に限定されるものではない。例えば、直線パターン又は角パターンを検出するためのルックアップテーブルを用いて判断する。
【００３０】
ルックアップテーブルとは、直線パターン又は角パターンに属する画素の所定の基準点からの相対座標を記憶してあるテーブルである。直線パターンを検出する場合、ルックアップテーブルをｌｕｔ（ｉ）（０≦ｉ≦Ｎ、Ｎは直線の長さ）＝（ｘ、ｙ）とする。始点を（０、０）とすると、ｌｕｔ（０）＝（０、０）となる。例えば、垂直下方の直線を示すときは、ｌｕｔ（１）＝（０、１）、ｌｕｔ（２）＝（０、２）、・・・、ｌｕｔ（Ｎ）＝（０、Ｎ）という値を有するテーブルとなる。
【００３１】
一方、角パターンを検出する場合、ルックアップテーブルをｌｕｔ（ｉ）（０≦ｉ≦Ｍ＋Ｎ、Ｍ、Ｎは角を構成する２本の直線の長さ）＝（ｘ、ｙ）とする。始点を（０、０）とすると、ｌｕｔ（０）＝（０、０）となる。例えば、直角を有し、２辺が垂直下方の直線及び水平右方の直線を示すときは、ｌｕｔ（１）＝（０、１）、ｌｕｔ（２）＝（０、２）、・・・、ｌｕｔ（Ｍ）＝（０、Ｍ）、ｌｕｔ（Ｍ＋１）＝（１、０）、ｌｕｔ（Ｍ＋２）＝（２、０）、・・・、ｌｕｔ（Ｍ＋Ｎ）＝（Ｎ、０）という値を有するテーブルとなる。
【００３２】
このように検出対象となる直線又は角に応じて、直線パターンに対応するルックアップテーブル、又は角パターンに対応するルックアップテーブルを生成し、画像処理部３３内のＲＡＭに記憶しておく。なお、直線パターンに対応するルックアップテーブル、又は角パターンに対応するルックアップテーブルを、画像データを受け付ける毎に生成するのではなく、事前に生成して画像処理部３３内のＲＡＭに記憶しておくことが望ましい。画像処理部３３における、以下に示す直線パターン又は角パターンの検出処理に係る演算の高速化を図ることができるからである。
【００３３】
図５は、画像処理部３３が直線パターン又は角パターンを検出する処理手順を示すフローチャートである。画像処理部３３は、抽出したエッジ部分の基準点を特定する（ステップＳ５０１）。検出するのが直線部分である場合、基準点は直線の始点であり、検出するのが角部分である場合、基準点は角を構成する２辺の交点となる。
【００３４】
画像処理部３３は、特定した基準点の位置を、直線パターン又は角パターンのルックアップテーブルの始点と位置合わせし（ステップＳ５０２）、ルックアップテーブル上にエッジ部分として検出された画素が存在する数をカウントする（ステップＳ５０３）。画像処理部３３は、ルックアップテーブル上にエッジ部分として検出された画素が存在する数のカウント値が所定の閾値より大きいか否かを判断し（ステップＳ５０４）、画像処理部３３が、所定の閾値より大きいと判断した場合（ステップＳ５０４：ＹＥＳ）、画像処理部３３は、基準点を含む直線パターン又は角パターンが存在しているものと判断する（ステップＳ５０５）。画像処理部３３が、所定の閾値以下であると判断した場合（ステップＳ５０４：ＮＯ）、画像処理部３３は、基準点を含む直線パターン又は角パターンが存在しないものと判断する（ステップＳ５０６）。
【００３５】
上述した判断処理を数式で表すと、（数２）のように表すことができる。（数２）において、ｇ（ｘ、ｙ）は座標（ｘ、ｙ）でのエッジ画像の画素値であり、値として‘１’か‘０’を有する。Ｘ［ｎ］、Ｙ［ｎ］は、ｎ番目のルックアップテーブルの値であり、基準点からの相対的な座標におけるルックアップテーブル値を示している。また、Ｎは直線パターン又は角パターンの長さを、ｔｈは閾値を、それぞれ示している。
【００３６】
【数２】
2006171884.tif 000004
【００３７】
（数２）において、右辺の演算結果が、所定の閾値ｔｈより大きい場合、エッジ部分が直線パターン又は角パターンと合致している度合が高いことから、抽出したエッジ部分が直線部分又は角部分であると判断することができる。
【００３８】
また、人工的な構造物を示す領域に属する画素を画像データから除去する方法についても、特に限定されるものではない。例えば画素毎に除去の対象であるか否かを示す除去フラグを設けておき、除去フラグがオン状態である画素につき、画素値を‘０’にする方法でも良い。図６は、斯かる場合の画像処理部３３の直線パターン又は角パターンを境界とする領域に属する画素を除去する処理の手順を示すフローチャートである。
【００３９】
画像処理部３３は、抽出したエッジ部分が直線パターン又は角パターンに属すると判断した場合（ステップＳ４０３：ＹＥＳ）、画像処理部３３は、直線パターン又は角パターンに属するエッジ部分の画素の除去フラグをオン状態とする（ステップＳ６０１）。画像処理部３３は、除去フラグがオン状態である画素を抽出して基準画素を特定し（ステップＳ６０２）、特定した基準画素の周囲８個の画素について、除去フラグがオフ状態である画素が存在するか否かを判断する（ステップＳ６０３）。
【００４０】
画像処理部３３が、基準画素の周囲８個の画素について、除去フラグがオフ状態である画素が存在しないと判断した場合（ステップＳ６０３：ＮＯ）、画像処理部３３は、抽出した他の画素を基準画素として（ステップＳ６０４）、ステップＳ６０３へ戻る。
【００４１】
画像処理部３３が、基準画素の周囲８個の画素について、除去フラグがオフ状態である画素が存在すると判断した場合（ステップＳ６０３：ＹＥＳ）、画像処理部３３は、除去フラグがオフ状態である画素の画素値と、基準画素の画素値との差が所定値より小さいか否かを判断する（ステップＳ６０５）。
【００４２】
画像処理部３３が、除去フラグがオフ状態である画素の画素値と、基準画素の画素値との差が所定値より小さいと判断した場合（ステップＳ６０５：ＹＥＳ）、除去フラグをオン状態に設定し（ステップＳ６０６）、オン状態に設定した画素を新たな基準画素として（ステップＳ６０７）、ステップＳ６０３へ戻る。
【００４３】
画像処理部３３が、除去フラグがオフ状態である画素の画素値と、基準画素の画素値との差が所定値以上であると判断した場合（ステップＳ６０５：ＮＯ）、画像処理部３３は、除去フラグがオン状態である画素の画素値を‘０’とし（ステップＳ６０８）、ステップＳ４０５へ戻る。
【００４４】
さらに、歩行者が存在するか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
【００４５】
歩行者が存在するか否かを判断するのに使用する特徴量が、人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値である場合、相関値Ｒの算出は（数３）に沿って行われる。
【００４６】
【数３】
2006171884.tif 000005
【００４７】
（数３）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。
【００４８】
また、表示装置４及び警報装置５に対して送出する警報に関する情報は、例えば表示装置４に対しては、歩行者として認識された領域を強調表示した画像データである。また、警報装置５に対しては、ブザーの鳴動開始を指示する信号、再生対象となる合成音声信号等である。警報に関する情報についても、特にこれらに限定されるものではない。
【００４９】
以上のように本実施の形態によれば、外部を撮像した画像データにつき、直線部分又は角部分と認識する部分が存在する場合には、人工的な構造物を認識した領域であると判断し、直線部分又は角部分と認識する部分が存在する領域を画像データから削除することにより、人工的な構造物であると認識された画像データに関する画素が、歩行者等の画像認識処理において考慮されることが無く、人間特有の温度分布に対応した輝度分布を有する領域を人間が存在する領域であると認識する精度を向上させることが可能となる。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施の形態に係る画像認識システムの構成を示す模式図である。
【図２】本発明の実施の形態に係る画像認識システムの遠赤外用ビデオカメラの構成を示すブロック図である。
【図３】本発明の実施の形態に係る画像認識システムの画像処理装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係る画像認識システムの画像処理装置の画像処理部の処理手順を示すフローチャートである。
【図５】画像処理部が直線パターン又は角パターンを検出する処理手順を示すフローチャートである。
【図６】画像処理部の直線パターン又は角パターンを境界とする領域に属する画素を除去する処理の手順を示すフローチャートである。
【符号の説明】
【００５１】
１、２  ビデオカメラ
３  画像処理装置
４  表示装置
５  警報装置
３１  通信インタフェース部
３２  画像メモリ
３３  画像処理部
【図１】
2006171884.tif 000006
【図２】
2006171884.tif 000007
【図３】
2006171884.tif 000008
【図４】
2006171884.tif 000009
【図５】
2006171884.tif 000010
【図６】
2006171884.tif 000011