(57)【特許請求の範囲】
【請求項１】
撮像手段により得られた画像より動物を検知する車両用の動物検知装置において、
前記画像から動物と推定される領域を切り出し、該切り出した動物推定領域の形状の複雑度を特徴量として算出する特徴量算出手段と、前記特徴量の変動量のばらつきを示す統計量を算出し、該算出した統計量が、予め設定される判定閾値より大きいとき、前記動物推定領域に対応する像が動物であると判定する動物判定手段とを備えることを特徴とする動物検知装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビカメラなどの撮像装置により得られる画像に基づいて動物を検知する車両用の動物検知装置に関する。
【０００２】
【従来の技術】
特開平９−２５９２８２号公報には、歩行者、動物などの移動障害物の検出装置が示されており、この装置は、撮像装置によって得られる画像上のオプティカルフローを抽出し、自車両の走行に起因するオプティカルフロー以外のフローを持つ領域を、画像内の移動障害物領域として抽出するものである。
【０００３】
また特開平７−５０８２５号公報には、建物に設置した撮像装置により人間や動物を監視するシステムが示されている。このシステムは、撮像装置と、これを搭載する回転台と、撮像装置により得られる画像を処理する画像処理装置とから構成され、画像内を移動する像を含む移動体領域を抽出し、さらに移動体領域の下部の領域の面積変化に基づいて歩行している人間を判定するものである。
【０００４】
また夜間での使用を考慮して、可視光線を検出する通常の撮像装置ではなく、遠赤外線を検出する赤外線撮像装置を使用して、周囲より高温である歩行者などの対象物を検出し、その輪郭を強調して表示するようにした表示処理装置も従来より知られている（特開平１１−３２８３６４号公報）。
【０００５】
【発明が解決しようとする課題】
しかしながら、特開平９−２５９２８２号公報に示された移動障害物検出装置は、移動する物体を検出することを目的としているため、歩行者だけでなく路上を移動する他の物体も検出する場合があり、歩行者のみを他の移動物体と区別して検出することはできない。またオプティカルフローの演算は、画像全体について行う必要があるため、専用のＤＳＰ（Digital Signal Processor）などを使用しなければならず、コストの上昇が避けられない。
【０００６】
また特開平７−５０８２５号公報に示されたシステムは、撮像装置を建物に固定して歩行者を検出するものであるため、車両に搭載し、車両走行中の判定に使用する場合には、歩行者の判定精度が低下するおそれがある。
また特開平１１−３２８３６４号公報に示された装置は、対象物の重心位置、縦横比、充足率、実面積などの条件に基づいて歩行者の頭部に相当する領域を決定することにより、歩行者を検知するものであり、歩行者以外の犬や馬といった動物全般を抽出することは困難である。
【０００７】
本発明は上述した点に着目してなされたものであり、走行中の車両から動物を正確に検知することができる動物検知装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、撮像手段により得られた画像より動物を検知する車両用の動物検知装置において、前記画像から動物と推定される領域を切り出し、該切り出した動物推定領域の形状の複雑度を特徴量として算出する特徴量算出手段と、前記特徴量の変動量のばらつきを示す統計量を算出し、該算出した統計量が、予め設定される判定閾値より大きいとき、前記動物推定領域に対応する像が動物であると判定する動物判定手段とを備えることを特徴とする。
【０００９】
この構成によれば、撮像手段により得られた画像から動物と推定される領域が切り出され、該切り出された動物推定領域の形状の複雑度が特徴量として算出され、この特徴量の変動量のばらつきを示す統計量が算出され、該算出された統計量が、予め定される判定閾値より大きいとき、動物推定領域に対応する像が動物であると判定されるので、比較的簡単な構成で、道路を横断する動物を走行中の車両から正確に検知することができる。
【００１０】
前記特徴量算出手段は、前記複雑度を前記動物推定領域の周囲長及び面積に基づいて算出する。具体的には、周囲長の２乗を面積で除算することにより複雑度を算出する。
また前記特徴量算出手段は、前記変動量の移動平均値を算出し、さらに所定サンプル数の前記移動平均値の標準偏差または分散を、ばらつきを表す統計量として算出することが望ましい。
【００１１】
また、前記撮像手段は、遠赤外線を検出可能なものとし、前記特徴量算出手段は、前記撮像手段の出力信号が示す画像の明るさが切り出し閾値以上の領域を前記動物推定領域とすることが望ましい。ここで切り出し閾値は、例えば画像内の明るさの最大値に１より小さい所定係数を乗算することにより設定する。
この構成により、動物推定領域を簡単な構成で正確に切り出すことが可能となる。
【００１２】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態にかかる車両用動物検知装置の構成を示すブロック図であり、この装置は、遠赤外線を検出可能な撮像部１と、撮像部１から出力されるアナログ画像信号をディジタル画像信号に変換するＡ／Ｄ変換部２と、Ａ／Ｄ変換部２から出力されるディジタル画像信号を記憶する画像記憶部３と、動物推定領域を切り出すための明るさ（撮像部１から出力される撮像信号レベル）Ｂの閾値ＢＴＨ（以下「切り出し閾値ＢＴＨ」という）を設定する切り出し閾値設定部４と、切り出し閾値ＢＴＨを用いて、閾値ＢＴＨ以上の明るさの領域を動物推定領域として切り出す領域切り出し部５と、切り出された動物推定領域の周囲長ＬＳ及び面積ＳＡを用いて算出される複雑度ＣＰＬＸ（＝ＬＳ2／ＳＡを、特徴量として算出する特徴量算出部６と、複雑度ＣＰＬＸの変動量Ｃ（ｋ）（＝ＣＰＬＸ（ｋ）−ＣＰＬＸ（ｋ−１）、ｋは連続的な時刻ｔをサンプリング時間間隔で離散化したパラメータ）を算出し、この変動量Ｃ（ｋ）に基づいて動物推定領域に対応する像が動物であるか否かを判定する動物判定部９と、撮像部１によって得られる画像及び動物判定部９による判定結果を表示するための表示部１１と、表示部１１に画像及び判定結果を表示させるための制御を行う表示制御部１０とを備えている。
【００１３】
図２は、図１の動物検知装置を実際に車両に搭載する場合の構成例を示す図であり、この例においては、運転者に道路の案内をするナビゲーション装置と動物検知装置とを組み合わせた運転補助システムとして構成されている。このシステムは、撮像部１に対応する遠赤外線カメラ１ａと、Ａ／Ｄ変換部２，画像記憶部３，切り出し閾値設定部４，領域切り出し部５，特徴量算出部６，及び動物判定部９を構成する画像処理電子制御ユニット（以下「画像処理ＥＣＵ」という）２１と、ナビゲーション装置の電子制御ユニットであって、表示制御部１０としての機能を有するナビゲーションＥＣＵ２２と、表示部１１に相当するナビゲーション用ディスプレイ２３とで構成されている。
【００１４】
遠赤外線カメラ１ａは、例えば図３に示すように車両の前部のほぼ中央位置に配置される。またディスプレイ２３は、例えば運転席から容易に見える位置であって且つ前方視界を良好に維持できる位置に配置される。ナビゲーションＥＣＵ２２は，切り換えスイッチ（図示せず）の設定に応じて、ディスプレイ２３に表示する画像を、ナビゲーション用の画像、またはカメラ１ａにより撮像されている画像のいずれかに切り換える制御を行う。
【００１５】
図２の画像処理ＥＣＵ２１は、Ａ／Ｄ変換部２及び画像記憶部３に相当する画像前処理部３１と、切り出し閾値設定部４，領域切り出し部５，特徴量算出部６，及び動物判定部９に対応し、各種演算処理を実行する画像処理ＣＰＵ３２とを備えて構成される。
【００１６】
以下図１に示す構成に沿って動物検知装置の動作を説明する。
切り出し閾値設定部４は、画像全体の明るさの最大値ＢＭＡＸを検出し、この最大値ＢＭＡＸに１より小さい所定係数αを乗算することにより、切り出し閾値ＢＴＨを設定する。所定係数αは、撮像部１の特性などによって適切な値が変化するので、実験的に最適値に設定される。
【００１７】
領域切り出し部５は、明るさＢが切り出し閾値ＢＴＨ以上である領域を動物推定領域として切り出す処理を行う。より具体的には、切り出し閾値ＢＴＨ以上の明るさの画素を抽出し、上下左右で連結している画素を結合して動物推定領域を切り出す。撮像部１は、遠赤外線を検出可能であり、被写体の温度が高いほど、明るさＢが増加するので、閾値ＢＴＨ（所定係数α）を実験的に適切な値に設定することにより、動物と推定される領域を正確に切り出すことができる。
【００１８】
特徴量算出部６は、下記式（１）により定義される動物推定領域の複雑度ＣＰＬＸを特徴量としてサンプリング時間ＴＳ（例えば３３ｍｓｅｃ）毎に算出する。
ＣＰＬＸ＝ＬＳ2／ＳＡ        （１）
ここで、ＬＳは動物推定領域の周囲長、ＳＡは動物推定領域の面積である。
【００１９】
動物が車両の進行方向に対してほぼ垂直の方向に歩行している場合、動物推定領域は、図４（ａ）に黒で塗りつぶして示すように変化し、その複雑度ＣＰＬＸは、同図（ｂ）に線Ｌ１で示すように周期的に変動する。一方動物推定領域が同図（ｃ）示すように単純な矩形であるような場合、例えば太陽で暖められて高温になっている電柱のような物体である場合は、その複雑度ＣＰＬＸは、理論的には一定であるか、実際には同図（ｂ）に線Ｌ２で示すように測定誤差程度の変動を伴って検出される。したがって動物判定部９は、複雑度ＣＰＬＸの変動を検出することにより動物推定領域に対応する像が、動物であるか否かを判定する。
【００２０】
より具体的には、動物判定部９は先ず下記式（２）により変動量Ｃ（ｋ）の移動平均ＭＡ（ｋ）を算出し、さらに下記式（３）により移動平均ＭＡ（ｋ）の標準偏差σを算出する。
【数１】
0004162824.tif 000002
【数２】
0004162824.tif 000003
式（２）により（ｎ−１）回前の変動量Ｃ（ｋ−ｎ＋１）から今回の変動量Ｃ（ｋ）までのｎ個の値の移動平均ＭＡ（ｋ）が算出され、式（３）により（ｍ−１）回前の移動平均ＭＡ（ｋ−ｍ＋１）から今回の移動平均ＭＡ（ｋ）までのｍ個の値の標準偏差σが算出される。
【００２１】
式（３）により算出される標準偏差σは、移動平均ＭＡ（ｋ）、したがって複雑度変動量Ｃ（ｋ）のばらつきを示す統計量であり、この標準偏差σが判定閾値σＴＨ以上であるときは、動物推定領域として切り出した像が、動物であると判定する。この処理は、複雑度変動量Ｃ（ｋ）の平均的な振幅が判定閾値を越える場合に、動物と判定することに相当する。判定閾値σＴＨは、実験により最適な値に予め設定されている。
【００２２】
式（３）による標準偏差σの算出は、例えば対象が動物である場合の複雑度ＣＰＬＸの平均的な変動周期に１回の割合で実行することが望ましく、通常は０．５秒程度の周期で実行する。サンプリング周期ＴＳを３３ｍｓｅｃとすると、サンプル数ｍ＝０．５／０．０３３≒１５となる。また式（２）のｎは例えば４に設定する。
【００２３】
動物判定部９は、標準偏差σが判定閾値σＴＨ以上か否かを判別し、σ≧σＴＨであるとき、動物推定領域として切り出した像が動物であると判定し、その結果を表示制御部１０に入力する。表示制御部１０は、Ａ／Ｄ変換部２から出力される画像をそのまま表示部１１に表示させる制御を行うとともに、動物であると判定された場合には、対応する領域を例えば図５に示すように強調する制御を行う。これにより、運転者は前方を横切る動物が存在することを容易に認識することが可能となる。
【００２４】
以上のように本実施形態によれば、動物推定領域の複雑度ＣＰＬＸの変動量Ｃ（ｋ）の移動平均ＭＡ（ｋ）が算出され、さらにｍ個の移動平均ＭＡの標準偏差σが算出され、標準偏差σが判定閾値σＴＨ以上であるとき、動物推定領域として切り出した像が動物である判定されるので、比較的簡単な構成で走行中の車両から動物を正確に検知することができる。すなわち、前記式（１）により定義される複雑度ＣＰＬＸは、当該車両の車速に依存しないパラメータであるので、判定閾値σＴＨを車速に応じて変更する必要がなく、走行中の車両から移動する動物を検知する際の精度を高めることができる。
【００２５】
図６は、図１に示したブロック４〜６，及び９の機能を図２の画像処理ＣＰＵ３２による演算処理で実現する場合のフローチャートであり、この処理は上記したサンプリング周期ＴＳ毎に実行される。
ステップＳ１１では、切り出し閾値ＢＴＨの設定を行い、次いで明るさＢが切り出し閾値ＢＴＨを越える画素の領域を、動物推定領域として切り出す（ステップＳ１２）。そして特徴量、すなわち動物推定領域の複雑度ＣＰＬＸの算出を行い（ステップＳ１３）、図７に示す動物判定処理を実行する（ステップＳ１４）。
【００２６】
図７のステップＳ２１では、特徴量、すなわち複雑度ＣＰＬＸの時間変動量（＝ＣＰＬＸ（ｋ）−ＣＰＬＸ（ｋ−１））を配列Ｃ（ｋ）に代入し、次いで前記式（２）（３）により複雑度変動量Ｃ（ｋ）の移動平均ＭＡ（ｋ）及び移動平均ＭＡ（ｋ）の標準偏差σを算出し（ステップＳ２２，Ｓ２３）、標準偏差σが判定閾値σＴＨ以上か否かを判別する（ステップＳ２４）。その結果、σ≧σＴＨであるときは、動物推定領域に対応する像が動物であると判定し（ステップＳ２４）、σ＜σＴＨであるときは、動物以外と判定する（ステップＳ２６）。
【００２７】
以上のように図６及び７の処理を画像処理ＣＰＵ３２で実行することにより、図１の切り出し閾値設定部４，領域切り出し部５，特徴量算出部６，及び動物判定部９の機能が実現される。
本実施形態では、画像記憶部３，切り出し閾値設定部４，領域切り出し部５及び特徴量算出部６が特徴量算出手段に相当し、動物判定部９が動物判定手段に相当し、複雑度ＣＰＬＸ及び複雑度変動量Ｃ（ｋ）がそれぞれ特徴量及び変動量に相当する。
【００２８】
一般に平均化処理は、周波数の高い成分を除去するローパスフィルタ処理に相当し、サンプル数ｍの標準偏差σを算出する処理は、ｍ個のサンプルが得られる期間ＴＭＳより短い周期の変動分を抽出するハイパスフィルタ処理に相当するので、上述した移動平均算出処理及び標準偏差算出処理は、バンドパスフィルタ処理、すなわち特定周波数成分の抽出処理とみなすことができる。移動する動物に特有の周波数成分は、一定ではないが、例えば０．５Ｈｚから８Ｈｚ程度の範囲の周波数成分を抽出してその大きさを評価することにより、移動する動物以外に起因する変動成分を除去し、動物を検出することができる。
【００２９】
なお本発明は上述した実施形態に限るものではなく、例えば撮像手段としては、遠赤外線を検出可能なカメラを使用したが、可視光線のみ検出可能な通常のカメラを使用してもよい。その場合には、例えば前述した特開平９−２５９２８２号公報に示されたような移動障害物検出手法や、ビデオカメラによって得られる濃度値が周辺濃度に対して変化があり、かつ面積がある程度以上あるものを抽出する手法（第１３回日本ロボット学会学術講演会（平成７年１１月）での報告）などを用いて動物推定領域を切り出すようにすればよい。
【００３０】
また特徴量の変動量の特定周波数成分を抽出する手法は、上述したものが簡便で好ましいものであるが、他のデジタル信号処理によって、バンドパスフィルタ処理を実行して抽出したり、あるいは高速フーリエ変換により移動する動物に特有の特定周波数成分を抽出するようにしてもよい。
【００３１】
また特徴量のばらつきを示す統計量として、上述した実施形態では標準偏差σを用いたが、例えば分散ＶＲ（＝σ2）やｍ個のサンプル値（ＭＡ）の最大値と最小値との差Ｒを用いてもよい。
また上述した実施形態では、切り出し閾値設定部４は、画像内の明るさの最大値に１より小さい係数αを乗算して切り出し閾値ＢＴＨを設定したが、これに限るものではなく、明るさの分布ヒストグラムを算出し、暗い背景と明るい対象による最小値と最大値とを検索し、その中間に切り出し閾値ＢＴＨを設定するようにしてもよい。あるいは、前述したいずれかの手法で切り出し閾値を設定して切り出し領域を決定し、さらに前回までの動物推定領域を特定する情報（画面上の位置や広がり示す情報）を用いて前記切り出し領域を補正することにより、今回の動物推定領域を決定するようにしてもよい。
【００３２】
【発明の効果】
以上詳述したように本発明によれば、撮像手段により得られた画像から動物と推定される領域が切り出され、該切り出された動物推定領域の形状の複雑度が特徴量として算出され、この特徴量の変動量のばらつきを示す統計量が算出され、該算出された統計量が、予め定される判定閾値より大きいとき、動物推定領域に対応する像が動物であると判定されるので、比較的簡単な構成で、道路を横断する動物を走行中の車両から正確に検知することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる動物検知装置に構成を示すブロック図である。
【図２】図１に示す装置を車両に搭載する場合の構成例を示すブロック図である。
【図３】撮像装置の配置を説明するための図である。
【図４】動物に特有の特徴量の推移を説明するための図である。
【図５】動物を検知したときの表示を説明するための図である。
【図６】図１に示すブロックの機能を実現するための処理手順を示すフローチャートである。
【図７】図６の動物判定処理を詳細に示すフローチャートである。
【符号の説明】
１  撮像部（撮像手段）
２  Ａ／Ｄ変換部
３  画像記憶部（特徴量算出手段）
４  切り出し閾値設定部（特徴量算出手段）
５  領域切り出し部（特徴量算出手段）
６  特徴量算出部（特徴量算出手段）
９  動物判定部（動物判定手段）
【図１】
0004162824.tif 000004
【図２】
0004162824.tif 000005
【図３】
0004162824.tif 000006
【図４】
0004162824.tif 000007
【図５】
0004162824.tif 000008
【図６】
0004162824.tif 000009
【図７】
0004162824.tif 000010