(57)【特許請求の範囲】
【請求項１】
画像内の被写体を認識する画像認識装置において、
被写体のテンプレートを格納している辞書を複数備えている辞書群と、
画像中のオプティカルフローベクトルを抽出して、同ベクトルが類似する画素点を抽出することにより、移動体領域を抽出し、その移動速度に基づいて、前記辞書群中から被写体認識のために利用する辞書を選択する辞書選択手段と、
抽出した前記移動体領域と、前記辞書選択手段で選択した辞書に格納されたテンプレートを比較することで、被写体を認識する認識手段と、を備えていることを特徴とする画像認識装置。
【請求項２】
前記テンプレートは被写体の種別に応じた辞書に格納されており、前記辞書選択手段は、被写体の移動速度に基づいて利用する辞書を切り替えることを特徴とする請求項１記載の画像認識装置。
【請求項３】
前記テンプレートは被写体の種別に応じた辞書に格納されており、前記辞書選択手段は、被写体の移動速度に基づいて利用する辞書の組み合わせおよびそれらの優先順位を切り替えることを特徴とする請求項１記載の画像認識装置。
【請求項４】
前記辞書選択手段は、撮像時刻が既知の複数の時系列画像を用いて被写体の移動速度を算出することを特徴とする請求項１〜３のいずれかに記載の画像認識装置。
【請求項５】
画像内の被写体を認識する画像認識装置において、
被写体の移動速度を検出する移動速度検出手段と、
被写体のテンプレートを格納する辞書を被写体の種別に応じて複数備えている辞書群と、
前記移動速度検出手段で検出した被写体の移動速度に基づいて、前記辞書群から被写体認識のために利用する辞書の組み合わせおよびそれらの優先順位を切り換えて選択する辞書選択手段と、
画像内の被写体を含む一部画像領域と、前記選択手段で選択した辞書に格納されたテンプレートを比較することで、被写体を認識する認識手段と、を備えていることを特徴とする画像認識装置
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特にパターン認識によって被写体を識別する画像認識装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラで道路状況を撮影し、取得した画像情報から画面内の歩行者等を検出して運転者に知らせるシステムが知られている（例えば、特許文献１参照）。特許文献１には、赤外線画像と可視光画像とを取得し、可視光画像から道路領域を特定するとともに、道路領域内の赤外線画像から道路領域内の動体物（歩行者等）をテンプレートマッチング等により検出する技術が記載されている。
【特許文献１】特開２００２−９９９９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この技術では、赤外線カメラの画像から歩行者と思われる動体領域を切り出し、テンプレートマッチングの手法によって歩行者の検出を行っている。しかしながら、この手法では、自転車や二輪車に乗っている人物についても自転車や二輪車とは別に乗員の領域のみが動体領域として切り出され、歩行者候補として取り扱われる等歩行者と区別することができない。この結果、テンプレートマッチングの処理時間も増大し、また、歩行者でないこれらの乗員を歩行者と誤認識するおそれがある。
【０００４】
そこで本発明は、自転車や二輪車およびそれらの乗員と歩行者との判別精度を向上させた画像認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明にかかる画像認識装置は、画像内の被写体を認識する画像認識装置において、被写体のテンプレートを格納している辞書を複数備えている辞書群と、画像中のオプティカルフローベクトルを抽出して、同ベクトルが類似する画素点を抽出することにより、移動体領域を抽出し、その移動速度に基づいて、前記辞書群中から被写体認識のために利用する辞書を選択する辞書選択手段と、抽出した前記移動体領域と、前記辞書選択手段で選択した辞書に格納されたテンプレートを比較することで、被写体を認識する認識手段と、を備えていることを特徴とする。
【０００６】
本発明によれば、被写体の移動速度に応じて適切な辞書、つまり、テンプレートのセットをテンプレートマッチングにおいて使用する。ここで、これらのテンプレートは被写体の種別に応じた辞書に格納されており、辞書選択手段は、被写体の移動速度に基づいて利用する辞書を切り替えるか、被写体の移動速度に基づいて利用する辞書の組み合わせおよびそれらの優先順位を切り替えるとよい。使用する辞書を切り替えたり、優先順位を変更することで、マッチングを行うテンプレートの数を効果的に削減する。
【０００７】
辞書選択手段は、撮像時刻が既知の複数の時系列画像を用いて被写体の移動速度を算出するとよい。例えば、オプティカルフローを算出して、画像内での移動距離と、被写体とカメラとの距離から被写体の実際の移動速度を算出するとよい。
【発明の効果】
【０００８】
本発明によれば、被写体の移動速度に応じて適切なテンプレート辞書を用いるため、移動速度が異なる種別の被写体、例えば、走行中の自転車や二輪車の乗員を歩行者と認識する誤認識を低減できる。このため、認識結果を用いた警報や挙動制御の信頼性が向上するとともに、安全性も向上する。
【０００９】
このとき、テンプレート辞書を複数用意して、それぞれを切り替えて使用する手法も有効であるが、複数の辞書を組み合わせてその優先順位を変更するようにすると、個々のテンプレート辞書のサイズを小さくすることができるとともに、早期にパターンが一致する確率が高まるため、識別を高速化できる利点がある。
【００１０】
さらに、移動速度を時系列画像から算出することで、対象物の移動速度を判定するために別の手段（例えば、レーダ装置等）を用いる必要がなくなり、システムを簡素化することができる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１２】
図１は、本発明にかかる画像認識装置の構成を示すブロック図である。ここでは、取得した画像から歩行者等を認識し、運転者に報知する警報システムに採用した例を説明する。カメラ１は、車両前方の周辺画像を連続的に取得するカメラであり、例えば、車室内前方のルームミラーの前等に配置され、テレビフレームレートで動画像を取得するカメラが用いられる。警報ＥＣＵ２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、画像認識部２０と判定部２１とを備えている。画像認識部２０と判定部２１とは、異なるハードウェアによって実現されていてもよいが、一部または全てのハードウェアを共有し、ソフトウェアによって実現されていてもよい。この場合、ソフトウェアは完全に独立した構成でもよいが、一部のプログラムを共有していてもよく、共有されるプログラム内で明確に区分されていなくてもよい。
【００１３】
警報ＥＣＵ２には、出力装置である警報装置４と、記憶装置３が接続されている。警報装置４としては、計器パネル内の表示装置やナビゲーション装置等と共有されるディスプレイのように視覚的に警報を行う装置のほか、音声により警報を行うベル、ビープ装置、スピーカーのほか、運転者の着座するシートを揺動する手段等のいずれかまたはそれらの組み合わせを用いることができる。記憶装置３は、テンプレートマッチングのための辞書を格納するものであり、読み書き可能な記録媒体を用いた記録装置、例えば、ハードディスク装置やフラッシュメモリ等を用いるとよい。なお、辞書データの一部を読み出し専用の記憶媒体に記録し、これと分けて学習結果等を読み書き可能な記録媒体に記録するようにしてもよい。また、記憶装置３は、カメラ画像やその処理結果を格納するために用いることができる。
【００１４】
次に、この実施形態の動作を具体的に説明する。図２は、この装置における画像認識処理を示すフローチャートである。この処理は、画像認識部２０において、図示していない警報システムのスイッチがオンで、かつ、車両の電源がオンにされている間、所定のタイミングで繰り返し実行される。このタイミングは、カメラ１のフレームレートに同期してその各コマごとに行われるか、あるいは、所定のコマおきに実行されるとよい。
【００１５】
まず、カメラ１で取得したカメラ画像Ｉｍ（ｔ１）が読み込まれる（ステップＳ１）。以下、ｔ１は現在時刻を表すものとする。次に、カメラ１で取得した過去画像Ｉｍ（ｔ２）を読み込む（ステップＳ３）。これは画像認識部２０内の一時記憶領域に格納されている。図３は、入力画像（動画）例を説明する図である。例えば、ｔ２は、現在時刻ｔ１から画像処理のタイムステップΔｔだけさかのぼった時点である。ステップＳ５では、現在時刻の画像Ｉｍ（ｔ１）が一時記憶領域に格納される。格納された画像Ｉｍ（ｔ１）は、次のタイムステップにおいてステップＳ３で読み込まれることになる。
【００１６】
次に、時系列の異なるこれら二つの画像からオプティカルフローを算出する（ステップＳ７）。このオプティカルフローの算出手法は各種の公知の手法を採用することができる。ここでは、勾配法を用いた算出手法について述べる。
【００１７】
画像中の画素点（ｘ，ｙ）の時刻ｔにおける輝度をＥ（ｘ，ｙ，ｔ）とする。この画素点のオプティカルフローベクトルのｘ成分、ｙ成分をそれぞれｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）とすると、十分に小さい時間間隔Δｔ後の点（ｘ＋ｕΔｔ，ｙ＋ｖΔｔ）の輝度はＥ（ｘ，ｙ，ｔ）と等しくなる。すなわち、
【数１】
0004692344.tif 000002
が成り立つ。輝度Ｅがｘ、ｙ、ｔに関して滑らかに変化するとすれば、上記（１）式の左辺はテーラー級数に展開でき、ｄｘ／ｄｔ＝ｕ、ｄｙ／ｄｔ＝ｖが成立する。この関係から（１）式を成立すると、以下の（２）式で表させるオプティカルフロー拘束方程式が成立する。
【数２】
0004692344.tif 000003
ここで、Ｅｘ、Ｅｙ、Ｅｔは、それぞれｘ、ｙ方向の空間微分値および時間微分値であり、時系列画像から計算される。拘束方程式は、１画素につき、１つの方程式しか得られないため、フローベクトルを一意に算出することはできない。そこで、「ある注目画素の近傍では、動きは滑らかである」という条件を加え、注目画素近傍の拘束方程式から最小自乗法により解を求め、オプティカルフローとする。
【００１８】
図４は、こうして求めたオプティカルフローベクトルを矢印でカメラ画像に重ね合わせて示したイメージ図である。図は、停車中の画像から算出した場合を示しているが、車両走行中は、車速センサ等から得られた自車両の移動量（移動ベクトル）を差し引くことで、静止座標系に対するフローベクトルを算出するとよい。
【００１９】
オプティカルフローベクトルを算出したら、画像Ｉｍ（ｔ１）中から移動物体を抽出する（ステップＳ９）。具体的には、オプティカルフローベクトルに着目することで、抽出処理を行う。ここでは、例として画像中から横方向へ移動する物体を抽出する場合を例に説明する。ある画素点のオプティカルフローベクトル成分を上述と同様に（ｕ，ｖ）とすると、｜ｕ｜＞０、かつ、ｖ≒０であれば、当該物体は画像内のＸ軸方向、つまり、横方向に移動したものとみなせる。画像全体を検索してこの関係を満たす点（画素）を抽出することで横方向へ移動する物体を抽出することができる。また、ベクトル成分（ｕ，ｖ）からフローの向き（勾配）として、θ＝ｔａｎ−１（ｖ／ｕ）を求め、このθが所定範囲内（例えば、±１５°以内）であれば横方向に移動する物体とみなしてもよい。フローベクトルの方向を勘案することで、任意の方向へと移動する物体を抽出することができる。
【００２０】
次に、移動体の領域推定を行う（ステップＳ１１）。例えば、図５に示されるように歩行者が車両の進路となる道路上を画面の左から右へと横断中であるとする。ここで、歩行者の画像Ｓ１を構成する各画素点は、ほぼ同一の大きさ、向きのフローベクトルを有し、連続していると考えられるから、フローベクトルの大きさ、向きがほぼ同一であって連続している画素点を抽出し、これを取り囲む最小の矩形領域Ｒ１を移動体領域として設定する。移動物体によっては複雑な形状を有するが、矩形領域として取り扱うことで、その後の処理が容易になる。推定した移動体領域の情報は一時記憶領域に格納される（ステップＳ１３）。この情報としては、移動体領域の左上隅と右下隅の各画素の座標位置を用いればよい。図６に示される例では、歩行者Ｓ１と、先行車両Ｓ２の画像から、それぞれ領域Ｒ１、Ｒ２を抽出する。
【００２１】
次に、推定した矩形領域Ｒ１、Ｒ２等の代表点として、左下隅の点Ｎ１（ｘ１，ｙ１）、Ｎ２（ｘ２，ｙ２）を決定し、当該点におけるフローベクトル（ｕ，ｖ）を代表量とする（ステップＳ１５）。なお、代表量は代表点におけるフローベクトルを用いるほか、当該矩形領域内におけるフローベクトルの平均値や中央値、最頻値等を用いてもよい。なお統計的な処理を行う場合には、当該矩形領域内においてフローベクトルの大きさが略０の画素については処理から除外することが好ましい。代表点、代表量を定めたら、その位置、代表量を一時記憶領域に格納して記憶する（ステップＳ１７）。
【００２２】
次に、カメラ１と対象物間の距離を求める（ステップＳ１９）。ここでは、図７を参照して説明する。カメラ１の縦方向の解像度をＴ、視野角をθとすると、１画素あたりの視野角変化量Δθは、θ／Ｔで表せる。対象物の代表点の座標をＡ（ｉ，ｊ）とし、Ａとカメラ中心Ｏとを結んだ線Ｌｔと視野範囲下端線Ｌｄとのなす角度をαとすると、α＝ｊ×Δθであり、また、カメラ中心Ｏから降ろした垂線と視野範囲下端線Ｌｄとのなす角度をβとし、カメラ設置角度、つまり、カメラの視野中心線Ｃとカメラ中心Ｏから降ろした垂線とのなす角度をρとすると、β＝ρ−１／２×θが成り立つ。カメラ１の設置高さをＨとするとき、以上の関係からカメラ１から対象物の代表点Ａまでの距離Ｌは、Ｌ＝Ｈ×ｔａｎ（α＋β）で表せる。
【００２３】
次に、対象物の微小時間Δｔ（タイムステップ）における移動距離を算出する（ステップＳ２１）。ここでは、図８において、前回のタイムステップにおいて点Ｐ（ｉ１，ｊ１１）に存在した物体が点Ｑ（ｉ２，ｊ２）へと移動した場合に量転換の距離を求める場合を例に説明する。カメラの横方向の解像度をＷ、視野角度をφとすると、１画素あたりの視野角変化量Δφは、φ／Ｗで表せる。カメラ中心Ｏから点Ｐ、点Ｑのそれぞれへと結んだ２直線のなす角をγとすると、γ＝Δφ×（ｉ２−ｉ１）となる。今、カメラ視野中心線Ｃが線分ＰＱの垂直２等分線であるとすると、対象物が微小時間Δｔに移動した距離Ｋは、線分ＰＱの長さに等しく、また、点ＯからＣｘまでの距離をＬとすると、Ｌは、ステップＳ１９で算出済みであるから、Ｋ＝２×Ｌｔａｎ（１／２γ）により算出できる。同様の考え方によって横方向のみならず、任意の方向への移動距離についても算出することができる。求めた移動距離ＫをタイムステップΔｔで除算して実際の移動速度Ｖ（＝Ｋ／Δｔ）を算出する（ステップＳ２３）。
【００２４】
次に、対象物の速度Ｖを基にして認識用のパターン辞書を設定する（ステップＳ２５）。例えば、図９に示されるように、速度ＶがＴＨ１以下の場合には、歩行者のテンプレート画像を記録した辞書を用い、速度ＶがＴＨ２を越え、ＴＨ３以下の場合には、自転車（乗員含む）のテンプレート画像を記録した辞書を用い、速度ＶがＴＨ４を越える場合には、自動車（二輪車およびその乗員を含む）のテンプレート画像を記録した辞書を用いる。そして、速度ＶがＴＨ１を越え、ＴＨ２以下の場合には、歩行者と自転車の両方のテンプレート画像を記録した辞書を用い、速度ＶがＴＨ３を越え、ＴＨ４以下の場合には、自転車と二輪車の両方のテンプレート画像を記録した辞書を用いるとよい。
【００２５】
あるいは、パターン辞書として歩行者、自転車、自動車（二輪車を含む）のテンプレート画像をそれぞれ記録した３種類の辞書（以下、辞書Ａ〜Ｃと称する。）を用意しておき、速度によって辞書の組み合わせと優先順位を切り替えてもよい。例えば、速度ＶがＴＨ以下の場合には、辞書Ａを最優先辞書とし、次の優先辞書として辞書Ｂを、最も優先度の低い辞書として辞書Ｃを使用する。速度ＶがＴＨ２を越え、ＴＨ４以下の場合には、辞書Ｂを最優先辞書とし、優先度の低い辞書として辞書Ｃを用いる。この場合、辞書Ａは使用しない。そして、速度ＶがＴＨ４を越える場合には、辞書Ｃのみを用い、辞書Ａ、辞書Ｂは使用しない。
【００２６】
優先度の用い方としては、優先順位の高い辞書からパターン認識を行い、相関度がしきい値以上の場合には、他のパターンのマッチングを行わない手法のほか、優先順位に応じて重みづけ係数を設定し、相関度にこの重みづけ係数を乗じた値を相関係数としてマッチングを行うようにしてもよい。
【００２７】
辞書を設定したら、設定した辞書に基づいてパターン認識を行うことで、物体の認識を行う（ステップＳ２７）。本実施形態においては、対象物の速度情報を基にして、それぞれ適切な辞書を選択しているので、歩行者に比べて移動速度の速い自転車や二輪車の乗員を歩行者と誤認識するケースを減らすことができ、判別精度が向上する。特に、辞書の組み合わせパターン、優先度を切り替える手法によれば、歩行者並の低速で移動中の自転車や二輪車についても精度よく判別することが可能である。一方、低速の場合には歩行者辞書のみを用いる手法では、比較的高速で移動中の二輪車の乗員を歩行者と誤認識するケースを確実に抑制できる。低速領域においては、歩行者並の低速で移動中の自転車や二輪車の乗員を歩行者と誤認識する可能性はあるが、これらの場合には、自転車や二輪車も、歩行者と同様の挙動を示す可能性が高いことから、同様に取り扱っても大きな支障は生じないと考えられる。
【００２８】
認識後、その結果を出力して（ステップＳ２９）、処理を終了する。例えば、図１０に示されるように、対象物（歩行者、自転車、自動車）等との距離に応じて表示装置を点灯させたり、スピーカーから音声により移動体の存在を知らせる等すればよい。また、図示していない車両挙動制御装置に通知し、障害物回避やプリクラッシュ制御等を行ってもよい。
【００２９】
以上の説明では、一台のカメラにより取得した時系列画像から、画像処理により物体の種別、速度、距離等を判別する手法を説明したが、対象物の速度や距離は、ステレオカメラを用いて取得したり、あるいは、レーダ装置等により取得してもよい。そのほか、各種の変形を行うことが可能である。
【図面の簡単な説明】
【００３０】
【図１】本発明にかかる画像認識装置の構成を示すブロック図である。
【図２】図１の装置における画像認識処理を示すフローチャートである。
【図３】画像認識処理の入力画像（動画）例を説明する図である。
【図４】オプティカルフローベクトルのイメージ図である。
【図５】移動物体の抽出処理を説明する図である。
【図６】抽出した移動体領域を説明する図である。
【図７】カメラと対象物の距離算出手法を説明する図である。
【図８】対象物の移動速度算出手法を説明する図である。
【図９】対象物速度による辞書切り替え基準を説明する図である。
【図１０】警報の表示例を示している。
【符号の説明】
【００３１】
１…カメラ、２…警報ＥＣＵ、３…記憶装置、４…警報装置、２０…画像認識部、２１…判定部。
【図１】
0004692344.tif 000004
【図２】
0004692344.tif 000005
【図３】
0004692344.tif 000006
【図４】
0004692344.tif 000007
【図５】
0004692344.tif 000008
【図６】
0004692344.tif 000009
【図７】
0004692344.tif 000010
【図８】
0004692344.tif 000011
【図９】
0004692344.tif 000012
【図１０】
0004692344.tif 000013