(57)【要約】【課題】車両状況に拘わらず、画像処理に係る処理負荷を抑制することのできる画像処理装置を提供する。【解決手段】画像処理装置は、車両１０の周辺環境を撮像した撮像画像を画像処理する。画像処理装置は、車両状況に応じて撮像画像の一部から画像処理の対象とする対象領域を１又は複数選択する領域選択部３２０を備え、領域選択部３２０が複数の対象領域を選択するとき、それら複数の対象領域のうち画像処理の対象とする対象領域を切り替えつつ、該切り替えた対象領域に対する画像処理を順次実行する。【選択図】図１
2015210584.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺環境を撮像した撮像画像を画像処理する画像処理装置であって、
車両状況に応じて前記撮像画像の一部から画像処理の対象とする対象領域を１又は複数選択する選択部を備え、
前記選択部が複数の対象領域を選択するとき、それら複数の対象領域のうち画像処理の対象とする対象領域を切り替えつつ、該切り替えた対象領域に対する画像処理を順次実行する
ことを特徴とする画像処理装置。
【請求項２】
前記選択部は、前記車両状況が交差点への進入であるとき対象領域を複数選択する
請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両などの移動体に搭載されたカメラによって撮像された撮像画像を画像処理する画像処理装置に関する。
【背景技術】
【０００２】
従来、上述のような画像処理装置を備え、当該画像処理装置によって処理された車両の周辺環境の画像に基づいて運転支援を提供する運転支援装置が知られている。こうした運転支援装置は、車載カメラを通じて撮像された車両前方の走行環境の撮像画像を画像処理することによって車両前方にある他車両や障害物、歩行者などを特定するとともに、こうして特定した車両前方の他車両や障害物、歩行者などに関する情報を音声や画像などにより運転支援情報として提供する。例えば、こうした画像処理を行うことのできる装置の一例が特許文献１に記載されている。
【０００３】
特許文献１に記載の装置は、ステレオカメラ装置であって、複数の撮像手段と、撮像した画像を補正する画像補正部と、左右の画素のずれ量である視差を算出する視差算出部と、撮像した画像と算出した視差の両方あるいはいずれかを用いて画像認識処理を行う画像認識部とを備える。またこの装置では、処理する画像領域と画像の縮小率を、ステレオカメラ装置を搭載する車両の走行環境に応じて異なるように決定する処理領域決定部を備え、この処理領域決定部により決定された画像領域と縮小率とからなる処理領域を用いて、画像補正部は画像を補正し、視差算出部は視差を算出し、画像認識部は画像認識処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４６２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、車両の運転支援に関する画像処理は、その処理に遅延の生じることがないように処理負荷を軽減させる必要がある。例えば、特許文献１に記載の装置では、走行環境に応じて決定された画像領域と縮小率とに基づいて画像認識処理を行うようにすることで処理負荷の抑制が図られるようにしている。その一方、走行環境などが特定されないようなときには、画像領域と縮小率とを決定することができなくなるため、処理負荷を適切に抑制することができなくなるおそれがある。
【０００６】
本発明は、このような実情に鑑みてなされたものであって、その目的は、車両状況に拘わらず、画像処理に係る処理負荷を抑制することのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
以下、上記課題を解決するための手段及びその作用効果を記載する。
上記課題を解決する画像処理装置は、車両の周辺環境を撮像した撮像画像を画像処理する画像処理装置であって、車両状況に応じて前記撮像画像の一部から画像処理の対象とする対象領域を１又は複数選択する選択部を備え、前記選択部が複数の対象領域を選択するとき、それら複数の対象領域のうち画像処理の対象とする対象領域を切り替えつつ、該切り替えた対象領域に対する画像処理を順次実行することを要旨とする。
【０００８】
このような構成によれば、撮像画像の一部を、車両の走行環境や走行状態を含む車両状況に応じて対象領域として選択し、その選択した対象領域について画像処理を行うことで、撮像画像全体を画像処理することに比較して処理負荷の抑制が図られるようになる。また、選択された複数の対象領域のうちの１つを対象領域として切り替えて順次画像処理することにより、画像処理により得られる情報量を維持しつつ、車両状況に拘わらず画像処理の処理負荷を抑制することができる。
【０００９】
好ましい構成として、前記選択部は、前記車両状況が交差点への進入であるとき対象領域を複数選択する。
このような構成によれば、交差点は、様々な状況が混在するため認識対象を絞り込むことは困難であるから、複数の対象領域の選択によって認識対象の幅を広げることで、交差点の進入においても処理負荷の抑制された画像処理を行いつつも、画像認識の精度を維持することができる。これにより、例えば、予防安全と標識案内とを行えるようになる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置を具体化した一実施形態について、その概略構成を示すブロック図。
【図２】同画像処理装置における画像処理となる対象領域を特定する手順を示すフローチャート。
【図３】同画像処理装置におけるカメラにより撮像される撮像画像の一例を模式的に示す模式図。
【図４】同画像処理装置における撮像画像から車速に基づき絞り込まれる候補領域を模式的に示す模式図。
【図５】同画像処理装置における撮像画像から認識対象が先行車であることに基づき絞り込まれる先行車領域を模式的に示す模式図。
【図６】同画像処理装置における撮像画像から認識対象が歩行者であることに基づき絞り込まれる先行車領域を模式的に示す模式図。
【図７】同画像処理装置における撮像画像から認識対象が標識であることに基づき絞り込まれる標識領域を模式的に示す模式図。
【発明を実施するための形態】
【００１１】
画像処理装置を具体化した一実施形態について、図１〜７に従って説明する。
まず、本実施形態の概要について説明する。
図１には、具体化された画像処理装置を備える車両１０が示されている。車両１０は車載カメラ２０にて撮像した前方の撮像画像を画像処理部３０にて画像認識処理を行い、車両１０前方に存在する、先行車、歩行者、標識などを検出する。そして、車両１０では、画像認識により検出した先行車、歩行者、標識などを出力し、ナビゲーションシステム７０などにおいて運転支援情報として利用可能にしている。
【００１２】
図２に示すように、本実施形態では、画像認識の対象とする領域を、車両状況に応じて撮像画像の一部に定められる領域とすることにより、車両状況に適した認識対象に対する認識精度を維持しつつ、画像処理に係る処理負荷を抑制するようにしている。車両状況は、高速道路であるか否か（ステップＳ１３）、よく通る道であるか否か（ステップＳ１５）、目的地付近であるか否か（ステップＳ１７）、交差点の手前であるか否か（ステップＳ１８）により判断される。
【００１３】
まず、図３に示すように、車載カメラ２０は前方画像を撮像して撮像画像１００を得る。例えば、撮像画像１００には、進行道路１と交差道路２とが交差する交差点３が含まれている。また、歩道には歩行者１２０，１２１が存在し、前方には先行車１１ａ，１１ｂ、対向車１２が存在し、交差点３には、信号機１１０，１１１と横断歩道１２５とが設置されているとともに、進行道路１の路側には標識１１５が設置されている。なお、走行中の車両１０からの撮像画像１００は進行している車線が画像中央となるが、図３〜７では説明の便宜上、進行道路１の中心を画像中央とした図を用いて説明している。
【００１４】
次に、図４に示すように、車速に基づいて画像認識から除外する除外領域２０１を定めて車速に基づいて絞り込まれる候補領域２００を得る。
続いて、車両状況に応じて、更に絞り込む。
【００１５】
例えば、図５に示すように、高速道路である場合、候補領域２００の上及び左右の領域をさらなる除外領域２３１とし、画像認識の対象となる領域を候補領域２００から除外領域２３１を除いた先行車領域２３０に絞り込む。
【００１６】
例えば、図６に示すように、よく通る道や、目的地付近である場合、候補領域２００の上領域をさらなる上側除外領域２１１とし、画像認識の対象となる領域を候補領域２００から上側除外領域２１１を除いた前方下側の歩行者領域２１０に絞り込む。
【００１７】
例えば、図７に示すように、交差点の手前である場合、候補領域２００の下領域をさらなる下側除外領域２２１とし、画像認識の対象となる領域を候補領域２００から下側除外領域２２１を除いた前方上側の標識領域２２０に絞り込む。
【００１８】
そして、車両１０は、こうして絞り込まれた候補領域２００、先行車領域２３０、歩行者領域２１０及び標識領域２２０の少なくとも一つに対して画像認識処理を実行し、この実行により得られた認識結果に基づいて運転支援を提供する。
【００１９】
続いて、本実施形態について詳細に説明する。
図１に示す車両１０は、乗用車やタクシー、バス、トラックなどの自動車である。車両１０は、走行環境や走行状態などの車両状況に応じた運転支援が運転者等に提供される。例えば、車両１０では、車両前方に存在する先行車、歩行者、標識、障害物などが検出され、これら検出結果に基づく運転支援が音声や画像などを通じて出力される。また、こうした検出結果は、予防安全のための衝突防止装置などに提供されてもよい。例えば、衝突防止装置は、提供される検出結果に基づいてブレーキアシストや自動ブレーキなどの運転支援を行うことができる。
【００２０】
車両１０は、車両前方の走行環境などの周辺環境を撮像する車載カメラ２０と、車載カメラ２０により撮像される撮像画像が入力される画像処理部３０と、車両１０の速度を測定する速度センサ５０と、速度センサ５０から入力される信号に基づいて車両１０の速度を車速として取得する車速取得部４０とを備えている。また、車両１０は、現在地の位置を特定するＧＰＳ（グローバルポジショニングシステム）装置６０と、現在地から目的地までの走行経路を特定するとともに、当該特定した走行経路を案内するナビゲーションシステム７０とを備えている。
【００２１】
これら、画像処理部３０、車速取得部４０、ＧＰＳ装置６０、及びナビゲーションシステム７０はそれぞれ、情報処理が可能な装置、例えばＥＣＵ（電子制御装置）などである。よってこれら装置はそれぞれ、ＣＰＵ（演算装置）、ＲＯＭやＲＡＭ、その他の記憶装置などを有し情報処理可能に構成されるコンピュータを含み構成されている。なお、車載カメラ２０や速度センサ５０はそれぞれ、情報処理を可能とする態様に構成されていてもよい。また、画像処理部３０、車速取得部４０、及びナビゲーションシステム７０はそれぞれ車載ネットワークＮ１により通信可能に接続され、情報通信可能に構成されている。
【００２２】
ＧＰＳ装置６０は、ＧＰＳ衛星からの信号を受信し、その受信したＧＰＳ衛星からの信号等に基づき車両１０の現在地の位置を検出する。詳述すると、ＧＰＳ装置６０は、受信したＧＰＳ衛星からの信号の演算処理を通じて現在地の位置情報を算出し、この算出した位置情報を検出した現在地の位置としてナビゲーションシステム７０に出力する。
【００２３】
ナビゲーションシステム７０は、現在地の位置から目的地までの走行経路を特定するとともに、特定した走行経路に基づいて運転支援に関する情報を出力する。ナビゲーションシステム７０は、道路情報等を含み、経路検索や経路案内の表示などに用いられる地図情報や、経路検索用の機能などを備えている。ナビゲーションシステム７０では、目的地は運転者などにより設定され、現在地の位置はＧＰＳ装置６０から入力され、走行経路は目的地と現在地の位置とに基づいて地図情報の検索によって特定される。ナビゲーションシステム７０より出力される情報は、運転者などに提供される。
【００２４】
また、ナビゲーションシステム７０は、運転者などに経路案内を提供する経路案内部７１０と、車両１０の走行履歴を管理する履歴管理部７２０とを備える。経路案内部７１０は、特定された走行経路に基づいて、現在地の位置や、現在地の情報や、目的地までの経路や、分岐路の案内などを画像表示や音声で案内する。経路案内部７１０は、経路案内に必要な情報を、地図情報や走行履歴から取得する。履歴管理部７２０は、車両１０の走行履歴を取得するとともに、取得した走行履歴を蓄積し、管理する。走行履歴には、車両１０の走行に応じての走行位置や時間、車速などの情報が含まれる。また履歴管理部７２０は、経路案内部７１０からの要求に対応する履歴情報を選択して、要求元に提供することができる。
【００２５】
さらに、ナビゲーションシステム７０は、画像処理部３０から走行環境や走行頻度の問い合わせを受け付けるとともに、これら問い合わせに対して回答する。走行環境には、高速道路か一般道路か、交差点までの距離などが含まれ、これらの情報が道路情報から取得可能になっている。走行頻度は、現在地の位置に対応する道路の履歴情報から取得可能になっており、履歴管理部７２０が現在地の位置に基づいて取得する。
【００２６】
また、ナビゲーションシステム７０は、操作ボタン等の入力部、及び、表示画面やスピーカ等の出力部を備えている。入力部は目的地の設定に用いることができる。表示画面には、経路案内の実行に応じて、現在地を含む範囲の地図が表示されたり、現在地から目的地までの経路を構成する道路の全部又は一部が表示されたりする。また、ナビゲーションシステム７０は、表示する画像の一部を強調表示したり、表示画面に車両前方の画像を表示するとともに、その表示に含まれる注意を要する歩行者や標識を強調表示したり、音声案内したりすることもできる。
【００２７】
速度センサ５０は、車両１０の車輪の回転速度を検出するとともに、当該検出された回転速度に応じた信号を車速取得部４０へ出力する。
車速取得部４０は、速度センサ５０から回転速度に応じた信号が入力されるとともに、入力された信号に基づいて車両１０の現在の速度、すなわち車速を算出して、この算出した車速を出力する。これにより画像処理部３０やナビゲーションシステム７０は、車速取得部４０から車速を取得することができる。
【００２８】
車載カメラ２０は、例えばＣＣＤカメラなどのカメラであって、少なくとも可視光領域の画像を撮像する。本実施形態では、車載カメラ２０は、例えば車内においてバックミラーの裏側などに設置されており、車両前方の走行環境を所定の周期、又は所定の間隔で撮像するとともに、撮像した撮像画像１００を画像処理部３０へ出力する。
【００２９】
画像処理部３０は、車載カメラ２０から撮像画像１００が入力されるとともに、この入力された撮像画像１００に対して、画像認識処理などの画像処理を行う。例えば、画像認識処理により、撮像画像１００から先行車１１ａ，１１ｂ、歩行者１２０，１２１、信号機１１０，１１１及び標識１１５などが検出される。
【００３０】
また本実施形態では、画像処理部３０は、入力された撮像画像の一部を車両状況に応じて画像認識処理の処理対象とする対象領域として選択し、この選択した対象領域に対して画像処理を行う。詳述すると、画像処理部３０には、撮像画像に対して車両状況に応じた対象領域を設定する領域設定部３１０と、設定される対象領域から画像認識処理を実行する領域を選択する領域選択部３２０と、撮像画像、又は選択された対象領域に対して画像認識処理を行う画像認識部３３０とを備える。
【００３１】
領域設定部３１０は、車両状況に応じて撮像画像１００を一部の領域に絞り込むための絞り込み条件が設定されており、その条件に対応する領域の範囲を撮像画像１００に設定する。つまり領域設定部３１０は、絞り込み条件として、車速条件と、先行車条件と、歩行者条件と、標識条件とが設定されている。そして領域設定部３１０は、絞り込まれた撮像画像１００の一部の領域として、車速条件に基づいて候補領域２００の範囲を設定し、先行車条件に基づいて先行車領域２３０の範囲を設定し、歩行者条件に基づいて歩行者領域２１０の範囲を設定し、標識条件に基づいて標識領域２２０の範囲を設定する。領域設定部３１０は、各領域の範囲が設定された撮像画像を画像認識部３３０へ出力する。
【００３２】
ここで、各領域について詳述する。
図４に示すように、候補領域２００は、車速を考慮して、画像認識処理を行っても無意味となる除外領域２０１を除外した領域である。除外領域２０１とは、画像認識処理に要する時間の間に車両が進行することにより、処理終了時には通過している領域や、通過する直前となっている領域である。よって、除外領域２０１は、車速が遅ければ狭くなり、逆に、車速が速ければ広くなることから、候補領域２００は、車速が遅ければ広くなり、逆に、車速が速ければ狭くなる。
【００３３】
図５に示すように、先行車領域２３０は、先行車１１ａ，１１ｂの認識に適した領域であり、先行車が存在する可能性の高い車両前方に絞り込まれるように設定される領域である。つまり、先行車の存在する可能性の低い、上及び左右各部の除外領域２３１が除外される。
【００３４】
図６に示すように、歩行者領域２１０は、歩行者１２０，１２１、横断歩道１２５の認識に適した領域であり、注意を要する歩行者１２０，１２１や横断歩道１２５が存在する可能性の高い近傍の地面付近に絞り込まれるように設定される領域である。つまり、注意を要する歩行者１２０，１２１が存在する可能性の低い遠方や上方となる上側除外領域２１１が除外される。
【００３５】
図７に示すように、標識領域２２０は、標識１１５や信号機１１０，１１１の認識に適した領域であり、標識１１５や信号機１１０，１１１が存在する可能性の高い地面よりも高い位置に絞り込まれるように設定される領域である。つまり、標識１１５や信号機１１０，１１１が存在する可能性の低い地上付近となる下側除外領域２２１が除外される。なお、本実施形態では、歩行者領域２１０と標識領域２２０とは排他的な関係にあるが、一部が重なっていたり、両方共に含まれない部分を生じさせたりしてもよい。
【００３６】
領域選択部３２０は、認識対象を車両状況に応じて判断し、車両状況に適する対象領域を選択する領域として定めるとともに、この定めた選択する対象領域の情報を画像認識部３３０へ出力する。
【００３７】
領域選択部３２０は、車両状況を判断するための情報を、ナビゲーションシステム７０や車速取得部４０から取得する。例えば、領域設定部３１０は、走行中の道路が高速道路か一般道か、走行頻度が多い道路か少ない道路か、目的地に近いか遠いか、交差点の手前か否かなどの情報やこれらを判別可能な情報をナビゲーションシステム７０から取得する。なお本実施形態では、交差点の手前は、交差点の行き先案内標識や交差点についての規制案内標識が認識される位置であって、歩行者や他車両、標識への注意力がまだ要求される交差点内よりも手前の位置である。また、領域選択部３２０は、車速取得部４０から取得される車速に基づいて、渋滞中であるか否か、高速走行中であるか否かなどの情報を取得する。
【００３８】
領域選択部３２０は、車両状況に対応する対象領域を選択する。
まず、領域選択部３２０は、車速に応じて車速により絞り込まれる領域を選択する。そして、この車速に応じて絞り込まれた候補領域２００の一部を車両状況に対応する対象領域として選択する。
【００３９】
続いて、領域選択部３２０は、ナビゲーションシステム７０からの情報に基づいて車両状況により絞り込まれる領域を選択する。例えば、領域選択部３２０は、車両状況が高速道路を走行中であるとき、対象領域として先行車領域２３０を選択する。また、領域選択部３２０は、車両状況が走行頻度の多い道路であるときや、目的地に近いとき、対象領域として歩行者領域２１０を選択する。さらに、領域選択部３２０は、車両状況が交差点の手前であるとき、対象領域として標識領域２２０を選択する。また、領域選択部３２０は、車両状況が上述した条件のいずれにも該当しないとき、対象領域として、先行車領域２３０と、歩行者領域２１０と、標識領域２２０とを選択する。なお、車両状況が上述した条件のいずれにも該当しないときは、上述した条件に該当しないことが明らかであるときはもちろん、上述した条件に該当していることが特定できないときも含まれる。
【００４０】
このように領域選択部３２０が対象領域を、先行車領域２３０、歩行者領域２１０、及び標識領域２２０に絞り込むことによって、それら領域に対する画像認識処理に要する処理負荷が低く抑えられるようになる。つまり、領域を狭めることで画像認識に要する処理負荷が低く抑えられ、認識対象を絞り込むことでも画像認識に要する処理負荷が低く抑えられるようになる。なお、高い精度で認識される認識対象は、先行車領域２３０のときは先行車であり、歩行者領域２１０のときは歩行者であり、標識領域２２０のときは標識である。よって例えば、これら３つの領域に対する認識処理を組み合わせ、その認識処理を順次行うようにすると、領域を絞らず、かつ、認識対象も絞らないときの画像認識に比べてもその処理負荷が低く抑えられるようになる。
【００４１】
画像認識部３３０は、車載カメラ２０から撮像画像１００が入力されるとともに、入力された撮像画像１００について画像認識を行う。画像認識部３３０は、周知の画像認識アルゴリズムを採用しており、入力された撮像画像１００に当該アルゴリズムを適用して、撮像画像１００に含まれる、先行車、歩行者及び標識などを抽出する、いわゆる認識する。なお、画像認識部３３０は、先行車、歩行者及び標識の他、各種の障害物なども認識することができる。
【００４２】
詳述すると、画像認識部３３０は、領域設定部３１０から各種領域の範囲の設定された撮像画像１００が入力されるとともに、領域選択部３２０から認識処理の対象として選択する領域の情報が入力される。そして、画像認識部３３０は、領域設定部３１０から入力された撮像画像１００から領域選択部３２０の定めた選択する対象領域を抽出するとともに、抽出した対象領域に対応する認識精度が高く維持される認識対象を決定する。例えば、画像認識部３３０は、先行車領域２３０に対しては車両の認識精度を高く維持し、歩行者領域２１０に対しては歩行者の認識精度を高く維持し、標識領域２２０に対しては標識の認識精度を高く維持する。画像認識部３３０では、範囲が適切に絞られた対象領域に対して、その対象領域において認識することが適切とされる認識対象を高い精度で認識するための認識処理が行われる。つまり、画像認識部３３０は、画像認識処理を適切に絞り込まれた範囲に適切に絞り込まれた認識対象を認識するように実行することで、画像認識処理に要する処理負荷の増大を抑制する、もしくは、軽減することができるようにしている。
【００４３】
例えば、画像認識部３３０は、先行車領域２３０には歩行者や標識が運転支援に役立つ状態で含まれている可能性が低いため、歩行者や標識の認識精度は必要最小限の精度に抑えている。これにより、先行車の認識精度を高く維持しつつ、先行車領域２３０の認識処理に要する処理負荷の抑制が図られ、処理時間の抑制、要求される処理性能の抑制も図られる。
【００４４】
また、画像認識部３３０は、歩行者領域２１０には先行車や標識が運転支援に役立つ状態で含まれている可能性が低いため、先行車や標識の認識精度は必要最小限の精度に抑えている。これにより、歩行者の認識精度を高く維持しつつ、歩行者領域２１０の認識処理に要する処理負荷の抑制が図られ、処理時間の抑制、要求される処理性能の抑制も図られる。
【００４５】
さらに、画像認識部３３０は、標識領域２２０には先行車や歩行者が運転支援に役立つ状態で含まれている可能性が低いため、先行車や歩行者の認識精度は必要最小限の精度に抑えている。これにより、標識や信号機の認識精度を高く維持しつつ、標識領域２２０の認識処理に要する処理負荷の抑制が図られ、処理時間の抑制、要求される処理性能の抑制も図られる。
【００４６】
よって、画像認識部３３０では、車両１０の運転支援に要求される短時間、いわゆるリアルタイムでの画像処理が可能になる。
なお、本実施形態の画像認識部３３０は、領域選択部３２０から対象領域を切り替えるような指示を受けるとき、対象領域及び認識対象を切り替えて画像認識処理を行うことから、複数の対象領域の画像認識処理を行うことができる。これにより、画像認識部３３０は、対象領域を画像認識するとしても、対象領域の切り替えにより、画像認識の対象となる領域を広く確保することができるとともに、複数の認識対象を高い認識精度で認識することができるようになる。
【００４７】
例えば、車両状況が交差点３を走行する状況であるとき、画像認識部３３０は、領域選択部３２０から先行車領域２３０、歩行者領域２１０、及び、標識領域２２０を順次切り替えて画像認識するように指示される。交差点３では、先行車、歩行者、標識のいずれも高い精度で認識する必要があることから、各領域を切り替えて画像認識することが好ましい。なお、切り替えての認識の場合、認識対象が認識対象となる間隔が長くなる可能性もあるが、各認識処理に要する処理時間が抑制されていること、交差点３では車速が低いことなどから、各認識対象の認識を運転支援に要する時間内に実行することも可能である。また、重要性の高い領域の認識回数を相対的に増やすことなどもできる。
【００４８】
通常、画像認識処理では、撮像画像の解像度が高くなることに応じて認識精度が高くなり、また、認識処理のアルゴリズムが複雑になることに応じても認識精度が高くなる傾向にある。一方、画像認識処理では、解像度が高くなることに応じて処理負荷が増加し、また、アルゴリズムが複雑になることに応じても処理負荷が増大する。つまり、画像認識処理による認識精度を向上させようとすると処理負荷が増大し、処理負荷の増大に伴って処理時間も長くなることが知られている。このとき、処理時間が長くなることを抑制しようとすれば、処理能力の高い情報処理装置が必要になってしまう。なお、認識精度を高くしつつも、認識対象範囲を狭くすることで処理時間の増大を抑制させることも考えられるが、認識対象範囲が狭くなることで認識範囲外からの情報取得が困難になってしまう。
【００４９】
次に、図２を参照して、本実施形態の作用を説明する。この画像処理部３０による画像認識処理は、車載カメラ２０が新たな画像を定周期で撮像することに応じて実行される。なお、同処理は車載カメラ２０が新たな画像を撮像するよりも長い間隔で実行されてもよい。
【００５０】
画像処理部３０は、車載カメラ２０から撮像画像が入力されると、撮像画像に対して車速に基づき絞り込んだ候補領域２００を設定する（ステップＳ１０）。つまり、認識範囲の絞り込みを車速に基づいて行う。これにより、撮像画像のうち候補領域２００から外れた除外領域２０１に対する画像処理が省かれるようになる。また画像処理部３０は、候補領域２００を所定の大きさまで絞り込むことができるか否かを判断する（ステップＳ１１）。候補領域２００は、認識処理による処理負荷が所定の負荷以下になる場合、これ以上絞り込まれる必要が無い。逆に、候補領域２００は、認識処理による処理負荷が所定の負荷よりも大きい場合、一層絞り込まれる必要が生じる。つまり、所定の大きさは、処理負荷に応じて定められる大きさである。領域の所定の大きさは、例えば、解像度が高くなることや、処理アルゴリズムが複雑になることに対応して、逆により小さくされる。
【００５１】
所定の大きさまで絞り込まれたと判断した場合（ステップＳ１１でＹＥＳ）、画像処理部３０は、通常の認識処理を行うとともに、認識された認識対象をナビゲーションシステム７０などに通知する（ステップＳ１２）。そして、通知されたナビゲーションシステム７０は、通知内容を画像や文字等で表示したり、音声を通じて出力したりする。また、撮像画像における認識対象を強調するように加工して画像表示してもよい。そして、画像認識処理が終了される。
【００５２】
所定の大きさまで絞り込まれていないと判断した場合（ステップＳ１１でＮＯ）、画像処理部３０は、車両状況に応じて認識対象とする領域を絞り込む。まず、画像処理部３０は、高速道路であるか否かを判断する（ステップＳ１３）。高速道路であるか否かは、ナビゲーションシステム７０の地図情報に基づいて判断することができる。高速道路であると判断した場合（ステップＳ１３でＹＥＳ）、画像処理部３０は、撮像画像から先行車領域２３０を選択するとともに、車両に対する認識精度を高く維持して画像認識の処理を行う（ステップＳ１４）。これにより、処理負荷の抑制を図りながら、先行車が高く維持された認識精度の下で認識されるようになる。そして、こうして認識された先行車が認識対象として通知され（ステップＳ１２）、その後、画像認識処理が終了される。
【００５３】
一方、高速道路ではないと判断した場合（ステップＳ１３でＮＯ）、画像処理部３０は、よく通る道であるか否かを判断する（ステップＳ１５）。よく通る道であると判断した場合（ステップＳ１５でＹＥＳ）、画像処理部３０は、撮像画像から歩行者領域２１０を選択するとともに、歩行者の認識精度を高く維持して画像認識の処理を行う（ステップＳ１６）。よく通る道であるとき歩行者領域２１０を選択する理由の一つとして、慣れによる注意力低下が挙げられる。
【００５４】
また、よく通る道ではないと判断した場合（ステップＳ１５でＮＯ）、画像処理部３０は、目的地付近であるか否かを判断する（ステップＳ１７）。目的地付近であると判断した場合（ステップＳ１７でＹＥＳ）、画像処理部３０は、撮像画像から歩行者領域２１０を選択するとともに、歩行者の認識精度を高く維持して画像認識の処理を行う（ステップＳ１６）。目的地付近であるとき歩行者領域２１０を選択する理由の一つとして、目的地発見へ集中することによる注意力低下が挙げられる。
【００５５】
このようにステップＳ１６が実行されることにより、処理負荷の抑制を図りながら、歩行者が高く維持された認識精度の下で認識されるようになる。そして、こうして認識された歩行者が認識対象として通知され（ステップＳ１２）、その後、画像認識処理が終了される。
【００５６】
さらに、目的地付近ではないと判断した場合（ステップＳ１７でＮＯ）、画像処理部３０は、交差点の手前であるか否かを判断する（ステップＳ１８）。交差点の手前であると判断した場合（ステップＳ１８でＹＥＳ）、画像処理部３０は、撮像画像から標識領域２２０を選択するとともに、標識の認識精度を高く維持して画像認識の処理を行う（ステップＳ１９）。これにより、処理負荷の抑制を図りながら、標識が高く維持された認識精度の下で認識されるようになる。そして、こうして認識された標識が認識対象として通知され（ステップＳ１２）、その後、画像認識処理が終了される。
【００５７】
また、交差点の手前ではないと判断した場合（ステップＳ１８でＮＯ）、画像処理部３０は、撮像画像から先行車領域２３０、歩行者領域２１０、及び、標識領域２２０を選択するとともに、これら領域について順番に繰り返し（例えばサイクリックに）選択して、選択した領域について順次画像認識処理を行う（ステップＳ１９）。よって、先行車領域２３０が選択されたとき、車両の認識精度を高く維持して画像認識の処理が行なわれ、歩行者領域２１０が選択されたとき、歩行者の認識精度を高く維持して画像認識の処理が行なわれ、標識領域２２０が選択されたとき、標識の認識精度を高く維持して画像認識の処理が行なわれる。この交差点の手前ではないと判断した場合には、交差点３が含まれる。交差点３であるとき３つの領域を選択する理由の一つとして、歩行者、障害物、標識などへの注意力低下が挙げられる。なお、交差点３であるか否かを判断するステップを設けてもよい。
【００５８】
これにより、処理負荷の抑制を図りながら、認識精度が高く維持された状態で、先行車、歩行者及び標識が認識されるようになる。つまり各画像処理に係る処理負荷の抑制が図られる。また、先行車、歩行者及び標識がそれぞれ高い認識精度で認識処理されることから、処理負荷の抑制が図られつつも必要な情報が認識されるようになる。例えば、撮像画像に対する認識処理と等価な認識処理が可能となる。
【００５９】
そして、こうして認識された先行車、歩行者及び標識が認識対象として通知され（ステップＳ１２）、その後、画像認識処理が終了される。
本実施形態によれば、車両状況に拘わらず、画像処理に係る処理負荷を抑制することのできる画像処理装置を提供することができる。
【００６０】
以上説明したように、本実施形態に係る画像処理装置によれば、以下に列記する効果を有する。
（１）撮像画像の一部を、車両１０の走行環境や走行状態を含む車両状況に応じて対象領域として選択し、その選択した対象領域について画像処理を行うことで、撮像画像全体を画像処理することに比較して処理負荷の抑制が図られるようになる。また、選択された複数の対象領域のうちの１つを対象領域として切り替えて順次画像処理することにより、画像処理により得られる情報量を維持しつつ、車両状況に拘わらず画像処理の処理負荷を抑制することができる。これにより、例えば、予防安全と標識案内とを行えるようになる。
【００６１】
（２）交差点は、様々な状況が混在するため認識対象を絞り込むことは困難であるから、複数の対象領域の選択によって認識対象の幅を広げることで、交差点の進入においても処理負荷の抑制された画像処理を行いつつも、画像認識の精度を維持することができる。
【００６２】
（その他の実施形態）
なお上記実施形態は、以下の態様で実施することもできる。
・上記実施形態では、車両１０には、車載カメラ２０、画像処理部３０、ナビゲーションシステム７０及びＧＰＳ装置６０が設けられている場合について例示した。しかしこれに限らず、撮像した車両前方の撮像画像の画像認識処理を行って認識結果を運転支援用に出力できるのであれば、車載カメラ、画像処理部、ナビゲーションシステム及びＧＰＳ装置はそれらの一部又は全部が一体化していてもよいし、逆に、その一部又は全部がより細く分割されていてもよい。これにより、画像処理装置としての設計自由度の向上が図られるようになる。
【００６３】
・上記実施形態では、車載ネットワークＮ１が用いられる場合について例示したが、こうした車載ネットワークＮ１としては、ＣＡＮ（コントローラエリアネットワーク）や、ＬＩＮ、ＦｌｅｘＲａｙ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）などが挙げられる。これにより、画像処理装置の適用範囲の拡大が図られるようになる。
【００６４】
・上記実施形態では、画像処理部３０、車速取得部４０及びナビゲーションシステム７０が車載ネットワークＮ１に接続されている場合について例示した。しかしこれに限らず、各装置は必要な情報の授受が可能に構成されるのであれば、車載ネットワークには、その他の装置が接続されてもよい。一方、各装置は必要な情報の授受が可能に接続されるのであれば、接続はネットワークに限られない。また接続経路に無線通信が含まれていてもよい。これにより、画像処理装置の適用範囲の拡大が図られるようになる。
【００６５】
・上記実施形態では、領域設定部３１０は、各領域の範囲を設定した撮像画像を画像認識部３３０へ出力する場合について例示した。しかしこれに限らず、領域設定部は、設定した範囲に対応する画像情報を抽出し、この抽出した画像情報を画像認識部へ出力するようにしてもよい。これにより、画像処理装置としての設計自由度の向上が図られるようになる。
【００６６】
・上記実施形態では、領域選択部３２０は、選択する対象領域の情報を画像認識部３３０へ出力する場合について例示した。しかしこれに限らず、領域選択部は、選択する対象領域を領域設定部に出力し、領域設定部から画像認識部に伝達される画像を選択する対象領域に対応する画像情報としてもよい。これにより、画像処理装置としての設計自由度の向上が図られるようになる。
【００６７】
・上記実施形態では、車両状況がいずれの条件にも該当しないとき、対象領域として、先行車領域２３０と、歩行者領域２１０と、標識領域２２０とを選択する場合について例示した。しかしこれに限らず、車両状況がいずれの条件にも該当しないとき、対象領域として、先行車領域、歩行者領域及び標識領域の少なくとも２つを選択してもよい。少なくとも２つを選択することにより、一つだけ選択されるような場合に比べて、認識処理によって認識される情報量を多く維持することができるとともに、処理付加の低い処理の組合せであることから全体としての処理負荷も低く抑えられるようになる。これにより、画像処理装置としての適用範囲の拡大が図られるようになる。
【００６８】
・上記実施形態では、３つの領域に対する処理を順番に繰り返し行う場合について例示した。しかしこれに限らず、３つの領域に対する処理を、任意の順番に切り替えて、切り替えられた領域に対する認識処理を順次行うようにしてもよい。例えば、重要度の高い領域の認識回数が多くなるようにすることができる。よって、歩行者領域、先行車領域、歩行者領域、標識領域との順番を繰り返し行うようにしてもよいし、歩行者領域、先行車領域、標識領域、歩行者領域、先行車領域との順番を繰り返し行うようにしてもよい。また、歩行者領域の認識処理、先行車領域の認識処理及び標識領域の認識処理にそれぞれ周期を設定し、その設定された各周期に応じて各領域の認識処理を行うようにしてもよい。いずれにせよ、認識処理により得られる情報を維持しつつ、認識処理の処理負荷を低く抑えることができるようになる。
【００６９】
・上記実施形態では、高速道路であるときは先行車領域２３０が選択され、よく通る道や目的地付近であるときは歩行者領域２１０が選択され、交差点の手前では標識領域２２０が選択される場合について例示した。しかしこれに限らず、高速道路であるとき、先行車領域を多く選択しつつも、標識領域や歩行者領域を適宜選択してもよい。また、よく通る道や目的地付近であるとき、歩行者領域を多く選択しつつも、先行車領域や標識領域を適宜選択してもよい。さらに、交差点の手前であるとき、標識領域を多く選択しつつも、先行車領域や歩行者領域を適宜選択してもよい。これにより、画像処理装置の適用範囲の拡大が図られるようになる。
【００７０】
・上記実施形態では、画像処理部３０にて画像認識処理が実行される場合について例示した。しかしこれに限らず、画像認識処理が可能であれば、その機能や処理の一部がセンターなど車両以外に設けられてもいてもよい。これにより、画像処理装置としての設計自由度の向上が図られるようになる。
【００７１】
・上記実施形態では、画像処理部３０がＥＣＵである場合について例示した。しかしこれに限らず、画像認識処理は、携帯電話やスマートフォン、タブレットなどの携帯情報処理装置などにより実行されてもよい。こうした携帯情報処理装置を自車に持ち込むことで車両の運転支援に利用することが可能にもなる。これにより、画像処理装置の適用範囲の拡大が図られるようになる。
【００７２】
・上記実施形態では、車両１０は自動車である場合について例示した。しかしこれに限らず、画像処理装置は移動に伴い周囲の状況を監視する必要があれば、ロボット、自転車、又は歩行者用の案内装置などに設けることもできる。これにより、画像処理装置としての適用範囲の拡大が図られるようになる。
【符号の説明】
【００７３】
Ｎ１…車載ネットワーク、１０…車両、１１ａ，１１ｂ…先行車、１２…対向車、２０…車載カメラ、３０…画像処理部、４０…車速取得部、５０…速度センサ、６０…ＧＰＳ装置、７０…ナビゲーションシステム、１００…撮像画像、１１０，１１１…信号機、１１５…標識、１２０，１２１…歩行者、１２５…横断歩道、２００…候補領域、２０１…除外領域、２１０…歩行者領域、２１１…上側除外領域、２２０…標識領域、２２１…下側除外領域、２３０…先行車領域、２３１…除外領域、３１０…領域設定部、３２０…領域選択部、３３０…画像認識部、７１０…経路案内部、７２０…履歴管理部。
【図１】
2015210584.tif 000003
【図２】
2015210584.tif 000004
【図３】
2015210584.tif 000005
【図４】
2015210584.tif 000006
【図５】
2015210584.tif 000007
【図６】
2015210584.tif 000008
【図７】
2015210584.tif 000009