(57)【要約】【課題】車両の画像から車両の向きを正確に判定することである。【解決手段】本発明に係る車両方向判定装置１は、車両領域検出部１３と対称性判定部１６と向き推定部１７とを少なくとも備える。車両領域検出部１３は、画像から車両の画像領域を検出する。対称性判定部１６は、車両の画像領域から、車両が対称性を有するか否かを判定する。向き推定部１７は、対称性判定部１６による対称性の有無の判定結果に基づいて車両の向きを推定する。向き推定部１７は、例えば対称性が有ると判定された場合には車両の向きが前又は後ろであるものと推定し、対称性が無いと判定された場合には車両の向きが横又は斜めであるものと推定する。【選択図】　図１
2004126947.tif 000002
【特許請求の範囲】
【請求項１】
画像から車両を検出する検出手段と、
前記検出手段により検出された前記車両が対称性を有するか否かを判定する判定手段と、
前記判定手段による対称性の判定結果に基づいて、前記車両の向きを推定する推定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記推定手段は、前記判定手段により前記車両が対称性を有すると判定された場合には、前記車両の向きが前又は後ろ向きであると推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定手段は、前記判定手段により前記車両が対称性を有さないと判定された場合には、前記車両の向きが横又は斜め向きであると推定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像処理装置が、画像から車両を検出する検出ステップと、
前記画像処理装置が、前記検出ステップにて検出された前記車両が対称性を有するか否かを判定する判定ステップと、
前記画像処理装置が、前記判定ステップにおける対称性の判定結果に基づいて、前記車両の向きを推定する推定ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、画像処理技術の進歩に伴い、カメラによって撮像された画像から特定の領域を抽出する画像処理装置が提案されている。例えば、特開平７−３３４６７９号公報においては、以下に説明する領域抽出装置が開示されている。すなわち、領域抽出装置は、三次元空間に設定された面に複数の画像を射影し、射影された画像の中から類似する領域を道路領域として抽出する。これにより、画像変化の影響や類似物の誤抽出を低減した領域抽出装置を実現するものである（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平７−３３４６７９号公報　（第６図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術では以下に示す様な問題点があった。すなわち、画像から道路領域や車両領域を抽出することはできても、車両の向きまでは判定することはできない。かかる点に起因して、他車両の進行方向を特定できない、自車両を駐車する向きが決められない等の難点があった。
【０００５】
他車両の進行方向の特定に関しては、２時点における画像を比較して車両の変位から進行方向を推定する手法も考えられるが、処理時間や負荷が増大すると共に、他車両が駐車中の場合には進行方向の特定が困難である。また、自車両を駐車する向きの決定に関しては、他車両間の隙間領域を検出し、その領域の方向を推定する処理が必要になる。当該処理の実行に際しては、少なくとも２台の車両を検出する必要があり、同じく処理時間や負荷が増大する。
【０００６】
このため、車両の向きを正確に判定することが、他車両の進行方向の特定あるいは自車両の駐車方向の決定を簡易迅速に行う上で極めて有効である。
そこで、本発明は、車両の画像から車両の向きを正確に判定する画像処理装置、及び画像処理方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、上記課題を解決する為、以下の様な特徴を備えている。
本発明に係る画像処理装置は、画像から車両を検出する検出手段と、前記検出手段により検出された前記車両が対称性を有するか否かを判定する判定手段と、前記判定手段による対称性の判定結果に基づいて前記車両の向きを推定する推定手段とを備える。
【０００８】
本発明に係る画像処理方法は、画像処理装置が、画像から車両を検出する検出ステップと、前記画像処理装置が、前記検出ステップにて検出された前記車両が対称性を有するか否かを判定する判定ステップと、前記画像処理装置が、前記判定ステップにおける対称性の判定結果に基づいて前記車両の向きを推定する推定ステップとを含む。
【０００９】
本発明に係る画像処理装置において好ましくは、前記推定手段は、前記判定手段により前記車両が対称性を有すると判定された場合には、前記車両の向きが前又は後ろ向きであると推定する。
【００１０】
本発明に係る画像処理装置において好ましくは、前記推定手段は、前記判定手段により前記車両が対称性を有さないと判定された場合には、前記車両の向きが横又は斜め向きであると推定する。
【００１１】
これらの発明によれば、車両の画像から前記車両が対称性を有するか否かが判定され、この判定結果に基づいて前記車両の向きが推定される。すなわち、前後方向から撮影された車両画像は一般的に左右対称であるのに対して、横や斜め方向から撮影された車両画像は左右非対称である点に着目し、例えば、車両画像に対称性が有ると判定された場合には、画像処理装置は、その車両は前後何れか一方を向いている車両であると推定する。反対に、車両画像に対称性が無いと判定された場合には、画像処理装置は、その車両は横、斜めの何れかを向いている車両であると推定する。その結果、車両の画像から車両の向きを正確に判定することが可能となる。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施の形態における車両方向判定装置１の機能的構成を示すブロック図である。図１に示す様に、車両方向判定装置１（画像処理装置に対応）は、撮像部１１と、画像格納部１２と、車両領域検出部１３（検出手段に対応）と、エッジ検出処理部１４と、対称軸探索部１５と、対称性判定部１６（判定手段に対応）と、向き推定部１７（推定手段に対応）とを備える。これら各部は、各種信号の入出力が可能な様に電気的に接続されている。
【００１３】
撮像部１１は、車両及びその周辺部分を撮影する周知のカメラである。撮像部１１は、エッジ検出の精度を高める観点から明暗の差（コントラスト）が高いものが望ましい。なお、撮像部１１は、複眼カメラ、単眼カメラの何れでもよい。
画像格納部１２は、撮像部１１により撮像された画像データを格納する。
【００１４】
車両領域検出部１３は、画像格納部１２に格納されている背景を含む画像データから車両に対応するデータ部分（以下、「車両領域」と記す。）を検出する。車両領域は、車両の輪郭に囲まれた領域に限らず、例えば車両を含む矩形の領域であってもよい。
【００１５】
エッジ検出処理部１４は、画像格納部１２に格納された画像データに対して、所定の輝度を閾値とする二値化処理を実行する。また、エッジ検出処理部１４は、二値化された画像データに対して、後述のエッジ検出処理を実行する。
【００１６】
対称軸探索部１５は、車両領域検出部１３により検出された車両領域から、色面積の多い領域を除去し、各画素の輝度値をヒストグラム化することにより、車両領域の対称軸を探索する。
【００１７】
対称性判定部１６は、車両領域検出部１３により検出された車両領域から任意の判定領域を選択し、対称軸探索部１５により生成されたヒストグラムの対称軸を基準に判定領域を水平方向に反転する。また、対称性判定部１６は、周知慣用のパターンマッチング等の画像解析手法を用いて、判定領域と反転先の領域との同一性を判定する。同一である場合には、同一の画像領域が左右の対称位置に存在するので、対称性判定部１６は、対称性判定の対象画像が左右対称の画像であるものと判定する。
【００１８】
向き推定部１７は、前後方向推定処理の実行に際して、対称性判定部１６により画像が左右対称の画像であると判定された場合には、車両が、前又は後ろの何れかの向きを向いているものと推定する。また、向き推定部１７は、横・斜め方向推定処理の実行に際して、対称性判定部１６により長方形に変形された画像が左右対称の画像であると判定された場合には、車両が、斜めを向いているものと推定する。更に、向き推定部１７は、横・斜め方向推定処理の実行に際して、車両領域から台形部分が検出されなかった場合には、車両が、横を向いているものと推定する。
【００１９】
台形検出部１８は、詳細な処理内容に関しては後述するが、エッジ検出処理部１４により検出されたエッジから直線を検出し、更にその直線の組合せである台形を検出する。
変形処理部１９は、台形検出部１８により検出された台形が長方形に変形する様に、判定領域に画像処理を施す。
【００２０】
次に、図２〜図６を参照して、本実施の形態における車両方向判定装置１の動作を説明する。併せて、本発明に係る画像処理方法の各ステップについて説明する。
【００２１】
自車両の停止後に、運転者により車両方向推定処理の開始が指示されると、図２のフローチャートに示す処理が開始される。まず、撮像部１１は、車両方向の推定対象となる車両及びその近傍を撮影し、撮影された画像データを画像格納部１２に格納する（Ｓ１）。
【００２２】
次いで、車両領域検出部１３は、Ｓ１で取得された画像データから、車両に該当するデータ部分（車両領域）を検出する（Ｓ２）。車両領域の検出処理に関しては周知慣用の画像解析技術に該当するので詳細な説明（数式を含む）は省略し、好適な手法を簡略に説明する。すなわち、車両領域検出部１３は、平面ステレオ法の原理（例えば、“日本ロボット学会誌”Ｖｏｌ．１８　Ｎｏ．８，ｐｐ１１０５〜１１１１，２０００の文献に記載）により、一対の平面ステレオカメラから投影された画像データ間の差分画像において、輝度値が閾値よりも低い部分を平面領域として検出する。そして、上記画像データにおいて、当該平面領域以外の領域を車両領域として検出する。
【００２３】
Ｓ３では、エッジ検出処理部１４は、画像格納部１２に格納された画像データに対して、所定の輝度を閾値とする二値化処理を実行する。かかる閾値は、後述のエッジ検出に伴う処理負荷を軽減すると共に処理時間を短縮すべく、極力小さい値であることが望ましい。好適には、２５６グレイスケールで３２〜５０、より好適には４０程度である。
なお、二値化処理の基準となる画素値は輝度に限らず、例えば彩度などであってもよい。
【００２４】
更にＳ４では、エッジ検出処理部１４は、二値化された画像データに対してエッジ検出処理を実行する。エッジ検出処理に関しては周知慣用の画像解析技術であるので、詳細な説明や図示（数式を含む）は省略し、好適な方法を簡略に説明する。すなわち、エッジ検出処理部１４は、例えばソーベルフィルタにより構成され、取得された画像データ中の任意の１画素を中心とした上下左右の９（＝３×３）の画素値（輝度）に、水平及び垂直方向の２つの係数行列をそれぞれ乗算する。続いて、エッジ検出処理部１４は、当該乗算結果に基づいて上記各画素値の変化量を算定し、画素値の変化量が大きい部分（特徴点）をエッジとして検出する。エッジ検出処理が施された車両領域Ｒ１の一例として画像データＧ１を図３（ａ）に示す。
【００２５】
Ｓ５では、対称軸探索部１５は、Ｓ２において検出された車両領域から色面積の多い領域を除去し、各画素の輝度値をヒストグラム化する。続いて、対称軸探索部１５は、図３（ｂ）に示す様に、ヒストグラム化された車両領域Ｒ１から対称軸Ａを探索する。
【００２６】
Ｓ５における対称軸探索処理の結果、対称軸が検出された場合には後述の前後方向推定処理（Ｓ６）が実行される。一方、対称軸が検出されなかった場合には後述の横・斜め方向推定処理（Ｓ７）が実行される。
【００２７】
以下、図４のフローチャートを参照して、前後方向推定処理について詳細に説明する。まず、対称性判定部１６は、Ｓ２で検出された車両領域から判定領域を選択する（Ｓ６１）。判定領域は、矩形、円形など、その形状及び位置は任意であるが、対称性判定の精度を向上する観点から、楕円形（円形を含む）などの特徴的な形状を有する部分を含む領域であることが望ましい。
【００２８】
Ｓ６２では、対称性判定部１６は、図２のＳ５において検出された対称軸を基準として判定領域を水平方向（左右方向）に反転する。また、対称性判定部１６は、周知慣用のパターンマッチング等の画像解析手法を用いて、判定領域と反転先に位置する領域とにおける画像データの同一性を判定する。
【００２９】
Ｓ６２において、判定領域と反転先の領域とにおける画像データが同一であると判定された場合には、同一の画像領域が左右の対称位置に存在するので、対称性判定部１６は、Ｓ２で検出された車両領域が左右対称であるものと判定する（Ｓ６３）。例えば、図３（ｃ）に示す画像データＧ１において、車両領域Ｒ１から判定領域Ｂ１が選択された場合には、判定領域Ｂ１は対称軸Ａを基準として右側に反転された後、反転先に位置する領域Ｂ２との画像同一性が判定される。この場合、判定領域Ｂ１と領域Ｂ２とは同一の画像領域であるので、車両領域Ｒ１は左右対称であるものと判定される。
【００３０】
Ｓ６４では、向き推定部１７は、車両領域が左右対称であるものとの判定結果を受けて、図２のＳ１で撮影された車両が前後何れかを向いているものと推定し、一連の車両方向推定処理を終了する。
【００３１】
なお、Ｓ６２において判定領域と反転先の領域との画像データが異なるものと判定された場合にはＳ６１に戻り、更に別の判定領域を選択する。所定数又は所定面積の判定領域が選択されたにも拘わらず、左右同一の判定領域が存在しない場合には、車両領域は左右対称ではない、つまり車両が前後の何れかを向いていないものと推定される。
【００３２】
続いて、図５のフローチャートを参照して、横・斜め方向推定処理について詳細に説明する。まず、台形検出部１８は、ハフ変換（Ｈｏｕｇｈ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などの数学的手法を用いて、Ｓ４で車両領域から検出されたエッジから直線を検出する（Ｓ７１）。ここで、ハフ変換とは、二次元座標データをＸＹ平面座標系からρθ平面座標系に変換した結果、投票点が最も多い座標を特定し、当該座標に対応するＸＹ平面座標系上の直線を検出する手法である。
【００３３】
Ｓ７２では、台形検出部１８は、Ｓ７１で検出された直線から構成される四角形部分の中から台形部分を検出する。
台形部分が検出された場合には、台形検出部１８は、Ｓ７２で検出された台形部分の中から判定領域を選択する（Ｓ７３）。このとき選択された判定領域の一例を図６（ａ）に示す。図６（ａ）において、車両のフロントパネルが判定領域としての台形部分Ｃに相当する。
【００３４】
Ｓ７４では、変形処理部１９は、Ｓ７３で選択された判定領域が長方形に変形する様に、判定領域に画像処理を施す。なお、長方形には、長方形の一態様である正方形を含む。この変形処理は、図６（ｂ）に示す様に、台形部分を構成する各画素の輝度や彩度は元より、水平方向における各部分毎の縮尺比を一定に維持した状態で行われる。したがって、変形処理後の判定領域が水平方向に対称性を有するか否かに基づいて、その判定領域が斜め方向から撮影された画像データの一部であるか否かを判断できる。
【００３５】
Ｓ７５では、対称軸探索部１５は、Ｓ７４において変形された判定領域から、色面積の多い領域を除去し、各画素の輝度値をヒストグラム化する。続いて、対称軸探索部１５は、ヒストグラム化された判定領域の画像データから対称軸を探索する。
【００３６】
Ｓ７５における対称軸探索処理の結果、対称軸が検出された場合には、対称性判定部１６は、Ｓ７５において検出された対称軸を基準として判定領域を水平方向（左右方向）に反転する。また、対称性判定部１６は、周知慣用のパターンマッチング等の画像解析手法を用いて、判定領域と反転先に位置する領域とにおける画像データの同一性を判定する（Ｓ７６）。
【００３７】
これに対して、Ｓ７５における対称軸探索処理の結果、対称軸が検出されなかった場合には、向き推定部１７は、図２のＳ１で撮影された車両が横を向いているものと推定し（Ｓ７９）、一連の車両方向推定処理を終了する。
【００３８】
Ｓ７６に戻り、判定領域と反転先の領域とにおける画像データが同一であると判定された場合には、同一の画像領域が左右の対称位置に存在するので、対称性判定部１６は、Ｓ７４で変形された判定領域が左右対称であるものと判定する（Ｓ７７）。
【００３９】
Ｓ７８では、向き推定部１７は、判定領域が左右対称であるものとの判定結果を受けて、図２のＳ１で撮影された車両が斜めを向いているものと推定し、一連の車両方向推定処理を終了する。
【００４０】
なお、Ｓ７６において判定領域と反転先の領域とが異なるものと判定された場合にはＳ７２に戻り、更に別の台形部分の検出を行う。そして、台形部分が検出されなくなった時点でＳ７９に移行し、向き推定部１７は、図２のＳ１で撮影された車両が横を向いているものと推定する。
【００４１】
以上説明した様に、本発明は、第一に、前後何れかの向きの車両が対称性を有するのに対して、横又は斜め向きの車両が対称性を有さない点に着目して為されたものである。第二に、斜め向きの車両画像の一部を長方形に変形した場合に対称性を有するのに対して、横向きの車両画像の一部を長方形に変形した場合には対称性を有さない点に着目して為されたものである。
【００４２】
すなわち、本発明に係る車両方向判定装置１によれば、取得された画像データから車両領域を抽出し、該車両領域が左右対称であるか否か（対称性）を判定する。判定の結果、車両領域が左右対称である場合には、車両の向きが前後何れかの向きであるものと判断する。これに対して、車両領域が左右非対称である場合には、車両方向判定装置１は、車両の向きが、横又は斜めの何れの向きであるかを特定すべく、車両領域の台形部分を長方形に変形し、この変形領域に関して対称性の判定を行う。判定の結果、左右対称の変形領域が存在する場合には車両の向きが斜め向きであるものと判断し、存在しない場合には車両の向きが横向きであるものと判断する。
【００４３】
したがって、車両方向判定装置１を備える自車両は、他車両の画像データから他車両の向きを正確に判定することができる。これにより、自車両の運転者は、他車両の進行方向の特定、及び自車両の駐車方向の決定を簡易迅速に行うことが可能となる。その結果、運転者は、所望の目標駐車区画に車両を容易に駐車できる。
【００４４】
【発明の効果】
本発明によれば、車両の画像から車両の向きを正確に判定することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る車両方向判定装置の機能的構成を示すブロック図である。
【図２】車両方向推定処理を説明する為のフローチャートである。
【図３】図３（ａ）は、車両領域から検出されたエッジを示す図である。図３（ｂ）は、車両領域のヒストグラムから対称軸を探索する過程を概念的に示す図である。図３（ｃ）は、車両領域が左右対称であるか否かを判定する処理を示す図である。
【図４】前後方向推定処理を説明する為のフローチャートである。
【図５】横・斜め方向推定処理を説明する為のフローチャートである。
【図６】図６（ａ）は、車両領域から検出された台形部分を示す図である。図６（ｂ）は、台形部分が長方形に変形される様子を概念的に示す図である。
【符号の説明】
１…車両方向判定装置、１３…車両領域検出部、１６…対称性判定部、１７…向き推定部
【図１】
2004126947.tif 000003
【図２】
2004126947.tif 000004
【図３】
2004126947.tif 000005
【図４】
2004126947.tif 000006
【図５】
2004126947.tif 000007
【図６】
2004126947.tif 000008