(57)【要約】【課題】物標の上端の位置、及び物標の下端の位置を正確に検出できる画像処理装置、制御システム、及び画像処理方法を提供すること。【解決手段】画像処理装置は、画像取得ユニットと、第１領域検出ユニットと、第２領域設定ユニットと、エッジ強度算出ユニットと、縦積算ユニットと、横方向位置決定ユニットと、横積算ユニットと、縦方向位置決定ユニットとを備える。第１領域検出ユニットは、パターンマッチングにより、物標が存在する第１領域を検出する。第２領域設定ユニットは第２領域を設定する。エッジ強度算出ユニットは各画素におけるエッジ強度を算出する。横積算ユニットは、横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ２を算出する。縦方向位置決定ユニットは、積算値Ｖ２が第２閾値以上となる最も上側の位置ＰＴと、積算値Ｖ２が第２閾値以上となる最も下側の位置ＰＢとを決定する。【選択図】図２
2019105925.tif 000002
【特許請求の範囲】
【請求項１】
撮像ユニットを用いて画像を取得する画像取得ユニットと、
前記画像において、パターンマッチングにより、物標が存在する第１領域を検出する第１領域検出ユニットと、
前記画像において、前記第１領域を含み、前記第１領域より広い第２領域を設定する第２領域設定ユニットと、
前記第２領域内の各画素におけるエッジ強度を算出するエッジ強度算出ユニットと、
前記第２領域内で縦方向に並ぶ複数の画素のエッジ強度の積算値Ｖ１を、横方向における複数の位置でそれぞれ算出する縦積算ユニットと、
前記積算値Ｖ１が予め設定された第１閾値以上となる最も左側の位置ＰＬと、前記積算値Ｖ１が前記第１閾値以上となる最も右側の位置ＰＲと、を決定する横方向位置決定ユニットと、
前記第２領域のうち、横方向での位置が前記位置ＰＬと前記位置ＰＲとの間にある領域内で横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ２を、縦方向における複数の位置でそれぞれ算出する横積算ユニットと、
前記積算値Ｖ２が予め設定された第２閾値以上となる最も上側の位置ＰＴと、前記積算値Ｖ２が前記第２閾値以上となる最も下側の位置ＰＢと、を決定する縦方向位置決定ユニットと、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記物標は歩行者である画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記位置ＰＴ及び前記位置ＰＢに基づき、前記撮像ユニットから前記物標までの距離、及び／又は、前記物標の高さを推定する推定ユニットをさらに備える画像処理装置。
【請求項４】
車両に搭載された請求項３に記載の画像処理装置と、
前記推定ユニットが推定した前記距離、及び／又は、前記高さに基づき、前記車両の制御を行う制御装置と、
を備える制御システム。
【請求項５】
撮像ユニットを用いて画像を取得し、
取得した前記画像において、パターンマッチングにより、物標が存在する第１領域を検出し、
前記画像において、前記第１領域を含み、前記第１領域より広い第２領域を設定し、
前記第２領域内の各画素におけるエッジ強度を算出し、
前記第２領域内で縦方向に並ぶ複数の画素のエッジ強度の積算値Ｖ１を、横方向における複数の位置でそれぞれ算出し、
前記積算値Ｖ１が予め設定された第１閾値以上となる最も左側の位置ＰＬと、前記積算値Ｖ１が前記第１閾値以上となる最も右側の位置ＰＲと、を決定し、
前記第２領域のうち、横方向での位置が前記位置ＰＬと前記位置ＰＲとの間にある領域内で横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ２を、縦方向における複数の位置でそれぞれ算出し、
前記積算値Ｖ２が予め設定された第２閾値以上となる最も上側の位置ＰＴと、前記積算値Ｖ２が前記第２閾値以上となる最も下側の位置ＰＢと、を決定する画像処理方法。
【請求項６】
請求項５に記載の画像処理方法であって、
前記物標は歩行者である画像処理方法。
【請求項７】
請求項５又は６に記載の画像処理方法であって、
前記位置ＰＴ及び前記位置ＰＢに基づき、前記撮像ユニットから前記物標までの距離、及び／又は、前記物標の高さを推定する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、制御システム、及び画像処理方法に関する。
【背景技術】
【０００２】
従来、以下のような物標認識方法が知られている。車載カメラを用いて車両の周囲を撮影し、画像を作成する。次に、作成した画像において、パターンマッチングにより、物標が存在する領域（以下では物標領域とする）を検出する（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７８５５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
パターンマッチングで用いられるモデルは決められた大きさを有し、モデルに対応する物標領域も決められた大きさを有する。そのため、物標領域の大きさと、画像上での物標の大きさとは必ずしも一致しない。その結果、パターンマッチングにより検出した物標領域の下端は、物標の下端と必ずしも一致せず、物標領域の上端は、物標の上端と必ずしも一致しない。
【０００５】
そのため、物標領域の下端の位置に基づき、車載カメラから物標までの距離を推定すると、推定精度が低下してしまう。また、物標領域の下端の位置及び上端の位置に基づき、物標の高さを推定すると、推定精度が低下してしまう。
【０００６】
本開示は、物標の上端の位置、及び物標の下端の位置を正確に検出できる画像処理装置、制御システム、及び画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本開示の一局面は、撮像ユニットを用いて画像を取得する画像取得ユニットと、前記画像において、パターンマッチングにより、物標が存在する第１領域を検出する第１領域検出ユニットと、前記画像において、前記第１領域を含み、前記第１領域より広い第２領域を設定する第２領域設定ユニットと、前記第２領域内の各画素におけるエッジ強度を算出するエッジ強度算出ユニットと、前記第２領域内で縦方向に並ぶ複数の画素のエッジ強度の積算値Ｖ１を、横方向における複数の位置でそれぞれ算出する縦積算ユニットと、前記積算値Ｖ１が予め設定された第１閾値以上となる最も左側の位置ＰＬと、前記積算値Ｖ１が前記第１閾値以上となる最も右側の位置ＰＲと、を決定する横方向位置決定ユニットと、前記第２領域のうち、横方向での位置が前記位置ＰＬと前記位置ＰＲとの間にある領域内で横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ２を、縦方向における複数の位置でそれぞれ算出する横積算ユニットと、前記積算値Ｖ２が予め設定された第２閾値以上となる最も上側の位置ＰＴと、前記積算値Ｖ２が前記第２閾値以上となる最も下側の位置ＰＢと、を決定する縦方向位置決定ユニットと、を備える画像処理装置である。
【０００８】
本開示の一局面である画像処理装置によれば、物標の上端の位置、及び物標の下端の位置を正確に検出できる。
本開示の別の局面は、撮像ユニットを用いて画像を取得し、取得した前記画像において、パターンマッチングにより、物標が存在する第１領域を検出し、前記画像において、前記第１領域を含み、前記第１領域より広い第２領域を設定し、前記第２領域内の各画素におけるエッジ強度を算出し、前記第２領域内で縦方向に並ぶ複数の画素のエッジ強度の積算値Ｖ１を、横方向における複数の位置でそれぞれ算出し、前記積算値Ｖ１が予め設定された第１閾値以上となる最も左側の位置ＰＬと、前記積算値Ｖ１が前記第１閾値以上となる最も右側の位置ＰＲと、を決定し、前記第２領域のうち、横方向での位置が前記位置ＰＬと前記位置ＰＲとの間にある領域内で横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ２を、縦方向における複数の位置でそれぞれ算出し、前記積算値Ｖ２が予め設定された第２閾値以上となる最も上側の位置ＰＴと、前記積算値Ｖ２が前記第２閾値以上となる最も下側の位置ＰＢと、を決定する画像処理方法である。
【０００９】
本開示の別の局面である画像処理方法によれば、物標の上端の位置、及び物標の下端の位置を正確に検出できる。
【図面の簡単な説明】
【００１０】
【図１】制御システム１の構成を表すブロック図である。
【図２】画像処理装置５の機能的構成を表すブロック図である。
【図３】画像処理装置５が実行する処理の全体を表すフローチャートである。
【図４】画像３３、第１領域３５、物標３７、及び第２領域３９等の構成を表す説明図である。
【図５】画像処理装置５が実行する位置ＰＴ、ＰＢ決定処理を表すフローチャートである。
【図６】位置ＰＴ、ＰＢを決定する方法を表す説明図である。
【発明を実施するための形態】
【００１１】
本開示の例示的な実施形態を説明する。
１．制御システム１の構成
制御システム１の構成を図１、及び図２に基づき説明する。制御システム１は車両に搭載される。以下では、制御システム１を搭載する車両を自車両とする。制御システム１は、カメラ３と、画像処理装置５と、制御装置７と、を備える。カメラ３は撮像ユニットに対応する。
【００１２】
カメラ３は自車両の周囲を撮影し、画像を作成する。画像は、複数の画素が格子状に配列した構造を有する。以下では、縦方向に１列に並んだ複数の画素の集合を画素の列とする。また、横方向に一列に並んだ複数の画素の集合を画素の行とする。カメラ３は、作成した画像を画像処理装置５に出力する。
【００１３】
画像処理装置５は、ＣＰＵ９と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ１１とする）と、を有するマイクロコンピュータを備える。画像処理装置５の各機能は、ＣＰＵ９が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１１が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置５は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
【００１４】
画像処理装置５は、図２に示すように、画像取得ユニット１３と、第１領域設定ユニット１５と、第２領域設定ユニット１７と、エッジ強度算出ユニット１９と、縦積算ユニット２１と、横方向位置決定ユニット２３と、横積算ユニット２５と、縦方向位置決定ユニット２７と、矩形作成ユニット２８と、推定ユニット２９と、出力ユニット３１と、を備える。
【００１５】
画像処理装置５に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
【００１６】
制御装置７は、画像処理装置５が出力する情報に基づき、自車両を制御する。詳しくは後述する。
２．画像処理装置５が実行する処理
画像処理装置５が所定時間毎に繰り返し実行する処理を図３〜図６に基づき説明する。図３のステップ１では、画像取得ユニット１３がカメラ３を用いて画像を取得する。
【００１７】
ステップ２では、第１領域設定ユニット１５が、前記ステップ１で取得した画像において、パターンマッチングにより、物標が存在する第１領域を検出する。第１領域は画像の一部である。第１領域は矩形の領域である。物標として、例えば、歩行者、他の車両、車線境界線、固定物等が挙げられる。
【００１８】
パターンマッチングとは、画像上でモデルを移動させながら、画像における一部の領域とモデルとの比較を行い、モデルと一致する領域を探す処理である。第１領域は、モデルとの一致度が高い領域である。モデルは、例えば、物標に対応するエッジの強さと、エッジの強さが変化する方向とを保持している。エッジの強さとは、隣接する画素間における輝度の差である。パターンマッチングとして、例えば、ＨＯＧ法等が挙げられる。例えば、ＨＯＧ法の後、ＦＩＮＤ法を行うことができる。
【００１９】
図４に、前記ステップ１で取得した画像３３と、ステップ２で検出した第１領域３５との例を示す。なお、物標３７の上端３７Ａの縦方向における位置は、必ずしも、第１領域３５の上端３５Ａの縦方向における位置と一致しない。また、物標３７の下端３７Ｂの縦方向における位置は、必ずしも、第１領域３５の下端３５Ｂの縦方向における位置と一致しない。その理由は、モデルは決められた大きさを有し、モデルに対応する第１領域３５も決められた大きさを有するため、第１領域３５の大きさは物標３７の大きさとは必ずしも一致しないことにある。
【００２０】
ステップ３では、位置ＰＴ、ＰＢ決定処理を行う。この処理を図４〜図６に基づき説明する。図５のステップ１１では、第２領域設定ユニット１７が、前記ステップ１で取得した画像において、第２領域を設定する。図４に示すように、第２領域３９は、第１領域３５を含み、第１領域３５より広い領域である。物標３７の全体を含むことができるように、第２領域３９を十分広くすることが好ましい。
【００２１】
ステップ１２では、エッジ強度算出ユニット１９が、前記ステップ１１で設定した第２領域内の各画素におけるエッジ強度を算出する。エッジ強度とは、隣接する画素間における輝度の差である。例えば、任意の画素のエッジ強度を以下のように算出することができる。まず、複数の方向のそれぞれについて、エッジ強度を算出する。次に、各方向のエッジ強度の二乗平均を算出し、その算出値を画素のエッジ強度とする。
【００２２】
ステップ１３では、縦積算ユニット２１が積算値Ｖ１を算出する。積算値Ｖ１とは、図６に示すように、第２領域３９内で縦方向に１列に並ぶ複数の画素４１のエッジ強度の積算値である。例えば、複数の画素４１がＭ個の画素から成る場合、積算値Ｖ１は、Ｍ個の画素それぞれのエッジ強度を積算した値である。縦積算ユニット２１は、第２領域３９の左端Ｐ１から、第２領域３９の右端Ｐ２までの範囲に属する全ての画素の列について、積算値Ｖ１を算出する。左端Ｐ１から右端Ｐ２までの範囲に属する全ての画素の列は、横方向における複数の位置に対応する。
【００２３】
ステップ１４では、横方向位置決定ユニット２３が、位置ＰＬと、位置ＰＲとを決定する。位置ＰＬとは、前記ステップ１３で算出した積算値Ｖ１が、予め設定された第１閾値Ｔｈ１以上となる最も左側の位置である。位置ＰＲとは、前記ステップ１３で算出した積算値Ｖ１が、予め設定された第１閾値Ｔｈ１以上となる最も右側の位置である。位置ＰＬ、位置ＰＲの例を図６に示す。
【００２４】
ステップ１５では、横積算ユニット２５が積算値Ｖ２を算出する。積算値Ｖ２とは、図６に示すように、第２領域３９のうち、横方向での位置が位置ＰＬと位置ＰＲとの間にある領域４３内で横方向に１列に並ぶ複数の画素４５のエッジ強度の積算値である。例えば、複数の画素４５がＮ個の画素から成る場合、積算値Ｖ２は、Ｎ個の画素それぞれのエッジ強度を積算した値である。横積算ユニット２５は、第２領域３９の上端Ｐ３から、第２領域３９の下端Ｐ４までの範囲に属する全ての画素の行について、積算値Ｖ２を算出する。上端Ｐ３から下端Ｐ４までの範囲に属する全ての画素の行は、縦方向における複数の位置に対応する。
【００２５】
ステップ１６では、縦方向位置決定ユニット２７が、位置ＰＴと、位置ＰＢとを決定する。位置ＰＴとは、前記ステップ１５で算出した積算値Ｖ２が予め設定された第２閾値Ｔｈ２以上となる最も上側の位置である。位置ＰＢとは、前記ステップ１５で算出した積算値Ｖ２が予め設定された第２閾値Ｔｈ２以上となる最も下側の位置である。位置ＰＴ、位置ＰＢの例を図６に示す。
【００２６】
ステップ１７では、矩形作成ユニット２８が、物標検出矩形を作成する。図６に示すように、物標検出矩形４７は、左端の位置がＰＬであり、右端の位置がＰＲであり、上端の位置がＰＴであり、下端の位置がＰＢである矩形である。
【００２７】
図３に戻り、ステップ４では、推定ユニット２９が、カメラ３から物標までの距離Ｌ、及び、物標の高さＨを推定する。距離Ｌ及び高さＨを推定する対象となる物標は、前記ステップ２で検出した第１領域に少なくとも一部が含まれる物標である。
【００２８】
メモリ１１は、距離Ｌと位置ＰＢとの関係を規定する第１マップを予め記憶している。推定ユニット２９は、前記ステップ１６で決定した位置ＰＢを第１マップに当てはめ、距離Ｌを推定する。
また、メモリ１１は、高さＨと、位置ＰＢ及び位置ＰＴとの関係を規定する第２マップを予め記憶している。推定ユニット２９は、前記ステップ１６で決定した位置ＰＢ及び位置ＰＴを第２マップに当てはめ、高さＨを推定する。
【００２９】
ステップ５では、出力ユニット３１が、前記ステップ４で推定した距離Ｌ及び高さＨを制御装置７に出力する。
制御装置７は、距離Ｌ及び高さＨに基づき、自車両の制御を行う。例えば、距離Ｌが予め設定された閾値以下であり、自車両のドライバがブレーキ操作を行っていない場合、制御装置７は、自動ブレーキの処理を実行する。
【００３０】
３．画像処理装置５及び制御システム１が奏する効果
（１Ａ）画像処理装置５は、上端Ｐ３から下端Ｐ４までの範囲に属する全ての画素の行について、積算値Ｖ２を算出する。さらに、画像処理装置５は、積算値Ｖ２が第２閾値Ｔｈ２以上となる最も上側の位置を、位置ＰＴとする。また、画像処理装置５は、積算値Ｖ２が第２閾値Ｔｈ２以上となる最も下側の位置を、位置ＰＢとする。
【００３１】
積算値Ｖ２は、横方向に１列に並ぶ複数の画素４５のエッジ強度の積算値である。物標の端部に位置する画素のエッジ強度は、その他の画素のエッジ強度より大きい。そのため、積算値Ｖ２は、物標を横切る画素の行では大きくなる。積算値Ｖ２は、物標の上端よりもさらに上方にある画素の行、又は、物標の下端よりもさらに下方にある画素の行では小さくなる。
【００３２】
よって、位置ＰＴは、物標の上端の位置に該当する。また、位置ＰＢは、物標の下端の位置に該当する。画像処理装置５は、物標の上端の位置に該当する位置ＰＴ、及び物標の下端の位置に該当する位置ＰＢを正確に検出することができる。
【００３３】
（１Ｂ）画像処理装置５は、左端Ｐ１から右端Ｐ２までの範囲に属する全ての画素の列について、積算値Ｖ１を算出する。画像処理装置５は、積算値Ｖ１が、第１閾値Ｔｈ１以上となる最も左側の位置を位置ＰＬとする。また、画像処理装置５は、積算値Ｖ１が、第１閾値Ｔｈ１以上となる最も右側の位置を位置ＰＲとする。
【００３４】
積算値Ｖ１は、第２領域３９内で縦方向に１列に並ぶ複数の画素４１のエッジ強度の積算値である。物標の端部に位置する画素のエッジ強度は、その他の画素のエッジ強度より大きい。そのため、積算値Ｖ１は、物標を通る画素の列では大きくなる。積算値Ｖ１は、物標の左端よりもさらに左方にある画素の列、又は、物標の右端よりもさらに右方にある画素の列では小さくなる。
【００３５】
よって、位置ＰＬは、物標の左端の位置に該当する。また、位置ＰＲは、物標の右端の位置に該当する。画像処理装置５は、積算値Ｖ２を算出する対象を、第２領域のうち、横方向での位置が位置ＰＬと位置ＰＲとの間にある領域内に限定する。そのため、積算値Ｖ２の算出において、物標の範囲外の画素に起因するノイズの影響を抑制できる。
【００３６】
（１Ｃ）画像処理装置５は、第１領域を含み、第１領域より広い第２領域を設定する。そのため、物標の上端又は下端が第１領域の外にある場合でも、物標の上端及び下端を第２領域に含めることができる。画像処理装置５は、第２領域において、積算値Ｖ１、積算値Ｖ２を算出し、位置ＰＴ、位置ＰＢを検出する。その結果、画像処理装置５は、物標の上端又は下端が第１領域の外にある場合でも、物標の上端の位置、及び下端の位置を正確に検出することができる。
【００３７】
（１Ｄ）画像処理装置５は、物標の一例である歩行者における上端の位置、及び下端の位置を正確に検出することができる。
（１Ｅ）画像処理装置５は、位置ＰＴ及び位置ＰＢに基づき、距離Ｌ及び高さＨを推定する。画像処理装置５は、前記（１Ａ）で述べたとおり、位置ＰＴ及び位置ＰＢを正確に検出することができる。そのため、画像処理装置５は、距離Ｌ及び高さＨを正確に推定することができる。
【００３８】
（１Ｆ）制御システム１は、画像処理装置５が推定した距離Ｌ及び高さＨに基づき自車両の制御を行う。前記（１Ｅ）で述べたとおり、画像処理装置５が推定した距離Ｌ及び高さＨは正確である。そのため、制御システム１は、正確な距離Ｌ及び高さＨに基づき、自車両の制御を適切に行うことができる。  
４．他の実施形態
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００３９】
（１）積算値Ｖ１を算出するとき、左端Ｐ１から右端Ｐ２までの範囲に属する全ての画素の列のうち、全てではなく一部の画素の列について、積算値Ｖ１を算出してもよい。
（２）積算値Ｖ２を算出するとき、上端Ｐ３から下端Ｐ４までの範囲に属する全ての画素の行のうち、全てではなく一部の画素の行について、積算値Ｖ２を算出してもよい。
【００４０】
（３）画像処理装置５は車載機ではなく、他の用途に用いられてもよい。
（４）画像処理装置５は、位置ＰＴと、位置ＰＢとのうち、一方のみを決定してもよい。
（５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００４１】
（６）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物標検出方法、距離推定方法、高さ推定方法等、種々の形態で本開示を実現することもできる。
【符号の説明】
【００４２】
１…制御システム、３…カメラ、５…画像処理装置、７…制御装置、９…ＣＰＵ、１１…メモリ、１３…画像取得ユニット、１５…第１領域設定ユニット、１７…第２領域設定ユニット、１９…エッジ強度算出ユニット、２１…縦積算ユニット、２３…横方向位置決定ユニット、２５…横積算ユニット、２７…縦方向位置決定ユニット、２８…矩形作成ユニット、２９…推定ユニット、３１…出力ユニット、３３…画像、３５…第１領域、３５Ａ…上端、３５Ｂ…下端、３７…物標、３７Ａ…上端、３７Ｂ…下端、３９…第２領域、４７…物標検出矩形
【図１】
2019105925.tif 000003
【図２】
2019105925.tif 000004
【図３】
2019105925.tif 000005
【図４】
2019105925.tif 000006
【図５】
2019105925.tif 000007
【図６】
2019105925.tif 000008