(57)【要約】【課題】透光性を有する部材で区切られた空間内における物体の有無を精度良く判定することである。【解決手段】本発明に係る駐車支援装置１は、撮像部１１と撮像制御部１８と映込み判定部１８とを具備する。駐車支援装置１は、撮像部１１により撮像された画像データを用いて車内の人の存否を判定する。映込み判定部１８は、画像データにおける映り込みの有無を判定する。撮像制御部１８は、映込み判定部１８により映り込みが有ると判定された場合には、撮像部１１の撮像方向を変更する制御を行う。これにより、映り込みの無い画像データを用いて人の存否が判定される。【選択図】　図１
2004038589.tif 000002
【特許請求の範囲】
【請求項１】
透光性を有する部材で区切られた空間内を外部から撮影して、該空間内の物体の有無を判定する物体判定手段を備える画像処理装置において、
前記透光性を有する部材に周りの環境が映り込んでいるか否かを判定する映込み判定手段を備えることを特徴とする画像処理装置。
【請求項２】
前記映込み判定手段により映り込みがあると判定された場合には、映り込みが無いと判定された場合と異なる撮像を行う撮像制御手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記映込み判定手段は、前記物体判定手段により前記空間内に物体が無いと判定された場合に、前記透光性を有する部材に周りの環境が映り込んでいるか否かを判定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
画像処理装置が、透光性を有する部材で区切られた空間内を外部から撮影して、該空間内の物体の有無を判定する画像処理方法において、
前記透光性を有する部材に周りの環境が映り込んでいるか否かを判定するステップを含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、画像処理技術の発達に伴い、カメラによって撮影された画像を使用して、車内の人を検出する画像処理装置が提案されている。例えば、特開平１０−５５４４５号公報においては、以下に説明する車両監視装置が開示されている。すなわち、車両監視装置は、１台のカメラにより前方から車両を撮像し、撮像された画像からナンバープレートを検出する。そして、検出されたナンバープレートの位置に基づいて人（運転者）を検出すると共に、運転者の位置を推定するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来技術には以下に示す様な問題点があった。すなわち、車内の人を撮像する際には、カメラと人との間に、車両のフロントガラスやウィンドウガラス等のガラスが介在する。このガラス越しに撮影された人の画像には、輝度の高い車外風景や太陽光などの外光が映り込む場合がある。物体が検出されない場合、映り込みにより物体が遮蔽され画像から物体を検出できないのか、実際に物体が存在しないのかが明確でない。その結果、車内に物体が存在するにも拘わらず、物体を検出できないことが懸念される。
【０００４】
そこで、本発明は、透光性を有する部材で区切られた空間内における、人を含む物体の有無を精度良く判定する画像処理装置、及び画像処理方法を提供することを課題とする。
【０００５】
【課題を解決するための手段】
本発明は、上記課題を解決する為、以下の様な特徴を備えている。
本発明に係る画像処理装置は、透光性を有する部材で区切られた空間内を外部から撮影して、該空間内の物体の有無を判定する物体判定手段を備える画像処理装置において、前記透光性を有する部材に周りの環境が映り込んでいるか否かを判定する映込み判定手段を備える。
【０００６】
本発明に係る画像処理方法は、画像処理装置が、透光性を有する部材で区切られた空間内を外部から撮影して、該空間内の物体の有無を判定する画像処理方法において、前記透光性を有する部材に周りの環境が映り込んでいるか否かを判定するステップを含む。
【０００７】
これらの発明によれば、透光性を有する部材で区切られた空間内を外部から撮影して該空間内の物体（人を含む）の有無を判定する際に、当該部材に周りの環境が映り込んでいるか否かが判定される。これにより、物体が検出されない場合に、映り込みにより物体が遮蔽され画像から物体を検出できないのか、実際に物体が存在しないのかが明確となる。その結果、透光性を有する部材で区切られた空間内における物体の有無を精度良く判定することが可能となる
【０００８】
本発明に係る画像処理装置において好ましくは、前記映込み判定手段により映り込みがあると判定された場合には、映り込みが無いと判定された場合と異なる撮像を行う撮像制御手段を更に備える。
【０００９】
本発明によれば、透光性を有する部材に周りの環境が映り込んでいると判定された場合には、映り込みが無いと判定された場合と異なる撮像処理、例えば撮像方向の変更処理が行われる。これにより、画像データにおける外光などの映り込みの影響が低減され、空間内に存在する物体が確実に画像に反映される。その結果、空間内における物体の有無をより高精度に判定することが可能となる。
【００１０】
本発明に係る画像処理装置において、より好ましくは、前記映込み判定手段は、前記物体判定手段により前記空間内に物体が無いと判定された場合に、前記透光性を有する部材に周りの環境が映り込んでいるか否かを判定する。
【００１１】
本発明によれば、映り込みの有無の判定処理は、空間内に物体が無いと判定された場合に実行される。すなわち、空間内の物体が検出されなかった場合には、実際には空間内に物体が存在するにも拘わらず、映り込みにより物体が遮蔽された結果、その物体が画像から検出されなかった可能性がある。一方、空間内の物体が検出された場合には、空間内の物体を検出するという画像処理装置の主要な目的が既に達成されているので、映り込みの有無を判定する処理は、当該処理に伴う時間及び負荷を軽減する観点から不要となる。
【００１２】
そこで、取得された画像データから空間内に物体が検出されなかった場合に限って映り込みの有無を判定することにより、不要な処理を省略して、空間内に物体が存在するか否かを効率良く判定できる。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施の形態における駐車支援装置１の機能的構成を示すブロック図である。図１に示す様に、駐車支援装置１（画像処理装置に対応）は、撮像部１１と、画像格納部１２と、車両領域検出部１３と、領域分割部１４と、ガラス領域抽出部１５と、顔検出部１６と、映込み判定部１７（映込み判定手段に対応）と、撮像制御部１８（撮像制御手段に対応）とを備える。これら各部は、各種信号の入出力が可能な様に電気的に接続されている。
【００１４】
撮像部１１は、周辺に駐車されている他車両を撮像する周知の平面ステレオカメラである。好適には、撮像部１１は、車両の前後左右に搭載されており、各カメラの画素数は等しい。
画像格納部１２は、撮像部１１により撮像された画像データを格納する。
【００１５】
車両領域検出部１３は、後述の車両検出処理を実行することにより、画像格納部１２に格納されている背景を含む画像データから車両に対応するデータ部分（以下、「車両領域」と記す。）を検出する。
領域分割部１４は、後述のエッジ検出処理を実行することにより、車両領域検出部１３により検出された車両領域の画像からエッジ（境界線）を検出する。その結果、車両の画像は、ガラス、タイヤ、ライト等の複数の領域に分割される。
【００１６】
ガラス領域抽出部１５は、領域分割部１４により分割された複数の領域の中から、顔部分の検出対象となるガラス領域を抽出する。
顔検出部１６は、ガラス領域抽出部１５により抽出されたガラス領域の画像から人の顔に該当する部分を検出する。また、顔検出部１６は、検出された顔画像を画像格納部１２に格納する。顔検出の有無は、後述の撮像制御部１８に通知される。
【００１７】
映込み判定部１７は、基準輝度データ１７ａを内部に有する。基準輝度データ１７ａは、ガラス領域に顔が存在し、かつ、映り込みの無い画像の輝度分布を表すヒストグラムである。基準輝度データ１７ａは、ガラス領域抽出部１５から取得されたガラス領域の輝度ヒストグラムとの比較対象として使用される。画像の輝度分布は自車両の周辺環境によって異なるので、映り込みの判定精度を向上する観点から、基準輝度データ１７ａは、駐車支援処理の実行に先立って随時更新されることが好ましい。
【００１８】
基準輝度データ１７ａは、例えば、図２に示す態様で格納される。すなわち、８ｂｉｔで正規化された０〜２５５の輝度値と、各輝度値を有するピクセル（画素）がガラス領域内に存在する数とが対応付けて格納されている。なお、本実施の形態では、説明の便宜上、正規化輝度値とピクセル数とをグラフ形式で図示したが、表形式で格納されるものとしても勿論よい。
【００１９】
詳細な処理に関しては後述するが、映込み判定部１７は、取得されたガラス領域の輝度値をヒストグラム化し、基準輝度データ１７ａと比較することにより、車外風景や太陽光などの周囲の環境がガラス領域に映り込んでいるか否かを判定する。当該判定結果は、後述の撮像制御部１８に通知される。
【００２０】
撮像制御部１８は、顔検出部１６により顔が検出された場合、又は映込み判定部１７により映り込みが無いと判定された場合に、撮像部１１による撮像対象を次車両（例えば、隣の車両）に変更する制御を行う。また、撮像制御部１８は、映込み判定部１７により映り込みが有ると判定された場合には、ガラスからカメラへの反射光を低減すべく、撮像部１１による撮像方向を変更する制御を行う。
【００２１】
次に、本実施の形態における駐車支援装置１の動作を説明する。併せて、本発明に係る画像処理方法の各ステップについて説明する。
自車両の停止後に、運転者により駐車支援処理の開始が指示されると、図２のフローチャートに示す処理が開始される。まず、撮像部１１は、周辺の駐車領域に駐車されている他車両を撮影し、撮影された画像データを画像格納部１２に格納する（Ｓ１）。
【００２２】
次いで、車両領域検出部１３は、Ｓ１で取得された画像データから、車両に該当するデータ部分（車両領域）を検出する（Ｓ２）。車両領域の検出処理に関しては周知慣用の画像解析技術に該当するので詳細な説明（数式を含む）は省略し、好適な手法を簡略に説明する。すなわち、車両領域検出部１３は、平面ステレオ法の原理（例えば、“日本ロボット学会誌”Ｖｏｌ．１８　Ｎｏ．８，ｐｐ１１０５〜１１１１，２０００の文献に記載）により、一対の平面ステレオカメラから投影された画像間の差分画像において、輝度値が閾値よりも低い部分を平面領域として検出する。そして、上記画像データにおいて、当該平面領域以外の領域を車両領域として検出する。
【００２３】
Ｓ３では、領域分割部１４は、Ｓ２で車両領域検出部１３により検出された車両領域の画像からエッジを検出する。エッジ検出処理に関しては周知慣用の画像解析技術であるので、詳細な説明や図示（数式を含む）は省略し、好適な方法を簡略に説明する。すなわち、領域分割部１４は、例えばソーベルフィルタにより構成され、取得された画像中の任意の１画素を中心とした上下左右の９（＝３×３）の画素値に、水平及び垂直方向の２つの係数行列をそれぞれ乗算する。そして、当該乗算結果に基づいて各画素値の変化量を算定し、画素値の変化量が大きい画素（特徴点）をエッジとして検出する。画素値は、例えば輝度である。
Ｓ３の処理により検出されたエッジを境界線として、車両の画像は、ガラス、タイヤ等の複数の領域に分割される。
【００２４】
Ｓ４では、ガラス領域抽出部１５は、パターンマッチング等の画像解析手法により、領域分割部１４により分割された複数の領域の中から、方形状の領域をガラス領域として抽出する。通常、運転者の顔は、外界からガラス越しに見えるシートのヘッドレスト近傍に位置するので、抽出されたガラス領域を人の顔部分の検出対象として使用することにより、車内における人の存否の判断は充分に可能となる。
【００２５】
Ｓ５では、顔検出部１６は、文献（例えば、「わかりやすいパターン認識」、オーム社、１９９８、石井健一郎、上田修、前田英作、村瀬洋やＯｓｕｎａ，Ｅ．，Ｆｒｅｕｎｄ，Ｒ．，Ｇｉｒｏｓｉ，Ｆ．：”Ｔｒａｉｎｉｎｇ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ：　ａｎ　Ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　Ｆａｃｅ　Ｄｅｔｅｃｔｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＣＶＰＲ　’９７，Ｊｕｎｅ　１７−１９，１９９７，Ｐｕｅｒｔｏ　Ｒｉｃｏ．他）に記載の画像認識手法により、ガラス領域抽出部１５により抽出されたガラス領域の画像から顔に該当する部分の検出を試行する。その結果、ガラス領域画像から顔部分が検出された場合には、駐車支援装置１は、被検車両が間もなく駐車領域から退出する車両であるものと予測し、運転者にその旨を通知する（Ｓ６）。これにより、運転者は、自車両を駐車する領域の特定が可能となる。
【００２６】
一方、Ｓ５において、ガラス領域画像から顔が検出された場合には、Ｓ７以降の処理が実行される。すなわち、映込み判定部１７は、ガラス領域抽出部１５から取得されたガラス領域の輝度値をヒストグラム化する（Ｓ７）と共に、基準輝度データ１７ａを参照して映り込みの有無を判定する（Ｓ８）。
【００２７】
Ｓ７及びＳ８の各処理は、駐車支援処理の主要部を為す処理であるので、図４（ａ）及び図４（ｂ）を参照して詳細に説明する。すなわち、Ｓ７では、映込み判定部１７は、Ｓ４で抽出されたガラス領域画像の輝度値を画素毎に算出し、各輝度値を８ｂｉｔ（２５６段階）で正規化する。そして、映込み判定部１７は、正規化された各輝度値を有するピクセルの数（画素数）を計数し、計数結果に従ってガラス領域画像の輝度分布を作成する。以下、かかるＳ７の処理をヒストグラム化と記す。
【００２８】
Ｓ７の処理の結果、例えば、図４（ａ）及び図４（ｂ）に示すヒストグラムが作成される。図４（ａ）は、顔が存在し、かつ、映り込みの有る画像の輝度分布の一例を表すヒストグラムである。また、図４（ｂ）は、顔が存在せず、かつ、映り込みの有る画像の輝度分布の一例を表すヒストグラムである。これらのヒストグラムには、図２に示したヒストグラムと比較して、より高い輝度値にピクセルが数多く分布しているが、これらのピクセルが画像上の映り込み部分に相当する。
【００２９】
Ｓ８では、映込み判定部１７は、Ｓ４で抽出されたガラス領域画像の輝度分布のピクセル数と、基準輝度データ１７ａの輝度分布のピクセル数との差の絶対値Ｎ（ｖ）を、正規化された輝度値ｖ毎に算出する。続いて、映込み判定部１７は、正規化輝度値ｖ（例えば０〜２５５）を用いて、Σ（Ｎ（ｖ）×ｖ）を算出する。ｖは、輝度値の高いピクセル程大きい値となるので、Ｎ（ｖ）×ｖがΣ（Ｎ（ｖ）×Ｖ）に与える比重は、輝度値の高いピクセル程大きくなる。つまり、Σ（Ｎ（ｖ）×Ｖ）が大きい程、輝度が高い画像、すなわち映り込みの有る画像である確率が高い。
【００３０】
そこで、映込み判定部１７は、Σ（Ｎ（ｖ）×Ｖ）と所定の閾値Ｔとを比較する。比較の結果、Ｔ＜Σ（Ｎ（ｖ）×Ｖ）である場合には、Ｓ４で抽出されたガラス領域の画像に映り込みが有るものと判断する。これに対して、Ｔ≧Σ（Ｎ（ｖ）×Ｖ）である場合には、ガラス領域画像に映り込みが無いものと判断する。
【００３１】
なお、本実施の形態では、ガラスが透光性を有する部材に相当するが、ガラスだけでなくプラスチック等の全ての透光性部材を本発明に適用可能である。また、本実施の形態では、車室が透光性部材によって区切られた空間に相当するが、透光性部材によって区切られた空間であれば如何なる所であってもよく、例えば、空間を建物の中とすることも可能である。更に、物体には、人は勿論のこと、車室内に存在する全ての検出対象を含む。
【００３２】
Ｓ８においてガラス領域画像に映り込みが有るものと判断された場合には、撮像制御部１８は、撮像部１１の撮像方向を変更する制御を行う（Ｓ９）。そして、Ｓ１に戻り、駐車支援装置１は、同一の車両に対して、Ｓ１以降の処理を再び実行する。撮像方向を変更することにより、ガラスからカメラへの反射光が抑制されるため、駐車支援装置１は、映り込みが低減された画像データを使用して、より信憑性の高い顔検出処理を実行できる。
【００３３】
また、Ｓ８においてガラス領域画像に映り込みが無いものと判断された場合には、映り込みが無いにも拘わらず、顔が検出されていないことから、撮像対象の駐車車両内には人が存在しないことが予測される。そこで、撮像制御部１８は、撮像部１１を駆動させて、撮像対象を次車両に変更する制御を行う（Ｓ１０）。そして、Ｓ１に戻り、駐車支援装置１は、当該車両に対して顔検出を行うべく、Ｓ１以降の処理を再び実行する。
【００３４】
以下、本発明に係る駐車支援装置１の作用及び効果について説明する。本発明に係る駐車支援装置１及び駐車支援処理によれば、撮像部１１により撮像された画像データを用いて車内の人の存否を判定する際に、まず、画像データにおける映り込みの有無が判定される。そして、映り込みが有ると判定された場合には、撮像部１１の撮像方向が変更される。これにより、撮像部１１（カメラ）への反射光に伴う映り込みが低減され、車内に存在する人が確実に画像に反映され検出される。その結果、車内に人が存在するか否かを精度良く判定することが可能となる。
【００３５】
駐車中の他車両内における人の存否が高精度に判定されると、運転者が自車両を駐車させる（自動、手動を問わない）際に、当該判定結果を参照して、他車両が間もなく駐車場を離れる車両であるか否かを精確に把握できる。すなわち、車内に人が存在する車両は、移動直前である可能性が高いので、当該車両の駐車領域を自車両の駐車領域として使用するものとすれば、駐車領域の探索効率が向上する。より詳細には、実際には車内に人が存在する車両を車内に人が存在しない車両と誤認した場合に懸念される駐車可能領域の探索漏れを事前に回避できる。したがって、自車両を簡易迅速に駐車領域に駐車させることが可能となる。
【００３６】
また、本実施形態における駐車支援装置１は、映り込み検出手段としての映込み判定部１７を有する。したがって、物体が検出されない場合に、物体が実際に存在しない為に検出されないのか、映り込みの影響を受けているのかを判別することができる。その結果、車室内の物体の有無を精度良く判定することが可能となる。
【００３７】
更に、本実施形態における駐車支援装置１は、図３のＳ５で顔が検出された場合には映り込みの判定を行わず、顔が検出されなかった場合に映り込みの判定を行うことにより、映り込み判定に伴う処理時間と負荷を軽減できる。
【００３８】
【発明の効果】
本発明によれば、透光性を有する部材で区切られた空間内における物体の有無を精度良く判定することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る駐車支援装置の機能的構成を示すブロック図である。
【図２】顔が存在し、映り込みの無い画像の輝度分布を表す図である。
【図３】駐車支援処理を説明する為のフローチャートである。
【図４】図４（ａ）は、顔が存在し、映り込みの有る画像の輝度分布を表す図である。
図４（ｂ）は、顔が存在せず、映り込みの有る画像の輝度分布を表す図である。
【符号の説明】
１…駐車支援装置、１１…撮像部、１７…映込み判定部、１８…撮像制御部
【図１】
2004038589.tif 000003
【図２】
2004038589.tif 000004
【図３】
2004038589.tif 000005
【図４】
2004038589.tif 000006