(57)【要約】【課題】一例として、撮像画像から影を適切に検出することができる画像処理装置を提供する。【解決手段】実施形態に係る画像処理装置は、動体検出部と、設定部と、割合算出部と、影判定部とを備える。動体検出部は、撮像画像から動体領域を検出する。設定部は、撮像画像における動体領域の位置および大きさを示す画像に対し、基準点と、基準点から放射状に延びる複数の直線とを設定する。割合算出部は、各直線上または隣接する２つの直線に挟まれた各領域に占める動体領域の割合を算出する。影判定部は、割合が閾値以上である直線または領域の数に基づき、動体領域に影が含まれるか否かを判定する。【選択図】図３
2020086668.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から動体領域を検出する動体検出部と、
前記撮像画像における前記動体領域の位置および大きさを示す画像に対し、基準点と、前記基準点から放射状に延びる複数の直線とを設定する設定部と、
各前記直線上または隣接する２つの前記直線に挟まれた各領域に占める前記動体領域の割合を算出する割合算出部と、
前記割合が閾値以上である前記直線または前記領域の数に基づき、前記動体領域に影が含まれるか否かを判定する影判定部と
を備える、画像処理装置。
【請求項２】
前記影判定部は、
前記基準点を中心とする第１の角度範囲において、前記割合が第１閾値以上である前記直線または前記領域の数が第１の条件を満たした場合に、前記動体領域に対象物が存在すると判定する第１判定処理と、前記第１判定処理において前記対象物が存在すると判定し、かつ、前記基準点を中心とする第２の角度範囲において、前記割合が第２閾値以上である前記直線または前記領域の数が第２の条件を満たした場合に、前記動体領域に影が存在すると判定する第２判定処理とを行う、請求項１に記載の画像処理装置。
【請求項３】
前記影判定部によって前記動体領域に影が存在すると判定された場合に、前記第２の角度範囲において前記割合が前記第２閾値以上である前記直線または前記領域に基づき、前記動体領域のうち影が存在する影領域を特定する影領域特定部
を備える、請求項２に記載の画像処理装置。
【請求項４】
前記動体領域のうち前記影領域以外の領域である対象物領域に基づいて前記対象物の動作を判定する動作判定部
を備える、請求項３に記載の画像処理装置。
【請求項５】
前記動作判定部は、判定エリアに存在する前記対象物の動作を判定し、
前記設定部は、前記判定エリア内に前記基準点を設定する、請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
従来、撮像画像から影を検出する画像処理装置が知られている。たとえば、特許文献１には、撮像画像から導出される水平エッジヒストグラムに基づく水平エッジ検出により、車両周辺の障害物候補を検出するとともに、水平エッジヒストグラムのピークが形成する輪郭形状の特徴に基づいて障害物候補の中から路面に投影された影を検出する技術が開示されている。
【０００３】
具体的には、特許文献１に記載の技術では、水平エッジヒストグラムにおいて、上端と下端にそれぞれ高いピークを有し、上端と下端との間の内部は平坦である略凹形状で示される障害物候補を路面に投影された影として検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−９５９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術は、路面がタイルやブロック状である場合に、影の部分にもエッジが発生するため、必ずしも略凹形状とはならず、影を適切に検出することができないおそれがある。
【０００６】
本発明は、一例として、撮像画像から影を適切に検出することができる画像処理装置を提供する。
【課題を解決するための手段】
【０００７】
実施形態に係る画像処理装置は、一例として、撮像画像から動体領域を検出する動体検出部と、前記撮像画像における前記動体領域の位置および大きさを示す画像に対し、基準点と、前記基準点から放射状に延びる複数の直線とを設定する設定部と、各前記直線上または隣接する２つの前記直線に挟まれた各領域に占める前記動体領域の割合を算出する割合算出部と、前記割合が閾値以上である前記直線または前記領域の数に基づき、前記動体領域に影が含まれるか否かを判定する影判定部とを備える。よって、一例としては、画像のエッジ等のテクスチャを利用しないため、地面の種類によらず影判定を行うことができる。したがって、撮像画像から影を適切に検出することができる。
【０００８】
上記画像処理装置では、一例として、前記影判定部は、前記基準点を中心とする第１の角度範囲において、前記割合が第１閾値以上である前記直線または前記領域の数が第１の条件を満たした場合に、前記動体領域に対象物が存在すると判定する第１判定処理と、前記第１判定処理において前記対象物が存在すると判定し、かつ、前記基準点を中心とする第２の角度範囲において、前記割合が第２閾値以上である前記直線または前記領域の数が第２の条件を満たした場合に、前記動体領域に影が存在すると判定する第２判定処理とを行う。よって、一例としては、撮像画像に対象物およびその影が写り込んでいることを精度良く判定することができる。
【０００９】
上記画像処理装置では、一例として、前記影判定部によって前記動体領域に影が存在すると判定された場合に、前記第２の角度範囲において前記割合が前記第２閾値以上である前記直線または前記領域に基づき、前記動体領域のうち影が存在する影領域を特定する影領域特定部を備える。よって、一例としては、動体領域を影領域と対象物領域とに切り分けることができる。
【００１０】
上記画像処理装置では、一例として、前記動体領域のうち前記影領域以外の領域である対象物領域に基づいて前記対象物の動作を判定する動作判定部を備える。よって、一例としては、対象物領域には影が含まれないため、対象物の動作を精度良く判定することができる。
【００１１】
上記画像処理装置では、一例として、前記動作判定部は、判定エリアに存在する前記対象物の動作を判定し、前記設定部は、前記判定エリア内に前記基準点を設定する。よって、一例としては、基準点および複数の直線を適切な位置に設定することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施形態に係る画像処理装置が適用される車両の模式的な平面図である。
【図２】図２は、実施形態に係る車両制御システムの構成を示すブロック図である。
【図３】図３は、実施形態に係るＥＣＵの機能構成を示すブロック図である。
【図４】図４は、ＥＣＵに入力される撮像画像の一例を示す図である。
【図５】図５は、図４に示す撮像画像に対して背景差分法を適用することによって得られる差分画像の一例を示す図である。
【図６】図６は、ラベリング処理の説明図である。
【図７】図７は、ノイズ除去処理後の差分画像の一例を示す図である。
【図８】図８は、基準点および基準点から放射状に延びる複数の直線が設定された差分画像の一例を示す図である。
【図９】図９は、影領域特定処理の説明図である。
【図１０】図１０は、足元推定処理の説明図である。
【図１１】図１１は、ＥＣＵが実行する画像処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
まず、実施形態に係る画像処理装置が適用される車両の構成について図１を参照して説明する。図１は、実施形態に係る画像処理装置が適用される車両の模式的な平面図である。
【００１４】
車両１は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両１における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
【００１５】
図１に示すように、実施形態に係る車両１は、たとえば、前後左右に合計４つの車輪３を有する四輪の自動車である。
【００１６】
車両１には、複数の撮像装置４が設けられている。撮像装置４は、たとえば、ＣＣＤ（Charge  Coupled  Device）やＣＩＳ（CMOS  Image  Sensor）などの撮像素子を備えた撮像デバイスである。撮像装置４は、所定のフレームレートで撮像画像のデータ（動画データ、フレームデータ）を出力することができる。
【００１７】
実施形態において、車両１には２つの撮像装置４Ｌ，４Ｒが設けられる。撮像装置４Ｌは、車両１における左側のサイドミラー５Ｌに設けられ、撮像装置４Ｒは、車両１における右側のサイドミラー５Ｒに設けられる。なお、撮像装置４は、必ずしもサイドミラー５に設けられることを要さず、車体２におけるサイドミラー５以外の場所に設けられてもよい。
【００１８】
撮像装置４Ｌ，４Ｒの光軸は、鉛直下方もしくは斜め下方などの下方に向けて固定される。これにより、実施形態に係る撮像装置４Ｌ，４Ｒは、路面と路面から上方の領域とを含む車体２の周辺の状況を撮像することができる。
【００１９】
車両１には、実施形態に係る画像処理装置を含む車両制御システムが設けられる。かかる車両制御システムの構成について図２を参照して説明する。図２は、実施形態に係る車両制御システムの構成を示すブロック図である。
【００２０】
図２に示すように、車両制御システム１００は、ＥＣＵ（Electronic  Control  Unit）１０の他、たとえば、電動ドアシステム８、電動ドアロックシステム９等が、電気通信回線としての車内ネットワーク６０を介して電気的に接続されている。
【００２１】
車内ネットワーク６０は、例えば、ＣＡＮ（Controller  Area  Network）として構成されている。ＥＣＵ１０は、車内ネットワーク６０を通じて制御信号を送ることで、電動ドアシステム８、電動ドアロックシステム９等を制御することができる。
【００２２】
電動ドアシステム８は、ＥＣＵ１０の制御に従い、車両１に設けられるパワースライドドア、パワーバックドア、パワースイングドア等の電動ドアの開閉を行う。電動ドアロックシステム９は、ＥＣＵ１０の制御に従い、車両１に設けられるドアを施錠または解錠する。
【００２３】
ＥＣＵ１０は、たとえば、ＣＰＵ（Central  Processing  Unit）２０、ＲＯＭ（Read  Only  Memory）３０、ＲＡＭ（Random  Access  Memory）４０、ＳＳＤ（Solid  State  Drive）５０等を有する。
【００２４】
ＣＰＵ２０は、車両１全体の制御を行う。ＣＰＵ２０は、ＲＯＭ３０等の不揮発性の記憶装置にインストールされ、記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ４０は、ＣＰＵ２０での演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ５０は、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１０の電源がオフされた場合であってもデータを記憶することができる。ＣＰＵ２０、ＲＯＭ３０、ＲＡＭ４０等は、同一パッケージ内に集積されうる。ＥＣＵ１０は、ＣＰＵ２０に代えて、ＤＳＰ（Digital  Signal  Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ５０に代えてＨＤＤ（Hard  Disk  Drive）が設けられてもよいし、ＳＳＤ５０やＨＤＤは、ＥＣＵ１０とは別に設けられてもよい。
【００２５】
ＥＣＵ１０には、上述した複数の撮像装置４が接続される。複数の撮像装置４は、路面と路面から上方の領域とを含む車体２の周辺の状況を撮像し、撮像画像をＥＣＵ１０へ出力する。
【００２６】
次に、ＥＣＵ１０の機能構成について図３を参照して説明する。図３は、実施形態に係るＥＣＵ１０の機能構成を示すブロック図である。なお、図３では、ＥＣＵ１０の機能構成のうち画像処理装置としての機能構成のみを示しており、他の機能構成、たとえば、車両制御に関する機能構成等については図示を省略している。
【００２７】
図３に示すように、ＥＣＵ１０は、動体検出部１１と、ラベリング部１２と、設定部１３と、割合算出部１４と、影判定部１５と、影領域特定部１６と、動作判定部１７とを備える。これらは、ＥＣＵ１０として構成されたＣＰＵ２０が、ＲＯＭ３０内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェアで実現するように構成しても良い。
【００２８】
また、ＥＣＵ１０は、設定情報１８と、判定条件１９とを記憶する。設定情報１８および判定条件１９は、ＳＳＤ５０等の記憶媒体に記憶される。
【００２９】
動体検出部１１は、撮像装置４から取得された撮像画像から動体領域を検出する。ここでいう動体領域とは、撮像画像の画像領域のうち動体が存在する領域を意味する。たとえば、動体検出部１１は、背景差分法、膨張・縮小処理、輪郭抽出処理またはこれらの組み合わせにより撮像画像から動体領域を検出することができる。
【００３０】
図４は、ＥＣＵ１０に入力される撮像画像の一例を示す図である。図４には、車体２の右側に設けられた撮像装置４Ｒから入力された撮像画像Ｐ１の例を示している。図４に示すように、撮像画像Ｐ１には、路面Ｄ、対象物である人物Ｔの足元Ｔｆ、足元Ｔｆから延びる人物Ｔの影Ｓが写り込んでいる。その他、撮像画像Ｐ１には、車体２の右側面が写り込んでいる。
【００３１】
図５は、図４に示す撮像画像に対して背景差分法を適用することによって得られる差分画像の一例を示す図である。図５に示す差分画像Ｐ２において、動体領域は白色で表現され、動体領域以外の領域である背景領域は黒色で表現されている。
【００３２】
ラベリング部１２は、動体検出部１１によって検出された動体領域を領域ごとに区別するために各領域に対してラベル付けを行う。図６は、ラベリング処理の説明図である。図６に示すように、差分画像Ｐ２には、背景領域によって隔てられた３つの動体領域が含まれており、ラベリング部１２は、これら３つの動体領域に対してラベルを付与する。ここでは、３つの動体領域に対してそれぞれ「Ｒ１」、「Ｒ２」、「Ｒ３」のラベルが付与されるものとする。このうち、動体領域Ｒ１は、人物Ｔおよび人物Ｔの影Ｓを含む領域である。
【００３３】
また、ラベリング部１２は、大きさが閾値未満である動体領域を後述する割合算出部１４による割合算出処理、影判定部１５による影判定処理等の対象から除外するノイズ除去処理を行う。たとえば、ラベリング部１２は、動体領域Ｒ１〜Ｒ３ごとに、動体領域Ｒ１〜Ｒ３に含まれる画素の数を計測し、計測された画素の数が閾値未満である場合に、その動体領域Ｒ１〜Ｒ３を差分画像Ｐ２から除去する。
【００３４】
図７は、ノイズ除去処理後の差分画像の一例を示す図である。図７に示すように、ノイズ除去処理により、動体領域Ｒ１〜Ｒ３のうち大きさが閾値未満である動体領域Ｒ２，Ｒ３が除去された差分画像Ｐ３が得られる。
【００３５】
実施形態に係るＥＣＵ１０は、後述する動作判定部１７において、人物Ｔによる立ち止まり動作が行われたか否かを判定する。ここで、人物Ｔが立ち止まる位置すなわち立ち止まり判定が有効となる位置（後述する判定エリア）は予め決められており、また、撮像装置４の位置や画角も予め決められている。このため、撮像画像Ｐ１に写り込む人物Ｔの位置や大きさは、事前に予測することができる。ノイズ除去処理における閾値は、事前に予測される人物Ｔの大きさに基づいて設定される。これにより、人物Ｔではあり得ない小ささの動体領域Ｒ２，Ｒ３をノイズとして差分画像Ｐ２から除去することができる。
【００３６】
なお、差分画像Ｐ２，Ｐ３は、「撮像画像における動体領域の位置および大きさを示す画像」の一例である。
【００３７】
設定部１３は、ノイズ除去処理後の差分画像Ｐ３に対し、基準点と、基準点から放射状に延びる複数の直線とを設定する。
【００３８】
図８は、基準点および基準点から放射状に延びる複数の直線が設定された差分画像Ｐ３の一例を示す図である。図８に示すように、差分画像Ｐ３には、１つの基準点Ｏと、複数（ここでは、２５本）の直線Ｌとが設定される。
【００３９】
基準点Ｏは、後述する動作判定部１７による動作判定（人物Ｔによる立ち止まり動作の判定）が有効となる判定エリアの中心座標に設定される。言い換えれば、基準点Ｏは、人物Ｔが立ち止まることが予測される位置に設定される。なお、基準点Ｏは、判定エリア内に設定されればよく、必ずしも判定エリアの中心座標に設定されることを要しない。
【００４０】
複数の直線Ｌは、基準点Ｏを中心として放射状に設定される。上述したように、撮像画像Ｐ１に写り込む人物Ｔの位置や大きさは、事前に予測することができる。そこで、設定部１３は、差分画像Ｐ３において人物Ｔが存在する可能性が高い角度範囲として予め設定された角度範囲における直線Ｌ間の間隔を他の角度範囲における直線Ｌ間の間隔よりも狭くなるように設定してもよい。たとえば、図８に示す例では、１２９°〜２０３°の角度範囲における直線Ｌ間の間隔が他の角度範囲における直線Ｌ間の間隔よりも狭く設定される。これにより、人物Ｔの有無をより精度良く判定することができる。
【００４１】
設定部１３は、上述した基準点Ｏおよび複数の直線Ｌを設定情報１８に従って設定する。設定情報１８は、差分画像Ｐ３上における基準点Ｏの座標位置、各直線Ｌの角度等の情報を含む。設定情報１８は、適宜変更可能である。
【００４２】
割合算出部１４は、複数の直線Ｌの各々について、直線Ｌ上に占める動体領域Ｒ１の割合（以下、「方向強度」と記載する）を算出する。具体的には、方向強度をＩ、直線Ｌ上における動体領域Ｒ１の画素数をＰｘｍ、直線上における背景領域の画素数をＰｘｂとした場合、方向強度Ｉは、Ｉ＝Ｐｘｍ／（Ｐｘｍ＋Ｐｘｂ）の式で算出される。
【００４３】
割合算出部１４は、各直線Ｌの方向強度を算出し、算出結果をＳＳＤ５０等の記憶媒体に記憶させる。
【００４４】
影判定部１５は、割合算出部１４による算出結果と判定条件１９とに基づき、動体領域Ｒ１に人物Ｔが含まれるか否か、および、動体領域Ｒ１に影が含まれるか否かを判定する。
【００４５】
判定条件１９は、影ができる条件下、影ができない条件下のそれぞれの条件下において判定エリアに人を立たせた場合の方向強度の傾向を事前に調査した結果に基づいて設定される。上記の事前調査における撮像条件は、撮像装置４Ｌ，４Ｒと同様であり、判定条件１９は、撮像装置４Ｌ，４Ｒごとに記憶される。
【００４６】
判定条件１９には、「人らしさ判定条件」と「影らしさ判定条件」とが含まれる。影判定部１５は、まず、「人らしさ判定条件」を用いて、動体領域Ｒ１に人物Ｔが存在するか否かを判定する人らしさ判定処理を行う。
【００４７】
たとえば、影判定部１５は、「１２９°〜１６３°の角度範囲において、方向強度が０．５５以上の直線Ｌが５本連続している」という第１の人らしさ判定条件を満たすか否かを判定する（第１の人らしさ判定処理）。かかる第１の人らしさ判定処理では、撮像画像Ｐ１において人物Ｔが写り込む可能性が高い領域に動体領域Ｒ１が一定割合以上含まれているか否かが判定される。
【００４８】
また、影判定部１５は、「０°〜１２９°、１８０°〜３６０°（０°）の角度範囲において、方向強度が０．２５以下の直線Ｌが２つ以上ある」という第２の人らしさ判定条件を満たすか否かを判定する（第２の人らしさ判定処理）。かかる第２の人らしさ判定処理では、撮像画像Ｐ１において人物Ｔが写り込む可能性が低い領域に動体領域Ｒ１が一定割合以上含まれていないか否かが判定される。
【００４９】
影判定部１５は、第１の人らしさ判定条件および第２の人らしさ判定条件を満たす場合、動体領域Ｒ１に人物Ｔが存在すると判定する。このように、第１の人らしさ判定処理に加えて第２の人らしさ判定処理を行うことで、たとえば、人よりも大きな物体（車両など）が判定エリアに存在している場合に、動体領域Ｒ１に人物Ｔが存在すると誤判定することを抑制することができる。
【００５０】
なお、ここでは、人らしさ判定処理において、第１の人らしさ判定処理および第２の人らしさ判定処理を行うこととしたが、影判定部１５は、第１の人らしさ判定処理のみを行うこととしてもよい。
【００５１】
影判定部１５は、人らしさ判定処理において動体領域Ｒ１に人物Ｔが存在すると判定した場合に、「影らしさ判定条件」を用いて、動体領域Ｒ１に影が存在するか否かを判定する影らしさ判定処理を行う。
【００５２】
たとえば、影判定部１５は、「０°〜９０°、２２５°〜３６０°の角度範囲において、方向強度が０．２５以上の直線Ｌが１本以上存在する」という影らしさ判定条件を満たすか否かを判定する。そして、影判定部１５は、影らしさ判定条件を満たす場合、動体領域Ｒ１に影が存在すると判定する。
【００５３】
影領域特定部１６は、影判定部１５によって動体領域Ｒ１に影が存在すると判定された場合に、影らしさ判定条件における「０°〜９０°、２２５°〜３６０°の角度範囲において、方向強度が０．２５以上の直線Ｌ」に基づき、動体領域Ｒ１のうち影が存在する影領域を特定する。
【００５４】
なお、上述した例では、割合算出部１４において、直線Ｌ上に占める動体領域Ｒ１の割合を方向強度として算出することとしたが、割合算出部１４は、隣接する２つの直線Ｌに挟まれた領域に占める動体領域Ｒ１の割合を方向強度として算出してもよい。この場合、方向強度Ｉは、隣接する２つの直線Ｌに挟まれた領域内における動体領域Ｒ１の画素数をＰｘｍ、隣接する２つの直線Ｌに挟まれた領域内における背景領域の画素数をＰｘｂとして、Ｉ＝Ｐｘｍ／（Ｐｘｍ＋Ｐｘｂ）の式で算出される。また、この場合、影判定部１５は、方向強度が閾値以上である上記領域の数に基づき、動体領域Ｒ１に影が含まれるか否かを判定する。
【００５５】
また、撮像装置４がサイドミラー５に設けられる場合、サイドミラー５の開閉角度によって撮像装置４の撮像範囲が変化することとなる。そこで、ＥＣＵ１０は、サイドミラー５の開閉角度に対応づけられた複数の設定情報１８および判定条件１９を記憶していてもよい。この場合、設定部１３は、複数の設定情報１８のうち、現在のサイドミラー５の開閉角度に対応づけられた設定情報１８を用いて基準点Ｏおよび複数の直線Ｌを設定すればよい。また、影判定部１５は、複数の判定条件１９のうち、現在のサイドミラー５の開閉角度に対応づけられた判定条件１９を用いて人らしさ判定処理および影らしさ判定処理を行えばよい。
【００５６】
図９は、影領域特定処理の説明図である。図９に示すように、「０°〜９０°、２２５°〜３６０°の角度範囲において、方向強度が０．２５以上の直線Ｌ」が、２３°の角度を持つ直線Ｌであったとする。この場合、影領域特定部１６は、２３°の直線Ｌの始点（２３°の直線Ｌと基準点Ｏとの接点）を通り、かつ、２３°の直線Ｌに対して垂直な直線Ｌｘを設定する。また、影領域特定部１６は、直線Ｌｘによって分割された動体領域Ｒ１のうち、２３°の直線Ｌを含む領域を影領域Ｒ１ａとして特定し、影領域Ｒ１ａ以外の領域を人物領域Ｒ１ｂとして特定する。そして、影領域特定部１６は、影領域Ｒ１ａを差分画像Ｐ３から除去する。
【００５７】
動作判定部１７は、人物領域Ｒ１ｂに基づいて人物Ｔの動作を判定する。まず、動作判定部１７は、人物Ｔの足元の位置を推定する足元推定処理を行う。図１０は、足元推定処理の説明図である。
【００５８】
図１０に示すように、動作判定部１７は、影領域Ｒ１ａが除去された差分画像Ｐ４の最上部の行を走査し、当該行における人物領域Ｒ１ｂの画素数が閾値以下であるか否かを判定する。この判定において、人物領域Ｒ１ｂの画素数が閾値を超えている場合、動作判定部１７は、次の行を走査し、当該行における人物領域Ｒ１ｂの画素数が閾値以下であるか否かを判定する。動作判定部１７は、人物領域Ｒ１ｂの画素数が閾値以下となるまでこの判定を繰り返す。そして、人物領域Ｒ１ｂの画素数が閾値以下となる位置を人物Ｔの足元の位置として推定する。
【００５９】
つづいて、動作判定部１７は、推定した人物Ｔの足元が判定エリア内に存在する時間を計測し、計測時間が閾値以上となった場合に、人物Ｔによる立ち止まり動作が行われたと判定する。たとえば、動作判定部１７は、人物Ｔの足元が判定エリア内に存在するフレームの連続数を計測し、計測数が閾値以上となった場合に、人物Ｔによる立ち止まり動作が行われたと判定する。
【００６０】
ＥＣＵ１０は、人物Ｔによる立ち止まり動作を判定すると、たとえば、電動ドアロックシステム９を制御して、人物Ｔを撮像した撮像装置４に対応するドアを施錠または解錠する。あるいは、ＥＣＵ１０は、電動ドアシステム８を制御して、人物Ｔを撮像した撮像装置４に対応する電動ドアの開閉を行ってもよい。
【００６１】
次に、ＥＣＵ１０が実行する画像処理の手順について図１１を参照して説明する。図１１は、ＥＣＵ１０が実行する処理の手順の一例を示すフローチャートである。
【００６２】
図１１に示すように、ＥＣＵ１０は、撮像装置４から入力された撮像画像Ｐ１に対して動体検出処理を行う。動体検出処理において、ＥＣＵ１０は、撮像画像Ｐ１から動体領域Ｒ１〜Ｒ３を検出する（ステップＳ１０１）。つづいて、ＥＣＵ１０は、ラベリング処理を行う（ステップＳ１０２）。ラベリング処理において、ＥＣＵ１０は、検出された動体領域Ｒ１〜Ｒ３に対してラベルを付与する。また、ＥＣＵ１０は、ノイズ除去処理を行う（ステップＳ１０３）。ノイズ除去処理において、ＥＣＵ１０は、動体領域Ｒ１〜Ｒ３のうち、大きさが閾値未満である動体領域Ｒ２，Ｒ３を差分画像Ｐ２から除去する。
【００６３】
つづいて、ＥＣＵ１０は、設定処理を行う（ステップＳ１０４）。設定処理において、ＥＣＵ１０は、ノイズ除去処理後の差分画像Ｐ３に対して基準点Ｏおよび複数の直線Ｌを設定する。また、ＥＣＵ１０は、割合算出処理を行う（ステップＳ１０５）。割合算出処理において、ＥＣＵ１０は、各直線Ｌの方向強度を算出する。
【００６４】
つづいて、ＥＣＵ１０は、影判定処理を行う（ステップＳ１０６）。影判定処理において、ＥＣＵ１０は、判定条件１９に基づいて、「人らしさ判定処理」および「影らしさ判定処理」を行う。つづいて、ＥＣＵ１０は、動体領域Ｒ１に影Ｓが存在するか否かを判定する（ステップＳ１０７）。
【００６５】
ステップＳ１０７において、影Ｓが存在すると判定した場合（ステップＳ１０７，Ｙｅｓ）、ＥＣＵ１０は、影領域特定処理を行う（ステップＳ１０８）。影領域特定処理において、ＥＣＵ１０は、影領域Ｒ１ａを特定し、特定した影領域Ｒ１ａを差分画像Ｐ３から除去する。
【００６６】
ステップＳ１０８の処理を終えた場合、または、ステップＳ１０７において動体領域Ｒ１に影Ｓが存在しない場合（ステップＳ１０７，Ｎｏ）、ＥＣＵ１０は、足元推定処理を行う（ステップＳ１０９）。足元推定処理において、ＥＣＵ１０は、人物Ｔの足元の位置を推定する。そして、ＥＣＵ１０は、動作判定処理を行う（ステップＳ１１０）。動作判定処理において、ＥＣＵ１０は、推定した人物Ｔの足元が判定エリア内に存在する時間を計測し、計測時間が閾値以上となった場合に、人物Ｔによる立ち止まり動作が行われたと判定する。ステップＳ１１０の処理を終えると、ＥＣＵ１０は、処理を終了する。
【００６７】
上述してきたように、実施形態に係る画像処理装置（一例として、ＥＣＵ１０）は、動体検出部１１と、設定部１３と、割合算出部１４と、影判定部１５とを備える。動体検出部１１は、撮像画像Ｐ１から動体領域Ｒ１〜Ｒ３を検出する。設定部１３は、撮像画像Ｐ１における動体領域Ｒ１〜Ｒ３の位置および大きさを示す画像（一例として、差分画像Ｐ２）に対し、基準点Ｏと、基準点Ｏから放射状に延びる複数の直線Ｌとを設定する。割合算出部１４は、各直線Ｌ上または隣接する２つの直線Ｌに挟まれた各領域に占める動体領域Ｒ１の割合（一例として、方向強度）を算出する。影判定部１５は、上記割合が閾値以上である直線Ｌまたは領域の数に基づき、動体領域Ｒ１に影が含まれるか否かを判定する。よって、一例としては、画像のエッジ等のテクスチャを利用しないため、地面の種類によらず影判定を行うことができる。
【００６８】
また、たとえば、特開２０１０−２０４９４１号公報には、「影は、投影される先の色情報を含み、背景色の彩度と色相を残して、明度のみ落ちる」という特徴を利用することにより、背景画像（テクスチャ）を用いた差分法を適用することなく、影を含んだ動きのある画像から影の画像を効率よく的確に排除する技術が開示されている。本技術によれば、対象物の色が黒や灰色など色空間の広がりが少ない場合に、正確な影判定が困難となるおそれがある。これに対し、実施形態に係る画像処理装置によれば、色空間の条件を利用しないため、色空間の広がりが十分でないシーンにおいても影判定を行うことができる。
【００６９】
また、特開２００８−２４５０６３号公報には、基準物が作る影を撮像し、色成分ごとの基準輝度と色分布を抽出して、同様の分布を持つ領域を影と判定する技術が開示されている。本技術によれば、基準物の設置が必要となるため、カメラ自体が移動するような場合には適用が困難となるおそれがある。これに対し、実施形態に係る画像処理装置によれば、基準物の設置を必要としないため、本実施形態のように車両制御システム１００への適用が容易である。
【００７０】
このように、実施形態に係る画像処理装置によれば、撮像画像から影を適切に検出することが可能である。
【００７１】
また、実施形態に係る画像処理装置（一例として、ＥＣＵ１０）において、影判定部１５は、基準点Ｏを中心とする第１の角度範囲において、上記割合が第１閾値以上である直線Ｌまたは領域の数が第１の条件（一例として、第１の人らしさ判定条件）を満たした場合に、動体領域Ｒ１に対象物（一例として、人物Ｔ）が存在すると判定する第１判定処理（一例として、第１の人らしさ判定処理）と、第１判定処理において対象物が存在すると判定し、かつ、基準点Ｏを中心とする第２の角度範囲において、上記割合が第２閾値以上である直線Ｌまたは領域の数が第２の条件（一例として、影らしさ判定条件）を満たした場合に、動体領域Ｒ１に影Ｓが存在すると判定する第２判定処理（一例として、影らしさ判定処理）とを行う。よって、一例としては、撮像画像に対象物およびその影が写り込んでいることを精度良く判定することができる。
【００７２】
実施形態に係る画像処理装置（一例として、ＥＣＵ１０）は、影領域特定部１６を備える。影領域特定部１６は、影判定部１５によって動体領域Ｒ１に影Ｓが存在すると判定された場合に、第２の角度範囲において上記割合が第２閾値以上である直線Ｌまたは領域（一例として、２３°の直線Ｌ）に基づき、動体領域Ｒ１のうち影Ｓが存在する影領域Ｒ１ａを特定する。よって、一例としては、動体領域Ｒ１を影領域Ｒ１ａと対象物領域（一例として、人物領域Ｒ１ｂ）とに切り分けることができる。
【００７３】
実施形態に係る画像処理装置（一例として、ＥＣＵ１０）は、動作判定部１７を備える。動作判定部１７は、動体領域Ｒ１のうち影領域Ｒ１ａ以外の領域である対象物領域（一例として、人物領域Ｒ１ｂ）に基づいて対象物（一例として、人物Ｔ）の動作を判定する。よって、一例としては、対象物領域には影が含まれないため、対象物の動作を精度良く判定することができる。
【００７４】
実施形態に係る画像処理装置（一例として、ＥＣＵ１０）において、動作判定部１７は、判定エリアに存在する対象物（一例として、人物Ｔ）の動作を判定する。また、設定部１３は、判定エリア内に基準点Ｏを設定する。よって、一例としては、基準点Ｏおよび複数の直線Ｌを適切な位置に設定することができる。
【００７５】
上述した実施形態では、動作判定処理において人物による立ち止まり動作を判定することとしたが、動作判定処理の対象となる動作は、必ずしも立ち止まり動作でなくてもよく、たとえば、判定エリアにおいて足を上げる動作などであってもよい。また、上述した実施形態では、対象物が人物である場合の例について説明したが、対象物は、必ずしも人物であることを要さず、たとえば、犬や猫などの動物であってもよいし、ロボット等であってもよい。
【００７６】
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
【符号の説明】
【００７７】
１…車両、２…車体、３…車輪、４…撮像装置、５…サイドミラー、８…電動ドアシステム、９…電動ドアロックシステム、１０…ＥＣＵ、１１…動体検出部、１２…ラベリング部、１３…設定部、１４…割合算出部、１５…影判定部、１６…影領域特定部、１７…動作判定部、１８…設定情報、１９…判定条件。
【図１】
2020086668.tif 000003
【図２】
2020086668.tif 000004
【図３】
2020086668.tif 000005
【図４】
2020086668.tif 000006
【図５】
2020086668.tif 000007
【図６】
2020086668.tif 000008
【図７】
2020086668.tif 000009
【図８】
2020086668.tif 000010
【図９】
2020086668.tif 000011
【図１０】
2020086668.tif 000012
【図１１】
2020086668.tif 000013