(57)【要約】【課題】簡易かつ確実に車両等の検出対象について検出する検出エリアの設定を自動的に行うことができる画像処理装置を提供すること。【解決手段】画像処理において、撮像装置で取得された撮像画像から直線成分ＬＥに基づいて抽出された特徴量ＳＱを選択し、選択された特徴量ＳＱに基づいて、最終目的である検出エリアＤＡの画定を行っている。この直線成分ＬＥは、例えば撮像対象が車両であり、検出エリアが道路であるという場合には、道路の境界線や中央分離帯等のように撮像範囲内に初めから存在するので、撮像画像すなわち入力画像から直接的に取得可能であり、撮像範囲内に目印となるようなものを予め別途準備しておくという必要がない。また、道路の形状の正確性や距離の測定の正確性についても、確保しやすい。従って、検出エリアの設定を簡易かつ確実に行うことができる。【選択図】図５
2015201127.tif 000002
【特許請求の範囲】
【請求項１】
検出エリアとして設定されるべき領域を撮像範囲に含むように設置された撮像部と、
前記撮像部において撮像された画像の情報に含まれる直線成分に基づいて抽出され、前記検出エリアを画定可能にするための特徴量を検出する特徴量検出部と、
前記特徴量検出部において検出された前記特徴量に基づいて前記検出エリアを設定する検出エリア設定部と
を備える画像処理装置。
【請求項２】
前記特徴量検出部は、前記撮像部により撮像された道路を含む画像において当該道路上における通行区画を画定する直線成分に基づいて前記特徴量を検出する、請求項１に記載の画像処理装置。
【請求項３】
前記特徴量検出部は、前記撮像部により撮像された道路を含む画像において当該道路上の車線を画定する直線成分に基づいて前記特徴量を検出する、請求項２に記載の画像処理装置。
【請求項４】
前記特徴量検出部は、前記撮像部において撮像された画像から検出対象を取り除いた背景画像に基づいて直線成分を検出する直線成分検出部と、前記直線成分検出部で検出された直線成分のうち、所定値以上の長さを形成可能にするものを前記特徴量の情報として選択する特徴量選択部とを有する、請求項１から３までのいずれか一項に記載の画像処理装置。
【請求項５】
前記特徴量検出部において、前記特徴量選択部は、前記直線成分検出部で検出された直線成分のうち、所定値未満の長さのものを繋ぎ合わせて新たに形成される所定値以上の長さの直線成分を前記特徴量の情報として選択する、請求項４に記載の画像処理装置。
【請求項６】
前記検出エリア設定部は、前記特徴量に基づいて複数の前記検出エリアを設定する、請求項１から５までのいずれか一項に記載の画像処理装置。
【請求項７】
前記特徴量検出部で検出された前記特徴量を分析して、前記特徴量の情報に関する情報修正または情報付加をして前記特徴量に関する補完をする検出情報補完部をさらに有する、請求項１から６までのいずれか一項に記載の画像処理装置。
【請求項８】
前記検出情報補完部は、前記検出エリアを通過する検出対象をトラッキングして、前記検出エリアにおける検出対象の進行方向を判定する進行方向判定部を含む、請求項７に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像に基づいて、車両等の検出を行う際の検出エリアを自動的に設定する画像処理装置に関する。
【背景技術】
【０００２】
従来、例えば道路周辺に設置したカメラ等で撮像された画像に基づいて車両等の検出を行う際に、車両の検出を行う空間的範囲である検出エリアの設定については、検出を行う道路の状況やカメラの位置等を個別に考慮する必要があり、ノウハウを要した。このため、検出エリアの設定は、手動で行われていた。この場合、設定に時間がかかるためコストもかかっていた。
【０００３】
これに対して、検出エリアを自動的に設定することに関する技術として、従来、例えば、水平面上の３点のマーカを検出し、この３点を結ぶ直線とこれに平行な直線とで囲まれた範囲によって設定する技術（特許文献１参照）や、ＩＲ反射テープを特定の位置に貼っておき、このＩＲ反射テープをカメラで検出することでエリアの識別を自動的に行う技術（特許文献２参照）が知られている。
【０００４】
しかしながら、従来の技術は、直線に結べる３点のマーカや、特定の位置に貼り付けられたＩＲ反射テープといったものが、撮像される範囲内に予め規定通りに設けられていることを前提とする、つまり、準備された条件が整っていることを前提とするものであった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１４５０９２号公報
【特許文献２】特開２００１−２４３４７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上述した点に鑑みてなされたものであり、簡易かつ確実に車両等の検出対象について検出する検出エリアの設定を自動的に行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る画像処理装置は、検出エリアとして設定されるべき領域を撮像範囲に含むように設置された撮像部と、撮像部において撮像された画像の情報に含まれる直線成分に基づいて抽出され、検出エリアを画定可能にするための特徴量を検出する特徴量検出部と、特徴量検出部において検出された特徴量に基づいて検出エリアを設定する検出エリア設定部とを備える。
【０００８】
上記画像処理装置では、検出エリア設定部において、直線成分に基づいて抽出された特徴量を利用することで、検出エリアを自動的に設定することができる。例えば、道路において通過する車両を検出対象とする場合、道路上において車線（車両１台分の幅で作られた区分）を分ける区画線である中央線等が特徴量として利用され、検出エリアを画定することになる。従って、車両等の検出を行うに際して、道路の境界や車線の境界を示す区画線、中央分離帯等の撮像範囲内に初めから存在すると考えられるものに基づいて検出エリアの設定がなされるので、検出エリアの設定を簡易かつ確実に行うことができる。
【０００９】
本発明の具体的な側面では、特徴量検出部は、撮像部により撮像された道路を含む画像において当該道路上における通行区画を画定する直線成分に基づいて特徴量を検出する。
【００１０】
本発明の別の具体的な側面では、特徴量検出部は、撮像部により撮像された道路を含む画像において当該道路上の車線を画定する直線成分に基づいて特徴量を検出する。この場合、道路上の車線を画定する直線成分に基づいて簡易かつ確実に特徴量を検出することができる。
【００１１】
本発明のさらに別の側面では、特徴量検出部は、撮像部において撮像された画像から検出対象を取り除いた背景画像に基づいて直線成分を検出する直線成分検出部と、直線成分検出部で検出された直線成分のうち、所定値以上の長さを形成可能にするものを特徴量の情報として選択する特徴量選択部とを有する。この場合、誤検出を抑制してエリア設定の精度をより高めることができる。
【００１２】
本発明のさらに別の側面では、特徴量検出部において、特徴量選択部は、直線成分検出部で検出された直線成分のうち、所定値未満の長さのものを繋ぎ合わせて新たに形成される所定値以上の長さの直線成分を特徴量の情報として選択する。この場合、例えば、道路を含む画像において道路の中央線（破線）を繋げてできる一つの線を特徴量の情報として含ませることができる。
【００１３】
本発明のさらに別の側面では、検出エリア設定部は、特徴量に基づいて複数の検出エリアを設定する。この場合、例えば２か所以上での検出を同時に行うためのエリア設定が可能となる。
【００１４】
本発明のさらに別の側面では、特徴量検出部で検出された特徴量を分析して、特徴量の情報に関する情報修正または情報付加をして特徴量に関する補完をする検出情報補完部をさらに有する。この場合、情報修正することで、より的確なエリア設定が可能となり、情報付加することで、より多様な検出への対応が可能となる。
【００１５】
本発明のさらに別の側面では、検出情報補完部は、検出エリアを通過する検出対象をトラッキングして、検出エリアにおける検出対象の進行方向を判定する進行方向判定部を含む。この場合、検出対象の進行方向に関する情報を検出エリアの情報として付加できる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態の画像処理装置の構造の一例を概念的に説明するブロック図である。
【図２】撮像装置の一設置例を示す図である。
【図３】（Ａ）は、撮像された画像の一例を示す図であり、（Ｂ）は、（Ａ）の画像から検出エリアを設定した一例を示す図である。
【図４】画像処理装置のうち記憶装置の構成について概念的に説明するブロック図である。
【図５】（Ａ）〜（Ｆ）は、画像処理装置によるエリア設定の手順を説明するための図である。
【図６】図５におけるエリア設定処理について説明するためのフローチャートである。
【図７】図６のうちの道路形状推定処理について説明するためのフローチャートである。
【図８】（Ａ）は、エリア設定の一変形例について示す図であり、（Ｂ）は、エリア設定の他の一変形例について示す図である。
【発明を実施するための形態】
【００１７】
図１に示すように、本発明に係る画像処理装置１００は、情報処理部８０と、撮像装置９０とを備える。情報処理部８０は、ＣＰＵ１０と、画像情報受付部２０と、記憶装置３０と、表示装置４０、入力装置５０、バス７０等を備える。
【００１８】
画像処理装置１００は、情報処理部８０のＣＰＵ１０等を動作させて、撮像装置９０により撮像された道路や車両等の画像から検出エリアとして設定されるべき領域を抽出する装置である。
【００１９】
画像処理装置１００を構成する情報処理部８０のうち、ＣＰＵ１０は、バス７０を介して、画像情報受付部２０、記憶装置３０、表示装置４０や入力装置５０との間で相互にデータの授受が可能になっている。
【００２０】
撮像装置９０は、例えばＣＭＯＳ、ＣＣＤ等からなる固体撮像装置を内蔵するものとすることができ、この固体撮像装置で検出された画像は、例えばデジタル画像信号として情報処理部８０に出力される。ここでは、図２に示すように、道路において通過する車両を検出対象とし、車両を検出する検出エリアとして、道路上の所定区間を定めるものとする。図示の場合、撮像装置９０は、例えば信号機や標識等を支持する柱状物体ＰＯの上方側といった高所に、検出エリアＤＡが含まれるように適度に傾けられた状態で設置される。ここで、図２に示す検出エリアＤＡは、道路上の車両が通過する面的領域あるいは空間的領域であり、その位置や大きさ・範囲等は、撮像装置９０に使用するカメラの性能や、検出の目的等に応じて設定されているものとする。このため、撮像装置９０は、図２において路面上の範囲で例示するように、撮像範囲ＰＸに検出エリアＤＡを含むものとなるように、作業者によって予め所定の位置及び角度で設置されているものとする。
【００２１】
撮像装置９０は、情報処理部８０へ画像情報を送信する。これにより、情報処理部８０は、例えば図３（Ａ）に示すような撮像画像ＰＩを取得することができる。情報処理部８０は、撮像装置９０を介して取得された撮像画像ＰＩについて解析をすることで、図３（Ｂ）に示すように、直線成分として示される特徴量ＳＱから車線の範囲（車両１台分の幅で作られた区分）を示す領域ＬＤ１等を抽出し、画像上において検出エリアＤＡとなるべき領域を抽出する。さらに、この画像解析の際に、例えば矢印Ａ１で示すように検出対象である車両ＶＥの進行方向といった情報を付加させることも可能である。なお、以下において、図３（Ｂ）等に斜線の領域で示す画像上の検出エリアを、図２に例示した実際の道路上の検出エリアＤＡと同様に検出エリアＤＡと記載する。また、以上のことから、撮像装置９０は、画像上における検出エリアＤＡとなるべき領域を撮像範囲に含むように設置された撮像部であるとも言える。
【００２２】
以下、図１に戻って、情報処理部８０を構成する各部について具体的に説明する。ＣＰＵ１０は、画像処理に関する各種制御を行う。特に、ＣＰＵ１０は、画像情報受付部２０により撮像装置９０から取り込まれた画像情報を記憶装置３０に格納し、記憶装置３０に格納された画像情報に基づいて、検出エリアの自動設定をする。すなわち、各種処理のための制御を行う制御部である。特に、本実施形態では、情報処理部８０は、撮像装置９０で取得された画像情報から直線成分を抽出し、抽出された直線成分の中から特徴量を見出すことで、検出エリアの自動設定を可能にするものである。
【００２３】
画像情報受付部２０は、撮像装置９０と有線あるいは無線により交信可能となっており、ＣＰＵ１０の制御に従って、撮像装置９０によって取得された画像情報を受け付ける。
【００２４】
記憶装置３０は、画像処理装置１００を動作させる各種プログラム等を記憶しているプログラム領域を有するプログラム記憶部と、入力指示、入力データ、処理結果等を一時格納するデータ領域を有するデータ記憶部とを備える。すなわち、記憶装置３０は、検出エリアの自動設定を行うための指標となる特徴量を検出するための各種プログラムを含むとともに、特徴量を特定するための各種情報を記憶する。記憶装置３０の記憶部等についての詳細は、図４に示すブロック図を参照して後述する。
【００２５】
表示装置４０は、ＣＰＵ１０から入力されるデータに基づいて駆動信号を生成する表示駆動回路と、表示駆動回路から入力される駆動信号に基づいて必要な表示を行う画像表示部等により構成され、ＣＰＵ１０からの指令信号に基づいて必要な表示を行う。
【００２６】
入力装置５０は、キーボード等から構成され、画像処理装置１００を操作するオペレーターの意思を反映した指令信号をＣＰＵ１０に出力する。つまり、ＣＰＵ１０は、入力装置５０を介したオペレーターの指示に基づいて、記憶装置３０から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行することができる。
【００２７】
上記のように、図２及び図３に例示した道路において通過する車両ＶＥ（車両の画像を含む）を検出対象として検出エリアを定めて撮像をする場合、道路上における通行区画を画定する車線間の区画線（例えば中央線等）や道路の境界中央分離帯、路肩部分等の比較的長い直線状の部分に関する画像情報を、検出エリア設定を可能にするための特徴量として利用することができる。本実施形態では、ＣＰＵ１０を含む情報処理部８０が、上記のような画像中の直線成分に関する情報を特徴量の候補として抽出し、選択された特徴量に基づいて検出エリアを自動的に設定することで、検出エリアの設定を簡易かつ確実に行うことができるものとなっている。
【００２８】
以下、図４を参照して、検出エリア設定に関する画像処理を行うための各種プログラムを記憶し、また、各種データを格納する記憶装置３０の構成について説明する。
【００２９】
図４は、画像処理装置１００を構成する情報処理部８０のうち、記憶装置３０の構成について概念的に説明するためのブロック図である。図示のように、記憶装置３０は、各種プログラムを格納するためのプログラム領域を有するプログラム記憶部ＰＭと、各種データを格納するためのデータ領域を有するデータ記憶部ＤＭとで構成されている。
【００３０】
記憶装置３０の構成要素のうち、プログラム記憶部ＰＭは、撮像画像のキャプチャを行うための画像キャプチャプログラムＣＰと、背景画像を抽出するための背景抽出プログラムＢＰと、背景抽出プログラムＢＰで抽出された背景画像から直線成分を抽出するための直線成分抽出プログラムＬＰと、直線成分抽出プログラムＬＰにおいて画一的に抽出された直線成分の中から繋ぎ合わせ可能なものを繋ぎ合わせることで新たな直線成分を作成する直線成分繋ぎ合わせプログラムＴＰと、直線成分抽出プログラムＬＰや直線成分繋ぎ合わせプログラムＴＰで抽出された直線成分のうち特徴量とすべきものを選択する特徴量選択プログラムＳＰと、選択された特徴量から検出エリアを特定するために道路形状を推定する道路形状推定プログラムＰＰと、検出対象である車両の進行方向を追跡することで、道路に関する情報の修正や情報の付加といった情報の補完を行うための車両進行方向追跡プログラムＴＲＰと、各種情報から道路距離の情報策定を行う道路距離情報策定プログラムＲＤＰと、上記の特徴量等に基づいて検出エリアの設定を行う検出エリア設定プログラムＥＰとを有する。
【００３１】
上記において、特徴量選択プログラムＳＰには、直線成分のうち特徴量とすべき選択用のプログラムとして、例えば各直線成分の長さを判定するプログラムが含まれている。すなわち、基準となる長さの閾値が定められており、各直線成分について当該長さの閾値以上であるか否かを判定することで、特徴量として採用するか否かを決定する。なお、長さの閾値については、複数段階で設けることが可能であり、状況に応じて長さの閾値を変更するものとしても良い。
【００３２】
なお、プログラム記憶部ＰＭは、上記のほかにも画像処理に際して必要となる種々のプログラムを含んでいるものとする。例えば撮像対象である車両の部分画像を撮像画像から切り取るプログラムやさらに車両の種類を判定するプログラム、あるいは車両の幅等から道路幅を推定するプログラム等の画像処理を行う上で必要となる種々のプログラムがプログラム記憶部ＰＭに含まれているものとする。
【００３３】
記憶装置３０の構成要素のうち、データ記憶部ＤＭは、画像キャプチャプログラムＣＰでキャプチャされた撮像画像のデータを格納する撮像画像データ記憶部ＣＤと、背景抽出プログラムＢＰで抽出された背景画像のデータを格納する背景画像データ記憶部ＢＤと、直線成分抽出プログラムＬＰ及び直線成分繋ぎ合わせプログラムＴＰで抽出された直線成分のデータを格納する直線成分データ記憶部ＬＤと、特徴量選択プログラムＳＰで特徴量とすべきものとして選択された特徴量のデータを格納する特徴量データ記憶部ＳＤと、道路形状推定プログラムＰＰで推定された道路形状のデータを格納する道路形状データ記憶部ＰＤと、道路距離情報策定プログラムＲＤＰで策定された道路距離の情報を格納する道路距離データ記憶部ＲＤＤと、検出エリア設定プログラムＥＰで設定された検出エリアのデータを格納する検出エリアデータ記憶部ＥＤとを有する。
【００３４】
なお、道路形状データ記憶部ＰＤは、車両進行方向追跡プログラムＴＲＰで取得される付加情報である進行方向に関するデータを格納する進行方向データ記憶部ＴＲＤをさらに含んでいる。
【００３５】
以下、図５等を参照して、以上の構成を有する画像処理装置１００を用いた画像処理方法の一例について説明する。図５（Ａ）〜５（Ｆ）に示すように、ここでは、撮像装置９０によって取得される道路の撮像画像（図５（Ａ）参照）から、図５（Ｂ）〜５（Ｆ）に示すような各種部分画像として直線成分等の情報を抽出して車両１台分の幅で作られた区分である車線を画定させるとともに、必要に応じて検出対象である車両の進行方向等の付加情報を取得し、最終的に図５（Ｆ）に斜線で範囲を示すような所定の範囲を検出対象の検出エリアＤＡとして設定することを目的とする。撮像対象である道路の状況等について、より具体的に説明すると、図５の例では、撮像装置９０によって取得される撮像画像は、片側２車線の合計４車線の道路の一部の画像となっており、このうち、撮像範囲の中央側に位置する車両ＶＥが撮像装置９０に近づく側の２車線の所定範囲を検出エリアＤＡとして設定するものである。
【００３６】
以下、検出エリアＤＡを設定するまでの手順を概念的に説明する。まず、図５（Ａ）のような撮像画像ＰＩ（入力画像）から、図５（Ｂ）に示すように車両ＶＥを除去した背景画像ＢＩを抽出する。なお、背景画像ＢＩの抽出については、既存の種々の方法が利用でき、例えば時間を変えて撮像した複数の画像から車両ＶＥを切り取るプログラムを利用して車両ＶＥを除去した状態の画像を繋ぎ合わせる方法や、平均値をとる方法等、種々の方法が適用できる。図５（Ｂ）のような背景画像ＢＩを取得することで、直線部分を抽出しやすい状態にできる。次に、図５（Ｂ）に示す背景画像ＢＩから車線エリアを探すための直線成分の抽出・検出を行うことで、図５（Ｃ）のように示すような直線成分ＬＥのみを取り出した画像が取得できる。すなわち、車線を画定するための要素を抽出できる。なお、直線成分ＬＥの抽出方法については、既存の種々の方法が利用でき、例えば画像を２値化することで、道路の境界等に相当する箇所を直線の部分画像として取り出すことができる。より具体的な一例としては、２値化した部分画像についてフィッティングにより線状部分を抽出し、予め定められている真の直線データに対する距離の差に関しての二乗平均平方根の最小値を求め、当該最小値が既定の閾値以下であれば、その線状の部分画像を直線とみなす方法が考えられる。以上の方法は直線成分を定める一例であり、このほかの方法も適宜採用可能である。なお、２値化等によって得られる各部分画像のうちどこまでを直線である成分とみなすかについては、閾値を適宜定めておけばよい。上記に例示した方法であれば、二乗平均平方根の最小値に対する既定の閾値の設定によってどの程度の線状部分までを直線とみなすかを決定できる。また、どの程度の幅まで１本の直線であるかについても、適宜閾値を定めることができる。例えば図示のような道路の直線であれば、これまでの経験や常識、検出を行う道路の形状、カメラの設置位置等を加味することで、予め画一的に適切な閾値を定めることが可能である。
【００３７】
ここで、図５（Ｃ）に示す状態では、上記のように閾値等によって画一的に定めた条件を満たす直線部分として認識される部分が全て直線成分ＬＥとして抽出されることになる。このため、図示を省略しているが、例えば電柱等のように直線状ではあるが道路形状とは何ら関係ない要素も直線成分ＬＥに含まれる可能性があることになる。これに対して、本実施形態では、直線成分ＬＥについてグループ化等の処理を行うことにより、道路形状に関係あると推定される成分だけを選択する。すなわち、図５（Ｄ）に示すように、直線成分ＬＥのうち道路形状に関係するもののみを特徴量ＳＱとして選択することで、道路形状の推定を行う。この選択の方法に関しては、まず、直線成分ＬＥのうち所定の閾値以上のもののみを特徴量ＳＱとして選択することが考えられる。すなわち、道路の長さに比較すれば、電柱等のような道路以外のものに由来する直線成分ＬＥの長さは、はるかに短いと考えられる。そこで、直線成分ＬＥの長さについてある閾値（長さの閾値）を定めておき、直線成分ＬＥのうち当該閾値以上のもののみを特徴量ＳＱとして選択すれば、道路を画定する成分を取り出すことができる。
【００３８】
一方で、図５（Ａ）等に示すように、片側２車線の間を区切る中央線が破線状になっている場合も考えられる。また、画像処理において、実際には繋がっているはずの直線が切れた状態で認識される可能性もある。このような場合、例えば破線状になっている直線もこれらを繋ぎ合わせることで車線を区切る線とみなせるようにする処理を行う必要がある。上記のような破線は、複数の直線成分ＬＥとして抽出され、これらは互いに略平行であると考えられ、また、ある一定の間隔で飛び飛びに表れ、特に繋ぐとほぼ直線状となっていると考えられる。そこで、図５（Ｃ）に示す直線成分ＬＥに関して、直線成分の長さとは別途に、例えば平行度の高さや互いの間隔等に関して基準となる閾値を設けて、この閾値を満たす直線成分ＬＥ（図５（Ｄ）に点線で図示）については、これらの直線成分ＬＥを繋いで新たな直線成分ＬＥ１を生成する処理を行うことができるものとする。これにより、形成された直線成分ＬＥ１が直線成分の長さの閾値の条件を満たせば、すなわち、直線成分ＬＥ１が閾値以上の長さを有すれば、特徴量ＳＱとして選択されるものとして取り扱うことが可能になる。なお、図５（Ｄ）では、破線状の中央線に相当する直線成分ＬＥは、せまい間隔でほぼ平行に並ぶ２本の線を１組として並んでいるが、この２本の線の間の領域が閾値であれば１本とみなすようにし、例えば重み等を設定することで直線成分ＬＥ１を決定する処理をすればよい。
【００３９】
以上のような処理を経ることで、図５（Ｄ）に示す場合、特徴量ＳＱによって４つの車線を示す領域ＬＤ１〜ＬＤ４が画定されることになる。なお、特徴量ＳＱのうち、右車線と左車線とを区切る中央分離帯のような部分を形成する箇所については、２つの直線成分の間隔について閾値を定め閾値以下の間隔で略平行に並ぶ成分の間の領域については、車線と認めないものとするように処理すればよい。
【００４０】
次に、図５（Ｅ）において矢印ＡＡ１〜ＡＡ４で示すように、図５（Ｄ）に示す各領域ＬＤ１〜ＬＤ４に対応する箇所に関して車両をトラッキングする処理を行う。すなわち、各ＬＤ１〜ＬＤ４を通過する車両の進行方向を確認することで、各領域ＬＤ１〜ＬＤ４の設定が妥当であるか否かを判定可能にする。具体的には、図示の場合、片側２車線であり、左側通行であることから、各領域ＬＤ１，ＬＤ２に対応する箇所を通過する車両ＶＥが撮像装置９０に近づく方向に進み、矢印ＡＡ１，ＡＡ２に示すようなものとなっており、各領域ＬＤ３，ＬＤ４に対応する箇所を通過する車両ＶＥが撮像装置９０から遠ざかる方向に進み、矢印ＡＡ３，ＡＡ４に示すようなものとなっているか否かを確認し、判定を行う。なお、トラッキングの方法については、既存の種々の方法が適用できる。
【００４１】
ここで、トラッキングの処理の結果、車両の進行方向の観点から指定した領域ＬＤ１〜ＬＤ４の画定範囲に誤りがある場合には、再度、図５（Ｃ）で抽出された直線成分ＬＥから図５（Ｄ）に示す特徴量ＳＱを選択する処理をやり直すことも可能である。例えば定めている各閾値の再選択等を行うことで、特徴量ＳＱを選択し直すことができる。すなわち、上記のトラッキングの結果に基づいて、特徴量ＳＱに関する情報修正が可能である。なお、必要な情報修正が例えば領域ＬＤ１〜ＬＤ４のいずれかをわずかに変更すればよい等の軽微な場合には、上述のような閾値の再選択等をすることなく領域ＬＤ１〜ＬＤ４の変更の処理を行うものとしてもよい。また、上記のトラッキングの処理により、各領域ＬＤ１〜ＬＤ４における車両の進行方向についての情報を付加させることが可能になる。なお、付加した情報を検出エリアＤＡの設定後の検出作業時に利用してもよい。
【００４２】
最後に、図５（Ｆ）に示すように、距離情報を付加する。すなわち、各種情報から道路距離の情報策定を行う。距離の情報策定については、種々の方法が考えられる。例えば、道路上あるいは、道路の近くであって撮像装置９０の撮像範囲内に既知の距離に物体を設置しておき、その設置された物体を基準に図５（Ｆ）に示すような距離情報を付加することが考えられる。この場合、付加された距離情報は実距離情報となる。このほか、予め定まっている情報である情報、具体的には撮像装置９０の高さや角度等の設置位置の情報や道路幅や車両の車種ごとの幅や高さの情報を、画像として得られる道路幅や車両の大きさの情報と組み合わせて演算を行うことで、距離情報を付加することも考えられる。例えば図５（Ｆ）に示すように、車幅を画像上で測定した結果である測定幅ＶＳ１，ＶＳ２を、実際の車両の車幅と照合することで縮尺を割り出せば、距離情報を取得することが可能である。この場合、付加された距離情報は演算距離情報となる。付加された距離情報を利用することで、検出エリアＤＡを的確に設定することが可能となる。
【００４３】
以下、図６のフローチャート等を参照して、上記のような検出エリアＤＡの設定のための画像処理動作をするための具体的態様の一例について説明する。
【００４４】
まず、ＣＰＵ１０は、画像情報受付部２０を介して撮像装置９０から画像情報を取得するとともに、記憶装置３０から画像キャプチャプログラムＣＰを読み出して、撮像画像のキャプチャを行い、図５（Ａ）に示す入力画像を取得する（ステップＳ１）。なお、ここでは、少なくとも背景画像の抽出に必要な分の撮像画像がキャプチャされ、撮像画像データ記憶部ＣＤに記憶されるものとする。次に、ＣＰＵ１０は、記憶装置３０から背景抽出プログラムＢＰを読み出して、撮像画像データ記憶部ＣＤに記憶された撮像画像のデータから図５（Ｂ）に示す背景画像ＢＩを抽出する処理を行う（ステップＳ２）。次に、ＣＰＵ１０は、記憶装置３０から直線成分抽出プログラムＬＰを読み出して、背景画像データ記憶部ＢＤに記憶された背景画像ＢＩのデータから図５（Ｃ）に示す直線成分ＬＥを抽出する処理を行う（ステップＳ３）。次に、ＣＰＵ１０は、記憶装置３０から特徴量選択プログラムＳＰを読み出して、直線成分データ記憶部ＬＤに記憶された直線成分ＬＥのデータから図５（Ｄ）に示す特徴量ＳＱを選択するとともに、道路形状を推定する道路形状推定プログラムＰＰを読み出して、選択された特徴量ＳＱに基づいて道路形状を推定する処理を行う（ステップＳ４）。なお、ステップＳ４について詳しくは図７を参照して後述する。次に、ＣＰＵ１０は、記憶装置３０から車両進行方向追跡プログラムＴＲＰを読み出して、道路形状データ記憶部ＰＤに記憶された道路形状のデータに対応する道路上の各領域ＬＤ１〜ＬＤ４（図５（Ｄ）参照）に対応する箇所を通過する車両の進行方向に関して追跡（トラッキング）処理を行う（ステップＳ５）。すなわち、図５（Ｅ）に示す矢印ＡＡ１〜ＡＡ４の方向と領域ＬＤ１〜ＬＤ４とを照合して進行方向との対応関係に異常がないかを判定可能にする。言い換えると、ＣＰＵ１０は、車両進行方向追跡プログラムＴＲＰを利用することで、特徴量ＳＱに関する補完をする検出情報補完部として機能し、また、検出対象である車両ＶＥの進行方向を判定する進行方向判定部としても機能する。
【００４５】
ＣＰＵ１０は、ステップＳ５において追跡した各領域ＬＤ１〜ＬＤ４における車両の進行方向に関して異常があり、各領域ＬＤ１〜ＬＤ４についての修正を要すると判断すると（ステップＳ６：Ｙｅｓ）、ステップＳ４における選択のための閾値等を修正する処理を行い（ステップＳ７）、再度、ステップＳ４からステップＳ６の動作を行い、異常が解消するまでこれを繰り返す。
【００４６】
一方、ＣＰＵ１０は、ステップＳ５において追跡した各領域ＬＤ１〜ＬＤ４における車両の進行方向が妥当であり、各領域ＬＤ１〜ＬＤ４についての修正が不要である、あるいは軽微な瑕疵であり簡単な補正によって修正可能であると判断すると（ステップＳ６：Ｎｏ）、必要に応じて各領域ＬＤ１〜ＬＤ４の簡単な補正を行い、各領域ＬＤ１〜ＬＤ４における車両の進行方向の情報を付加情報として記憶装置３０の道路形状データ記憶部ＰＤに含まれる進行方向データ記憶部ＴＲＤに記憶する補完情報の追加処理を行い（ステップＳ８）、道路距離情報策定プログラムＲＤＰを読み出して道路距離の情報策定を行い、さらに検出エリア設定プログラムＥＰを読み出して各領域ＬＤ１〜ＬＤ４を基準とする検出エリアＤＡの設定を行う（ステップＳ９）。なお、ステップＳ９において、策定された道路距離の情報は、道路距離データ記憶部ＲＤＤに記憶され、設定された検出エリアＤＡの情報は、検出エリアデータ記憶部ＥＤに記憶される。
【００４７】
ここで、既述のように、以上の各処理のうちステップＳ４の道路形状推定処理においては、例えば特徴量ＳＱの選択のために直線成分ＬＥに関する種々の処理がなされている。以下、図７を参照して、ステップＳ４の処理について詳しく説明する。まず、ＣＰＵ１０は、特徴量選択プログラムＳＰを読み出して、ステップＳ３において抽出された全ての直線成分ＬＥの長さについてそれぞれ測定し（ステップＳ４０１）、特徴量ＳＱとしての採否として、各直線成分ＬＥが長さの閾値にそれぞれ達しているかを判定する（ステップＳ４０２）。ステップＳ４０２において、直線成分ＬＥのうち長さの閾値以上であると判定された（ステップＳ４０２：Ｙｅｓ）ものについては、特徴量ＳＱとして採用される（ステップＳ４０６）。一方、直線成分ＬＥのうち長さの閾値未満であると判定された（ステップＳ４０２：Ｎｏ）ものについては、他の直線成分ＬＥと繋ぎ合わせ可能であるかが判定される（ステップＳ４０３）。すなわち、ＣＰＵ１０は、直線成分ＬＥのうち図５（Ｄ）に点線で示すように繋いで新たな直線成分ＬＥ１を生成できるものがあるか否かを判定し、繋ぎ合わせ可能であれば（ステップＳ４０３：Ｙｅｓ）、記憶装置３０から直線成分繋ぎ合わせプログラムＴＰを読み出して、該当する直線成分ＬＥを繋ぎ合わせる処理を行う（ステップＳ４０４）。次に、ＣＰＵ１０は、ステップＳ４０４において繋ぎ合わせて得られた新たな直線成分ＬＥ１が定められた長さの閾値以上であるかを判定し（ステップＳ４０５）、ステップＳ４０５において、直線成分ＬＥ１が長さの閾値以上であると判定されれば（ステップＳ４０５：Ｙｅｓ）、特徴量ＳＱとして採用する（ステップＳ４０６）。一方、ＣＰＵ１０は、ステップＳ４０３において、直線成分ＬＥのうち他の直線成分ＬＥと繋ぎ合わせ可能でないと判定されたもの（ステップＳ４０３：Ｎｏ）や、ステップＳ４０５において、得られた新たな直線成分ＬＥ１であっても定められた長さの閾値未満であると判定されたもの（ステップＳ４０５：Ｎｏ）については、特徴量ＳＱとして採用されないものと判定する（ステップＳ４０７）。
【００４８】
最後に、ステップＳ４０６において特徴量ＳＱとして採用された直線成分を、道路形状に関して車線を推定するための基準として採用する（ステップＳ４０８）ことで、道路形状の推定が行われる。
【００４９】
上記のように、情報処理部８０のうち、ＣＰＵ１０は、記憶装置３０に含まれる各種プログラムの一部を読み出すことで、特徴量ＳＱを検出する特徴量検出部として機能し、また、ＣＰＵ１０は、記憶装置３０に含まれる各種プログラムの他の一部を読み出すことで、検出エリアを設定する検出エリア設定部として機能する。さらに、特徴量検出部としてのＣＰＵ１０は、背景画像ＢＩに基づいて直線成分ＬＥを検出する直線成分検出部としての機能を有し、また、検出された直線成分ＬＥのうち所定値以上の長さを形成可能にするものを特徴量ＳＱの情報として選択する特徴量選択部としての機能を有する。より具体的には、直線成分検出部で検出された直線成分ＬＥのうち、所定値未満の長さのものを繋ぎ合わせて新たに形成される所定値以上の長さの直線成分ＬＥ１を特徴量ＳＱの情報として選択するものとなっている。
【００５０】
以上のように、本実施形態では、情報処理部８０での画像処理において、撮像装置９０で取得された撮像画像から直線成分ＬＥに基づいて抽出された特徴量ＳＱを選択し、選択された特徴量ＳＱに基づいて、最終目的である検出エリアＤＡの画定を行っている。この直線成分ＬＥは、例えば撮像対象が車両であり、検出エリアが道路であるという場合には、道路の境界や中央線のような車線を分ける区画線、中央分離帯等のように撮像範囲内に初めから存在するので、撮像画像すなわち入力画像から直接的に取得可能であり、撮像範囲内に目印となるようなものを予め別途準備しておくという必要がない。また、道路の形状の正確性や距離の測定の正確性についても、確保しやすい。従って、検出エリアの設定を簡易かつ確実に行うことができる。
【００５１】
この発明は、上記の実施形態又は実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
【００５２】
以下、画像処理装置１００の変形例について説明する。まず、図８（Ａ）は、エリア設定の一変形例について示す図である。上記の例では、設定する検出エリアＤＡを一箇所として示しているが、複数の箇所を検出エリアとして設定してもよい。例えば、図８（Ａ）に示すように、４つの検出エリアＤＡ１〜ＤＡ４を設定するものとしてもよい。なお、図８（Ａ）では、４車線のそれぞれを設定して合計４箇所に検出エリアＤＡ１〜ＤＡ４があるものとしているが、目的等に応じて他の個数で検出エリアを設定することもできる。図８（Ａ）の場合、例えば進行方向の異なる複数の箇所での検出を同時に行うことが可能となる。また、図８（Ｂ）は、エリア設定の他の一変形例について示す図である。上記の例では、例えば図５や図８（Ａ）に示すように、撮像範囲の中央側であるメインの検出エリアＤＡ１，ＤＡ２に、矢印Ａ１で進行方向を示す車両ＶＥが撮像装置９０に近づく側の２車線を配置するようにしている。これとは逆に、図８（Ｂ）に示すように、撮像範囲の中央側であるメインの検出エリアＤＡ１，ＤＡ２に、矢印Ｂ１で進行方向を示す車両ＶＥが撮像装置９０から遠ざかる側の２車線を配置するようにしてもよい。車両ＶＥの検出においては、例えばヘッドライトのような形状的特徴の高い部分を有する側は、部分画像として抽出しやすい、すなわち車両の前方側は捉えやすい。これに対して、車両の後方側は相対的に画像として捉えにくい。したがって、複数の検出エリアを設定するに際して、車両（検出対象）の捉えにくい側をメインの検出エリアＤＡ１，ＤＡ２とし、捉えやすい側をサブの検出エリアＤＡ３，ＤＡ４とするように設定することで、全体として検出の精度を高めることができる。
【００５３】
また、上記では、検出対象を車両とし、撮像範囲に道路を含むものとしているが、検出対象や撮像範囲については、これに限らず、種々のものが想定できる。例えば、道路における検出対象を車両のほかにも二輪車や自転車、あるいは歩行者等としてもよい。この場合、直線成分は、上記の中央線や境界中央分離帯、路肩のほか、例えば横断歩道等からも取得可能である。また、検出場所も、目的に応じて種々の態様が考えられ、例えば交差点に進入する車両の検出に適用することが可能である。
【００５４】
なお、上記では、撮像装置９０は、作業者により予め所定の高さ及び角度で設置されているものとしているが、例えば図２に示す柱状物体ＰＯの上方側に取り付けられた撮像装置９０の姿勢すなわち傾斜角度については、自動的に設定するものとしてもよい。この場合、柱状物体ＰＯに設置するだけで、画像処理装置１００に、撮像装置９０の姿勢の調整からエリア設定までの動作を自動で行わせることができる。また、取り付け位置も柱状物体ＰＯの上方に限らず、種々の態様が可能であり、例えば、歩道橋等に設置して道路を撮像するといった態様も可能である。また、上記各処理のうち一部を省略した態様も考えられ、例えば撮像装置９０による撮像範囲に含まれる道路部分全体を検出エリアとし、道路距離の策定処理を省略する態様が考えられる。
【符号の説明】
【００５５】
２０…画像情報受付部、  ３０…記憶装置、  ４０…表示装置、  ５０…入力装置、  ７０…バス、  ８０…情報処理部、  ９０…撮像装置、  １００…画像処理装置、  Ａ１…矢印、  ＡＡ１-ＡＡ４…矢印、  Ｂ１…矢印、  ＢＤ…背景画像データ記憶部、  ＢＩ…背景画像、  ＢＰ…背景抽出プログラム、  ＣＤ…撮像画像データ記憶部、  ＣＰ…画像キャプチャプログラム、  ＤＡ…検出エリア、  ＤＡ１-ＤＡ４…検出エリア、  ＤＭ…データ記憶部、  ＥＤ…検出エリアデータ記憶部、  ＥＰ…検出エリア設定プログラム、  ＬＤ…直線成分データ記憶部、  ＬＤ１-ＬＤ４…領域、  ＬＥ…直線成分、  ＬＥ１…直線成分、  ＬＰ…直線成分抽出プログラム、  ＰＤ…道路形状データ記憶部、  ＰＩ…撮像画像、  ＰＭ…プログラム記憶部、  ＰＯ…柱状物体、  ＰＰ…道路形状推定プログラム、  ＰＸ…撮像範囲、  ＲＤＤ…道路距離データ記憶部、  ＲＤＰ…道路距離情報策定プログラム、  ＳＤ…特徴量データ記憶部、  ＳＰ…特徴量選択プログラム、  ＳＱ…特徴量、  ＴＰ…直線成分繋ぎ合わせプログラム、  ＴＲＤ…進行方向データ記憶部、  ＴＲＰ…車両進行方向追跡プログラム、  ＶＥ…車両
【図１】
2015201127.tif 000003
【図２】
2015201127.tif 000004
【図３】
2015201127.tif 000005
【図４】
2015201127.tif 000006
【図５】
2015201127.tif 000007
【図６】
2015201127.tif 000008
【図７】
2015201127.tif 000009
【図８】
2015201127.tif 000010