(57)【要約】      （修正有）【課題】撮影画像において重なりが生じている複数の車両を個別に認識することができる車両認識装置を提供する。【解決手段】車両認識装置２は、道路上で車列を構成する複数の車両を斜め後ろの方向からステレオカメラによる撮影画像を取得する取得部２５１と、撮影画像に基いて視差画像を生成する視差画像生成部２５２と、視差画像における消失点を推定する消失点推定部２５３と、視差画像において消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する短冊領域生成部２５４と、短冊領域ごとの代表視差を算出する代表視差算出部２５５と、複数の短冊領域から、代表視差に基いて、車両の認識に有効な短冊領域を抽出する短冊領域抽出部２５６と、車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う短冊領域を連結して連結短冊領域を生成する短冊領域連結部２５７と、連結短冊領域に基いて車両を認識する車両認識部２５９と、を備える。【選択図】図５
2019200776.tif 000002
【特許請求の範囲】
【請求項１】
道路上で車列を構成する複数の車両を前記車列に対して斜め後ろの方向からステレオカメラによって撮影した撮影画像を取得する取得部と、
前記撮影画像に基いて視差画像を生成する視差画像生成部と、
前記視差画像における消失点を推定する消失点推定部と、
前記視差画像において前記消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する短冊領域生成部と、
前記短冊領域ごとの代表視差を算出する代表視差算出部と、
複数の前記短冊領域から、前記代表視差に基いて、車両の認識に有効な短冊領域を抽出する短冊領域抽出部と、
車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う前記短冊領域を連結して連結短冊領域を生成する短冊領域連結部と、
前記連結短冊領域に基いて車両を認識する車両認識部と、
を備える車両認識装置。
【請求項２】
前記連結短冊領域における前記短冊領域の数に基いて、当該連結短冊領域が分割対象であるか否かを判定する分割判定部と、
分割対象であると判定された前記連結短冊領域を構成するそれぞれの前記短冊領域において頻度が大きい上位２つの視差を算出する上位視差算出部と、
上位２つの視差から距離の差を算出する距離差算出部と、
算出された前記距離の差が所定範囲内の場合に、当該短冊領域の横方向位置を、前記連結短冊領域を２つに分割する横方向位置として決定する分割位置決定部と、
決定された前記横方向位置に基いて、前記連結短冊領域を２つの分割領域に分割する分割部と、をさらに備え、
前記車両認識部は、２つの前記分割領域それぞれに基いて車両を認識する、
請求項１に記載の車両認識装置。
【請求項３】
前記短冊領域生成部は、前記視差画像の解像度に基いて前記短冊領域の数を決定し、決定された前記数に基いて、前記視差画像において前記消失点よりも下方の領域を横方向に分割して複数の前記短冊領域を生成する、
請求項１に記載の車両認識装置。
【請求項４】
前記代表視差算出部は、前記短冊領域ごとに、各画素の視差のうち視差値が第１の所定値以上の視差の頻度分布を計算し、前記頻度分布の最頻値を前記代表視差とする、
請求項１に記載の車両認識装置。
【請求項５】
前記短冊領域抽出部は、前記代表視差が存在する前記短冊領域を対象として、前記代表視差を有する画素の塊を、車両の認識に有効な短冊領域として抽出する、
請求項４に記載の車両認識装置。
【請求項６】
前記短冊領域抽出部は、前記代表視差を有する画素の塊が２つあって、その２つの塊それぞれの下端位置の距離の差が第２の所定値以上の場合、その２つの塊のうち大きな塊を、車両の認識に有効な短冊領域として抽出する、
請求項４に記載の車両認識装置。
【請求項７】
前記距離分布モデルは、車両の背面の各点までの距離は略一定であり、前記車両の側面における前記道路の進行方向に沿った各点までの距離は所定の変化率範囲内で変化することである、
請求項１に記載の車両認識装置。
【請求項８】
前記短冊領域連結部は、前記距離分布モデルに基いて、それぞれの前記短冊領域の代表視差を距離に変換し、隣り合う２つの前記短冊領域の間の距離が第３の所定値以下であれば連結して、前記連結短冊領域を生成する、
請求項７に記載の車両認識装置。
【請求項９】
前記分割判定部は、前記連結短冊領域における前記短冊領域の数が第４の所定値以上であるときに、当該連結短冊領域が分割対象であると判定する、
請求項２に記載の車両認識装置。
【請求項１０】
前記上位視差算出部は、分割対象であると判定された前記連結短冊領域における横方向の中央よりも車両の側面が映っている側の領域を構成する短冊領域ごとに視差の頻度分布を計算し、頻度が大きい上位２つの視差を算出する、
請求項９に記載の車両認識装置。
【請求項１１】
前記距離差算出部は、前記上位視差算出部によって算出された上位２つの視差の頻度それぞれが第５の所定値以上の場合、それらの視差を距離に変換し、距離の差を算出する、
請求項１０に記載の車両認識装置。
【請求項１２】
前記分割位置決定部は、分割対象であると判定された前記連結短冊領域における横方向の中央から車両の側面が映っている側の方向に、それぞれの前記短冊領域について、前記距離差算出部によって算出された距離の差が前記所定範囲内か否かを判定し、前記所定範囲内である場合、当該短冊領域の横方向位置を、前記連結短冊領域を２つに分割する横方向位置として決定する、
請求項１１に記載の車両認識装置。
【請求項１３】
前記車両認識装置は、
前記視差画像に基いて、前記道路を真上から見た様子のデータである鳥瞰データを作成する鳥瞰データ作成部と、
前記鳥瞰データに基いて車両の後端部を検出する車両後端検出部と、をさらに備える、
請求項１に記載の車両認識装置。
【請求項１４】
前記鳥瞰データ作成部は、前記視差画像において、前記道路上の同一地点で高さの異なる視差データに基いて前記鳥瞰データを作成する、
請求項１３に記載の車両認識装置。
【請求項１５】
前記車両後端検出部は、前記鳥瞰データに基いて、柵と車両の境界を抽出し、前記車両の後端部を検出する、
請求項１３に記載の車両認識装置。
【請求項１６】
道路上で車列を構成する複数の車両を前記車列に対して斜め後ろの方向からステレオカメラによって撮影した撮影画像を取得する取得ステップと、
前記撮影画像に基いて視差画像を生成する視差画像生成ステップと、
前記視差画像における消失点を推定する消失点推定ステップと、
前記視差画像において前記消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する短冊領域生成ステップと、
前記短冊領域ごとの代表視差を算出する代表視差算出ステップと、
複数の前記短冊領域から、前記代表視差に基いて、車両の認識に有効な短冊領域を抽出する短冊領域抽出ステップと、
車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う前記短冊領域を連結して連結短冊領域を生成する短冊領域連結ステップと、
前記連結短冊領域に基いて車両を認識する車両認識ステップと、
を含む車両認識方法。
【請求項１７】
前記連結短冊領域における前記短冊領域の数に基いて、当該連結短冊領域が分割対象であるか否かを判定する分割判定ステップと、
分割対象であると判定された前記連結短冊領域を構成するそれぞれの前記短冊領域において頻度が大きい上位２つの視差を算出する上位視差算出ステップと、
上位２つの視差から距離の差を算出する距離差算出ステップと、
算出された前記距離の差が所定範囲内の場合に、当該短冊領域の横方向位置を、前記連結短冊領域を２つに分割する横方向位置として決定する分割位置決定ステップと、
決定された前記横方向位置に基いて、前記連結短冊領域を２つの分割領域に分割する分割ステップと、をさらに備え、
前記車両認識ステップは、２つの前記分割領域それぞれに基いて車両を認識する、
請求項１６に記載の車両認識方法。
【請求項１８】
前記短冊領域生成ステップは、前記視差画像の解像度に基いて前記短冊領域の数を決定し、決定された前記数に基いて、前記視差画像において前記消失点よりも下方の領域を横方向に分割して複数の前記短冊領域を生成する、
請求項１６に記載の車両認識方法。
【請求項１９】
前記代表視差算出ステップは、前記短冊領域ごとに、各画素の視差のうち視差値が第１の所定値以上の視差の頻度分布を計算し、前記頻度分布の最頻値を前記代表視差とする
請求項１６に記載の車両認識方法。
【請求項２０】
前記短冊領域抽出ステップは、前記代表視差が存在する前記短冊領域を対象として、前記代表視差を有する画素の塊を、車両の認識に有効な短冊領域として抽出する、
請求項１９に記載の車両認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、車両認識装置および車両認識方法に関する。
【背景技術】
【０００２】
従来から、道路上の車両の撮影画像に基いて車両を認識する技術がある。例えば、車列の後方からステレオカメラで撮影した画像を用いれば、車列最後尾を容易に認識することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６１７３７９１号公報
【特許文献２】特開２０１７−６８７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来技術では、撮影画像中の一番近い車両を認識することは容易であるが、撮影画像において重なりが生じている複数の車両を個別に認識することは困難である。
【０００５】
そこで、本実施形態は、撮影画像において重なりが生じている複数の車両を個別に認識することを課題とする。
【課題を解決するための手段】
【０００６】
実施形態の車両認識装置は、道路上で車列を構成する複数の車両を前記車列に対して斜め後ろの方向からステレオカメラによって撮影した撮影画像を取得する取得部と、前記撮影画像に基いて視差画像を生成する視差画像生成部と、前記視差画像における消失点を推定する消失点推定部と、前記視差画像において前記消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する短冊領域生成部と、前記短冊領域ごとの代表視差を算出する代表視差算出部と、複数の前記短冊領域から、前記代表視差に基いて、車両の認識に有効な短冊領域を抽出する短冊領域抽出部と、車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う前記短冊領域を連結して連結短冊領域を生成する短冊領域連結部と、前記連結短冊領域に基いて車両を認識する車両認識部と、を備える。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１実施形態の車両認識システムの全体構成を示す図である。
【図２】図２は、第１実施形態のトラムの構成を示す図である。
【図３】図３は、第１実施形態のトラムのコックピットの構成を示す図である。
【図４】図４は、第１実施形態のＧＰＳ信号によるトラムの位置の取得を説明するための図である。
【図５】図５は、第１実施形態の車載装置および車両認識装置の機能的構成を示す図である。
【図６】図６は、第１実施形態における各画像を示す図である。
【図７】図７は、第１実施形態において視差画像に短冊領域を設けた様子を示す図である。
【図８】図８は、第１実施形態における視差画像の例を示す図である。
【図９】図９は、第１実施形態における短冊領域の例を示す図である。
【図１０】図１０は、第１実施形態において図９に示す基準によって車両の認識に有効な短冊領域を抽出した視差画像の例を示す図である。
【図１１】図１１は、第１実施形態の短冊領域に関する各情報を示す図である。
【図１２】図１２は、第１実施形態における視差画像の例を示す図である。
【図１３】図１３は、第１実施形態において道路の白線を車両として誤検出した視差画像の例を示す図である。
【図１４】図１４は、図１３の視差画像と比較して白線に対応する領域Ｒ２３を非車両とした場合を示す図である。
【図１５】図１５は、第１実施形態において１つの連結短冊領域に２台の車両が含まれている視差画像の例を示す図である。
【図１６】図１６は、図１５の視差画像と比較して領域Ｒ３２を２つの領域Ｒ３３、Ｒ３４に分割した場合を示す図である。
【図１７】図１７は、第１実施形態の車両認識装置による処理を示すフローチャートである。
【図１８】図１８は、図１７の処理のステップＳ８の詳細を示すフローチャートである。
【図１９】図１９は、第２実施形態において、道路と専用レーンの間に柵が設けられている様子を示す模式図である。
【図２０】図２０は、第２実施形態の車載装置および車両認識装置の機能的構成を示す図である。
【図２１】図２１は、第２実施形態における視差のヒストグラムの説明図である。
【図２２】図２２は、第２実施形態において柵と車両の後端部を別々に検出する処理の説明図である。
【図２３】図２３は、第２実施形態の車両認識装置による処理を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、本発明の車両認識装置および車両認識方法の実施形態（第１実施形態、第２実施形態）について説明する。
【０００９】
（第１実施形態）
まず、第１実施形態について説明する。第１実施形態においては、車両認識システムを、道路の一部に敷設された専用レーンを走行するトラム（路面電車）に適用した例を説明する。第１実施形態の車両認識システムは、道路上で車列を構成する複数の車両をステレオカメラによって撮影し、その撮影画像を用いて複数の車両のそれぞれを個別に認識する。
【００１０】
図１は、第１実施形態の車両認識システムＳの全体構成を示す図である。図１に示すように、第１実施形態の車両認識システムＳは、専用レーン（図４に図示）を走行するトラム１と、トラム１の運行を管理する運行管理センターに設置された車両認識装置２と、を有する。トラム１と車両認識装置２は、無線基地局Ｂを介して、無線通信可能である。車両認識装置２は、例えばトラム１の運行を管理するサーバである。
【００１１】
図２は、第１実施形態のトラム１の構成を示す図である。図２に示すように、トラム１は、撮影装置１１と、車載装置１２と、通信装置１３と、を有する。
【００１２】
撮影装置１１は、専用レーンおよびその周囲を撮影可能な広角カメラ等である。撮影装置１１は、例えば、専用レーンの周囲に隣接する、一般車両が走行する一般レーン、および、道路の周囲の標識やビル（建物）、木等の物体を撮影する。
【００１３】
通信装置１３は、車両認識装置２等の外部装置と通信可能である。車載装置１２は、撮影装置１１が撮影した撮影画像を取得し、通信装置１３を介して、撮影画像を車両認識装置２に送信する。
【００１４】
図３は、第１実施形態のトラム１のコックピットの構成を示す図である。図３に示すように、トラム１のコックピット（操縦席）には、マスターコントローラ１４と、メータ１５と、撮影装置１１と、ＧＰＳ（Global  Positioning  System）受信機１６と、表示装置１７と、が設けられている。
【００１５】
マスターコントローラ１４は、トラム１の速度を遠隔制御する装置である。メータ１５は、トラム１の速度等を表示する。
【００１６】
撮影装置１１は、トラム１の操縦席に向かって左右方向に離間して配置されたステレオカメラ１１−１，１１−２である。なお、図３に示す撮影装置１１の設置位置、および設置台数は一例であり、これに限定されるものではない。
【００１７】
表示装置１７は、撮影装置１１により得られた撮影画像等の各種情報を表示可能である。
【００１８】
ＧＰＳ受信機１６は、ＧＰＳ衛星から受信したＧＰＳ信号に基いて、トラム１の位置を算出する。
【００１９】
図４は、第１実施形態のＧＰＳ信号によるトラム１の位置の算出を説明するための図である。ＧＰＳ受信機１６は、ＧＰＳアンテナを介して、ＧＰＳ衛星ＳＴからＧＰＳ信号を受信し、当該受信したＧＰＳ信号に基いて、トラム１の位置を算出する。
【００２０】
また、図４に示すように、撮影装置１１は、トラム１が走行する専用レーンＥＬに加えて、専用レーンＥＬに隣接する一般レーンＡＬを撮影可能である。
【００２１】
車載装置１２は、ＧＰＳ信号から算出されたトラム１の位置を示す情報と、撮影装置１１によって撮影された撮影画像と、当該撮影画像の撮影時刻とを、無線基地局Ｂを介して、車両認識装置２に送信する。トラム１の位置を示す情報（以下、「ＧＰＳ位置情報」ともいう。）は、例えば緯度と経度である。
【００２２】
車載装置１２および車両認識装置２は、例えば、ＣＰＵ（Central  Processing  Unit）と、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）等の記憶装置と、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）等の外部記憶装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００２３】
図５は、第１実施形態の車載装置１２および車両認識装置２の機能的構成を示す図である。車載装置１２は、処理部１２１と、記憶部１２２と、を備える。
【００２４】
記憶部１２２は、処理部１２１の動作プログラム、ＧＰＳ位置情報、撮影装置１１によって撮影された撮影画像、撮影画像の撮影時刻等の各種情報を記憶する。
【００２５】
処理部１２１は、動作プログラムに基いて、ＧＰＳ位置情報、撮影画像、撮影時刻等の各種情報を、通信装置１３を介して、車両認識装置２に送信する。
【００２６】
また、車両認識装置２は、記憶部２１と、入力部２２と、表示部２３と、通信部２４と、処理部２５と、を備える。
【００２７】
記憶部２１は、処理部２５の動作プログラム、車載装置１２から受信したＧＰＳ位置情報、撮影画像、撮影時刻等の各種情報を記憶する。
【００２８】
入力部２２は、車両認識装置２のユーザが情報を入力する手段であり、例えば、キーボードやマウスである。表示部２３は、各種情報を表示する手段であり、例えば、ＬＣＤ（Liquid  Crystal  Display）である。通信部２４は、車載装置１２等の外部装置と通信するための通信インタフェースである。
【００２９】
処理部２５は、演算手段であり、取得部２５１、視差画像生成部２５２、消失点推定部２５３、短冊領域生成部２５４、代表視差算出部２５５、短冊領域抽出部２５６、短冊領域連結部２５７、連結短冊領域分割部２５８および車両認識部２５９を備える。
【００３０】
取得部２５１は、車載装置１２から、道路上で車列を構成する複数の車両を車列に対して斜め後ろの方向からステレオカメラ１１−１，１１−２（図３）によって撮影した撮影画像を取得する。
【００３１】
視差画像生成部２５２は、撮影画像に基いて視差画像を生成する。
ここで、図６は、第１実施形態における各画像を示す図である。具体的には、図６（ａ）は右カメラ（ステレオカメラ１１−２（図３））による撮影画像（右カメラ画像）であり、図６（ｂ）は左カメラ（ステレオカメラ１１−１（図３））による撮影画像（左カメラ画像）であり、図６（ｃ）は右カメラ画像と左カメラ画像に基いて生成した視差画像である。この視差画像は公知の手法により作成することができる。
【００３２】
図５に戻って、消失点推定部２５３は、視差画像における消失点を推定する。消失点とは、地平線や遠方の物体が写っている画素である。この消失点の推定も公知の手法により実行することができる。
【００３３】
短冊領域生成部２５４は、視差画像において消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する。
図７は、第１実施形態において視差画像に短冊領域を設けた様子を示す図である。なお、短冊領域生成部２５４は、例えば、視差画像の解像度に基いて短冊領域の数を決定し、決定された数に基いて、視差画像において消失点よりも下方の領域を、横方向に分割して複数の短冊領域を生成する。短冊領域の幅は、例えば、等間隔でそれぞれ２１画素である。
【００３４】
図５に戻って、代表視差算出部２５５は、短冊領域ごとの代表視差を算出する。例えば、代表視差算出部２５５は、短冊領域ごとに、各画素の視差のうち視差値が第１の所定値以上の視差の頻度分布を計算し、頻度分布の最頻値を代表視差とする。
【００３５】
短冊領域抽出部２５６は、複数の短冊領域から、代表視差に基いて、車両の認識に有効な短冊領域を抽出する。例えば、短冊領域抽出部２５６は、代表視差が存在する短冊領域を対象として、代表視差を有する画素の塊を、車両の認識に有効な短冊領域として抽出する。
図８は、第１実施形態における視差画像の例を示す図である。図８では、短冊領域内の代表視差の分布を計算し、代表視差を有する画素の塊を、車両の認識に有効な短冊領域として抽出した場合を示している。
【００３６】
図５に戻って、短冊領域抽出部２５６は、短冊領域において、代表視差を有する画素の塊が２つあって、その２つの塊それぞれの下端位置の距離の差（Ｈ２）が第２の所定値（例えば短冊領域の高さの１／４（Ｈ１）。撮影装置１１の画角等に基いて適宜設定）以上の場合、その２つの塊のうち大きな塊を、車両の認識に有効な短冊領域として抽出する。
図９は、第１実施形態における短冊領域の例を示す図である。図９に示すように、短冊領域内に代表視差の塊として領域Ｒ１と領域Ｒ２の２つが抽出された場合、それぞれの塊の下端位置の距離の差を計算する。そして、その差が短冊領域の高さの１／４以上の場合、小さいほうの塊（図９では白線が写っている領域Ｒ２）を非車両の領域と判定して短冊領域から除外する。
図１０は、第１実施形態において図９に示す基準によって車両の認識に有効な短冊領域を抽出した視差画像の例を示す図である。
【００３７】
図５に戻って、短冊領域連結部２５７は、車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う短冊領域を連結して連結短冊領域を生成する。ここで、距離分布モデルは、例えば、車両の背面の各点までの距離は略一定（一定を含む。）であり、車両の側面における道路の進行方向に沿った各点までの距離は所定の変化率範囲内で変化することである。
【００３８】
短冊領域連結部２５７は、距離分布モデルに基いて、それぞれの短冊領域の代表視差を距離に変換し、隣り合う２つの短冊領域の間の距離が第３の所定値（例えば３ｍ）以下であれば連結して、連結短冊領域を生成する。
図１１は、第１実施形態の短冊領域に関する各情報を示す図である。図１１（ａ）に示すように、短冊領域に関する各情報は、上から順に、短冊領域No.（短冊領域の識別子）、代表視差、距離（ｍ）である。図１１（ｂ）は、隣り合う２つの短冊領域の間の距離（距離差分（ｍ））を算出したものである。そして、図１１（ｃ）は、距離差分が第３の所定値（例えば３ｍ）以下のときに、着目する短冊領域と左隣の短冊領域を連結し、連結された短冊領域を同じ背景色で表したものである。
【００３９】
図５に戻って、車両認識部２５９は、連結短冊領域に基いて車両を認識する。車両認識部２５９は、例えば、連結した短冊領域数が３個以上のものを車両として認識する。この場合に、車両Ｃ１〜Ｃ３が抽出されたことを示すものが図１１（ｄ）である。
【００４０】
車両の認識の手順をまとめると以下の（１）〜（４）の通りである。
（１）各短冊領域の代表視差を距離に変換
（２）隣り合う短冊領域の距離差分を計算
（３）距離差分が±３．０ｍ以内の場合に短冊領域を連結
（４）連結した短冊領域数が３個以上のものを車両として認識
【００４１】
図１２は、以上のようにして個別の車両を認識した視差画像である。図１２に示す視差画像から、連結短冊領域である領域Ｒ１１、Ｒ１２、Ｒ１３のそれぞれにおいて、個別の車両が認識されていることがわかる。
【００４２】
図１３は、第１実施形態において道路の白線を車両として誤検出した場合の、視差画像の例を示す図である。図１３に示す視差画像では、連結短冊領域である領域Ｒ２１、Ｒ２２、Ｒ２３のうち、領域Ｒ２１、Ｒ２２には車両が１台ずつ写っているが、領域Ｒ２３には道路の白線が写っている。
【００４３】
このような誤検出を抑制する方法として、車両認識部２５９が、連結短冊領域が車両か否かを判定する際に、連結開始位置（左端）の短冊領域の代表視差の画素数の割合が、例えばその短冊領域の全画素数の５％以下となる場合には、当該連結短冊領域を非車両と判定するようにしてもよい。そうすれば、上述のように白線を車両として誤検出する可能性を大きく低減することができる。
図１４は、図１３の視差画像と比較して白線に対応する領域Ｒ２３を非車両とした場合を示す図である。
【００４４】
図１５は、第１実施形態において１つの連結短冊領域に２台の車両が含まれている視差画像の例を示す図である。図１５に示す視差画像では、連結短冊領域である領域Ｒ３１、Ｒ３２のうち、領域Ｒ３１には１台の車両が対応しているが、領域Ｒ３２には２台の車両が対応している。
【００４５】
このように１つの連結短冊領域に２台の車両が含まれる可能性を低減するために、車両認識装置２の処理部２５は、連結短冊領域分割部２５８を備えている。連結短冊領域分割部２５８は、分割判定部２６１と、上位視差算出部２６２と、距離差算出部２６３と、分割位置決定部２６４と、分割部２６５と、を備える。
【００４６】
分割判定部２６１は、連結短冊領域における短冊領域の数に基いて、当該連結短冊領域が分割対象であるか否かを判定する。例えば、分割判定部２６１は、連結短冊領域における短冊領域の数が第４の所定値（例えば「６」）以上であるときに、当該連結短冊領域が分割対象であると判定する。
【００４７】
上位視差算出部２６２は、分割対象であると判定された連結短冊領域を構成するそれぞれの短冊領域から頻度が大きい上位２つの視差を算出する。例えば、上位視差算出部２６２は、分割対象であると判定された連結短冊領域（図１５の領域Ｒ３２）において、領域を横方向（幅方向）に２分割した後、分割位置より右側の領域（図１５の領域Ｒ３２の右半分）を構成する短冊領域ごとに、視差の頻度分布を計算し、頻度が大きい上位２つの視差を算出する。領域Ｒ３２の右半分の領域には、車両の側面が映っている。つまり、例えば、図１５のような例では、２台の車両が連結している領域Ｒ３２には、横方向の中央よりも右側に２台の車両が写っている短冊領域があることが多いので、上述のような処理を行う。なお、これに限定されず、連結短冊領域の全短冊領域を対象としてもよい。
【００４８】
距離差算出部２６３は、上位２つの視差から距離の差を算出する。例えば、距離差算出部２６３は、上位視差算出部２６２によって算出された上位２つの視差の頻度それぞれが第５の所定値以上（例えば画素数が２００以上）の場合、それらの視差を距離に変換し、距離の差を算出する。
【００４９】
分割位置決定部２６４は、算出された距離の差が所定範囲（例えば２〜５ｍ）内の場合に、当該短冊領域の横方向位置を、連結短冊領域を２つに分割する横方向位置として決定する。例えば、分割位置決定部２６４は、分割対象であると判定された連結短冊領域における横方向の中央から車両の側面が映っている側の方向に、それぞれの短冊領域について、距離差算出部によって算出された距離の差が所定範囲内か否かを判定し、所定範囲内である場合、当該短冊領域の横方向位置を、連結短冊領域を２つに分割する横方向位置として決定する。なお、上位視差算出部２６２の場合と同様、これに限定されず、連結短冊領域の全短冊領域を対象としてもよい。
【００５０】
分割部２６５は、分割位置決定部２６４によって決定された横方向位置に基いて、連結短冊領域を２つの分割領域に分割する。そして、車両認識部２５９は、２つの分割領域それぞれに基いて車両を認識する。
【００５１】
図１６は、図１５の視差画像と比較して領域Ｒ３２を２つの領域Ｒ３３、Ｒ３４に分割した場合を示す図である。このようにして、２台の車両が含まれている１つの連結短冊領域を２つに分割し、領域と車両を一対一対応とすることができる。
【００５２】
次に、図１７を参照して、第１実施形態の車両認識装置２による処理について説明する。図１７は、第１実施形態の車両認識装置２による処理を示すフローチャートである。まず、車両認識装置２の処理部２５において、取得部２５１は、車載装置１２から、道路上で車列を構成する複数の車両を車列に対して斜め後ろの方向からステレオカメラ１１−１，１１−２（図３）によって撮影した撮影画像を取得する（ステップＳ１）。
【００５３】
次に、視差画像生成部２５２は、撮影画像に基いて視差画像（図６（ｃ））を生成する（ステップＳ２）。
【００５４】
次に、消失点推定部２５３は、視差画像における消失点を推定する（ステップＳ３）。次に、短冊領域生成部２５４は、視差画像において消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する（ステップＳ４：図７参照）。
【００５５】
次に、代表視差算出部２５５は、短冊領域ごとの代表視差を算出する（ステップＳ５）。次に、短冊領域抽出部２５６は、複数の短冊領域から、代表視差に基いて、車両の認識に有効な短冊領域を抽出する（ステップＳ６：図８参照）。
【００５６】
次に、短冊領域連結部２５７は、車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う短冊領域を連結して連結短冊領域を生成する（ステップＳ７：図１２参照）。
【００５７】
次に、連結短冊領域分割部２５８は、連結短冊領域を分割する（ステップＳ８）。なお、このステップＳ８の処理は必須ではない。
図１８は、図１７の処理のステップＳ８の詳細を示すフローチャートである。
【００５８】
まず、分割判定部２６１は、６個以上の短冊領域を連結した連結短冊領域があるか否かを判定し（ステップＳ８１）、Ｙｅｓの場合はステップＳ８２に進み、Ｎｏの場合はステップＳ８の処理を終了する。
【００５９】
ステップＳ８２において、上位視差算出部２６２は、連結短冊領域の画像中心側半分の短冊領域ごとに視差の頻度分布を計算する。
【００６０】
次に、上位視差算出部２６２は短冊領域内において頻度が大きい上位２つの視差を算出する（ステップＳ８３）。
【００６１】
次に、距離差算出部２６３は、上位２つの視差の頻度それぞれが第５の所定値以上であれば、それらの視差を距離に変換し、距離の差を算出する（ステップＳ８４）。
【００６２】
次に、分割位置決定部２６４は、算出された距離の差が所定範囲（例えば２〜５ｍ）内であるか否かを判定し（ステップＳ８５）、Ｙｅｓの場合はステップＳ８６に進み、Ｎｏの場合はステップＳ８１に戻る。
【００６３】
ステップＳ８６において、分割位置決定部２６４は当該短冊領域の横方向位置を、連結短冊領域を２つに分割する横方向位置として決定し、分割部２６５はその決定された横方向位置に基いて連結短冊領域を２つの分割領域に分割する。
【００６４】
図１７に戻って、ステップＳ９において、車両認識部２５９は、連結短冊領域に基いて車両を認識する。車両認識部２５９は、例えば、連結した短冊領域数が３個以上のものを車両として認識する（図１１（ｄ）参照）。また、車両認識部２５９は、例えば、道路上の白線等を車両と誤検知しないように、連結開始位置（左端）の短冊領域の代表視差の画素数の割合が例えばその短冊領域の全画素数の５％以下となる場合、当該連結短冊領域を非車両と判定するようにしてもよい。また、ステップＳ８で連結短冊領域を分割した場合、車両認識部２５９は、連結短冊領域を分割した２つの分割領域それぞれに基いて車両を認識する。
【００６５】
このようにして、第１実施形態の車両認識装置２によれば、撮影画像において重なりが生じている複数の車両を個別に認識することができる。具体的には、視差画像の下方に複数の短冊領域を生成し、車両の背面と側面の距離分布モデルに基いて短冊領域を連結して連結短冊領域を生成することで、撮影画像において重なりが生じている複数の車両であっても個別に認識することができる。したがって、例えば、車列における車両の台数をより正確にカウントできる。
【００６６】
また、一旦、連結短冊領域とした場合であっても、短冊領域ごとに頻度が大きい上位２つの視差を調べる等によって領域を２つに分割することができるので、連結短冊領域に２つの車両が含まれている可能性を抑制することができる。
【００６７】
また、視差画像の解像度に基いて短冊領域の数をより適切に決定することができる。
【００６８】
また、短冊領域ごとに、各画素の視差のうち視差値が第１の所定値以上の視差の頻度分布を計算し、頻度分布の最頻値を前記代表視差とすることで、容易かつより適切に代表視差を決定することができる。
【００６９】
また、短冊領域において、代表視差を有する画素の塊が２つあって、その２つの塊それぞれの下端位置の距離の差が第２の所定値以上の場合、その２つの塊のうち大きな塊を、車両の認識に有効な短冊領域として抽出することで、非車両の部分を高精度で排除できる。
【００７０】
また、距離分布モデルに基くことで、隣り合う２つの短冊領域をより適切に連結することができる。
【００７１】
なお、従来技術（例えば従来のパターン認識技術）では、撮影画像中の一番近い車両を認識することを想定しているため、撮影画像において重なりが生じている複数の車両を個別に認識することは困難である。
【００７２】
（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。撮影対象の状況として、例えば、電停（トラムの停留所）付近のトラム走行レーン（専用レーン）と車両用の道路の境界部に柵が設置されている場合がある。
【００７３】
図１９は、第２実施形態において、道路と専用レーンの間に柵Ｆが設けられている様子を示す模式図である。このような状況において、トラム１に搭載した撮影装置１１から道路上の車両を撮影すると、柵Ｆと車両が重なって撮影されて、車両のみを検出することが難しい場合がある。そこで、第２実施形態では、そのような場合でも車両のみを検出することができる手法について説明する。
【００７４】
図２０は、第２実施形態の車載装置１２および車両認識装置２の機能的構成を示す図である。車両認識装置２において、処理部２５は、鳥瞰データ作成部２７１と、車両後端検出部２７２と、をさらに備える。
【００７５】
鳥瞰データ作成部２７１は、視差画像に基いて、道路を真上から見た様子のデータである鳥瞰データを作成する。具体的には、鳥瞰データ作成部２７１は、視差画像において、道路上の同一地点で高さの異なる視差データに基いて鳥瞰データを作成する（詳細は後述）。
【００７６】
車両後端検出部２７２は、鳥瞰データに基いて車両の後端部を検出する。具体的には、車両後端検出部２７２は、鳥瞰データに基いて、柵Ｆと車両の境界を抽出し、車両の後端部を検出する。
【００７７】
より具体的には、車両後端検出部２７２は、まず、鳥瞰データに基いて、縦方向の射影データ（縦射影データ）および横方向の射影データ（横射影データ）を生成する。その後、車両後端検出部２７２は、横射影データに基いて車両の後端部を検出するとともに、縦射影データに基いて車両として切り出す始点（左端）と終点（右端）を検出する。これにより、車両と重なって撮影されている柵Ｆの影響を排除できる。
【００７８】
以下、鳥瞰データ作成部２７１と車両後端検出部２７２の処理について、図２１、図２２を参照して説明する。
図２１は、第２実施形態における視差のヒストグラムの説明図である。図２１（ａ）に示す視差画像において、三次元のＸ軸（水平方向）、Ｙ軸（水平方向）、Ｚ軸（鉛直方向）が図示のように設定されているものとする。
【００７９】
そして、鳥瞰データ作成部２７１は、図２１（ｂ）に示すように、ある短冊領域について、空間上の視差を計算できた点（符号Ｄ１で示す○印の部分）を認識する。その後、鳥瞰データ作成部２７１は、短冊領域内で、Ｘ座標とＹ座標は同じで、Ｚ座標のみ異なる空間上の点を対象として、視差のヒストグラムを作成する（図２１（ｃ））。そして、鳥瞰データ作成部２７１は、視差のヒストグラムにおいて、最頻値（図２１（ｃ）における符号Ｄ２）が閾値（第６の所定値）以上であれば、距離が類似した高さのある領域（以下、「高さあり領域」という。）と判定する。
【００８０】
図２２は、第２実施形態において柵Ｆと車両の後端部を別々に検出する処理の説明図である。図２２において、右下の黒背景領域における領域Ｄ３は鳥瞰データ（横方向が道路の幅方向。縦方向が道路の進行方向。）を示し、黒背景領域以外は撮影画像の模式図を示す。
【００８１】
領域Ｄ３では、視差のヒストグラムに基いて高さあり領域と判定された部分を白い点で表している。そして、領域Ｄ６内の白い部分が柵Ｆに対応している。また、領域Ｄ９内の白い部分が車両Ｃ１１の後端部に対応している。
【００８２】
具体的な処理としては、車両後端検出部２７２は、鳥瞰データ（領域Ｄ３）に基いて横射影データ（領域Ｄ７）を作成し、その横射影データ（領域Ｄ７）のピーク度数（Ｄ８）が閾値（第７の所定値）以上であれば車両の後端部と判定し、そうでなければ柵と判定する。
【００８３】
また、車両後端検出部２７２は、鳥瞰データ（領域Ｄ３）に基いて縦射影データ（領域Ｄ４）を作成し、その縦射影データ（領域Ｄ４）のピーク度数（Ｄ５）が閾値（第８の所定値）以上であれば車両の側面部と判定し、そうでなければ柵と判定する。
【００８４】
図２３は、第２実施形態の車両認識装置２による処理を示すフローチャートである。車両認識装置２の処理部２５は、図１７に示す処理に加えて、図２３に示す処理を行うことで、柵による影響を排除できる。
【００８５】
まず、ステップＳ１１において、鳥瞰データ作成部２７１は、代表視差が得られた短冊領域を選択する。次に、ステップＳ１２において、鳥瞰データ作成部２７１は、短冊領域内でＸ座標、Ｙ座標が同じでＺ座標が異なる点を選択し、視差のヒストグラムを作成する。
【００８６】
次に、ステップＳ１３において、鳥瞰データ作成部２７１は、視差のヒストグラムの最頻値が閾値（第６の所定値）以上であれば、鳥瞰データ上の点を高さあり領域と判定し白画素化する。
【００８７】
次に、ステップＳ１４において、車両後端検出部２７２は、鳥瞰データ（図２２の領域Ｄ３）に基いて横射影データ（図２２の領域Ｄ７）を作成する。次に、ステップＳ１５において、車両後端検出部２７２は、その横射影データ（図２２の領域Ｄ７）のピーク度数（図２２のＤ８）が閾値（第７の所定値）以上か否かを判定し、Ｙｅｓの場合はステップＳ１６に進み、Ｎｏの場合はステップＳ１７に進む。
【００８８】
ステップＳ１６において、車両後端検出部２７２は、その部分を車両の後端部と判定する。ステップＳ１７において、車両後端検出部２７２は、その部分を柵と判定する。
【００８９】
次に、ステップＳ１８において、車両後端検出部２７２は、鳥瞰データ（図２２の領域Ｄ３）に基いて縦射影データ（図２２の領域Ｄ４）を作成する。次に、ステップＳ１９において、車両後端検出部２７２は、その縦射影データ（図２２の領域Ｄ４）のピーク度数（図２２のＤ５）が閾値（第８の所定値）以上か否かを判定し、Ｙｅｓの場合はステップＳ２１に進み、Ｎｏの場合はステップＳ２０に進む。
【００９０】
ステップＳ２０において、車両後端検出部２７２は、その部分を車両の側面部と判定する。ステップＳ２１において、車両後端検出部２７２は、その部分を柵と判定する。
【００９１】
このようにして、第２実施形態の車両認識装置２によれば、上述の処理を行うことで、第１実施形態の場合と同様の効果に加えて、柵と車両が重なって撮影されても車両のみを検出することができるという効果を奏する。つまり、柵の影響を受けずに車両を検出することができる。
【００９２】
なお、第２実施形態では、柵を例にとって説明したが、これに限定されず、看板等であっても同様にその影響を排除できる。
【００９３】
本実施形態（第１実施形態、第２実施形態）の車両認識装置２で実行される車両認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００９４】
また、本実施形態の車両認識装置２で実行される車両認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の車両認識装置２で実行される車両認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の車両認識プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００９５】
本実施形態の車両認識装置２で実行される車両認識プログラムは、上述した処理部２５内の各部２５１〜２５９を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から車両認識プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部２５１〜２５９が主記憶装置上に生成されるようになっている。
【００９６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９７】
例えば、本実施形態では、トラム１の左側を車両が通行する場合を例にとったが、トラム１の右側を車両が通行する場合についても同様に本発明を適用することができる。
【００９８】
また、道路上で車列を構成する複数の車両を撮影する撮影装置を搭載する移動物体は、上述のトラム１に限定されない。例えば、道路と並行して移動する移動物体であればよく、専用レーンを走る専用バスや、モノレール等であってもよい。
【符号の説明】
【００９９】
１…トラム、２…車両認識装置、１１…撮影装置、１２…車載装置、２１…記憶部、２２…入力部、２３…表示部、２４…通信部、２５…処理部、１２１…処理部、１２２…記憶部、２５１…取得部、２５２…視差画像生成部、２５３…消失点推定部、２５４…短冊領域生成部、２５５…代表視差算出部、２５６…短冊領域抽出部、２５７…短冊領域連結部、２５８…連結短冊領域分割部、２５９…車両認識部、２６１…分割判定部、２６２…上位視差算出部、２６３…距離差算出部、２６４…分割位置決定部、２６５…分割部、Ｓ…車両認識システム
【図１】
2019200776.tif 000003
【図２】
2019200776.tif 000004
【図３】
2019200776.tif 000005
【図４】
2019200776.tif 000006
【図５】
2019200776.tif 000007
【図６】
2019200776.tif 000008
【図７】
2019200776.tif 000009
【図８】
2019200776.tif 000010
【図９】
2019200776.tif 000011
【図１０】
2019200776.tif 000012
【図１１】
2019200776.tif 000013
【図１２】
2019200776.tif 000014
【図１３】
2019200776.tif 000015
【図１４】
2019200776.tif 000016
【図１５】
2019200776.tif 000017
【図１６】
2019200776.tif 000018
【図１７】
2019200776.tif 000019
【図１８】
2019200776.tif 000020
【図１９】
2019200776.tif 000021
【図２０】
2019200776.tif 000022
【図２１】
2019200776.tif 000023
【図２２】
2019200776.tif 000024
【図２３】
2019200776.tif 000025