(57)【要約】  本発明は、車両周辺の小物体をリアルタイム且つ迅速に検出し得る車両周辺の小物体領域を識別する装置及び方法を提供する。本発明に係る車両周辺の小物体領域を識別する装置は、車両の撮影装置から前記車両周辺の画像を取得する画像取得ユニットと、前記画像に関連する履歴情報及び／又は前記車両の車両情報を取得して、前記画像、前記履歴情報、前記車両情報のうちの少なくとも１つに基づき、前記画像から前記小物体領域を識別する識別ユニットとを備える。
2019039157.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の小物体領域を識別する装置であって、
車両の撮影装置から前記車両周辺の画像を取得する画像取得ユニットと、
前記画像に関連する履歴情報及び／又は前記車両の車両情報を取得して、前記画像、前記履歴情報、前記車両情報のうちの少なくとも１つに基づき、前記画像から前記小物体領域を識別する識別ユニットと、を備えることを特徴とする装置。
【請求項２】
前記小物体とは、深層学習画像処理方法でレイヤーごとに分析した結果、最後レイヤーに占める画素寸法が有効分析画素寸法未満である物体、又は、占める画素寸法が深層学習方法による所定訓練画素寸法未満である物体を意味することを特徴とする請求項１に記載の装置。
【請求項３】
前記識別ユニットはさらに、
各物体の中心位置と画素寸法を含む物体位置情報を複数含む前記履歴情報を取得する第１情報取得ユニットと、
前記画素寸法が前記所定訓練画素寸法以下の物体の中心位置を小物体の中心位置として、前記画素寸法が前記所定訓練画素寸法より大きい物体の中心位置を大物体の中心位置とする位置区別ユニットと、
画素寸法が前記所定訓練画素寸法より大きい各々の第１サブ領域に前記小物体の中心位置又は大物体の中心位置を含むように、前記画像を複数の第１サブ領域に分割する第１分割ユニットと、
前記小物体の中心位置を含む第１サブ領域を前記小物体領域として分類する第１分類ユニットとを含むことを特徴とする請求項２に記載の装置。
【請求項４】
前記識別ユニットはさらに、
前記画像から、路面情報及び車速を含む前記車両情報を取得する第２情報取得ユニットと、
前記路面情報に基づいて前記画像における検出領域を設定する設定ユニットと、
前記車速に基づき、前記検出領域を複数の第２サブ領域に分割する第２分割ユニットと、
前記複数の第２サブ領域のうち画素寸法が所定訓練画素以下の第２サブ領域を前記小物体領域として分類する第２分類ユニットとを含むことを特徴とする請求項２に記載の装置。
【請求項５】
前記路面情報は車線情報を含み、前記車線情報に基づいて車線接合点情報を取得して、前記設定ユニットは前記車線接合点情報に基づいて前記検出領域を設定することを特徴とする請求項４に記載の装置。
【請求項６】
前記識別ユニットはさらに、
前記画像に基づいて、前記画像における各画素の深度値及び車速を含む前記車両情報を取得する第３情報取得ユニットと、
複数の第３サブ領域のうち各第３サブ領域の画素寸法が前記所定訓練画素寸法より大きいように、前記車速に基づき、前記画像を複数の第３サブ領域に分割する第３分割ユニットと、
前記複数の第３サブ領域のうち各々の第３サブ領域における複数の画素の平均深度値を計算する計算ユニットと、
平均深度値が所定値以上の第３サブ領域を前記小物体領域として分類する第３分類ユニットとを含むことを特徴とする請求項２に記載の装置。
【請求項７】
前記識別ユニットはさらに、
前記車両の位置情報を含む前記車両情報、及び前記位置情報に対応した履歴分析データである前記履歴情報を取得する第４情報取得ユニットと、
前記位置情報に基づいて前記画像に第１所定領域が存在するか否かを判断するとともに、上記履歴分析データに基づいて前記画像に第２所定領域が存在するか否かを判断する判断ユニットと、
複数の第４サブ領域のうち一部の第４サブ領域がそれぞれ前記第１所定領域又は前記第２所定領域を含み、各々の第４サブ領域の画素寸法が前記所定訓練画素寸法より大きいように、前記画像を複数の第４サブ領域に分割する第４分割ユニットと、
前記第１所定領域又は前記第２所定領域を含む第４サブ領域を前記小物体領域として分類する第４分類ユニットとを含むことを特徴とする請求項２に記載の装置。
【請求項８】
前記第１所定領域は学校を含む領域、前記第２所定領域は物体が落ちやすい領域を含むことを特徴とする請求項７に記載の装置。
【請求項９】
車両周辺の小物体領域を識別する方法であって、
車両の撮影装置から前記車両周辺の画像を取得する画像取得ステップと、
前記画像に関連する履歴情報及び／又は前記車両の車速を取得して、前記画像、前記履歴情報、前記車両情報のうちの少なくとも１つに基づき、前記画像から前記小物体領域を識別する識別ステップと、を含むことを特徴とする方法。
【請求項１０】
前記小物体とは、深層学習画像処理方法でレイヤーごとに分析した結果、最後レイヤーに占める画素寸法が有効分析画素寸法未満である物体、又は、占める画素寸法が深層学習方法による所定訓練画素寸法未満である物体を意味することを特徴とする請求項９に記載の方法。
【請求項１１】
前記識別ステップはさらに、
各物体の中心位置と画素寸法を含む物体位置情報を複数含む前記履歴情報を取得する第１情報取得ステップと、
前記画素寸法が前記所定訓練画素寸法以下の物体の中心位置を小物体の中心位置として、前記画素寸法が前記所定訓練画素寸法より大きい物体の中心位置を大物体の中心位置とする位置区別ステップと、
各々の第１サブ領域に前記小物体の中心位置又は大物体の中心位置を含み、各第１サブ領域の画素寸法が前記所定訓練画素寸法より大きいように、前記画像を複数の第１サブ領域に分割する第１分割ステップと、
前記小物体の中心位置を含む第１サブ領域を前記小物体領域として分類する第１分類ステップとを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記識別ステップはさらに、
前記画像から、路面情報及び車速を含む車両情報を取得する第２情報取得ステップと、
前記路面情報に基づいて前記画像における検出領域を設定する設定ステップと、
前記車速に基づき、前記検出領域を複数の第２サブ領域に分割する第２分割ステップと、
前記複数の第２サブ領域のうち画素寸法が所定訓練画素以下の第２サブ領域を前記小物体領域として分類する第２分類ステップとを含むことを特徴とする請求項１０に記載の方法。
【請求項１３】
前記路面情報は車線情報を含み、上記車線情報に基づいて車線接合点情報を取得し、前記設定ステップは前記車線接合点情報に基づいて前記検出領域を設定することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記識別ステップはさらに、
前記画像情報に基づいて、前記画像における各画素の深度値及び車速を含む前記車両情報を取得する第３情報取得ステップと、
各々の第３サブ領域の画素寸法が前記所定訓練画素寸法より大きいように、前記車速に基づき、前記画像を複数の第３サブ領域に分割する第３分割ステップと、
前記複数の第３サブ領域のうち各々の第３サブ領域における複数の画素の平均深度値を計算する計算ステップと、
平均深度値が所定値以上の第３サブ領域を前記小物体領域として分類する第３分類ステップとを含むことを特徴とする請求項１０に記載の方法。
【請求項１５】
前記識別ステップはさらに、
前記車両の位置情報を含む前記車両情報、及び、前記位置情報に対応した履歴分析データである前記履歴情報を取得する第４情報取得ステップと、
前記位置情報に基づいて前記画像に第１所定領域が存在するか否かを判断するとともに、上記履歴分析データに基づいて前記画像に第２所定領域が存在するか否かを判断する判断ステップと、
複数の第４サブ領域のうち一部の第４サブ領域がそれぞれ前記第１所定領域又は前記第２所定領域を含み、各々の第４サブ領域の画素寸法が前記所定訓練画素寸法より大きいように、前記画像を複数の第４サブ領域に分割する第４分割ステップと、
前記第１所定領域又は前記第２所定領域を含む第４サブ領域を前記小物体領域として分類する第４分類ステップとを含むことを特徴とする請求項１０に記載の方法。
【請求項１６】
前記第１所定領域は学校を含む領域、前記第２所定領域は物体が落ちやすい領域を含むことを特徴とする請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両周辺の小物体領域を識別する装置及び方法に関する。
【背景技術】
【０００２】
自律走行を実現するのに、様々なタイプの物体を同時に検出する必要があり、現在、機械学習、特に深層学習に基づく検出器は、モバイルカメラのシーンでの物体検出及び追跡精度について大幅に向上しており、単眼／両眼／多眼カメラを用いて車両走行領域の周囲について効果的に物体識別と追跡を行うことができる。しかしながら、従来の検出器は、検出形状が小さく且つ距離が遠い物体については検出しにくく、小物体検出精度が低い。小物体自体の画素が処理過程に失われるため、物体の識別精度に悪影響を与えて、運転の危険性増加につながる。【０００３】
本願における小物体とは、深層学習画像処理方法でレイヤーごとに分析した結果、最後レイヤーに占める画素寸法が有効分析画素寸法未満である物体、又は、占める画素寸法が機械学習方法による所定訓練画素寸法未満である物体を意味し、且つ、小物体は、近所にある小物体も遠い所にある小物体も含む。【０００４】
目標検出におけるスライドウィンドウ方法は一般的な技術であるが、該方法では、所定精度で小物体を検出するのに演算時間がかかる。画像スケーリング技術により一部の問題を解決して、一部の演算時間をある程度短縮できるが、小物体を検出するのに必須な情報が失われてしまう。ピラミッド階層スケーリング方法は、マルチサイズ検出について顕著な効果を示すが、形状が小さく且つ距離が遠い物体を検出しにくい。特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）分割の大きさを増加する方法で、正確性を向上できるものの、速度が低く、小物体存在の検出に不利である。【０００５】
従来技術では、特許文献１において、統計ヒストグラムを用いてビデオフレームにおける小物体の関心領域を検出する小物体検出アルゴリズムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第８，７２４，８５０Ｂ１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載される技術では、ビデオストリーム伝送中に小物体が失われることについて、アップ／ダウンフレーム情報を用い、該方法は車載リアルタイムビデオ処理に不適である。従って、リアルタイム且つ迅速に小物体領域を識別できず、さらにリアルタイム且つ迅速に小物体を検出できないという課題を有する。【０００８】
そこで、本発明は、車両周辺の小物体をリアルタイム且つ迅速に検出し得る車両周辺の小物体領域を識別する装置及び方法を提供する。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る車両周辺の小物体領域を識別する装置、車両の撮影装置から前記車両周辺の画像を取得する画像取得ユニットと、前記画像に関連する履歴情報及び／又は前記車両の車両情報を取得して、前記画像、前記履歴情報、前記車両情報のうちの少なくとも１つに基づき、前記画像から前記小物体領域を識別する識別ユニットと、を備えることを特徴とする。【００１０】
前記小物体とは、深層学習画像処理方法でレイヤーごとに分析した結果、最後レイヤーに占める画素寸法が有効分析画素寸法未満である物体、又は、占める画素寸法が機械学習方法による所定訓練画素寸法未満である物体を意味することを特徴とする。【００１１】
前記識別ユニットはさらに、  
各物体の中心位置と画素寸法を含む物体位置情報を複数含む前記履歴情報を取得する第１情報取得ユニットと、  
前記画素寸法が前記所定訓練画素寸法以下の物体の中心位置を小物体の中心位置として、前記画素寸法が前記所定訓練画素寸法より大きい物体の中心位置を大物体の中心位置とする位置区別ユニットと、  
画素寸法が前記所定訓練画素寸法より大きい各々の第１サブ領域に前記小物体の中心位置又は大物体の中心位置を含むように、前記画像を複数の第１サブ領域に分割する第１分割ユニットと、  
前記小物体の中心位置を含む第１サブ領域を前記小物体領域として分類する第１分類ユニットとを含むことを特徴とする。【００１２】
また、前記識別ユニットはさらに、  
前記画像から、路面情報及び車速を含む前記車両情報を取得する第２情報取得ユニットと、  
前記路面情報に基づいて前記画像における検出領域を設定する設定ユニットと、  
前記車速に基づき、前記検出領域を複数の第２サブ領域に分割する第２分割ユニットと、  
前記複数の第２サブ領域のうち画素寸法が所定訓練画素以下の第２サブ領域を前記小物体領域として分類する第２分類ユニットとを含むことを特徴とする。【００１３】
前記路面情報は車線情報を含み、前記車線情報に基づいて車線接合点情報を取得して、前記設定ユニットは前記車線接合点情報に基づいて前記検出領域を設定することを特徴とする。【００１４】
前記識別ユニットはさらに、  
前記画像に基づいて、前記画像における各画素の深度値及び車速を含む前記車両情報を取得する第３情報取得ユニットと、  
複数の第３サブ領域のうち各第３サブ領域の画素寸法が前記所定訓練画素寸法より大きいように、前記車速に基づき、前記画像を複数の第３サブ領域に分割する第３分割ユニットと、  
前記複数の第３サブ領域のうち各々の第３サブ領域における複数の画素の平均深度値を計算する計算ユニットと、  
平均深度値が所定値以上の第３サブ領域を前記小物体領域として分類する第３分類ユニットとを含むことを特徴とする。【００１５】
前記識別ユニットはさらに、  
前記車両の位置情報を含む前記車両情報、及び前記位置情報に対応した履歴分析データである前記履歴情報を取得する第４情報取得ユニットと、  
前記位置情報に基づいて前記画像に第１所定領域が存在するか否かを判断するとともに、上記履歴分析データに基づいて前記画像に第２所定領域が存在するか否かを判断する判断ユニットと、  
複数の第４サブ領域のうち一部の第４サブ領域がそれぞれ前記第１所定領域又は前記第２所定領域を含み、各々の第４サブ領域の画素寸法が前記所定訓練画素寸法より大きいように、前記画像を複数の第４サブ領域に分割する第４分割ユニットと、  
前記第１所定領域又は前記第２所定領域を含む第４サブ領域を前記小物体領域として分類する第４分類ユニットとを含むことを特徴とする。【００１６】
前記第１所定領域は学校を含む領域、前記第２所定領域は物体が落ちやすい領域を含むことを特徴とする。【００１７】
また、本発明に係る車両周辺の小物体領域を識別する方法は、車両の撮影装置から前記車両周辺の画像を取得する画像取得ステップと、前記画像に関連する履歴情報及び／又は前記車両の車速を取得して、前記画像、前記履歴情報、前記車両情報のうちの少なくとも１つに基づき、前記画像から前記小物体領域を識別する識別ステップと、を含むことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、車両周辺の小物体をリアルタイム且つ迅速に検出し得る車両周辺の小物体領域を識別する装置及び方法を提供することが可能となる。  
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例に係る車両周辺の小物体領域を識別する装置の模式図である。
【図２】本発明の実施例に係る車両周辺の小物体領域を識別する方法のフローチャートである。
【図３】本発明の一実施例に係る実施例１の識別ユニットの模式図である。
【図４】実施例１に係る識別ステップのフローチャートである。
【図５】本発明の他の実施例に係る実施例２の識別ユニットの模式図である。
【図６】実施例２に係る識別ステップのフローチャートである。
【図７】本発明の他の実施例に係る実施例３の識別ユニットの模式図である。
【図８】実施例３に係る識別ステップのフローチャートである。
【図９】本発明の他の実施例に係る実施例４による識別ユニットの模式図である。
【図１０】実施例４に係る識別ステップのフローチャートである。
【図１１】一部の実際シーンにおけるラベルボックスＧを有する一部の訓練データの模式図である。
【図１２】小物体の中心位置と大物体の中心位置の模式図である。
【図１３】本発明の実施例１による複数の第１サブ領域の模式図である。
【図１４】画像における車線情報の模式図である。
【図１５】画像における検出領域の模式図である。
【図１６】実施例２による複数の第２サブ領域の模式図である。
【図１７】実施例３による複数の第３サブ領域の模式図である。
【図１８】実施例４による複数の第４サブ領域の模式図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明について詳細に説明する。  
図１は、本発明の実施例に係る車両周辺の小物体領域を識別する装置の模式図である。図１に示すように、本発明の実施例に係る車両周辺の小物体領域を識別する装置１は、画像取得ユニット１０と識別ユニット１１を備える。図２は、本発明の実施例に係る車両周辺の小物体領域を識別する方法のフローチャートである。
【００２１】
図２に示されるように、ステップＳ２１において、画像取得ユニット１０は、車両中の撮影装置（図示せず）から図１３〜図１８に示される車両周辺の画像を取得する。撮影装置（図示せず）は車両の適切な位置（車両フロントガラスの上端、テール後端、車体両側、ルーフに配置されても良い）に取り付けられたカメラシステムであり、車体の前方、後方、両側方からの画像情報を収集して記憶する１つ又は複数のカメラシステムであっても良い。カメラシステムは、通常、光学系とカメラからなり、光学系はズーム機能、オートフォーカス機能等を備え、カメラはカラーＣＣＤ（電荷結合素子）カメラを使用しても良い。
【００２２】
ステップＳ２２において、識別ユニット１１は、画像に関連する履歴情報及び／又は車両の車両情報を取得し、画像、履歴情報、車両情報のうちの少なくとも１つに基づいて、画像から小物体領域を識別する。
【００２３】
小物体とは、深層学習画像処理方法でレイヤーごとに分析した結果、最後レイヤーに占める画素寸法が有効分析画素寸法Ｎ１未満である物体、又は、占める画素寸法が機械学習方法による所定訓練画素寸法Ｎ２未満である物体を意味する。ここで、有効分析画素寸法Ｎ１は、たとえば２×２個の画素、所定訓練画素寸法Ｎ２は、たとえば２０×２０個の画素である。
【００２４】
以下、識別ユニット１１のステップＳ２２での具体的な操作の各実施例を詳細に説明する。なお、識別ユニット１１は、例えば、図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に格納するＲＡＭ、外部記憶装置などの記憶装置にて実現されると共に、ＣＰＵなどのプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。
【実施例１】
【００２５】
図３は、本発明の一実施例に係る実施例１の識別ユニット１１の模式図である。図３に示されるように、識別ユニット１１は、第１情報取得ユニット３１、位置区別ユニット３２、第１分割ユニット３３、第１分類ユニット３４を含む。ここで、第１情報取得ユニット３１、位置区別ユニット３２、第１分割ユニット３３、及び第１分類ユニット３４は、例えば、図示しないＣＰＵなどのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に格納するＲＡＭ、外部記憶装置などの記憶装置にて実現されると共に、ＣＰＵなどのプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。なお、説明を解り易くするため、各機能ブロックに分割して示しているが、第１情報取得ユニット３１、位置区別ユニット３２、第１分割ユニット３３、及び第１分類ユニット３４を、１つの演算部としても良く、また、所望の機能ブロックを統合する構成としても良い。【００２６】
図４は、本実施例に係る識別ステップのフローチャートである。  
図４に示されるように、ステップＳ４１において、第１情報取得ユニット３１は、各物体の中心位置と画素寸法を含む物体位置情報を複数含む履歴情報を取得する。【００２７】
高速道路、都市路面、農村道路、橋の下のトンネル部分、トンネル等を含む各実際シーンにおけるラベルボックスを有する大量の訓練データを取得する。図１１は、一部の実際シーンにおけるラベルボックスＧを有する一部の訓練データの模式図である。図１１中、６個の実際シーンが例示的に示されており、それぞれの訓練データはラベルボックスＧを有し、各ラベルボックスＧは、物体の中心位置と画素寸法を含む。各ラベルボックスＧは、各物体の物体位置情報を示し、すなわち、各物体位置情報は各物体の中心位置と画素寸法を含み、各物体の画素寸法は、たとえば各物体の画素幅と画素高さ、すなわちラベルボックスＧの幅と高さである。【００２８】
ステップＳ４２において、第１情報取得ユニット３１は、画素寸法が所定訓練画素寸法Ｎ２以下の物体の中心位置を小物体の中心位置とし、画素寸法が所定訓練画素寸法Ｎ２より大きい物体の中心位置を大物体の中心位置とする。【００２９】
各物体の画素寸法と所定訓練画素寸法Ｎ２とを比較して、異なる位置での物体を大物体と小物体に区別し、すなわち、大物体の中心位置を大物体、小物体の中心位置を小物体に対応させる。図１２は、小物体の中心位置と大物体の中心位置の模式図である。図１２に示されるように、例えば、黒丸は各小物体の中心位置、白丸は各大物体の中心位置を示す。【００３０】
ステップＳ４３において、第１分割ユニット３３は、画素寸法が所定訓練画素寸法Ｎ２より大きい各々の第１サブ領域に小物体の中心位置又は大物体の中心位置を含むように、画像を複数の第１サブ領域に分割する。【００３１】
図１３は、本発明の実施例１による複数の第１サブ領域の模式図であり、図１３に示されるように、画像取得ユニット１０で取得した画像を複数の第１サブ領域に分割し、各異なる大きさのボックスは各第１サブ領域を示す。第１サブ領域は、図１２に示される小物体の中心位置又は大物体の中心位置を含む。【００３２】
ステップＳ４３において、第１分類ユニット３４は、小物体の中心位置を含む第１サブ領域を小物体領域として分類する。例えば、図１３に示される第１サブ領域Ａ１とＡ２は、それぞれ小物体の中心位置を含み、すなわち、第１サブ領域Ａ１とＡ２は小物体領域として分類される。このように、画像中の小物体領域が迅速に識別できる。【００３３】
以上の通り本実施例によれば、車両周辺の小物体をリアルタイム且つ迅速に検出し得る車両周辺の小物体領域を識別する装置及び方法を提供することが可能となる。  
【実施例２】
【００３４】
図５は、本発明の他の実施例に係る実施例２の識別ユニット１１の模式図である。図５に示されるように、識別ユニット１１は、第２情報取得ユニット５１、設定ユニット５２、第２分割ユニット５３、第２分類ユニット５４を含む。ここで、第２情報取得ユニット５１、設定ユニット５２、第２分割ユニット５３、及び第２分類ユニット５４は、例えば、図示しないＣＰＵなどのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に格納するＲＡＭ、外部記憶装置などの記憶装置にて実現されると共に、ＣＰＵなどのプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。なお、説明を解り易くするため、各機能ブロックに分割して示しているが、第２情報取得ユニット５１、設定ユニット５２、第２分割ユニット５３、及び第２分類ユニット５４を、１つの演算部としても良く、また、所望の機能ブロックを統合する構成としても良い。【００３５】
図６は、実施例２に係る識別ステップのフローチャートである。  
図６に示されるように、ステップＳ６１において、第２情報取得ユニット５１は、画像から路面情報及び車速を含む車両情報を取得する。車両の車載センサ（図示せず）は、車速を検出して、第２情報取得ユニット５１により取得される。【００３６】
ステップＳ６２において、設定ユニット５２は路面情報に基づいて画像における検出領域を設定する。ここで、路面情報は車線情報を含み、車線情報に基づいて車線接合点情報を取得し、設定ユニット５２は車線接合点情報に基づいて検出領域を設定する。【００３７】
図１４は、画像における車線情報の模式図であり、図１５は、画像における検出領域の模式図である。図１４に示されるように、車線情報は、２本の車線Ｌ１とＬ２により示されており、図１５に示されるように、この２本の車線Ｌ１とＬ２の延長線の交点Ｃは車線接合点Ｃになる。すなわち、車線接合点Ｃの位置は車線接合点情報である。図１５のボックスＤに示されるように、画像における車線接合点Ｃから車両までの領域を検出領域Ｄとする。なお、設定ユニット５２は、他の実施例にも備えることができ、ここで、車線接合点情報に基づいて検出領域を設定したが、車載カメラの最大関心領域に基づいて識別ユニット１１で取得した画像における検出領域、例えば、車両周辺１５０ｍの範囲を設定しても良い。この範囲を超えると、小物体領域の分割が不要である。以下では重複説明を省略する。【００３８】
第２分割ユニット５３は、車速に基づき、検出領域Ｄを複数の第２サブ領域に分割する。図１６は、実施例２による複数の第２サブ領域の模式図である。例えば、車速が速いほど、第２サブ領域の数は多くなる。また、該検出領域Ｄでは、車両から遠い領域であるほど、第２サブ領域の数は多くなり、車両に近い領域であるほど、第２サブ領域の数は少なくなる。図１６に示されるように、車線Ｌ１とＬ２に沿って車両から離れた方向において、第２サブ領域の分割比率はたとえば１：２：４である。【００３９】
ステップＳ６４において、第２分類ユニット５４は、複数の第２サブ領域における画素寸法が所定訓練画素Ｎ２以下の第２サブ領域を小物体領域として分類する。例えば、第２サブ領域Ａ３の画素寸法がＮ２以下であると、第２サブ領域Ａ３を小物体領域として分類する。  
検出領域Ｄは画像の一部の領域であるため、小物体の検出範囲を減少させて、検出速度を向上させる。【００４０】
以上の通り本実施例によれば、実施例１の効果に加え、小物体の検出範囲を減少させて、検出速度を向上させることが可能となる。
【実施例３】
【００４１】
図７は、本発明の他の実施例に係る実施例３の識別ユニット１１の模式図である。図７に示されるように、識別ユニット１１は、第３情報取得ユニット７１、第３分割ユニット７２、計算ユニット７３、第３分類ユニット７４を含む。ここで、第３情報取得ユニット７１、第３分割ユニット７２、計算ユニット７３、及び第３分類ユニット７４は、例えば、図示しないＣＰＵなどのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に格納するＲＡＭ、外部記憶装置などの記憶装置にて実現されると共に、ＣＰＵなどのプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。なお、説明を解り易くするため、各機能ブロックに分割して示しているが、第３情報取得ユニット７１、第３分割ユニット７２、計算ユニット７３、及び第３分類ユニット７４を、１つの演算部としても良く、また、所望の機能ブロックを統合する構成としても良い。【００４２】
図８は、実施例３に係る識別ステップのフローチャートである。  
図８に示されるように、ステップＳ８１において、第３情報取得ユニット７１は、画像に基づいて、画像における各画素の深度値及び車速を含む車両情報を取得する。車両の車載センサ（図示せず）は車速を検出して、第３情報取得ユニット７１により取得される。【００４３】
また、第３情報取得ユニット７１は、多眼カメラにより撮影された画像情報を計算して各画素の深度値を取得し、又は、レーダー、レーザ等の測距センサで画素の深度値を直接取得する。各画素の深度値は、画像における各画素と車両の間の距離であり、具体的に、深度値の取得方式は、従来技術と同様であり、ここで詳細な説明を省略する。【００４４】
ステップＳ８２において、第３分割ユニット７２は、車速に基づいて、画像を複数の第３サブ領域に分割する。図１７は、実施例３による複数の第３サブ領域の模式図である。複数の第３サブ領域のうち各々の第３サブ領域の画素寸法は所定訓練画素寸法Ｎ２より大きい。車速が高いほど、第３サブ領域の数は多くなる。【００４５】
ステップＳ８３において、計算ユニット７３は、複数の第３サブ領域のうち各々の第３サブ領域における複数の画素の平均深度値を計算する。ここで、各々の第３サブ領域に複数の画素があり、複数の画素の平均深度値を計算して、各々の第３サブ領域の平均深度値を取得する。【００４６】
ステップＳ８４において、第３分類ユニット７４は、平均深度値が所定値以上の第３サブ領域を小物体領域として分類する。例えば、所定値が１０メートルであれば、第３分類ユニット７４は、平均深度値が１０メートル以上の第３サブ領域を小物体領域として分類し、例えば、図１７における第３サブ領域Ａ４を小物体領域として分類する。【００４７】
以上の通り本実施例によれば、計算ユニット７３にて複数の第３サブ領域のうち各々の第３サブ領域における複数の画素の平均深度値を計算することにより、平均深度値が所定値以上の第３サブ領域を小物体領域として分類することが可能となる。
【実施例４】
【００４８】
図９は、本発明の他の実施例に係る実施例４による識別ユニット１１の模式図である。図９に示されるように、識別ユニット１１は、第４情報取得ユニット９１、判断ユニット９２、第４分割ユニット９３、第４分類ユニット９４を含む。ここで、第４情報取得ユニット９１、判断ユニット９２、第４分割ユニット９３、及び第４分類ユニット９４は、例えば、図示しないＣＰＵなどのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に格納するＲＡＭ、外部記憶装置などの記憶装置にて実現されると共に、ＣＰＵなどのプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。なお、説明を解り易くするため、各機能ブロックに分割して示しているが、第４情報取得ユニット９１、判断ユニット９２、第４分割ユニット９３、及び第４分類ユニット９４を、１つの演算部としても良く、また、所望の機能ブロックを統合する構成としても良い。【００４９】
図１０は、実施例４に係る識別ステップのフローチャートである。  
図１０に示されるように、ステップＳ１０１において、第４情報取得ユニット９１は、車両の、車両走行方向情報等を含む車両情報、及び、位置情報に対応した履歴分析データである履歴情報を取得する。【００５０】
車両の位置情報とは、車両の現在の地理上の位置情報であり、ＧＰＳ（全地球測位システム）、北斗衛星測位システム等の車載測位システムにより検出されて、第４情報取得ユニット９１により取得される。【００５１】
ステップＳ１０２において、判断ユニット９２は、位置情報に基づいて画像に第１所定領域が存在するか否かを判断するとともに、履歴分析データに基づいて画像に第２所定領域が存在するか否かを判断する。【００５２】
第１所定領域は、学校を含む領域、例えば幼稚園、保育所等を含む領域であり、これら領域に存在する身長や体積の小さい人々は、本発明における小物体となる。また、第２所定領域は、物体が落ちやすい領域、例えば、履歴分析データ（すなわち、ビッグデータ分析データ）に基づいて、物体が落ちやすい領域であるか否かを判断できる。【００５３】
ステップＳ１０３において、第４分割ユニット９３は、画像を複数の第４サブ領域に分割し、図１８は、実施例４による複数の第４サブ領域の模式図である。複数の第４サブ領域のうち、一部の第４サブ領域はそれぞれ第１所定領域又は第２所定領域を含み、複数の第４サブ領域のうち、各々の第４サブ領域の画素寸法が前記所定訓練画素寸法より大きい。この場合、第４情報取得ユニット９１で取得した車両走行方向情報に基づいて分割することができ、例えば、車両が左折する場合、画像の左側領域では分割可能なサブ領域は多くなる。【００５４】
ステップＳ１０４において、第４分類ユニット９４は、第１所定領域又は第２所定領域を含む第４サブ領域を小物体領域として分類する。例えば、図１８に示されるように、第４サブ領域Ａ５に、例えば幼稚園が含まれ、第４サブ領域Ａ６は、物体が落ちやすい領域を含み、このように、第４分類ユニット９４は、第４サブ領域Ａ５と第４サブ領域Ａ６を小物体領域として分類する。  
上記第１サブ領域、第２サブ領域、第３サブ領域、第４サブ領域の寸法、形状は任意であり、制限がない。【００５５】
また、画像における小物体領域が識別された後、これら小物体領域について小物体検出を行うだけで良く、画像全体について小物体検出を行う必要がない。このようにして、リアルタイム且つ迅速に小物体を検出できる。【００５６】
以上の通り本実施例によれば、画像における小物体領域が識別された後、これら小物体領域について小物体検出を行うだけで良く、画像全体について小物体検出を行う必要がないため、リアルタイム且つ迅速に小物体を検出することが可能となる。【００５７】
実施例１乃至実施例４を参照して本発明を説明したが、当業者によって、上述の説明に基づいて行う多数の置換、変更や変化は自明なことである。従って、このような置換、変更や変化は、添付した特許請求の範囲の主旨と範囲を逸脱しない限り、本発明に含まれる。
【符号の説明】
【００５８】
１…車両周辺の小物体領域を識別する装置、１０…画像取得ユニット、１１…識別ユニット、３１…第１情報取得ユニット、３２…位置区別ユニット、３３…第１分割ユニット、３４…第１分類ユニット、５１…第２情報取得ユニット、５２…設定ユニット、５３…第２分割ユニット、５４…第２分類ユニット、７１…第３情報取得ユニット、７２…第３分割ユニット、７３…計算ユニット、７４…第３分類ユニット、９１…第４情報取得ユニット、９２…判断ユニット、９３…第４分割ユニット、９４…第４分類ユニット
【図１】
2019039157.tif 000003
【図２】
2019039157.tif 000004
【図３】
2019039157.tif 000005
【図４】
2019039157.tif 000006
【図５】
2019039157.tif 000007
【図６】
2019039157.tif 000008
【図７】
2019039157.tif 000009
【図８】
2019039157.tif 000010
【図９】
2019039157.tif 000011
【図１０】
2019039157.tif 000012
【図１１】
2019039157.tif 000013
【図１２】
2019039157.tif 000014
【図１３】
2019039157.tif 000015
【図１４】
2019039157.tif 000016
【図１５】
2019039157.tif 000017
【図１６】
2019039157.tif 000018
【図１７】
2019039157.tif 000019
【図１８】
2019039157.tif 000020
【国際調査報告】
2019039157.tif 000021
2019039157.tif 000022
2019039157.tif 000023