(57)【要約】【課題】車両に搭載される撮像装置で撮像された多視点画像から、高精度な静止物の３次元情報を生成する。【解決手段】特徴点抽出部（１３）は、車両に搭載された撮像装置により撮像された動画像のフレーム画像内から特徴点を抽出する。分離部（１４）は、特徴点抽出部（１３）により抽出された各特徴点の動きをもとに、動的な特徴点と静的な特徴点に分離する。３次元情報生成部（１７）は、分離部（１４）により分離された複数のフレーム画像の静的な特徴点をもとに、車両の走行中に撮像された画像内における静止物の３次元情報を生成する。３次元情報生成部（１７）は、フレーム画像内において、動いている部分を有する固定物を含む領域を識別するための参照データをもとに探索された、動いている部分を有する固定物を含む領域の画像情報を無効なものとして、静止物の３次元情報を生成する。【選択図】図３
2020126432.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置により撮像された動画像のフレーム画像内から特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された各特徴点の動きをもとに、動的な特徴点と静的な特徴点に分離する分離部と、
前記分離部により分離された複数のフレーム画像の静的な特徴点をもとに、前記車両の走行中に撮像された画像内における静止物の３次元情報を生成する３次元情報生成部と、を備え、
前記３次元情報生成部は、前記フレーム画像内において、動いている部分を有する固定物を含む領域を識別するための参照データをもとに探索された、前記動いている部分を有する固定物を含む領域の画像情報を無効なものとして、前記静止物の３次元情報を生成する、
画像処理システム。
【請求項２】
前記分離部により分離された動的な特徴点をグルーピングして、少なくとも１つの動領域を生成する動領域生成部と、
前記動領域生成部により生成された動領域の所定時間における動きをもとに、当該動領域が、自由に移動可能な移動体を含む領域であるか、前記動いている部分を有する固定物を含む領域であるかを判定する判定部と、
前記判定部により判定された前記動いている部分を有する固定物を含む領域の画像を入力として深層学習し、前記参照データとすべき学習モデルを生成する深層学習部と、をさらに備える、
請求項１に記載の画像処理システム。
【請求項３】
前記深層学習部は、前記学習モデルをもとに、前記フレーム画像内に前記動いている部分を有する固定物を含む領域が存在するか推論し、存在する場合、当該領域を特定するための情報を無効化領域情報として出力する、
請求項２に記載の画像処理システム。
【請求項４】
前記特徴点抽出部は、前記フレーム画像内において、前記深層学習部から出力された無効化領域情報により特定される領域から、前記特徴点を抽出しない、
請求項３に記載の画像処理システム。
【請求項５】
前記深層学習部は、
前記車両が停止しているとき、前記学習を実行し、前記推論を停止し、
前記車両が走行しているとき、前記学習を停止し、前記推論を実行する、
請求項３または４に記載の画像処理システム。
【請求項６】
前記深層学習部は、
前記学習を実行する際、日付情報から特定される季節情報を訓練データに含め、
前記推論を実行する際、日付情報から特定される季節情報を、前記推論の対象となる入力データに含める、
請求項５に記載の画像処理システム。
【請求項７】
前記深層学習部は、
前記学習を実行する際、照度センサの検出値により特定される明るさ情報を訓練データに含め、
前記推論を実行する際、前記照度センサの検出値により特定される明るさ情報を、前記推論の対象となる入力データに含める、
請求項５に記載の画像処理システム。
【請求項８】
車両に搭載された撮像装置により撮像された動画像のフレーム画像内から特徴点を抽出するステップと、
前記抽出された各特徴点の動きをもとに、動的な特徴点と静的な特徴点に分離するステップと、
前記分離された複数のフレーム画像の静的な特徴点をもとに、前記車両の走行中に撮像された画像内における静止物の３次元情報を生成するステップと、を有し、
前記静止物の３次元情報を生成するステップは、前記フレーム画像内において、動いている部分を有する固定物の領域を識別するための参照データをもとに探索された、前記動いている部分を有する固定物を含む領域の画像情報を無効なものとして、前記静止物の３次元情報を生成する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮影された画像を処理する画像処理システム、画像処理方法に関する。
【背景技術】
【０００２】
近年、先進運転支援システム（ＡＤＡＳ）・自動運転の開発が進んでおり、車載カメラのニーズが増大している。車載カメラで撮影された画像に対してＳＦＭ(Structure from Motion)を用いて、車両の周辺を立体的に再現する手法が開発されている。当該手法では、車両の移動とともに視点が変化するカメラで、被写体を連続的に撮影することにより多視点画像を取得して、当該被写体の追跡・解析を行うことにより、当該被写体の３次元形状を推定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２１３２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、自然界には風により揺れる物体が存在し、その物体の揺れが特徴点の揺れとなり、その特徴点が外乱になってしまうことがある。また、風で揺れるものの代表である樹木は枝葉が細かく、外乱であるにも関わらず特徴点が極めて多い。特徴点の数が多いほどＳＦＭの演算負荷が大きくなる。また、揺れる物体が移動体として誤って検知された場合、ＡＤＡＳや自動運転において誤った緊急ブレーキが発動されるなどの誤った制御がなされる要因となる。
【０００５】
本開示はこうした状況に鑑みなされたものであり、その目的は、車両に搭載される撮像装置で撮像された多視点画像から、高精度な静止物の３次元情報を生成する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示のある態様の画像処理システムは、車両に搭載された撮像装置により撮像された動画像のフレーム画像内から特徴点を抽出する特徴点抽出部と、前記特徴点抽出部により抽出された各特徴点の動きをもとに、動的な特徴点と静的な特徴点に分離する分離部と、前記分離部により分離された複数のフレーム画像の静的な特徴点をもとに、前記車両の走行中に撮像された画像内における静止物の３次元情報を生成する３次元情報生成部と、を備える。前記３次元情報生成部は、前記フレーム画像内において、動いている部分を有する固定物を含む領域を識別するための参照データをもとに探索された、前記動いている部分を有する固定物を含む領域の画像情報を無効なものとして、前記静止物の３次元情報を生成する。
【０００７】
なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【０００８】
本開示によれば、車両に搭載される撮像装置で撮像された多視点画像から、高精度な静止物の３次元情報を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】車両に搭載される撮像装置の設置例を示す図である。
【図２】本発明の実施の形態１に係る画像処理システムを搭載した車両のシステム構成を説明するための図である。
【図３】図２の画像処理システムの機能ブロックを示す図である。
【図４】本発明の実施の形態１に係る画像処理システムの全体動作を示すフローチャートである。
【図５】図４の通常モード時の画像処理システムの動作を示すサブルーチンを示すフローチャートである。
【図６】図４の学習モード時の画像処理システムの動作を示すサブルーチンを示すフローチャートである。
【図７】車両の走行による撮像装置の視点移動を説明するための画像を示す図である。
【図８】固定揺動体が映った画像の一例を示す図である。
【図９】固定揺動体を含む無効化領域が設定された画像の一例を示す図である。
【図１０】本発明の実施の形態２に係る画像処理システムを搭載した車両のシステム構成を説明するための図である。
【図１１】本発明の実施の形態３に係る画像処理システムを説明するための図である。
【発明を実施するための形態】
【００１０】
図１は、車両１に搭載される撮像装置２０の設置例を示す図である。図１に示す撮像装置２０は、車両１の進行方向前方を撮像するものであり、例えば、車両１内のルームミラーの上に取り付けられる。なお撮像装置２０は車両１の外に取り付けることも可能であり、例えば、フロントグリルに内蔵させてもよい。
【００１１】
図２は、本発明の実施の形態１に係る画像処理システム１０を搭載した車両１のシステム構成を説明するための図である。撮像装置２０は、撮像部２１及び処理部２２を含む。撮像部２１は固体撮像素子を含む。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。固体撮像素子は、入射される光を電気的な画像信号に変換し、図示しない信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、処理部２２に出力する。
【００１２】
処理部２２は、撮像部２１から入力される画像信号に対して、歪み補正、フレーム／画素の間引きなどの各種の前処理を実行する。また、階調補正、色補正、輪郭補正などの各種の画像処理を施すこともできる。処理部２２は、処理した画像信号を連続的に含む動画像信号を画像処理システム１０に送信する。その際、動画像信号を所定の圧縮方式に基づき圧縮して送信してもよい。
【００１３】
撮像装置２０と画像処理システム１０間はケーブルで接続される。なお、データ伝送の信頼性が確保されれば無線伝送も可能である。
【００１４】
車速センサ３は、車両１の前輪軸または後輪軸の回転数に比例したパルス信号を発生させ、発生させたパルス信号をセンサＥＣＵ（Electronic Control Unit)４に送信する。センサＥＣＵ４は、車速センサ３から受信したパルス信号をもとに車両１の速度を計測する。
【００１５】
画像処理システム１０は、撮像装置２０から画像信号を受信し、センサＥＣＵ４から車載ネットワーク２を介して車両１の車速情報を受信して、撮像装置２０により撮像された画像内の静止物の３次元情報を出力するシステムである。車載ネットワーク２には例えば、ＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network）を使用することができる。車両制御システム３０は、自動駐車、自動ブレーキなどの先進運転支援システム（ＡＤＡＳ）、または自動運転に関するアプリケーション処理を実行するシステムである。車両制御システム３０は、画像処理システム１０から出力された静止物の３次元情報を取得することができる。
【００１６】
図３は、図２の画像処理システム１０の機能ブロックを示す図である。画像処理システム１０は、停車判定部１１、深層学習部１２、特徴点抽出部１３、静動分離部１４、動領域生成部１５、動き判定部１６及びＳＦＭ処理部１７を含む。画像処理システム１０は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。
【００１７】
停車判定部１１は、センサＥＣＵ４から車載ネットワーク２を介して受信した車速情報をもとに、深層学習部１２の動作モードを決定する。深層学習部１２は、推論モードと学習モードを有する。推論モードのとき画像処理システム１０から静止物の３次元情報が出力され、学習モードのときは画像処理システム１０から静止物の３次元情報が出力されない。画像処理システム１０全体で考えれば、深層学習部１２が推論モードのときが通常モードである。
【００１８】
停車判定部１１は深層学習部１２の動作モードを、車速がゼロのとき学習モードに決定し、車速がゼロ以外のとき推論モードに決定する。例えば、推論モードが「０」、学習モードが「１」に設定されている場合、停車判定部１１は車速がゼロのとき「１」を深層学習部１２に出力し、車速がゼロ以外のとき「０」を深層学習部１２に出力する。
【００１９】
撮像装置２０から受信した動画像信号は、深層学習部１２及び特徴点抽出部１３に入力される。撮像装置２０から受信した動画像信号が圧縮されている場合は、深層学習部１２及び特徴点抽出部１３の前段に設けられる伸張部（不図示）により、上記圧縮方式に対応した伸張方式で、受信した動画像信号が伸張される。
【００２０】
特徴点抽出部１３は、入力される動画像のフレーム画像内から特徴点を抽出する。例えば、Harrisコーナ、ＳＩＦＴ (Scale-invariant feature transform)、ＳＵＲＦ (Speed-Upped Robust Feature) 、ＫＡＺＥ、ＯＲＢ（Oriented-BRIEF）等の特徴点検出アルゴリズムを用いて、特徴点を抽出する。特徴点抽出部１３は、抽出した特徴点のオプティカルフローを検出して、抽出した特徴点を追従する。オプティカルフローは、フレーム画像内の特徴点の動きを表す動きベクトルである。オプティカルフローは例えば、勾配法、Lucas-Kanade法を用いて算出することができる。
【００２１】
各フレーム画像の特徴点情報は例えば、｛ｐｘ１，ｐｙ１，ｖｘ１，ｖｙ１｝、｛ｐｘ２，ｐｙ２，ｖｘ２，ｖｙ２｝、・・・、｛ｐｘｎ，ｐｙｎ，ｖｘｎ，ｖｙｎ｝で定義される。各特徴点は画像の座標で示され、ｐｘはＸ座標、ｐｙはＹ座標、ｖｘは動きベクトルのＸ成分、及びｖｙは動きベクトルのＹ成分をそれぞれ示す。特徴点抽出部１３は、各フレーム画像の特徴点情報を静動分離部１４に出力する。
【００２２】
静動分離部１４は、特徴点抽出部１３により抽出された各特徴点の動きをもとに、動的な特徴点（以下、単に動特徴点と表記する）と、静的な特徴点（以下、単に静特徴点と表記する）に分離する。静動分離部１４は、動きベクトルが所定の大きさに満たない特徴点を静特徴点に分類し、所定の大きさ以上の特徴点を動特徴点に分類する。なお車両１の走行中は、静動分離部１４は、各特徴点の動きベクトルから車両１の動きに基づく成分を取り除いた後に、各特徴点の動きを判定する。
【００２３】
車両１の動きは、車速センサ３により計測される車速情報と、舵角センサ（不図示）により計測される舵角情報をもとに推定することができる。その際、ＧＰＳセンサ（不図示）またはジャイロセンサ（不図示）により計測される値を加味してもよい。また車両１の動きは、フレーム画像内の全特徴点のうち、最も多くの特徴点に共通する動きベクトルから推定することもできる。センサの計測値による推定と画像解析による推定を併用してもよい。
【００２４】
静動分離部１４は、各フレーム画像の動特徴点情報を動領域生成部１５に出力し、各フレーム画像の静特徴点情報をＳＦＭ処理部１７に出力する。動特徴点情報は特徴点情報の部分集合であり、静特徴点情報は特徴点情報の部分集合である。
【００２５】
動領域生成部１５は、静動分離部１４により分離された複数の動特徴点をグルーピングして、少なくとも１つの動領域を生成する。動領域生成部１５は例えば、フレーム画像内における各動特徴点の位置と動きベクトルをもとに、複数の動特徴点をグルーピングする。動領域生成部１５は例えば、隣接する２つの動特徴点間の位置が所定の距離の範囲内であり、かつ当該２つの動特徴点の動きベクトルの大きさの差が基準値より小さく、当該２つの動きベクトルの方向の角度差が所定の角度より小さい場合、当該２つの動特徴点を同じグループの動特徴点とする。
【００２６】
動領域生成部１５は例えば、同じグループに属する複数の動特徴点をすべて含む矩形領域を特定するための情報を動領域情報として生成する。各フレーム画像の動領域情報は例えば、｛ｍｘ１，ｍｙ１，ｍｗ１，ｍｈ１｝、｛ｍｘ２，ｍｙ２，ｍｗ２，ｍｈ２｝、・・・、｛ｍｘｎ，ｍｙｎ，ｍｗｎ，ｍｈｎ｝で定義される。当該動領域情報は画像の座標で示され、ｍｘは矩形領域の左上のＸ座標、ｍｙは矩形領域の左上のＹ座標、ｍｗは矩形領域の幅、ｍｈは矩形領域の高さをそれぞれ示す。動領域生成部１５は、各フレーム画像の動領域情報を動き判定部１６に出力する。
【００２７】
なお動領域情報の定義方法は一例であり、演算能力に余裕があれば、矩形以外の任意な形状の動領域を生成することも可能である。
【００２８】
動領域は、一般的な移動体を含む領域の他に、動いている部分を有する固定物を含む領域にも生成される。以下、本明細書では、動いている部分を有する固定物を固定揺動体と呼ぶ。固定揺動体は、その一部が地面や建造物に固定されているとともに、固定部分以外の部分の少なくとも一部が、外的な力（例えば、風）が加わると揺動する物体である。撮像装置２０で撮像された画像内に含まれる固定揺動体の代表的なものとして、樹木、旗、幟などが挙げられる。
【００２９】
これに対して一般的な移動体は、地面や建造物に固定されておらず、自由に移動可能な物体である。撮像装置２０で撮像された画像内に含まれる移動体の代表的なものとして、他の車両、バイク、自転車、歩行者などが挙げられる。
【００３０】
動き判定部１６は、動領域生成部１５により生成された動領域の所定時間（例えば、１秒以上）における動きをもとに、当該動領域が、一般的な移動体を含む領域（以下、移動体領域と表記する）であるか、固定揺動体を含む領域（以下、固定揺動体領域と表記する）であるかを判定する。動き判定部１６は例えば、各動領域の代表点（例えば、中心点）の動きを追跡して、移動体領域であるか固定揺動体領域であるかを判定する。例えば、ある時刻の代表点の位置と、数秒後の代表点の位置との距離が所定の範囲内に収まる場合、固定揺動体と判定する。また、代表点の動きの方向の変化に、周期的な変化が含まれるか否か判定し、周期的な変化が含まれる場合、固定揺動体と判定してもよい。また両者を併用してもよい。
【００３１】
動き判定部１６は、各フレーム画像の固定揺動体領域情報を深層学習部１２に出力し、各フレーム画像の移動体領域情報を動体検知部（不図示）に出力する。固定揺動体領域情報は動領域情報の部分集合であり、移動体領域情報は動領域情報の部分集合である。
【００３２】
深層学習部１２は、学習モードのとき、動き判定部１６により判定された固定揺動体領域の画像を入力として深層学習し、固定揺動体領域を識別するための学習モデルを生成する。深層学習部１２は、推論モードのとき、当該学習モデルをもとに、各フレーム画像内において固定揺動体領域を探索し、固定揺動体領域が存在する場合、当該固定揺動体領域を特定するための情報を無効化領域情報として出力する。
【００３３】
深層学習のアルゴリズムとして、Ｒ−ＣＮＮ (Region-based Convolution Neural Network)、Ｆａｓｔ＿Ｒ−ＣＮＮ、Ｆａｓｔｅｒ＿Ｒ−ＣＮＮ、ＭＡＳＫ＿Ｒ−ＣＮＮ、ＹＯＬＯ(You only Look Once)、ＳＳＤ(Single Shot Detector)などを使用することができる。これらのアルゴリズムが使用される場合、上記学習モデルは、ニューラルネットワークに記憶された、抽象化された固定揺動体の画像情報となり、当該学習モデルにより未知の固定揺動体も識別することができる。
【００３４】
深層学習部１２は学習モードでは、フレーム画像内から固定揺動体領域を探索する必要はなく、動き判定部１６から入力される固定揺動体領域情報により特定される領域の画像を入力画像として深層学習する。これにより、固定揺動体を識別するためのニューラルネットワークが訓練され、ニューラルネットワークが強化される。なお、この学習モードにおいて教師信号を外部から与える必要はない。
【００３５】
深層学習部１２は推論モードでは、入力される動画像のフレーム画像を入力画像として、当該入力画像内から、上記学習モデルをもとに固定揺動体領域を探索する。固定揺動体領域が存在しないフレーム画像もあれば、複数の固定揺動体が存在するフレーム画像もある。固定揺動体領域が少なくとも１つ存在するフレーム画像の場合、深層学習部１２は、当該固定揺動体領域を特定するための情報を、当該フレーム画像の無効化領域情報として特徴点抽出部１３に出力する。
【００３６】
各フレーム画像の無効化領域情報は例えば、｛ｉｘ１，ｉｙ１，ｉｗ１，ｉｈ１｝、｛ｉｘ２，ｉｙ２，ｉｗ２，ｉｈ２｝、・・・、｛ｉｘｎ，ｉｙｎ，ｉｗｎ，ｉｈｎ｝で定義される。この例は、無効化領域が矩形領域で設定される場合の例である。無効化領域情報は画像の座標で示され、ｉｘは矩形領域の左上のＸ座標、ｉｙは矩形領域の左上のＹ座標、ｉｗは矩形領域の幅、ｉｈは矩形領域の高さをそれぞれ示す。
【００３７】
特徴点抽出部１３は、深層学習部１２から無効化領域情報が入力されると、対応するフレーム画像内において、当該無効化領域情報により特定される領域をマスクし、マスクした領域を特徴点の抽出対象領域から除外する。
【００３８】
ＳＦＭ処理部１７は、車両１の走行中に時系列に撮像された複数のフレーム画像の静特徴点をもとに、撮像された画像内における静止物の３次元情報を生成する。ＳＦＭ処理部１７は、特徴点抽出部１３により抽出され、静動分離部１４により分離された各フレーム画像の静特徴点情報をもとに、各フレーム画像内の静特徴点を特定する。
【００３９】
ＳＦＭ処理部１７は例えば、静止物の３次元情報を、静止物の立体表面の特徴点で定義する。具体的には、静止物の３次元情報を｛ｓｘ１，ｓｙ１，ｓｚ１｝、｛ｓｘ２，ｓｙ２，ｓｙ２｝、・・・、｛ｓｘｎ，ｓｙｎ，ｓｚｎ｝で定義する。当該３次元情報は、３次元座標空間上の点で定義され、ｓｘはＸ座標の値、ｓｙはＹ座標の値、ｓｚはＺ座標の値をそれぞれ示す。なお座標系は任意であるが、例えば、撮像装置２０の光軸を基準とした相対座標で３次元空間が定義されてもよい。具体的には、撮像装置２０の光軸に対して、左右方向をＸ座標、前後方向をＹ座標、上下方向をＺ座標としてもよい。
【００４０】
単眼の撮像装置２０で撮像された１枚のフレーム画像からは、画像内に映った静止物の３次元形状を特定することはできない。これに対して車両１（即ち、撮像装置２０）が移動している状態では、単眼の撮像装置２０により時系列に撮像された多視点画像を取得できるため、画像内に映った静止物の３次元形状を推定することができる。したがって車両１の停止中（学習モードのとき）は、単眼の撮像装置２０で撮像された画像内に映った静止物の３次元形状を推定することはできない。
【００４１】
ＳＦＭ処理部１７は、三角測量の原理により各静特徴点の奥行きを推定することができる。ＳＦＭ処理部１７は、時系列に撮像された複数のフレーム画像の各静特徴点のオプティカルフローをもとに、複数のフレーム画像間の各静特徴点を対応づけることができる。ＳＦＭ処理部１７は、第ｎフレーム画像が撮像されたときの撮像装置２０の位置から、第（ｎ＋１）フレーム画像が撮像されたときの撮像装置２０の位置までの移動量を、車両１の車速情報および舵角情報をもとに推定することができる。なお、撮像装置２０のカメラパラメータは既知である。
【００４２】
第ｎフレーム画像が撮像されたときの撮像装置２０の位置と、第（ｎ＋１）フレーム画像が撮像されたときの撮像装置２０の位置との距離が分かれば、ＳＦＭ処理部１７は、第ｎフレーム画像内の静特徴点と、第（ｎ＋１）フレーム画像内の対応する静特徴点との視差を推定することができ、当該視差をもとに撮像装置２０から当該静特徴点の部位までの距離を推定することができる。ＳＦＭ処理部１７は、具体的なＳＦＭ処理のアルゴリズムとして例えば、Tomashi-kanadeの因子分解法を使用することができる。
【００４３】
図４は、本発明の実施の形態１に係る画像処理システム１０の全体動作を示すフローチャートである。車両１がイグニッションオンされると（Ｓ１０のＯＮ）、画像処理システム１０の停車判定部１１は、車両１の車速情報を取得し（Ｓ２０）、車速がゼロであるか否か（即ち、車両１が停止しているか否か）を判定する（Ｓ３０）。車速がゼロでない場合（Ｓ３０のＮ）、画像処理システム１０は通常モードで動作する（Ｓ４０）。車速がゼロの場合（Ｓ３０のＹ）、画像処理システム１０は学習モードで動作する（Ｓ５０）。車両１がイグニッションオフされると（Ｓ１０のＯＦＦ）、画像処理システム１０は処理を終了する。
【００４４】
図５は、図４の通常モード時の画像処理システム１０の動作を示すサブルーチンを示すフローチャートである。深層学習部１２は、撮像装置２０から受信した動画像の各フレーム画像から、学習モデルを用いた推論処理により無効化領域を特定し、特定した無効化領域の位置とサイズを示す無効化領域情報を特徴点抽出部１３に出力する（Ｓ４１）。特徴点抽出部１３は、撮像装置２０から受信した動画像の各フレーム画像から、深層学習部１２から入力される無効化領域情報により特定される無効化領域を除外して特徴点を抽出する（Ｓ４２）。特徴点抽出部１３は、特徴点の位置と動きを示す特徴点情報を静動分離部１４に出力する。
【００４５】
静動分離部１４は、特徴点抽出部１３から入力される特徴点情報を、動特徴点情報と静特徴点情報に分離する（Ｓ４３）。静動分離部１４は、分離した動特徴点情報を動領域生成部１５に出力し、分離した静特徴点情報をＳＦＭ処理部１７に出力する。
【００４６】
動領域生成部１５は、静動分離部１４により分離された動特徴点をグルーピングして、少なくとも１つの動領域を生成する（Ｓ４４）。通常モードでは、特徴点抽出部１３により固定揺動体領域の特徴点が予め除外されているため、動領域生成部１５により生成される動領域は、全て移動体領域となる。したがって通常モードでは、動領域情報を動き判定部１６に入力して、動領域情報を移動体領域情報と固定揺動体領域情報に分類する必要はない。動領域生成部１５により生成される動領域情報は直接、動体検知部（不図示）に出力される。
【００４７】
ＳＦＭ処理部１７は、静動分離部１４から入力される静特徴点情報をもとに、ＳＦＭ処理を実行して、静止物の３次元情報を生成する（Ｓ４５）。ＳＦＭ処理部１７は、生成した静止物の３次元情報を車載ネットワーク２を介して車両制御システム３０に送信する（図１参照）。なお、画像処理システム１０と車両制御システム３０間は、車載ネットワーク２を介さずに基板間通信により直接接続されてもよい。
【００４８】
上述したように車両制御システム３０は、先進運転支援システム（ＡＤＡＳ）または自動運転に関するアプリケーション処理を実行するシステムである。車両制御システム３０は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。車両制御システム３０は、画像処理システム１０から受信した静止物の３次元情報をもとに、車両周囲における走行不可能な空間領域を特定する。
【００４９】
上記の動体検知部（不図示）は、動領域生成部１５から入力される動領域情報（移動体領域情報）をもとに移動体の種別、移動体の相対速度、移動体の移動方向を特定する。また動体検知部（不図示）は、時系列に撮像された複数のフレーム画像内の移動体領域情報をもとに、移動体の３次元情報を生成する。動体検知部（不図示）は、生成した移動体に関する各種情報を車載ネットワーク２を介して車両制御システム３０に送信する。なお動体検知部（不図示）は、画像処理システム１０内に組み込まれていてもよいし、別のシステムに組み込まれていてもよい。車両制御システム３０は、動体検知部（不図示）から受信した移動体に関する各種情報をもとに、車両周囲の移動体とのＴＴＣ（Time To Collision）を算出し、必要に応じて自動ブレーキや路肩への退避などの車両制御を実行する。
【００５０】
図６は、図４の学習モード時の画像処理システム１０の動作を示すサブルーチンを示すフローチャートである。特徴点抽出部１３は、撮像装置２０から受信した動画像の各フレーム画像から、特徴点を抽出する（Ｓ５１）。なお学習モードでは、各フレーム画像に無効化領域は設定されず、フレーム画像の全域から特徴点が抽出される。特徴点抽出部１３は、抽出した特徴点の位置と動きを示す特徴点情報を静動分離部１４に出力する。
【００５１】
静動分離部１４は、特徴点抽出部１３から入力される特徴点情報を、動特徴点情報と静特徴点情報に分離する（Ｓ５２）。静動分離部１４は、分離した動特徴点情報を動領域生成部１５に出力する。学習モードでは、車両１が停止しているため、静止物の３次元情報を生成することができない。したがって静動分離部１４は、静特徴点情報をＳＦＭ処理部１７に出力する必要はない。
【００５２】
動領域生成部１５は、静動分離部１４により分離された動特徴点をグルーピングして、少なくとも１つの動領域を生成する（Ｓ５３）。動き判定部１６は、動領域生成部１５により生成された動領域の所定時間における動きをもとに、当該動領域を、移動体領域と固定揺動体領域に分類する（Ｓ５４）。動き判定部１６は、固定揺動体領域の位置とサイズを示す固定揺動体領域情報を深層学習部１２に出力し、移動体領域の位置とサイズを示す移動体領域情報を動体検知部（不図示）に出力する。
【００５３】
深層学習部１２は、動き判定部１６から入力される固定揺動体領域情報に基づき特定される領域の画像を入力として深層学習する（Ｓ５５）。なお、上記の動体検知部（不図示）は、学習モードにおいても動作している。自車両が停止していても、移動体の位置が変化しているため、移動体の３次元情報を生成することも可能である。
【００５４】
図７は、車両１の走行による撮像装置２０の視点移動を説明するための画像Ｆ１を示す図である。車両１が前進すると、車両１の前進に伴い撮像装置２０の視点が移動する。図７では、静止物である進入禁止用の棒状の車止めの３次元マップを生成する例を示している。車止めは、車両１の移動に伴い撮像装置２０により複数の視点から撮像される。撮像された複数のフレーム画像において、車止めの特徴点（図７では上部先端の特徴点Ｐ１が例示されている）が追跡される。ＳＦＭ処理部１７は、このような多視点画像をもとに車止めの３次元モデルを生成することができる。
【００５５】
図８は、固定揺動体が映った画像Ｆ２の一例を示す図である。画像Ｆ２内において、中央の道路の左側には、葉が生い茂っている樹木（領域Ｒ１参照）が存在する。また道路の右側には、幟（領域Ｒ２参照）が存在する。葉や幟は、風で揺れるため、特徴点が定まりにくい。即ち、オプティカルフロー法によりフレーム画像内の特徴点を追跡して、後続のフレーム画像内において対応する特徴点を見つけ出すことが困難になる。
【００５６】
また、風で揺れている葉は、特徴点が定まりにくいにも関わらず、エッジやコーナーが多く検出され、特徴点が多く抽出される。このように風で揺れている固定揺動体は、撮像された画像内から特徴点を抽出して、最終的に静止物の３次元情報を生成する処理において、外乱ノイズとなり、処理精度を低下させる要因となる。
【００５７】
図９は、固定揺動体を含む無効化領域が設定された画像Ｆ３の一例を示す図である。深層学習部１２は、固定揺動体を識別するための学習モデルに基づく推論処理により、固定揺動体領域を探索する。特徴点抽出部１３は、深層学習部１２により探索された固定揺動体領域を無効化領域としてマスクする。図９に示す例では、道路左側の樹木が存在する領域に対して２つの無効化領域ｉ１、ｉ２が設定され、道路右側の幟が存在する領域に１つの無効化領域ｉ３が設定されている。ＳＦＭ処理部１７は、固定揺動体を含む無効化領域の画像情報を使用せずに静止物の３次元情報を生成することができ、演算量を削減できるとともに、高精度な３次元情報を生成することができる。
【００５８】
以上説明したように実施の形態１によれば、深層学習部１２が、撮像された画像内から固定揺動体領域を探索し、探索した固定揺動体領域の画像を無効化することにより、ＳＭＦ処理の精度を向上させることができる。これにより、ＡＤＡＳや自動運転における車両制御の精度も向上させることができる。また、固定揺動体領域の画像を無効化することにより、ＳＦＭ処理の演算負荷を低減することができる。
【００５９】
図１０は、本発明の実施の形態２に係る画像処理システム１０を搭載した車両１のシステム構成を説明するための図である。実施の形態２では、学習モードにおいて深層学習部１２が固定揺動体領域の画像を学習する際、画像情報以外のパラメータも学習対象に含める。例えば、画像情報以外のパラメータとして、季節、時間帯、明るさ、天候、風速、雨量、固定揺動体の種別（樹木の種別）などを使用することができる。
【００６０】
実施の形態２では車両１は、無線通信部５を備える。無線通信部５は、アンテナ５ａを介してネットワーク５０に無線接続するための信号処理を行う。車両１が無線接続可能な無線通信網として、例えば、携帯電話網（セルラー網）、無線ＬＡＮ、ＥＴＣ（Electronic Toll Collection System）、ＤＳＲＣ（Dedicated Short Range Communications）、Ｖ２Ｉ（Vehicle-to-Infrastructure）、Ｖ２Ｖ（Vehicle-to-Vehicle）を使用することができる。
【００６１】
ネットワーク５０は、インターネットや専用線などの通信路の総称であり、その通信媒体やプロトコルは問わない。ネットワーク５０には、気象情報サーバ５１などの各種の情報サーバ、画像処理システム１０のシステム管理サーバ５２が接続される。
【００６２】
撮像装置２０は照度センサ２３を含む。照度センサ２３は、撮像装置２０の周囲の照度を検出し、処理部２２に出力する。処理部２２は、動画像信号とともに照度センサ２３の検出値も、画像処理システム１０に送信する。
【００６３】
画像処理システム１０の深層学習部１２は、車両１内の時計（不図示）から日付情報を取得することができる。深層学習部１２は、日付情報をもとに季節情報を生成する。例えば日付情報をもとに、画像を撮像した日付を春、夏、秋、冬のいずれかに分類する。深層学習部１２は、季節ごとの学習モデルを生成してもよいし、訓練データに画像情報とともに季節情報を含めてもよい。樹木には、季節により葉の有無が変わったり、葉の色が変わったりするものがある。したがって季節を加味して学習すると、学習モデルの精度が向上する。推論モードでは深層学習部１２は、撮像された画像と季節情報を入力として、当該画像内から固定揺動体領域を探索する。
【００６４】
深層学習部１２は、車両１内の時計（不図示）から時刻情報を取得することができる。深層学習部１２は、時刻情報をもとに時間帯情報を生成する。例えば時刻情報をもとに、画像を撮像した時刻を朝、昼、夜のいずれかに分類する。深層学習部１２は、時間帯ごとの学習モデルを生成してもよいし、訓練データに画像情報とともに時間帯情報を含めてもよい。画像内に映った固定揺動体は、時間帯によって映り方が大きく異なるため、時間帯を加味して学習することで、学習モデルの精度が向上する。推論モードでは深層学習部１２は、撮像された画像と時間帯情報を入力として、当該画像内から固定揺動体領域を探索する。
【００６５】
深層学習部１２は、撮像装置２０から照度センサ２３の検出値を取得することができる。なお、撮像装置２０に含まれる照度センサ２３ではなく、車両１内に搭載されている照度センサの検出値を使用してもよい。深層学習部１２は、照度センサの検出値をもとに明るさ情報を生成する。例えば検出値をもとに、画像を撮像したときの明るさを、明るい、普通、暗いのいずれかに分類する。深層学習部１２は、明るさの分類ごとの学習モデルを生成してもよいし、訓練データに画像情報とともに明るさ情報を含めてもよい。画像内に映った固定揺動体は、明るさによって映り方が大きく異なるため、明るさを加味して学習することで、学習モデルの精度が向上する。上記の時間帯を用いる場合よりも精度が向上する。推論モードでは深層学習部１２は、撮像された画像と明るさ情報を入力として、当該画像内から固定揺動体領域を探索する。
【００６６】
深層学習部１２は、気象情報サーバ５１からネットワーク５０を介して気象情報を取得することができる。深層学習部１２は、気象情報をもとに天候分類情報を生成する。例えば気象情報をもとに、画像を撮像したときの天候を、晴、曇、雨のいずれかに分類する。深層学習部１２は、天候ごとの学習モデルを生成してもよいし、訓練データに画像情報とともに天候分類情報を含めてもよい。画像内に映った固定揺動体は、天候によって映り方が大きく異なるため、天候を加味して学習することで、学習モデルの精度が向上する。推論モードでは深層学習部１２は、撮像された画像と気象分類情報を入力として、当該画像内から固定揺動体領域を探索する。
【００６７】
深層学習部１２は、気象情報サーバ５１から取得した気象情報をもとに風速分類情報や雨量分類情報を生成することもできる。この場合、画像情報以外の学習パラメータが、天候分類情報の代わりに、風速分類情報または雨量分類情報になる。
【００６８】
深層学習部１２の前段に、固定揺動体の種別を検知するためのパターンマッチング部（不図示）が設けられてもよい。パターンマッチング部（不図示）は、予め準備された各種の固定揺動体の辞書データを保持する。例えば、樹木の場合、常緑樹、落葉樹、針葉樹、広葉樹ごとに辞書データを準備する。パターンマッチング部（不図示）は、固定揺動体領域の画像に対してパターンマッチングを実行し、固定揺動体の種別を特定する。
【００６９】
深層学習部１２は、パターンマッチング部（不図示）から固定揺動体の種別情報を取得する。深層学習部１２は、固定揺動体の種別ごとの学習モデルを生成してもよいし、訓練データに画像情報とともに固定揺動体の種別情報を含めてもよい。固定揺動体の種別を加味して学習することで、学習モデルの精度が向上する。推論モードでは深層学習部１２は、撮像された画像と固定揺動体の種別情報を入力として、当該画像内から固定揺動体領域を探索する。
【００７０】
以上に説明した画像情報以外の学習パラメータは、単独で使用してもよいし、複数組み合わせて使用してもよい。
【００７１】
図１１は、本発明の実施の形態３に係る画像処理システム１０を説明するための図である。実施の形態３では、車両１に搭載されるエッジ側の深層学習部１２は、学習をせずに推論に特化する。学習はクラウド上のシステム管理サーバ５２で行う。実施の形態３では画像処理システム１０は、画像切出部１８をさらに含む。実施の形態３では動き判定部１６は、各フレーム画像の固定揺動体領域情報を深層学習部１２に出力する代わりに、画像切出部１８に出力する。
【００７２】
画像切出部１８は、撮像装置２０から受信した動画像の各フレーム画像から、動き判定部１６から入力される固定揺動体領域情報により特定される領域の画像（以下、固定揺動体領域画像と表記する）を切り出す。画像切出部１８は、切り出した固定揺動体領域画像を無線通信部５に出力する。無線通信部５はネットワーク５０を介して、固定揺動体領域画像をシステム管理サーバ５２に送信する。５Ｇネットワークを使用すれば、大容量の画像データを高速に送信することができる。
【００７３】
システム管理サーバ５２は、車両１から受信した固定揺動体領域画像を入力として深層学習し、固定揺動体を識別するための学習モデルを生成する。なおシステム管理サーバ５２には、同じ画像処理システム１０を採用する複数の車両１から固定揺動体領域画像が送信されてくる。システム管理サーバ５２は、車両１に搭載されたエッジ側の画像処理システム１０と比較して、ハイスペックなハードウェア資源（例えば、ＧＰＵ）を利用することができる。また上述のように訓練データの数も多い。したがって、クラウド側のシステム管理サーバ５２では、エッジ側の画像処理システム１０と比較して、より早期により高精度な学習モデルを生成することができる。システム管理サーバ５２は、車両１に搭載された画像処理システム１０からの要求に応じて、又は所定の周期で、生成した学習モデルをネットワーク５０を介して車両１に送信する。
【００７４】
車両１内の無線通信部５は、システム管理サーバ５２からネットワーク５０を介して学習モデルを受信すると深層学習部１２に出力する。深層学習部１２は、無線通信部５から新たな学習モデルが入力されると、保持している学習モデルを新たな学習モデルに更新する。実施の形態３では画像処理システム１０の深層学習部１２が推論に特化しているため、深層学習部１２の演算負荷を低減することができる。したがって、深層学習部１２を実現するハードウェア資源を簡素化することができ、深層学習部１２のコスト及び消費電力を削減することができる。
【００７５】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素または各処理プロセスの組み合わせに、いろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７６】
上述の実施の形態では通常モードにおいて、深層学習部１２は無効化領域情報を特徴点抽出部１３に出力し、特徴点抽出部１３は、無効化領域情報により特定される領域を除外して特徴点を抽出する例を説明した。この点、通常モードにおいても、特徴点抽出部１３はフレーム画像の全域から特徴点を抽出し、抽出した特徴点のうち、無効化領域情報により特定される領域に含まれる特徴点を廃棄する処理を採用してもよい。また深層学習部１２は無効化領域情報を静動分離部１４に出力し、静動分離部１４が、無効化領域情報により特定される領域に含まれる特徴点を廃棄する処理を採用してもよい。また深層学習部１２は無効化領域情報をＳＦＭ処理部１７に出力し、ＳＦＭ処理部１７が、無効化領域情報により特定される領域に含まれる静特徴点を廃棄する処理を採用してもよい。
【００７７】
特徴点抽出部１３は、無効化領域情報により特定される領域をマスクする代わりに、当該領域にローパスフィルタをかけて、当該領域からエッジやコーナーが検出されにくくする処理を採用してもよい。この場合も、当該領域が実質的に無効化されることになる。
【００７８】
上述の実施の形態では、深層学習部１２が学習モデルに基づく推論処理により、フレーム画像内から固定揺動体領域を探索する例を説明した。この点、深層学習部１２の代わりにパターンマッチング部（不図示）が、予め準備された各種の固定揺動体を識別するための辞書データをもとに、フレーム画像内から固定揺動体領域を探索してもよい。この場合、参照データは、深層学習により自動的に生成される学習モデルではなく、システム開発者により収集され、固定揺動体の種別ごとに分類された辞書データとなる。この場合、システム管理サーバ５２から車両１に、最新の辞書データを定期的にダウンロードして、最新の辞書データにアップデートすることが好ましい。
【００７９】
なお、実施の形態は、以下の項目によって特定されてもよい。
【００８０】
［項目１］
車両（１）に搭載された撮像装置（２０）により撮像された動画像のフレーム画像内から特徴点を抽出する特徴点抽出部（１３）と、
前記特徴点抽出部（１３）により抽出された各特徴点の動きをもとに、動的な特徴点と静的な特徴点に分離する分離部（１４）と、
前記分離部（１４）により分離された複数のフレーム画像の静的な特徴点をもとに、前記車両（１）の走行中に撮像された画像内における静止物の３次元情報を生成する３次元情報生成部（１７）と、を備え、
前記３次元情報生成部（１７）は、前記フレーム画像内において、動いている部分を有する固定物を含む領域を識別するための参照データをもとに探索された、前記動いている部分を有する固定物を含む領域の画像情報を無効なものとして、前記静止物の３次元情報を生成する、
画像処理システム（１０）。
これによれば、外乱要因となる領域を排除することができ、高精度な静止物の３次元情報を生成することができる。
［項目２］
前記分離部（１４）により分離された動的な特徴点をグルーピングして、少なくとも１つの動領域を生成する動領域生成部（１５）と、
前記動領域生成部（１５）により生成された動領域の所定時間における動きをもとに、当該動領域が、自由に移動可能な移動体を含む領域であるか、前記動いている部分を有する固定物を含む領域であるかを判定する判定部（１６）と、
前記判定部（１６）により判定された前記動いている部分を有する固定物を含む領域の画像を入力として深層学習し、前記参照データとすべき学習モデルを生成する深層学習部（１２）と、をさらに備える、
項目１に記載の画像処理システム（１０）。
これによれば、動いている部分を有する固定物を含む領域を識別するための学習モデルを、深層学習により自動的に高精度に生成することができる。
［項目３］
前記深層学習部（１２）は、前記学習モデルをもとに、前記フレーム画像内に前記動いている部分を有する固定物を含む領域が存在するか推論し、存在する場合、当該領域を特定するための情報を無効化領域情報として出力する、
項目２に記載の画像処理システム（１０）。
これによれば、深層学習により生成された学習モデルをもとに、フレーム画像内において、動いている部分を有する固定物を含む領域を高精度に識別することができる。
［項目４］
前記特徴点抽出部（１３）は、前記フレーム画像内において、前記深層学習部（１２）から出力された無効化領域情報により特定される領域から、前記特徴点を抽出しない、
項目３に記載の画像処理システム（１０）。
これによれば、特徴点抽出部（１３）の演算量を削減しつつ、動いている部分を有する固定物を含む領域を無効化することができる。
［項目５］
前記深層学習部（１２）は、
前記車両（１）が停止しているとき、前記学習を実行し、前記推論を停止し、
前記車両（１）が走行しているとき、前記学習を停止し、前記推論を実行する、
項目３または４に記載の画像処理システム（１０）。
これによれば、車両（１）が走行しているときは学習をせず、車両（１）が停止しているときに学習をすることにより、動いている部分を有する固定物を含む領域の学習精度を向上させることができる。
［項目６］
前記深層学習部（１２）は、
前記学習を実行する際、日付情報から特定される季節情報を訓練データに含め、
前記推論を実行する際、日付情報から特定される季節情報を、前記推論の対象となる入力データに含める、
項目５に記載の画像処理システム（１０）。
これによれば、深層学習の学習と推論の精度を向上させることができる。
［項目７］
前記深層学習部（１２）は、
前記学習を実行する際、照度センサ（２３）の検出値により特定される照度情報を訓練データに含め、
前記推論を実行する際、前記照度センサ（２３）の検出値により特定される照度情報を、前記推論の対象となる入力データに含める、
項目５に記載の画像処理システム（１０）。
これによれば、深層学習の学習と推論の精度を向上させることができる。
［項目８］
車両（１）に搭載された撮像装置（２０）により撮像された動画像のフレーム画像内から特徴点を抽出するステップと、
前記抽出された各特徴点の動きをもとに、動的な特徴点と静的な特徴点に分離するステップと、
前記分離された複数のフレーム画像の静的な特徴点をもとに、前記車両（１）の走行中に撮像された画像内における静止物の３次元情報を生成するステップと、を有し、
前記静止物の３次元情報を生成するステップは、前記フレーム画像内において、動いている部分を有する固定物の領域を識別するための参照データをもとに探索された、前記動いている部分を有する固定物を含む領域の画像情報を無効なものとして、前記静止物の３次元情報を生成する、
画像処理方法。
これによれば、外乱要因となる領域を排除することができ、高精度な静止物の３次元情報を生成することができる。
【符号の説明】
【００８１】
１  車両、  ２  車載ネットワーク、  ３  車速センサ、  ４  センサＥＣＵ、  ５  無線通信部、  １０  画像処理システム、  １１  停車判定部、  １２  深層学習部、  １３  特徴点抽出部、  １４  静動分離部、  １５  動領域生成部、  １６  動き判定部、  １７  ＳＦＭ処理部、  １８  画像切出部、  ２０  撮像装置、  ２１  撮像部、  ２２  処理部、  ２３  照度センサ、  ３０  車両制御システム、  ５０  ネットワーク、  ５１  気象情報サーバ、  ５２  システム管理サーバ。
【図１】
2020126432.tif 000003
【図２】
2020126432.tif 000004
【図３】
2020126432.tif 000005
【図４】
2020126432.tif 000006
【図５】
2020126432.tif 000007
【図６】
2020126432.tif 000008
【図７】
2020126432.tif 000009
【図８】
2020126432.tif 000010
【図９】
2020126432.tif 000011
【図１０】
2020126432.tif 000012
【図１１】
2020126432.tif 000013