(57)【要約】      （修正有）【課題】車両に固定されたイベントカメラで得られたイベントデータに基づくオプティカルフローの推定の精度を向上させる。【解決手段】オプティカルフロー推定システム１００は、車両に固定され、イベントデータを出力するイベントカメラ１０と、設定されたタイムウィンドウにおいてイベントデータに基づいてコスト関数を最適化することで、オプティカルフローの初期推定を行うオプティカルフロー初期推定部２１と、初期推定されたオプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、ヨーレートを推定する回転パラメータ推定部２２と、初期推定されたオプティカルフローから回転成分を除くことで、初期推定されたオプティカルフローをＦＯＥに従うように修正（正則化）するオプティカルフロー正則化部２３とを備える。タイムウィンドウをスライドさせながらタイムウィンドウごとに上記の処理を繰り返す。【選択図】図１
2019204390.tif 000002
【特許請求の範囲】
【請求項１】
移動体に固定されたカメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定装置であって、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、
初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部と、
初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部と、
を備えた、オプティカルフロー推定装置。
【請求項２】
前記オプティカルフロー正則化部は、初期推定された前記オプティカルフローから前記回転パラメータの回転成分を除いたオプティカルフローとＦＯＥから放射状に延びるオプティカルフローとに基づいて前記修正を行う、請求項１に記載のオプティカルフロー推定装置。
【請求項３】
前記オプティカルフロー正則化部は、初期推定された前記オプティカルフローから前記回転パラメータの回転成分を除いたオプティカルフローとＦＯＥから放射状に延びるオプティカルフローとに基づいて第２のオプティカルフローを求めることにより前記修正を行い、さらに前記第２のオプティカルフローに前記回転成分を戻す、請求項２に記載のオプティカルフロー推定装置。
【請求項４】
前記カメラはイベントカメラであり、前記データはイベントデータである、請求項１〜３のいずれかに記載のオプティカルフロー推定装置。
【請求項５】
前記回転パラメータ推定部は、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する、請求項１〜４のいずれかに記載のオプティカルフロー推定装置。
【請求項６】
前記オプティカルフロー正則化部は、オプティカルフローの向きをＦＯＥに従って修正する、請求項１〜５のいずれかに記載のオプティカルフロー推定装置。
【請求項７】
前記回転パラメータ推定部は、前記カメラの視野の上部分のイベントデータを用いて前記回転パラメータを推定する、請求項１〜６のいずれかに記載のオプティカルフロー推定装置。
【請求項８】
前記回転パラメータ推定部は、ヨーレートに車両の運動モデルを適用して前記回転パラメータを推定する、請求項５に記載のオプティカルフロー推定装置。
【請求項９】
前記回転パラメータ推定部は、ヨーレートをカルマンフィルタ又はパーティクルフィルタにかけることで前記運動モデルを適用する、請求項８に記載のオプティカルフロー推定装置。
【請求項１０】
移動体に固定されたカメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定方法であって、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定ステップと、
初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定ステップと、
初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化ステップと、
を備えた、オプティカルフロー推定方法。
【請求項１１】
移動体に固定され、データを出力するカメラと、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、
初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部と、
初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部と、
を備えた、オプティカルフロー推定システム。
【請求項１２】
移動体に固定されたカメラからのデータが入力される装置にて実行されるオプティカルフロー推定プログラムであって、前記装置を、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部、
初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部、及び
初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部、
として機能させる、オプティカルフロー推定プログラム。
【請求項１３】
移動体に固定されたカメラからのデータに基づいて前記車両のヨーレートを推定するヨーレート推定装置であって、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、
初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部と、
初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部と、
を備えた、ヨーレート推定装置。
【請求項１４】
移動体に固定されたカメラからのデータに基づいて前記車両のヨーレートを推定するヨーレート推定方法であって、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定ステップと、
初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定ステップと、
初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化ステップと、
を含む、ヨーレート推定方法。
【請求項１５】
移動体に固定され、データを出力するカメラと、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、
初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部と、
初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部と、
を備えた、ヨーレート推定システム。
【請求項１６】
移動体に固定されたカメラからのデータが入力される装置にて実行されるヨーレート推定プログラムであって、前記装置を、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部、
初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部、及び
初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部、
として機能させる、ヨーレート推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定装置、オプティカルフロー推定方法、オプティカルフロー推定システム、及びオプティカルフロー推定プログラム、並びにそれらを用いたーレート推定装置、ヨーレート推定方法、ヨーレート推定システム、及びヨーレート推定プログラムに関する。
【背景技術】
【０００２】
車両の自動運転や運転支援をするシステムでは、車両前方の移動体の検知や自車両の進路推定を行う。このために、システムは、車載カメラの画像から、画素値の移動ベクトルであるオプティカルフローを推定する。車載カメラの画像における静止物体のオプティカルフローを推定することで自車両の進路推定が可能となり、移動物体のオプティカルフローを推定することで移動物体の自車両に対する相対的な移動ベクトルを推定できる。
【０００３】
しかしながら、特に、移動体や静止物体が相対的に速い速度で移動する場合や、車載カメラに入射する光量が足りない場合（例えば、暗闇で運転している場合）や、逆に車載カメラに入射する光量が大きすぎる場合（例えば、逆光で運転している場合）には、オプティカルフローを有効に算出できる画像が得られないことがある。
【０００４】
上記の問題に鑑みて、車載カメラとして、イベントカメラを採用することが提案されている。従来のカメラが輝度をフレームで取得するのに対して、イベントカメラは、人間の知覚システムを模倣したカメラであり、輝度の変化のみを捉える。イベントカメラの出力は、輝度が所定の閾値以上に変化した場合の時刻、画素の位置、極性（輝度が小さくなったか大きくなったか）を表す非同期のデータ列である。
【０００５】
よって、イベントカメラの出力は、従来のカメラの出力と比較して、空間的に非常にスパース（疎）であり、データ量が非常に少ない。また、イベントカメラは、従来のカメラと比較して、時間解像度が非常に高く（例えば、マイクロミリ秒オーダ）、ダイナミックレンジが高いという特性がある。すなわち、イベントカメラは、従来のカメラと比較して、少データ量、高時間解像度、ハイダイナミックレンジ（ＨＤＲ）という特性を有している。これらの特性は、瞬時ないしリアルタイムに画像処理をして移動体を検知する必要がある車載カメラにとって非常に重要である。
【０００６】
非特許文献１には、イベントカメラの出力（イベントデータ）からオプティカルフローを推定する方法が開示されている。非特許文献１の方法では、イベントデータに関するコスト関数を定義して、当該コスト関数を最適化することでオプティカルフローを推定する。
【０００７】
この方法では、ある一定の時間幅内のイベントデータのみから輝度とオプティカルフローを同時に推定する。コスト関数は、輝度とオプティカルフローに対してイベントカメラの仕組み、オプティカルフローと輝度との整合性、空間的及び時間的な滑らかさに関する項で構成されている。
【０００８】
非特許文献１の方法によって、移動体の動きが速く、かつ、ダイナミックレンジが高いシーンにおいても、瞬時ないしリアルタイムに、輝度の復元及びオプティカルフローの推定が可能となる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】P. Bardow, A. J. Davison, and S. Leutenegger. Simultaneous Optical Flow and Intensity Estimation From an Event Camera. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 884-892, 2016.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、非特許文献１の方法では、スパースなイベントデータから輝度を復元し、その輝度を用いてオプティカルフローを計算するため、正確なオプティカルフローを得ることは難しく、ノイズも多くなる。輝度は主にイベントが発生した個所において復元され、他の個所は滑らかにすることによって復元されることから、オプティカルフローは正確に正しい方向を向いていないことが多く、より正しい向きを示すオプティカルフローを得るためには改善の余地がある。
【００１１】
本発明は、移動体に固定されたカメラで得られたデータに基づくオプティカルフローの推定の精度を向上すること目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様は、移動体に固定されたカメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定装置であって、このオプティカルフロー推定装置は、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部と、初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部とを備えた構成を有している。
【００１３】
この構成により、従来の方法によって初期推定されたオプティカルフローがＦＯＥに従うように正則化されるので、オプティカルフロー推定の精度を向上できる。
【００１４】
上記のオプティカルフロー推定装置において、前記オプティカルフロー正則化部は、初期推定された前記オプティカルフローから前記回転パラメータの回転成分を除いたオプティカルフローとＦＯＥから放射状に延びるオプティカルフローとに基づいて前記修正を行ってよい。
【００１５】
上記のオプティカルフロー推定装置において、前記オプティカルフロー正則化部は、初期推定された前記オプティカルフローから前記回転パラメータの回転成分を除いたオプティカルフローとＦＯＥから放射状に延びるオプティカルフローとに基づいて第２のオプティカルフローを求めることにより前記修正を行い、さらに前記第２のオプティカルフローに前記回転成分を戻してよい。
【００１６】
上記のオプティカルフロー推定装置において、前記カメラはイベントカメラであってよく、前記データはイベントデータであってよい。
【００１７】
上記のオプティカルフロー推定装置において、前記回転パラメータ推定部は、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定してよい。
【００１８】
上記のオプティカルフロー推定装置において、前記オプティカルフロー正則化部は、オプティカルフローの向きをＦＯＥに従って修正してよい。
【００１９】
従来の方法によるオプティカルフローの初期推定では、向きについて誤差が生じやすいところ、この構成によれば、ＦＯＥに従ってオプティカルフローの向きが修正されるので、オプティカルフロー推定の精度を向上できる。
【００２０】
上記のオプティカルフロー推定装置において、前記回転パラメータ推定部は、前記カメラの視野の上部分のイベントデータを用いて前記回転パラメータを推定してよい。
【００２１】
この構成により、ヨーレートの変化が大きい上部分を用いてヨーレートが推定されるので、ヨーレートの推定の精度を向上できる。
【００２２】
上記のオプティカルフロー推定装置において、前記回転パラメータ推定部は、ヨーレートに車両の運動モデルを適用して前記回転パラメータを推定してよい。
【００２３】
この構成により、車両としてあり得ないヨーレートの変化等を排除することができ、ヨーレートの推定精度を向上できる。
【００２４】
上記のオプティカルフロー推定装置において、前記回転パラメータ推定部は、ヨーレートをカルマンフィルタ又はパーティクルフィルタにかけることで前記運動モデルを適用してよい。
【００２５】
本発明の他の態様は、移動体に固定されたカメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定方法であって、このオプティカルフロー推定方法は、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定ステップと、初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定ステップと、初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化ステップとを備えた構成を有している。
【００２６】
本発明のさらに他の態様は、オプティカルフロー推定システムであって、移動体に固定され、データを出力するカメラと、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部と、初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部とを備えた構成を有している。
【００２７】
本発明のさらに他の態様は、移動体に固定されたカメラからのデータが入力される装置にて実行されるオプティカルフロー推定プログラムであって、オプティカルフロー推定プログラムは、前記装置を、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部、初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部、及び初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部として機能させる構成を有している。
【００２８】
本発明のさらに他の態様は、移動体に固定されたカメラからのデータに基づいて前記車両のヨーレートを推定するヨーレート推定装置であって、このヨーレート推定装置は、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部と、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部とを備えた構成を有している。
【００２９】
本発明のさらに他の態様は、移動体に固定されたカメラからのデータに基づいて前記車両のヨーレートを推定するヨーレート推定方法であって、このヨーレート推定方法は、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定ステップと、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定ステップと、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化ステップとを含む構成を有している。
【００３０】
本発明のさらに他の態様は、ヨーレート推定システムであって、このヨーレート推定システムは、移動体に固定され、データを出力するカメラと、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部と、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部とを備えた構成を有している。
【００３１】
本発明のさらに他の態様は、移動体に固定されたカメラからのデータが入力される装置にて実行されるヨーレート推定プログラムであって、このヨーレート推定プログラムは、前記装置を、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部、及び初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部として機能させる構成を有している。
【発明の効果】
【００３２】
本発明によれば、従来の方法によって初期推定されたオプティカルフローがＦＯＥに従うように正則化されるので、オプティカルフロー推定の精度を向上できる。
【図面の簡単な説明】
【００３３】
【図１】図１は、本発明の実施の形態のオプティカルフロー推定システムの構成を示す図である。
【図２】図２は、タイムウィンドウを示す図である。
【図３】図３は、コスト関数を項ごとに図解した図である。
【図４】図４は、ＦＯＥの定義を説明する図である。
【図５】図５は、車載カメラの運動モデルを示す図である。
【図６】図６は、ＦＯＥの性質を説明する図である。
【図７】図７は、視野内においてイベントが発生した個所の例を示す図である。
【図８】図８は、回転運動と並進運動を説明する図である。
【図９】図９は、ＦＯＥによる正則化を説明する図である。
【図１０】図１０は、本発明の実施の形態のオプティカルフロー推定方法のフローチャートである。
【発明を実施するための形態】
【００３４】
以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００３５】
本実施の形態のオプティカルフロー推定システムは、イベントカメラで得られたイベントデータに基づいてオプティカルフローを推定するにあたって、イベントデータに基づくオプティカルフロー推定の不完全さを補うために、車載カメラの運動の特徴と、ＦＯＥ（Focus Of Expansion：拡張焦点）の性質を利用した新規な正則化を行う。従来の方法では、イベントデータから一様な方向を向くオプティカルフローや明らかに誤った方向を向いているオプティカルフローが推定され得るが、本実施の形態のオプティカルフロー推定システムは、オプティカルフローからカメラの回転パラメータを推定し、オプティカルフローの回転成分を考慮してＦＯＥの性質を利用した正則化を行うことで、正しい向きを持つオプティカルフローを推定する。
【００３６】
図１は、本発明の実施の形態のオプティカルフロー推定システムの構成を示す図である。オプティカルフロー推定システム１００は、イベントカメラ１０と、オプティカルフロー推定装置２０とを備えている。オプティカルフロー推定装置２０は、オプティカルフローを正則化するために回転パラメータであるヨーレートを推定するので、ヨーレート推定装置としても機能し、オプティカルフロー推定システム１００はヨーレート推定システムとしても機能する。
【００３７】
イベントカメラ１０は、その光軸が車両の進行方向に向くように、車両に固定される車載カメラである。イベントカメラ１０は、矩形の視野内に車両の直前の路面から遠方の風景までが含まれるように、車両に固定される。なお、車両の直前の路面（車両の前方部分を含んでもよい）は視野の下部分で捉えられ、遠方の物体や高い物体は視野の上部分で捉えられる。
【００３８】
イベントカメラ１０は、二次元配列された画素ごとに輝度の変化を検知する。すなわち、イベントカメラ１０は、生体から発想を得たカメラであって、標準的なフレームベースのカメラとは全く異なるカメラである。フレームベースのカメラでは、ある一定の時間間隔（例えば、約３０ｍ秒間隔）で全画素の輝度値をフレーム画像として出力する。
【００３９】
これに対して、イベントカメラ１０は、フレームという概念を持たず、輝度値が所定の閾値以上に変化したときに、その変化した時刻のタイムスタンプ、変化した画素の位置、変化の極性（正負のいずれに変化したか）の情報を出力する。すなわち、イベントカメラ１０の出力は、非同期のデータ列である。
【００４０】
イベントカメラ１０のタイムスタンプはマイクロ秒のオーダであり、検出可能なイベントの最小時間間隔は１２μｓ程度である。このように、イベントカメラ１０は、時間解像度が極めて高いという特性を有している。また、イベントカメラ１０では、変化がない時刻及び変化がない画素についてはイベントを発生しないので、イベントデータには冗長なデータがなく、イベントデータのデータ量は小さく抑えられる。
【００４１】
さらに、イベントカメラ１０は、ｌｏｇのオーダで輝度の変化を捉えるため、ダイナミックレンジが非常に大きいという特性を有する。標準的なフレームベースのカメラのダイナミックレンジが５０ｄＢ程度であるのに対して、イベントカメラのダイナミックレンジは１２０ｄＢ程度である。
【００４２】
このように、イベントカメラ１０は、標準的なフレームベースのカメラと比較して、時間解像度が高く、データ量が少なく、ダイナミックレンジが大きいという特性を有している。これらの特性は、車載カメラとして用いられる場合に極めて有効である。しかしながら、イベントカメラ１０の出力は、フレームベースのカメラとは出力の形が大きく異なっているため、イベントカメラ１０の出力を従来のコンピュータビジョンのアルゴリズムをそのまま適用することはできない。本実施の形態では、イベントカメラの出力からオプティカルフローを推定するが、この場合にもフレームベースのカメラの出力からオプティカルフローを推定する場合とは異なった工夫が必要である。
【００４３】
オプティカルフロー推定装置２０は、オプティカルフロー初期推定部２１と、回転パラメータ推定部２２と、オプティカルフロー正則化部２３とを備えている。これらの各構成要素は、１つまたは複数のプロセッサが本実施の形態のオプティカルフロー推定プログラムを実行することで実現される。このために、オプティカルフロー推定装置２０は、情報処理装置として、１つまたは複数のプロセッサを備える。オプティカルフロー推定プログラムは、オプティカルフロー推定装置２０の記憶装置に記憶され、プロセッサによって読み出されて実行されてもよいし、可搬型の記憶媒体に記憶されてプロセッサによって読み出されて実行されてもよい。
【００４４】
オプティカルフロー初期推定部２１は、非特許文献１の方法に従って、イベントカメラ１０の出力に基づいてオプティカルフローを推定する。ここでのオプティカルフローの推定は初期推定であって、後述するように、最終的にはオプティカルフロー正則化部２３による正則化によってオプティカルフローが推定される。
【００４５】
オプティカルフロー初期推定部２１は、所定の時間幅のタイムウィンドウを定義して、タイムウィンドウ内で、輝度とオプティカルフローとイベントとの関係について設計されたコスト関数を最適化することで、イベントデータのみから輝度とオプティカルフローとを同時に推定する。
【００４６】
この方法により、イベントカメラが車両に搭載される場合のような、イベントカメラと対象物の両方が動いている複雑な環境において、リアルタイムでオプティカルフローを推定することができる。
【００４７】
図２は、本発明の実施の形態のタイムウィンドウを示す図である。タイムウィンドウの空間的なサイズをＩとし、全時間幅をＴとし、全時間幅Ｔを、δｔの幅をもつＫ個のセルに分ける。コスト関数は式（１）のように定義される。
【数１】
2019204390.tif 000003
【００４８】
ここで、Ｌは輝度であり、ｕはオプティカルフローであり、添え字ｘは空間微分を表しており、添え字ｔは時間微分を表している。また、ｔｐは前回イベントが発生した時刻であり、φ（ｘ）は位置ｘでのタイムウィンドウ内のイベントの数であり、ｉは各イベントのインデクスを表している。さらに、θはイベントカメラ１０でイベントを発生させるための輝度変化の閾値であり、ρｉはインデクスｉのイベントの極性を表している。
【００４９】
第５項の関数ｈθは、式（２）で定義される。
【数２】
2019204390.tif 000004
第５項以外の項はすべてＬ１ノルムが使用されており、エッジを保存して最適化を行うことができる。
【００５０】
図３は、本発明の実施の形態のコスト関数を項ごとに図解した図である。図３に示すように、第１項は、オプティカルフローの空間微分のＬ１ノルムであり、微分が大きい箇所（即ち、変化が激しい箇所）のコストが大きくなる。したがって、第１項は、推定したオプティカルフローの空間的な滑らかさを評価する項である。
【００５１】
第２項は、オプティカルフローの時間微分のＬ１ノルムであり、微分が大きい時刻（即ち、変化が激しい時刻）のコストが大きくなる。したがって、第２項は、推定したオプティカルフローの時間的な滑らかさを評価する項である。第３項は、画像の空間微分のＬ１ノルムであり、推定した輝度画像の空間的な滑らかさを評価する項である。
【００５２】
第４項について説明する前に、オプティカルフローの定義を説明する。オプティカルフローは、フレーム間の画素の移動ベクトルとして定義される。いま、時刻ｔにおける位置（ｘ，ｙ）の輝度値をＩ（ｘ，ｙ，ｔ）とし、その画素がΔｔという微小時間経過した後にΔｘ，Δｙだけ移動するとする。このとき、移動する前と移動した後とでは輝度値が同じになることから、下式（３）の定義式が得られる。
【数３】
2019204390.tif 000005
【００５３】
この式（３）の左辺をテイラー展開して、２次以降の項を切り捨てると、下式（４）が得られる。
【数４】
2019204390.tif 000006
【００５４】
式（４）が成り立つためには、右辺の第２項以降が０になる必要がある。よって、下式（５）のオプティカルフローの拘束式が得られる。なお、このとき、両辺をΔｔで割っている。
【数５】
2019204390.tif 000007
【００５５】
また、画素の単位時間あたりの移動量がオプティカルフローになることから、ｕ＝Δｘ／Δｔ、ｖ＝Δｙ／Δｔとおき、Ｉｘ＝∂Ｉ／∂ｘ、Ｉｙ＝∂Ｉ／∂ｙ、∂Ｉ／∂ｔ＝Ｉｔとおくと、拘束式は下式（６）のように表される。
【数６】
2019204390.tif 000008
【００５６】
また、ｕ＝（ｕ，ｖ）、Ｉｘ＝（Ｉｘ，Ｉｙ）として、内積の形で表すと、拘束式は下式（７）となり、式（１）のコスト関数の第４項の表記と同様になる。
【数７】
2019204390.tif 000009
【００５７】
第４項は、式（７）の左辺のＬ１ノルムとなっており、輝度とオプティカルフローが整合していれば０に近づく。よって、この第４項は、輝度とオプティカルフローとの整合性を評価する項である。
【００５８】
第５項及び第６項は、イベントカメラに関するデータ項である。イベントが発生する仕組みに基づいて、タイムウィンドウ内のイベントがあった箇所の輝度値の整合性とイベントがない箇所の輝度の不変性という２つ性質に関して、以下に説明するようにコストを設計することで、輝度画像が再構成される。
【００５９】
第５項は、輝度値にθ以上の変化があったときに、その超えた分をコストとし、輝度値にθ以上の変化がなかったときに、コストを０とする項である。すなわち、イベントが発生した場合には、輝度値にθ以上の変化があったときであり、同じ画素でイベントが発生した場合には、前のイベントが発生したときの輝度値からθを超えて離れている分がこの第５項のコストとなる。前にイベントが変化してから次にイベントが発生するまでは閾値θ以上の変化はないので、この間は第５項は０となり何もコストに加えられない。
【００６０】
オプティカルフロー初期推定部２１は、このコスト関数（式（１））をタイムウィンドウ内で最適化することで、輝度とオプティカルフローを推定する。オプティカルフロー初期推定部２１は、１フレーム分の最適化を終えると、タイムウィンドウを１セル分スライドさせて、タイムウィンドウをオーバーラップさせながら最適化を行うことで、輝度とオプティカルフローを推定していく。
【００６１】
回転パラメータ推定部２２及びオプティカルフロー正則化部２３の説明に先立って、ＦＯＥの概念と、車載カメラとしてのイベントカメラ１０のＦＯＥの特性を利用した運動解析とを説明する。
【００６２】
図４は、ＦＯＥの定義を説明する図である。一般に、カメラが並進運動のみを行う場合には、図４に示すように、ＦＯＥは、カメラの微小時間における移動ベクトルの向きの並進軸と画像平面との交点と定義される。
【００６３】
ここで、図４の大文字のＸ，Ｙ，Ｚはカメラ座標系、小文字のｘ，ｙは画像座標系を表している。ＦＯＥの画像座標系における位置を（ｘ０，ｙ０）とし、並進ベクトルをＴとすると、単純にカメラ座標系と画像座標系の関係から焦点距離ｆを使って下式（８）を導くことができる。
【数８】
2019204390.tif 000010
【００６４】
よって、この式（８）から、ＦＯＥの座標は下式（９）で表される。
【数９】
2019204390.tif 000011
【００６５】
車載カメラとしてのイベントカメラ１０には、イベントカメラ１０が車両に固定されているという特徴と、横方向の並進運動成分が進行方向の並進運動成分に比べて非常に小さい、即ち、Ｔｘ＜＜Ｔｚ、Ｔｙ＜＜Ｔｚであるという特徴がある。したがって、車載カメラとしてのイベントカメラ１０には、ＦＯＥが一定であり、その位置がほぼ視野の中心になるという性質がある。イベントカメラ１０の光軸と車の進行方向とが完全に一致していればＦＯＥは視野の中心になるが、ずれていれば進行方向以外の並進運動が生じるため、ＦＯＥは視野の中心ではなくなる。
【００６６】
このイベントカメラ１０が車載カメラであることによるＦＯＥの特性を用いることで、オプティカルフローの推定、イベントカメラ１０の回転パラメータの推定を容易に行うことができる。
【００６７】
図５は、車載カメラの運動モデルを示す図である。図５に示すように、イベントカメラ１０が並進運動Ｔ＝（Ｔｘ，Ｔｙ，Ｔｚ）Ｔ、回転運動Ω＝（Ωｘ，Ωｙ，Ωｚ）Ｔで表される運動をしたときのカメラ座標系における点Ｐ（Ｘｎ，Ｙｎ，Ｚｎ）から点Ｐ´（Ｘｎ＋１，Ｙｎ＋１，Ｚｎ＋１）への移動を考える。
【００６８】
このとき、点Ｐのイベントカメラ１０に対する相対移動ベクトルはＴ´＝−Ｔ、Ω´＝−Ωとなることから、点Ｐと点Ｐ´との関係は、下式（１０）で表現される。
【数１０】
2019204390.tif 000012
【００６９】
このとき、Ｒは点Ｐの相対回転行列であり、回転角が小さい場合には、正弦及び余弦のテイラー展開の２次以上の項を省略できるため、各軸の回転パラメータを用いて下式（１１）のように表される。
【数１１】
2019204390.tif 000013
【００７０】
式（１１）を式（１０）に代入すると、下式（１２）が導かれる。
【数１２】
2019204390.tif 000014
【００７１】
各方向の変化量は下式（１３）で表される。
【数１３】
2019204390.tif 000015
【００７２】
次に、点Ｐから点Ｐ´に移動する場合の画像上の点ｐ（ｘｎ，ｙｎ）から点ｐ´（ｘｎ＋１，ｙｎ＋１）への移動を考える。画像上の点ｐ（ｘｎ，ｙｎ）は投影変換式から、カメラ座標系の点Ｐ（Ｘｎ，Ｙｎ，Ｚｎ）を用いて下式（１４）で表現される。
【数１４】
2019204390.tif 000016
【００７３】
画面上の点ｐの移動速度をｖ＝（ｖｘ，ｖｙ）とすると、式（１４）を微分することで下式（１５）が導かれる。
【数１５】
2019204390.tif 000017
【００７４】
ここで、サンプリング間隔が十分に小さい場合は、フレーム間の画像上の対応点の関係は下式（１６）のようになる。
【数１６】
2019204390.tif 000018
【００７５】
式（１６）に自車両の運動を考慮した式（１３）とＦＯＥを定義した式（９）を代入し、ＴＺ／Ｚｎ≠０を仮定して整理することで、下式（１７）が得られる。
【数１７】
2019204390.tif 000019
【００７６】
この式（１７）は、ＦＯＥの座標と、対応点の座標と、回転パラメータの３つの要素で構成されている。すなわち、ＦＯＥをあらかじめ求めておき、対応点を見つけることで回転パラメータを推定することができる。
【００７７】
本実施の形態の回転パラメータ推定部２２は、さらに、得られたヨーレートに車両の運動モデルを適用することで最終的なヨーレートを推定する。本実施の形態で得られるイベントデータは、車載のイベントカメラ１０によって得られるものであるので、極端にヨー角が変化することはないと想定できる。よって、そのような極端なヨー角の変化を排除するように、フィルタリングを行うことで、推定するヨーレートの精度を向上できる。具体的には、回転パラメータ推定部２２は、ヨーレートをカルマンフィルタ又はパーティクルフィルタにかけることで最終的な推定ヨーレートを得る。
【００７８】
図６は、ＦＯＥの性質を説明する図である。対応点の移動ベクトルはオプティカルフローそのものであり、Ωを含む項はオプティカルフローの回転成分である。図６に示すように、オプティカルフローから回転による成分を除くことで、オプティカルフローはＦＯＥから放射状に延びることになる。
【００７９】
本実施の形態では、このようなＦＯＥの性質を利用して正則化を行う。イベントカメラ１０を用いて推定されたオプティカルフローは、イベントデータというスパースなデータから推定されていることから、不完全なものであり、特に正確な向きが得られないことがある。そこで、本実施の形態では、ＦＯＥを用いた正則化を加えることで向きの推定精度を向上する。
【００８０】
回転パラメータ推定部２２は、初期推定されたオプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する。すなわち、回転パラメータ推定部２２は、イベントカメラ１０が車両に搭載されることを踏まえて、カーブにおいて発生するハンドル操作によるＹ軸周りの回転（ヨーレート）ΩＹのみを考え、Ｘ軸周りの回転（ピッチレート）ΩＸ及びＺ軸周りの回転（ロールレート）ΩＺはないものとする。ΩＸ＝ΩＺ＝０を式（１７）に代入すると下式（１８）が得られる。
【数１８】
2019204390.tif 000020
【００８１】
自車両の運動により仮定した画像上の点ｐと点ｐ´を、推定した輝度画像から決める対応点ｐ＝（ｘ，ｙ）と点ｐ´＝（ｘ´，ｙ´）に置き換えて整理をすると下式（１９）が得られる。
【数１９】
2019204390.tif 000021
【００８２】
よって、１つの対応点ｐ（ｘ，ｙ）とｐ´（ｘ´，ｙ´）が分かれば、対応点とＦＯＥの座標から回転パラメータΩＹを算出できる。ここで、対応点とは、フレーム間の画素の移動を考えたときの同一画素を示す点の組のことであり、上述のオプティカルフローと同義である。本実施の形態では、全画素分の密なオプティカルフローを推定しているので、式（１９）は、初期推定したオプティカルフローｕ＝（ｕｘ，ｕｙ）を用いて下式（２０）のように書き直すことができる。
【数２０】
2019204390.tif 000022
【００８３】
この式（２０）から全画素分のΩＹを求めることができる。このなかから推定値Ω＾Ｙを求めるために、イベントを利用した投票を行う。図７は、視野内においてイベントが発生した個所の例を示す図である。式（２０）によって全画素のΩＹを求めた後に、Δの幅で離散化して、図７に示す視野（全画素）の上部分におけるイベント発生個所での最頻値をΩ＾Ｙとする。イベントが発生した個所のみで投票を行う理由は、輝度復元とオプティカルフローの仕組みにある。
【００８４】
すなわち、オプティカルフローはコスト関数の第４項のオプティカルフローに関する項によって、復元された輝度に整合するように推定される。この輝度値は、コスト関数の第６項のイベントカメラに関する項によって、イベントが発生したときのイベントと輝度とが整合するように推定される。すなわち、入力であるイベントデータが最も反映されるイベント発生個所は信頼度が高いといえる。
【００８５】
これに対して、イベント発生個所以外の個所は、コスト関数の第１項から第３項までの滑らかさの項によって周りの値から推定されるので信頼性は低いといえる。したがって、視野の上部分のみで投票ことで、回転成分を正確に捉えることができる。なお、上部分は、例えば視野を中央の高さで分けた上半分の部分として定義してよい。
【００８６】
図８は、回転運動と並進運動を説明する図である。図８の例では、車両は左にカーブしている。視野の下部分はイベントカメラ１０に近い部分であり、白線や道路脇の塀などの個所のオプティカルフローは、イベントカメラ１０の並進運動による影響が比較的大きくなり、回転による成分が顕著には現れない。
【００８７】
これに対して、視野の上部分はイベントカメラ１０から遠い部分であり、ビルなどの個所のオプティカルフローは、イベントカメラ１０の回転運動による影響が比較的大きくなり、回転による成分が顕著に現れる。このように、回転パラメータを正確に求めるためには視野の上部分を用いることが有効であり、よって、回転パラメータ推定部２２は、視野の上部分に限定して投票を行う。
【００８８】
オプティカルフロー正則化部２３は、回転パラメータ推定部２２と同様に、式（１８）において対応点をオプティカルフローｕに置き換える。また、式（１８）の回転パラメータΩＹを含む項は、オプティカルフローの回転成分を表している。オプティカルフローの回転成分を下式（２１）のようにｕΩ＝（ｕｘΩ，ｕｙΩ）と置くと、下式（２２）が得られる。
【数２１】
2019204390.tif 000023
【数２２】
2019204390.tif 000024
【００８９】
式（２２）では、上述のＦＯＥの性質が簡潔に表されている。回転を除いたフローｕ´を下式（２３）で表す。
【数２３】
2019204390.tif 000025
【００９０】
ここで、ＦＯＥから放射状に各座標に延ばした矢印をｕｆｏｅとし、下式（２４）のようにｕ´と長さを同じにしたものをｕ´ｆｏｅとする。
【数２４】
2019204390.tif 000026
【００９１】
このｕ´ｆｏｅとｕ´に対して、αで表される比で下式（２５）のようにｕ＾´を決定する。
【数２５】
2019204390.tif 000027
【００９２】
オプティカルフロー正則化部２３は、このｕ´ｆｏｅとｕ´の２乗誤差を目的関数として最適化を行うことで、回転成分を除いたオプティカルフローをＦＯＥに従うように修正（正則化）する。この最適化後に、オプティカルフロー正則化部２３は、下式（２６）のようにｕ＾´に回転成分ｕΩを戻して、ｕ＾を得る。
【数２６】
2019204390.tif 000028
【００９３】
図９は、ＦＯＥによる正則化を説明する図である。オプティカルフロー正則化部２３による正則化により、図９に示すようにオプティカルフローはＦＯＥに従うように修正され、よりよいものになると考えられる。このように、オプティカルフローの初期推定、及びその後の回転パラメータの推定及び正則化を、タイムウィンドウをスライドさせて繰り返すことで、より正しい向きにオプティカルフローを正則することができ、それに伴って推定する回転パラメータΩ＾Ｙの精度も向上する。
【００９４】
図１０は、本発明の実施の形態のオプティカルフロー推定方法のフローチャートである。オプティカルフロー推定方法は、オプティカルフロー推定装置２０において実行される。まず、オプティカルフロー初期推定部２１は、指定されたタイムウィンドウについて、オプティカルフローの初期推定を行う（ステップＳ１０１）。次に、回転パラメータ推定部２２が、初期推定されたオプティカルフローに基づいて、イベントカメラ１０（即ち、車両）の回転パラメータ（ヨーレート）を推定する（ステップＳ１０２）。
【００９５】
オプティカルフロー正則化部２３は、初期推定されたオプティカルフローをＦＯＥを用いて正則化する（ステップＳ１０３）。オプティカルフロー推定装置２０は、処理すべきタイムウィンドウをスライドさせ（ステップＳ１０４）、ステップＳ１０１〜ステップＳ１０３を繰り返す。
【００９６】
以上のように、本実施の形態のオプティカルフロー推定システム１００によれば、イベントカメラが車両の進行方向を向いて固定される場合にはヨーレートで補正したＦＯＥが固定であるという性質を利用して、イベントデータに基づいて初期推定したオプティカルフローを正則化して最終的なオプティカルフローを推定する。すなわち、まず、ＦＯＥによる正則なしの問題（凸問題）を解いた（初期推定）後に、それを初期値として正則化ありの問題（非凸問題）を解く（最終推定）という構成によって、オプティカルフローの推定精度を向上させる。
【００９７】
また、初期推定されたオプティカルフローをＦＯＥに従って修正する際に、オプティカルフローの向きを用いる構成を採用している。これにより、ノイズの影響を受けやすい向きの推定の精度を向上できる。
【００９８】
さらに、全画素について得られたヨーレートの最頻値を採用することでヨーレートを推定するが、その際には、イベントカメラ１０の視野の上部分のみで投票を行う。これにより、ヨーレートが反映されたオプティカルフローが出現しやすい部分のみを用いてヨーレートを推定するので、ヨーレート推定の精度を向上できる。
【００９９】
なお、上記の実施の形態では、車両に搭載されたイベントカメラにてイベントデータが生成され、当該イベントデータからオプティカルフローを推定するオプティカルフロー推定装置を説明したが、本発明のオプティカルフロー推定装置は、これに限られない。すなわち、オプティカルフローの推定に用いるデータはイベントデータに限られず、通常のカメラで得られた通常の画像データであってもよい。このように通常のカメラで得られる画像データの場合にも、初期推定された回転パラメータに基づいて初期推定されたオプティカルフローをＦＯＥに従うように修正を行って、初期推定されたオプティカルフローを正則化することで、オプティカルフローの推定の精度を向上できる。
【０１００】
また、カメラは車両に搭載されるものに限られず、車両以外の移動体に備えられるものであってよい。さらに、上記の実施の形態では、カメラが車両に搭載されることを前提として、回転パラメータ推定部２２が、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定するオプティカルフロー推定装置を説明したが、移動体の種類によっては、回転パラメータ推定部２２は、回転パラメータとして、ピッチレート又はロールレートを推定してもよい。
【産業上の利用可能性】
【０１０１】
本発明は、オプティカルフロー推定の精度を向上でき、カメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定装置等として有用である。
【符号の説明】
【０１０２】
１０  イベントカメラ
２０  オプティカルフロー推定装置（ヨーレート推定装置）
２１  オプティカルフロー初期推定部
２２  回転パラメータ推定部
２３  オプティカルフロー正則化部
１００  オプティカルフロー推定システム（ヨーレート推定システム）
【図１】
2019204390.tif 000029
【図２】
2019204390.tif 000030
【図３】
2019204390.tif 000031
【図４】
2019204390.tif 000032
【図５】
2019204390.tif 000033
【図６】
2019204390.tif 000034
【図７】
2019204390.tif 000035
【図８】
2019204390.tif 000036
【図９】
2019204390.tif 000037
【図１０】
2019204390.tif 000038