(57)【要約】  本発明はイベントデータストリームの処理方法及び対応するコンピューティング機器を開示する。方法は、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップと、各第１期間のイベントデータに対して、イベントデータを分析することによって第１期間内の各イベントに対応する時差情報を得るステップと、第１期間内の各イベントに対応する時差情報に応じて、第１期間における移動変化を表す画像フレームを生成するステップと、を含む。
2021523435.tif 000002
【特許請求の範囲】
【請求項１】
イベントデータストリームの処理方法であって、前記イベントデータストリームはダイナミックビジョンセンサーからのものであり、特定のイベントが発生した画素情報を記録するために用いられ、前記イベントデータストリームの処理方法は、
前記イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップと、
前記複数の第１期間におけるそれぞれのイベントデータに対して、前記イベントデータを分析することによって該当する第１期間内の各イベントに対応する時差情報を得るステップと、
該当する第１期間内の各イベントに対応する時差情報に応じて、該当する第１期間における移動変化を表す画像フレームを生成するステップと、
を含む、イベントデータストリームの処理方法。
【請求項２】
前記特定のイベントは、ダイナミックビジョンセンサー中の画素の輝度が変化したことであり、
取得されたイベントデータは前記第１期間内に輝度が変化したすべての画素の座標位置及び輝度変化のタイムスタンプを含む、請求項１に記載のイベントデータストリームの処理方法。
【請求項３】
前記イベントデータストリームから前記複数の第１期間の前記イベントデータを順番に読み取るステップは、
前記イベントデータストリームから前記複数の第１期間の前記イベントデータを順番に読み取り、且つ隣接する第１期間のイベントデータ同士は第２期間のイベントデータが互いに重なるステップをさらに含む、請求項１又は２に記載のイベントデータストリームの処理方法。
【請求項４】
前記イベントデータストリームから前記複数の第１期間の前記イベントデータを順番に読み取るステップは、
前記第１期間内に１つの画素の輝度が複数回変化した場合、読み取られたイベントデータでは該当する画素の座標位置に複数のタイムスタンプが対応するステップと、
前記複数のタイムスタンプから該当する画素の最新の輝度変化のタイムスタンプを、該当画素の座標位置に対応するタイムスタンプとして選択するステップと、を含む、請求項１から３のいずれか一項に記載のイベントデータストリームの処理方法。
【請求項５】
前記イベントデータを分析することによって前記第１期間内の各イベントに対応する時差情報を得るステップは、
各第１期間のイベントデータに対して、該当する第１期間の開始時点及び／又は終了時点を記録するステップと、
前記開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて前記第１期間内の各イベントに対応する時差情報を計算するステップと、を含む、請求項２から４のいずれか一項に記載のイベントデータストリームの処理方法。
【請求項６】
前記第１期間内の各イベントに対応する時差情報に応じて前記第１期間における移動変化を表す画像フレームを生成するステップは、
前記各イベントに対応する時差情報に応じて、該当イベントに対応する画素値を計算するステップと、
前記第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて、前記第１期間における移動の変化を表す画像フレームを生成するステップと、を含む、請求項２から５のいずれか一項に記載のイベントデータストリームの処理方法。
【請求項７】
前記各イベントに対応する時差情報に応じて、該当イベントに対応する画素値を計算するステップは、
前記各イベントに対応する時差情報を前処理し、前記各イベントに対応する処理済み時差情報を得るステップと、
前記各イベントに対応する処理済み時差情報に応じて、前記各イベントに対応する画素値を計算するステップと、をさらに含む、請求項６に記載のイベントデータストリームの処理方法。
【請求項８】
前記前処理は、前記第１期間内の前記各イベントに対応する時差情報を所定の区間内にマッピングすることを含む、請求項７に記載のイベントデータストリームの処理方法。
【請求項９】
コンピューティング機器であって、
１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のプログラムと、を備え、前記１つ又は複数のプログラムは前記メモリに記憶され、前記１つ又は複数のプロセッサにより実行されるように構成され、前記１つ又は複数のプログラムは請求項１から８のいずれか一項に記載のイベントデータストリームの処理方法を実行するための命令を含む、コンピューティング機器。
【請求項１０】
コンピュータに、請求項１から８のいずれか一項に記載のイベントデータストリームの処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互引用］
本出願は２０１８年５月１５日に提出された中国特許出願Ｎｏ．２０１８１０４６４２８０．Ｘに基づく優先権の利益を主張するものであり、その内容は本出願に援用される。
本発明はデータ処理の技術分野に関し、特にイベントデータストリームの処理方法及びコンピューティング機器に関する。
【背景技術】
【０００２】
リアルタイムなオプティカルフロー計算は、例えば、オプティカルフローに基づく分割、移動検出、航空機や車両用の目標追跡及び障害物回避等のコンピュータビジョン分野では重要な役割を果たしてきている。リアルタイム応用では、高精度を維持しながらオプティカルフロー計算の速度を高めることは急務の一つである。その中で、オプティカルフローは決定的な役割を果たす基本的な要素として、多くのオプティカルフロー計算方法が拡張されている。従来のオプティカルフロー方法は普通の画像センサーから捕捉される大量のフレームデータを処理し、従って、静的背景から冗長データが繰り返して発生する。大量の冗長データの読み出し及び処理は、膨大な計算コストにつながり、処理速度が制限される。
【０００３】
一方、イベントに基づくモーションセンサーは、オプティカルフロー計算のリアルタイム性の向上の点では極めて大きな潜在力を示している。普通の画像センサーに比べて、モーションセンサーは相対輝度変化を示すイベントに非同期で応答する。且つ、モーションセンサーの出力は非同期デジタルイベントのストリームであり、露光時間やフレームレートに制限されることがなく、通常高価な高速カメラが数千フレームレートで捕捉する高速移動物体を検出できる反面、出力される冗長データが大幅に減少する。従って、モーションセンサーに対して、イベントに基づくオプティカルフロー方法は幅広く適用されている。
【０００４】
一般には、イベントに基づくオプティカルフロー方法は、イベントに基づくＬｕｃａｓ−Ｋａｎａｄｅ方法、及び局所平面フィッティング方法に分けられる。イベントに基づくオプティカルフロー方法では、１つの重要なステップとして、局所領域中の画素強度に基づいて勾配（又は傾き）情報を抽出する。しかしながら、従来のダイナミックビジョンセンサー（Ｄｙｎａｍｉｃ  Ｖｉｓｉｏｎ  Ｓｅｎｓｏｒ、ＤＶＳ）システムでは、イベントは照明なし場合にしか画素位置を報告しない。従って、短時間内に累積されたイベントの数を使用して各画素の強度をシミュレーションする。以上からわかるように、このシミュレーション方法は、リアルタイム強度レベルではなく、相対強度変化を示すため、不正確である。また、イベントに基づくオプティカルフロー計算の正確性を制限する別の課題は、高速移動物体の検出時のイベントのスパース性である。従来のＤＶＳの動作時、各画素は個別に動作し、且つ単一アクティブ画素によって発生するイベントはオプティカルフローの計算に十分な情報を提供できない。
【０００５】
上記理由に鑑みて、オプティカルフロー計算の速度を高めるために、画素強度に基づいて移動勾配情報を抽出する新たなスキームが望まれている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、以上の少なくとも１つの課題を解決又は少なくとも軽減するために、イベントデータストリームの処理方法及びコンピューティング機器を提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、イベントデータストリームの処理方法を提供し、イベントデータストリームはダイナミックビジョンセンサーからのものであり、特定のイベントが発生した画素情報を記録するために用いられ、方法は、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップと、各第１期間のイベントデータに対して、イベントデータを分析することによって上記第１期間内の各イベントに対応する時差情報を得るステップと、上記第１期間内の各イベントに対応する時差情報に応じて、上記第１期間における移動変化を表す画像フレームを生成するステップと、を含む。
【０００８】
好ましくは、本発明に係る処理方法では、特定のイベントは、ダイナミックビジョンセンサー中の画素の輝度が変化したことであり、取得されたイベントデータは第１期間内に輝度が変化したすべての画素の座標位置及びその輝度変化のタイムスタンプを含む。
【０００９】
好ましくは、本発明に係る処理方法では、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップは、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取り、且つ隣接する第１期間のイベントデータ同士は第２期間のイベントデータが互いに重なるステップをさらに含む。
【００１０】
好ましくは、本発明に係る処理方法では、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取るステップは、第１期間内に１つの画素の輝度が複数回変化した場合、読み取られたイベントデータでは上記画素の座標位置に複数のタイムスタンプが対応するステップと、複数のタイムスタンプから上記画素の最新の輝度変化のタイムスタンプを、上記画素の座標位置に対応するタイムスタンプとして選択するステップと、を含む。
【００１１】
好ましくは、本発明に係る処理方法では、イベントデータを分析することによって上記第１期間内の各イベントに対応する時差情報を得るステップは、各第１期間のイベントデータに対して、上記第１期間の開始時点及び／又は終了時点を記録するステップと、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップと、を含む。
【００１２】
好ましくは、本発明に係る処理方法では、第１期間内の各イベントに対応する時差情報に応じて上記第１期間における移動変化を表す画像フレームを生成するステップは、各イベントに対応する時差情報に応じて、上記イベントに対応する画素値を計算するステップと、第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて、上記第１期間における移動の変化を表す画像フレームを生成するステップと、を含む。
【００１３】
好ましくは、本発明に係る処理方法では、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップは、それぞれ第１期間の終了時点と各イベントのタイムスタンプとの差を計算し、対応する各イベントの時差情報を得るステップを含む。
【００１４】
好ましくは、本発明に係る処理方法では、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップは、それぞれ第１期間内の各画素のタイムスタンプと開始時点との差を計算し、対応する各イベントの時差情報を得るステップを含む。
【００１５】
好ましくは、本発明に係る処理方法では、各イベントに対応する時差情報に応じて、上記イベントに対応する画素値を計算するステップは、各イベントに対応する時差情報を前処理し、各イベントに対応する処理済み時差情報を得るステップと、各イベントに対応する処理済み時差情報に応じて、上記イベントに対応する画素値を計算するステップと、をさらに含む。
【００１６】
好ましくは、本発明に係る処理方法では、前処理は、第１期間内の各イベントに対応する時差情報を所定の区間内にマッピングすることを含む。
【００１７】
好ましくは、本発明に係る処理方法では、イベントｉに対応する画素値ｐｉｘｅｌｉは式１
【数１】
2021523435.tif 000003
（式中、Δｔｉはイベントｉに対応する処理済み時差情報である）によって計算される。
【００１８】
好ましくは、本発明に係る処理方法では、イベントｉに対応する画素値ｐｉｘｅｌｉは、式２
【数２】
2021523435.tif 000004
（式中、Δｔｉはイベントｉに対応する処理済み時差情報、Ａは定数である）によって計算される。
【００１９】
好ましくは、本発明に係る処理方法では、第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて画像フレームを生成するステップは、所定のサイズの画像を構成し、上記画像を初期化して初期画像フレームとするステップと、初期画像フレームでは第１期間内の各イベントに対応する画素座標を検索するステップと、上記第１期間内の各イベントの画素値を初期画像フレーム中の上記イベントに対応する画素座標の画素値として、画像フレームを得るステップと、を含む。
【００２０】
本発明の別の態様によれば、コンピューティング機器を提供し、１つ又は複数のプロセッサと、メモリと、１つ又は複数のプログラムと、を備え、１つ又は複数のプログラムはメモリに記憶され、１つ又は複数のプロセッサにより実行されるように構成され、１つ又は複数のプログラムは処理方法のいずれかを実行するための命令を含む。
【００２１】
本発明のさらに別の態様によれば、１つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体を提供し、１つ又は複数のプログラムは命令を含み、命令がコンピューティング機器により実行されると、コンピューティング機器に処理方法のいずれかを実行させる。
【発明の効果】
【００２２】
本発明に係るイベントデータストリームの処理スキームによれば、１つの期間内にトリガーされるイベントに対して、ます、各イベントに対応するタイムスタンプに応じて各イベントの時差情報を分析し、さらに時差情報に応じて各イベントに対応する画素値を算出し、さらに上記期間における移動の変化を表す画像フレームを生成する。表示される画像フレームによって、シーン中の移動情報を直感的に反映できる。また、後続の移動分析及び計算が容易になり、オプティカルフロー計算の速度向上に寄与する。
【００２３】
特に、特定の期間内にイベントが早くトリガーされるほど、対応する画像フレーム中の画素値が大きく、生成される画像フレーム中の画素値の大きさに応じて、シーン中の移動物体の現在の移動情報及びその移動軌跡を分析でき、オプティカルフロー計算の速度向上に寄与する。
【図面の簡単な説明】
【００２４】
上記及び関連目的を実現するために、本明細書では、以下の説明及び図面を参照しながらいくつかの例示的な態様を説明し、これらの態様は本明細書に開示されている原理を実施できる様々な形態を示し、且つすべての態様及びその同等態様は請求された主題の範囲に属する。図面を参照しながら以下の詳細説明を読むことにより、本開示の上記及びほかの目的、特徴及び利点がさらに明らかになる。本開示を通して、同一符号は通常、同一部材又は要素を示す。
【００２５】
【図１】図１は本発明のいくつかの実施例に係るコンピューティング機器１００の模式図を示す。
【図２】図２は本発明のいくつかの実施例に係るダイナミックビジョンセンサーからイベントデータストリームを出力する模式図を示す。
【図３】図３は本発明のいくつかの実施例に係るイベントデータストリームの処理方法３００のフローチャートを示す。
【図４】図４は本発明のいくつかの実施例に係る複数の第１期間のイベントデータを読み取る模式図を示す。
【図５】図５は本発明の一実施例に係る第１期間のイベントデータを示す。
【図６】図６は本発明の実施例に係る画像フレームの模式図を示す。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本開示の例示的な実施例をさらに詳細に説明する。図面には本開示の例示的な実施例が示されているが、ここで説明される実施例に限定されることなく、様々な形態で本開示を実施できると理解すべきである。その反面、これらの実施例は本開示をよりよく理解でき、且つ本開示の範囲を当業者に完全に伝えることができるために提供されている。
【００２７】
図１は例示的なコンピューティング機器１００のブロック図である。基本的な構成１０２では、コンピューティング機器１００は典型的には、システムメモリ１０６及び１つ又は複数のプロセッサ１０４を備える。メモリバス１０８はプロセッサ１０４とシステムメモリ１０６との通信に使用できる。
【００２８】
所望の構成によって、プロセッサ１０４は様々なタイプのプロセッサであってもよく、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル情報プロセッサ（ＤＳＰ）又はそれらの任意の組み合わせを含むが、これらに限定されない。プロセッサ１０４は、例えば、一次高速バッファ１１０及び二次高速バッファ１１２のような１つ又は複数のレベルの高速バッファ、プロセッサカーネル１１４及びレジスタ１１６を備えてもよい。例示的なプロセッサカーネル１１４は演算論理ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理カーネル（ＤＳＰカーネル）又はそれらの任意の組み合わせを備えてもよい。例示的なメモリコントローラ１１８はプロセッサ１０４と組み合わせて使用されてもよく、又は、いくつかの実現では、メモリコントローラ１１８はプロセッサ１０４の１つの内部部分であってもよい。
【００２９】
所望の構成によって、システムメモリ１０６は様々なタイプのメモリであってもよく、揮発性メモリ（例えば、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、フラッシュメモリ等）、又はそれらの任意の組み合わせを含むが、これらに限定されない。システムメモリ１０６はオペレーティングシステム１２０、１つ又は複数のアプリケーション１２２、及びプログラムデータ１２４を備えてもよい。いくつかの実施形態では、アプリケーション１２２はオペレーティングシステム上でプログラムデータ１２４を利用して操作を行うように構成されてもよい。いくつかの実施例では、コンピューティング機器１００はイベントデータストリームの処理方法３００を実行するように構成され、プログラムデータ１２４は方法３００を実行するための命令を含む。
【００３０】
コンピューティング機器１００はさらに、バス／インターフェースコントローラ１３０を経由する様々なインターフェース機器（例えば、出力機器１４２、ペリフェラルインターフェース１４４及び通信機器１４６）から基本的な構成１０２への通信に寄与するインターフェースバス１４０を備えてもよい。例示的な出力機器１４２はグラフィックス処理ユニット１４８及びオーディオ処理ユニット１５０を備える。それらは、１つ又は複数のＡ／Ｖポート１５２を経由して例えば、ディスプレイ又はスピーカーのような様々な外部機器と通信することに寄与するように構成されてもよい。例示的なペリフェラルインターフェース１４４はシリアルインターフェースコントローラ１５４及びパラレルインターフェースコントローラ１５６を備えてもよく、１つ又は複数のＩ／Ｏポート１５８を経由して例えば、入力機器（例えば、キーボード、マウス、ペン、音声入力機器、画像入力機器）又はほかのペリフェラル（例えば、プリンタ、スキャナー等）のような外部機器と通信することに寄与するように構成されてもよい。例示的な通信機器１４６は、１つ又は複数の通信ポート１６４を経由してネットワーク通信リンクによって１つ又は複数のほかのコンピューティング機器１６２と通信することに寄与するように構成されてもよいネットワークコントローラ１６０を備えてもよい。
【００３１】
ネットワーク通信リンクは通信媒体の一例であってもよい。通信媒体は通常、例えば、キャリア又はほかの伝送メカニズムのような変調データ信号中のコンピュータ可読命令、データ構造、プログラムモジュールとして具体化されてもよく、且つ任意の情報伝送媒体を含んでもよい。「変調データ信号」は、そのデータセット中の１つ又は複数又はその変更が信号内で情報を符号化することによって行われるような信号であってもよい。非限定的な例として、通信媒体は、例えば、有線ネットワーク又は専用ネットワークのような有線媒体、及び例えば、音、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）又はほかの無線媒体のような様々な無線媒体を含んでもよい。ここで使用される用語のコンピュータ可読媒体は記憶媒体及び通信媒体の両方を含んでもよい。
【００３２】
コンピューティング機器１００はデスクトップコンピュータ及びノートコンピュータ構成を含むパーソナルコンピュータとして実現されてもよい。勿論、コンピューティング機器１００は、小型ポータブル（又は移動）電子機器の一部として実現されてもよく、これらの電子機器は例えば、携帯電話、デジタルカメラ、パーソナルデジタルアシスタント（ＰＤＡ）、パーソナルメディアプレーヤー機器、無線ネットワークブラウジング機器、パーソナル頭部装着型機器、特定用途向け機器、又は上記の任意の機能を含むハイブリッド機器であってもよい。本発明の実施例ではそれを限定しない。
【００３３】
オプティカルフロー計算では、従来の画像センサーの代わりに常にモーションセンサーを採用し、それはモーションセンサーが相対輝度変化を示すイベントに応答できるからであり、従って、モーションセンサーの出力データは従来の画像センサーよりも移動情報をよく記録し表示することができる。一実施形態では、シーン内にダイナミックビジョンセンサー（Ｅｖｅｎｔ  Ｃａｍｅｒａ）を配置し、シーン内に物体の移動がない場合、ダイナミックビジョンセンサーはなんの内容も表示しない。しかしながら、一旦シーン内に物体の移動が発生したと検出される場合（すなわち、光が変化した）、動的画素（すなわち、輝度が変化した画素）のイベントデータストリームを出力する。つまり、上記イベントデータストリームは特定のイベントが発生した（すなわち、ダイナミックビジョンセンサー中の画素の輝度が変化した）画素の情報を記録している。
【００３４】
図２の（Ａ）及び（Ｂ）はダイナミックビジョンセンサーがイベントデータストリームを出力するプロセスの模式図を示す。図２中の（Ａ）に示すように、１つの４×４行列はダイナミックビジョンセンサー中の画素アレイを示し（当業者であれば、図２中の（Ａ）は単に例であり、実際の応用では、ダイナミックビジョンセンサー中の画素アレイはサイズ４×４に限定されない）、アレイ中の特定の画素の輝度が変化すると、トリガーして１つの対応するイベントデータｅｉ（ｉは１，２，３，…）を生成し、図２中の（Ｂ）に示すように、時間の経過とともに、ダイナミックビジョンセンサーはイベントデータｅ１，ｅ２，ｅ３，ｅ４，・・・を順番に連続して出力し、イベントデータストリームを構成する。ここで、各イベントデータｅｉは輝度が変化した画素の座標位置及びその輝度変化のタイムスタンプを含み、すなわち、イベントデータｅｉ（式３）は
【数３】
2021523435.tif 000005
（（ｘｉ，ｙｉ）は第ｉ回のイベントの座標位置、すなわち輝度が変化した画素の座標位置であり、ｔｉは第ｉ回のイベントのタイムスタンプ、すなわち輝度が変化したタイムスタンプである）で示される。図２中の（Ａ）に示すように、イベントデータｅ１の画素座標は（１，１）、イベントデータｅ２の画素座標は（２，２）、イベントデータｅ３の画素座標は（０，３）、イベントデータｅ４の画素座標は（３，１）であり、且つ後で発生したイベントのタイムスタンプは必ず前に発生したイベントのタイムスタンプよりも大きく、すなわち
ｔ４＞ｔ３＞ｔ２＞ｔ１＞である。
【００３５】
本発明に係る処理方法３００によれば、ダイナミックビジョンセンサーからのイベントデータストリームを処理し、各所定の期間における移動変化を表す画像フレームを生成し、後続ではこれらの画像フレームに基づいてシーン中の物体移動を分析し、それによってリアルタイムオプティカルフロー計算の速度を向上させる。
【００３６】
図３は本発明のいくつかの実施例に係るイベントデータストリームの処理方法３００のフローチャートを示す。図３に示すように、方法３００はステップＳ３１０から開始する。
【００３７】
ステップＳ３１０では、イベントデータストリームから複数の第１期間のイベントデータを順番に読み取る。上記のように、本発明の実施例では、イベントデータストリームに記録される特定のイベントは、ダイナミックビジョンセンサー中の画素の輝度が変化したイベントであり、且つイベントデータは第１期間内に輝度が変化したすべての画素の座標位置及びその輝度変化のタイムスタンプを含む。以下、本発明の一実施例に係る１つの第１期間のイベントデータのフォーマットが示される。
【００３８】
【数４】
2021523435.tif 000006
【００３９】
本発明の一実施例では、複数の第１期間のイベントデータは以下の方式によって取得される。イベントデータストリームから複数の第１期間のイベントデータを順番に読み取り、隣接する第１期間のイベントデータ同士は第２期間のイベントデータが互いに重なり、且つ、第１期間は第２期間の２倍以下である。図４は、本発明の実施例に係るイベントデータストリームから第１期間のイベントデータを読み取る模式図を示す。図４からわかるように、イベントｅ１，ｅ２，・・・は時間の経過とともに連続的に発生し、ｔ１，ｔ２，・・・はイベントｅ１，ｅ２，・・に対応するタイムスタンプであり、生成された第１期間のイベントデータのうち、隣接する第１期間のイベントデータ同士は互いに重なり、重なりの比率を限定しない。つまり、所定の期間ごとに、イベントデータストリームから第１期間のイベントデータを順番に読み取り、所定の期間は第１期間と第２期間との差であってもよい。本発明の一実施例では、所定の期間は４０ミリ秒、第１期間は２００ミリ秒、第２期間は１６０ミリ秒であるが、本発明の実施例では期間の長さの数値を特に限定しない。
【００４０】
勿論、スライドウィンドウの方式によって複数の第１期間のイベントデータを取得するようにしてもよい。１つのスライドウィンドウを予め設定し、スライドウィンドウの長さが第１期間であり、スライドウィンドウをイベントデータストリーム中でスライドさせ、各回スライドするスライドステップを第３期間とし、スライドウィンドウがスライドするごとに、第１期間のイベントデータを得て、このようにして、隣接する２つの第１期間のイベントデータ同士は第２期間のイベントデータが互いに重なり、第２期間はスライドウィンドウの長さからスライドステップを減算したもの、すなわち第１期間から第３期間を減算したものであり、本発明の実施例では期間の数値を特に限定せず、第１期間＝第２期間＋第３期間を満たせばよい。
【００４１】
また、ダイナミックビジョンセンサーの画素アレイでは、ある画素の輝度は複数回変化する可能性があり、変化するごとに、トリガーして１つのイベントデータを生成し、このようにして、イベントデータストリームでは、２つ以上のイベントデータは座標位置が同じであるが、タイムスタンプが異なることがある。この場合、本発明のいくつかの実施例では、第１期間に、センサーの画素アレイ中のある画素（その座標位置を（ｘ，ｙ）とする）の輝度が複数回変化した場合、読み取られた上記第１期間のイベントデータでは、座標位置（ｘ，ｙ）に複数のタイムスタンプが対応し、この場合、これら複数のタイムスタンプから上記画素の最新の輝度変化のタイムスタンプを、上記画素座標位置に対応するタイムスタンプとして選択する。換言すれば、これら複数のタイムスタンプからタイムスタンプ値が最も大きいタイムスタンプを、上記画素座標位置に対応するタイムスタンプとして選択する。要するに、第１期間に、２つ以上のイベントデータの座標位置が同じである場合、最新のイベントデータのみを保留する。
【００４２】
その後、ステップＳ３２０では、各第１期間のイベントデータに対して、上記イベントデータを分析することによって上記第１期間内の各イベントに対応する時差情報を得る。
【００４３】
本発明の実施形態によれば、以下の２つのステップによって、各イベントに対応する時差情報を算出する。
【００４４】
ステップ１では、各第１期間のイベントデータに対して、上記第１期間の終了時点Ｔｄを記録する。イベントデータストリームから最初からの２００ミリ秒のイベントデータを第１期間のイベントデータとして読み取り、この場合、上記第１期間の終了時点をＴｄ＝２００とする。
【００４５】
ステップ２では、終了時点及びイベントデータ中の各イベントのタイムスタンプに応じて、上記第１期間内の各イベントに対応する時差情報を計算する。図５は、本発明の一実施例に係る第１期間のイベントデータを示し、上記第１期間の開始時点をＴ０、終了時点をＴｄとし、Ｔ０〜Ｔｄは４個のイベントを含み、対応するタイムスタンプを順番にｔ１，ｔ２，ｔ３，ｔ４とし、各イベントに対応する時差情報を順番にΔｔ１'，Δｔ２'，Δｔ３'，Δｔ４'とする。
【００４６】
上記のように、それぞれ第１期間の終了時点Ｔｄと第１期間内の各イベントのタイムスタンプとの差を計算し、各イベントに対応する時差情報を得る。図５を例に、それぞれ４個のイベントに対応する時差情報を計算し、
Δｔ１'＝Ｔｄ−ｔ１，Δｔ２'＝Ｔｄ−ｔ２、Δｔ３'＝Ｔｄ−ｔ３，Δｔ４＝Ｔｄ−ｔ４とする。
【００４７】
図５の例からわかるように、本発明に係る実施形態では、イベントは現在の時刻に近いほど、対応する時差情報が小さい。
【００４８】
その後、ステップＳ３３０では、上記第１期間内の各イベントに対応する時差情報に応じて、上記第１期間における移動変化を表す画像フレームを生成する。
【００４９】
本発明の実施形態では、ステップＳ３３０はさらに以下のステップ１）及びステップ２）に分けられてもよい。
【００５０】
ステップ１）では、まず、ステップＳ３２０で得た各イベントに対応する時差情報に応じて、各イベントに対応する画素値を算出する。
【００５１】
本発明の実施形態では、イベントに対応する時差情報に応じて、イベントに対応する画素値を計算する前、さらに時差情報を前処理し、処理済み時差情報を得る必要があり、さらに各イベントに対応する処理済み時差情報に応じて、上記イベントに対応する画素値を計算する。好ましくは、前処理は、例えば、第１期間内の各イベントに対応する時差情報を所定の区間内にマッピングすることである。その利点として、イベントデータストリームの出力はすべてナノ秒単位で計算され、まず、前処理によって浮動小数点型の時差情報を所定の区間（整数の所定の区間）内にマッピングすることで、メモリを節約し、後続の計算効率を向上させることができる。
【００５２】
一般には、所定の区間は０−２５５であるが、これに限定されない。ここで示される実施例では、所定の区間が０−２５５であることを例に、当業者はこれに基づいて時差情報をいずれかの所定の区間にマッピングできるため、詳細説明を省略すると理解できる。
【００５３】
本発明の一実施形態では、各イベントに対して、以下の式５によって時差情報を所定の区間にマッピングする。
【００５４】
【数５】
2021523435.tif 000007
式中、Δｔ'は時差情報、Δｔは処理済み時差情報、ｍａｘ及びｍｉｎはそれぞれ上記第１期間内のすべてのイベントに対応する時差情報の最大値及び最小値を示す。
【００５５】
すべてのイベントに対応する処理済み時差情報を得た後、処理済み時差情報に応じて、イベントに対応する画素値を計算する。本発明の実施例では、イベントｉに対応する画素値ｐｉｘｅｌｉは以下の式６によって計算される。
【００５６】
【数６】
2021523435.tif 000008
式中、Δｔｉはイベントｉに対応する処理済み時差情報、Ａは定数（本発明の実施例では、Ａは２５５であり、勿論、Ａは１００、２００等の定数であってもよいが、本発明の実施例ではそれを限定しない）である。
【００５７】
つまり、イベントは現在の時刻に近いほど、対応する画素値が大きい。
【００５８】
本発明の別の実施形態では、所定の区間は１から任意の定数の区間、又は任意の２つの非ゼロ値の間の区間である。ここでは、所定の区間が１−２５５であることを例とするが、これに限定されない。各イベントに対して、以下の式７によって時差情報を所定の区間にマッピングする。
【００５９】
【数７】
2021523435.tif 000009
式中、Δｔ'は時差情報、Δｔは処理済み時差情報、ｍａｘ及びｍｉｎはそれぞれ上記第１期間内のすべてのイベントに対応する時差情報の最大値及び最小値を示す。
【００６０】
すべてのイベントに対応する処理済み時差情報を得た後、処理済み時差情報に応じて、イベントに対応する画素値を計算する。本発明の実施例では、イベントｉに対応する画素値ｐｉｘｅｌｉは以下の式８によって計算される。
【００６１】
【数８】
2021523435.tif 000010
式中、Δｔｉはイベントｉに対応する処理済み時差情報である。
【００６２】
つまり、イベントは現在の時刻に近いほど、対応する画素値が大きい。
【００６３】
なお、以上は単に例であり、各イベントの時差情報を利用して対応する画素値を計算する２種の方式を説明したが、本発明の実施例ではこれに限定されない。本発明は、各イベントの画素値が時差情報によって得られることを説明することを目的とし、本発明に開示されている実施例では、当業者は異なる計算方式を採用でき、イベントは現在の時刻に近いほど、対応する画素値が大きく、又は、イベントは現在の時刻に近いほど、対応する画素値が小さい。イベントの時差情報によってその対応する画素値を計算する方法はすべて本発明の保護範囲に属し、ここでは詳細説明を省略する。
【００６４】
ステップ２）では、上記第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて、上記第１期間における移動の変化を表す画像フレームを生成する。
【００６５】
本発明の一実施例では、先所定のサイズの画像を構成し、上記画像を初期化して初期画像フレームとし、上記所定のサイズはダイナミックビジョンセンサー中の画素アレイのサイズであり、画像中のすべての画素点の初期画素値を０とし、すなわち、初期画像フレーム中の画素値をすべて０とする。その後、この初期画像フレームでは第１期間内の各イベントに対応する画素座標を検索する。最後に、ステップ１）で算出した上記第１期間内の各イベントの画素値を、初期画像フレーム中の上記イベントに対応する画素座標の画素値とし、画像フレームを得る。表１に示すように、１つの３×３画素ユニットアレイであり、ｅ１，ｅ２，ｅ３はある第１期間内にトリガーされたイベントを示し、その対応する表１中の位置はイベントに対応する座標位置であり、例えば、ｅ１に対応する座標位置は（１，０）、ｅ２に対応する座標位置は（２，１）、ｅ３に対応する座標位置は（０，２）である。表２は、表１中のイベントにより生成された画像フレーム中の各画素値の例を示し、イベントに対応する座標位置での画素値はイベントに対応するタイムスタンプから算出され（上記説明を参照）、ほかの座標位置の画素値は依然として０である。
【００６６】
【表１】
2021523435.tif 000011
【００６７】
【表２】
2021523435.tif 000012
【００６８】
以上のように、本発明の実施形態では、画像フレーム中の各イベントに対応する画素値はすべて対する時差情報に反比例するが、センサー中でトリガーされていない画素ユニットは、対応する画像フレーム中の画素値が０である。このようにして、所定の時間内にイベントは早くトリガーされるほど、対応する画素値が大きく、生成された画像フレーム中の画素値の大きさに応じて、この時間におけるシーン中の移動変化を反映でき、シーン内の移動物体の現在の移動情報及びその移動軌跡をよりよく強調し、後続のオプティカルフロー分析及び計算が容易になる。
【００６９】
上記実施例では、第１期間の終了時点に応じて各イベントに対応する時差情報を計算するプロセスを示す。なお、上記実施例は単にイベントに対応する時差情報の計算方式の１種であり、本発明の実施例ではこれに限定されない。本発明の別のいくつかの実施例では、第１期間のイベントデータに対して、上記第１期間の開始時点Ｔ０を記録する。イベントデータストリームから最初からの２００ミリ秒のイベントデータを１つの第１期間のイベントデータとして読み取り、この場合、上記第１期間の開始時点をＴ０＝０とする。その後、開始時点及びイベントデータ中の各イベントのタイムスタンプに応じて、上記第１期間内の各イベントに対応する時差情報を計算する。好ましくは、それぞれ第１期間内の各画素のタイムスタンプと上記第１期間の開始時点との差を計算し、各イベントに対応する時差情報を得る。さらに図５を例に、４個のイベントに対応する時差情報はそれぞれ
Δｔ１'＝ｔ１−Ｔ０、Δｔ２'＝ｔ２−Ｔ０、Δｔ３'＝ｔ３−Ｔ０、Δｔ４'＝ｔ４−Ｔ０である。
【００７０】
このような計算方式では、イベントは現在の時刻に近いほど、対応する時差情報が大きい。このとき、上記前処理方式によって時差情報を所定の区間内に直接マッピングすることができ、処理済み時差情報をイベントに対応する画素値として、画像フレームを生成する。勿論、ほかの方式を採用して、時差情報に応じて各イベントに対応する画素値を生成するようにしてもよく、具体的な実現プロセスは上記関連説明を参照できるため、ここでは詳細説明を省略する。
【００７１】
図６は本発明の実施例に係る画像フレームの模式図を示す。図６に示すように、本発明に係るイベントデータストリームの処理方法３００によって生成される画像フレーム（図６中の各グレーグラデーション矩形）はＸＹ平面に対して所定の傾斜角度を有し、つまり、画像フレームは勾配及び向きを有する。図６中の（１）（２）（３）（４）の４つの図はそれぞれ異なる移動方向に対応する画像フレームの効果図を示す。図６中の（１）及び（２）は物体が同一方向に沿って移動する時に生成される画像フレームを示す。図６中の（２）は物体が同一方向に沿って３種の異なる移動速度でシーン中を移動する時に形成される３つの画像フレームを示し、移動方向が変化しないため、３つの画像フレームの向きが同じである（図中の矢印で示される方向は向きとして理解できる）が、移動速度が異なるため、画像フレームの傾斜度が異なる。図６中の（３）、（４）はそれぞれ物体がほかの２種の方向に沿って移動する時に生成される画像フレームを示し、同様に、矢印は画像フレームの向きを示し、矢印間の夾角は画像フレームが有する勾配を示す。なお、図６に示される画像フレームは単に例示的であり、その重点として、画像フレームがＸＹ平面上で所定の勾配を有することを展示し、実際では、画像フレームの展示は複数種の方式であってもよい。且つ、ほかの処理方式に比べて、本発明に係る方法３００によって生成される画像フレームに表示される勾配はさらに滑らかであり、図６では画像フレーム中のグレーのグラデーションによって、このような滑らかな移行を示し、従って勾配及び向き計算の正確性を向上させることができる。当業者はＭｅａｎｓｈｉｆｔミーンシフト等のアルゴリズムによって画像フレームの勾配及び向きを算出することができ、例えば、勾配の頂（最大値）及び勾配の底（最小値）を決定し、Ｍｅａｎｓｈｉｆｔアルゴリズムによって勾配の頂と勾配の底との間の最短登山経路を見つけ、上記経路が指す方向は向きであり、上記経路とＸＹ平面の投影線との夾角は勾配である。一般には、向きに応じてシーン内の物体の移動方向を容易に取得でき、さらに勾配に応じて物体の移動速度の相対変化傾向を分析できる。以上のように、上記画像フレームによって、シーン中の物体のある期間における移動速度及び移動方向を容易かつ効果的に分析でき、オプティカルフロー計算の速度向上に寄与する。
【００７２】
なお、ここでは画像フレームの勾配及び向きを計算することによって物体の移動方向及び移動速度を分析する１種の方法を簡単に説明したが、本発明の実施例ではそれを限定しない。実際には、本発明に係る画像フレームをもとに、当業者は任意の方式を採用して勾配及び向きを算出し、さらにシーン中の移動物体の移動方向及び移動速度を分析することができ、画像フレームによって物体の移動速度及び移動方向を分析するいずれのアルゴリズムも本発明の保護範囲に属する。
【００７３】
ここで提供される明細書では、大量の詳細が説明されている。それにもかかわらず、本発明の実施例はこれらの詳細なしで実施されてもよいと理解できる。いくつかの例では、本明細書の理解の曖昧さを回避するために、公知の方法、構造及び技術は詳細説明されていない。
【００７４】
同様に、本開示を簡略化し各発明の態様の１つ又は複数を理解するのを助けるために、以上の本発明の例示的な実施例についての説明では、本発明の各特徴は単一の実施例、図、又はその説明にグループされてもよいと理解すべきである。それにもかかわらず、上記開示されている方法は、主張する本発明は各請求項に明確に記載される特徴よりも多くの特徴を必要とすることを反映するものではないと理解すべきである。より正確には、以下の特許請求の範囲に反映されるように、発明の態様は前に開示された単一の実施例のすべての特徴よりも少ないことにある。従って、具体的な実施形態に準拠する特許請求の範囲は上記具体的な実施形態に明確に組み込まれており、各請求項自体は本発明の単独な実施例である。
【００７５】
当業者であれば、本明細書に開示されている例における機器のモジュール又はユニット又はアセンブリは上記実施例に説明されている機器に配置され、又は上記例における機器と異なる１つ又は複数の機器に置換可能に位置決めされるようにしてよいと理解すべきである。上記例におけるモジュールを組み合わせて１つのモジュールを形成してもよく、さらに複数のサブモジュールに分けてもよい。
【００７６】
当業者であれば、実施例における機器のモジュールを適応的に変更し、上記実施例と異なる１つ又は複数の機器に設置するようにしてもよいと理解できる。実施例におけるモジュール又はユニット又はアセンブリを組み合わせて１つのモジュール又はユニット又はアセンブリを形成してもよく、さらにそれらを複数のサブモジュール又はサブユニット又はサブアセンブリに分けてもよい。このような特徴及び／又はプロセス又はユニットの少なくとも一部が相互に矛盾する以外、本明細書（添付する特許請求の範囲、要約書及び図面を含む）に開示されるすべての特徴及びこのように開示されているいずれかの方法又は機器のすべてのプロセス又はユニットを任意に組み合わせることができる。特に断らない限り、本明細書（添付する特許請求の範囲、要約書及び図面を含む）に開示されている各特徴は同一、同等又は類似目的を提供する代替特徴によって代替されてもよい。
【００７７】
本発明はさらに以下のように開示している。
【００７８】
Ａ７、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップは、それぞれ第１期間の終了時点と各イベントのタイムスタンプとの差を計算し、対応する各イベントの時差情報を得るステップを含むＡ５に記載の方法。
【００７９】
Ａ８、開始時点及び／又は終了時点、イベントデータ中の各イベントのタイムスタンプに応じて上記第１期間内の各イベントに対応する時差情報を計算するステップは、それぞれ第１期間内の各画素のタイムスタンプと開始時点との差を計算し、対応する各イベントの時差情報を得るステップを含むＡ５に記載の方法。
【００８０】
Ａ１１、イベントｉに対応する画素値ｐｉｘｅｌｉは式９
【数９】
2021523435.tif 000013
（Δｔｉはイベントｉに対応する処理済み時差情報である）によって計算されるＡ９又は１０に記載の方法。
【００８１】
Ａ１２、イベントｉに対応する画素値ｐｉｘｅｌｉは式１０
【数１０】
2021523435.tif 000014
（Δｔｉイベントｉに対応する処理済み時差情報、Ａは定数である）によって計算されるＡ９又は１０に記載の方法。
【００８２】
Ａ１３、第１期間内のすべてのイベントに対応する画素値及び座標位置に応じて画像フレームを生成するステップは、所定のサイズの画像を構成し、上記画像を初期化して初期画像フレームとするステップと、初期画像フレームでは第１期間内の各イベントに対応する画素座標を検索するステップと、上記第１期間内の各イベントの画素値を初期画像フレーム中の上記イベントに対応する画素座標の画素値として、画像フレームを得るステップと、を含むＡ６−１２のいずれか一項に記載の方法。
【００８３】
また、当業者であれば、ここに記載されるいくつかの実施例はほかの特徴ではなく、ほかの実施例に含まれるいくつかの特徴を含むにもかかわらず、異なる実施例の特徴の組み合わせは本発明の範囲内に属し且つ異なる実施例を形成すると理解できる。例えば、以下の特許請求の範囲では、主張する実施例のいずれかを任意な組み合わせ方式で使用してもよい。
【００８４】
また、実施例のうちのいくつかは、ここでは、コンピュータシステムのプロセッサ又は機能を実行するほかの装置に実施可能な方法又は方法の要素の組み合わせとして説明されている。従って、方法又は方法の要素を実施するための必要な命令を有するプロセッサは上記方法又は方法の要素を実施するための装置を形成する。また、装置の実施例のここで記載される要素は、上記発明の目的を実施するための要素によって実行される機能を実施するための装置の例である。
【００８５】
ここで使用されるように、特に断らない限り、「第１」、「第２」、「第３」等の序数詞を使用して普通の対象を説明する場合、単に係る類似対象の異なる例を示し、このように説明される対象が必ず時間、空間、ランキング又はほかの任意の方式での特定の順序を有することを暗示しない。
【００８６】
限られた実施例を参照しながら本発明を説明したが、以上の説明からわかるように、当業者は、ここで説明される本発明の範囲を逸脱せずに、ほかの実施例を想到し得ると理解できる。また、なお、本明細書に使用される言語は主に可読性及び教示の目的のために選択され、本発明の主題を説明又は限定するためのものではない。従って、添付特許請求の範囲の範囲及び精神を逸脱せずに、当業者には種々の修正や変更が明らかになる。本発明の範囲について、本発明は制限的ではなく例示的に開示されており、本発明の範囲は添付特許請求の範囲によって定められる。
【図１】
2021523435.tif 000015
【図２】
2021523435.tif 000016
【図３】
2021523435.tif 000017
【図４】
2021523435.tif 000018
【図５】
2021523435.tif 000019
【図６】
2021523435.tif 000020
【国際調査報告】
2021523435.tif 000021
2021523435.tif 000022
2021523435.tif 000023
2021523435.tif 000024