(57)【要約】【課題】イベントカメラの新規の機能を提供する。【解決手段】イベントカメラは、画素毎の輝度変化をイベントとして検出し、イベントが検出された時刻とイベントが発生した画素位置とを含むイベント信号を非同期に出力するイベントベースセンサと、基準時刻から所定時間だけ過去に遡った所定期間においてイベントベースセンサにより出力された、イベント信号を記憶するバッファと、画像を記憶する記憶部と、記憶部に記憶された画像が所定期間に含まれる更新時刻における画像となるように、イベント信号に基づいて記憶部に記憶された画像を更新する更新部とを備える。【選択図】図１
2020182122.tif 000002
【特許請求の範囲】
【請求項１】
画素毎の輝度変化をイベントとして検出し、前記イベントが検出された時刻と前記イベントが発生した画素位置とを含むイベント信号を非同期に出力するイベントベースセンサと、
基準時刻から所定時間だけ過去に遡った所定期間において前記イベントベースセンサにより出力された、前記イベント信号を記憶するバッファと、
画像を記憶する記憶部と、
前記記憶部に記憶された前記画像が前記所定期間に含まれる更新時刻における画像となるように、前記イベント信号に基づいて前記記憶部に記憶された画像を更新する更新部と、
を備えるイベントカメラ。
【請求項２】
前記所定期間に含まれる指定時刻を受け付ける受付部と、
前記記憶部に記憶された画像と、前記バッファに記憶された前記イベント信号と、前記更新時刻と、前記受付部によって受け付けられた前記指定時刻とに基づいて、前記指定時刻に対応する前記画像を生成する生成部と、
を備える請求項１に記載のイベントカメラ。
【請求項３】
前記更新時刻は、前記基準時刻から前記所定時間だけ過去に遡った時刻である、請求項１又は２に記載のイベントカメラ。
【請求項４】
前記更新時刻は、前記基準時刻である、請求項１又は２に記載のイベントカメラ。
【請求項５】
前記受付部は、所定の計測時刻における検出結果を出力する他のセンサから前記計測時刻を前記指定時刻として受け付ける、請求項２に記載のイベントカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、イベントカメラに関する。
【背景技術】
【０００２】
特許文献１は、電子形式で１つの画像を生成する装置を開示する。この装置は、画像センサ、デジタル処理部及び記憶部を備える。画像センサは、マトリックス状に配置された複数の画像素子を有する。複数の画像素子のそれぞれは、画素に対応する。画像素子は、露光測定回路と輝度変化検出回路とを有する。輝度変化検出回路は、露光測定回路の測定結果に基づいて、観測しているセンサ視野内の輝度変化を検出する。
【０００３】
画像素子は、輝度変化およびアドレスを非同期でイベント制御によりデジタル処理部へ伝達する。デジタル処理部は、輝度変化をデジタル値に変換し、記憶部に格納する。記憶部は、画素ごとに１つのメモリセルを含む。記憶部は、画像センサ及びデジテル処理部によって生成されたグレー値画像を格納する。記憶部に格納されたグレー値画像は、輝度変化があったときに、画素ごとに非同期に整合される。つまり、記憶部には、観察されるシーン全体の１つのグレー値画像がデジタル形式で格納され、センサ視野内で輝度変化を検出した画素だけが更新された新たなグレー値画像が輝度変化の度に生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１０−５１０７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の装置のような、いわゆるイベントベースセンサを有するカメラは、輝度変化を用いて画像を更新するため、従来のイメージセンサを有するカメラとは画像生成原理が大きく相違する。この画像生成原理の相違に着目して改良することにより、イベントベースセンサを備えるイベントカメラは、従来のイメージセンサを備えるカメラでは実現不可能な機能を発揮する可能性がある。
【０００６】
本開示は、イベントカメラの新規の機能を提供する。
【課題を解決するための手段】
【０００７】
本開示の一形態は、イベントカメラである。イベントカメラは、イベントベースセンサ、バッファ、記憶部及び更新部を備える。イベントベースセンサは、画素毎の輝度変化をイベントとして検出し、イベントが検出された時刻とイベントが発生した画素位置とを含むイベント信号を非同期に出力する。バッファは、イベント信号を記憶する。バッファに記憶されるイベント信号は、基準時刻から所定時間だけ過去に遡った所定期間においてイベントベースセンサにより出力される。記憶部は、画像を記憶する。更新部は、記憶部に記憶された画像が所定期間に含まれる更新時刻における画像となるように、イベント信号に基づいて記憶部に記憶された画像を更新する。
【０００８】
本開示の一形態に係るイベントカメラにおいては、バッファ及び記憶部によって、所定期間分のイベント信号と、所定期間に含まれる時刻における画像とが記憶される。これにより、このイベントカメラは、例えば、更新時刻における画像と所定期間分のイベント信号とを出力することにより、所定期間内の任意の時刻の画像を生成させることができる。よって、このイベントカメラは、新規の機能を提供することができる。
【０００９】
一実施形態においては、イベントカメラは、所定期間に含まれる指定時刻を受け付ける受付部と、記憶部に記憶された画像と、バッファに記憶されたイベント信号と、更新時刻と、受付部によって受け付けられた指定時刻とに基づいて、指定時刻における画像を生成する生成部を備えてもよい。この場合、イベントカメラは、所定期間内の指定時刻の画像を生成することができる。
【００１０】
一実施形態においては、更新時刻は、基準時刻から所定時間だけ過去に遡った時刻であってもよい。この場合、所定期間は更新時刻から基準時刻までの期間となり、更新時刻は、所定期間の中で最も過去の時刻となる。これにより、更新時刻における画像に対してイベント信号に応じた輝度変化を単に加えるだけで、所定期間内の任意の時刻の画像が生成される。
【００１１】
一実施形態においては、更新時刻は基準時刻であってもよい。この場合、更新時刻は、所定期間の中で最も現在に近い時刻（現時刻を含む）となる。これにより、更新時刻における画像に対してイベント信号に応じた輝度変化を単に引くだけで、所定期間内の任意の時刻の画像が生成される。
【００１２】
一実施形態においては、受付部は、所定の計測時刻における検出結果を出力する他のセンサから計測時刻を指定時刻として受け付けてもよい。この場合、イベントカメラは、他のセンサの計測結果と同時刻の画像を生成することができる。
【発明の効果】
【００１３】
本開示によれば、イベントカメラの新規の機能が提供される。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係るイベントカメラの構成概要を説明するブロック図である。
【図２】記憶部及びバッファのタイムチャートである。
【図３】指定時刻における画像の生成を説明する図である。
【図４】イベントカメラのセンサ部の動作を示すフローチャートである。
【図５】イベントカメラの画像生成の動作を示すフローチャートである。
【図６】第２実施形態に係るイベントカメラの構成概要を説明するブロック図である。
【図７】記憶部及びバッファのタイムチャートである。
【図８】指定時刻における画像の生成を説明する図である。
【図９】記憶部及びバッファの他のタイムチャートである。
【発明を実施するための形態】
【００１５】
以下、種々の例示的実施形態について説明する。以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。
【００１６】
［第１実施形態］
［イベントカメラの構成］
図１は、第１実施形態に係るイベントカメラの構成概要を説明するブロック図である。図１に示されるイベントカメラ１は、概略的には、撮像範囲内の輝度変化を検出し、記憶している画像に対して輝度変化のある画素のみを更新することにより、画像を生成するカメラである。図１に示されるように、イベントカメラ１は、センサ部１０を備える。センサ部１０は、イベントカメラ１の主要構成であり、イベントベースセンサ１１、バッファ１２、更新部１３及び記憶部１４を備える。
【００１７】
イベントベースセンサ１１は、撮像範囲内の輝度変化を検出し、イベント信号を非同期に出力する。イベントベースセンサ１１は、例えばマトリックス状に配置された複数の画像素子によって構成される。イベント信号とは、イベントに関連付けられた信号である。イベントとは、画素の輝度変化である。イベント信号は、一例として、イベントが検出された時刻とイベントが発生した画素位置とを含む。イベントが検出された時刻は、イベントベースセンサの内部時計（イベントカメラ時刻）を基準に計測されてもよい。イベントが検出された時刻の基準は、必要に応じてリセットされ得る。イベント信号は、輝度の変化値を含んでもよい。例えば、輝度の変価値は、変化量そのものであってもよいし、輝度変化の正負を示す情報であってもよい。イベントベースセンサ１１は、輝度変化が生じたときのみイベント信号を出力する。非同期に出力とは、全画素で同期することなく、画素単位で時間的に独立した出力を行うことを意味する。
【００１８】
バッファ１２は、イベントベースセンサにより出力されたイベント信号を記憶する。バッファ１２は、例えば論理回路を備えた記録媒体によって構成される。バッファ１２に記憶されるイベント信号は、基準時刻から所定時間だけ過去に遡った所定期間においてイベントベースセンサにより出力されたイベント信号である。基準時刻は、予め定義された時刻であり、一例として現在時刻である。基準時刻は、現在時刻から前後した時刻であってもよい。所定時間は、バッファ１２の記憶容量に応じて予め定められた時間である。一例として、バッファ１２は、所定期間分のイベント信号を先入後出法によって格納する。これにより、バッファ１２は、所定期間分のイベント信号を更新しながら記憶することができる。
【００１９】
更新部１３は、イベント信号に基づいて記憶部１４に記憶された画像を更新する。更新部１３は、一例として、イベント信号に基づいて記憶部１４に記憶された画像を更新するように設計された論理回路である。記憶部１４は、画像を記憶する記録媒体である。一例として、記憶部１４は、画素ごとに１つのメモリセルを有する。記憶部１４は、画素ごとにメモリセルを有する形態に限定されず、論理的に画素ごとに情報を記憶する記憶媒体であってもよい。
【００２０】
更新部１３は、記憶部１４に記憶された画像が所定期間に含まれる更新時刻における画像となるように、記憶部１４に記憶された画像を更新する。更新部１３は、バッファ１２に記憶されたイベント信号に基づいて記憶部１４に記憶された画像を更新する。これにより、記憶部１４に記憶された画像は、基準時刻から所定時間だけ過去に遡った時刻における画像となる。つまり、イベントカメラ１においては、更新時刻は、基準時刻から所定時間だけ過去に遡った時刻である。バッファ１２及び更新部１３において説明された各時刻の詳細は後述する。
【００２１】
イベントカメラ１は、センサ部１０を備えることにより、基準時刻から所定時間だけ過去に遡った時刻における画像と、基準時刻から所定時間だけ過去に遡った所定期間においてイベントベースセンサにより出力されたイベント信号と一つのセットとして備えることができる。このため、イベントカメラ１は、例えばカメラ外部の画像生成装置からの要求に応じて、画像と、対応するイベント信号とを画像生成装置へ提供することもできる。これにより、イベントカメラ１は、所定期間内の任意の時刻の画像をカメラ外部の画像生成装置などに生成させることができる。
【００２２】
イベントカメラ１は、イベントカメラ１自体が所定期間内の任意の時刻の画像を生成するように構成することもできる。図１の例においては、イベントカメラ１は、受付部１５及び生成部１６を備える。受付部１５及び生成部１６は、一例として論理回路によって構成される。
【００２３】
受付部１５は、所定期間に含まれる指定時刻を受け付ける。所定期間は、バッファ１２がイベント信号を記憶している期間である。指定時刻とは、予め定められた時刻であり、生成部１６によって生成される画像に対応する時刻である。受付部１５は、一例として、測定センサ２０（他のセンサの一例）から指定時刻を受け付ける。測定センサ２０は、所定の計測時刻における検出結果を出力するセンサである。測定センサ２０は、検知方位がイベントカメラ１の視野に入るセンサであれば特に限定されず、例えば、ミリ波レーダ、ＴＨｚレーダ、他の特性を持ったカメラ（赤外カメラ、ステレオカメラ、イベントカメラ１とは画角の異なるカメラなど）、マイクアレイなどである。受付部１５は、測定センサ２０の計測時刻を指定時刻として受け付けてもよい。この場合、測定センサ２０は、イベントベースセンサ１１から入力されたイベントカメラ時刻を用いて計測時刻を表現する。受付部１５は、カメラ外部の画像生成装置から指定時刻を受け付けてもよいし、ユーザ操作によって指定時刻を受け付けてもよい。
【００２４】
生成部１６は、指定時刻における画像を生成する。生成部１６は、記憶部１４に記憶された画像と、バッファ１２に記憶されたイベント信号と、更新時刻と、受付部１５によって受け付けられた指定時刻とに基づいて、指定時刻における画像を生成する。生成された画像は、イベントカメラ１の外部へ出力可能となる。画像生成の詳細は後述する。
【００２５】
［各時刻のタイムチャート］
図２は、記憶部及びバッファのタイムチャートである。図２に示されるように、タイムチャートは、基準時刻ｔを基準とする。基準時刻ｔから所定時間Ｔだけ遡った時刻ｔ−ΔＴが記憶部１４に格納された画像の更新タイミング（つまり更新時刻ｔｒ）である。このように、記憶部１４は、基準時刻ｔに対して所定期間ΔＴだけ遅れた画像を記憶する。基準時刻ｔが現在時刻の場合、記憶部１４には、現在時刻に対して所定期間ΔＴだけ遅れた画像が常に記憶される。所定期間ΔＴは、更新時刻ｔｒ（＝ｔ−ΔＴ）から開始され基準時刻ｔで終了する。つまり、所定期間ΔＴには、更新時刻ｔｒも基準時刻ｔも含まれる。バッファ１２には、所定期間ΔＴ分のイベント信号が記憶される。指定時刻τは、更新時刻ｔｒから基準時刻ｔまでの間（つまり所定期間ΔＴ）に含まれる時刻である。
【００２６】
［生成部による画像生成の詳細］
図３は、指定時刻における画像の生成を説明する図である。図３に示されるように、指定時刻τにおける画像Ｇ０２は、更新時刻ｔｒにおける画像Ｇ０１に対して、更新時刻ｔｒから指定時刻τまでの間に観測されたイベント信号Ｓ０１に応じた輝度変化を加えることによって得られる。画像Ｇ０１は、記憶部１４に格納されている。イベント信号Ｓ０１は、バッファ１２に格納されている。指定時刻τは、所定期間ΔＴに含まれる任意の時刻であるため、生成部１６は、所定期間ΔＴにおける任意の画像を生成することができる。
【００２７】
［イベントカメラの動作］
図４は、イベントカメラのセンサ部の動作を示すフローチャートである。図４に示されるフローチャートは、イベントカメラ１のイベントベースセンサ１１が撮像視野内に輝度変化を検出したときに実行される。
【００２８】
イベントカメラ１のイベントベースセンサ１１は、撮像視野内に輝度変化が生じた場合にバッファ１２へイベント信号を出力する。バッファ１２は、バッファ記憶処理（Ｓ１０）として、イベントベースセンサ１１により出力されたイベント信号のうち、基準時刻ｔから所定時間Ｔだけ過去に遡った所定期間ΔＴ分のイベント信号を格納する。
【００２９】
続いて、イベントカメラ１の更新部１３は、更新処理（Ｓ１２）として、記憶部１４に記憶されている画像をバッファ１２に記憶されたイベント信号を用いて更新する。これにより、記憶部１４に記憶されている画像は、基準時刻ｔから所定時間Ｔだけ過去に遡った更新時刻ｔｒにおける画像となる。更新処理を終了すると、図４に示されるフローチャートは終了する。
【００３０】
図４に示されるフローチャートが実行されることにより、基準時刻ｔから所定時間Ｔだけ過去に遡った時刻における画像Ｇ０１と、基準時刻ｔから所定時間Ｔだけ過去に遡った所定期間ΔＴにおいてイベントベースセンサ１１により出力されたイベント信号と一つのセットとして備えることができる。
【００３１】
続いて、イベントカメラ１の画像生成の動作を説明する。図５は、イベントカメラの画像生成の動作を示すフローチャートである。図５に示されるフローチャートは、イベントカメラ１の画像生成機能が有効化されたときに開始される。具体的な一例として、図５に示されるフローチャートは、イベントカメラ１の画像生成ボタンがＯＮされたときに実行される。
【００３２】
イベントカメラ１の受付部１５は、受け付け処理（Ｓ２０）として、所定期間ΔＴに含まれる指定時刻τを受け付けたか否かを判定する。受付部１５により、所定期間ΔＴに含まれる指定時刻τを受け付けたと判定された場合、イベントカメラ１の生成部１６は、画像生成処理（Ｓ２２）として、指定時刻τにおける画像を生成する。生成部１６は、更新時刻ｔｒから指定時刻τまでのイベント信号Ｓ０１をバッファ１２から取得する。生成部１６は、記憶部１４に記憶された画像Ｇ０１（更新時刻ｔｒにおける画像）に対して、取得されたイベント信号Ｓ０１を加えることによって指定時刻τにおける画像Ｇ０２を生成する。
【００３３】
画像生成処理（Ｓ２２）が終了した場合、又は、所定期間ΔＴに含まれる指定時刻τを受け付けていないと判定された場合には、図５に示されるフローチャートが終了する。イベントカメラ１は、図５に示されるフローチャートが終了した場合、開始条件が満たされている場合には図５に示されるフローチャートを最初から繰り返す。開始条件は、一例として、イベントカメラの撮像機能が有効化されることである。
【００３４】
［第１実施形態のまとめ］
第１実施形態に係るイベントカメラ１においては、バッファ１２及び記憶部１４によって、所定期間ΔＴ分のイベント信号と、所定期間ΔＴに含まれる時刻における画像とが記憶される。これにより、このイベントカメラ１は、例えば、更新時刻ｔｒにおける画像Ｇ０１と所定期間ΔＴ分のイベント信号とを出力することにより、所定期間ΔＴ内の任意の時刻の画像を生成させることができる。これにより、イベントカメラ１は、例えば、被写体が動的物体の場合において、所望する被写体の動きの１ショットを所定期間ΔＴから取り出すこともできる。よって、このイベントカメラ１は、新規の機能を提供することができる。
【００３５】
第１実施形態に係るイベントカメラ１によれば、所定期間ΔＴ内の指定時刻τの画像Ｇ０２を生成することができる。第１実施形態に係るイベントカメラ１によれば、更新時刻ｔｒにおける画像Ｇ０１に対してイベント信号に応じた輝度変化を単に加えるだけで所定期間ΔＴ内の任意の時刻の画像を生成することができる。
【００３６】
第１実施形態に係るイベントカメラ１によれば、測定センサ２０の計測結果と同時刻の画像を生成することができる。従来のイベントカメラは、他のセンサとの同期に関するための機能は提供されていない。もっとも、従来のイベントカメラは、画像の応答性（従来のイメージセンサカメラに置き換えた場合には高フレームレート）を追求しており、時間的な遅れが生じるような構成を敢えて搭載するという思想は皆無である。しかしながら、認識処理などにおいて精度や信頼性を向上させるためには、種々のセンサ結果を組合せて判断することが必要となる。このため、応答性が相違する複数のセンサの検出結果を互いに対応付ける、時間的なキャリブレーションが必要となる。時間的なキャリブレーションは、自動運転分野においても重要な技術である。具体的な一例として、時速３６ｋｍ／ｈで移動する２台の車両のそれぞれにセンサが搭載されている場合を説明する。２つのセンサの計測時間の差が０．０５秒程度であるとすると、時速７２ ｋｍ／ｈ（２×３６ｋｍ／ｈ）で相対移動する物体の相対位置のずれは２ｍとなる。相対位置が２ｍずれた場合には、互いのセンサ検出を同期させることは容易ではない。第１実施形態に係るイベントカメラ１によれば、測定センサ２０の計測時刻を指定時刻として受け付けることにより、測定センサ２０の計測結果と同時刻の画像を生成することができるので、時間的なキャリブレーションを正確に実施することができる。
【００３７】
［第２実施形態］
第２実施形態に係るイベントカメラ１Ａは、第１実施形態に係るイベントカメラ１と比較して、更新部１３Ａ、記憶部１４Ａ及び生成部１６Ａの機能が一部相違し、その他は同一である。第２実施形態においては、第１実施形態と重複する説明は省略し、相違点を中心に説明する。
【００３８】
［イベントカメラの構成］
図６は、第２実施形態に係るイベントカメラの構成概要を説明するブロック図である。図６に示されるように、イベントカメラ１Ａは、センサ部１０Ａを備える。センサ部１０Ａは、第１実施形態に係るセンサ部１０と比較して、更新部１３Ａ及び記憶部１４Ａの一部機能が相違し、その他は同一である。
【００３９】
更新部１３Ａは、記憶部１４Ａに記憶された画像が所定期間に含まれる更新時刻における画像となるように、記憶部１４Ａに記憶された画像を更新する。イベントカメラ１Ａにおいては、更新時刻は、基準時刻である。基準時刻が現在時刻であるとき、更新部１３Ａは、常に最新の画像となるように、記憶部１４Ａに記憶された画像を更新する。このように、記憶部１４Ａは、基準時刻における画像を記憶するように構成される。
【００４０】
イベントカメラ１Ａは、イベントカメラ１と同様に、所定期間内の任意の時刻の画像を生成するように構成することもできる。図６の例においては、イベントカメラ１Ａは、受付部１５及び生成部１６Ａを備える。受付部１５及び生成部１６Ａは、一例として論理回路によって構成される。受付部１５は、第１実施形態と同一であり、所定期間に含まれる指定時刻を受け付ける。
【００４１】
生成部１６Ａは、指定時刻における画像を生成する。生成部１６は、記憶部１４に記憶された画像と、バッファ１２に記憶されたイベント信号と、更新時刻と、受付部１５によって受け付けられた指定時刻とに基づいて、指定時刻における画像を生成する。生成された画像は、イベントカメラ１の外部へ出力可能となる。画像生成の詳細は後述する。
【００４２】
［各時刻のタイムチャート］
図７は、記憶部及びバッファのタイムチャートである。図７に示されるように、タイムチャートは、基準時刻ｔを基準とする。基準時刻ｔが記憶部１４Ａに格納された画像の更新タイミング（つまり更新時刻ｔｒ）である。このように、記憶部１４Ａは、基準時刻ｔの画像を記憶する。基準時刻ｔが現在時刻の場合、記憶部１４には、現在時刻の画像が常に記憶される。所定期間ΔＴは、基準時刻ｔから所定時間Ｔだけ遡った時刻ｔ−ΔＴまでの期間である。所定期間ΔＴには、更新時刻ｔｒも基準時刻ｔも含まれる。バッファ１２Ａには、所定期間ΔＴ分のイベント信号が記憶される。指定時刻τは、時刻ｔ−ΔＴから基準時刻ｔまでの間（つまり所定期間ΔＴ）に含まれる時刻である。
【００４３】
［生成部による画像生成の詳細］
図８は、指定時刻における画像の生成を説明する図である。図８に示されるように、指定時刻τにおける画像Ｇ０４は、更新時刻ｔｒにおける画像Ｇ０３に対して、指定時刻τから更新時刻ｔｒまでの間に観測されたイベント信号Ｓ０２に応じた輝度変化を引くことによって得られる。画像Ｇ０３は、記憶部１４Ａに格納されている。イベント信号Ｓ０２は、バッファ１２Ａに格納されている。指定時刻τは、所定期間ΔＴに含まれる任意の時刻であるため、生成部１６Ａは、所定期間ΔＴにおける任意の画像を生成することができる。
【００４４】
［イベントカメラの動作］
イベントカメラの動作は、第１実施形態と比較して、図４の更新処理（Ｓ１２）及び図５の画像生成処理（Ｓ２２）の動作が相違し、その他は同一である。更新処理（Ｓ１２）においては、更新時刻ｔｒが時刻ｔ−ΔＴから基準時刻ｔになる点のみが相違する。画像生成処理（Ｓ２２）においては、図８で説明したとおり、イベント信号に応じた輝度変化を引くことにより画像を生成する点のみが相違する。
【００４５】
［第２実施形態のまとめ］
第２実施形態に係るイベントカメラ１Ａにおいては、第１実施形態に係るイベントカメラ１と同様に、所定期間ΔＴ内の任意の時刻の画像を生成させることができる。これにより、イベントカメラ１Ａは、例えば、被写体が動的物体の場合において、所望する被写体の動きの１ショットを所定期間ΔＴから取り出すこともできる。よって、このイベントカメラ１Ａは、新規の機能を提供することができる。
【００４６】
第２実施形態に係るイベントカメラ１Ａによれば、第１実施形態に係るイベントカメラ１と同様に、所定期間ΔＴ内の指定時刻τの画像Ｇ０４を生成することができる。第２実施形態に係るイベントカメラ１Ａによれば、更新時刻ｔｒにおける画像Ｇ０４に対してイベント信号に応じた輝度変化を単に引くだけで所定期間ΔＴ内の任意の時刻の画像を生成することができる。第２実施形態に係るイベントカメラ１Ａによれば、第１実施形態に係るイベントカメラ１と同様に、測定センサ２０の計測結果と同時刻の画像を生成することができる。
【００４７】
［変形例］
本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００４８】
例えば、更新時刻ｔｒは、所定期間ΔＴの開始時刻又は終了時刻に限定されず、所定期間ΔＴに含まれる時刻であればよい。図９は、記憶部及びバッファの他のタイムチャートである。図９に示されるように、更新時刻ｔｒは、所定期間ΔＴに含まれる時刻とすることができる。この場合、生成部１６は、指定時刻τとして更新時刻ｔｒよりも過去の時刻である指定時刻τ１が受け付けられた場合には、第２実施形態において説明された手法（イベント信号に応じた輝度変化を引く手法）により指定時刻τ１における画像を生成する。生成部１６は、指定時刻τとして更新時刻ｔｒよりも現在時刻に近い時刻である指定時刻τ２が受け付けられた場合には、第１実施形態において説明された手法（イベント信号に応じた輝度変化を加える手法）により指定時刻τ２における画像を生成する。このように、更新時刻ｔｒは、所定期間ΔＴに含まれる時刻であればよい。
【００４９】
イベントカメラ１，１Ａは、受付部１５及び生成部１６を備えていなくてもよいし、測定センサ２０に接続されていなくてもよい。
【００５０】
論理回路で構成される構成要素は、ＣＰＵなどの演算装置がプログラムを実行することにより実現してもよい。
【００５１】
上記実施形態においてはイベントカメラの出力は輝度信号であるとして記載したが、上記実施形態に係るイベントカメラにおいて、各画素に適切なカラーフィルタが追加されることにより、カラーイベントカメラとして機能させ、カラーイベントカメラと同様の効果を得ることができる。
【符号の説明】
【００５２】
１，１Ａ…イベントカメラ、１１…イベントベースセンサ、１２，１２Ａ…バッファ、１３，１３Ａ…更新部、１４，１４Ａ…記憶部、１５…受付部、１６，１６Ａ…生成部。
【図１】
2020182122.tif 000003
【図２】
2020182122.tif 000004
【図３】
2020182122.tif 000005
【図４】
2020182122.tif 000006
【図５】
2020182122.tif 000007
【図６】
2020182122.tif 000008
【図７】
2020182122.tif 000009
【図８】
2020182122.tif 000010
【図９】
2020182122.tif 000011