(57)【要約】【課題】イベント駆動型のビジョンセンサの校正を効率的に実施する。【解決手段】入射光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを備えるセンサ装置と、平面領域の輝度をセンサの校正パターンに従って瞬間的に所定の空間解像度で変化させるように構成された表示部を備える表示装置とを含むセンサの校正システムが提供される。【選択図】図１
2020065149.tif 000002
【特許請求の範囲】
【請求項１】
入射光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを備えるセンサ装置と、
平面領域の輝度を前記センサの校正パターンに従って瞬間的に所定の空間解像度で変化させるように構成された表示部を備える表示装置と
を含むセンサの校正システム。
【請求項２】
前記平面領域は、前記センサアレイの画角内にある、請求項１に記載のセンサの校正システム。
【請求項３】
前記表示装置は、前記校正パターンに対応する画像信号を前記表示部に出力するように構成された表示制御部をさらに備え、
前記センサ装置は、前記校正パターンに基づいて前記イベント信号を解析するように構成された制御部をさらに備える、請求項１または請求項２に記載のセンサの校正システム。
【請求項４】
前記表示部は、電子的な発光体を含む、請求項１から請求項３のいずれか１項に記載のセンサの校正システム。
【請求項５】
前記校正パターンは、第１の校正パターンと第２の校正パターンとを含み、
前記表示部は、前記平面領域の輝度を前記第１の校正パターンに従って変化させた後に、前記平面領域の輝度を前記第２の校正パターンに従って変化させる、請求項１から請求項４のいずれか１項に記載のセンサの校正システム。
【請求項６】
前記第１の校正パターンは、空間的パターンに従って配列された高輝度領域および低輝度領域を含み、
前記第２の校正パターンは、前記第１の校正パターンに対して反転させられた前記高輝度領域と前記低輝度領域とを含む、請求項５に記載のセンサの校正システム。
【請求項７】
前記第１の校正パターンは、一様な低輝度領域からなり、
前記第２の校正パターンは、一様な高輝度領域からなる、請求項５に記載のセンサの校正システム。
【請求項８】
前記第１の校正パターンは、前記平面領域の第１の部分に輝度反転領域を含み、
前記第２の校正パターンは、前記平面領域の前記第１の部分とは異なる第２の部分に輝度反転領域を含む、請求項５に記載のセンサの校正システム。
【請求項９】
前記校正パターンは、輝度が一様で輝度値が互いに異なる複数の校正パターンを含み、
前記表示部は、前記輝度値が単調増加または単調減少するように、前記平面領域の輝度を前記複数の校正パターンに従って順次変化させる、請求項１から請求項４のいずれか１項に記載のセンサの校正システム。
【請求項１０】
画像信号に従って平面領域の輝度を瞬間的に所定の空間解像度で変化させるように構成された表示部に、入射光の強度変化を検出したときにイベント信号を生成するセンサの校正パターンに対応する前記画像信号を出力するように構成された表示制御部を備える表示制御装置。
【請求項１１】
前記表示部は、電子的な発光体を含む、請求項１０に記載の表示制御装置。
【請求項１２】
前記校正パターンは、第１の校正パターンと第２の校正パターンとを含み、
前記表示部に、前記平面領域の輝度を前記第１の校正パターンに従って変化させた後に、前記平面領域の輝度を前記第２の校正パターンに従って変化させる前記画像信号を出力するように構成される、請求項１０または請求項１１に記載の表示制御装置。
【請求項１３】
前記第１の校正パターンは、空間的パターンに従って配列された高輝度領域および低輝度領域を含み、
前記第２の校正パターンは、前記第１の校正パターンに対して反転させられた前記高輝度領域と前記低輝度領域とを含む、請求項１２に記載の表示制御装置。
【請求項１４】
前記第１の校正パターンは、一様な低輝度領域からなり、
前記第２の校正パターンは、一様な高輝度領域からなる、請求項１２に記載の表示制御装置。
【請求項１５】
前記第１の校正パターンは、前記平面領域の第１の部分に輝度反転領域を含み、
前記第２の校正パターンは、前記平面領域の前記第１の部分とは異なる第２の部分に輝度反転領域を含む、請求項１２に記載の表示制御装置。
【請求項１６】
前記校正パターンは、輝度が一様で輝度値が互いに異なる複数の校正パターンを含み、
前記表示部に、前記輝度値が単調増加または単調減少するように、前記平面領域の輝度を前記複数の校正パターンに従って順次変化させる前記画像信号を出力するように構成される、請求項１０または請求項１１に記載の表示制御装置。
【請求項１７】
画像信号に従って平面領域の輝度を瞬間的に所定の空間解像度で変化させるように構成された表示部に接続される処理回路に、入射光の強度変化を検出したときにイベント信号を生成するセンサの校正パターンに対応する前記画像信号を出力する処理を実行させるためのプログラム。
【請求項１８】
センサアレイの画角内にある平面領域の輝度を校正パターンに従って瞬間的に所定の空間解像度で変化させるステップと、
前記センサアレイを構成するセンサに、前記輝度の変化に伴う入射光の強度変化を検出させてイベント信号を生成させるステップと
を含むセンサの校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサの校正システム、表示制御装置、プログラム、およびセンサの校正方法に関する。
【背景技術】
【０００２】
入射光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１４−５３５０９８号公報
【特許文献２】特開２０１８−８５７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、従来のビジョンセンサ、例えばフレーム型ビジョンセンサとは異なる特性を考慮した周辺技術については、まだ十分に提案されているとは言いがたい。
【０００５】
そこで、本発明は、イベント駆動型のビジョンセンサの校正を効率的に実施することを可能にするセンサの校正システム、表示制御装置、プログラム、およびセンサの校正方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、入射光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを備えるセンサ装置と、平面領域の輝度をセンサの校正パターンに従って瞬間的に所定の空間解像度で変化させるように構成された表示部を備える表示装置とを含むセンサの校正システムが提供される。
【０００７】
本発明の別の観点によれば、画像信号に従って平面領域の輝度を瞬間的に所定の空間解像度で変化させるように構成された表示部に、センサの校正パターンに対応する画像信号を出力するように構成された表示制御部を備える表示制御装置が提供される。
【０００８】
本発明のさらに別の観点によれば、画像信号に従って平面領域の輝度を瞬間的に所定の空間解像度で変化させるように構成された表示部に接続される処理回路に、入射光の強度変化を検出したときにイベント信号を生成するセンサの校正パターンに対応する画像信号を出力する処理を実行させるためのプログラムが提供される。
【０００９】
本発明のさらに別の観点によれば、センサアレイの画角に対応する空間内にある平面領域の輝度を校正パターンに従って瞬間的に所定の空間解像度で変化させるステップと、センサアレイを構成するセンサに、輝度の変化による入射光の強度変化を検出させてイベント信号を生成させるステップとを含むセンサの校正方法が提供される。
【発明の効果】
【００１０】
上記の構成によれば、表示部への校正用のパターンの表示によって発生する輝度変化を検出させることによって、イベント駆動型のビジョンセンサの校正を効率的に実施することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係るセンサの校正システムの概略的な構成を示すブロック図である。
【図２】校正用のパターンの第１の例を示す図である。
【図３】校正用のパターンの第２の例を示す図である。
【図４】校正用のパターンの第３の例を示す図である。
【図５】校正用のパターンの第４の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
図１は、本発明の一実施形態に係るセンサの校正システムの概略的な構成を示すブロック図である。図１に示されるように、校正システム１０は、センサ装置１００と、表示装置２００とを含む。センサ装置１００はイベント駆動型のビジョンセンサ１１０と制御部１２０とを含み、表示装置２００は表示部２１０と表示制御部２２０とを含む。
【００１４】
センサ装置１００において、ビジョンセンサ１１０は、画像のピクセルに対応するセンサ１１１Ａ，１１１Ｂ，…で構成されるセンサアレイ１１１と、センサアレイ１１１に接続される処理回路１１２とを含む。センサ１１１Ａ，１１１Ｂ，…は、受光素子を含み、入射光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成する。イベント信号は、例えば、タイムスタンプと、センサの識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）とを示す情報として処理回路１１２から出力される。センサアレイ１１１の画角内で被写体が移動すると、被写体によって反射または散乱される光の強度が変化するため、例えば被写体のエッジに対応するセンサ１１１Ａ，１１１Ｂ，…が生成するイベント信号によって被写体の移動を時系列で検出することができる。
【００１５】
制御部１２０は、通信インターフェース１２１と、処理回路１２２と、メモリ１２３とを含む。通信インターフェース１２１は、ビジョンセンサ１１０の処理回路１１２から伝送されたイベント信号を受信して処理回路１２２に出力する。また、通信インターフェース１２１は、有線または無線のネットワークを介して表示装置２００と通信してもよい。処理回路１２２は、例えばメモリ１２３に格納されたプログラムに従って動作し、受信されたイベント信号を処理する。例えば、処理回路１２２は、イベント信号に基づいて、輝度変化が発生した位置をマッピングした画像を時系列で生成し、メモリ１２３に一時的または持続的に格納したり、通信インターフェース１２１を介してさらに別の装置に送信したりする。後述するように、制御部１２０は、校正パターンに基づいてイベント信号を解析してもよい。
【００１６】
表示装置２００において、表示部２１０は、平面領域の輝度を瞬間的に所定の空間解像度で変化させるように構成された装置、具体的には例えばＬＣＤ（Liquid Crystal Display）やＯＬＥＤ（Organic Light-Emitting Diode）ディスプレイ、またはプロジェクタなどである。ここで、本明細書において、「所定の空間解像度で輝度を変化させる」ことは、空間内の領域（例えば平面領域）を所定の数に区分し、区分された領域ごとに輝度を変化させることを意味する。また、「瞬間的に輝度を変化させる」ことは、電子的なスイッチングによって短時間で変化することを意味する。表示部２１０として例示されるＬＣＤやＯＬＥＤディスプレイはバックライトや自発光素子のような電子的な発光体を含み、この場合、輝度を瞬間的に変化させることができる。他の例ではプロジェクタなどを表示部２１０として用いることも可能である。校正の実行時において、表示部２１０は、センサアレイ１１１の画角内にある平面領域の輝度を変化させるように配置される。表示部２１０が輝度を変化させる平面領域は、例えばディスプレイの表示面に対応する。プロジェクタの場合、輝度が変化させられる平面領域は投影面である。この場合、表示部２１０を構成するプロジェクタの本体はセンサアレイ１１１の画角外にあってもよい。後述するように、表示部２１０は、校正パターンに従って平面領域の輝度を変化させるように構成される。
【００１７】
表示制御部２２０は、通信インターフェース２２１と、処理回路２２２と、メモリ２２３とを含む。通信インターフェース２２１は、処理回路２２２が生成した画像信号を表示部２１０に出力するように構成される。また、通信インターフェース２２１は、有線または無線のネットワークを介してセンサ装置１００と通信してもよい。処理回路２２２は、例えばメモリ２２３に格納されたプログラムに従って動作し、表示部２１０に表示させる校正パターンに対応する画像信号を生成するように構成される。校正パターンに対応する画像信号は、通信インターフェース２２１を介して表示部２１０に出力される。例えば、処理回路２２２は、校正パターンを示すデータを、メモリ２２３から読み出したり、通信インターフェース２２１を介して別の装置から受信したりする。
【００１８】
既に述べたように、イベント駆動型のビジョンセンサ１１０は、フレーム型のビジョンセンサに比べて、低電力で高速に動作可能である点で有利である。これは、センサアレイ１１１を構成するセンサ１１１Ａ，１１１Ｂ，…のうち輝度変化を検出したものだけがイベント信号を生成するためである。輝度変化を検出しなかったセンサはイベント信号を生成しないため、処理回路１１２は輝度変化を検出したセンサのイベント信号だけを高速で処理および伝送することができる。また、輝度変化がない場合には処理および伝送の処理が発生しないため、低電力での動作が可能になる。その一方で、センサアレイ１１１の画角内に被写体が存在していても、被写体が移動しなければ輝度変化が発生しないため、例えば静止した校正パターンを被写体にしてもビジョンセンサ１１０の校正を実施することは困難である。
【００１９】
そこで、校正システム１０では、表示部２１０に校正パターンを表示させることによってビジョンセンサ１１０の校正を実施する。具体的には、例えば、表示部２１０に表示されている校正パターンを示すデータを表示装置２００からセンサ装置１００に送信したり、特定の校正パターンのデータを表示する命令をセンサ装置１００から表示装置２００に送信したりすることによって、センサ装置１００の処理回路１２２が校正パターンに基づいてイベント信号を解析することが可能になる。センサアレイ１１１を構成するセンサ１１１Ａ，１１１Ｂ，…は、表示部２１０による平面領域の輝度の変化に伴う入射光の強度変化を検出してイベント信号を生成するため、校正パターンに基づいてイベント信号を解析することによってビジョンセンサ１１０の校正を実施できる。例えば、以下で例示するような校正パターンを表示部２１０に表示させることによって、ビジョンセンサ１１０の各種の校正を実施することができる。なお、校正パターンに基づくイベント信号の解析は、上記のようにセンサ装置１００で実施されてもよいし、表示装置２００で実施されてもよいし、あるいは校正パターンを示すデータとイベント信号とが送信されるさらに別の装置で実施されてもよい。
【００２０】
図２は、本実施形態における校正パターンの第１の例を示す図である。図示された例では、表示部２１０が校正パターン２１１Ａと校正パターン２１１Ｂとを切り替えて表示する。つまり、表示部２１０は、ディスプレイの表示面、またはプロジェクタの投影面に対応する平面領域の輝度を、まず校正パターン２１１Ａに従って変化させ、その後に校正パターン２１１Ｂに従って変化させる。これによって、平面領域では、まず校正パターン２１１Ａに従った輝度の空間分布が現れ、それが校正パターン２１１Ｂに従った輝度の空間分布に瞬間的に変化する。校正パターン２１１Ａ，２１１Ｂは格子状のパターンに従って配列された高輝度領域２１２および低輝度領域２１３を含み、校正パターン２１１Ｂにおける高輝度領域２１２および低輝度領域２１３は校正パターン２１１Ａに対して反転させられている。なお、他の例では、格子状に限らず任意の空間的パターンに従って高輝度領域２１２と低輝度領域２１３が配列されてもよい。
【００２１】
上述した校正システム１０において表示部２１０によって表示される画像を校正パターン２１１Ａから校正パターン２１１Ｂに切り替えると、センサ１１１Ａ，１１１Ｂ，…のうち校正パターン２１１Ｂの高輝度領域２１２に対応するセンサでは輝度上昇を示すイベント信号が生成され、同様に低輝度領域２１３に対応するセンサでは輝度低下を示すイベント信号が生成される。それぞれのイベント信号を生成したセンサの位置関係と、校正パターン２１１Ａ，２１１Ｂとを比較することによって、例えばビジョンセンサ１１０の光学系（図１には示していない）によって生じる像のひずみを検出し、一般的なカメラと同様に定義される内部パラメータ、外部パラメータ、およびひずみ係数などを校正することができる。
【００２２】
図３は、本実施形態における校正パターンの第２の例を示す図である。図示された例では、表示部２１０が、校正パターン２１１Ｃ、校正パターン２１１Ｄ、校正パターン２１１Ｅ、および校正パターン２１１Ｆを順に切り替えて表示する。つまり、表示部２１０は、表示部２１０は、ディスプレイの表示面、またはプロジェクタの投影面に対応する平面領域の輝度を、校正パターン２１１Ｃ〜校正パターン２１１Ｆに従って順次変化させる。これによって、平面領域では、校正パターン２１１Ｃ〜校正パターン２１１Ｆのそれぞれに従った輝度の空間分布が、瞬間的に切り替わりつつ順次現れる。校正パターン２１１Ｃ、校正パターン２１１Ｄ、校正パターン２１１Ｅ、および校正パターン２１１Ｆは、表示部２１０の領域全体において輝度が一様で、輝度値は互いに異なっている。輝度値は校正パターン２１１Ｃで最も低く、校正パターン２１１Ｄでより高く、校正パターン２１１Ｅでさらに高く、校正パターン２１１Ｆで最も高い。なお、図示された例では輝度値が４段階で切り替えられているが、より多い段階で輝度値が切り替えられてもよい。また、図示された例では輝度値が単調増加するように校正パターンの表示が順に切り替えられるが、逆に輝度値が単調減少するように校正パターンの表示が順に切り替えられてもよい。
【００２３】
上述した校正システム１０において表示部２１０に表示される画像を校正パターンＣから校正パターンＦまで順次切り替えると、どこかの切り替えの時点で、センサ１１１Ａ，１１１Ｂ，…のうち表示部２１０を被写体とするものがイベント信号を生成する。例えば校正パターン２１１Ｄが校正パターン２１１Ｅに切り替えられたときにイベント信号が生成された場合、センサが輝度変化を検出する閾値ｔｈは、校正パターン２１１Ｄの輝度値と校正パターン２１１Ｅの輝度値との間にある。例えばビジョンセンサ１１０の製造時に、上記のようにして特定される閾値が設計された範囲内になければセンサ１１１Ａ，１１１Ｂ，…の調整または交換を実施してもよい。
【００２４】
図４は、本実施形態における校正パターンの第３の例を示す図である。図示された例では、表示部２１０が、上記で図２を参照して説明した例と同様に校正パターン２１１Ｃと校正パターン２１１Ｆとを切り替えて表示する。ここで、校正パターン２１１Ｃは一様な低輝度領域からなる校正パターンであり、校正パターン２１１Ｆは一様な高輝度領域からなる校正パターンである。
【００２５】
上述した校正システム１０において表示部２１０に表示される画像を校正パターン２１１Ｃから校正パターン２１１Ｆに切り替えると、原理的にはセンサ１１１Ａ，１１１Ｂ，…のうち表示部２１０を被写体とするセンサすべてで輝度上昇を示すイベント信号が生成される。従って、この時にイベント信号を生成しなかった、または輝度低下を示すイベント信号を生成したセンサは、欠陥画素（輝点）として特定される。同様に、表示される画像を校正パターン２１１Ｆから校正パターン２１１Ｃに切り替えると、原理的には表示部２１０を被写体とするセンサすべてで輝度低下を示すイベント信号が生成される。この時にイベント信号を生成しなかった、または輝度上昇を示すイベント信号を生成したセンサも、欠陥画素（輝点）として特定される。
【００２６】
図５は、本実施形態における校正パターンの第４の例を示す図である。図示された例では、表示部２１０が、上記で図２を参照して説明した例と同様に校正パターン２１１Ｇと校正パターン２１１Ｈとを切り替えて表示する。校正パターン２１１Ｇは、大部分が低輝度領域２１３であるが、平面領域の第１の部分、具体的には左上の一部に、輝度反転領域である高輝度領域２１２Ａが配置される。一方、校正パターン２１１Ｈも、大部分が低輝度領域２１３であるが、平面領域の第１の部分とは異なる第２の部分、具体的には右下の一部に、輝度反転領域である高輝度領域２１２Ｂが配置される。なお、他の例では、左上および右下に限らず、任意の位置に輝度反転領域が配置されてもよい。また、図示された例とは逆に、校正パターンの大部分が高輝度領域２１２であり、その一部に輝度反転領域として低輝度領域２１３が配置されてもよい。
【００２７】
上述した校正システム１０において表示部２１０に表示される画像を校正パターン２１１Ｇから校正パターン２１１Ｈに切り替えると、センサアレイ１１１のうち平面領域の第１の部分の輝度変化を検出するセンサでは、高輝度領域２１２Ａが低輝度領域２１３に変化したことによって輝度低下を示すイベント信号が生成される。一方、このとき、センサアレイ１１１のうち平面領域の第２の部分の輝度変化を検出するセンサでは、低輝度領域２１３が高輝度領域２１２Ｂに変化したことによって輝度上昇を示すイベント信号が生成される。欠陥画素やノイズの影響がある場合を除いて、第１の部分および第２の部分以外の輝度変化を検出するセンサはイベント信号を生成しない。上記のそれぞれのセンサによって生成されるイベント信号のタイムスタンプを比較することによって、センサアレイ１１１の画角の一部でのみ輝度変化が発生して一部のセンサのみがイベント信号を生成した場合における、センサごとのタイムスタンプのオフセット量を比較することができる。
【００２８】
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００２９】
１０…校正システム、１００…センサ装置、１１０…ビジョンセンサ、１１１…センサアレイ、１１１Ａ，１１１Ｂ…センサ、１１２…処理回路、１２０…制御部、１２１…通信インターフェース、１２２…処理回路、１２３…メモリ、２００…表示装置、２１０…表示部、２２０…表示制御部、２２１…通信インターフェース、２２２…処理回路、２２３…メモリ、２１１Ａ〜２１１Ｈ…校正パターン、２１２…高輝度領域、２１３…低輝度領域。
【図１】
2020065149.tif 000003
【図２】
2020065149.tif 000004
【図３】
2020065149.tif 000005
【図４】
2020065149.tif 000006
【図５】
2020065149.tif 000007