(57)【要約】【課題】イベント駆動型のビジョンセンサを利用して慣性計測装置（ＩＭＵ）の計測結果、またはＩＭＵの計測結果に基づく推定値の精度を向上させる。【解決手段】入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）と、イベント信号の頻度に応じてＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値を補正する補正処理部とを備える電子機器が提供される。【選択図】図１
2020091163.tif 000002
【特許請求の範囲】
【請求項１】
入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、
前記ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）と、
前記イベント信号の頻度に応じて前記ＩＭＵの計測結果、または前記ＩＭＵの計測結果に基づく推定値を補正する補正処理部と
を備える電子機器。
【請求項２】
前記イベント信号の頻度に基づいて前記電子機器の静止状態に対応する補正タイミングを決定する補正タイミング決定部をさらに備え、
前記補正処理部は、前記補正タイミングが決定されたときに前記ＩＭＵの計測結果または前記推定値を補正する、請求項１に記載の電子機器。
【請求項３】
前記補正タイミング決定部は、前記イベント信号の頻度が閾値未満である場合に前記補正タイミングを決定する、請求項２に記載の電子機器。
【請求項４】
前記補正タイミング決定部は、前記ＩＭＵの計測結果に含まれる検出値が閾値未満である場合に前記補正タイミングを決定する、請求項２または請求項３に記載の電子機器。
【請求項５】
前記ＩＭＵの計測結果は、角速度を含み、
前記推定値は、前記電子機器の姿勢角を含む、請求項１から請求項４のいずれか１項に記載の電子機器。
【請求項６】
入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサから前記イベント信号を受信するステップと、
前記ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）から計測結果を受信するステップと、
前記イベント信号の頻度に応じて前記ＩＭＵの計測結果、または前記ＩＭＵの計測結果に基づく推定値を補正するステップと
を含む補正方法。
【請求項７】
入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサから前記イベント信号を受信するステップと、
前記ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）から計測結果を受信するステップと、
前記イベント信号の頻度に応じて前記ＩＭＵの計測結果、または前記ＩＭＵの計測結果に基づく推定値を補正するステップと
を電子機器の制御部を構成する処理回路に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、補正方法およびプログラムに関する。
【背景技術】
【０００２】
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１４−５３５０９８号公報
【特許文献２】特開２０１８−８５７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、従来のビジョンセンサ、例えばフレーム型ビジョンセンサとは異なる特性を考慮した周辺技術については、まだ十分に提案されているとは言いがたい。
【０００５】
そこで、本発明は、イベント駆動型のビジョンセンサを利用して慣性計測装置（ＩＭＵ：Inertial Measurement Unit）の計測結果、またはＩＭＵの計測結果に基づく推定値の精度を向上させることを可能にする電子機器、補正方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）と、イベント信号の頻度に応じてＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値を補正する補正処理部とを備える電子機器が提供される。
【０００７】
本発明の別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサからイベント信号を受信するステップと、ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）から計測結果を受信するステップと、イベント信号の頻度に応じてＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値を補正するステップとを含む補正方法が提供される。
【０００８】
本発明のさらに別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサからイベント信号を受信するステップと、ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）から計測結果を受信するステップと、イベント信号の頻度に応じてＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値を補正するステップとを電子機器の制御部を構成する処理回路に実行させるためのプログラムが提供される。
【発明の効果】
【０００９】
上記の構成によれば、例えばイベント信号の頻度から電子機器が静止していると判定することができるため、イベント駆動型のビジョンセンサを利用してＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値の精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る電子機器の概略的な構成を示すブロック図である。
【図２】図１に示す電子機器における補正のタイミングについて概念的に説明するための図である。
【図３】図１に示す電子機器における処理回路の機能構成を示すブロック図である。
【図４】図１に示す電子機器における処理の例を示す概略的なフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
図１は、本発明の第１の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。図１に示されるように、電子機器１０は、ビジョンセンサ１００と、制御部２００と、ＩＭＵ３００とを含む。
【００１３】
イベント駆動型のビジョンセンサ１００は、画像のピクセルに対応するセンサ１１０Ａ，１１０Ｂ，…で構成されるセンサアレイ１１０と、センサアレイ１１０に接続される処理回路１２０とを含む。センサ１１０Ａ，１１０Ｂ，…は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成する。イベント信号は、例えば、タイムスタンプと、センサの識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）とを示す情報として処理回路１２０から出力される。センサアレイ１１０の画角内で被写体が移動すると、被写体によって反射または散乱される光の強度が変化するため、例えば被写体のエッジに対応するセンサ１１０Ａ，１１０Ｂ，…が生成するイベント信号によって被写体の移動を時系列で検出することができる。
【００１４】
制御部２００は、通信インターフェース２１０と、処理回路２２０と、メモリ２３０とを含む。通信インターフェース２１０は、ビジョンセンサ１００の処理回路１２０から伝送されたイベント信号、およびＩＭＵ３００から伝送された加速度や角速度などの計測結果を受信して処理回路２２０に出力する。処理回路２２０は、例えばメモリ２３０に格納されたプログラムに従って動作し、受信されたイベント信号や計測結果を処理する。例えば、処理回路２２０は、イベント信号に基づいて、輝度変化が発生した位置をマッピングした画像を時系列で生成し、メモリ２３０に一時的または持続的に格納したり、通信インターフェース２１０を介してさらに別の装置に送信したりする。また、例えば、処理回路２２０は、加速度や角速度などの計測結果を積分することによって電子機器１０の姿勢角や変位を推定する。
【００１５】
ＩＭＵ３００（慣性計測装置）は、例えばジャイロセンサと加速度センサとを含み、電子機器１０に生じた角速度および加速度を検出する。ここで、ＩＭＵ３００は、少なくともビジョンセンサ１００と同じ電子機器１０の筐体に収容され、ビジョンセンサ１００とともに変位する。電子機器１０に変位が発生すると、ＩＭＵ３００が角速度および加速度を検出するとともに、センサ１１０Ａ，１１０Ｂ，…と被写体との位置関係が変化することによって、例えば被写体のエッジに対応するセンサ１１０Ａ，１１０Ｂ，…がイベント信号を生成する。つまり、電子機器１０に変位が発生しているときには、ビジョンセンサ１００でも変位に応じたイベント信号が生成される。
【００１６】
図２は、図１に示す電子機器における補正のタイミングについて概念的に説明するための図である。電子機器１０に並進および回転の変位が発生すると、ＩＭＵ３００が加速度ａｘ，ａｙ，ａｚおよび角速度ωφ，ωθ，ωψを検出する。上述のように、制御部２００の処理回路２２０は、これらの加速度および角速度をそれぞれ積分することによって電子機器１０の姿勢角や変位を推定する。ところが、積分する時間が長くなるほど、ＩＭＵ３００の計測結果に含まれる誤差（ドリフト誤差、バイアス誤差などと呼ばれる）が積算され、姿勢角や変位の推定精度が低下する。電子機器１０が静止（ｖ＝０）したタイミングでは、加速度、角速度とも０になることがわかっているため、計測結果に含まれる誤差をキャンセルすることができる。ただし、上記の通りＩＭＵ３００の計測結果自体に誤差が含まれるため、計測結果から電子機器１０が静止したタイミングを特定することは必ずしも容易ではない。
【００１７】
そこで、本実施形態では、制御部２００が、ビジョンセンサ１００から受信されるイベント信号の頻度に応じてＩＭＵ３００の計測結果、または計測結果に基づく推定値を補正する処理を実行する。より具体的には、例えば、制御部２００は、イベント信号の頻度が低い場合に、計測結果に含まれるドリフト誤差やバイアス誤差をキャンセルする。あるいは、制御部２００は、イベント信号の頻度が低い場合に、計測結果に基づく姿勢角や変位の推定値から誤差成分を除いてもよい。上述のように、ビジョンセンサ１００はＩＭＵ３００とともに変位しており、電子機器１０に変位が発生している時には、ビジョンセンサ１００でも変位に応じたイベント信号が生成される。逆にいえば、ビジョンセンサ１００でイベント信号が生成されない間は、電子機器１０が静止していると推定することができる。イベント駆動型のビジョンセンサ１００は、例えばフレーム型のビジョンセンサに比べて高速に動作するため、上記の処理によって、電子機器１０が瞬間的に静止した場合であっても静止の瞬間を正確に特定して計測結果または推定値を補正することができる。これによって、より高い頻度で計測結果または推定値を補正することが可能になり、結果として計測結果そのもの、および制御部２００における電子機器１０の姿勢角や変位の推定精度が向上する。
【００１８】
図３は、図１に示す電子機器における処理回路の機能構成を示すブロック図である。図３に示された例において、制御部２００の処理回路２２０は、例えばメモリ２３０に格納されたプログラムに従って動作することによって実装される機能として、イベント信号解析部２２１と、計測結果解析部２２２と、補正タイミング決定部２２３と、補正処理部２２４とを含む。イベント信号解析部２２１は、通信インターフェース２１０を介してビジョンセンサ１００から受信されたイベント信号を解析する。具体的には、例えば、イベント信号解析部２２１は、イベント信号に含まれるタイムスタンプに基づいて、イベント信号の頻度を算出する。一方、計測結果解析部２２２は、通信インターフェース２１０を介してＩＭＵ３００から受信された加速度や角速度などの計測結果を解析する。具体的には、例えば、計測結果解析部２２２は、加速度および角速度をそれぞれ積分して、姿勢角および変位の推定値２３１を算出する。加速度および角速度の計測結果２３２、および推定値２３１の時系列データは、例えばメモリ２３０に格納される。
【００１９】
補正タイミング決定部２２３は、イベント信号解析部２２１が算出したイベント信号の頻度に基づいて、電子機器１０の静止状態に対応する補正タイミングを決定する。補正処理部２２４は、補正タイミング決定部２２３によって補正タイミングが決定されたときに、ＩＭＵ３００の計測結果２３２、または計測結果に基づく推定値２３１の補正処理を実行する。具体的には、例えば、補正処理部２２４は、電子機器１０の静止状態、具体的には重力加速度以外の加速度および角速度がいずれも０である状態での理論上の計測結果と実際の計測結果との差分に対応する値を誤差として特定し、ＩＭＵ３００による加速度および角速度の計測結果２３２に誤差をキャンセルするようなオフセットを与える。補正処理部２２４は、補正タイミング以降に計測結果解析部２２２に入力された計測結果２３２をリアルタイムで補正してもよいし、既に処理された計測結果２３２の時系列データのうち、補正タイミング以降のデータを事後的に補正してもよい。計測結果２３２が事後的に補正された場合、計測結果解析部２２２は推定値２３１の算出を再度実行してもよい。
【００２０】
図４は、図１に示す電子機器における処理の例を示す概略的なフローチャートである。図４に示された例では、まず、イベント信号解析部２２１がイベント信号の頻度を算出する（ステップＳ１０１）。ここで、イベント信号解析部２２１は、例えばタイムウインドウを順次移動させながら、直近の所定時間の間に受信されたイベント信号の数から頻度を算出してもよい。あるいは、イベント信号解析部２２１は、所定の周期で、直近の周期の間に受信されたイベント信号の数から頻度を算出してもよい。次に、補正タイミング決定部２２３が、ステップＳ１０１で算出されたイベント信号の頻度が閾値未満であるか否かを判定する（ステップＳ１０２）。ここで、イベント信号の頻度が閾値以上である場合、電子機器１０は静止していないと判定され、処理は終了する。
【００２１】
一方、ステップＳ１０２においてイベント信号の頻度が閾値未満である場合、さらに、補正タイミング決定部２２３は、ＩＭＵ３００の計測結果に含まれる測定値が閾値未満であるか否かを判定してもよい（ステップＳ１０３）。例えば、電子機器１０の周囲が暗かったり、センサアレイ１１０の画角が遮蔽されていたりした場合には、イベント信号の頻度が低いにもかかわらず電子機器１０が静止していない場合がありうる。そのような場合に計測結果または推定値の補正が実行されないように、補正タイミング決定部２２３は、ＩＭＵ３００の計測結果に含まれる検出値、具体的には加速度や角速度の値が閾値未満であり、電子機器１０の動きがある程度小さいことが推定される場合に限って補正タイミングの決定を実行してもよい。
【００２２】
ステップＳ１０３においてＩＭＵ３００の計測結果に含まれる検出値が閾値未満である場合、補正タイミング決定部２２３が補正タイミングを決定し（ステップＳ１０４）、補正処理部２２４が当該補正タイミングに従って補正処理を実行する（ステップＳ１０５）。具体的には、補正処理部２２４は、補正タイミング以降に計測結果解析部２２２に入力された計測結果２３２をリアルタイムで補正してもよいし、既に処理された計測結果２３２の時系列データのうち、補正タイミング以降のデータを事後的に補正してもよい。計測結果２３２が事後的に補正された場合、計測結果解析部２２２が推定値２３１の算出を再度実行するステップ（図示せず）が実行されてもよい。あるいは、補正処理部２２４は、計測結果に基づく推定値２３１を補正してもよい。
【００２３】
上記で説明したような本発明の第１の実施形態では、制御部２００が、ビジョンセンサ１００から受信されるイベント信号の頻度に応じてＩＭＵ３００の計測結果を補正する処理を実行する。これによって、例えば、電子機器１０が静止した瞬間を正確に特定して計測結果に含まれる誤差をキャンセルすることができ、より高い頻度で誤差をキャンセルすることによって、計測結果そのもの、および電子機器１０の姿勢角や変位の推定精度を向上させることができる。
【００２４】
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００２５】
１０…電子機器、１００…ビジョンセンサ、１１０…センサアレイ、１１０Ａ，１１０Ｂ…センサ、１２０…処理回路、２００…制御部、２１０…通信インターフェース、２２０…処理回路、２２１…イベント信号解析部、２２２…計測結果解析部、２２３…補正タイミング決定部、２２４…補正処理部、２３０…メモリ、２３１…推定値。
【図１】
2020091163.tif 000003
【図２】
2020091163.tif 000004
【図３】
2020091163.tif 000005
【図４】
2020091163.tif 000006