(57)【要約】【課題】イベント駆動型のビジョンセンサにおいて画角を遮蔽または開放する手段を設けることによって利便性を提供する。【解決手段】入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、センサアレイの画角を遮蔽および開放することが可能なシャッターとを備えるセンサモジュール、およびそのようなセンサモジュールを備える電子機器が提供される。【選択図】図１
2020057989.tif 000002
【特許請求の範囲】
【請求項１】
入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、
前記センサアレイの画角を遮蔽および開放することが可能なシャッターと
を備えるセンサモジュール。
【請求項２】
前記シャッターが前記センサアレイの画角を遮蔽している間に前記イベント信号を受信し、前記イベント信号に基づいて前記ビジョンセンサの校正を実行する制御部をさらに備える、請求項１に記載のセンサモジュール。
【請求項３】
前記制御部は、前記遮蔽の間にイベント信号を生成した前記センサを欠陥画素として特定する、請求項２に記載のセンサモジュール。
【請求項４】
前記制御部は、前記遮蔽の間にイベント信号が受信された場合に、前記センサにおけるイベント信号の生成のための閾値を調節する、請求項２または請求項３に記載のセンサモジュール。
【請求項５】
前記センサアレイの画角の遮蔽および開放を繰り返させるための制御信号を前記シャッターに送信し、前記開放から前記遮蔽までの間に受信された前記イベント信号から被写体を検出する制御部をさらに備える、請求項１から請求項４のいずれか１項に記載のセンサモジュール。
【請求項６】
前記被写体は、自発光する被写体を含み、
前記制御部は、前記自発光する被写体に含まれる光源の明滅周期よりも長い周期で前記遮蔽および前記開放を繰り返させるための制御信号を前記シャッターに送信する、請求項５に記載のセンサモジュール。
【請求項７】
請求項１から請求項６のいずれか１項に記載のセンサモジュールを備える電子機器。
【請求項８】
入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサの校正方法であって、
シャッターを駆動して前記センサアレイの画角を遮蔽させるステップと、
前記シャッターが前記センサアレイの画角を遮蔽している間に受信された前記イベント信号に基づいて前記ビジョンセンサの校正を実行するステップと
を含む、ビジョンセンサの校正方法。
【請求項９】
入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを用いた被写体の検出方法であって、
シャッターを駆動して前記センサアレイの画角の遮蔽および開放を繰り返させるステップと、
前記開放から前記遮蔽までの間に受信された前記イベント信号から被写体を検出するステップと
を含む、被写体の検出方法。
【請求項１０】
入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサに接続される処理回路に、
シャッターを駆動して前記センサアレイの画角を遮蔽させるステップと、
前記シャッターが前記センサアレイの画角を遮蔽している間に受信された前記イベント信号に基づいて前記ビジョンセンサの校正を実行するステップと
を実行させるためのプログラム。
【請求項１１】
入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサに接続される処理回路に、
シャッターを駆動して前記センサアレイの画角の遮蔽および開放を繰り返させるステップと、
前記開放から前記遮蔽までの間に受信された前記イベント信号から被写体を検出するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラムに関する。
【背景技術】
【０００２】
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１４−５３５０９８号公報
【特許文献２】特開２０１８−８５７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、従来のビジョンセンサ、例えばフレーム型ビジョンセンサとは異なる特性を考慮した周辺技術については、まだ十分に提案されているとは言いがたい。
【０００５】
そこで、本発明は、イベント駆動型のビジョンセンサにおいて画角を遮蔽または開放する手段を設けることによって利便性を提供するセンサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、センサアレイの画角を遮蔽および開放することが可能なシャッターとを備えるセンサモジュール、およびそのようなセンサモジュールを備える電子機器が提供される。
本発明の別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサの校正方法であって、シャッターを駆動してセンサアレイの画角を遮蔽させるステップと、シャッターがセンサアレイの画角を遮蔽している間に受信されたイベント信号に基づいてビジョンセンサの校正を実行するステップとを含む、ビジョンセンサの校正方法が提供される。
本発明のさらに別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを用いた被写体の検出方法であって、シャッターを駆動してセンサアレイの画角の遮蔽および開放を繰り返させるステップと、開放から遮蔽までの間に受信されたイベント信号から被写体を検出するステップとを含む、被写体の検出方法が提供される。
本発明のさらに別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサに接続される処理回路に、シャッターを駆動してセンサアレイの画角を遮蔽させるステップと、シャッターがセンサアレイの画角を遮蔽している間に受信されたイベント信号に基づいてビジョンセンサの校正を実行するステップとを実行させるためのプログラムが提供される。
本発明のさらに別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサに接続される処理回路に、シャッターを駆動してセンサアレイの画角の遮蔽および開放を繰り返させるステップと、開放から遮蔽までの間に受信されたイベント信号から被写体を検出するステップとを実行させるためのプログラムが提供される。
【発明の効果】
【０００７】
上記の構成によれば、シャッターがセンサアレイの画角を遮蔽または開放することによって、イベント駆動型のビジョンセンサにおいて利便性を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるセンサモジュールの動作の第１の例を示すシーケンス図である。
【図３】本発明の第１の実施形態におけるセンサモジュールの動作の第２の例を示すシーケンス図である。
【図４】本発明の第１の実施形態におけるセンサモジュールの動作の第３の例を示すシーケンス図である。
【図５】本発明の第２の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。
【図６】本発明の第２の実施形態におけるセンサモジュールの動作の第１の例を示すシーケンス図である。
【図７】本発明の第２の実施形態におけるセンサモジュールの動作の第２の例を示すシーケンス図である。
【図８】本発明の第２の実施形態において動き予測を実行する場合の制御部の処理回路の構成例を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。図１に示されるように、電子機器１０は、センサモジュール１００と、制御部２００とを含む。
【００１１】
センサモジュール１００は、イベント駆動型のビジョンセンサ１１０と、アクチュエータ１２０と、シャッター１３０とを含む。ビジョンセンサ１１０は、画像のピクセルに対応するセンサ１１１Ａ，１１１Ｂ，…で構成されるセンサアレイ１１１と、センサアレイ１１１に接続される処理回路１１２とを含む。センサ１１１Ａ，１１１Ｂ，…は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成する。イベント信号は、例えば、タイムスタンプと、センサの識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）とを示す情報として処理回路１１２から出力される。センサアレイ１１１の画角内で被写体が移動すると、被写体によって反射または散乱される光の強度が変化するため、例えば被写体のエッジに対応するセンサ１１１Ａ，１１１Ｂ，…が生成するイベント信号によって被写体の移動を時系列で検出することができる。
【００１２】
ここで、既に述べたように、イベント駆動型のビジョンセンサ１１０は、フレーム型のビジョンセンサに比べて、低電力で高速に動作可能である点で有利である。これは、センサアレイ１１１を構成するセンサ１１１Ａ，１１１Ｂ，…のうち輝度変化を検出したものだけがイベント信号を生成するためである。輝度変化を検出しなかったセンサはイベント信号を生成しないため、処理回路１１２は輝度変化を検出したセンサのイベント信号だけを高速で処理および伝送することができる。また、輝度変化がない場合には処理および伝送の処理が発生しないため、低電力での動作が可能になる。その一方で、センサアレイ１１１の画角内に被写体が存在していても、被写体が移動しなければ輝度変化が発生しないため、センサ１１１Ａ，１１１Ｂ，…が生成するイベント信号によって移動していない被写体をキャプチャすることは困難である。つまり、ビジョンセンサ１１０だけでは、静止している被写体を含む周辺環境の情報を得ることが困難である。
【００１３】
本実施形態では、センサモジュール１００が、ビジョンセンサ１１０に連結されたアクチュエータ１２０を含む。アクチュエータ１２０は、制御部２００から送信される制御信号に従って駆動され、例えばセンサ１１１Ａ，１１１Ｂ，…の光軸方向に対して垂直な方向にセンサアレイ１１１を変位させるように構成される。アクチュエータ１２０がセンサアレイ１１１を変位させることによって、すべてのセンサ１１１Ａ，１１１Ｂ，…と被写体との位置関係が変化する。つまり、このとき、センサアレイ１１１の画角内ですべての被写体が移動したのと同じ変化が発生する。従って、被写体が実際に移動しているか否かに関わらず、例えば被写体のエッジに対応するセンサ１１１Ａ，１１１Ｂ，…が生成するイベント信号によって被写体を検出することができる。上記のような変化を発生させるために必要とされるセンサアレイ１１１の変位量は大きくないため、アクチュエータ１２０はセンサアレイ１１１を微小変位させる、または振動させるバイブレータのようなものであってもよい。
【００１４】
なお、上記ではアクチュエータ１２０がセンサアレイ１１１を変位させる方向がセンサ１１１Ａ，１１１Ｂ，…の光軸方向に対して垂直である例について説明したが、変位の方向が光軸方向に対して垂直ではない場合、例えば変位の方向が光軸方向に対して平行であっても、すべてのセンサ１１１Ａ，１１１Ｂ，…と被写体との位置関係は変化する。従って、アクチュエータ１２０は任意の方向にセンサアレイ１１１を変位させてもよい。なお、変位の方向が光軸方向に対して垂直、または垂直に近い角度である構成は、上記のような変化を発生させるために必要とされるセンサアレイ１１１の変位量が最小化され、またセンサ１１１Ａ，１１１Ｂ，…の全体に略一様な被写体との位置関係の変化が生じる点で有利である。
【００１５】
さらに、本実施形態では、センサモジュール１００が、シャッター１３０を含む。シャッター１３０は、ビジョンセンサ１１０のセンサアレイ１１１の画角全体を遮蔽および開放することが可能なように配置される。シャッター１３０は、例えばフォーカルプレーンシャッターやレンズシャッターのような機械的なシャッターであってもよいし、液晶シャッターのような電子的なシャッターであってもよい。開いていたシャッター１３０が閉じると、センサアレイ１１１の画角全体が遮蔽されることによって、原理的にはすべてのセンサ１１１Ａ，１１１Ｂ，…に入射する光の強度が最小かつ一定になる。また、閉じていたシャッター１３０が開くと、センサアレイ１１１の画角全体が開放されることによって、原理的にはすべてのセンサ１１１Ａ，１１１Ｂ，…で輝度が上昇する変化が発生する。後述するように、本実施形態では、このような動作を利用してセンサアレイ１１１の校正や自発光する被写体の検出を実行する。
【００１６】
制御部２００は、通信インターフェース２１０と、処理回路２２０と、メモリ２３０とを含む。通信インターフェース２１０は、ビジョンセンサ１１０の処理回路１１２から伝送されたイベント信号を受信して処理回路２２０に出力する。また、通信インターフェース２１０は、処理回路２２０が生成した制御信号をアクチュエータ１２０に送信する。処理回路２２０は、例えばメモリ２３０に格納されたプログラムに従って動作し、受信されたイベント信号を処理する。例えば、処理回路２２０は、イベント信号に基づいて、輝度変化が発生した位置をマッピングした画像を時系列で生成し、メモリ２３０に一時的または持続的に格納したり、通信インターフェース２１０を介してさらに別の装置に送信したりする。また、処理回路２２０は、アクチュエータ１２０およびシャッター１３０をそれぞれ駆動させるための制御信号を生成する。
【００１７】
図２は、本発明の第１の実施形態におけるセンサモジュールの動作の第１の例を示すシーケンス図である。図示された例では、まず、制御部２００の処理回路２２０が生成した制御信号が、アクチュエータ１２０に送信される（Ｓ１０１）。制御信号を受信したアクチュエータ１２０が駆動することによって（Ｓ１０２）、センサアレイ１１１が所定の方向に変位し、原理的にはすべての被写体のエッジに対応するセンサ１１１Ａ，１１１Ｂ，…が生成したイベント信号がビジョンセンサ１１０から制御部２００に送信される（Ｓ１０３）。処理回路２２０は、受信したイベント信号から被写体を検出する（Ｓ１０４）。上述のように、このとき、被写体が実際に移動しているか否かに関わらず、被写体を検出することができる。処理回路２２０は、アクチュエータ１２０への制御信号の送信（Ｓ１０１）からイベント信号の受信（Ｓ１０３）およびイベント信号に基づく環境情報のキャプチャ（Ｓ１０４）までを一連の手順として実行してもよい。例えば、処理回路２２０は、アクチュエータ１２０への制御信号の送信（Ｓ１０１）から所定時間の間に受信されたイベント信号を、環境情報を示すイベント信号としてそれ以外の時間に受信されたイベント信号とは別に扱ってもよい。
【００１８】
図３は、本発明の第１の実施形態におけるセンサモジュールの動作の第２の例を示すシーケンス図である。図示された例では、まず、シャッター１３０が開いた状態で、制御部２００の処理回路２２０が生成した制御信号が、シャッター１３０に送信される（Ｓ１１１）。制御信号を受信したシャッター１３０が閉じることによって（Ｓ１１２）、センサアレイ１１１の画角全体が遮蔽され、すべてのセンサ１１１Ａ，１１１Ｂ，…に入射する光の強度が最小かつ一定になる。従って、光が遮断されたことによって輝度が低下したことを示すイベント信号がビジョンセンサ１１０から制御部２００に送信された（Ｓ１１３）後は、原理的にはイベント信号は受信されないはずである。しかしながら、例えばセンサに欠陥があったり、センサにおけるイベント信号の生成のための輝度変化の閾値の設定が適切でないためにノイズが輝度変化として検出されたりしている場合には、シャッター１３０がセンサアレイ１１１の画角を遮蔽している間にもイベント信号が生成されうる。そこで、制御部２００では、処理回路２２０が、シャッター１３０が閉じた状態を所定の時間にわたって維持し、シャッター１３０がセンサアレイ１１１の画角を遮蔽している間に受信されるイベント信号を監視する。この間にイベント信号が受信された（Ｓ１１４）場合、処理回路２２０は、受信されたイベント信号に基づいてビジョンセンサ１１０の校正を実行する（Ｓ１１５）。具体的には、処理回路２２０は、イベント信号を生成したセンサを欠陥画素（輝点）として特定するか、当該センサにおけるイベント信号の生成のための輝度変化の閾値を調節する。
【００１９】
図４は、本発明の第１の実施形態におけるセンサモジュールの動作の第３の例を示すシーケンス図である。図示された例では、まず、シャッター１３０が閉じた状態で、制御部２００の処理回路２２０が生成した制御信号が、シャッター１３０に送信される（Ｓ１２１）。制御信号を受信したシャッター１３０が開くと（Ｓ１２２）、センサアレイ１１１の画角全体が開放され、原理的にはすべてのセンサ１１１Ａ，１１１Ｂ，…で輝度が上昇したことを示すイベント信号がビジョンセンサ１１０から制御部２００に送信される（Ｓ１２３）。その後、再び制御部２００の処理回路２２０が生成した制御信号がシャッター１３０に送信され（Ｓ１２５）、シャッター１３０が閉じて（Ｓ１２６）センサアレイ１１１の画角全体が遮蔽されると、同様にすべてのセンサ１１１Ａ，１１１Ｂ，…で輝度が低下したことを示すイベント信号がビジョンセンサ１１０から制御部２００に送信される（Ｓ１２７）。このように、制御部２００は、センサアレイ１１１の画角の遮蔽および開放を繰り返させるための制御信号をシャッター１３０に送信し、その間、特に画角の開放から遮蔽までの間にビジョンセンサ１１０において生成されたイベント信号を受信する。
【００２０】
ここで、シャッター１３０による画角の開放（Ｓ１２２）から遮蔽（Ｓ１２６）までの時間ｔ１が短ければ（具体的には、例えば３００ｍｓｅｃ以下）、被写体にはほとんど移動が生じず、従って被写体の移動を示すイベント信号は受信されないはずである。例外として、照明やディスプレイなどの自発光する被写体における光源の明滅周期が時間ｔ１よりも短い場合は、これらの被写体の明滅を示すイベント信号が受信される（Ｓ１２４）。従って、制御部２００は、時間ｔ１、すなわち画角の遮蔽および開放の繰り返しの周期を、（上記のように短い時間としつつ）自発光する被写体に含まれる光源の明滅周期よりも長くすることによって、受信したイベント信号に基づいて自発光被写体を特定することができる（Ｓ１２８）。
【００２１】
以上で説明したような本発明の第１の実施形態では、アクチュエータ１２０がセンサアレイ１１１を変位させることによって、ビジョンセンサ１１０において強制的にイベントを発生させ、例えば静止している被写体を含む周辺環境の情報を得ることができる。また、本実施形態では、シャッター１３０がセンサアレイ１１１の画角全体を遮蔽することによって、センサアレイ１１１の校正をすることができる。また、所定の周期でシャッター１３０の開閉を繰り返すことによって、照明やディスプレイなどの自発光する被写体を検出することができる。
【００２２】
なお、上記の例ではセンサモジュール１００がアクチュエータ１２０およびシャッター１３０の両方を含んでいたが、これらの機能は互いに独立しているため、アクチュエータ１２０またはシャッター１３０のいずれか一方がセンサモジュール１００に含まれてもよい。また、上記の例において制御部２００はセンサモジュール１００とは別に図示および説明されたが、制御部２００はセンサモジュール１００に含まれていてもよい。この場合、センサモジュール１００の処理回路１１２と制御部２００の処理回路２２０とは別個に構成されてもよいし、共通であってもよい。
【００２３】
（第２の実施形態）
図５は、本発明の第２の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。図５に示されるように、電子機器２０は、センサモジュール３００と、制御部２００と、可動支持機構４００とを含む。
【００２４】
センサモジュール３００は、第１の実施形態と同様のイベント駆動型のビジョンセンサ１１０と、シャッター１３０とを含む。センサモジュール３００は、フレーム４１０Ａ，４１０Ｂ，４１０Ｃとアクチュエータ４２０Ａ，４２０Ｂとを含む可動支持機構４００によって支持される。図示された例において、アクチュエータ４２０Ａ，４２０Ｂは、制御部２００から送信される制御信号に従って駆動されるロータリーアクチュエータである。アクチュエータ４２０Ａは制御信号に従ってフレーム４１０Ａ，４１０Ｂの間に所定の角度の回転変位を生じさせ、アクチュエータ４２０Ｂは同様にフレーム４１０Ｂ，４１０Ｃの間に所定の角度の回転変位を生じさせる。これによって、アクチュエータ４２０Ａ，４２０Ｂは、ビジョンセンサ１１０を含むセンサモジュール３００に変位を与える。
【００２５】
本実施形態でも、例えばアクチュエータ４２０Ｂを第１の実施形態のアクチュエータ１２０と同じように用いて、ビジョンセンサ１１０において強制的にイベントを発生させ、例えば静止している被写体を含む周辺環境の情報を得ることが可能である。この場合、例えばアクチュエータ４２０Ｂは、センサモジュール３００に含まれると解されてもよい。加えて、本実施形態では、以下で説明する例のように、アクチュエータ４２０Ａ，４２０Ｂがセンサモジュール３００に変位を与えたときにビジョンセンサ１１０で生成されたイベント信号に基づいて、制御部２００がアクチュエータ４２０Ａ，４２０Ｂの制御信号に補正値を反映させることができる。
【００２６】
図６は、本発明の第２の実施形態におけるセンサモジュールの動作の第１の例を示すシーケンス図である。図示された例では、まず、制御部２００の処理回路２２０が生成した制御信号が、アクチュエータ４２０Ａ，４２０Ｂのいずれか一方または両方に送信される（Ｓ１３１）。アクチュエータ４２０Ａ，４２０Ｂが制御信号に従って駆動される（Ｓ１３２）ことによってセンサモジュール３００に変位が発生し、センサ１１１Ａ，１１１Ｂ，…と被写体との位置関係が変化する。このときセンサ１１１Ａ，１１１Ｂ，…が生成したイベント信号が、ビジョンセンサ１１０から制御部２００に送信される（Ｓ１３３）。制御部２００では、処理回路２２０がアクチュエータ４２０Ａ，４２０Ｂへの制御信号の送信（Ｓ１３１）からイベント信号の受信（Ｓ１３３）までの遅延時間ｄ１を計測し、遅延時間ｄ１に基づいてアクチュエータ４２０Ａ，４２０Ｂを校正する（Ｓ１３４）。具体的には、処理回路２２０は、遅延時間ｄ１に応じて制御信号の補正値を決定し、決定された補正値はその後に処理回路が生成する制御信号に反映される。
【００２７】
上記の例において、例えば、制御信号をアクチュエータ４２０Ａ，４２０Ｂのいずれか一方に送信すれば、アクチュエータ４２０Ａまたはアクチュエータ４２０Ｂを単独で校正することができる。また、制御信号をアクチュエータ４２０Ａ，４２０Ｂの両方に送信すれば、アクチュエータ４２０Ａ，４２０Ｂを含む複合系を校正することができる。遅延時間ｄ１に応じて決定される制御信号の補正値は、例えば制御部２００がアクチュエータ４２０Ａ，４２０Ｂに特定のパターンに追従した変位を実現させたい場合に実行されるＰＩＤ制御のパラメータを補正するときに利用される。
【００２８】
図７は、本発明の第２の実施形態におけるセンサモジュールの動作の第２の例を示すシーケンス図である。図示された例では、上記で図６に示された例と同様に、制御信号が送信され（Ｓ１３１）、制御信号を受信したアクチュエータ４２０Ａ，４２０Ｂが駆動することによって（Ｓ１３２）ビジョンセンサ１１０に回転変位が発生する。ここで、例えばアクチュエータ４２０Ａ，４２０Ｂに摩耗が生じている場合には、ビジョンセンサ１１０の回転変位は瞬間的には安定せず、例えば振動が発生する。この場合、センサ１１１Ａ，１１１Ｂ，…と被写体との位置関係が変化することによってセンサ１１１Ａ，１１１Ｂ，…が生成したイベント信号は、ビジョンセンサ１１０から制御部２００に複数のタイミングで送信される（Ｓ１３３−１，Ｓ１３３−２）。処理回路２２０は、アクチュエータ４２０Ａ，４２０Ｂへの制御信号の送信（Ｓ１３１）から複数のタイミングでのイベント信号の受信（Ｓ１３３−１，Ｓ１３３−２）のそれぞれまでの遅延時間ｄ１，ｄ２を計測する。これによって、結果として、処理回路２２０は、イベント信号の受信の開始（Ｓ１３３−１）から受信の終了（Ｓ１３３−２）までの経過時間ｄ２−ｄ１を計測していることになる。処理回路２２０は、経過時間ｄ２−ｄ１に応じて補正値を決定し、決定された補正値はどの後に処理回路が生成する制御信号に反映される。具体的には、処理回路２２０は、経過時間ｄ２−ｄ１が閾値を超える場合に、アクチュエータ４２０Ａ，４２０Ｂに摩耗が発生していることを示すフラグを立てる。この場合、処理回路２２０は、摩耗が発生しているアクチュエータ４２０Ａ，４２０Ｂについては他のアクチュエータとは異なる動作トルクなどの値を設定してもよい。
【００２９】
図８は、本発明の第２の実施形態において動き予測を実行する場合の制御部の処理回路の構成例を示すブロック図である。図示された例において、制御部２００の処理回路２２０は、例えばメモリ２３０に格納されたプログラムに従って動作することによって実装される機能として、駆動パターン生成部２２１と、制御信号生成部２２２と、イベント信号解析部２２３と、誤差算出部２２４と、動き予測部２２５とを含む。駆動パターン生成部２２１は、アクチュエータ４２０Ａ，４２０Ｂの駆動パターンを生成する。ここで、駆動パターンは、例えばメモリ２３０に格納されたプログラムによって予め規定されたものであってもよいし、電子機器２０に含まれる加速度センサなどの他のセンサの測定値に基づいて決定されたものであってもよい。制御信号生成部２２２は、駆動パターン生成部２２１が生成した駆動パターンに従ってアクチュエータ４２０Ａ，４２０Ｂの制御信号を生成する。
【００３０】
制御信号生成部２２２が生成した制御信号に従ってアクチュエータ４２０Ａ，４２０Ｂが駆動させられると、イベント信号がビジョンセンサ１１０から制御部２００に送信される。処理回路２２０では、イベント信号解析部２２３が、受信されたイベント信号からセンサモジュール３００の変位を逆算する。具体的には、例えば、イベント信号解析部２２３は、イベント信号の解析によって得られる被写体の動きベクトルから、ビジョンセンサ１１０の動きベクトルを逆算する。イベント信号解析部２２３は、逆算されたセンサモジュール３００の変位を含む情報を誤差算出部２２４に提供する。誤差算出部２２４は、例えば上記で図６を参照して説明した例によって特定されるアクチュエータ４２０Ａ，４２０Ｂの動作の遅延時間ｄ１も考慮しながら、逆算されたセンサモジュール３００の変位と駆動パターン生成部２２１が生成した駆動パターンとの差分からアクチュエータ４２０Ａ，４２０Ｂの誤差特性を算出する。誤差特性は、例えばアクチュエータ４２０Ａ，４２０Ｂの動きの種類（具体的には、各軸方向の並進および回転）ごとに正規化されてメモリ２３０に格納されてもよい。
【００３１】
その後に、駆動パターン生成部２２１がアクチュエータ４２０Ａ，４２０Ｂの新たな駆動パターンを生成した場合、制御信号生成部２２２は、生成した制御信号を出力する前に動き予測部２２５に入力する。動き予測部２２５は、誤差算出部２２４によって算出されたアクチュエータ４２０Ａ，４２０Ｂの誤差特性に基づいて、入力された制御信号に対するアクチュエータ４２０Ａ，４２０Ｂの動きを予測する。制御信号生成部２２２は、動き予測部２２５によって予測された動きと、駆動パターン生成部２２１が生成した駆動パターンとの差分が小さくなるように制御信号を補正する。さらに、制御信号生成部２２２は、補正後の制御信号を再び動き予測部２２５に入力し、動き予測部２２５は、誤差特性に基づいて補正後の制御信号に対するアクチュエータ４２０Ａ，４２０Ｂの動きを再予測し、制御信号生成部２２２は再予測された動きと駆動パターンとの間の差分が小さくなるように制御信号を再補正してもよい。
【００３２】
以上で説明したような本発明の第２の実施形態では、上記の第１の実施形態の効果に加えて、制御部２００の処理回路２２０がアクチュエータ４２０Ａ，４２０Ｂへの制御信号の送信からイベント信号の受信までの遅延時間ｄ１，ｄ２を計測することによって、アクチュエータ４２０Ａ，４２０Ｂの遅延量を校正したり、アクチュエータ４２０Ａ，４２０Ｂの内部部品の摩耗などによる振動を検出したりすることができる。また、本実施形態では、処理回路２２０が誤差算出部２２４および動き予測部２２５の機能を実装することによって、アクチュエータ４２０Ａ，４２０Ｂの動きに発生する誤差を考慮して制御信号を補正し、意図された駆動パターンに対してアクチュエータ４２０Ａ，４２０Ｂをより正確に動作させることができる。
【００３３】
なお、上記の例ではアクチュエータ４２０Ａ，４２０Ｂの遅延量の校正と、振動の検出と、制御信号の補正とが同じ実施形態の中で説明されたが、これらの動作は互いに独立に実行可能であるため、電子機器２０またはセンサモジュール３００において一部が実装されて他は実装されないことがありうる。また、上記の例ではビジョンセンサ１１０について第１の実施形態と同様に強制的にイベントを発生させることが可能であるものとして説明したが、この機能は必須ではない。シャッター１３０についても必須ではないため、本実施形態においてビジョンセンサ１１０はシャッター１３０を含まなくてもよい。
【００３４】
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００３５】
１０，２０…電子機器、１００，３００…センサモジュール、１１０…ビジョンセンサ、１１１…センサアレイ、１１１Ａ，１１１Ｂ…センサ、１１２…処理回路、１２０…アクチュエータ、１３０…シャッター、２００…制御部、２１０…通信インターフェース、２２０…処理回路、２２１…駆動パターン生成部、２２２…制御信号生成部、２２３…イベント信号解析部、２２４…誤差算出部、２２５…動き予測部、２３０…メモリ、３００…センサモジュール、４００…可動支持機構、４１０Ａ，４１０Ｂ，４１０Ｃ…フレーム、４２０Ａ，４２０Ｂ…アクチュエータ。
【図１】
2020057989.tif 000003
【図２】
2020057989.tif 000004
【図３】
2020057989.tif 000005
【図４】
2020057989.tif 000006
【図５】
2020057989.tif 000007
【図６】
2020057989.tif 000008
【図７】
2020057989.tif 000009
【図８】
2020057989.tif 000010