(57)【要約】  センサ読取り値に基づいて計算結果を生成することによって、エッジ、コーナーなどのCV特徴における変化を検出することに基づいてイベントをトリガするための特定の技法が提供される。イベントがセンサ素子に関するセンサ読取り値における変化に基づいて検出されるとCV特徴を検出するためのさらに他の技法も提供される。特定の態様では、イベント検出ロジックおよび特徴計算CVビジョン動作は、センサ上の回路において、またはコンピューティングデバイス上のソフトウェア/ファームウェアにおいて、独立に、または組み合わせて実行され得る。
2017531865.tif 000002
【特許請求の範囲】
【請求項１】
センサ読取り値に基づいて計算結果を生成するための方法であって、
対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信するステップであって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記複数のセンサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、ステップと、
前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)計算ハードウェアを使用して局所CV特徴を計算するステップと、
前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化に基づいてイベントを生成するステップであって、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、ステップと
を備える方法。
【請求項２】
前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装される、請求項1に記載の方法。
【請求項３】
前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装される、請求項1に記載の方法。
【請求項４】
ピクセルが、前記センサ素子とピクセル内回路とを備える、請求項1に記載の方法。
【請求項５】
前記専用CV計算ハードウェアにおいて生成された前記イベントが、アプリケーションプロセッサに送られる、請求項1に記載の方法。
【請求項６】
前記局所CV特徴を計算するステップが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成するステップを備える、請求項1に記載の方法。
【請求項７】
前記局所CV特徴を計算するステップが、符号付き勾配(HSG)ラベルのヒストグラムを生成するステップを備える、請求項1に記載の方法。
【請求項８】
前記センサ素子アレイが、視覚センサであり、前記センサ素子アレイの前記複数のセンサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項1に記載の方法。
【請求項９】
前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項1に記載の方法。
【請求項１０】
複数のセンサ素子を備えるセンサ素子アレイであって、前記複数のセンサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置され、前記複数のセンサ素子の各々が、前記センサ素子に入射する光に基づいてセンサ読取り値を生成することが可能である、センサ素子アレイと、
対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくともセンサ読取り値に基づいて前記対象センサ素子に関する局所コンピュータビジョン(CV)特徴を計算し、
前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化に基づいてイベントを生成するように構成され、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、専用CV計算ハードウェアと
を備える視覚センサ。
【請求項１１】
前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装された、請求項10に記載の視覚センサ。
【請求項１２】
前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装された、請求項10に記載の視覚センサ。
【請求項１３】
ピクセルが、前記センサ素子と前記ピクセル内回路とを備える、請求項12に記載の視覚センサ。
【請求項１４】
前記専用CV計算ハードウェアにおいて生成された前記イベントが、アプリケーションプロセッサに送られる、請求項10に記載の視覚センサ。
【請求項１５】
前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを備える、請求項10に記載の視覚センサ。
【請求項１６】
前記局所コンピュータCV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを備える、請求項10に記載の視覚センサ。
【請求項１７】
前記センサ素子アレイの前記センサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項10に記載の視覚センサ。
【請求項１８】
前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項10に記載の視覚センサ。
【請求項１９】
対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信するための手段であって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記センサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、手段と、
前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)計算ハードウェアを使用して局所CV特徴を計算するための手段と、
前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化に基づいてイベントを生成するための手段であって、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、手段と
を備える装置。
【請求項２０】
前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装された、請求項19に記載の装置。
【請求項２１】
前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装された、請求項19に記載の装置。
【請求項２２】
前記専用CV計算ハードウェアにおいて生成された前記イベントが、アプリケーションプロセッサに送られる、請求項19に記載の装置。
【請求項２３】
前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを備える、請求項19に記載の装置。
【請求項２４】
前記局所CV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを備える、請求項19に記載の装置。
【請求項２５】
前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項19に記載の装置。
【請求項２６】
非一時的コンピュータ可読記憶媒体であって、
対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信することであって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記センサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、受信することと、
前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)マイクロプロセッサを使用して局所CV特徴を計算することと、
前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化に基づいてイベントを生成することであって、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、生成することと
を行うための、専用CV処理モジュールによって実行可能な命令を備える、非一時的コンピュータ可読記憶媒体。
【請求項２７】
前記専用CVマイクロプロセッサにおいて生成された前記イベントが、アプリケーションプロセッサに送られる、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【請求項２８】
前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを備える、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【請求項２９】
前記局所コンピュータCV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを備える、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【請求項３０】
前記センサ素子アレイの前記センサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般には、コンピュータビジョンを可能にすることに関し、より詳細には、コンピュータビジョンを使用して特徴を検出する効率を改善することに関する。
【背景技術】
【０００２】
コンピュータビジョンは、アプリケーションで使用するための画像を取得し、処理し、分析し、理解するための方法を含む分野である。従来、センサに結合されたプロセッサは、センサから画像データを取得し、コンピュータビジョン(CV)特徴と、結果としてこれらの特徴に関連するオブジェクトとを検出するためのセンサから受信した情報に対して特定のCV動作を実行する。特徴は、エッジ、コーナーなどを含み得る。これらのCV特徴は、顔、笑顔、およびジェスチャなどのマクロ特徴を決定する際に使用され得る。プロセッサ上で実行されるプログラムは、平面検出、顔検出、笑顔検出、ジェスチャ検出などの様々なアプリケーションにおいて、検出された特徴を利用し得る。
【０００３】
近年、コンピューティングデバイスがコンピューティングデバイスの視野内の特徴およびオブジェクトを検出することを可能にするために多大な努力がなされている。モバイルデバイスなどのコンピューティングデバイスは、モバイルデバイスによって使用される処理リソースおよび電力の量と、熱放散とに対して敏感であるように設計される。しかしながら、従来、カメラを使用してコンピューティングデバイスの視野内の特徴およびオブジェクトを検出することは、かなりの処理リソースを必要とし、その結果、モバイルデバイスなどのコンピューティングデバイスにおいて電力消費が大きくなり、バッテリ寿命が低下することになる。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の態様は、例として示される。以下の説明は、図面を参照して提供され、図面では、全体にわたって同様の参照番号が同様の要素を示すために使用される。本明細書では1つまたは複数の技法の様々な詳細について説明するが、他の技法も同様に可能である。いくつかの例では、様々な技法の説明を容易にするために、周知の構造およびデバイスは、ブロック図で示される。
【０００５】
明細書の残りの部分および図面を参照することによって、本開示によって与えられる実施例の性質および利点をさらに理解することができ、同様の参照番号が、同様の構成要素を指すために、いくつかの図面全体で用いられる。いくつかの例では、複数の同様の構成要素のうちの1つを示すために、サブラベルが参照番号に関連付けられる。存在するサブラベルを特定することなく、参照番号に言及する場合、参照番号はそのようなすべての同様の構成要素を指す。
【図面の簡単な説明】
【０００６】
【図１】2次元アレイに配置された複数のセンサ素子を備える例示的なセンサを示す図である。
【図２】センサ素子とピクセル内回路とを備える例示的なピクセルを示す図である。
【図３】周辺回路に結合された例示的なセンサ素子アレイを示す図である。
【図４】専用コンピュータビジョン(CV)処理モジュールに結合された例示的なセンサ素子アレイを示す図である。
【図５】イベントベースのカメラを使用する視覚センサの例示的な実装形態を示す図である。
【図６】視覚センサのための例示的なピクセルを示す図である。
【図７】CV特徴を計算するための感知装置に関する例示的なブロック図である。
【図８】本開示の特定の態様による例示的なフローチャートである。
【図９】図7中のイベント検出モジュールとCVモジュールとの間で送信される例示的な情報を示す図である。
【図１０】本開示の態様を実行するための例示的なピクセルを示す図である。
【図１１】本開示の態様を実行するための例示的なセンサ装置を示す図である。
【図１２】本開示の態様を実行するための別の例示的なセンサ装置を示す図である。
【図１３】CV動作を実行する感知装置に関する別の例示的なブロック図である。
【図１４】本開示の特定の態様による例示的なフローチャートである。
【図１５】本開示の特定の態様による、センサのための回路およびモジュールの例示的な実装形態を示す図である。
【図１６Ａ】本開示の態様において使用され得るSRAMセルの例示的な実装形態の図である。
【図１６Ｂ】本開示の態様において使用され得る比較器の例示的な実装形態の図である。
【図１７】本開示の特定の態様を実行するためのセンサ装置の別の例示的な実装形態を示す図である。
【図１８】本開示の特定の態様を実行するためのセンサ装置の別の例示的な実装形態を示す図である。
【図１９】1つまたは複数の実施形態が実施され得るコンピューティングシステムの一例を示す図である。
【発明を実施するための形態】
【０００７】
本開示は、一般には、コンピュータビジョンを可能にすることに関し、より詳細には、コンピュータビジョンを使用して特徴を検出する効率を改善することに関する。
【０００８】
一態様では、センサ読取り値に基づいて計算結果を生成することによって、エッジ、コーナーなどのコンピュータビジョン(CV)特徴における変化を検出することに基づいてイベントをトリガするための技法が提供される。別の態様では、センサ素子に関するセンサ読取り値における変化に基づいてイベントが検出されるとCV特徴を検出するための技法も提供される。特定の態様では、イベント検出ロジックおよび特徴計算CV動作は、センサ上の回路において、またはコンピューティングデバイス上のソフトウェア/ファームウェアにおいて、独立してまたは組み合わせて実行され得る。
【０００９】
例示的な視覚センサは、複数のセンサ素子を備えるセンサ素子アレイを含み得、複数のセンサ素子は、センサ素子アレイの少なくとも第1の寸法(Dimension)および第2の寸法に沿って配置され、複数のセンサ素子の各々は、センサ素子に入射する光に基づいてセンサ読取り値を生成することができる。さらに、視覚センサは、対象センサ素子および対象センサ素子に対する隣接センサ素子に関する少なくともセンサ読取り値に基づいて対象センサ素子に関する局所CV特徴を計算し、対象センサ素子に関する以前に計算されたCV特徴からの計算されたCV特徴における変化に基づいてイベントを生成するように構成された専用コンピュータビジョン(CV)計算ハードウェアを含み得、イベントは、計算されたCV特徴における変化に関連する対象センサ素子の位置に関する情報を含む。
【００１０】
本開示の特定の態様では、専用CV計算ハードウェアは、専用CV処理モジュール、ピクセル内回路、または周辺回路として実装され得る。ピクセルは、センサ素子とピクセル内回路とを含み得る。専用CV計算ハードウェアにおいて生成されたイベントは、いくつかの例では、アプリケーションプロセッサに送られ得る。局所CV特徴を計算することは、局所バイナリパターン(LBP)ラベル、LBPラベルの変形、または符号付き勾配(HSG)ラベルのヒストグラムを生成することを含み得る。いくつかの例では、センサ素子アレイのセンサ素子は、少なくとも1つのフォトダイオードを含み得る。本開示のいくつかの態様では、イベントは、動的視覚センサ(DVS)回路を使用して生成され得る。
【００１１】
本開示の態様は、上記および本開示を通して開示される態様を実行するための方法、および手段を備える装置をさらに開示する。本開示の態様は、非一時的コンピュータ可読記憶媒体をさらに開示し、非一時的コンピュータ可読記憶媒体は、上記および本明細書を通して開示される本開示の態様を実行するための専用コンピュータビジョンマイクロプロセッサによって実行可能な命令を含み得る。
【００１２】
上記は、以下に続く詳細な説明がよりよく理解され得るように、例の特徴および技術的利点をいくぶん広く概説している。以下で、追加の特徴および利点について説明する。開示される概念および特定の例は、本開示の同じ目的を実行するための他の構造を修正または設計するための基礎として容易に利用され得る。そのような等価の構成は、添付の特許請求の範囲の要旨および範囲から逸脱しない。本明細書で開示される概念に特有あると考えられる特徴は、それらの構成および動作方法の両方として、関連する利点とともに、添付図面に関連して考慮されるとき、以下の説明からよりよく理解されるであろう。図面の各々は、例示および説明の目的のために提供され、特許請求の範囲の制限の定義としては提供されない。
【００１３】
詳細な説明
いくつかの例示的な実施形態について、本明細書の一部を形成する添付図面に関して説明する。本開示の1つまたは複数の態様が実装され得る特定の実施形態について以下で説明するが、本開示の範囲または添付の特許請求の範囲の趣旨から逸脱することなく、他の実施形態が使用されることがあり、様々な修正が行われることがある。
【００１４】
センサは、複数のセンサ素子のセンサ素子アレイを含み得る。センサ素子アレイは、センサ素子アレイの列および行などの2次元に配置されたセンサ素子を含む2次元アレイであり得る。センサ素子の各々は、環境条件に基づいてセンサ読取り値を生成することが可能であり得る。特定の実装形態では、センサは、視覚センサであり得、センサ素子に入射する光に基づいてセンサ読取り値を生成し得る。図1は、2次元アレイに配置された複数のセンサ素子を備える例示的なセンサ100を示す。図1では、センサ100の図は、センサ素子アレイ内の64(8×8)個のセンサ素子を表す。様々な実装形態では、センサ素子の形状、センサ素子の数、センサ素子間の間隔は、本発明の範囲から逸脱することなく、非常に変化し得る。センサ素子102は、64個のセンサ素子のグリッドからの例示的なセンサ素子を表す。
【００１５】
特定の実装形態では、センサ素子は、センサ素子に結合されたピクセル内回路(計算構造)として実装された専用コンピュータビジョン(CV)計算ハードウェアを有し得る。いくつかの実装形態では、センサ素子およびピクセル内回路は一緒に、ピクセルと呼ばれることがある。センサ素子に結合されたピクセル内回路によって実行される処理は、ピクセル内処理と呼ばれることがある。いくつかの例では、センサ素子アレイは、ピクセルアレイと呼ばれることがあり、違いは、ピクセルアレイがセンサ素子と各センサ素子に関連するピクセル内回路の両方を含むことである。図2は、センサ素子202とピクセル内回路204とを有する例示的なピクセル200を示す。特定の実装形態では、ピクセル内回路204は、アナログ回路、デジタル回路、またはそれらの任意の組合せであり得る。
【００１６】
特定の実装形態では、センサ素子アレイは、センサ素子のグループに結合された周辺回路(計算構造)として実装された専用CV計算ハードウェアを有し得る。そのような周辺回路は、オンチップセンサ回路と呼ばれることがある。図3は、センサ素子アレイ302に結合された例示的な周辺回路(304および306)を示す。
【００１７】
さらに、図4に示すように、特定の実装形態では、センサ素子アレイは、センサ素子アレイ402に結合され、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、埋込みマイクロプロセッサ、または、本開示の態様を実行するための任意の同様なアナログ計算ロジックもしくはデジタル計算ロジックを使用して実装される専用CV処理モジュール404として実装される専用CV計算ハードウェアを有し得る。特定の実装形態では、専用CV処理モジュール404として実装される専用CV計算ハードウェアは、CV特徴を計算するための非過渡的コンピュータ媒体装置上に記憶された命令を実行するように構成され得る。
【００１８】
少なくとも特定の実装形態では、専用CV処理モジュール404は、アプリケーションプロセッサ406に追加され、アプリケーションプロセッサ406の代わりではないことが留意されるべきである。たとえば、専用CV処理モジュール404は、CV特徴を処理および/または検出し得る。一方、アプリケーションプロセッサ406は、これらの専用CV特徴の指標を受信し得、笑顔、顔、オブジェクトなどのマクロ特徴を検出するために、以前に記憶された画像または参照指標に対してパターンマッチングし得る。加えて、アプリケーションプロセッサ406は、比較的非常により複雑で、計算集約的で、電力集約的で、ユーザと対話するためのユーザインターフェースを実装し、デバイスのための電力管理を実行し、メモリおよび他のリソースなどを管理する、オペレーティングシステムの動作などのシステムレベルの動作を実行する役割を果たし得る。アプリケーションプロセッサ406は、図19のプロセッサ1910と同様であり得る。
【００１９】
図5は、視覚センサを備える感知装置の例示的な実装形態を示す。コンピューティングデバイスに結合された1つまたは複数のカメラを使用して、画像、またはビデオなどの一連の画像を取得するために、いくつかの技法が用いられ得る。
【００２０】
図5は、イベントベースのカメラを使用する視覚センサの例示的な実装形態を示す。視覚センサは、画像データを取得するための画像カメラまたはビデオカメラ内で使用され得る。イベントベースのカメラセンサは、イベントに基づいて画像情報を取得するように構成され得る。一実装形態では、イベントベースのカメラは、図1に示すように、複数のピクセルを備え得る。各ピクセルは、センサ素子とピクセル内回路とを備え得る。各ピクセルは、ピクセルで検出されたイベントに基づいて画像データを取得するように構成され得る。たとえば、一実装形態では、任意の所与のピクセルで知覚された環境条件の変化(たとえば、オブジェクトから反射する光の変化)は、しきい値を超える電圧の変化をもたらす可能性があり、ピクセルにおけるイベントをもたらす可能性がある。イベントに応答して、ピクセルに関連するロジックは、さらなる処理のためにプロセッサにセンサ読取り値を送り得る。
【００２１】
図6を参照すると、各ピクセルは、フォトダイオード602と、動的視覚センサ(DVS:dynamic vision sensor)604回路とを含み得る。DVSモジュールは、イベント検出モジュールと呼ばれることもある。イベント検出モジュールは、ピクセルにおける値の変化を検出し、イベントインジケータを生成する。イベントを示すピクセルの強度がしきい値を超えて変化したとき、センサ読取り値がプロセッサに送り出される。いくつかの例では、イベントが検出されたセンサ素子の位置は、ペイロードとともに、さらなる処理のためにコンピュータシステムに送られる。一実装形態では、ペイロードは、電圧強度、電圧強度の変化、または、電圧強度の変化の極性(符号)であり得る。いくつかの例では、イベントベースのカメラは、従来のフレームベースのカメラと比較して、さらなる処理のためにプロセッサに転送されるデータの実質的により少ない量をもたらすことができ、電力節約をもたらす。
【００２２】
図5に戻って参照すると、ブロック502は、センサとイベント検出回路とを集合的に表す。ブロック502は、複数のピクセルを有するセンサを表し、各ピクセルは、イベント検出のためのセンサ素子と回路とを備える。各ピクセルは、センサ素子を使用してセンサ読取り値を生成する。センサ読取り値は、後にデジタル化され、すなわち、ADC変換器508を使用してアナログデータからデジタルデータに変換される。一実施形態では、以前のセンサ読取り値の結果は、各ピクセルについて列並列SRAM506内に記憶され得る。いくつかの例では、列並列SRAM506内に記憶された結果は、現在のセンサ読取り値と以前のセンサ読取り値との間の比較に基づいてイベントを比較し、トリガするために、比較器によって使用され得る。ピクセルで取得されたアナログ情報は、アナログ-デジタル(ADC)変換器508を使用してデジタル領域に変換される。デジタル化されたセンサ読取り値は、CV特徴を計算するためのさらなる画像処理のためにプロセッサ512に送られ得る。
【００２３】
画像プロセッサ512は、特徴と、結果としてこれらの特徴に関連するオブジェクトとを検出するための、個々のピクセルから受信した情報に対する特定のCV特徴を計算し得る。特徴は、エッジ、コーナーなどの複雑ではない特徴を含み得る。CV特徴の計算は、マルチピクセル計算を実行することによって特徴を検出するために、センサ素子アレイからの複数のピクセルからの情報を使用し得る。たとえば、対象センサ素子またはピクセルに対してCV特徴を計算するために、CV動作は、対象センサ素子またはピクセルに近接する隣接センサ素子またはピクセルによって生成されたセンサ読取り値を使用し得る。
【００２４】
特定の実施形態では、画像プロセッサ512などのアプリケーションプロセッサ406上で、線形バイナリパターン(LBP)、LBPの変形、符号付き勾配(HSG)ラベルのヒストグラムなどのより低いレベルのCV特徴を計算することは、電力集約的で、処理集約的であり得る。多くの例では、ピクセルレベルで検出されたイベントは、アプリケーションプロセッサ406においてピクセル値に対するCV動作を実行することによって変化が破棄されるまで、一連のイベントにつながる疑似である可能性がある。さらに、アナログピクセル値をデジタルピクセル値に変換することは、電力を消費する可能性がある。さらに、多くの例において、アプリケーションプロセッサ406上でCV動作を実行することは、システムメモリ内にセンサからの情報を格納することと、センサ情報の処理をトリガすることと、CV計算のためにメモリから命令を取得することと、結果を格納することとを必要とするので、アプリケーションプロセッサ406上でCV特徴を検出することは、電力集約的で、処理集約的である可能性がある。加えて、アプリケーションプロセッサ406は、一般に、命令を実行するときに電力を欠乏する。センサからの偽のまたは興味のないイベントは、不活動の間は低電力モードで動作していてもよいアプリケーションプロセッサ406を起動させ、システムの消費電力を大幅に増加させる。
【００２５】
本発明の特定の実施形態は、アプリケーションプロセッサ406を起動させ、アプリケーションプロセッサ406でこれらの低レベルのCV特徴を計算する代わりに、専用CV計算ハードウェアを使用してLBP、LBPの変形およびHSGラベルの計算などのイベントベースのCV動作を実行するための技法を説明する。
【００２６】
ピクセル内またはピクセルに近接した専用CV計算ハードウェアによってCV特徴を検出するためのCV動作を実行することによって、いくつかの例では、イベントは、ピクセルレベルの粒度でなく、特徴レベルの粒度で検出され得る。特徴レベルの粒度でイベントを検出することは、生成され、さらなる処理のためにアプリケーションプロセッサ406に送られる偽陽性のイベントの数を減少させ得る。
【００２７】
本明細書で説明するように、専用CV計算ハードウェアは、対象センサ素子に近接する複数の隣接センサ素子に関連する信号に少なくとも部分的に基づいて、対象センサ素子の各々に関するCV特徴または局所CV特徴を計算する。
【００２８】
本明細書で説明するように、対象センサ素子に比較的近いセンサ素子は、隣接センサ素子と呼ばれることがある。本開示の特定の態様では、隣接センサ素子は、対象センサ素子のすぐ隣のセンサ素子を含み得る。本開示の特定の他の態様では、隣接センサ素子はまた、対象センサ素子に比較的近く、すぐ隣ではないセンサ素子を含み得る。たとえば、特定の例では、センサの数の幅または高さが64個のセンサ素子であるとき、対象センサ素子から3個のセンサ素子内のセンサ素子は、依然として隣接センサ素子と考えられ得る。
【００２９】
本明細書で説明するように、CV特徴または局所CV特徴は、センサの各センサ素子またはピクセルに関連するラベルなどの低レベルのCVマーカまたはインジケータを検出することを指すことがある。たとえば、ラベルは、センサ素子のためのLBPラベルを含み得る。センサ素子のためのLBPラベルは、センサ素子のセンサ読取り値と、その隣接センサ素子のうちのいくつかのセンサ読取りとを比較することによって生成され得る。LBPラベルは、センサ素子の基準からのCV特徴がエッジ、コーナー、カーブ、スポットなどを表すかどうかを示し得る。HSG、またはLBPの他の適切な変形などの他の技法が、本開示の範囲から逸脱することなくCV特徴を検出するために使用され得る。
【００３０】
本明細書で説明するように、CV特徴の変換に基づいてイベントを検出および/または生成することは、センサ素子またはセンサ素子の小さいグループの観点から特徴の変化を検出することを指すことがある。たとえば、センサ素子におけるLBPラベルが変化した場合、イベントが検出および/または生成され得る。言い換えれば、センサ素子において検出されたCV特徴がスポットからエッジに変化する場合、これは、イベントの生成をトリガし得る。
【００３１】
本明細書で論じるLBPラベルの他にも、異なるタイプのCV特徴はまた、計算LBPラベルの変形を含み得る。そのような変形は、(CS)-LBPを含み得、(CS)-LBPでは、中央ピクセル/ブロックは、考慮されず、中央ブロックの周りのすべての対向するコーナー/エッジが比較され、4つの比較ラベルが結果として生成され、4つの比較ラベルは、次いで、LBPラベルを表し、以前に説明したLBPと同じように使用される。他の変形は、限定はしないが、「パッチ対称」LBP(中央ピクセル/ブロックは、比較において考慮されず、3×3パッチ全体の平均が計算され、次いで、各エッジ/コーナーが平均と比較される)と、「局所3値パターン(LTP:local tertiary pattern)」(1または0だけでなく+1、0、-1の結果を含み得るLBPの変形、0は、差がしきい値未満であることを意味し、+1および-1は、しきい値よりも大きい差を意味するが、差の符号がどちらであるのかを考慮する)とを含む。
【００３２】
以下でより詳細に説明するように、位置およびCV特徴情報などの追加の情報を伴うイベントの生成は、さらなる処理のためにアプリケーションプロセッサに提供され得る。本開示の一態様では、アプリケーションプロセッサは、笑顔、顔、またはそのことに関する任意の他のオブジェクトなどのマクロ特徴を検出するために、これらのイベントと、関連情報とを使用し得る。
【００３３】
図7は、検出されたイベントに基づいてCV特徴を計算および検出するための感知装置に関する例示的なブロック図を示す。図7は、センサ702と、イベント検出モジュール704と、CVモジュール706とを示す。図7に示すように、センサ702からのセンサ読取り値を生成した後、イベント検出モジュール704は、センサ読取り値において検出された変化に基づいてイベントを検出し得る。ピクセル値における変化を意味するイベントが検出されると、CVモジュールは、CV特徴を計算し得、特徴レベルの粒度でイベントを検出し得る。いくつかの例では、特徴の検出時に、プロサッサ上で実行されるアプリケーションは、検出された特徴を使用し得る。
【００３４】
センサ702、イベント検出モジュール704、およびCVモジュール706は、様々な異なる粒度における様々な異なる構成で実装され得る。たとえば、図7中のセンサは、図1中のセンサ素子102などの単一のセンサ素子、または、図1中のセンサ100などのセンサ素子アレイ全体を表し得る。特定の実施形態では、イベント検出モジュール704および/またはCVモジュール706は、ピクセル内回路204、周辺回路304/306、または専用CV処理モジュール404内に、アナログまたはデジタルで実装され得る。
【００３５】
イベント検出モジュール704は、ピクセル内回路または周辺回路またはそれらに任意の組合せとして実装され得る。イベント検出モジュール704が複数のピクセルに関するセンサ読取り値を処理する構成では、イベント検出モジュール704は、列(列並列DVSとも呼ばれる)などのセンサ素子アレイの1次元、またはセンサ素子アレイ全体に関連するセンサ素子からのセンサ読取り値を処理し得る。
【００３６】
CVモジュール706は、オンチップセンサ回路またはオフチップセンサ回路またはそれらの任意の組合せとして、複数のピクセルに関するセンサ読取り値を処理するための、センサピクセルの各々の内部のピクセル内回路204として、周辺回路304として、または専用CV処理モジュール404として実装され得る。CVモジュール706が複数のピクセルに関するセンサ読取り値を処理する構成では、CVモジュール706は、列(列並列CVとも呼ばれる)などのセンサ素子アレイの1次元、またはセンサ素子アレイ全体に関連するセンサ素子からのセンサ読取り値を処理し得る。いくつかの実装形態では、CVモジュール706は、デジタル領域において専用CV処理モジュール404上で実行するためのファームウェア/ソフトウェア命令において実装され得る。
【００３７】
図示していないが、CVモジュール706は、基準センサ素子に近接する隣接センサ素子によって生成されたセンサ読取り値に基づいて、センサ素子に関するマルチピクセル計算を表すアナログ動作またはデジタル動作を実行するように構成され得る。
【００３８】
図8は、本開示の特定の態様による例示的なフローチャートである。プロセス800(または、本明細書で説明する任意の他のプロセス、もしくはそれらの変形および/もしくは組合せ)のうちのいくつかまたはすべては、回路またはロジックによって実行され得る。回路またはロジックは、ピクセル内回路、周辺回路、もしくは専用CV処理モジュール、またはそれらの任意の組合せにおいて実装され得る。いくつかの例では、ロジックのすべてまたは部分は、命令を使用して実装され得、デジタル回路上で実行され得、非一時的コンピュータ可読媒体上に記憶され得る。
【００３９】
ブロック802では、対象センサ素子などの、センサアレイ素子の構成要素は、対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信する。センサ素子アレイは、複数のセンサ素子を備える。センサ素子は、センサ素子アレイの少なくとも第1の寸法(Dimension)および第2の寸法に沿って配置され得る。本開示の特定の態様では、センサ素子アレイは、視覚センサであり、センサ素子の各々は、フォトダイオードを含む。
【００４０】
ブロック804では、専用CV計算ハードウェアなどの、本明細書で開示される構成要素は、対象センサ素子に関するセンサ読取り値における変化を検出し、イベントを生成する。特定の実装形態では、イベント検出回路またはDVSモジュールは、イベントを検出および生成する際に使用される。
【００４１】
ブロック806では、専用CV計算ハードウェアなどの、本明細書で開示される構成要素は、対象センサ素子に関するセンサ読取り値と、対象センサ素子に対する隣接センサ素子に関するセンサ読取り値とに基づいて、局所CV特徴を計算する。
【００４２】
本明細書で説明するように、CV特徴または局所CV特徴は、センサの各センサ素子またはピクセルに関連するラベルなどの低レベルのCVマーカまたはインジケータを指すことがある。たとえば、ラベルは、センサ素子のためのLBPラベルを含み得る。センサ素子のためのLBPラベルは、センサ素子のセンサ読取り値と、その隣接センサ素子のうちのいくつかのセンサ読取りとを比較することによって生成され得る。LBPラベルは、センサ素子の基準からのCV特徴が、エッジ、コーナー、カーブ、スポットなどを表すかどうかを示し得る。HSG、またはLBPの他の適切な変形などの他の技法は、本開示の範囲から逸脱することなく、CV特徴を検出するために使用され得る。局所CV特徴は、LBPラベルまたはHSGラベルから推測され得る。
【００４３】
本開示の特定の態様では、専用CV計算ハードウェアは、図4中の専用CV処理モジュール404などの専用CVマイクロプロセッサの一部として実装される。本開示の特定の他の態様では、専用CV計算ハードウェアは、ピクセル内回路204または周辺回路304として実装され得る。本開示の特定の態様では、計算されたCV特徴は、さらなる処理のために専用CV計算ハードウェアからアプリケーションプロセッサ406に送られる。
【００４４】
図8に示す特定のステップは、一実施形態による、動作モード間の切替えの特定の方法を提供する理解されるべきである。代替の実施形態では、ステップの他のシーケンスも実行され得る。たとえば、代替の実施形態は、上記で概説したステップ/ブロックを異なる順序で実行し得る。例示のために、ユーザは、第3の動作モードから第1の動作モードに変更すること、第4のモードから第2のモードに変更すること、またはそれらの任意の組合せの間で変更することを選び得る。その上、図8に示される個々のステップ/ブロックは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップ/ブロックが、具体的な用途に応じて、追加または削除され得る。当業者は、プロセスの多くの変形、修正、および代替を認識し、評価するであろう。
【００４５】
図9、図10、図11、および図12は、図7および図8に関して説明したようにCV動作を実行する前にDVS動作を実行するための例示的な構成である。
【００４６】
図9は、図7中のイベント検出モジュール704とCVモジュール706との間で送信される例示的な情報を示す。一実装形態では、DVSモジュール901は、センサ素子アレイ900におけるセンサ素子の位置に関連するイベントを検出する。DVSモジュール901は、センサ素子アレイにおけるセンサ素子の位置とオプションのペイロードとを備える情報906とともに、CVモジュール903にイベントを提起し得る。ペイロードは、電圧強度、電圧強度における変化、または変化の極性を含み得る。
【００４７】
イベントの位置、またはイベントに関連するセンサ素子の位置は、画像904に関する画像ピクセルに対応し得る。CVモジュール903は、画像904全体に対してCV特徴を再計算する代わりに、CV特徴がピクセルのそのグループに関して検出され得るように、イベントが検出された画像ピクセルの隣接値を含む画像ピクセル値のグループ902にアクセスし得る。一実装形態では、CV特徴が回路内で検出される場合、隣接ピクセルに関する値は、隣接ピクセルのキャパシタ内に保持された以前の値からアクセスされ得る。別の実装形態では、CVモジュール903がコンピューティングシステム内で動作する場合、隣接値は、記憶された画像からの記憶から検索され得る。
【００４８】
CVモジュール903は、イベント位置とオプションのピクセルペイロードとを処理し、オプションの特徴ペイロード908を生成する。位置およびオプションの特徴ペイロード908は、アプリケーションにおけるさらなる処理のためにアプリケーションプロセッサ406に渡され得る。
【００４９】
図10は、本開示の態様を実行するための例示的なピクセルを示す。図10中のピクセルは、センサ回路1002(すなわち、フォトダイオード)と、ピクセル内のアナログ処理またはデジタル処理のためのDVSおよび/またはCV回路1004とを備える。図10に示すように、特定の実装形態では、複数のキャパシタが、以前の電圧(V_PRE)と現在の電圧(V_CUR)とを記憶するために使用され得る。CVブロック1004は、CV特徴検出のための、LBPラベル、LBPラベルの変形、またはHSGラベルを計算し得る。出力は、CV特徴検出の態様を示す情報と、イベントを示すイベント検出モジュールからの情報とを含み得る。たとえば、本開示の一態様では、出力は、CV(すなわち、LBPまたはHSG)特徴検出に関する情報の3〜4ビットと、イベント自体の発生のための別のビットとを含み得る。
【００５０】
図11は、本開示の態様を実行するためのイベント検出モジュール702を実装する例示的なセンサ装置を示す。図11では、図6で論じたピクセルと同様の各ピクセルは、ブロック1104として集合的に示すセンサ素子602とイベント検出モジュール604とを備える。ブロック1106は、センサからデータを追い出すための行ドライバ(ROW DRV)を表し、ブロック1108は、タイミングコントローラ(TCON)を表す。一実施形態では、以前のセンサ読出しの結果は、ピクセルごとに列並列SRAM1112内に記憶され得る。列並列SRAM1112内に記憶された結果は、現在のセンサ読取り値と以前のセンサ読取り値との間の比較に基づいて、イベントを比較し、トリガするために比較器によって使用され得る。
【００５１】
図11では、各ピクセルは、ピクセルレベルの変化を示すイベント検出モジュールからのデジタル出力と、センサ素子からの電圧読取り値とを出力し得る。図11に示すように、いくつかの例では、CVモジュール1110は、ピクセルのグループまたはセンサ素子アレイ全体に対して実装され得る。CVモジュール1110は、周辺回路304/306または専用CV処理モジュール404として実装され得る。ピクセルのグループまたはセンサ素子アレイ全体に対してCVモジュール1110を実装することは、データを処理する際の効率を考慮し得る。たとえば、同じCVモジュールは、ピクセルの異なるグループに順次にサービスすることが可能であり得る。一実装形態では、ピクセル1102上に位置するイベント検出モジュールによって生成されたデジタル出力(DVSのDout)は、CV回路に変化を示し得、ピクセルから出力された電圧(Vpix)を処理するために処理ロジックを選択/トリガし得る。
【００５２】
図12は、本開示の態様を実行するための別の例示的なセンサ装置を示し、図11で論じた例示的な構成の変形である。たとえば、図12は、図11と同様の行ドライバ1206、タイミングコントローラ1208、CVモジュール1210などの構成要素を有する。図12では、各ピクセルは、センサ素子を備える。ピクセル1202などの各ピクセルは、現在の電圧(Current Vpix)と以前の電圧(Previous Vpix)とを出力する。以前の電圧は、キャパシタ回路を使用してピクセルによって維持され得る。イベント検出モジュールは、各個別のピクセル(すなわち、ピクセル内回路204)の代わりに、周辺回路304または専用CV処理モジュール404として実装され得る。図12に示すように、イベント検出モジュールは、ピクセル列ごとに列並列インベント検出モジュール1212として実装され得る。イベント検出モジュール1212は、ピクセルによって出力された現在の電圧と以前の電圧とを比較し、現在の電圧出力と以前の電圧との間の差に基づいてイベントを生成する。図12に示すアービタ回路1214は、適切な列を選択し、列並列イベント検出モジュールとCVモジュール1210との間で適切なデータを駆動するための多重化ロジックを提供し得る。
【００５３】
図13は、CV特徴を計算するための感知装置に関する別の例示的なブロック図を示す。図13は、センサ1302と、CVモジュール1304と、DVSモジュール1306とを示す。図7(および図8〜図12)を参照して説明した装置とは対照的に、図13中のCV特徴は、DVS動作の前に計算される。図13に示すように、センサ1302からのセンサ読取り値を生成した後、CVモジュール1304は、センサ情報を処理し、CV特徴を検出し、DVSモジュール1306に情報を渡し得る。DVSモジュール1306は、その結果、(ピクセル粒度におけるイベントとは対照的に)CV特徴粒度でイベントを検出し得る。いくつかの例では、CV特徴の検出時に、CVモジュール1304は、さらなる処理のために、アプリケーションプロセッサ406などのプロセッサに情報を送り得る。
【００５４】
センサ1302、CVモジュール1304、およびDVSモジュール1306は、様々な異なる粒度において様々な異なる構成で実装され得る。たとえば、図13中のセンサ1302は、図1からのセンサ素子102などの単一のセンサ素子、または図1からのセンサ100などのセンサ素子アレイ全体を表し得る。
【００５５】
CVモジュール1304は、センサピクセルの各々の内部のピクセル内回路として、周辺回路として、またはオンチップセンサ回路として複数のピクセルに関するセンサ読取り値を処理するための専用CV処理モジュールとして実装され得る。CVモジュール1304が複数のセンサ素子に関するセンサ読取り値を処理する構成では、CVモジュール1304は、列(列並列CVとも呼ばれる)などのセンサ素子アレイの1次元またはセンサ素子アレイ全体に関連するセンサ素子からのセンサ読取り値を処理し得る。
【００５６】
図示されていないが、CVモジュール1304は、参照されたピクセルに近接する隣接センサ素子によって生成されたセンサ読取り値に基づいて、ピクセルに関するマルチピクセル計算を表すアナログ演算またはデジタル演算を実行するように構成され得る。
【００５７】
いくつかの実装形態では、CVモジュール1304は、デジタル領域においてプロセッサ上で実行されるファームウェア/ソフトウェア命令において実装され得る。
【００５８】
同様に、DVSモジュール1306は、センサピクセルの各々の内部のピクセル内回路として、オンチップセンサ回路として複数のピクセルに関するセンサ読取り値を処理するための周辺回路として、または専用CV処理モジュールを使用して実装され得る。DVSモジュール1306が複数のピクセルに関するセンサ読取り値を処理する構成では、DVSモジュール1306は、列(列並列DVSとも呼ばれる)などのセンサ素子アレイの1次元またはセンサ素子アレイ全体に関連するセンサ素子からのセンサ読取り値を処理し得る。
【００５９】
図14は、本開示の特定の態様による例示的なフローチャートである。プロセス1400(または、本明細書で説明する任意の他のプロセス、もしくはそれらの変形および/もしくは組合せ)のうちのいくつかまたはすべては、回路またはロジックによって実行され得る。回路またはロジックは、ピクセル内回路、周辺回路、または専用CV処理ロジック、またはそれらの任意の組合せにおいて実装され得る。いくつかの例では、ロジックのすべてまたは部分は、命令を使用して実装され得、デジタル回路上で実行され得、非一時的コンピュータ可読媒体上に記憶され得る。
【００６０】
ブロック1402では、対象センサ素子などの、センサアレイ素子の構成要素は、対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信する。センサ素子アレイは、複数のセンサ素子を備え、その複数のセンサ素子は、センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置される。本開示の特定の態様では、センサ素子アレイは、視覚センサであり、センサ素子の各々は、少なくとも1つのフォトダイオードを含む。
【００６１】
ブロック1404では、専用CV計算ハードウェアなどの本明細書で開示する構成要素は、局所CV特徴を計算し、局所CV特徴は、少なくとも対象センサ素子に対する隣接センサ素子に関するセンサ読取り値に基づく。
【００６２】
本明細書で説明するように、CV特徴または局所CV特徴は、センサの各センサ素子またはピクセルに関連するラベルなどの低レベルのCVマーカまたはインジケータを指すことがある。たとえば、ラベルは、センサ素子のためのLBPラベルを含み得る。センサ素子のためのLBPラベルは、センサ素子のセンサ読取り値と、その隣接センサ素子のうちのいくつかのセンサ読取り値とを比較することによって生成され得る。LBPラベルは、センサ素子の基準からのCV特徴がエッジ、コーナー、カーブ、スポットなどを表すかどうかを示し得る。HSGまたはLBPの他の適切な変形などの他の技法は、本開示の範囲から逸脱することなく、CV特徴を検出するために使用され得る。局所CV特徴は、LBPラベルまたはHSGラベルに基づき得る。
【００６３】
本明細書で説明するように、対象センサ素子に比較的近いセンサ素子は、隣接センサ素子と呼ばれることがある。本開示の特定の態様では、隣接センサ素子は、対象センサ素子のすぐ隣のセンサ素子を含み得る。本開示の特定の他の態様では、隣接センサ素子はまた、対象センサ素子に比較的近く、すぐ隣ではないセンサ素子を含み得る。たとえば、特定の例では、センサの数の幅または高さが64個のセンサ素子であるとき、対象センサ素子から3個のセンサ素子内のセンサ素子は、依然として隣接センサ素子と考えられ得る。
【００６４】
本開示の特定の態様では、専用CV計算ハードウェアは、図4中の専用CV処理モジュール404などの専用CVマイクロプロセッサの一部として実装される。本開示の特定の他の態様では、専用CV計算ハードウェアは、ピクセル内回路204または周辺回路304として実装され得る。
【００６５】
ブロック1406では、専用CV計算ハードウェアなどの本明細書で開示する構成要素は、計算されたCV特徴の変化に基づいてイベントを生成し、イベントは、計算されたCV特徴における変化に関連する対象センサ素子の位置に関する情報を含む。本開示の特定の態様では、計算されたCV特徴は、専用CV計算ハードウェアからアプリケーションマイクロプロセッサに送られる。
【００６６】
本明細書で説明するように、CV特徴における変化に基づいてイベントを生成することは、センサ素子またはセンサ素子の小さいグループの観点から特徴の変化を検出することを指すことがある。たとえば、イベントは、センサ素子におけるLBPレベルが変化した場合、検出および/または生成され得る。言い換えれば、センサ素子において検出されたCV特徴がスポットからエッジに変化した場合、これは、イベントの発生をトリガし得る。
【００６７】
位置およびCV特徴情報などの追加の情報を伴う生成されたイベントは、さらなる処理のためにアプリケーションプロセッサに提供され得る。本開示の一態様では、アプリケーションプロセッサは、笑顔、顔、またはその問題に関する任意の他のオブジェクトなどのマクロ特徴を検出するために、これらのイベントと関連情報とを使用し得る。
【００６８】
図14に示す特定のステップは、一実施形態による、動作モード間の切替えの特定の方法を提供する。代替の実施形態では、ステップの他のシーケンスも使用され得る。たとえば、代替の実施形態は、上記で概説したステップ/ブロックを異なる順序で実行し得る。例示のために、ユーザは、第3の動作モードから第1の動作モードに変更すること、第4のモードから第2のモードに変更すること、またはそれらの任意の組合せの間で変更することを選び得る。その上、図14に示される個々のステップ/ブロックは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップ/ブロックが、具体的な用途に応じて、追加または削除され得る。当業者は、プロセスの多くの変形、修正、および代替を認識し、評価するであろう。
【００６９】
図15、図17、および図18は、図13に関して説明したように、DV動作を実行する前にCV特徴を計算するための例示的な構成である。
【００７０】
図15は、本開示の特定の態様による、センサのための回路およびモジュールの例示的な実装形態を示す。図15に示すように、ピクセル1502は、センサ回路1504(たとえば、フォトダイオード)とCV回路1506とを含み得る。インベント検出モジュールは、オンチップセンサ回路として実装され得、任意の2つのフレーム間の時間差をチェックするための列並列回路(SRAM1508および比較器1510)を備え得る。SRAMセル1508が図15に示されているが、任意の他のタイプの揮発性または不揮発性メモリが使用され得る。イベント検出モジュールのデジタル実装形態では、アナログキャパシタは、デジタルバッファで置き換えられ得、アナログ比較器は、デジタル比較器で置き換えられ得る。
【００７１】
図16Aは、図15または本開示の他の図面中で説明したイベント検出モジュールにおいて使用され得るスタティックランダムアクセスメモリ(SRAM)セルの例示的な実装形態を提供する。図16Aに示すように、双安定ラッチ回路は、M1、M2、およびM5が1対を形成し、M3、M4、およびM6が双安定ラッチ回路の第2の対を形成する。図16Bは、図15または本開示の他の図面中のイベント検出モジュールにおける以前の値と現在の値とを比較するための比較器の例示的な実装形態を提供する。比較器は、2つの電圧または電流を比較し、2つのうちのどちらが大きいか(小さいか)を示すデジタル信号を出力し得る。図16Bに示す比較器は、電圧比較器である。
【００７２】
図17は、本開示の特定の態様を実行するためのセンサ装置1702の別の例示的な実装形態を示す。図17に示すように、CVモジュール1706およびイベント検出回路は、両方とも、ピクセル内部に実装され、ピクセル内CVおよびDVS処理を実行するように構成される。CVモジュールは、LBPラベルまたはHSGラベルを生成し得る。図17では、CV動作が最初に実行され、続いてDVS動作が実行される。DVS動作は、デジタル領域において実行され得、イベントは、特徴検出に基づいて生成され得る。イベント検出回路は、以前のCV出力を記憶するためのSRAM1708または同様の適切なメモリを実装し得る。以前のCV出力および現在のCV出力は、DVSイベントを生成するために比較器1710によって比較され得る。DVS特徴イベントは、さらなる処理のためにCV情報とともにアプリケーションプロセッサ406に提供され得る。
【００７３】
図18は、本開示の特定の態様を実行するためのセンサ装置1802の別の例示的な実装形態を示す。図18に示すように、センサ回路1804(たとえば、フォトダイオード)およびCVモジュール1806は、センサ装置1802(すなわち、ピクセル)内部に実装され、CV特徴は、ピクセル内で検出される。イベント検出モジュールは、オンチップセンサ回路として実装され、列並列回路内に実装される。図18では、CV動作が最初に実行され、続いてDVS動作が実行される。DVS動作は、デジタル領域において実行され得、イベントは、特徴検出に基づいて生成され得る。イベント検出モジュールは、以前のCV出力を記憶するためのSRAM1808または同様の適切なメモリを実装し得る。以前のCV出力および現在のCV出力は、DVSイベントを生成するために比較器1810によって比較され得る。DVS特徴イベントは、さらなる処理のためにCV情報とともにプロセッサに提供され得る。
【００７４】
上記で説明した例の多くは、回路におけるDVS動作(すなわち、イベント検出)およびCV動作を実行することを開示しているが、いくつかの実装形態では、これらの動作の一方または両方は、本発明の範囲から逸脱することなく、デジタル領域においてプロセッサ上のソフトウェアまたはファームウェアにおいて実行され得る。たとえば、特定の実装形態では、これらの動作は、専用CV処理モジュール404においてデジタル領域において実行され得る。
【００７５】
1つまたは複数の態様によれば、本明細書の図1〜図18において説明した装置モジュール、回路、方法、および/または方法ステップのうちのいずれかおよび/またはすべては、視覚センサ装置などのセンサ装置によっておよび/またはセンサ装置内で実現され得る。一実施形態では、論じた方法ステップのうちの1つまたは複数は、CV回路、イベント検出モジュール、または任意の他の回路などのセンサ装置の感知素子および処理ロジックによって実施され得る。加えて、または代替的には、本明細書で説明した方法および/または方法ステップのうちのいずれかおよび/またはすべては、メモリ、ストレージ、または別のコンピュータ可読媒体などのコンピュータ可読媒体上に記憶されたコンピュータ可読命令などのコンピュータ可読命令において実装され得る。
【００７６】
図19は、本発明の実装形態を実施する際に用いられるデバイスおよびセンサ100の一部を組み込む例示的なコンピューティングデバイスを示す。たとえば、コンピューティングデバイス1900は、モバイルデバイスまたは任意の他のコンピューティングデバイスの構成要素のうちのいくつかを表し得る。コンピューティングデバイス1900の例には、限定はされないが、デスクトップ、ワークステーション、パーソナルコンピュータ、スーパーコンピュータ、ビデオゲーム機、タブレット、スマートフォン、ラップトップ、ネットブック、または他のポータブルデバイスがある。図19は、本明細書で説明する様々な他の実施形態によって提供される方法を実行することができ、かつ/または、ホストコンピューティングデバイス、リモートキオスク/端末、販売時点デバイス、モバイル多機能デバイス、セットトップボックスおよび/もしくはコンピューティングデバイスとして機能することができる、コンピューティングデバイス1900の一実施形態の概略図を提供する。図19は、種々の構成要素の一般化された図を提供することのみを意図しており、必要に応じて、そのいずれか、またはすべてが利用される場合がある。図19は、したがって、個々のシステム要素がどのように比較的分離されたまたは比較的統合された方法で実施され得るのかを広く例示する。
【００７７】
バス1905を介して電気的に結合され得る(または適宜別様に通信し得る)ハードウェア要素を備える、コンピューティングデバイス1900が示されている。ハードウェア要素は、限定はしないが、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックスアクセラレーションプロセッサ、など)を含む1つまたは複数のプロセッサ1910と、限定はしないが、1つもしくは複数のカメラセンサ1950、マウス、キーボードなどを含み得る1つまたは複数の入力デバイス1915と、限定はしないが、ディスプレイユニット、プリンタなどの1つまたは複数の出力デバイス1920とを含み得る。センサ1950は、視覚センサ、嗅覚センサ、および/または化学センサを含み得る。例示的なセンサ100は、図1で説明されている。
【００７８】
コンピューティングデバイス1900は、1つまたは複数の非一時的記憶デバイス1925をさらに含む(かつ/またはそれと通信する)ことができ、非一時的記憶デバイス1925は、限定はしないが、ローカルストレージおよび/もしくはネットワークアクセス可能なストレージを備えることができ、ならびに/または、限定はしないが、プログラム可能、フラッシュ更新可能などであり得る、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/もしくは読取り専用メモリ(「ROM」)などのソリッドフォーム記憶デバイスを含むことができる。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む任意の適切なデータ記憶装置を実装するように構成され得る。
【００７９】
コンピューティングデバイス1900はまた、通信サブシステム1930を含み得る。通信サブシステム1930は、データを受信し送信するための送受信機1950、または、有線媒体および/もしくはワイヤレス媒体を含み得る。通信サブシステム1930はまた、限定はしないが、モデム、ネットワークカード(ワイヤレスまたはワイヤード)、赤外線通信デバイス、ワイヤレス通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備など)などを含み得る。通信サブシステム1930は、ネットワーク(一例を挙げると、以下で説明するネットワークなど)、他のコンピューティングデバイス、および/または本明細書で説明する任意の他のデバイスとデータを交換することを可能にしてもよい。多くの実施形態では、コンピューティングデバイス1900は、上記で説明したように、RAMデバイスまたはROMデバイスを含み得る非一時的作業メモリ1935をさらに備えることになる。
【００８０】
コンピューティングデバイス1900は、オペレーティングシステム1940、デバイスドライバ、実行可能ライブラリ、および/または、1つもしくは複数のアプリケーションプログラム1945などの他のコードを含む、作業メモリ1935内に現在配置されているように図示されている、ソフトウェア要素を備えることができ、1つまたは複数のアプリケーションプログラム1945は、本明細書で説明するように、様々な実施形態によって提供されるコンピュータプログラムを含んでよく、ならびに/または、他の実施形態によって提供される方法を実施し、かつ/もしくはシステムを構成するように設計され得る。単なる例として、上記で説明した方法に関して説明する1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装され得、次いで、一態様では、そのようなコードおよび/または命令は、説明した方法に従って1つまたは複数の動作を実行するために、汎用コンピュータ(または他のデバイス)を構成し、かつ/または適応させるために使用され得る。
【００８１】
これらの命令および/またはコードのセットは、上記で説明した記憶デバイス1925などのコンピュータ可読記憶媒体上に記憶され得る。場合によっては、記憶媒体は、コンピューティングデバイス1900などのコンピューティングデバイス内に組み込まれ得る。他の実施形態では、記憶媒体に記憶されている命令/コードによって汎用コンピュータをプログラムし、構成し、かつ/または適応させるために記憶媒体が使用され得るように、記憶媒体は、コンピューティングデバイスから分離され(たとえば、コンパクトディスクのようなリムーバブル媒体)、かつ/またはインストールパッケージにおいて提供され得る。これらの命令は、コンピューティングデバイス1900によって実行可能である、実行可能コードの形をとることができ、ならびに/または(たとえば、様々な一般的に利用可能なコンパイラ、インストールプログラム、圧縮/展開ユーティリティなどのいずれかを使用した)コンピューティングデバイス1900上でのコンパイルおよび/もしくはインストール時に、次いで実行可能コードの形をとるソースコードおよび/もしくはインストール可能コードの形をとることができる。
【００８２】
特定の要件に応じて、大幅な変更が行われ得る。たとえば、カスタマイズされたハードウェアも使用され得、および/または、特定の要素が、ハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、またはその両方で実装され得る。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイス1900との接続が用いられ得る。
【００８３】
いくつかの実施形態は、本開示による方法を実行するためにコンピューティングデバイス(コンピューティングデバイス1900など)を用い得る。たとえば、説明した方法の手順のうちのいくつかまたはすべては、作業メモリ1935内に含まれる(オペレーティングシステム1940、および/またはアプリケーションプログラム1945などの他のコード内に組み込まれ得る)1つまたは複数の命令の1つまたは複数のシーケンスを実行するプロセッサ1910に応答してコンピューティングデバイス1900によって実行され得る。そのような命令は、1つまたは複数の記憶デバイス1925などの別のコンピュータ可読媒体から作業メモリ1935内に読み込まれ得る。単なる例として、ワーキングメモリ1935に含まれる命令のシーケンスの実行は、プロセッサ1910に、本明細書で説明する方法の1つまたは複数の手順を実行させる場合がある。
【００８４】
本明細書で使用される「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の様式で動作させるデータを提供することに関与する任意の媒体を指す。コンピューティングデバイス1900を使用して実装される実施形態では、様々なコンピュータ可読媒体が、実行するためにプロセッサ1910に命令/コードを提供する際に必要とされることがあり、ならびに/または、そのような命令/コードを(たとえば、信号として)記憶および/または搬送するために使用され得る。多くの実装形態では、コンピュータ可読媒体は、物理的および/または有形の記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態をとり得る。不揮発性媒体は、たとえば、記憶デバイス1925などの光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定はしないが、作業メモリ1935などのダイナミックメモリを含む。伝送媒体は、限定はしないが、バス1905、ならびに通信サブシステム1930の種々の構成要素(および/または通信サブシステム1930が他のデバイスとの通信を提供する媒体)を含む電線を含む、同軸ケーブル、銅線、および光ファイバーを含む。したがって、伝送媒体はまた、(限定はしないが、無線データ通信および赤外線データ通信中に生成されるものなどの、電波、音波、および/または光波を含む)波の形態をとり得る。代替実施形態では、カメラなどのイベント駆動型構成要素およびデバイスが使用されてもよく、その場合、処理の一部がアナログドメインにおいて実行されてもよい。
【００８５】
物理的および/または有形のコンピュータ可読媒体の一般的な形態は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、以下で説明する搬送波、または、コンピュータが命令および/もしくはコードを読み取り得る任意の他の媒体を含む。
【００８６】
実行するためにプロセッサ1910に1つまたは複数の命令の1つまたは複数のシーケンスを搬送する際に、コンピュータ可読媒体の様々な形態が関与し得る。単なる例として、命令は、最初にリモートコンピュータの磁気ディスクおよび/または光ディスク上に担持され得る。リモートコンピュータは、命令をそのダイナミックメモリ内にロードし得、コンピューティングデバイス1900によって受信および/または実行されるように、伝送媒体を介して信号として命令を送り得る。電磁信号、音響信号、光信号などの形をとり得るこれらの信号はすべて、本発明の様々な実施形態による、命令が符号化され得る搬送波の例である。
【００８７】
通信サブシステム1930(および/またはその構成要素)は、一般に、信号を受信することになり、バス1905は、次いで、作業メモリ1935に信号(および/または、信号によって搬送されるデータ、命令など)を搬送し得、プロセッサ1910は、作業メモリ1935から命令を取り出し、実行する。作業メモリ1935によって受信された命令は、オプションで、プロセッサ1910による実行の前または後のいずれかに、非一時的記憶デバイス1925上に記憶され得る。
【００８８】
上記で論じた方法、システム、およびデバイスは、例である。種々の実施形態は、必要に応じて、種々の手順または構成要素を省略、置換、または追加することができる。たとえば、代替の構成では、説明される方法は、説明される順序とは異なる順序で実施される場合があり、かつ/または、種々のステージの追加、省略、および/もしくは組合せが行われる場合がある。さらに、特定の実施形態に関して説明された特徴は、種々の他の実施形態において組み合わせることができる。実施形態の異なる態様および要素は、同じように組み合わせることができる。また、技術は発展するので、要素のうちの多くは、本開示の範囲をそれらの具体例に限定しない例である。
【００８９】
特定の詳細は、実施形態の完全な理解を提供するために、明細書本文で与えられる。しかしながら、実施形態は、これらの具体的な詳細を伴わずに実践することができる。たとえば、実施形態を不明瞭することを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技法は、無用に詳述することなく示されている。この明細書本文は、例示的な実施形態のみを提供し、本発明の範囲、適用性、または構成を限定するものではない。むしろ、実施形態のこれらの説明は、本発明の実施形態を実施することを可能にする説明を当業者に与える。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に種々の変更を加えることができる。
【００９０】
また、いくつかの実施形態は、フロー図またはブロック図として示されたプロセスとして説明されている。各々が、動作について順次プロセスとして説明することがあるが、動作の多くは、並行にまたは同時に実行され得る。加えて、動作の順序は、並べ替えられ得る。プロセスは、図に含まれていない追加のステップを有し得る。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実施され得る。関連するタスクを実施するためのプログラムコードまたはコードセグメントは、ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実現されるときには、ストレージ媒体などのコンピュータ可読媒体に記憶されてもよい。プロセッサは、関連するタスクを実施してもよい。
【００９１】
いくつかの実施形態を説明してきたが、本開示の要旨から逸脱することなく、様々な変更、代替構成、および等価物が使用され得る。たとえば、上記の要素は、単により大きいシステムの構成要素であってもよく、他のルールが本発明の適用例よりも優先するか、そうでなければ本発明の適用例を修正してもよい。また、上記の要素が考慮される前、途中、または後に、いくつかのステップが行われ得る。したがって、上記の説明は本開示の範囲を限定しない。
【符号の説明】
【００９２】
100  センサ
102  センサ素子
200  ピクセル
202  センサ素子
204  ピクセル内回路
302  センサ素子アレイ
304  周辺回路
306  周辺回路
402  センサ素子アレイ
404  専用CV処理モジュール
406  アプリケーションプロセッサ
506  列並列SRAM
508  アナログ-デジタル変換器
512  プロセッサ、画像プロセッサ
602  フォトダイオード、センサ素子
604  動的視覚センサ(DVS)、イベント検出モジュール
702  センサ
704  イベント検出モジュール
706  CVモジュール
900  センサ素子アレイ
901  DVSモジュール
902  画像ピクセル値のグループ
903  CVモジュール
904  画像
906  情報
908  オプションの特徴ペイロード
1002  センサ回路
1004  DVSおよび/またはCV回路、CVブロック
1102  ピクセル
1110  CVモジュール
1112  列並列SRAM
1202  ピクセル
1206  行ドライバ
1208  タイミングコントローラ
1210  CVモジュール
1212  列並列インベント検出モジュール
1214  アービタ回路
1302  センサ
1304  CVモジュール
1306  DVSモジュール
1502  ピクセル
1504  センサ回路
1506  CV回路
1508  SRAM、SRAMセル
1510  比較器
1702  センサ装置
1706  CVモジュール
1708  SRAM
1710  比較器
1802  センサ装置
1804  センサ回路
1806  CVモジュール
1808  SRAM
1810  比較器
1900  コンピューティングデバイス
1905  バス
1910  プロセッサ
1915  入力デバイス
1920  出力デバイス
1925  非一時的記憶デバイス
1930  通信サブシステム
1935  作業メモリ
1940  オペレーティングシステム
1945  アプリケーションプログラム
1950  カメラセンサ、センサ
【図１】
2017531865.tif 000003
【図２】
2017531865.tif 000004
【図３】
2017531865.tif 000005
【図４】
2017531865.tif 000006
【図５】
2017531865.tif 000007
【図６】
2017531865.tif 000008
【図７】
2017531865.tif 000009
【図８】
2017531865.tif 000010
【図９】
2017531865.tif 000011
【図１０】
2017531865.tif 000012
【図１１】
2017531865.tif 000013
【図１２】
2017531865.tif 000014
【図１３】
2017531865.tif 000015
【図１４】
2017531865.tif 000016
【図１５】
2017531865.tif 000017
【図１６Ａ】
2017531865.tif 000018
【図１６Ｂ】
2017531865.tif 000019
【図１７】
2017531865.tif 000020
【図１８】
2017531865.tif 000021
【図１９】
2017531865.tif 000022
【手続補正書】
【提出日】平成29年4月3日(2017.4.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
センサ読取り値に基づいて計算結果を生成するための方法であって、
対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信するステップであって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記複数のセンサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、ステップと、
前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)計算ハードウェアを使用して局所CV特徴を計算するステップと、
イベントを生成し、プロセッサに送るステップであって、前記イベントが、前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化を前記プロセッサに示し、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、ステップと
を備える方法。
【請求項２】
前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装される、請求項1に記載の方法。
【請求項３】
前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装される、請求項1に記載の方法。
【請求項４】
ピクセルが、前記センサ素子とピクセル内回路とを備える、請求項1に記載の方法。
【請求項５】
前記局所CV特徴を計算するステップが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成するステップを備える、請求項1に記載の方法。
【請求項６】
前記局所CV特徴を計算するステップが、符号付き勾配(HSG)ラベルのヒストグラムを生成するステップを備える、請求項1に記載の方法。
【請求項７】
前記センサ素子アレイが、視覚センサであり、前記センサ素子アレイの前記複数のセンサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項1に記載の方法。
【請求項８】
前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項1に記載の方法。
【請求項９】
複数のセンサ素子を備えるセンサ素子アレイであって、前記複数のセンサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置され、前記複数のセンサ素子の各々が、前記センサ素子に入射する光に基づいてセンサ読取り値を生成することが可能である、センサ素子アレイと、
対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくともセンサ読取り値に基づいて前記対象センサ素子に関する局所コンピュータビジョン(CV)特徴を計算し、
イベントを生成し、プロセッサに送るように構成され、前記イベントが、前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化を前記プロセッサに示し、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、専用CV計算ハードウェアと
を備える視覚センサ。
【請求項１０】
前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装された、請求項9に記載の視覚センサ。
【請求項１１】
前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装された、請求項9に記載の視覚センサ。
【請求項１２】
ピクセルが、前記センサ素子と前記ピクセル内回路とを備える、請求項11に記載の視覚センサ。
【請求項１３】
前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを含む、請求項9に記載の視覚センサ。
【請求項１４】
前記局所CV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを含む、請求項9に記載の視覚センサ。
【請求項１５】
前記センサ素子アレイの前記センサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項9に記載の視覚センサ。
【請求項１６】
前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項9に記載の視覚センサ。
【請求項１７】
対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信するための手段であって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記センサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、手段と、
前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)計算ハードウェアを使用して局所CV特徴を計算するための手段と、
イベントを生成し、プロセッサに送る手段であって、前記イベントが、前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化を前記プロセッサに示し、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、手段と
を備える装置。
【請求項１８】
前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装された、請求項17に記載の装置。
【請求項１９】
前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装された、請求項17に記載の装置。
【請求項２０】
前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを含む、請求項17に記載の装置。
【請求項２１】
前記局所CV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを含む、請求項17に記載の装置。
【請求項２２】
前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項17に記載の装置。
【請求項２３】
非一時的コンピュータ可読記憶媒体であって、
対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信することであって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記センサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、受信することと、
前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)マイクロプロセッサを使用して局所CV特徴を計算することと、
イベントを生成し、プロセッサに送ることであって、前記イベントが、前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化を前記プロセッサに示し、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、生成し送ることと
を行うための、専用CV処理モジュールによって実行可能な命令を備える、非一時的コンピュータ可読記憶媒体。
【請求項２４】
前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを含む、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【請求項２５】
前記局所CV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを含む、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【請求項２６】
前記センサ素子アレイの前記センサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【国際調査報告】
2017531865.tif 000023
2017531865.tif 000024
2017531865.tif 000025