(57)【要約】  ハイブリッドカメラセンサは、あるフレームレートで画素を周期的に評価し、閾値の量より少なく変わった画素の値を無視することによって、効率的な画像検知を提供する。フレーム間で、カメラセンサ中の画素のごく一部だけが値を変える可能性があるため、このことによって、フレームレートを増加させることを任意選択で可能にすることができる、より速い読出し時間をもたらすことができる。
2017535999.tif 000002
【特許請求の範囲】
【請求項１】
画像検知を提供するための装置であって、
2次元に配置される複数の画素を有する画素配列を備え、
前記複数の画素の各画素により検知される入力が、各画素に関連する値をもたらし、
前記複数の画素の各画素がフレームレートで周期的に評価されるように構成され、
前記複数の画素の各画素が、各画素に関連する前記値が前記画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力を備える、
装置。
【請求項２】
前記少なくとも1つの出力がデジタル出力を備える、請求項1に記載の装置。
【請求項３】
前記少なくとも1つの出力が、各画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化したときだけ出力信号を提供するアナログ出力を備える、請求項1に記載の装置。
【請求項４】
前記複数の画素のうちの少なくとも1つの画素について、前記少なくとも1つの画素の前記アナログ出力に結合され、前記画素のデジタル出力信号から、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、低電力モードとなるように構成されるアナログ-デジタル変換器(ADC)をさらに備える、請求項3に記載の装置。
【請求項５】
前記複数の画素の少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)と、
前記ADCの出力に結合される追加回路と
をさらに備え、前記追加回路が、前記少なくとも1つの画素のデジタル出力信号から、前記少なくとも1つの画素に関連する前記値が前記少なくとも1つの画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記ADCの出力信号を無視するように構成される、請求項3に記載の装置。
【請求項６】
積分時間を調整するように構成される処理ユニットをさらに備える、請求項1に記載の装置。
【請求項７】
前記処理ユニットが、前記積分時間に基づいて、前記複数の画素のうちの画素に関連する画素露出値を変更するようにさらに構成される、請求項6に記載の装置。
【請求項８】
前記フレームレートを調整するように構成される処理ユニットをさらに備える、請求項1に記載の装置。
【請求項９】
画像検知を提供するための方法であって、
画素配列中の複数の画素の中の各画素について、前記画素に関連する値を検知するステップと、
前記複数の画素中の各画素をフレームレートで周期的に評価するステップと、
前記複数の画素の各画素について、各画素に関連する前記値が前記画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力を提供するステップと
を含む、方法。
【請求項１０】
前記少なくとも1つの出力がデジタル出力を備える、請求項9に記載の方法。
【請求項１１】
前記少なくとも1つの出力が、各画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化したときだけ出力信号を提供するアナログ出力を備える、請求項9に記載の方法。
【請求項１２】
前記画素のデジタル出力信号から、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの前記少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)を低電力モードで動作させるステップをさらに含む、請求項11に記載の方法。
【請求項１３】
前記少なくとも1つの画素のデジタル出力信号から、前記少なくとも1つの画素に関連する前記値が前記少なくとも1つの画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)の出力信号を無視するステップをさらに含む、請求項11に記載の方法。
【請求項１４】
前記複数の画素のうちの少なくとも1つの画素の積分時間を調整するステップをさらに含む、請求項9に記載の方法。
【請求項１５】
前記積分時間に基づいて、前記少なくとも1つの画素に関連する画素露出値を変更するステップをさらに含む、請求項14に記載の方法。
【請求項１６】
前記フレームレートを調整するステップをさらに含む、請求項9に記載の方法。
【請求項１７】
画素配列中の複数の画素の中の各画素について、前記画素に関連する値を検知するための手段と、
前記複数の画素中の各画素をフレームレートで周期的に評価するための手段と、
前記複数の画素の各画素について、各画素に関連する前記値が前記画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力を提供するための手段と
を備える、装置。
【請求項１８】
少なくとも1つの出力を提供するための前記手段が、デジタル出力を提供するための手段を備える、請求項17に記載の装置。
【請求項１９】
少なくとも1つの出力を提供するための前記手段が、各画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化したときだけアナログ出力信号を提供するための手段を備える、請求項17に記載の装置。
【請求項２０】
前記画素のデジタル出力信号から、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの前記少なくとも1つの画素のアナログ出力信号を提供するための前記手段に結合されるアナログ-デジタル変換器(ADC)を低電力モードで動作させるための手段をさらに備える、請求項19に記載の装置。
【請求項２１】
前記少なくとも1つの画素のデジタル出力信号から、前記少なくとも1つの画素に関連する前記値が前記少なくとも1つの画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)の出力信号を無視するための手段をさらに備える、請求項19に記載の装置。
【請求項２２】
前記複数の画素のうちの少なくとも1つの画素の積分時間を調整するための手段をさらに備える、請求項17に記載の装置。
【請求項２３】
前記積分時間に基づいて、前記少なくとも1つの画素に関連する画素露出値を変更するための手段をさらに備える、請求項22に記載の装置。
【請求項２４】
前記フレームレートを調整するための手段をさらに備える、請求項17に記載の装置。
【請求項２５】
画像を処理するため、そこに組み込まれる命令を有する非一時的コンピュータ可読媒体であって、前記命令が、1つまたは複数の処理ユニットによって実行されると、前記1つまたは複数の処理ユニットに、
複数の画素中の各画素をフレームレートで周期的に評価させ、ここで、前記複数の画素のうちの各画素により検知される入力が各画素に関連する値をもたらしており、
前記複数の画素の各画素について、各画素に関連する前記値が前記画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力を受け取らせる、非一時的コンピュータ可読媒体。
【請求項２６】
前記1つまたは複数の処理ユニットに前記少なくとも1つの出力を受け取らせるための前記命令が、デジタル出力を受け取るための命令を含む、請求項25に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記1つまたは複数の処理ユニットに前記少なくとも1つの出力を受け取らせるための前記命令が、各画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化したときだけ出力信号を提供するアナログ出力を受け取るための命令を含む、請求項25に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記1つまたは複数の処理ユニットに、前記画素のデジタル出力信号から、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの前記少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)を低電力モードで動作させるための命令をさらに含む、請求項27に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記1つまたは複数の処理ユニットに、前記少なくとも1つの画素のデジタル出力信号から、前記少なくとも1つの画素に関連する前記値が前記少なくとも1つの画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)の出力信号を無視させるための命令をさらに含む、請求項27に記載の非一時的コンピュータ可読媒体。
【請求項３０】
前記1つまたは複数の処理ユニットに、前記複数の画素のうちの少なくとも1つの画素の積分時間を調整させるための命令をさらに含む、請求項25に記載の非一時的コンピュータ可読媒体。
【請求項３１】
前記1つまたは複数の処理ユニットに、前記積分時間に基づいて、前記少なくとも1つの画素に関連する画素露出値を変更させるための命令をさらに含む、請求項30に記載の非一時的コンピュータ可読媒体。
【請求項３２】
前記1つまたは複数の処理ユニットに、前記フレームレートを調整させるための命令をさらに含む、請求項25に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャに関する。
【背景技術】
【０００２】
モバイルフォン、タブレット、パーソナルメディアプレイヤなどの電子デバイス中で利用されるカメラセンサなどのセンサは、風景の2次元画像を獲得するために、2次元に配置されるセンサ要素または画素の配列を備える。従来型のビデオキャプチャでは、複数の画像またはビデオの「フレーム」が、固定解像度で順次キャプチャされる。そのような例では、カメラセンサは、固定フレームレート(たとえば、毎秒30フレーム)でサンプリングされる。この時間ベースサンプリングによって、キャプチャされる情報に冗長性が生じる。というのは、最も典型的には、1つのフレームから次のもので、比較的少数の画素値が変化するからである。このことによって、バッテリ電源式のデバイスにとって特にやっかいな可能性がある、電力が非効率となることになる。
【０００３】
ダイナミックビジョンセンサ(DVS)などのイベントベースカメラは、閾値の量を超えて変化した値(たとえば、電圧レベル)を有するそれらの画素についてのみイベントを通信することによって、この非効率さのうちの一部に対処するように考案された。イベントベースカメラは、フレームベースカメラセンサでの電力問題を解決するように意図されたが、これらは、イベントが急に発生し、ある種のアプリケーションにとって有益であるよりも速い速度でイベントをキャプチャする可能性がときどきある場合、依然として電力を消費する場合がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本明細書で提供される技法は、あるフレームレートで画素を周期的に評価し、閾値の量より少なく変化した画素の値を無視することによって、効率的な画像検知を提供するハイブリッドセンサを対象とする。フレーム間で、カメラセンサ中の画素のごく一部のみが値を変える可能性があるため、このことによって、フレームレートを増加させることを任意選択で可能にすることができる、より速い読出し時間をもたらすことができる。
【０００５】
説明に従う、画像検知を提供するための例示的な装置は、2次元に配置される複数の画素を有する画素配列を備える。複数の画素の各画素により検知される入力によって、各画素に関連する値がもたらされ、複数の画素の各画素がフレームレートで周期的に評価されるように構成され、複数の画素の各画素が、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力を備える。
【０００６】
装置は、以下の特徴のうちの1つまたは複数を含むことができる。少なくとも1つの出力は、デジタル出力を備えることができる。少なくとも1つの出力は、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したときだけ出力信号を提供する、アナログ出力を備えることができる。装置は、複数の画素のうちの少なくとも1つの画素について、少なくとも1つの画素のアナログ出力に結合され、画素のデジタル出力信号から、画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、低電力モードとなるように構成されるアナログ-デジタル変換器(ADC)を備えることができる。装置は、複数の画素の少なくとも1つの画素のアナログ出力に結合されるアナログ-デジタル変換器(ADC)と、ADCの出力に結合される追加回路とを備えることができ、追加回路は、少なくとも1つの画素のデジタル出力信号から、少なくとも1つの画素に関連する値が少なくとも1つの画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、ADCの出力信号を無視するように構成される。装置は、積分時間を調整するように構成される処理ユニットを備えることができる。処理ユニットは、積分時間に基づいて、複数の画素のうちの画素に関連する画素露出値を変更するようにさらに構成することができる。装置は、フレームレートを調整するように構成される処理ユニットを備えることができる。
【０００７】
説明に従う、画像検知を提供するための例示的な方法は、画素配列中の複数の画素の中の各画素について、画素に関連する値を検知するステップと、複数の画素中の各画素をフレームレートで周期的に評価するステップと、複数の画素の各画素について、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力を提供するステップとを含むことができる。
【０００８】
例示的な方法は、以下の特徴のうちの1つまたは複数を含むことができる。少なくとも1つの出力は、デジタル出力を備えることができる。少なくとも1つの出力は、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したときだけ出力信号を提供する、アナログ出力を備えることができる。方法は、画素のデジタル出力信号から、画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、複数の画素のうちの少なくとも1つの画素のアナログ出力に結合されるアナログ-デジタル変換器(ADC)を低電力モードで動作させるステップを含むことができる。方法は、少なくとも1つの画素のデジタル出力信号から、少なくとも1つの画素に関連する値が少なくとも1つの画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、複数の画素のうちの少なくとも1つの画素のアナログ出力に結合されるアナログ-デジタル変換器(ADC)の出力信号を無視するステップを含むことができる。方法は、複数の画素のうちの少なくとも1つの画素の積分時間を調整するステップ、および/または積分時間に基づいて、少なくとも1つの画素に関連する画素露出値を変更するステップを含むことができる。方法は、フレームレートを調整するステップをさらに含むことができる。
【０００９】
説明に従う、別の例示的な装置は、画素配列中の複数の画素の中の各画素について、画素に関連する値を検知するための手段と、複数の画素中の各画素をフレームレートで周期的に評価するための手段と、複数の画素の各画素について、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力を提供するための手段とを備えることができる。
【００１０】
例示的な装置は、以下の特徴のうちの1つまたは複数を含むことができる。少なくとも1つの出力を提供するための手段は、デジタル出力を提供するための手段を備えることができる。少なくとも1つの出力を提供するための手段は、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したときだけアナログ出力信号を提供するための手段を備えることができる。装置は、画素のデジタル出力信号から、画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、複数の画素のうちの少なくとも1つの画素のアナログ出力に結合されるアナログ-デジタル変換器(ADC)を低電力モードで動作させるための手段を備えることができる。装置は、少なくとも1つの画素のデジタル出力信号から、少なくとも1つの画素に関連する値が少なくとも1つの画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、複数の画素のうちの少なくとも1つの画素のアナログ出力信号を提供するための手段に結合されるアナログ-デジタル変換器(ADC)の出力信号を無視するための手段を備えることができる。装置は、複数の画素のうちの少なくとも1つの画素の積分時間を調整するための手段、および/または積分時間に基づいて、少なくとも1つの画素に関連する画素露出値を変更するための手段を備えることができる。装置は、フレームレートを調整するための手段を備えることができる。
【００１１】
本開示に従う、例示的な非一時的コンピュータ可読媒体は、画像を処理するため、そこに組み込まれる命令を有することができる。命令は、1つまたは複数の処理ユニットによって実行されると、1つまたは複数の処理ユニットに、複数の画素中の各画素をフレームレートで周期的に評価させ、複数の画素のうちの各画素により検知される入力が各画素に関連する値をもたらしており、複数の画素の各画素について、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力を受け取らせる。
【００１２】
非一時的コンピュータ可読媒体は、以下の特徴のうちの1つまたは複数を含むことができる。1つまたは複数の処理ユニットに少なくとも1つの出力を受け取らせるための命令は、デジタル出力を受け取るための命令を含むことができる。1つまたは複数の処理ユニットに少なくとも1つの出力を受け取らせるための命令は、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したときだけ出力信号を提供するアナログ出力を受け取るための命令を含むことができる。非一時的コンピュータ可読媒体は、1つまたは複数の処理ユニットに、画素のデジタル出力信号から、画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、複数の画素のうちの少なくとも1つの画素のアナログ出力に結合されるアナログ-デジタル変換器(ADC)を低電力モードで動作させるための命令をさらに含むことができる。非一時的コンピュータ可読媒体は、1つまたは複数の処理ユニットに、少なくとも1つの画素のデジタル出力信号から、少なくとも1つの画素に関連する値が少なくとも1つの画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、複数の画素のうちの少なくとも1つの画素のアナログ出力に結合されるアナログ-デジタル変換器(ADC)の出力信号を無視させるための命令をさらに含むことができる。非一時的コンピュータ可読媒体は、1つまたは複数の処理ユニットに、複数の画素のうちの少なくとも1つの画素の積分時間を調整させる命令、および/または1つまたは複数の処理ユニットに、積分時間に基づいて、少なくとも1つの画素に関連する画素露出値を変更させるための命令をさらに含むことができる。非一時的コンピュータ可読媒体は、1つまたは複数の処理ユニットに、フレームレートを調整させるための命令をさらに含むことができる。
【００１３】
以下の図を参照することによって様々な実施形態の性質および利点の理解を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】フレームベースサンプリングの非効率さを強調する例示的なシナリオを描く略図である。
【図２】2次元配列中に配置される複数のセンサ要素を備える例示的なカメラセンサの略図である。
【図３】一実施形態に従う、画素内回路に結合されるセンサ要素を備える画素の簡単なブロック図である。
【図４】一実施形態に従う、画素配列を備えるカメラセンサに結合される周辺回路を図示する簡略化ブロック図である。
【図５】センサ中の画素値をサンプリングするための異なるアプローチの例を図示する一連のグラフである。
【図６Ａ】一実施形態に従う、ハイブリッドのアプローチ中で利用することができる画素回路の回路ブロック図である。
【図６Ｂ】一実施形態に従う、ハイブリッドのアプローチ中で利用することができる画素回路の回路ブロック図である。
【図６Ｃ】一実施形態に従う、ハイブリッドのアプローチ中で利用することができる画素回路の回路ブロック図である。
【図６Ｄ】一実施形態に従う、図6A〜図6Cに示された「APS画素」ブロックに相関することができる、例示的なアクティブ画素センサ(APS)回路の概略図である。
【図７】様々な実施形態に従う、フレーム期間の間に画素配列中で発生する機能を示すいくつかのグラフを有する図である。
【図８】一実施形態に従う、画像検知の方法の流れ図である。
【図９】画素配列を有するカメラおよび/または他のセンサを含み、本明細書に記載されるハイブリッド技法を利用することができるモバイルデバイスの実施形態のブロック図である。
【発明を実施するための形態】
【００１５】
次の記載は、実施形態のみを提供し、本開示の範囲、適用可能性または構成を制限する意図はない。むしろ、実施形態の次の記載は、当業者に、実施形態を実装することを可能にする記載を提供することになる。本開示の精神および範囲から逸脱することなく、機能および要素の配置に、様々な変更を行うことができることが理解される。
【００１６】
電子デバイスによる従来型のビデオキャプチャでは、ビデオフレームは、電子デバイスのカメラセンサによって、固定解像度および固定フレームレートで順次キャプチャされる。この時間ベースサンプリングによって、キャプチャされる情報に冗長性が生じる。というのは、最も典型的には、1つのフレームから次のもので、比較的少数の画素値が変化するからである。この非効率さは、モバイルデバイスおよび/または長いバッテリ寿命が望ましい他のバッテリ電源式の用途で、特に望ましくない可能性がある。
【００１７】
本明細書で使用する、「モバイルデバイス」という用語は、モバイルフォン、タブレット、携帯型メディアプレイヤ、ウエラブルデバイスなどの、様々な携帯型電子デバイスのいずれかを含むことができる。また、本明細書に提供される実施形態は、モバイルデバイスに関して記載されるが、実施形態は、そのように限定されない。たとえば、実施形態は、据え置き型バッテリ電源式デバイス、バッテリ電源式でないデバイス、などを利用することができる。当業者なら、本明細書に記載される技法および特徴が、多くの様々な用途で利用できることを認識するであろう。
【００１８】
本明細書の実施形態が、電圧値で示されるものとして、画素によって検知される、かつ/または画素に関連する強度値を記載することに留意されたい。しかし、他のアナログまたはデジタル値(たとえば、電流)を、追加または代替として利用できることを理解されよう。
【００１９】
下で議論される実施形態が「カメラセンサ」を参照するが、実施形態は、そのように限定されないことも留意されたい。当業者なら、実施形態は、センサ要素の配列を備える任意の種類のセンサまたは単一のセンサ要素を有するセンサすらを含む、他のタイプのセンサを代替的に(または追加で)含むことができることを理解されよう。
【００２０】
図1は、フレームベースサンプリングの非効率さを強調するシナリオを描く。ここで、モバイルデバイス105が屋外の風景100のビデオをキャプチャしており、そこでは、ランナー110が(おおよそ)モバイルデバイスのカメラの視野115内で動いている唯一の対象物である。したがって、モバイルデバイス105によりキャプチャされるビデオでは、1つのフレームから次のもので比較的少数の画素が変化する。というのは、ランナーを表すキャプチャされたフレーム中の画素は、各フレームの画素の総量の比較的小さい部分を含むからである。たとえば、樹木120を表す画素は、(モバイルデバイスが、それ自体、比較的静止しているとき)フレーム間で、ほとんどまたは全く変更されない。キャプチャされたフレーム中の画素のほとんどが、1つのフレームから次のもので変化を受けないので、あらゆるフレームでこれらの変化しない画素を再度キャプチャするのは不必要である。これが、最終的には、ビデオキャプチャにとって必要であるよりも多くの電力を消費する結果となる。
【００２１】
モバイルデバイス105は、合焦される光の光度および/または色をキャプチャすることが可能な複数のセンサ要素を備える画像配列を含むことができるカメラセンサ上に光を合焦させることによって、モバイルデバイス105のカメラでフレームをキャプチャする。センサ要素は、次いで、キャプチャされた光の特徴を示す電圧などの出力を生成することができる。実施形態は、2次元画像をキャプチャするように構成される2次元画像配列を含むことができ、センサ要素を、列および行に整列させることができる。図2〜図4は、カメラセンサに関する、いくつかのさらなる詳細を提供する。
【００２２】
図2は、2次元配列中に配置される複数のセンサ要素を備える例示的なカメラセンサ200の略図である。簡単にするために、ここで図示されるカメラセンサ200は、単に64(8x8)個のセンサ要素を有する。しかし、様々な実装では、センサ要素の形状、カメラセンサ200のアスペクト比、センサ要素の数、およびセンサ要素間の間隔は、求められる機能性に依存して変わる可能性がある。センサ要素202は、64画素のグリッドからの例示的なセンサ要素を表す。
【００２３】
ある種の実装では、センサ要素は、センサ要素に結合される画素内回路を有する場合がある。センサ要素と画素内回路を一緒に、画素と呼ぶ場合がある。各センサ要素に、または各センサ要素の近くに画素内回路を配置することができるため、図2中のセンサ要素と同様の様式で画素を配置することができる。こうして、複数の画素を2次元に配置して、カメラセンサ200を形成することができる。図3は、一実施形態に従う、画素内回路302に結合される(図2のセンサ要素202に対応する)センサ要素202を備える画素300の簡単なブロック図である。センサ要素に結合される画素内回路によって実施される処理を、画素内処理と呼ぶ場合がある。求められる機能性に依存して、画素内回路は、アナログおよび/またはデジタル構成要素を含むことができる。図6A〜図6Dは、画素値の変化を検出するための、画素内回路302の例を含む。
【００２４】
さらに、ある種の実装では、センサ配列は、センサ要素のグループまたは全センサ配列に結合される周辺回路を有する場合がある。そのような周辺回路は、カメラセンサと同じパッケージおよび/または基板(たとえば、半導体基板)内に含むことができ、オンチップセンサ回路と呼ぶ場合がある。
【００２５】
図4は、画素配列を備えるカメラセンサ400に結合される周辺回路410を図示する簡略化ブロック図である。周辺回路410は、たとえば、各画素の出力値を読み取り、画像処理のため、プロセッサまたは他の回路に値を送るように構成される回路を含むことができる。周辺回路410は、画素中の変化を検出するための回路も含むことができる。いくつかの実施形態では、画素読出しおよび/または画像処理は、カメラセンサ400からデジタルおよび/またはアナログ出力を受け取る専用センサプロセッサを使用して、周辺回路中に実装することができる。図6A〜図6Dは画素内実装の文脈で議論されるが、図6A〜図6Dに開示されるものと同様の回路を、図4に示されるような周辺回路410中に実装できることが理解される。
【００２６】
図5は、(図2、図3、または図4のセンサ(センサ要素)200、300、または400などの)センサ中の画素値をサンプリングするための異なるアプローチを図示する一連のグラフである。これらのアプローチは、従来型のフレームベースおよびイベントベースのサンプリング、ならびに本明細書に提案されるハイブリッドアプローチを含む。フレームベース、イベントベース、およびハイブリッドのアプローチ間のサンプリングにおける差異は、異なる周辺回路(たとえば、図4の周辺回路410)および/または画素内回路(たとえば、図3の画素内回路302)を使用して実装することができる。さらに、サンプリングされたデータを、異なって処理し、サンプリングアプローチにおけるこれらの差異に適応することができる。
【００２７】
グラフ520は、時間期間にわたる画素の例示的な画素強度(たとえば、電圧値)を図示する。下のグラフは、上のグラフの強度に基づいた、同じ時間期間にわたる、異なるアプローチの対応する出力値を図示する。
【００２８】
たとえば、グラフ530は、フレームベースアプローチのサンプリングされた出力を示す。画素がサンプリングされる時間の時点である、サンプリング時間500を強調するため、グリッド線が設けられる。(簡単にするため、すべてのサンプリング時間を数字表示でラベル付けしているわけではない。)図示されるように、フレームベースアプローチは、各サンプリング時間500に更新されるサンプリング出力の値を、主に画素強度を反映するサンプリング出力に提供する。より高いフレームレートを利用すれば、サンプリング出力が画素強度により近く一致する助けになることができる。しかし、すべての画素がフレームレートでサンプリングされるため、下でさらに説明されるハイブリッドのアプローチの帯域幅および電力要件よりも、帯域幅および電力要件が、典型的にはより大きくなる。
【００２９】
グラフ540およびグラフ550は、(たとえば、DVS中で利用される)イベントベースアプローチの電圧およびイベント表示を図示する。これらのグラフは、発火率コーディングアプローチを図示しており、ここでは、画素における電圧(グラフ540中に図示される)があるレベルに到達すると、対応するイベント(グラフ550中に図示される)がトリガされ、画素における電圧はリセットされる。こうして、時間期間にわたる画素強度の大きい増加または減少は、その期間の間の、多数のイベントによって反映される。イベントは、強度の増加が正であるのか負であるのかを示す、変化の極性をさらに示す。
【００３０】
イベントベースアプローチは、フレームレートまたはサンプリング時間を利用しないため、その出力は、フレームベースアプローチのフレームレートよりもはるかに速いレートで生じることができる。イベントベースアプローチが画素の変化のみを伝えるので、イベントベースアプローチは、典型的には、フレームベースアプローチよりもはるかに効率的である。しかし、出力が同期されないために、イベントベースアプローチは、画素値読出しを組織するために(周辺または他の下流の回路に実装することができる)追加の調停回路を必要とし、各々の変化した画素についてのイベントのすべてを伝えるために、比較的大量の帯域幅をやはり必要とする可能性がある。
【００３１】
代替のイベントベースアプローチ(図5に図示せず)は、(発火率コーディング出力ではなく)画素に関連するサンプリングされた電圧値を出力することを可能にする、アクティブ画素センサ(APS)を含むことができる。しかし、このアプローチは、依然として、いくつかの用途について必要であるよりもはるかに速く値を出力し、それによって、より多くの電力を使用して、所与の用途で有益であるよりも細かい時間解像度を提供する場合がある。
【００３２】
最後に、図5のグラフ560およびグラフ570は、本明細書に提供されるようなハイブリッドのアプローチの実施形態を図示する。このアプローチでは、画素は、フレームベースアプローチと同様の方式でサンプリング時間にサンプリングされる。ここでは、しかし、サンプリングは、画素の電圧値の変化が発生するかどうか次第である。示されるように、ハイブリッドのアプローチは、各サンプリング時間について、画素電圧値の変化が(閾値の量を超えて)起こったかどうかを示すイベント出力を有する。その場合、フレームベースアプローチと同様の方式で画素の電圧値がサンプリングされて出力される。しかし、画素に変化が起きなかった、または閾値の量未満の変化が起きて、イベントがイベント出力に示されない場合、求められる機能性に依存して、画素の電圧がサンプリングされない場合があり、またはサンプリングされた電圧を無視する場合がある。
【００３３】
こうして、グラフ560およびグラフ570のハイブリッドのアプローチによれば、変化した画素の値を、処理ユニットまたは画像処理のための他の回路に伝えることができ、一方、変化を受けない、または閾値の量未満の変化をした画素についての情報は、処理ユニットに送られない。ハイブリッドのアプローチの下の画素配列中の画素についての出力がフレームレートに同期されるため、別個の調停(およびそのような調停のために必要な関連する回路)の必要なしで、フレームベースアプローチと同様の方式で読出しを命じることができる。このことによって、フレームベースおよびイベントベースアプローチの両方を超える電力節約を可能にすることができる。
【００３４】
この例では、ハイブリッドサンプリング出力は、説明された画素値が実際に変化しているので、フレームベースサンプリングと実質的に同一であることに留意されたい。したがって、画素値が有意に変化していない状況では、ハイブリッドサンプリングは、説明されるものよりもフレームベースサンプリングとはさらに著しく異なることになる。しかし、たとえば、画素強度中の変化がハイブリッドのアプローチについての閾値の量未満の変化を受ける場合、画素値が変化していても、ハイブリッドサンプリングとフレームベースサンプリングとの間の差異が生じる場合がある。たとえば、第1の時点(510と標示される)において、画素強度は、その元の値から非常にわずかだけ増加した。フレームベースサンプリングは、この増加を反映する。ハイブリッドのアプローチでは、画素強度が閾値の量未満で変化するので、イベントがトリガされない。こうして、ハイブリッドのアプローチは、強度変化を反映しない。(たとえば閾値の量がより小さい、ハイブリッドのアプローチの他の実施形態は、第1の時点510における画素強度中のこの最初の増加を反映する出力を有する場合がある。)
【００３５】
図6A〜図6Cは、いくつかの実施形態に従う、ハイブリッドのアプローチ中で利用することができる画素回路の回路ブロック図である。ここで、アクティブ画素センサ(APS画素)は図3のセンサ要素に対応することができ、一方残りの回路は図3の画素内回路302に対応することができ、まとめて画素を形成する(図3の300)。以前に示したように複数の画素を2次元に配置してカメラセンサ(たとえば、図2のセンサ200)を形成することができる。デジタルおよび/またはアナログ列線と一緒に行選択線を利用して、画素値を回路(たとえば、図4の周辺回路410)で読み取ることができる。図6A〜図6Cは画素内回路を実装する実施形態を説明するが、図6A〜図6Cのうちの1つまたは複数の構成要素を周辺回路(たとえば、図4の周辺回路410)で実装できることが理解される。
【００３６】
各画素により検知される入力(たとえば、画素配列の面内に画像を生成するため光学系を通過して風景からキャプチャされる光)は、所与の画素位置で検知される光の量を示す値をもたらし、値は、画素に関連付けられる。(下でより詳細に記載される図6Dが、例示的なAPS画素回路を提供する。)以前に示したように、ハイブリッドのアプローチ中の読出しは、各画素を所与のフレームレートで周期的にサンプリングできるという意味で、従来型のフレームベースアプローチ中のものと同様であることができる。こうして、行選択線を使用して、フレームレートに従い、周期的に画素配列中の画素の各行から情報を取り出す(以降では「評価する」)ことができる。
【００３７】
図6A〜図6Cに説明されるアプローチは、画素強度を示すアナログ値(たとえば、電圧)の出力を動作可能にするためのAPS画素、およびAPS画素の電圧の値が閾値の量を超えて変化したことを示すデジタル信号(たとえば、ハイ値)を出力する変化検出器を利用する。いくつかの実装では、変化検出器回路は、以前の値を記憶するためのサンプルアンドホールド回路および以前の値を現在の値と比較する比較器を含むことができる。他の実施形態は、他の回路および/または手段を使用して変化を検出することができる。当業者なら、他の実施形態は、図示される構成要素に追加、省略、変更、および/または再配置できることを認めるであろう。
【００３８】
図6Aでは、各画素は、デジタル出力およびアナログ出力を有する。デジタル出力は、画素において変化が生じたかどうかを示し、アナログ出力は、画素のサンプリングされた電圧値を提供する。この実施形態では、行選択線がアクティブにされると両方の出力がアクティブにされ、デジタル列線上に(変化が生じたかどうかを示す)デジタル信号を、アナログ列線上に(画素のサンプリングされた電圧値を示す)アナログ信号を、これらの信号を処理するため、周辺回路に送る。この場合では、(図示されない、処理ユニットなどの)周辺回路または他の回路は、次いで、変化が生じたことをデジタル信号が示さない場合に、アナログ信号を無視するかどうかを判定することができる。
【００３９】
図6Bでは、図6Aと同様に、各画素は、デジタル出力およびアナログ出力を有する。行選択線がアクティブにされると、(変化が生じたかどうかを示す)デジタル信号が、デジタル列線上に送られる。しかしここで、画素の以前の評価以来画素の電圧の変化が(閾値レベルを超えて)生じたことを、デジタル信号の出力が示さない限り、APS画素のサンプリングされた電圧は、アナログ列線上に送られない。いくつかの実施形態では、(処理ユニットなどの)周辺回路および/または他の回路は、次いで、デジタル出力を使用して、画素が変化したかどうかを判定し、変化が生じた記憶された画像の画素を更新することができる。変化が生じたことをデジタル出力が示さない画素では、記憶された画像中の対応する画素は変更されないことになる。
【００４０】
図6Cでは、図6Bと同様に、画素の以前の評価以来画素の電圧の変化が(閾値レベルを超えて)生じたことを、デジタル信号の出力が示さない限り、APS画素のサンプリングされた電圧は、アナログ列線上に送られない。しかし、図6Bと対照的に、図6Cの回路は、別個のデジタル出力を含まない。この場合、(図示しない、処理ユニットなどの)周辺回路または他の回路は、次いで、アナログ信号が提供されるとアナログ信号を処理することができ、アナログ信号が提供されないと何もしない。図6Dを参照して下でさらに記載されるように、図6Bおよび図6Cに示されるような画素中に変化がない、または閾値未満の変化がある場合に、アナログ信号を提供しないことによって、図6Aの実装と比較して電力を節約することができる。
【００４１】
図6Dは、一実施形態に従う、図6A〜図6Cに示された「APS画素」ブロックに相関することができる、例示的なAPS回路の概略図である。この実施形態では、RSTは、画素の積分時間に関係するリセット信号である。画素がリセットされる時間と画素が読み取られる時間の間のタイムスパンが積分時間である。より正確には、リセットパルスが終了するときと読取りパルスが終了するときとの間の時間が積分時間となる。
【００４２】
図6Dのフォトダイオードは、光を受け取ると、電流を生成する。フォトダイオードからの電流が、Msf回路のゲートを変調する。APS回路の出力が、Msfトランジスタのドレインであり、これは、図6A〜図6Cに示されるように、変化検出器回路および列線に接続されるアナログ出力に分割出力される。
【００４３】
図6Bおよび図6Cでは、変化検出器回路が、APSのアナログ出力について変化を示さない、または閾値未満の変化(たとえば、ロー出力)を示す場合、図6Bおよび図6Cに示されるAPSの出力をアナログ列線に接続するトランジスタはオフにされる。こうして、電流は、画素からの値の読出しをサポートするために、図6DでVDDから引っ張られず、(たとえば、60Hzフレームレートにおける128×128配列について)これが蓄積して少なくない電力節約となる。
【００４４】
図6Bおよび図6Cは、出力に抵抗器を有することに留意されたい。出力がディセーブルであるとき、画素の「読取り」は、この抵抗器に起因して、ゼロボルト(実質的に電圧がないこと)を示すことになる。いくつかの実施形態では、このゼロボルト読取りは、所与の画素に関連する値に変化がないことを示す(すなわち、所与の画素に関連する値は、画素の以前の評価以来、閾値に対して十分に変化しなかった)。
【００４５】
電荷検出器は、当業者が認識する、様々な方法で実装することができる。さらに、電荷検出器は、電荷検出器の出力がローからハイに変化する閾値電荷を設定することができる。この閾値は、デジタル出力が変化が生じたと示す前に、画素が受ける変化の閾値の量を決定し、求められる機能性、実装される回路、製造上の問題、および/または要因に基づいて設定することができる。
【００４６】
図6A〜図6D中の回路(および他の回路)により提供されるこのハイブリッドのアプローチにおける電力節約は、著しいものとなることができる。(図1に図示されるように)画素配列中の画素のほんの一部が、フレームレート期間内に閾値の量を超えて変化する可能性が高いため、フレームレートアプローチ中の処理ユニットに伝えられる情報のほんの一部がハイブリッドのアプローチに伝えられることになる。また、画素値の変化を判定するために常にオンである比較器および/または他の回路を各画素について含む場合がある、イベントベースアプローチと対照的に、ハイブリッドのアプローチは、画素配列中のほとんどの行についての回路が、時間的に任意の点でアクティブでなく、行選択線がアクティブにされるときのみアクティブであるために、大量の電力を節約することができる。
【００４７】
より広義には、本明細書に提供されるハイブリッド技法を利用する回路の実施形態は、いくつかの異なる電力節約技法のうちの1つを採用することができる。いくつかの実施形態では、上に示したように、画素回路は、画素の値が画素の以前の評価以来閾値レベルを超えて変化しなかったときに、アナログ出力信号をディセーブルにすること(たとえば、アナログ出力信号を送出するのを控えること)ができる。各画素のアナログ出力を、アナログ-デジタル変換器(ADC)と結合することができる。こうして、他の実施形態では、画素値が画素の以前の評価以来閾値レベルを超えて変化しなかったことをデジタル出力が示すと、ADCが使用されず(それによって、ディセーブルにされて、低電力モードに保たれるなどとすることができ)、このことによって、電力の節約をもたらすことができる。言い換えると、少なくとも1つの画素のアナログ出力に結合されるADCは、画素のデジタル出力信号から、画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、低電力モードで動作することができる。ADCに低電力モードで動作させるための手段は、デジタル出力を受け取り、(たとえば、別個の信号を介して)ADCに低電力(たとえば、スタンバイ)モードに入らせるように構成される回路および/または処理ユニットを含むことができる。いくつかの実施形態では、回路および/または処理ユニットは、周辺回路410の内部および/もしくは外部にあり、かつ/または図9に関して下に記載されるように、処理ユニット910を備えることができる。いくつかの実施形態では、ADCがこの機能性を内蔵することができ、そのため、ADCは、(たとえば、ADCの外部の回路および/または処理ユニットなしで)デジタル信号を直接受け取り、ADC自体を低電力モードにすることができる。ADCの出力は、典型的には、処理するために追加回路(たとえば、プロセッサ)に送られる。こうして、さらに他の実施形態では、追加回路は、画素の値が画素の以前の評価以来閾値レベルを超えて変化しなかったことをデジタル出力が示すと、ADCの出力信号を単に無視するように構成することができる。言い換えると、(少なくとも1つの画素のデジタル出力信号から、少なくとも1つの画素に関連する値が以前の評価以来閾値レベルを超えて変化しなかっ
たことが判定されると、)少なくとも1つの画素のアナログ出力に結合されるADCの出力信号を無視するための手段は、処理ユニット(たとえば、下に記載される図9の処理ユニット910)などの追加回路を含むことができる。実施形態は、ADCを周辺回路または同様の回路の中に含むことができる。
【００４８】
オーバヘッドの量が減少することに起因して、本明細書に開示されるハイブリッド技法は、従来型のフレームベースを超えたアプローチを提供し、実施形態は、結果として得られる追加の帯域幅の一部または全部を利用する追加機能をさらに提供することができる。図7が説明を提供する。
【００４９】
図7は、フレーム期間の間に画素配列中で発生する機能を説明するいくつかのグラフ(710〜740)を含む。これらは、積分時間および読出しを含む。積分時間は、フィルムカメラにおける露出時間と同様に、画素が入力、たとえば視覚入力に曝される時間である。各画素に関連するアナログ値(たとえば、電圧)は、次いで、所与の範囲(たとえば、0〜255)内で、画素露出値として、デジタル化および送信することができる。読出しは、画素値がサンプリングされ、さらなる処理のために処理ユニットに送られる時間である。
【００５０】
グラフ710に示されるように、従来型の(フレームベース)カメラ中の積分時間および読出しは、フレーム期間の大部分を占める可能性があるが、一方、本明細書に提供されるハイブリッド技法を利用するハイブリッド方式は、画素のほんの一部がサンプリングされ送られる必要があるので、読出しのためにはるかに少ない時間を占めることができる。こうして、グラフ720に示されるように、ハイブリッド方式は、従来型のカメラと比較したときに、同じフレーム期間にはるかに大量のアイドル時間を有することができる。
【００５１】
こうして、いくつかの実施形態は、より速い読出し時間を活用するためフレームレートを増加することができる、適応型フレームレートを利用することができる。ある種のシナリオでは、たとえば、何か速いものがカメラの視野の小部分を横切って素早く動くとき、フレームレートを増加するのが有利となる場合がある。実施形態は、グラフ730に示されるように、アイドル時間の量を減少させるため、フレームレートを調整する処理ユニットを含むことができる。この調整は、決定されたアイドル時間の量に基づくことができる。たとえば、画素配列が最後の数フレームの50%の間(またはある時間期間の間)アイドルであると処理ユニットが判定した場合、フレーム期間を、最大50%減少することができる。逆に、いくつかの実施形態は、(たとえば、画素の閾値の量未満が変化を示すといった)カメラの視野内でほとんどまたは全く動きが生じない時間期間のフレーム期間を処理ユニットが増加する、適応型フレームレートを採用することができる。こうして、適応型フレームレートは、変化した画素の割合の履歴、(たとえば、より速い動きをキャプチャするための)所望のフレームレート、(たとえば、電力を節約するためにある種のフレームレートが示される)所望の電力使用量、またはそれらの任意の組合せを含む複数の要因に基づいて、フレームレートを適応させるプロセッサによって実装することができる。フレームレートを調整するための手段は、周辺回路410および/または図9に関して下で記載される処理ユニット910などの処理ユニットを含むことができる。
【００５２】
追加または代替として、実施形態は、グラフ740に示されるように、積分時間の減少を可能にする適応型積分時間をさらに利用することができる。複数の画素のうちの少なくとも1つの画素の積分時間を調整するための手段は、周辺回路410および/または図9に関して下で記載される処理ユニット910などの処理ユニットを含むことができる。積分時間を減少させると出力値を減少させることができるため、処理ユニットは、補償するために出力値を変更することができる。たとえば、画素露出値が典型的には0〜255の範囲であるが、積分時間が50%だけ減少された(結果として0〜128の値となる)システムでは、処理ユニットは、画素露出値を変更し、それらを2倍増加させることができる。より一般的には、積分時間に基づいて少なくとも1つの画素に関連する画素露出値を変更ための手段は、図9に関して下で記載される処理ユニット910などの処理ユニットを含むことができる。追加または代替として、そのような手段は、周辺回路410の中に設けることができる。こうして、ハイブリッド方式は、所望に応じて、フレーム期間のさらなる減少を実現するために、積分時間を変更することができる。いくつかの実施形態は、可能な場合に、カメラが低電力(アイドル)状態であることができる時間の量を増加させることにより電力節約を増加するため、比較的短い積分時間を維持するように積分時間をさらに適応させることができる。
【００５３】
図8は、一実施形態に従う、画像検知の方法の流れ図800である。本明細書に提供される他の図と同様に、図8は、非限定的な例として提供される。代替実施形態は、図に示されるものへの追加の機能性を含むことができ、かつ/または図中のブロックのうちの1つまたは複数に示される機能性を、省略、組合せ、分離、および/または同時に実施することができる。ブロックの機能性を実施するための手段は、図2〜図4および図6A〜図6Dに関して上に記載されたようなハードウェア、ならびに/または図9に示され下に記載されるモバイルデバイスなど、他のハードウェアおよび/もしくはデバイスのソフトウェアを含むことができる。当業者は多くの変形形態を認識されよう。
【００５４】
ブロック810において、画素配列中の複数の画素の中の各画素について、値が検知される。ここで、画素配列は、カメラセンサ(たとえば、図2のセンサ200)であってよい。ブロック810の機能性を実施するための手段は、たとえば、(たとえば、図6A〜図6CのAPS画素、図6Dの回路など)センサ要素を含むことができる。
【００５５】
ブロック820において、複数の画素の中の各画素は、フレームレートで周期的に評価される。図6A〜図6C中に示されるように、そのような周期的な評価は、行選択線をオンにするステップ、ならびにデジタルおよび/またはアナログ列線を読み取るステップを含むことができる。ブロック820の機能性を実施するための手段は、たとえば、図3、図4、および図6A〜図6Dに図示されるような、画素内回路、周辺回路、行選択線、デジタル列線、およびアナログ列線を含むことができる。いくつかの実施形態では、評価は、(たとえば、下に記載される、図9の処理ユニット910といった)処理ユニットをさらに含むことができる。
【００５６】
ブロック830において、複数の画素の中の各画素について、各画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化したかどうかを示す少なくとも1つの出力が提供される。この出力は、たとえば、各画素中の(たとえば、図6A〜図6Cの変化検出器といった)変化検出器回路によって提供することができ、(たとえば、図6Aおよび図6Bに示されるような)デジタル信号または(たとえば、図6Cに示されるような)アナログ信号を介して周辺回路または他の回路に伝えることができる。いくつかの実施形態では、スマートセンサまたは画素内回路もしくは周辺回路が(たとえば、下で記載される図9の処理ユニット910といった)処理ユニットへの出力を提供することができ、したがって、処理ユニットは、出力を受け取ることができる。ブロック830の機能性を実施するための手段は、たとえば、図3、図4、および図6A〜図6Cに図示されるような、画素内回路(たとえば、変化検出器、デジタル列線、アナログ列線、またはそれらの任意の組合せ)および/または周辺回路を含むことができる。
【００５７】
図8の方法800は、求められる機能性に依存して、1つまたは複数の変形形態を含むことができる。以前に示したように、少なくとも1つの出力が、デジタル出力を含むことができる(たとえば、図6Aまたは図6B)。追加または代替として、少なくとも1つの出力が、各画素に関連する値が以前の評価以来閾値レベルを超えて変化したときにのみ、出力信号を提供するアナログ出力を含むことができる(たとえば、図6C)。いくつかの実施形態では、処理ユニットは、デジタル出力またはアナログ出力のいずれかまたは両方を受け取ることができる。複数の画素のうちの少なくとも1つの画素について、ADCは、少なくとも1つの画素のアナログ出力に結合されて、画素のデジタル出力信号から、画素に関連する値が画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、ディセーブルにされる、(たとえば、低電力モードといった)スタンバイにされる、またはそうでなくより少ない電力を消費するように構成することができる。あるいは、ADCが複数の画素のうちの少なくとも1つの画素のアナログ出力に結合し、追加回路がADCの出力に結合することができ、追加回路は、少なくとも1つの画素のデジタル出力信号から、少なくとも1つの画素に関連する値が少なくとも1つの画素の以前の評価以来閾値レベルを超えて変化しなかったことが判定されると、ADCの出力信号を無視するように構成される。追加または代替として、図7に示されるように、積分時間および/またはフレームレートを上に記載したように調整することができ、このことによって、電力効率がよい画像キャプチャを実現することができる。そのような場合に、積分時間に基づいて、複数の画素のうちの画素に関連する画素露出値を変更することができる。
【００５８】
図9は、画素配列を有するカメラおよび/または他のセンサを含み、上に記載されるハイブリッド技法を利用することができるモバイルデバイス105の実施形態を図示する。図9は、様々な構成要素の一般的な説明を提供するためだけを意図しており、そのいずれかまたは全部を適宜利用することができることに留意されたい。いくつかの例では、図9により図示される構成要素は、単一の物理的デバイスに局所化することができること、および/または異なる物理的な位置に配設することができる様々なネットワークデバイス間に分配することができることに留意することができる。本明細書の技法が、モバイルデバイス以外の電子デバイス中に実装できることにも留意されたい。
【００５９】
モバイルデバイス105は、バス905を介して電気的に結合され得る(または、適宜、他の方法で通信しているものとしてよい)ハードウェア要素を備えるように示されている。ハードウェア要素は、限定するものではないが、1つもしくは複数の汎用プロセッサ、(デジタル信号処理(DSP)チップ、グラフィックスアクセラレーションプロセッサ、特定用途向け集積回路(ASIC)など)1つもしくは複数の専用プロセッサ、および/または他の処理構造もしくは手段を含むことができる処理ユニット910を含むことができる。処理ユニット910は、以前に記載された実施形態の処理ユニットに対応することができる。図9に示されるように、いくつかの実施形態は、求められる機能性に依存して、別個のDSP920を有することができる。モバイルデバイス105は、限定するものではないが、タッチスクリーン、タッチパッド、マイクロフォン、ボタン、ダイアル、スイッチなどを含むことができる1つまたは複数の入力デバイス970、および限定するものではないが、ディスプレイ、発光ダイオード(LED)、スピーカなどを含むことができる1つまたは複数の出力デバイス915をやはり含むことができる。
【００６０】
モバイルデバイス105は、限定するものではないが、モデム、ネットワークカード、赤外線通信デバイス、ワイヤレス通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、米国電気電子技術者協会規格(IEEE)802.11デバイス、IEEE 802.15.4デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備など)などを含むことができる、ワイヤレス通信インターフェース930をやはり含むことができる。ワイヤレス通信インターフェース930は、ネットワーク、ワイヤレスアクセスポイント、他のコンピュータシステム、および/または本明細書に記載される任意の他の電子デバイスと、データを交換することを可能にすることができる。通信は、ワイヤレス信号934を送り、かつ/または受信する1つもしくは複数のワイヤレス通信アンテナ932を介して実行され得る。
【００６１】
求められる機能性に依存して、ワイヤレス通信インターフェース930は、別個のトランシーバを含んで、基地となるトランシーバ局(たとえば、セルラーネットワークの基地局)のアクセスポイント(たとえば、図1のアクセスポイント130)と通信することができる。加えて、WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、WiMax(IEEE 802.16)などであってよい。CDMAネットワークは、cdma2000、Wideband-CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装し得る。cdma2000は、IS-95、IS-2000、および/またはIS-856規格を含む。TDMAネットワークは、モバイル通信用グローバルシステム(GSM(登録商標))、デジタルアドバンスドモバイルフォンシステム(D-AMPS)、または何らかの他のRATを実装することができる。OFDMAネットワークは、ロングタームエボリューション(LTE)、LTE Advancedなどを採用することができる。LTE、LTE Advanced、GSM(登録商標)、およびW-CDMAは、3GPPからの文書に記載される。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名前のコンソーシアムからの文書に記載される。3GPPおよび3GPP2の文書は、公的に入手可能である。ワイヤレスローカルエリアネットワーク(WLAN)は、IEEE 802.11xネットワークであってもよく、WPANは、Bluetooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークであってよい。本明細書に記載される技法は、ワイヤレスワイドエリアネットワーク(WWAN)、WLANおよび/またはワイヤレスパーソナルエリアネットワーク(WPAN)の任意の組合せのために使用することもできる。
【００６２】
モバイルデバイス105は、センサ940をさらに含み得る。そのようなセンサは、限定することなく、1つまたは複数の加速度計、ジャイロスコープ、カメラ、磁力計、高度計、マイクロフォン、近接センサ、光センサなどを含み得る。カメラは、本明細書に記載されるハイブリッド技法を実装することができる、1つまたは複数の画像配列を含むことができる。言い換えると、センサ940は、画素の配列中の各画素がフレームレートで評価されるが、画素に関連する値が画素の以前の評価以来閾値に対して変化したかどうかを示す少なくとも1つの出力を各画素が含むセンサを含むことができる。出力は、デジタル出力、(ゼロボルト出力が閾値に対して変化がないことを示す)アナログ出力であってよい。各画素は、1つのデジタルと1つのアナログという、2つの出力を含むこともできる。センサ配列は、本明細書の他の場所で記載されたように、アナログ-デジタル変換器および/またはプロセッサ(たとえば、専用センサプロセッサ)に結合することができる。センサおよび/または他のセンサの出力は、処理ユニット910および/またはDSP920によって処理することができる。こうして、いくつかの実施形態では、デジタル出力またはアナログ出力の一方または両方を、処理ユニット910に提供することができる。代替または追加として、処理ユニット910などの処理ユニットによって実施されるものとして本明細書に記載される機能は、センサ940中の専用マイクロプロセッサ、コントローラ、または制御ロジックによって実施することができる。そのような専用マイクロプロセッサ、コントローラ、または制御ロジックは、センサ940中の周辺回路に含むことができる。たとえば、そのような専用マイクロプロセッサ、コントローラ、または制御ロジックは、複数の画素のうちの各画素をフレームレートで周期的に評価することができ、またはデジタル出力またはアナログ出力の一方または両方を、専用マイクロプロセッサまたはコントローラに提供することができる。
【００６３】
モバイルデバイスの実施形態は、SPSアンテナ982を使用して1つまたは複数のSPS衛星からの信号984を受け取ることができる、衛星測位システム(SPS)レシーバ980を含むこともできる。SPSレシーバ980は、全地球航法衛星システム(GNSS)(たとえば、全地球測位システム(GPS))、Galileo、Glonass、Compass、日本を覆う準天頂衛星システム(QZSS)、インドを覆うIndian Regional Navigational Satellite System(IRNSS)、中国を覆うBeidouなどを使用して、モバイルデバイスの位置を抽出することができる。さらに、SPSレシーバ980は、1つまたは複数の全地球および/または地域航法衛星システムに関連付けられ得る、あるいはそうでなく1つまたは複数の全地球および/または地域航法衛星システムとともに使用することが可能とされ得る、様々な補強システム(たとえば、衛星ベース補強システム(SBAS))とともに使用することができる。限定ではなく例として、SBASは、たとえば、広域補強システム(WAAS)、European Geostationary Navigation Overlay Service(EGNOS)、運輸多目的衛星用航法補強システム(MSAS)、GPS Aided Geo Augmented NavigationまたはGPS and Geo Augmented Navigation system(GAGAN)などの、完全性情報、差分補正などを提供する補強システムを含むことができる。したがって、本明細書で使用する場合、SPSは1つもしくは複数の全地球および/または地域航法衛星システムならびに/あるいは補強システムの任意の組合せを含むことがあり、またSPS信号はSPS信号、SPS様信号、および/またはそのような1つもしくは複数のSPSに関連する他の信号を含んでよい。
【００６４】
モバイルデバイス105は、さらに、メモリ960を含む、かつ/またはメモリ960と通信することができる。メモリ960は、限定するものではないが、ローカルおよび/またはネットワークアクセス可能な記憶装置、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ(「RAM」)および/またはプログラム可能、フラッシュ更新可能などであってよい読取り専用メモリ(「ROM」)などの固体記憶デバイスを含むことができる。そのような記憶デバイスは、限定するものではないが、様々なファイルシステム、データベース構造などを含む、任意の好適なデータストアを実装するように構成することができる。
【００６５】
モバイルデバイス105のメモリ960はまた、本明細書で説明するように、オペレーティングシステム、デバイスドライバ、実行可能ライブラリ、ならびに/あるいは、様々な実施形態によって提供されるコンピュータプログラムを備えることが可能であり、かつ/または、方法を実装し、かつ/または他の実施形態によって提供されるシステムを構成するように設計され得る、1つもしくは複数のアプリケーションプログラムなど、他のコードを含むソフトウェア要素(図示せず)を含み得る。一態様では、次いで、そのようなコードおよび/または命令を使用して、汎用コンピュータ(または他のデバイス)を構成および/または適合させ、記載された方法に従う1つまたは複数の動作を実施することができる。
【００６６】
特定の要件に従って、かなりの変更を行うことができることは、当業者には明らかであろう。たとえば、カスタマイズされたハードウェアも使用され得、かつ/または、特定の要素は、ハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、もしくは両方において実装され得る。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続が利用される場合もある。
【００６７】
添付図面を参照して、メモリを含むことができる構成要素が、非一時的機械可読媒体を含むことができる。本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械に特定のやり方で動作させるデータを提供することに関与する任意の記憶媒体のことを言う。これまで提供されてきた実施形態では、様々な機械可読媒体が、処理ユニットおよび/または他のデバイスに実行のため命令/コードを提供することに含まれる場合がある。追加または代替として、機械可読媒体を使用して、そのような命令/コードを記憶および/または実行することができる。特に、上に記載した実施形態はハードウェア構成要素を含むが、本明細書に記載された技法(たとえば、図8の方法および/または図3〜図7に関して一般的に記載された機能性)は、全体的または部分的に、機械可読媒体上に組み込まれ、1つまたは複数の処理ユニットによって実行される命令/コードによって実施することができる。多くの実装では、コンピュータ可読媒体は、物理的および/または有形の記憶媒体である。そのような媒体は、次のものに限定されないが、不揮発性媒体、揮発性媒体、および伝送媒体を含めた、多くの形をとることができる。コンピュータ可読媒体の通常の形としては、たとえば、磁気および/もしくは光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、以降で記載されるような搬送波、またはコンピュータが命令および/もしくはコードを読み取ることができる任意の他の媒体があげられる。
【００６８】
本明細書に議論される方法、システム、およびデバイスは、例である。様々な実施形態は、適宜、様々なプロシージャまたは構成要素を省略、代替、または追加することができる。たとえば、ある種の実施形態に関して記載された特徴を、様々な他の実施形態に組み合わせることができる。実施形態の異なる態様および要素を、同様の様式で組み合わせることができる。本明細書に提供される図の様々な構成要素は、ハードウェアおよび/またはソフトウェアで具体化することができる。また、技術は発展するので、要素のうちの多くは、それらの特定の例に対する開示の範囲を限定しない例である。
【００６９】
主に一般的に使用するために、そのような信号を、ビット、情報、値、要素、シンボル、キャラクタ、変数、項、数、数値などと呼ぶのが、ときには好都合であることが証明されている。しかし、これらのすべてまたは同様の用語は、適切な物理量に関連付けられるべきであり、単なる好都合なラベルであることを理解されたい。特に指示のない限り、上の議論から明らかなように、本明細書を通して、「処理」、「コンピューティング」、「計算」、「判定」、「確認」、「識別」、「関連付け」、「測定」、「実施」などの用語を利用した議論は、専用コンピュータまたは同様の専用電子コンピューティングデバイスなどの特定の装置のアクションまたはプロセスのことを指すと理解される。したがって、本明細書の文脈においては、専用コンピュータまたは同様の専用電子コンピューティングデバイスは、専用コンピュータまたは同様の専用電子コンピューティングデバイスのメモリ、レジスタ、もしくは他の情報記憶デバイス、送信デバイス、または表示デバイス内の電子的な、電気的な、または磁気的な物理量として一般に表される信号を操作または変換することができる。
【００７０】
本明細書で使用する「および」および「または」という用語は、そのような用語が使用される文脈に、少なくとも部分的に依存することがやはり予想される、様々な意味を含む場合がある。通常、「または」は、A、BまたはCなどのリストを関連付けるために使用される場合、本明細書において包含的な意味で使用される場合の、A、B、およびC、ならびに本明細書において排他的な意味で使用される場合の、A、BまたはCを意味することが意図される。加えて、本明細書で使用する「1つまたは複数」という用語は、単数の任意の特徴、構造、もしくは特性について説明するために使用される場合があるか、または、特徴、構造もしくは特性の何らかの組合せについて説明するために使用される場合がある。しかしながら、これは例示的な例にすぎず、特許請求される主題はこの例に限定されないことに留意されたい。さらに、「のうちの少なくとも1つ」という用語は、A、B、またはCなどのリストを関連付けるために使用される場合、A、AB、AA、AAB、AABBCCCなどの、A、B、および/またはCの任意の組合せを意味するように解釈することができる。
【００７１】
いくつかの実施形態を記載してきたが、本開示の精神から逸脱することなく、様々な変更形態、代替構成、および均等物を使用することができる。たとえば、上記の要素は、単により大きいシステムの構成要素であってもよく、他のルールが本発明の適用例よりも優先するか、またはそうでなく本発明の適用例を修正してもよい。また、いくつかのステップは、上の要素が考慮される前、間、または後に着手することができる。したがって、上記の説明は本開示の範囲を限定しない。
【符号の説明】
【００７２】
100  風景
105  モバイルデバイス
110  ランナー
115  視野
120  樹木
130  アクセスポイント
200  カメラセンサ
202  センサ要素
300  画素
302  画素内回路
400  カメラセンサ
410  周辺回路
500  サンプリング時間
510  第1の時点
520  グラフ
530  グラフ
540  グラフ
550  グラフ
560  グラフ
570  グラフ
710  グラフ
720  グラフ
730  グラフ
740  グラフ
800  流れ図
810  ブロック
820  ブロック
830  ブロック
905  バス
910  処理ユニット
915  出力デバイス
920  DSP
930  ワイヤレス通信インターフェース
932  ワイヤレス通信アンテナ
934  ワイヤレス信号
940  センサ
960  メモリ
970  入力デバイス
980  衛星測位システム(SPS)レシーバ
982  SPSアンテナ
984  信号
【図１】
2017535999.tif 000003
【図２】
2017535999.tif 000004
【図３】
2017535999.tif 000005
【図４】
2017535999.tif 000006
【図５】
2017535999.tif 000007
【図６Ａ】
2017535999.tif 000008
【図６Ｂ】
2017535999.tif 000009
【図６Ｃ】
2017535999.tif 000010
【図６Ｄ】
2017535999.tif 000011
【図７】
2017535999.tif 000012
【図８】
2017535999.tif 000013
【図９】
2017535999.tif 000014
【手続補正書】
【提出日】平成29年4月3日(2017.4.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像検知を提供するための装置であって、
2次元に配置される複数の画素を有する画素配列を備え、
前記複数の画素の各画素により検知される入力が、各画素に関連する値をもたらし、
前記複数の画素の各画素がフレームレートで周期的に評価されるように構成され、
前記複数の画素の各画素が少なくとも1つの出力を備え、前記少なくとも1つの出力が、前記画素に関連する前記値が前記画素の以前の評価以来閾値レベルを超えて変化したときだけ出力信号を提供するアナログ出力を備える、
装置。
【請求項２】
前記少なくとも1つの出力が、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化したかどうかを示すデジタル出力をさらに備える、請求項1に記載の装置。
【請求項３】
前記複数の画素のうちの少なくとも1つの画素について、前記少なくとも1つの画素の前記アナログ出力に結合され、前記画素のデジタル出力信号から、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、低電力モードとなるように構成されるアナログ-デジタル変換器(ADC)をさらに備える、請求項1に記載の装置。
【請求項４】
前記複数の画素の少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)と、
前記ADCの出力に結合される追加回路と
をさらに備え、前記追加回路が、前記少なくとも1つの画素のデジタル出力信号から、前記少なくとも1つの画素に関連する前記値が前記少なくとも1つの画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記ADCの出力信号を無視するように構成される、請求項1に記載の装置。
【請求項５】
積分時間を調整するように構成される処理ユニットをさらに備える、請求項1に記載の装置。
【請求項６】
前記処理ユニットが、前記積分時間に基づいて、前記複数の画素のうちの画素に関連する画素露出値を変更するようにさらに構成される、請求項5に記載の装置。
【請求項７】
前記フレームレートを調整するように構成される処理ユニットをさらに備える、請求項1に記載の装置。
【請求項８】
画像検知を提供するための方法であって、
画素配列中の複数の画素の中の各画素について、前記画素に関連する値を検知するステップと、
前記複数の画素中の各画素をフレームレートで周期的に評価するステップと、
前記複数の画素の各画素に少なくとも1つの出力を提供ステップであって、前記少なくとも1つの出力が、前記画素に関連する前記値が前記画素の以前の評価以来閾値レベルを超えて変化したときだけ出力信号を提供するアナログ出力を備える、ステップと
を含む、方法。
【請求項９】
前記少なくとも1つの出力が、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化したかどうかを示すデジタル出力をさらに備える、請求項8に記載の方法。
【請求項１０】
前記画素のデジタル出力信号から、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの前記少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)を低電力モードで動作させるステップをさらに含む、請求項8に記載の方法。
【請求項１１】
前記少なくとも1つの画素のデジタル出力信号から、前記少なくとも1つの画素に関連する前記値が前記少なくとも1つの画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの少なくとも1つの画素の前記アナログ出力に結合されるアナログ-デジタル変換器(ADC)の出力信号を無視するステップをさらに含む、請求項8に記載の方法。
【請求項１２】
前記複数の画素のうちの少なくとも1つの画素の積分時間を調整するステップをさらに含む、請求項8に記載の方法。
【請求項１３】
前記積分時間に基づいて、前記少なくとも1つの画素に関連する画素露出値を変更するステップをさらに含む、請求項12に記載の方法。
【請求項１４】
前記フレームレートを調整するステップをさらに含む、請求項9に記載の方法。
【請求項１５】
画素配列中の複数の画素の中の各画素について、前記画素に関連する値を検知するための手段と、
前記複数の画素中の各画素をフレームレートで周期的に評価するための手段と、
前記複数の画素の各画素に少なくとも1つの出力を提供するための手段であって、少なくとも1つの出力を提供するための前記手段が、各画素に関連する前記値が前記画素の以前の評価以来閾値レベルを超えて変化したときだけアナログ出力信号を提供するための手段を備える、手段と
を備える、装置。
【請求項１６】
少なくとも1つの出力を提供するための前記手段が、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化したかどうかを示すデジタル出力を提供するための手段をさらに備える、請求項15に記載の装置。
【請求項１７】
前記画素のデジタル出力信号から、前記画素に関連する前記値が前記画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの前記少なくとも1つの画素のアナログ出力信号を提供するための前記手段に結合されるアナログ-デジタル変換器(ADC)を低電力モードで動作させるための手段をさらに備える、請求項15に記載の装置。
【請求項１８】
前記少なくとも1つの画素のデジタル出力信号から、前記少なくとも1つの画素に関連する前記値が前記少なくとも1つの画素の前記以前の評価以来前記閾値レベルを超えて変化しなかったことが判定されると、前記複数の画素のうちの少なくとも1つの画素のアナログ出力信号を提供するための前記手段に結合されるアナログ-デジタル変換器(ADC)の出力信号を無視するための手段をさらに備える、請求項15に記載の装置。
【請求項１９】
前記複数の画素のうちの少なくとも1つの画素の積分時間を調整するための手段をさらに備える、請求項15に記載の装置。
【請求項２０】
前記積分時間に基づいて、前記少なくとも1つの画素に関連する画素露出値を変更するための手段をさらに備える、請求項19に記載の装置。
【請求項２１】
前記フレームレートを調整するための手段をさらに備える、請求項20に記載の装置。
【国際調査報告】
2017535999.tif 000015
2017535999.tif 000016