(57)【要約】【課題】  一実施形態の一態様によれば、時間分解能の向上のために撮像装置の空間分解能を低下させる画像センシング装置の動作方法が提供される。【解決手段】  画像センシング装置を動作させる方法は、トリガーを検出することを含む。この方法はまた、トリガーを検出したことに応答して、画像センシング装置の動作モードを、第１の空間分解能と第１の時間分解能とを有する第１の動作モードから、第２の空間分解能と第２の時間分解能とを有する第２の動作モードへと変更することを含む。第２の空間分解能は第１の空間分解能より低くすることができ、第２の時間分解能は第１の時間分解能より高くすることができる。この方法はまた、第２の動作モードで、第２の空間分解能と第２の時間分解能とを有するビデオデータをキャプチャすることを含み得る。【選択図】  図３
2015082838.tif 000002
【特許請求の範囲】
【請求項１】
画像センシング装置を動作させる方法であって、
トリガーを検出し、
前記トリガーを検出したことに応答して、前記画像センシング装置の動作モードを、第１の空間分解能と第１の時間分解能とを有する第１の動作モードから、第２の空間分解能と第２の時間分解能とを有する第２の動作モードへと変更し、前記第２の空間分解能は前記第１の空間分解能より低く、前記第２の時間分解能は前記第１の時間分解能より高く、
前記第２の動作モードで、前記第２の空間分解能と前記第２の時間分解能とを有するビデオデータをキャプチャする、
ことを有する方法。
【請求項２】
前記トリガーは、ユーザインタフェースを介してユーザによって入力されるコマンドを有する、請求項１に記載の方法。
【請求項３】
前記トリガーは、近接センサによって生成される信号を有し、該信号は、前記画像センシング装置の所定の近傍内に物体があることを指し示す、請求項１に記載の方法。
【請求項４】
前記トリガーは、前記第２の動作モードでキャプチャされたビデオデータを使用するアプリケーションの出力を有する、請求項１に記載の方法。
【請求項５】
前記トリガーは、ビデオデータのフレームのコンテンツの分析により生成される出力と組み合わされた、ユーザインタフェースを介する設定を有する、請求項１に記載の方法。
【請求項６】
前記第１の時間分解能は毎秒６０フレーム以下であり、前記第２の時間分解能は毎秒２５０フレーム以上である、請求項１に記載の方法。
【請求項７】
前記ビデオデータは、前記第１の時間分解能での毎フレーム時間より短い時間での変化を呈する時変パラメータのビデオデータを有する、請求項１に記載の方法。
【請求項８】
前記時変パラメータは被写体の心拍を表現あるいは反映する、請求項７に記載の方法。
【請求項９】
前記第２の空間分解能と前記第２の時間分解能とを有する前記ビデオデータから、前記被写体の心拍変動（ＨＲＶ）を検出する、ことを更に有する請求項８に記載の方法。
【請求項１０】
前記時変パラメータは、前記被写体の一部の色を有し、前記被写体の該一部の色は、前記被写体の血液循環の関数として経時的に変化する、請求項８に記載の方法。
【請求項１１】
処理装置によって実行可能なコンピュータ命令を格納したコンピュータ読み取り可能記憶媒体であって、前記コンピュータ命令は、前記処理装置によって実行されるときに、
トリガーを検出し、
前記トリガーを検出したことに応答して、画像センシング装置の動作モードを、第１の空間分解能と第１の時間分解能とを有する第１の動作モードから、第２の空間分解能と第２の時間分解能とを有する第２の動作モードへと変更し、前記第２の空間分解能は前記第１の空間分解能より低く、前記第２の時間分解能は前記第１の時間分解能より高く、
前記第２の動作モードで、前記第２の空間分解能と前記第２の時間分解能とを有するビデオデータをキャプチャする、
ことを有する処理を実行させる、コンピュータ読み取り可能記憶媒体。
【請求項１２】
第１の動作モード及び第２の動作モードを有する画像センシング装置であり、前記第１の動作モードは第１の空間分解能と第１の時間分解能とを有し、前記第２の動作モードは第２の空間分解能と第２の時間分解能とを有し、前記第２の空間分解能は前記第１の空間分解能より低く、前記第２の時間分解能は前記第１の時間分解能より高い、画像センシング装置と、
トリガーを検出するように構成され、且つ前記トリガーを検出したことに応答して、前記画像センシング装置の動作モードを前記第１の動作モードから前記第２の動作モードへと変更するように構成された処理装置と、
を有するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに記載される実施形態は、時間分解能の向上のために撮像装置の空間分解能を低下させることに関する。
【背景技術】
【０００２】
デジタルビデオカメラは、ビデオをメモリ内のデータとして記録し、且つ／或いはデータをディスプレイに提供して、ディスプレイ上でビデオを視聴し得るようにする。デジタルビデオカメラによってキャプチャされるビデオは、所与のフレームレートすなわち時間分解能、及び所与の画像解像度すなわち空間分解能でキャプチャされた一連のフレーム（フレームシーケンス）を含む。比較的安価なデジタルビデオカメラにおける一般的な時間分解能は、毎秒２４、２５又は３０フレームを含み、よりハイエンドなモデルで毎秒６０フレームに至るときがある。空間分解能は、装置ごとに様々であるが、比較的安価なデジタルビデオカメラであっても、そこそこ高い空間分解能を有している。
【０００３】
シャッタースピードは、各フレームが露光される時間量のことを言い、何分の１秒で表されることが多い。シャッタースピードを低下させることによって、移動あるいは時間変化する被写体の、よりくっきりした、あまりぼやけていないビデオフレームがキャプチャされ得る。例えば、一部のデジタルビデオカメラにおいて、よりくっきりしたフレームをキャプチャするよう、シャッタースピードを１／６０秒から１／４００秒へと変えることができる。しかしながら、シャッタースピードを変えることは、ここで我々が時間分解能として参照するものであるフレームレート、すなわち、フレーム間で事象のタイミングを分解する能力を変化させるものではない。
【０００４】
ハイスピードカメラは、高速に移動する物体を記録するためにしばしば使用されるデジタルカメラである。一部のハイスピードカメラは、毎秒１０００フレーム又は更に高い時間分解能を有している。既知のハイスピードカメラはまた、妥当な高さの空間分解能で画像をキャプチャするように設計されている。それらは、従って、高価で、スマートフォンのような低電力ハンドヘルド（手持ち式）装置に適さないものになる傾向にある。
【０００５】
ここで特許請求される事項は、上述のような環境でのみ問題を解決したり動作したりする実施形態に限定されるものではない。むしろ、この背景技術の説明は、本明細書に記載される実施形態が実施され得る技術領域の一例を示すために提供されているに過ぎないものである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一実施形態の一態様によれば、時間分解能の向上のために撮像装置の空間分解能を低下させる画像センシング装置の動作方法が提供される。
【課題を解決するための手段】
【０００７】
一実施形態の一態様によれば、画像センシング装置を動作させる方法は、トリガーを検出することを含む。この方法はまた、トリガーを検出したことに応答して、画像センシング装置の動作モードを、第１の空間分解能と第１の時間分解能とを有する第１の動作モードから、第２の空間分解能と第２の時間分解能とを有する第２の動作モードへと変更することを含む。第２の空間分解能は第１の空間分解能より低くすることができ、第２の時間分解能は第１の時間分解能より高くすることができる。この方法はまた、第２の動作モードで、第２の空間分解能と第２の時間分解能とを有するビデオデータをキャプチャすることを含み得る。
【０００８】
実施形態の目的及び利点は、少なくとも請求項中に具体的に指し示される要素、機能及び組合せによって実現・達成されることになる。
【０００９】
理解されるべきことには、以上の概略説明及び以下の詳細説明は何れも、例示的且つ説明的なものであり、請求項記載発明を限定するものではない。
【図面の簡単な説明】
【００１０】
以下の図を含む添付図面を使用して、実施形態例を更なる特異性及び詳細とともに記載・説明する。
【図１】撮像システムが使用され得る動作環境の一例を示すブロック図である。
【図２】ビデオデータをキャプチャするシステムの一例を示すブロック図である。
【図３】画像センシング装置を動作させる方法の一例を示すフロー図である。
【図４】正常な心拍リズムを表すトレースの一例を含むグラフである。
【発明を実施するための形態】
【００１１】
ここに記載される実施形態は、時間分解能の向上のために撮像装置の空間分解能を低下させることに関する。
【００１２】
携帯電話、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、及びその他のモバイル（移動式）装置はしばしば、比較的安価な、携帯電話カメラ、ウェブカメラ、又はその他の画像センシング装置を含んでいる。そのようなモバイル装置のコストを低減するため、画像センシング装置はしばしば、比較的安価な、電荷結合デバイス（ＣＣＤ）、又は例えばアクティブピクセルセンサ（ＡＳＰ）などの相補型金属酸化膜半導体（ＣＭＯＳ）センサとして実装される。
【００１３】
モバイル装置用の一部のアプリケーションは、一体化された画像センシング装置を用いて、心拍又はその他の生物学的パラメータを追跡する。例えば、アプリケーションはカメラを用いて、ユーザの脈拍のピークを検知・計数し、そしてそれを時間平均することがある。このアプリケーションは、例えば、１分のスライディングウィンドウを使用し得る。これら及びその他の使用例においては、たとえ直前のピークに対する各ピークの正確な時間が分からなくても、各ピークの発生が検出され得る限り、時間分解能は比較的低くてもよい。ビデオから心拍情報を検出する方法の１つの実例が、Hao-Yu  Wuなどによる“Eulerian  Video  Magnification  for  Revealing  Subtle  Changes  in  the  World”（2013年5月21日に、http://peaple.csail.mit.edu/mrub/papers/vidmag.pdfにてアクセス）に記載されている。なお、この論文の全体をここに援用する。
【００１４】
或る時間ウィンドウにわたる平均として心拍を決定することには、比較的低い時間分解能を有する画像センシング装置及びアプリケーションを含むシステムで十分であり得るが、比較的低い時間分解能は、例えば心拍変動（heart  rate  variability；ＨＲＶ）計算などの、介在するピーク間インターバルに基づく一層正確な計算を行うこと、又はこの低時間分解能のフレーム時間より短い時間での変化を呈する時変パラメータに基づくその他の計算を行うことに、このようなシステムを使用することを妨げてしまう。
【００１５】
また、多くのＣＣＤ及びその他の画像センシング装置は、複数の異なる選択可能な空間分解能を有している。これらは、所望の空間分解能（ビデオの使用目的及び／又は送り先に応じて変わり得る）でビデオをキャプチャすることを可能にする。エンドユーザは一般的に、毎秒およそ２４−３０フレームでビデオを視ることに慣れており、この範囲外の時間分解能はエンドユーザを落ち着かなくさせる著しく異なった視聴体験をもたらし得るので、時間分解能は典型的に、空間分解能に適応して調整されることはなく、あるいはほんの僅かに調整されるのみである。
【００１６】
例えばＣＣＤなどの比較的安価な画像センシング装置におけるフレームレートは、典型的に、ＣＣＤからコンピュータメモリにデータを移動させるのに要する時間によって制約される。空間分解能が増すにつれ、ＣＣＤから画像データを移し出すのに伴う時間も増大する。ビデオは典型的に毎秒３０フレームの時間分解能で完成されるが、最近のＣＣＤは典型的に、フルＨＤ（高解像度）の空間分解能であっても、フレーム間にメモリをフラッシュするのに十分に高速であり、故に、エンドユーザは如何なる損傷をも知覚しない。
【００１７】
しかしながら、既存のＣＣＤは典型的に、例えば毎秒２５０フレーム又はそれ以上といった、遥かに高い時間分解能には不適である。
【００１８】
毎秒２５０フレーム以上の時間分解能は、既存の比較的安価な画像センシングシステムがその現在利用可能な空間分解能を使用するときの範囲を優に超えている。
【００１９】
ここに記載される実施形態は、空間分解能を時間分解能とトレードする（空間分解能を引き換えにして時間分解能を提供する）。空間分解能を時間分解能とトレードすることは、時間的なサンプリングとビデオ解像度及び／又は帯域幅との間のトレードオフとして、もっとよく理解され得る。例えば、人間の顔のビデオから心拍情報を検出する状況では、顔の正確な形態ではなく、前額皮膚の平均色で十分である。この情報に関しては、低空間分解能のビデオでも分析を妨げず、実際に、一部のケースでは計算上好ましいものとなり得る。しかしながら、ビデオのリフレッシュレートが、最大の検出可能な周波数成分を決定し得る。少なくとも２５０Ｈｚの周波数が、ＨＲＶの正確な分析のための最小値となり得る。
【００２０】
従って、ここに記載される実施形態は概して、付随して画像センシング装置の空間分解能を低下させることによって、時間分解能を有意に増大させることを含み得る。例えば、時間分解能が、例えば毎秒３０フレームから毎秒３００フレームへと、１０倍に増大される場合、空間分解能は１０分の１以下に低下され得る。
【００２１】
時間分解能を有意に増大させることによって、時間における細かい変化が検出され得る。そのような細かい時間変化は、例えば、ＨＲＶを計算するために検出され得る。ＨＲＶは、最近のデジタルビデオカメラの間で一般的な比較的高い空間分解能よりも、それらのデジタルビデオカメラで利用可能でない比較的高い時間分解能の方が遥かに価値がある１つの例である。
【００２２】
そのような最近のデジタルビデオカメラで使用されている画像センシング装置の多くは、時間分解能を空間分解能とトレードすることが可能なハードウェアを既に含んでいるので、ここに記載される一部の実施形態は、ハードウェア変更を必要とせずに、画像センシング装置のファームウェアレベルでの変更によって実装され得る。
【００２３】
以下、図面を参照して、本発明の実施形態を説明する。
【００２４】
図１は、ここに記載の少なくとも１つの実施形態に従ってアレンジされた、撮像システム１０２が使用され得る動作環境１００の一例のブロック図である。撮像システム１０２は、ＣＣＤ又はＣＭＯＳセンサなどの画像センシング装置を含んだ、例えば、携帯電話、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、及びその他のシステムとし得る。動作環境１００は更に、１つ以上の被写体１０４、１０６を含み得る。用語“被写体”は、ここでは概して、それに関してビデオデータがキャプチャされ得る生物又は無生物を参照するように使用される。
【００２５】
撮像システム１０２は、図１において“ＯＭ１”として指定される第１の動作モードで動作しながら被写体１０４のビデオデータをキャプチャするように構成され得る。第１の動作モードは、民生レベルの画像センシング装置に典型的な、例えばＨＤ７２０などの比較的高い空間分解能と、例えば毎秒３０フレームなどの比較的低い時間分解能とを有し得る。第１の動作モードは概して、細かくない時間変化を呈する被写体のビデオをキャプチャするのに好適であり得る。
【００２６】
これら及びその他の実施形態において、各フレームは、時間分解能に対応する毎フレーム時間を有する。毎フレーム時間は、ここでは、１つのフレームから次のフレームまでの時間の期間を表すものとして使用される。例えば、毎秒３０フレームの時間分解能では、毎フレーム時間は１／３０秒であり、毎秒６０フレームの時間分解能では、毎フレーム時間は１／６０秒である。細かくない時間変化は、例えば毎秒２４−３０フレーム又は更には６０フレームなどの標準的な時間分解能での毎フレーム時間より長い時間での変化を表し得る。例えば、１／６０秒又は１／３０秒を超える周期で発生する変化又は事象は、細かくない時間変化として参照され得る。一方、細かい時間変化は、標準的な時間分解能での毎フレーム時間より短い時間での変化を表し得る。例えば、１／６０秒より短い周期で発生する変化又は事象は、細かい時間変化として参照され得る
被写体１０６は、撮像システム１０２が測定し得る細かい時間変化を呈し得る。例えば、被写体１０６は、人間とすることができ、例えば被写体１０６の血液循環の関数として経時的に変化する被写体１０６の前額又は被写体１０６のその他の部分の色など、被写体１０６の心拍を表現あるいは反映する時変パラメータＰ（ｔ）を有し得る。血液循環によって現れる心拍の心拍間インターバル、及び対応する被写体１０６の前額の色の変化は、１つのインターバルから次のインターバルへと、細かい時間変化を呈し得る。
【００２７】
従って、撮像システム１０２は、第１の動作モードから、図１において“ＯＭ２”として指定される第２の動作モードへと変化して、第２の動作モードで動作しながら被写体１０６のビデオデータをキャプチャするように構成され得る。撮像システム１０２は、それにより、パラメータＰ（ｔ）によって呈される細かい時間変化がそれから計算され得るビデオデータをキャプチャすることができる。
【００２８】
図２は、ここに記載の少なくとも１つの実施形態に従ってアレンジされた、ビデオデータをキャプチャするシステム２００の一例のブロック図である。図２のシステム２００は、図１の撮像システム１０２の一実施形態例である。一部の実施形態において、システム２００は、異なる組み合わせの空間分解能と時間分解能とを有する複数の動作モードを備える画像センシング装置を含んだ、携帯電話、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、及びその他のシステムとし得る。他の例では、システム２００は、専用の装置として実装されてもよい。
【００２９】
図示のように、システム２００は、画像センシング装置２０２及び処理装置２０４を含んでいる。必要に応じて、システム２００は更に、ユーザインタフェース２０６、近接センサ２０８、メモリ２１０、及び／又は通信バス２１２を含み得る。
【００３０】
画像センシング装置２０２は、複数の動作モードを含むことができる。例えば、少なくとも、画像センシング装置２０２は、対応する空間及び時間の分解能を有する第１の動作モードと、対応する空間及び時間の分解能を有する第２の動作モードとを含み得る。第２の動作モードの空間分解能は、第１の動作モードの空間分解能より低いとすることができ、第２の動作モードの時間分解能は、第１の動作モードの時間分解能より高いとすることができる。例えば、第２の動作モードの時間分解能は、第１の動作モードの時間分解能より１０倍以上高いとし得る。従って、画像センシング装置２０２は、複数の動作モードが可能なハードウェアを有するＣＣＤ、ＡＰＳ又はその他の画像センシングデバイスを含み得る。
【００３１】
処理装置２０４は、例えば、可能性ある多くの中でもとりわけ、トリガーを検出すること及び画像センシング装置の動作モードを変更することなど、ここに記載の機能及び処置をシステム２００に行わせるコンピュータ命令を実行するように構成され得る。以上では、ソフトウェア実装の一例が記載されている。それに代えて、あるいは加えて、ここに記載の機能及び処理のうちの１つ以上が、ハードウェア及び／又はファームウェアにて実装されてもよい。処理装置２０４は、以下に限られないが、プロセッサ、マイクロプロセッサ（μＰ）、コントローラ、マイクロコントローラ（μＣ）、中央演算処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、これらの何らかの組み合わせ、又はその他の好適なプロセッサを含み得る。
【００３２】
ユーザインタフェース２０６は、画像センシング装置２０２の動作モードを変更するのに有効なコマンドをユーザから受信するように構成され得る。このコマンドは、処理装置２０４によって検出されたトリガーとし得る。これら及びその他の実施形態において、システム２００は更に、ユーザからの入力を受信するように構成された、例えばキーボード、マウス、カメラ又はタッチ入力装置などの入力装置を含み得る。一部の実施において、ユーザインタフェース２０６は、入力装置（例えば、キーボード、マウス、カメラ、ペン、音声入力装置、タッチ入力装置など）などの外付け装置又はその他の周辺装置（例えば、プリンタ、スキャナなど）と通信するように構成されることが可能な、例えばシリアルインタフェースコントローラ及び／又はパラレルインタフェースコントローラなどの、１つ以上の周辺インタフェースを含み得る。
【００３３】
近接センサ２０８は、画像センシング装置２０２に対して物体が近接していることを検出して、検出した近接を表す信号を生成するように構成され得る。画像センシング装置の所定の近傍内に物体があることを指し示す近接センサ２０８によって生成される信号は、処理装置２０４によって検出されるトリガーとし得る。
【００３４】
メモリ２１０は概して、例えばランダムアクセスメモリ（ＲＡＭ）又はその他の好適な揮発性ストレージなどの、非一時的なコンピュータ読み取り可能媒体を含み得る。それに代えて、あるいは加えて、メモリ２１０は不揮発性ストレージを含み得る。処理装置２０４によって実行されて、ここに記載の処理のうちの１つ以上を処理装置に行わせるよう、コンピュータ命令がメモリ２１０にロードされ得る。
【００３５】
それに代えて、あるいは加えて、メモリ２１０は、画像センシング装置２０２の特定の動作モードを使用する１つ以上のアプリケーション２１４を含み得る。例えば、細かい時間変化を呈する時変パラメータに基づいてＨＲＶ、ストレス、又はその他の生物学的指標を計算するためのアプリケーションは、比較的高い時間分解能と比較的低い空間分解能とを有する第２の動作モードでキャプチャされたビデオデータを使用し、標準カメラアプリケーション又はその他のアプリケーションは、デフォルトで、比較的高い空間分解能と比較的低い時間分解能とを有する第１の動作モードでビデオデータをキャプチャし得る。
【００３６】
一部の実施形態において、アプリケーション２１４は、使用中に、第２の動作モードを選択するのに有効な出力を自動的に生成し得る。それに代えて、あるいは加えて、アプリケーション２１４は、ユーザがアプリケーション２１４内で、画像センシング装置２０２の複数の動作モードのうちの何れか１つを選択し、それにより第２の動作モードを選択するのに有効な出力を生成すること、を可能にしてもよい。アプリケーション２１４の出力は、処理装置２０４によって検出されるトリガーとし得る。
【００３７】
一部の実施形態において、メモリ２１０は、画像センシング装置２０２の動作モード、及び／又はそれに関連する設定若しくはその他のデータを、動作モード２１６として格納し得る。それに代えて、あるいは加えて、メモリ２１０は、画像センシング装置２０２によってキャプチャされたビデオデータ２１８を格納し得る。ビデオデータ２１８は、第１の動作モードを用いてキャプチャされたときに第１の空間分解能及び時間分解能を有し、第２の動作モードを用いてキャプチャされたときに第２の空間分解能及び時間分解能を有し得る。
【００３８】
一部の実施形態において、第１の動作モードから第２の動作モードへと変化するときの空間分解能の低下は、第２の動作モードでキャプチャされるときに、第１の動作モードでキャプチャされるときと同じサイズを有するフレームの大ブロックの平均を取ることによって遂行され得る。
【００３９】
それに代えて、あるいは加えて、空間分解能の低下は、画像センシング装置の画素のうちの一部（サブセット）のみを採ることによって遂行されてもよい。例えば、アプリケーション２１４は、ユーザの顔又は被写体の関心あるその他の部分を表す画素を特定してそれらの画素のみをキャプチャする顔認識アルゴリズム又はその他のアルゴリズムを含み得る。これら及びその他の実施形態において、上記トリガーは、ビデオデータのフレームのコンテンツの分析により生成される出力と組み合わされた、ユーザインタフェース２０６を介する設定を含み得る。例えば、正しい設定がユーザインタフェース２０６を介して設定されており、且つアプリケーション２１４が分析を行って画像センシング装置２０２の視野内に顔があることを決定した場合、アプリケーション２１４は、ユーザの顔を表す画素のみをキャプチャすることによって、且つ／或いはユーザの顔全体の画素の平均を取ることによって、空間分解能を低下させ、それにより時間分解能を増大させることを有効にする信号若しくはコマンド又はその他の出力を出力し得る。
【００４０】
従って、空間分解能は、第２の動作モードにおいて、画像センシング装置２０２の視野全体の画素の平均を取ることによって、且つ／或いは画像センシング装置２０２の利用可能な全ての画素のうちの何らかのサブセットを採ることによって、第１の動作モードと比較して低下され得る。
【００４１】
画像センシング装置２０２、処理装置２０４、ユーザインタフェース２０６、近接センサ２０８、及びメモリ２１０は、通信バス２１２を介して通信可能に結合され得る。通信バス２１２は、以下に限られないが、メモリバス、ストレージインタフェースバス、バス／インタフェースコントローラ、インタフェースバス、若しくはこれらに類するもの、又はこれらの何らかの組み合わせを含み得る。
【００４２】
図２のシステム２００には、本開示の範囲を逸脱することなく、変更、付加、又は省略が為され得る。例えば、明示的に第１及び第２の動作モードを有するものとして画像センシング装置２０２を説明したが、画像センシング装置２０２は、より一般的には、例えば３つの動作モードや４つの動作モードなど、２つ以上の動作モードを有し得る。また、例えばスマートフォン又はその他のモバイル装置などの一体化システムとしてシステム２００を説明したが、システム２００は、それに代えて、様々なコンポーネント２０２、２０４、２０６、２０８、２１０のうちの１つ以上がそれ以外のものから遠隔に位置付けられ、且つ／或いはコンポーネント２０２、２０４、２０６、２０８、２１０のうちの少なくとも幾つかの間の通信が通信バス２１２を介してではなく有線接続又は無線接続上で行われる分散システムであってもよい。他の例では、システム２００は専用の装置であってもよい。
【００４３】
図３は、ここに記載の少なくとも１つの実施形態に従ってアレンジされた、画像センシング装置を動作させる方法３００のフロー図の一例を示している。方法３００は、一部の実施形態において、例えば図１の撮像システム１０２又は図２のシステム２００などのシステムによって実行される。例えば、図２の処理装置２０４が、メモリ２１０に格納されたコンピュータ命令を実行して、図３の方法３００のブロックのうちの１つ以上によって表されるように画像センシング装置を動作させる機能及び処理を行うように構成され得る。別個のブロックとして図示されているが、所望の実装に応じて、様々なブロックが、更なるブロックへと分割され、より少ないブロックへと結合され、あるいは排除されてもよい。
【００４４】
方法３００は、トリガーが検出されるブロック３０２で開始し得る。トリガーは、ユーザインタフェースを介してユーザによって入力されるコマンドを含み得る。それに代えて、あるいは加えて、トリガーは、画像センシング装置の所定の近傍内に物体があることを指し示す信号である近接センサによって生成される信号を含み得る。それに代えて、あるいは加えて、トリガーは、例えば上述の第２の動作モードなど、比較的高い時間分解能を有する動作モードでキャプチャされたビデオデータを使用するアプリケーションの出力を含み得る。それに代えて、あるいは加えて、トリガーは、上述のようにビデオデータのフレームのコンテンツの分析により生成される出力と組み合わされた、ユーザインタフェースを介する設定を含み得る。それに代えて、あるいは加えて、トリガーは、複数のトリガーの組み合わせを含み得る。
【００４５】
ブロック３０４にて、トリガーを検出したことに応答して、画像センシング装置の動作モードが、第１の動作モードから第２の動作モードへと変更され得る。第１の動作モードは、第１の空間分解能と第１の時間分解能とを有し得る。第２の動作モードは、第２の空間分解能と第２の時間分解能とを有し得る。第２の空間分解能は第１の空間分解能より低く、且つ第２の時間分解能は第１の時間分解能より高いとし得る。
【００４６】
第１の時間分解能は毎秒６０フレーム以下とすることができ、第２の時間分解能は毎秒２５０フレーム以上とすることができる。それに代えて、あるいは加えて、第２の時間分解能は毎秒５００フレーム以上であってもよい。
【００４７】
ブロック３０６にて、第２の動作モードでビデオデータがキャプチャされる。このビデオデータは、第２の空間分解能と第２の時間分解能とを有し得る。
【００４８】
当業者が認識するように、ここに開示されるこの及びその他のプロセス及び方法では、これらのプロセス及び方法にて実行される機能は異なる順序で行われてもよい。また、概説されたステップ及び処理は単に例として提示されるものであり、これらのステップ及び処理の一部は、開示の実施形態の本質を逸脱することなく、省略され、より少ないステップ及び処理へと結合され、あるいは更なるステップ及び処理へと拡張されてもよい。
【００４９】
これら及びその他の実施形態において、このビデオデータは、細かい時間変化、すなわち、第１の時間分解能での毎フレーム時間より短い時間での変化を呈する時変パラメータのビデオデータを含み得る。例えば、時変パラメータは、被写体の心拍を表現あるいは反映し得る。
【００５０】
従って、方法３００は更に、第２の空間分解能と第２の時間分解能とを有するビデオデータから、被写体の心拍変動（ＨＲＶ）を決定することを含んでいてもよい。例えば、時変パラメータは、被写体の前額、指、又は被写体の血液循環の関数としてその部分の色が経時的に変化するその他の部分、の色を含み得る。血液循環の関数としての色の変化は僅かであり、裸眼では知覚できないほどであり得るが、既にここに援用した“Eulerian  Video  Magnification  for  Revealing  Subtle  Changes  in  the  World”によって、色変化の増幅及び／又は検出を行う技術が開示されており、その技術又はその他の技術をここに記載の実施形態に従って利用することで、被写体の心拍におけるピークを反映する色変動のピークを検出し得る。このビデオデータは比較的高い第２の時間分解能を有しているので、ピーク間の時間が正確に測定され、その結果、ＨＲＶ及び／又はその他の生物学的指標が正確に計算され得る。
【００５１】
ここに記載の一部の実施形態は、例えば図３中のブロック３０２、３０４及び／又は３０６によって例示される処理などの図３の方法３００に含まれる処理及び／又はそれらのバリエーションのうちの１つ以上を実行するように処理装置によって実行可能なコンピュータ命令を格納した、非一時的なコンピュータ読み取り可能媒体を含む。この非一時的なコンピュータ読み取り可能媒体は、例えば、図２のメモリ２１０を含み得る。この処理装置は、例えば、図２の処理装置２０４を含み得る。
【００５２】
図４は、ここに記載の少なくとも１つの実施形態に従ってアレンジされた、正常な心拍リズムを表すトレース４００の一例を含むグラフである。例えば心電計（ＥＣＧ）装置などの心臓センサが、心臓の洞房（ＳＡ）結節によって生成される電気信号（これが心臓のリズムを制御する）を検出することによって、このようなトレースにより表現されるデータ信号を生成するように構成され得る。
【００５３】
トレース４００は、Ｐ、Ｑ、Ｒ、Ｓ及びＴと分類される様々な波又は部分を含んでいる。これらのうちの幾つかをまとめて、例えばＱＲＳ複合波などの複合波として記述するときもある。正常な心拍リズムにおいて、ＳＡ結節は、右心房及び左心房を通って進行する電気インパルスを生成する。Ｐ波は、心房中を流れる電気を表す。ＱＲＳ複合波は、心臓から血液を押し出すように心室が収縮するときの心室中の流れを表す。Ｔ波は、次の心拍のための心臓の再分極すなわちリセットを表す。次の心拍サイクルは次のＰ波で開始する。
【００５４】
図４に示されるように、ＲＲインターバルは、連続するＲ波同士の間の時間である。各ＲＲインターバルが一心拍に相当する。また、分当たりの鼓動に関する心拍数は、ＲＲインターバルに反比例し、ＲＲインターバルから計算されることができる。各ＲＲインターバルの長さが１つの鼓動から次の鼓動へと変化する場合、単一のＲＲインターバルに関して瞬時心拍数が計算され得るとともに、複数の連続したＲＲインターバルにわたって平均心拍数が計算され得る。１つの鼓動から次の鼓動へのＲＲインターバルの変動はＨＲＶと呼ばれている。
【００５５】
心臓のポンプ機能が、対応するＲＲインターバルの時間に相当する血液循環における１つのピークから次のピークまでの時間で血液を循環させる。血液循環は被写体の皮膚の色変化として現れるので、色変動のピークが、ここに記載の実施形態に従って、比較的低い空間分解能と高い時間分解能とを具備した動作モードを有する画像センシング装置を用いて検出され得る。
【００５６】
ここに記載される実施形態は、より詳細に後述するような様々なコンピュータハードウェア又はソフトウェアモジュールを含んだ専用あるいは汎用のコンピュータの使用を含み得る。
【００５７】
ここに記載される実施形態は、コンピュータ実行可能命令又はデータ構造を担持あるいは格納したコンピュータ読み取り可能媒体を用いて実現されてもよい。そのようなコンピュータ読み取り可能媒体は、汎用あるいは専用のコンピュータによってアクセスされることが可能な如何なる入手可能な媒体であってもよい。非限定的な例として、そのようなコンピュータ読み取り可能媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）若しくはその他の光ディスクストレージ、磁気ディスクストレージ若しくはその他の磁気記憶装置、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、又は、コンピュータ実行可能命令の形態の所望のプログラムコード若しくはデータ構造を担持あるいは格納するために使用されることができ且つ汎用あるいは専用のコンピュータによってアクセスされることが可能なその他の記憶媒体を含む、有形のコンピュータ読み取り可能記憶媒体を含み得る。以上のものの組合せもコンピュータ読み取り可能媒体の範囲に含まれ得る。
【００５８】
コンピュータ実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ又は専用処理装置（例えば、１つ以上のプロセッサ）に特定の機能又は機能群を実行させる命令及びデータを有する。ここでは構成上の機構及び／又は方法のステップに特有の言葉にて説明してきたが、理解されるように、請求項に規定される事項は必ずしも、ここで説明された特有の機構又はステップに限定されるものではない。むしろ、ここで説明された特有の機構及びステップは、請求項に規定される事項を実現する形態の例として開示されたものである。
【００５９】
ここでは、用語“モジュール”又は“コンポーネント”は、モジュール若しくはコンポーネントの処理を実行するように構成された特定のハードウェア実装、及び／又は、コンピュータシステムの汎用ハードウェア（例えば、コンピュータ読み取り可能媒体、処理装置など）に格納され且つ／或いはそれによって実行され得るソフトウェアオブジェクト若しくはソフトウェアルーチンを意味し得る。一部の実施形態において、ここに記載された様々なコンポーネント、モジュール、エンジン及びサービスは、コンピュータシステム上で（例えば、別々のスレッドとして）実行される複数のオブジェクト又はプロセスとして実装され得る。ここに記載されるシステム及び方法の一部は概して、（汎用ハードウェアに格納され且つ／或いはそれによって実行される）ソフトウェアにて実装されるものとして説明されるが、特定のハードウェア実装又はソフトウェアと特定のハードウェア実装との組合せも可能であり、且つ意図されるものである。本明細書において、“コンピューティングエンティティ”は、上述のような何らかのコンピューティングシステム、又はコンピューティングシステム上で走る何らかのモジュール又はモジュール群の組合せとし得る。
【００６０】
ここに記載された全ての例及び条件の説明は、技術を進歩させるために本発明者が提供する概念及び発明を読者が理解することを支援するための教育的目的でのものであり、そのような具体的に記載された例及び条件への限定ではないとして解釈されるべきである。本発明の実施形態を詳細に説明してきたが、理解されるように、これらの実施形態には、本発明の精神及び範囲を逸脱することなく、様々な変形、代用及び改変が為され得る。
【００６１】
以上の説明に関し、更に以下の付記を開示する。
（付記１）  画像センシング装置を動作させる方法であって、
トリガーを検出し、
前記トリガーを検出したことに応答して、前記画像センシング装置の動作モードを、第１の空間分解能と第１の時間分解能とを有する第１の動作モードから、第２の空間分解能と第２の時間分解能とを有する第２の動作モードへと変更し、前記第２の空間分解能は前記第１の空間分解能より低く、前記第２の時間分解能は前記第１の時間分解能より高く、
前記第２の動作モードで、前記第２の空間分解能と前記第２の時間分解能とを有するビデオデータをキャプチャする、
ことを有する方法。
（付記２）  前記トリガーは、ユーザインタフェースを介してユーザによって入力されるコマンドを有する、付記１に記載の方法。
（付記３）  前記トリガーは、近接センサによって生成される信号を有し、該信号は、前記画像センシング装置の所定の近傍内に物体があることを指し示す、付記１に記載の方法。
（付記４）  前記トリガーは、前記第２の動作モードでキャプチャされたビデオデータを使用するアプリケーションの出力を有する、付記１に記載の方法。
（付記５）  前記トリガーは、ビデオデータのフレームのコンテンツの分析により生成される出力と組み合わされた、ユーザインタフェースを介する設定を有する、付記１に記載の方法。
（付記６）  前記第１の時間分解能は毎秒６０フレーム以下であり、前記第２の時間分解能は毎秒２５０フレーム以上である、付記１に記載の方法。
（付記７）  前記第２の時間分解能は毎秒５００フレーム以上である、付記６に記載の方法。
（付記８）  前記ビデオデータは、前記第１の時間分解能での毎フレーム時間より短い時間での変化を呈する時変パラメータのビデオデータを有する、付記１に記載の方法。
（付記９）  前記時変パラメータは被写体の心拍を表現あるいは反映する、付記８に記載の方法。
（付記１０）  前記第２の空間分解能と前記第２の時間分解能とを有する前記ビデオデータから、前記被写体の心拍変動（ＨＲＶ）を検出する、ことを更に有する付記９に記載の方法。
（付記１１）  前記時変パラメータは、前記被写体の一部の色を有し、前記被写体の該一部の色は、前記被写体の血液循環の関数として経時的に変化する、付記９に記載の方法。
（付記１２）  処理装置によって実行可能なコンピュータ命令を格納したコンピュータ読み取り可能記憶媒体であって、前記コンピュータ命令は、前記処理装置によって実行されるときに、
トリガーを検出し、
前記トリガーを検出したことに応答して、画像センシング装置の動作モードを、第１の空間分解能と第１の時間分解能とを有する第１の動作モードから、第２の空間分解能と第２の時間分解能とを有する第２の動作モードへと変更し、前記第２の空間分解能は前記第１の空間分解能より低く、前記第２の時間分解能は前記第１の時間分解能より高く、
前記第２の動作モードで、前記第２の空間分解能と前記第２の時間分解能とを有するビデオデータをキャプチャする、
ことを有する処理を実行させる、コンピュータ読み取り可能記憶媒体。
（付記１３）  前記トリガーは、
ユーザインタフェースを介してユーザによって入力されるコマンド、
近接センサによって生成される信号であり、前記画像センシング装置の所定の近傍内に物体があることを指し示す信号、
前記第２の動作モードでキャプチャされたビデオデータを使用するアプリケーションの出力、及び
ビデオデータのフレームのコンテンツの分析により生成される出力と組み合わされた、ユーザインタフェースを介する設定、
のうちの１つ以上を有する、付記１２に記載のコンピュータ読み取り可能記憶媒体。
（付記１４）  前記時変パラメータは、被写体の一部の色を有し、前記被写体の該一部の色は、前記被写体の血液循環の関数として経時的に変化する、付記１２に記載のコンピュータ読み取り可能記憶媒体。
（付記１５）  前記処理は更に、前記第２の空間分解能と前記第２の時間分解能とを有する前記ビデオデータから、被写体の心拍変動（ＨＲＶ）を検出することを有する、付記１２に記載のコンピュータ読み取り可能記憶媒体。
（付記１６）  第１の動作モード及び第２の動作モードを有する画像センシング装置であり、前記第１の動作モードは第１の空間分解能と第１の時間分解能とを有し、前記第２の動作モードは第２の空間分解能と第２の時間分解能とを有し、前記第２の空間分解能は前記第１の空間分解能より低く、前記第２の時間分解能は前記第１の時間分解能より高い、画像センシング装置と、
トリガーを検出するように構成され、且つ前記トリガーを検出したことに応答して、前記画像センシング装置の動作モードを前記第１の動作モードから前記第２の動作モードへと変更するように構成された処理装置と、
を有するシステム。
（付記１７）  当該システムは更に、前記処理装置によって実行可能なコンピュータ命令を格納したコンピュータ読み取り可能記憶媒体を有し、前記コンピュータ命令は、前記処理装置によって実行されるときに、前記トリガーを検出して前記動作モードを変更することを含む処理を実行させ、前記コンピュータ読み取り可能記憶媒体は更に、前記画像センシング装置によってキャプチャされた、前記第２の空間分解能と前記第２の時間分解能とを有するビデオデータを格納するように構成される、付記１６に記載のシステム。
（付記１８）  当該システムは更に、前記画像センシング装置に対して物体が近接していることを検出して、該近接していることを表す信号を生成するように構成された近接センサを有し、前記処理装置が前記トリガーを検出することは、前記処理装置が、前記画像センシング装置の所定の近傍内に物体があることを指し示す前記近接センサからの信号を検出することを含む、付記１６に記載のシステム。
（付記１９）  当該システムは、前記画像センシング装置と前記処理装置とを含んだ専用装置又はスマートフォンである、付記１６に記載のシステム。
（付記２０）  前記画像センシング装置は、電荷結合デバイス（ＣＣＤ）又はアクティブピクセルセンサ（ＡＰＳ）を有する、付記１６に記載のシステム。
【符号の説明】
【００６２】
１００  動作環境
１０２  撮像システム
１０４、１０６  被写体
２００  システム
２０２  画像センシング装置
２０４  処理装置
２０６  ユーザインタフェース
２０８  近接センサ
２１０  メモリ
２１２  通信バス
２１４  アプリケーション
２１６  動作モード
２１８  ビデオデータ
【図１】
2015082838.tif 000003
【図２】
2015082838.tif 000004
【図３】
2015082838.tif 000005
【図４】
2015082838.tif 000006