(57)【要約】      （修正有）【課題】画像キャプチャ手段によって提供されたコンテクストデータ（contextual data）から採用された情報に従って、画像をキャプチャする確率を決定する。【解決手段】第１画像データセンサ２Ａ及び少なくとも１つのコンテクストデータセンサ３、４、５、６を用いて、所定の時間間隔内に行なわれる画像又は画像シーケンスの少なくとも１つのキャプチャの確率を計算する。キャプチャ確率は、キャプチャされたコンテクストデータの量を、携帯端末のエネルギー及び処理及び記憶の厳しい制約に合わせて調節すると同時に、キャプチャされたデータの最適なクオリティを保証する。【選択図】図１
2014116947.tif 000002
【特許請求の範囲】
【請求項１】
第１画像データセンサ（２Ａ）及び少なくとも１つのコンテクストデータセンサ（３）、（４）、（５）、（６）、（７）、（８）、（９）、（１０）を含む携帯端末のような端末（１）を用いて、画像又は画像シーケンスのキャプチャが所定の時間間隔内に発生する少なくとも１つの確率を自動的に決定する方法であって、
前記センサが活性化されたときに、該キャプチャの確率は、該画像データセンサ及び／又はコンテクストデータセンサのうちの１つによって提供される少なくとも１つの応答から計算される。
【請求項２】
該キャプチャの確率が、該活性化されたコンテクストデータセンサ又は画像データセンサのうちの少なくとも１つによって提供された応答が、前記センサの出力信号の予め決められた値、好ましくは数値を超過する際に従うシーケンスに従って計算される請求項１に記載の方法。
【請求項３】
該キャプチャの確率の計算及び該予め決められた値が、センサ応答及びキャプチャ時点の履歴に関連するデータ集合に従って自動的に修正される請求項２に記載の方法。
【請求項４】
該キャプチャの確率が、０〜１に含まれる数値として表される請求項２に記載の方法。
【請求項５】
該画像データセンサ及び／又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャの確率値に従って決定されるキャプチャクオリティ及び捕捉周波数を有する請求項１に記載の方法。
【請求項６】
該画像データセンサ及び／又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ時点前に、キャプチャの確率とともに増大するキャプチャクオリティ及び捕捉周波数を有する請求項５に記載の方法。
【請求項７】
該画像データセンサ及び／又はコンテクストデータセンサによってキャプチャされたデータが、該キャプチャの確率を最大化する該間隔が、キャプチャ時点前に、キャプチャの確率計算が行われた瞬間に接近するのにともなって一層増大するキャプチャクオリティ及び捕捉周波数を有する請求項１又は６に記載の方法。
【請求項８】
該画像データセンサ及び／又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ時点後に両方とも減少するデータ・キャプチャクオリティ及び捕捉周波数を有する請求項１又は７に記載の方法。
【請求項９】
コンテクストデータセンサによってキャプチャされたデータが、センサが活性化されたときに連続的に操作される物理的測定値である請求項１に記載の方法。
【請求項１０】
該データ・キャプチャクオリティが、長さ単位当たりの画素密度によって表される、キャプチャされた画像の画素解像度値である請求項５から８までのいずれか１項に記載の方法。
【請求項１１】
該データ・キャプチャクオリティが、１秒当たりキャプチャされた画像の数の値である請求項５から８までのいずれか１項に記載の方法。
【請求項１２】
該コンテクストデータセンサが、該端末（１）上に配置された傾斜センサ（３）である請求項１に記載の方法。
【請求項１３】
該コンテクストデータセンサが、該端末（１）に伝達された運動を測定するための加速度計のような、該端末（１）上に配置された加速度センサ（４）である請求項１に記載の方法。
【請求項１４】
該コンテクストデータセンサが、該端末（１）の画像キャプチャ・リリースボタン（１２）と協働する圧力センサ（５）である請求項１に記載の方法。
【請求項１５】
該コンテクストデータセンサが、該端末（１）上に配置された音声センサ（６）、例えばマイクロフォンである請求項１に記載の方法。
【請求項１６】
該コンテクストデータセンサが、該端末（１）上に配置された温度センサ（７）である請求項１に記載の方法。
【請求項１７】
該温度センサ（７）が、該画像キャプチャ・リリースボタン（１２）内に含まれる請求項１６に記載の方法。
【請求項１８】
該コンテクストデータセンサが、該端末（１）の把持中に当該抵抗センサに触れた人物の感情状態を測定するための、該端末（１）上に配置された抵抗センサ（８）である請求項１に記載の方法。
【請求項１９】
該コンテクストデータセンサが、該センサ（９）の動作フィールド内に存在する人物又は物体を検出するための、該端末（１）上に配置されたＲＦＩＤ又はＮＦＣ型センサ（９）である請求項１に記載の方法。
【請求項２０】
該コンテクストデータセンサが、空間内の該端末（１）の位置を測定するための、該端末（１）上に配置された、ＧＰＳセンサのような地理的位置特定センサ（１０）である請求項１に記載の方法。
【請求項２１】
該コンテクストデータセンサが、好ましくは該端末（１）の背面上に配置された第２画像データセンサ（２Ｂ）であり、前記第２画像センサ（２Ｂ）が、該第１画像センサ（２Ａ）のキャプチャ・フィールドの外側に存在する複数の人間の顔、及び／又はこれらの検出された人物の個々の顔に固有の情報を検出するために、該端末（１）内に組み入れられた検出手段と協働する請求項１に記載の方法。
【請求項２２】
該顔に固有の情報が、感情状態；顔の位置、例えば水平位置；該端末（１）に対する顔の運動速度、である請求項２１に記載の方法。
【請求項２３】
該端末（１）が、画像キャプチャ・モード、例えばポートレート・モード、又は風景モード、又はパノラマ・モード、又はスポーツ・モードを選択するための手段を有しており、該コンテクストデータセンサによって発せられた、該超過を定義する信号の値が、予め決められるか、又は、該選択された画像キャプチャ・モードに従って計算される請求項２に記載の方法。
【請求項２４】
該携帯端末（１）が、ＣＣＤ又はＣＭＯＳ画像センサ及びディスプレイ・スクリーン（１１）を含むデジタルカメラ付き電話機である請求項１に記載の方法。
【請求項２５】
該コンテクストデータが、該携帯端末（１）内に挿入されたフラッシュ・メモリ・カード、例えばＳＤ（セキュア・デジタル）又はマイクロＳＤカードでキャプチャされ保存される請求項５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子イメージング分野における適用を目的とする。本発明は、画像キャプチャ手段によって提供されたコンテクストデータ（contextual data）から採用された情報に従って、画像をキャプチャする確率を決定するために、画像をキャプチャすることができる端末を使用する方法に関する。本発明はまた、画像キャプチャと関連付けられた音声データをキャプチャすることを可能にする。すなわち、画像がキャプチャされる際に、音声が発せられ変調されることができる。
【０００２】
より具体的には、本発明は、一定の時間間隔内に生じる、画像又は一連の画像（例えばビデオ）をキャプチャする確率を、計算することにより自動決定するために、少なくとも１つの画像センサと少なくとも１つのコンテクストデータセンサとを含む端末、例えば携帯端末を使用する方法に関する。キャプチャの確率は、センサによって与えられる応答に基づいて計算される。
【背景技術】
【０００３】
デジタル画像分析、処理、圧縮、及び解凍手段は、携帯端末を使用して、キャプチャ、受信及び送信される画像のクオリティを調節又は増強する際の重要な特徴である。携帯端末イメージングにおいて、「画像チェーン」は主に、例えば画像キャプチャから始まり、そして画像を表示するための画像解凍までに亘る、画像又は画像シーケンス内の画素上で実施される操作を主として含み、その結果、人々は携帯端末スクリーン上で正しく画像を見ることができる。この携帯端末は例えば、携帯電話機、又は「フォーンカム」としばしば呼ばれるカメラ付き携帯電話機である。これは、画像又は画像シーケンスをキャプチャするために使用することができ、その後、この画像又は画像シーケンスに、次いで種々の画素処理プロセスを施すことができることを意味する。ＣＣＤセンサを備えたフォーンカムを使用してキャプチャされたカラー画像の処理は、例えば、原色成分、すなわち赤、緑及び青を考慮に入れて、キャプチャされた画像内の各画素を処理するために、アルゴリズムを使用して行うＣＦＡ（カラーフィルタ・アレイ）補間にある。画像は、コンピュータ用語で軽くするために圧縮することができる。画像の重さはメガバイト又はギガバイトで表される。圧縮ルーティンの実行は例えば、標準化された圧縮手順であるＪＰＥＧ圧縮であってよい。次いで画像は、これを例えばフォーンカムのスクリーン上で正しく見るために、また場合によっては、画像データと関連付けられた音声データを聴くために圧縮ファイルが開かれると解凍される。携帯端末イメージングにおいて、上記動作全ては日常的な画像チェーン動作である。
【０００４】
画素データ上で実施される画像チェーン動作中に実施されるこれらの操作に加えて、携帯端末は、画像キャプチャと関連付けられた所定の範囲の種々異なるコンテクストデータを捕捉して処理するように構成されたデータセンサを備えることもできる。この携帯端末は、例えば、端末の地理的位置を計測するために、ＧＰＳモジュールを備えたフォーンカムであってよく、この地理的位置は、例えば画像がキャプチャされた場所を特徴付けるコンテクストデータである。このコンテクストデータはしばしば画像メタデータのうちの１つとして使用される。
【０００５】
しかしながら、これらのコンテクストデータは、単純なメタデータとして画像と関連付けられているにすぎず、このことは、画像シーケンスをキャプチャするプロセス、又はより具体的に言えば、例えば携帯端末のスクリーン上で同時に見られる表示されたシーケンスの画像をキャプチャするプロセスを、積極的に改善する役割を果たさないことを意味する。
【０００６】
さらに、携帯又はポータブル端末、例えばカメラ付き携帯電話機又はフォーンカムは一般に比較的コンパクトなので、結果として、制限されたエネルギー及びメモリ容量しか有さない。エネルギー容量は、携帯端末が一般にそれ自体のエネルギーを担持しなければならず、これは低容量バッテリーを備えることを意味するので、制限されたままである。
【０００７】
関連データ、例えば撮影場所、ショット内に登場する人物、又は写真のシーン内で行われる行為を抽出するために、デジタルカメラ装置によってキャプチャされた画像上で効率的に働くプロセスは、追加のデータ、例えばメタデータ又はコンテクストデータにアクセスすることにより、より容易に行うことができる。このデータは、画像の意味内容に関する重要な情報を計算又は直接的に抽出することを可能にする。
【０００８】
コンテクストをキャプチャする最良の方法は、画像キャプチャの前後両方のコンテクストを連続的にモニタリングすることである。すなわちこうすれば、画像キャプチャと関連付けられたコンテクストデータ量は、「画像チェーン」において重要な事象が後でなくならないことを保証することになる。これは、同じシーンを追跡して分析するために多数のセンサ（視覚、赤外線、音声など）が環境内に一体に組み込まれた、セキュリティ産業で使用される電子監視システムの背後にある基本原理である。しかしながら、このような種類のアプローチは、これを携帯端末内に一体に組み込まなければならないとしたら、端末のエネルギー消費量、並びに前記端末の記憶容量及び処理容量に起因して実行できなくなってしまう。より重要なことを述べるなら、画像キャプチャ携帯端末、例えばフォーンカム又はデジタルカメラは、「画像チェーン」におけるただ１つの構成要素であり、従って、チェーン内のリンク毎の通信チャネル（視覚的表示、記憶、プリントアウト）において処理されるべきデータフローが結果として増大することにより、性能の理由から、またキャプチャ携帯端末の使用しやすさの観点から、この種の連続コンテクストデータ獲得プロセスを採用するのは非現実的になる。
【０００９】
従って、処理されるべきコンテクストデータの量を低減すると同時に、前記データの効率的な活用を可能にするための高レベルのクオリティを維持することが必要である。
【００１０】
従って、撮影可能な携帯端末に固有の制限を考えて、例えば画像センサ及びコンテクストデータセンサを備えたフォーンカム又は携帯電話機を使用して画像キャプチャ及びレンダリングを最適化することが最優先で必要である。１つの解決手段は、画像キャプチャと関連付けられたコンテクストデータから来た情報を活用することにある。これらのコンテクストデータから始めて、この解決手段により、例えば特異的に調整された画素解像度を有する１画像のキャプチャをトリガすることによって、良い条件で画像をキャプチャするためにコンテクストデータをインタープリートすることになる。
【００１１】
コンテクストデータは、携帯端末イメージング環境において漸進的に又は急速に変化する場合のあるコンテクストを考慮に入れるのと同時に、画像キャプチャ携帯端末の比較的小規模のメモリ容量及びエネルギー容量に適合させることによって、画像又は画像シーケンスのキャプチャの管理を最適化するために使用されることが意図される。従って、コンテクストデータを、早くから、例えばフォーンカムのディスプレイを使用して行われる視覚化段階中に、すなわち画像がキャプチャされる前に、捕捉されてインタープリートされることができる。
【００１２】
コンテクストデータの提供から画像キャプチャを最適化は、画像キャプチャ可能な携帯プラットフォーム又は携帯端末に固有の電力、並びに計算容量及びメモリ容量に関する種々異なる問題を解決しなければならない。数多くの種々の問題、すなわち画像キャプチャに関連付けられたコンテクストデータの管理、つまり経時的にキャプチャされたコンテクストデータ及び画像データのクオリティ及びサンプリング・プロセス；画像キャプチャ手段、及びキャプチャされた画像と関連付けられたコンテクストデータ上で使用される処理手段；画像データ及び関連するコンテクストデータの保存及び記憶；画像及びコンテクストデータを同時にキャプチャすることができる携帯端末の容量の制約を考えた、コンテクストデータを処理する手段の問題がある。
【発明の概要】
【課題を解決するための手段】
【００１３】
本発明は、画像キャプチャの確率を、これらの画像と関連付けられたコンテクストデータに従って自動的に決定するために、端末、例えばフォーンカムを使用する方法に関する。画像データ及びコンテクストデータの両方は、端末でキャプチャされる。キャプチャ・パラメータは、端末の制限されたメモリ容量及びエネルギー容量の問題を軽減するために、画像キャプチャを含む時間間隔にわたって適合される。端末のＣＰＵ（中央演算処理装置）は、デジタルデータ転送管理操作及び計算操作を実施する。これらの動作を実施するのにつれて、ＣＰＵはますます多くのエネルギーを消費し、その結果、キャプチャしなければならないデータの量が大きければ大きいほど、端末のバッテリーをより速く放電する。例えば、端末のスクリーン又は画像センサが活性化されるとすぐに、又は画像キャプチャをリリースするボタンが押されるとすぐに、ＣＰＵはエネルギーを消費する。
【００１４】
画像デジタルデータ・キャプチャ・パラメータを適合させることにより、例えばビデオ・フラックス、すなわち画像シーケンスを連続的に、そして単一の画素解像度を有する状態で記録せずに済む。デジタル・データ・レンダリング・パラメータを適合させる別の例は、単に、端末が特定の位置、例えば水平又は鉛直にセットされた瞬間から、キャプチャ直前まで、キャプチャ端末のスクリーン上のビデオ・フラックスの表示をトリガすることにある。
【００１５】
本発明の具体的な目的は、第１画像データセンサと少なくとも１つのコンテクストデータセンサ（又は「コンテクストセンサ」）とを含む端末、例えば携帯端末又はポータブル端末を用いて、画像又は画像シーケンスを所定の時間間隔内にキャプチャする少なくとも１つの確率を自動的に決定する方法であって、キャプチャの確率（又は「キャプチャ確率」）は、活性化された画像データセンサ及び／又はコンテクストデータセンサによって提供される少なくとも１つの応答に基づいて計算される、端末を使用する方法を提供することである。キャプチャ確率は、活性化されたコンテクストデータセンサ又は画像データセンサのうちの少なくとも１つによって提供された応答が、前記センサの出力信号の予め決められた値、好ましくは数値を上回る又は超過する際に従うシーケンスに従って計算される。キャプチャ確率は、キャプチャされたコンテクストデータの量を、携帯端末のエネルギー及び処理及び記憶の厳しい制約に合わせて調節すると同時に、キャプチャされたデータの最適なクオリティを保証するために用いることができる。シーケンスは、携帯端末内に含まれる各センサに対してそれぞれ予め決められた値を上回る超過が生じた順序を特徴付ける系列又は順序立てた配列を表す。キャプチャ確率は一般に、０（ゼロ）〜１の実数によって表される。
【００１６】
本発明の最適化された態様によれば、キャプチャ確率の計算、及び予め決められた値は有利には、センサ応答及びキャプチャ時点の履歴に関連するデータ集合に従って自動的に修正することができる。
【００１７】
本発明の目的は、画像データセンサ及び／又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ確率に従って決定されるキャプチャクオリティ及び捕捉周波数を有することである。本発明の第１の好ましい態様の場合、画像データセンサ及び／又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ実時点前に、キャプチャ確率とともに増大するキャプチャクオリティ及び捕捉周波数を有する。
【００１８】
本発明の第２の好ましい態様の場合、画像データセンサ及び／又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャ実時点前に、キャプチャ確率を最大化する時間間隔が、キャプチャ確率計算が行われた瞬間に接近するのにともなって増大するキャプチャクオリティ及び捕捉周波数を有する。
【００１９】
本発明の第３の好ましい態様は、キャプチャ実時点前に、キャプチャクオリティ及び捕捉周波数の両方を一緒にキャプチャ確率とともに増大させるように、そして、キャプチャ確率を最大化する時間間隔が、キャプチャ確率計算が行われた瞬間に接近するのにともなって、キャプチャクオリティ及び捕捉周波数の両方を一緒に増大させるように、上記両好ましい態様を有利に組み合わせることができる。
【００２０】
上記態様のそれぞれに対する本発明の別の目的は、画像データセンサ及び／又はコンテクストデータセンサによってキャプチャされたデータが、キャプチャが行われた瞬間後に減少するデータ・キャプチャクオリティ及び捕捉周波数を有することである。
【００２１】
データ・キャプチャクオリティは、例えば有利には、長さ単位当たりの画素密度によって表される、キャプチャされた画像の画素解像度値であるか、又は１秒当たりキャプチャされた画像の数の値であるか、又は実施されたサンプリングのためのカットオフ周波数又は電力カット周波数を表す値である。
【００２２】
コンテクストデータセンサによってキャプチャされたデータは、センサが活性化されたときに求められた物理的測定値である。この物理的測定は有利には、センサが活性化されている間コンスタントに操作される。
【００２３】
コンテクストデータセンサは、端末上に取り付けられるか又は配置される、すなわち端末の内部に一体に組み込まれ又は組み入れられるか、或いは、端末ケーシングに固定される。各コンテクストデータセンサは、そのセンサに対して特異的なコンテクストデータをキャプチャするのを可能にする。
【００２４】
コンテクストデータセンサは例えば、端末上に配置された傾斜センサである。本発明の具体的な態様によれば、傾斜センサによって発せられた信号の予め決められた値の超過は、端末の水平位置又は鉛直位置の測定値に相当する。
【００２５】
コンテクストデータセンサは例えば、端末に伝達された運動を測定するために、端末上に配置された加速度センサのような加速度計である。本発明の具体的な態様によれば、加速度センサによって発せられた信号の予め決められた値の超過は、端末の測定されたゼロ又は無加速に相当する。
【００２６】
コンテクストデータセンサは例えば、端末に対して特異的な画像キャプチャ・リリースボタンと協働する圧力センサである。本発明の具体的な態様によれば、圧力センサによって発せられた信号の予め決められた値の超過は、画像キャプチャ・リリースボタン上を加えられた非ゼロ圧力に相当する。
【００２７】
コンテクストデータセンサは例えば、端末上に取り付けられた音声センサ、例えばマイクロフォンである。本発明の具体的な態様によれば、音声センサによって発せられた信号の予め決められた値の超過は、端末外部の音源によって発せられたデシベル値に相当する。音源は例えば、ＣＤ（コンパクト・ディスク）リーダーに接続され、そしてＣＤ上に記録された音楽を生成するために端末環境内に設けられた１つ又はいくつかのラウドスピーカーである。従って、こうして生成された音楽は、音声センサによってキャプチャされることができる。
【００２８】
本発明の具体的な態様によれば、信号の予め決められた値の超過は、特定の音声、例えば笑い声、指又は手を鳴らす音の認識に相当することが可能である。具体的な音声は、事象、例えば画像キャプチャの接近を携帯機器、例えばフォーンカムに警告するために限定的に発せられる。限定的に発せられる特定の音声は、画像キャプチャ中に音声環境に加えるだけでもよい。特定の音声の認識は、識別のために割り当てられた音声に相当する音声を代表する統計系列を予め学習することによって達成することができる。
【００２９】
コンテクストデータセンサは例えば、端末上に取り付けられた温度センサである。本発明の具体的な態様によれば、端末はフォーンカムであり、そして温度センサは、画像キャプチャ・リリースボタン内に組み入れられる。このような配列は、前記ユーザが撮影しようとする又は撮影の準備ができた時点で、フォーンカムユーザの体温を測定するのを可能にする。温度は撮影者のストレス・レベルと相関し、ひいては撮影者が撮影前に集中していることを示すので、温度は例えば、撮影しようとしている、又は撮影の準備ができている、又は撮影が差し迫っているという事実を示すことができる。本発明の具体的な態様によれば、温度センサによって発せられた信号の予め決められた値の超過は、撮影リリースボタン上に指を置いた人物において求められた温度測定値に相当する。
【００３０】
コンテクストデータセンサは、例えば、端末の把持中に当該抵抗センサに触れた人物の感情状態を測定するための、端末上に配置された抵抗センサである。
【００３１】
本発明のより緻密な態様の場合、コンテクストデータセンサは、センサの動作フィールド内に存在する人物又は物体を検出するための、端末上に配置されたＲＦＩＤ（高周波識別）型センサである。数人、例えば２人又は３人が検出される場合、これは、端末が撮影するために使用されようとしている（撮影が差し迫っている）ことを示すことができる。この事例では、高周波数センサによって発せられた信号の予め決められた値の超過は、ＲＦＩＤセンサの動作フィールド内において多数の人々、例えば２人を検出したことに相当する。同様に、例えば、いくつかの標的物体がＲＦＩＤ又はＮＦＣ（近距離無線通信）タグ（マイクロチップ）を介して検出された場合には、これは、該当する潜在的シーンがあり、従って画像キャプチャの可能性があることを示すことになる。
【００３２】
本発明のより緻密なこの態様の変更形において、コンテクストデータセンサは、好ましくは端末の背面上に取り付けられた第２画像データセンサである。第２画像センサは、端末内に組み込まれた検出手段と協働し、そして第１画像センサのフィールドの外側に存在する複数の人間の顔、及び／又はこれらの検出された人物の個々の顔に固有の情報を検出するのを可能にする。顔に固有の情報は、感情状態、又は顔の位置、例えば水平位置、又は端末に対する顔の運動速度である。
【００３３】
本発明のよりコンベンショナルな態様の場合、コンテクストデータセンサは例えば、空間内の端末の位置を測定するための、端末上に配置された地理的位置特定センサ、例えばＧＰＳセンサであってもよい。ＧＰＳセンサによって発せられる信号の予め決められた値の超過は、空間内の端末の位置を与える緯度及び経度の座標の測定値に相当する。緯度及び経度の座標は、例えば観光地又は名所旧跡、例えばレユニヨン島のPiton de La Fournaiseの座標である。
【００３４】
本発明の別の目的は、画像又は画像シーケンスをキャプチャするために使用される端末の特定の画像キャプチャ・モードを考慮に入れることにより、画像又は画像シーケンスをキャプチャする確率を決定することである。端末は有利には、ＣＣＤ又はＣＭＯＳ画像センサ及びディスプレイ・スクリーンを含むフォーンカム又はデジタルカメラ付き電話機である。画像又は画像シーケンス又はビデオがキャプチャされたときにキャプチャされたデータは、好ましくは、デジタルカメラ付き電話機のスクリーン上に表示される。本発明のこの態様によれば、デジタルカメラ付き電話機は、画像キャプチャ・モードを選択することができる。端末、例えばフォーンカムは、画像キャプチャ・モード、例えばポートレート・モード、又は風景モード、又はパノラマ・モード、又はスポーツ・モードを選択するための手段を備えている。コンテクストデータセンサによって発せられた、超過を定義する信号の値は、予め設定されるか、又は、該選択又はプログラミングされた画像キャプチャ・モードに従って計算される。
【００３５】
本発明の他の特性及び利点は、種々の図面を参照しながら、下記の説明を読めば明らかになる。
【図面の簡単な説明】
【００３６】
【図１】図１は、本発明による方法を実施するために使用されるデータ・キャプチャ手段を備えた携帯端末の一例を示す。
【図２】図２は、本発明による方法の実施の一例を示すダイアグラムである。
【図３】図３は、図２に示された例を実施するために使用されるコンテクストセンサの特別なネットワークを示す図である。
【発明を実施するための形態】
【００３７】
本発明の主な態様を、図面を参照しながら以下に詳細に説明する。図面において、同じ参照番号は、異なる図面のそれぞれにおける同じ要素を示す。
【００３８】
図１は、画像キャプチャ手段と、画像キャプチャと関連付けられたコンテクストデータをキャプチャする手段とを含む端末１を示している。端末１は、キーパッド１４とディスプレイ・スクリーン１１とを含む携帯端末、例えばデジタルカメラ付き電話機である。画像キャプチャ手段は、例えば１つ又はいくつかのＣＣＤ又はＣＭＯＳ画像センサである。第１画像センサ２Ａは、例えば端末１の前面に配置されている。前記前面はディスプレイ・スクリーン１１を含む。反対側、すなわち端末１の背面には、第２画像センサ２Ｂが配置されている。第２画像センサ２Ｂは、例えば端末１内に一体に組み込まれた検出手段（図示せず）と協働する。検出手段は、例えば、第１画像センサ２Ａのフィールドの外側に存在する複数の人間の顔、及び／又は検出された人物の個々の顔に固有の情報を検出するように意図されている。顔に固有の情報は有利には、感情状態、又は顔の位置、例えば水平位置、又は端末１に対する顔の運動速度である。
【００３９】
画像又は画像シーケンス、例えばビデオがキャプチャされたときにキャプチャされたデータは、デジタルカメラ付き電話機１のディスプレイ１１上に表示することができる。
【００４０】
コンテクストデータ・キャプチャ手段は、例えば：空間内の位置を測定するために端末上に配置された傾斜センサ３；端末に伝達された運動を測定するために端末上に配置された加速度センサ４、例えば加速度計；端末の画像キャプチャ・リリースボタン１２と協働することができる圧力センサ５；端末１上に取り付けられた音声センサ６、例えばマイクロフォン；端末１上に配置された温度センサ７；端末１の把持中に抵抗センサ８に触れた人物の感情状態を測定するための、端末１上に配置された抵抗センサ８；センサ９の動作フィールド内における物体又は人物の不変の又は一時的な存在を検出するための、端末１上に配置された高周波数センサ９、例えばＲＦＩＤセンサ（物体は例えば、これを識別できるようにカメラに接近させることができる）；空間内の端末１の位置を測定するための、端末１上に配置された地理的位置特定センサ１０、例えばＧＰＳセンサである。
【００４１】
本発明の好ましい態様において、温度センサ７は画像キャプチャ・リリースボタン内に組み入れられる。温度センサ７をこのように配列することにより、撮影リリースボタン１２上に指を置いた人物の体温を測定することが可能になる。
【００４２】
本発明の有利な態様において、コンテクストデータは、携帯端末１内に挿入されたメモリ・カード、例えばフラッシュＳＤ（セキュア・デジタル）又はマイクロＳＤカード内にキャプチャされ保存される。
【００４３】
キャプチャされた画像又は画像シーケンスのキャプチャ・パラメータがキャプチャ確率値に従って決定されるため、コンテクストデータは画像キャプチャと関連付けられたものとして記述される。キャプチャのクオリティを支配する画像又は画像シーケンスのキャプチャ・パラメータは、例えば、有利には画像の画素解像度値（すなわち１ミリメートル当たりの画素数）又は１秒当たりキャプチャされた画像の数であることが可能である。
【００４４】
キャプチャ確率値は、０（ゼロ）〜１の実数によって表される。
【００４５】
画像又は画像シーケンスのキャプチャが所定の時間間隔内に行われるであろう確率は、活性化された画像データセンサ及び／又はコンテクストデータセンサのうちの１つによって提供される少なくとも１つの応答に基づいて計算される。キャプチャ確率は、活性化された画像データセンサ又はコンテクストデータセンサのうちの少なくとも１つによって提供された応答が、前記センサからの出力信号の予め決められた値を超過する際に従うシーケンスに従って計算される。センサの出力信号のこのような予め決められた値は好ましくは数値である。
【００４６】
本発明の好ましい態様によれば、予め決められた値、及びキャプチャ確率の計算は、センサ応答及びキャプチャ時点の履歴に関連するデータ集合に従って自動的に修正される。センサ応答及びキャプチャ時点の履歴は、例えば、端末１からアクセスすることができるデータベース内に記録される。
【００４７】
画像センサ２Ａ及び２Ｂの主要な技術機能は、デジタル画像又は画像シーケンス、例えばビデオを生成するために画像データをキャプチャすることであり、この画像データに対して、コンテクストデータとしても知られるコンテクストデータが関連付けられる。
【００４８】
コンテクストセンサ又はコンテクストデータセンサは、本発明による方法の実施に関連する画像センサと一緒に、コンテクストデータセンサ（又はコンテクストセンサ）として使用することができる。この場合、これらの主要な技術機能は、画像又は画像シーケンスと関連付けられたコンテクストデータを生成することである。
【００４９】
画像センサ又はコンテクストデータセンサは、キャプチャ近接センサとして採用することもできる。このシナリオにおいて、これらの主要な技術機能は、１つ又は２つ以上のコンテクストセンサの実施を支配する事象をトリガすることである。
【００５０】
画像センサは、コンテクストセンサ又はキャプチャ近接センサとして働くこともできる。コンテクストセンサは例えば画像センサであってよく、或いは独立して又は同時にキャプチャ近接センサとして働くこともできる。同様に、キャプチャ近接センサは活性化し、独立して又は同時に、画像センサ・モードで且つ／又はコンテクストセンサとして動作することができる。従って、端末１の特定のセンサは、経時的に互いに交換可能な機能を有している。
【００５１】
画像又はビデオ画像シーケンスがキャプチャされた時点におけるコンテクスト情報で画像又はビデオ画像シーケンスを増強することを目的として、本発明による方法を実施するために採用することができるセンサは、好ましくは、画像センサ２Ａ、音声センサ６、圧力センサ５、加速度センサ４、傾斜又は方位センサ３、温度センサ７、速度又は加速度センサ４、地理的位置特定又は地理位置センサ１０、及びＲＦＩＤ又はＮＦＣ高周波数センサである。
【００５２】
１つ又はいくつかのキャプチャ近接センサからの応答から測定される事象トリガ基準（ＣＤＥ）と呼ばれる特性が、活性化閾値として知られる特定の閾値を超過する瞬間は、キャプチャ予測事象（ＥＰＳ）と呼ばれる。この閾値は、撮影が例えば数秒に差し迫っているという想定を示す前記特性のレベルを表す。撮影が推定されるときにはキャプチャ予測事象が検出される。差し迫ったキャプチャのこのような予測は、例えばデジタル画像キャプチャすることができる端末のユーザの代表的集団から推定された発見的規則に基づいて達成される。
【００５３】
当該瞬間から後の時間では画像センサは、撮影のためにプログラミングされて使用されるのであって、単にキャプチャ予測事象又はコンテクストキャプチャを探索するために使用されるのではない、そのような瞬間は、キャプチャ・ポイントＰＤＳと呼ばれる。
【００５４】
キャプチャ・セッションは、画像センサが活性化される瞬間と、これが不活化される瞬間との間の時間間隔である。不活化は、自発的、すなわち例えば端末１のキーパッド１４上のキーによってトリガされてよい。不活化は、自動的に行われるようにプログラミングされていてもよい。
【００５５】
キャプチャ近接センサのそれぞれからの応答から測定することにより、少なくとも１つのキャプチャ予測事象ＥＰＳに続いて、所定の時間間隔［ｔ，ｔ＋Ｄ］における少なくとも１つのキャプチャ確率Ｐ（ｔ，Ｄ）が計算される。例えば、キャプチャ予測事象のそれぞれの組み合わせ毎に、関連付けられた確率密度Ｐ（．，Ｄ）が表にされる。確率密度は有利には、デジタル画像キャプチャすることができる端末のユーザの代表的集団から推定することができる。
【００５６】
これらのキャプチャ確率から、キャプチャ確率指数ＩＰＳが計算される。このキャプチャ確率指数ＩＰＳは、キャプチャ予測事象に相当する時間間隔中の少なくとも１つの画像のキャプチャ確率値である値を求めることができる。例えば、キャプチャ確率指数ＩＰＳは、下記比で表すことができる：
【００５７】
IPS=P(tEPS, + ∞)/(1 + argmax (P(tEPS + t,0)))      等式１。
【００５８】
この等式１において、除数の「argmax (P(tEPS + t,0))」部分は、キャプチャ確率が最大である瞬間であり、従ってこれは、キャプチャ予測事象ＥＰＳに対する想定キャプチャ・ポイントＰＤＳである。
【００５９】
予測キャプチャ事象を検出するように連携してトリガされ使用されるコンテクストデータセンサから成る特定の集合は、特別コンテクストセンサ・ネットワークＲＰＣＣを構成する。
【００６０】
妨害事象又は予測キャプチャ事象妨害という名称は、P(tEPS + t,0)が特定の閾値を下回る瞬間、例えばセンサ信号の値が特定の閾値を下回る瞬間を記述するために使用される。
【００６１】
コンテクストキャプチャ・ウィンドウＰＳＣは、ＥＰＳと妨害との間の時間間隔に与えられる名称である。
【００６２】
同じキャプチャ・セッション中に、一連の予測キャプチャ事象及び妨害が発生することがある。従って、いくつかのコンテクストキャプチャ・ウィンドウが一次的に共存する場合がある。それゆえ、コンテクストキャプチャ・ウィンドウＰＳＣと関連付けられたそれぞれ個々のＩＰＳiから、グローバル・キャプチャ確率指数ＩＰＳが計算される。例えば：
【００６３】
グローバルIPS = 最大(IPSi)      等式２。
【００６４】
各コンテクストキャプチャ・ウィンドウは、特別コンテクストセンサ・ネットワークＲＰＣＣの実行によって特徴付けられ、このＰＲＣＣにおいて、各センサは、所与のキャプチャクオリティ及び所与の捕捉周波数における信号を捕捉するために調節されなければならない。
【００６５】
コンテクストセンサは、２つの態様に従ってパラメータ化することができる。すなわち、コンテクストキャプチャ・ウィンドウが形成されたときに一度限り、各ウィンドウ毎にＩＰＳからパラメータ化するか、或いは、パラメータ化は、他の開いたコンテクストキャプチャ・ウィンドウに応じて、そしてこれらのウィンドウに合わせて調節して、グローバルＩＰＳから行われる。
【００６６】
図２は、本発明による方法の実施の一例を示すダイヤグラムである。キャプチャ・ポイントＰＤＳは、例えば、その瞬間から画像センサ２Ａが１つ又はいくつかの画像をキャプチャするために使用される推定の瞬間である。４つのキャプチャ予測事象、すなわちＥＰＳ1；ＥＰＳ2；ＥＰＳ3；ＥＰＳ4が示されている。これらの４つの対応コンテクストキャプチャ・ウィンドウはそれぞれＰＳＣ1；ＰＳＣ2；ＰＳＣ3；ＰＳＣ4である。
【００６７】
図３は例えば、図２に提示された例を実施するために使用される最初の２つの特別コンテクストセンサ・ネットワークＲＰＣＣ1及びＲＰＣＣ2を示している。これらの２つの特別コンテクストセンサ・ネットワークＲＰＣＣ1及びＲＰＣＣ2は、それぞれ対応コンテクストキャプチャ・ウィンドウＰＳＣ1及びＰＳＣ2に対応する。ＰＳＣ1と関連付けられたＲＰＣＣ1が活性化されると、これは、３つのコンテクストセンサＣＣ1、ＣＣ2及びＣＣ3がパラメータ化されることを必要とする。ＰＳＣ2と関連付けられたＲＰＣＣ2が活性化されると、これは、３つのコンテクストセンサＣＣ3、ＣＣ4及びＣＣ5がパラメータ化されることを必要とする。
【００６８】
ＥＰＳ1は、例えば撮影が差し迫っているという想定を表す瞬間である。対応するコンテクストデータ・キャプチャクオリティは、対応する捕捉周波数と同様に低くなる傾向がある。ＥＰＳ2は、当該瞬間からＲＰＣＣ2が活性化され、そしてコンテクストセンサＣＣ3、ＣＣ4及びＣＣ5がパラメータ化される瞬間である。ＥＰＳ2の直前には、最後の２つのセンサＣＣ4及びＣＣ5は、まだ活性化されないか、又は単に、「待機中」として定められたモード又はステータスにある。この最後の「待機」モードでは、センサＣＣ4及びＣＣ5によって極めて低いコンテクストデータ・キャプチャしかもたらすことができない。
【００６９】
コンテクストセンサＣＣ3、ＣＣ4及びＣＣ5は、コンテクストキャプチャ・ウィンドウＰＳＣ2と関連付けられた規則に従ってパラメータ化される。特別コンテクストセンサ・ネットワークＲＰＣＣ1及びＲＰＣＣ2の両方に共通のコンテクストセンサＣＣ3を、関連する本発明の態様に応じて種々異なる形でパラメータ化することができる。例えばキャプチャ予測事象ＥＰＳ2が推定キャプチャ・ポイントＰＤＳにより近いので、より良好なキャプチャクオリティ及び捕捉周波数を選択することができる。この事例において、センサＣＣ3の捕捉周波数Ｆａ（ＣＣ3）のパラメータ化選択肢は、例えば：
【００７０】
Fa(CC3) = 最大[EPS1のFa(CC3), EPS2のFa(CC3)]    等式３。
となる。
【００７１】
同様に、コンテクストセンサＣＣ3によって生成されたコンテクストデータのキャプチャクオリティＱｃは、例えば：
【００７２】
Qc(CC3) = 最大[EPS1のQc(CC3), EPS2のQc(CC3)]    等式４。
となる。
【００７３】
図２によれば、図示のような水平方向軸は、時間軸を厳密に表しているわけではない。実際には、キャプチャ予測事象ＥＰＳ1は、事象ＥＰＳ2の前に必ずしもトリガされるわけではない。しかし、事象ＥＰＳ1は：
【００７４】
argmax (P(tEPS1 + t,0))＞argmax (P(tEPS2 + t,0))    等式５
の意味において、推定キャプチャ・ポイントＰＤＳから大きく離れる。
【００７５】
事象トリガ基準ＣＤＥはキャプチャ近接センサによって発せられた信号から、センサの応答が活性化閾値と呼ばれる特定の閾値を上回る又は超過すると、直接的に計算される。活性化閾値は、前記センサの出力信号の予め決められた値、好ましくは数値に相当する。事象トリガ基準ＣＤＥは、時間フィルタリングを施した後、センサによって与えられた信号から直接的に推定される。時間フィルタリングは、測定データを平滑にし、また余り重要でない局所的変化、及び端末１のユーザの代表的でない、例えばリアルタイム挙動、又は端末１を取り囲む撮影環境のリアルタイム変化に対する感度を低減するのを可能にする。
【００７６】
図１によれば、キャプチャ近接センサが例えば傾斜センサ３である場合、このセンサは、例えば端末の水平位置又は鉛直位置に対する、所与の瞬間（ｔ）における端末１の傾斜の測定値（ｉｎｃt）を提供する。傾斜測定値は例えば、ローパス・フィルタを使用したリアルタイム・フィルタリング（ｉｎｃ’t）を施され、このプロセスは、測定値と閾値に対する比較試験との間に僅かな（１０分の数秒の）ラグを伴うことがある。例えば、端末１の水平位置は、持続的アクション（数秒持続する）、ひいてはインタープリート可能なアクションになるものとして検出されると、キャプチャ予測事象ＥＰＳがトリガされる。この例において、事象トリガ基準ＣＤＥは、局部的水平位置閾値Ｓhに対する、時間間隔Ｔにわたる、フィルタリングされた２値化傾斜測定値（bin inct）の蓄積（accumT inct)として定義される。このことは、局部的水平位置閾値を下回る場合、フィルタリングされた２値化傾斜測定値はゼロ（０）に等しくなることを意味する。このことは、局部的水平位置閾値以上である場合、フィルタリングされた２値化傾斜測定値は１に等しくなることを意味する。この事例において、我々は：
【００７７】
inc't ≧ Shならば  bin inct = 1      等式６
inc't <  Shならば  bin inct = 0      等式７
と記録することができる。
【００７８】
対応事象トリガ基準（ＥＰＳ）は、従って：
【００７９】
【数１】
2014116947.tif 000003
【００８０】
である。
【００８１】
関連付けられたキャプチャ予測事象（ＥＰＳ）は、時間間隔Ｔ中に得られるaccumT inct値が閾値Ｔhよりも大きくなるとトリガされる。この閾値Ｔhは、例えば、局部的水平位置Ｓhの代表サンプルの連続的な蓄積として定義され、そのあとでは、端末のインタープリート可能な挙動を記述するという仮説が立てられる。
【００８２】
図１に従って、キャプチャ近接センサが例えば加速度センサ４である場合、このセンサは、所与の瞬間（ｔ）における端末１へ伝達される加速度の測定値（ａｃｃt）を提供する。この加速度は、例えば、端末ユーザが撮影前に準備ステップを実施するときに端末１に与える運動に相当する。
【００８３】
本発明の改善された態様の場合、端末１は、いくつかの加速度計４を含むこともでき、各加速時計は、所与の方向に従って測定された加速度測定値を提供する。加速度測定方向の数は、空間中の３つの主次元における加速を考慮して、３つの方向であることが有利である。加速度測定値は例えば、ローパス・フィルタを使用したリアルタイム・フィルタリング（ａｃｃ’t）を施され、このプロセスは、測定値と閾値に対する比較試験との間に僅かな（１０分の数秒の）ラグを伴うことがある。キャプチャ端末１の加速度がこれらの方向のうちの１つにおいて検出されると、撮影しようと意図するシーンの画像のキャプチャの、端末１のユーザの準備がまだできていないと考えられ、また、実際に、ユーザが例えば、シーンのどの部分が最も興味深いかを識別する過程にあると考えられる。従って、加速度値が時間間隔Ｔにわたって、そして考えられる方向とは無関係に、閾値（予め決められた値）を連続して下回ると、キャプチャ予測事象をトリガすることができる。この例では、事象トリガ基準ＣＤＥは、局部的加速度閾値（Ｓａi）に対する、時間間隔Ｔにわたる、フィルタリングされた２値化加速度測定値（bin acct）の蓄積（accumT acct)として定義される。この事例において、我々は：
【００８４】
【数２】
2014116947.tif 000004
【００８５】
と記録することができる。
【００８６】
等式９及び１０の指数ｉは、３つの加速方向のうちの１つを表し、すなわち、加速度値は、３つの方向に関して、閾値Ｓａiを下回らなければならないので、記述子bin acciは、「１」の値に設定される。対応事象トリガ基準ＣＤＥは従って：
【００８７】
【数３】
2014116947.tif 000005
【００８８】
である。
【００８９】
関連付けられたキャプチャ予測事象（ＥＰＳ）は、時間間隔Ｔ中に得られるaccumT acct値が局部加速度閾値Ｔaよりも大きくなるとトリガされる。この閾値Ｔaは、例えば、局部的加速度Ｔaが不在の代表サンプルの連続的な蓄積として定義され、そのあとでは、端末のインタープリート可能な挙動を記述するという仮説が立てられる。
【００９０】
記載の本発明の態様は、端末１のユーザが、並進運動を受容する基準系、例えば端末１のユーザが着席している自動車又は列車内で写真又はビデオをキャプチャするシナリオと適合可能である。
【００９１】
図１によれば、近接センサが例えば画像センサ２Ａである場合、このセンサは例えば、時点ｔにおけるフレーム（ｉｍt）を捕捉する。キャプチャ近接センサは、２つの画像センサ２Ａ及び２Ｂから成っていてもよく、この場合、これらのセンサのそれぞれは、例えば、所与の方向における画像をキャプチャする。
【００９２】
カメラ端末１は有利には、３Ｇ（第３世代）携帯電話機と呼ばれる携帯電話機であり、この携帯電話機は、電話機の一方の側（正面）に１つのカメラを、そして反対側（背面）に別のカメラを備えているという特徴を提供する。
【００９３】
本発明の別の態様によれば、カメラ端末１は、同じ方向に沿ってフォーカシングするがしかし異なる焦点距離及び／又は異なるアパーチャを有する、又は異なる周波数帯域において異なる感度を有する２つのレンズを備えている。この例において、キャプチャ近接センサはまた潜在的にコンテクストデータセンサであると同時に、画像センサでもある。
【００９４】
従って、画像センサ２Ａ，２Ｂの状態、すなわち、キャプチャ近接センサ・モード；コンテクストデータセンサ（又はコンテクストセンサ）モード；画像キャプチャ・モードに応じて、経時的に行われるキャプチャを調和させるためのサンプリング規則を確立することが必要である。
【００９５】
下記の本発明の特定の態様の場合、端末１は、ネガティブＶＧＡ（Video Graphics Array)解像度：（６４０×４８０）画素を有する光センサ（又は画像センサ）を含む。この光学センサは、キャプチャ近接センサ・モードにあり、そして４分の１だけ空間的にサブサンプリングされた画像をキャプチャする。４分の１だけサブサンプリングされた画像の解像度は、従って（１６０×１２０）画素である。キャプチャ近接センサのこの機能モードの場合、キャプチャは例えば毎秒（１キャプチャ／秒）行われる。キャプチャ予測事象ＥＰＳが、光学センサ２Ａによって生成された視覚的内容からトリガされると仮定しよう。関連付けられた特別コンテクストセンサ・ネットワークＲＰＣＣは、コンテクストキャプチャ・モードで使用されるこの画像センサを含む。定義によれば、キャプチャ予測事象ＥＰＳは、キャプチャが差し迫っているという推定を意味するので、例えば、より高い捕捉周波数で、そしてより高いキャプチャクオリティレベルで画像を有利に生成するために、センサ２Ａをコンテクストキャプチャ・モードに設定することもできる。同じ時間間隔で、画像センサは、妨害を検出するためにキャプチャ近接センサ・モードのままにすることもできる。
【００９６】
その結果、異なるモードで同時に動作するように、所与のセンサを設定することができ、このことは、異なるクオリティ及びサンプリング・レベルで行われるキャプチャを同時に管理・制御することを暗示する。
【００９７】
例えば、画像センサ２Ａがキャプチャ接近モードにおいて、ＱＱＶＧＡ（Quarter-QVGA)で１秒フレーム当たり（１６０×１２０）画素を捕捉するならば、この同じセンサは、コンテクストキャプチャ・モードにおいて、より高い解像度、例えばＱＶＧＡ（quarter VGA）で（３２０×２４０）画素で２分の１秒又は４分の１秒毎に１画像をキャプチャすることが可能である。コンテクストキャプチャ・モードにおけるキャプチャは中間に来ることもできる。
【００９８】
コンテクストキャプチャが、キャプチャ接近モードにおけるキャプチャと同時に実施される（上記例では２又は４画像毎に）と、本発明の好ましい態様は、最高解像度画像から、目標解像度と比較するとクオリティが最適ではない誘導画像を生成するのを可能にする。画像は有利には、パラメータ化された階層コーディング技術、例えばＪＰＥＧ２０００で圧縮することができ、これにより、コード化されたデータに直接的に組み入れられた異なるクオリティレベルを使用することが可能になる。
【００９９】
画像データセンサがビデオを直接的にキャプチャすることができる例の場合、センサの適応的コード化が、センサの状態に応じて行われる。キャプチャ接近モードは、例えば少数のイントラ・コード化フレームと呼ばれるもの（すなわち、より高いクオリティを生成する隣接フレームを有する時間ベース予測がない）と、多数のインターコード化フレーム（一般にＰ（「予測」）フレーム及びＢ（「逆行」）フレーム）とを使用して、より低レベルのキャプチャクオリティにコード化された、最適ではないデータ集合を生成する。
【０１００】
全てキャプチャ近接センサ・モードに設定されたイメージング装置によって提供される２Ｄデータ（２つの空間的方向）、３Ｄデータ（３次元）、又は時空間キャプチャの場合には（２Ｄ＋ｔ）は、それらの内容の事前の分析なしには直接的に活用することはできない。
【０１０１】
撮影端末ユーザが持ち得る関心と同義の、撮影フィールド内に検出された顔の存在から、多くのタイプのＣＤＥ（事象トリガ基準）を考えることができる。表情又は挙動の認識（笑顔、しかめ面、開いた目など）を用いることもできる。端末にとって可能なスポーツ・モードを含まない撮影端末１の機能モードにおいて、撮影されるべきシーンに存在する被写体に関連する運動量が減少することが、シーン内に存在する人々が映画撮影又は写真撮影される準備をしていることを示すことになってもよい。
【０１０２】
光度分布及び比色分布の変化の分析は、撮影条件が申し分のない画像キャプチャクオリティレベルと適合可能となる瞬間を決定することができる。撮影端末の撮影パラメータを調節するための専用の画像分析構成要素が、スピード／アパーチャ比及び感度の点で安定性に達すると、キャプチャ時点が差し迫っていると考えられる。
【０１０３】
キャプチャ近接センサ・モードに設定されたイメージング装置が、例えば顔の存在を、特定の時点（ｔ）で、クローズアップで検出する事例において、少なくとも１つの顔を検出するとすぐに、結果として生じるキャプチャ予測事象ＥＰＳをトリガすることができる。顔検出は、米国特許第６，９４０，５４５号明細書に記載された方法に従って実施することができる。このキャプチャ予測事象ＥＰＳは、例えば、顔が検出された人物が言った可能性のある言葉を記憶するために、聴覚センサの活性化をトリガすることである。画像センサのステータスを変えること、及びこれをコンテクストキャプチャ・モードに、又はコンテクストデータ・キャプチャとキャプチャ接近のキャプチャとを組み合わせたモードに変えることである。
【０１０４】
図１によれば、キャプチャ近接センサが、典型的にはデジタル写真機上の撮影リリースボタン内に組み入れられた圧力センサ５である場合、撮影リリース押圧力として半分だけ押すと、キャプチャ予測事象ＥＰＳをトリガすることができる。デジタル写真機の大部分の機能モードは、ユーザがリリースボタンを半分押すとフォーカシングを始める。従って、このアクションは、画像キャプチャが差し迫っていることを極めて高い確率で決定する。
【０１０５】
極めて低い（すなわちゼロに近いキャプチャ確率値）キャプチャ確率指数ＩＰＳを生成するキャプチャ予測事象ＥＰＳは、撮影端末１を作動することである。傾斜センサ３及び加速度センサ４を活性化することにより、ＩＰＳは高くなる。傾斜及び加速度と連関するキャプチャ予測事象の同時性は、画像キャプチャのより高い推定に相当するので、一層高いグローバルＩＰＳをもたらす。
【０１０６】
視覚フロー分析から生じるキャプチャ予測事象ＥＰＳは、推定画像キャプチャのために比較的広い時間間隔を提供する。画像をキャプチャするための潜在的な関心と同義の、視野内の顔の存在、又は顔の特定の表情又は特定の挙動（笑顔、開いた目など）の認識は、抽出された情報のクオリティに応じて種々にインタープリートすることができる。画像又は画像シーケンスの分析から、画像又は画像シーケンスのための被写体検出アルゴリズム又は形状認識アルゴリズムとして知られるアルゴリズムが、例えば、８５％検出確率で画像ゾーン内に顔を検出可能にする。本発明による方法は、データ捕捉周波数及びデータ・キャプチャクオリティに重み付けするために、この確率情報を活用するのを可能にする。コンテクストキャプチャは有利には、抽出された情報の量の関数であってもよい。例えば、２人の顔だけでなく３人の顔が検出された場合、捕捉周波数はより正確である。
【０１０７】
本発明の有利な態様の場合、キャプチャ予測事象ＥＰＳを設定する方法は、他の情報、例えば撮影端末１の画像キャプチャ・モードを用いることより、より容易になる。撮影端末１上の画像キャプチャ・モードは、例えばキャプチャ・モード・ボタン１３で選択される。例えば、「顔検出」ＥＰＳ及び「開いた目及び／又は笑顔の認識」ＥＰＳ（キャプチャ予測事象）に相当するキャプチャ確率指数ＩＰＳは、選択されたキャプチャ・モードが「ポートレート」モードであるときにより高いキャプチャ確率値を有する。少量の局所的運動も、このキャプチャ・モードにおいてより重要である。他方において、「風景」モードにおいて、顔及び表情の検出の重要性は低い。「スポーツ」キャプチャ・モードにおいて、局所的運動量が高ければ高いほど、キャプチャ確率指数ＩＰＳは高くなる。
【０１０８】
仮想の画像キャプチャ接近に従って、キャプチャ予測事象ＥＰＳを設定することは可能であるが、本発明による方法は、例えば、撮影装置１が作動させられるとすぐに、リリースボタン１２を押すことを可能にする。この場合、コンテクスト抽出（コンテクストデータ・キャプチャ）が最大キャプチャクオリティですぐに実施される。同様に、ユーザは、特殊効果を得るために、撮影装置１を４５°〜直角だけ傾倒させることにより撮影することを決めることができる。このような事例の場合、この傾倒アクションに連関されたキャプチャ予測事象ＥＰＳはトリガされない。しかし、このＥＰＳと置き換わるように、他のキャプチャ予測事象ＥＰＳがトリガされる。
【０１０９】
データ捕捉周波数及びデータ・キャプチャクオリティのサンプリングは、採用されるセンサのタイプに依存する。キャプチャされたデータ並びにこれらの出力、又は前記データを表すのに使用されるスペースの定量化は全て適合されなければならない。データ定量化は例えば、多かれ少なかれ低減されたビット数で記憶することによって行うことができる。データ出力は例えば、オーディオ又はビデオ圧縮ステップ、又はより一般には損失を伴う又は伴わない圧縮を施すことにより行うことができる。データを表すために使用されるスペースは、例えば画像に関してはモノクロ対カラー、音声に関してはステレオ対モノラル、又は加速度計ネットワークに関しては多方向対単方向である。
【０１１０】
いずれの事例においても、等式１及び２をＮ個のキャプチャ予測事象に対して一般化することにより、時間的及び質的サブサンプリング規則によって支配される。所与のコンテクストセンサＣＣiの場合、等式１の一般化は：
【０１１１】
Fa(CCi) = 最大[EPS1のFa(CCi), EPS2のFa(CCi), ..., EPSNのFa(CCi)]
等式１２
と書かれる。
【０１１２】
等式３の一般化は：
Qc(CCi) = 最大[EPS1のQc(CCi), EPS2のQc(CCi), ..., EPSNのQc(CCi)]
等式１３
と書かれる。
【０１１３】
本発明を好ましい態様を参照しながら詳細に説明してきた。但し特許請求の範囲内で変更形を作り得ることは明らかである。
【図１】
2014116947.tif 000006
【図２】
2014116947.tif 000007
【図３】
2014116947.tif 000008
【手続補正書】
【提出日】平成26年1月23日(2014.1.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
携帯端末が所定の時間間隔内に１以上の画像をキャプチャするであろう確率を自動的に決定する方法であって、
少なくとも１つの画像デ  ータセンサ（２A）（２B）及び少なくとも１つのコンテクストデータセンサ（３）〜（１０）を備えた前記携帯端末（１）で、前記コンテクストデータセンサ及び画像データセンサの少なくとも１つから入力を受信する処理と、
受信された前記入力の少なくとも一部に基づき、所定の時間間隔内に、１つの画像若しくは画像シーケンスを前記携帯端末がキャプチャする確率を決定する処理と、
が実行される方法。
【請求項２】
キャプチャする確率を決定することは、予め決められた値を超過する前記コンテクストデータセンサ若しくは画像データセンサからの出力シーケンスに基づき計算される、請求項１に記載の方法。
【請求項３】
前記予め決められた値は、画像がキャプチャされた時点の前記コンテクストデータセンサ若しくは画像データセンサからの出力データ履歴に関連するデータ集合に基づいている、請求項２に記載の方法。