(57)【要約】      （修正有）【課題】非ライトフィールドイメージングデバイスを用いてライトフィールドデータを取得する。【解決手段】基準視点でシーンの基準画像を取得するステップで、シーンの関心領域は基準画像内に含まれ、基準位置（ｘ0，ｙ0）は捕捉デバイスの基準ローカル座標系における関心領域に関連付けられる、ステップ１１０と、現在視点でのシーンの現在画像に対して、現在画像内でシーンの関心領域を識別するステップ１２０と、−基準ローカル座標系において、現在画像内で識別された関心領域の現在位置を決定するステップ１３０と、現在位置を基準位置と比較するステップ１４０と、現在位置と基準位置との間の比較の結果に応じて、関心領域に向かって捕捉デバイスの相対的位置決めを案内するように適合された捕捉ガイダンスインジケータを与えるステップ１５０と、を含む。【選択図】図１
2016213825.tif 000002
【特許請求の範囲】
【請求項１】
シーンの一連の画像から前記シーンのライトフィールドデータを取得する方法であって、各画像は非ライトフィールド画像の捕捉デバイスを使用することによって異なる視点で捕捉され、前記方法は前記非ライトフィールド画像の捕捉デバイスによって実行され、
−  基準視点で前記シーンの基準画像を取得するステップ（１１０）であって、前記シーンの関心領域は前記基準画像内に含まれ、基準位置（ｘ0，ｙ0）は前記捕捉デバイスの基準ローカル座標系における前記関心領域に関連付けられる、前記ステップと、
−  現在視点での前記シーンの現在画像に対して、
−  前記現在画像内で前記シーンの前記関心領域を識別するステップ（１２０）と、
−  前記基準ローカル座標系において、前記現在画像内で識別された前記関心領域の現在位置（ｘc，ｙc）を決定するステップ（１３０）と、
−  前記現在位置を前記基準位置と比較するステップ（１４０）と、
−  前記現在位置と前記基準位置との間の比較の結果に応じて、前記関心領域に向かって前記捕捉デバイスの相対的位置決めを案内するように適合された捕捉ガイダンスインジケータを与えるステップ（１５０）と、
を含む、前記方法。
【請求項２】
前記現在位置と前記基準位置との間の距離が所定の閾値未満のときに、前記現在画像を捕捉するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記基準画像および現在画像内で前記関心領域が、
−  位相差検出タイプオートフォーカス動作、および／または
−  コントラスト検出タイプオートフォーカス動作
を実行することによって識別される、請求項１または２に記載の方法。
【請求項４】
基準画像を取得する前記ステップにおいて、前記関心領域は少なくとも１つのオートフォーカスセンサのセットを用いて識別され、各オートフォーカスセンサは前記基準ローカル座標系における所与の位置を有し、前記基準位置は前記基準ローカル座標系における前記少なくとも１つのオートフォーカスセンサの前記所与の位置に関連付けられる、請求項３に記載の方法。
【請求項５】
前記関心領域は、スケール不変特徴変換に基づく特徴検出動作を実行することによって、前記基準画像および現在画像内で識別される、請求項１に記載の方法。
【請求項６】
前記捕捉デバイス内に備えられた基準慣性ユニットによって提供される慣性データを取得するステップをさらに含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記捕捉デバイス内に備えられた全地球測位システム（ＧＰＳ）ユニットによって、全地球測位システムデータを取得するステップをさらに含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記基準画像を取得するステップは、異なる露出パラメータを用いて連続して捕捉される基準サブ画像のセットを取得するステップを含み、前記現在画像を捕捉するステップは、異なる露出パラメータを用いて連続して捕捉される現在サブ画像のセットを取得するステップを含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
基準サブ画像の前記セットに対して、
−  連続して捕捉された基準サブ画像を、該基準サブ画像の間で、基準サブ画像の前記セットにおいて識別された少なくとも１つの特徴点に応じて整列させるステップと、
−  前記整列された基準サブ画像を融合して、基準の高ダイナミックレンジ画像を取得するステップと、
を含み、現在サブ画像の前記セットに対して、
−  連続して捕捉された現在サブ画像を該現在サブ画像の間で、現在サブ画像の前記セットにおいて識別された少なくとも１つの特徴点に応じて整列させるステップと、
−  前記整列された現在サブ画像を融合して、現在の高ダイナミックレンジ画像を取得するステップと、
を含む、請求項８に記載の方法。
【請求項１０】
基準サブ画像の前記セットはＮ個のサブ画像を備え、２≦Ｎ≦５であり、現在サブ画像の前記セットはＭ個のサブ画像を備え、２≦Ｍ≦５である、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記捕捉ガイダンスインジケータは、前記シーンの前記現在画像を捕捉するために、前記捕捉デバイスが位置決めされなければならない方向を、マンマシンインターフェースによって示す矢印画像である、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
コンピュータまたはプロセッサ上で実行されたときに、請求項１から１１の少なくとも１つに記載の方法を実施するための、プログラムのコード命令を備える、コンピュータプログラム製品。
【請求項１３】
請求項１２に記載のコンピュータプログラム製品を記憶した、非一時的コンピュータ可読キャリア媒体。
【請求項１４】
シーンの一連の画像から前記シーンのライトフィールドデータを取得するように構成された非ライトフィールド画像の捕捉デバイスであって、各画像は異なる視点で捕捉され、
−  基準視点での前記シーンの基準画像、および現在視点での前記シーンの少なくとも１つの現在画像を取得するように構成された取得ユニットであって、前記シーンの関心領域は前記基準画像内に含まれ、前記捕捉デバイスの基準ローカル座標系における前記関心領域に、基準位置が関連付けられる、前記取得ユニットと、
−  現在視点での前記シーンの現在画像内で前記シーンの前記関心領域を識別するように構成された識別ユニットと、
−  前記基準ローカル座標系において、前記現在画像内で識別された前記関心領域の現在位置を決定するように構成された決定ユニットと、
−  前記現在位置を前記基準位置と比較するように構成された比較ユニットと、
−  前記比較ユニットによって与えられる結果を考慮して、前記関心領域に向かって前記捕捉デバイスの相対的位置決めにおいて案内するように適合された捕捉ガイダンスインジケータを与えるように構成された供給ユニットと、
を備える、前記非ライトフィールド画像の捕捉デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の分野は、ライトフィールドイメージングに関する。より詳細には本開示は、ライトフィールドデータを獲得および処理するための技術に関連する。
【０００２】
より具体的には、本開示は従来の（非ライトフィールド）画像捕捉デバイスによりライトフィールドデータを取得するための方法およびデバイスに関する。従来の画像捕捉デバイスとは、本明細書では、一度にいくつかの視点からライトフィールドデータを捕捉することができるライトフィールド捕捉デバイスとは異なり、単一の視点からシーンの２次元画像を捕捉する能力を有する任意のイメージングデバイスとして定義される。
【背景技術】
【０００３】
この項は、以下で説明されおよび／または特許請求される本発明の種々の態様に関連し得る、技術の種々の態様を読者に紹介するためのものである。この考察は、本発明の種々の態様のより良い理解を容易にするために、背景情報を読者に与えるのに役に立つと考えられる。したがって、これらの記述はこの観点から読まれるべきであり、従来技術を認めるものではないことを理解すべきである。
【０００４】
従来の画像捕捉デバイスは、３次元シーンを２次元センサ上に描写する。動作時には従来の捕捉デバイスは、デバイス内の光センサ（または光検出器）上の各点に到達する光量を表す２次元（２−Ｄ）画像を捕捉する。しかし、この２−Ｄ画像は、光センサに到達する光線（ライトフィールドと呼ばれ得る）の方向分布についての情報は含まない。例えば、深度は獲得時に失われる。したがって、従来の捕捉デバイスは、シーンからの光分布についての情報の大部分を記憶しない。
【０００５】
ライトフィールド捕捉デバイス（「ライトフィールドデータ獲得デバイス」とも呼ばれる）は、そのシーンの異なる視点から光を捕捉することによって、シーンの４次元（４Ｄ）ライトフィールドを測定するように設計されている。したがって、光センサを横切る各光束に沿って移動する光量を測定することによって、これらのデバイスは、後処理によって新しいイメージングアプリケーションを与えるための追加の光学的情報（光線の方向分布についての情報）を捕捉することができる。ライトフィールド捕捉デバイスによって獲得／取得された情報は、ライトフィールドデータと呼ばれる。ライトフィールド捕捉デバイスは、本明細書ではライトフィールドデータを捕捉する能力を有する任意のデバイスとして定義される。
【０００６】
ライトフィールドデータ処理は特に、再合焦されたシーンの画像を生成すること、シーンの透視図を生成すること、シーンの深度マップを生成すること、拡張被写界深度（ＥＤＯＦ）画像を生成すること、立体画像を生成すること、および／またはこれらの組合せを含むが、それらに限定されない。
【０００７】
いくつかのタイプのライトフィールド捕捉デバイスが存在する。
【０００８】
「プレノプティックデバイス」とも呼ばれる第１のタイプのライトフィールド捕捉デバイスは、米国特許出願公開第２０１３／０２２２６３３号明細書および国際公開第２０１３／１８０１９２号パンフレットの文書で説明されているように、画像センサと主レンズの間に配置されたマイクロレンズアレイを用いる。このようなデバイスは、シーンから放射する光線のフィールドにおける、光分布および光方向をサンプリングする能力を有する。この情報に基づく有用な用途は、画像が増加された焦点深度により収集され、および／またはディジタル的に再合焦され得ることである。さらに異なる焦点面における生のライトフィールドデータから画像を生成し、複数の位置でのシーンのフィールドの深度を推定するための、いくつかのアルゴリズムが存在する。しかし、プレノプティックデバイスは、以下の欠点を有するという難点がある。すなわち、そこで用いられるマイクロレンズの数は、これらのプレノプティックデバイスの有効解像度を本質的に制限する。したがって、デバイスによって獲得された空間および角度情報は、制限される。
【０００９】
別のタイプのライトフィールド捕捉デバイスは、それぞれがそれ自体のレンズおよび画像センサを有する複数の独立に制御されるカメラ、または単一の共有された画像センサ上に撮像するカメラのアレイを用いる（例えば国際公開第２０１４１４９４０３号パンフレットの文書を参照されたい）。しかし、これらのデバイスは、極めて正確なカメラの配置および方位を必要とし、これはそれらの製造をしばしば複雑でコストの高いものにする。
【００１０】
ライトフィールドデータを捕捉する別の方法は、従来の手持ちカメラの使用により、それぞれを異なる視点から取る、シーンのひと続きの２−Ｄ画像を獲得し、このように捕捉された画像を処理してライトフィールドデータを取得することである。この技法では典型的に、カメラは空間の異なる方向にユーザによって移動され、画像のセットを順次に捕捉するように動作し、次いでこれはライトフィールドデータを取得するために組み合わされ得る。しかし、活用可能なライトフィールドデータを取得するためには、ユーザは捕捉時に、採用される視点がどのようなものであっても、カメラをシーンの同じ関心点に向けて正確に方向付けしなければならない。しかし、信頼できるライトフィールドデータを獲得するのに適した画像のセットを、ユーザが捕捉することを可能にする手段が存在しない。それは結果として後処理において活用できない光学的情報を生じるユーザエラーになり得る。
【００１１】
したがって、従来の捕捉デバイスのユーザに、ライトフィールドデータを取得することを可能にする画像の獲得のために、捕捉デバイスの適切な捕捉動作を促進／容易にするように、命令および案内（ｇｕｉｄａｎｃｅ）を与えることは興味深いものとなり得る。
【発明の概要】
【００１２】
本明細書において「一実施形態」、「実施形態（an embodiment）」、「例示の実施形態」への言及は、説明される実施形態が特定の特徴、構造、または特質を含み得るが、その特定の特徴、構造、または特質を必ずしもあらゆる実施形態が含む必要はないことを示す。さらにこのような語句は、必ずしも同じ実施形態を指さない。さらに特定の特徴、構造、または特質が、実施形態に関連して説明されるときは、明示的に説明されているどうかに関わらず、他の実施形態に関連してこのような特徴、構造、または特質に影響を及ぼすことは当業者の知識の範囲内である。
【００１３】
本発明の特定の実施形態は、シーンの一連の画像から上記シーンのライトフィールドデータを取得する方法を提案し、各画像は非ライトフィールド画像捕捉デバイスを使用することによって異なる視点で捕捉され、上記方法は上記非ライトフィールド画像捕捉デバイスによって実行され、
−  基準視点で上記シーンの基準画像を取得するステップであって、上記シーンの関心領域は上記基準画像内に含まれ、基準位置は上記捕捉デバイスの基準ローカル座標系における上記関心領域に関連付けられる、ステップと、
−  現在視点での上記シーンの現在画像に対して、
−  上記現在画像内で上記シーンの上記関心領域を識別するステップと、
−  上記基準ローカル座標系において、上記現在画像内で識別された上記関心領域の現在位置を決定するステップと、
−  上記現在位置を上記基準位置と比較するステップと、
−  上記現在位置と上記基準位置の間の比較の結果に応じて、上記関心領域に向かって上記捕捉デバイスの相対的位置決めを案内するように適合された捕捉ガイダンスインジケータを与えるステップと、
を含む。
【００１４】
したがって、本発明は、従来の（非ライトフィールド）画像捕捉デバイスを用いたライトフィールドデータの獲得を容易にする方法を与える。本発明の原理は、ライトフィールドデータとして活用されるのに適した、シーンの複数の画像の捕捉を可能にすることになるやり方で、捕捉デバイスの位置決めを案内するように、ユーザに捕捉ガイダンスインジケータを与えることである。ライトフィールドデータを取得するためには、ユーザによって採用される視点がどのようなものであっても、捕捉デバイスは、捕捉デバイスを移動しながら、シーンの同じ関心領域に向かって方位付けられる必要がある。その目的のために、本発明による方法は、基準ローカル座標系におけるシーンの関心領域に基準位置を割り当てるステップと、その基準位置を、現在画像内で識別された関心領域の現在位置と比較するステップとを含むことにより、ユーザにフィードバックを与え、現在画像を捕捉するために、ユーザが比較に応じて関心領域に向かってそのデバイスの相対位置を適切に調整することを可能にする。それによってこのような方法は、捕捉プロセスを改善する。ライトフィールドデータは、基準画像および少なくとも１つの現在画像を含んだ、一連の画像を処理することによって取得される。
【００１５】
特定の特徴によれば方法は、上記現在位置と上記基準位置との間の距離が所定の閾値未満のときに、上記現在画像を捕捉するステップをさらに含む。
【００１６】
これは、現在位置と基準位置との間の距離が特定の許容閾値未満であるかどうかによらず、シーンの捕捉を可能にする。このようにして、これは従来の捕捉デバイスを用いて高品質のライトフィールドデータを獲得するための、適切な画像捕捉動作を確実にする。捕捉のアクションは、自動または手動とし得ることに留意すべきである。上記距離は、以下を含むグループに属する計算から算出され得る：
ユークリッド距離計算、
キャンベラ距離計算、
マンハッタン距離計算、
ミンコフスキー距離計算。
【００１７】
特定の特徴によれば、上記基準および現在画像内で、上記関心領域は以下を実行することによって識別される。
【００１８】
−  位相差検出タイプオートフォーカス動作、および／または
−  コントラスト検出タイプオートフォーカス動作。
【００１９】
したがって、本発明は、デバイスのオートフォーカス機能をうまく利用して、デバイスのセンサ上に形成される画像におけるシーン内の関心領域を継続的に識別する。オートフォーカス機能は、視野内のどこに焦点を合わせるかを決定するアルゴリズムに基づく。
【００２０】
特定の特徴によれば、基準画像を取得する上記ステップにおいて、上記関心領域は少なくとも１つのオートフォーカスセンサのセットを用いて識別され、各オートフォーカスセンサは上記基準ローカル座標系における所与の位置を有し、上記基準位置は上記基準ローカル座標系における上記少なくとも１つのオートフォーカスセンサの上記所与の位置に関連付けられる。
【００２１】
１つまたはいくつかのオートフォーカスセンサ（「コリメータ」とも呼ばれる）により、デバイスはシーンの関心領域に焦点を自動的にロックし、それによって、デバイスの画像センサ上に形成された画像内でその関心領域を継続して追跡する。例えばビューイングウィンドウ（ビューファインダまたは表示パネル）内の正方形によって表されるオートフォーカスセンサは、デバイス内に統合されたオートフォーカスシステム、および一連の画像の捕捉のためにユーザによって設定されたオートフォーカスモードに依存する所定の配置に分散され得る。
【００２２】
例では、関心領域を識別するために１つのオートフォーカスセンサのみがアクティブにされる。その場合は、上記関心領域に関連付けられた基準位置は、基準ローカル座標系における上記オートフォーカスセンサの位置となる。このモードは、シーンの小さな被写体に適している。
【００２３】
別の例では、関心領域を識別するために複数のオートフォーカスセンサがアクティブにされ得る。その場合は、上記関心領域に関連付けられた基準位置は、基準ローカル座標系における各アクティブにされたオートフォーカスセンサの位置、またはアクティブにされたオートフォーカスセンサのセットの幾何学的中心（例えば重心など）である。このモードは、シーンの大きな被写体に適している。
【００２４】
変形形態によれば上記関心領域は、スケール不変特徴変換に基づく特徴検出動作を実行することによって、上記基準および現在画像内で識別される。
【００２５】
スケール不変特徴変換（ＳＩＦＴ）は、画像の部分の間の対応を見出すために用いられる特徴検出アルゴリズムであり、それによっていくつかの画像内のいくつかのオブジェクトまたは関心領域を、検出および識別することを可能にする。
【００２６】
特定の特徴によれば、方法は、上記捕捉デバイス内に備えられた基準慣性ユニットによって提供される、慣性データを取得するステップを含む。
【００２７】
したがって、ユーザは、これらの追加のデータを用いて、捕捉プロセス時のデバイスの位置決め精度を強化することができる。実際、慣性データは、ローカル基準（local referential）に対するデバイスの相対位置および方位を知ることを可能にする。
【００２８】
特定の特徴によれば、方法は、上記捕捉デバイス内に備えられた全地球測位システム（ＧＰＳ）ユニットによって、全地球測位システムデータを取得するステップをさらに含む。
【００２９】
これらの追加のデータは、ライトフィールドデータ処理において用いられ得る。
【００３０】
特定の特徴によれば、上記基準画像を取得するステップは、異なる露出パラメータを用いて連続して捕捉される基準サブ画像のセットを取得するステップを含み、上記現在画像を捕捉するステップは、異なる露出パラメータを用いて連続して捕捉される現在サブ画像のセットを取得するステップを含む。
【００３１】
これは、シーンの捕捉された各視点に対して、高ダイナミックレンジイメージング情報を取得することを可能にする。
【００３２】
特定の特徴によれば、方法はさらに、
基準サブ画像の上記セットに対して、
−  連続して捕捉された基準サブ画像をそれらの間で、基準サブ画像の上記セットにおいて識別された少なくとも１つの特徴点に応じて整列させるステップと、
−  上記整列された基準サブ画像を融合して、基準高ダイナミックレンジ画像を取得するステップと、
を含み、現在サブ画像の上記セットに対して、
−  連続して捕捉された現在サブ画像をそれらの間で、現在サブ画像の上記セットにおいて識別された少なくとも１つの特徴点に応じて整列させるステップと、
−  上記整列された現在サブ画像を融合して、現在の高ダイナミックレンジ画像を取得するステップと、
を含む。
【００３３】
したがって、方法は、高ダイナミックレンジイメージング情報を取得するために連続して捕捉されるサブ画像の場合に、デバイスの動きによって引き起こされる不整列を補償するためのステップを与える。
【００３４】
方法はまた、融合プロセス時にゴーストアーチファクトを避けるために、連続的なサブ画像の間でシーン内で移動するオブジェクトに対して補償するためのプロセスを与えることができる。
【００３５】
特定の特徴によれば、連続して捕捉された基準サブ画像の上記セットは、Ｎ個のサブ画像を備え、２≦Ｎ≦５であり、連続して捕捉された現在サブ画像の上記セットは、Ｍ個のサブ画像を備え、２≦Ｍ≦５である。
【００３６】
特定の特徴によれば、上記捕捉ガイダンスインジケータは、上記シーンの上記現在画像を捕捉するために、上記捕捉デバイスが位置決めされなければならない方向を、マンマシンインターフェースによって示す矢印画像である。
【００３７】
マンマシンインターフェースは、種々のタイプのものとすることができる。例えばそれは、電子ビューファインダまたは視覚表示パネルとすることができる。
【００３８】
別の実施形態では本発明は、コンピュータまたはプロセッサ上でプログラムが実行されたときに、上述の方法（その異なる実施形態のいずれかにおいて）を実施するための上記プログラムコード命令を備えた、コンピュータプログラム製品に関連する。
【００３９】
別の実施形態では本発明は、コンピュータまたはプロセッサによって実行されたときに、上記コンピュータまたはプロセッサに、上述の方法（その異なる実施形態のいずれかにおいて）を実行させるプログラムを記憶した、非一時的コンピュータ可読キャリア媒体に関連する。
【００４０】
別の実施形態では本発明は、シーンの一連の画像から上記シーンのライトフィールドデータを取得するように構成された非ライトフィールド画像捕捉デバイスを提案し、各画像は異なる視点で捕捉される。このような非ライトフィールド画像捕捉デバイスは、
−  基準視点での上記シーンの基準画像、および現在視点での上記シーンの少なくとも１つの現在画像を取得するように構成された取得ユニットであって、上記シーンの関心領域は上記基準画像内に含まれ、上記捕捉デバイスの基準ローカル座標系における上記関心領域に、基準位置が関連付けられる、上記取得ユニットと、
−  現在視点での上記シーンの現在画像内で上記シーンの上記関心領域を識別するように構成された識別ユニットと、
−  上記基準ローカル座標系において、上記現在画像内で識別された上記関心領域の現在位置を決定するように構成された決定ユニットと、
−  上記現在位置を上記基準位置と比較するように構成された比較ユニットと、
−  上記比較ユニットによって与えられる結果を考慮して、上記関心領域に向かって上記捕捉デバイスの相対的位置決めにおいて案内するように適合された捕捉ガイダンスインジケータを与えるように構成された供給ユニットと、
を備える。
【００４１】
有利なことにデバイスは、その種々の実施形態のいずれかにおいて、上述のような取得方法において行われるステップを実施するための手段を備える。
【図面の簡単な説明】
【００４２】
本発明の実施形態の他の特徴および利点は、例示的であり非網羅的な例として示される以下の説明から、および添付の図面から明らかになるであろう。
【図１】本発明のライトフィールドデータを取得する方法の特定の実施形態のフローチャートである。
【図２Ａ】本発明の特定の実施形態による、ライトフィールドデータ捕捉を容易にするための、画像捕捉デバイスのディスプレイ上に提供されるユーザインターフェースの例を示す図である。
【図２Ｂ】本発明の特定の実施形態による、ライトフィールドデータ捕捉を容易にするための、画像捕捉デバイスのディスプレイ上に提供されるユーザインターフェースの例を示す図である。
【図２Ｃ】本発明の特定の実施形態による、ライトフィールドデータ捕捉を容易にするための、画像捕捉デバイスのディスプレイ上に提供されるユーザインターフェースの例を示す図である。
【図３Ａ】本発明の特定の実施形態による方法を実施するために用いられる、ローカル基準座標系の例を示す図である。
【図３Ｂ】本発明の特定の実施形態による方法を実施するために用いられる、ローカル基準座標系の例を示す図である。
【図３Ｃ】本発明の特定の実施形態による方法を実施するために用いられる、ローカル基準座標系の例を示す図である。
【図４】本発明の特定の実施形態による方法を実施する、画像捕捉デバイスの構造の例を示す図である。
【発明を実施するための形態】
【００４３】
本文書の図のすべてにおいて、同一の要素およびステップは同じ数値参照符号によって指定される。
【００４４】
図１は、本発明の特定の実施形態によるライトフィールドデータを取得する方法を示す。この方法は、従来の（非ライトフィールド）デバイス１００によって実行され、その原理は図４に関連して以下で詳しく説明される。
【００４５】
ここで本明細書では従来の画像捕捉デバイスとは、単一の視点からシーンまたはオブジェクトの２次元画像を捕捉する能力を有する任意のイメージングデバイスとして定義されることが指摘される。
【００４６】
本発明の一般的原理は、従来の画像捕捉デバイスのユーザが、関心のあるオブジェクトまたはシーンに対応するライトフィールドデータを取得するのに適した一連の２−Ｄ画像を獲得するために、関心のあるオブジェクトまたはシーンに対して、ユーザのデバイスの位置決めを最良に調整することを支援することである。ユーザは、異なる視点で画像を捕捉するように、デバイスを空間の異なる方向に移動し、一連の画像の捕捉を動作させ、これらはライトフィールドデータを取得するために組み合わされ得る。
【００４７】
本明細書で以下に説明される捕捉プロセスは、関心のあるシーンを掃引または走査することによって取得される隣接する画像のセットの継続的捕捉（例えば「ビデオモード」または「掃引モード」）により、または空間における異なる場所での画像のセットの離散化された（不連続的）捕捉（「撮影モード」）により、ユーザによって行われ得ることに留意すべきである。
【００４８】
ユーザがライトフィールドデータを獲得することを望むときは、ユーザは捕捉されることになるシーンの正面にデバイス１００を配置し、電源スイッチをオンにしてデバイス１００を電源オンにし、それをライトフィールド捕捉モードにする。これはステップ１０５に対応し、図１のアルゴリズムが初期化されることを可能にする。
【００４９】
ステップ１１０においてユーザは、第１の視点でシーンの第１の画像を捕捉する。この第１の画像は、アルゴリズム／方法の全体を通しての基準画像を定義する。
【００５０】
捕捉プロセス時に捕捉された画像を見るために、デバイス１００にはマンマシンインターフェースが装備される。マンマシンインターフェースは、種々のタイプのものとすることができる。図２Ａおよび２Ｂは、捕捉されることになるシーンまたはオブジェクト（すなわち画像センサ上に形成されたものとしてのシーンまたはオブジェクト）を見るための、捕捉デバイスにおいて一般に利用可能な電子ビューファインダ２００の使用を示す。図２Ａはデバイス１００の電子ビューファインダ２００内に表示された基準画像２２０を、図２Ｂは上記電子ビューファインダ２００内に表示された現在画像２３０を示す。
【００５１】
基準画像が捕捉されるときはデバイス１００は、オブジェクト２１０をシーンの関心のある領域として識別する。この関心のある領域２１０は、その周りで所望のライトフィールドデータを獲得するために一連の画像の捕捉が行われなければならない、シーンの「基準中心点」を表す。次いで、デバイス１００は、識別されたオブジェクト２１０を、デバイス１００の基準ローカル座標系における基準位置に関連付ける。基準画像に対応する基準ローカル座標系３００の例は、図３Ａに示される。これは、デバイスの光センサの焦点位置において定義される、正規直交基準座標系である。座標系３００の中心点「Ｏ」は、デバイスの焦点面の中心、すなわちカメラに関連付けられた光学系の光軸の通過点に対応する。オブジェクト２１０に割り当てられた基準位置３１０は、基準座標系３００におけるオブジェクト２１０の中心の座標（ｘ0，ｙ0）に対応する。
【００５２】
この関心のあるオブジェクト２１０は、種々の方法により識別され得る。例えば図２Ｃおよび３Ｃに示されるように、デバイス１００は、デバイス１００内の電子合焦モジュールによって実装されるオートフォーカスシステムを用いる。デバイス１００は、オートフォーカス機構を用いて視野内のどの領域に焦点を合わせるかを決定し、焦点が合わされた領域は、方法のさらなるステップのために考慮されることになるシーンの関心領域として、画像内で識別される。したがって、方法は、シーンのどの領域が、種々の画像の獲得のために考慮されることになるかを定義するために、デバイス１００によって実装されるオートフォーカス機構をうまく利用する。したがって、デバイス１００は、関心のあるオブジェクト２１０を連続追跡し、このオブジェクトが、捕捉されることになる後続の画像を追跡するための既知の目標であるかのように、このオブジェクト２１０上に焦点を維持する。
【００５３】
この識別ステップは、コリメータのアレイ（オートフォーカスセンサ）２４０を用いて実行される。各コリメータは、基準ローカル座標系３００における関連する位置を有する。したがって、関心オブジェクト２１０に関連付けられた基準位置は、関心オブジェクト２１０に焦点を合わせるために用いられたコリメータの位置に対応する。強調表示されたコリメータ２４５が関心のあるオブジェクト２１０に焦点を合わせるために用いられた図３Ｃの場合に当てはまるように、基準位置（ｘ0，ｙ0）は、基準ローカル座標系３００におけるそのコリメータ２４５の位置に対応する。
【００５４】
関心のあるオブジェクト２１０に焦点を合わせるためにコリメータのセットが用いられたときは、基準位置は、例えば基準ローカル座標系３００における、上記複数のコリメータに関連する点の重心に対応する。
【００５５】
用いられるオートフォーカス機構は、技術文献において広く説明されている種々の技法に基づくことができる。例えば関心のあるオブジェクトは、位相差検出タイプオートフォーカス、またはコントラスト検出タイプオートフォーカス、またはそれらの組合せを実行することによって識別され得る。
【００５６】
ここに示されたコリメータの数は、単に教育的な説明の目的のための非限定的な例である。もちろん本発明の範囲から逸脱せずに、より少ないまたはより多いコリメータが用いられ得る。例えばより広い視野をカバーするためには、より多くのコリメータが必要になり得る。さらに合焦モジュールによって、種々のオートフォーカスモードが提案され得る。１つの例示的実施形態では、画像を捕捉するためにデバイス１００は、それが焦点を合わせるために必要と見なすコリメータまたはコリメータのセットを自動的に選択することによって合焦を行う。他の例示的実施形態ではデバイス１００は、オートフォーカス、またはユーザによって前に選択された少なくとも１つのコリメータのセットを用いて、自動合焦を行う。
【００５７】
画像捕捉プロセス時に基準画像が捕捉された後に、関心のあるオブジェクト２１０に対応するライトフィールドデータを獲得するために、ユーザはデバイス１００を、関心のあるオブジェクト２１０に対して、空間の１つまたはいくつかの方向に移動する。本質的な条件は、捕捉プロセス時にユーザによって採用される視点がどのようなものであっても、デバイス１００が常に関心のあるオブジェクト２１０に向くことである。
【００５８】
ユーザは、デバイス１００を関心のあるオブジェクト２１０に向けながら垂直（すなわち上から下、もしくは下から上）に、または水平（左から右方向、もしくは右から左方向）に、またはそれらの組合せで移動することができる。深度（前から後方向または前から前方向）におけるデバイスの動きも、上記の垂直および／または水平の動きとの組合せを除外せずに可能であるが、ライトフィールドデータを取得するためには基本的には必要でないことに留意すべきである。望ましい主要な獲得は、関心のあるオブジェクト２１０の周りの横方向の動きにおいて行われなければならない。例えば走査方向は、関心のあるオブジェクト２１０に向いたままで、左から右方向の水平軸（「ｘ軸」）に沿った走査経路を含む。したがって、走査方向は、典型的には垂直軸（「ｙ軸」）の周りの回転成分を含み、これはｘ軸およびｙ軸によって形成される平面と同一線上ではない。
【００５９】
次いで、ステップ１２０においてデバイス１００は、所与の視点で捕捉された現在画像に対して、デバイス１００の電子合焦モジュールによって実施されるオートフォーカス機構により、ステップ１１０で前に識別された関心オブジェクトを識別することになる。このステップ１２０は、デバイス１００の状態の変化（例えばデバイスの位置または角度方位の変化）を検出するとすぐに実行される。現在画像の例は、図３Ａに示されるビューファインダ２００によって表される。
【００６０】
ステップ１３０においてデバイス１００は、基準ローカル座標系３００において、本明細書の以下では現在位置と呼ばれる、現在画像内で識別された関心領域の位置（座標（ｘc，ｙc））を決定する。図３Ｂは、現在画像に対応する基準ローカル座標系３００を表す。要素３２０は、座標系３００における、デバイス１００によって決定された関心のあるオブジェクト２１０の現在位置である。デバイス１００を移動した後は、関心オブジェクト２１０はもはやビューファインダ２００内で同じ位置にないように見える。したがって、ユーザに対して、高品質のライトフィールドデータを獲得するためには、ユーザがデバイス１００を移動しなければならない方向を示すことが必要となる。
【００６１】
ステップ１４０においてデバイス１００は、関心のあるオブジェクト２１０の現在位置（ｘc，ｙc）を、基準位置（ｘ0，ｙ0）と比較する。
【００６２】
次いで、ステップ１５０でデバイス１００は、現在位置（ｘc，ｙc）３２０が基準位置（ｘ0，ｙ0）３１０と一致するように、デバイス１００の位置決めを案内するように適合された捕捉ガイダンスインジケータ２５０を与える。したがって、ステップ１４０の結果に応じて、例えばビューファインダ２００の背景画面上に、ユーザに捕捉ガイダンスインジケータ２５０が与えられ、シーンの関心のあるオブジェクトに対して、捕捉プロセス時に、デバイス１００の相対位置を再調整するようにユーザに促す。図２Ｂに示される捕捉ガイダンスインジケータ２５０は、現在画像内で、関心のあるオブジェクト２１０が位置決めされるべき方向を示す矢印である（左を向いた矢印）。典型的には矢印２５０は、基準位置と、デバイス１００によって前に決定された現在位置との間に与えられる。
【００６３】
あるいは、デバイスを掃引しながら、関心オブジェクト２１０を現在画像内で同じ位置に保つためにデバイス１００が方位付けられるべき方向を指し示す矢印（右に向いた矢印）を与えることが想定され得る。
【００６４】
捕捉ガイダンスインジケータ２５０は、曲線の矢印（時計方向または反時計方向回転）、二重の矢印、または方向を指し示すもしくは知らせるために用いられる他の記号など、まっすぐな矢印以外の画像とすることができる。
【００６５】
さらに捕捉ガイダンスインジケータ２５０は、比較ステップ１４０に応じて可変に着色されたものとすることができ、または可変のサイズを有することができる。例えばマンマシンインターフェース２００は、デバイス１００が移動されているときに、ローカル基準座標系３００における基準および現在位置の間の距離に応じてそのサイズが変化する捕捉ガイダンスインジケータを与えることができ、ガイダンスインジケータが小さいほど、関心オブジェクト２１０に対するデバイス１００の位置決めはより正確になる。インジケータは、基準および現在位置が完全に一致したとき、またはこれら２つの位置の間で算出された距離が、本明細書の以下でＴとして示される所定の許容閾値未満のときは、消滅することができる。距離は、位置がどれだけ離れているかの数値的記述である。
【００６６】
特定の手法よれば、所定の許容閾値Ｔはユークリッド距離計算に基づいて設定され得る。デバイス１００の光センサが、幅においてＷ個の画素、高さにおいてＨ個の画素を有するものとし、数Ｎを、Ｎ＝ｍｉｎ（Ｗ，Ｈ）と定義する。したがって、デバイスが、例えばＷ＝６０００画素、およびＨ＝４０００画素を有する２４メガ画素光センサを備える場合は、数Ｎは４０００画素に等しい。所定の許容閾値Ｔは、例えば数Ｎの２％、すなわちＴ＝０．０２×Ｎに設定され得る。
【００６７】
次に２つの点ＡおよびＢを考察し、正規直交座標系において、Ａは座標（ｘ0，ｙ0）を有する基準位置に対応し、Ｂは座標（ｘc，ｙc）を有する現在位置に対応する。点ＡとＢの間のユークリッド距離ｄABは、以下の数式によって与えられる。
【００６８】
【数１】
2016213825.tif 000003
【００６９】
次いで、デバイス１００は、現在のユークリッド距離ｄABを所定の許容閾値Ｔ（これはここでは、０．０２×Ｎに等しい）と比較することになる。現在のユークリッド距離ｄABが所定の許容閾値Ｔ以上（ｄAB≧Ｔ）である限り、視覚インジケータ２５０は維持される。デバイス１００によって算出された現在距離ｄABが、所定の許容閾値Ｔ未満（ｄAB＜Ｔ）のときは、視覚インジケータ２５０は消滅する。
【００７０】
現在距離ｄAB＝０となる特定の場合は、基準および現在位置が完全に一致することを意味する。
【００７１】
もちろん本発明の範囲から逸脱せずに、他のよく知られている距離計算が実施され得る。例えば計算をマンハッタン距離、キャンベラ距離、またはミンコフスキー距離からのものに基づくものとすることが想定され得る。例えば計算を以下の数式からのものに基づくものとすることが想定され、
ｄAB＝ｍａｘ（｜ｘc−ｘ0｜，｜ｙc−ｙ0｜）
所定の許容閾値は例えば０．０２×Ｎに設定され得る。
【００７２】
あるいは、照準パターンを捕捉ガイダンスインジケータとして用いることが想定され得る。照準パターンは、基準座標系３００における基準位置に対応する、ビューファインダ２００の背景画面上の固定された位置に与えられるようになり、関心のあるオブジェクト２１０が照準パターンと一致するように、ユーザがデバイス１００の位置を調整することを可能にする。この照準パターンは、例えば関心のあるオブジェクト２１０に対してデバイス１００が正確に位置決めされていないときは赤色になり、関心のあるオブジェクト２１０に対するデバイス１００の位置が調整された（オブジェクト２１０は照準パターンに含まれるまたは重なる）ときは緑色になり、現在視点で最適の条件においてライトフィールドデータを取得することを可能にする。
【００７３】
さらに、その種々の実施形態において、上述の視覚捕捉ガイダンスインジケータは、デバイス１００が移動されているときに、ローカル基準座標系３００における基準および現在位置の間の距離に応じて、間の距離に従って変化するクロックレートを有する音響信号を送出することができる、デバイス１００内に統合されたスピーカを用いることを想定することができ、音響信号のクロックレートが速いほど、関心のあるオブジェクト２１０に対するカメラ１００の位置決めはより正確になる。連続的な音響信号は、現在視点でのデバイス１００の適正な位置決めを反映する。逆に、低いクロックレートを有する音響信号は、デバイス１００の誤った位置決め（関心のあるオブジェクト２１０に対する、許容できないデバイス方位）を反映する。
【００７４】
特定の実施形態ではデバイス１００は、ユーザによるデバイス１００の位置決めがライトフィールドデータを取得するために許容できる場合にのみ、すなわち現在位置（ｘc，ｙc）３１０が基準位置（ｘ0，ｙ0）３２０と一致する場合にのみ、現在画像の捕捉を可能にするように構成され得る。これは、ライトフィールドデータを獲得するための最適な捕捉条件を確実にする。
【００７５】
次にステップ１６０で、ユーザが捕捉プロセスの停止をアクティブにするなどにより、画像捕捉プロセスが終了したかどうかを決定するための、テストが実行される。あるいは、デバイス１００が、デバイス１００の動きが走査または掃引捕捉と矛盾すると決定するなどにより（例えば所定の持続時間の間のデバイスの動きの停止、またはデバイスの方位の大幅な変化を検出することにより）、捕捉プロセスは自動的に終了され得る。捕捉プロセスが終了した場合は、デバイス１００はステップ１７０に進み、ライトフィールドデータを取得するために、捕捉プロセス時に獲得された画像を処理する。画像が処理された後に、アルゴリズム／方法は停止する。捕捉プロセスが終了していない場合は、デバイス１００はステップ１２０に戻り、ステップ１７０で画像捕捉プロセスが終了するまで、ステップ１２０から１６０を繰り返す。
【００７６】
方法は、デバイス１００内に備えられた基準慣性ユニット７０によって提供される慣性データを取得するステップをさらに含むことができる。慣性データは、ローカル基準における捕捉プロセス時のデバイスの相対位置（緯度、経度、および高度座標）、およびその方位（ローカル基準に対する現在の傾斜角度）を知るために用いられ得る。これらのデータにより、例えばビューファインダ内および／または表示パネル上に電子水準器を表示することによって、ユーザがデバイス１００の傾斜を補正するのを支援することが可能になる。例えばその一定の高度を維持しながら、デバイス１００の走査／掃引速度（これは理想的には一定でなければならない）を案内するために（慣性ユニットの３軸の傾斜は、基準画像に対して取得された傾斜に対して、できるだけ長く一定のままでなければならない）、加速度計またはジャイロスコープが用いられ得る。慣性ユニット７０によって決定されるデバイス１００の動きの速度に応じて、ユーザにリアルタイムでデバイス１００の走査／掃引速度を調整するように促すために、追加の視覚インジケータをさらに表示することができる。慣性ユニット７０によって決定されるデバイス１００の現在の高度に応じて、ユーザにリアルタイムでデバイス１００の高度を調整するように促すために、別の追加の視覚インジケータを表示することもできる。
【００７７】
変形形態では、本開示の一実施形態による各画像（基準および現在画像）の捕捉は、上記捕捉デバイス１００内に備えられたＧＰＳユニットによって提供される全地球測位システムデータ（例えばＧＰＳ座標）に関連付けることができる。
【００７８】
また、所与の視点に対してただ１つの画像（基準画像または現在画像）を捕捉する代わりに、異なる露出パラメータを用いて連続して捕捉される基準サブ画像のセットを取得することが想定され得る（このような技法はブラケット技法と呼ばれ、ＨＤＲ（これは「高ダイナミックレンジ」技法の略語である）のファミリに属する）。これは、シーンの捕捉された各視点に対して、ライトフィールドデータ処理のために有利に用いられ得る高ダイナミックレンジイメージング情報を与える。したがって、本技法を用いることにより、従来の（非ライトフィールド）画像捕捉デバイスによって高ダイナミックレンジライトフィールドデータが取得され得る。したがって、高ダイナミックレンジライトフィールドデータを取得するための本技法は、Ｓｉｇｎａｌ  Ｒｅｃｏｖｅｒｙ  ａｎｄ  Ｓｙｎｔｈｅｓｉｓ、２００９年の会議議事録において発行されたＴ．Ｇｅｏｒｇｉｅｖらによる文書「Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｅ  Ｃａｐｔｕｒｅ  ｗｉｔｈ  Ｐｌｅｎｏｐｔｉｃ  ２．０  Ｃａｍｅｒａ」で説明されたものの代替技法と見なされ得る。
【００７９】
その関連において、ぼやけたＨＤＲ画像を取得することを避けるために、サブ画像の整列が必要である。その目的のために、サブ画像のセットにおいて識別された少なくとも１つの特徴点に応じて、連続して捕捉されたサブ画像をそれらの間で整列させるステップ（位置合わせステップとも呼ばれる）が与えられる。これは連続的に捕捉されたサブ画像において、上記サブ画像を融合してＨＤＲ画像を生成する前に、予め規定された主要点（または予め規定された特徴点）を検索するために使用されるスケール不変特徴変換（ＳＩＦＴ）法に基づくことができる。例えば方法は、シーンが固定されていると仮定して、捕捉されたサブ画像を整列させることができる。これは、デバイスの動きによって引き起こされる不整列を補償する。さらに方法は、融合プロセス時のゴーストアーチファクトを避けるために、連続的なサブ画像の間にシーン内で移動するオブジェクトに対して補償するためのプロセスを含むことができる。このプロセスは、サブ画像融合ステップの前、またはその間に実行される。したがって、デバイス振動によって引き起こされる画像ぼやけを防止することに加えて、本発明による方法は、２つの連続したサブ画像の間で移動し得る、画像内でのオブジェクトを補償することができるプロセスを与える。
【００８０】
例えば、２から５の間を含むいくつかの基準または現在サブ画像は、ユーザがぼやけのないＨＤＲ画像を得ることを確実にする。
【００８１】
上述の方法は、数値画像内のオブジェクトまたは関心のある領域を識別し追跡するための、オートフォーカス機構に基づく。自己相関算出またはスケール不変特徴変換（ＳＩＦＴ）に基づく方法など、本発明の範囲から逸脱せずに、同じ機能を行う種々の方法が想定され得る。
【００８２】
次に図４を参照すると、本発明の特定の実施形態による画像捕捉デバイス１００の例を示す。デバイス１００は以下を備える：
−  例えばＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）技術を用いた画像センサ１０、
−  本明細書で図１を参照して以下で説明されるアルゴリズムのステップの少なくとも１つの部分を実施することを可能にする、プログラムコード命令を実行する能力を有するプロセッサ２０、
−  不揮発性メモリ３０、例えばリードオンリメモリ（ＲＯＭ）またはハードディスク、
−  揮発性メモリ４０、例えばランダムアクセスメモリ（ＲＡＭ）、
−  マンマシンインターフェース５０、例えば捕捉されることになる画像（「プレビュー画像」）または捕捉された画像を見るように、および捕捉プロセス時にデバイス位置決めを通してユーザを案内するように適合された、電子ビューファインダまたはタッチスクリーン表示パネル、
−  １つまたは複数の光学レンズを備え得る光学的対物レンズ（optical objective）６０、
−  慣性データを与える基準慣性ユニット７０。
【００８３】
不揮発性メモリ３０は、非一時的コンピュータ可読キャリア媒体である。それは実行可能プログラムコード命令を記憶し、これは上述の方法の実施を可能にするためにプロセッサ２０によって実行される。初期化の後すぐにプログラムコード命令は、プロセッサ２０によって実行されるように、不揮発性メモリ３０から揮発性メモリ４０に転送される。揮発性メモリ４０はさらに、この実行のために必要な変数およびパラメータを記憶するためのレジスタを含む。
【００８４】
特定の実施形態によれば、本方法のステップは、
−  ステップ１１０に対しては、画像センサを用いて画像を捕捉（または取得）するように構成された捕捉（または取得）ユニットであって、基準画像内でシーンの関心領域が識別され、基準位置は基準ローカル座標系における関心領域に関連付けられる、ユニットにより、
−  ステップ１２０に対しては、基準画像内で識別された関心のあるオブジェクト２１０を、現在画像内で識別するように構成された識別ユニットにより、
−  ステップ１３０に対しては、基準ローカル座標系において、現在画像内で識別された関心領域の現在位置を決定するように構成された決定ユニットにより、
−  ステップ１４０に対しては、現在位置と基準位置を比較するように構成された比較ユニットにより、
−  ステップ１５０に対しては、比較ユニットによって与えられる結果を考慮して、関心領域への捕捉デバイスの相対的位置決めにおいて案内するように適合された捕捉ガイダンスインジケータを与えるように構成された供給ユニットにより、
−  ステップ１７０に対しては、捕捉された画像からライトフィールドデータを取得するように構成された取得ユニットにより、
実施され得る。
【００８５】
上述のユニットは、プロセッサ２０内に統合され得る。
【００８６】
当業者には理解されるように、本原理の態様は、システム、方法、またはコンピュータ可読媒体として具体化され得る。したがって、本原理の態様は、専らハードウェアの実施形態、専らソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書においてすべて一般に「回路」、「モジュール」、または「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形をとることができる。
【００８７】
本原理が１つまたはいくつかのハードウェア構成要素によって実施されるときは、ハードウェア構成要素は、中央処理装置などの集積回路であるプロセッサ、および／またはマイクロプロセッサ、および／または特定用途向け集積回路（ＡＳＩＣ）、および／または特定用途向け命令セットプロセッサ（ＡＳＩＰ）、および／またはグラフィックス処理装置（ＧＰＵ）、および／または物理演算処理装置（ＰＰＵ）、および／またはディジタル信号プロセッサ（ＤＳＰ）、および／または画像処理回路、および／またはコプロセッサ、および／または浮動小数点ユニット、および／またはネットワークプロセッサ、および／またはオーディオプロセッサ、および／またはマルチコアプロセッサを備えることが留意され得る。さらにハードウェア構成要素はまた、ベースバンドプロセッサ（例えばメモリユニットおよびファームウェアを備えた）、および／または無線信号を受信もしくは送信する無線電子回路（これはアンテナを備え得る）を備えることができる。一実施形態ではハードウェア構成要素は、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、ＧｌｏｂａｌＰｌａｔｆｏｒｍ（すなわちセキュアエレメント）などの１つまたは複数の標準に準拠する。変形形態ではハードウェア構成要素は、無線周波数識別（ＲＦＩＤ）タグである。一実施形態ではハードウェア構成要素は、ブルートゥース（登録商標）通信、および／またはＷｉ−ｆｉ通信、および／またはＺｉｇｂｅｅ通信、および／またはＵＳＢ通信および／またはＦｉｒｅｗｉｒｅ通信および／またはＮＦＣ（ニアフィールドの略）通信を可能にする回路を備える。
【００８８】
さらに本原理の態様は、コンピュータ可読記憶媒体の形をとることができる。１つまたは複数のコンピュータ可読記憶媒体の任意の組合せが利用され得る。
【００８９】
コンピュータ可読記憶媒体は、１つまたは複数のコンピュータ可読媒体において具体化され、その上に具体化された、コンピュータによって実行可能なコンピュータ可読プログラムコードを有する、コンピュータ可読プログラム製品の形をとることができる。本明細書で用いられるコンピュータ可読記憶媒体とは、その中に情報を記憶する固有の能力、ならびにそれからの情報取り出しを与える固有の能力を前提とした、非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えば電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、またはデバイス、または上述の任意の適当な組合せとすることができるが、それらに限定されない。以下は、本原理が適用され得るコンピュータ可読記憶媒体のより具体的な例を示すが、当業者には容易に理解されるように単に例示的および非網羅的な列挙であることを理解すべきである。すなわち、可搬コンピュータディスケット、ハードディスク、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたフラッシュメモリ）、可搬コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、または上述の任意の適当な組合せである。
【００９０】
したがって、例えば、当業者には、本明細書において示されたブロック図は、本発明の原理を具体化する例示的システム構成要素および／または回路の概念的な図を表すことが理解されるであろう。同様にいずれのフローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読記憶媒体内に実質的に表され得る種々のプロセスを表し、それに従ってコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されているかどうかに関わらず、実行されることが理解されるであろう。
【００９１】
本開示は１つまたは複数の例を参照して説明されたが、当業者は、本開示および／または添付の特許請求の範囲から逸脱せずに、形態および詳細において変更がなされ得ることを認識するであろう。
【図１】
2016213825.tif 000004
【図２Ａ】
2016213825.tif 000005
【図２Ｂ】
2016213825.tif 000006
【図２Ｃ】
2016213825.tif 000007
【図３Ａ】
2016213825.tif 000008
【図３Ｂ】
2016213825.tif 000009
【図３Ｃ】
2016213825.tif 000010
【図４】
2016213825.tif 000011
【外国語明細書】
2016213825000001.pdf