(57)【要約】  可視光に変調されている信号を復号するための復号器。復号器は、カメラによって取り込まれた一連のフレームを受信することであって、それぞれが、異なる時間指数における光源の画像を取り込むことと、各フレームから、光源の一部を取り込むフレームの複数の部分をサンプリングすることにより、一連のフレームにわたって、上述の各部分のそれぞれの１つから、時間的に一連のサンプルを取得することと、複数の各部分に関して、対応する一連のサンプル内の時間的変動を平滑化する、特性の対応する値を決定することと、特性の対応する値を使用して、光源の不均一性を補正するために上述の各部分に適用するべきそれぞれの等化を決定することと、それぞれの等化を上述の各部分に適用して、それに基づいて符号化光信号を検出することとの、動作を実行する。
2020507258.tif 000002
【特許請求の範囲】
【請求項１】
光源によって放出される可視光に変調されている信号を復号するための復号器を備えるデバイスであって、前記復号器が、
カメラによって取り込まれた一連のフレームを受信することであって、前記一連の各フレームが、異なる時間指数における前記光源の画像を取り込むことと、
前記一連の各フレームから、前記光源の一部を取り込む前記フレームの複数の部分をサンプリングし、それにより、前記一連のフレームにわたって、前記各部分の対応する１つから、対応する時間的な一連のサンプルを取得することと、
前記複数の各部分に関して、前記対応する一連のサンプル内の時間的変動を平滑化する、特性の対応する値を決定することと、
前記光源の空間的不均一性を補正するために、前記特性の対応する値を使用して、前記各部分に適用するべき対応する等化を決定することと、
前記対応する等化を前記各部分に適用して、それに基づいて符号化光信号を検出すること、の動作を実行するよう構成される、デバイス。
【請求項２】
前記特性が、前記対応する一連のサンプルの平均である、請求項１に記載のデバイス。
【請求項３】
前記特性が、前記対応する一連のサンプルの上側振幅包絡線又は下側振幅包絡線を含む、請求項１に記載のデバイス。
【請求項４】
前記復号器が、前記等化の決定を、前記複数の各部分に関して、
前記上側振幅包絡線又は前記下側振幅包絡線のうちの一方が、前記変調の真の振幅のより代表的な指標を与えるという点で有効であると判定することと、
有効な前記包絡線に基づいて、前記適用するべき等化を決定することとによって実行するよう構成される、請求項３に記載のデバイス。
【請求項５】
前記復号器が、前記等化の前記決定を、
ａ）前記複数の各部分にわたって、前記上側振幅包絡線を前記下側振幅包絡線と比較するメトリックを評価することと、
ｂ）前記評価に基づいて、前記上側振幅包絡線が前記下側振幅包絡線と比較して最大であることを前記メトリックが示す、前記メトリックの値を決定することと、
ｃ）前記上側振幅包絡線又は前記下側振幅包絡線のうちの一方が前記有効な包絡線ではない場合に、前記上側振幅包絡線又は前記下側振幅包絡線のうちの前記一方を、前記上側振幅包絡線及び前記下側振幅包絡線のうちの他方と、前記メトリックが前記上側振幅包絡線と前記下側振幅包絡線との間の最大差を示す値とに基づいて再構築することによって、前記複数の部分にわたって前記上側振幅包絡線又は前記下側振幅包絡線のうちの前記一方を再構築することであって、前記等化が、再構築された前記上側振幅包絡線又は前記下側振幅包絡線に基づいて実行される、こととによって実行するよう構成される、請求項４に記載のデバイス。
【請求項６】
前記復号器が、
ａ）前記複数の各部分に関して、前記下側振幅包絡線に対する前記上側振幅包絡線の比を決定することであって、前記比が、前記複数の部分にわたって空間的に振動する、ことと、
ｂ）前記複数の部分にわたる前記比の最大値を決定することと、
ｃ）前記上側振幅包絡線又は前記下側振幅包絡線のうちの一方が前記有効な包絡線ではない場合に、決定された前記比の前記最大値で、前記上側振幅包絡線及び前記下側振幅包絡線のうちの他方を適宜に乗算若しくは除算することによって、前記上側振幅包絡線又は前記下側振幅包絡線のうちの前記一方を再構築することによって、前記複数の部分にわたって前記上側振幅包絡線又は前記下側振幅包絡線のうちの前記一方を再構築することであって、前記等化が、再構築された前記上側振幅包絡線又は前記下側振幅包絡線に基づいて実行される、こととによる、動作ａ）〜動作ｃ）を実行するよう構成される、請求項５に記載のデバイス。
【請求項７】
前記復号器が、前記上側振幅包絡線及び前記下側振幅包絡線のいずれが有効であるかについての決定を、
前記複数の部分にわたって、前記下側振幅包絡線に対する前記上側振幅包絡線の比が最小である点を決定することと、前記点のうちの各対応する１つに関して、ｉ）前記下側振幅包絡線の特徴部であって、前記部分のうちの１つから前記部分のうちの隣接する１つまで、前記対応する一連のサンプル間で、最大値に対応する前記時間指数が異なっており、その場合に、前記上側振幅包絡線が、前記対応する点の周囲の区域内の前記有効な包絡線であると決定される、前記下側振幅包絡線の特徴部、又はｉｉ）前記上側振幅包絡線の特徴部であって、前記部分のうちの１つから前記部分のうちの隣接する１つまで、前記対応する一連のサンプル間で、最大値に対応する前記時間指数が異なっており、その場合に、前記下側振幅包絡線が、前記対応する点の周囲の区域内の前記有効な包絡線であると決定される、前記上側振幅包絡線の特徴部のうち、いずれが前記対応する点に空間的に最も近いかを決定することとによって、実行するよう構成される、請求項４、５、又は６に記載のデバイス。
【請求項８】
前記復号器が、ｉ）及びｉｉ）の双方の前記特徴部が同じ前記点で生じる場合、ｉ）及びｉｉ）のそれぞれに関して、１つの前記部分の前記時間指数から隣接する前記部分の前記時間指数までの、前記信号の傾きの変化を決定するように、並びに、傾きの最大変化を有する、前記上側振幅包絡線及び前記下側振幅包絡線のうちの一方を、前記有効な包絡線として選択するよう構成される、請求項７に記載のデバイス。
【請求項９】
前記カメラが、ラインの時間的シーケンスで各フレームを取り込む、ローリングシャッタカメラであり、前記各部分が、前記対応するラインから個々の画素値を組み合わせることによってサンプリングされた、前記ラインのうちの対応する１つである、請求項１乃至８のいずれか一項に記載のデバイス。
【請求項１０】
前記各部分が、画素、又は画素群であって、そのような群の２次元配列内の画素群である、請求項１乃至８のいずれか一項に記載のデバイス。
【請求項１１】
前記光源と前記カメラとの相対運動を補償するよう構成される、動き補償器を備える、請求項１乃至１０のいずれか一項に記載のデバイス。
【請求項１２】
請求項１乃至１１のいずれか一項に記載のデバイスを備え、前記カメラ及び前記光源を備える、システム。
【請求項１３】
前記光源が照明器具の形態を取り、前記光が、環境を照射するための照明の形態を取る、請求項１２に記載のシステム。
【請求項１４】
光源によって放出される可視光に変調されている信号を復号する方法であって、
カメラによって取り込まれた一連のフレームを受信するステップであって、前記一連の各フレームが、異なる時間指数における前記光源の画像を取り込む、ステップと、
前記一連の各フレームから、前記光源の一部を取り込む前記フレームの複数の部分をサンプリングし、これにより、前記一連のフレームにわたって、前記各部分の対応する１つから、対応する時間的な一連のサンプルを取得するステップと、
前記複数の各部分に関して、前記対応する一連のサンプル内の時間的変動を平滑化する、特性の対応する値を決定するステップと、
前記特性の前記対応する値を使用して、前記光源の不均一性を補正するために前記各部分に適用するべき対応する等化を決定するステップと、
前記対応する等化を前記各部分に適用して、それに基づいて符号化光信号を検出するステップと、を含む、方法。
【請求項１５】
光源によって放出される可視光に変調されている信号を復号するためのコンピュータプログラムであって、コンピュータ可読媒体上に具現化されているコード及び／又は前記コンピュータ可読媒体からダウンロード可能なコードを含み、前記コードが、
カメラによって取り込まれた一連のフレームを受信することであって、前記一連の各フレームが、異なる時間指数における前記光源の画像を取り込む、ことと、
前記一連の各フレームから、前記光源の一部を取り込む前記フレームの複数の部分をサンプリングし、これにより、前記一連のフレームにわたって、前記各部分の対応する１つから、対応する時間的に一連のサンプルを取得することと、
前記複数の各部分に関して、前記対応する一連のサンプル内の時間的変動を平滑化する、特性の対応する値を決定することと、
前記特性の前記対応する値を使用して、前記光源の不均一性を補正するために前記各部分に適用するべき対応する等化を決定することと、
前記対応する等化を前記各部分に適用して、それに基づいて符号化光信号を検出することと、の動作を実行するよう構成される、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、光源によって放出される光に埋め込まれている符号化光信号の通信に関する。
【背景技術】
【０００２】
可視光通信（Visible light communication；ＶＬＣ）とは、光源によって放出される可視光に埋め込まれている信号の形態で、情報が通信される技術を指す。ＶＬＣはまた、符号化光と称される場合もある。
【０００３】
信号は、可視光の特性、典型的には強度を、様々な好適な変調技術のうちのいずれかに従って変調することによって、埋め込まれる。最も単純ないくつかの場合において、信号伝達は、単一の周期的な搬送波波形、ましては単一のトーン（正弦波）も有する、複数の光源のそれぞれからの可視光の強度を、一定の、所定の変調周波数で変調することによって実施される。複数の光源のそれぞれによって放出される光が、それらの光源間で一意の、異なる対応の変調周波数で変調される場合には、当該変調周波数は、対応の光源、又は光の、識別子（ＩＤ）としての機能を果たすことができる。
【０００４】
より複雑なスキームでは、データシンボルのシーケンスが、所与の光源によって放出される光に変調されてもよい。それらのシンボルは、任意の好適な光の特性、例えば、振幅、変調周波数、又は、変調の位相を変調することによって表される。例えば、データは、振幅キーイングによって、例えば、ビットを表すための高レベル及び低レベルを使用して、あるいは、種々のシンボルを表すための、より複雑な変調スキームを使用して、光に変調されてもよい。別の例は、周波数キーイングであり、所与の光源は、２つ（以上）の異なる変調周波数で放出するように、及び、異なる変調周波数間で切り替えることによってデータビット（又は、より一般的にはシンボル）を送信するように、動作可能である。別の可能性として、データを符号化するために、搬送波波形の位相が変調されてもよい（すなわち、位相シフトキーイング）。
【０００５】
一般に、変調される特性は、光に変調される搬送波波形の特性（搬送波波形の振幅、周波数、又は位相など）とすることが可能であり、又は代替的に、ベースバンド変調が使用されてもよい。後者の場合には、搬送波波形は存在せず、むしろシンボルは、放出される光の輝度の変動のパターンとして、光に変調される。このことは、例えば、種々のシンボルを表すように強度を変調すること、あるいは、パルス幅変調（pulse width modulation；ＰＷＭ）調光波形のマークスペース比を変調すること、又は、パルス位置を変調すること（いわゆる、パルス位置変調、（pulse position modulation）ＰＰＭ）を含み得る。変調は、そのようなチャネルシンボルに、（ユーザビットと称される場合もある）データビットをマッピングするための、符号化スキームを含み得る。一例は、従来のマンチェスタ符号であり、これは、値０のユーザビットが、低−高パルスの形態のチャネルシンボルにマッピングされ、値１のユーザビットが、高−低パルスの形態のチャネルシンボルにマッピングされる、２値符号である。別の例示的な符号化スキームは、本出願人によって開発された、いわゆる３値マンチェスタ符号である（国際公開第２０１２／０５２９３５（Ａ１）号）。
【０００６】
符号化光の中の情報は、変調に基づいて、任意の好適な光センサを使用して検出されることができる。このセンサは、専用のフォトセル（点検出器）、あるいは、フォトセル（画素）のアレイと、アレイ上に画像を形成するためのレンズとを備えるカメラの、いずれかとすることができる。例えば、カメラは、スマートフォン又はタブレットなどのモバイルユーザデバイスの、汎用カメラであってもよい。符号化光のカメラベースの検出は、グローバルシャッタカメラ又はローリングシャッタカメラのいずれかを使用して可能である。例えば、ローリングシャッタ読み出しは、スマートフォン及びタブレットなどの日常のモバイルユーザデバイスにおいて見受けられる、ＣＭＯＳ画像センサに典型的である。グローバルシャッタカメラでは、画素アレイ全体（フレーム全体）が同時に取り込まれ、それゆえ、グローバルシャッタカメラは、１フレーム当たり、所与の照明器具からの光の、１つの時間的サンプルのみを取り込む。その一方で、ローリングシャッタカメラでは、フレームは、水平の行の形態のラインに分割され、フレームは、時間的シーケンスでラインごとに露光され、シーケンス内の各ラインは、直前のものよりも僅かに遅れて露光される。したがって、各ラインは、異なる時点における信号のサンプルを取り込む。それゆえ、ローリングシャッタカメラは、一般に、より安価な種類であり、写真などの目的に関しては劣るものと見なされるが、符号化光を検出する目的に関しては、１フレーム当たり、より多くの時間的サンプルを取り込む利点を有し、所与のフレームレートに対して、より高いサンプルレートを有する。それにもかかわらず、符号化光の検出は、サンプルレートが変調周波数又はデータレートと比較して十分に高い（すなわち、情報を符号化する変調を検出するために十分高い）限り、グローバルシャッタカメラ又はローリングシャッタカメラのいずれを使用しても達成されることができる。
【０００７】
符号化光は、多くの場合、日常の照明器具、例えば、室内照明又は屋外照明などの照明源によって放出される光に、信号を埋め込むために使用されるため、照明器具からの照明が情報のキャリアを兼ねることを可能にする。それゆえ、光は、部屋などの標的環境を照明するための可視照明の寄与（典型的には、光の主目的）、及び、環境内に情報を提供するための埋め込まれた信号（典型的には、光の二次機能と見なされるもの）の双方を含む。そのような場合には、変調は、典型的には、人間の知覚を超えるために十分に高い周波数で、又は少なくとも、いずれの可視の時間的な光アーチファクト（例えば、フリッカ及び／又はストロボのアーチファクト）も、目立たないか若しくは少なくとも人間に対して許容可能となるほど、十分に弱くなるように実行される。それゆえ、埋め込まれた信号は、主要な照明機能に影響を及ぼさないため、すなわち、ユーザは、全体的な照明のみを知覚し、照明にデータが変調されている影響は知覚しない。例えば、マンチェスタ符号化は、ＤＣフリー符号の一例であり、パワースペクトル密度はゼロヘルツでゼロになり、低周波数でのスペクトル成分が極めて少なく、それゆえ、可視のフリッカを、実質的に不可視のレベルまで低減する。３値マンチェスタは、ＤＣ２フリーであり、これは、パワースペクトル密度がゼロヘルツでゼロになるばかりではなく、パワースペクトル密度の勾配もまたゼロになることにより、可視のフリッカを更に排除することを意味する。
【０００８】
符号化光は、様々な可能な用途で使用されることができる。例えば、所与の環境内の照明器具、例えば所与の建物内の照明器具のそれぞれによって放出される照明に、異なる対応のＩＤが埋め込まれることが可能であり、それにより、各ＩＤは、少なくとも対象となる環境内で固有となる。例えば、固有のＩＤは、固有の変調周波数又は固有のシンボルシーケンスの形態を取ってもよい。その場合、このこと自体で、いくつもの用途のうちの任意の１つ以上を可能にすることができる。例えば、１つの用途は、制御目的のために、照明器具から遠隔制御ユニットに情報を提供すること、例えば、遠隔ユニットが制御することが可能な他のそのような照明器具の間で、照明器具を識別するＩＤを提供すること、又は、照明器具についての状態情報を提供すること（例えば、エラー、警告、温度、動作時間などを報告すること）である。例えば、遠隔制御ユニットは、内蔵カメラなどの光センサが装備されている、スマートフォン、タブレット、スマートウォッチ、又はスマートグラスなどの、モバイルユーザ端末の形態を取ってもよい。ユーザは、その場合、特定の照明器具又は照明器具のサブグループに向けて、センサを方向付けることができ、それにより、モバイルデバイスは、センサによって取り込まれた放出された照明から、対応のＩＤを検出することができ、次いで、検出されたＩＤを使用して、対応する１つ以上の照明器具を識別することにより、対応する１つ以上の照明器具を（例えば、ＲＦバックチャネルを介して）制御することができる。このことは、ユーザが、いずれの照明器具を自身が制御することを望むかを特定するための、ユーザフレンドリな方法を提供する。検出及び制御は、ユーザ端末上で実行される照明制御アプリケーション又は「アプリ」によって実施されてもよい。
【０００９】
別の用途では、符号化光は、コミッショニングにおいて使用されてもよい。この場合には、異なる照明器具からの光に埋め込まれている対応するＩＤは、各照明器具からの個々の照明寄与を識別するために、コミッショニング段階で使用されることができる。
【００１０】
別の実施例では、識別は、識別子を照明器具の既知の位置、又は当該位置に関連付けられている情報にマッピングすることによって、ナビゲーション又は他の位置ベースの機能性のために使用されることができる。この場合には、各照明器具の符号化光ＩＤを、対応する位置（例えば、地図又はフロアプラン上の座標）にマッピングする、位置データベースが提供され、このデータベースは、サーバから、無線ローカルエリアネットワーク（wireless local area network；ＷＬＡＮ）又はモバイルセルラネットワークなどの１つ以上のネットワークを介して、モバイルデバイスに利用可能にされてもよく、あるいは、モバイルデバイス上で更にローカルに記憶されてもよい。次いで、モバイルデバイスが、１つ以上の照明器具からの光を含む画像を取り込む場合には、モバイルデバイスは、それらのＩＤを検出することができ、ＩＤを使用して、位置データベース内で位置を探索することにより、それらに基づいてモバイルデバイスの位置を推定することができる。例えば、このことは、受信信号強度、飛行時間、及び／又は到来角などの、受信された光の特性を測定して、次いで、三角測量、三辺測量、多辺測量、又はフィンガープリンティングなどの技術を適用することによって、あるいは単純に、最も近い照明器具又は唯一の取り込まれた照明器具の位置が、モバイルデバイスの近似的な位置であると想定することによって、達成されてもよい。一部の場合では、そのような情報は、よりロバストな結果をもたらすために、他のソース、例えば、オンボードの加速度計、磁力計などからの情報と組み合わされてもよい。次いで、検出された位置は、ナビゲーションの目的のために、例えば、建物のフロアプラン上でのユーザの位置を示すために、モバイルデバイスを介してユーザに出力されてもよい。あるいは、又は更に、決定された位置は、位置ベースのサービスにユーザがアクセスするための条件として使用されてもよい。例えば、特定の区域又はゾーン（例えば、特定の部屋）内の照明（又は、暖房などの別のユーティリティ）を制御するために、ユーザが自身のモバイルデバイスを使用する能力は、自身のモバイルデバイスの位置が、同じ区域（例えば、同じ部屋）内に、又は恐らくは、対象となる照明に関連付けられている特定の制御ゾーン内にあると検出されていることを条件とされてもよい。他の形態の位置ベースのサービスとしては、例えば、位置依存の支払いを行うか又は受理する能力を挙げることができる。
【００１１】
別の例示的な用途として、データベースは、照明器具ＩＤを、対応の１つ以上の照明器具と同じ部屋の中の特定の博物館展示についての情報、又は、対応の１つ以上の照明器具によって照明される特定の位置のモバイルデバイスに提供される広告などの、位置固有の情報にマッピングしてもよい。モバイルデバイスは、その場合、照明からＩＤを検出することができ、このＩＤを使用して、データベース内で位置固有の情報を探索することにより、例えば、この情報をモバイルデバイスのユーザに表示することができる。更なる実施例では、ＩＤ以外のデータコンテンツが、照明に直接符号化されることができ、それにより、当該データコンテンツは、受信デバイスが探索を実行することを必要とせずに、受信デバイスに通信されることができる。
【００１２】
それゆえ、符号化光は、個人用の照明制御、屋内ナビゲーション、位置ベースのサービスなどのように、家庭、オフィス、又は他の場所における様々な商業的用途を有する。
【００１３】
上述のように、符号化光は、携帯電話又はタブレットのような日常のモバイルユーザデバイスに組み込まれる場合が多い、日常の「ローリングシャッタ」タイプのカメラを使用して、検出されることができる。ローリングシャッタカメラでは、カメラの画像取り込み要素は、ラインごとに順次に露光される、複数の水平のライン（すなわち、行）に分割されている。すなわち、所与のフレームを取り込むために、最初の１つのラインが、標的環境内の光に露光され、次いで、シーケンス内の次のラインが、僅かに遅れて露光される、などとなる。それゆえ、各ラインは、異なる時点における信号のサンプルを取り込む（典型的には、所与の各ラインからの画素は、ラインごとに単一のサンプル値に凝縮される）。典型的には、シーケンスは、フレーム全体にわたって順に、例えば、上から下へ行を成して「ロール」することにより、「ローリングシャッタ」という名前である。符号化光を取り込むために使用される場合、このことは、フレーム内の異なるラインが、異なる時点で光を取り込むことを意味し、それゆえ、変調周波数に対してラインレートが十分に高い場合には、変調波形の異なる位相において光を取り込むことを意味する。それゆえ、ローリングシャッタ読み出しは、高速の時間的光変調を、センサのライン読み出し方向の空間パターンに変換させ、この空間パターンから、符号化信号が復号されることができる。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
符号化光の検出には、光源が必ずしも空間的に均一に光を放出しないという点で、問題がある。例えば、典型的には、照明器具の符号化光放出ランプは、拡散器の背後に定置されることになり、この拡散器は、ＤＣ照明の強度を、拡散器の表面にわたって均一化する（埋め込まれた交流信号によって引き起こされる変調のみを残す）。符号化光検出器のカメラが、照明器具を「見る」場合、この均一なレベルを照明器具の表面全体にわたって見ることにより、放出される光のいずれの変動も、埋め込まれた信号に起因する変調であると想定されることができ、それゆえ、信号は、このことに基づいて復号されることができる。しかしながら、実際には、符号化光の検出は、拡散器の背後にないランプの視野に基づくことが必要とされる場合もあり、又は、拡散器が、照明レベルを均一化する点で完全ではない場合もある。同様の問題は、いずれのタイプの符号化光源でも生じる可能性がある。それゆえ、符号化光の検出の前に、光源の画像から空間的不均一性の影響を除去するための、等化機能を有する復号器を提供することが望ましいであろう。
【課題を解決するための手段】
【００１５】
このことに対処するために、本開示は、一連のフレームにわたって、フレーム領域の複数の部分のそれぞれの（例えば、各画素又は各ラインの）時間的に一連のサンプルを取得し、次いで、それらの各部分（例えば、各画素又はライン）に関して、対応する一連のサンプルにおける時間的変動を平滑化する、平均又は包絡線などの特性を確立するために、サンプルを評価することに基づく、技術を提供する。次いで、各フレーム部分（例えば、画素又はライン）は、確立された特性に基づいて等化されることができる。
【００１６】
本明細書で開示される一態様によれば、光源によって放出される可視光に変調されている信号を復号するための復号器を備える、デバイスが提供され、復号器は、カメラによって取り込まれた一連のフレームを受信することであって、一連の各フレームが、異なる時間指数における光源の画像を取り込むことと、一連の各フレームから、光源の一部を取り込むフレームの複数の部分をサンプリングすることにより、一連のフレームにわたって、上述の各部分のそれぞれの１つから、時間的に一連のサンプルを取得することと、複数の各部分に関して、対応する一連のサンプル内の時間的変動を平滑化する、特性の対応の値を決定することと、特性の対応する値を使用して、光源の不均一性を補正するために各部分に適用するべきそれぞれの等化を決定することと、それぞれの等化を各部分に適用して、それに基づいて符号化光信号を検出することとの動作を実行するよう構成される。
【００１７】
例えば、各部分は、それぞれのラインから個々の画素値を組み合わせることによってサンプリングされた、ローリングシャッタカメラの各ラインの１つであってもよい。あるいは、各部分は、画素、又は画素群（そのような群の２次元配列内の画素群）であってもよい。
【００１８】
実施形態では、上述の特性は、対応する一連のサンプルの平均であってもよい。
【００１９】
しかしながら、平均を使用することの欠点は、信頼性の高い代表値を得るために、比較的多くの数のサンプルを必要とする点である。本明細書で特定されるように、信頼性を高めるために必要なサンプルの集合がより小さい特性は、変調の包絡線である。
【００２０】
それゆえ、実施形態では、上述の特性は、対応する一連のサンプルの、上側包絡線又は下側包絡線を含む。
【００２１】
好ましい実施形態は、下側包絡線に対する上側包絡線の比が、フレーム領域の全体にわたって振動するという観察に基づくものであり、下側包絡線に対する上側包絡線の比が最大である、フレーム領域の区域では、このことは、上側包絡線及び下側包絡線の双方が良好であること、すなわち、双方が、信号の変調の振幅の正確な指標である（またそれゆえ、これらの区域では、測定された比率は、真の値に近い）ことを意味する。しかしながら、下側包絡線に対する上側包絡線の比が、最小値に向かうフレームの区域では、このことは、上側包絡線及び下側包絡線のうちの一方が不良であること、すなわち、それらの包絡線が、変調の振幅を表すものではないことによるものである。
【００２２】
それゆえ、実施形態では、復号器は、上述の等化の決定を、上述の複数の部分のそれぞれに関して、上側包絡線又は下側包絡線のうちの一方が有効であると判定することと、有効な包絡線に基づいて、適用するべき等化を決定することとによって、実行するよう構成されてもよい。
【００２３】
この場合「有効」とは、復号器が、２つの包絡線のうちの一方を、他方よりも、変調の真の振幅の代表的指標であると判定することを意味する。
【００２４】
実施形態では、復号器は、上述の等化の決定を、ａ）複数の部分のそれぞれにわたって、上側包絡線を下側包絡線と比較するメトリックを評価することと、ｂ）評価に基づいて、上側包絡線が下側包絡線と比較して最大であることを上述のメトリックが示す、上述のメトリックの値を決定することと、ｃ）上側包絡線又は下側包絡線のうちの一方が有効な包絡線ではない場合に、上側包絡線又は下側包絡線のうちの一方を、上側包絡線及び下側包絡線のうちの他方と、上述のメトリックが上側包絡線と下側包絡線との間の最大差を示す値とに基づいて再構築することによって、上述の複数の部分にわたって上側包絡線又は下側包絡線のうちの一方を再構築することであって、等化が、再構築された上側包絡線又は下側包絡線に基づいて実行されることと、によって実行するよう構成されてもよい。
【００２５】
上側包絡線と下側包絡線との間の差を示すメトリックは、本明細書で言及されるように、減法差に限定されるものではない点に留意されたい。実際に、実施形態では、上述のメトリックは、上側包絡線と下側包絡線との比である。すなわち、下側包絡線を再構築する場合には、下側包絡線が有効である部分に関しては、サンプリングされた下側包絡線自体が、再構築される下側包絡線の、それらの部分を形成するために使用されるが、しかしながら、上側包絡線が有効である部分に関しては、それらの部分において、再構築される下側包絡線は、サンプリングされた上側包絡線を、サンプリングされた下側包絡線に対するサンプリングされた下側包絡線の最大比で除算すること（又は等価的に、サンプリングされた上側包絡線に対するサンプリングされた下側包絡線の最小比で乗算すること）によって再構築される。又は、上側包絡線が再構築されている場合、上側包絡線が有効である部分に関しては、サンプリングされた上側包絡線自体が、再構築される上側包絡線の、それらの部分を形成するために使用されるが、しかしながら、下側包絡線が有効である部分に関しては、それらの部分において、再構築される上側包絡線は、サンプリングされた下側包絡線を、サンプリングされた下側包絡線に対するサンプリングされた上側包絡線の最大比で乗算すること（又は等価的に、サンプリングされた上側包絡線に対するサンプリングされた下側包絡線の最小比で除算すること）によって再構築される。
【００２６】
それゆえ、実施形態では、復号器は、ａ）複数の部分のそれぞれに関して、下側包絡線に対する上側包絡線の比を決定することであって、この比が、複数の部分にわたって空間的に振動することと、ｂ）複数の部分にわたる上述の比の最大値を決定することと、ｃ）上側包絡線又は下側包絡線のうちの一方が有効な包絡線ではない場合に、決定された上述の比の最大値で、上側包絡線及び下側包絡線のうちの他方を適宜に乗算若しくは除算することによって、上述の上側包絡線又は下側包絡線のうちの一方を再構築することによって、上述の複数の部分にわたって上側包絡線又は下側包絡線のうちの一方を再構築することであって、等化が、再構築された上側包絡線又は下側包絡線に基づいて実行されることとによる、動作ａ）〜動作ｃ）を実行するよう構成されてもよい。
【００２７】
更なる実施形態では、復号器は、上側包絡線及び下側包絡線のいずれが有効であるかについての決定を、複数の部分にわたって、下側包絡線に対する上側包絡線の比が最小である点を決定することと、上述の点のそれぞれの対応の１つに関して、ｉ）下側包絡線の特徴部であって、上述の部分のうちの１つから上述の部分のうちの隣接する１つまで、対応の一連のサンプル間で、最大値に対応する時間指数が異なっており、その場合に、上側包絡線が、対応の点の周囲の区域内の有効な包絡線であると決定される、下側包絡線の特徴部、又はｉｉ）上側包絡線の特徴部であって、上述の部分のうちの１つから上述の部分のうちの隣接する１つまで、対応の一連のサンプル間で、最大値に対応する時間指数が異なっており、その場合に、下側包絡線が、対応の点の周囲の区域内の有効な包絡線であると決定される、上側包絡線の特徴部のうち、いずれが対応の点に空間的に最も近いかを決定することとによって、実行するよう構成されてもよい。
【００２８】
すなわち、フレームのそれぞれ（各フレーム時間指数）に関して、復号器は、フレーム領域の全体にわたる（例えば、ローリングシャッタカメラのライン内に、又はフレームの画素にわたって形成される）別個の空間信号を決定する。すなわち、各空間信号は、時間指数のうちの特定の１つ（特定のフレーム）においてサンプリングされるような、フレーム全体にわたる上述の点のそれぞれ（例えば、各ライン又は画素）からのサンプルのうちの１つから構成される。それゆえ、これはまた、フレームごとの空間信号と称されることも可能である。更には、下側包絡線に対する上側包絡線の比が、最小値にある場合（又は等価的に、上側包絡線に対する下側包絡線の比が最大である場合など、すなわち、上側包絡線及び下側包絡線が最も異なる場合）、このことは、２つの包絡線のうちの一方が、変調振幅の良好な指標であるが、他方は不十分であることを意味する。本明細書では、この点において、「引き継ぎ」特徴部が見出されることが認識されている。この引き継ぎ特徴部は、２つの事項のうちの一方とすることが可能である。下側包絡線が、不良である包絡線の場合には、引き継ぎ特徴部は、異なるフレームからの空間信号のうちのいずれが最低値であるかについての、切り替えが存在する点である。その一方で、上側包絡線が、不良である包絡線の場合には、引き継ぎ特徴部は、異なるフレームからの空間信号のうちのいずれが最高値であるかについての、切り替えが存在する点である。すなわち、包絡線が不良である点では、少なくとも１つの引き継ぎ特徴部が、フレームごとの空間信号のセット内に存在することになる。上側包絡線が不良である場合には、最大値が、別のフレームごとの空間信号によって引き継がれている。その一方で、下側包絡線が不良である場合には、最小値が、フレームごとの信号のうちの別のものによって引き継がれている。このことは、後に図１６を参照して例として論じられる際に、より明らかとなるであろう。実施形態は、いずれの包絡線を使用して、いずれの位置で等化関数を構築するべきかを識別するために、この現象を利用する。
【００２９】
しかしながら、最大値が別の信号によって引き継がれていると共に、最小値も別の信号によって引き継がれている状況が存在する。その場合には、各引き継ぎ特徴部に関する傾きの差が、選択に関与することができる。最も高い値を有するものが、不良なものである。
【００３０】
それゆえ、実施形態では、復号器は、ｉ）及びｉｉ）の双方の特徴部が同じ点で生じる場合、ｉ）及びｉｉ）のそれぞれに関して、１つの部分の時間指数から隣接する部分の時間指数までの、信号の傾きの変化を決定するように、並びに、傾きの最大変化を有する、上側包絡線及び下側包絡線のうちの一方を、有効な包絡線として選択するように、構成されてもよい。
【００３１】
このことは、有利に、上側包絡線又は下側包絡線のいずれを、等化目的に関して有効であるとして宣言するべきかの選択についての、潜在的曖昧性を解決することによって、等化の信頼性、またそれゆえ復号の信頼性を向上させる。
【００３２】
実施形態では、本デバイスは、光源とカメラとの相対運動を補償するように構成されている、動き補償器を更に備える。このことは、有利には、一連の各フレーム内の複数の部分（例えば、ライン又は画素）が、一連のフレームの互いの対応する複数の部分（例えば、ライン又は画素）と、空間的に位置合わせされることを確実にする。
【００３３】
実施形態では、本デバイスは、カメラを備えてもよい。あるいは、カメラは、デバイスの外部にあってもよい。
【００３４】
本明細書で開示される別の態様によれば、カメラ及び光源を更に備える、システムが提供される。
【００３５】
実施形態では、光源は、照明器具の形態を取ってもよく、光は、環境を照射するための照明の形態を取ってもよい。
【００３６】
本明細書で開示される別の態様によれば、光源によって放出される可視光に変調されている信号を復号する方法が提供され、この方法は、カメラによって取り込まれた一連のフレームを受信するステップであって、一連のフレームのそれぞれが、異なる時間指数における光源の画像を取り込むステップと、一連のフレームのそれぞれから、光源の一部を取り込むフレームの複数の部分をサンプリングすることにより、一連のフレームにわたって、上述の部分のそれぞれの１つから、時間的に一連のサンプルを取得するステップと、複数の部分のそれぞれに関して、対応する一連のサンプル内の時間的変動を平滑化する、特性の対応する値を決定するステップと、上述の特性の対応する値を使用して、光源の不均一性を補正するために上述の各部分に適用するべきそれぞれの等化を決定するステップと、それぞれの等化を上述の各部分に適用して、それに基づいて符号化光信号を検出するステップとを含む。
【００３７】
本明細書で開示される別の態様によれば、光源によって放出される可視光に変調されている信号を復号するためのコンピュータプログラム製品が提供され、コンピュータプログラム製品は、コンピュータ可読媒体上に具現化されているコード及び／又はコンピュータ可読媒体からダウンロード可能なコードを含み、コードは、カメラによって取り込まれた一連のフレームを受信することであって、一連のフレームのそれぞれが、異なる時間指数における光源の画像を取り込むことと、一連のフレームのそれぞれから、光源の一部を取り込むフレームの複数の部分をサンプリングすることにより、一連のフレームにわたって、上述の部分のそれぞれの１つから、それぞれの時間的に一連のサンプルを取得することと、複数の部分のそれぞれに関して、対応する一連のサンプル内の時間的変動を平滑化する、特性の対応する値を決定することと、上述の特性の対応する値を使用して、光源の不均一性を補正するために上述の各部分に適用するべきそれぞれの等化を決定することと、それぞれの等化を上述の各部分に適用して、それに基づいて符号化光信号を検出することとの動作を実行するよう構成される。
【００３８】
実施形態では、これらの方法又はコンピュータプログラム製品は、本明細書で開示されるデバイス若しくはシステムの特徴のいずれかに対応するステップを更に含んでもよく、又は、それらの特徴のいずれかに対応する動作を実行するよう構成されてもよい。
【図面の簡単な説明】
【００３９】
本開示の理解を支援するために、及び、どのようにして実施形態が遂行され得るかを示すために、例として添付図面が参照される。
【図１】符号化光通信システムの概略ブロック図である。
【図２】ローリングシャッタカメラによって取り込まれたフレームの概略図である。
【図２ａ】ローリングシャッタカメラのライン読み出しを示すタイミング図である。
【図３】ローリングシャッタカメラの画像取り込み要素を概略的に示す。
【図４】ローリングシャッタによる変調光の取り込みを概略的に示す。
【図５】フレームのｘ軸及びｙ軸を示す。
【図６】符号化光信号の一実施例として正弦波が使用されている、ローリングシャッタラインｙの関数としての、受信された符号化光信号の例示的プロットである。
【図７】等化の後の図６の信号のプロットである。
【図８】同じく符号化光信号の一実施例として正弦波が使用されている、異なる対応のフレーム内に取り込まれた、受信された正弦波の複数のインスタンスのプロットである。
【図９】図８の信号インスタンスの上側包絡線及び下側包絡線のプロットである。
【図１０】図９の下側包絡線に基づいて等化された、図８及び図９の信号のプロットである。
【図１１】同じく符号化光信号の一実施例として正弦波が使用されている、異なる対応するフレーム内に取り込まれた、受信された符号化光信号の複数のインスタンスの、別の実施例のプロットである。
【図１２】図１１の信号インスタンスの上側包絡線及び下側包絡線のプロットである。
【図１３】図１２の下側包絡線に基づいて等化された、図１１及び図１２の信号のプロットである。
【図１４】図１２の上側包絡線と下側包絡線との比のプロットである。
【図１５】受信された符号化光信号を等化するための、有効な包絡線を構築するためのアルゴリズムを示す概略ブロック図である。
【図１６】図１２のプロットの詳細を示す。
【図１７】図１２及び図１６のプロットの更なる詳細を示す。
【図１８】図１５のアルゴリズム又は図１９のプロセスに従って生成された有効な包絡線に基づいて等化された、図１１及び図１２の信号のプロットである。
【図１９】受信された符号化光信号を等化するための、有効な包絡線を構築するためのプロセスを示すフローチャートである。
【発明を実施するための形態】
【００４０】
ＶＬＣ（すなわち、符号化光）システムでは、可視光源は、カメラによって撮影された光源の画像内に取り込まれることが可能な、変調のための搬送波としての役割を果たす。しかしながら、光源は、搬送波照明自体が不均一であることにより、画像内に、空間的に変動するオフセットを追加するような場合もある。光に埋め込まれている実際の信号の真の変調から、このオフセットを分離することが可能であることが望ましいであろう。したがって、以下では、取り込まれた画像から変調を抽出するために、取り込まれた不均一な光源の画像から不均一性を取り消すためのイコライザーを備える、復号器を説明する。このステップの後、搬送波は、全ての画素に関して均一になっており、変調の検出が簡単になる。不均一性の実際のパターンに対する制約は存在せず、すなわち、イコライザーは、あらゆる任意の空間関数を取り扱うことができ、いずれかの特定の不均一性の想定形状を分析的にモデル化する試みには、依存しない点に留意されたい。
【００４１】
最初に、図１〜図４を参照して、開示される技術が実施され得る例示的システムが説明される。次いで、図５〜図１９を参照して説明される、例示的な等化技術が続く。
【００４２】
図１は、符号化光を送受信するためのシステムの概略図を示す。システムは、送信機２及び受信機４を備える。例えば、送信機２は、例えば部屋の天井若しくは壁に取り付けられた、又は自立式ランプ若しくは屋外照明用ポールの形態を取る、照明器具の形態を取ってもよい。受信機４は、例えば、スマートフォン、タブレット、ラップトップコンピュータ、スマートウォッチ、又はスマートグラスなどの、モバイルユーザ端末の形態を取ってもよい。
【００４３】
送信機２は、光源１０と、光源１０に接続されているドライバ８とを含む。送信機２が照明器具を含む場合には、光源１０は、人々が、環境内の対象物及び／又は障害物を見ること、並びに／あるいは、自身の進む方向を見つけ出すことを可能にするために、部屋又は屋外空間などの環境を照明するために好適なスケールで、照明を放出するように構成されている、照明源（すなわち、ランプ）の形態を取る。照明源１０は、ＬＥＤのストリング若しくはアレイを含む、ＬＥＤベースのランプ、又は、フィラメント電球などの白熱ランプなどの、任意の好適な形態を取ってもよい。送信機２はまた、ドライバ８を介して駆動される光源１０を制御するための、ドライバ８の入力に結合されている符号器６も含む。特に、符号器６は、周期的に繰り返される符号化光メッセージを埋め込むために、ドライバ８を介して光源１０を制御して、光源１０が放出する照明を変調するように構成されている。このことを行うために、任意の好適な既知の変調技術が使用されてもよい。実施形態では、符号器６は、送信機２のメモリ上に記憶され、送信機の処理装置上での実行のために構成されている、ソフトウェアの形態で実装されている（ソフトウェアが記憶されているメモリは、１つ以上の記憶媒体、例えばＥＥＰＲＯＭ又は磁気ドライブを採用する、１つ以上のメモリユニットを含み、ソフトウェアが実行される処理装置は、１つ以上の処理ユニットを含む）。あるいは、符号器６の一部又は全てが、専用のハードウェア回路、あるいは、ＰＧＡ若しくはＦＰＧＡなどのコンフィギュラブル又はリコンフィギュラブルなハードウェア回路として実装されることが可能である点も、排除されるものではない。
【００４４】
受信機４は、カメラ１２と、カメラ１２によって取り込まれた画像を受信するために、カメラ１２からの入力に結合されている、符号化光復号器１４とを含む。受信機４はまた、カメラ１２の露出を制御するように構成されている、コントローラ１３も含む。実施形態では、復号器１４及びコントローラ１３は、受信機４のメモリ上に記憶され、受信機４の処理装置上での実行のために構成されている、ソフトウェアの形態で実装されている（ソフトウェアが記憶されているメモリは、１つ以上の記憶媒体、例えばＥＥＰＲＯＭ又は磁気ドライブを採用する、１つ以上のメモリユニットを含み、ソフトウェアが実行される処理装置は、１つ以上の処理ユニットを含む）。あるいは、復号器１４及び／又はコントローラ１３の一部若しくは全てが、専用のハードウェア回路、あるいは、ＰＧＡ若しくはＦＰＧＡなどのコンフィギュラブル又はリコンフィギュラブルなハードウェア回路として実装されることが可能である点も、排除されるものではない。
【００４５】
符号器６は、本明細書で開示される実施形態による送信側動作を実行するよう構成され、復号器１４及びコントローラ１３は、本明細書の開示による受信側動作を実行するよう構成される。また、符号器６は、必ずしも、光源１０及びドライバ８と同じ物理ユニット内に実装される必要はない点にも留意されたい。実施形態では、符号器６は、ドライバ及び光源と共に、照明器具内に埋め込まれてもよい。あるいは、符号器６は、照明器具４の外部に、例えば、任意の１つ以上の好適なネットワークを介して（例えば、インターネットを介して、又はＷｉ−Ｆｉ若しくはＺｉｇＢｅｅ、６ＬｏｗＰＡＮ若しくはＢｌｕｅｔｏｏｔｈネットワークなどのローカル無線ネットワークを介して、又はＥｔｈｅｒｎｅｔ若しくはＤＭＸネットワークなどのローカル有線ネットワークを介して）照明器具４に接続されている、サーバ又は制御ユニット上に実装されることも可能である。外部符号器の場合には、一部のハードウェア及び／又はソフトウェアは、規則的なタイミングの信号を提供して、それによりジッタ、サービス品質の問題などを防止することを手助けするために、依然として、照明器具４にオンボードで設けられてもよい。
【００４６】
同様に、符号化光復号器１４及び／又はコントローラ１３は、必ずしも、カメラ１２と同じ物理ユニット内に実装されない。実施形態では、復号器１４及びコントローラ１３は、例えば、スマートフォン、タブレット、スマートウォッチ、又はスマートグラスなどのモバイルユーザ端末と同じユニット内に組み込まれてもよく、例えば、一体となって組み込まれてもよい（例えば、ユーザ端末上にインストールされた、アプリケーション又は「アプリ」の形態で実装されている）。あるいは、復号器１４及び／又はコントローラ１３は、外部端末上に実装されることも可能である。例えば、カメラ１２は、専用のカメラユニット、又は、スマートフォン、タブレット、スマートウォッチ、若しくはスマートグラスのようなモバイルユーザ端末などの、第１のユーザデバイス内に実装されてもよく、その一方で、復号器１４及びコントローラ１３は、任意の好適な接続又はネットワーク、例えば、シリアルケーブル若しくはＵＳＢケーブルなどの１対１接続を介して、あるいは、インターネット、又はＷｉ−Ｆｉ若しくはＢｌｕｅｔｏｏｔｈネットワークのようなローカル無線ネットワーク、又はＥｔｈｅｒｎｅｔ若しくはＤＭＸネットワークのようなローカル有線ネットワークなどの、任意の１つ以上の好適なネットワークを介して、第１の端末上のカメラ１２に接続されている、ラップトップ、デスクトップコンピュータ、又はサーバなどの、第２の端末上に実装されてもよい。
【００４７】
図３は、ローリングシャッタカメラの形態を取る、カメラ１２の画像取り込み要素１６を表す。画像取込み要素１６は、各画素に入射する光を表す信号を取り込むための、画素のアレイ、例えば、典型的には、正方形若しくは矩形の画素の、正方形又は矩形のアレイを含む。ローリングシャッタカメラでは、これらの画素は、水平の行１８の形態の、複数のラインに配置されている。フレームを取り込むために、各ラインが順次に、カメラの露光時間Ｔｅｘｐの連続インスタンスにわたってそれぞれ露光される。この場合、露光時間は、個々のラインの露光の持続時間である。デジタルカメラの文脈では、用語「露光する」又は「露光」とは、（これらの用語が、歴史的に由来とする）機械的なシャッタ動作などを指すものではなく、むしろ、環境から光を取り込むか又はサンプリングするために、アクティブにラインが使用されている時間を指す。また、本開示におけるシーケンスとは、時間的シーケンスを意味するものであり、すなわち、各ラインの露光は、僅かに異なる時間で開始する点にも留意されたい。このことは、ラインの露光がオプションとして、時間的に重複してもよいこと、すなわち、露光時間Ｔｅｘｐが、ライン時間（１／ラインレート）よりも長いことを排除するものではなく、実際に、典型的には、このことが当てはまる場合の方が多い。例えば最初に、最上行１８１が持続時間Ｔｅｘｐにわたって露光され始め、次いで僅かに遅れて、第２の下の行１８２が、Ｔｅｘｐにわたって露光され始め、次いで、同じく僅かに遅れて、第３の下の行１８３が、Ｔｅｘｐにわたって露光され始め、以下、最下行が露光されるまで、同様となる。次いで、このプロセスが、フレームのシーケンスを露光するために繰り返される。このことの一実施例が、図２ａに示されており、垂直軸は、ローリングシャッタ画像取り込み要素の異なるライン１８を表し、水平軸は、時間（ｔ）を表す。各ラインに関して、参照番号５０は、リセット時間を標識し、参照番号５２は、露光時間Ｔｅｘｐを標識し、参照番号５４は、読み出し時間を標識し、参照番号５６は、電荷転送時間を標識する。Ｔｆｒａｍｅは、フレーム期間（すなわち、１／フレームレート）である。
【００４８】
符号化光は、このタイプの従来のビデオカメラを使用して検出されることができる。信号検出は、ローリングシャッタ画像取り込みを利用するものであり、これにより、時間的光変調を、連続する画像行にわたる空間的強度変動に変換させる。
【００４９】
このことは、図４に概略的に示されている。連続する各ライン１８が露光される際、僅かに異なる時間で露光され、それゆえ（ラインレートが変調周波数と比較して十分に高い場合には）僅かに異なる変調の位相で露光される。それゆえ、各ライン１８は、対応の瞬時レベルの変調光に露光される。このことは、所与のフレームにわたって、変調と共に揺動又は循環する、縞のパターンを結果としてもたらす。この原理に基づいて、復号器１４は、カメラ１２によって受光された光に変調されている、符号化光成分を検出することが可能である。
【００５０】
符号化光の検出に関して、ローリングシャッタ画像センサを有するカメラは、図４に関連して論じられたように、連続的センサラインの、異なる時間のインスタンスが、高速の光変調を空間パターンに変換させるという点で、（フレーム全体が一度に露光される）グローバルシャッタ読み出しに勝る利点を有する。しかしながら、図４に示されるものとは異なり、所与の光源４からの光（又は、少なくとも使用可能な光）は、必ずしも画像取り込み要素１６全体の領域をカバーするものではなく、むしろ、特定のフットプリントのみをカバーする。結果として、取り込まれた光のフットプリントの垂直方向の広がりが短いほど、符号化光信号が検出可能となる持続時間が長くなる。実際には、このことは、単一のフレーム内では、符号化光信号全体の時間的断片のみが取り込まれることが可能であることを意味し、それにより、符号化光に埋め込まれているデータを復元するために十分なシフト信号断片を取り込むためには、複数のフレームが必要となる。各フレーム内の信号断片が小さくなるほど、データ復元が可能となる前に、より多くのフレームが取り込まれることが必要となる。
【００５１】
図２を参照すると、カメラ１２は、光源１０にカメラが向けられる場合には、光源１０からの光の画像１０'を含むことになる、一連のフレーム１６'を取り込むように構成されている。論じられたように、カメラ１２は、ローリングシャッタカメラであり、このことは、カメラ１２が、各フレーム１６'を、（グローバルシャッタカメラの場合のように）一度に全て取り込むのではなく、ライン１８のシーケンスとして、ラインごとに取り込むことを意味する。すなわち、各フレーム１６は、複数のライン１８に分割されており（ラインの総数は、図２では２０で標識されている）、各ラインは、フレーム１６全体にわたって広がり、１つ以上の画素の厚さである（例えば、水平のラインの場合には、フレーム１６の幅にわたって広がり、１つ以上の画素の高さである）。取り込みプロセスは、１つのライン１８を露光させることによって開始して、次いで、その次（典型的には、隣接するライン）を露光させ、次いで、その次を露光させるなどとなる。例えば、取り込みプロセスは、最上ラインを露光させることによって開始して、次いで、その次の上からのラインを露光させ、次いで、その次の下のラインを露光させるなどとして、フレーム１６'の上から下にロールしてもよい。あるいは、下から上へ、ましては左右にもロールすることが可能である。当然のことながら、カメラ１２が、モバイルデバイス又は可動デバイス内に含まれることにより、種々の方向に向けられることが可能な場合には、外部基準系に対するラインの向きは可変である。それゆえ、用語の問題として、フレームの平面内でのラインに垂直な方向（すなわち、ライン読み出し方向とも称される、ローリング方向）は、垂直方向と称されるものとし、その一方で、フレーム１６'の平面内でのラインに平行な方向は、水平方向と称されるものとする。
【００５２】
符号化光を検出することを目的として、サンプルを取り込むために、所与の各ライン１８の個々の画素サンプルの一部又は全ては、当該ラインに関する、対応の組み合わせサンプル１９へと組み合わされる（例えば、符号化光信号に有効に寄与する「アクティブな」画素のみが組み合わされる一方で、当該ラインからの画素の残部は破棄される）。例えば、当該組み合わせは、画素値を積分若しくは平均化することによって、又は任意の他の組み合わせ技術によって実行されてもよい。あるいは、特定の画素が、各ラインの代表として取得されることも可能である。いずれにせよ、各ラインからのサンプルは、それゆえ、異なる時点で符号化光信号をサンプリングしている、時間信号を形成することにより、サンプリングされた信号から、符号化光信号が検出及び復号されることを可能にする。
【００５３】
完全を期すために、フレーム１６はまた、いくつかのブランキングライン２６も含み得る点に留意されたい。典型的には、ラインレートは、全てのアクティブライン（画像センサの実際のライン数）に関して厳密に必要とされるよりも幾分高い。画像センサのクロックスキームは、画素クロックを最も高い周波数として使用し、フレームレート及びラインレートは、当該画素クロックから導出される。このことは、典型的には、ある程度の水平ブランキングをラインごとに与え、ある程度の垂直ブランキングをフレームごとに与える。
【００５４】
また、専用のローリングシャッタカメラと同様に、ローリングシャッタモード及びグローバルシャッタモードの双方をサポートする、ＣＭＯＳイメージャもまた存在している点にも留意されたい。例えば、これらのセンサはまた、一部のモバイルデバイスに近い将来組み込まれ得るような、一部の３Ｄレンジカメラにおいても使用される。本明細書で使用するとき、用語「ローリングシャッタカメラ」とは、ローリングシャッタ機能を有する任意のカメラを指し、必ずしも、ローリングシャッタ取り込みを実行することのみが可能なカメラに限定するものではない。
【００５５】
本明細書で開示される技術は、ローリングシャッタ取り込み又はグローバルシャッタ取り込みのいずれにも適用されることができる。それにもかかわらず、上記の詳細は、ローリングシャッタ取り込みを利用する、本開示の実施形態に関する文脈を提供するために説明されている。
【００５６】
従来のＶＬＣ解決策は、拡散光源のみを使用する。拡散光源を使用する場合、光源は、変調が存在している均一な光源として、取り込まれた画像内に現れる。実際に、光源が（変調は別として）均一に現れるように、拡散器が光を均等に拡散させる場合には、変調の検出は簡単である。しかしながら、実際には、照明器具の設計は、多くの場合、拡散型ではなく、ましては拡散器が存在する場合も、拡散が完全には均一ではない場合もある。その結果、そのような光源から変調を抽出する試みは、検出の信頼性に関する問題を生じさせる。このことに対処するために、以下では、変調波形の検出の信頼性がより高くなるように、均一性が回復されることが可能な、等化技術を提供する。開示される等化技術を使用することによって、符号化光の検出の信頼性は、照明器具の設計とは無関係になる。
【００５７】
開示される技術は、関連するカメラの画素又はラインのそれぞれに関して、特定の変調特性を抽出することに基づくものであり、この変調特性は、画素ごとに又はラインごとに適用するべき等化を決定するために使用されることができる。好ましくは、短時間で検出されることが可能な特性を使用することが望ましい。変調の包絡線が良好な選択であることが判明している。この特性が、取り込まれた画像の各画素又は各ラインに関して既知である場合には、等化が実行されることができる。最終的な結果は、全ての関連画素又は関連ラインにわたってＤＣ値が均一であるＤＣ搬送波上に重畳されている、変調された画素又はラインのセットである。
【００５８】
図５に示されるような、それぞれｘ軸及びｙ軸に沿った、Ｘ×Ｙの画素からなる、カメラ画像を考察する。カメラライン１８は、ｘ軸に平行に延びている。均一なＤＣ光源１０が、ローリングシャッタカメラ１２によって観察される場合、理想的には、全ての画素が、最終的に同じ値となる。光源１０に変調が追加される場合、或る１つのライン１８上の画素は、ローリングシャッタメカニズムに起因する連続時間信号の、特定のタイムスタンプを表す。符号化光源１０によって放出される光が、信号ｓで変調されていると想定する。正規化された積分強度Ｉは、以下となる：
Ｉ（ｔ）＝１＋ｓ（ｔ）
カメラ１２の露光時間が、変調周波数よりも遥かに短い場合、ローリングシャッタカメラに関して、以下を定義することができる：
Ｐ（ｘ，ｙ）＝λ（１＋ｓ（ｎＴｌｉｎｅ））
式中、Ｐは、サンプリングされた画素値であり、Ｔｌｉｎｅは、１／ラインレート（ラインレート分の１）であり、ｎＴｌｉｎｅは、離散時間軸（ｎ＝０、１、２...）である。ブランキング時間を有さないカメラセンサを使用する場合、時間軸上の時間ｎＴｌｉｎｅでサンプリングされた光強度は、ライン位置ｙ＝ｎのｙ＿ｓｉｚｅによる剰余に対応し、式中、ｎは離散時間軸であり、ｙ＿ｓｉｚｅは、フレーム領域の垂直サイズ（すなわち、ラインの数）である。係数λは、特定の画素によって知覚されるような光部分を表す。光源１０が均一である場合には、λは、全てのライン、及びライン上の全ての画素に関して固定されている。この状況では、変調は、固定ＤＣを検出して、この固定ＤＣを全ての画素から減算することによって、容易に取得されることができる。
【００５９】
しかしながら、実際には、光源１０は必ずしも均一ではない。この結果、λは、フレーム領域内の空間位置に依存することになる。それゆえ、不均一光源に関するサンプリングされた画素値Ｐは、以下となる：
Ｐ（ｘ，ｙ）＝λ（ｘ、ｙ）（１＋ｓ（ｎＴｌｉｎｅ））
隣接するλ値は、ランプの光学設計に応じて、場合によっては低い相関を有し得る。そのような場合には、画像から変調を抽出することは容易ではない。
【００６０】
このことに関する一般的な解決策として、λ値間の相関に依存しない等化方法が提示される。イコライザーの目的は、画素値Ｐ（ｘ，ｙ）をスケール係数Ｅ（ｘ，ｙ）によってスケール変換することであり、それにより、λ（ｘ，ｙ）Ｅ（ｘ，ｙ）が、全ての画素に関して固定されることになる（不均一性は、乗法的な歪みであるため、乗算又は除算によって取り消すことができる）。等化の後、光源は、ＤＣ均一となり、又は換言すれば、搬送波は、全ての画素に関して固定値を有し、符号化光信号自体の変調に起因する変動のみが残されている。すなわち、空間の関数としてのスケール係数Ｅは、光源１０における不均一性λの影響を取り消すための、等化関数を提供する。
【００６１】
したがって、復号器１４は、間もなく説明されることになる技術に基づいて等化関数Ｅ（ｘ，ｙ）を決定し、次いで、空間的に変動する不均一性λ（ｘ，ｙ）の影響を相殺するために、フレーム領域１６の画素値Ｐ（ｘ、ｙ）全体にわたって等化関数Ｅ（ｘ，ｙ）を適用するように、すなわち、各位置に関する対応の等化Ｅ（ｘ，ｙ）を、当該位置で取り込まれたサンプルに適用するように、構成される。乗法のスケール係数に関しては、このことは、画素値Ｐ（ｘ、ｙ）のそれぞれに、対応の画素に関する対応のスケール係数Ｅ（ｘ、ｙ）を乗算することを意味する。間もなく説明されるように、所与のラインからの複数の画素値が、ラインごとに単一のサンプルに組み合わされる、ローリングシャッタの場合には、原理はまた、ラインごとに１次元でも適用され、すなわち、Ｅ＝Ｅ（ｙ）、λ＝λ（ｙ）などとすることができる。
【００６２】
以下では、変調から符号化光メッセージを復号する前に、復号器１４が実行するよう構成される、等化プロセスを説明する。原理は、以下では、動きのないシナリオに関して説明される。光源１０とカメラ１２との相対運動を伴う（光源１０が移動することによる、又は、カメラ１２が移動することによる、あるいは双方による）シナリオに対応するために、復号器１４は、この動きを補償するための動き補償アルゴリズムを適用してもよい。すなわち、動き補償は、フレーム領域の各部分（例えば、各画素又は各ライン）が、取り込まれた各フレームから次のフレームへと、光源１０の同じ部分を取り込むことを確実にする。あるいは、動きが存在しない場合には、いずれにせよ、フレーム領域の各部分（例えば、画素又はライン）が、各フレームから次のフレームへと、光源１０の同じ部分を取り込むことになるであろう。
【００６３】
個々の画素を等化する場合、等化は、複数のフレームにわたって、所与の画素位置における画素値のセットを測定することに基づいて決定され、セット内の対応する値は、異なる対応のフレームタイムスタンプ（時間指数）における、異なるフレームから測定されている。次いで、このことが、符号化光源１０のフットプリント１０'にわたって繰り返され、すなわち、そのような値のセットは、フットプリント１０'が存在している、フレーム領域１６内の各画素に関して収集される。
【００６４】
各画素位置に関して、対応のセット内の値は、λ（ｘ、ｙ）（１＋ｓ（ｎＴｌｉｎｅ））の異なる瞬間値を表し、λは経時的に固定されているが、Ｓ（ｎＴｌｉｎｅ）は、異なるラインタイムスタンプＴｌｉｎｅにおける信号を表すものであるため、異なっている。画素値は、値のセットに基づいて、λ（ｘ、ｙ）（１＋Ｃ）のような形態の項が算出されることができる場合に、補正されることができる。復元された変調関連の項Ｃは、全ての画素位置に関して同じであるべきである。この場合、画素値Ｐは、対応の画素に、係数１／（λ（ｘ、ｙ）（１＋Ｃ））を適用することによって、最終結果（１＋ｓ（ｎＴｌｉｎｅ））／（１＋Ｃ）で等化されることができる。この時点で、変調搬送波は、全ての画素に関して固定されている。
【００６５】
Ｃは、例えば、変調信号ｓの長期平均とすることができる。このことの欠点は、値のセット（すなわち、フレーム数）が、そのような特性を算出することが可能となるためには、比較的大きいことが必要となる点である。必要とする値のセットが遙かに小さい特性は、ｓの振幅である。この特性は、変調振幅が一定である限り使用されることができる。
【００６６】
以下では、変調振幅を使用することに基づく、等化原理の一実施例を説明する。
【００６７】
例として、信号ｓが、正弦波であるｍ＊ｓｉｎ（ωｎＴｌｉｎｅ）の形態を取る場合を考察する。実施例を直感的なものに保つために、ローリングシャッタカメラ１２の１つのライン１８当たり、単一のサンプルのみが取得される場合もまた考察するが、これは例えば、各ラインの画素が、ラインごとに単一のサンプルに凝縮されるためである。この場合λは、ｙ位置にのみ依存する。
【００６８】
与えられる実施例では、正規化された光強度Ｉは、以下のように表されてもよい：
Ｉ（ｎＴｌｉｎｅ）＝（１＋ｍ＊ｓｉｎ（ωｎＴｌｉｎｅ））
式中、ｍは変調指数であり、すなわち、放出光強度における変調の振幅である。例示目的のために、ここで、ｍ＝０．１であり、ｙが範囲［０...４７９］に及び、λ（ｙ）が、ｙ＝０からｙ＝４７９までの範囲にわたって、０から１へと直線的に傾斜する場合を考察する。
【００６９】
以下の図６のプロットは、水平軸上のｙ位置０〜４７９に対する、λ（ｙ）（１＋ｍ＊ｓｉｎ（ωｎＴｌｉｎｅ））によるラインごとのサンプル値を示す。
【００７０】
変調振幅に基づいて等化することが可能であるためには、振幅を示すパラメータは、全てのｙ位置に関して決定される必要がある。本開示の実施形態によれば、復号器１４は、信号の上側包絡線及び／又は下側包絡線を、信号の振幅の尺度として測定するよう構成される。上側包絡線及び下側包絡線は、図６のグラフでは、点線によって示されている。下側包絡線は、λ（ｙ）（１−ｍ）によって説明されることができ、上側包絡線はλ（ｙ）（１＋ｍ）によって説明されることができる。それゆえ、下側包絡線で除算することによって、復号器１４は、不均一性λ（ｙ）の影響を相殺することができ、それにより、図７のプロットで示されるような（１＋ｍ＊ｓｉｎ（ωｎＴｌｉｎｅ））／（１−ｍ）に、画像を等化することができる。又は代替的に、上側包絡線で除算することによって、復号器１４は、（１＋ｍ＊ｓｉｎ（ωｎＴｌｉｎｅ））／（１＋ｍ）に等化することができる。
【００７１】
以下では、復号器１４が包絡線を推定し得るプロセスを説明する。上述のように、一般に、λの値は無相関であると想定されてもよい（図６の傾斜形状は、単に例示目的のためである）。この理由のため、復号器は、各サンプル位置ｙに関して、異なるフレームタイムスタンプにおけるサンプル値のセットを収集する。例えば、位置ｙの所与のラインに関して、複数の画像のそれぞれから、異なるサンプル値が収集される。以下の実施例では、５つの値又は５つの画像のセットが収集される。図６及び図７の実施例を継続すると、図８は、ローリングシャッタカメラのラインにわたって現れる５つの異なる空間信号を示し、これらの５つの信号のそれぞれは、一連の５つの取り込まれたフレームのうちの、異なる１つに対応しており、各信号は、各ラインに関する５つのサンプル値のセットのうちの対応の１つから構築されている、受信信号の異なるインスタンスを表している。
【００７２】
各データセットの最大値を取ることで、上側包絡線が与えられ、最小値を取ることで、下側包絡線が与えられる。このことが、図９に示される。
【００７３】
図９の下側包絡線を使用して、図８の点線の信号インスタンスがサンプリングされた画像を等化することによって、復号器１４は、それゆえ、図１０に示される等化された信号を得る。正弦波は、推定された下側包絡線内のリップルに起因する、小さい歪みを有する。
【００７４】
上記の実施例では、各データセットは、許容可能な精度で包絡線を与えている。しかしながら、アルゴリズムの精度が低下する状況が存在する。それゆえ、実施形態では、復号器１４は、以下で説明されるように、包絡線の推定に精緻化を適用するよう構成される。この場合もまた、実施例は、１つのライン当たり５つのサンプル値のセットを収集し、これらのサンプルに基づいて包絡線を検出することに基づいて説明される。
【００７５】
図１１及び図１２は、図７及び図８のプロットに対応するプロットを示しているが、空間信号の位相は、或る１つのフレームから次のフレームまでに、極めて緩徐にのみドリフトする。このことは、変調周波数がフレームレートの整数倍に極めて近い場合に生じる。それゆえ、図１２から理解することができるように、１つのライン当たり５つのサンプルから構築されている包絡線は、少なくとも全ての点においては、変調の真の振幅の、極めて正確な表現ではない。むしろ、包絡線は大きいリップルを含み、当該大きいリップルは、当該点における等化のために使用される場合には、さほど良好にλ（ｙ）の影響を取り除くことのない、不十分な等化を結果的にもたらすことになる。
【００７６】
図１３は、図８〜図１０に関連して前述されたものと同じ手順に基づいて、図１２の下側包絡線を使用して、図１１の点線の信号インスタンスが取得された画像を等化した結果を示す。正弦波は、推定された包絡線における大きい誤差に起因して、激しく歪んでいる。このことを解決するための１つの方法は、データセットのサイズを、５つから遥かに高い値へと増大させることである。このことは、基本的に、より多くの画像を収集する結果として、検出時間が増大することを意味する。それゆえ、大きいデータセットを収集することに必ずしも依存しない、代替的な解決策を見出すことが望ましいであろう。
【００７７】
図１２の、検出された上側包絡線及び下側包絡線をより詳細に見ると、上側包絡線及び下側包絡線が交互に正しいため、実際には、等化を正しく実行するために十分な情報が存在していることが判明する。すなわち、上側包絡線及び下側包絡線のうちの一方又は他方が（ただし、双方が同時にではなく）、依然として常に、信号振幅の良好な表示を与えている。それゆえ、本開示の実施形態では、復号器１４は、フレーム領域１６の一部の部分を等化するために、上側包絡線及び下側包絡線のうちの一方を使用し、フレーム領域の他の部分を等化するために、他方の包絡線を使用するよう構成される。実施形態では、このことは、上側包絡線及び下側包絡線から、１つの正しい包絡線を再構築することによって達成される。
【００７８】
以下の関係を考察する：
【数１】
2020507258.tif 000003
式中、ｅｕは上側包絡線であり、ｅｌは下側包絡線である。λ（ｙ）項が消えるため、比は一定となり、比の値は、変調指数ｍにのみ依存する。この値は、推定された上側包絡線及び下側包絡線の双方が有効である場合（すなわち、双方が真の信号振幅の良好な表現である場合）に最大であり、双方の包絡線が常に有効であった場合には、一定になるであろう。しかしながら、包絡線のうちの一方が有効ではない場合、比は、より低い値に低下することになる。図１４は、図１１及び図１２の実施例に基づく、ｙの関数としての包絡線比を示す。
【００７９】
この曲線から、復号器１４は、２つの特性を推定することができる。上側包絡線及び下側包絡線の双方が正しいと想定されるピーク値に基づいて、変調指数ｍが取得されることができる。その一方で、極小値は、推定された包絡線が最大の推定誤差を有する点を示す。
【００８０】
図１５のブロック図は、入力された包絡線ｅｕ（ｙ）及びｅｌ（ｙ）の双方からの有効部分から構築されている、再構築された下側包絡線ｅｌ（ｙ）'を作成するための、復号器１４の機能要素を示す。
【００８１】
これらの要素は、「包絡線比を算出する」と標識され得る第１の機能ブロック２８と、「変調指数を検出する」と標識され得る第２の機能ブロック３０と、「極小比を検出する」と標識され得る第３の機能ブロック３２と、「包絡線選択マスクを作成する」と標識され得る第４の機能ブロック３４と、乗算器３６とを含む。
【００８２】
第１の機能ブロック２８は、入力された上側包絡線ｅｕ（ｙ）及び下側包絡線ｅｌ（ｙ）に基づいて、ｙの関数として包絡線比を算出し、算出された包絡線比を、第２の機能ブロック３０及び第３の機能ブロック３２のそれぞれに出力する。
【００８３】
第２の機能ブロック３０は、算出された包絡線比に基づいて、変調指数ｍを決定する。前述されたように、ｙに対してプロットされるような包絡線比のピーク（図１４を参照）では、上側包絡線及び下側包絡線の双方が正しいと想定され、その結果、関係式包絡線比＝（１＋ｍ）／（１−ｍ）が使用されることができる。完全を期すために、アルゴリズムは、必ずしもｍを明示的に算出する必要がない点に留意されたい。むしろ、当該アルゴリズムは、包絡線比（１−ｍ）／（１＋ｍ）を決定することのみを必要とする（当該包絡線比から、ｍは明確に計算されることが可能であるが、等化を実行するためには計算される必要はない）。
【００８４】
第３の機能ブロック３２は、ｙに対してプロットされるような包絡線比における最小値を検出して、これらの最小値の位置（すなわち、谷部）を第４の機能ブロック３４に示す。第４の機能ブロックは、包絡線比におけるこれらの谷部のそれぞれの周囲の、受信信号内の区域に関して、上側包絡線及び下側包絡線のいずれが有効であり、それゆえ、いずれが等化に関して使用されるべきであるかを決定する。この選択は、空間位置ｙの関数として、本明細書では選択マスクと称されてもよい。
【００８５】
下側包絡線及び上側包絡線のうちの一方の、単一の有効バージョンを再構築するためには、他方の包絡線が唯一の有効な包絡線である場合、他方の包絡線が、他方の包絡線に対する一方の包絡線の真の比（比の測定バージョンにおけるピークに基づいて、第１の機能ブロックによって決定されたもの）で乗算される。すなわち、下側包絡線を再構築する場合には、入力された上側包絡線ｅｕ（ｙ）は、少なくとも入力された上側包絡線ｅｕ（ｙ）が唯一の有効な包絡線である区域において、（１−ｍ）／（１＋ｍ）で乗算され、選択マスクは、再構築される下側包絡線ｅｌ'（ｙ）を、入力された現状のままの下側包絡線ｅｌ（ｙ）から形成するべき箇所、及び、そうではなく、再構築される下側包絡線ｅｌ'（ｙ）を、入力された上側包絡線に基づいて、すなわちｅｕ（ｙ）（１−ｍ）／（１＋ｍ）から形成するべき箇所を決定する。次いで、復号器１４は、フレーム領域内の空間位置の関数として、フレーム領域１６全体にわたって、再構築された下側包絡線ｅｌ'（ｙ）で、受信された値（この場合は、ラインサンプル値）を除算することによって、受信された画像を等化する。
【００８６】
同様に、上側包絡線を再構築する場合には、入力された下側包絡線ｅｌ（ｙ）は、少なくとも入力された下側包絡線ｅｌ（ｙ）が唯一の有効な包絡線である区域において、（１＋ｍ）／（１−ｍ）で乗算され、選択マスクは、再構築される上側包絡線を、入力された現状のままの上側包絡線ｅｕ（ｙ）から形成するべき箇所、及び、そうではなく、再構築される上側包絡線を、入力された下側包絡線に基づいて、すなわちｅｌ（ｙ）（１＋ｍ）／（１−ｍ）から形成するべき箇所を決定する。次いで、復号器１４は、フレーム領域全体にわたって、再構築された下側包絡線ｅｌ'（ｙ）で、受信された値を除算することによって、受信された画像を等化する。
【００８７】
説明されたアルゴリズムに関して、λ値の間には相関が想定されておらず、このことはまた、選択マスクの作成に関しても当てはまる点に留意されたい。選択マスクの作成を更に説明するために、図１６に示されるように、５つの要素のデータセット集合を考察するが、１つの包絡線比（ｙ）に対して「拡大表示」されている。
【００８８】
包絡線の構築は、それぞれの個々の信号が、時間的にどのように進展するかに依存する。上述のシナリオでは、全ての信号インスタンスが、ほぼ同じ位置に配置される状況が存在することが理解され得る。このことは、任意の所与の点において、極めて信頼性が高く安定した１つの包絡線と、遷移している信号から構築されている１つの包絡線とが存在していることを意味する。
【００８９】
信頼性の高い包絡線に関する選択基準として、本開示の実施形態は、上側包絡線と下側包絡線との比が、最大値を実質的に下回る場合に、このことは、上側包絡線及び下側包絡線のうちの一方が現在、遷移している信号から構築されているという想定に基づく、技術を提供する。この方法は、帯域制限変調に関して良好に機能する。開始点として、本明細書における開示は、「引き継ぎ」特徴部の概念を導入し、その一実施例が、図１６の３８で指標されている。例えば、下側包絡線の場合には、位置ｙの最小値と位置ｙ＋１の最小値とが、異なる信号インスタンス（すなわち、異なるフレームタイムスタンプに対応する信号）によって定義される場合、引き継ぎ点が生じる。換言すれば、最小値は、別の空間信号によって引き継がれる。同様に、上側包絡線に関して、位置ｙの最大値と位置ｙ＋１の最大値とが、異なる信号インスタンスによって定義される場合、引き継ぎ点が生じ、すなわち、最大値は、別の空間信号によって引き継がれる。
【００９０】
包絡線比において極小値が検出されると、復号器１４は、包絡線ｅｕ（ｙ）、ｅｌ（ｙ）のうちの一方が、遷移している信号から構築されている可能性が高いという想定に従って、動作する。そのため、包絡線比の極小値において、上側包絡線又は下側包絡線のうちの一方に関して、引き継ぎ特徴部もまた予想されることになる。一方の包絡線が、厳密に当該点において引き継ぎ特徴部を有する一方で、他方が有さない場合には、復号器は、後者の包絡線を、信頼性が高いものとして選択する。選択された包絡線はまた、最小値の厳密な点の周囲の区域（例えば、当該点の周囲の所定の空間窓）に関しても使用される。
【００９１】
往々にして、双方の包絡線が、包絡線比の最小値が生じる特定のｙ位置で、引き継ぎ特徴部を含む場合がある。そのような場合に対応するために、アルゴリズムは、引き継ぎ点における傾きの差である、引き継ぎ速度を使用することによって拡張されてもよい。このことは、図１７に示されている。傾きは、（画素値（ｙ＋１）−画素値（ｙ））／Δｙとして定義される。引き継ぎ速度は、絶対値（傾き１−傾き２）として定義される。
【００９２】
２つの包絡線に関して引き継ぎ速度を比較する場合、遷移している信号インスタンスから構築された包絡線は、より高い引き継ぎ速度を有することになる。それゆえ、復号器１４は、包絡線を不良な包絡線として宣言し、等化に使用するために他方を選択するよう構成される。
【００９３】
この基準は、実際のλとは無関係である。より具体的には、個々の引き継ぎ速度値は、実際のλ（ｙ）及びλ（ｙ＋１）に依存するが、引き継ぎ速度値の比は、一定のままである。すなわち、最も低い引き継ぎ速度を有するものが、信頼性の高いものであり、実際のλは、いずれが最も低いかの役割を果たすものではない。
【００９４】
上記の全ての説明によれば、不均一な光源に対応するために等化を実行する際に使用するための、信頼性の高い包絡線を選択するためのメカニズムが説明されている。包絡線比の極小点に基づく当該選択は、比の下落の持続時間全体にわたって有効である。信頼性の高い包絡線の選択プロセスの概要が、図１９のフローチャートに示される。本プロセスは、取り込まれた画像の等化されたバージョンからメッセージを実際に復号する前に、復号器１４によって実施される。
【００９５】
ステップ１０２で、本プロセスは、位置ｙにおいて、包絡線比が極小値を有するか否かを判定する。有さない場合には、本プロセスは、考慮されるべき次のｙの値（すなわち、次の位置）に進む、ステップ１０４に進み、次いで、ステップ１０２に折り返す。包絡線もまた、最小値の周囲のいくつかサンプルの窓内で（例えば、所定の数のサンプル内で）かなり不良となり、再構築されることになる点に留意されたい。
【００９６】
その一方、ステップ１０２で、極小値が存在していると判定される場合には、本プロセスはステップ１０６に進み、上側包絡線及び下側包絡線のうちの一方のみに関して、引き継ぎ特徴部が現在の位置に存在しているか否かが判定される。存在している場合には、本方法はステップ１１０に進み、上側包絡線又は下側包絡線のいずれにおいて引き継ぎ特徴部が生じているかが判定される。上側包絡線において引き継ぎ特徴部が生じている場合には、本プロセスはステップ１１４に進み、下側包絡線が、現在信頼性の高い包絡線として宣言されるが、下側包絡線において引き継ぎ特徴部が生じている場合には、本プロセスはステップ１１６に進み、上側包絡線が、現在信頼性の高い包絡線として宣言される。
【００９７】
その一方、ステップ１０６で、引き継ぎ特徴部が、現在の位置ｙで、上側包絡線及び下側包絡線の双方において存在していると判定される場合には、本プロセスはステップ１０８に進み、上側包絡線又は下側包絡線のいずれにおいて、引き継ぎ速度がより大きいかが判定される。上側包絡線において、より大きい場合には、本プロセスはステップ１１４に進み、下側包絡線が、現在信頼性の高い包絡線として宣言されるが、下側包絡線において、より大きい場合には、本プロセスはステップ１１６に進み、上側包絡線が、現在信頼性の高い包絡線として宣言される。
【００９８】
本プロセスのいずれの分岐を介して、いずれの包絡線が、現在の位置において信頼性が高いとして宣言されても、ステップ１１８で、本プロセスは、現在の位置ｙにおいて等化に使用するために決定される包絡線を選択するように、選択マスクを設定する。
【００９９】
次いで、本プロセスは、次の位置、すなわち次のｙの値に進むステップ１０４に進み、考慮対象の全ての位置ｙ（例えば、光源１０のフットプリント１０'をカバーしている、フレーム領域内の全ての位置ｙ）が処理されるまで、本プロセスを再度繰り返す。
【０１００】
上記の実施形態は、単に例として説明されている点が理解されるであろう。
【０１０１】
例えば、上述の技術はまた、ブランキングと共に機能するものでもあり、本明細書では、例示目的のために、ブランキングを伴わない場合のみが説明されている点に留意されたい。ブランキングを含む場合、代わりに、ブランキング部分を含む垂直サイズとして、ｙ＿ｓｉｚｅを定義することができる。しかしながら、ブランキング部分内に（ｙ＝ｎのｙ＿ｓｉｚｅによる剰余に従って）ｙ位置を入力する場合、Ｐ（ｘ、ｙ）は、画像内に現れないため、それらのサンプルは使用されない。
【０１０２】
更には、本明細書で開示される技術の適用可能性は、ローリングシャッタカメラに限定されるものではなく、上記で例示された１Ｄの場合に限定されるものでもない。２次元の場合は、上記の等式にｘ方向を追加すること（λ（ｘ、ｙ）など）によって、得られることができる。しかしながら、好ましくは、繰り返される情報を有する画素は、１次元又は２次元配列の群に組み合わされる（例えば、単一のラインは、単一の時間瞬時(time instant)に関する情報を含む）。このことにより、信号対雑音比（signal-to-noise ratio；ＳＮＲ）が向上する。
【０１０３】
ローリングシャッタの場合には、時間変動成分は、ラインごとに変化する。そのため、各ラインに関して、ＳＮＲを改善するために、ラインにわたって画素が組み合わされる。このことはまた、組み合わされたλもラインごとにもたらす。開示される方法は、等化によって、それらのラインにわたる、組み合わされたλの不均一性を取り消す。その一方で、グローバルシャッタの場合には、時間変動成分は、画像ごとに変化する。この場合には、光源１０をカバーしている全ての画素１０'が（それらが全て、同じ変調を含むため）、ＳＮＲを向上させるために組み合わされてもよい。単一の一体式の符号化光要素を含む光源に関しては、この場合、ラインごとにではなく、画像ごとに、単一の組み合わされたλを取得する。このλは、全ての画像に関して固定されているため、画像間の変動は、純粋に変調に起因するものであり、そのため、等化は必要とされない。それにもかかわらず、グローバルシャッタ取り込みであっても、等化が必要とされ得る状況が存在する。例えば、光源１０が、複数の要素（例えば、複数のＬＥＤ又はＬＥＤ群）を含み、全ての個々の要素（例えば、個々のＬＥＤ又はＬＥＤ群）が、異なる成分を送信するシナリオを考察する。当該状況では、光源１０をカバーする全ての画素１０'を、単に組み合わせることはできない。それゆえ、本明細書で開示される実施形態によれば、復号器１４は、２Ｄ等化を実行して、その後、等化された画像に基づいて、符号化光成分の空間的分離を実行するよう構成されてもよい。このことは、例えば、グローバルシャッタカメラ用に特別に設計されている、ＶＬＣ通信システムとすることが可能である。
【０１０４】
本明細書の開示を所与として、他の変形例及び他の用途が、当業者には明らかとなり得る。本開示の範囲は、上述の実施形態によって限定されるものではなく、添付の特許請求の範囲によってのみ限定される。
【図１】
2020507258.tif 000004
【図２】
2020507258.tif 000005
【図２ａ】
2020507258.tif 000006
【図３】
2020507258.tif 000007
【図４】
2020507258.tif 000008
【図５】
2020507258.tif 000009
【図６】
2020507258.tif 000010
【図７】
2020507258.tif 000011
【図８】
2020507258.tif 000012
【図９】
2020507258.tif 000013
【図１０】
2020507258.tif 000014
【図１１】
2020507258.tif 000015
【図１２】
2020507258.tif 000016
【図１３】
2020507258.tif 000017
【図１４】
2020507258.tif 000018
【図１５】
2020507258.tif 000019
【図１６】
2020507258.tif 000020
【図１７】
2020507258.tif 000021
【図１８】
2020507258.tif 000022
【図１９】
2020507258.tif 000023
【国際調査報告】
2020507258.tif 000024
2020507258.tif 000025