(57)【要約】  符号化光成分は、放出される光に、各々が異なる変調周波数を持つ複数のチャンネルのうちの１つのチャンネル上で変調される。該光の変調は、受光するカメラに、複数フレームの順次のキャプチャによる見掛け時間周波数と各フレーム内の複数の空間位置の順次の露出による見掛け空間周波数とを感知させる。各チャンネルは、上記カメラの検出モジュールにより、各変調周波数に対応する上記見掛け時間周波数と見掛け空間周波数との値の各組み合わせに基づいて検出することができる。該検出モジュールは、各チャンネル上に、上記見掛け時間周波数の関数として変化する対応する応答を有する。符号化光成分を変調するためのチャンネルは、該検出モジュールの各チャンネル上の応答が実質的に他の各チャンネルの見掛け空間周波数に極小を有するような特性を持つ所定の組の中から選択される。
2016530745.tif 000002
【特許請求の範囲】
【請求項１】
複数フレームの順次のキャプチャによる見掛け時間周波数と、各フレーム内の空間位置の順次の露光による見掛け空間周波数とを、光の変調が受光カメラに感知させる、当該光を放出する光源を制御する出力部と、
前記出力部を介して符号化光成分を各々が異なる変調周波数を持つ複数のチャンネルのうちの選択された１つのチャンネル上で前記光に変調するコントローラであって、前記チャンネルの各々は前記カメラの検出モジュールにより前記変調周波数の各々に対応する前記見掛け時間周波数と見掛け空間周波数との値の各組み合わせに基づいて検出され、前記検出モジュールが前記チャンネルの各々上に前記見掛け時間周波数の関数として変化する各応答を有するコントローラと、
を有し、
前記コントローラにより、前記チャンネルの前記１つのチャンネルは、前記チャンネルの各々における前記検出モジュールの応答が実質的に前記チャンネルの他のものの前記見掛け時間周波数に極小を持つという特性を有する所定の組の間から選択される、
送信装置。
【請求項２】
前記光源を制御する前記出力部を含む、複数の光源を制御する複数の出力部と、
少なくとも前記コントローラを含む１以上のコントローラであって、前記複数の出力部を介して、各々が異なる変調周波数を持つ所定の組のチャンネルのうちの各チャンネル上で、対応する符号化光成分を前記複数の光源の各々から放出される光に変調する１以上のコントローラと、
を有する、請求項１に記載の送信装置。
【請求項３】
前記コントローラが、複数の符号化光成分を各々が異なる変調周波数を持つ所定の組のチャンネルのうちの対応する１つのチャンネル上で前記光源から放出される前記光に変調する、請求項１又は請求項２に記載の送信装置。
【請求項４】
前記検出モジュールの前記応答は、前記符号化光が検出される順次にキャプチャされるフレームの数に依存し、前記所定の組は前記数のフレームに対して前記特性を有する、請求項１ないし３の何れか一項に記載の送信装置。
【請求項５】
前記所定の組の前記変調周波数が実質的に、
【数２９】
2016530745.tif 000031
とされ、ここで、ｆｃは前記変調周波数であり、ｆframeは前記フレームがキャプチャされるレートであり、Ｎは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数であり、ｋはＮ以外の整数である、請求項４に記載の送信装置。
【請求項６】
前記応答は前記見掛け空間周波数のドメインにおいて幅Δｆc(y)を有すると共に前記見掛け時間周波数のドメインにおいて幅Δｆc(t)を有し、各チャンネル上の前記変調周波数は他の各チャンネルから前記見掛け空間周波数ドメインでは少なくともΔｆc(y)により、前記見掛け時間周波数ドメインではΔｆc(t)により分離される、請求項１ないし５の何れか一項に記載の送信装置。
【請求項７】
カメラからの画像データを入力する入力部であって、光源により放出される光の変調が前記カメラに複数のフレームの順次のキャプチャによる見掛け時間周波数を感知させる入力部と、
各々が異なる変調周波数を持つ複数のチャンネル上で前記光に変調された複数の符号化光成分を検出する検出モジュールであって、前記複数のチャンネルの各々を前記見掛け時間周波数に基づいて分離する検出モジュールと、
を有する入力装置であって、
前記複数のチャンネルの各チャンネル上において、前記検出モジュールは前記見掛け時間周波数の関数として変化する対応する応答を有し、
前記複数のチャンネルの各チャンネル上における前記検出モジュールの応答が、実質的に前記複数のチャンネルの他の各チャンネルの前記見掛け時間周波数に極小を有する、
受信装置。
【請求項８】
前記光の変調は前記カメラに各フレーム内の複数の空間部分の順次の露出による見掛け空間周波数を感知させ、
前記検出モジュールは前記複数のチャンネルの各々を、各変調周波数に対応する前記見掛け時間及び空間周波数の値の対応する組み合わせに基づいて選択的に入力し、
前記複数のチャンネルの各チャンネル上において、前記検出モジュールの応答は前記見掛け空間周波数に基づいた選択的入力の効果を有する、
請求項７に記載の受信装置。
【請求項９】
前記カメラがローリングシャッタカメラであり、前記空間部分が前記フレームのラインである、請求項８に記載の受信装置。
【請求項１０】
前記検出モジュールの応答は、前記符号化光成分が検出される順次にキャプチャされるフレームの数Ｎに依存し、所定の組の前記変調周波数が実質的に、
【数３０】
2016530745.tif 000032
とされ、ここで、ｆｃは前記変調周波数であり、ｆframeは前記フレームがキャプチャされるレートであり、ｋはＮ以外の整数である、請求項７、８又は９に記載の受信装置。
【請求項１１】
前記検出モジュールは前記チャンネルの前記見掛け空間周波数を選択するフィルタ及び前記見掛け時間周波数を選択する時間積算機能を有し、前記応答が前記フィルタ及び前記時間積算機能の効果を有する、請求項８又は請求項１０に記載の受信装置。
【請求項１２】
前記フィルタはガボールフィルタzc(y,n)を有し、前記時間積算機能は、
【数３１】
2016530745.tif 000033
により記述され、ここで、ｆc(t)は前記見掛け時間周波数であり、Ｎは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数である、請求項１１に記載の受信装置。
【請求項１３】
前記検出モジュールは前記符号化光成分を前記順次にキャプチャされるフレームのＮ個の第１グループにわたり検出すると共に、次いで前記順次にキャプチャされるフレームのＮ個の１以上の更なるグループの各々にわたって前記検出の更新されたものを実行し、前記各グループが同一のフレームの幾つかを含み時間的に重なり合う、請求項７ないし１２の何れか一項に記載の受信装置。
【請求項１４】
前記カメラがグローバルシャッタカメラである、請求項７に記載の受信装置。
【請求項１５】
光源により放出される光の変調が受光カメラに、複数フレームの順次のキャプチャによる見掛け時間周波数と各フレーム内の空間位置の順次の露出による見掛け空間周波数とを感知させ；複数の符号化光成分が、各々が異なる変調周波数を持つ複数のチャンネル上において前記光に各々変調され、前記複数のチャンネルの各々は前記カメラの検出モジュールにより前記変調周波数の各々に対応する前記見掛け時間周波数及び見掛け空間周波数の値の各組み合わせに基づいて検出され、前記検出モジュールが前記複数のチャンネルの各チャンネル上に前記見掛け時間周波数の関数として変化すると共に前記見掛け空間周波数の効果を有する各応答を有するシステムにおいて使用するためのコンピュータプログラムであって、
コンピュータ読取可能な記憶媒体上に具現化されて、実行された場合に、前記複数のチャンネルの各チャンネル上における前記検出モジュールの応答が実質的に前記複数のチャンネルの他の各チャンネルの前記見掛け時間周波数に極小を有するような所定の組のチャンネルから選択される前記複数のチャンネルのうちの１つを介して通信するためのコードを有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、１以上の照明装置から放出される光に符号化光を変調するための変調周波数の割り当てに関する。
【背景技術】
【０００２】
符号化光とは、照明器具により放出される可視光に信号が埋め込まれる技術を指す。このように、当該光は、部屋等の目標環境を照明するための可視照明寄与分（典型的に、当該光の主目的である）、及び当該環境に情報を供給するための埋込信号の両方を有する。これを行うために、該光は特定の変調周波数又は複数の変調周波数で変調される。
【０００３】
最も簡単なケースの幾つかにおいて、当該信号は所与の照明器具からの光に変調された単一の波形又は単一の高調波を有し得る。複数の照明器具の各々により放出される光は、これら照明器具の間で固有な異なる各変調周波数で変調することができ、この場合、変調周波数は当該照明装置又は該照明器具の光の識別子として機能することができる。例えば、このことは、試運転フェーズにおいて各照明器具からの寄与度を識別するために使用することができるか、又は運転の間において照明器具を制御すべく該照明器具を識別するために使用することができる。他の例において、斯かる識別は、当該識別子を照明器具の既知の位置に又は該位置に関連する情報にマッピングすることにより、ナビゲーション又は他の位置に基づく機能のために使用することができる。
【０００４】
他のケースにおいて、もっと複雑なデータを有する信号を当該光に埋め込むことができる。例えば、周波数キーイングを用いて、所与の照明器具は２つの（又はそれ以上の）異なる変調周波数上で発光し、斯かる異なる変調周波数の間で切り換えることによりデータビット（又は、もっと一般的にはシンボル）を伝送するように動作することができる。同一環境内で発光する複数の斯様な照明器具が存在する場合、各照明器具は自身の各キーイングを実行するために異なる複数の周波数を使用するように構成することができる。
【０００５】
符号化光は、携帯電話又はタブレット等のモバイル装置にしばしば組み込まれている通常の“ローリングシャッタ”型カメラを用いて検出することができる。ローリングシャッタカメラにおいて、カメラの画像キャプチャ素子は、ライン毎に順次露出（露光）される複数のライン（典型的には、水平ライン、即ち行である）に分割される。即ち、所与のフレームをキャプチャするために、目標環境において最初の１ラインが先ず露光され、次いで、次のラインが僅かに後の時点で露光され、等々となる。典型的に、当該シーケンスはフレームにわたって順次（例えば、行毎に上から下に）“転がり”、従って“ローリングシャッタ”なる名称になる。符号化光をキャプチャするために使用される場合、このことは、フレーム内の異なるラインは該光を異なる時点で、従ってライン速度が変調周波数に対して十分に高い場合は変調波形の異なる位相でキャプチャすることを意味する。このようにして、当該光における変調を検出することができる。
【０００６】
ヨーロッパ特許出願公開第EP2503852号公報は、符号化光成分により通知されるアイデンティティ（ＩＤ）又はデータを検出するのみならず、当該環境内に異なる照明器具からの複数の符号化光成分が存在する場合に個々の符号化光成分の空間フットプリント（範囲）をも検出するためにローリングシャッタ型技術をどの様に使用することができるかを述べている。即ち、個々の成分の振幅を、他の成分又は複数の成分からの寄与分の間から分離されて、キャプチャ画像内の空間座標の関数として（例えば、デカルトｘ及びｙピクセル座標の関数として）決定することができる。例えば、試運転技術者は自身の装置のカメラを目標環境内のシーンに向けるだけでよく、かくして、各照明器具からの個々の寄与分を決定することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
符号化光成分から空間フットプリント等の情報を検出することは、複数のフレームにわたる一連のライン（もっと一般的には空間部分）のキャプチャを必要とする。相対的に小さな数のフレーム内だけで符号化光を検出することができることが望ましいであろう。
【課題を解決するための手段】
【０００８】
本開示によれば、上記のことは、変調周波数を、各々が対応するチャンネルを定める所定の周波数の最適に分離された組の中から選択されるように構成することにより達成することができる。ローリングシャッタ方法等を用いると、当該カメラは、複数のフレームの順次のキャプチャによる見掛け時間周波数（apparent temporal frequency）及び各フレーム内の空間部分の順次の露出（露光）による見掛け空間周波数（apparent spatial frequency）を感知する。所与の変調周波数は、当該カメラにより感知される見掛け空間及び見掛け時間周波数の各組み合わせに対応する。更に、当該検出処理は、各チャンネル上に特定の特徴的応答を有する。この応答は、見掛け時間周波数の関数であるが、該応答の形状は部分的に上記空間周波数の選択性の効果でもある。このことは、各チャンネル上の応答が見掛け時間周波数ドメインにおいて“死角（盲点）”を有することに注目し、変調周波数を或るチャンネルの見掛け時間周波数が他のチャンネルの盲点に入るように配置することにより利用することができる。このようにして、チャンネル間の干渉を低減することができると共に、所与の符号化光成分を、さもなければ必要とされたものより相対的に少ない数のフレーム内で区別することができる。
【０００９】
従って、ここに開示される一態様によれば、光を放出するように光源を制御する出力部と、符号化光成分を各々が異なる変調周波数を持つ複数のチャンネルのうちの選択された１つ上で前記光に変調するように構成されたコントローラとを有する送信装置が提供される。前記コントローラは、前記チャンネルのうちの前記１つが、前記チャンネルの各々上における前記検出モジュールの応答が実質的に前記チャンネルの他の各々の見掛け時間周波数に極小を持つという特性を有する所定の組の中から選択されるように構成される。
【００１０】
実施態様において、当該送信装置は、複数の照明装置（光源）を制御する複数の出力部と、対応する符号化光成分を、各々が異なる変調周波数を持つ所定の組のチャンネルのうちの対応するチャンネル上で、前記光源の各々から放出される光に変調するように構成された１以上のコントローラと、を有することができる。
【００１１】
他の又は更なる実施態様において、前記コントローラは、複数の符号化光成分を各々が異なる変調周波数を持つ所定の組のチャンネルのうちの対応する１つ上で前記光源から放出される光に変調するように構成することができる。
【００１２】
ここに開示される他の態様によれば、カメラからの画像データを入力する入力部であって、光の変調が前記カメラに複数のフレームの順次のキャプチャによる見掛け時間周波数を感知させる入力部と；各々が異なる変調周波数を持つ複数のチャンネル上で前記光に変調された複数の符号化光成分を検出するよう構成された検出モジュールであって、前記複数のチャンネルの各々を前記見掛け時間周波数に基づいて分離するよう構成された検出モジュールと；を有する受信装置が提供される。前記カメラは、各フレーム内の空間部分の順次の露出による見掛け空間周波数も感知することができ、前記検出モジュールは前記チャンネルの各々を、各変調周波数に対応する見掛け時間周波数及び見掛け空間周波数の値の対応する組み合わせに基づいて選択的に入力するように構成することができる。前記複数のチャンネルの各チャンネル上において、前記検出モジュールは前記見掛け時間周波数の関数として変化する対応する応答を有すると共に前記見掛け空間周波数に基づく選択的入力の効果を有し；前記複数のチャンネルの各チャンネル上における該検出モジュールの応答は、実質的に前記複数のチャンネルの他の各チャンネルの前記見掛け時間周波数に極小を有する。
【００１３】
ここに開示される他の態様によれば、上記送信装置及び受信装置を有するシステムが提供される。更に他の態様によれば、コンピュータ読取可能な記憶媒体上に具現化されると共に、実行された場合に上記送信装置及び／又は受信装置の処理を実行するように構成されたコンピュータプログラム製品が提供される。
【００１４】
実施態様において、前記検出モジュールの応答は、前記符号化光成分が検出される順次にキャプチャされるフレームの数に依存し、前記所定の組は上記フレームの数に対して前記特性を有するように構成することができる。
【００１５】
例えば、上記所定の組の変調周波数は実質的に、
【数１】
2016530745.tif 000003
とすることができ、ここで、ｆｃは前記変調周波数であり、ｆframeは前記フレームがキャプチャされるレートであり、Ｎは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数であり、ｋはＮ以外の整数である。
【００１６】
他の実施態様において、前記応答は前記見掛け空間周波数のドメインにおいて幅Δｆc(y)を有すると共に前記見掛け時間周波数のドメインにおいて幅Δｆc(t)を有することができ、各チャンネル上の前記変調周波数は他の各チャンネルから前記見掛け空間周波数ドメインでは少なくともΔｆc(y)により、前記見掛け時間周波数ドメインではΔｆc(t)により分離することができる。
【００１７】
他の実施態様において、前記検出モジュールは、前記チャンネルの前記見掛け空間周波数を選択するように構成されたフィルタ及び前記見掛け時間周波数を選択するように構成された時間積算機能を有することができ、前記応答は前記フィルタ及び前記時間積算機能の効果を有することができる。
【００１８】
例えば、前記フィルタはガボールフィルタzc(y,n)を有することができ、前記時間積算機能は、
【数２】
2016530745.tif 000004
により記述することができ、ここで、ｆc(t)は前記見掛け時間周波数であり、Ｎは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数である。
【００１９】
更に他の実施態様において、前記検出モジュールは、前記符号化光成分を前記順次にキャプチャされるフレームのＮ個の第１グループにわたり検出すると共に、次いで前記順次にキャプチャされるフレームのＮ個の１以上の更なるグループの各々にわたって前記検出の更新されたものを実行し、前記各グループは同一のフレームの幾つかを含み時間的に重なり合うことができる。
【００２０】
ここに開示される実施態様を一層良く理解すると共に斯かる実施態様がどの様に実施されるかを示すために、添付図面が例示として参照される。
【図面の簡単な説明】
【００２１】
【図１ａ】図１ａは、照明システム及びカメラを有する空間を概略的に示す。
【図１ｂ】図１ｂは、符号化光を送出する装置の概略ブロック図である。
【図１ｃ】図１ｃは、符号化光を受光するカメラを備えた装置の概略ブロック図である。
【図１ｄ】図１ｄは、ローリングシャッタカメラの画像キャプチャ素子を概略的に示す。
【図１ｅ】図１ｅは、ローリングシャッタによる変調光のキャプチャを概略的に示す。
【図１ｆ】図１ｆは、ローリングシャッタのキャプチャ過程の例示的タイミング図である。
【図２】図２は、時間にわたってキャプチャされる画像及び列スタックを概略的に示す。
【図３】図３は、時間的列スタックの例示的断片を示す。
【図４】図４は、列スタックの例示的周波数ドメイン変換を示す。
【図５】図５は、周波数ドメインにおける例示的列スタックの信号エネルギを示す。
【図６】図６は、ガボールフィルタ核の一例を示す。
【図７】図７は、ガボールフィルタの振幅応答の一例を示す。
【図８】図８は、検出モジュールの例示的振幅応答を示す。
【図９】図９は、或る周波数割当案の例示的チャンネルトポロジを示す。
【図１０】図１０は、検出モジュールの振幅応答の他の例を示す。
【図１１】図１１は、検出モジュールの他の例示的応答を示す。
【図１２】図１２は、他の例示的チャンネルトポロジを示す。
【図１３ａ】図１３ａは、検出モジュールの応答の更に他の例を示す。
【図１３ｂ】図１３ｂは、検出モジュールの応答の更に他の例を示す。
【発明を実施するための形態】
【００２２】
図１ａは、ここに開示する実施態様を配備することが可能な例示的環境２を示す。例えば、該環境は、オフィス、自宅、学校、病院、博物館若しくは他の屋内空間の１以上の部屋及び／又は廊下；公園、街路若しくは競技場等の屋外空間；又は展望台若しくは車両の内部等の他のタイプの空間を有し得る。該環境２には、１以上の照明器具の形の１以上の照明装置４を有する照明システムが設置される。上記１以上の照明器具は、ランプと称することもできる。図解的目的で２つの照明器具４ｉ及び４iiが示されているが、他の数のものも存在し得ると理解される。これら照明器具は集中制御の下で又は別個の独立型ユニットとして実施化することができる。
【００２３】
図１ｂは、例えば上記１以上の照明器具４の各々を実施化するために使用することができる形での、照明器具のブロック図を示す。照明器具４は、ＬＥＤ、ＬＥＤのアレイ又はフィラメント電球等の照明エレメント１４を有している。該照明エレメントはランプ又は光源と称することもできる。照明器具４は、上記照明エレメント１４に結合されたドライバ１２及び該ドライバ１２に結合されたコントローラ１０も有している。コントローラ１０は、ドライバ１２に信号を出力して照明エレメント１４を、所望の光出力を放出するように駆動するよう構成される。コントローラ１０は、コンピュータ読取可能な記憶媒体上に記憶されると共に１以上の処理ユニットを有するプロセッサ上で実行されるように構成されコードの形態で実施化することができる。他の例として、コントローラ１０の幾らか又は全てが専用のハードウェア回路又はＦＰＧＡ等の再構成可能な回路で実施化されることが除外されるものではない。コントローラ１０は、照明器具４においてローカルに、１以上の他の照明器具４と共用され得る中央コントローラにおいて、又はこれらの組み合わせで実施化することができる。一般的に、構成要素１０、１２及び１４は同一のユニットに統合されてもよく、又は統合されなくてもよい。
【００２４】
コントローラ１０は、照明エレメント１４により放出される光が、変調周波数ｆｃの符号化光成分で変調されるように制御するよう構成される。幾つかの実施態様では、同一の環境２に複数の照明器具４ｉ、４iiが存在することができ、各照明器具は、当該照明器具４から放出される光に、対応する変調周波数ｆｃで変調された異なる各符号化光成分を埋め込むように構成されたコントローラ１０を備える。代わりに又は加えて、所与の照明器具４のコントローラ１０は、同一の照明器具の照明エレメント１４により放出される光に、各々が異なる対応する変調周波数の２以上の符号化光成分を埋め込むように構成することができ、例えば当該照明器具がデータを埋め込むための周波数キーイングを使用することができるようにする。同一の環境２内の２以上の照明器具４が、各々、全てが異なる各変調周波数の２以上の符号化光成分で変調された光を放出することも可能である。即ち、第１照明器具４ｉは第１の複数の符号化光成分を複数の各変調周波数で放出することができる一方、第２照明器具４iiは第２の異なる複数の符号化光成分を第２の異なる複数の各変調周波数で放出することができる。
【００２５】
これら実施態様の何れにおいても、同一の環境２内に複数の符号化光成分が存在しがちである。変調周波数は所定の組の別個の変調周波数の中から選択され、これら別個の変調周波数は以下に説明する実施態様によれば最適な分離を有するように割り付けられる。各実施態様において、このことは、各照明器具４の変調周波数が事前に選択されると共に、コントローラ（又は複数のコントローラ）１０が斯かる周波数で事前に構成されることを意味し得る。このことは、コントローラ１０が必ずしも周波数をアドホックに（その場的に）決定しなければならないことを意味するものではないが、これを除外するものではない。複数の照明器具４の場合、各照明器具は異なる各変調周波数で変調された光を放出するように構成される。この意味で、少なくとも上記複数の照明器具４は照明システムを形成すると述べることができる。しかしながら、このことは、照明器具間の何らかの形の集中制御又は通信を必ずしも意味するものではない。各実施態様において、各照明器具４のコントローラ１０は、関連する周波数で事前に構成することができる。他の例として、これら周波数は中央コントローラから割り当てることができるか、又は個々の照明器具のコントローラを、これら周波数を分散態様で取り決めるために互いの間で通信するように構成することができる（例えば、新たな照明器具が設置される場合、該照明器具は１以上の他のものに問い合わせて何の周波数が既に使用中であるかを決定し、未だ利用されていない組のうちの１つを選択する）。
【００２６】
環境２には、好ましくはスマートフォン又はタブレット等のモバイル装置とするユーザ端末６も存在する。
【００２７】
図１ｃはモバイル装置６のブロック図を示す。該装置６は、二次元画像キャプチャ素子２０を有するカメラ１６、及び該画像キャプチャ素子に結合された検出モジュール１８を有している。検出モジュール１８は、上記画像キャプチャ素子によりキャプチャされた画像を表す信号を処理すると共に、該画像がキャプチャされた光における符号化光成分を検出するように構成される。検出モジュール１８は、コンピュータ読取可能な記憶媒体上に記憶されると共に１以上の処理ユニットを有するプロセッサ上で実行されるように構成されたコードの形で実施化することができる。他の例として、検出モジュール１８の幾らか若しくは全てが専用のハードウェア回路又はＦＰＧＡ等の再構成可能な回路で実施化されることが除外されるものではない。一般的に、構成要素１６及び１８は同一のユニットに統合してもよく又は統合しなくてもよい。
【００２８】
前記１以上の照明器具４は環境２内へ光を放出し、これにより、該環境の少なくとも一部を照明するように構成される。モバイル装置６のユーザは、該装置のカメラ１６を環境２における光が反射されるシーン８に向けることができる。例えば、該シーンは壁及び／又は他の物体等の表面を有し得る。前記１以上の照明器具４により放出された光は該シーンから上記カメラの二次元画像キャプチャ素子上に反射され、これにより該素子はシーン８の二次元画像をキャプチャする。
【００２９】
図１ｄはカメラ１６の画像キャプチャ素子２０を示す。画像キャプチャ素子２０は、各ピクセル上に入射した光を表す信号を捕捉するためのピクセルのアレイ、例えば典型的にはデカルト型のｘ及びｙ座標に関してアドレス指定することができる正方形又は長方形ピクセルの正方形又は長方形アレイを有する。ローリングシャッタカメラでは、上記ピクセルは複数のライン、例えば水平の行２２に配列される。フレームをキャプチャするために、各ラインは、特定の露出時間Ｔexp毎に順番に露出（露光）される。例えば、先ず最上行２２１が時間Ｔexpにわたり露光され、次いで僅か後の時点に下の第２行２２２がＴexpにわたり露光され、次いで僅か後の時点に下の第３行２２３が再びＴexpにわたり露光され、以下最下行が露光されるまで同様に続く。次いで、この過程は一連のフレームを露光するために繰り返される。
【００３０】
例えばヨーロッパ特許出願公開第EP2503852号公報には、このタイプの従来のビデオカメラを用いて符号化光をどの様に検出することができるかが記載されている。該信号検出はローリングシャッタ画像キャプチャを利用し、これは、時間的な光の変調を連続する画像行にわたる空間的輝度変化に変換させる。
【００３１】
このことが、図１ｅに図解的に示されている。連続する各ライン２２が露光される場合、各ラインは僅かに異なる時点で、従って（ライン速度が変調周波数と比較して十分に高いなら）当該変調の僅かに異なる位相で露光される。このように、各ライン２２は、変調される光（変調光）の各瞬時レベルで露光される。この結果、所与のフレームにわたり当該変調でうねる又は循環する縞模様が生じる。
【００３２】
更に、繰り返し的性質を持つ符号化光は、連続する画像フレームにおいて異なる空間的ずれを伴って現れる。斯かる連続するフレームが等しい時間間隔でキャプチャされる場合、当該空間的パターンは見掛けの上方又は下方への徐行（クローリング）運動を呈し得る。
【００３３】
複数の符号化光成分が存在する環境においては、異なる各変調周波数上において、上述した効果は各符号化光成分の別個のフットプリントの検出を可能にする。即ち、上記符号化光成分の個々のものからの光だけによる二次元キャプチャ画像のバージョン、即ち他の成分の効果は除去され、当該符号化光成分によってのみ照明されたかのようなシーン８の画像を抽出することが可能である。このことは、上記の存在する異なる符号化光成分の各々に関して個別に実行することができ、かくして、上記符号化光成分の各々に関する複数の空間フットプリントを生成する。例えば、異なる照明器具４により異なる成分が放出される場合、当該技術は試運転技術者により所与の環境２における照明器具４の各々からの個々の寄与度を決定するために使用することができる。他の例として、該技術は、何の信号又は何のデータが何処から到来しているかを決定するために、例えば屋内若しくは屋外ナビゲーション又は位置に基づくサービスを提供するアプリケーションを助けるために使用することができる。
【００３４】
上記検出は、個々のランプ信号を互いから及び背景から最適に分離するための周波数の固有の選択により有利となる。本開示は、可能性として非常に小さな数のフレームにわたっての検出（種々の符号化光アプリケーションにとり非常に実際的に関係する）を可能にする実質的に最適な変調周波数の選択を説明する。
【００３５】
本発明は高調波信号の検出に限定されるものではないが、説明を容易にするために以下では単一周波数高調波信号の例が説明される。
【００３６】
ローリングシャッタ画像キャプチャは、典型的に、全センサ行に対する単一の読出回路の連続的な態様での共用に基づくものである。ライン読出時間は、連続するラインの間の時間遅延を決定するもので、一定の時間間隔Ｔline[s]である。全てのラインに対する露出時間は一般的に同一であるので、各露出期間は図１ｆに示されるように同一の遅延で開始する。図１ｆは、連続ビデオキャプチャモードの間における典型的なローリングシャッタのタイミング図を示す。
【００３７】
当該センサのローリングシャッタキャプチャは、当該カメラのフレームレートを遙かに超える時間的光変化を区別するメカニズムを提供する。ビデオフレームレートが典型的に２５〜６０Ｈｚの範囲内である場合、ライン読出周波数は典型的に10,000Ｈｚよりも高い。面白いことに、ローリングシャッタ収集は、時間的次元が垂直次元に沿って（部分的に）サンプリングされる一種の空間時間的サンプリングを表す。かくして、時間ｔと垂直（ライン）位置ｙとの間には、
【数３】
2016530745.tif 000005
なる関係が存在し、ここで、ｆframeはフレームレートを示し、ｎ＝０，１，２，３，…はフレームインデックスである。
【００３８】
ｃによりインデックスが付された特定の光源による変調周波数ｆｃ[Hz]は、見掛けの空間周波数ｆc(y)にマッピング（位置）する：
【数４】
2016530745.tif 000006
【００３９】
上記見掛け空間周波数は、キャプチャされた画像にピッチがｆc(y)により決定される水平の縞模様が現れるようにさせる。
【００４０】
単一画像の代わりに、変調光源の時間的画像シーケンスがキャプチャされる場合、フレームレートｆframe[Hz]（即ち、フレーム／ｓ）が与えられたとすると、物理的変調周波数は光の現象が：
【数５】
2016530745.tif 000007
なる見掛け時間周波数を呈するようにさせる。
【００４１】
キャプチャされた各行上の隣接するピクセルが同一の時間事実を共有する場合、当該分析は単一の列及び時間にわたって続いた信号に限定することができる。列のスタックは、画像自体と考えることができる２Ｄ信号を形成する。
【００４２】
動きがない場合、背景被写体は時間方向に沿って繰り返すピクセル値を生じさせる。ランプが画像スタックにおいて徐行する縞模様を生じさせる場合、列スタックは図２及び図３に示されるように斜めの縞模様を呈する。
【００４３】
振幅のＤＣ成分ＩDC,c、及び複素表示での所定の組の既知の周波数から選択された物理的（時間的）周波数ｆｃ[Hz]で変調された振幅のＡＣ成分ＩAC,cからなる、照明器具ｃからの単一高調波符号化光輝度信号Ｉｃ(t)[W/sr]：
【数６】
2016530745.tif 000008
を考察する。
【００４４】
この光源がシーンを照明した場合、該シーンの表面要素からの放射輝度（radiance）は乗法的処理に従い、該シーンに光を当該界へと放射輝度Ｌｃ［W/(m2sr)］で放射して戻させ、これはローカルな光の相互作用（吸収及び反射）の結果である。カメラは、この放射光の場をキャプチャし、
【数７】
2016530745.tif 000009
なる画像Ｌｃ(x,y,t)を形成する。
【００４５】
符号化光の検出の前後関係において、静的なシーン物体の幾何学状態、即ち光源及び観察者（カメラ）の場合、如何なる他の照明も存在しないなら、光の輝度Ｉｃ(t)と観察される放射輝度分布Ｌｃ(x,y,t)との間の関係は完全に線形である。
【００４６】
ここで、当該カメラが複数の符号化光源により照明されるシーンをキャプチャする一般的状態を考察する。これは、結果として、各々が固有の物理的周波数で変調されたＮｃの符号化光源の和からなる空間時間的信号s(x,y,n)により表すことが可能な画像シーケンスを生じる：
【数８】
2016530745.tif 000010
【００４７】
上記式において、bamb(x,y)は当該シーンからの（符号化されていない）静的周囲照明の反射により各々発生される信号を表している。符号化されたランプ固有のＤＣ寄与分bc(x,y)、即ち実質的に当該画像面における各光フットプリントの投影は、時間の関数としては変化せず、従って時間不変的周囲光として扱うことができる。従って、新たに導入された複合背景信号b(x,y)は、全てのランプ固有で“独立した”ＤＣ成分を保持する：
【数９】
2016530745.tif 000011
【００４８】
変調振幅ac(x,y)及び複合背景成分b(x,y)は、これらが当該シーンの幾何学構造及び反射特性に依存するので、一般的に空間にわたって変化することに注意されたい。
【００４９】
図２の左側は、ビデオ信号s(x,y,t)（整数のフレームインデックスｎの関数として書かれた場合、= s(x,y,n)）を示す。右側は、列スタックs(y,t)（= s(y,n)）を示す。
【００５０】
図３は、図２において分離された、時間的列スタックの断片s(y,t)（= s(y,n)）を示す。当該周波数は、これら周波数が常に明確な見掛け徐行運動を示すように選択された。この徐行運動を獲得する条件を簡単に説明する。
【００５１】
図３に示されるように、連続したフレームにわたる空間的パターンの徐行運動は、非常に明確な向きを持つ刈り込まれた変調パターンを生じる（実線矢印により示される）。実際には、隣接するランプからの重なり合うフットプリントに関連する第２のパターン（点線矢印により示される）も見られる。
【００５２】
以下では、画像上の符号化光のランプ固有の空間分布の推定について考察する。上記分析は、当該画像におけるこの所謂光フットプリントの見え方は、画像フレーム内の光変調のローカルな振幅に比例することを示している。かくして、個々の光フットプリントを復元する作業は、入力信号s(x,y,n)から異なるランプ周波数ｆｃに関する振幅分布
【数１０】
2016530745.tif 000012
を推定する作業に帰着する。
【００５３】
列スタックs(y,t)の２Ｄフーリエ変換は、見掛け周波数の２Ｄ周波数ドメインを形成する。該見掛け周波数（fc(y),fc(t)）の軌跡が空間時間的フーリエ面において実物理周波数ｆｃの関数としてプロットされる場合、該軌跡がエイリアシングにより折り返す明確な線形トレースを辿ることが分かる。
【００５４】
これは、実際にはフレームレートｆframeが当該光を変調する周波数ｆｃより大幅に低いという事実によるものである。結果として、見掛けの時間周波数,fc(t)は常にフレームレートの半分より低く：
【数１１】
2016530745.tif 000013
ここでmod演算子はモジュロ演算子１（該モジュロ演算子は除算の残りであり、“床”関数を用い、ｘ  ｍｏｄ  ｙ  ＝  ｘ  -  ｙ［ｘ／ｙ］なる表現を用いて計算することができる）である。結果として、見掛けの時間周波数は、物理的周波数ｆｃを増加させる場合、限界-1/2＜ｆc(t)＜1/2の間で“折り返す”ことに注意されたい。所与の値のラインレート及びフレームレートは、各物理的変調周波数に関して見掛けの空間的及び時間的周波数が結合されるようにさせる。
【００５５】
図４には、空間時間フーリエドメインが正の空間周波数に関してのみ示され、２つの共役分布の一方のみのトレースを示している。当該ラインは見掛けの空間時間周波数のトレースを、０と約５７５Hzとの間の物理変調周波数に関して示している。空間周波数軸は相対的に低いフレームレートでのエイリアシングによるトレースのゆがみ（warping）を明らかにするために拡大されていることに注意されたい。
【００５６】
図４は空間時間フーリエ面における見掛け周波数のトレースを示す（ここでは、ドメインの半分だけが描かれている）。また、ここでは正のｙ軸の方向に従って、正のｆc(y)軸は下を指していることに注意されたい。この例において、当該トレースは、ｆframe＝２９.９７［Hz］及びｆline＝１４３８６[Hz]に関し、０＜ｆｃ＜５７５[Hz]の間の物理周波数に関してプロットされている。１４.９８５Hz、２９.９７Hz、２２５Hz及び３００Hzにおける上側の５つの円は、検出のために不適な周波数の例示的位置を示している。５００Hzにおける下側の円は、該周波数が見掛けの動きも示す空間パターンを生じるので、適切な周波数の例を示している。
【００５７】
フレームレート及びラインレートの上記値は、標準的ＶＧＡカメラセンサ（６４０ｘ４８０＠２９.９７fps）にとり普通の数である。見掛けの時間周波数の正及び負の値は、空間パターンの上方及び下方への徐行速度に各々関連付けられる。
【００５８】
フレームレートｆframe≒３０Hzの倍数に近いｆ＝３００Hzの物理周波数は、ｆ(y)軸に近い周波数に位置（マッピング）し、連続するフレームにわたり上方に非常にゆっくりと移動するパターンを形成する。フレームレートの倍数から更に離れた周波数、例えばｆ＝５００Hzは、より高い速度で移動するが、負の見掛け時間周波数ｆ(t)にマッピングするので上方に向かうものである。
【００５９】
本開示は、キャプチャされるビデオフレームの数が与えられた場合の、実質的に最適な検出に対するランプ固有の変調周波数の選択に関するものである。空間フットプリントの復元は振幅検出として実施することができ、その場合、各ランプに対して空間時間周波数（ｆc(y)，ｆc(t)）は、フットプリント固有のフーリエ変換を見付けることができるキャリア周波数を形成する。被写体又はカメラの動きがない場合、フットプリントac(x,y)は時間不変性のものである。結果として、関連する周波数成分は、空間周波数軸ｆ(y)の方向に沿ってのみ広がる傾向があり、時間周波数軸ｆ(t)の方向に沿って広がることはない。これが図５に示されており、該図は見掛け空間時間周波数のドメインにおけるランプ信号エネルギの分布を図示している。図示された信号スペクトルは、シミュレーションされた信号のＤＦＴに基づくと共に５００フレームにわたる収集に基づくもので、従って、該スペクトルは連続フーリエ変換を近似している。
【００６０】
当該信号のｆ(y)軸の（垂直）方向におけるスペクトルの広がりは、該信号に関連する空間周波数帯域幅Δｆ(y)signalにより特徴付けることができる。実際には、該空間周波数帯域幅は入力画像の垂直解像度によってのみ制限される。該帯域幅はスペクトル全体を占めることができるが、常に関連するランプの見掛け空間変調周波数ｆc(y)の周辺でピークに達する傾向がある。
【００６１】
当該信号のｆ(t)軸の（水平）方向におけるスペクトルの広がりは、見掛け時間周波数帯域幅Δｆ(t)signalにより特徴付けることができる。動きがない場合、Δｆ(t)signal→０となり、ランプ信号エネルギを関連するランプの見掛け時間変調周波数ｆc(t)の周辺のディラック分布に制限する。
【００６２】
信号検出の空間周波数選択性Δｆ(y)signalは、光フットプリント推定ａ^c(x,y)が計算される垂直空間解像度を決定する。当該例示的構成例では、ガボールフィルタに基づいて、ガウス応答を持つ検出フィルタが使用される。
【００６３】
信号検出の時間周波数選択性Δｆ(t)signalは、
【数１２】
2016530745.tif 000014
の決定に含まれるフレームの数に依存する。当該信号検出は、フレームスタックにわたる検出信号の位相補正された積算に基づくものである。
【００６４】
図５は、列スタックs(y,t)の二次元離散フーリエ変換の一例を示す。図示されているのは振幅｜S(f(y),f(t)｜である（見えるように、振幅の対数が示されている）。空間時間的“波形”パターンは、ｆ(t)ラインに沿う中心分布から分離されて、隔離された分布として見付けられる。正のｙ軸の方向に従って、ここでも、正のｆ(y)軸は下を指していることに注意されたい。上の図は信号帯域幅を示す一方、下の図は検出帯域の帯域幅を示している。
【００６５】
空間周波数検出及び関連する選択性は、ガボールフィルタに基づくものであり得る。空間周波数選択性フィルタの使用は、空間時間ドメインの、空間周波数軸の方向の複数の分離した検出帯域への分割を可能にする。一層分離可能な検出帯域及び一層異なるランプ周波数を区別することができる。
【００６６】
ガボールフィルタが、入力列スタックs(y,n)のランプ周波数と関連する複素カーネルhc(y)との空間畳み込みとして実行され、新たな複素値列スタックzc(y,n)を生成する：
【数１３】
2016530745.tif 000015
【００６７】
ガボールフィルタカーネル自体は、ガウス窓と複素高調波信号との積である：
【数１４】
2016530745.tif 000016
【００６８】
パラメータσspatは当該カーネルの空間的広がりを決定し、該カーネルの開始及び終了における十分な減衰を保証するために、当該フィルタのタップの数は：
【数１５】
2016530745.tif 000017
に従って選択される。
【００６９】
典型的なガボールフィルタカーネルの一例が、図６に示されている。この図は、ＮGabor＝１０１タップの長さを持ち、ｆc(y)＝０.１サイクル／ピクセルの周波数に“同調”されたガボールフィルタカーネルの一例を示す。
【００７０】
ｆc(y)[サイクル／ピクセル]周辺の該ガボールフィルタの振幅応答はガウス形状に従うと共に、ガウス形状を呈し：
【数１６】
2016530745.tif 000018
ここで、パラメータσfreq＝(σspat)-1は空間周波数帯域幅を決定する。ガウス空間周波数特性は理論的に限界がないので、該特性の帯域幅は５０％の透過（伝統的３ｄB帯域幅）及び９０％の透過において：
【数１７】
2016530745.tif 000019
及び
【数１８】
2016530745.tif 000020
と各々記述することができる。９０％の透過を使用する動機は、検出のためのチャンネル分離は、しばしば、伝統的な３ｄB帯域幅より小さくすることができるということである。
【００７１】
図７は、図６に示した例示的ガボールフィルタの振幅応答を示す。
【００７２】
時間周波数選択性は、時間軸に沿う周波数検出により決定される。高速検出のためには、計算に使用されるフレームの数を可能な限り小さく維持することが望ましい。以下は、連続したフレームにわたる位相補正された総和に基づくメモリ効率的な計算を示す。この演算がガボールフィルタにより生成された複素値信号に対して適用される場合、各ピクセルにおけるローカルな振幅の即時推定値が得られる：
【数１９】
2016530745.tif 000021
【００７３】
次のフレーム毎に、項
【数２０】
2016530745.tif 000022
による乗算が、総和の前のzc(y,n)の位相を“巻き戻す”。ピクセル位置ｙにおいて、ガボール出力zc(y,n)が該固有の周波数における時間信号を含む場合、
【数２１】
2016530745.tif 000023
の計算は、全て同じ位相を有すると期待される“コヒーレントな”値に対する総和から得られる。共通位相の正確な値は分からないが、関係もない。
【００７４】
上記位相の共通であるが未知の値の状況の場合、式（１５）による位相補正された総和が、実際に、
【数２２】
2016530745.tif 000024
の最大尤度の推定、即ちピクセルｙにおいて当該カメラによりキャプチャされた変調ランプ信号の振幅であることを証明することができる。
式（１５）の振幅応答は：
【数２３】
2016530745.tif 000025
により与えられ、ここで、fc(t)は当該チャンネルが中心とされるランプｃの見掛け時間周波数である。関連するカットオフ周波数はフレームの数Ｎframesの関数に過ぎず：
【数２４】
2016530745.tif 000026
及び
【数２５】
2016530745.tif 000027
により、各々、近似することができる。
【００７５】
６つの異なるランプ周波数の組が与えられた場合の、時間周波数検出の振幅応答が図８に示されている。この図は、Ｎframes＝５の連続するフレームにわたる計算に基づいて、フレームレートｆframe＝３０Hzの場合の式（１６）による時間副帯域応答の一例を示している。左端のピークの曲線はｆ1(t)＝３２０Hzを有している。次の左端のピークの曲線はｆ5(t)＝４７３Hzを有している。その次の左端のピークの曲線はｆ3(t)＝３５７Hzを有している。右から３番目のピークを持つ曲線、即ち次のクラスタの最初のものは、ｆ2(t)＝３３５Hzを有している。右から２番目のピークを持つ曲線は、ｆ6(t)＝４８８Hzを有している。右端のピークを持つ曲線は、ｆ4(t)＝３７２Hzを有している。
【００７６】
式（１５）による位相補正された積算は、副帯域応答が如何なる任意の見掛け時間周波数にも中心が合わされることを可能にし、このことは、ランプ周波数は限られた組の周波数においてしか生成することができないので、実施態様において必要となり得る。例えば、生成可能なランプ周波数は、しばしば、整数値に限定される。
【００７７】
このことは、多数のフレームが振幅推定に組み込まれる場合に特に関係するようになる。そのような場合、検出帯域幅は非常に小さくなる。代わりに、本開示はランプ信号検出において非常に小さな数のフレームを使用することが目標とされる。この場合、帯域幅は相対的に広くなり、斯様な検出選択性は達成することが一層困難となる。
【００７８】
空間時間的検出帯域の斯様な定義は、空間時間的検出チャンネルのトポロジの構成を可能にする。このようなトポロジの一例が図９に示されており、該図は、推定の基礎としてｆframe＝３０Hz、ｆline＝２０ｋHz及びＮframes＝５に基づく例示的検出チャンネルトポロジを示している。空間ガボールフィルタの長さは１０１タップである。
【００７９】
本開示は、少ない数のフレームの場合、時間周波数検出選択性は劣り得るが、特定の周波数に対して明確なゼロを示すという認識に基づいている。
【００８０】
物理変調周波数ｆｃ[Hz]を、関連する見掛け時間周波数ｆc(t)[サイクル／フレーム]がキャプチャされたビデオにおける静止背景の最適な抑圧及び他の変調周波数の最適な抑圧をもたらすように選択することが狙いである。このことを図形的に示すことができる。図１０において、ランプフットプリントの検出に３つのフレームのみが使用される場合の時間周波数応答が計算されている。これらのグラフは式（１６）から得られ、変調周波数は検出帯域応答における各ピークが、ＤＣ、即ちｆ(t)＝０サイクル／フレームまでを含み、他の帯域応答における零と一致するように選択されている。
【００８１】
図１０の上側は、変調周波数の最適な選択の場合に関して、検出帯域の振幅応答を、フレーム数Ｎframes＝３に関する見掛け時間周波数ｆ(t)の関数として示している。下側は、３フレームにわたる時間平均に関連された振幅応答を示す。
【００８２】
この場合、上記帯域は見掛け時間周波数の周辺に中心を合わされねばならない：
【数２６】
2016530745.tif 000028
Ｆframeの周辺のエイリアシングにより、ｋ＝１、２、３、…の各々に関して同一の見掛け時間周波数に位置する複数の物理変調周波数が存在する：
【数２７】
2016530745.tif 000029
ｆ＝ｋ・ｆframe[Hz]の如何なる物理周波数もＤＣに位置するので、ｆ(t)＝０サイクル／フレームとなる。図１０における関連する振幅応答は、時間フレーム平均が符号化光源により生じる変調を完全に含まないように、ｆc(t)＝±1/3［サイクル／フレーム］に零を有する。
【００８３】
この場合においては、本例の前後関係において“最適”と考えられる状況につながるような２つの見掛け時間周波数が存在する。
【００８４】
即ち、見掛け時間周波数ｆc(t)を最適に検出する如何なる応答も、如何なる他の見掛け時間周波数ｆc’(t)（但し、c’≠ｃ）においても零を示す（上述した例において、ｆc(t)＝−1/3［サイクル／フレーム］の検出のための帯域は、−1/3［サイクル／フレーム］において“ピーク”に達すると共に、＋1/3［サイクル／フレーム］に、従ってｆc’(t)に零を有する）。
【００８５】
見掛け時間周波数ｆc(t)を最適に検出する如何なる応答も、当該ビデオフレームにおける静止背景に関連する見掛け時間周波数ｆ(t)＝０において零を示す。
【００８６】
図１１は、周波数の最適な選択のために、振幅応答をフレーム数Ｎframes＝５に関して見掛け時間周波数ｆ(t)の関数として示している。ここでは、見掛け時間周波数がｆc(t)＝-2/5、-1/5、1/5又は2/5に限定されるように選択される。図８における周波数割り付けと比較して、幾つかの曲線は、同一の見掛け時間周波数に位置（マッピング）するので見えない。左端のピークを持つ曲線は、ｆ1(t)＝２８８Hzを有する。次の左端のピークを持つ曲線は、ｆ3(t)＝４４４Hzを有する。右から２番目のピークを持つ曲線は、ｆ2(t)＝３０６Hzを有する。右端のピークを持つ曲線は、ｆ4(t)＝４６２Hzを有する。
【００８７】
図１２は、周波数の最適な選択のために例示的な振幅応答をフレーム数Ｎframes＝５に対する見掛け空間及び時間周波数（ｆ(y)，ｆ(t)）の関数として示している。ここで、ｆｃは見掛け時間周波数がｆc(t)＝-2/5、-1/5、1/5又は2/5に限定されるように選択される。点線の垂直ラインは、５つのフレームが信号検出のために使用される場合の最適周波数の位置を示す。
【００８８】
上述した構成の利点は、フレームの数が与えられたとして、ランプ信号検出において可能な最良のチャンネル分離を提供することである。小さな数のフレームの場合でさえ、最適なチャンネル分離及び最適な背景抑圧を達成することができる。各実施態様において、このことは、ランプ信号変調が周波数シフトキーイング（ＦＳＫ）で使用されるように周波数的に変化される場合に特に有利である。高速検出は高速周波数スイッチングを可能にし、かくして、より高い伝送ビットレートを達成することができる。
【００８９】
本開示は、所与のフレームレートにおける所与の奇数のフレームＮに対して最適な信号検出が達成されるようなランプ変調周波数の選択を述べている。上述した例において、最適な変調周波数は：
【数２８】
2016530745.tif 000030
（但し、Ｎの整数倍でない如何なる整数k=1,2,3,…に対するものでもある）と選択されるべきである。
【００９０】
図１３には、種々の数のフレームに関して振幅応答が図示されている。図１３は、３、５、７及び１５フレームが“設計規則”(21)に従う最適周波数選択に基づいた周波数選択のための基礎として使用された場合における検出帯域に関する振幅応答を示している。
【００９１】
他の実施態様では、単一の光源が複数の周波数を時間順序的に又は同時に含む信号を、これら周波数のうちの少なくとも１つ（全てではなくても）が“最適”となるように生成することができる。
【００９２】
他の実施態様では、単一の光源がパケットストリームを、１以上の高調波周波数成分が前記最適な周波数に一致するように生成することができる。
【００９３】
更に他の実施態様では、連続するフレーム及び背景抽出に基づくランプ信号検出を、最初の推定はフレーム１，２，３，…Ｎを使用し、新たな推定はフレーム２，３，４，…Ｎ＋１を使用して行うというように、各新フレームの後に繰り返すことができる、このようして、最初のＮ個のフレームの後に、当該検出が新たなフレーム毎に新たなランプ信号振幅推定を提供するようにする。このような高速推定は、当該カメラ装置に接続されたディスプレイ上での個々の光フットプリントのリアルタイムな視覚化を可能にする。
【００９４】
他の実施態様では、フレーム２，３，４，…Ｎ＋１の検出は、当該振幅推定からフレーム１の寄与分を削除すると共に新たな組の振幅推定を形成するためにフレームＮ＋１を組み込んだ後に行う。これは、上記削除及び組込が、破棄されたフレームデータの位相補償された減算及び新たなフレームデータの位相補償された加算に各々基づいている場合に可能である。上記位相は、関心のランプ周波数により且つ関連する時間フレームインデックスに対して決定される。
【００９５】
他の実施態様では、ランプ周波数は限られた組の値（例えば、整数値のみ）に限定することができる。選択されるランプ周波数は、一番近い値として選択することができる。整数のランプ周波数の場合、このことは一番近い整数への丸めを意味する。
【００９６】
他の実施態様において、上述した“最適”周波数の選択は、他の選択基準と組み合わせることができる。（このことは、時間的及び空間的周波数選択性が楕円状副帯域形状に組み合わさる図１２に示されたトポロジに暗黙的に適用される。楕円の最適な詰め込みは、六角形格子への周波数の配置を必要とするであろう。）露出時間も周波数の選択性減衰を生じさせる。即ち、露出時間の知識も、周波数の最終的組の選択に組み合わせることができる。
【００９７】
各実施態様において、開示された方法は、照明システムの設置及び試運転のための並びに照明制御のための符号化光のカメラに基づく検出に使用することができる。例えば、開示された方法は、通常のスマートフォン又はタブレットコンピュータのカメラによる符号化光検出を可能にし得る。
【００９８】
上述した実施態様は例示のためにのみ説明されたことが理解される。
【００９９】
例えば、上記のものは特定の応答を備えた検出モジュールに関して例示されているが、異なるが類似した応答を備える他の構成例では、開示された組の変調周波数は、或るチャンネルの見掛け時間周波数が実質的に他のチャンネルの死角（盲点）に入るような特性を提供し得る。又は他の例として、この原理は、上記死角が既知であるか又は決定することができる場合、他の応答を備えた検出処理に拡張することができる。
【０１００】
一代替例において、当該カメラは、各フレームが一度に露出される（ローリングシャッタカメラにおけるようにライン毎というより）グローバルシャッタカメラである。国際特許出願公開第WO2011/086501号公報は、異なる変調周波数で変調された符号化光成分を検出するためにグローバルシャッタカメラをどの様に使用することができるかを説明している。該検出はエイリアシングに依存しており、これは好適な周波数の組の数を制限する。所与のチャンネルは、時間周波数ドメインにおいて特定の応答を有する。周波数は、本開示の原理により、或るチャンネルの応答が他の周波数応答曲線の盲点に入るように選択することができる。
【０１０１】
更に、チャンネルは実質的に互いの盲点にのみ入る必要があると共に、変調周波数は実質的に最適であるとだけ見なされる必要があることに注意されたい。即ち、チャンネルは幾らかの重なりを有することができるが、これらの間の干渉効果が無視可能な程度までである。更に、変調周波数が所定の組の間から選択されると言われた場合、このことは、当該環境に上記組に従わない他の変調周波数を持つ他の成分が存在することを必ずしも除外するものではない。
【０１０２】
尚、当業者によれば、開示された実施態様の他の変形例を、請求項に記載された本発明を実施するに際して図面、本開示及び添付請求項の精査から理解し実施することができるものである。請求項において、“有する”なる文言は、他の構成要素又はステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットは、請求項に記載された幾つかの項目の機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用することができないということを示すものではない。コンピュータプログラムは、光記憶媒体又は他のハードウェアと一緒に若しくは該ハードウェアの一部として供給される固体媒体等の適切な媒体で記憶／分配することができるのみならず、インターネット又は他の有線若しくは無線通信システムを介してのように、他の形態で分配することもできる。請求項における如何なる符号も、当該範囲を限定するものと見なしてはならない。
【図１ａ】
2016530745.tif 000034
【図１ｄ】
2016530745.tif 000035
【図１ｅ】
2016530745.tif 000036
【図２】
2016530745.tif 000037
【図５】
2016530745.tif 000038
【図１ｂ】
2016530745.tif 000039
【図１ｃ】
2016530745.tif 000040
【図１ｆ】
2016530745.tif 000041
【図３】
2016530745.tif 000042
【図４】
2016530745.tif 000043
【図６】
2016530745.tif 000044
【図７】
2016530745.tif 000045
【図８】
2016530745.tif 000046
【図９】
2016530745.tif 000047
【図１０】
2016530745.tif 000048
【図１１】
2016530745.tif 000049
【図１２】
2016530745.tif 000050
【図１３ａ】
2016530745.tif 000051
【図１３ｂ】
2016530745.tif 000052
【手続補正書】
【提出日】平成28年1月22日(2016.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光を放出する光源を制御するための信号を出力するコントローラを有する送信装置であって、
前記コントローラは、前記信号を介して、符号化光成分を前記光に変調し、前記光の前記変調が、前記光から受光カメラによりキャプチャされたビデオ画像に、前記ビデオ画像の複数フレームの順次のキャプチャによる見掛け時間周波数と、各フレーム内の空間位置の順次の露光による見掛け空間周波数とを感知させ、
前記コントローラは、前記符号化光成分を、各々の変調周波数がそれぞれのチャンネルを規定する複数の異なる変調周波数のうちの選択された１つの変調周波数上で前記光に変調し、前記チャンネルの各々は前記カメラの検出モジュールにより前記変調周波数の各々に対応する前記見掛け時間周波数と見掛け空間周波数との値の各組み合わせに基づいて検出され、前記検出モジュールが前記チャンネルの各々上に前記見掛け時間周波数の関数として変化する各応答を有し、
前記コントローラにより、前記選択された１つの変調周波数のチャンネルが前記チャンネルの所定の組の間から選択され、前記チャンネルの所定の組は、
前記チャンネルの各々における前記検出モジュールの応答が実質的に前記チャンネルの他のものの前記見掛け時間周波数に極小を持つという特性を有する、
送信装置。
【請求項２】
少なくとも前記コントローラを含む１以上のコントローラを有し、前記一つ以上のコントローラは、前記光源を制御するための前記信号を含む、複数の光源を制御するための複数の信号を出力し、
前記１以上のコントローラは、前記複数の信号を介して、各々が異なる変調周波数を持つ所定の組のチャンネルのうちの各チャンネル上で、対応する符号化光成分を前記複数の光源の各々から放出される光に変調する、請求項１に記載の送信装置。
【請求項３】
前記コントローラが、複数の符号化光成分を各々が異なる変調周波数を持つ所定の組のチャンネルのうちの対応する１つのチャンネル上で前記光源から放出される前記光に変調する、請求項１又は請求項２に記載の送信装置。
【請求項４】
前記検出モジュールの前記応答は、前記符号化光が検出される順次にキャプチャされるフレームの数に依存し、前記所定の組は前記数のフレームに対して前記特性を有する、請求項１ないし３の何れか一項に記載の送信装置。
【請求項５】
前記所定の組の前記変調周波数が実質的に、
【数１】
2016530745.tif 000053
とされ、ここで、ｆｃは前記変調周波数であり、ｆframeは前記フレームがキャプチャされるレートであり、Ｎは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数であり、ｋはＮ以外の整数である、請求項４に記載の送信装置。
【請求項６】
前記応答は前記見掛け空間周波数のドメインにおいて幅Δｆc(y)を有すると共に前記見掛け時間周波数のドメインにおいて幅Δｆc(t)を有し、各チャンネル上の前記変調周波数は他の各チャンネルから前記見掛け空間周波数ドメインでは少なくともΔｆc(y)により、前記見掛け時間周波数ドメインではΔｆc(t)により分離される、請求項１ないし５の何れか一項に記載の送信装置。
【請求項７】
カメラからのビデオ画像データを入力する入力部であって、光源により放出される光の変調が前記光からの前記カメラによりキャプチャされたビデオ画像に、前記ビデオ画像の複数のフレームの順次のキャプチャによる見掛け時間周波数を感知させる入力部と、
各々が異なる変調周波数を持つ複数のチャンネル上で前記光に変調された複数の符号化光成分を検出する検出モジュールであって、前記複数のチャンネルの各々を前記見掛け時間周波数に基づいて分離する検出モジュールと、
を有する入力装置であって、
前記複数のチャンネルの各チャンネル上において、前記検出モジュールは前記見掛け時間周波数の関数として変化する対応する応答を有し、
前記複数のチャンネルの各チャンネル上における前記検出モジュールの応答が、実質的に前記複数のチャンネルの他の各チャンネルの前記見掛け時間周波数に極小を有する、
受信装置。
【請求項８】
前記光の変調は前記カメラに各フレーム内の複数の空間部分の順次の露出による見掛け空間周波数を感知させ、
前記検出モジュールは前記複数のチャンネルの各々を、各変調周波数に対応する前記見掛け時間及び空間周波数の値の対応する組み合わせに基づいて選択的に入力し、
前記複数のチャンネルの各チャンネル上において、前記検出モジュールの応答は前記見掛け空間周波数に基づいた選択的入力の効果を有する、
請求項７に記載の受信装置。
【請求項９】
前記カメラがローリングシャッタカメラであり、前記空間部分が前記フレームのラインである、請求項８に記載の受信装置。
【請求項１０】
前記検出モジュールの応答は、前記符号化光成分が検出される順次にキャプチャされるフレームの数Ｎに依存し、所定の組の前記変調周波数が実質的に、
【数２】
2016530745.tif 000054
とされ、ここで、ｆｃは前記変調周波数であり、ｆframeは前記フレームがキャプチャされるレートであり、ｋはＮ以外の整数である、請求項７、８又は９に記載の受信装置。
【請求項１１】
前記検出モジュールは前記チャンネルの前記見掛け空間周波数を選択するフィルタ及び前記見掛け時間周波数を選択する時間積算機能を有し、前記応答が前記フィルタ及び前記時間積算機能の効果を有する、請求項８又は請求項１０に記載の受信装置。
【請求項１２】
前記フィルタはガボールフィルタzc(y,n)を有し、前記時間積算機能は、
【数３】
2016530745.tif 000055
により記述され、ここで、ｆc(t)は前記見掛け時間周波数であり、Ｎは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数である、請求項１１に記載の受信装置。
【請求項１３】
前記検出モジュールは前記符号化光成分を前記順次にキャプチャされるフレームのＮ個の第１グループにわたり検出すると共に、次いで前記順次にキャプチャされるフレームのＮ個の１以上の更なるグループの各々にわたって前記検出の更新されたものを実行し、前記各グループが同一のフレームの幾つかを含み時間的に重なり合う、請求項７ないし１２の何れか一項に記載の受信装置。
【請求項１４】
前記カメラがグローバルシャッタカメラである、請求項７に記載の受信装置。
【請求項１５】
光源により放出される光の変調が前記光からの受光カメラによりキャプチャされたビデオ画像に、前記ビデオ画像の複数フレームの順次のキャプチャによる見掛け時間周波数と各フレーム内の空間位置の順次の露出による見掛け空間周波数とを感知させ；複数の符号化光成分が、各々が異なる変調周波数を持つ複数のチャンネル上において前記光に各々変調され、前記複数のチャンネルの各々は前記カメラの検出モジュールにより前記変調周波数の各々に対応する前記見掛け時間周波数及び見掛け空間周波数の値の各組み合わせに基づいて検出され、前記検出モジュールが前記複数のチャンネルの各チャンネル上に前記見掛け時間周波数の関数として変化すると共に前記見掛け空間周波数の効果を有する各応答を有するシステムにおいて使用するためのコンピュータプログラムであって、
コンピュータ読取可能な記憶媒体上に具現化されて、実行された場合に、前記複数のチャンネルの各チャンネル上における前記検出モジュールの応答が実質的に前記複数のチャンネルの他の各チャンネルの前記見掛け時間周波数に極小を有するような所定の組のチャンネルから選択される前記複数のチャンネルのうちの１つを介して通信するためのコードを有する、コンピュータプログラム。
【国際調査報告】
2016530745.tif 000056
2016530745.tif 000057