(57)【要約】  デバイスのカメラは、光源からの光を含むシーンの画像を取得し、光源からの光は、符号化光成分で変調される。カメラは、複数のラインに分割された撮像素子を含み、これによって、画像を取得するために、ラインが異なる時点で順に露光される。処理モジュールは、撮像素子のラインに対する、撮像素子の平面上に投影された光源の配向を検出し、これに基づいて、光源からの光のフットプリントが、画像において増大された数のラインをカバーするデバイスの目標再配向を決定するように構成される。ユーザインタフェースは、ユーザに目標再配向の表示を出力し、目標再配向を実行するようにユーザを誘導するように構成される。
2017525172.tif 000002
【特許請求の範囲】
【請求項１】
ユーザインタフェースと、
光源からの光を含むシーンの画像を取得するためのカメラと、
処理モジュールとを含むデバイスであって、
前記光源からの前記光は、符号化光成分で変調され、前記カメラは、複数のラインに分割された撮像素子を含み、これによって前記画像を取得するために、前記ラインが異なる時点で順に露光され、前記撮像素子は平面を画定し、
前記処理モジュールは、前記撮像素子の前記ラインに対する、前記撮像素子の前記平面上に投影された前記光源の配向を検出し、これに基づいて、前記光源からの光のフットプリントが、前記画像において増大された数の前記ラインをカバーする前記デバイスの目標再配向を決定し、
前記ユーザインタフェースは、前記目標再配向を実行するようにユーザを誘導するために、前記ユーザに前記目標再配向の表示を出力する、デバイス。
【請求項２】
前記目標再配向は、前記光源からの前記デバイスの現在の距離において、前記フットプリントによってカバー可能な最大数の前記ラインをカバーするために、前記光源からの光の前記フットプリントに対して要求される、請求項１に記載のデバイス。
【請求項３】
前記ユーザインタフェースは、ディスプレイを含み、取得される前記画像は、前記ディスプレイ上に表示されない、請求項１又は２に記載のデバイス。
【請求項４】
ポータブルデバイス、スマートフォン、又はタブレットの１つである、請求項１乃至３の何れか一項に記載のデバイス。
【請求項５】
前記ユーザインタフェースは、ディスプレイを含み、前記目標再配向の前記表示は、前記ディスプレイを介して前記ユーザに出力される、請求項１乃至４の何れか一項に記載のデバイス。
【請求項６】
前記表示は、
前記ディスプレイ上に示された文章であって、前記文章を真っ直ぐに読むことは、前記ユーザが前記デバイスを前記目標再配向に回転させることを必要とするように前記ディスプレイ上で配向される前記文章、及び／又は
前記ディスプレイ上のグラフィックであって、前記グラフィックを真っ直ぐに見ることは、前記ユーザが前記デバイスを前記目標再配向に回転させることを必要とするようにスクリーン上で配向される前記グラフィック
の少なくとも一方を含む、請求項５に記載のデバイス。
【請求項７】
前記表示は、前記目標再配向を達成するために何れの方向に前記デバイスを回転させるべきかを示す矢印を前記ディスプレイ上に含む、請求項５又は６に記載のデバイス。
【請求項８】
前記表示は、前記目標再配向に対する前記デバイスの現在の配向に基づいて、前記ディスプレイ上で色及び／又は強度を変化させることを含む、請求項５、６又は７に記載のデバイス。
【請求項９】
緑である前記色は、前記デバイスが前記目標再配向に近づく方向に回転されていることを示し、赤である前記色は、前記デバイスが前記目標再配向から離れる方向に回転されていることを示す、請求項８に記載のデバイス。
【請求項１０】
前記表示は、前記目標再配向に対する前記デバイスの現在の配向を測定するメトリックを表示することを含む、請求項１乃至９の何れか一項に記載のデバイス。
【請求項１１】
前記メトリックは、前記光源からの前記デバイスの現在の距離において、前記フットプリントによってカバー可能な最大数のラインに対する、前記フットプリントによってカバーされる前記撮像素子の現在のライン数を表す、請求項１０に記載のデバイス。
【請求項１２】
前記処理モジュールは、前記撮像素子の前記ラインに対する、取得される前記画像における外観として前記光源の配向を検出することによる当該検出を行う画像処理モジュールを含む、請求項１乃至１１の何れか一項に記載のデバイス。
【請求項１３】
前記処理モジュールは、配向センサを用いて測定される前記デバイスの絶対的配向、ポジショニングシステムを用いて測定される前記デバイスの位置、及び前記位置と前記光源の絶対的配向の所定の知識との間のマッピングに基づいて前記検出を行い、前記処理モジュールは、従って、前記光源の絶対的配向と比較した前記デバイスの絶対的配向から相対的配向を決定する、請求項１乃至１２の何れか一項に記載のデバイス。
【請求項１４】
デバイスのカメラを用いて、光源からの光を含むシーンの画像を取得するステップであって、前記光源からの光は符号化光成分で変調され、前記カメラは複数のラインに分割された撮像素子を含み、これによって、前記画像を取得するために、前記ラインが異なる時点で順に露光され、前記撮像素子は平面を画定する、ステップと、
前記撮像素子の前記ラインに対する、前記撮像素子の前記平面上に投影された前記光源の配向を検出するステップと、
前記検出に基づいて、前記光源からの前記光のフットプリントが、前記画像において増大された数の前記ラインをカバーする前記デバイスの目標再配向を決定するステップと、
前記デバイスのユーザインタフェースを介してユーザに前記目標再配向の表示を出力するステップと
を含む、方法。
【請求項１５】
少なくとも１つのコンピュータ可読記憶媒体上で具現化されるコードであって、前記記憶媒体から取り出され、及び／又は通信ネットワークを介してダウンロードされ、並びに、
前記デバイスのカメラを用いて、光源からの光を含むシーンの画像を取得する動作であって、前記光源からの光は符号化光成分で変調され、前記カメラは複数のラインに分割された撮像素子を含み、これによって、前記画像を取得するために、前記ラインが異なる時点で順に露光され、前記撮像素子は、平面を画定する、動作と、
前記撮像素子の前記ラインに対する、前記撮像素子の前記平面上に投影された前記光源の配向を検出する動作と、
前記検出に基づいて、前記光源からの光のフットプリントが、前記画像において増大された数の前記ラインをカバーする前記デバイスの目標再配向を決定する動作と、
前記デバイスのユーザインタフェースを介してユーザに前記目標再配向の表示を出力する動作と
を実施するようにデバイス上で実行される当該コードを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ローリングシャッターカメラのような、光をライン毎に取得する撮像素子を有するカメラを用いた符号化光の検出に関する。
【背景技術】
【０００２】
符号化光は、ありふれた照明器具等の光源によって放射される可視光に信号が埋め込まれる技術を指す。従って、この光は、部屋等のターゲット環境の照明に対する可視照明寄与（一般的にこの光の主目的）及び環境内に情報を提供する埋め込み信号の両方を含む。これを行うには、光は、ある特定の１つ又は複数の変調周波数、好ましくは、人間の知覚を超え、且つ従って主な照明機能に影響を与えない高周波数で変調される。
【０００３】
最も単純なケースの幾つかでは、信号は、ある照明器具からの光に変調された単一波形又は単一トーンを含み得る。複数の照明器具の各々によって放射された光は、これらの照明器具の中で一意的なそれぞれ異なる変調周波数で変調され得、その場合に変調周波数は、照明器具又はその光の識別子として機能することができる。例えば、これは、コミッショニング段階において各照明器具からの寄与を識別するために使用され得、又は動作中に、それをリモートから（例えば、ＲＦバックチャンネルを用いて）制御することを目的に照明器具を識別するために使用され得る。別の例では、識別は、識別子を照明器具の既知の位置又はその位置に関連する情報にマッピングすることによって、ナビゲーション又は他のロケーションベース機能に使用することができる。
【０００４】
他のケースでは、より複雑なデータを含む信号が光に埋め込まれ得る。例えば、振幅キーイングを用いて、例えばビットを表すために高及び低レベルを用いることによって、又は異なる記号を表すためにより複雑な変調スキームを用いることによって、データを符号化するために光の振幅が変えられ得る。又は、周波数キーイングを用いることによって、ある照明器具は、２つの（又はそれを超える）異なる変調周波数で放射し、異なる変調周波数間で切り換えることによってデータビット（又はより一般的には記号）を送信するように動作可能である。
【０００５】
国際公開第２０１２／１２７４３９号は、多くの場合、携帯電話又はタブレットのようなモバイルデバイスに組み込まれるような、ありふれた「ローリングシャッター」タイプのカメラを用いて符号化光を検出することができる技術を開示する。ローリングシャッターカメラでは、カメラの撮像素子が、ライン毎に順に露光される複数のライン（一般的に、水平ライン、即ち、列）に分割される。即ち、あるフレームを取得するには、まず１つのラインが、ターゲット環境内の光に露光され、次に、順序がその次のラインが、僅か後に露光される等である。一般的に、この順序は、フレームにわたる順番で、例えば、一番上から一番下の列へと「ロール」し、従って、「ローリングシャッター」という名称である。符号化光を取得するために使用される場合、これは、フレーム内の異なるラインが異なる時点で、従って、変調周波数に対してライン速度が十分に高い場合には変調波形の異なる位相で光を取得することを意味する。従って、光の変調が検出され得る。
【０００６】
ローリングシャッター取得等の場合、効果的な検出帯域幅は、センサ上での符号化光の外観、即ち「フットプリント」に依存する。効果的な検出帯域幅は、光フットプリントが可能な限り多くの画像センサラインをカバーする場合に最大限にされる。この場合、検出時間は最小限にされる。特に、光フットプリントは理想的には最大限にされるが、検出速度の向上は、光フットプリントをカバーするセンサラインの数が増やされた際に既に生じている場合がある。これは、天井ストリップライト等の比較的細い及び細長い照明器具にカメラを向けて符号化光が検出される場合に、カメラの配向が検出の速度に大きく影響を与えることを意味する。例えば、この状況は、一般的に、モバイルデバイスのフロントカメラが使用されている場合に生じる。新しい状況毎に符号化光の検出にとってより最適な配向が達成されるように、ユーザがカメラデバイス（例えば携帯電話）を回転させることを引き起こすことが望ましい。望まれるユーザ行ためは、明示的な命令によって、又は（好ましくは）望まれるユーザ行ためが達成されるようなユーザインタフェースの暗示的向き（例えば、文章の配向）によって引き起こされ得る。
【発明の概要】
【課題を解決するための手段】
【０００７】
本明細書に開示される一態様によれば、例えばスマートフォン又はタブレット等のポータブルデバイスである、ユーザインタフェース、カメラ、及び処理モジュールを含むデバイスが提供される。カメラは、光源からの光を含むシーンの画像を取得するように動作可能であり、光源からの光は、符号化光成分で変調される。カメラは、複数のラインに分割された撮像素子を含み、これによって、画像を取得するために、例えばローリングシャッターカメラの場合のように、ラインが異なる時点で順に露光される。処理モジュールは、撮像素子のラインに対する、撮像素子の平面上に投影された（即ち、取得画像において光源が現れる又は現れるであろう）光源の配向を検出し、並びにそれに基づいて、光源からの光のフットプリントが、画像において増大された数のライン（及び従って符号化光の検出のための増大された数のライン）をカバーすることが望まれるデバイスの目標再配向を決定するように構成される。ユーザインタフェースは、次に、ユーザに目標再配向の表示を出力し、目標再配向を実行するようにユーザを誘導するように構成される。
【０００８】
従って、例えば、光源が長く、薄い長方形ストリップライトであり、ラインが水平列である場合、ユーザは、取得画像において光源がより垂直に見え、その結果、符号化光検出のためにより多くのラインをカバーするように、自らのデバイスを回転させるように誘導される。
【０００９】
好ましくは、目標再配向は、（光源からのデバイスの現在の距離を前提としてフットプリントによってカバー可能な）最大数のラインをフットプリントがカバーするために必要とされるものである。それにも関わらず、たとえ最大でなくとも、現在の配向と比べて増大された数のラインに向けた再配向を誘導することは依然として有益であり得る。
【００１０】
複数の実施形態では、ユーザインタフェースは、ディスプレイを含むが、取得画像は、前記ディスプレイ上で見えることが必須ではない。
【００１１】
複数の実施形態では、ユーザインタフェースは、ディスプレイを含み、目標再配向の表示は、ディスプレイを介してユーザに出力される。
【００１２】
例えば、表示は、ディスプレイのコンテンツであって、コンテンツを適正に（真っ直ぐに）見ることは、ユーザが自らのデバイスを目標再配向に回転させることを必要とするようにディスプレイ上で回転されるコンテンツを含み得る。例えば、表示は、ディスプレイ上に示された文章であって、文章を真っ直ぐに読むことは、ユーザがデバイスを前記目標再配向に回転させることを必要とするようにディスプレイ上で配向される文章、及び／又はスクリーン上のグラフィックであって、グラフィックを真っ直ぐに見ることは、ユーザがデバイスを前記目標再配向に回転させることを必要とするようにスクリーン上で配向されるグラフィックを含み得る。
【００１３】
別の例として、表示は、前記目標再配向を達成するために何れの方向にデバイスを回転させるべきかを示す矢印をディスプレイ上に含み得る。
【００１４】
更なる例では、表示は、目標再配向に対するデバイスの現在の配向に基づいて、ディスプレイ上で色及び／又は強度を変化させることを含み得る。例えば、表示は、ディスプレイの境界ピクセルの色を変化させることを含み得る。例えば、色は、デバイスが前記目標再配向に近づく方向に回転されていることを示すために緑であり得、及びデバイスが目標再配向から離れる方向に回転されていることを示すために赤であり得る。
【００１５】
更に別の例では、前記表示は、目標再配向に対するデバイスの現在の配向を測定するメトリックを表示することを含み得る。例えば、メトリックは、光源からのデバイスの現在の距離において、フットプリントによってカバー可能な最大数のラインに対する、前記フットプリントによってカバーされる撮像素子の現在のライン数を表し得る。
【００１６】
処理モジュールは、好ましくは、例えば、符号化光源を検出するためのフットプリント認識技術及び１つ又は複数の他の画像認識技術に基づいて、撮像素子のラインに対する、取得画像において現れる光源の配向を検出することによって前記検出を行うように構成された画像処理モジュールを含む。
【００１７】
しかしながら、代替的に又は追加的に、処理モジュールは、配向センサを用いて測定されるデバイスの絶対的配向、ポジショニングシステムを用いて測定されるデバイスの位置、及びその位置と光源の絶対的配向の所定の知識との間のマッピングに基づいて前記検出を行うように構成され得、処理モジュールは、従って、光源の絶対的配向と比較したデバイスの絶対的配向から相対的配向を決定する。
【００１８】
本明細書に開示される別の態様によれば、デバイスのカメラを用いて、光源からの光を含むシーンの画像を取得するステップであって、光源からの光は符号化光成分で変調され、カメラは複数のラインに分割された撮像素子を含み、これによって、画像を取得するために、ラインが異なる時点で順に露光される、ステップと、撮像素子のラインに対する、撮像素子上に投影された光源の配向を検出するステップと、前記検出に基づいて、光源からの光のフットプリントが、画像において増大された数の前記ラインをカバーするデバイスの目標再配向を決定するステップと、デバイスのユーザインタフェースを介してユーザに前記目標再配向の表示を出力するステップとを含む、方法が提供される。
【００１９】
本明細書に開示される別の態様によれば、コンピュータ可読媒体上で具現化されるコードを含み、且つ実行されると、デバイスの対応する動作を行うように構成されたコンピュータプログラム製品が提供される。例えば、プログラムは、デバイスにダウンロード可能なようにサーバ上に保存され得、又はデバイスのローカルストレージ若しくは他の場所に保存され得、デバイスの（マイクロ）プロセッサ又は装備されている場合はデバイスの複数のプロセッサの２つ以上で実行され得る。
【００２０】
複数の実施形態において、この方法は、ステップを更に含み得、又はコンピュータプログラムは、本明細書に開示されるデバイス特徴の何れかに従った動作を行うように更に構成され得る。
【００２１】
本開示の理解を促進するために、及びどのように実施形態が実施され得るかを示すために、例として添付の図面が参照される。
【図面の簡単な説明】
【００２２】
【図１】照明システム及びカメラを含む空間を概略的に示す。
【図２】符号化光を受信するためのカメラを備えたデバイスの概略ブロック図である。
【図３】ローリングシャッターカメラの撮像素子を概略的に示す。
【図４】ローリングシャッターによる変調光の取得を概略的に示す。
【図５】取得画像の概略図である。
【図６】取得画像の別の概略図である。
【図７】取得画像の別の概略図である。
【図８】取得画像を処理するための構成の概略ブロック図である。
【図９】ユーザインタフェースを介した回転コンテンツ出力の概略図である。
【図１０】ユーザインタフェースによるメトリック出力の概略図である。
【図１１】図１０のメトリックの別の概略図である。
【発明を実施するための形態】
【００２３】
図１は、本明細書に開示される実施形態を展開することができる例示的環境２を示す。例えば、環境は、職場、自宅、学校、病院、美術館若しくは他の室内空間の１つ若しくは複数の部屋及び／若しくは廊下、公園、通り、若しくはスタジアム等の屋外空間、又は展望台若しくは車両の室内等の別のタイプの空間を含み得る。環境２は、照明器具の形態の少なくとも１つの照明デバイス４を含む照明システムが設置されている。環境２には、好ましくはスマートフォン又はタブレット等のモバイルデバイスであるユーザ端末６も存在する。照明器具４は、ＬＥＤ、ＬＥＤアレイ、フィラメント電球又はガス放電ランプ等の照明素子を含む。１つ又は複数の照明器具の各々の照明素子によって放射された光は、人間の目には実質的に感知できない周波数の符号化光成分により変調される。
【００２４】
これは、十分に高い変調周波数を選択することによって、及び例えばデータが変調される結果としての光出力の周波数スペクトルの変動を、人間の視覚系の臨界フリッカー周波数より下に制限する手段を含むことによって達成することができる。データ依存スペクトル成分に関して、ＤＣフリー符号及び／又はＤＣ２フリー符号の使用が、光出力において低周波成分を制限するのに特に有益であり得ることに留意されたい。
【００２５】
図２は、モバイルデバイス６のブロック図を提供する。デバイス６は、ユーザインタフェース８（好ましくは、スクリーン又はタッチスクリーン等のディスプレイ）、二次元撮像素子２０を有するカメラ１０、並びに撮像素子２０及びユーザインタフェース８に結合された画像解析モジュール１２を含む。画像解析モジュール１２は、撮像素子によって取得された画像を表す信号を処理し、これに基づいて、それから画像が取得された光中の符号化光成分を復号するように動作可能である。画像解析モジュール１２は、１つ又は複数のコンピュータ可読記憶媒体に保存され、１つ又は複数の処理ユニットを含むプロセッサで実行されるように構成された符号の形態で実施され得る。代替的に、画像解析モジュール１２の一部又は全てが、専用ハードウェア回路又はＦＰＧＡ等の再構成可能回路で実施され得ることは除外されない。
【００２６】
図３は、カメラ１０の撮像素子２０を示す。撮像素子２０は、各ピクセルに入射した光を表す信号を取得するためのピクセルのアレイ、例えば、一般的に正方形又は長方形ピクセルの正方形又は長方形アレイを含む。ローリングシャッターカメラでは、ピクセルは、複数のライン、例えば水平列２２に配置される。フレームを取得するために、各ラインは、それぞれカメラの露光時間Ｔｅｘｐの連続するインスタンスの間、順に露光される。この場合、露光時間は、個々のラインの露光の継続時間である。当然のことながら、デジタルカメラの場合、「露光する」又は「露光」という用語は、機械的なシャッター動作等（この用語は、これに歴史的に由来する）ではなく、正しくは、環境からの光を取得又はサンプリングするためにラインが能動的に使用されている時を指すことに留意されたい。また、本開示におけるシーケンスは、時間シーケンスを意味し、即ち、各ラインの露光は、僅かに異なる時点で始まる（及び任意選択的に、ラインの露光は、時間的に重複し得る）ことに留意されたい。例えば、最初に、一番上の列２２１が継続時間Ｔｅｘｐの間の露光を開始し、次に、僅か後に、下の第２の列２２２がＴｅｘｐの間の露光を開始し、次に、僅か後に、先と同様に下の第３の列２２３がＴｅｘｐの間の露光を開始し、一番下の列が露光されるまで同様である。このプロセスは、その後、一連のフレームを露光するために繰り返される。
【００２７】
例えば国際公開第２０１２／１２７４３９号では、このタイプの従来のビデオカメラを用いて、どのように符号化光を検出することができるかを記載している。信号検出は、連続する画像列にわたって時間的光変調を空間的強度変動に変換させるローリングシャッター撮像を利用する。
【００２８】
これは、図４に概略的に示される。各連続するライン２２が露光される際に、それは、僅かに異なる時点で、従って（ライン速度が変調周波数と比べて十分に高い場合）変調の僅かに異なる位相で露光される。従って、各ライン２２は、それぞれの瞬間レベルの変調光に露光される。これは、ある特定のフレームにわたって変調と共に周期的に変化する又は繰り返すストリップパターンをもたらす。この原理に基づいて、画像解析モジュール１２は、カメラ１０によって受け取られた光に変調された符号化光成分を検出することができる。
【００２９】
単一の光検出器の使用の代わりとして、符号化光を検出するためにローリングシャッターカメラを使用することは、様々な利点をもたらす。そのような利点の１つは、画像平面における異なる光源の空間的分離であり、照明シーン上の複数の光源の同時識別及びそれらの光分布（それらの「フットプリント」）の分離を可能にする。
【００３０】
例えば、欧州特許第２，５０３，８５２号は、符号化光成分によって伝えられた識別情報又はデータだけでなく、環境内に異なる照明器具からの複数の符号化光成分が存在する場合に個々の符号化光成分の空間フットプリントも検出するために、どのようにローリングシャッタータイプの技術を使用することができるかを説明している。即ち、個々の成分の大きさは、取得画像内の空間座標の関数として、例えば、他の１つ又は複数の成分からの寄与の中から分離されたデカルトｘ及びｙピクセル座標の関数として決定することができる。
【００３１】
符号化光検出の場合、ローリングシャッター画像センサを備えたカメラの特定の使用も、図４に関連して説明されるように、連続したセンサラインの異なる時間インスタンスが、高速光変調を空間パターンに変換させる点において、グローバルシャッター読み出し（フレーム全体が一挙に露光される）を上回る利点を有する。しかしながら、図４に示されるものとは異なり、ある特定の光源４からの光（又は少なくとも使用可能光）は、必ずしも撮像素子２０全体の領域をカバーせず、正しくは、特定のフットプリントのみをカバーする。その結果、取得された光フットプリントの垂直方向の広がりが短い程、符号化光信号が検出可能な継続時間が長くなる。実際には、これは、符号化光信号全体の時間的フラグメントのみを単一のフレーム内で取得し得ることを意味するため、符号化光に埋め込まれたデータを復元するために十分なシフト信号フラグメントを取得するには、複数のフレームが必要とされる。各フレーム内の信号フラグメントが小さい程、データ復元が可能となるまでにより多くの取得フレームが必要である。
【００３２】
符号化光は、カメラ１０を光源に向けることによって、又はカメラを照明された面に向けることによって検出することができる。モバイルデバイス６のフロントカメラを用いることによって、モバイルデバイスのディスプレイ上の自由な視野を維持しながら、符号化光を検出することができる。例えばこれは、モバイルデバイス６が、照明設置段階（例えばコミッショニング）の一部として使用されることを可能にする。代替的に又は追加的に、設置後、モバイルデバイス６は、エンドユーザに対して建物内のエンドユーザの位置に基づいて様々なサービスを提供するために、符号化光に埋め込まれたランプ固有識別子を直ちに復元することができる。例えば、このようなロケーションベースサービスは、室内ナビゲーション及び／又は符号化光内に埋め込まれたＩＤによって認識される照明器具を調節することによるローカル照明のカスタマイズ制御（適切なバックチャンネル、例えばＲＦを用いた制御）に使用することができる。
【００３３】
職場、店及び空港等の大きな公共空間においてよく見られる状況は、天井に取り付けられた細い照明器具の長い列の使用である。ＬＥＤ照明の場合であっても、照明器具の線形形状は、そのようなＬＥＤ照明器具が代用となることが多い蛍光照明器具（ＴＬ管）に対応することが多い。
【００３４】
ローリングシャッターカメラを用いた符号化光検出の効果的な検出帯域幅は、センサラインにわたって符号化光信号が存在する当該センサラインの数によって決定される。これは、データの復元に必要とされる時間が、照明器具４の長軸に対するモバイルデバイス６の配向に強く依存することを意味する（カメラ１０は、モバイルデバイス６の一部であり、従ってモバイルデバイス６と一緒に動くと仮定する）。細い照明器具４は、その長軸が画像センサ２０のラインに対して平行に現れる場合、検出時間は非常に長くなり得る。極端なケースでは、検出は全く不可能であり得る。
【００３５】
図５〜図７は、モバイルデバイス６の前面カメラ１０によって観察された、即ち、撮像素子２０の平面に投影された細長い天井照明器具の外観の３つの典型的なケースを示す。矢印は、カメラフレーム内の発光領域の垂直方向範囲を示す。図５は、符号化光の検出にとって最も有益ではない状況を示す。図６に見られるような、又は最適には図７に見られるようなデバイスの回転は、垂直方向範囲にわたって符号化光信号又は信号フラグメントが取得される当該垂直方向範囲を向上させる。
【００３６】
光源４の画像が、平行（例えば水平）に、又は撮像素子２０のライン２２（例えば列）に対して浅い角度で現れる場合、符号化光検出を可能にする又は向上させることが望ましい。以下によれば、これは、光源４の画像とライン２２との間の相対的配向を検出し、光源４の画像が撮像素子２０のライン２２に対してより急な角度で、好ましくはライン２２（例えば列）に対して直角（例えば垂直に）に現れるように、デバイス６（カメラ１０は、デバイス６の一部であり、従ってデバイス６と一緒に動くと仮定する）の望ましい再配向を計算することによって達成される。目標再配向の表示は、ユーザに１つ又は複数の照明器具に対してより有益な配向へとユーザのモバイルデバイスを回転させるように設計されたユーザインタフェース８（好ましくはスクリーン）に出力される。
【００３７】
図８は、本開示の実施形態に従って構成されたモバイルデバイス６の概略図を提供する。機能ブロックは、長方形ブロックで示され、情報ストリームの関連要素は、丸みを帯びたブロックで示される。
【００３８】
デバイス６は、好ましくは、タブレット又はスマートフォン等のモバイルデバイスである。図２に関連して説明されたように、それは、埋め込み式カメラ１０（好ましくは、前面カメラ）、情報及び制御装置を有するディスプレイ（例えばタッチスクリーン）であり得るユーザインタフェース８と、処理モジュール１２（例えば、これは、デバイス６の埋め込み式メモリ及びマイクロプロセッサ上で実施され得る）とを含む。処理モジュール１２は、カメラ１０に対する光源の配向又は照明された面の配向を決定するためのサブシステム又はアルゴリズム、及びユーザに対して符号化光の検出を最適化する配向にユーザがデバイスを回転させるように暗示的に又は明示的に提案する態様で、ユーザインタフェース８の向きを変更する手段を含む。好ましくは、ユーザインタフェースは、カメラ画像がディスプレイ８上で見えることを必要としない。
【００３９】
図８に示されるように、デバイス６の処理モジュール１２は、配向決定ブロック３２及び比較ブロック３８を含む。配向決定ブロック３２は、カメラ１０の撮像素子２０から画像ストリーム３０を受信するように構成され、ストリーム３０は、取得画像の少なくとも１つにおける光源４の画像を含む、環境２の１つ又は複数の画像の取得画像データを含む。配向決定ブロック３２は、例えば欧州特許第２，５０３，８５２号に開示された技術を用いて、取得画像における光源４のフットプリントを認識するように構成されたフットプリント認識ブロックを含む。これに基づいて、配向決定ブロック３２は、取得画像において光源４が現れる、例えば図５、図６及び図７に示されるような光源４の現在の配向を決定する。配向決定ブロック３２は、次に、この現在の配向を表す第１の信号３４を比較ブロック３８に出力する。
【００４０】
代替的に又は追加的に、相対的配向は、別のやり方で決定され得る。例えば、配向決定ブロック３２は、配向センサからモバイルデバイス６の配向を得て、これを、デバイス６と照明器具４との間の相対的配向を決定するために、ポジショニングシステムから導出された位置情報と組み合わせるように構成され得る。例えば、配向センサは、モバイルデバイス６に組み込まれたコンパス、１つ若しくは複数のジャイロセンサ、及び／又は１つ若しくは複数の加速度計を含み得るが、ポジショニングシステムは、衛星利用ポジショニングシステム（例えば、ＧＰＳ、ＧＬＯＮＡＳＳ若しくはGalileo）又はローカルＲＦ通信ネットワーク（例えば、モバイルデバイス６とネットワークのワイヤレスノードとの間で送信された信号に基づいた三角測量、三辺測量若しくはマルチラテレーションを使用）を含み得る。配向センサは、世界に対するデバイス６の配向を提供し（信号が信頼できるという条件で）、及びポジショニングシステムから受信された情報は、世界におけるデバイスの位置を与える。適切な照明データベース（デバイス６にローカルに保存された又は例えばネットワーク上でリモートからアクセスされた）へのアクセスが与えられると、これは、何れの照明器具４が現在の位置に存在するか及び例えば環境の地図、間取図、又は３Ｄモデルに対するそれらの「絶対的」配向を配向決定ブロック３２が調べることを可能にすることができる。同様に地図、間取図、又はモデルに対するモバイルデバイス６の配向を（配向センサから）知ることにより、配向決定ブロック３２は、デバイス６及び照明器具４の相対的配向、並びに従って取得画像において現れる照明器具４の配向を決定することができる。例えば、位置情報は、特定の店にマッピングすることができ、及びデータベースは、店の空間全体にわたって一般的に一方向の照明器具のローカル配向を記録することができる。
【００４１】
従って、上記の選択肢が与えられると、様々な実施形態において、モバイルデバイス６の配向は、カメラによって取得された画像のみに基づいて、若しくはカメラを用いずに配向センサ及びポジショニングシステムに基づいてフットプリント認識から決定され得、又は両方の技術による情報が配向の決定において組み合わせられ得る。
【００４２】
また、何れにしても、比較ブロック３８は、取得画像において現れる光源４の望ましい配向を表す第２の信号３６を取り出す。例えば、比較ブロック３８は、垂直方向の配向が望ましい（水平ライン２２の場合）という予めプログラムされた知識を取り出す。次に、比較ブロック３８は、これら２つの信号３４、３６を比較して、ユーザインタフェース８を介してそれが出力するデバイス６の好ましい再配向の表示４０を決定する。
【００４３】
複数の実施形態では、表示４０は、ユーザインタフェース８に関する必要とされるユーザインタフェース（ＵＩ：user interface）配向を決定し、それによって、そのコンテンツが、適正な（真っ直ぐな）読み取りのためには、符号化光検出にとって最も有益な方向にユーザが自らの電話又はタブレットを回転させる必要があるような配向を有して、ＵＩ８上に表示されることによって実施される。従ってユーザは、再配向を行うことを暗示的に求められる。例えば、デバイスのディスプレイ上の文章が、適正な読み取りのためには、スマートフォン６が最適な（又は少なくとも向上した）符号化光検出のための方向に回転される必要があるように配向される。別の例として、デバイスのディスプレイのグラフィック（例えば、写真又は絵）の配向が、適正に見るには、スマートフォンが符号化光検出のためにより有益な方向に回転される必要があるようなものである。例えば、このグラフィックは、会社のロゴ、タッチスクリーンとのインタラクションによって調節されるスライダ等のインタラクティブ制御装置、及び／又はユーザが観察するように興味を惹かれる画像を含み得る。
【００４４】
例えば、図９を参照されたい。ここでは、コンテンツは、猫４４の写真及び／又はある文章４２を含むが、ある角度に回転されている。必ずしも考えなくても、ユーザは、猫４４を賞賛する又は文章４２を読むことをユーザ自身が望んでいると気付き、及び本能的にコンテンツが真っ直ぐに表示されるようにデバイスを回転させる。この時、デバイス６が保持される角度が、符号化光検出にとって最適な角度である。
【００４５】
別の実施形態では、ユーザインタフェースコンテンツは回転され得るが、デバイス６のユーザが回転の指示を読み易いやり方で見ることができるように、デバイスを回転させるためのメッセージを提供する文章が真っ直ぐに表示される（及びデバイス６が回転する間、真っ直ぐに維持され得る）。この文章は、デバイス６が最適な配向に回転された時点で除去され得る。
【００４６】
別の実施形態では、ディスプレイ８上の矢印が、符号化光検出にとって最適な配向を示す。
【００４７】
別の実施形態では、色が、どの程度まで配向が符号化光検出にとって最適であるかを示す。ある可能な実装形態は、照明器具の配向に応じて色が赤から緑へと変化する着色境界を使用することである。
【００４８】
更に別の実施形態では、表示は、デバイスの現在の配向に対する好ましい配向を定量化した、ユーザに表示される明確なメトリックであり得る。例えば、このメトリックは、デバイスが最適位置に回転された場合に光源が潜在的に占有することができるライン２２の推定最大数に対する、現在光源４が占有しているライン２２の数の比率若しくは割合を測定し得、及び／又はこのメトリックは、１つ若しくは複数の軸上でデバイス６が回転されるべき度数を測定し得る。このメトリックは、ユーザに対して数値的に又はグラフィックを用いて（例えば、グラフ尺度上の位置又は範囲として）表示され得る。エンドユーザにとっては、メトリックは、好ましくは、グラフィックを用いて、例えば、現在の配向角度と望まれる配向角度との間の範囲にわたる円セクタの形態で提示される。例えば、図１０及び図１１は、デバイスのあまり最適ではない配向と、ほぼ最適な配向との差を示すための円セクタの一例を示す。第２のインジケータは、最大期待検出速度の百分率としての相対的検出速度を示す。
【００４９】
上記の実施形態は、単なる例として記載されたものであることが理解されるであろう。
【００５０】
例えば、開示技術の範囲は、上述の目標配向の表示例に限定されず、並びに他の表示、即ち、上記の表示及び／又は他の表示の任意の組み合わせが使用され得る。一般的に、目標再配向は、どのような形式で表され得、及び配向の目標変更又は目標とされる絶対的配向について表され得る。
【００５１】
更に、上記では処理モジュール１２が符号化光を復号し、及びターゲット再配向を計算すると記載されたが、これは、全ての可能な実施形態においてそうである必要はない。代替的に又は追加的に、デバイス６上の処理モジュール１２は、デバイス６の目標再配向を決定するための動作を行うことができ、取得画像が、符号化光信号を抽出するための別の端末に渡されることができる。例えば、処理モジュール１２は、後に保存された画像から符号化光を復号することができるように、画像を保存し得る（例えば、ローカルに又はホストコンピュータ若しくはサーバにアップロードすることによって）。
【００５２】
更に、開示技術は、多くの異なる符号化光の適用例と併せて使用することができる。符号化光は、光源及び照明環境に情報を追加し、並びに既存の（モバイル）カメラを用いた検出は、埋め込まれた情報が様々な新しい適用例に利用可能となるため、光源に価値を付加する。例えば、ランプ固有情報は、新しい照明システムのコミッショニング中に使用することができ、及び／又はスマートフォン若しくはタブレットを使用して、光に対するカスタマイズローカル制御を提供することができる。別の例として、符号化光使用可能照明器具の群が、利用者に価値を付加する及びサービスプロバイダに正確な位置情報をもたらす室内ナビゲーション及びロケーションベースサービスのための高密度の光ビーコン網を提供することができる。更に別の例として、ある特定の物体の符号化光照明は、基本的に、光中に埋め込まれた埋め込み識別子を用いて物体に「タグを付ける」ことができる。開示技術は、潜在的に、これらの適用例の何れにもロバストネスを付加することができる。
【００５３】
本発明は、本発明を実施するように適応されたコンピュータプログラム、特にキャリア上又はキャリア内のコンピュータプログラムにも適用することが理解されるであろう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び部分的にコンパイルされた形式等のオブジェクトコードの形式であり得、又は本発明による方法の実施における使用に適した任意の他の形式であり得る。
【００５４】
コンピュータプログラム製品に関連した別の実施形態は、本明細書に記載されたシステム及び／又は製品の少なくとも１つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され得、及び／又は静的に若しくは動的にリンクさせることができる１つ若しくは複数のファイルに保存され得る。
【００５５】
上記に規定されているように、本発明は、更に、コンピュータプログラム製品の形態で具現化され得る。キャリア上で提供される場合、コンピュータプログラムのキャリアは、プログラムを保持することが可能な任意のエンティティ又はデバイスであり得る。例えば、キャリアは、ＲＯＭ（例えば、ＣＤ−ＲＯＭ若しくは半導体ＲＯＭ）等の記憶媒体又は磁気記録媒体（例えばハードディスク）を含み得る。代替的に、キャリアは、プログラムが埋め込まれた集積回路であり得、この集積回路は、関連の方法を行うように、又は関連の方法を行う際に使用されるように適応される。
【００５６】
開示された実施形態に対する他の変形形態は、図面、開示内容、及び添付の特許請求の範囲の研究から、特許請求される本発明の実施において、当業者によって理解され、及びもたらされ得る。クレームにおいて、「含む（comprising）」という用語は、他の要素又はステップを排除せず、及び不定冠詞「１つの（a）」又は「１つの（an）」は、複数を排除しない。単一のプロセッサ又は他のユニットが、クレームに記載された幾つかの項目の機能を果たし得る。特定の手段が互いに異なる従属クレームに記載されているという事実のみでは、これらの手段の組み合わせを有利に使用できないことを意味しない。コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光記憶媒体又は固体媒体等の適切な媒体上で保存／配布され得るが、インターネット又は他の有線若しくは無線通信システムを介して等、他の形態で配布され得る。クレームにおける何れの参照符号も範囲を限定するものと解釈されるものではない。
【図１】
2017525172.tif 000003
【図２】
2017525172.tif 000004
【図３】
2017525172.tif 000005
【図４】
2017525172.tif 000006
【図５】
2017525172.tif 000007
【図６】
2017525172.tif 000008
【図７】
2017525172.tif 000009
【図８】
2017525172.tif 000010
【図９】
2017525172.tif 000011
【図１０】
2017525172.tif 000012
【図１１】
2017525172.tif 000013
【国際調査報告】
2017525172.tif 000014
2017525172.tif 000015
2017525172.tif 000016