(57)【要約】  本発明は、画像ベースのサービスのためのデバイスを提供する。当該デバイスは、フレームのセットの反復系列を捕捉することにより画像を捕捉するためのカメラとプロセッサとを備え、カメラは、可視光通信の検出に関連する第１のグループのカメラ設定及び可視光通信の検出に関連しない第２のグループのカメラ設定を含み、前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含み、各サブセットは、少なくとも１つのフレームを含み、プロセッサは、第１のグループのカメラ設定を用いてフレームのセットの反復系列の各第１のフレームのサブセットを、及び、第２のグループのカメラ設定を用いてフレームのセットの反復系列の各第２のフレームのサブセットを捕捉することにより画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替える、及び、第１のフレームのサブセットの少なくとも１つのフレーム及び／又は第２のフレームのサブセットの少なくとも１つのフレームに基づいて画像ベースのサービスを可能にするように構成され、前記第１のフレームのサブセットは、第１のフレーム数を含み、前記第２のフレームのサブセットは、第２のフレーム数を含み、プロセッサはさらに、画像で検出される特徴に基づいて及び／又は当該デバイスへのセンサ入力に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるように構成される。
2021508992.tif 000002
【特許請求の範囲】
【請求項１】
画像ベースのサービスのためのデバイスであって、
当該デバイスは、
フレームのセットの反復系列を捕捉することにより画像を捕捉するためのカメラと、
プロセッサと、
を備え、
前記カメラは、可視光通信の検出に関連する第１のグループのカメラ設定及び可視光通信の検出に関連しない第２のグループのカメラ設定を含み、
前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含み、各サブセットは、少なくとも１つのフレームを含み、
前記プロセッサは、
（ｉ）前記第１のグループのカメラ設定を用いて前記フレームのセットの前記反復系列の各第１のフレームのサブセットを、及び、前記第２のグループのカメラ設定を用いて前記フレームのセットの前記反復系列の各第２のフレームのサブセットを捕捉することにより前記画像を捕捉するために前記第１のグループのカメラ設定と前記第２のグループのカメラ設定とで前記カメラを周期的に切り替える、及び
（ｉｉ）前記第１のフレームのサブセットの少なくとも１つのフレーム及び／又は前記第２のフレームのサブセットの少なくとも１つのフレームに基づいて画像ベースのサービスを可能にする、
ように構成され、
前記第１のフレームのサブセットは、第１のフレーム数を含み、前記第２のフレームのサブセットは、第２のフレーム数を含み、
前記プロセッサは、前記画像で検出される特徴に基づいて及び／又は当該デバイスへのセンサ入力に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるように構成される、デバイス。
【請求項２】
前記特徴は、顔の特徴、照明器具、光源、物体の動き、ジェスチャ、人、感情、輪郭、エッジ、形状、コード又はロケーションインジケータのうちの１つである、請求項１に記載のデバイス。
【請求項３】
前記センサ入力は、当該デバイスの速度、当該デバイスの加速度、当該デバイスの回転、当該デバイスによって検出される光の強度、当該デバイスによって検出される光の色、オーディオ信号又は検出された位置のうちの１つである、請求項１又は２に記載のデバイス。
【請求項４】
前記第１のグループのカメラ設定は、最大でも１／１０００秒の露光時間を含み、前記第２のグループのカメラ設定は、少なくとも１／１０００秒の露光時間を含む、請求項１乃至３のいずれか一項に記載のデバイス。
【請求項５】
前記第１のグループのカメラ設定は、当該デバイスのシンボルクロックに比例した露光時間を含み、前記シンボルクロックは、可視光通信の検出に関連している、請求項１乃至４のいずれか一項に記載のデバイス。
【請求項６】
前記第１のグループのカメラ設定は、当該デバイスのシンボルクロックの少なくとも１／４に等しい露光時間を含み、前記シンボルクロックは、可視光通信の検出に関連している、請求項１乃至５のいずれか一項に記載のデバイス。
【請求項７】
前記第１のグループのカメラ設定は、少なくとも４００のＩＳＯ値を含む、請求項１乃至６のいずれか一項に記載のデバイス。
【請求項８】
前記第１のグループのカメラ設定は、最大でも１メガピクセルの解像度を含み、前記第２のグループのカメラ設定は、少なくとも１メガピクセルの解像度を含む、請求項１乃至７のいずれか一項に記載のデバイス。
【請求項９】
前記画像は、物理的特徴を表す特徴を含み、前記第２のグループのカメラ設定は、前記カメラと前記物理的特徴との間の最短距離の９０％と１１０％との間で規定される距離に設定される焦点を含む、請求項１乃至８のいずれか一項に記載のデバイス。
【請求項１０】
前記第１のフレームのサブセット及び前記第２のフレームのサブセットは、等しいフレーム数を含む、請求項１乃至９のいずれか一項に記載のデバイス。
【請求項１１】
画像ベースのサービスのための方法であって、当該方法は、カメラとプロセッサとを備えるデバイスによって実行され、
前記カメラは、可視光通信の検出に関連する第１のグループのカメラ設定及び可視光通信の検出に関連しない第２のグループのカメラ設定を含み、当該方法は、
前記カメラを用いてフレームのセットの反復系列を捕捉することにより画像を捕捉するステップであって、前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含み、各サブセットは、少なくとも１つのフレームを含む、ステップと、
前記第１のグループのカメラ設定を用いて前記フレームのセットの前記反復系列の各第１のフレームのサブセットを、及び、前記第２のグループのカメラ設定を用いて前記フレームのセットの前記反復系列の各第２のフレームのサブセットを捕捉することにより前記画像を捕捉するために前記第１のグループのカメラ設定と前記第２のグループのカメラ設定とで前記カメラを周期的に切り替えるステップと、
前記第１のフレームのサブセットの少なくとも１つのフレーム及び／又は前記第２のフレームのサブセットの少なくとも１つのフレームに基づいて画像ベースのサービスを可能にするステップと、
を含み、
前記第１のフレームのサブセットは、第１のフレーム数を含み、前記第２のフレームのサブセットは、第２のフレーム数を含み、
当該方法は、
前記画像で検出される特徴に基づいて及び／又は当該デバイスへのセンサ入力に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるステップ、
を含む、方法。
【請求項１２】
前記特徴は、顔の特徴、照明器具、光源、物体の動き、ジェスチャ、人、感情、輪郭、エッジ、形状、コード又はロケーションインジケータのうちの１つである、請求項１１に記載の方法。
【請求項１３】
前記センサ入力は、当該デバイスの速度、当該デバイスの加速度、当該デバイスの回転、当該デバイスによって検出される光の強度、当該デバイスによって検出される光の色、オーディオ信号又は検出された位置のうちの１つである、請求項１１又は１２に記載の方法。
【請求項１４】
前記第１のグループのカメラ設定は、最大でも１／１０００秒の露光時間を含み、前記第２のグループのカメラ設定は、少なくとも１／１０００秒の露光時間を含む、請求項１１乃至１３のいずれか一項に記載の方法。
【請求項１５】
コンピューティングデバイスのためのコンピュータプログラムであって、当該コンピュータプログラムが前記コンピューティングデバイスの処理ユニットで実行された場合、請求項１１乃至１４のいずれか一項に記載の方法を実行するためのコンピュータプログラムコードを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を捕捉するためのカメラ及びプロセッサを備える、画像ベースのサービスのためのデバイスに関する。本発明はさらに、カメラ及びプロセッサを備えるデバイスによって実行される、画像ベースのサービスのための方法に関する。本発明はさらに、前記方法を実行するコンピュータプログラムプロダクトに関する。
【背景技術】
【０００２】
画像ベースのサービス(image based service)は、例えばカメラ等の画像センサで記録された画像によって可能になるサービス及び／又はアプリケーションとして定義されてもよい。画像処理技術及びコンピューティングインテリジェンスにより、画像データはより効果的、より正確、より効率的、及びより緻密に分析されることができるため、画像ベースのサービスはより広まっている。既知の画像ベースのサービスには、拡張現実（ＡＲ：Augmented Reality）、オブジェクト認識、感情検出、画像解析、及び／又はコード化された光、例えば可視光通信（ＶＬＣ：Visible Light Communication）に基づく屋内測位が含まれてもよい。斯くして、デバイスは、カメラ等の画像センサをますます備えるようになっている。
【０００３】
可視光通信（ＶＬＣ）は、光源によって放出された可視光に埋め込まれた信号の形態で情報が通信される技術を指す。信号は、さまざまな適切な変調技術のいずれかに従って、可視光のプロパティ、典型的には強度を変調することによって埋め込まれる。変調に基づいて、光に埋め込まれた情報は、フォトダイオード及びカメラ等の適切な光センサを使用して検出されることができる。そのような情報の検出及び／又は復号は、例えば、欧州特許第３１０５８６８Ｂ１号に述べられている。同様に、コード化された光は、同じ原理を指す場合があるが、ＬｉＦｉ等の非可視光スペクトルも含まれる場合がある。
【０００４】
本発明は、画像ベースのサービスのためのデバイスに関する。そのようなデバイス及び対応するシステムは、例えば、カメラセンサモジュールを使用する短距離無線通信システムが提供される、米国特許公開第２００５／０２６５７３１Ａ１号から既知であり得る。カメラセンサモジュールは、光信号を感知して電気信号に変換し、カメラモード中に感知信号を画像信号プロセッサに転送するが、追加的に、通信モード中に感知信号を復調器に送信する。カメラセンサモジュールが通信機能を実行する場合、斯かるシステムは可視光通信を可能にしてもよい。
【０００５】
斯かるシステムは効果的に可視光通信を可能にするかもしれないが、可視光通信と、拡張現実等の他の画像ベースのサービスとに対してカメラセンサモジュールを同時に可能にすることができないため、画像ベースのサービスへの適用は制限される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、画像ベースのサービス(image based service)のための改善されたデバイスを提供することである。
【課題を解決するための手段】
【０００７】
そのため、本発明は、画像ベースのサービスのためのデバイスであって、当該デバイスは、フレームのセットの反復系列(repetitive series)を捕捉することにより画像を捕捉するためのカメラと、プロセッサと、を備え、カメラは、可視光通信(Visible Light Communication)の検出に関連する第１のグループのカメラ設定及び可視光通信の検出に関連しない第２のグループのカメラ設定を含み、前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含み、各サブセットは、少なくとも１つのフレームを含み、プロセッサは、（ｉ）第１のグループのカメラ設定を用いてフレームのセットの反復系列の各第１のフレームのサブセットを、及び、第２のグループのカメラ設定を用いてフレームのセットの反復系列の各第２のフレームのサブセットを捕捉することにより画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替える、及び、（ｉｉ）第１のフレームのサブセットの少なくとも１つのフレーム及び／又は第２のフレームのサブセットの少なくとも１つのフレームに基づいて画像ベースのサービスを可能にする(enable)ように構成され、前記第１のフレームのサブセットは、第１のフレーム数を含み、前記第２のフレームのサブセットは、第２のフレーム数を含み、プロセッサはさらに、画像で検出される特徴(characteristic)に基づいて及び／又は当該デバイスへのセンサ入力に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるように構成される、デバイスを提供する。
【０００８】
このようなデバイスは、画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替えるという概念を使用している。フレームのセットの反復系列の各第１のフレームのサブセットは、ここでは、前記第１のグループのカメラ設定を用いて捕捉される。第１のグループのカメラ設定は、とりわけ、可視光通信を検出するのに適している。しかしながら、カメラ設定が、とりわけ、可視光通信を検出するのに適している場合、当該カメラ設定は、典型的には、ＶＬＣの検出に関連しない、他の画像ベースのサービスを正確に実行するのに適していない可能性がある。なぜなら、ＶＬＣの検出は、例えば、典型的には、露出アンダー、高ＩＳＯ及び低解像度のグループのうちの少なくとも１つ等の特定のカメラ設定で行われるからである。したがって、第２のグループのカメラ設定は、ＶＬＣを検出するために関連付けられるカメラ設定とは対照的であり得る、別の画像ベースのサービスに関連付けられてもよい。したがって、本発明によるデバイスのカメラは、ＶＬＣの検出に関連しない第２のグループのカメラ設定を含む。このようなカメラ設定は、少なくとも、露出オーバー、低ＩＳＯ及び高解像度であってもよい。これは、ＶＬＣを検出する要件とは対照的に、画像内の物体の特定の細部が、拡張現実(Augmented Reality)、物体認識(Object Recognition)、感情検出(emotion detection)、アイリススキャン(iris scanning)等の他の画像ベースのサービスのために識別可能である必要があるからである。
【０００９】
そのため、本発明によるデバイスは、第１のグループのカメラ設定を用いてフレームのセットの反復系列の各第１のフレームのサブセットを、及び、第２のグループのカメラ設定を用いてフレームのセットの反復系列の各第２のフレームのサブセットを捕捉することにより画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替えるように構成されるプロセッサを備える。これは有利である。
【００１０】
当該切り替えの効果は、カメラが画像を捕捉するにあたり、フレームのセットの反復系列の各第１のフレームのサブセットが、とりわけ、ＶＬＣを検出するのに適してもよく、一方、フレームのセットの反復系列の各第２のフレームのサブセットが、とりわけ、例えば別の画像ベースのサービスと表現される、ＶＬＣ以外の画像ベースのサービスに適してもよいということである。したがって、一方はＶＬＣである、２つの異なる画像ベースのサービスが、本発明によるデバイスに具備される単一のカメラを使用するだけで可能にされ得、前記２つの異なる画像ベースのサービスの各々は、その目的に適した所望のカメラ設定で動作してもよい。これは明らかに有利な点であり、画像ベースのサービス、可視光通信及び画像解析の発展中の技術分野における明確なニーズを満たす。
【００１１】
結果として、画像で検出される特徴は、デバイスが、より高いフレーム数及び／又はより低いフレーム数で第１のグループの設定及び／又は第２のグループの設定を用いて画像を捕捉するための手掛かり(cue)を提供し得る。これにより、適応システム(adaptive system)、すなわち、有利なことに、第１のグループの設定及び／又は第２のグループの設定で画像を検出する際のフレームレートを相応に適応させ得るデバイスが得られる。
【００１２】
一実施形態では、第１のグループのカメラ設定は、最大でも１／１０００秒の露光時間を含み、第２のグループのカメラ設定は、少なくとも１／１０００秒の露光時間を含む。
【００１３】
部分的に上述したように、このようなデバイスは、画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替えるという概念を使用している。フレームのセットの反復系列の各第１のフレームのサブセットは、ここでは、前記第１のグループのカメラ設定を用いて捕捉される。第１のグループのカメラ設定は、最大でも１／１０００秒の露光時間を含むので、第１のグループのカメラ設定は、とりわけ、ＶＬＣを検出するのに適している。すなわち、第１のフレームのサブセットによって捕捉された画像は、露出不足になる。露出不足は、典型的には、明るい領域だけがよりはっきりとする暗い画像をもたらす。斯くして、変調された光信号（例えば、ＶＬＣ又はコード化された光(coded light)）を発する光源の画像は、より正確に検出され得、変調された光信号は、より効果的に受信され得る。したがって、カメラを第１のグループのカメラ設定に設定することは、ＶＬＣ及び／又はコード化された光を検出するための明らかに有利な点である。
【００１４】
しかしながら、前記第１のグループのカメラ設定は、典型的には、ＶＬＣの検出に関連しなくてもよい、他の画像ベースのサービスを正確に実行するのに適していない。それゆえ、第２のグループのカメラ設定は、他の画像ベースのサービスに関連付けられてもよい。例えば、第１のグループのカメラ設定は、最大でも１／１０００の露光時間を含むので、第１のフレームのサブセットによって捕捉された画像は、露出不足となり、それゆえ、例えば、拡張現実、物体認識、感情検出等のために必要な画像の細部を捕捉及び／又は分析することを妨げる。このような細部(detail)は、例えば、拡張現実のためのアンカーポイント(anchoring point)になるかもしれないが、露出不足のために画像ではうまく捕捉されない可能性がある。このような細部は、例えば、目のアイリスを撮像する等、感情検出に必要な顔の特徴(facial feature)であるかもしれないが、露出不足のために画像ではうまく捕捉されない可能性がある。したがって、本発明によるデバイスのカメラは、ＶＬＣの検出に関連しない第２のグループのカメラ設定を含み、当該第２のグループのカメラ設定は、少なくとも１／１０００の露光時間を含む。
【００１５】
そのため、本発明によるデバイスは、第１のグループのカメラ設定を用いてフレームのセットの反復系列の各第１のフレームのサブセットを、及び、第２のグループのカメラ設定を用いてフレームのセットの反復系列の各第２のフレームのサブセットを捕捉することにより画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替えるように構成されるプロセッサを備える。
【００１６】
当該切り替えの効果は、カメラが画像を捕捉するにあたり、フレームのセットの反復系列の各第１のフレームのサブセットが、とりわけ、ＶＬＣを検出するのに適してもよく、一方、フレームのセットの反復系列の各第２のフレームのサブセットが、とりわけ、例えば他の画像ベースのサービスと表現される、ＶＬＣ以外の画像ベースのサービスに適してもよいということである。したがって、一方はＶＬＣである、２つの異なる画像ベースのサービスが、本発明によるデバイスに具備される単一のカメラを使用するだけで可能にされ得、前記２つの異なる画像ベースのサービスの各々は、その目的に適した所望のカメラ設定で動作してもよい。これは明らかに有利な点であり、画像ベースのサービス、可視光通信及び画像解析の発展中の技術分野における明確なニーズを満たす。
【００１７】
例えば、非限定的な例では、本発明は、カメラデバイスが、ＶＬＣに基づいて屋内測位を提供すると同時に、（例えば、目のアイリスの撮像に基づいて）顔認識及び／又は感情検出を提供することを可能にしてもよい。単一のカメラで前述の２つの異なる画像ベースのサービスを可能にすることは、例えば、現況技術では単一のカメラが画像を捕捉することによって同時に前述のサービスを実行することを可能にしないので、また、多くのアプリケーション、とりわけ、小売環境におけるロケーションへ感情をマッピングすることを同時に行うことを可能にするので有利である。
【００１８】
ここで、画像を捕捉するための前記カメラは、ある例では、画像を記録するためのカメラと表現されてもよい。
【００１９】
ここで、ある例では、前述のＶＬＣ（コード化された光）を検出することは、コード化された光信号を発する光源を検出すること、コード化された光信号を発する光源と他の光源及び／又は異なるコード化された光信号を発する他の光源とを区別すること、コード化された光信号を発する光源のより大きなフットプリントをカメラセルで受けること、コード化された光信号を発する光源とその周囲とを区別すること、発せられたたコードのより速い検出／受信を確実にすること、等を含んでもよい。
【００２０】
ここで、可視光通信は、カメラによってカバーされるスペクトル等、カメラにとって可視の変調された光を指してもよく、必ずしも又は単に人間の目に可視のスペクトルを指さなくてもよい。
【００２１】
ここで、本発明の代替的な態様によれば、前述の可視光通信を検出することは、コード化された光(Coded Light)を検出することであってもよい。ここで、コード化された光は、光源、ランプ、又は照明器具によって発せられてもよい。斯くして、本発明の前記代替的な態様によれば、カメラは、コード化された光の検出に関連する第１のグループのカメラ設定及びコード化された光の検出に関連しない第２のグループのカメラ設定を含んでもよい。ＶＬＣを検出するという特徴を含む本発明の効果及び有利な点は、コード化された光を検出することにも当てはまり得る。
【００２２】
画像ベースの処理(image based processing)のためのデバイスは、スマートフォン、タブレット、スマートウォッチ、ウェアラブルデバイス、スマートグラス、拡張現実ゴーグル、仮想現実デバイス、ヘッドアップディスプレイ、又はナビゲーションデバイスの一部であってもよい。前述のデバイスは、他のデバイス又はバックエンドコンピューティングデバイスと通信するためのトランシーバを含んでもよく、処理の一部、例えば、画像に用いられる後処理又は画像解析は、前述の他のデバイス又はバックエンドコンピューティングデバイスで実行されてもよい。通信は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＶＬＣ、ＬｏＲａ、ＬｉＦｉ、ＺｉｇＢｅｅ、又はＲＦ等の無線接続によって行われてもよい。
【００２３】
カメラによって捕捉される画像は、写真のセット又はビデオであってもよい。プロセッサは、コード化された光又はＶＬＣに関連するコード等、画像に含まれるコードをデコードするための計算能力を有してもよい。プロセッサは、画像等の情報を記憶するためのローカルメモリを備えてもよい。プロセッサは、画像処理を実行するための計算能力を有してもよい。
【００２４】
前記カメラは、コード化された光、及び／又はＶＬＣを検出するのに適していてもよい。ＶＬＣを検出する１つの方法は、例えば、ローリングシャッタータイプのカメラを使用することである。このようなカメラは、スマートフォン又はタブレット等のモバイルデバイスに組み込まれていることが多い。ローリングシャッターカメラでは、カメラの撮像素子(image capture element)は、ラインごとに順次露光される、複数のライン（典型的には水平ライン、すなわち、行）に分割される。すなわち、所与のフレームを捕捉するために、最初のラインが、ターゲット環境における光に露光され、次いで、シーケンスの次のラインが、僅かに遅い時間に露光される、等々というようになる。代替的に、一部の例では、例えば、ＶＬＣを受信するためのフォーマットに応じて、カメラは、グローバルシャッターカメラであってもよい。
【００２５】
一実施形態では、デバイスは、画像を表示するためのディスプレイを備え、ディスプレイは、正面方向(front-facing direction)に画像を表示するように構成され、カメラは、画像を捕捉するために正面方向に向けられた正面カメラ(front-facing camera)であってもよい。このような実施形態は、正面カメラが、デバイスのディスプレイを見ているユーザの画像を捕捉することができ、これにより、例えば該ユーザの感情検出、ジェスチャ検出、顔認識、アイリススキャン等の画像ベースのアプリケーションを可能にし得るのと同時に、ユーザの背後、例えば、天井上のコード化された光又はＶＬＣを発する光源を検出することができるので、有利である。
【００２６】
上述したように、第１のグループのカメラ設定は、最大でも１／１０００秒の露光時間を含む。ある実施形態では、第１のグループのカメラ設定は、最大でも１／１５００秒の露光時間、最大でも１／２０００秒の露光時間、最大でも１／３０００秒の露光時間、最大でも１／４０００秒の露光時間、又は少なくとも１／２０００秒及び最大でも１／１０００秒の間の露光時間を含んでもよい。露光時間が短いほど、捕捉された画像内の明るい領域と暗い領域との間のコントラストが大きくなるので、光源等の明るい特徴(bright feature)は、露光時間を減少させることにより光源の周囲と比較して画像内でより明瞭になり得る。したがって、このような区別(distinction)は、照明器具内に含まれる光源等の光源によって発せられるＶＬＣ又はコード化された光信号を検出するのに有利である。少なくとも１／２０００秒から最大でも１／１０００秒の間にある前記露光時間は、とりわけ、例えば現在のフィリップス(Philips)の慣行(practice)に基づく可視光通信での使用に有利であり得る。すなわち、前記露光時間は、可視光通信信号を検出するためのデバイスのシンボルクロックに関連する。以下も参照されたい。デバイスのシンボルクロックの概念は、例えばＶＬＣ信号は、１ｋＨｚ、２ｋＨｚ、又は例えば４ｋＨｚのシンボルレートで符号化され得るので、当業者には既知である。ここで、例えば、最大でも１／１０００秒の露光時間は、したがって、シンボルクロックの２ｋＨｚレートの半分に相当し、この２ｋＨｚレートは、現在のフィリップスの慣行と一致している。さらに、最大でも１／２０００秒の露光時間は、現在のフィリップスの慣行、例えば、ＶＬＣに基づく屋内測位で使用されているデバイスの前記シンボルクロックと同様に一致する。
【００２７】
さらに、上述したように、第２のグループのカメラ設定は、少なくとも１／１０００秒の露光時間を含む。ある実施形態では、第２のグループのカメラ設定は、少なくとも１／８００秒の露光時間、少なくとも１／５００秒の露光時間、少なくとも１／２５０秒の露光時間、少なくとも１／１００秒の露光時間、又は少なくとも１／１０００秒及び最大でも１／５００秒の間の露光時間を含んでもよい。より高い露光時間に起因して、該より高い露光時間で捕捉された画像の細部が可視され得る。そのような細部は、拡張現実、物体認識、感情検出等の画像ベースの処理に関連し得る。
【００２８】
代替的な実施形態では、前記露光時間は、カメラの視野内に位置付けられる機械的フィルタの露光率(rate of exposure)に依存してもよい。
【００２９】
さらに代替的に、ある例では、第１のグループのカメラ設定は、第１の露光時間を含み、第２のグループのカメラ設定は、第２の露光時間を含み、第１の露光時間は、第２の露光時間よりも短い。さらに、さらなる実施形態では、第１の露光時間は、第２の露光時間よりも少なくとも１／５００秒短い。これにより、第１のグループのカメラ設定がＶＬＣを検出するのにより適しているのに対し、第２のグループのカメラ設定が対照的に他の画像ベースのサービスにより適しているように、第１のグループのカメラ設定と第２のグループのカメラ設定との間の明確な違いが得られる。
【００３０】
当業者に既知であるように、データは、振幅キーイング又は周波数シフトキーイング等の技術によって光に変調され、それによって、変調された特性（例えば、周波数の振幅）が、チャネルシンボルを表すために使用されてもよい。変調は、典型的には、（ユーザビットと呼ばれることもある）データビットをそのようなチャネルシンボル上にマッピングするためのコード化スキームを伴う。一例は、値０のユーザビットがローハイパルスの形態でチャネルシンボル上にマッピングされ、値１のユーザビットがハイローパルスの形態でチャネルシンボル上にマッピングされるバイナリコードである、従来のマンチェスターコード(Manchester code)である。別の例は、三元マンチェスターコード(Ternary Manchester code)である。さらに、例えば、コードされた光信号は、前記シンボルのシンボルレートが１ｋＨｚ、２ｋＨｚ又は４ｋＨｚであるように符号化されてもよい。
【００３１】
ここで、前記露光時間はまた、カメラ又はデバイスの特性と相関されてもよい。例えば、可視光通信及び／又はコード化された光メッセージの復号化スキームに露光時間を相関させることが有利であり得る。ＶＬＣ及び／又はコードされた光メッセージの復号化については、例えばＥＰ３１０５８６８Ｂ１を参照されたい。したがって、一実施形態では、第１のグループのカメラ設定は、当該デバイスのシンボルクロックに比例した露光時間を含み、シンボルクロックは、可視光通信の検出に関連してもよい。
【００３２】
さらなる実施形態では、第１のグループのカメラ設定は、当該デバイスのシンボルクロックの少なくとも４分の１又は少なくとも２分の１に等しい露光時間を含み、シンボルクロックは、可視光通信の検出に関連してもよい。したがって、デバイスのシンボルクロックのレートである、ＶＬＣを検出する特性とデバイスのカメラの露光時間とを関連付けることにより、ＶＬＣを検出するのに有利な露光時間を選択することが可能となる。
【００３３】
（カメラデバイスの）ＩＳＯ値もまた、他の画像ベースのサービスアプリケーションの有効性に悪影響を及ぼす一方、ＶＬＣを検出する有効性に影響を及ぼす可能性があり、本発明による前記切り替えは有利である。したがって、一実施形態では、第１のグループのカメラ設定は、少なくとも４００のＩＳＯ値を含んでもよい。第１のグループのカメラ設定は、少なくとも４００のＩＳＯ値を含むので、第１のグループのカメラ設定は、とりわけ、ＶＬＣを検出するのに適している。すなわち、少なくとも４００のＩＳＯ値を含む第１のフレームのサブセットにおける画像を捕捉するカメラは、光に対してより敏感であり得る。斯くして、変調された光信号（例えば、ＶＬＣ又はコード化された光）を発する光源の画像は、（例えば、捕捉された画像内に「ハロー」を含む）光源のフットプリントの増加に起因してより効果的に検出され得る。斯くして、変調された光信号は、より効果的に受信され得る。したがって、カメラを第１のグループのカメラ設定に設定することは、ＶＬＣ及び／又はコード化された光を検出するための明らかに有利な点である。しかしながら、少なくとも４００のＩＳＯ値を含む前記第１のグループのカメラ設定は、典型的には、ＶＬＣの検出に関連しなくてもよい、他の画像ベースのサービスを正確に実行するのに適していない。例えば、第１のグループのカメラ設定が少なくとも４００のＩＳＯ値を含むので、第１のフレームのサブセットによって捕捉された画像は、より多くの粒状性及びノイズを含み、それ故に、画質が制限され、画像内の細部を捕捉及び／又は分析することが妨げられる。このような細部は、例えば、拡張現実、物体認識、感情検出等のために必要とされ得る。したがって、一実施形態では、第２のグループのカメラ設定は、最大でも４００のＩＳＯ値を含んでもよい。斯くして、上記を考慮すると、本発明による前記切り替えは、単一のカメラでもって、ＶＬＣの検出に関連する画像ベースのサービスを向上させると同時に、ＶＬＣの検出に関連しない他の画像ベースのサービスを向上させるのに有利である。
【００３４】
代替的に、第１のグループのカメラ設定は、少なくとも８００、少なくとも１６００、又は少なくとも３２００のＩＳＯ値を含んでもよい。代替的に、第２のグループのカメラ設定は、最大でも４００、最大でも２００、最大でも１００、最大でも５０、若しくは５０に等しいＩＳＯ値、又は４００の値を超えない自動ＩＳＯを含んでもよい。
【００３５】
カメラで画像を捕捉する解像度もまた、他の画像ベースのサービスアプリケーションの有効性に悪影響を及ぼす一方、ＶＬＣを検出する有効性に影響を及ぼす可能性があり、本発明による前記切り替えは有利である。したがって、一実施形態では、第１のグループのカメラ設定は、最大でも１メガピクセルの解像度を含んでもよく、第２のグループのカメラ設定は、少なくとも１メガピクセルの解像度を含んでもよい。第１のグループのカメラ設定は、最大でも１メガピクセルの解像度を含むので、第１のグループのカメラ設定は、とりわけ、ＶＬＣを検出するのに適している。すなわち、変調された光信号（例えば、ＶＬＣ又はコード化された光）を発する光源の画像は、より高い解像度は、処理時間の増加（及びバッテリ電力の消耗の増加）に起因してＶＬＣ検出をスローダウンするので、より効果的に検出され得る。最大でも１メガピクセルの解像度は、とりわけ、ＶＬＣの検出に適している。したがって、カメラを第１のグループのカメラ設定に設定することは、ＶＬＣ及び／又はコード化された光を検出するための明らかに有利な点である。しかしながら、最大でも１メガピクセルの解像度を含む前記第１のグループのカメラ設定は、典型的には、ＶＬＣの検出に関連しなくてもよい、他の画像ベースのサービスを正確に実行するのには適していない。なぜなら、そのような画像ベースのサービスは、細部の検出を向上させるためにより多くの解像度を必要とし得るからである。そのような細部は、例えば、拡張現実、物体認識、感情検出、例えば、目のアイリス又は顔の特徴の変化を検出するために必要とされ得る。斯くして、上記を考慮すると、本発明による前記切り替えは、単一のカメラでもって、ＶＬＣの検出に関連する画像ベースのサービスを向上させると同時に、ＶＬＣの検出に関連しない他の画像ベースのサービスを向上させるのに有利である。
【００３６】
代替的に、第１のグループのカメラ設定は、最大でも０．８メガピクセル、又は最大でも０．５メガピクセルの解像度を含んでもよい。代替的に、第２のグループのカメラ設定は、少なくとも２メガピクセルの解像度、少なくとも４メガピクセルの解像度、少なくとも８メガピクセルの解像度、少なくとも１０メガピクセルの解像度、若しくは少なくとも１２メガピクセルの解像度、又は少なくとも４メガピクセル及び最大でも１２メガピクセルの間の解像度を含んでもよい。
【００３７】
画像を捕捉する際のカメラの焦点は、ＶＬＣの検出に関連しない画像ベースのサービスの有効性に影響を与え得る。画像は、物理的特徴(physical feature)を表す特徴(feature)を含んでもよい。実際の環境において、前記物理的特徴は、カメラの視界に入り得る。このような物理的特徴は、形状を定義するエッジを含む照明器具であってもよい。物理的特徴（ここでは照明器具）の画像は、前記物理的特徴を表す特徴、すなわち、例えば、照明器具の形状を定義する画像内のエッジを含んでもよい。カメラはさらに、カメラの焦点(point of focus)、したがって、画像のピント(focus)を設定するように構成される、レンズ構成を含んでもよい。物体がレンズ構成の焦点にある場合、前記物体の画像は、光学的に最もシャープになる。当該焦点からの逸脱は、ぼやけた画像をレンダリングする。ＶＬＣを検出するためには、ぼやけた画像がより適している可能性がある。すなわち、変調された光信号（例えば、ＶＬＣ又はコード化された光）を発する光源の画像は、捕捉された画像内の光源のフットプリントの増加に起因してより効果的に検出され得る。しかしながら、そのような「ピント外れ(out of focus)」は、ＶＬＣの検出に関連しなくてもよい、他の画像ベースのサービスを正確に実行するのに適していない可能性がある。なぜなら、そのような画像ベースのサービスは、細部の検出を向上させるためにピントを必要とし得るからである。例えば、画像解析又は物体認識アプリケーションにおいて、前記照明器具の前記エッジは、例えば照明器具が認識され得るように、照明器具の形状を決定するために正確に焦点が合っている必要があり得る。
【００３８】
したがって、一実施形態では、画像は、物理的特徴を表す特徴を含んでもよく、第２のグループのカメラ設定は、カメラと物理的特徴との間の最短距離の９０％と１１０％との間で規定される距離に設定される焦点を含んでもよい。斯くして、上記を考慮すると、本発明による前記切り替えは、単一のカメラでもって、ＶＬＣの検出に関連する画像ベースのサービスを向上させると同時に、ＶＬＣの検出に関連しない他の画像ベースのサービスを向上させるのに有利である。代替的に、前記距離は、カメラと物理的特徴との間の最短距離の９５％と１０５％との間で定義されてもよい。
【００３９】
関連する実施形態では、画像は、物理的特徴を表す特徴を含んでもよく、第１のグループのカメラ設定は、カメラと物理的特徴との間の最短距離の９０％と１１０％との間以外で規定される距離に設定される焦点を含んでもよい。
【００４０】
上述したように、カメラは、フレームのセットの反復系列を捕捉することにより画像を捕捉するように構成され、前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含んでもよく、各サブセットは、少なくとも１つのフレームを含んでもよく、プロセッサは、第１のグループのカメラ設定を用いてフレームのセットの反復系列の各第１のフレームのサブセットを、及び、第２のグループのカメラ設定を用いてフレームのセットの反復系列の各第２のフレームのサブセットを捕捉することにより画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替えるように構成される。
【００４１】
カメラは、画像を記録するためのフレームレートを含んでもよい。前記フレームレートは、カメラで画像を捕捉するための毎秒のフレーム数である。前記フレームレートは、例えば、３０ｆｐｓ又は６０ｆｐｓであってもよく、代替的に１２０ｆｐｓであってもよく、例えば、スローモーション捕捉の場合、２５ｆｐｓ又は５０ｆｐｓであってもよい。
【００４２】
フレームのセットは反復的である(repetitive)。斯くして、カメラは、フレームのセットの反復系列を捕捉することによって画像を記録するように構成される。前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含んでもよい。プロセッサは、各サブセットのフレーム数を設定してもよい。
【００４３】
一実施形態では、前記第１のフレームのサブセット及び前記第２のフレームのサブセットは、等しいフレーム数を含んでもよい。このような等しいフレーム数は、例えば、１フレーム、２フレーム、３フレーム又は４フレームであってもよい。したがって、一実施形態では、前記第１のフレームのサブセットは、２フレームを含んでもよく、前記第２のフレームのサブセットは、２フレームを含んでもよい。前記等しいフレーム数の効果は、フレームのセットが、第１のサブセット及び第２のサブセットのために等しいフレーム数で分割されることである。斯くして、前記切り替えは、カメラによって捕捉される各フレームごとに、又は、２フレーム、３フレームごとに等々行われてもよい。フレームのセットは反復的であるので、これは、カメラが２つの異なるグループの設定で画像を効果的に捕捉する系列(series)をレンダリングし得る。結果的に、例えばまさにフレームごとに切り替えることは、カメラが、カメラのフレームレートの２分の１で第１のグループの設定を用いて画像を効果的に捕捉し、同じことが第２のグループの設定についても当てはまるようにレンダリングする。例えば２フレームごとに切り替えることは、カメラが、カメラのフレームレートの４分の１で第１のグループの設定を用いて画像を効果的に捕捉し、同じことが第２のグループの設定についても当てはまるようにレンダリングする。
【００４４】
フレームの各セットにおいて、第１のフレームのサブセット及び第２のフレームのサブセットは、反復系列の各フレームのセット内で任意の順序であってもよい。しかしながら、順序は、設定されてもよい。したがって、一実施形態では、第１のフレームのサブセットは、第２のフレームのサブセットに先行する。斯くして、第１のフレームのサブセットは、フレームのセット内で第２のフレームのサブセットに先行する。これは、ＶＬＣに関連するグループのカメラ設定で捕捉される第１のフレームのサブセットが、ＶＬＣに関連しないグループのカメラ設定で捕捉される第２のフレームのサブセットに構造的に先行するため、捕捉された画像のさらなる処理を容易にする。
【００４５】
また、各フレームのサブセットのフレーム数は、異なる、すなわち、等しくなくてもよい。これは、ＶＬＣを検出することは、ＶＬＣの検出に関連しないアプリケーションよりも多くのフレームを必要とし得、又はその逆でもあり得るので、有利である。デバイスは、そのようなフレキシビリティを提供してもよい。したがって、上述したように、前記第１のフレームのサブセットは、第１のフレーム数を含んでもよく、前記第２のフレームのサブセットは、第２のフレーム数を含んでもよく、プロセッサはさらに、画像で検出される特徴に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるように構成されてもよい。結果として、画像で検出される特徴は、デバイスが、より高いフレーム数及び／又はより低いフレーム数で第１のグループの設定及び／又は第２のグループの設定を用いて画像を捕捉するための手掛かりを提供し得る。これにより、適応システム、すなわち、有利なことに、第１のグループの設定及び／又は第２のグループの設定で画像を検出する際のフレームレートを相応に適応させ得るデバイスが得られる。
【００４６】
一実施形態では、特徴は、顔の特徴、照明器具、光源、物体の動き、ジェスチャ、人、感情、輪郭、エッジ、形状、コード又はロケーションインジケータ(location indicator)のうちの１つであってもよい。例えば、顔を検出することに基づいて、第２のサブセットは、より多くのフレームを含むように、すなわち、例えば、初めに１フレームから、（画像処理手段により）画像中の顔を検出した後に３フレームに設定されてもよい。
【００４７】
上述したように、前記第１のフレームのサブセットは、第１のフレーム数を含んでもよく、前記第２のフレームのサブセットは、第２のフレーム数を含んでもよく、プロセッサはさらに、デバイスへのセンサ入力に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるように構成されてもよい。結果として、センサ入力は、デバイスが、より高いフレーム数及び／又はより低いフレーム数で第１のグループの設定及び／又は第２のグループの設定を用いて画像を捕捉するための手掛かりを提供し得る。これにより、適応システム、すなわち、有利なことに、第１のグループの設定及び／又は第２のグループの設定で画像を検出する際のフレームレートを相応に適応させ得るデバイスが得られる。例えば、向きセンサを用いてデバイスの向きを検出すること、及び対応するセンサ入力は、デバイスの検出された向きが、ＶＬＣを含む画像ベースのサービスを使用する際の優先度を示し得るので（例えば、天井の照明器具が検出されるような水平向きは、ＶＬＣを含む画像ベースのサービスを初期化することのインディケーションである）、デバイスに、より高いフレーム数を含む第１のサブセットを設定させ得る。
【００４８】
一実施形態では、センサ入力は、デバイスの速度、デバイスの加速度、デバイスの回転、デバイスによって検出される光の強度、デバイスによって検出される光の色、オーディオ信号又は検出された位置のうちの１つであってもよい。例えば、センサ入力は、検出される光の強度であってもよく、光は、変調され、コードを含んでもよい。斯くして、コードは、第１のフレームのサブセットに対応するフレーム数を増加させるためのインセンティブであり得る。これは、画像ベースのサービスにおけるデバイスへのより多くの機能性及びその適応制御を可能にする。
【００４９】
したがって、一実施形態では、プロセッサは、光源の検出に基づいて、前記第１のフレーム数を増加させるように構成されてもよい。別の実施形態では、プロセッサは、顔の特徴の検出に基づいて、前記第２のフレーム数を増加させるように構成されてもよい。
【００５０】
本発明のさらなる目的は、画像ベースのサービスのための改善された方法を提供することである。そのため、本発明はさらに、画像ベースのサービスのための方法であって、当該方法は、カメラとプロセッサとを備えるデバイスによって実行され、カメラは、可視光通信の検出に関連する第１のグループのカメラ設定及び可視光通信の検出に関連しない第２のグループのカメラ設定を含み、当該方法は、カメラを用いてフレームのセットの反復系列を捕捉することにより画像を捕捉するステップであって、前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含み、各サブセットは、少なくとも１つのフレームを含む、ステップと、第１のグループのカメラ設定を用いてフレームのセットの反復系列の各第１のフレームのサブセットを、及び、第２のグループのカメラ設定を用いてフレームのセットの反復系列の各第２のフレームのサブセットを捕捉することにより画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替えるステップと、第１のフレームのサブセットの少なくとも１つのフレーム及び／又は第２のフレームのサブセットの少なくとも１つのフレームに基づいて画像ベースのサービスを可能にするステップとを含み、前記第１のフレームのサブセットは、第１のフレーム数を含み、前記第２のフレームのサブセットは、第２のフレーム数を含み、当該方法はさらに、画像で検出される特徴に基づいて及び／又はデバイスへのセンサ入力に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるステップを含む、方法を提供する。
【００５１】
当該方法は、本発明による画像ベースのサービスのためのデバイスによって実行されてもよい。さらに、本発明によるデバイスの実施形態は、本発明による方法にも当てはまり得る。
【００５２】
一実施形態では、第１のグループのカメラ設定は、最大でも１／１０００秒の露光時間を含み、第２のグループのカメラ設定は、少なくとも１／１０００秒の露光時間を含む、当該方法が提供される。
【００５３】
斯くして、上述したように、前記第１のフレームのサブセットは、第１のフレーム数を含んでもよく、前記第２のフレームのサブセットは、第２のフレーム数を含んでもよく、当該方法はさらに、画像で検出される特徴に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるステップを含んでもよい。
【００５４】
斯くして、上述したように、前記第１のフレームのサブセットは、第１のフレーム数を含んでもよく、前記第２のフレームのサブセットは、第２のフレーム数を含んでもよく、当該方法はさらに、デバイスへのセンサ入力に基づいて前記第１のフレーム数及び／又は前記第２のフレーム数を増加又は減少させるステップを含んでもよい。
【００５５】
さらに、本発明によるデバイスの実施形態は、本発明による方法の実施形態にも当てはまり得る。
【００５６】
本発明はさらに、コンピュータプログラムプロダクトに関する。したがって、本発明は、コンピューティングデバイスのためのコンピュータプログラムであって、当該コンピュータプログラムがコンピューティングデバイスの処理ユニットで実行された場合、本発明による方法を実行するためのコンピュータプログラムコードを含む、コンピュータプログラムを提供する。例えば、前記コンピューティングデバイスは、本発明によるデバイス又はデバイスに設けられるプロセッサであってもよい。
【００５７】
斯くして、本発明の態様は、コンピュータにより実行され得るコンピュータ可読記憶デバイスに記憶されたコンピュータプログラム命令の集合体であってもよいコンピュータプログラムプロダクトにおいて、実施されてもよい。本発明の命令は、スクリプト、解釈可能プログラム、ダイナミックリンクライブラリ（ＤＬＬ）又はＪａｖａクラスを含むが、これらに限定されない任意の解釈可能又は実行可能コードメカニズムであってもよい。命令は、完全な実行可能プログラム、部分実行可能プログラム、既存のプログラムに対する修正（例えば更新）、又は既存のプログラムに対する拡張（例えば、プラグイン）として提供され得る。さらに、本発明の処理の一部は、複数のコンピュータ又はプロセッサにわたって分散されてもよい。
【図面の簡単な説明】
【００５８】
ここで、本発明が、概略的で非限定的な図によってさらに述べられる。
【図１】カメラ及びプロセッサを備える画像ベースのサービスのためのデバイスを概略的に示す。
【図２】図１のデバイスの斜視図を概略的に示す。
【図３】捕捉された画像のフレームのセットの反復系列を概略的に示し、前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含む。
【図４】捕捉された画像のフレームのセットの他の反復系列を概略的に示し、前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含む。
【図５】本発明による画像ベースのサービスのための方法を概略的に示す。
【発明を実施するための形態】
【００５９】
図１及び図２は、非限定的な例として、画像ベースのサービスのためのデバイス１００の一実施形態を概略的に示す。デバイス１００は、画像２００を捕捉するためのカメラ１０１とプロセッサ１０２とを備える。画像２００は、デバイス１００のディスプレイ１０３に表示されている。代替的に、画像２００は、表示される必要はなく、内部で処理されてもよい。カメラ１０１は、ディスプレイ１０３が表示している方向と同じ方向に向けられた正面ローリングシャッターカメラである。デバイス１００はさらに、向きセンサである検出器１０４を備える。画像２００は、画像ベースのサービスに使用されている。ここでは、画像２００は、可視光通信に基づく屋内測位に使用される正面カメラからの典型的なビューであり、これは、背景にＶＬＣ対応照明器具２０１があるデバイス１００を保持するユーザの顔２０２であり、同時に画像２００は感情検出に使用されている。代替的に、画像は、感情検出と共に又は感情検出の代わりに、拡張現実、物体認識、画像解析のために使用されてもよい。
【００６０】
代替的に、カメラは、グローバルシャッターカメラであってもよい。代替的に、カメラは、他の任意の方向、例えば、デバイスの正面を向く方向とは反対の方向、例えば、背面を向くカメラであってもよい。カメラは、３６０度カメラであってもよい。ここでは、デバイスは、スマートフォンデバイスの一部として具現化されているが、代替的に、別のハンドヘルドデバイス、タブレット、スマートウォッチ、ウェアラブルデバイス、スマートグラス、拡張現実ゴーグル、仮想現実デバイス、ヘッドアップディスプレイ、又はナビゲーションデバイスの一部であってもよい。
【００６１】
カメラ１０１は、可視光通信の検出に関連する第１のグループのカメラ設定１１と、可視光通信の検出に関連しない第２のグループのカメラ設定２２を含む。より具体的には、第２のグループのカメラ設定２２は、感情検出に関連付けられている。
【００６２】
ここで、図３を参照すると、カメラ１０１は、フレームのセット３０１の反復系列３００を捕捉することにより、画像２００を捕捉する。フレームのセット３０１は、第１のフレームのサブセット３１１及び第２のフレームのサブセット３２２を含む。各サブセット３１１、３２２は、１つのフレームを含む。したがって、フレームのサブセット３１１、３２２は両方とも、等しいフレーム数を含む。さらに、第１のフレームのサブセット３１１は、第２のフレームのサブセット３１２に先行する。代替的に、各サブセットは、少なくとも１つのフレームを含む。フレームのサブセット３１１、３１２の両方のフレーム数は、例えば、１、３、４、５又は６、さらには５０又は６０等、別の値であってもよい。
【００６３】
代替的な実施形態（図示せず）では、第１のフレームのサブセット及び第２のフレームのサブセットは、異なるフレーム数を含んでもよい。例えば、第１のフレームのサブセットは２フレームを含んでもよく、第２のフレームのサブセットは１フレームを含んでもよい。第１のフレームのサブセット対第２のフレームのサブセットのフレーム数における他の組み合わせは、１：２、１：３、１：４、１：５、２：３、２：４、２：５、３：４、３：５、４：５、又はその逆であってもよい。
【００６４】
依然として図１、図２及び図３を参照すると、デバイス１００はさらに、プロセッサ１０２を備える。プロセッサ１０２は、画像２００を捕捉するために第１のグループのカメラ設定１１と第２のグループのカメラ設定２２とでカメラ１０１を周期的に切り替えるように構成される。デバイス１００のプロセッサ１０２は、第１のグループのカメラ設定１１を用いてフレームのセット３０１の反復系列３００の各第１のフレームのサブセット３１１を、及び、第２のグループのカメラ設定２２を用いてフレームのセット３０１の反復系列３００の各第２のフレームのサブセット３２２を捕捉するようにカメラ１０１に指示することにより、これを可能にする。
【００６５】
ここで、第１のグループのカメラ設定１１は、最大でも１／１０００秒の露光時間８１を含む。さらに、第２のグループのカメラ設定２２は、少なくとも１／１０００秒の露光時間８２を含む。代替的に、第１のグループのカメラ設定は、最大でも１／１５００秒の露光時間、最大でも１／２０００秒の露光時間、最大でも１／３０００秒の露光時間、最大でも１／４０００秒の露光時間、又は少なくとも１／２０００秒及び最大でも１／１０００秒の間の露光時間を含んでもよい。さらに代替的に、第２のグループのカメラ設定は、少なくとも１／８００秒の露光時間、少なくとも１／５００秒の露光時間、少なくとも１／２５０秒の露光時間、少なくとも１／１００秒の露光時間、又は少なくとも１／１０００秒及び最大でも１／５００秒の間の露光時間を含んでもよい。
【００６６】
さらに代替的に、第１のグループのカメラ設定は、デバイスのシンボルクロックに比例した露光時間を含み、シンボルクロックは、例えば屋内測位中の可視光通信の検出に関連してもよい。
【００６７】
フォトグラフィでは、露光時間が短いほど、捕捉された画像内の明るい領域と暗い領域との間のコントラストが相対的に大きくなるので、光源等の明るい特徴は、露光時間を減少させることにより光源の周囲と比較して画像内でより明瞭になり得る。このような区別は、光源等の光源によって発せられるＶＬＣ又はコード化された光信号を検出するのに有利である。
【００６８】
図３を参照すると、第１のグループのカメラ設定１１は、最大でも１／１０００秒の露光時間８１を含むので、第１のグループのカメラ設定１１は、とりわけ、ＶＬＣを検出するのに適している。すなわち、第１のフレームのサブセット３１１によって捕捉された画像２００は、露出不足になる。露出不足は、典型的には、画像２００内の照明器具２０１等、明るい領域だけがよりはっきりとする暗い画像をもたらす。したがって、カメラを第１のグループのカメラ設定１１に設定することは、ＶＬＣ及び／又はコード化された光を検出するための明らかに有利な点である。
【００６９】
しかしながら、前記第１のグループのカメラ設定１１は、典型的には、本実施形態における感情検出等、ＶＬＣの検出に関連しなくてもよい、他の画像ベースのサービスを正確に実行するのに適していない。なぜなら、前記露出不足は、画像２００中のユーザの顔２０２の涙２０３、２０４等、感情検出に必要な画像２００中の細部を捕捉及び／又は分析することを妨げる可能性があるからである。時間の経過とともに、初期の涙２０３は、より多くの涙２０４に激しくなり、最終的には乾いて幸せな顔２０５になる。このような感情の変化は、前記露出不足及び細部を捕捉することを欠くことに起因して、第１のグループのカメラ設定１１では捕捉することが困難である。したがって、本発明によるデバイスのカメラは、ＶＬＣの検出に関連しない第２のグループのカメラ設定２２を含み、当該第２のグループのカメラ設定２２は、少なくとも１／１０００の露光時間８２を含む。
【００７０】
上述したように、プロセッサ１０２は、画像２００を捕捉するために第１のグループのカメラ設定１１、８１と第２のグループのカメラ設定２２、８２とでカメラ１０１を周期的に切り替えるように構成される。結果として、捕捉される画像２００は、第１のグループのカメラ設定１１、８１を用いてフレームのセット３０１の反復系列３００の各第１のフレームのサブセット３１１を捕捉することにより、及び、第２のグループのカメラ設定２２、８２を用いてフレームのセット３０１の反復系列３００の各第２のフレームのサブセット３２２を捕捉することにより捕捉される。その結果、２つの異なる画像ベースのサービス（すなわち、一方はＶＬＣに基づく屋内測位であり、他方は感情検出である）が、デバイス１００に具備される単一のカメラ１０１を使用して可能になる。
【００７１】
斯くして、プロセッサ１０２は、前記第１のフレームのサブセット３１１が第１のカメラ設定１１を用いて捕捉されるように、前記第１のフレームのサブセット３１１で捕捉されるフレームに基づいて、ＶＬＣに基づく屋内測位に関連する改善された画像ベースのサービスを可能にし、一方、前記第２のフレームのサブセット３２２が第２のカメラ設定２２を用いて捕捉されるように、前記第２のフレームのサブセット３２２で捕捉されるフレームに基づいて、感情検出に関連する画像ベースのサービスを可能にしている。
【００７２】
単一のカメラを用いてＶＬＣに基づく屋内測位及び感情検出を同時に可能にするデバイス１００の１つのアプリケーションは、第１のグループのカメラ設定１１がＶＬＣ（例えばＶＬＣ放出照明器具２０１）を検出するのにとりわけ適していることに起因して屋内ナビゲーションが正確に実行される一方、第２のグループのカメラ設定２２が感情２０３、２０４、２０５を検出するのにとりわけ適していることに起因してユーザ２０２の感情２０３、２０４、２０５を依然として検出することができる、感情マップが小売環境で確立され得ることである。このような感情マップの使用により、小売業者は、様々なロケーションにおける消費者の興味の洞察が与えられ、例えば、相応に広告を提供することができる。
【００７３】
代替的に、前記露光時間に加えて又は前記露光時間に代えて、第１のグループのカメラ設定は、少なくとも４００のＩＳＯ値を含んでもよく、第２のグループのカメラ設定は、最大でも４００のＩＳＯ値を含んでもよい。すなわち、（カメラデバイスの）ＩＳＯ値もまた、感情検出等の他の画像ベースのサービスアプリケーションの有効性に悪影響を及ぼす一方、ＶＬＣを検出する有効性に影響を及ぼす可能性がある。斯くして、前述したように、本発明による前記スイッチングは有利である。さらに代替的に、第１のグループのカメラ設定は、少なくとも８００、少なくとも１６００、又は少なくとも３２００のＩＳＯ値を含む。さらに代替的に、第２のグループのカメラ設定は、最大でも４００、最大でも２００、最大でも１００、最大でも５０、若しくは５０に等しいＩＳＯ値、又は４００の値を超えない自動ＩＳＯを含む。
【００７４】
代替的に、前記露光時間に加えて又は前記露光時間に代えて、第２のグループのカメラ設定は、天井の照明器具ではなく、ユーザの顔に設定される、焦点を含んでもよい。その結果、ユーザの涙が相応に捕捉されることができ、感情検出が容易にされることができる。斯くして、上記を考慮すると、本発明による前記切り替えは、単一のカメラでもって、ＶＬＣの検出に関連する画像ベースのサービスを向上させると同時に、ＶＬＣの検出に関連しない他の画像ベースのサービスである、感情検出を向上させるのに有利である。
【００７５】
代替的な実施形態（図示せず）では、図１〜図３に示される実施形態と部分的に類似するが、ここでは、検出器が、デバイスの向きを感知するように構成され、向きは、重力に対する水平方向の向きである。したがって、コード化された発光照明器具は主に天井にあるので、水平方向の向きは、ＶＬＣを用いた屋内測位のためのデバイスの使用を示す。斯かる水平方向の向きを検出すると、それに基づいて、プロセッサは、第１のフレームのサブセットのフレーム数を３フレームに増加させ、第２のフレームのサブセットのフレーム数を１フレームに維持する。結果として、第１のサブセットのフレーム数と第２のサブセットのフレーム数との関係は３：１になる。それゆえ、ここでは、より多くのフレームが、ＶＬＣを検出することに関連し、ＶＬＣを検出するのにより適している、第１のグループのカメラ設定で画像を捕捉するために利用可能である。これは、デバイスの水平方向の向きが、屋内測位における使用のためのデバイスの関連性が、例えば他の画像ベースのサービスと比較してより大きくなったことを既に示しているので、有利である。したがって、第１のフレームのサブセットのフレーム数を増加させることは、ＶＬＣ検出を改善し、高速化することになる。
【００７６】
図４は、非限定的な例として、図１及び図２に示される実施形態と部分的に類似するが、ここでは、カメラが、フレームのセット４０１の（異なる）反復系列４００を捕捉することにより画像６００を捕捉する、画像ベースのサービスのためのデバイスの一実施形態を概略的に示す。フレームのセット４０１は、第１のフレームのサブセット４１１及び第２のフレームのサブセット４２２を含む。第１のフレームのサブセット４１１は、１つのフレームを含む。第２のフレームのサブセット４２２は、２つのフレームを含む。さらに、第１のフレームのサブセット４１１は、第２のフレームのサブセット４２２に先行する。
【００７７】
画像６００は、画像ベースのサービスに使用されている。ここで、画像６００は、照明デバイスを見ているカメラのビューを含む。画像６００は、ＶＬＣ通信及び拡張現実の両方のためにデバイスによって内部で使用されている。拡張現実の使用のためには、照明デバイスのエッジの位置が、例えば拡張現実情報のためのアンカーポイントを確立するために、画像解析で識別される必要がある。逆に、ＶＬＣ通信のためには、照明デバイスにより発せられる光の大きなフットプリントが必要とされる。
【００７８】
前述と同様に、カメラは、可視光通信の検出に関連する第１のグループのカメラ設定１１１と、可視光通信の検出に関連しない第２のグループのカメラ設定２２２を含む。より具体的には、第２のグループのカメラ設定２２２は、拡張現実及び画像解析に関連付けられている。
【００７９】
依然として図４を参照すると、デバイスはさらに、プロセッサを備える。プロセッサは、画像６００を捕捉するために第１のグループのカメラ設定１１１と第２のグループのカメラ設定２２２とでカメラを周期的に切り替えるように構成される。デバイスのプロセッサは、第１のグループのカメラ設定１１１を用いてフレームのセット４０１の反復系列４００の各第１のフレームのサブセット４１１を、及び、第２のグループのカメラ設定２２２を用いてフレームのセット４０１の反復系列４００の各第２のフレームのサブセット４２２を捕捉するようにカメラに指示することにより、これを可能にする。
【００８０】
ここで、第１のグループのカメラ設定１１１は、１／１８００秒の露光時間９１を含む。さらに、第２のグループのカメラ設定２２２は、１／５００秒の露光時間９２を含む。さらに、第１のグループのカメラ設定１１１は、０．５メガピクセルの解像度７１を含み、第２のグループのカメラ設定２２２は、８メガピクセルの解像度７２を含む。
【００８１】
上述したように、露光時間が短いほど、捕捉された画像内の明るい領域と暗い領域との間のコントラストが相対的に大きくなるので、光源等の明るい特徴は、露光時間を減少させることにより光源の周囲と比較して画像内でより明瞭になり得る。このような区別は、光源等の光源によって発せられるＶＬＣ又はコード化された光信号を検出するのに有利である。
【００８２】
図４を参照すると、第１のグループのカメラ設定１１１は、１／１８００秒の露光時間９１及び０．５メガピクセルの解像度７１を含むので、第１のグループのカメラ設定１１１は、とりわけ、ＶＬＣを検出するのに適している。すなわち、第１のフレームのサブセット４１１によって捕捉された画像６００は、露出不足となり、解像度が低くなる。露出不足は、典型的には、画像６００内の照明デバイス６０１によって発せられる光等、明るい領域のみがよりはっきりと見られるような、暗い画像をもたらす。さらに、より低い解像度はさらに、照明デバイス６０１によって発せられる光のフットプリント（「ブロブ(blob)」）がより大きなサイズで見られることをもたらし、このより大きなサイズのフットプリントは、より効果的且つ高速にデコードされることができる（より少ないピクセルがより低い解像度で分析される必要があるので、より少ない処理能力が必要とされ、より少ないバッテリ電力が必要とされる）。したがって、カメラを第１のグループのカメラ設定１１１に設定することは、ＶＬＣ及び／又はコード化された光を検出するための明らかに有利な点である。
【００８３】
図４を参照すると、第２のグループのカメラ設定２２２は、１／５００秒の露光時間９２及び８メガピクセルの解像度７２を含むので、第２のグループのカメラ設定２２２は、とりわけ、拡張現実及び画像解析を容易にするための画像の細部を検出するのに適している。すなわち、第２のフレームのサブセット４２２によって捕捉された画像６００は、露出過度になり、高解像度を含む。露出オーバーは、典型的には、画像６００内の照明デバイス６０１のエッジ６０２等、細部が明確に見えるような、明るい画像をもたらす。斯くして、照明デバイス６０１が識別され、照明デバイス６０１上のアンカリングロケーションが、拡張現実情報を位置決めするために見つけられることができる。これは、解像度が高くなることによる有利な効果でもある。したがって、カメラを第２のグループのカメラ設定２２２に設定することは、拡張現実アプリケーション及び画像解析ための明らかに有利な点である。
【００８４】
上述したように、プロセッサは、画像６００を捕捉するために第１のグループのカメラ設定１１１、９１、７１と第２のグループのカメラ設定２２２、９２、７２とでカメラを周期的に切り替えるように構成される。結果として、捕捉される画像６００は、第１のグループのカメラ設定１１１、９１、７１を用いてフレームのセット４０１の反復系列４００の各第１のフレームのサブセット４１１を捕捉することにより、及び、第２のグループのカメラ設定２２２、９２、７２を用いてフレームのセット４０１の反復系列４００の各第２のフレームのサブセット４２２を捕捉することにより捕捉される。その結果、２つの異なる画像ベースのサービス（すなわち、一方はＶＬＣであり、他方は拡張現実である）が、本発明によるデバイスに具備される単一のカメラを使用して可能になり、改善される。
【００８５】
さらに、依然として図４に示される実施形態を参照すると、各フレームのサブセット４０１のフレーム数は、画像６００における特徴６０３の検出に応じて変化してもよい。ここで、示されているように、プロセッサは、画像６００を処理して、例えば、照明デバイスの形状又は視覚的にフィラメントを見ることに基づいて、照明デバイスがフィラメントタイプの電球を含んでいることを検出／識別／推論してもよい。その後、プロセッサは、第１のフレームのサブセット４１１のフレーム数を１フレームから２フレームに増加させ、第２のフレームのサブセット４２２のフレーム数を２フレームから１フレームに減少させるように構成される。これにより、適応システムが得られる。
【００８６】
代替的に、前記特徴は、顔の特徴、照明器具、光源、物体の動き、ジェスチャ、人、感情、輪郭、エッジ、形状、コード又はロケーションインジケータのうちの１つであってもよい。例えば、顔を検出することに基づいて、第２のサブセットは、より多くのフレームを含むように、すなわち、例えば、初めに２フレームから、（画像処理手段により）画像中の顔を検出した後に３フレームに設定されてもよい。
【００８７】
図５は、本発明による画像ベースのサービスのための方法９００を概略的に示す。方法９００は、カメラとプロセッサとを備えるデバイスによって実行され、カメラは、可視光通信の検出に関連する第１のグループのカメラ設定及び可視光通信の検出に関連しないが、物体認識に関連する第２のグループのカメラ設定を含む。第１のグループのカメラ設定は、１／１５００秒の露光時間を含み、第２のグループのカメラ設定は、１／８００秒の露光時間を含む。当該方法は、カメラを用いてフレームのセットの反復系列を捕捉することにより画像を捕捉するステップ９０１であって、前記フレームのセットは、第１のフレームのサブセット及び第２のフレームのサブセットを含み、各サブセットは、少なくとも１つのフレームを含む、ステップを含む。ここでは、第１のサブセットは２つのフレームを含み、第２のサブセットは、２つのフレームを含む。代替的に、別のフレーム数が、各サブセットに含まれてもよい。その後、当該方法は、第１のグループのカメラ設定を用いてフレームのセットの反復系列の各第１のフレームのサブセットを、及び、第２のグループのカメラ設定を用いてフレームのセットの反復系列の各第２のフレームのサブセットを捕捉することにより画像を捕捉するために第１のグループのカメラ設定と第２のグループのカメラ設定とでカメラを周期的に切り替えるステップ９０２を含む。これにより、単一のカメラを用いて、両方の画像ベースのサービスのための露光時間がそれぞれの目的に応じて調整されるように、ＶＬＣが相応に検出されると共に、物体認識が効果的に実行されることが可能となる。その後、第１のフレームのサブセットの少なくとも１つのフレーム及び／又は第２のフレームのサブセットの少なくとも１つのフレームに基づいて画像ベースのサービスを可能にするステップ９０３を含む。画像は、人の顔を含む。斯くして、当該方法はさらに、画像で検出される特徴に基づいて第２のフレームのサブセットのフレーム数を増加させるステップ９０４であって、前記特徴は人の顔である、ステップを含む。したがって、デバイスが、画像内で顔が分析されていることを検出すると、第１のフレームのサブセットでＶＬＣに適した画像を維持しながら、前記検出を改善するように、より多くのフレームが物体認識のために使用される。
【００８８】
代替的に、方法は、デバイスへのセンサ入力に基づいて第１のフレームのサブセットのフレーム数及び／又は第２のフレームのサブセットのフレーム数を増加又は減少させるステップを含んでもよい。
【図１】
2021508992.tif 000003
【図２】
2021508992.tif 000004
【図３】
2021508992.tif 000005
【図４】
2021508992.tif 000006
【図５】
2021508992.tif 000007
【国際調査報告】
2021508992.tif 000008
2021508992.tif 000009
2021508992.tif 000010