(57)【要約】  物体検出システム（１００）が開示される。システム（１００）は、物体を照らすための照明システム（５０）であって、少なくとも１つの選択可能な光出力品質を有する、照明システム（５０）と、物体の画像を取得するように位置付けられる少なくとも１つの画像センサ（７０）と、物体の画像を受けるために画像センサ（７０）に結合される少なくとも１つのプロセッサ（１０）とを含む。プロセッサ（１０）は、画像が、所定の閾値を満たす画像品質メトリック（ＩＱＭ）値又はＩＱＭ値に対応する期待信頼値を有するかどうかを判断するように構成されるモニタリングエンジン（３０）と、ＩＱＭ値又はＩＱＭ値に対応する期待信頼値が所定の閾値を満たすように改善するために照明システム（５０）の光出力品質を選択するように構成されるライト設定算出モジュール（４０）とを含む。
2021535564.tif 000002
【特許請求の範囲】
【請求項１】
物体を照らすための照明システムであって、少なくとも１つの選択可能な光出力品質を有する、照明システムと、
物体の画像を取得するように位置付けられる少なくとも１つの画像センサと、
前記物体の画像を受けるために前記画像センサに結合される少なくとも１つのプロセッサと、
を含む、物体検出システムであって、前記少なくとも１つのプロセッサは、
前記画像が、所定の閾値を満たす画像品質メトリック（ＩＱＭ）値又はＩＱＭ値に対応する期待信頼値を有するかどうかを判断するように構成されるモニタリングエンジンであって、ＩＱＭ値は、前記画像に描かれる物体の検出の尤度を示す、モニタリングエンジンと、
ＩＱＭ値又はＩＱＭ値に対応する期待信頼値が前記所定の閾値を満たすように改善するために前記照明システムの光出力品質を選択するように構成されるライト設定算出モジュールと、
を含む、物体検出システム。
【請求項２】
当該物体検出システムは、選択された物体特性及び画像メトリックに対応する信頼値を学習するように構成されるトレーニングモジュールを含み、前記モニタリングエンジンは、前記画像について前記トレーニングモジュールから信頼値を取得するように構成される、請求項１に記載の物体検出システム。
【請求項３】
前記モニタリングエンジンは、画像品質メトリック（ＩＱＭ）値を算出するように構成される、請求項１に記載の物体検出システム。
【請求項４】
前記少なくとも１つの選択可能な光出力品質は、光強度である、請求項１に記載の物体検出システム。
【請求項５】
前記少なくとも１つの選択可能な光出力品質は、光強度及び光の波長の相対強度を含む、請求項１に記載の物体検出システム。
【請求項６】
前記トレーニングモジュールは、画像品質メトリック（ＩＱＭ）値及び複数の物体の特性の配列に対する信頼値を含む第１のデータ構造を含む、請求項１に記載の物体検出システム。
【請求項７】
前記特性の配列は、前記複数の物体の複数の色を含む、請求項６に記載の物体検出システム。
【請求項８】
前記複数の色は、ＣＩＥ  ＸＹＺ色空間から一様にサンプリングされる、請求項７に記載の物体検出システム。
【請求項９】
前記少なくとも１つの画像センサは、物体の画像のライブフィードを取得するように構成され、前記物体の画像は、前記画像のライブフィードからの画像である、請求項１に記載の物体検出システム。
【請求項１０】
前記ライト設定算出モジュールは、複数のｉｆ−ｔｈｅｎルールを用いて前記照明システムの光出力品質を選択するように構成される、請求項１に記載の物体検出システム。
【請求項１１】
前記ライト設定算出モジュールは、ある期間にわたってルールを追加又は修正するように構成される、請求項１０に記載の物体検出システム。
【請求項１２】
前記ライト設定算出モジュールは、物体特性及びライト設定に対する画像品質メトリック（ＩＱＭ）値を含むデータ構造を含み、ＩＱＭ値は、複数の物体に対する最大信頼値に対応する、請求項１に記載の物体検出システム。
【請求項１３】
前記ライト設定算出モジュールは、複数の物体に対する最大信頼値に対応する、物体特性及びライト設定に対するＩＱＭ値を含む第２のデータ構造を含み、
前記ライト設定算出モジュールは、前記第１のデータ構造からデータを取得することによって前記第２のデータ構造をポピュレートするように構成される、請求項６に記載の物体検出システム。
【請求項１４】
前記ライト設定算出モジュールは、前記光の波長の相対強度を選択するために各照明器具の各色チャネルに対するデューティサイクルをコンピュートするマルチチャネル色混合アルゴリズムを含む、請求項５に記載の物体検出システム。
【請求項１５】
物体検出を強化するために光源を調整するための方法であって、
光源によって照らされる物体の画像を獲得することと、
前記画像に対する少なくとも１つの画像品質メトリック（ＩＱＭ）値を算出することであって、ＩＱＭ値は、前記画像に描かれる物体の検出の尤度を示す、ことと、
前記少なくとも１つのＩＱＭ値又はＩＱＭに対応する期待信頼値が所定の閾値を満たすかどうかを判断することと、
前記少なくとも１つのＩＱＭ値又は前記期待信頼値が前記所定の閾値を満たさない場合、ルールのデータベースに従って前記光源からの光出力を調整することと、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、ディープラーニングベースの物体検出を改善するために光源を調整する(tune)ためのシステム及び方法に関する。
【背景技術】
【０００２】
最先端の物体検出アルゴリズムは、例えば、コンボリューショナルニューラルネットワーク（ＣＮＮ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）等、ディープラーニングを伴う。ＣＮＮのアーキテクチャの２つの特定例は、ＶＧＧ１６及びＲｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ（ＲｅｓＮｅｔ）である。これらのアーキテクチャは、可能性のあるオブジェクトの事前に定義されたデータベース（Ｉｍａｇｅｎｅｔ等）に存在する複数のオブジェクトの１つとして当該オブジェクト(object-in-question)を分類するようにトレーニングされる。しかしながら、ディープラーニングアルゴリズムを用いた物体検出は、照明条件が最適でない場合に性能が低下する。実際、物体が劣悪な照明で照らされる場合、物体検出が失敗することがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、当技術分野において、ディープラーニングベースの物体検出を改善するシステム及び方法が引き続き必要とされている。
【課題を解決するための手段】
【０００４】
本開示は、ディープラーニングベースの物体検出を改善するために光源を調整するための発明システム及び方法に関する。とりわけ、本発明の実施形態は、最適なディープラーニングベースの物体検出のために物体の照明条件を改善することに関する。本明細書の様々な実施形態及び実装形態は、学習モジュール(learning module)、モニタリングエンジン(monitoring engine)、及びライト設定算出モジュール(light settings calculation module)を含む物体検出システムに関する。
【０００５】
一般的に、一態様において、物体検出システムが提供される。物体検出システムは、（ｉ）物体を照らすための照明システムであって、少なくとも１つの選択可能な光出力品質を有する、照明システムと、（ｉｉ）物体の画像を取得するように位置付けられる少なくとも１つの画像センサと、（ｉｉｉ）物体の画像を受けるために画像センサに結合される少なくとも１つのプロセッサとを含む。少なくとも１つのプロセッサは、画像が、所定の閾値を満たす画像品質メトリック（ＩＱＭ：Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ｍｅｔｒｉｃ）値又はＩＱＭ値に対応する期待信頼値(expected confidence value)を有するかどうかを判断するように構成されるモニタリングエンジンと、ＩＱＭ値又はＩＱＭ値に対応する期待信頼値が所定の閾値を満たすように改善するために照明システムの光出力品質を選択するように構成されるライト設定算出モジュールとを含む。
【０００６】
一実施形態によれば、物体検出システムはさらに、選択された物体特性及び画像メトリックに対応する信頼値を学習するように構成されるトレーニングモジュールを含み、モニタリングエンジンはさらに、画像についてトレーニングモジュールから信頼値を取得するように構成される。
【０００７】
一実施形態によれば、モニタリングエンジンはさらに、画像品質メトリック（ＩＱＭ）値を算出するように構成される。
【０００８】
一実施形態によれば、少なくとも１つの選択可能な光出力品質は、光強度である。さらなる実施形態によれば、少なくとも１つの選択可能な光出力品質は、光強度及び光の波長の相対強度を含む。
【０００９】
一実施形態によれば、トレーニングモジュールは、画像品質メトリック（ＩＱＭ）値及び複数の物体の特性の配列に対する信頼値を含む第１のデータ構造を含む。一実施形態によれば、特性の配列(array of properties)は、複数の物体の複数の色を含む。さらなる実施形態によれば、複数の色は、ＣＩＥ  ＸＹＺ色空間から一様に(uniformly)サンプリングされる。
【００１０】
一実施形態によれば、少なくとも１つの画像センサは、物体の画像のライブフィード)を取得するように構成され、物体の画像は、画像のライブフィード((live feed of images)からの画像である。
【００１１】
一実施形態によれば、ライト設定算出モジュールは、複数のｉｆ−ｔｈｅｎルールを用いて照明システムの光出力品質を選択するように構成される。
【００１２】
一実施形態によれば、ライト設定算出モジュールは、ある期間にわたってルールを追加又は修正するように構成される。
【００１３】
一実施形態によれば、ライト設定算出モジュールは、物体特性及びライト設定に対する画像品質メトリック（ＩＱＭ）値を含むデータ構造を含み、ＩＱＭ値は、複数の物体に対する最大信頼値に対応する。
【００１４】
一実施形態によれば、ライト設定算出モジュールは、複数の物体に対する最大信頼値に対応する、物体特性及びライト設定に対するＩＱＭ値を含む第２のデータ構造を含み、ライト設定算出モジュールはさらに、第１のデータ構造からデータを取得することによって第２のデータ構造をポピュレート(populate)するように構成される。
【００１５】
一実施形態によれば、ライト設定算出モジュールは、光の波長の相対強度を選択するために各照明器具の各色チャネルに対するデューティサイクルをコンピュートするマルチチャネル色混合アルゴリズム(multichannel color mixing algorithm)を含む。
【００１６】
一般的に、別の態様において、物体検出を強化(enhance)するために光源を調整するための方法が提供される。方法は、（ｉ）光源によって照らされる物体の画像を獲得することと、（ｉｉ）画像に対する少なくとも１つの画像品質メトリック（ＩＱＭ）値を算出することと、（ｉｉｉ）少なくとも１つのＩＱＭ値又はＩＱＭ値に対応する期待信頼値が所定の閾値を満たすかどうかを判断することと、（ｉｖ）少なくとも１つのＩＱＭ値又は期待信頼値が所定の期待値閾値を満たさない場合、ルールのデータベース(database of rules)に従って光源からの光出力を調整することとを含む。
【００１７】
上述の概念と、以下でより詳細に論じられる追加的概念との全ての組み合わせは（そのような概念が互いに矛盾しないという条件下で）、本明細書で開示される発明の主題の一部であると想到される点を理解されたい。特に、本開示の最後に記載されている特許請求される主題の全ての組み合わせは、本明細書で開示される発明の主題の一部であると想到される。 
【図面の簡単な説明】
【００１８】
図面中、同様の参照文字は、一般に、異なる図の全体にわたって同じ部分を指す。また、図面は、必ずしも縮尺通りではなく、その代わり一般的に、開示の原理を例示することに重点が置かれている。
【図１】ディープラーニングベースの物体検出を向上させるための光源制御を有するライトシステムを含むディープラーニングベースの物体検出システムを概略的に示すブロック図である。
【図２】９つの照明条件（条件「０」の非常に暗い〜条件「８」の露出オーバ）下での物体の一例、すなわち、バスケットボールを示す。
【図３】本開示のある態様による性能ルックアップテーブルの一例を示す。
【図４】本開示のある態様で使用するための光算出テーブルの一例を示す。
【図５】学習データベースをポピュレートする際のステップの例を示すフローチャートである。
【図６】本開示のある態様による照明システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
本開示は、物体検出で使用するための光源を調整するためのシステム及び方法の様々な実施形態を述べる。より一般的には、出願人は、学習モジュール、モニタリングエンジン、及びライト設定算出モジュールを有する照明システムを提供することが有益であることを認識し、理解している。本開示の特定の実施形態の利用の例示的な目標は、照明条件を改善することによって正確に、迅速に、より確信を持って物体を識別するために画像品質を改善することである。
【００２０】
図１を参照すると、ディープラーニングベースの物体検出を改善するために動作されるシステム１００が示されている。物体検出システム１００は、物体８０を照らすための１つ以上の照明器具（Ｌｕｍｉｎａｉｒｅ）６０ａ、６０ｂを有する照明システム５０と、照明システム５０の照明フィールドに置かる場合に物体８０の画像を取得するように位置付けられる画像センサ７０とを含む。以下でより詳細に述べられるように、プロセッサ１０は、トレーニングモジュール２０、モニタリングエンジン３０、及び光源設定算出モジュール４０を含んでもよい。プロセッサ１０は、物体の画像を受けるために画像センサ７０に結合されてもよく、さらに、照明システム５０の光出力を制御するために照明システム５０に結合されてもよい。
【００２１】
プロセッサ１０は、マイクロコントローラ（又は複数のマイクロコントローラ）、回路、ソフトウェア命令を実行するように構成される単一のプロセッサ（又は複数のプロセッサ）等、任意の適切な形態をとってもよい。プロセッサに関連付けられるメモリ（図示せず）は、ランダムアクセスメモリ（ＲＡＭ）等の揮発性メモリ、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の不揮発性メモリ、又は他のデータ記憶媒体を含む、任意の適切な形態又は形態をとってもよい。メモリは、プロセッサ１０によって、その動作中のデータの一時的格納のために使用されてもよい。画像センサ７０によって収集されるデータを分析するために必要なアルゴリズム又はソフトウェア等のデータ及びソフトウェア、並びに、オペレーティングシステム、ファームウェア、又は他のアプリケーションが、メモリにインストールされてもよい。プロセッサ又はメモリによって実装されるディープラーニングメカニズムは、人工ニューラルネットワーク、ディープラーニングエンジン、又はその他の機械学習アルゴリズムであってもよく、又は、それらを含んでもよい。
【００２２】
システム１００は、照明システム５０を制御するために１つのプロセッサを備えて図示されているが、代替的に、システムは、そのような機能を実現するために複数のプロセッサを備えてもよいことを理解されたい。例えば、第１のプロセッサは、カメラを制御し、カメラから画像を取得し、第２のプロセッサは、照明を制御し、トレーニングモジュール２０、モニタリングエンジン３０、及び／又は光源設定算出モジュール４０を含めてもよい。また、システム１００は、リモート又は中央バックエンドコンピュータ（図示せず）、例えば、本明細書で論じられるようなシステム１００のための算出を実行する、決定を行う、及びデータを保存するための十分なコンピューティングリソースを有する１つ以上のサーバ、データベース、ネットワーク機器、又は他のコンピューティングハードウェア若しくはデバイスを含んでもよい。バックエンドコンピュータは、１つ以上のプロセッサ、メモリ、及び／又は通信モジュールを含んでもよく、クラウドコンピューティングを介して実装されてもよい。ある特定の実施形態（図示せず）では、トレーニングモジュール２０は、データベースに格納され、モニタリングエンジン３０は、第１のプロセッサに構成され、光源設定算出エンジン４０は、第２のプロセッサに構成される。
【００２３】
照明システム５０は、光出力品質の選択可能性を可能にする任意の適切な構成のものであってもよい。そのような光出力品質は、例えば、１つ以上の選択された波長又は波長域の有無を含む光のスペクトル、スペクトル内の１つ以上の波長又は波長域の相対強度、及び総(aggregate)光強度を含んでもよい。照明システム５０は、照明器具のＣＲＴ（例えば、赤、緑、青）出力又は相関色温度（ＣＣＴ）を制御するように動作されてもよい。照明システム５０は、マルチチャネル色混合を提供してもよい。照明器具は、蛍光灯、白熱灯、ハロゲン、ネオン、若しくはＬＥＤ光源、又はそれらの組み合わせを含んでもよい。例えば、照明システム５０は、１つ以上の色調整可能な(color-tunable)マルチチャネルＬＥＤ照明器具を含んでもよい。
【００２４】
画像センサ７０は、関心のあるスペクトル及び関心のある光強度範囲内の光を検出するための任意の適切な構成のものであってもよい。例えば、画像センサ７０は、カメラであってもよく、ＣＭＯＳ又はＣＣＤベースのエリアアレイ検出器を含んでもよい。物体８０からの光のフィルタリングは、検出器自体によって、又は適切なスペクトルフィルタリングで提供されてもよい。
【００２５】
トレーニングモジュール３０は、システム１００が入力データを用いて様々な物体の色に対する理想的な照明条件を動的に学習し、選択された環境（例えば、照明）条件に対応する信頼値を生成することができるように構成されてもよい。トレーニングモジュール３０は、例えば、（１）フレームの画像品質メトリック（ＩＱＭ）（例えば、一様性(uniformity)、コントラスト、強度(intensity)）、（２）１つ以上の物体特性（例えば、色、形状、テクスチャ）、及び（３）システム１００によって使用される物体検出アルゴリズムのソフトマックス値を含むデータ構造（例えば、ルックアップテーブル）を作成（例えば、ポピュレート又はマッピング）するように構成されてもよい。このようなデータ構造の一例が、図３を参照して、以下で述べられる。本明細書では、「ソフトマックススコア」の算出及び使用について言及されているが、ソフトマックス(softmax)は、検出される物体の信頼度の目安(confidence measure)の一例に過ぎず、他の目安が使用されてもよいことを理解されたい。
【００２６】
データ構造の作成は、照明される環境に存在することが期待される所与の色の物体に対する（例えば、ＣＲＴ、ＣＣＴ、強度の観点の）光源設定及び対応する信頼性スコア(confidence score)の記録を含むことができる。代替的に、データ構造の作成は、より一般的なものとすることができ、例えば、ＣＩＥ  ＸＹＺ色空間から一様にサンプリングされる色の物体が、データ構造を作成するために使用されてもよい。
【００２７】
モニタリングエンジン３０は、静止又はライブフィード画像を撮影するために画像センサ７０を使用してしてもよく、及び／又は、画像分析を実行するために別のカメラ（図示せず）からの画像を使用してもよい。一実施形態では、モニタリングエンジン３０は、物体検出を示す画像パラメータが不満足であると判断されるかどうかを、所定の信頼値閾値(predetermined confidence value threshold)と比較することにより判断するためにディープラーニングアルゴリズムを使用する。モニタリングエンジン３０は、物体検出を示すパラメータが所定の閾値を満たしていないと判断される場合、ライト設定算出モジュール４０を従事させることにより是正照明動作(corrective lighting action)をトリガする。例えば、画像が満足であるか不満足であるかを判断するためにモニタリングエンジン３０によって使用されるパラメータは、例えば、ＩＱＭ（例えば、物体Ｏの画像を含むフレームのコントラスト、強度又は一様性の目安(measure)）、又はディープラーニングメカニズムを使用した画像の処理に起因するソフトマックス値であってもよい。
【００２８】
ライト設定算出モジュール４０は、許容可能な画像品質メトリックを達成するように、又は識別された物体に対する最適なソフトマックス値に対応するように、照明システムを調整するように構成される。以下でより詳細に述べられるように、一部の実施形態では、ライト設定算出モジュール４０は、ソフトマックス値を最大化するために、ある特性（例えば、色、形状、テクスチャ）を有する物体に必要な画像品質メトリックを学習する（例えば、該画像品質メトリックで光算出テーブル(light calculation table)をポピュレートする）ためにトレーニングモジュール２０とインタラクト(interact)する。一部の実施形態では、ライト設定算出モジュール４０は、照明器具の相対的な位置及び物体の境界ボックス(bounding box)を所与として、どの照明器具が物体の画像品質メトリックに影響を与えるかを識別するために空間幾何学的計算(space-geometrical calculation)を行うようにプログラムされる。
【００２９】
画像センサ等のセンサを使って物体を検出するプロセスは、一般的に知られている。例えば、ディープラーニングメカニズムを用いて画像内の物体を検出するプロセスは、当業者には一般的に知られているだろう。コンボリューショナルニューラルネットワーク（ＣＮＮ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）等の人工ニューラルネットワークは、物体検出に使用されるディープラーニングモデルの例である。ＣＮＮは一般的に、画像全体のピクセルの事前定義されたサブセット（又はカーネル）に対して実行される一連の畳み込み演算を含む。カーネルの寸法はステップごとに変更される。マックスプーリング(max-pooling)及びドロップアウト(dropout)等の他の演算が、ＣＮＮによって用いられてもよい。各層は典型的には、畳み込みの出力に対して非線形変換を行い、その出力を次の層に渡す。モデルは、ＣＮＮに既知の（ラベル付けされた）物体の例を与えることにより教師付きで(in a supervised fashion)トレーニングされる必要がある。ＩｍａｇｅＮｅｔ等の標準的なラベル付きデータセットが存在し、何百もの物体の既知の例でネットワークをトレーニングするために使用されることができる。物体検出のためにトレーニングされたＣＮＮの例として、Ｖｉｓｕａｌ  Ｇｅｏｍｅｔｒｙ  ＧｒｏｕｐのＶＧＧ１６モデル、Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ（ＲｅｓＮｅｔ）、ＧｏｏｇｌｅのＧｏｏｇｌｅＮｅｔ等が挙げられるが、他にも多くのものが存在し、代替的又は追加的に利用されることができる。これらのモデルの多くは、ディープラーニングメカニズムが物体を正確に検出する尤度(likelihood)に対応する、信頼値（ソフトマックススコア又は値）を生成するためにソフトマックス関数を使用する最終層を含む（すなわち、物体に対する信頼値が大きいほど、物体が画像内に存在し、斯くしてディープラーニングメカニズムによって正確に検出される確率(probability)が高くなる）。例えば、選択された数のソフトマックス値の分散が算出されてもよく、又は、最高のソフトマックス値と２番目に高いソフトマックス値の比率が、ディープラーニングアルゴリズムによって提供されるソフトマックススコアから算出されてもよい。ソフトマックス関数は信頼値の一例に過ぎず、信頼値、確率、及び／又は尤度は、任意の所望の関数に従って生成されることができることを理解されたい。
【００３０】
ディープラーニングメカニズム、とりわけ、人工ニューラルネットワークは、ＩｍａｇｅＮｅｔを使用してトレーニングされてもよい。ネットワークの性能は、各照明設定下での各物体の推論(inference)を記録することにより測られることができる。ソフトマックススコアは、異なる条件下での各物体に対応して算出されることができる。ソフトマックススコア自体は、物体検出アルゴリズムの性能及び／又は信頼性を測らないことに留意されたい。むしろ、ソフトマックススコアは、例えば、任意のＣＮＮベースの物体検出アルゴリズムの出力である。上位ｋ個のソフトマックス値の分散、及び、最高のソフトマックス値と２番目に高いソフトマックス値の比は、出力されるソフトマックススコアから導出される２つの信頼性メトリック(confidence metric)である。
【００３１】
一例では、ＲｅｓＮｅｔモデルが、ディープラーニングメカニズムとして選択され、異なる照明条件下で多くの異なる物体（花瓶、バスケットボール、ボトル、車等）を撮影した画像が提供される。各物体に関連するディープラーニングメカニズムによって生成される（この例では、ソフトマックス値から決定される）信頼値が、各照明条件の下で、ディープラーニングメカニズムがこれら照明条件の下で各物体をどの程度識別できるかを見る(observe)ために記録される。図２は、この実験で使用される９つの照明条件、すなわち、条件「０」の非常に暗いから条件「８」の露出オーバ(overexposed)の範囲の照明条件下での物体の一例、すなわち、バスケットボールを示すために提供されている。
【００３２】
図２を見て理解され得るように、ディープラーニングメカニズムの性能は、照明条件によって大きく変化し得る。より具体的には、物体に関連するソフトマックススコアは、照明条件の変化に応じて大きく変化し得る。例えば、ほとんどの物体に対するソフトマックス値は、非常に暗い照明条件及び／又は非常に明るい照明条件下で比較的悪く、一方、一部の物体は、暗い条件下でより正確に識別され、他の物体は、明るい条件下でより正確に識別される。
【００３３】
また、図２のバスケットボールの一様な照明とは対照的に、物体に対する非一様な照明条件が、（例えば、１つ以上の特定の角度からのみ物体に強い指向性の照明を加えることにより）テストされることができることにも留意されたい。不均一な条件は、多くの屋外エリアで見られることが多い（例えば、木、建物、及び他のインフラストラクチャがオクルージョン(occlusion)を作り、照明シーンを非常に複雑にする（例えば、濃い影のすぐ隣に明るい直射日光があるまだらなエリア等））ため、とりわけ興味深いものとなり得る。異なる照明条件下で物体を識別する場合、ディープラーニングメカニズムの性能は大きく変化し得る。すなわち、カメラによって収集されるデータに基づいて物体を正確に検出するディープラーニングメカニズムの確率は、検出される物体、使用されている特定の画像センサ、及び照明条件によって影響を受ける。本明細書で述べられるような技術を用いて照明パラメータを選択することにより、ディープラーニングメカニズムを用いた物体認識が改善されることができる。
【００３４】
本開示の態様によるシステム１００の動作は、以下の２つのフェーズを含んでもよい。（１）データが後続の使用のためにデータ構造に集められるトレーニングフェーズ
（２）システムが物体検出のために使用される運用フェーズトレーニングフェーズは、部分的又は全体的に、運用フェーズの前に行われてもよいが、トレーニングフェーズ中に生成されるデータ構造は、運用フェーズ中に修正されてもよい。トレーニングフェーズ及び運用フェーズ中に同じ装置を使用することで得られ得る利点があるが、トレーニングフェーズ中に使用されるそのような装置は、運用フェーズ中に使用される装置と同じであってもよく、又は、異なってもよい。本開示の実施形態は、（運用フェーズとは別に）トレーニングフェーズで使用される方法及び装置、（トレーニングフェーズとは別に）運用フェーズで使用される方法及び装置、並びに、共にトレーニングフェーズ及び運用フェーズで使用される方法及び装置の組み合わせに関することに留意されたい。
【００３５】
一実施形態では、トレーニングフェーズは、運用フェーズが行われるべき環境とは異なる照明環境で行われてもよい（すなわち、トレーニングはオフラインで行われてもよい）。さらなる実施形態では、トレーニングフェーズは、少なくとも部分的に、運用フェーズが行われるべき環境と同じ照明環境で行われてもよい（すなわち、トレーニングフェーズ及び運用フェーズは、設置固有(installation-specific)のものである）。トレーニングモジュールは、例えば、物体の色及び光の品質(light quality)が物体の検出にどのように影響するかを判断することにより経時的にデータ構造を作成（例えば、データをポピュレート）してもよい。例えば、このようなモジュールの学習は、（１）一様性等のフレームの画像品質メトリック、（２）コントラスト、（３）物体の色、及び選択された物体／光条件下での物体検出アルゴリズムの対応するソフトマックス値のルックアップテーブルを作成することを伴う。
【００３６】
性能ルックアップテーブル(performance look up table)の非限定的な例は、とりわけ画像ベースのセンサの物体検出に関して、図３から理解されることができる。例えば、図３では、各行が、異なる物体プロパティ（例えば、色、形状、テクスチャを持っている。図３のテーブルの列は、様々な画像品質メトリック（ＩＱＭ）を表している。より具体的には、図３のテーブルのエントリは、所与の物体特性及びＩＱＭに対するソフトマックスベースの信頼度の目安である。当業者であれば、図３がルックアップテーブルの一例としてのみ提供されていることを理解し、他の実施形態によって他の特性が利用され得ることを容易に認識するであろう。
【００３７】
図３を参照すると、本明細書で述べられるように、例示的なテーブルエントリは、物体特性及び画像品質メトリックの組み合わせの下でのディープラーニングメカニズムの性能を示す性能メトリック(performance metric)で記入(fill)されることが意図されている。テーブルのエントリとして格納される性能メトリックは、所与の条件の下で物体を検出するディープラーニングメカニズムの能力を一般的に記述する単一の値、又は値の配列(array of values)であり得る。例えば、図３のテーブルの各エントリは、複数のディープラーニングメカニズムごとに異なる値を含み得る。図３は、非限定的な例としてのみ提供されていることに留意されたい。例えば、信頼値に加えて又は代えて、システム１０は、代わりに、信頼値の比（例えば、最大ソフトマックス値を第２の最大ソフトマックス値で割ったもの）、信頼値間の分散（例えば、５つの最大ソフトマックス値間のもの）を生成及び／又は保存してもよい。
【００３８】
学習（例えば、図３のテーブルへのデータの記入）は、対象となるシーンで期待される典型的な色の物体に対して行われることができ、又は、人間が見ることのできる色の全域(entire gamut)を集合的に表すＣＩＥｘｙ色空間から一様にサンプリングされた色に対して行われることができる。学習は、実験又はシミュレーションによって行われることができる。
【００３９】
一部の例では、（運用が行われるべき空間での運用に起因する各物体／ＩＱＭに対するソフトマックス値を含む）設置固有の学習が、照明算出をさらに調整するために使用されることができる。
【００４０】
追加的に、運用フェーズに入った後、トレーニングモジュールは、経時的に空間及びライト設定について得られる学習に基づいて必要に応じて更新されることができる。
【００４１】
モニタリングエンジン３０の動作中、画像センサ７０は、ライブフィード又は静止画を撮影してもよい。プロセッサ１０は、例えば、ライトフィードの画像を処理して、ＩＱＭ値を生成する。プロセッサ１０は、所要のキーパラメータ（例えば、色、形状、テクスチャ、位置）をコンピュートするオンボード又はバックエンドクラウドプロセッサであってもよい。一部の実施形態では、モニタリングエンジン３０は、学習モジュール２０のルックアップテーブルを参照して、ＩＱＭに基づく期待ソフトマックス値(expected softmax value)、又は複数のＩＱＭに基づくソフトマックス値の平均値を決定する。モニタリングエンジン３０は、画像センサ７０からのキーパラメータ（例えば、ＩＱＭ値又はソフトマックス値）が不満足な場合、是正照明アクションをトリガする。
【００４２】
モニタリングエンジン３０が、画像（又は複数の画像）のキーパラメータが不満足であると判断する場合、光源設定算出モジュールを従事させることにより「是正(corrective)」照明アクションをトリガする。
【００４３】
是正照明アクションのトリガにより、ライト設定算出モジュール４０は、照明パラメータを分析し、満足のいく画像を生成するのに適した空間内の各照明器具６０ａ、６０ｂのライト設定をコンピュートする。
【００４４】
一部の実施形態では、ライト設定算出モジュールは、ｉｆ−ｔｈｅｎルールのセットを含むことができる。例えば、
物体＝１、ＩＱＭｕｎｉｆｏｒｍｉｔｙ＝「悪い（ｂａｄ）」、物体１の境界ボックス＝（ｘ１、ｙ２）の場合、照明器具を等しい（ＥＱＵＡＬ）ように調整する（式１）。
物体＝２、色＝「ブラウン（ｂｒｏｗｎ）」、物体２の境界ボックス＝（ｘ３、ｙ４）の場合、照明器具２及び３のＣＲＩを最大（ＭＡＸ）に設定する（式２）。
【００４５】
一部の実施形態では、ライト設定算出モジュール４０のルールは、経時的に学習されることができる。一部の実施形態では、ライト設定算出モジュール４０は、ルールの初期セットを備えることができる。追加のルールは、強化学習(reinforcement learning)等の技術を使用してルールを追加又は修正することにより経時的に学習されることができる。ライト設定算出モジュール４０は、経時的に、所与のＩＱＭ／物体の色のセットに対する適切な是正照明アクションを学習してもよく、また、１日の異なる時間帯等の広範な追加要因に対する是正アクションを学習してもよい。例えば、ライト設定算出モジュール４０は、トレーニングモジュール２０とインタラクトして、ソフトマックス値を適切に改善又は最大化するために所与の色の物体に必要なＩＱＭ値を学習（例えば、図４の光算出テーブル(light calculation table)のエントリをポピュレート）してもよい。以下に述べられるように、光算出テーブルのエントリは、最大ソフトマックス値に対応する、様々な物体特性及びライト設定に対するＩＱＭ値でポピュレートされてもよい。一部の実施形態では、各エントリは、対応するライト設定を有するＩＱＭ値の配列(array of IQM values)でポピュレートされてもよい。
【００４６】
一部の実施形態では、ライト設定算出モジュール４０は、照明器具の相対的な位置及び物体の境界ボックスを所与として、どの照明器具が物体のＩＱＭパラメータに影響を与え得るかを推論するために空間幾何学的計算を行う。このような実施形態では、ライト設定算出モジュール４０は、画像のフレーム内の物体８０の位置に依存して各照明器具６０ａ、６０ｂの相対強度を調整する。
【００４７】
一部の実施形態では、ライト設定算出エンジン４０は、追加的に、空間照明に必要な最適なＣＲＩ又はＣＣＴを特定する。例えば、ライト設定算出エンジン４０は、必要な最適スペクトルを達成するために各照明器具６０ａ、６０ｂの各色チャネルに必要なデューティサイクルをコンピュートする従来のマルチチャネル色混合アルゴリズムを採用してもよい。このような構成(configuration)は、照明器具の光の波長の相対強度が選択されることを可能にすることを理解されたい。
【００４８】
光制御ルックアップテーブル(light control look up table)（ＬＵＴ）の非限定的な例は、とりわけ画像ベースのセンサの物体検出に関して、図４から理解されることができる。例えば、図４において、各行は、異なる物体特性を持っている。当業者であれば、図４が一例としてのみ提供されていることを理解し、他の実施形態によって他のパラメータ特性が利用され得ることを容易に認識するであろう。図４のテーブルの列は、照明システム内の照明器具の例示的な設定を表している。
【００４９】
図４のテーブルのエントリは、物体特性及び照明設定の組み合わせの下で最大の達成可能な性能を示す画像品質メトリックで記入されることが意図されている。例えば、上述したように、ＩＱＭは、画像品質に対するメトリックを含んでもよい。さらに、各エントリは、単一のタイプのメトリックに対応する単一のＩＱＭ値であってもよく、又は、様々なメトリックに対応する様々なＩＱＭの配列であってもよく、又は、様々なメトリックの平均値に対応する単一の値であってもよい。
【００５０】
光算出テーブルの一例では、テーブルは、最大ソフトマックススコア及び対応する照明器具設定に対応するＩＱＭでポピュレートされてもよい。照明器具設定は、強度値を含んでもよい。一部の実施形態では、（例えば、マルチチャネルＬＥＤソースを含む照明器具のために）スペクトル設定もポピュレートされてもよい。
【００５１】
図５は、トレーニングデータベースをポピュレートする際のステップの例を示すフローチャートである。ステップ５１０において、画像が、画像センサによって撮影され（又は画像が、データベースで提供され）、物体特性（例えば、色、テクスチャ、形状）が、識別又は提供され、画像センサ設定が、記録される。ステップ５２０において、画像品質メトリックが、コンピュート又は提供される。ステップ５３０において、画像が、信頼性スコア（例えば、ソフトマックススコア）を決定するためにディープラーニングアルゴリズムを通される。ステップ５４０において、結果が、トレーニングデータベースに記録される。
【００５２】
図６は、本開示のある態様による画像分析及び照明是正の動作の一例を示すフローチャート６００である。ステップ６１０において、画像が、画像センサによって獲得される。ステップ６２０において、画像パラメータが、画像から抽出される（例えば、物体の位置、ＩＱＭ、最も近い照明器具、物体の色）。ステップ６３０において、一部の例では、期待ソフトマックス値が、画像パラメータに基づいてトレーニングデータベース内で特定される。ステップ６４０において、期待ソフトマックス値又はＩＱＭが許容可能であるかどうかに関してシステム１００によって判断がなされる。答えがＹＥＳの場合、ステップ６５０において、システム１００は、画像が許容可能であるというインディケーションを提供し、任意選択的に次の画像を待つことができる。答えがＮＯであれば、ステップ６６０において、光算出エンジンが、照明器具からの光出力を調整するために従事される。ＩＱＭに対応するｉｆ−ｔｈｅｎルールが光源設定算出モジュールによって識別される。照明システム６０の光出力は、ルールに従って調整され、任意選択的に、新しい画像が獲得されてもよい。
【００５３】
いくつかの発明実施形態が、本明細書で説明及び図示されてきたが、当業者は、本明細書で説明される機能を実行するための、並びに／あるいは、その結果及び／又は利点のうちの１つ以上を得るための、様々な他の手段及び／又は構造体を、容易に構想することとなり、そのような変形態様及び／又は修正態様は、本明細書で説明される発明実施形態の範囲内にあるものと見なされる。より一般的には、本明細書で説明される全てのパラメータ、寸法、材料、及び構成は、例示であることが意図されており、実際のパラメータ、寸法、材料、及び／又は構成は、本発明の教示が使用される特定の用途に応じて変化することを、当業者は容易に理解するであろう。当業者は、通常の実験のみを使用して、本明細書で説明される特定の発明実施形態に対する、多くの等価物を認識し、又は確認することが可能であろう。それゆえ、上述の実施形態は、例としてのみ提示されており、添付の請求項及びその等価物の範囲内で、具体的に説明及び特許請求されるもの以外の発明実施形態が実践されてもよい点を理解されたい。本開示の発明実施形態は、本明細書で説明される、それぞれの個別の特徴、システム、物品、材料、キット、及び／又は方法を対象とする。更には、２つ以上のそのような特徴、システム、物品、材料、キット、及び／又は方法の任意の組み合わせは、そのような特徴、システム、物品、材料、キット、及び／又は方法が相互に矛盾しない場合であれば、本開示の発明の範囲内に含まれる。
【図１】
2021535564.tif 000003
【図２】
2021535564.tif 000004
【図３】
2021535564.tif 000005
【図４】
2021535564.tif 000006
【図５】
2021535564.tif 000007
【図６】
2021535564.tif 000008
【国際調査報告】
2021535564.tif 000009
2021535564.tif 000010