(57)【要約】  データを処理する方法が、コンピューティングデバイスにおいて、画像センサによってキャプチャされた画像を表すデータを受信することを含む。この方法はまた、第１のシーン鮮明さスコアを決定することを含む。この方法は、第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、第１のシーン鮮明さスコアがしきい値を満たす場合、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することとをさらに含む。【選択図】      図５
2018514011.tif 000002
【特許請求の範囲】
【請求項１】
データを処理するための方法であって、
コンピューティングデバイスにおいて、
画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと
を備える方法。
【請求項２】
前記第２のシーン鮮明さスコアに基づいて、前記シーンが環境状態を含むかどうかを決定することをさらに備える、請求項１に記載の方法。
【請求項３】
前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することをさらに備える、請求項２に記載の方法。
【請求項４】
前記環境状態が車両のウィンドウ上に存在するかどうかを決定することをさらに備える、請求項３に記載の方法。
【請求項５】
前記環境状態が前記車両の前記ウィンドウ上に存在するかどうかの前記決定に基づいて、前記車両の暖房、換気、および空調（ＨＶＡＣ）システムまたはワイパーを起動することをさらに備える、請求項４に記載の方法。
【請求項６】
前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、前記画像におけるコントラストを示す、請求項３に記載の方法。
【請求項７】
前記アクションは、車両のフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、請求項３に記載の方法。
【請求項８】
前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、請求項３に記載の方法。
【請求項９】
前記鮮明化された画像データを作成することは、前記画像の高いインテンシティの領域におけるローカルコントラストをブーストするために、ローカルトーンマッピング（ＬＴＭ）を使用することを含む、請求項８に記載の方法。
【請求項１０】
前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、請求項８に記載の方法。
【請求項１１】
前記鮮明化された画像データに基づいて、オブジェクト検出を実行することと、前記オブジェクト検出に基づいて、車両の出力デバイスに出力を提供することとをさらに備える、請求項８に記載の方法。
【請求項１２】
前記第１のデータは、前記画像の赤チャネル、緑チャネル、および青チャネルのうちの少なくとも１つにおける高いインテンシティ値を有する前記画像における画素に対応するダークな特徴データを含み、前記第２のデータは、前記ダークな特徴データおよび勾配特徴データを含む、請求項１に記載の方法。
【請求項１３】
装置であって、
コンピューティングデバイスを備え、前記コンピューティングデバイスは、
画像センサによってキャプチャされた画像を表すデータを受信し、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定し、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定し、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定する
ように構成される、装置。
【請求項１４】
前記コンピューティングデバイスは、前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定するようにさらに構成される、請求項１３に記載の装置。
【請求項１５】
前記コンピューティングデバイスは、ローカルトーンマッピング（ＬＴＭ）モジュールを含み、前記アクションは、鮮明化された画像データを生成するために、前記ＬＴＭモジュールを使用することを含む、請求項１４に記載の装置。
【請求項１６】
前記鮮明化された画像データは、第２の画像を表す追加のデータに基づいて生成され、前記第２の画像は、前記画像センサが前記画像をキャプチャした後に、前記画像センサによってキャプチャされる、請求項１５に記載の装置。
【請求項１７】
前記鮮明化された画像を生成することは、隣接する画素の平均インテンシティ値に基づいて、ローカルコントラストを増大させるために、１つまたは複数の画素のインテンシティ値を修正することを含む、請求項１５に記載の装置。
【請求項１８】
前記鮮明化された画像を生成することは、前記画素の前記インテンシティ値を低減させることを含む、請求項１７に記載の装置。
【請求項１９】
前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、請求項１５に記載の装置。
【請求項２０】
前記量は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方と正の相関がある、請求項１９に記載の装置。
【請求項２１】
車両内に搭載されたディスプレイデバイスをさらに備え、前記ディスプレイデバイスは、前記鮮明化された画像データによって表される鮮明化された画像を表示するように構成される、請求項１５に記載の装置。
【請求項２２】
前記コンピューティングデバイスは、前記鮮明化された画像データにおけるオブジェクトを検出するように構成される、請求項１５に記載の装置。
【請求項２３】
車両の暖房、換気、および空調（ＨＶＡＣ）システム、ワイパー、またはフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せをさらに備える、請求項１４に記載の装置。
【請求項２４】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、
前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、
前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することと
を含む動作を実行させる、コンピュータ可読記憶媒体。
【請求項２５】
前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、教師あり機械学習モデルを使用して計算される、請求項２４に記載のコンピュータ可読記憶媒体。
【請求項２６】
前記第１のシーン鮮明さスコアは、第１の線形サポートベクターモデルを前記第１のデータと比較することによって計算され、前記第２のシーン鮮明さスコアは、第２の線形サポートベクターモデルを前記第２のデータと比較することによって計算される、請求項２５に記載のコンピュータ可読記憶媒体。
【請求項２７】
前記第１の線形サポートベクターモデルおよび前記第２の線形サポートベクターモデルの各々は、サンプルビデオを使用して生成される、請求項２６に記載のコンピュータ可読記憶媒体。
【請求項２８】
装置であって、
画像を表すデータを受信するための手段と、
前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定することと、前記第１のシーン鮮明さスコアは、前記画像におけるコントラストを示す、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、
前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、
前記第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することと
を行うように構成された画像処理のための手段と
を備える装置。
【請求項２９】
前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、請求項２８に記載の装置。
【請求項３０】
前記アクションは、車両のフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、請求項２８に記載の装置。
【発明の詳細な説明】
【関連出願への相互参照】
【０００１】
[0001]本願は、２０１５年２月１１日に出願された、共同所有される米国非仮特許出願第１４／６１９，３５４号の優先権を主張し、その内容は、その全文が参照により本明細書に明確に組み込まれる。
【技術分野】
【０００２】
[0002]本開示は、一般にシーン検出に関する。より具体的には、本開示の態様は、環境シーン状態（environmental scene conditions）の検出に関する。
【関連技術の説明】
【０００３】
[0003]様々な環境状態が、シーンの視認性を損ない得る。例えば、霧、煙霧、雨、スモッグ、雪、みぞれ、結露、ウィンタリーミックス（wintery mix）、および／または他の環境状態は、このような状態がシーンにない場合に比べて、シーンをより低い鮮明さにし得る（make a scene less clear）。加えて、環境状態は、シーン内の他のオブジェクトを見えにくくし得る。したがって、環境シーン状態は、ドライバによって見られるシーンに存在するとき、車両（vehicle）を運転することをより困難にし得る。さらに、いくつかの車両は、先進運転支援システム（ＡＤＡＳ：advanced driver assistance system）を装備し得る。ＡＤＡＳは、車両周辺のエリアの画像をキャプチャするカメラからデータを受信し得る。いくつかのインプリメンテーションでは、カメラは、フロントガラスを通しての鮮明さ状態（clarity condition）が、キャプチャされた画像の鮮明さに影響を及ぼし得るように、車両内に配置（positioned）され得る。すなわち、車両内の環境および／または車両外の環境の状態は、キャプチャされた画像の鮮明さに影響を及ぼし得る。例えば、車両内と周囲環境の間の温度は、霧、雨、または煙霧、または車両外のその他の環境状態なしに、フロントガラス上に曇りまたは結露を生じさせ得る。ＡＤＡＳは、車両の操作（operation of the vehicle）を支援するために、画像に基づいて、様々な機能を実行し得る。しかしながら、キャプチャされた画像が（例えば、環境シーン状態により）不鮮明である場合、ＡＤＡＳは、正常に機能できないことがあり得、および／または、ドライバは、必要な操作を実行する能力が低下し得る。
【発明の概要】
【０００４】
[0004]例えば、煙霧、スモッグ、および／または天気などの、環境シーン状態を検出し、これら状態に基づいてアクションを開始するためのシステムおよび方法が開示される。環境シーン状態は、不鮮明であるとしてカテゴリ化されている画像に基づいて検出され得る。これらアクションは、画像を鮮明にするために画像処理を使用すること、メッセージを出力すること、デバイスの１つまたは複数のシステムを起動すること、またはこれらの組合せを含み得る。システムおよび方法は、電子デバイス、自動車システムコンソール（例えば、ＡＤＡＳ）、モバイルデバイス、ゲーミングコンソール、ウェアラブルデバイス（例えば、パーソナルマウントカメラ）、ヘッドマウントディスプレイなどでインプリメントされ得る。追加の例は、それに限定されるものではないが、ロボットまたはロボティスクデバイス、無人航空機（ＵＡＶ)、およびドローンを含む。
【０００５】
[0005]例えば、環境シーン状態検出モジュールは、車両から見えるシーンを表す入力画像を受信し得、入力画像が（例えば、雨、霧、曇ったフロントガラス、スモッグなどによる）１つまたは複数の環境シーン状態を含むかどうかを決定し得る。画像が１つまたは複数の環境シーン状態を含むかどうかを決定するために、環境シーン状態検出モジュールは、入力画像を記述するデータから第１のデータ（例えば、ダークな特徴データ（dark feature data）を抽出し、第１のシーン鮮明さスコア（first scene clarity score）を決定するために、第１のデータを第１のシーン鮮明さモデル（例えば、線形サポートベクターモデルのような、教師あり機械学習モデル（supervised machine learning model））と比較し得る。環境シーン状態検出モジュールは、第１のシーン鮮明さスコアを第１のしきい値と比較し得、第１のシーン鮮明さスコアが第１のしきい値を満たさないとき、入力画像が、シーンをより低い鮮明さにし得る１つまたは複数の環境シーン状態を含まないことを決定する。したがって、鮮明なシーンの画像は、より複雑な勾配位相動作（gradient phase operations）を実行することなく、ダークな特徴に基づいて識別され得る。
【０００６】
[0006]第１のシーン鮮明さスコアが第１のしきい値を満たすとき、環境シーン状態検出モジュールは、入力画像を記述するデータから第２のデータ（例えば、ダークな特徴データおよび勾配位相データ）を抽出し、第２のデータを第２のシーン鮮明さモデル（例えば、線形サポートベクターモデルのような、教師あり機械学習モデル）と比較することによって、第２のシーン鮮明さスコアを決定し得る。環境シーン状態検出モジュールは、第２のシーン鮮明さスコアが第２のしきい値を満たすとき、入力画像が鮮明でないことを決定し得る。環境シーン状態検出モジュールは、画像が鮮明でないとき、および／または、画像が鮮明でない可能性があることを示す１つまたは複数の環境状態を画像が含むとき、アクション（例えば、鮮明化された画像を生成するために画像を向上させること（enhancing)、警告を生成すること、車両に搭載されたライトシステム（light system）を起動すること、他の車両システムを起動すること、表示を拡張すること（augmenting a display）、別のデバイスにメッセージを送ることなど）をさらに開始し得る。アクションは、不鮮明な状態における車両のより安全な操作を可能にし得る。
【０００７】
[0007]一態様では、データを処理する方法が、コンピューティングデバイスにおいて、画像センサによってキャプチャされた画像を表すデータを受信することを含む。この方法はまた、このデータから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定することを含む。この方法は、第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、第１のシーン鮮明さスコアがしきい値を満たす場合、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することとをさらに含む。
【０００８】
[0008]別の態様では、装置がコンピューティングデバイスを含む。コンピューティングデバイスは、画像センサによってキャプチャされた画像を表すデータを受信するように構成される。コンピューティングデバイスは、このデータから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定するようにさらに構成され得る。コンピューティングデバイスは、このシーン鮮明さスコアがしきい値を満たすかどうかを決定するように構成され得る。第１のシーン鮮明さスコアがしきい値を満たす場合、コンピューティングデバイスは、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定し得る。
【０００９】
[0009]別の特定の態様では、コンピュータ可読記憶媒体が、プロセッサによって実行されると、プロセッサに動作（operations）を実行させる命令を記憶する。これら動作は、画像センサによってキャプチャされた画像を表すデータを受信することを含む。これら動作はまた、このデータから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定することを含む。これら動作は、第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、第１のシーン鮮明さスコアがしきい値を満たす場合、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することとをさらに含む。これら動作は、第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することをさらに含む。
【００１０】
[0010]本開示の他の態様、利点、および特徴が、下記のセクション：図面の簡単な説明、発明の詳細な説明、および特許請求の範囲、を含む本願全体のレビュー後に明らかになるであろう。
【図面の簡単な説明】
【００１１】
【図１】[0011]図１は、環境シーン状態検出のための特定のシステムを例示する特定のブロック図である。
【図２】[0012]図２は、環境シーン状態検出の特定の方法を例示するフローチャートである。
【図３】[0013]図３は、環境シーン状態検出のための別のシステムを例示するブロック図である。
【図４】[0014]図４は、鮮明化された画像を生成するために使用され得るローカルトーンマッピング（ＬＴＭ）関数（functions）を例示する図である。
【図５】[0015]図５は、環境シーン状態の別の特定の方法を例示するフローチャートである。
【図６】[0016]図６は、環境シーン状態のために使用され得るデバイスを例示するフローチャートである。
【発明の詳細な説明】
【００１２】
[0017]図１を参照すると、環境シーン状態を検出するためのシステム１００を例示するブロック図が示される。システム１００は、画像センサ１０２（例えば、カメラ）を含む。画像センサ１０２は、シーン１２２の画像をキャプチャするように配置され得る。シーン１２２は、車両から見えるシーンを表すか、人間の視野を表すか（例えば、画像センサ１２２は、データグラスまたは別のヘッドマウントカメラ中に含まれ得る）、または無人航空機のようなロボットを取り囲むシーンを表し得る。さらなる例では、シーン１２２は、モバイルフォンまたはタブレットコンピュータのような、モバイルデバイスによってキャプチャされ得る。
【００１３】
[0018]シーン１２２が車両から見えるシーンを表す例では、画像センサ１０２によってキャプチャされたシーン１２２の画像は、フロントガラス（例えば、画像センサ１２２は、バックミラーアセンブリに取り付けられ得る）または車両の他のウィンドウを通してキャプチャされ得る。このような事例では、画像は、車両内からと、車両外からの環境状態を含み得る。他の例では、画像センサ１０２は、車両外にあり得る。画像センサ１０２は、静止画像、ビデオ、または両方を撮ることが可能なデジタルカメラであり得る。特定の例では、システム１００は、１つより多くの画像センサを含む。例えば、システム１００は、リアウィンドウ、サイドウィンドウ、フロントガラス、またはこれらの組合せに対応した画像センサを含み得る。特定の例では、画像センサ１０２は、１秒当たり３０個の画像をキャプチャするように構成される。
【００１４】
[0019]システム１００は、コンピューティングデバイス１０６をさらに含む。画像センサ１０２は、コンピューティングデバイス１０６と（例えば、ワイヤードまたはワイヤレス接続を介して）通信状態にある。コンピューティングデバイス１０６および画像センサ１０２は、ほぼ同じ位置または異なる位置に位置し得る。例えば、コンピューティングデバイス１０６および画像センサ１０２の両方が、車両内に搭載されて位置し（located onboard）得る。別の例では、コンピューティングデバイス１０６は、車両内に搭載されて位置し得、一方、画像センサ１０２は、車両外に位置する。例えば、画像センサ１０２は、コンピューティングデバイス１０６を含む車両と通信状態にある異なる車両内に位置し得る。別の例示的な例では、画像センサ１０２は、コンピューティングデバイス１０６を含む車両と通信状態にある、固定サイト（例えば、気象観測所）において、またはモバイルなインフラストラクチャの断片（piece of infrastructure）（例えば、気象観測気球）において、位置し得る。さらに、画像センサ１０２は、車両内に搭載されて位置し得、一方、コンピューティングデバイス１０６は、車両と通信状態にある位置（例えば、コンピューティングセンター）において離れて位置する。先の例が、車両に対する画像センサ１０２とコンピューティングデバイス１０６の相対的な位置を例示する一方で、いくつかのインプリメンテーションでは、画像センサ１０２もコンピューティングデバイス１０６も車両内に位置しないことに留意されたい。例えば、画像センサ１０２およびコンピューティングデバイス１０６のうちの１つまたは両方が、ロボット、ウェアラブルコンピューティングデバイス、ゲーミングシステム上、またはモバイルデバイス（例えば、モバイルフォンまたはタブレットコンピュータ）上に位置し得る。
【００１５】
[0020]コンピューティングデバイス１０６は、環境シーン状態検出モジュール１０８を含み得る。環境シーン状態検出モジュール１０８および環境シーン状態検出モジュール１０８の構成要素は、ハードウェアまたはソフトウェアに対応し得る。例えば、環境シーン状態検出モジュール１０８は、コンピューティングデバイス１０６のプロセッサ（例えば、中央処理装置、画像信号プロセッサ、またはこれらの組合せ）において実行されるソフトウェア、コンピューティングデバイス１０６の画像信号プロセッサに統合されたハードウェア、またはこれらの組合せに対応し得る。
【００１６】
[0021]システム１００の動作が、図２を参照して説明される。図２は、方法２００を例示するフローチャートを示す。方法２００は、不鮮明な画像を検出するためのカスケード分類器（cascade classifier）の動作に対応し得る。方法２００は、ブロック２０２において、入力画像を受信することを含む。例えば、環境シーン状態検出モジュール１０８は、画像センサ１０２から画像を表す画像データ１０３を受信し得る。この画像は、シーン１２２を描写（depict）し得る。ある特定の環境シーン状態（例えば、天気、照明など）は、画像における特徴がより低い鮮明さで見えるようにし得る。例えば、車両は、霧の中を通って、または雨の中を通って移動し得る。加えて、それを通して画像センサ１０２が画像をキャプチャするウィンドウ（例えば、フロントガラス１２１）は、車両内の温度と車両外の温度との間の差により曇った状態であり得、さもなければ結露または霜により不鮮明であり得る。画像における特徴が認識しにくい（例えば、画像が「不鮮明」である）とき、画像は、環境シーン状態（例えば、雨、霧、曇ったフロントガラス、スモッグ、煙霧など）を示し得る。システム１００および方法２００が、車両支援アプリケーション（例えば、ＡＤＡＳ）と連携して使用される例では、不鮮明な画像は、車両の運転者が車両外のシーン１２２の特徴（例えば、道路標識、車線、歩行者、他の車両、木など）を見ることができない可能性があることのインジケータであり得る。環境シーン状態検出モジュール１０８は、画像センサ１０２からの不鮮明な画像を検出し得、車両の操作をより安全にするためのアクションを開始し得る。
【００１７】
[0022]方法２００は、ブロック２０４において、入力画像をオプションでサイズ変更することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、画像をサイズ変更するために、画像データ１０３を変換（transform）し得る。特定の例では、環境シーン状態検出モジュール１０８は、３２０×２４０の解像度に画像をサイズ変更し得る。画像をサイズ変更することは、環境シーン状態検出モジュール１０８が、（例えば、この画像よりも、サイズ変更された画像がより小さいので）より少ない計算リソースを使用して環境シーン状態検出を実行することを可能にし得る。特定の例では、環境シーン状態検出モジュール１０８は、画像をサイズ変更するために、ソフトウェアを実行するか、またはハードウェアモジュール（例えば、画像プロセッサのハードウェアモジュール）を利用し得る。
【００１８】
[0023]方法２００は、ブロック２０６において、画像から第１の特徴（例えば、カスケード分類器の第１ステージの分類器（a first stage classifier））を抽出することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、画像データ１０３から第１のデータ１０４を抽出し得る。第１のデータ１０４は、画像のチャネルにおける高いインテンシティ値（high intensity values）を記述するダークな特徴データに対応し得る。例えば、画像が赤、緑、青（ＲＧＢ）画像であるとき、ダークな特徴データは、画像におけるどの画素が、画像の赤チャネル、緑チャネル、および青チャネルの各々において高い値を含むかを記述し得る。システム１００および方法２００は、代替セットのチャネル（例えば、シアン、マゼンタ、黄、および黒（ＣＭＹＫ））を含むデジタル画像と互換性があることに留意されたい。第１のデータ１０４は、画像におけるコントラストを示し得る。例えば、ダークな特徴データは、高いインテンシティ値を有する画素（例えば、ダークな特徴）を識別し得る。ダークな特徴データは、識別された画素のインテンシティ値をさらに識別し得る。したがって、ダークな特徴データは、画像のダークな領域における画素間のインテンシティの差（例えば、コントラスト）を決定するために使用され得る。
【００１９】
[0024]方法２００は、ブロック２０８において、第１の特徴（例えば、ダークな特徴）に基づいて、第１のシーン鮮明さスコアを生成することをさらに含む。例示的な例では、第１のシーン鮮明さスコア１１１は、第１のシーン鮮明さモデル１１０を使用して生成される。例えば、第１のシーン鮮明さモデル１１０は、入力画像および／または入力ビデオ（例えば、サンプル画像および／またはサンプルビデオ）のセットに基づいて「トレーニングされた」教師あり機械学習モデルであり得、ここで、各画像は、「鮮明」または「不鮮明」であるとして、（例えば、第１のシーン鮮明さモデル１１０のベンダーによって）予めカテゴリ化される。いくつかの例では、第１のシーン鮮明さモデル１１０は、線形サポートベクターモデル（ＳＶＭ）である。「トレーニング」フェーズ中、各追加の入力画像が第１のシーン鮮明さモデル１１０に提供されるにつれて、第１のシーン鮮明さモデル１１０は、「鮮明」と「不鮮明」の間の機械学習された「境界」を調整する。この境界は、入力画像のダークな特徴に基づいて、入力画像を分け得る。いくつかの例では、第１のシーン鮮明さモデル１１０は、テストビデオシーケンスの１つまたは複数のフレームが不鮮明または鮮明であるとして予めカテゴリ化されている、テストビデオシーケンスに基づく。いったん第１のシーン鮮明さモデル１１０がトレーニングされると、画像についてのシーン鮮明さスコアは、画像（または画像データ）のダークな特徴が境界の「鮮明」側にあるか、または「不鮮明」側にあるか、および／または、ダークな特徴が境界からどれくらい離れているかに基づいて決定され得る。不鮮明であるとして分類されている画像は、この画像が環境シーン状態（例えば、雨、霧、曇ったフロントガラス、スモッグ、煙霧など）による影響を受けていることのインジケーションであり得る。したがって、第１のシーン鮮明さモデル１１０を第１のデータ１０４と比較することによって、環境シーン状態検出モジュール１０８は、画像が環境シーン状態によって影響を受けている確率を示す第１のシーン鮮明さスコア１１１を生成することが可能であり得る。
【００２０】
[0025]方法２００は、ブロック２１０において、第１のシーン鮮明さスコアを第１のしきい値と比較すること（例えば、カスケード分類器の第１ステージの分類器に基づいて、画像が鮮明であるかどうかを決定すること）をさらに含む。例えば、環境シーン状態検出モジュール１０８は、第１のシーン鮮明さスコア１１１を第１のしきい値１１２と比較し得る。第１のしきい値１１２は、第１のシーン鮮明さスコア１１１に基づいて画像が不鮮明であるしきい値確率に対応し得る。特定の例では、第１のしきい値１１２は５０％である（例えば、第１のシーン鮮明さスコア１１１が、第１のデータ１０４に基づいて、画像が鮮明であるよりも不鮮明である可能性が高いことを示すとき、第１のシーン鮮明さスコア１１１は、第１のしきい値１１２を満たす）。第１のシーン鮮明さスコア１１１を第１のしきい値１１２と比較することは、不鮮明な画像を検出するために、カスケード分類器の第１ステージ中に実行され得る。
【００２１】
[0026]第１のシーン鮮明さスコアが第１のしきい値を満たさないとき、方法２００は、ブロック２０２に進む。例えば、第１のシーン鮮明さスコア１１１が第１のしきい値１１２を満たさないとき、環境シーン状態検出モジュール１０８は、鮮明であるとして画像を分類し、分類すべき別の画像を受信するのを待ち得る。
【００２２】
[0027]方法２００は、ブロック２１２において、第１のシーン鮮明さスコアが第１のしきい値を満たすとき、画像から第２の特徴（例えば、カスケード分類器の第２ステージの分類器）を抽出することをさらに含む。例えば、第１のシーン鮮明さスコア１１１が第１のしきい値１１２を満たすとき、環境シーン状態検出モジュール１０８は、画像を表すデータから第２のデータ１０５を抽出し得る。特定の例では、第２のデータ１０５は、画像の勾配位相を記述するデータ（例えば、勾配特徴データ）に加えて、ダークな特徴データを含む。勾配位相は、画像における画素のインテンシティ値の方向の変化を記述し得る。第２のデータ１０５が画像全体にわたるインテンシティ値の変化についてのより多くの情報を含み得るので、第２のデータ１０５は、第１のデータ１０４よりも、画像におけるコントラストをより示し得る。しかしながら、第２のデータ１０５は、より多くの情報を含み得るので、第２のデータ１０５を決定すること／処理することは、より時間がかかり／計算処理上費用がかかり得る。
【００２３】
[0028]方法２００は、ブロック２１４において、第２のシーン鮮明さスコアを決定するために、第２の特徴を第２のシーン鮮明さモデルと比較することをさらに含む。例示的な例では、第２のシーン鮮明さスコア１１５は、第２のシーン鮮明さモデル１１４を使用して生成される。例えば、第２のシーン鮮明さモデル１１４は、入力画像および／またはビデオ（例えば、サンプル画像および／またはサンプルビデオ）のセットに基づいて「トレーニングされた」教師あり機械学習モデルであり得、ここで、各画像は、「不鮮明」または「鮮明」であるとして、（例えば、第２のシーン鮮明さモデル１１４のベンダーによって）予めカテゴリ化される。いくつかの例では、第２のシーン鮮明さモデル１１４は、線形サポートベクターモデル（ＳＶＭ）である。「トレーニング」フェーズ中、各追加の入力画像が第２のシーン鮮明さモデル１１４に提供されるにつれて、第２のシーン鮮明さモデル１１４は、「不鮮明」と「鮮明」の間の機械学習された「境界」を調整する。この境界は、入力画像のダークな特徴と勾配位相の組合せに基づいて、入力画像を分け得る（一方で、第１のシーン鮮明さモデル１１２における境界は、ダークな特徴のみに基づいて入力画像を分け得る）。例えば、各入力画像は、空間におけるデータ点であると考えられ得る（空間は、３つより多くの次元を含み得る）。各点は、ダークな特徴と勾配位相に対応する座標によって定義され得、境界は、空間における入力画像を不鮮明な画像と鮮明な画像に分割する超平面に対応し得る。いくつかの例では、第２のシーン鮮明さモデル１１４は、テストビデオシーケンスの１つまたは複数のフレームが不鮮明または鮮明であるとして予めカテゴリ化されている、テストビデオシーケンスに基づく。いったん第２のシーン鮮明さモデル１１４がトレーニングされると、シーン鮮明さスコアは、画像（または画像データ）のダークな特徴と勾配位相の組合せ（例えば、空間における画像の座標）が境界（例えば、超平面）の「不鮮明」側にあるか、または「鮮明」側にあるか、および／または、ダークな特徴と勾配位相の組合せが境界からどれくらい離れているかに基づいて決定され得る。環境シーン状態検出モジュール１０８したがって、第２のシーン鮮明さモデル１１４を第２のデータ１０５と比較することによって、は、画像が不鮮明である（例えば、環境シーン状態による影響を受けている）確率を示す第２のシーン鮮明さスコア１１５を生成し得る。
【００２４】
[0029]方法２００は、ブロック２１６において、第２のシーン鮮明さスコアを第２のしきい値と比較すること（例えば、第２ステージの分類器に基づいて、画像が不鮮明であるかどうかを決定すること）をさらに含む。例えば、環境シーン状態検出モジュール１０８は、第２のシーン鮮明さスコア１１５を第２のしきい値１１６と比較し得る。第２のしきい値１１６は、第２のシーン鮮明さスコア１１５に基づいて画像が不鮮明であるしきい値確率に対応し得る。特定の例では、第２のしきい値１１６は５０％である（例えば、第２のシーン鮮明さスコア１１５が、第２のデータ１０５に基づいて、画像が鮮明であるよりも不鮮明である可能性が高いことを示すとき、第２のシーン鮮明さスコア１１４は、第２のしきい値１１６を満たす）。代替として、第２のしきい値１１６は、第１のしきい値１１２とは異なり得る。例えば、第１のしきい値１１２は、第１のしきい値１１２に基づいて、より少ない画像が不鮮明であるとの考慮から除外されるように、第２のしきい値１１６よりも緩やか（less strict）になり得る。第２のシーン鮮明さモデル１１４を第２のデータ１０５と比較することは、第１のシーン鮮明さモデル１１０を第１のデータ１０４と比較するよりも、より計算処理上複雑であり得、より多くの時間がかかり得る。したがって、カスケード分類器を使用すること（例えば、第１の分類器に基づいて、画像が不鮮明であるかどうかを決定することと、その後、画像が第１の分類器に基づいて不鮮明であるとして分類されたとき、第２の分類器に従って、画像が不鮮明であるかどうかを決定することと）によって、環境シーン状態検出モジュール１０８は、相対的に複雑さがより低い特徴に基づいて、いくつかの画像が鮮明であると決定することによって、時間および／またはコンピューティングサイクルを節約し得る。方法２００は、ますます正確（および複雑）な分類器を使用することによって、画像が不鮮明であることを確定することによって、正確さを維持し得る。図２に示される方法２００のフローチャートが２つのステージを含む一方で、２つより多くのカスケード分類器のステージが代替の実施形態において含まれ得ることに留意されたい。例えば、第３ステージの分類器は、ダークな特徴データ、勾配位相データ、および光特徴（light feature）を含み得る。
【００２５】
[0030]方法２００は、ブロック２１８において、第２のシーン鮮明さスコアが第２のしきい値を満たすとき、アクションを開始することをさらに含む。例えば、第２のシーン鮮明さスコア１１５が第２のしきい値１１６を満たすとき、環境シーン状態検出モジュール１０８は、不鮮明であるとして画像を分類し得、図３を参照して車両に関連するアクションを開始するように構成されるシステム１００のコンテキストにおいてさらに詳細に説明されるように、１つまたは複数のアクション（例えば、１つまたは複数のモジュールにおいて１つまたは複数のアクションを開始するように構成された出力１１８を送信すること）を開始し得る。他のコンテキストでは、これらアクションは、ロボット（例えば、ＵＡＶ）による使用、モバイルデバイス（例えば、モバイルフォンまたはタブレットコンピュータ）、ウェアラブルデバイス（例えば、パーソナルマウントカメラ）、ヘッドマウントディスプレイ、ゲーミングシステムなどによる使用のために画像を鮮明にするための画像処理を実行することを含み得る。これらアクションはまた、ロボット（例えば、ＵＡＶ）、モバイルデバイス（例えば、モバイルフォンまたはタブレットコンピュータ）、ウェアラブルデバイス（例えば、パーソナルマウントカメラ）、ヘッドマウントディスプレイなどについての、１つまたは複数のシステムを起動することまたは調整することを含み得る。例えば、不鮮明な画像を検出することに応答して、システム１００は、ＵＡＶに、ＵＡＶが飛行している高度を増大または低減させ得る。代替として、システム１００は、ＵＡＶに、その後別のデバイスに転送されるおよび／またはＵＡＶの動きを制御するために使用されることができる鮮明化された画像データを作成するために、画像データを処理させ得る。画像センサ１０２およびコンピューティングデバイス１０６のいずれも、開始されたアクションを実行するデバイス中に含まれない可能性があることに留意されたい。例えば、モバイルデバイスは、画像センサ１０２およびコンピューティングデバイス１０６を含み得る。不鮮明な画像を検出することに応答して、モバイルデバイス（例えば、モバイルフォン）は、別のデバイス（例えば、ロボット）にメッセージを送ることによってアクションを開始し得る。方法２００は、１つまたは複数のアクションを開始した後、２０２に戻り得る。例えば、アクションを開始した後、環境シーン状態検出モジュール１０８は、別の入力画像を受信するのを待ち得る。
【００２６】
[0031]方法２００は、第２のシーン鮮明さスコアが第２のしきい値を満たさないとき、ブロック２０２に戻る。例えば、第２のシーン鮮明さスコア１１５が第２のしきい値１１６を満たさないとき、環境シーン状態検出モジュール１０８は、鮮明であるとして画像を分類し、別の入力画像を待ち得る。
【００２７】
[0032]不鮮明な画像を検出するためにカスケード分類器を使用することは、相対的に複雑さがより低い比較を使用して、鮮明であるとしていくつかの画像を迅速に識別することによって、不鮮明な画像を検出するために使用される時間／コンピュテーションサイクルを低減させ得る。加えて、サイズ変更された画像を使用することは、計算の複雑さを低減させ得る。したがって、環境シーン状態検出モジュール１０８は、正確さを維持しながらより効率的なシーン検出を可能にし得る。
【００２８】
[0033]図３を参照すると、追加の構成要素を含む、システム１００の別のブロック図が示される。システム１００は、画像センサ１０２およびコンピューティングデバイス１０６を含む。図３に示されるシステム１００は、車両に組み込まれるかまたは部分的に組み込まれ得る。例えば、画像センサ１０２およびコンピューティングデバイス１０６のうちの１つまたは両方が、車両に組み込まれるか、または車両内に位置し得る。図３は、コンピューティングデバイス１０６のさらなる詳細を示す。例えば、コンピューティングデバイス１０６は、ビデオフロントエンドモジュール３０２、統計モジュール３０３、画像信号プロセッサ（ＩＳＰ）３０５、およびオブジェクト検出モジュール３０８を含む。モジュール３０２、３０３、１０８、３０８は、コンピューティングデバイス１０６において実行されるソフトウェアに対応し得る。代替として、モジュール３０２、３０３、１０８、３０８の一部または全ては、ＩＳＰ ３０５（図示せず）に組み込まれたハードウェアであり得、またはＩＳＰ ３０５（図示せず）において実行されるソフトウェアであり得る。ＩＳＰ ３０５は、ローカルトーンマッピング（ＬＴＭ）モジュール３０６を含む。ＬＴＭモジュール３０６は、ハードウェアモジュールまたはソフトウェアモジュールであり得る。
【００２９】
[0034]システム１００は、ヒューマンマシンインタフェース（ＨＭＩ）３１０をさらに含む。ＨＭＩ ３１０は、ヘッドアップディスプレイ（ＨＵＤ：heads up display）のようなディスプレイデバイス、スピーカ、またはこれらの組合せに対応し得る。ＨＭＩ ３１０は、入力デバイス（例えば、タッチスクリーン、キーボード、コントロールパネル）をさらに含み得る。ＨＭＩ ３１０は、車両にインストールされ得る。例えば、ＨＭＩ ３１０は、車両のダッシュボードに搭載されるか、または車両のフロントガラスに取り付けられ得る。他の例では、ＨＭＩ ３１０は、電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス（例えば、データグラス）などのような、モバイルデバイスに対応し得る。モバイルデバイスは、車両の運転者によって持ち運ばれ、または見られ得る。
【００３０】
[0035]ビデオフロントエンドモジュール３０２、環境シーン状態検出モジュール１０８、ＩＳＰ ３０５、オブジェクト検出モジュール３０８、およびＨＭＩ ３１０は、先進運転支援システム（ＡＤＡＳ）の複数の部分であり得る。
【００３１】
[0036]システム１００は、１つまたは複数のセンサ３１４をさらに含む。１つまたは複数のセンサ３１４は、（例えば、車両内、車両外、または両方の）１つまたは複数の温度計、ナビゲーションシステム（例えば、衛星ナビゲーションシステム）、光検出および測距（ＬＩＤＡＲ：light detection and ranging）デバイス、慣性センサ、マップデータベース、またはこれらの組合せを含み得る。
【００３２】
[0037]システム１００は、本体制御ユニット３１６をさらに含む。本体制御ユニット３１６は、車両における様々なシステムを制御し得る。例えば、本体制御ユニット３１６は、ヘッドライト、ハイビームライト、フォグランプ、空調システム、ヒーター、除霜システム、ワイパー、またはこれらの組合せを制御し得る。本体制御ユニット３１６はまた、ワイドエリアネットワーク接続、パーソナルエリアネットワーク接続、ローカルエリアネットワーク接続、またはこれらの組合せのための、１つまたは複数のインタフェースを含み得る。例えば、本体制御ユニット３１６は、米国電気電子学会（ＩＥＥＥ）８０２．１１インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）（Ｂｌｕｅｔｏｏｔｈは、ワシントン州カークランドのＢｌｕｅｔｏｏｔｈ ＳＩＧ，Ｉｎｃ．の登録商標である）インタフェース、ロングタームエボリューション（ＬＴＥ（登録商標））インタフェース、その他任意の通信インタフェース、またはこれらの組合せを含み得る。１つまたは複数のインタフェースは、車両ツー車両通信、車両ツーインフラストラクチャ通信、車両内通信、またはこれらの組合せのために使用され得る。いくつかの例では、システム１００は、車両の他のシステムのためのアクチュエータ（図示せず）をさらに含む。例えば、システム１００は、ギヤアクチュエータ、スロットルアクチュエータ、ブレーキアクチュエータ、ステアリングアクチュエータ、またはこれらの組合せを含み得る。
【００３３】
[0038]上記で説明されたように、画像センサ１０２は、車両から見えるシーン（例えば、シーン１２２）の画像をキャプチャし得る。画像を表す画像データ１０３は、コンピューティングデバイス１０６に送られ得る。ビデオフロントエンドモジュール３０２は、環境シーン状態検出モジュール１０８に画像データ１０３を送る前に、画像データ１０３に対して様々な動作を実行し得る。例えば、いくつかの例では、ビデオフロントエンドモジュール３０２は、図２のブロック２０４を参照して説明されたように、画像をサイズ変更するために、画像データ１０３を変換し得る。ビデオフロントエンドモジュール３０２はさらに、統計モジュール３０３に画像データ１０３を送り得る。統計モジュール３０３は、画像データ１０３に基づいて、様々な統計（statisitics）を識別するように構成され得る。例えば、統計モジュール３０３は、画像データ１０３によって表される画像が屋内環境を描写することを識別し得る。様々な統計に基づいて、統計モジュール３０３は、環境シーン状態検出モジュール１０８をイネーブルまたはディセーブル（enable or disable）にするように構成されたオン／オフ信号３０４を生成し得る。例えば、車両が屋内にあるとき、統計モジュール３０３は、環境シーン状態検出モジュール１０８をディセーブルにし得る。
【００３４】
[0039]環境シーン状態検出モジュール１０８がイネーブルにされると、環境シーン状態検出モジュール１０８は、画像データ１０３によって表される画像が不鮮明であるかどうかを決定するために、図１−図２を参照して上記で説明されたように動作する。環境シーン状態検出モジュール１０８が、不鮮明であるとして画像を識別すると、環境シーン状態検出モジュール１０８は、ＨＭＩ信号３３０、ＩＳＰデータ３３２、およびＢＣＵ信号３３４のうちの１つまたは複数を生成することによって、１つまたは複数のアクションを開始し得る。ＨＭＩ信号３３０、ＩＳＰデータ３３２、およびＢＣＵ信号３３４の各々は、図１に示される出力１１８に対応し得る。特定の例では、環境シーン状態検出モジュール１０８は、１つまたは複数のセンサ３１４から受信されるセンサデータ３１５に基づいて、どのアクションまたは複数のアクションを開始するかを決定する。
【００３５】
[0040]例えば、不鮮明な画像を検出することに応答して、環境シーン状態検出モジュール１０８は、ＢＣＵ ３１６による１つまたは複数のアクションを開始するために、ＢＣＵ信号３３４を送り得る。ＢＣＵ ３１６は、ＢＣＵ信号３３４に応答して、車両の電気システムを（例えば、信号３１７を送ることによって）起動するように構成され得る。例えば、環境シーン状態検出モジュール１０８は、ＢＣＵ ３１６に、フォグランプを起動すること、ハイビームライトをオフにすること、ワイパーを起動すること、またはこれらの組合せを行わせ得る。
【００３６】
[0041]いくつかのインプリメンテーションでは、環境シーン状態検出モジュール１０８は、画像センサ１０２が面しているウィンドウ（例えば、フロントガラス)が曇っているかどうか、または画像センサのレンズが濡れているまたは曇っているかどうかを決定し得る。例えば、画像センサ１０２は、車両の客室のような、キャビン内に位置し得、車両のウィンドウを通してシーンをキャプチャするように配置され得る。環境シーン状態検出モジュール１０８は、車両内の第１の温度および車両外の第２の温度などの、複数の温度に関連付けられたおよび／または対応するセンサデータ３１５を受信し得る。環境シーン状態検出モジュール１０８は、第１の温度と第２の温度の間の温度差を決定するように構成され得る。温度差が、（車両内の）第１の温度との間の差が（車両外の）温度を超えることを示すとき、環境シーン状態検出モジュール１０８は、１つには画像センサ１０２が面しているウィンドウが曇っているという理由で、画像センサ１０２によってキャプチャされた画像が不鮮明であることを決定し得る。ウィンドウが曇っているという決定に応答して、環境シーン状態検出モジュール１０８は、例示的な、非限定的な例として、暖房、換気、または空調（ＨＶＡＣ）システムおよび／またはワイパーを起動するなどの、アクションを開始し得る。
【００３７】
[0042]いくつかのインプリメンテーションでは、システム１００は、複数の画像センサを含み得、環境シーン状態検出モジュール１０８は、車両のウィンドウ（例えば、フロントガラス）が損なわれている（例えば、濡れている、曇っている、霜で覆われている、汚れている、または鮮明さを妨げるようにその他の方法で汚染されている）かどうか、または特定の画像センサのレンズが損なわれているかどうかを決定し得る。複数の画像センサは、第１の画像（例えば、画像データ１０３）を生成する画像センサ１０２と、第２の画像（例えば、第２の画像データ）を生成する第２の画像センサ（図示せず）とを含み得る。画像センサ１０２は、車両のキャビン内に位置し得、ウィンドウを通してシーンをキャプチャするように配置され得る。第２の画像センサは、車両に搭載されてか、または車両から遠く離れて位置してのいずれかで、車両外に位置し得る。環境シーン状態検出モジュール１０８は、第１の画像および第２の画像を受信し得、図２を参照して説明されたように、これら画像の各々を処理し得る。
【００３８】
[0043]第２の画像センサが車両外に（例えば、搭載されてかまたは遠く離れて）位置するとき、環境シーン状態検出モジュール１０８は、第１の画像が第２の画像よりも鮮明であるかどうかを決定し得る。環境シーン状態検出モジュール１０８は、第１の画像が鮮明であると決定され、かつ第２の画像が不鮮明であると決定されたとき、第１の画像が第２の画像よりも鮮明であると決定し得る。環境シーン状態検出モジュール１０８は、第２の画像が鮮明であると決定され、かつ第１の画像が不鮮明であると決定されたとき、第１の画像が第２の画像よりも低い鮮明さであると決定し得る。第１の画像および第２の画像が、両方とも鮮明であると決定された、または両方とも不鮮明であると決定されたとき、環境シーン状態検出モジュール１０８は、第１の画像のシーン鮮明さスコアを第２の画像のシーン鮮明さスコアと比較し得る。例えば、環境シーン状態検出モジュール１０８は、第１の画像（例えば、画像データ１０３）の第１のシーン鮮明さスコア１１１を、第２の画像の第１のシーン鮮明さスコアまたは第２のシーン鮮明さスコアと比較し得る。代替または追加として、環境シーン状態検出モジュール１０８は、第１の画像（例えば、画像データ１０３）の第２のシーン鮮明さスコア１１５を、第２の画像の第１のシーン鮮明さスコアまたは第２のシーン鮮明さスコアと比較し得る。
【００３９】
[0044]（車両内の画像センサ１０２からの）第１の画像が、（車両外に搭載された、または車両外に遠く離れて位置する第２の画像センサからの）第２の画像よりも鮮明であるという決定に応答して、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０に、第２の画像センサのレンズが損なわれている（例えば、汚れているまたは濡れている）ことを示させるためのＨＭＩ信号３３０を生成する、および／または、暖房、換気、および空調（ＨＶＡＣ）システムおよび／またはワイパーを起動するなどの、第１のセットの１つまたは複数のアクションを開始し得る。第１の画像が第２の画像よりも低い鮮明さであるという決定に応答して、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０に、第１の画像センサのレンズが損なわれている（例えば、汚れているまたは濡れている）ことを示させるためのＨＭＩ信号３３０を生成するなどの、第２のセットの１つまたは複数のアクションを開始し得る。したがって、２つの異なる画像センサから受信される画像を比較することによって、環境シーン状態検出モジュール１０８は、画像センサに関する潜在的な問題（例えば、汚れているおよび／または濡れているレンズ）、または環境（例えば、車両のウィンドウ）に関する潜在的な問題を識別し得る。
【００４０】
[0045]いくつかのインプリメンテーションでは、システム１００は、画像センサ１０２、第２の画像センサ（図示せず）、および第３の画像センサ（図示せず）を含み得る。画像センサ１０２は、車両のキャビン内に位置し得、第２の画像センサは、車両外に搭載されて位置し得、第３の画像センサは、車両外に遠く離れて位置し得る。これら画像センサの各々は、第１の画像センサ１０２によって生成される第１の画像（例えば、画像データ１０３）、第２の画像センサによって生成される第２の画像（例えば、第２の画像データ）、および第３の画像センサによって生成される第３の画像（例えば、第３の画像データ）などの、対応する画像を生成し得る。環境シーン状態検出モジュール１０８は、第１、第２、および第３の画像の各々を受信し得、図１−図２を参照して説明されたように、これら画像の各々を処理し得る。代替または追加として、環境シーン状態検出モジュール１０８は、第３の画像センサから環境状態が鮮明または不鮮明であることのインジケーションを受信し得、および／または第３の画像センサに基づいて決定されるシーン鮮明さスコアを受信し得る。環境シーン状態検出モジュール１０８は、第３の画像が第１の画像および／または第２の画像よりも鮮明であるかどうかを決定するために、第３の画像を第１の画像および／または第２の画像と比較し得る。
【００４１】
[0046]（第３の画像センサからの）第３の画像が（画像センサ１０２からの）第１の画像よりも鮮明であるという決定に応答して、環境シーン状態検出モジュール１０８は、第１の画像センサのレンズが損なわれているおよび／または車両のウィンドウが損なわれていることを決定し得る。（第３の画像センサからの）第３の画像が（第２の画像センサからの）第２の画像よりも鮮明であるという決定に応答して、環境シーン状態検出モジュール１０８は、第２の画像センサのレンズが損なわれているおよび／または車両のウィンドウが損なわれていることを決定し得る。第３の画像が第１の画像および／または第２の画像よりも鮮明であるという決定に応答して、環境シーン状態検出モジュール１０８は、例示的な、非限定的な例として、ＨＭＩ信号３３０を生成するおよび／またはＢＣＵ信号３３４を生成するなどの、１つまたは複数のアクションを開始し得る。
【００４２】
[0047]システム１００は、１つまたは複数の画像センサを含み得る。例えば、１つまたは複数の画像センサは、車両のキャビン内に位置する画像センサ１０２および／または車両外に搭載されて位置する第２の画像センサを含み得る。環境シーン状態検出モジュール１０８は、鮮明または不鮮明であるなどの環境状態情報を示す、外部ソース（例えば、気象サービスとアソシエートされた（associated）コンピューティングデバイス）からのデータを（例えば、ＢＣＵ ３１６の通信インタフェースを介して）受信し得る。環境シーン状態検出モジュール１０８は、環境状態を示すデータを、１つまたは複数の画像センサからの１つまたは複数の画像（例えば、画像データ）に基づく他のデータと比較し得る。例えば、環境シーン状態検出モジュール１０８は、（車両内に位置する）画像センサ１０２から第１の画像（例えば、画像データ１０３）を受信し得、第１の画像を使用して第１の環境状態を決定し得る。
【００４３】
[0048]環境シーン状態検出モジュール１０８は、環境状態情報を第１の環境状態と比較し得る。環境シーン状態検出モジュール１０８が、第１の環境状態が不鮮明であることを決定し、一方、外部ソースからの環境状態情報が、環境状態が鮮明であることを示すとき、環境シーン状態検出モジュール１０８は、ウィンドウが損なわれていることおよび／または画像センサ１０２のレンズが損なわれていることを決定し得る。別の例として、環境シーン状態検出モジュール１０８は、環境状態情報を、第２の画像を使用して決定される第２の環境状態と比較し得る。環境シーン状態検出モジュール１０８が、第２の環境状態が不鮮明であることを決定し、一方、外部ソースからの環境状態情報が、環境状態が鮮明であることを示すとき、環境シーン状態検出モジュール１０８は、第２の画像センサのレンズが損なわれている（例えば、汚れている、濡れている、または曇っている）ことを決定し得る。
【００４４】
[0049]環境シーン状態検出モジュール１０８が、ウィンドウが曇っている（またはその他の方法で損なわれている）ことおよび／または画像センサ１０２のレンズが汚れている（またはその他の方法で損なわれている）ことを決定したとき、ＢＣＵ信号３３４は、ＢＣＵ ３１６に、暖房、換気、および空調（ＨＶＡＣ）システムおよび／またはワイパーを起動させるように構成された起動信号またはメッセージを含み得る。追加または代替として、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０に、決定された状態（例えば、ウィンドウが曇っているまたは画像センサ１０２が汚れている）に対応するメッセージを提示させるためのＨＭＩ信号を生成し得る。
【００４５】
[0050]いくつかのインプリメンテーションでは、画像データ１０３が不鮮明であると決定することに応答して、環境シーン状態検出モジュール１０８は、ＢＣＵ ３１６に、通信インタフェースを介してメッセージを送信させるためのＢＣＵ信号３３４を生成するように構成され得る。例えば、ＢＣＵ ３１６は、別の車両にメッセージを送信し得る。このメッセージは、（例えば、画像鮮明化を起動する、システムを起動する、警告を提示する、またはこれらの組合せのような）アクションを実行するように他の車両に命令し得る。したがって、システム１００は、他のコンピューティングデバイスのような他のデバイスと、不鮮明であり、潜在的に危険を伴う状態についての情報を共有し得る。
【００４６】
[0051]追加または代替として、環境シーン状態検出モジュール１０８が、画像データ１０３によって表される画像が不鮮明であることを検出したとき、環境シーン状態検出モジュール１０８は、ＩＳＰ ３０５にＩＳＰデータ３３２を送り得る。ＩＳＰデータ３３２は、画像データ１０３または処理されたバージョン（例えば、サイズ変更された）の画像データ１０３を搬送（carry）し得る。いくつかの例では、ＩＳＰデータ３３２は、画像データ１０３によって表される画像がキャプチャされた後に、画像センサ１０２によってキャプチャされた第２の画像を表す第２の画像データ３６０を含み得る。いくつかの例では、ＩＳＰ ３０５は、ビデオフロントエンドモジュール３０２から直接画像データ（例えば、画像データ１０３および／または第２の画像データ３６０）を受信する。このような例では、ＩＳＰデータ３３２は、ＩＳＰ ３０５による鮮明化を可能にし得る。いくつかの例では、ＩＳＰデータ３３２は、図１および図２を参照して上記で説明されたように計算された第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５を含む。ＩＳＰデータ３３２に応答して、ＩＳＰ ３０５は、鮮明化された画像を表す「鮮明化された（clarified）」画像データ３０７を生成する。例えば、ＬＴＭモジュール３０６は、画像（または第２の画像）の高いインテンシティの領域におけるローカルコントラストをブーストし得る（例えば、隣接する画素間の差を増大させるために画素のインテンシティ値を調整し、潜在的により鮮明に画像にけるオブジェクトをレンダリングする）。ＩＳＰデータ３３２が第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５を含むとき、ＬＴＭモジュール３０６は、第１のシーン鮮明さスコア１１１および第２のシーン鮮明さスコア１１５のうちの１つまたは両方に基づいて、鮮明化された画像データ３０７を生成し得る。例えば、画像における各画素に対する調整の度合いは、第１のシーン鮮明さスコア１１１および第２のシーン鮮明さスコア１１５のうちの１つまたは両方に基づき得る。例えば、第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５が低いときと比較して、第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５が高いとき、より大きな調整が画素のインテンシティに対して適用され得る（例えば、調整の度合いは、第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５と正の相関があり得る）。ＬＴＭモジュール３０６のような、ハードウェアモジュールを使用することによって、システム１００は、代替システムよりも迅速に、鮮明化された画像データ３０７を生成し得る。鮮明化された画像データ３０７を迅速に生成することは、（例えば、車両が高速で環境を通って移動するにつれて）周囲の状況が迅速に変化する状況において有益であり得る。
【００４７】
[0052]ＩＳＰ ３０５は、オブジェクト検出モジュール３０８に、鮮明化された画像データ３０７を送り得る。オブジェクト検出モジュール３０８は、鮮明化された画像におけるオブジェクトを識別し、ＨＭＩ ３１０を介して車両の運転者に、検出されたオブジェクト出力３０９（例えば、衝突警報、速度制限通知、車線支援など）を提供し得る。オブジェクト出力３０９は、鮮明化された画像において検出されたオブジェクトの視覚表示を含み得る。例えば、ＨＭＩ ３１０は、鮮明化された画像を出力し得、鮮明化された画像上にオーバレイを出力し得る。オーバレイは、鮮明化された画像における検出されたオブジェクト（例えば、車線、標識、他の車両、歩行者、動物など）の表示（例えば、外形線（outline）、ハイライトなど）を含み得る。オブジェクト出力３０９は、（例えば、ディスプレイスクリーン、スピーカなどを介して）ＨＭＩ ３１０によって出力される警告を含み得る。警告は、音声警告、テキスト警告、視覚的な警告（例えば、ビデオまたは画像）、またはこれらの組合せを含み得る。例えば、警告は、「前方に木があります」といったアナウンスを含む音声メッセージ、または「前方に歩行者がいます」といったテキストメッセージに対応し得る。いくつかの例では、オブジェクト検出モジュール３０８は、鮮明化された画像において検出されたオブジェクトに基づいて車両のアクチュエータ（例えば、ステアリング、スロットル、ブレーキ、ギヤシフトなど）を起動するためのメッセージを送り得る。例えば、オブジェクト検出モジュール３０８は、車両の前方にあるオブジェクトが、鮮明化された画像において検出されたとき、車両のブレーキを起動するためのメッセージを送り得る。
【００４８】
[0053]更なる例として、環境シーン状態検出モジュール１０８が、画像データ１０３によって表される画像が不鮮明であることを検出したとき、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０にＨＭＩ信号３３０を送り得る。ＨＭＩ信号 ３３０は、ＨＭＩ ３１０に、（例えば、ディスプレイスクリーン、スピーカなどを介して）警告を提示させ得る。警告は、音声警告、テキスト警告、視覚的な警告（例えば、ビデオまたは画像）、またはこれらの組合せであり得る。警告は、状態が不鮮明であり、車両の運転者が車両外のオブジェクトを検出することが困難であり得ることを示し得る。
【００４９】
[0054]環境シーン状態検出モジュール１０８は、画像が鮮明であると決定することに応答して、１つまたは複数の出力を生成し得ることに留意されたい。例えば、環境シーン状態検出モジュール１０８は、ＢＣＵ ３１６に、車両の電子機器を停止させる（例えば、フォグランプ、除霜システムなどをオフにする）ために、ＢＣＵ ３１６にＢＣＵ信号３３４を送り得る。環境シーン状態検出モジュール１０８は、ＩＳＰ ３０５の鮮明化機能をオフにするために、ＩＳＰ ３０５にＩＳＰデータ３３２を送り得る。さらに、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０に、（例えば、ディスプレイを介してまたはスピーカを介して）「鮮明な状態」ステータスを出力させるために、ＨＭＩ ３１０にＨＭＩ信号３３０を送り得る。
【００５０】
[0055]上記で説明されたように、画像センサおよびコンピューティングデバイス１０６のうちの１つまたは両方が、車両外に位置し得る。例えば、コンピューティングデバイスは、ＢＣＵ ３１６のインタフェースとの確立された接続を通じて車両と通信する計算センターに位置するサーバであり得る。サーバは、この接続を介して車両に、ＨＭＩ信号３３０、ＢＣＵ信号３３４、オブジェクト出力３０９、またはこれらの組合せを送り得る。したがって、環境シーン検出および鮮明化は、車両外で実行され得る。さらに、環境シーン検出および鮮明化は、車両外でキャプチャされる画像データに基づいて実行され得る。例えば、画像センサ１０２は、気象観測所、気象観測気球、別の車両、または何らかの他の位置において位置し得る。
【００５１】
[0056]したがって、システム１００は、車両の操作に影響を及ぼし得る不鮮明な状態の検出を可能にし得る。加えて、システム１００は、車両を操作することの潜在的な危険を軽減し得るアクションの自動開始を可能にし得る。
【００５２】
[0057]図４を参照すると、鮮明化された画像データ３０７を生成するために、ＬＴＭモジュール３０６によって使用され得るＬＴＭ関数（LTM functions）に対応する様々なグラフを例示する図４００が示される。デジタル画像（例えば、画像データ１０３によって表される画像または第２の画像データ３６０によって表される第２の画像）は、画素から成り得る。各画素は、１つまたは複数のチャネル（例えば、赤、緑、青）におけるインテンシティ値を有し得る。インテンシティ値は、０〜２５５の範囲であり得る。画像における各画素について、ＬＴＭモジュール３０６は、隣接する画素のインテンシティに基づいて、１つまたは複数のチャネルにおける画素のインテンシティを調整し得る。ＬＴＭマスタ曲線４０２は、（Ｘ軸に沿った）隣接する画素の異なる平均インテンシティについて（Ｙ軸に沿った）画素のインテンシティに適用される調整を示す。例示されるように、ＬＴＭモジュール３０６は、低いインテンシティの領域における画素のインテンシティを増大させ得、また、高いインテンシティの領域における画素のインテンシティを低減させ得る。
【００５３】
[0058]ＬＴＭシフト曲線４０４は、どのように画素のインテンシティが（Ｙ軸に沿って）調整されるかを、インテンシティと隣接する画素の平均インテンシティの間の（Ｙ軸に沿った）差に基づいて示す。ＬＴＭマスタ曲線４０２およびＬＴＭシフト曲線４０４の両方が、第１のシーン鮮明さスコア１１１および第２のシーン鮮明さスコア１１５のうちの１つまたは両方に基づき得る。例えば、画素のインテンシティに対する調整は、シーン鮮明さスコア（第１のシーン鮮明さスコア１１１および第２のシーン鮮明さスコア１１５のうちの１つまたは両方）が増大するにつれて、増大し得る。
【００５４】
[0059]図５を参照すると、不鮮明な画像を識別するための方法５００を例示するフローチャートが示される。方法５００は、ブロック５０２において、画像センサによってキャプチャされた画像を表すデータを受信することを含み、この画像はシーンを描写する。例えば、コンピューティングデバイス１０６は、画像データ１０３を受信し得る。画像データ１０３は、画像センサ１０２によってキャプチャされたシーン１２２の画像を表し得る。いくつかの例では、シーン１２２は、車両から見えるシーンを表し得る。
【００５５】
[0060]方法５００は、ブロック５０４において、データから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定することをさらに含み、第１のシーン鮮明さスコアは、画像におけるコントラストを示す。例えば、環境シーン状態検出モジュール１０８は、画像データ１０３から抽出された第１のデータ１０４に基づいて、第１のシーン鮮明さスコア１１１を決定し得る。
【００５６】
[0061]方法５００は、ブロック５０６において、第１のシーン鮮明さスコアをしきい値と比較することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、第１のシーン鮮明さスコア１１１を第１のしきい値１１２と比較し得る。第１のシーン鮮明さスコアがしきい値を満たさない場合、方法５００は、ブロック５０８において、画像が鮮明であること（例えば、いずれの環境シーン状態も検出されないこと）を決定することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、第１のシーン鮮明さスコア１１１が第１のしきい値１１２を満たさないことに応答して、画像データ１０３によって表される画像が鮮明であることを決定し得る。
【００５７】
[0062]第１のシーン鮮明さスコアがしきい値を満たす場合、方法５００は、ブロック５１０において、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することを含み、第２のシーン鮮明さスコアは、画像におけるコントラストを示す。例えば、第１のシーン鮮明さスコア１１１が第１のしきい値１１２を満たす場合、環境シーン状態検出モジュール１０８は、第２のデータ１０５に基づいて、第２のシーン鮮明さスコア１１５を決定し得る。
【００５８】
[0063]方法５００は、５１２において、第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、出力１１８を介してアクションを開始するかどうかを決定するために、第２のシーン鮮明さスコア１１５を第２のしきい値１１６と比較し得る。
【００５９】
[0064]したがって、方法５００は、画像が不鮮明であるかどうか、およびアクションが開始されるべきであるかどうかを決定するために、２段階の比較（two stage comparison）を使用し得る。
【００６０】
[0065]図６を参照すると、デバイス６００（例えば、電子デバイス）の特定の例示的な実施形態のブロック図が図示される。デバイス６００は、コンピューティングデバイス１０６に対応し得る。デバイス６００は、メモリ６３２に結合されたプロセッサ６１０を含む。プロセッサ６１０は、環境シーン状態検出モジュール１０８のような、環境シーン状態検出モジュール６６４を実行し得る。
【００６１】
[0066]メモリ６３２は、コンピュータ可読命令またはプロセッサ可読命令のような、命令およびデータを含み得る。データおよび命令は、環境シーン状態検出モジュール６６４を実行することに関連付けられ得る。
【００６２】
[0067]図６はまた、プロセッサ６１０とディスプレイ６２８とに結合されたディスプレイコントローラ６２６を示す。コーダ／デコーダ（ＣＯＤＥＣ）６３４もまた、プロセッサ６１０に結合されることができる。スピーカ６３６およびマイクロホン６３８は、ＣＯＤＥＣ ６３４に結合されることができる。スピーカ６３６、マイクロホン６３８、ディスプレイ６２８、またはこれらの組合せは、ＨＭＩ ３１０に対応し得る。
【００６３】
[0068]図６はまた、カメラ６３１を含む。カメラ６３１は、画像センサ１０２に対応し得る。カメラ６３１は、デバイス６００に物理的に結合され得るか、またはデバイス６００とワイヤレスに通信し得る。
【００６４】
[0069]図６はまた、メモリとプロセッサ６１０とに結合された画像信号プロセッサ６１１を含む。画像信号プロセッサ６１１は、ＩＳＰ ３０５に対応し得る。画像信号プロセッサ６１１は、ＬＴＭモジュール６１２を含む。ＬＴＭモジュール６１２は、ハードウェアモジュールまたはソフトウェアモジュールであり得、ＬＴＭモジュール３０６に対応し得る。
【００６５】
[0070]図６はまた、ワイヤレスインタフェース６４０が、プロセッサ６１０とアンテナ６４２とに結合されることができることを示す。デバイス６００は、ワイヤレスインタフェース６４０およびアンテナ６４２を介して、本体制御ユニット３１６またはＨＭＩ ３１０のような、他のデバイスと通信し得る。代替の実施形態では、デバイス６００は、ワイヤード接続を介して、本体制御ユニット３１６またはＨＭＩ ３１０のような、他のデバイスと通信し得る。いくつかのインプリメンテーションでは、プロセッサ６１０、ディスプレイコントローラ６２６、メモリ６３２、ＣＯＤＥＣ ６３４、およびワイヤレスインタフェース６４０は、システムインパッケージまたはシステムオンチップデバイス６２２に含まれる。特定の実施形態では、入力デバイス６３０および電源６４４が、システムオンチップデバイス６２２に結合される。さらに、特定の実施形態では、図６に例示されるように、ディスプレイ６２８、入力デバイス６３０、スピーカ６３６、マイクロホン６３８、アンテナ６４２、および電源６４４は、システムオンチップデバイス６２２に外付けである。しかしながら、ディスプレイ６２８、入力デバイス６３０、スピーカ６３６、マイクロホン６３８、アンテナ６４２、および電源６４４の各々は、インタフェースまたはコントローラのような、システムオンチップデバイス６２２の構成要素に結合されることができる。環境シーン状態検出モジュール６６４は、プロセッサ６１０によって実行されるように図示されているが、他のインプリメンテーションでは、環境シーン状態検出モジュール６６４は、デバイス６００の別の構成要素に含まれ得るか、またはデバイス６００に結合された構成要素であり得る。例えば、環境シーン状態検出モジュール６６４は、画像信号プロセッサ６１１に含まれるハードウェアに対応し得る。
【００６６】
[0071]ある実施形態では、装置が、画像を表すデータを受信するための手段を含む。データを受信するための手段は、画像センサ１０２、カメラ６３１、コンピューティングデバイス１０６、ビデオフロントエンドモジュール３０２、システムオンチップデバイス６２２、ＢＣＵ ３１６の通信インタフェース、またはこれらの組合せに対応し得る。この装置は、画像をキャプチャするための手段によってキャプチャされた画像を表すデータを受信するように構成された画像処理のための手段をさらに含む。画像処理のための手段は、このデータから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定するようにさらに構成され得る。画像処理のための手段は、第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定し、第１のシーン鮮明さスコアがしきい値を満たす場合、第１のシーン鮮明さスコアがしきい値を満たすときに、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定するようにさらに構成され得る。画像処理のための手段は、第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定するようにさらに構成され得る。画像処理のための手段は、コンピューティングデバイス１０６、環境シーン状態検出モジュール１０８、デバイス６００、プロセッサ６１０、環境シーン状態検出モジュール６６４、またはこれらの組合せに対応し得る。
【００６７】
[0072]開示された実施形態の先の説明は、当業者が開示された実施形態を製造または使用することができるように提供されたものである。これらの実施形態への様々な修正は、当業者には容易に明らかとなり、ここで定義した原理は、本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、ここに示された実施形態に限定されるようには意図されず、以下の特許請求の範囲によって定義される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
【図１】
2018514011.tif 000003
【図２】
2018514011.tif 000004
【図３】
2018514011.tif 000005
【図４】
2018514011.tif 000006
【図５】
2018514011.tif 000007
【図６】
2018514011.tif 000008
【手続補正書】
【提出日】平成29年10月11日(2017.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データを処理するための方法であって、
コンピューティングデバイスにおいて、
画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たすことに応答して、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、前記第２のデータは、前記第１のデータおよび追加のデータを含む、
を備える方法。
【請求項２】
前記第２のシーン鮮明さスコアに基づいて、前記シーンが環境状態を含むかどうかを決定することをさらに備える、請求項１に記載の方法。
【請求項３】
前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することをさらに備える、請求項２に記載の方法。
【請求項４】
前記環境状態がビークルのウィンドウ上に存在するかどうかを決定することをさらに備える、請求項３に記載の方法。
【請求項５】
前記環境状態が前記ビークルの前記ウィンドウ上に存在するという決定に基づいて、前記ビークルの暖房、換気、および空調（ＨＶＡＣ）システムまたはワイパーを起動することをさらに備える、請求項４に記載の方法。
【請求項６】
前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、前記画像におけるコントラストを示す、請求項３に記載の方法。
【請求項７】
前記アクションは、ビークルのフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、請求項３に記載の方法。
【請求項８】
前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、請求項３に記載の方法。
【請求項９】
前記鮮明化された画像データを作成することは、前記画像の高いインテンシティの領域におけるローカルコントラストをブーストするために、ローカルトーンマッピング（ＬＴＭ）を使用することを含む、請求項８に記載の方法。
【請求項１０】
前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、請求項８に記載の方法。
【請求項１１】
前記鮮明化された画像データに基づいて、オブジェクト検出を実行することと、前記オブジェクト検出に基づいて、ビークルの出力デバイスに出力を提供することとをさらに備える、請求項８に記載の方法。
【請求項１２】
前記第１のデータは、前記画像の赤チャネル、緑チャネル、および青チャネルのうちの少なくとも１つにおける高いインテンシティ値を有する前記画像における画素に対応するダークな特徴データを含み、前記追加のデータは、勾配特徴データを含む、請求項１に記載の方法。
【請求項１３】
装置であって、
コンピューティングデバイスを備え、前記コンピューティングデバイスは、
画像センサによってキャプチャされた画像を表すデータを受信し、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定し、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定し、
前記第１のシーン鮮明さスコアが前記しきい値を満たすことに応答して、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定する、前記第２のデータは、前記第１のデータおよび追加のデータを含む、
ように構成される、装置。
【請求項１４】
前記コンピューティングデバイスは、前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定するようにさらに構成される、請求項１３に記載の装置。
【請求項１５】
前記コンピューティングデバイスは、ローカルトーンマッピング（ＬＴＭ）モジュールを含み、前記アクションは、鮮明化された画像データを生成するために、前記ＬＴＭモジュールを使用することを含む、請求項１４に記載の装置。
【請求項１６】
前記鮮明化された画像データは、第２の画像を表す追加のデータに基づいて生成され、前記第２の画像は、前記画像センサが前記画像をキャプチャした後に、前記画像センサによってキャプチャされる、請求項１５に記載の装置。
【請求項１７】
１つまたは複数の電子システムを制御するように構成された本体制御ユニットをさらに備える、請求項１５に記載の装置。
【請求項１８】
音声警告を出力するように構成されたスピーカをさらに備える、請求項１５に記載の装置。
【請求項１９】
前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、請求項１５に記載の装置。
【請求項２０】
前記量は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方と正の相関がある、請求項１９に記載の装置。
【請求項２１】
ビークル内に搭載されたディスプレイデバイスをさらに備え、前記ディスプレイデバイスは、前記鮮明化された画像データによって表される鮮明化された画像を表示するように構成される、請求項１５に記載の装置。
【請求項２２】
前記コンピューティングデバイスは、前記鮮明化された画像データにおけるオブジェクトを検出するように構成される、請求項１５に記載の装置。
【請求項２３】
ビークルの暖房、換気、および空調（ＨＶＡＣ）システム、ワイパー、またはフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せをさらに備える、請求項１４に記載の装置。
【請求項２４】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たすことに応答して、
前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、前記第２のデータは、前記第１のデータおよび追加のデータを含む、
前記第２のシーン鮮明さスコアに基づいて、アクションの実行を開始することと
を含む動作を実行させる、コンピュータ可読記憶媒体。
【請求項２５】
前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、教師あり機械学習モデルを使用して計算される、請求項２４に記載のコンピュータ可読記憶媒体。
【請求項２６】
前記第１のシーン鮮明さスコアは、第１の線形サポートベクターモデルを前記第１のデータと比較することによって計算され、前記第２のシーン鮮明さスコアは、第２の線形サポートベクターモデルを前記第２のデータと比較することによって計算される、請求項２４に記載のコンピュータ可読記憶媒体。
【請求項２７】
前記第１の線形サポートベクターモデルおよび前記第２の線形サポートベクターモデルの各々は、サンプルビデオを使用して生成される、請求項２６に記載のコンピュータ可読記憶媒体。
【請求項２８】
装置であって、
画像を表すデータを受信するための手段と、
前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定することと、前記第１のシーン鮮明さスコアは、前記画像におけるコントラストを示す、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たすことに応答して、
前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、前記第２のデータは、前記第１のデータおよび追加のデータを含む、
前記第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することと
を行うように構成された画像処理のための手段と
を備える装置。
【請求項２９】
前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、請求項２８に記載の装置。
【請求項３０】
前記アクションは、ビークルのフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、請求項２８に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
[0072]開示された実施形態の先の説明は、当業者が開示された実施形態を製造または使用することができるように提供されたものである。これらの実施形態への様々な修正は、当業者には容易に明らかとなり、ここで定義した原理は、本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、ここに示された実施形態に限定されるようには意図されず、以下の特許請求の範囲によって定義される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］  データを処理するための方法であって、
コンピューティングデバイスにおいて、
画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと
を備える方法。
［Ｃ２］  前記第２のシーン鮮明さスコアに基づいて、前記シーンが環境状態を含むかどうかを決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］  前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することをさらに備える、Ｃ２に記載の方法。
［Ｃ４］  前記環境状態がビークルのウィンドウ上に存在するかどうかを決定することをさらに備える、Ｃ３に記載の方法。
［Ｃ５］  前記環境状態が前記ビークルの前記ウィンドウ上に存在するかどうかの前記決定に基づいて、前記ビークルの暖房、換気、および空調（ＨＶＡＣ）システムまたはワイパーを起動することをさらに備える、Ｃ４に記載の方法。
［Ｃ６］  前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、前記画像におけるコントラストを示す、Ｃ３に記載の方法。
［Ｃ７］  前記アクションは、ビークルのフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、Ｃ３に記載の方法。
［Ｃ８］  前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、Ｃ３に記載の方法。
［Ｃ９］  前記鮮明化された画像データを作成することは、前記画像の高いインテンシティの領域におけるローカルコントラストをブーストするために、ローカルトーンマッピング（ＬＴＭ）を使用することを含む、Ｃ８に記載の方法。
［Ｃ１０］  前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、Ｃ８に記載の方法。
［Ｃ１１］  前記鮮明化された画像データに基づいて、オブジェクト検出を実行することと、前記オブジェクト検出に基づいて、ビークルの出力デバイスに出力を提供することとをさらに備える、Ｃ８に記載の方法。
［Ｃ１２］  前記第１のデータは、前記画像の赤チャネル、緑チャネル、および青チャネルのうちの少なくとも１つにおける高いインテンシティ値を有する前記画像における画素に対応するダークな特徴データを含み、前記第２のデータは、前記ダークな特徴データおよび勾配特徴データを含む、Ｃ１に記載の方法。
［Ｃ１３］  装置であって、
コンピューティングデバイスを備え、前記コンピューティングデバイスは、
画像センサによってキャプチャされた画像を表すデータを受信し、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定し、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定し、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定する
ように構成される、装置。
［Ｃ１４］  前記コンピューティングデバイスは、前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定するようにさらに構成される、Ｃ１３に記載の装置。
［Ｃ１５］  前記コンピューティングデバイスは、ローカルトーンマッピング（ＬＴＭ）モジュールを含み、前記アクションは、鮮明化された画像データを生成するために、前記ＬＴＭモジュールを使用することを含む、Ｃ１４に記載の装置。
［Ｃ１６］  前記鮮明化された画像データは、第２の画像を表す追加のデータに基づいて生成され、前記第２の画像は、前記画像センサが前記画像をキャプチャした後に、前記画像センサによってキャプチャされる、Ｃ１５に記載の装置。
［Ｃ１７］  前記鮮明化された画像を生成することは、隣接する画素の平均インテンシティ値に基づいて、ローカルコントラストを増大させるために、１つまたは複数の画素のインテンシティ値を修正することを含む、Ｃ１５に記載の装置。
［Ｃ１８］  前記鮮明化された画像を生成することは、前記画素の前記インテンシティ値を低減させることを含む、Ｃ１７に記載の装置。
［Ｃ１９］  前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、Ｃ１５に記載の装置。
［Ｃ２０］  前記量は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方と正の相関がある、Ｃ１９に記載の装置。
［Ｃ２１］  ビークル内に搭載されたディスプレイデバイスをさらに備え、前記ディスプレイデバイスは、前記鮮明化された画像データによって表される鮮明化された画像を表示するように構成される、Ｃ１５に記載の装置。
［Ｃ２２］  前記コンピューティングデバイスは、前記鮮明化された画像データにおけるオブジェクトを検出するように構成される、Ｃ１５に記載の装置。
［Ｃ２３］  ビークルの暖房、換気、および空調（ＨＶＡＣ）システム、ワイパー、またはフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せをさらに備える、Ｃ１４に記載の装置。
［Ｃ２４］  命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、
前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、
前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することと
を含む動作を実行させる、コンピュータ可読記憶媒体。
［Ｃ２５］  前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、教師あり機械学習モデルを使用して計算される、Ｃ２４に記載のコンピュータ可読記憶媒体。
［Ｃ２６］  前記第１のシーン鮮明さスコアは、第１の線形サポートベクターモデルを前記第１のデータと比較することによって計算され、前記第２のシーン鮮明さスコアは、第２の線形サポートベクターモデルを前記第２のデータと比較することによって計算される、Ｃ２５に記載のコンピュータ可読記憶媒体。
［Ｃ２７］  前記第１の線形サポートベクターモデルおよび前記第２の線形サポートベクターモデルの各々は、サンプルビデオを使用して生成される、Ｃ２６に記載のコンピュータ可読記憶媒体。
［Ｃ２８］  装置であって、
画像を表すデータを受信するための手段と、
前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定することと、前記第１のシーン鮮明さスコアは、前記画像におけるコントラストを示す、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、
前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、
前記第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することと
を行うように構成された画像処理のための手段と
を備える装置。
［Ｃ２９］  前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、Ｃ２８に記載の装置。
［Ｃ３０］  前記アクションは、ビークルのフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、Ｃ２８に記載の装置。
【国際調査報告】
2018514011.tif 000009
2018514011.tif 000010