(57)【要約】自律走行車（ＡＶ）のカメラアレイ用のインテリジェントなレンズマスキングシステムは、ＡＶが所与のルートに沿って移動する際に、カメラアレイからリアルタイムのデータを受信するアレイインターフェースを含み得るものであり、カメラアレイの各カメラは、そのレンズ上にマスキング層を有し得る。インテリジェントなレンズマスキングシステムは、リアルタイムのデータ中の、カメラアレイ内の各カメラについて、視野内の幾つかの光源を動的に識別し得る。各カメラについて光源が検出されたら、インテリジェントなレンズマスキングシステムは、マスキング層の幾つかの画素をアクティブにすることにより、各カメラについて光源を動的に遮断し得る。
2019506781.tif 000002
【特許請求の範囲】
【請求項１】
自律走行車のカメラアレイ用のインテリジェントなレンズマスキングシステムであって、
前記自律走行車が所与のルートに沿って移動する際に、前記カメラアレイからリアルタイムのデータを受信するアレイインターフェースと、
１以上のプロセッサと、
指示を格納した１以上のメモリリソースであって、前記１以上のプロセッサによって前記指示が実行された際に、前記インテリジェントなレンズマスキングシステムに、
前記リアルタイムのデータに基づいて、前記カメラアレイ内の、各カメラのレンズがマスキング層を有する各カメラについて、１以上の光源を動的に識別することと、
前記マスキング層の幾つかの画素をアクティブにすることにより、各前記カメラについて前記１以上の光源のうちの各光源を動的に遮断することと
を行わせる指示を格納した１以上のメモリリソースと
を含むことを特徴とするインテリジェントなレンズマスキングシステム。
【請求項２】
前記実行された指示が、前記インテリジェントなレンズマスキングシステムに、
前記自律走行車が移動する際に、各前記カメラの視野内において、前記１以上の光源を追跡すること
を更に行わせる、請求項１記載のインテリジェントなレンズマスキングシステム。
【請求項３】
前記実行された指示が、前記インテリジェントなレンズマスキングシステムに、
前記自律走行車が移動する際に、前記１以上の光源が各前記カメラの前記視野内に留まっている間、前記１以上の光源のうちの各光源を連続的に遮断するために、前記１以上の光源の追跡に基づいて、前記マスキング層の個々の画素を動的にアクティブ化および非アクティブ化すること
を更に行わせる、請求項２記載のインテリジェントなレンズマスキングシステム。
【請求項４】
前記マスキング層が液晶ディスプレイ（ＬＣＤ）層を含む、請求項１記載のインテリジェントなレンズマスキングシステム。
【請求項５】
前記実行された指示が、前記インテリジェントなレンズマスキングシステムに、
前記画素に電圧を印加することによって、前記ＬＣＤ層の前記画素をアクティブ化すること
を行わせる、請求項４記載のインテリジェントなレンズマスキングシステム。
【請求項６】
前記ＬＣＤ層が透明なパッシブマトリクスＬＣＤ層を含む、請求項４記載のインテリジェントなレンズマスキングシステム。
【請求項７】
前記ＬＣＤ層が透明なアクティブマトリクスＬＣＤ層を含む、請求項４記載のインテリジェントなレンズマスキングシステム。
【請求項８】
前記カメラアレイが複数の立体視カメラを含む、請求項１記載のインテリジェントなレンズマスキングシステム。
【請求項９】
各前記カメラが前記複数の立体視カメラに含まれる、請求項８記載のインテリジェントなレンズマスキングシステム。
【請求項１０】
前記１以上の光源が、各前記カメラの視野内にある太陽に対応する、請求項１記載のインテリジェントなレンズマスキングシステム。
【請求項１１】
前記１以上の光源が、反射された太陽光、１以上の街灯、または他の車両からの１以上のヘッドライトのうちの１以上に対応する、請求項１記載のインテリジェントなレンズマスキングシステム。
【請求項１２】
自律走行車において、
前記自律走行車の状況的環境を連続的に検出し、該状況的環境を示すリアルタイムのデータを生成するカメラアレイと、
前記リアルタイムのデータを、前記自律走行車が走行中の現在のルートの詳細な表面データを提供する格納されているサブマップと比較することにより、前記リアルタイムのデータを処理する車載データ処理システムと、
アクセル、ブレーキ、およびステアリングシステムと、
前記処理されたリアルタイムのデータを用いて、前記現在のルートに沿って前記アクセル、ブレーキ、およびステアリングシステムを操作する自律走行車制御システムと、
インテリジェントなレンズマスキングシステムであって、
前記リアルタイムのデータに基づいて、前記カメラアレイ内の、各カメラのレンズがマスキング層を有する各カメラについて、１以上の光源を動的に識別し、
前記マスキング層の幾つかの画素をアクティブにすることにより、各前記カメラについて前記１以上の光源のうちの各光源を動的に遮断する
インテリジェントなレンズマスキングシステムと
を含むことを特徴とする自律走行車。
【請求項１３】
前記自律走行車が前記現在のルートに沿って移動する際に、前記インテリジェントなレンズマスキングシステムが、各前記カメラの視野内において前記１以上の光源を追跡する、請求項１２記載の自律走行車。
【請求項１４】
前記自律走行車が前記現在のルートに沿って移動する際に、前記１以上の光源が各前記カメラの前記視野内に留まっている間、前記１以上の光源のうちの各光源を連続的に遮断するために、前記インテリジェントなレンズマスキングシステムが、前記１以上の光源の追跡に基づいて、前記マスキング層の個々の画素を動的にアクティブ化および非アクティブ化する、請求項１３記載の自律走行車。
【請求項１５】
前記マスキング層が液晶ディスプレイ（ＬＣＤ）層を含む、請求項１２記載の自律走行車。
【請求項１６】
前記ＬＣＤ層が、透明なパッシブマトリクスＬＣＤ層または透明なアクティブＬＣＤ層のうちの一方を含む、請求項１５記載の自律走行車。
【請求項１７】
指示を格納した非一過性のコンピュータ可読媒体であって、自律走行車のインテリジェントなレンズマスキングシステムの１以上のプロセッサによって前記指示が実行されたときに、前記インテリジェントなレンズマスキングシステムに、
前記自律走行車のカメラアレイによって生成されたリアルタイムのデータに基づいて、前記カメラアレイ内の、各カメラのレンズがマスキング層を有する各カメラについて、１以上の光源を動的に識別することと、
前記マスキング層の幾つかの画素をアクティブにすることにより、各前記カメラについて前記１以上の光源のうちの各光源を動的に遮断することと
を行わせる指示を格納したことを特徴とする非一過性のコンピュータ可読媒体。
【請求項１８】
前記実行された指示が、前記インテリジェントなレンズマスキングシステムに、
前記自律走行車が前記現在のルートに沿って移動する際に、前記リアルタイムのデータ内の各前記カメラの視野内において、前記１以上の光源を追跡すること
を更に行わせる、請求項１７記載の非一過性のコンピュータ可読媒体。
【請求項１９】
前記実行された指示が、前記インテリジェントなレンズマスキングシステムに、
前記自律走行車が前記現在のルートに沿って移動する際に、前記１以上の光源が各前記カメラの前記視野内に留まっている間、前記１以上の光源のうちの各光源を連続的に遮断するために、前記１以上の光源の追跡に基づいて、前記マスキング層の個々の画素を動的にアクティブ化および非アクティブ化すること
を更に行わせる、請求項１８記載の非一過性のコンピュータ可読媒体。
【請求項２０】
前記１以上の光源が、各前記カメラの視野内にある太陽に対応する、請求項１７記載の非一過性のコンピュータ可読媒体。
【発明の詳細な説明】
【関連出願】
【０００１】
本願は、２０１５年１２月２２日に出願された米国特許出願第１４／９７９，３５１号による利益を主張するものであり、上記の特許出願の全体を参照して本明細書に組み込む。
【技術分野】
【０００２】
本発明は、自律走行車用のインテリジェントなレンズマスキングシステムに関する。
【背景技術】
【０００３】
自律走行車（ＡＶ）は、現実世界の環境を通って安全に動作するために、連続的な、または、ほぼ連続的なセンサデータの収集および処理を必要とし得る。そのようにする際、多くのＡＶは、複数のセンサシステムを有するセンサアレイを含む。例えば、ＡＶセンサアレイは、ＡＶが所与のルートに沿って移動する際に、状況的環境を連続的にモニタリングする任意の数の受動的センサシステム（例えば、１以上のカメラ（例えば、立体視カメラ）等）を含み得る。ＡＶが安全に且つ確実に動作するためには、カメラによって収集されるリアルタイムのデータの品質が非常に重要であり得る。
【図面の簡単な説明】
【０００４】
【図１】本明細書に記載されるようなインテリジェントなレンズマスキングシステムを含む、例示的な自動走行車を示すブロック図
【図２】ＡＶの立体視カメラと関連して用いられる例示的なインテリジェントなレンズマスキングシステムを示すブロック図
【図３】ＡＶのカメラシステムのために光源を動的にマスキングする例示的な方法を説明する高レベルフローチャート
【図４】ＡＶのカメラシステムのために光源を動的にマスキングする例示的な方法を説明する低レベルフローチャート
【図５】本明細書に記載される例が実装され得るコンピュータシステムを示すブロック図
【発明を実施するための形態】
【０００５】
本明細書における開示を、添付の図面において、限定するものではない例として示し、図面中、類似の参照番号は類似の要素を参照する。
【０００６】
自律走行車（ＡＶ）のカメラアレイ用のビデオおよび画像記録システムは、任意の数の構成可能なパラメータを調節することによって、照明条件の変化に動的に反応し得る。例えば、明るい状態から暗い状態への照明の変化に応答して、記録システムは、例えば、アパーチャ設定、解像度、フレームレートおよび／またはシャッタースピード、色温度設定、ゲインまたはＩＳＯ設定、飽和およびコントラスト設定、ピント等のカメラの機能を調節し得る。しかし、特定の状況では、カメラアレイ内の任意の個々のカメラの視野内の光源（例えば、太陽）が、それらの個々のカメラからの知覚データを汚染して、それらの個々のカメラからのデータの品質を低下させ得る。特定の受動的および／もしくは適応的フィルタ、または、取得後のデータ処理を用いて、そのような光源の影響を低減することができる。しかし、ＡＶの最適な動作のためには、カメラデータの初期取得の品質を最大化する方が、車載データ処理にとっては負担が少なく、現在の処理に対するコスト効率の高い解決法を提供し得る。
【０００７】
現在の解決法の不足している点に対処するために、ＡＶのセンサアレイ上の各カメラのカメラレンズ上において光源を動的に遮断できるインテリジェントなレンズマスキングシステムが提供される。インテリジェントなレンズマスキングシステムは、ＡＶのカメラアレイからのリアルタイムのデータに基づいて、カメラアレイ内の各カメラについて、１以上の光源を動的に識別し得る。各カメラのレンズはマスキング層を含み得るものであり、マスキング層は、マスキング層の幾つかの画素をアクティブにすることにより各カメラについて光源を動的に遮断するために、インテリジェントなレンズマスキングシステムによって操作され得る。更に、インテリジェントなレンズマスキングシステムは、光源が各カメラの視野内に留まっている間、光源を追跡し得る。視野内の光源を追跡することにより、インテリジェントなレンズマスキングシステムは、ＡＶが所与の領域を通って移動する際に、レンズの視野にわたって光源を連続的に遮断するために、マスキング層の個々の画素を動的にアクティブ化および非アクティブ化し得る。
【０００８】
多くの態様において、マスキング層は、インテリジェントなレンズマスキングシステムによって操作される液晶ディスプレイ（ＬＣＤ）層（例えば、透明なアクティブまたはパッシブマトリクスＬＣＤ等）を含み得る。従って、ＬＣＤの画素に局所的に印加される電圧は、それらの画素の透明度を逆転させる（または透明度レベルを調節する）ように、それらの画素を「アクティブ化」し得る。例えば、ねじれネマチック（または超ねじれネマチック）層が（１以上の偏光フィルタと関連して）カメラレンズ上のマスキング層を構成し得るものであり、この層は、インテリジェントなレンズマスキングシステムが、カメラによって受光される光を部分的にまたは完全に遮断するように入射光を偏光するために、指定されている画素に局所的な電圧を印加することを可能にする。しかし、マスキング層には、例えば、平面内スイッチング技術、フリンジ電界スイッチング技術、ＶＡ（vertical alignment）技術、またはブルー相モード技術等の他の技術が用いられてもよい。
【０００９】
本明細書において用いられる「マスキング層」は、単数の層として述べられるが、任意の数の実際のフィルタの層（例えば、柔軟な偏光フィルタ層）および／または１以上の液晶層を含み得る。従って、本明細書において設けられる「マスキング層」は、ＡＶが移動する際の、動的な的を絞った光源の遮断を可能にするという点において、機能的に単数である。
【００１０】
更に、本明細書に記載される「カメラ」、「カメラアレイ」、または「カメラシステム」は、レンズを用いて可視光（特定の例では紫外線光および／または赤外線光）を受光する任意のタイプのセンサ装置を含み得る。そのようなカメラは、各レンズが本明細書に記載されるマスキング層を含む２以上のレンズを有する立体視カメラを含み得る。更に、カメラはＡＶの車載データ処理システムにリアルタイムのデータを供給し、車載データ処理システムは、ＡＶが交通制御および潜在的な危険を識別して、現在のルートに沿って安全に移動することを確実にするために、データを処理し得る。
【００１１】
本明細書において用いられる「光源」は、各カメラの視野内にあるときに、取得されるデータの品質に負の影響を及ぼし得る。そのような光源は、各カメラの視野内において直接知覚される光の点を含む。例示的な光源は、太陽、反射された太陽光、人工光源（例えば、街灯、ヘッドライト、緊急車輌のライト、スタジアムのライト等）等を含む。
【００１２】
他の利点の中でも特に、本明細書に記載される例は、データに負の影響を及ぼす光源を動的に遮断することにより、ＡＶのカメラアレイによって供給されるリアルタイムのデータの品質を高めるという技術的効果を達成する。
【００１３】
本明細書において用いられる「コンピューティング装置」は、ネットワークを介してシステムと通信するためのネットワーク接続性および処理リソースを提供可能なデスクトップコンピュータ、携帯電話もしくはスマートフォン、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、タブレット装置、テレビ（ＩＰテレビ）等に対応する装置を参照する。また、コンピューティング装置は、カスタムハードウェア、車載装置、または車載コンピュータ等にも対応し得る。また、コンピューティング装置は、ネットワークサービスと通信するよう構成された指定されているアプリケーションを操作し得る。
【００１４】
本明細書に記載される１以上の例は、コンピューティング装置によって行われる方法、技術、および動作が、プログラムによって行われる、またはコンピュータによって実装される方法として行われるものとしている。本明細書において用いられる「プログラムによって」とは、コードまたはコンピュータが実行可能な指示を用いることを意味する。これらの指示は、コンピューティング装置の１以上のメモリリソースに格納され得る。プログラムによって行われる工程は、自動であってもよく、または自動でなくてもよい。
【００１５】
本明細書に記載される１以上の例は、プログラムモジュール、エンジン、またはコンポーネントを用いて実装され得る。プログラムモジュール、エンジン、またはコンポーネントは、１以上の記載されたタスクまたは機能を行う能力があるプログラム、サブルーチン、プログラムの一部、またはソフトウェアコンポーネントもしくはハードウェアコンポーネントを含み得る。本明細書において用いられる「モジュール」または「コンポーネント」は、ハードウェアコンポーネント上に、他のモジュールまたはコンポーネントから独立して存在し得る。或いは、モジュールまたはコンポーネントは、他のモジュール、プログラム、または機器と共有された要素または処理であり得る。
【００１６】
本明細書に記載される幾つかの例は、一般的に、処理リソースおよびメモリリソースを含むコンピューティング装置の使用を必要とし得る。例えば、本明細書に記載される１以上の例は、全体的にまたは部分的に、例えばサーバ、デスクトップコンピュータ、携帯電話もしくはスマートフォン、パーソナルデジタルアシスタント（例えば、ＰＤＡ）、ラップトップコンピュータ、プリンタ、デジタルピクチャーフレーム、ネットワーク機器（例えば、ルーター）、およびタブレット装置等のコンピューティング装置上で実装され得る。メモリリソース、処理リソース、およびネットワークリソースは全て、本明細書に記載される任意の例の構築、使用、または実行に関して（何らかの方法の実行に関する場合、または何らかのシステムの実装に関する場合を含む）用いられ得る。
【００１７】
更に、本明細書に記載される１以上の例は、１以上のプロセッサによって実行可能な指示を用いて実装され得る。これらの指示は、コンピュータ可読媒体上に担持され得る。以下の図面と共に示される、または説明される装置は、本明細書に開示される例を実装するための指示を担持および／または実行し得る処理リソースおよびコンピュータ可読媒体の例を提供するものである。具体的には、本発明の例と共に示されている多くの機器は、プロセッサと、データおよび指示を保持するための様々な形態のメモリとを含む。コンピュータ可読媒体の例は、例えばパーソナルコンピュータまたはサーバ上のハードドライブ等の永久的なメモリストレージ装置を含む。コンピュータストレージ媒体の他の例としては、例えばＣＤもしくはＤＶＤユニット、（例えばスマートフォン、多機能装置、またはタブレット等に搭載された）フラッシュメモリ、および磁気メモリ等の携帯型ストレージ装置が挙げられる。コンピュータ、端末、ネットワークを使用可能な装置（例えば、携帯電話等のモバイル装置）は全て、プロセッサ、メモリ、およびコンピュータ可読媒体に格納された指示を用いる機器および装置の例である。更に、複数の例は、コンピュータ−プログラム、またはそのようなプログラムを担持できるコンピュータが使用可能なキャリア媒体の形態で実装され得る。
【００１８】
システムの説明
図１は、本明細書に記載されるようなインテリジェントなレンズマスキングシステム１３５を含む例示的なＡＶ１００を示すブロック図である。ＡＶ１００は、任意の数の受動的または能動的センサシステムを含むセンサアレイ１０５を含み得る。例示的な能動的センサシステムは、搬送波信号（即ち、可変波長の電磁波）を生成して送信すると共に、ＡＶ１００の動作環境の測距を行うためまたは動的な地図を生成するために、表面の特徴から反射された光を測定するレーダーまたはＬｉＤＡＲシステムを含み得る。例示的な受動的センサシステムは、自然光または人工光に基づく視覚的データを供給する１組のビデオカメラまたは立体視ビデオカメラシステム１１２を含み得る。
【００１９】
センサアレイ１０５によってキャプチャされたセンサデータ１０７は、ＡＶ１００の車載データ処理システム１１０によって処理され得る。データ処理システム１１０は、道路交通を通って特定の目的地まで移動するために、ＡＶ１００のサブマップデータベース１３０に格納されているサブマップ１３３を、センサデータ１０７と比較するために用い得る。サブマップ１３３は、ＡＶ１００が道路交通を通って動作中に、データ処理システム１１０がリアルタイムのセンサデータ１０７と比較し得る所与の領域についての予め記録された表面データを含み得る。例えば、データ処理システム１１０は、ＡＶの１００が走行中の現在のルートの記録された３次元ＬｉＤＡＲデータおよび３次元立体視データを含むデータベース１３０からの、現在のサブマップ１３４を用い得る。データ処理システム１１０は、センサデータ１０７を現在のサブマップ１３４の３次元ＬｉＤＡＲデータおよび立体視データと連続的に比較して、潜在的な危険（例えば、歩行者、他の車両、自転車運転者等）を識別し得る。
【００２０】
車載データ処理システム１１０は、処理されたデータ１１３を、ＡＶ１００のアクセル、ブレーキ、およびステアリングシステム１２５を操作し得るＡＶ制御システム１２０に供給し得る。図１に示されている例では、説明の目的で、ＡＶ制御システム１２０はデータ処理システム１１０とは別のシステムとして示されている。ＡＶ制御システム１２０は、ＡＶ１００の車載データ処理システム１１０の１以上の処理リソースとして含まれ得る。
【００２１】
特定の態様において、ＡＶ制御システム１２０には、ＡＶのユーザから、または所与の領域を通るＡＶの車隊を管理するバックエンドシステム１９０から、目的地１２３が供給され得る。例えば、ＡＶ１００は、１以上のネットワーク１８５を介して、バックエンドシステム１９０との通信１６２を送受信し得る。これらの通信１６２は、輸送を求めて要求しているユーザのための輸送要求を容易にするための、バックエンドシステム１９０からの輸送コマンドを含み得る。通信１６２は、位置の更新、状況の更新、ルート情報、乗車位置および降車位置データ等も含み得る。ＡＶ１００の操作に関して、バックエンドシステム１９０またはＡＶ１００の乗客は、特定の目的地１２３を指定し得る。ＡＶ１００の現在位置および目的地１２３を用いて、ＡＶ制御システム１２０は、特定の目的地１２３に向かう現在のルートに沿ってアクセル、ブレーキ、およびステアリングシステム１２５を操作するためのルートデータ１７７を受信するために、地図作成エンジン１７５を用い得る。同時に、ＡＶ制御システム１２０は、より差し迫った懸念（例えば、交通信号、道路条件、道路交通、歩行者活動、潜在的な危険等）に反応するために、データ処理システム１１０から処理されたセンサデータ１１０を受信し得る。従って、ＡＶ制御システム１２０は、ルートデータ１７７を用いてＡＶ１００を目的地１２３まで運転するために、アクセル、ブレーキ、およびステアリングシステム１２５に対する高レベル制御コマンド１２１を生成して実行し得る。更に、ＡＶ制御システム１２０は、データ処理システム１１０によって識別された差し迫った懸念に反応するために、アクセル、ブレーキ、およびステアリングシステム１２５に対する低レベルの、より緊急の制御コマンド１２１を生成して実行し得る。
【００２２】
本明細書に記載される例によれば、車載データ処理システム１１０は、センサデータ１０７の品質を最大化する場合に、センサアレイ１０５からのセンサデータ１０７を処理する上で最大に効果的である。具体的には、データ処理システム１１０は、例えば、センサアレイ１０５の立体視カメラ１１２から受信されたカメラデータ１０９内の点光源をフィルタリングして除去することを試みる不必要な処理リソースを費やし得る。本明細書に記載される例によれば、センサアレイ１０５の各カメラシステム（例えば、立体視カメラ１１２）は、ＡＶ１００のインテリジェントなレンズマスキングシステム１３５によって制御され得るマスキング層１１４を有し得るレンズ１１８を含む。
【００２３】
インテリジェントなレンズマスキングシステム１３５は、センサアレイ１０５のカメラシステムからリアルタイムのカメラデータ１０９を受信し得る。各カメラ（例えば、立体視カメラ１１２の各カメラ）について、インテリジェントなレンズマスキングシステム１３５は、光源（および／または各カメラに関する光源の位置）を識別して、光源を遮断するために各レンズのマスキング層１１４の幾つかの画素をアクティブ化するためのマスクコマンド１３７を生成し得る。特定の例では、各レンズ１１８についてのマスキング層１１４は、任意の数の画素を有するマトリクスとして構成され得る。インテリジェントなレンズマスキングシステム１３５は、マスキング層１１４を表すマトリクス上における点光源に対応する中心位置を識別して、各光源についての角サイズを測定し得る。従って、インテリジェントなレンズマスキングシステム１３５は、光源を遮断するために、（ｉ）立体視カメラ１１２の視野内における点光源の識別された座標、および（ｉｉ）各光源の測定されたサイズに基づいて、マスキング層１１４の画素をアクティブ化するためのマスキングコマンド１３７を生成し得る。
【００２４】
更に、インテリジェントなレンズマスキングシステム１３５は、ＡＶ１００が現在のルートに沿った運転を継続している際に、立体視カメラ１１２の各レンズ１１８の視野にわたって光源を追跡し得る。従って、インテリジェントなレンズマスキングシステム１３５は、光源が立体視カメラ１１２の視野内に留まっている間、それらの光源が連続的に遮断されるように、マスキング層の画素をアクティブ化および非アクティブ化し得る。
【００２５】
ＡＶ１００は、ＡＶ１００の状況的環境を連続的に記録する幾つかのカメラシステムを含み得る。例えば、ＡＶ１００は、ＡＶ１００の屋根上に立体視カメラアレイを含み得るものであり、立体視カメラアレイは、ＡＶ１００の周辺の３６０°の視界を有するリアルタイムのデータを記録し得る。更に、ＡＶ１００は、サイドミラー上、バンパー上、車体内に統合された、および／または客室内に、様々なカメラおよび／または立体視カメラ１１２を含み得る。任意の数のこれらのカメラは、動的なマスキングを行うためにＡＶ１００の全てのカメラの視野をモニタリングし得るインテリジェントなレンズマスキングシステム１３５に動作可能に結合されたマスキング層１１４を含み得る。以下、図２に関して、インテリジェントなレンズマスキングシステム１３５を更に説明する。
【００２６】
図２は、ＡＶ１００のセンサアレイ１０５と関連して用いられる例示的なインテリジェントなレンズマスキングシステム２００を示すブロック図である。図２に関して記載される例では、インテリジェントなレンズマスキングシステム２００は、例えば、図１に関して図示されると共に記載されるインテリジェントな間レンズマスキングシステム１３５等の、ＡＶ１００の構成要素として実装され得る。更に、説明のために、図２に示されているインテリジェントなレンズマスキングシステム２００は、図１に関して図示されると共に記載されるセンサアレイ１０５の各単一の立体視カメラ２１０上で動作する。しかし、本明細書に記載される例によれば、インテリジェントなレンズマスキングシステム２００は、ＡＶ１００の車載データ処理システム１１０によって処理されるリアルタイムのセンサデータ１０７（例えば、センサデータ１０７に含まれるカメラデータ２１８）を供給する任意の数のカメラシステム上で動作し得る。
【００２７】
図２を参照すると、インテリジェントなレンズマスキングシステム２００は、ＡＶ１００のスタンドアロンのシステムとして動作してもよく、または、ＡＶ１００の１以上のサブシステム（例えば、データ処理システム１１０等）に統合されてもよい。多くの態様において、インテリジェントなレンズマスキングシステム２００は、立体視カメラ２１０からリアルタイムのカメラデータ２１８を受信し得る光源識別器２０５を含み得る。光源識別器２０５は、カメラデータ２１８を解析して、立体視カメラ２１０の各レンズの視野内の光源を識別し得る。例えば、光源識別器２０５は、立体視カメラ２１０の視野内の太陽２９０、街灯２８０、および／または太陽光を反射する建物２３０に対応する光源を識別し得る。カメラデータ２１８の品質に対して負の影響を有し得る光の点と同じまたは類似の特性を有する任意の数の光源が識別され得る。
【００２８】
幾つかの態様において、光源識別器２０５は、特定の光源の輝度が所定の閾値を超えるか否かを決定し得る。例えば、光源識別器は、視野内の各光源の（例えば、ルーメンまたはルクスの単位の）視覚的輝度を測定して、個々の光源の輝度が所定の値（例えば、閾値のルーメン値）を超えるか否かを決定し得る。この閾値は、光源がカメラデータ２１８の品質に対して有する影響と相関され得る。従って、太陽２９０からの直接光線２９２の輝度が閾値を超える場合には、光源識別器２０５は、カメラ識別子２０６および光点座標２０８をコマンド生成器２１５に供給し、それに従って、コマンド生成器２１５は、太陽２９０からの直接光線２９２を遮断するためのマスクコマンド２１７を生成し得る。
【００２９】
インテリジェントなレンズマスキングシステム２００はマスキングコントローラ２５０を含み得るものであり、マスキングコントローラ２５０は、マスクコマンド２１７を処理し、電圧信号２５２を生成して、光点座標２０８において識別された特定の画素に送信し得る。電圧信号２５２は、太陽２９０からの直接光線２９２が立体視カメラ２１０に入射しないよう遮断し得る幾つかの遮断画素２９４を生じるために、レンズのマスキング層２１２上の指定されている画素をアクティブ化し得る。従って、光源識別器２０５によって所定の輝度閾値を超えると決定された光源（例えば、太陽２９０）については、マスキングコントローラ２５０は、これらの光源からの光線が立体視カメラ２１０に入射しないよう完全に遮断できる指定されている電圧信号２５２を生成し得る。
【００３０】
変形例において、マスキングコントローラ２５０は、マスキング層２１２の画素を、電圧信号２５２の電圧に応じて非常に明るいグレーから暗いグレー、黒までの可変グレースケールに沿ってアクティブ化させる、可変電圧信号２５２を生成し得る。特定の実装例によれば、光源識別器２０５は、最小閾値より高いそれぞれの輝度を有する様々な光源の光点座標２０８を識別し得る。従って、光源識別器２０５は、各光源についての輝度値２０９を測定し、輝度値２０９は、コマンド生成器２１５によって、各光源についての対応するマスクコマンド２１７を生成するために処理され得る。
【００３１】
輝度値２０９に基づいて、コマンド生成器２１５は、マスキングコントローラ２５０に適切な電圧信号２５２を生成させるためのマスクコマンド２１７を生成し得る。電圧信号２５２は、カメラ識別子２０６に基づいて正しいカメラレンズに送信され得ると共に、指定されているレンズについての光点座標２０８に基づいてマスキング層２１２上の指定されている画素に送信され得る。更に、マスキングコントローラ２５０によって生成される電圧信号２５２は、光源識別器２０５によって測定された輝度値２０９に基づく電圧を有し得る。従って、電圧信号２５２は、指定されている画素に、その特定の光源について記録された輝度値２０９に基づいてスライドするグレースケールに従って、光源をフィルタリングまたは遮断させる。
【００３２】
本明細書に記載される例に加えて、コマンド生成器２１５は、コマンド生成器２１５によって生成されるマスキングコマンド２１７が光源全体を正確に包含するように、光点座標２０８を用いて各光源の角サイズおよび形状または角直径を測定し得る。更に、各光源について、コマンド生成器２１５は、その光源についてアクティブ化される各画素についてのグレースケール値を指定するマスクコマンド２１７を生成し得る。従って、コマンド生成器２１５は、光源にわたってグレースケールの勾配を生じるマスクコマンド２１７を生成し得る。例えば、太陽２９０の直接光線２９２についての遮断画素２９４は、光源の中心に黒い画素、太陽２９０の直近の周囲に暗いグレー画素、および太陽２９０から外に向かって延びるより明るいグレー画素を含み得る。そのようなグレースケール勾配は、コマンド生成器２１５によって、任意の光源について、輝度値２０９および光点座標２０８に基づいて動的に算出されて実装され得る。
【００３３】
多くの態様において、各光源についての光点座標２０８は、インテリジェントなレンズマスキングシステム２００の追跡エンジン２２５によって追跡され得る。光源識別器２０５によって識別されたら、追跡エンジン２２５は、リアルタイムのカメラデータ２１８および／または初期光点座標２０８を受信して、立体視カメラ２１０の各レンズの視野にわたって各光源を追跡し得る。追跡エンジン２２５は、コマンド生成器２１５に光点座標２０８を動的に供給し、コマンド生成器２１５は、光源が視野内に留まっている間、それらの光源を連続的に遮断するために、更新されたマスクコマンド２１７を動的に生成し得る。
【００３４】
一例として、立体視カメラ２１０の左側のレンズの視野は、建物２３０から反射された太陽光の光線２３２の影響を受け得る。リアルタイムのカメラデータ２１８は、反射光線２３２を光源識別器２０５に対して示し、光源識別器２０５は、立体視カメラ２１０および／または立体視カメラ２１０のレンズを示すカメラＩＤ２０６並びに反射光線２３２についての光点座標２０８をコマンド生成器２１５に供給し得る。コマンド生成器２１５は、反射光線２３２の角サイズおよび形状を測定して、反射光線が立体視カメラ２１０の左側のレンズの視野内にある間に反射光線２３２を遮断するために、特定の遮断画素２３４およびそれらの画素２３４についての電圧を示すマスクコマンド２１７を生成し得る。
【００３５】
幾つかの態様において、マスクコマンド２１７においてコマンド生成器２１５によって指定されている画素２３４は完全に遮断されてもよく、マスキングコントローラ２５０に、その画素を完全にアクティブ化する（例えば、その画素を黒くする）電圧信号２５２を生成させるものであってもよい。そのような実装例では、マスキングコントローラ２５０は、レンズのマスキング層２１２を二値で操作し得る。即ち、画素２３４は完全にアクティブ化されるか、または透明なままであり得る。従って、追跡エンジン２２５は、反射光線２３２がレンズの視野にわたって横断する際に、反射光線２３２を追跡し、コマンド生成器２１５は、反射光線が立体視カメラ２１０の視野内にある間、反射光線２３２を完全に遮断するためのマスクコマンド２１７を動的に生成し得る。
【００３６】
変形例において、マスクコマンド２１７においてコマンド生成器２１５によって指定されている画素２３４は、光源識別器２０５によって測定された輝度値２０９に従ってグレースケール化され得る。従って、コマンド生成器２１５は、グレースケール化された電圧信号２５２を用いてマスキング層２１２に反射光線２３２をフィルタリングおよび遮断させるマスクコマンド２１７を生成し得る。具体的には、マスキングコントローラ２５０は、より低い輝度値２０９を有する反射光線の画素２３４については、より低い電圧信号２５２を生成し得る（より明るいグレー画素をアクティブ化し得る）と共に、より高い輝度値２０９を有する反射光線の画素２３４については、より高い電圧信号２５２を生成し得る。反射光線２３２の相対的な輝度および形状に基づき、遮断画素２３４はそれに従って部分的にまたは完全にアクティブ化され、ＡＶ１００が移動する際に反射光線２３２と相関してマスキング層を横断する。
【００３７】
図２は、説明の目的で、太陽２９０からの直接光線２９２および街灯２８０からの光線２８２である２つの別個の光線の影響を受ける立体視カメラ２１０の右側のレンズも示している。各光線２９２、２８２は、光源識別器２０５によって識別され、光源識別器２０５は、追跡エンジン２２５およびコマンド生成器２１５に光点座標２０８を供給し得る。追跡エンジン２２５は、レンズの視野にわたって各光線２９２、２８２を追跡し、コマンド生成器２１５のために光点座標２０８を動的に更新し得る。コマンド生成器２１５は、座標２０８に基づいてマスクコマンド２１７を生成し、マスクコマンド２１７は、マスキングコントローラ２５０によって、直接光線２９２に対する遮断画素２９４および光線２８２に対する遮断画素２８４をアクティブ化するために実行され得る。
【００３８】
従って、直接光線２９２および光線２８２の両方が立体視カメラ２１０の右側のレンズを横断する際、マスキングコントローラ２５０は、直接光線２９２および光線２８２が右側のレンズの視野内にある間、直接光線２９２および光線２８２を連続的に遮断するために、応答的な電圧信号２５２を動的に生成して、追跡されている光点座標２０８によって示される画素に送信し得る。本明細書において述べたように、遮断画素２９４、２８４は、二値の実装例では完全にアクティブ化され、または、グレースケールの実装例では、光源識別器２０５によって測定された輝度値２０９に基づいてグレースケールでアクティブ化され得る。
【００３９】
図２の議論において、インテリジェントなレンズマスキングシステム２００は、ＡＶ１００が任意の所与のルートに沿って移動する際に、光源の即座のまたはほぼ即座の動的なマスキングを行い得る。二値の態様では、マスキングコントローラ２５０は、指定されている遮断画素をアクティブ化するために同じ電圧信号２５２を生成し得る。グレースケールの態様では、マスキングコントローラ２５０は、光源を包含する複数の画素にわたる相対的な輝度および／または輝度勾配に基づいて様々な電圧信号２５２を生成し得る。更に、コマンド生成器２１５は、光源識別器２０５によって測定された輝度値２０９に基づいて光源の角サイズおよび形状を決定し、それに従って光源を遮断するために、マスキングコントローラ２５０に、対応する画素についての対応する電圧信号２５２を生成させ得る。電圧信号２５２は、遮断画素２３４、２８４、２９４についてのグレースケール化された勾配（例えば、中心により高い輝度値２０９およびそれに従ってより高い電圧信号値２５２を有する太陽２９０については、点勾配（point gradient））を生じ得る。従って、ＡＶ１００の車載データ処理システム１１０のデータ品質に負の影響を及ぼす光源が先制して遮断され、それにより、処理要件が低減され、ＡＶ１００の動作フローが高められる。
【００４０】
方法論
図３は、ＡＶ１００のカメラシステムのために光源を動的にマスキングする例示的な方法を説明する高レベルフローチャートである。以下の図３の説明では、図１に示されている同様の特徴を表している参照符号が参照され得る。更に、図３に関して説明される高レベル処理は、図１に関して説明される例示的なインテリジェントなレンズマスキングシステム１３５または図２に関して説明されるインテリジェントなレンズマスキングシステム２００によって行われ得る。図３を参照すると、インテリジェントなレンズマスキングシステム１３５は、リアルタイムのカメラデータ１０９内において光源を動的に識別し得る（３００）。光源は、太陽（３０２）（例えば、直接的な太陽光、反射された太陽光、または雲を通して拡散された太陽光）または人工光源（３０４）（例えば、ヘッドライト、緊急車輌のライト、街灯、スタジアムのライト、道路建設のライト等）に対応し得る。
【００４１】
多くの態様において、インテリジェントなレンズマスキングシステム１３５は、光源によって影響されるカメラアレイ１０５内のカメラを識別し得る（３０５）。各カメラ（またはその中のカメラレンズ）について、インテリジェントなレンズマスキングシステム１３５は、各光源についての視野座標を決定し得る（３１０）。視野座標を用いて、インテリジェントなレンズマスキングシステム１３５は、カメラのレンズのマスキング層上の遮断画素をアクティブおよび非アクティブにすることにより、カメラについて各光源を動的に遮断し得る（３１５）。インテリジェントなレンズマスキングシステム１３５は、ＡＶ１００が所与の領域を通って移動する際に通過する任意の数の光源について、図３に関して説明される処理を連続的に行い得る。更に、各光源について、インテリジェントなレンズマスキングシステム１３５は、視野に入った光源を直ちに識別して、その光源が特定のレンズの視野内にある間、その光源を遮断するために対応する画素をアクティブ化し得る。
【００４２】
図４は、ＡＶ１００のカメラシステムのために光源を動的にマスキングする例示的な方法を説明する低レベルフローチャートである。以下の図４の説明では、図１に示されている同様の特徴を表している参照符号が参照され得る。更に、図４に関して説明される低レベル処理は、図１に関して説明される例示的なインテリジェントなレンズマスキングシステム１３５または図２に関して説明されるインテリジェントなレンズマスキングシステム２００によって行われ得る。図４を参照すると、インテリジェントなレンズマスキングシステム１３５は、ＡＶ１００のカメラアレイ１０５内の各カメラの各レンズの視野内にある光源を動的に識別し得る（４００）。本明細書において述べたように、カメラは、個々のカメラ、複数のレンズを有する立体視カメラ１１２、赤外線カメラ、または紫外線カメラ（例えば、ＵＶ反射イメージング装置）であり得る。
【００４３】
多くの例において、インテリジェントなレンズマスキングシステム１３５は、各カメラについて、各光源の相対的な角サイズおよび形状を測定し得る（４０５）。更に、インテリジェントなレンズマスキングシステム１３５は、各レンズの視野内にある各光源についての座標を決定し得る（４１０）。この座標は、視野内における各光源の境界、または各光源についての中心位置を正確に示し得る。幾つかの態様において、インテリジェントなレンズマスキングシステム１３５は、マスキング層の各画素についての、または光源に対応する対象の各画素についての輝度値も測定し得る（４１５）。例えば、インテリジェントなレンズマスキングシステム１３５は、光源についての輝度値のマトリクスを生成し得る。
【００４４】
多くの例によれば、インテリジェントなレンズマスキングシステム１３５は、光源についての全体的な輝度が所定の閾値を超えるか否かを決定し得る（４２０）。例えば、インテリジェントなレンズマスキングシステム１３５は、輝度が、マスキング層上における光源の二値マスキングをトリガする最小閾値を超えるか否かを決定し得る。別の例として、インテリジェントなレンズマスキングシステム１３５は、生成された輝度値マトリクスの各画素が最小閾値輝度を超えるか否かを決定し得る。本明細書に記載されるように、最小閾値は、データ品質に対する影響と相関され得る。特定の光源については、データ品質に対する影響は最小であり得る（即ち、閾値輝度より低く測定され得る（４２２））ので、カメラレンズ上において光源をマスキングする必要はない。そのような光源、または光源に対応する個々の画素については、インテリジェントなレンズマスキングシステム１３５は、その光源を無視して、レンズの視野内における光源の動的な識別を継続し得る（４００）。
【００４５】
しかし、光源が閾値輝度を超える場合には（４２４）、インテリジェントなレンズマスキングシステム１３５は、影響される各カメラについて光源を遮断するために、指定されているマスキング層の画素をアクティブ化し得る（４２５）。インテリジェントなレンズマスキングシステム１３５は、最小輝度閾値を超える任意の数の検出された光源について、そのような能動的なマスキングを行い得る。更に、幾つかの例では、インテリジェントなレンズマスキングシステム１３５は、光源を正確に遮断するために対応する画素を完全にアクティブ化する二値マスキングを行い得る（４２７）。他の例では、インテリジェントなレンズマスキングシステム１３５は、測定された輝度値に基づいて（例えば、生成された輝度値マトリクスに従って）特定の画素をグレースケール化することによってグレースケール勾配を生じるグレースケールマスキングを行い得る（４２９）。
【００４６】
従って、インテリジェントなレンズマスキングシステム１３５は、光源が特定のレンズの視野内に留まっている間、その光源を遮断するために、適切な電圧信号を生成して各マスキング層１１４に送信し得る（４３０）。幾つかの態様において、マスキング層は透明なＬＣＤディスプレイ層で構成され、従って、インテリジェントなレンズマスキングシステム１３５は、ＬＣＤディスプレイ層の指定されている画素をアクティブ化し得るか、または別様で、ＬＣＤディスプレイ層の指定されている画素に対する適切な電圧信号を生成し得る（４３５）。
【００４７】
多くの例において、インテリジェントなレンズマスキングシステム１３５は、ＡＶ１００が所与の領域を通って移動する際に、ＡＶ１００の各カメラの視野にわたって各光源を追跡し得る（４４０）。インテリジェントなレンズマスキングシステム１３５は、ＡＶ１００上の各カメラのレンズの視野内にある各光源について、その光源が特定のレンズの視野内に留まっているか否かを決定し得る（４４５）。肯定された場合には（４４７）、インテリジェントなレンズマスキングシステム１３５は、その視野にわたってその光源の追跡を継続し得る（４４０）。しかし、その光源が特定のレンズの視野から出た場合には（４４９）、インテリジェントなレンズマスキングシステムは、その特定のレンズについてのマスキング層を非アクティブ化し得る（４５０）。インテリジェントなレンズマスキングシステム１３５は、各カメラの視野にわたって同じ光源および／または他の光源の追跡を継続し得る（４５５）。本明細書において示されるように、インテリジェントなレンズマスキングシステム１３５は、光源を連続的に遮断するために、各カメラのそれぞれのマスキング層上の画素を動的にアクティブ化および非アクティブ化し（４６０）、ＡＶ１００のカメラの視野内にある光源の識別を動的に継続し得る（４００）。
【００４８】
ハードウェア図
図５は、本明細書に記載される例が実装され得るコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、例えば、１台のサーバまたは複数のサーバの組合せ上で実装され得る。例えば、コンピュータシステム５００は、図１および図２に関して図示されると共に記載されるインテリジェントなレンズマスキングシステム１３５または２００として実装され得る。特定の態様において、インテリジェントなレンズマスキングシステム２００の機能は、図１に関して図示すると共に説明されるように、ＡＶ１００の車載データ処理システム１１０の一部として実装され得るものであり、車載データ処理システム１１０そのものが、図５に示されているコンピュータシステム５００によって表され得る。また、インテリジェントなレンズマスキングシステム２００は、図５に関連して記載されるように、スタンドアロンのシステムまたは複数のコンピュータシステム５００の組合せを用いて実装され得る。
【００４９】
１つの実装例において、コンピュータシステム５００は、処理リソース５１０、主メモリ５２０、読み出し専用メモリ（ＲＯＭ）５３０、ストレージ装置５４０、およびアレイインターフェース５５０を含む。コンピュータシステム５００は、プロセッサ５１０によって実行可能な情報および指示を格納するための、例えば、ランダムアクセスメモリ（ＲＡＭ）または他の動的ストレージ装置等によって設けられる主メモリ５２０に格納されている情報を処理するための少なくとも１つのプロセッサ５１０を含む。主メモリ５２０は、プロセッサ５１０によって実行される指示の実行中に、一時変数または他の中間情報を格納するためにも用いられ得る。コンピュータシステム５００は、プロセッサ５１０のための静的な情報および指示を格納するためのＲＯＭ５３０または他の静的ストレージ装置も含み得る。情報および指示を格納するために、例えば磁気ディスクまたは光ディスク等のストレージ装置５４０が設けられる。
【００５０】
アレイインターフェース５５０は、コンピュータシステム５００が、無線電子リンクまたは有線インターフェース（例えば、内部バスおよび／もしくは外部バス等）を用いてカメラアレイ５８０の構成要素（例えば、マスキング層１１４）と通信するのを可能にする。複数の例によれば、コンピュータシステム５００は、ＡＶ１００のセンサアレイ１０５を介してリアルタイムのカメラデータ５８２を受信する。メモリ５３０に格納されている実行可能な指示は、ＡＶ１００のカメラシステムの視野内にある光源を能動的に遮断するために、プロセッサ５１０が１組のマスクコマンド５５４を決定して実行するために実行するマスキング指示５２２を含み得る。
【００５１】
プロセッサ５１０は、図１〜図４に関連して説明したような実装例と共に説明された、および本願のどこかに記載されている、１以上の処理、ステップ、および他の機能を行うためのソフトウェアおよび／または他の論値を有するよう構成される。
【００５２】
本明細書に記載される例は、本明細書に記載される技術を実装するためのコンピュータシステム５００の使用に関する。一例によれば、これらの技術は、コンピュータシステム５００によって、主メモリ５２０に収容されている１以上の指示の１以上のシーケンスをプロセッサ５１０が実行することに応答して行われる。そのような指示は、別の機械可読媒体（例えば、ストレージ装置５４０等）から主メモリ５２０に読み込まれ得る。主メモリ５２０に収容されている指示のシーケンスの実行は、プロセッサ５１０に、本明細書に記載されている処理工程を行わせる。別の実装例では、本明細書に記載された例を実装するために、ソフトウェア指示の代わりに、またはそれと組み合わせて、配線された回路が用いられ得る。従って、記載された例は、ハードウェア回路およびソフトウェアのいかなる具体的な組合せにも限定されない。
【００５３】
本明細書に記載されている例は、本明細書に記載されている他の概念、アイデア、またはシステムから独立して、本明細書に記載されている個々の要素および概念にまで及ぶと共に、例えば、本願のどこかに記載されている要素の組合せを含むことが意図される。本明細書には、添付の図面を参照して複数の例が詳細に記載されているが、本概念は、それらの正確な例に限定されないことを理解されたい。従って、当業者には多くの変形および変更が自明である。従って、本概念の範囲は、添付の特許請求の範囲およびそれらの等価物によって定められることが意図される。更に、個々にまたは例の一部として記載された特定の特徴は、たとえ他の特徴および例が、その特定の特徴に言及していなくても、他の個々に記載された特徴、または他の例の一部と組み合わされ得ることが意図される。従って、組合せが記載されていないことによって、そのような組合せに対する権利を主張することが除外されるべきではない。
【符号の説明】
【００５４】
１００  自律走行車（ＡＶ）
１０５  センサアレイ
１０７  センサデータ
１０９、２１８  リアルタイムのカメラデータ
１１０  データ処理システム
１１２、２１０  立体視カメラ
１１４、２１２  マスキング層
１１８  レンズ
１２０  ＡＶ制御システム
１３５、２００  インテリジェントなレンズマスキングシステム
１３７、２１７  マスクコマンド
２０５  光源識別器
２０８  光点座標
２１５  コマンド生成器
２２５  追跡エンジン
２５０  マスキングコントローラ
２５２  電圧信号
２９４  遮断画素
【図１】
2019506781.tif 000003
【図２】
2019506781.tif 000004
【図３】
2019506781.tif 000005
【図４】
2019506781.tif 000006
【図５】
2019506781.tif 000007
【国際調査報告】
2019506781.tif 000008
2019506781.tif 000009