(57)【要約】      （修正有）【課題】信号機がない交差点において車両をナビゲートするための命令を生成するシステム及び方法を提供する。【解決手段】信号機がない交差点において車両をナビゲートするための命令を生成する方法は、車両の一連の行動にわたって期待収益を生成するステップ（４１０）と、車両のための最大価値を伴う行動を選択することによって最適ポリシーを決定するステップ（４２０）と、ダイナミックフレームスキッピングを実行して車両の反復行動の学習を促進させるステップ（４３０）と、経験再生に優先順位を付けるステップ（４４０）と、複数の状態−行動表現を生成するステップ（４５０）と、複数の状態−行動表現に基づいて信号機がない交差点をナビゲートするための命令を生成するステップ（４６０）と、車両が信号機がない交差点をナビゲートするための命令を車両に送信するステップ（４７０）を含む。【選択図】図４
2020009416.tif 000002
【特許請求の範囲】
【請求項１】
信号機がない交差点において車両をナビゲートするための命令を生成するシステムであって、
信号機がない交差点においてナビゲートするための命令を生成するプロセスを実行するための命令を記憶するメモリと、
前記命令を実行するように構成されたプロセッサと、
を備え、
前記プロセスは、
前記車両の一連の行動にわたって期待収益を生成し、
前記車両のための最大価値を伴う行動を選択することによって最適ポリシーを決定し、
ダイナミックフレームスキッピング（ｄｙｎａｍｉｃ  ｆｒａｍｅ  ｓｋｉｐｐｉｎｇ）を実行して前記車両の反復行動の学習を促進させ、
経験再生バッファを利用することにより経験再生に優先順位を付けて、前記車両の連続するステップ間の相関関係を壊し、
前記期待収益、前記最適ポリシー、前記ダイナミックフレームスキッピング、又は、優先順位が付けられた前記経験再生のうちの少なくとも１つに基づいて複数の状態−行動表現を生成し、
前記複数の状態−行動表現に基づいて、信号機がない交差点をナビゲートするための命令を生成し、
前記車両が信号機がない交差点をナビゲートするための前記命令を実行するように、信号機がない交差点をナビゲートするための前記命令を前記車両に送信する、
ことを含む、システム。
【請求項２】
請求項１記載のシステムにおいて、
前記複数の状態−行動表現は、１つ以上のＤｅｅｐ  Ｑ−Ｎｅｔｗｏｒｋ（ＤＱＮ）を備える、
システム。
【請求項３】
請求項２記載のシステムにおいて、
前記プロセッサはさらに、前記車両を取り囲む空間を前記車両の基準座標系に対するグリッドへと離散化するように構成され、前記車両を取り囲む前記空間は、前記車両から行われる走査に基づいて構成される、
システム。
【請求項４】
請求項３記載のシステムにおいて、
前記１つ以上のＤＱＮの第１のＤＱＮでは、前記空間内で前記車両を取り囲む１つ以上の二次的車両は、それぞれのヘディング角、速度、又は、計算された衝突余裕時間のうちの少なくとも１つによって表わされ、
前記１つ以上のＤＱＮの第２のＤＱＮでは、前記空間内で前記車両を取り囲む１つ以上の二次的車両は、それぞれのヘディング角、速度、及び、バイアス項のうちの少なくとも１つによって表わされる、
システム。
【請求項５】
請求項３記載のシステムにおいて、
前記１つ以上のＤＱＮの第１のＤＱＮは、漏洩正規化線形ユニット（ＲｅＬＵ）活性化関数を伴う完全接続ネットワークを備え、前記完全接続ネットワークは、
それぞれが複数のノードを含む３つの隠れ層と、
複数の時間スケールにおける前記車両の複数の行動に対応する複数の出力を伴う１つの線形層と、
を含む、システム。
【請求項６】
請求項３記載のシステムにおいて、
前記１つ以上のＤＱＮの第１のＤＱＮは、複数の畳み込み層と、１つの完全接続層と、１つの線形出力層とを含む畳み込みニューラルネットワークを備え、前記複数の畳み込み層のそれぞれ及び前記完全接続層は、漏洩正規化線形ユニット（ＲｅＬＵ）活性化関数を利用し、前記線形出力層は、複数の出力を備える、
システム。
【請求項７】
請求項２記載のシステムにおいて、
前記プロセッサはさらに、シミュレートされた交通に基づいて前記１つ以上のＤＱＮをトレーニングするように構成される、
システム。
【請求項８】
信号機がない交差点において車両をナビゲートするための命令を生成する方法であって、該方法は、
前記車両の一連の行動にわたって期待収益を生成するステップと、
前記車両のための最大価値を伴う行動を選択することによって最適ポリシーを決定するステップと、
ダイナミックフレームスキッピング（ｄｙｎａｍｉｃ  ｆｒａｍｅ  ｓｋｉｐｐｉｎｇ）を実行して前記車両の反復行動の学習を促進させるステップと、
経験再生バッファを利用することにより経験再生に優先順位を付けて、前記車両の連続するステップ間の相関関係を壊すステップと、
前記期待収益、前記最適ポリシー、前記ダイナミックフレームスキッピング、又は、優先順位が付けられた前記経験再生のうちの少なくとも１つに基づいて複数の状態−行動表現を生成するステップと、
前記複数の状態−行動表現に基づいて、信号機がない交差点をナビゲートするための命令を生成するステップと、
前記車両が信号機がない交差点をナビゲートするための前記命令を実行するように前記命令を前記車両に送信するステップと、
を含む、方法。
【請求項９】
請求項８記載の方法において、
前記複数の状態−行動表現は、１つ以上のＤｅｅｐ  Ｑ−Ｎｅｔｗｏｒｋ（ＤＱＮ）を備える、
方法。
【請求項１０】
請求項９記載の方法において、
前記方法はさらに、前記車両を取り囲む空間を、前記車両の基準座標系に対するグリッドへと離散化するステップを含み、前記車両を取り囲む前記空間は、前記車両から行われる走査に基づいて構成される、
方法。
【請求項１１】
請求項１０記載の方法において、
前記１つ以上のＤＱＮの第１のＤＱＮでは、前記空間内で前記車両を取り囲む１つ以上の二次的車両は、それぞれのヘディング角、速度、又は、計算された衝突余裕時間のうちの少なくとも１つによって表わされ、
前記１つ以上のＤＱＮの第２のＤＱＮでは、前記空間内で前記車両を取り囲む１つ以上の二次的車両は、それぞれのヘディング角、速度、及び、バイアス項のうちの少なくとも１つによって表わされる、
方法。
【請求項１２】
請求項９記載の方法において、
前記１つ以上のＤＱＮの第１のＤＱＮは、漏洩正規化線形ユニット（ＲｅＬＵ）活性化関数を伴う完全接続ネットワークを備え、前記完全接続ネットワークは、
それぞれが複数のノードを含む３つの隠れ層と、
複数の時間スケールにおける前記車両の複数の行動に対応する複数の出力を伴う１つの線形層と、
を含む、方法。
【請求項１３】
請求項９記載の方法において、
前記１つ以上のＤＱＮの第１のＤＱＮは、複数の畳み込み層と、１つの完全接続層と、１つの線形出力層とを含む畳み込みニューラルネットワークを備え、前記複数の畳み込み層のそれぞれ及び前記完全接続層は、漏洩正規化線形ユニット（ＲｅＬＵ）活性化関数を利用し、前記線形出力層は、複数の出力を備える、
方法。
【請求項１４】
請求項９記載の方法において、
該方法はさらに、シミュレートされた交通に基づいて前記１つ以上のＤＱＮをトレーニングするステップを含む、
方法。
【請求項１５】
実行可能なコンピュータプログラムコードを含む非一過性コンピュータ可読記憶媒体であって、前記コードは、
車両の一連の行動にわたって期待収益を生成し、
前記車両のための最大価値を伴う行動を選択することによって最適ポリシーを決定し、
ダイナミックフレームスキッピング（ｄｙｎａｍｉｃ  ｆｒａｍｅ  ｓｋｉｐｐｉｎｇ）を実行して前記車両の反復行動の学習を促進させ、
経験再生バッファを利用することにより経験再生に優先順位を付けて、前記車両の連続するステップ間の相関関係を壊し、
前記期待収益、前記最適ポリシー、前記ダイナミックフレームスキッピング、又は、優先順位が付けられた前記経験再生のうちの少なくとも１つに基づいて複数の状態−行動表現を生成し、
前記複数の状態−行動表現に基づいて、信号機がない交差点をナビゲートするための命令を生成し、
前記車両が信号機がない交差点をナビゲートするための前記命令を実行するように前記命令を前記車両に送信する、
ように構成される命令を含む、非一過性コンピュータ可読記憶媒体。
【請求項１６】
請求項１５記載の非一過性コンピュータ可読記憶媒体において、
前記複数の状態−行動表現は、１つ以上のＤｅｅｐ  Ｑ−Ｎｅｔｗｏｒｋ（ＤＱＮ）を備える、
非一過性コンピュータ可読記憶媒体。
【請求項１７】
請求項１６記載の非一過性コンピュータ可読記憶媒体において、
前記コードはさらに、前記車両を取り囲む空間を前記車両の基準座標系に対するグリッドへと離散化するための命令を含み、前記車両を取り囲む前記空間は、前記車両から行われる走査に基づいて構成される、
非一過性コンピュータ可読記憶媒体。
【請求項１８】
請求項１７記載の非一過性コンピュータ可読記憶媒体において、
前記１つ以上のＤＱＮの第１のＤＱＮでは、前記空間内で前記車両を取り囲む１つ以上の二次的車両は、それぞれのヘディング角、速度、又は、計算された衝突余裕時間のうちの少なくとも１つによって表わされ、
前記１つ以上のＤＱＮの第２のＤＱＮでは、前記空間内で前記車両を取り囲む１つ以上の二次的車両は、それぞれのヘディング角、速度、及び、バイアス項のうちの少なくとも１つによって表わされる、
非一過性コンピュータ可読記憶媒体。
【請求項１９】
請求項１６記載の非一過性コンピュータ可読記憶媒体において、
前記１つ以上のＤＱＮの第１のＤＱＮは、漏洩正規化線形ユニット（ＲｅＬＵ）活性化関数を伴う完全接続ネットワークを備え、前記完全接続ネットワークは、
それぞれが複数のノードを含む３つの隠れ層と、
複数の時間スケールにおける前記車両の複数の行動に対応する複数の出力を伴う１つの線形層と、
を含み、
前記１つ以上のＤＱＮの第２のＤＱＮは、複数の畳み込み層と、１つの完全接続層と、１つの線形出力層とを含む畳み込みニューラルネットワークを備え、前記複数の畳み込み層のそれぞれ及び前記完全接続層は、漏洩正規化線形ユニット（ＲｅＬＵ）活性化関数を利用し、前記線形出力層は、複数の出力を備える、
非一過性コンピュータ可読記憶媒体。
【請求項２０】
請求項１５記載の非一過性コンピュータ可読記憶媒体において、
前記コードはさらに、シミュレートされた交通に基づいて前記１つ以上のＤＱＮをトレーニングするための命令を含む、
非一過性コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書中の主題は、車両の自動運転のための方法及びシステムに関する。
【背景技術】
【０００２】
信号機がない交差点をうまく通り抜けるために、ドライバーは、車両の動態を理解し、他のドライバーの意図を読み取り、他のドライバーが適切に応答できるように予測可能に振舞わなければならない。しかしながら、この挙動を自律車両で学習するには、安全性、効率、及び、交通の寸断の最小化を含む、相反する複数の目的を最適化する必要がある。安全性、効率、及び、交通の寸断の最小化の間の均衡化は、人間のドライバーにとってさえ困難となり得る。その結果、自律車両にとって最も困難な課題のうちの１つが、都市環境における信号機がない交差点に対処することである。難題は、殆どが予測不可能な自律運転システム挙動から生じる。規則に基づく交差点対処方法は信頼でき且つ解釈容易な解決策を与えるが、これらの方法は、準最適な挙動及び課題遂行をもたらす場合がある。
【０００３】
従来の規則に基づく方策は、協働的手法及び発見的手法を含む。協働的手法は、車両間通信を必要とし、従って、一般的な交差点対処へと拡張できない。発見的手法は、衝突余裕時間（ＴＴＣ）を基礎とする規則に基づく方法である。ＴＴＣは、多くの利点を有するが、限界も有する。例えば、ＴＴＣモデルは一定の速度を仮定し、それにより、ドライバーの意図に関するほぼ全ての情報が無視される。さらに、人間のドライバーのしばしば予測不可能な挙動が、規則に基づくアルゴリズムの使用を困難にする場合がある。従って、多くの場合、ＴＴＣを使用する自律運転システムが過度に慎重となる場合があり、それにより、不必要な遅れがもたらされ得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
交差点対処のため、例えば模倣学習、オンライン計画、及び、オフライン学習等、他の機械学習に基づく手法が使用されてきた。これらの手法のそれぞれは、利点を有する場合があるが、欠点も有する。例えば、模倣学習では、人間のドライバーからポリシーが学習される。しかしながら、このポリシーは、自律運転システムがトレーニングデータの一部でない状態、例えば以前に学習されなかった状態にあると判定すれば解決策を与えない。オンライン計画は、現在の時間ステップから今後の状態をシミュレートすることによって、とるべき最良の行動を計算する。交差点に対処するべく部分観測モンテカルロ計画（ＰＯＭＣＰ）に基づくオンライン計画が示されているが、これらのオンライン計画は、正確な生成的モデルの存在に依存する。オフライン学習手法は、しばしば最終段階でマルコフ決定過程（ＭＤＰ）を使用することによって交差点問題に取り組む。オフライン学習は、収集データに基づいてシステムをトレーニングすることを伴う場合があり、それにより、システムが多量のデータに基づいてトレーニングでき、また、しばしば、実行時に速いシステムがもたらされる。しかしながら、欠点の１つの例は、結果として得られるシステムがその後に「固定され」て新たな状況に適合できない場合があるという点である。
【課題を解決するための手段】
【０００５】
この概要は、詳細な説明において以下でさらに記載される概念の選択を簡略的形態でもたらすべく与えられる。この概要は、特許請求の範囲に記載される主題の重要な特徴を特定しようとするものではなく、特許請求の範囲に記載される主題の範囲の決定に役立つものとして使用されるようになっているものでもない。
【０００６】
いくつかの態様において、本開示は、学習速度を高めて性能を向上させるために深層学習技術を組み合わせる。例えば、いくつかの態様において、本開示は、強化学習技術を使用して、一連の行動にわたって車両の期待収益を最大にする、並びに、Ｑ−学習技術を使用して、期待収益を最適化する。更なる態様において、本開示は、ダイナミックフレームスキッピングを使用して反復行動の学習を促進させると共に、優先順位が付けられた応答を使用して肯定的ケース及び否定的ケースの両方の学習を確保する。さらに、様々な態様において、本開示は、経験再生学習により課されるオフポリシー性を利用して、全ｎステップ収益を計算してトレーニングし、それにより、Ｄｅｅｐ  Ｑ−Ｎｅｔｗｏｒｋ（ＤＱＮ）の学習時間を減らす。また、信号機がない交差点をナビゲートするための本開示の技術は、シミュレートされた交通シナリオの結果の比較によって実証されるように、既存の技術に優る向上された性能をもたらす。
【０００７】
本開示の態様の特性であると考えられる新規な特徴は、添付の特許請求の範囲に記載される。以下の説明において、同様の部分には、明細書及び図面の全体にわたって同じ数字がそれぞれ付される。図面の図は、必ずしも原寸に比例して描かれておらず、また、明確及び簡潔にするために、特定の図が誇張された又は一般化された形態で示される場合がある。しかしながら、開示自体、並びに、好ましい使用形態、更なる目的、及び、その進展は、本開示の例示的な態様の以下の詳細な説明を参照することにより、添付図面と併せて読むと、最も良く理解され得る。
【図面の簡単な説明】
【０００８】
【図１】図１は、本開示の態様に係る、車両システムの動作環境の一例の概略図を示す。
【図２】図２は、本開示の態様に係る、車両システムを管理するためのネットワークの一例を示す。
【図３】図３Ａ〜図３Ｅは、本開示の態様に係るトレーニングシナリオの例を示す。
【図４】図４は、本開示の態様に係る、信号機がない交差点において車両をナビゲートするための命令を生成する方法のフローチャートを示す。
【図５】図５は、本開示の態様と併せて用いるコンピュータシステムの一例の様々な特徴を示す。
【発明を実施するための形態】
【０００９】
以下は、本明細書中で使用される選択用語の定義を含む。定義は、用語の範囲に入ると共に実施のために使用され得る構成要素の様々な例及び／又は形態を含む。これらの例は限定しようとするものではない。
【００１０】
本明細書中で使用される「プロセッサ」は、信号を処理して、一般的なコンピュータ機能及び演算機能を果たす。プロセッサにより処理される信号としては、受信され、送信され、及び／又は、検出され得るデジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は、他のコンピューティングを挙げることができる。
【００１１】
本明細書中で使用される「バス」は、単一又は複数のシステム内のコンピュータ構成要素間でデータを転送するために動作可能に接続される相互接続アーキテクチャを指す。バスは、とりわけ、メモリバス、メモリコントローラ、ペリフェラルバス、外部バス、クロスバースイッチ、及び／又は、ローカルバスであってもよい。また、バスは、とりわけ、コントローラ・エリア・ネットワーク（ＣＡＮ）、ローカル相互接続ネットワーク（ＬＩＮ）等のプロトコルを使用して車両内の構成要素を相互接続する車両バスであってもよい。
【００１２】
本明細書中で使用される「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含んでもよい。不揮発性メモリとしては、例えば、ＲＯＭ（リードオンリーメモリ）、ＰＲＯＭ（プログラマブルリードオンリーメモリ）、ＥＰＲＯＭ（消去可能ＰＲＯＭ）、及び、ＥＥＰＲＯＭ（電気的消去可能ＰＲＯＭ）を挙げることができる。揮発性メモリとしては、例えば、ＲＡＭ（ランダムアクセスメモリ）、同期ＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、及び／又は、ダイレクトＲＡＭバスＲＡＭ（ＤＲＲＡＭ）を挙げることができる。
【００１３】
本明細書中で使用される「動作可能接続」は、それによってエンティティが「動作可能に接続される」接続を含むことができ、信号、物理的通信、及び／又は、論理的通信を送る及び／又は受けることができるものである。動作可能接続としては、物理インタフェース、データインタフェース、及び／又は、電気インタフェースを挙げることができる。
【００１４】
本明細書中で使用される「車両」は、任意の形態のエネルギーにより動力が供給される任意の移動車両を指す。車両は、人間の搭乗者又は荷物を運ぶことができる。「車両」という用語は、自動車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクーター、ボート、パーソナルウォータークラフト、及び、航空機を含むが、これらに限定されない。ある場合には、自動車両が１つ以上のエンジンを含む。
【００１５】
図１を参照すると、本開示の一態様に係る車両システム１１０の動作環境１００の一例の概略図が示される。車両システム１１０は車両１０２内に存在してもよい。本明細書中で論じられる車両システム１１０の構成要素、並びに、他のシステムの構成要素、ハードウェアアーキテクチャ、及び、ソフトウェアアーキテクチャは、組み合わされてもよく、省かれてもよく、或いは、様々な実装状態へと編成されてもよい。
【００１６】
車両１０２は、一般に、複数の車両システムを動作可能に制御する電子制御ユニット（ＥＣＵ）１１２を含んでもよい。車両システムは、数ある中でもとりわけ、車両ＨＶＡＣシステム、車両オーディオシステム、車両ビデオシステム、車両インフォテインメントシステム、車両テレフォンシステム等を含めて、車両システム１１０を含んでもよいが、これらに限定されない。車両システム１１０は、内部カメラ１２０、道路カメラ１２１、ライダー（Ｌｉｄａｒ）レーザスキャナ１２２、及び、車両コントローラ・エリア・ネットワーク（ＣＡＮ）リーダ１２３を含むがこれらに限定されない複数のマルチモーダルセンサを含んでもよい。いくつかの態様において、複数のマルチモーダルセンサは、車両１０２を取り囲む環境の画像を与える及び／又は車両１０２の動作に関連するデータを与えるためにＥＣＵ１１２に接続されてもよい。更なる態様において、ＣＡＮリーダ１２３は、速度、制動、スロットル、ステアリング、ヨーレート、及び、速さ等を含むがこれらに限定されない車両情報を与えてもよい。いくつかの態様において、複数のマルチモーダルセンサからの信号のそれぞれは、共通のシステムクロックに同期されてもよい。
【００１７】
また、車両システム１１０は、内部カメラ１２０、道路カメラ１２１、ライダーレーザスキャナ１２２、車両コントローラ・エリア・ネットワーク（ＣＡＮ）リーダ１２３、ヘッドライト１２４、テールライト１２６、通信デバイス１３０、及び、自律運転システム１３２と通信するプロセッサ１１４及びメモリ１１６を含んでもよい。
【００１８】
ＥＣＵ１１２は、内部処理メモリ、インタフェース回路、及び、データを転送し、コマンドを送信し、車両システムと通信するためのバスラインを含んでもよい。ＥＣＵ１１２は、図示しない内部プロセッサ及びメモリを含んでもよい。また、車両１０２は、車両システム１１０の様々な構成要素間で内部的にデータを送信するためのバスを含んでもよい。
【００１９】
車両１０２は、車両１０２内の特徴及びシステムに関して並びに外部デバイスに関して電子信号を内部的に送信／受信するべく様々なプロトコルを利用して有線又は無線コンピュータ通信を行なうための通信デバイス１３０（例えば、無線モデム）をさらに含んでもよい。これらのプロトコルは、無線周波数（ＲＦ）通信（例えば、ＩＥＥＥ ８０２．１１（ＷｉＦｉ）、ＩＥＥＥ ８０２．１５．１（ブルートゥース（登録商標）））、近距離無線通信システム（ＮＦＣ）（例えば、ＩＳＯ １３１５７）、ローカル・エリア・ネットワーク（ＬＡＮ）、無線広域ネットワーク（ＷＷＡＮ）（例えば、セルラー）、及び／又は、ポイント・ツー・ポイントシステムを利用する無線システムを含んでもよい。さらに、車両１０２の通信デバイス１３０は、電子制御ユニット１１２と車両の特徴及びシステムとの間のデータ入出力を容易にするためにバス（例えば、ＣＡＮ又はＬＩＮプロトコルバス）を介して内部コンピュータ通信を行なえるように動作可能に接続されてもよい。一態様において、通信デバイス１３０は、車両間（Ｖ２Ｖ）通信を行なえるように構成されてもよい。例えば、Ｖ２Ｖ通信は、専用の周波数スペクトルにわたる無線通信を含んでもよい。他の例として、Ｖ２Ｖ通信は、ＷｉＦｉ又はブルートゥース（登録商標）を使用して構築される車両間のアドホックネットワークを含んでもよい。
【００２０】
車両１０２はヘッドライト１２４及びテールライト１２６を含んでもよく、これらのライトは、車両で使用される任意の従来のライトを含んでもよい。ヘッドライト１２４及びテールライト１２６は、様々な通知を行なうために車両システム１１０及び／又はＥＣＵ１１２によって制御されてもよい。例えば、ヘッドライト１２４及び／又はテールライト１２６は、車両１０２の環境を走査する際に望ましい照明を与えるように作動され又は制御されてもよい。
【００２１】
いくつかの態様において、自律運転システム１３２は、メモリ１１６に記憶される信号機がない交差点をナビゲートするためのプロセスを実行するための命令に基づいて運転操作を実行してもよい。
【００２２】
図２は、車両システム１１０を管理するためのネットワーク２００の一例を示す。ネットワーク２００は、複数のシステム間の通信を容易にする通信ネットワークであってもよい。例えば、ネットワーク２００は、インターネット又は他のインターネットプロトコル（ＩＰ）に基づくネットワークを含んでもよい。ネットワーク２００は、車両システム１１０がモバイル機器２１０、モバイルサービスプロバイダ２２０、及び／又は、製造業者システム２３０と通信できるようにしてもよい。車両１０２内の車両システム１１０は、通信デバイス１３０を介してネットワーク２００と通信してもよい。車両システム１１０は、例えば、信号機がない交差点をナビゲートするための命令を製造業者システム２３０から受信してもよい。さらに、車両システム１１０は、マルチモーダルセンサにより収集されるデータを製造業者システム２３０へ送信してもよい。
【００２３】
製造業者システム２３０は、１つ以上の車両製造業者又はディーラーと関連付けられる、以下に記載される図５に関して示されるようなコンピュータシステムを含んでもよい。製造業者システム２３０は、フロントカメラ１２０、ルーフカメラ１２１、及び／又は、リアカメラ１２２によって収集されるデータを記憶する１つ以上のデータベースを含んでもよい。製造業者システム２３０は、信号機がない交差点をナビゲートするための命令を生成して、信号機がない交差点をナビゲートするための命令を車両１０２に送信してもよい。いくつかの態様において、製造業者システム２３０は、信号機がない交差点をナビゲートするための命令をメモリ、例えば図５に示されるような主メモリ５０８又は副メモリ５１０に記憶してもよい。
【００２４】
信号機がない交差点をナビゲートするための命令を生成するために、製造業者システム２３０は、Ｄｅｅｐ  Ｑ−Ｎｅｔｗｏｒｋ（ＤＱＮ）を使用して、状態行動価値（ｓｔａｔｅ  ａｃｔｉｏｎ  ｖａｌｕｅ）を学習してもよい。ＤＱＮを成長させるために、製造業者システム２３０は、強化学習フレームワークを実行してもよい。強化学習フレームワークでは、時間ｔにおいて、状態ＳTにおけるエージェント（例えば、自律運転システム１３２のシミュレーション）は、ポリシーπに従って行動ａtをとり、エージェントは、次の状態Ｓt+1へ遷移し、報酬ｒtを受ける。いくつかの態様において、一連の状態、行動、及び、報酬は、区間Ｔにわたって軌跡τ＝｛（ｓ1，ａ1，ｒ1），．．．，（ｓt，ａt，ｒt）｝として与えられてもよい。
【００２５】
さらなる態様において、強化学習は、一組の状態Ｓ、エージェントが実行し得る一組の行動Ａ、状態遷移確率Ｐ、報酬関数Ｒ、及び、割引係数γに基づいてマルコフ決定過程（ＭＤＰ）として定式化される。いくつかの態様において、ＭＤＰは、現在の状態及び行動を所与として新たな状態へ遷移する確率に基づいてもよく、この確率は、任意の以前の状態及び行動とは無関係である。いくつかの態様において、状態遷移確率Ｐは、Ｐ：Ｓ×Ｓ→［０，１］として表され、システムダイナミクスを記述する。報酬関数Ｒは、Ｒ：Ｓ×Ａ×Ｓ→Ｒとして表され、所定の時間ステップにわたって実数値の報酬を与える。割引係数γは、γ∈（０，１］として与えられ、以前の報酬に関して優先権（ｐｒｅｆｅｒｅｎｃｅ）を付加して、無限時間区間の場合に安定性を与える。いくつかの態様において、強化学習フレームワークは、期待収益を最大にする。ここで、一連の行動にわたる期待収益は、
【数１】
2020009416.tif 000003
として表わされる。また、所定の状態における期待収益は、
【数２】
2020009416.tif 000004
として表わされる。
【００２６】
さらなる態様において、製造業者システム２３０は、Ｑ−学習フレームワークを使用することによって期待収益を最大にする。Ｑ−学習フレームワークにおいて、所定のポリシーπに従う状態−行動ペアに関して、行動価値関数は、Ｑπ（ｓ，ａ）として表わされ、これは、Ｅ［Ｒｔ｜ｓｔ＝ｓ，ａ］として表わされる期待収益である。いくつかの態様において、Ｑ＊（ｓ，ａ）として表わされる最適価値関数を所与とした場合、時間ステップごとに、ｍａｘaＱ＊（ｓ，ａ）として表わされる最大価値を有する行動を選択することによって、最適ポリシーが決定される。
【００２７】
さらに、最適価値関数は、1つ以上のパラメータθに基づき、Ｑ＊（ｓ，ａ）≒Ｑ（ｓ，ａ；θ）として表わされるニューラルネットワークを使用して近似されてもよい。さらなる態様において、最適価値関数は、式（１）に基づいて、期待収益とニューラルネットワークにより予測される状態−行動ペアの値との間のエラーを繰り返し最小化することによって学習されてもよい。
【００２８】
【数３】
2020009416.tif 000005
【００２９】
いくつかの態様において、製造業者システム２３０は、式（２）に示される１ステップ収益を使用して真の収益を近似してもよい。
【００３０】
【数４】
2020009416.tif 000006
【００３１】
さらなる態様において、学習は、効率を向上させるべくｎステップ収益を使用して達成されてもよい。例えば、ｎステップ収益は、式（３）を使用して決定される。
【００３２】
【数５】
2020009416.tif 000007
【００３３】
さらに、学習中、製造業者システム２３０は、確率εを伴うランダム行動を選択してランダム探索を促進させることによって、及び、現在のネットワークに従って最も高い確率を伴う最良の行動、例えばｍａｘaＱ（ｓ，ａ；θ）、を選択することによって、ε−グリーディポリシー（ε−ｇｒｅｅｄｙ  ｐｏｌｉｃｙ）を実行してもよい。
【００３４】
いくつかの態様では、信号機がない交差点をナビゲートするための命令を生成するために、製造業者システム２３０は、ダイナミックフレームスキッピング（ｄｙｎａｍｉｃ  ｆｒａｍｅ  ｓｋｉｐｐｉｎｇ）を使用してランダム探索の有効性を向上させてもよい。例えば、製造業者システム２３０は、長期間にわたって行動を選択して、製造業者システム２３０の学習時間を改善してもよい。いくつかの様々な態様では、試行錯誤により探索して車が通過するのを待つのに適した時間を学習するのではなく、製造業者システム２３０は、例えば、「８ステップ待つ（ｗａｉｔ  ｅｉｇｈｔ  ｓｔｅｐｓ）」行動が適していることを発見してもよい。いくつかの態様では、ダイナミックフレームスキッピングは、自律運転システム１３２によって実行されてもよい。
【００３５】
さらなる態様では、信号機がない交差点をナビゲートするための命令を生成するために、製造業者システム２３０は、経験再生（ｅｘｐｅｒｉｅｎｃｅ  ｒｅｐｌａｙ）に優先順位を付けてもよい。例えば、製造業者システム２３０は、経験再生バッファを利用して、車両１０２の連続するステップ間の相関関係を壊してもよい。これを達成するために、１つ以上の経験再生バッファは、以前の軌跡を記憶してもよい。１つ以上の経験再生バッファを使用することにより、重要なシーケンスを、これらの重要なシーケンスがそれほど頻繁に起こらない場合であっても、優先的にサンプリングすることができる。いくつかの態様において、経験再生は、そのようなサンプリングを行なって、軌跡の全体にわたり報酬を均衡化させ、それにより、ランクリスト（ｒａｎｋ  ｌｉｓｔ）の計算を回避してもよい。いくつかの態様では、任意の数の時間ステップが記憶されてもよいことが当業者により理解されるべきであるが、１つ以上の経験再生バッファが約１０００００個の時間ステップを記憶してもよい。いくつかの態様において、１つ以上の経験再生バッファは、衝突を記憶するための第１の経験再生バッファと、成功及びタイムアウトを記憶するための第２の経験再生バッファとを含んでもよい。様々な態様では、各学習反復において、製造業者システム２３０は、複数のステップ、例えば２５ステップを、例えば５０ステップの全バッチサイズにおける各バッファからサンプリングしてもよい。更なる態様では、１つ以上の経験再生バッファは、オフポリシー学習を課してもよく、従って、製造業者システム２３０は、各ステップを経験再生バッファに加える前に、軌跡におけるそれぞれの状態−行動ペアごとに収益を計算してもよい。
【００３６】
様々な態様において、製造業者システム２３０は、シーケンシャルアクションＤＱＮ（Ｓｅｑｕｅｎｔｉａｌ  Ａｃｔｉｏｎ  ＤＱＮ）、タイム・トゥー・ゴーＤＱＮ（Ｔｉｍｅ−Ｔｏ−Ｇｏ  ＤＱＮ）、及び／又は、クリープ・アンド・ゴーＤＱＮ（Ｃｒｅｅｐ−ａｎｄ−Ｇｏ  ＤＱＮ）等の１つ以上のＤＱＮを使用して複数の状態−行動表現を生成してもよい。いくつかの態様において、ＤＱＮのそれぞれは、強化学習フレーム、Ｑ学習フレームワーク、ダイナミックフレームスキッピング、及び／又は、優先順位付き再生経験に基づいてもよい。シーケンシャルアクションＤＱＮでは、所望の経路が自律運転システム１３２に与えられ、自律運転システム１３２は、所望の経路に沿う全ての時点で加速、減速、又は、一定速度維持を行うことを決定してもよい。いくつかの態様において、車両１０２を取り囲む空間は、車両１０２の基準座標系に対するデカルト座標におけるグリッドへと離散化されてもよい。いくつかの態様において、この表現は、ＬＩＤＡＲスキャナ１２２により行われる走査から構成されてもよい。例えば、様々な態様において、シーケンシャルアクションＤＱＮでは、車両１０２を取り囲む空間は、車両１０２の前方に０〜２０メートル及び車両１０２の左右に±９０メートルを離散化する５×１１グリッドとして表わされてもよい。更なる態様において、シーケンシャルアクションＤＱＮでは、空間の５×１１×３表現によって、１６５次元空間をもたらしてもよい。或いは、タイム・トゥー・ゴーＤＱＮにおいては、車両１０２を取り囲む空間は、グローバル座標における１８×２６グリッドとして表わされてもよい。
【００３７】
更なる態様において、シーケンシャルアクションＤＱＮでは、空間内の車両１０２を取り囲む１つ以上の車両が、そのそれぞれのヘディング角、速度、及び／又は、計算された衝突余裕時間によって表わされてもよく、これらはそれぞれ実数値として表わされる。更なる態様では、タイム・トゥー・ゴーＤＱＮにおいて、空間内の車両１０２を取り囲む１つ以上の車両は、そのそれぞれのヘディング角、速度、及び、バイアス項によって表わされてもよく、これらはそれぞれ実数値として表わされる。
【００３８】
様々な態様において、シーケンシャルアクションＤＱＮは、漏洩正規化線形ユニット（ＲｅＬＵ）活性化関数を伴う完全接続ネットワークであってもよい。このネットワークは、それぞれが１００個のノードを有する３つの（３）隠れ層と、４つの時間スケール（１倍、２倍、４倍、８倍の時間ステップ）における３つの行動（加速、減速、速度維持）に対応する１２個の出力を有する最終線形層とを含んでもよい。
【００３９】
タイム・トゥー・ゴーＤＱＮでは、所望の経路が車両１０２に与えられ、車両１０２は、待つか又は行くかという一連の決定を通して出発のタイミングを決定してもよい。例えば、いくつかの態様では、全ての待ち行動の後に、待つか又は行くかの他の決定が続いてもよい。結果として、各軌跡は、最終的には行く決定に集結する一連の待つ決定であり、車両１０２は、行く行動が選択された後に待つことが許されない。
【００４０】
いくつかの態様において、タイム・トゥー・ゴーＤＱＮは、２つの畳み込み層と１つの完全接続層とを伴う畳み込みニューラルネットワークを使用してもよい。第１の畳み込み層は、ストライド２を伴う３２個（３２）の６×６フィルタを有してもよく、また、第２の畳み込み層は、ストライド２を伴う６４個（６４）の３×３フィルタを有してもよい。更なる態様では、完全接続層は、１００個のノードを有してもよい。層のそれぞれが漏洩ＲｅＬＵ活性化関数を使用してもよい。様々な態様では、最終線形出力層が、５つの出力、すなわち、単一の行く行動と、４つの時間スケール（１倍、２倍、４倍、８倍の時間ステップ）における待つ行動とを有する。
【００４１】
いくつかの態様において、クリープ・アンド・ゴーＤＱＮは、シーケンシャルアクションＤＱＮとタイム・トゥー・ゴーＤＱＮとを合成したものである。例えば、クリープ・アンド・ゴーＤＱＮは、３つの行動、すなわち、待つ、ゆっくり前進する、及び、行く、を伴う。いくつかの態様では、行く行動が選択された時点で、車両１０２は、交差点を通過するまでずっと継続してもよい。結果として、車両１０２は、最終的に行く行動を選択する前に、ゆっくりと進むことと、停止することとのどちらかを選択する。いくつかの態様において、クリープ・アンド・ゴーＤＱＮを使用して、閉塞（例えば車両１０２の視界から遮られる物体）を伴う交差点に対処する。
【００４２】
いくつかの態様において、シーケンシャルアクションＤＱＮは、タイム・トゥー・ゴーＤＱＮよりも複雑な挙動を可能にし得る。例えば、自律運転システム１３２は、シーケンシャルアクションＤＱＮを使用する際、交差点を通過する途中で車両１０２を減速させ、近づいてくる交通が通り過ぎるのを待たせる。これに対し、タイム・トゥー・ゴーＤＱＮは、出発時間に焦点を合わせ、それにより、出発時間の変更が行動にどのように影響し得るのかを車両１０２が決定できるようになる。更なる態様において、クリープ・アンド・ゴーＤＱＮは、シーケンシャルアクションＤＱＮのような探索行動を車両１０２に利用できるようにしつつ、タイム・トゥー・ゴーＤＱＮに酷似するように、制限された行動空間内において、より容易な解釈可能性と学習し易さとを与える。
【００４３】
様々な態様において、製造業者システム２３０は、様々な交差点シナリオに基づいて１つ以上のＤＱＮをトレーニングする。例えば、いくつかの態様において、製造業者システム２３０は、交通シミュレーションパッケージソフト（ｔｒａｆｆｉｃ  ｓｉｍｕｌａｔｉｏｎ  ｐａｃｋａｇｅ）を使用して１つ以上のＤＱＮをトレーニングしてもよい。この交通シミュレーションパッケージソフトは、異なるタイプのシナリオにおいて交通状態をシミュレートするべく、道路網、交通標識、交通信号灯、様々な車両（公共輸送機関を含む）、及び、歩行者等をユーザがモデル化できるようにする。従って、任意の交通シナリオに関して、ユーザは、車両の位置、速度、加速度、ステアリング方向を制御できると共に、基本的な運動学的モデルを使用して動きをさらにシミュレートできる。さらに、多車線交差点等の交通シナリオは、交通状態を制御する仕様と共に、道路網（例えば、車線及び交差点）を規定することによってセットアップされてもよい。交通をシミュレートするために、ユーザは、車両のタイプ、道路経路、車両密度、出発時間等を制御してもよい。交通車両は、動きを制御するためにインテリジェントドライバーモデル（ＩＤＭ）に従う。さらに、車両の速度分布を変えることによって、及び、クラウス確率的運転モデル等の確率的運転モデルに基づいてドライバー不完全性を制御するパラメータを使用することによって、ランダム性がシミュレートされてもよい。シミュレータは、全てのステップの長さを制御する所定の時間間隔に基づいて実行してもよい。
【００４４】
いくつかの態様において、製造業者システム２３０は、複数の交差点シナリオを使用して、シーケンシャルアクションＤＱＮ及びタイム・トゥー・ゴーＤＱＮをトレーニングしてもよい。例えば、複数の交差点トレーニングシナリオとしては、限定はされないが、図３Ａ〜図３Ｅにそれぞれ示されるように、Ｒｉｇｈｔ、Ｌｅｆｔ、Ｌｅｆｔ２、Ｆｏｒｗａｒｄ、及び、Ｃｈａｌｌｅｎｇｅを挙げることができる。Ｒｉｇｈｔトレーニングシナリオは、（図３Ａに示されるように）交差点を通り抜けて右折を行なうことを伴い、Ｆｏｒｗａｒｄトレーニングシナリオは、（図３Ｂに示されるように）交差点を横断することを伴い、Ｌｅｆｔトレーニングシナリオは、（図３Ｃに示されるように）交差点を通り抜けて左折を行なうことを伴い、Ｌｅｆｔ２トレーニングシナリオは、（図３Ｄに示されるように）交差点を通り抜けて２つの車線を横切って左折を行なうことを伴い、Ｃｈａｌｌｅｎｇｅトレーニングシナリオは、（図３Ｅに示されるように）交通密度が増大した６車線の交差点を横断することを伴う。
【００４５】
いくつかの態様に従って、複数の交差点トレーニングシナリオのそれぞれにおいて、道路の各車線は４５マイル／時（すなわち２０ｍ／ｓ）の制限速度を有するが、本開示の態様において他の制限速度がさらに考慮されることが当業者により理解されるべきである。さらに、トレーニング中、各時間ステップは０．２秒であってよいが、本開示の態様において他の時間ステップがさらに考慮されることが当業者により理解されるべきである。例えば、いくつかの態様において、０．２秒の時間ステップは、Ｃｈａｌｌｅｎｇｅシナリオを除く各シナリオにおいて使用されてもよく、Ｃｈａｌｌｅｎｇｅシナリオでは、時間ステップが０．７秒等の他の値に設定されてもよい。いくつかの態様では、試行ごとの最大ステップ数に例えば２０秒に相当する１００ステップの上限が定められてもよい。いくつかの態様では、車両が毎秒ランダムに放出される確率によって交通密度が設定されてもよい。複数のトレーニングシナリオのそれぞれでは、車両１０２は停止位置から始まる。
【００４６】
更なる態様において、複数の交差点トレーニングシナリオのそれぞれは、複数の評価指標に従って、及び、複数の試行、例えば１００００回の試行に基づいて、評価される。いくつかの態様において、複数の評価指標は、
・成功率：衝突及びタイムアウトを含めて、車両１０２がうまくゴールに到達した実行率；
・衝突率：安全性の指標；
・平均時間：成功した試行が完了までにかかった時間；
・平均制動時間：シミュレータにおける他の車が制動している時間、すなわち、車両１０２が交通をどの程度寸断したか；
を含む。
【００４７】
以下の表Ｉは、信号機がない交差点におけるナビゲートに対する、本開示の態様と以前の試みとを比較する結果を示す。表Ｉに示されるように、シーケンシャルＤＱＮ及びタイム・トゥー・ゴーＤＱＮは、例えばＴＴＣよりもゴールに到達する効率がよい。いくつかの態様において、タイム・トゥー・ゴーＤＱＮは、Ｆｏｒｗａｒｄを除く全てのシナリオにおいて最良のタスク完了時間を有し、ＦｏｒｗａｒｄシナリオではシーケンシャルアクションＤＱＮがより速い。さらに、平均して、タイム・トゥー・ゴーＤＱＮは、ＴＴＣよりもゴールへの到達が２８％速く、また、シーケンシャルアクションＤＱＮは、ＴＴＣよりもゴールへの到達が１９％速い。また、表Ｉに示されるように、Ｃｈａｌｌｅｎｇｅシナリオを除き、シーケンシャルＤＱＮ及びタイム・トゥー・ゴーＤＱＮはいずれも、それぞれのトレーニングシナリオにおいて９９．５％の成功率をもたらす。従って、シーケンシャルＤＱＮ及びタイム・トゥー・ゴーＤＱＮは、信号機がない交差点をナビゲートするそれらの効率に起因して交通渋滞を減らすのに役立つ。これは、主に、シーケンシャルＤＱＮ及びタイム・トゥー・ゴーＤＱＮが交通の予測的挙動を考慮に入れることに起因する。シーケンシャルＤＱＮ及びタイム・トゥー・ゴーＤＱＮは、一般に、離れた車線における交通がその車線に車両１０２が到達する時までに通り過ぎてしまっていることを正確に予測する。従って、近づいてくる交通はブレーキをかけるのに十分な時間があるか否かを車両１０２が予期し得る。
【００４８】
【表１】
2020009416.tif 000008
【００４９】
いくつかの態様において、製造業者システム２３０は、閉塞を含む複数の交差点シナリオを使用してクリープ・アンド・ゴーＤＱＮをトレーニングしてもよい。例えば、図３Ｆに示されるように、トレーニング交差点の一例としては、閉塞の存在下で２つの車線を横切って左折することがゴールである交差点が挙げられる。いくつかの態様では、グリッド内の閉塞されたセルを見出すために、光線追跡手法を使用して、目に見える領域がモデル化されてもよく、また、閉塞が交差点の左側、右側、又は、両側に現れるようにランダムに選択されてもよい。トレーニング例において、閉塞は、寸法、例えば長さ及び幅が変化してもよく、また、交差点のその側、例えば左側、右側、又は、両側の最も左の境界線から距離を隔てて位置されてもよい。表ＩＩは、閉塞トレーニングシナリオの結果を示す。
【００５０】
【表２】
2020009416.tif 000009
【００５１】
表ＩＩに示されるように、シーケンシャルアクションＤＱＮは、視界が完全なポイントに最も速く到達し得るが、クリープ・アンド・ゴーＤＱＮの制限された行動空間は、学習するのがより容易であり、より高い成功率をもたらす。さらに、クリープ・アンド・ゴーＤＱＮのクリープ前方向挙動は、交差点が遮断されるときに車をゴールにさらに接近させることもでき、結果として、クリーピング挙動を伴わない方法は、平均してより長い時間を要する傾向がある。さらに、クリーピングを伴わないＴＴＣは、道路の視界を遮るものがないと誤って決め込み、それにより、より多くの衝突をもたらす。また、クリーピング挙動を伴うＴＴＣは衝突しないにしても、クリーピング挙動を伴うＴＴＣは高いタイムアウト率を有する。これに対し、クリープ・アンド・ゴーＤＱＮは、ＴＴＣよりも効率的に学習して特殊な挙動を行なうことができる。
【００５２】
様々な態様において、製造業者システム２３０は、１つ以上のＤＱＮに基づき信号機がない交差点をナビゲートするための命令を生成し、その命令を車両１０２に送信する。
【００５３】
図４は、信号機がない交差点で車両をナビゲートするための命令を生成する方法のフローチャートを示す。方法４００は、車両の一連の行動にわたって期待収益を生成すること（４１０）を含む。また、該方法は、車両のための最大価値を伴う行動を選択することによって最適価値関数を決定すること（４２０）も含む。該方法は、ダイナミックフレームスキッピングを実行して車両の反復行動の学習を促進させること（４３０）、及び、経験再生バッファを利用することにより経験再生に優先順位を付けて、車両の連続するステップ間の相関関係を壊すこと（４４０）をさらに含む。また、該方法は、期待収益、最適ポリシー、ダイナミックフレームスキッピング、又は、優先順位が付けられた経験再生のうちの少なくとも１つに基づいて複数の状態−行動表現を生成すること（４５０）も含む。また、該方法は、複数の状態−行動表現に基づいて信号機がない交差点をナビゲートするための命令を生成すること（４６０）、及び、車両が信号機がない交差点をナビゲートするための命令を実行するように該車両に対して命令を送信すること（４７０）も含む。
【００５４】
本開示の態様は、ハードウェア、ソフトウェア、又は、これらの組み合わせを使用して実施されてもよく、また、１つ以上のコンピュータシステム又は他の処理システムで実施されてもよい。本開示の一態様において、特徴は、本明細書中に記載される機能を実行できる１つ以上のコンピュータシステムに向けられたものである。そのようなコンピュータシステム５００の一例が図５に示される。
【００５５】
コンピュータシステム５００は、１つ以上のプロセッサ、例えばプロセッサ５０４を含む。プロセッサ５０４は通信インフラ５０６（例えば、通信バス、クロスオーバーバー、又は、ネットワーク）に接続される。様々なソフトウェア態様がこの例のコンピュータシステムに関して記載される。この説明を読んだ後、他のコンピュータシステム及び／又はアーキテクチャを使用して本開示の態様を実施する方法が当業者に明らかになる。
【００５６】
コンピュータシステム５００は、画像、テキスト、及び、他のデータをディスプレイユニット５３０で表示するために通信インフラ５０６から（又は図示しないフレームバッファから）転送するディスプレイインタフェース５０２を含んでもよい。また、コンピュータシステム５００は、主メモリ５０８、好ましくはランダムアクセスメモリ（ＲＡＭ）も含んでもよく、また、副メモリ５１０を含んでもよい。副メモリ５１０は、例えば、ハードディスクドライブ５１２、及び／又は、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ、ユニバーサル・シリアル・バス（ＵＳＢ）フラッシュドライブ等に相当する取り外し可能な記憶ドライブ５１４を含んでもよい。取り外し可能な記憶ドライブ５１４は、良く知られた態様で取り外し可能な記憶ユニット５１８から読み取る及び／又は取り外し可能な記憶ユニット５１８に書き込む。取り外し可能な記憶ユニット５１８は、取り外し可能な記憶ドライブ５１４によって読み取られる及び取り外し可能な記憶ドライブ５１４に書き込まれるフロッピーディスク、磁気テープ、光ディスク、ＵＳＢフラッシュドライブ等に相当する。当然のことながら、取り外し可能な記憶ユニット５１８は、コンピュータソフトウェア及び／又はデータを内部に記憶したコンピュータ使用可能記憶媒体を含む。
【００５７】
本開示の他の態様は、副メモリ５１０を含んでもよく、また、コンピュータプログラム又は他の命令をコンピュータシステム５００にロードできるようにするための他の同様のデバイスを含んでもよい。そのようなデバイスとしては、例えば、取り外し可能な記憶ユニット５２２及びインタフェース５２０を挙げることができる。そのような例としては、プログラムカートリッジ及びカートリッジインタフェース（例えばビデオゲームデバイスで見出されるもの等）、取り外し可能なメモリチップ（消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、又は、プログラマブルリードオンリーメモリ（ＰＲＯＭ）等）及び関連するソケット、並びに、ソフトウェア及びデータを取り外し可能な記憶ユニット５２２からコンピュータシステム５００に転送できるようにする他の取り外し可能な記憶ユニット５２２及びインタフェース５２０を挙げることができる。
【００５８】
また、コンピュータシステム５００は通信インタフェース５２４を含んでもよい。通信インタフェース５２４は、ソフトウェア及びデータをコンピュータシステム５００と外部デバイスとの間で転送できるようにする。通信インタフェース５２４の例としては、モデム、ネットワークインタフェース（イーサネットカード等）、通信ポート、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）スロット及びカード等を挙げることができる。通信インタフェース５２４を介して転送されるソフトウェア及びデータは、通信インタフェース５２４により受信可能な電子信号、電磁信号、光信号、又は、他の信号であってもよい信号５２８の形態を成す。これらの信号５２８は、通信経路（例えばチャネル）５２６を介して通信インタフェース５２４に供給される。この経路５２６は、信号５２８を伝えると共に、配線又はケーブル、光ファイバ、電話線、セルラーリンク、無線周波数（ＲＦ）リンク、及び／又は、他の通信チャネルを使用して実装されてもよい。この文書において、「コンピュータプログラム媒体」及び「コンピュータ使用可能媒体」という用語は、取り外し可能な記憶ドライブ５１８、ハードディスクドライブ５１２に組み込まれるハードディスク、及び、信号５２８等の媒体を一般的に指すために使用される。これらのコンピュータプログラムプロダクトは、ソフトウェアをコンピュータシステム５００に与える。本開示の態様は、そのようなコンピュータプログラムプロダクトに向けられている。
【００５９】
コンピュータプログラム（コンピュータ制御論理とも称される）は、主メモリ５０８及び／又は副メモリ５１０に記憶される。また、コンピュータプログラムは通信インタフェース５２４を介して受けられてもよい。そのようなコンピュータプログラムは、実行される際、本明細書中で論じられるように、コンピュータシステム５００が本開示の態様に従って機能を果たすことができるようにする。特に、コンピュータプログラムは、実行される際、プロセッサ５０４が本開示の態様に従って機能を果たすことができるようにする。従って、そのようなコンピュータプログラムは、コンピュータシステム５００のコントローラに相当する。
【００６０】
ソフトウェアを使用して実施される本開示の一態様において、ソフトウェアは、コンピュータプログラムプロダクトに記憶され、取り外し可能な記憶ドライブ５１４、ハードディスクドライブ５１２、又は、通信インタフェース５２０を使用してコンピュータシステム５００にロードされてもよい。制御論理（ソフトウェア）は、プロセッサ５０４により実行される際、プロセッサ５０４が本明細書中に記載される機能を果たすようにする。本開示の他の態様において、システムは、例えば、特定用途向け集積回路（ＡＳＩＣ）等のハードウェア構成要素を使用して主にハードウェアで実装される。本明細書中に記載される機能を果たすためのハードウェア状態機械の実装は、当業者に明らかである。
【００６１】
先に開示された特徴及び他の特徴並びに機能或いはその代替物又は変形の様々な実施を望ましくは多くの他の異なるシステム又はアプリケーションへと組み合わせることができると理解され得る。また、以下の特許請求の範囲によっても包含されるようになっているその様々な現在予期しない又は予測できない代案、変更、変形、又は、改良がその後に当業者によりなされる場合もあると理解され得る。
【図１】
2020009416.tif 000010
【図２】
2020009416.tif 000011
【図３】
2020009416.tif 000012
【図４】
2020009416.tif 000013
【図５】
2020009416.tif 000014
【外国語明細書】
2020009416000001.pdf