(57)【要約】  本発明は、車両の自動運転を行う人工知能を効率的に評価する情報処理装置に関するものである。本情報処理装置は、仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成部と、仮想的な走行環境下において、人工知能により車両の仮想的な自動運転を行った仮想運転結果を取得する取得部と、人工知能による自動運転の仮想運転結果から、人工知能の性能を評価する評価部と、を備えた。
2020026460.tif 000002
【特許請求の範囲】
【請求項１】
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成部と、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得部と、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価部と、
を備えた情報処理装置。
【請求項２】
前記生成部は、前記車両が危険状態になりやすい走行環境を表す走行環境情報から危険状態になりにくい走行環境を表す走行環境情報への順に生成する請求項１に記載の情報処理装置。
【請求項３】
前記車両が危険状態になりやすい走行環境を表す走行環境情報は、通常の走行ルールからはずれた状況を表す走行環境情報を含む請求項２に記載の情報処理装置。
【請求項４】
前記生成部は、前記車両が危険状態になりやすい度合いが閾値を超える走行環境を表す走行環境情報は生成しない請求項２または３に記載の情報処理装置。
【請求項５】
前記走行環境情報は、仮想的な車両の走行環境を表す前方カメラの映像データを含む請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記評価部は、前記人工知能の性能を複数の評価指標により評価する請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記評価部は、前記複数の評価指標を組み合わせて、前記人工知能の総合的な性能とする請求項６に記載の情報処理装置。
【請求項８】
前記複数の評価指標は、少なくとも、快適さを示す安定性と安全性とを含む請求項７に記載の情報処理装置。
【請求項９】
前記快適さを示す安定性は、速度の安定性と、車両の動きの直線性と、カーブでの車両の曲り角度とを含む請求項８に記載の情報処理装置。
【請求項１０】
前記評価部は、前記複数の評価指標によるそれぞれの評価結果を出力する請求項６に記載の情報処理装置。
【請求項１１】
前記評価部は、前記人工知能による自動運転の結果と模範となる車両における運転結果とを比較することによって、前記人工知能の性能を評価する請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記生成部は、前記人工知能に含まれる特定の機能を評価するための走行環境情報を生成し、
前記評価部は、前記特定の機能の性能を評価する請求項１乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記評価部による評価結果を考慮して、前記人工知能の更新を提案する提案部をさらに備えた請求項１乃至１２のいずれか１項に記載の情報処理装置。
【請求項１４】
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
を含む情報処理方法。
【請求項１５】
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、シミュレーションを用いて車両性能の評価を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０２８７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、車両の自動運転を行う人工知能を効率的に評価することができなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明に係る情報処理装置は、
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成部と、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得部と、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価部と、
を備えた。【０００６】
上記目的を達成するため、本発明に係る情報処理方法は、
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
を含む。【０００７】
上記目的を達成するため、本発明に係る情報処理プログラムは、
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
をコンピュータに実行させる。
【発明の効果】
【０００８】
本発明によれば、車両の自動運転を行う人工知能を効率的に評価することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図２Ａ】本発明の第２実施形態に係る人工知能評価の概要を示す図である。
【図２Ｂ】本発明の第２実施形態に係る人工知能評価のシチュエーションの例を示す図である。
【図３】本発明の第２実施形態に係る情報処理装置を含む情報処理システムの構成を示すブロック図である。
【図４】本発明の第２実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。
【図５】本発明の第２実施形態に係るクラウドサーバとしての情報処理装置の機能構成を示すブロック図である。
【図６】本発明の第２実施形態に係る走行環境情報データベースの構成を示す図である。
【図７】本発明の第２実施形態に係る走行環境情報の選択テーブルの構成を示す図である。
【図８】本発明の第２実施形態に係る評価情報データベースの構成を示す図である。
【図９】本発明の第２実施形態に係る評価テーブルの構成を示す図である。
【図１０】本発明の第２実施形態に係る通信端末の機能構成を示すブロック図である。
【図１１】本発明の第２実施形態に係るクラウドサーバとしての情報処理装置のハードウェア構成を示すブロック図である。
【図１２】本発明の第２実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図１３】本発明の第３実施形態に係るクラウドサーバとしての情報処理装置の機能構成を示すブロック図である。
【図１４】本発明の第３実施形態に係る走行環境情報データベースの構成を示す図である。
【図１５】本発明の第３実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図１６】本発明の第４実施形態に係る人工知能評価の概要を示す図である。
【図１７】本発明の第４実施形態に係るクラウドサーバとしての情報処理装置の機能構成を示すブロック図である。
【図１８】本発明の第４実施形態に係る評価指標テーブルの構成を示す図である。
【図１９】本発明の第４実施形態に係る評価情報データベースの構成を示す図である。
【図２０】本発明の第４実施形態に係る評価テーブルの構成を示す図である。
【図２１】本発明の第４実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図２２】本発明の第５実施形態に係るクラウドサーバとしての情報処理装置の機能構成を示すブロック図である。
【図２３】本発明の第５実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図２４】本発明の第６実施形態に係る人工知能評価の概要を示す図である。
【図２５】本発明の第６実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図２６】本発明の第７実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。
【図２７】本発明の第８実施形態に係る情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、人工知能を評価する装置である。
【００１１】
図１に示すように、情報処理装置１００は、走行環境情報生成部１０１と、仮想運転結果取得部１０２と、性能評価部１０３と、を含む。走行環境情報生成部１０１は、仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、車両が危険状態になりやすい走行環境を表す走行環境情報１１１を、車両の自動運転を行う人工知能１１０に提供するために生成する。仮想運転結果取得部１０２は、仮想的な走行環境下において、人工知能１１０により車両の仮想的な自動運転を行った仮想運転結果１１２を取得する。性能評価部１０３は、人工知能による自動運転の仮想運転結果から、人工知能の性能を評価する。
【００１２】
本実施形態によれば、車両が危険状態になりやすい走行環境を表す走行環境情報に基づいて人工知能を評価するので、車両の自動運転を行う人工知能を効率的に評価することができる。
【００１３】
［第２実施形態］
次に、本発明の第２実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供して、人工知能により車両の仮想的な自動運転を行った結果を評価する。また、情報処理装置は、人工知能に含まれる特定の機能を評価するための走行環境情報を提供し、特定の機能の性能を評価してもよい。
【００１４】
ここで、走行環境情報は、仮想的な車両の走行環境を表す前方カメラの映像データを含む。なお、車両が危険状態になりやすい走行環境を表す走行環境情報は、通常の走行ルールからはずれた状況を表す走行環境情報を含む。一方、車両が危険状態になりやすい度合いが閾値を超える走行環境を表す走行環境情報を提供しない。
【００１５】
《人工知能評価の概要》
図２Ａは、本実施形態に係る人工知能評価の概要を示す図である。図２Ａは、本実施形態の人工知能の評価において、通信端末の表示部２００の表示の遷移の概要を示している。
【００１６】
画面２１０は、通信端末から本実施形態の情報処理装置へのログイン時の画面である。画面２２０は、通信端末から情報処理装置の評価対象を通知する画面である。なお、評価シチュエーション、評価レベル、報告レベルなどを設定してもよい。評価シチュエーションの設定が無ければ、ランダムな走行環境情報による評価が実行される。
【００１７】
画面２３０は、走行環境情報に従ってＡＩ(Artificial Intelligence)処理の実行が行われている間の状況を通知する画面である。画面２３０では、現在、「交差点の追い越しテスト」が実行されていることを示している。画面２４０は、テスト終了後の評価結果を通知する画面である。
【００１８】
このように、通信端末の表示部２００からの簡単な操作で、人工知能の評価結果を得ることができる。
【００１９】
（人工知能評価のシチュエーションの例）
図２Ｂは、本実施形態に係る人工知能評価のシチュエーションの例を示す図である。
【００２０】
図２Ｂのシチュエーション２０１は、「路上に飛び出した歩行者や自転車などを避けようとして、車が割り込んでくる」走行環境を表している。また、図２Ｂのシチュエーション２０２は、「路上駐車や、前方の低速車両を避けようとして、車が割り込んでくる」走行環境を表している。なお、図２Ｂは、一連であって他の多くの危険が発生しやすいシチュエーションが生成できる。本実施形態においては、これらを表す走行環境情報をＡＩに提供して仮想環境での仮想運転を実行させて、その結果を評価する。
【００２１】
《情報処理システムの構成》
図３は、本実施形態に係る情報処理装置を含む情報処理システム３００の構成を示すブロック図である。
【００２２】
情報処理システム３００は、ネットワーク３４０によって接続される、本実施形態のクラウドサーバとしての情報処理装置３１０と、ＡＩの評価を依頼する通信端末３２１、３２２（図２の通信端末に相当）とを有する。また、ＡＩの評価を依頼する通信端末３２１、３２２のそれぞれに接続された評価対象の評価対象モジュール３３１、３３２を有する。なお、評価対象モジュール３３１、３３２は、ＥＣＵ(Electrotic Control Unit/Engine Control Unit)全体であっても、その一部の制御機構であってもよい。また、ソフトウェアに評価である場合に、通信端末内において評価されてもよい。
【００２３】
《情報処理システムの動作手順》
図４は、本実施形態に係る情報処理装置を含む情報処理システム３００の動作手順を示すシーケンス図である。
【００２４】
ステップＳ４０１において、ＡＩの評価を依頼する通信端末３２０と評価対象の評価対象モジュール３３０とが接続される。ステップＳ４０３において、通信端末３２０から依頼先のクラウドサーバとしての情報処理装置３１０にログインして通信確立して、アプリケーションを起動する。
【００２５】
情報処理装置３１０は、ステップＳ４０５において、評価対象に関する評価対象情報を取得する。なお、取得元は、通信端末３２０であっても評価対象モジュール３３０であってもよい。情報処理装置３１０は、ステップＳ４０７において、評価対象情報に基づいて走行環境情報を選択する。なお、評価対象がＥＣＵ全体であれば、全走行環境情報を順に実行する。一方、評価対象が一部機能であれば、その機能を評価するのに好適な走行環境情報が選択される。
【００２６】
ステップＳ４０９において、情報処理装置３１０と評価対象モジュール３３０との間で、通信端末３２０を介して、走行環境情報の提供とＡＩ処理実行と処理情報の取得とが評価終了まで繰り返される。ステップＳ４０９は、情報処理装置３１０のステップＳ４９１における走行環境情報の提供を含む。また、ステップＳ４０９は、評価対象モジュール３３０のステップＳ４９３における走行環境情報の入力と、評価対象モジュール３３０のステップＳ４９５におけるＡＩ処理実行と、評価対象モジュール３３０のステップＳ４９７における処理情報の出力と、を含む。また、ステップＳ４０９は、情報処理装置３１０のステップＳ４９９における処理情報の取得を含む。
【００２７】
情報処理装置３１０は、ステップＳ４１１において、取得した処理情報をそのまま、あるいは、評価指標を算出して評価する。そして、情報処理装置３１０は、ステップＳ４１３において、評価結果を通信端末３２０に通知する。通信端末３２０は、ステップＳ４１５において、受信した評価結果をユーザに出力する。
【００２８】
《情報処理装置の機能構成》
図５は、本実施形態に係るクラウドサーバとしての情報処理装置３１０の機能構成を示すブロック図である。
【００２９】
情報処理装置３１０は、通信制御装置５０１と、評価対象情報取得部５０２と、走行環境情報データベース５０３と、走行環境情報選択取得部５０４と、走行環境情報生成部５０５と、を備える。さらに、情報処理装置３１０は、ＡＩ処理情報取得部５０６と、評価情報データベース５０７と、ＡＩ処理情報評価部５０８と、ＡＩ評価結果通知部５０９と、オプションとして着脱可能記憶媒体５１０と、を備える。
【００３０】
通信制御装置５０１は、ネットワーク３４０を介して、通信端末３２０との通信を制御する。評価対象情報取得部５０２は、通信端末３２０から評価対象の評価対象情報を取得する。走行環境情報データベース５０３は、通信端末３２０を介して、評価対象モジュール３３０をテストするための走行環境情報を蓄積する。走行環境情報選択取得部５０４は、選択テーブル５４１を有し、評価対象情報を参照して走行環境情報を選択し、走行環境情報データベース５０３から取得する。走行環境情報生成部５０５は、選択取得された走行環境情報から提供するための走行環境情報を生成する。そして、生成された走行環境情報は、通信端末３２０を介して、あるいは、着脱可能記憶媒体５１０を介して、評価対象モジュール３３０に提供される。
【００３１】
ＡＩ処理情報取得部５０６は、通信端末３２０を介して評価対象モジュール３３０の処理情報を取得する。評価情報データベース５０７は、取得した処理情報を評価するための評価情報を蓄積する。ＡＩ処理情報評価部５０８は、評価テーブル５８１を有し、ＡＩ処理情報と評価情報データベース５０７の評価情報とを対比して、ＡＩ処理情報を評価する。ＡＩ評価結果通知部５０９は、ＡＩ処理情報の評価結果を、通信端末３２０に提供する。
【００３２】
（走行環境情報データベース）
図６は、本実施形態に係る走行環境情報データベース５０３の構成を示す図である。走行環境情報データベース５０３は、評価対象モジュール３３０をテストするための走行環境情報を蓄積する。
【００３３】
走行環境情報データベース５０３は、走行環境情報ＩＤ６０１に対応付けて、評価対象６０２と、走行環境情報６０３と、評価情報ＩＤ６０４と、を記憶する。評価対象６０２は、その走行環境情報がＥＣＵ全体を評価するものか、一部機能を評価するものかを記憶する。図６では、一部機能として、衝突安全モジュールや行動計画モジュールが記載されているが、これに限定されない。
【００３４】
また、走行環境情報６０３としては、車両前方カメラによる映像データ、自車位置確認のための地図データ、走行エリアの障害物データ、信号データ、などが含まれる。評価情報ＩＤ６０４は、走行環境情報下でのＡＩ処理を評価するための評価情報のＩＤである。
【００３５】
（走行環境情報の選択テーブル）
図７は、本実施形態に係る走行環境情報の選択テーブル５４１の構成を示す図である。走行環境情報の選択テーブル５４１は、評価対象情報に基づいて提供する走行環境情報を選択するために、走行環境情報選択取得部５０４で使用される。
【００３６】
走行環境情報の選択テーブル５４１は、評価対象情報７０１に対応して、少なくとも１つの走行環境情報ＩＤ７０２を記憶する。この走行環境情報ＩＤ７０２に基づいて、走行環境情報データベース５０３から走行環境情報が選択取得される。実行順序７０３は、複数の走行環境情報ＩＤ７０２がある場合の実行順序を記憶する。かかる順位は、車両が危険状態になりやすい走行環境を表す走行環境情報を先にするのが望ましい。
【００３７】
（評価情報データベース）
図８は、本実施形態に係る評価情報データベース５０７の構成を示す図である。評価情報データベース５０７は、ＡＩ処理の処理情報と対比して評価するための処理情報を格納する。
【００３８】
評価情報データベース５０７は、評価情報ＩＤ８０１に対応付けて、評価情報８０２と、評価条件８０３と、を記憶する。評価情報８０２は、例えば、ＡＩ処理の出力でもあるブレーキ操作、アクセル操作、ハンドル操作、などを有するが、これに限定されない。評価条件８０３は、例えば、評価情報８０２そのまま、あるいは、演算結果に対する閾値などが含まれる。
【００３９】
（評価テーブル）
図９は、本実施形態に係る評価テーブル５８１の構成を示す図である。評価テーブル５８１は、ＡＩ処理の処理情報と、評価情報データベース５０７の評価情報とから評価結果を導くために、ＡＩ処理情報評価部５０８が使用する。
【００４０】
評価テーブル５８１は、評価対象９０１に対応付けて、少なくとも１つのテストに用いた走行環境情報９０２を記憶する。そして、各走行環境情報９０２に対応付けて、ＡＩから出力された処理情報９０３と、評価情報データベース５０７からの評価情報９０４と、評価結果９０５と、を記憶する。さらに、評価対象９０１に対応付けて、総合評価９０６と、ユーザへのコメント９０７とを記憶する。
【００４１】
《通信端末の機能構成》
図１０は、本実施形態に係る通信端末３２０の機能構成を示すブロック図である。
【００４２】
通信端末３２０は、通信制御部１００１と、入出力インタフェース１００２と、評価対象情報送信部１００３と、走行環境情報取得部１００４と、走行環境情報出力部１００５と、を備える。また、通信端末３２０は、ＡＩ処理情報取得部１００６と、ＡＩ処理情報送信部１００７と、ＡＩ評価結果取得出力部１００８と、を備える。さらに、通信端末３２０は、入出力インタフェース１００２に接続する表示部１００９と、操作部１０１０と、評価対象モジュール３３０が接続されるＡＩ接続部１０１１と、を備える。
【００４３】
通信制御部１００１は、ネットワーク３４０を介した、情報処理装置３１０との通信を制御する。入出力インタフェース１００２は、表示部１００９と、操作部１０１０と、ＡＩ接続部１０１１と、オプションとして着脱可能記憶媒体１０１２と、インタフェースする。
【００４４】
評価対象情報送信部１００３は、操作部１０１０から入力された、または、評価対象モジュール３３０から取得した評価対象情報を情報処理装置３１０に送信する。走行環境情報取得部１００４は、情報処理装置３１０から評価対象情報に対応付いた走行環境情報を取得する。走行環境情報出力部１００５は、ＡＩ接続部１０１１から評価対象モジュール３３０に走行環境情報を出力する。
【００４５】
ＡＩ処理情報取得部１００６は、ＡＩ接続部１０１１を介して、評価対象モジュール３３０からＡＩ処理の処理情報を取得する。ＡＩ処理情報送信部１００７は、取得したＡＩ処理情報を情報処理装置３１０に送信する。ＡＩ評価結果取得出力部１００８は、情報処理装置３１０におけるＡＩ処理情報の評価結果を受信して表示部１００９などに出力する。
【００４６】
表示部１００９は、通信端末３２０の状態やＡＩ評価結果を表示する。操作部１０１０は、通信端末３２０の動作指示を受け付ける。ＡＩ接続部１０１１は、評価対象モジュール３３０を接続する。着脱可能記憶媒体１０１２は、クラウドサーバとしての情報処理装置３１０からの走行環境情報を、走行環境情報出力部１００５およびＡＩ接続部１０１１を介して、評価対象モジュール３３０に出力する。
【００４７】
《情報処理装置のハードウェア構成》
図１１は、本実施形態に係るクラウドサーバとしての情報処理装置３１０のハードウェア構成を示すブロック図である。
【００４８】
図１１で、ＣＰＵ(Central Processing Unit)１１１０は演算制御用のプロセッサであり、プログラムを実行することで図５の機能構成部を実現する。ＣＰＵ１１１０は１つであっても複数であってもよい。ＲＯＭ(Read Only Memory)１１２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース１１３０は、ネットワークを介して、通信端末３２０との通信を制御する。
【００４９】
ＲＡＭ(Random Access Memory)１１４０は、ＣＰＵ１１１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１１４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。評価対象情報１１４１は、通信端末３２０から受信した評価対象モジュールを示す情報である。走行環境情報１１４２は、評価対象情報１１４１に対応付けて、走行環境情報データベース５０３から選択取得された走行環境情報である。ＡＩ処理情報１１４３は、走行環境情報１１４２を提供してＡＩ処理した後に取得した処理情報である。ＡＩ評価情報１１４４は、評価対象情報１１４１に対応付けて、評価情報データベース５０７から取得された評価情報である。ＡＩ評価結果１１４５は、ＡＩ処理情報１１４３とＡＩ評価情報１１４４との対比から導かれたＡＩの評価結果である。送受信データ１１４６は、ネットワークインタフェース１１３０を介して、通信端末３２０と送受信するデータである。
【００５０】
ストレージ１１５０は、ＣＰＵ１１１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。走行環境情報データベース５０３は、図６に示した、走行環境情報を格納するデータベースである。評価情報データベース５０７は、図８に示した、評価情報を格納するデータベースである。
【００５１】
ストレージ１１５０には、以下のプログラムが格納される。情報処理プログラム１１５１は、本情報処理装置３１０全体を制御するプログラムである。評価対象情報取得モジュール１１５２は、評価対象情報を取得するためのモジュールである、走行環境情報提供モジュール１１５３は、評価対象情報に対応付いた走行環境情報を取得して評価対象に提供するモジュールである。ＡＩ処理情報取得モジュール１１５４は、ＡＩ処理情報を評価対象から取得するモジュールである。ＡＩ処理情報評価モジュール１１５５は、ＡＩ処理情報を評価して評価結果を、通信端末３２０を介してユーザに通知するモジュールである
なお、図１１のＲＡＭ１１４０やストレージ１１５０には、クラウドサーバとしての情報処理装置３１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【００５２】
《情報処理装置の処理手順》
図１２は、本実施形態に係るクラウドサーバとしての情報処理装置３１０の処理手順を示すフローチャートである。なお、このフローチャートは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を用いて実行し、図５の機能構成部を実現する。
【００５３】
情報処理装置３１０は、ステップＳ１２１１において、評価対象情報を取得したか否かを判定する。評価対象情報を取得したと判定した場合、情報処理装置３１０は、ステップＳ１２１１において、取得した評価対象情報に対応する走行環境情報を選択して、走行環境情報データベース５０３から取得する。そして、選択取得した走行環境情報を、通信端末３２０を介して評価対象に提供する。
【００５４】
評価対象情報を取得しないと判定した場合、情報処理装置３１０は、ステップＳ１２２１において、ＡＩ処理情報を取得したか否かを判定する。ＡＩ処理情報を取得したと判定した場合、情報処理装置３１０は、ステップＳ１２２３において、走行環境情報に対応する評価情報を評価情報データベース５０７から取得する。そして、情報処理装置３１０は、ステップＳ１２２５において、ＡＩ処理情報の評価結果を蓄積する。
【００５５】
評価対象情報を取得しない、かつ、ＡＩ処理情報を取得しないと判定した場合、情報処理装置３１０は、ステップＳ１２３１において、ＡＩ処理の終了か否かを判定する。ＡＩ処理の終了であると判定した場合、情報処理装置３１０は、ステップＳ１２３３において、評価対象に対して蓄積された評価結果から総合評価を生成する。そして、情報処理装置３１０は、ステップＳ１２３５において、評価対象とつながる通信端末に総合評価およびコメントを出力する。
【００５６】
本実施形態によれば、車両が危険状態になりやすい走行環境を表す走行環境情報に基づいて人工知能を評価するので、車両の自動運転を行う人工知能を効率的に評価することができる。さらに、評価対象を大きな構成から小さな構成まで選定できるので、柔軟性のある評価をすることができる。
【００５７】
［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、車両が危険状態になりやすい走行環境を表す走行環境情報から危険状態になりにくい走行環境を表す走行環境情報への順に優先順位を付けて評価する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００５８】
《情報処理装置の機能構成》
図１３は、本実施形態に係るクラウドサーバとしての情報処理装置１３１０の機能構成を示すブロック図である。なお、図１３において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【００５９】
図１３の情報処理装置１３１０は、走行環境情報データベース１３０３と、選択テーブル１３４１を有する走行環境情報選択取得部１３０４と、を備える。走行環境情報データベース１３０３は、各走行環境情報がどの程度の危険を有するかを保持している。なお、走行環境情報選択取得部１３０４や選択テーブル１３４１は、走行環境情報データベース１３０３が変更されたためであり実質的な変更はないので、説明は省略する。
【００６０】
（走行環境情報データベース）
図１４は、本実施形態に係る走行環境情報データベース１３０３の構成を示す図である。なお、図１４において、図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【００６１】
走行環境情報データベース１３０３は、各走行環境情報に対して危険ランク１４０５を記憶する。かかる危険ランク１４０５も考慮しながら、走行環境情報選択取得部１３０４は提供すべき走行環境情報を選択取得する。通常は、危険ランク１４０５の高い走行環境情報から選択取得するのが望ましいが、限定されない。なお、危険ランク１４０５には危険レベルを記憶し、取得時に危険レベルからランク付けをしてもよい。
【００６２】
《情報処理装置の処理手順》
図１５は、本実施形態に係るクラウドサーバとしての情報処理装置１３１０の処理手順を示すフローチャートである。なお、図１５において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【００６３】
情報処理装置１３１０は、ステップＳ１５１３において、例えば、評価対象に対応して危険ランクの高い方から走行環境情報を選択する。
【００６４】
なお、本実施形態における優先順位は、例えば、速度が大きい環境から小さい環境へ、大雨の環境から小雨の環境へ、都心の道路から田舎の道路へ、レーン線の薄い環境から濃い環境へ、カーブが急な道路から緩い道路へ、逆光が正面から非正面へ、と選択するようにしてよい。
【００６５】
本実施形態によれば、提供する走行環境情報に優先順位を付けることで、危険レベルの高い評価をクリアした場合に、危険レベルの低い評価をスキップすることも可能となり、より効率的に評価することができる。
【００６６】
［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第３実施形態と比べると、複数の評価指標（軸）で人工知能を評価する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００６７】
なお、最終評価は、複数の評価指標を組み合わせて人工知能の総合的な性能とする。複数の評価指標としては、快適さを示す安定性と安全性とを含む。そして、快適さを示す安定性には、速度の安定性と、車両の動きの直線性と、カーブでの車両の曲り角度とを含む。これら複数の評価指標によるそれぞれの評価結果が出力されてもよい。
【００６８】
《人工知能評価の概要》
図１６は、本実施形態に係る人工知能評価の概要を示す図である。
【００６９】
図１６においては、複数の評価指標（軸）によって、ＡＩ処理が評価されている。例えば、図１６の評価結果通知画面１６４０では、大きく「安全性」と「安定性」との２つが評価指標である。また、「安定性」には、「速度変動（細かな速度のブレ）」、「直線性（直線走行時に左右にゆれる）」、「曲り方（カーブにおける急カーブ）」などが負の要素として含まれる。
【００７０】
《情報処理装置の機能構成》
図１７は、本実施形態に係るクラウドサーバとしての情報処理装置１７１０の機能構成を示すブロック図である。なお、図１７において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【００７１】
図１７の情報処理装置１７１０は、評価情報データベース１７０７と、評価テーブル１７８１を有するＡＩ処理情報評価部１７０８と、を備える。評価情報データベース１７０７は、１つの走行環境情報に対応して、複数の評価指標（軸）のそれぞれに評価情報を保持する。なお、ＡＩ処理情報評価部１７０８は、評価情報データベース１７０７が変更されたためであり実質的な変更はないので、説明は省略する。
【００７２】
（評価指標テーブル）
図１８は、本実施形態に係る評価指標テーブル１８１０の構成を示す図である。評価指標テーブル１８１０は、本実施形態で使用する複数の評価指標（軸）についてまとめたテーブルである。
【００７３】
評価指標テーブル１８１０には、大きな評価軸１８１１として「安全性」と「安定性」とが、細かな評価軸１８１２として、「安全性」に含まれる「危険状態」や「事故」など、「安定性」に含まれる「速度変動」や「直線性」や「曲り方」などが示されているが、これらに限定されない。なお、「安定性」は「快適性」に繋がる軸である。
【００７４】
（評価情報データベース）
図１９は、本実施形態に係る評価情報データベース１７０７の構成を示す図である。なお、図１９において、図８と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【００７５】
評価情報データベース１７０７は、第１評価軸の評価情報１９１２と、第ｎ評価軸の評価情報１９１３とを保持する。なお、第１評価軸の評価情報１９１２と、第ｎ評価軸の評価情報１９１３との内容は、図８の評価情報８０２と同様としたが、評価軸に対応して評価情報の種類あるいは値などが異なってもよく、評価軸に対応して評価条件８０３が異なってもよい。
【００７６】
（評価テーブル）
図２０は、本実施形態に係る評価テーブル１７８１の構成を示す図である。なお、図２０において、図９と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【００７７】
評価テーブル１７８１は、第１評価軸の評価情報２０１４と第１評価軸の評価結果２０１５、第ｎ評価軸の評価情報２０１６と第ｎ評価軸の評価結果２０１７、を記憶する。
【００７８】
《情報処理装置の処理手順》
図２１は、本実施形態に係るクラウドサーバとしての情報処理装置１７１０の処理手順を示すフローチャートである。なお、図２１において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【００７９】
ステップＳ１２３１において、ＡＩ処理の終了と判定されると、情報処理装置１７１０は、ステップＳ２１３１において、評価に用いる複数の評価指標を選択する。情報処理装置１７１０は、ステップＳ２１３３において、評価対象に対して蓄積された評価結果から複数の評価指標に対応する評価を生成する。そして、情報処理装置１７１０は、ステップＳ２１３５において、評価対象とつながる通信端末に複数の評価指標による評価およびコメントを出力する。
【００８０】
本実施形態によれば、複数の評価指標による多軸の人工知能評価ができるので、人工知能の強みや弱みなどを含む繊細な評価をすることができる。
【００８１】
［第５実施形態］
次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第４実施形態と比べると、評価が模範車両において実行した車両情報との対比で行われる点で異なる。すなわち、本実施形態では、人工知能による自動運転の結果と模範となる車両における運転結果とを比較することによって、人工知能の性能を評価する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００８２】
《情報処理装置の機能構成》
図２２は、本実施形態に係るクラウドサーバとしての情報処理装置２２１０の機能構成を示すブロック図である。なお、図２２において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【００８３】
図２２の情報処理装置２２１０は、評価情報データベース２２０７と、評価テーブル２２８１を有するＡＩ処理情報評価部２２０８と、を備える。評価情報データベース２２０７は、模範となる車両あるいは評価対象から同じ走行環境情報から生成された評価情報を保持する。なお、評価テーブル２２８１やＡＩ処理情報評価部２２０８は、評価情報データベース２２０７が変更されたためであり実質的な変更はないので、説明は省略する。
【００８４】
《情報処理装置の処理手順》
図２３は、本実施形態に係るクラウドサーバとしての情報処理装置２２１０の処理手順を示すフローチャートである。なお、図２３において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【００８５】
ステップＳ１２１１で評価対象情報の取得と判定すると、情報処理装置２２１０は、ステップＳ２３１３において、選択された走行環境情報に基づいて、模範となる評価対象を動作させて、処理情報を生成する。そして、情報処理装置２２１０は、ステップＳ２３１４において、生成した処理情報を、評価情報データベース２２０７に登録する。
【００８６】
また、ステップＳ１２２１でＡＩ処理情報の取得と判定されると、情報処理装置２２１０は、ステップＳ２３２３において、走行環境情報に対応して、ステップＳ２３１３で生成されて評価情報データベース２２０７に登録された評価情報を取得する。
【００８７】
本実施形態によれば、模範となる車両における運転結果を評価基準とするので、人工知能の評価の正当性や安定性を担保することができる。
【００８８】
［第６実施形態］
次に、本発明の第６実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第５実施形態と比べると、情報処理装置から評価結果を考慮してＡＩ入れ替えなどの提案を提案部で行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００８９】
《人工知能評価の概要》
図２４は、本実施形態に係る人工知能評価の概要を示す図である。
【００９０】
図２４においては、評価結果通知画面２４４０に、評価結果と共に、評価対象のＡＩを更新することが勧められている。
【００９１】
《情報処理装置の処理手順》
図２５は、本実施形態に係るクラウドサーバとしての情報処理装置２５１０の処理手順を示すフローチャートである。なお、図２５において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【００９２】
情報処理装置２５１０は、ステップＳ２５３７において、評価結果に基づいて、評価対象の更新を提案する。なお、評価結果に基づく提案部による提案は、バージョンアップなどであってもよい。
【００９３】
本実施形態によれば、自動運転車のユーザのより改善した走行環境を提供することができる。
【００９４】
［第７実施形態］
次に、本発明の第７実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第６実施形態と比べると、ＡＩの評価を情報処理装置で行う点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００９５】
《情報処理システムの動作手順》
図２６は、本実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。なお、図２６において、図４と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【００９６】
ステップＳ２６０４において、通信端末２６２０から情報処理装置２６１０に、ＡＩモジュールの評価依頼が行われる。そして、ステップＳ２６０５において、通信端末２６２０から情報処理装置２６１０に、評価対象モジュールが機密に送付される。ステップＳ２６０６において、情報処理装置２６１０は、送付された評価対象モジュールの評価を受託する。
【００９７】
ステップＳ２６０９のテスト実行では、ステップＳ２６９５において、情報処理装置２６１０内で、評価対象モジュールに対応して選択された走行環境情報を用いてＡＩ処理が実行される。
【００９８】
本実施形態によれば、同じ機能を果たす人工知能を共通の条件下で公正な評価をすることができる。
【００９９】
［第８実施形態］
次に、本発明の第８実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第７実施形態と比べると、ＡＩは、あたかも仮想走行シミュレーションゲーム機である情報処理装置と接続されて、評価される点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０１００】
《情報処理装置の構成》
図２７は、本実施形態に係る情報処理装置２７１０の構成を示すブロック図である。
【０１０１】
情報処理装置２７１０は、仮想走行環境シミュレータ部２７１１と仮想運転走行シミュレータ部２７１２とが接続されて、仮想の自動運転シミュレータとして機能する。人工知能（ＡＩ）３３０は、仮想走行環境シミュレータ部２７１１から走行環境情報を取得し、仮想運転走行シミュレータ部２７１２に仮想運転情報を出力する。仮想走行環境シミュレータ部２７１１と仮想運転走行シミュレータ部２７１２とは、あたかも人工知能（ＡＩ）３３０がゲームユーザで自動運転シミュレータがゲーム機であるかのように動作する。そして、性能評価部２７１３は、自動運転シミュレータからの情報に基づいて人工知能（ＡＩ）３３０の自動運転能力を評価する。
【０１０２】
本実施形態によれば、将来標準化された自動運転の人工知能（ＡＩ）をより効率的により公正に評価することができる。
【０１０３】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【０１０４】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【０１０５】
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成部と、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得部と、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価部と、
を備えた情報処理装置。
（付記２）
前記生成部は、前記車両が危険状態になりやすい走行環境を表す走行環境情報から危険状態になりにくい走行環境を表す走行環境情報への順に生成する付記１に記載の情報処理装置。
（付記３）
前記車両が危険状態になりやすい走行環境を表す走行環境情報は、通常の走行ルールからはずれた状況を表す走行環境情報を含む付記２に記載の情報処理装置。
（付記４）
前記生成部は、前記車両が危険状態になりやすい度合いが閾値を超える走行環境を表す走行環境情報は生成しない付記２または３に記載の情報処理装置。
（付記５）
前記走行環境情報は、仮想的な車両の走行環境を表す前方カメラの映像データを含む付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記評価部は、前記人工知能の性能を複数の評価指標により評価する付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記評価部は、前記複数の評価指標を組み合わせて、前記人工知能の総合的な性能とする付記６に記載の情報処理装置。
（付記８）
前記複数の評価指標は、少なくとも、快適さを示す安定性と安全性とを含む付記７に記載の情報処理装置。
（付記９）
前記快適さを示す安定性は、速度の安定性と、車両の動きの直線性と、カーブでの車両の曲り角度とを含む付記８に記載の情報処理装置。
（付記１０）
前記評価部は、前記複数の評価指標によるそれぞれの評価結果を出力する付記６に記載の情報処理装置。
（付記１１）
前記評価部は、前記人工知能による自動運転の結果と模範となる車両における運転結果とを比較することによって、前記人工知能の性能を評価する付記１乃至１０のいずれか１項に記載の情報処理装置。
（付記１２）
前記生成部は、前記人工知能に含まれる特定の機能を評価するための走行環境情報を生成し、
前記評価部は、前記特定の機能の性能を評価する付記１乃至１１のいずれか１項に記載の情報処理装置。
（付記１３）
前記評価部による評価結果を考慮して、前記人工知能の更新を提案する提案部をさらに備えた付記１乃至１２のいずれか１項に記載の情報処理装置。
（付記１４）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
を含む情報処理方法。
（付記１５）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
をコンピュータに実行させる情報処理プログラム。
【０１０６】
この出願は、２０１８年８月３日に出願された日本国特許出願  特願２０１８−１４６７２８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2020026460.tif 000003
【図２Ａ】
2020026460.tif 000004
【図２Ｂ】
2020026460.tif 000005
【図３】
2020026460.tif 000006
【図４】
2020026460.tif 000007
【図５】
2020026460.tif 000008
【図６】
2020026460.tif 000009
【図７】
2020026460.tif 000010
【図８】
2020026460.tif 000011
【図９】
2020026460.tif 000012
【図１０】
2020026460.tif 000013
【図１１】
2020026460.tif 000014
【図１２】
2020026460.tif 000015
【図１３】
2020026460.tif 000016
【図１４】
2020026460.tif 000017
【図１５】
2020026460.tif 000018
【図１６】
2020026460.tif 000019
【図１７】
2020026460.tif 000020
【図１８】
2020026460.tif 000021
【図１９】
2020026460.tif 000022
【図２０】
2020026460.tif 000023
【図２１】
2020026460.tif 000024
【図２２】
2020026460.tif 000025
【図２３】
2020026460.tif 000026
【図２４】
2020026460.tif 000027
【図２５】
2020026460.tif 000028
【図２６】
2020026460.tif 000029
【図２７】
2020026460.tif 000030
【手続補正書】
【提出日】令和3年2月1日(2021.2.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成部と、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得部と、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価部と、
を備えた情報処理装置。
【請求項２】
前記生成部は、前記車両が危険状態になりやすい走行環境を表す走行環境情報から危険状態になりにくい走行環境を表す走行環境情報への順に生成する請求項１に記載の情報処理装置。
【請求項３】
前記生成部は、前記車両が危険状態になりやすい度合いが閾値を超える走行環境を表す走行環境情報は生成しない請求項２に記載の情報処理装置。
【請求項４】
前記評価部は、前記人工知能の性能を複数の評価指標により評価する請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記複数の評価指標は、少なくとも、快適さを示す安定性と安全性とを含む請求項４に記載の情報処理装置。
【請求項６】
前記評価部は、前記人工知能による自動運転の結果と模範となる車両における運転結果とを比較することによって、前記人工知能の性能を評価する請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記生成部は、前記人工知能に含まれる特定の機能を評価するための走行環境情報を生成し、
前記評価部は、前記特定の機能の性能を評価する請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記評価部による評価結果を考慮して、前記人工知能の更新を提案する提案部をさらに備えた請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
を含む情報処理方法。
【請求項１０】
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
をコンピュータに実行させる情報処理プログラム。
【国際調査報告】
2020026460.tif 000031
2020026460.tif 000032
2020026460.tif 000033
2020026460.tif 000034