(57)【要約】車両に搭載したカメラ等で収集した外部環境情報を外部環境情報取得部３０２により取得し、ラベリング処理部３０４によりラベルを付与する。その際に、ラベリング対象の情報を取得した時点で車両が回避動作をすることなく通行できれば付与するラベルは通過可能を示すラベルである。一方、回避動作をした場合には、外部環境情報にラベルを付与し無くともよいし、通過不可の旨のラベルを付与してもよい。
2019116423.tif 000002
【特許請求の範囲】
【請求項１】
自動走行のためのデータ生成装置であって、
外部環境情報を取得する取得手段と、
前記取得手段により取得した外部環境情報に含まれた着目情報に、前記外部環境情報が収集された位置を車両が通行したことに応じたラベルを付与するラベリング手段と
を有することを特徴とするデータ収集装置。
【請求項２】
請求項１に記載のデータ生成装置であって、
前記取得手段は、車両に搭載した検知手段により検知した前記外部環境情報を取得することを特徴とするデータ生成装置。
【請求項３】
請求項２に記載のデータ生成装置であって、
前記ラベリング手段は、前記着目情報を取得した位置から所定距離走行した位置で取得した前記外部環境情報に基づいて前記車両の通過位置を特定し、前記着目情報において前記通過位置に対応する位置に、通過可能のラベルを付与することを特徴とするデータ生成装置。
【請求項４】
請求項３に記載のデータ生成装置であって、
前記外部環境情報には、カメラで撮影された、フレームを単位とする画像情報が含まれており、
前記ラベリング手段は、前記フレームを前記着目情報として前記ラベルを付与することを特徴とするデータ生成装置。
【請求項５】
請求項４に記載のデータ生成装置であって、
前記所定距離は、予め定めたフレームの間隔に相当する距離であることを特徴とするデータ生成装置。
【請求項６】
請求項４乃至５のいずれか一項に記載のデータ生成装置であって、
前記ラベリング手段は、所定数のフレームおきにラベルを付与することを特徴とするデータ生成装置。
【請求項７】
請求項３乃至６のいずれか一項に記載のデータ生成装置であって、
前記ラベリング手段は、前記着目フレームにおいて通行しなかった領域について通行不可と判定し、前記着目情報に通行不可のラベルを付与することを特徴とするデータ生成装置。
【請求項８】
請求項１乃至７のいずれか一項に記載のデータ生成装置であって、
前記ラベリング手段により前記ラベルが付された前記外部環境情報に、オペレータの操作に応じてアノテーションをさらに付加し、教師データを生成する手段をさらに有することを特徴とするデータ生成装置。
【請求項９】
請求項８に記載のデータ生成装置であって、
前記教師データを用いた機械学習を行って自動運転モデルを生成する学習手段をさらに有することを特徴とするデータ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば自動運転のための機械学習用教師データを収集する教師データ収集装置に関する。
【背景技術】
【０００２】
車両の自動運転技術において、走行中の様々な状況における運転操作を機械学習により学習させた人工知能による車両制御が提案されている。人工知能による車両制御では、カメラやレーダ等の車載センサによる検知データを入力とし、たとえば入力データから抽出した特徴量に応じた出力によって、ブレーキなどの制動制御、ステアリングを行う操舵制御、エンジン等の動力の駆動制御、照明等の周辺機器の周辺制御などの走行制御が行われる。機械学習のための技術のひとつに教師あり学習がある。教師あり学習では、予め入力されるデータにアノテーション（ラベルあるいはタグなどとも呼ばれる）を付与した教師データを用意しておき、その教師データを入力として人工知能に学習させる。アノテーションは、たとえば画像データを入力データとした場合、その画像データ中で認識されるべき障害や白線、標識、信号等を示した情報として付与される。たとえば特許文献１にはそのような機械学習を利用したシステムの一例が記載されている。それによれば、入力画像を複数のブロックに分割し、予めユーザの指示によりクラスが指定された学習用データで学習させた装置により、それらブロックを、各ブロックに通路領域が含まれる可能性に応じたクラスへと分類する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５０６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、自動運転の教師データとして収集する情報は膨大であり、収集した情報に機械学習のためのアノテーションを付与する作業もまた膨大な作業となり、多大な労力と経費、時間を要する作業となる。【０００５】
本発明は上記従来例に鑑みて成されたもので、機械学習のために要する労力、経費、時間等を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は以下の構成を有する。【０００７】
すなわち、本発明の一側面によれば、自動走行のためのデータ生成装置であって、
外部環境情報を取得する取得手段と、
前記取得手段により取得した外部環境情報に含まれた着目情報に、前記外部環境情報が収集された位置を車両が通過したことに応じたラベルを付与するラベリング手段とを有する。
【発明の効果】
【０００８】
本発明によれば、外部環境情報に対するラベリングの少なくとも一部を自動化でき、教師データ生成作業の労力削減、時間短縮、コスト削減を実現できる。【０００９】
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
【図面の簡単な説明】
【００１０】
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
【図１】図１は車両システムの構成を示した説明図である。
【図２】図２はサーバの構成を示すブロック図である。
【図３】図３は外部環境情報に基づいて自動運転モデルを生成するための構成を示すブロック図である。
【図４】図４は自動運転モデルを用いた車両の自動運転制御のためのブロック図である。
【図５】図５は取得した外部環境情報にラベリングする手順を示すフローチャートである。
【図６】図６は走行中におけるラベリングの具体例を示す図である。
【発明を実施するための形態】
【００１１】
［第一実施形態］
●車両用制御装置の構成
図１は、本発明の一実施形態に係る車両用制御装置のブロック図である。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。本実施形態において、車両１は自動運転モデルを生成するためのデータ収集車であると同時に、生成された自動運転モデルを用いた自動運転を実施可能な車両である。なお本実施形態における自動運転モデルとは、入力となる各種情報に出力となる車両の制御パラメータを対応付けたデータの集積であり本例ではベースとなる人工知能に学習させることで生成される。車両１は、データ収集車として稼働する際には、基本的に手動運転モードで運転者により運転され、各センサは教師データの基となるデータを収集するために利用される。一方、自動運転車両として稼働する際には、車両１は自動運転モードで走行し、各センサは外部或いは自車両の状態を示すデータを収集して、該データは自動運転の制御のための入力として利用される。なおデータ収集のためのモードをデータ収集モードと呼ぶことにする。データ収集モードでは、種々のセンサで車両１の外部環境の状態を示す外部環境情報と、自車両の状態を示す自車状態情報とを取得し、それら情報をサーバ（教師データ生成サーバと呼ぶ。）に送信する。教師データ生成サーバでは、収集したデータに対して機械的に分類するラベリング処理と、さらにマニュアル処理でアノテーションを付与するアノテーション処理とを施して機械学習のための教師データとする。なおラベリング処理をアノテーション処理に含めてもよいが、本実施形態ではアノテーション処理の一部を自動化しており、その自動化された工程をラベリング処理と呼んで区別している。
【００１２】
図１の制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０〜２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。
【００１３】
以下、各ＥＣＵ２０〜２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合したりすることが可能である。
【００１４】
ＥＣＵ２０は、車両１の自動運転に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。また自動運転は、図３に示した構成により生成された自動運転モデルに基づいて行ってもよい。また、ＥＣＵ２０は、自動運転モデルを生成する際に用いる機械学習のための教師データの収集に関わる制御も実行する。自動運転とデータ収集のいずれを実行するかは、本例ではたとえば運転者が設定したモード（自動運転モードまたはデータ収集モード）に従う。
【００１５】
ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。センサで検知された操舵角は、データ収集モードにおいては収集の対象である自車状態情報の一部とされて教師データ生成サーバに送信されてもよい。
【００１６】
ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１〜４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部に２つ設けられている。カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。カメラ４１で撮影されたフレームを単位とする映像は、データ収集モードにおいては収集の対象である外部環境情報の一部とされて教師データ生成サーバに送信されてもよい。この場合送信の対象は全フレームであることが望ましいが、データ量を削減するために間引きされていてもよい。フレームの間引きを行う場合には、間引き後のフレームの間隔が図５等で説明するラベリング処理の時間間隔を超えないような間引き率を設定することが望ましい。
【００１７】
検知ユニット４２は、ライダ（light detection and ranging：レーザレーダとも呼ぶ）であり（以下、ライダ４２と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に１つずつ設けられている。データ収集モードにおいては、ライダ４２やレーダ４３で検知されたデータも、外部環境情報の一部として教師データ生成サーバに送信されてよい。
【００１８】
ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。これら検知ユニット４１，４２，４３（カメラ４１，ライダ４２，レーダ４３）を車両外部のセンサ（外界センサ）と呼ぶことがある。なお、外界センサには、このほか外気温センサなど、他の外部環境を特定するためのセンサを含めてもよい。そのセンサの検知結果についても、やはりＥＣＵ２２やＥＣＵ２３によって処理されてよい。外界センサによる検知結果は、他のＥＣＵ例えばＥＣＵ２０等によって、走行環境を特定するために利用することができる。
【００１９】
ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動、たとえば車両１の前後軸周りの角速度、或いはそれに加えて上下軸および左右軸周りの角速度を検知する。ジャイロセンサ５の検知結果からＥＣＵ２４は車両１のヨーレート（ヨー角速度）を取得することもできる。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。さらに、通信装置２４ｃを介して気象情報や路面状態に関する路面情報などの外部情報を取得できる。気象情報や路面情報は車両の現在位置付近に関する情報のみならず、走行経路が設定されている場合には、その経路に沿った地域に関する情報を取得することもできる。さらに通信装置２４ｃは図２に示すサーバ（教師データ収集サーバとも呼ぶ。）と無線通信を行い、種々の車載センサ、たとえばカメラにより取得した外部環境情報の全部または一部を教師データ収集サーバに送信することができる。ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４はこのほか、車両１の左右及び前後方向（あるいはさらに上下方向）の加速度を検知する加速度センサや、それら軸周りの角加速度センサの出力信号の処理を行ってもよい。これらセンサはジャイロセンサ５と同じセンサユニットに設けてもよい。これらのセンサおよび後述する車輪速センサ７ｃなどは車両１自身の状態を検知する車両内部のセンサであり、内界センサとも総称される。またこれらセンサから得られたヨーレートや加速度は、他のＥＣＵ例えばＥＣＵ２０にバスを介して引き渡され、走行環境の特定のために利用することができる。またデータ収集モードにおいては、内界センサで得られた情報も自車状態情報として教師データ収集サーバへ送信されてよい。
【００２０】
ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。上述した外部情報を取得するために、通信装置２５ａを用いることもできる。
【００２１】
ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車輪速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。上述したように車輪速センサ７ｃの信号から得られた車輪速（あるいは他の検知信号から得られた情報）および操作検知センサ７ａにより検知した運転者の運転操作の状態は、他のＥＣＵ例えばＥＣＵ２０による走行環境の特定の処理のために用いられてもよいし、自車状態情報の一部として教師データ収集サーバへと送信されてもよい。
【００２２】
ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。
【００２３】
ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。
【００２４】
入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群あるいはタッチパネル等であるが、音声入力装置も含まれてもよい。
【００２５】
ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。さらにデータ収集モードでは、操作検知センサ７ｂにより検知した運転者の運転操作状態を自車状態情報の一部として教師データ収集サーバに送信してもよい。また制動や前述した操舵角を示す情報は、所定の程度以上の状態の変化を示す情報であってもよく、状態の変化を示す情報には状態の変化が生じた時刻を示す自刻情報が付加されていてもよい。制動や操舵の状態を示す情報を時刻と関連付けておくことで、状態の変化が生じた時刻を特定でき、その時刻を車両１全体で同期させておくことで、他のセンサによる検知データとの同期をとることができる。もちろんこれは収集したデータ間の同期をとる方法の一例に過ぎない。
【００２６】
●教師データ収集サーバ
図２に教師データ収集サーバ２００のハードウェア構成をしめす。教師データ収集サーバ２００は、基本的には汎用コンピュータの構成を有する。ＣＰＵ２１１はメモリ２１２にロードしたプログラムを実行して例えば図３に示したような機能構成を実現し、また図５に示した手順を実行する。メモリ２１２にはプログラムや処理対象のデータ等を格納する。ユーザインタフェース部２１６は、オペレータに対して画像データ等を表示し、また、オペレータによる入力を受け付ける。たとえば、映像データから抽出されたフレームを表示して、アノテーションの入力を受け付けることができる。ファイルストレージ２１３には、車両１から受信した、あるいは蓄積媒体を介して入力されたデータファイルやプログラムファイルを格納する。データファイルには、車両１により収集された外部環境情報や自車状態情報等が含まれる。ネットワークインターフェース２１４は、たとえば車両１の通信部２４ｃと無線通信して、車両１により収集した外部環境情報や自車状態情報を受信する。なお教師データ収集サーバ２００は、収集したデータから教師データを生成し、さらにそこから人工知能による実現される自動運転モデルを生成することから、データ生成装置とも呼ぶことができる。
【００２７】
図３に教師データ収集サーバ２００が、収集した教師データに基づいて自動運転モデルを生成するための機能ブロック図の一例を示す。外部環境情報取得部３０２は、ファイルストレージ２１３に格納した外部環境情報を取り出してラベリング処理部３０４に入力する。ここで外部環境情報取得部３０２は、ファイルストレージ２１３に格納した外部環境情報のすべてを取得するとは限らず、その一部を抽出することもある。外部環境情報にはカメラで撮影した映像データや、ライダやレーダで取得した障害物データなどが含まれる。これらのデータはたとえば時間的に離散したデータであり、取得したタイミングにおける車両外部の状態を示すデータと言える。たとえば映像データは所定時間間隔でキャプチャしたフレームから構成されており、各フレームはそれを撮影した時点における、カメラ４１の撮影範囲内の画像である。これは他のセンサで取得したデータに関しても同様である。そしてこのある時点におけるデータ、たとえば映像であればフレームが本実施形態におけるラベリング処理の対象となる。キャプチャした全てのフレームをラベリング対象としてもよいが、たとえばフレームレートが自動運転の制御の精度をこえて高いなど、全フレームを対象としなくともよい場合などには、連続するフレーム群から間引きしたフレームを取得してもよい。
【００２８】
ラベリング処理部３０４は、入力された外部環境情報を着目情報として、所定の基準にしたがって着目情報にラベルを付与する。たとえば、外部環境情報として映像を用いる場合、外部環境情報３０２はフレームを単位としてラベリング処理部３０４に外部環境情報を入力する。ラベリング処理部３０４は入力されたフレームを着目情報としてそれにラベルを付与する。ラベルの付与はタグ付けと呼ぶこともある。またラベルはアノテーションの一部であると考えてもよい。ラベリング処理の詳細については図５を参照して後述する。ラベリング処理部３０４は、ラベルを付与した着目情報をデータ格納部３０６にいったん格納する。ラベリング処理部３０４が付与するラベルは、車両が通過可能であった場所等を示すラベルである。ラベルの付与の仕方については、図５を参照して、後でより詳しく説明する。
【００２９】
アノテーション処理部３０８はデータ格納部３０６からラベリング処理済みの外部環境情報、たとえば映像のフレームを取り出して、アノテーション入力部３１０から入力されたアノテーションを付加する。ただし、ラベリング処理部３０４により付与済みのラベルについてはアノテーションとして付加しなくともよい。すなわち本実施形態では、アノテーション処理部３０８により、通過可能な領域を示す情報をアノテーションとして改めて付与しなくともよい。アノテーションはオペレータにより入力された情報であり、生成されるはずの運転モデルが、外部環境情報を入力に応じて出力すべき情報を示す。例えば映像中の障害物や白線などを認識する際には、認識結果となるべきフレーム画像中の障害物や白線等の位置や領域を示す情報などであってよい。この場合、走行制御用のパラメータは直接的には出力されないが、たとえば認識した障害物や白線等を入力として走行制御用のパラメータを出力するための学習を行って自動運転モデルを生成してもよい。もちろんこれは一例であって、入力された外部環境情報の種類に応じて、さらに外部環境情報を入力として出力すべき情報に応じて、適切なアノテーションが付加される。またラベルやアノテーションは、着目情報そのものではなく、着目情報から抽出された特徴情報に関連付けられてもよい。
【００３０】
学習部３１２は、アノテーション処理部３０８によりアノテーションを付加された外部環境情報を教師データとしてベースとなる人工知能に入力し、学習をさせる。学習部３１２は、学習により自動運転モデル３１４を生成して出力する。本実施形態の自動運転モデル３１４は、アノテーション付きの外部環境情報を入力とし、入力に応じた走行制御パラメータを出力とするデータの集積であるが、出力が画像認識の認識結果であってもよいし、その他の出力であってもよい。たとえば、画像中において車両が通過可能な位置を出力として得てもよい。この特定される位置とは、たとえば車両からの距離と方向とで特定される地図上の位置であることが望ましい。この自動運転モデルを形成するデータの集積は、たとえば入力された外部環境情報をパラメータとして重み付けし、その重み付け済みパラメータを演算して最終的な出力へとマッピングする変換表とみなすこともできる。自動運転モデル３１４に内包された重みは、例えばパラメータ間の関連の強さ或いはパラメータの影響力の強さを示す値と考えることもでき、学習とは、教師データとして与えられた入力および出力の対応から、その重み付けを修正あるいは決定する過程であるということもできる。なお学習の手法については既存の方法を採用すればよい。なお図３では入力をアノテーション付きの外部環境情報に限ったが、これに限らずたとえばさらに自車状態情報をも入力して自動運転モデルを生成してもよい。
【００３１】
生成され出力された自動運転モデルは、自動運転の走行制御を実現する車両１に搭載されて自動運転のために供用される。図４は車両１が自動運転で走行するための構成を示し、例えばＥＣＵ２０がプログラムを実行することで実現される。図４では外部環境情報のみならず、自車状態情報も入力として走行制御を行う例を説明する。外部環境情報取得部４０２は、車両１が備えるカメラ４１、ライダ４２、レーダ４３などの各センサの出力を取得して自動運転制御部４０６に入力する。自車状態情報取得部４０４は、車両１が備えるセンサで検知した操舵角や制動力（ブレーキ踏力）、アクセル開度などを取得して自動運転制御部４０６に入力する。自動運転制御部４０６は、教師データ収集サーバ２００が生成した自動運転モデル４０８を用いて、入力に対応する制御パラメータを出力して走行制御を実現する。この例では、制御対象は操舵（ステアリング）、制動（ブレーキ）、駆動（エンジン或いはモータ）であり、それぞれのための出力は、動作制御部４１０、制動制御部４１２、駆動制御部４１４に引き渡される。各制御部は、入力された制御パラメータに応じてそれぞれの制御を実施する。もちろん制御対象はこのほかにあってもよくたとえば照明などを含めてもよい。ここで、操舵制御部４１０、制動制御部４１２、駆動制御部４１４は、自動運転制御部４０６から入力される制御情報に応じて制御される。たとえば、自動運転制御部４０６が自動運転モデル４０８の出力として、実時間で取得中の映像フレームにおいて通行可能な位置を得るものとする。この場合には自動運転制御部４０６は、得られた通行可能な位置を走行すべく、操舵、制動、駆動を制御する。
【００３２】
図５に外部環境情報取得部３０２およびラベリング処理部３０４によるラベリング処理の手順を示す。ハードウェア上の実行主体はＣＰＵ２１１である。ラベリング処理とは、本例ではたとえば映像（あるいは動画）を構成するフレームに着目し、そのフレームにラベルを関連付ける処理である。直観的に言えば、本実施形態のラベリング処理は、車両が通過した経路を、カメラ４１で撮影した映像のフレーム中にマークしていく処理といえる。そこでまず外部環境情報を取得し（Ｓ５０１）、その中からラベリングのために使用する参照データを抽出する（Ｓ５０３）。これにより、映像データのフレームレートおよび車両の速度によっては、フレーム間における車両の進行距離が過度に短く、処理負担が過大になってしまうことを防止することができる。この参照データの中にラベリング対象とするラベリング対象データ（あるいは単に対象データ、対象情報または対象フレームとも呼ぶ）も含まれる。取得した外部環境情報全体（すなわち映像の全フレーム）を使用する場合には、すでに必要なデータは抽出済みといえるので、ステップＳ５０３は行わなくともよい。
【００３３】
ここで本実施形態では、たとえば以下の方法でフレームの抽出を行う。本実施形態では、カメラ４１は２台車幅方向に並列に配置されている（図１参照）。そこで、ステップＳ５０１では、これら２台のカメラ４１により撮影された、同期した映像を取得する。ステップＳ５０３では視点の異なる同期した２つのフレームの視差からフレーム内の特定のオブジェクトまでの距離を推定し、連続するフレーム間において車両が進行した距離を推定する。そして、フレーム間での進行距離が概ね一定になるよう、フレームを抽出する。距離の推定は全フレームについて行わず、一定のフレームおきにおこなってもよい。一般公道を走行する車両の加速度は、通常それほど過大なものではないと期待できるからである。ステップＳ５０３で抽出したフレームが、ラベリングのために参照されるフレームであり、そのうちの少なくとも一部がラベリング対象フレームとなる。全フレームを用いてラベリングを行う場合には、ステップＳ５０３での抽出を行わなくともよい。
【００３４】
次にステップＳ５０５では、ステップＳ５０３で抽出されたフレームのうち適当なフレーム、たとえば最も古い走行シーンを特定し、そのうちの先頭のフレームに着目する。着目したフレームがラベリング対象フレームであり、これを着目フレームと呼ぶ。なお走行シーンは、前述したフレーム間の進行距離が所定値を超えるシーンとして特定してよい。閾値となる所定値としては、０あるいはそれより大きな値を選択すればよい。また着目フレームの次のラベリング対象フレームもここで特定する。このフレームを参照ラベリング対象フレームと呼ぶことにする。着目フレームと参照ラベリング対象フレームとの間にフレームがある場合もあるが、これらのフレームと参照ラベリング対象フレームとを併せて参照フレームと呼ぶことにする。ここで、たとえばおおよそ車両の進行距離にしておよそ距離Ｌおきのフレームにラベリングしたいものとする。ステップＳ５０３で説明した要領で映像から推定されたフレーム間の車両の進行距離がＤ（フレームが間引かれている場合には間引き率で除した値）であれば、距離Ｌはフレーム数に換算してＬ／Ｄ（フレーム）となる。ステップＳ５０５ではたとえば、先頭のラベリング対象フレームからＬ／Ｄフレームおいたフレームを参照ラベリング対象フレームとして特定すればよい。なおラベリング対象フレームは、２つのカメラのうち、いずれか一方のみで撮影した映像のものでよい。フレーム間の進行距離を推定する方法は他の方法であってもよく、たとえば映像に同期した速度情報や、同じく映像に同期した加速度情報を参照してもよい。
【００３５】
ラベリング対象フレームに着目したなら、ステップＳ５０７において、その着目フレームにおける自車両の通過位置を特定し、その位置が通過可能であった旨のマーク（「通行可能」ラベル）を付与する。そのためにたとえば、着目フレームの後の参照フレームを参照して、参照フレームにおいてまさに通過している領域を特定する。そして、その領域を着目フレーム上に対応付け、そこを通過可能な領域であるとしてラベルを付与する。カメラ４２を、車幅方向について中央に、その視線が車両の直進方向に並行となるように設置しておけば、フレームの中心がフレーム撮影時の車両の進行方向となる。そのためフレームの下辺中央部における車両サイズ相当の領域がまさに通過中の領域である。カメラ４１は車両に対して固定されているので、車両がまさに通過中の領域は、フレーム外であっても特定できる。その領域を着目フレーム上にマッピングする。たとえは参照フレームと着目フレームの画像とを認識してそれぞれの画像を対応付けることで、このマッピングは行える。参照フレームが複数ある場合には、着目フレーム中の複数の領域に対して通行可能のラベルが付与される。もちろん、マッピングの結果着目フレーム外となった領域は、ラベリングの対象外である。領域の特定は、たとえばフレーム内における座標やベクトルなどで行ってよい。
【００３６】
ステップＳ５０７でラベルを付与したラベリング済みフレームは、ステップＳ５０９において、データ格納部３０６に格納する。これがアノテーション処理の対象となる。ステップＳ５１１においては、ラベリング処理すべき未処理フレームがあるか判定し、なければ処理を終了する。一方未処理フレームがあれば次のラベリング対象フレームを特定して着目する。これは現在の参照ラベリング対象フレームを新たな着目フレームとし、新たな参照ラベリング対象フレームを、ステップＳ５０５で説明した要領で特定すればよい。そしてステップＳ５０７へと分岐してラベリング処理を反復する。
【００３７】
図６に、映像フレームとフレーム内の特定の領域に付与されるラベルの例を示す。もちろんこの例は視覚化のために模式的に示したものである。フレーム６１０にはオブジェクト６１１が含まれている。このフレームをラベリング対象フレームとし、フレーム６２０及びフレーム６３０を参照フレームとして図５の処理を実行する。なおフレーム６２０とフレーム６３０とは異なる状況を例として示すために提示されており、両立するものではない。さて、参照フレーム６２０においては、矢印６２２が速度ベクトルを示す。そしてまさに通過している領域が領域Ａ'で示される。これをフレーム６１０にマッピングすると、領域Ａが通過可能な領域であり、領域Ａを特定した上で、通行可能を示すラベルが付与される。なおたとえば、領域Ａ'にオブジェクト６１１が含まれており、オブジェクト６１１が画像上で既に特定されているのであれば、そのオブジェクト６１１について通行可能のラベルを付与してもよい。この場合には、領域Ａ'に対するラベルを併せて付してもよいし、オブジェクトのみにラベルを付与してもよい。同様に、参照フレーム６３０においても、矢印６３２の下方に通過領域Ｂ'が」特定される。そしてこれがフレーム６１０にマッピングされて、マッピングされた領域Ｂに対して通行可能ラベルが付与される。
【００３８】
以上のようにして本実施形態によれば、外部環境情報に対して、機械的に、あるいは自動的に、ラベルを付与することができる。付与されたラベルに関してはアノテーションをつける必要がないので、アノテーション処理のための労力や時間、コストを軽減することができる。また、ラベルの付与は本実施形態では、実際に車両が通行できた実績に基づいていることから、信頼性の高いラベリングを実現できる。
【００３９】
なお、本実施形態ではラベリング処理部３０４を教師データ生成サーバ２００に備えるものとして説明したが、ラベリング処理部３０４を車両１に設け、カメラ４１等から収集したデータに対して車両でラベリング処理を施した後で教師データ生成サーバに送信してもよい。その場合には、車両が通過した位置は、例えばカメラ４１で取得した映像（フレーム）と、走行速度等を含む自車状態情報とから実時間で特定できるので、その位置に対して「通過可能」のラベルを付せばよい。また、車両１が収集したデータを教師データ生成サーバ２００に引き渡す媒体は無線通信のみならず、いったん蓄積型媒体に収集したデータを蓄積しておき、それを媒体ごと教師データ生成サーバ２００に移してもよいし、有線通信で送信してもよい。また図６で例示したように、「通過可能」のラベルについても、ラベリング処理部３０４で付与してよい。付与する場合には図５のステップＳ５０７でラベリングが行われる。またラベリングの対象は画像データに限らず、教師データとするデータであれば他のデータであってもよい。また付与するラベルも通過可能か否かに限らず、機械的に付与できるラベルであれば他の意味を持つラベルであってもよい。
【００４０】
●実施形態のまとめ
以上説明した本実施形態をまとめると以下のとおりである。
（１）本実施形態の第一の態様は、
自動走行のためのデータ生成装置であって、
外部環境情報を取得する取得手段と、
前記取得手段により取得した外部環境情報に含まれた着目情報に、前記外部環境情報が収集された位置を車両が通行したことに応じたラベルを付与するラベリング手段と
を有することを特徴とするデータ収集装置にある。
この構成により、外部環境情報に対するラベリングの少なくとも一部を自動化でき、教師データ生成作業の労力削減、時間短縮、コスト削減を実現できる。
【００４１】
（２）本実施形態の第二の態様は、第一の態様に加えて、前記取得手段は、車両に搭載した検知手段により検知した前記外部環境情報を取得することを特徴とするデータ生成装置にある。
この構成により、外部環境情報は車両搭載型の検知手段により取得でき、より効率的に、またより高信頼度で教師データを生成できる。
【００４２】
（３）本実施形態の第三の態様は、第二の態様に加えて、前記ラベリング手段は、前記着目情報を取得した位置から所定距離走行した位置で取得した前記外部環境情報に基づいて前記車両の通過位置を特定し、前記着目情報において前記通過位置に対応する位置に、通過可能のラベルを付与することを特徴とするデータ生成装置にある。
この構成により、特に車両が通過可能であることを示すラベルの付与を効率的に行うことができる。
【００４３】
（４）本実施形態の第四の態様は、第三の態様に加えて、前記外部環境情報には、カメラで撮影された、フレームを単位とする画像情報が含まれており、
前記ラベリング手段は、前記フレームを前記着目情報として前記ラベルを付与することを特徴とするデータ生成装置にある。
この構成により、画像情報のフレームを外部環境情報としてラベリングでき、画像データからの教師データの生成を効率化できる。
【００４４】
（５）本実施形態の第五の態様は、第四の態様に加えて、前記所定距離は、予め定めたフレームの間隔に相当する距離であることを特徴とするデータ生成装置にある。
この構成により、ラベリング処理を、予め定めたフレーム数相当の遅延で行うことができ、処理の迅速化を図ることができ、フレームをバファリングしておくメモリを節約できる。
【００４５】
（６）本実施形態の第六の態様は、第四乃至第五の態様に加えて、前記ラベリング手段は、所定数のフレームおきにラベルを付与することを特徴とするデータ生成装置にある。
この構成により、ラベリング対象フレームを間引くことができ、処理負荷の軽減を図ることができる。
【００４６】
（７）本実施形態の第七の態様は、第三乃至第六の態様に加えて、前記ラベリング手段は、前記着目フレームにおいて通行しなかった領域について通行不可と判定し、前記着目情報に通行不可のラベルを付与することを特徴とするデータ生成装置にある。
この構成により、通過可能の場合のみならず、通行不可の場合にもラベルを付与することができる。
【００４７】
（８）本実施形態の第八の態様は、第一乃至第七の態様に加えて、前記ラベリング手段により前記ラベルが付された前記外部環境情報に、オペレータの操作に応じてアノテーションをさらに付加し、教師データを生成する手段をさらに有することを特徴とするデータ生成装置にある。
この構成により、ラベリング済みの外部環境情報に基づいてさらにアノテーションを付加した教師データを生成できる。
【００４８】
（９）本実施形態の第九の態様は、第八の態様に加えて、前記教師データを用いた機械学習を行って自動運転モデルを生成する学習手段をさらに有することを特徴とするデータ生成装置にある。
この構成により、自動的にラベリングした外部環境情報を基に、車両の自動運転に供する自動運手モデルを生成できる。
【００４９】
さらに本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
【図１】
2019116423.tif 000003
【図２】
2019116423.tif 000004
【図３】
2019116423.tif 000005
【図４】
2019116423.tif 000006
【図５】
2019116423.tif 000007
【図６】
2019116423.tif 000008
【手続補正書】
【提出日】令和2年6月2日(2020.6.2)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、例えば自動運転のための機械学習用教師データを収集する教師データ生成装置に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。さらにデータ収集モードでは、操作検知センサ７ｂにより検知した運転者の運転操作状態を自車状態情報の一部として教師データ収集サーバに送信してもよい。また制動や前述した操舵角を示す情報は、所定の程度以上の状態の変化を示す情報であってもよく、状態の変化を示す情報には状態の変化が生じた時刻を示す時刻情報が付加されていてもよい。制動や操舵の状態を示す情報を時刻と関連付けておくことで、状態の変化が生じた時刻を特定でき、その時刻を車両１全体で同期させておくことで、他のセンサによる検知データとの同期をとることができる。もちろんこれは収集したデータ間の同期をとる方法の一例に過ぎない。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
●教師データ収集サーバ
図２に教師データ収集サーバ２００のハードウェア構成をしめす。教師データ収集サーバ２００は、基本的には汎用コンピュータの構成を有する。ＣＰＵ２１１はメモリ２１２にロードしたプログラムを実行して例えば図３に示したような機能構成を実現し、また図５に示した手順を実行する。メモリ２１２にはプログラムや処理対象のデータ等を格納する。ユーザインタフェース部２１６は、オペレータに対して画像データ等を表示し、また、オペレータによる入力を受け付ける。たとえば、映像データから抽出されたフレームを表示して、アノテーションの入力を受け付けることができる。ファイルストレージ２１３には、車両１から受信した、あるいは蓄積媒体を介して入力されたデータファイルやプログラムファイルを格納する。データファイルには、車両１により収集された外部環境情報や自車状態情報等が含まれる。ネットワークインターフェース２１４は、たとえば車両１の通信装置２４ｃと無線通信して、車両１により収集した外部環境情報や自車状態情報を受信する。なお教師データ収集サーバ２００は、収集したデータから教師データを生成し、さらにそこから人工知能による実現される自動運転モデルを生成することから、データ生成装置とも呼ぶことができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
ラベリング処理部３０４は、入力された外部環境情報を着目情報として、所定の基準にしたがって着目情報にラベルを付与する。たとえば、外部環境情報として映像を用いる場合、外部環境情報取得部３０２はフレームを単位としてラベリング処理部３０４に外部環境情報を入力する。ラベリング処理部３０４は入力されたフレームを着目情報としてそれにラベルを付与する。ラベルの付与はタグ付けと呼ぶこともある。またラベルはアノテーションの一部であると考えてもよい。ラベリング処理の詳細については図５を参照して後述する。ラベリング処理部３０４は、ラベルを付与した着目情報をデータ格納部３０６にいったん格納する。ラベリング処理部３０４が付与するラベルは、車両が通過可能であった場所等を示すラベルである。ラベルの付与の仕方については、図５を参照して、後でより詳しく説明する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
生成され出力された自動運転モデルは、自動運転の走行制御を実現する車両１に搭載されて自動運転のために供用される。図４は車両１が自動運転で走行するための構成を示し、例えばＥＣＵ２０がプログラムを実行することで実現される。図４では外部環境情報のみならず、自車状態情報も入力として走行制御を行う例を説明する。外部環境情報取得部４０２は、車両１が備えるカメラ４１、ライダ４２、レーダ４３などの各センサの出力を取得して自動運転制御部４０６に入力する。自車状態情報取得部４０４は、車両１が備えるセンサで検知した操舵角や制動力（ブレーキ踏力）、アクセル開度などを取得して自動運転制御部４０６に入力する。自動運転制御部４０６は、教師データ収集サーバ２００が生成した自動運転モデル４０８を用いて、入力に対応する制御パラメータを出力して走行制御を実現する。この例では、制御対象は操舵（ステアリング）、制動（ブレーキ）、駆動（エンジン或いはモータ）であり、それぞれのための出力は、操舵制御部４１０、制動制御部４１２、駆動制御部４１４に引き渡される。各制御部は、入力された制御パラメータに応じてそれぞれの制御を実施する。もちろん制御対象はこのほかにあってもよくたとえば照明などを含めてもよい。ここで、操舵制御部４１０、制動制御部４１２、駆動制御部４１４は、自動運転制御部４０６から入力される制御情報に応じて制御される。たとえば、自動運転制御部４０６が自動運転モデル４０８の出力として、実時間で取得中の映像フレームにおいて通行可能な位置を得るものとする。この場合には自動運転制御部４０６は、得られた通行可能な位置を走行すべく、操舵、制動、駆動を制御する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
図６に、映像フレームとフレーム内の特定の領域に付与されるラベルの例を示す。もちろんこの例は視覚化のために模式的に示したものである。フレーム６１０にはオブジェクト６１１が含まれている。このフレームをラベリング対象フレームとし、フレーム６２０及びフレーム６３０を参照フレームとして図５の処理を実行する。なおフレーム６２０とフレーム６３０とは異なる状況を例として示すために提示されており、両立するものではない。さて、参照フレーム６２０においては、矢印６２２が速度ベクトルを示す。そしてまさに通過している領域が領域Ａ'で示される。これをフレーム６１０にマッピングすると、領域Ａが通過可能な領域であり、領域Ａを特定した上で、通行可能を示すラベルが付与される。なおたとえば、領域Ａ'にオブジェクト６１１が含まれており、オブジェクト６１１が画像上で既に特定されているのであれば、そのオブジェクト６１１について通行可能のラベルを付与してもよい。この場合には、領域Ａ'に対するラベルを併せて付してもよいし、オブジェクトのみにラベルを付与してもよい。同様に、参照フレーム６３０においても、矢印６２３の下方に通過領域Ｂ'が」特定される。そしてこれがフレーム６１０にマッピングされて、マッピングされた領域Ｂに対して通行可能ラベルが付与される。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
自動走行のためのデータ生成装置であって、
外部環境情報を取得する取得手段と、
前記取得手段により取得した外部環境情報に含まれた着目情報に、前記外部環境情報が収集された位置を車両が通行したことに応じたラベルを付与するラベリング手段と
を有することを特徴とするデータ生成装置。
【手続補正９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項７
【補正方法】変更
【補正の内容】
【請求項７】
請求項３乃至６のいずれか一項に記載のデータ生成装置であって、
前記ラベリング手段は、前記着目情報において通行しなかった領域について通行不可と判定し、前記着目情報に通行不可のラベルを付与することを特徴とするデータ生成装置。
【国際調査報告】
2019116423.tif 000009
2019116423.tif 000010