(57)【要約】  自車の周辺の動画像を撮像するカメラ１の動画像を記憶するメモリ１２と、記憶された動画像から自車の経路を決定するための処理を行う処理部１３とを備え、処理部は、動画像の一時点を用いて行動予測を決定するために一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定することで、事前にカテゴライズされた周辺車両、人物に応じた行動ルールを用いて行動予測されるため、より確からしい予測をおこなうことができる。
2019106789.tif 000002
【特許請求の範囲】
【請求項１】
自車の周辺の動画像を撮像するカメラの動画像を記憶するメモリと、記憶された前記動画像から自車の経路を決定するための処理を行う処理部とを備え、処理部は、前記動画像の一時点を用いて行動予測を決定するために前記一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された前記周辺車両と前記人物のカテゴリに応じて自車、前記周辺車両と前記人物の行動予測を決定する、処理装置。
【請求項２】
前記処理部は前記過去の区間の終了より所定時間後に、前記過去の区間中に前記自車から前記周辺車両や前記人物に対して発信された情報と、識別された前記周辺車両と前記人物のカテゴリに応じて前記自車、前記周辺車両と前記人物の行動予測を決定する、請求項１に記載の処理装置。
【請求項３】
前記処理部は、前記動画像の区間から前記周辺車両と前記人物のカテゴリを分類する際に画像認識と時系列分析を用いてカテゴリを分類する、請求項１または２に記載の処理装置。
【請求項４】
前記処理部は、行動予測を行うための行動ルールについても事前にカテゴライズされた前記周辺車両、前記人物と、前記自車から発信された情報に応じた初動と、に応じた行動ルールに限定する、請求項１乃至３のいずれかに記載の処理装置。
【請求項５】
前記処理部は、前記行動ルールごとの行動予測についてニューラルネットを用いて予測するために、入力層を前記自車、前記周辺車両、前記人物の動きについて状態の情報を付加した画像とし、出力層も予測された前記自車、前記周辺車両、前記人物の動きについて状態の情報を付加した画像とする、請求項４に記載の処理装置。
【請求項６】
前記処理部は、前記行動ルールごとの前記行動予測についてニューラルネットを用いて入力層を自車、周辺車両、人物の動きについて状態の情報を付加した画像に前記自車からの死角情報を付加する、請求項５に記載の処理装置。
【請求項７】
請求項１に記載の行動予測を決定するプロセスよりも早く行動予測を決定できるプロセスを持つ、請求項１乃至６のいずれかに記載の処理装置。
【請求項８】
自車の周辺の動画像を撮像するカメラの動画像を記憶し、
記憶された前記動画像から自車の経路を決定するための処理を行う処理方法であって、  前記動画像の一時点を用いて行動予測を決定するために前記一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された前記周辺車両と前記人物のカテゴリに応じて自車、前記周辺車両と前記人物の行動予測を決定する、前記処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は自動運転または自動運転支援に資する処理装置及び処理方法に関するものである。
【背景技術】
【０００２】
自車両の操作に応じて自車両の挙動を予測する自車モデル、所定の位置関係を満たす車両の挙動に応じて他車両の挙動を予測する他車モデル、を組み合わせることで、自車両の行動の影響を受けて自車両および周囲の他車両からなる車群に生じる未来の挙動を複数予測することによって、現在時刻から未来時刻までの一連の推奨操作を提示している。（特許文献１参照）【０００３】
走行車の自動走行化では人との共存が大きな課題である。例えば自動車の自動運転の場合には、周辺ドライバーの特性によって同じ運動制御を行った場合でも、結果が異なる状況が考えられる。一例をあげると、高速道路の走行中に車線変更のため方向指示ウィンカーを出した場合、変更先の車線の後方を走行する自動車の挙動はドライバーの個体差によって大きく異なる。フォークリフトとAGVが混在するような配送センターにおいても、同様の現象は発生する。このような人と自動台車が混在する環境下において、最適な自動運転を実現するためには、周辺の人が操作する物体・人自体の行動を予見するような機構が必要になる。先行文献１においては、ある時点からの複数の予測をおこなうものの、もっとも確からしい予測と異なると判別するまでにはタイムラグが存在することとなり、また、確からしい予測と異なる確率は小さくない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２２８８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は上記の課題を解決するためになされたものであって、より確からしい予測をおこなうことを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る処理装置は、自車の周辺の動画像を撮像するカメラの動画像を記憶するメモリと、記憶された動画像から自車の経路を決定するための処理を行う処理部とを備え、処理部は、動画像の一時点を用いて行動予測を決定するために一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定する。
【発明の効果】
【０００７】
この発明によれば、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定することで、事前にカテゴライズされた周辺車両、人物に応じた行動ルールを用いて行動予測されるため、より確からしい予測をおこなうことができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１における処理装置のハードウエア構成図。
【図２】実施の形態１の処理部のフローチャート。
【図３】図２のフローチャートの補足説明図。
【図４】実施の形態１における白線検知のためのテンプレートの一例。
【図５】実施の形態１における俯瞰図の一例。
【図６】実施の形態１におけるシミュレーション結果、車線変更を行った例。
【図７】実施の形態１におけるシミュレーション結果、車線変更を行わなかった例。
【図８】ＣＮＮを用いてシミュレーションを行う際の自車、周辺車両、人物の状態Stを画像で示す例。
【図９】実施の形態１におけるＣＮＮを用いてシミュレーションを行った出力図の例。
【図１０】図９から所定のフレーム後の画像。
【発明を実施するための形態】
【０００９】
実施の形態１．
自車（自動車、AGV、自走フォークリフト等）を制御する上で、人との共存は重要な要素である。本発明では、人、人の操作する自動車やフォークリフト、自転車などの人が操作する走行物体（周辺車両）と、制御対象である自車が共存する環境下において、人との親和性が高く効率のよい自車の制御を開発すること目標としている。その実現のため、周辺の人も含む移動体の動作特性を推定し、その動作特性と自車の方向指示表示や移動方向などの動作との相互作用をシミュレーションし、その結果予測される将来の状況を検討することにより、各時刻における最も適切な制御方法を実現する。
以下、この発明の実施の形態について説明する。
【００１０】
実施の形態１においては、自動車、AGV、自走フォークリフトのように動力を用いて自走する走行台車である自車に対して、センサを用いて周辺環境を認識し、周辺に共存する人が操作する走行台車である周辺車両(自動二輪、自転車も含)の操作、と人の動きの相互作用を考慮しながら、自車あるいはシステム全体の効率をあげるための自車の制御を実現することを目的とし、周辺車両を観測することで、各車両の動作カテゴリを推定し、そのカテゴリに基づいて最適な自車の車両制御を実現し、周辺車両に対して、走行カテゴリ分けを行い、そのカテゴリに基づいて予測を行う。その際に、自車の制御パターンを数種類用意し、それぞれの予測結果を比較し、将来にもっともよい状況になる制御パターンを選択することについて説明する。一例として自動車の例で説明する。
【００１１】
図１は、実施の形態１における処理装置のハードウエア構成図である。
構成を説明する。自車にはカメラ１を有している。カメラ１は、基本的には前方、側方、後方が撮像可能なように設置されている。そのため、カメラ１は自車に複数台設置されることで前方、側方、後方が撮像可能となるようにしてもよいし、一台で前方、側方、後方が撮像可能となる機能を有してもよい。
距離センサ２は、周辺車両と自車との距離を計測できる装置を持つ。すなわち、前方、側方、後方について周辺車両と自車との距離を計測できる機能を有する。方式としては、レーザやミリ波等を用いたものが一般的である。尚、距離を算出する上では、ステレオタイプのカメラでも機能上は賄えるため、カメラ１の複数台の設置によって周辺移動体と自車との距離を計測が可能となれば、ハードウエアとしての距離センサ２は不要となる。
【００１２】
車速センサ３は自車の車速を計測するセンサ３である。一般的には、自動車のエンジンやモータ、駆動軸の回転などから車速を計測する場合が多いが、これもカメラ１の機能及び設置方法によっては車速センサ３の機能を賄えるため、その場合は、ハードウエアとしての車速センサ３は不要となる。
ヨーレートセンサ４は、自車の車両の鉛直軸回りの回転角速度(ヨーレート)、を検出するためのセンサである。これもカメラ１の機能（動画が撮影されフレームごとの動きベクトルの差分を計測すること）によってはヨーレートセンサ４の機能を賄えるため、その場合は、ハードウエアとしてのヨーレートセンサ４は不要となる。
【００１３】
舵角センサ５は、自車のハンドルの回転角度を計測するためのセンサで、このセンサの値によって、自車の回転速度を算出することができる。
アクセル／ブレーキセンサ６は、自車のアクセル開度及びブレーキ開度の情報を計測するためのものである。人が運転する場合はアクセルセンサとブレーキセンサが別々に搭載される場合が多い。ここでは将来的な自動運転を想定し、自動車の加速度、減速度を計測するという観点から説明する。また、ブレーキ開度がある場合は、自車のテールランプが発光する。
【００１４】
ドライバスイッチ７は、自車が周辺車両や人に対して情報を与えるための機器（方向指示器、ハザードランプ、前方ライト）のスイッチに該当する。
【００１５】
上記で説明したカメラ１、センサ２〜６及びドライバスイッチ７の情報を処理装置１０の入力インターフェース１１がまずその情報を受信するとともに、メモリ１２に送出する。処理部１３は、メモリ１２の情報をもとに処理を行い、最終的には自車が今後走行するベース経路を選定し、出力インターフェース１４を経由して出力される。出力された情報に基づいて、自車は、自動運転のためにハンドル、アクセル、ブレーキ、ドライバスイッチ類を制御する、もしくは半自動運転等のためにドライバにそのベース経路を画像表示装置等(図示しない)を経由して提示する。
尚、処理回路は、処理回路がハードウエアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。
さらに、この処理回路は内部で処理することを目的に記載しているが、全てまたは一部を通信回線を経由したクラウド側で処理し、結果を通信回線を経由して受信するように構成してもよい。
【００１６】
次に図１の処理部１３が行う処理について説明する。
図２は実施の形態１の処理部のフローチャートである。図３は図２のフローチャートの補足説明図である。
Ｓ２０１において、カメラ１を用いて自車周辺の所定のフレームレートをもつ動画を所定の時間（例えば数秒〜数十秒程度）撮影する。その際にカメラ１以外の距離センサ２、車速センサ３、ヨーレートセンサ４、舵角センサ５、アクセル／ブレーキセンサ６、ドライバスイッチ７のデータを取得してもよい。このステップの動画の撮影の際に自車が何かしらのアクション、すなわち、ハンドル、アクセル、ブレーキ、ドライバスイッチ類をドライバが制御、または自動で制御した情報（以下、自車制御情報とする）と、その後数秒〜数十秒程度のカメラ１、距離センサ２、車速センサ３、ヨーレートセンサ４、舵角センサ５、アクセル／ブレーキセンサ６、ドライバスイッチ７のデータを取得しておくとよい。理由は後述する。
【００１７】
ステップＳ２０２において、障害物、車線、周辺車両、人物の特定を行う。
障害物の検出は、例えば距離センサ２を用いて近接する障害物を検出する。例えば複数のレーザ光を自車の一部の方向または全周囲方向に照射することで得てもよいし、カメラ１の画像から計測できるベクトルの推移情報などから検出することができる。または、図示していないが、ナビゲーションシステム等に用いられているマップ画像などからもステップＳ２０１の入力信号処理情報として取得し用いることができる。また、道路脇の段差、ガードレールや信号等についてはカメラ画像に対するテンプレートマッチングを行うことでもよい。
【００１８】
車線の検出は、カメラ１の画像から白線を検知することで検知できる。また、例えば、図４は実施の形態１における白線検知のためのテンプレートの一例を示しており、図３の（ａ）から（ｅ）に示すようなテンプレートとカメラ画像のマッチングを行うことで行われる。マッチングに際しては、カメラ画像をカメラ１の位置に基づいて上から見たテンプレートに合うよう変形してからマッチングするか、テンプレートをカメラ画像に合うよう変形しておこなうか、いずれかの処理を行う必要がある。テンプレートの代わりに上記で説明したマップ画像等をもちいてもよい。
【００１９】
周辺車両の検出は、主にカメラ１または距離センサ２、またはその両方にて行われる。
カメラの場合は、エッジ検出を行った後、比較的近距離の場合はオプティカルフロー（画像の一部についてのフレーム単位の動きベクトル）を用いて検出する方法などがある。  しかし、１００メートル以上前方の場合はオプティカルフローが有効ではない場合もあり、カメラがとらえる１００メートル以上先の道路上の領域は小さいため、画素の変化を抽出しやすいＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタ等をもちいてエッジを抽出し、１００メートル以上先の道路上の領域のみテンプレートマッチングを行うことで検出する方法を用いてもよい。上記は１００メートル以上と記載したが、オプティカルフローでとらえられる周辺車両の先方側の限界と連動してもよい。
【００２０】
人物の特定については、カメラ１の画像から例えば道路上（道路脇の段差または白線、ガードレールの内側と認識されるエリア）と認識されるエリアについてテンプレートレートマッチングを行う手法等がある。
【００２１】
次にステップＳ２０３において、検出された周辺車両、人物の属性の特定を行う。
周辺車両、人物の属性の特定とは、その周辺車両、人物の振る舞いをカテゴライズするもので、例えば、周辺車両の場合だと、カテゴリA：乱暴な車、カテゴリB：一般的な車、カテゴリC：穏やかな車などがあげられる。これらのカテゴリはあくまで命名ラベルであり、それぞれのカテゴリに対して、車両最高速度、車両の加速度、車間距離、車線変更頻度などの車の特性を特定できる数値パラメータが紐ついている。人物の場合、走っていると推定される速度の場合もしくは子供と推定される場合は道路への飛び出しや信号無視可能性が高いとしてカテゴリＡにカテゴライズされる。他の場合は道路への飛び出しや信号無視可能性が小さいとしてカテゴリＢにカテゴライズされる。
さらに、周辺車両の検出後、俯瞰画像へ投影する前に、車両の画像情報、特徴量、及び直近の動作からも、車両の属性の特定することができる。画像情報以外に入力する特徴量として「車種」、「車体色」、「ナンバープレート」などがあげられるが、システムの構成によってはこれらを使用しなくても問題ない。
【００２２】
この周辺車両の振る舞いをカテゴライズするために、直近の挙動情報（動画）を使用する。一つの求め方として、ＣＮＮ(Convolutional Neural Network)とＲＮＮ(Recurent Neural Network)を組合わせた手法が一般的にあげられる。ＣＮＮは主に、テンプレートマッチングなどの画像認識に向いており、まず周辺車両への特定に用いられる。次にＲＮＮは時系列データの扱う時系列分析を得意としている。したがって、ＣＮＮとＲＮＮを組み合わせることで、動画によって得られた各フレームごとの静止画を入力することでまずＳ２０２の周辺車両を認識し、動画（例えば5秒）を観測することで、より精度よく周辺車両の振る舞いをカテゴライズすることができる。例えば、周辺車両が自車よりも速度差が大きくまたは車線変更が多い場合はカテゴリA：乱暴な車にカテゴライズされやすくその逆はカテゴリC：穏やかな車とされる、などがある。
【００２３】
上記と同様の方法で二輪車（周辺車両に属する）、自転車（周辺車両に属する）、人などもそれぞれのカテゴリを用意し、周辺に存在する移動体についてカテゴリ化することができる。これらでは、例えば、歩道での速度や蛇行の大小もカテゴリを左右する要素となりえる。
【００２４】
次にＳ２０４において俯瞰図を生成する。
図５は実施の形態１における俯瞰図の一例である。二車線の両側には壁があり、左後方に自車がある。自車からみて右側方及び前方に周辺車両があり、共に前方（図の上側方向）に向いて走行している。
俯瞰図は、ステップＳ２０２及びステップＳ２０３で処理された情報に基づいて、カメラ画像をベースにカメラ１の位置に基づいて上から見た画像に合うよう変形することで作成されている。
【００２５】
次にＳ２０５においてステップＳ２０４に基づいて作成された俯瞰図に基づいてシミュレーションを実施し、報酬量Ｑを算出する。
シミュレーションは、特定された障害物、車線、周辺車両(位置、ベクトル、加速度ベクトル)、人物(位置、ベクトル、加速度ベクトル)と、自車の制御情報と、シミュレーションに用いるモデルに基づいて障害物、車線、周辺車両(位置、ベクトル、加速度ベクトル)、人物(位置、ベクトル、加速度ベクトル)の将来の位置がシミュレーションされる。ニューラルネットワークでシミュレーションする場合は、例えば、特定のフレームの障害物、車線、周辺車両(位置、ベクトル、加速度ベクトル)、人物(位置、ベクトル、加速度ベクトル)を入力層とし、次フレームの障害物、車線、周辺車両(位置、ベクトル、加速度ベクトル)、人物(位置、ベクトル、加速度ベクトル)が出力層となる。
【００２６】
図３に示されるように、シミュレーションを開始するフレームの状態St（障害物、車線、周辺車両、人物、自車制御情報）に対し行動a（周辺車両、人物、自車制御情報）を与えることで次フレーム(所定のフレーム後のフレームも含)の俯瞰図を生成し、次フレームの状態St+1（障害物、車線、周辺車両、人物と、自車制御情報）とする。これを数秒から数十秒繰り返す。さらにこの繰り返しを行動ルールの数だけ行う。行動ルールには、自車制御情報のみ変化をあたえる場合もあれば、周辺車両や人物の行動が変化する（周辺車両であれば、加速、減速、車線変更、人物であれば横断歩道の飛び出し、すいている道路での横断等）場合、その両方の場合も含む。
例えばシミュレーションされた二例について図６、図７に示す。図６は実施の形態１におけるシミュレーション結果、車線変更を行った例を示し、図７は実施の形態１におけるシミュレーション結果、車線変更を行わなかった例を示している。
【００２７】
図６は、左から（ａ）〜（ｄ）までしめされており、これは（ａ）を基準とした所定のフレーム数ごとの推移を示している。
図７は、左から（ａ）〜（ｄ）までしめされており、これは（ａ）を基準とした所定のフレーム数ごとの推移を示している。
【００２８】
シミュレーションの行動ルールは可能な限り多く行う必要があるが、動画ベースで撮影された情報に基づく、すなわち自車に対する相対速度をもった状態Ｓｔであるため自車、周辺車両、人物の動きに制約が生まれ、行動ルールの数を少なくすることができる。
【００２９】
また、状態Stのうち、周辺車両、人物については、その振る舞いをステップＳ２０３において事前にカテゴライズしている。したがって、ルールの条件についてはそのカテゴライズに沿った行動ルールに絞ることも可能である。あらかじめ、周辺車両（加速、減速、車線変更）がカテゴライズされることでよりよい行動ルールで予測することでき、予測精度を向上させることができる。
【００３０】
さらに、シミュレーションを開始するフレームの状態St（障害物、車線、周辺車両、人物と、自車制御情報）のタイミングも、行動ルールを少なくし、後述する行動予測をするうえで重要な要素である。すなわち、もっとも予測が難しいのは、自車制御情報に変化があった、例えばウィンカーをだしたり、ブレーキを踏んだり、アクセルを踏んだり、車線変更を開始したりした（周辺車両や人に対して情報を発信した）際に、周辺車両、人物の行動がもっともらしい行動をとらないケースが少なくない。という点である。
さらに、自車制御情報に変化があってから少なくとも１秒程度経過した時点をシミュレーションを開始するフレームの状態Stとすることで、周辺車両（加速、減速、車線変更）、人物（横断歩道の飛び出し、すいている道路での横断等）の初動を観測でき、その初動にそってカテゴライズされた行動ルールに絞る、といったことも可能である。
【００３１】
また、上記のシミュレーションを行う上で、自車、周辺車両、人物の制御方法を決定する必要がある。この手法として、事前に用意したルールを用いる場合以外にも、ＣＮＮなどを用いて制御を決定することも考えられる。その実現方法として、例えば、すべての画像をＣＮＮの入力として与え、自車制御情報を出力とするやり方が考えられる。
【００３２】
また、上記に記載したようにルールの決定の際だけではなく、上記のシミュレーション自体をＣＮＮを用いて行ってもよい。ＣＮＮの第一層目の入力チャネルとして、事前処理として図８に示すように明示的に画像を抽出し入力する手法も考えらえる。図８はＣＮＮを用いてシミュレーションを行う際の自車、周辺車両、人物の状態Stを画像で示す例である。
【００３３】
左上側に、左矢印と右矢印の両方によって示されるハザードランプをつけて止まった周辺車両が示されている。周辺車両は、右側前方ドアが開閉しており、そのことを示す右側前方からの右斜め後方への線が描かれている。左上側周辺車両の右側に丸側で示された人物が検出されており、丸のなかの５は時速５キロで進んでいることを示している。また丸の下側に２本、車両後方への矢印がしめされており、例えば右側は方向、左側は加速度ベクトルを示している。すなわち、この丸と検出される人物は、時速５キロで車両後方側に加速しながら進んでいることを示している。
【００３４】
また、下側に示される自車は同様に右矢印によって示される方向指示が示されるとともに、時速２０キロで右前方方向に進むともに、右後方への加速度ベクトルが示されている。すなわち、自車は右側にハンドルを切りつつ時速２０キロからさらに減速されることが示されている。さらに自車の左側に右矢印がついており、これが、レーンチェンジしていることを示している。
右上側の周辺車両は、時速４０キロで下側を進行方向としてさらに進行方向側へ加速していることが示されている。
このような入力処理を行うことにより、ＣＮＮの処理の見える化（運転支援化）が期待できる。計算コストとの兼ね合いを見ながら、二つの手法の組合せあるいは、片方の選択を行うことが可能である。
【００３５】
ＣＮＮの入力層に入力された画像の出力層もまた入力層と同様の画像として出力することができる。図９は実施の形態１におけるＣＮＮを用いてシミュレーションを行った出力図の例である。図９に示している内容は図８のものと同じである。
図９には、自車から見た対向車や壁の反対側に形成された死角が形成されている。明示的に入力することも可能である。これは、ＣＮＮへ入力画像に対するフィルタ画像として死角画像情報を入力することで出力画像として形成させることができ、後述する報酬量Ｑを計算する際に、死角画像情報を考慮した経路（距離が近い場合は速度が小さい）に対して高い報酬量を与える等を行うことができる。
死角画像情報は自車、周辺車両、人物の位置に応じて変動する。図１０は、図９から所定のフレーム後の画像である。したがって、所定のフレーム後の画像に対応した死角画像情報を明示的に入れることもできる。
【００３６】
決定された各ルールに対するシミュレーションについて各ルールごとの報酬量Ｑを算出する。
この評価値の算出方法には様々な手法が考えられる。例えば、移動量を報酬量とする考え方や、他車との車間距離を基に安全性を報酬量とする考え方、またはその両方の合計値などが考えられる。上述したように死角画像情報を考慮した経路（距離が近い場合は速度が小さい）に対して高い報酬量を与えることも考えられる。また報酬量とは別に、シミュレーション完了時刻（今回の例では例えば5秒後の自車周辺状況）環境を評価し、それまでの報酬量と環境評価値との合計値を評価指数と考えることもできる。また、別の実現手法として、人の操作ログが正解であることを前提として報酬量を計算する手法なども考えられる（逆強化学習）。上記の手法のうち、動作パターンを評価できるのであれば、どのような方法を用いても構わない。
【００３７】
図２のステップＳ２０６において報酬量Ｑから行動予測を決定する。
各ルールから最も高い報酬量Ｑとなるシミュレーション結果である行動予測を暫定的なベース経路として設定する。
【００３８】
ステップＳ２０７において、暫定的なベース経路に対し、入力情報からダイレクトに別のCNN情報予測器に入れ、行動を生成する経路も持たせる。すなわち、カメラ１を用いて自車周辺の所定のフレームレートをもつ所定の時間（例えば数秒〜数十秒程度）の動画、距離センサ２、車速センサ３、ヨーレートセンサ４、舵角センサ５、アクセル／ブレーキセンサ６、ドライバスイッチ７のデータを直接ＣＮＮを含むニューラルネットの入力層に入力し、出力層に自車制御情報を含んだ経路情報を出力する。
【００３９】
今まで説明したステップＳ２０２〜ステップＳ２０６から出力された暫定的なベース経路は、モデルを作り込んでいるため、想定されている環境ではか精度よく動作することが期待できるが、ごく限られた、設計者が想定していない状況では、システムを作り込んだがゆえに動作しない可能性もある。そこで、そのような状況では、これらの事前処理を一切行わず、ＣＮＮを含むニューラルネットに入力できるデータ形式で入力し、出力である自車制御情報を含んだ経路情報をそのまま用いることで、自動運転の制御に対する安全性の向上を図ることができる。ステップＳ２０２〜ステップＳ２０６の各処理において、何らかのエラー、もしくは判定のための最低限度の閾値等をこえることが出来なかった場合には、ステップＳ２０７のみを用いて出力された経路情報をベース経路として出力する。また、何らかのエラー、もしくは判定のための最低限度の閾値等をこえることがなければ、ステップＳ２０２〜ステップＳ２０６から出力された暫定的なベース経路をベース経路として決定する。
【００４０】
本実施の形態の特徴は、シミュレーションする時点より前の時間の動画を用いて周辺車両、人物のカテゴライズを実施しシミュレーションを行うことである。特に自車から操作情報を提供した一秒後に周辺車両、人物の挙動を見てからシミュレーションを行うことで、より精度よくベース経路を選定できる。
【００４１】
したがって、実施の形態１において、自車の周辺の動画像を撮像するカメラ１の動画像を記憶するメモリ１２と、記憶された動画像から自車の経路を決定するための処理を行う処理部１３とを備え、処理部は、動画像の一時点を用いて行動予測を決定するために一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定することで、事前にカテゴライズされた周辺車両、人物に応じた行動ルールを用いて行動予測されるため、より確からしい予測をおこなうことができる。
【００４２】
さらに過去の区間終了より所定時間後に、前記過去の区間中に自車から周辺車両や人物に対して発信された情報と、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定することで、事前にカテゴライズされた周辺車両、人物と、その発信された情報に応じた初動と初動に応じた行動ルールを用いて行動予測されるため、より確からしい予測をおこなうことができる。
【００４３】
また、動画像の区間から周辺車両と人物のカテゴリを分類する際に画像認識と時系列分析を用いてカテゴリを分類することで、より精度よく周辺車両の振る舞いをカテゴライズすることができる。さらに画像認識にはＣＮＮを、時系列分析にはＲＮＮを用いることができる。
【００４４】
また、行動予測を行うための行動ルールについても事前にカテゴライズされた周辺車両、人物と、自車から発信された情報に応じた初動とに応じた行動ルールに限定することができ、行動予測されるまでの処理時間を短くすることができる。
【００４５】
また、行動ルールごとの行動予測についてニューラルネットを用いて予測するために、入力層を自車、周辺車両、人物の動きについて状態の情報を付加した画像とし、出力層も予測された自車、周辺車両、人物の動きについて状態の情報を付加した画像とすることで、処理の見える化または運転支援化を図ることができる。
【００４６】
また、行動ルールごとの行動予測についてニューラルネットを用いて入力層を自車、周辺車両、人物の動きについて状態の情報を付加した画像に自車からの死角情報を付加することで、より精度よく行動予測をすることができる。
【００４７】
上記によって最も評価値の高い行動予測が選択されるが、その結果に基づいて制御を開始した際に、周辺車両の挙動が大きくことなる状況が考えられる。例えば、図６の制御を選択した場合、右ウィンカーを出した時点で、予測では周辺車両は速度を維持する状況であったが、実際には初動を観測した後に、図７のように右車線の車が加速をしはじめたとする。このような、予測と実際の挙動が周辺車両の挙動によって変化に対応するため、所定周期でステップＳ２０１〜Ｓ２０７までを回し、周辺車両のカテゴリを変更させ、カテゴリに合わせた行動予測を行う必要がある。そのため、予測値と実際の挙動とを常にチェックするような機構を入れる。そして、特にＳ２０２においてリアルタイムに障害物、車線、周辺車両、人物、自車制御情報を認識する機能を有しておけば、ステップＳ２０３からの周辺車両、人物の属性の特定の変更も即時に変更することが可能である。
【００４８】
何らかのエラー、もしくは判定のための最低限度の閾値等をこえることが出来なかった場合で、これらの事前処理を一切行わず、ＣＮＮを含むニューラルネットに入力できるデータ形式で入力し、出力である自車制御情報を含んだ経路情報をそのまま用いるケースというのは、以下のようなことが考えられる。本実施の形態の特徴は、シミュレーションする時点より前の時間の動画を用いて周辺車両、人物のカテゴライズを実施しシミュレーションを行うことである。特に自車から操作情報を提供した例えば約一秒後以降に周辺車両、人物の挙動を見てからシミュレーションを行うことで、より精度よくベース経路を選定できるというメリットがある一方で、周辺車両や人物の飛び出しでは例えば約一秒以上待っていては適切な制御が間に合わないというデメリットも想定される。したがって自車の前方に認識される障害物、周辺車両または人のいずれかであって、自車との速度差が大きいと認識される場合は、ステップＳ２０１から直接ステップＳ２０７を出力された経路情報をベース経路として出力する。
【００４９】
したがって、自車の周辺の動画像を撮像するカメラ１の動画像を記憶する記憶部と、記憶された動画像から自車の経路を決定するための処理を行う処理部１３とを備え、処理部は、動画像の区間から周辺車両と人物のカテゴリを識別する区間を有し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定するプロセスよりも早く行動予測を決定できるプロセスを持つことで、周辺車両や人物の飛び出しなどにも適切に行動予測を出力することができる。
【符号の説明】
【００５０】
１：カメラ
２：距離センサ
３：車速センサ、
４：ヨーレートセンサ、
５：舵角センサ
６：アクセル／ブレーキセンサ
７：ドライバスイッチ
１０：処理装置
１１：入力インターフェース
１２：メモリ
１３：処理部
１４：出力インターフェース
３０１：入出力インターフェース
【図１】
2019106789.tif 000003
【図２】
2019106789.tif 000004
【図３】
2019106789.tif 000005
【図４】
2019106789.tif 000006
【図５】
2019106789.tif 000007
【図６】
2019106789.tif 000008
【図７】
2019106789.tif 000009
【図８】
2019106789.tif 000010
【図９】
2019106789.tif 000011
【図１０】
2019106789.tif 000012
【手続補正書】
【提出日】平成30年4月19日(2018.4.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明に係る処理装置は、自車の周辺の動画像を撮像するカメラの動画像を記憶するメモリと、記憶された動画像から自車の経路を決定するための処理を行う処理部とを備え、処理部は、動画像の一時点を用いて行動予測を決定するために一時点よりも過去の区間から周辺車両と人物各々の速度を用いた振る舞いのカテゴリを識別し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自車の周辺の動画像を撮像するカメラの動画像を記憶するメモリと、記憶された前記動画像から自車の経路を決定するための処理を行う処理部とを備え、処理部は、前記動画像の一時点を用いて行動予測を決定するために前記一時点よりも過去の区間から周辺車両と人物各々の速度を用いた振る舞いのカテゴリを識別し、識別された前記周辺車両と前記人物の前記カテゴリに応じて自車、前記周辺車両と前記人物の行動予測を決定する、処理装置。
【請求項２】
前記処理部は前記過去の区間の終了より所定時間後に、前記過去の区間中に前記自車から前記周辺車両や前記人物に対して発信された情報と、識別された前記周辺車両と前記人物の前記カテゴリに応じて前記自車、前記周辺車両と前記人物の行動予測を決定する、請求項１に記載の処理装置。
【請求項３】
前記処理部は、前記動画像の区間から前記周辺車両と前記人物のカテゴリを分類する際に画像認識と時系列分析を用いて前記カテゴリを分類する、請求項１または２に記載の処理装置。
【請求項４】
前記処理部は、行動予測を行うための行動ルールについても事前にカテゴライズされた前記周辺車両、前記人物と、前記自車から発信された情報に応じた初動と、に応じた行動ルールに限定する、請求項１乃至３のいずれかに記載の処理装置。
【請求項５】
前記処理部は、前記行動ルールごとの行動予測についてニューラルネットを用いて予測するために、入力層を前記自車、前記周辺車両、前記人物の動きについて状態の情報を付加した画像とし、出力層も予測された前記自車、前記周辺車両、前記人物の動きについて状態の情報を付加した画像とする、請求項４に記載の処理装置。
【請求項６】
前記処理部は、前記行動ルールごとの前記行動予測についてニューラルネットを用いて入力層を自車、周辺車両、人物の動きについて状態の情報を付加した画像に前記自車からの死角情報を付加する、請求項５に記載の処理装置。
【請求項７】
請求項１に記載の行動予測を決定するプロセスよりも早く行動予測を決定できるプロセスを持つ、請求項１乃至６のいずれかに記載の処理装置。
【請求項８】
自車の周辺の動画像を撮像するカメラの動画像を記憶し、
記憶された前記動画像から自車の経路を決定するための処理を行う処理方法であって、  前記動画像の一時点を用いて行動予測を決定するために前記一時点よりも過去の区間から周辺車両と人物各々の速度を用いた振る舞いのカテゴリを識別し、識別された前記周辺車両と前記人物の前記カテゴリに応じて自車、前記周辺車両と前記人物の行動予測を決定する、前記処理方法。
【手続補正書】
【提出日】平成30年9月20日(2018.9.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明に係る処理装置は、自車の周辺の動画像を撮像するカメラの動画像を記憶するメモリと、記憶された動画像から自車の経路を決定するための処理を行う処理部とを備え、処理部は、動画像の一時点を用いて行動予測を決定するために一時点よりも過去の区間から周辺車両と人物各々の速度を用いた振る舞いのカテゴリを識別し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定する、第１のプロセスと、前記第１のプロセスよりも早く行動予測を決定できるとともに、前記動画像から直接ニューラルネットワークを用いて行動予測を決定する第２のプロセス処理を有し、前記自車との速度差が大きい場合に第２のプロセス処理を選択する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自車の周辺の動画像を撮像するカメラの動画像を記憶するメモリと、記憶された前記動画像から自車の経路を決定するための処理を行う処理部とを備え、処理部は、前記動画像の一時点を用いて行動予測を決定するために前記一時点よりも過去の区間から周辺車両と人物各々の速度を用いた振る舞いのカテゴリを識別し、識別された前記周辺車両と前記人物の前記カテゴリに応じて自車、前記周辺車両と前記人物の行動予測を決定する第１のプロセスと、前記第１のプロセスよりも早く行動予測を決定できるとともに、前記動画像から直接ニューラルネットワークを用いて行動予測を決定する第２のプロセス処理を有し、前記自車との速度差が大きい場合に第２のプロセス処理を選択する、処理装置。
【請求項２】
前記処理部は前記過去の区間の終了より所定時間後に、前記過去の区間中に前記自車から前記周辺車両や前記人物に対して発信された情報と、識別された前記周辺車両と前記人物の前記カテゴリに応じて前記自車、前記周辺車両と前記人物の行動予測を決定する、請求項１に記載の処理装置。
【請求項３】
前記処理部は、前記動画像の区間から前記周辺車両と前記人物のカテゴリを分類する際に画像認識と時系列分析を用いて前記カテゴリを分類する、請求項１または２に記載の処理装置。
【請求項４】
前記処理部は、行動予測を行うための行動ルールについても事前にカテゴライズされた前記周辺車両、前記人物と、前記自車から発信された情報に応じた初動と、に応じた行動ルールに限定する、請求項１乃至３のいずれかに記載の処理装置。
【請求項５】
前記処理部は、前記行動ルールごとの行動予測についてニューラルネットを用いて予測するために、入力層を前記自車、前記周辺車両、前記人物の動きについて状態の情報を付加した画像とし、出力層も予測された前記自車、前記周辺車両、前記人物の動きについて状態の情報を付加した画像とする、請求項４に記載の処理装置。
【請求項６】
前記処理部は、前記行動ルールごとの前記行動予測についてニューラルネットを用いて入力層を自車、周辺車両、人物の動きについて状態の情報を付加した画像に前記自車からの死角情報を付加する、請求項５に記載の処理装置。
【請求項７】
自車の周辺の動画像を撮像するカメラの動画像を記憶し、
記憶された前記動画像から自車の経路を決定するための処理を行う処理方法であって、  前記動画像の一時点を用いて行動予測を決定するために前記一時点よりも過去の区間から周辺車両と人物各々の速度を用いた振る舞いのカテゴリを識別し、識別された前記周辺車両と前記人物の前記カテゴリに応じて自車、前記周辺車両と前記人物の行動予測を決定する第１の処理方法と、前記第１の処理方法よりも早く行動予測を決定できるとともに、前記動画像から直接ニューラルネットワークを用いて行動予測を決定する第２の方法を有し、前記自車との速度差が大きい場合に第２の処理方法を選択する、前記処理方法。
【国際調査報告】
2019106789.tif 000013
2019106789.tif 000014
2019106789.tif 000015
2019106789.tif 000016