(57)【要約】【課題】  本発明は，自律移動体のように周辺環境のモデル化が不可能な条件下におけるセンサ利用不能状況に対しても，周辺環境の誤検知，誤認識を防ぐ方法を提供することにより，自律移動体の周辺認識制度を向上，ひいては自律移動体の動作安定性，信頼性を向上する方式を提供することを目的とする。【解決手段】  複数の監視センサ1〜nと, 前記複数の監視センサからの入力情報を学習および処理するデータ処理部を備えた制御装置から構成された制御システムにおいて，前記データ処理部は前記学習に加えてセンサ故障時のデータを使用した学習を行い, 前記監視センサが故障時にその出力を固定値とする手段を備える制御システム【選択図】 図2
2020173744.tif 000002
【特許請求の範囲】
【請求項１】
複数の周辺認識センサと, 
前記複数の周辺認識センサからの入力情報を学習および処理するデータ処理部を有する制御装置と，を備え, 
前記データ処理部は，センサ異常時のデータを使用した学習を行い, 
前記周辺認識センサの異常時に，学習に用いたセンサ異常時のデータを前記データ処理部に出力する手段を備える制御システム
【請求項２】
前記センサ異常時のデータは無効値である請求項１に記載の制御システム
【請求項３】
前記制御装置は，
前記センサからの入力を前処理する前処理部と，
前記センサ異常時のデータを固定値として記憶する記憶部と，
前記センサに異常が発生した場合，前記データ処理部への出力を固定値へ切り替えるセレクタと，を備える請求項１または２に記載の制御システム
【請求項４】
前記複数の周辺認識センサは，異常時にセンサの出力を固定化する手段を備える請求項３に記載の制御システム
【請求項５】
センサの出力を0に固定する請求項４に記載の制御システム
【請求項６】
センサの出力を1に固定する請求項４に記載の制御システム
【請求項７】
センサの出力を無効値に固定する手段を備える請求項１に記載の制御システム
【請求項８】
センサの出力を停止する手段を備える請求項１に記載の制御システム
【請求項９】
前記センサが自身のセンシングデータから故障を検知する手段を備える請求項１から請求項８に記載の制御システム
【請求項１０】
センサの出力を取得し、センサの故障を検知する手段を備える請求項１から請求項８に記載の制御システム
【請求項１１】
入力されたセンサ値を制御装置内で検査し、センサの故障を検知する手段を備える請求項１から請求項８に記載の制御システム
【請求項１２】
複数の周辺認識センサから信号が入力される制御装置において，
前記複数の周辺認識センサからの入力情報を学習および処理するデータ処理部と，を備え，
前記データ処理部は，センサ異常時のデータを使用した学習を行い, 
前記周辺認識センサの異常時に，学習に用いたセンサ異常時のデータを前記データ処理部に出力する出力部を備える制御装置
【請求項１３】
前記出力部は，セレクタと前記データを記憶する記憶部とを備える請求項12に記載の制御装置
【請求項１４】
前記データは無効値である請求項12または13に記載の制御装置
【請求項１５】
制御装置にデータを出力する周辺認識センサにおいて，
異常時に，前記制御装置が学習で用いた異常時データを固定値として出力する周辺認識センサ
【請求項１６】
前記固定値は無効値である請求項15に記載の周辺認識センサ
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，機械学習の学習方式，画像処理方式，センサ情報統合演算方式，およびそれらを用いた電子制御装置に関する。
【背景技術】
【０００２】
近年，画像処理関連分野における機械学習関連技術の適用が大きく進展し，物体種別の識別に留まらず，空間内の空き領域検知，動体の移動方向や速度変化の予測等に展開されている。これらの認識技術は，例えば自律移動を行うロボットや自動車(以下，自律移動体と呼称する)において，移動制御の前提となる，複雑な周辺環境の認識技術として大きく期待されている。
【０００３】
一方で，これら自律移動体，特に操作者不在の条件下，オープンな環境下で完全自律制御を行うような自律移動体においては，高い動作の信頼性や安定性が求められる。
【０００４】
例えば自動運転車における周辺物体認識では，センサ特性や環境要因などに起因する認識能力低下，またセンサ自体に発生する故障など，自律移動を行うにあたって衝突の危険性が想定されるような認識性能不十分状況(以下，センサ利用不能状況)が危惧される。
【０００５】
このような状況下においても，自律移動体に対して一定の信頼性を担保しつつ，安全状態への制御移行，もしくは制御継続が求められることから，その制御の前提条件となる周辺認識にも，故障耐性の付与についての検討は必須である。
【０００６】
一般に，一定の信頼性が求められる自律移動体においては，センサ利用不能状況に対応するため，同一種複数，もしくは複数種別のセンサを組み合わせ，その認識情報を統合することで，一部センサの失陥や識別能力低下に対応する方式が取られる。
【０００７】
以下に示す特許文献1では，複数種のセンサを用いることで，特定のセンサ失陥に対し，他センサ取得情報を用いてセンサ観測値の推定を行い，センサ失陥をカバーすることで制御対象であるエンジンの動作継続を行う例が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2004-340151号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
一方で，特許文献1に示した方式は，数理的にモデリング可能な物理現象(エンジン動作)の上において，失陥していない複数センサの観測情報に基づき，失陥したセンサの観測情報を推測し代替するものである。この考え方を自律移動体に適用する場合，物理法則に基づきある程度のモデリングが可能となるケースとは異なり，自律移動体の周辺環境モデリングは不確定な要素を多く含むことから，一般には困難であると想定される。この困難なケースには，例えば物陰に隠れている物体のような直接観測が難しいケースや，複雑な挙動を示す人間の行動等が含まれる。そのため，複数センサを用いた観測と，その観測情報の統合演算の精度が重要となる。
【００１０】
そこで，本発明の目的は，自律移動体のような周辺環境のモデル化が困難な条件下におけるセンサ利用不能状況に対しても，周辺環境の誤検知，誤認識を防ぐ方法を提供することにより，自律移動体の周辺認識制度を向上，ひいては自律移動体の動作安定性，信頼性を向上する方式を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために，本発明の制御システムは，複数の監視センサ1〜nと, 前記複数の監視センサからの入力情報を学習および処理するデータ処理部を備えた制御装置から構成され,前記データ処理部は前記学習に加えてセンサ故障時のデータを使用した学習を行い, 前記監視センサが故障時にその出力を固定値とする手段を備える。
【発明の効果】
【００１２】
本発明によれば，自律移動体におけるセンサ利用不能状況に対し，周辺環境の認識制度を保つことで，自律移動体の動作信頼性を高めることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施例における，自律移動体の構成概略を示す図である。
【図２】本発明の第１の実施例における，システム全体構成を示す図である。
【図３】本発明の第１の実施例における，コントローラ２の演算フローを示すフロー図である。
【図４】本発明の第１の実施例における，物体検出の例を示す図である。
【図５】本発明の第１の実施例における，画像認識処理３３の学習方式を示す図である。
【図６】本発明の第１の実施例における，センサ正常時の画像認識処理３３の処理例を示す図である。
【図７】本発明の第１の実施例における，センサA利用不能状況を含めた学習方式を示す図である。
【図８】本発明の第１の実施例における，センサB利用不能状況を含めた学習方式を示す図である。
【図９】本発明の第１の実施例における，センサ正常/異常時を含む画像認識処理３３処理構成を示す図である。
【図１０】本発明の第１の実施例における，固定化データを用いない際の処理結果例を示す図である。
【図１１】本発明の第１の実施例における，システム全体構成の変形例を示す図である。
【発明を実施するための形態】
【実施例１】
【００１４】
以下，本発明に係る第１の実施形態について，図面を用いて説明する。
図１に，本実施例が対象とする自律移動体１の構成イメージを上面図にて示す。自律移動体１は，自身が備えるセンサ群２を用いて周辺状況を判断しながら自律移動を行うものとする。なお，本図面においてはセンサ群２のうち自律移動体１の前方を監視する２つのカメラシステム(カメラシステムA２１およびカメラシステムB２２)のみを図示するものとし，他に備えられる，左右側面および後方を監視するカメラシステムについては図示していない。
【００１５】
図２に，自律移動体１のシステム構成を示す。自律移動体１は，周辺環境を認識するセンサ群２，センサ群２から入力されるセンサ観測情報に基づき周辺環境認識を行い自律移動体の動作決定を行うコントローラ３，およびコントローラ３から与えられる制御指令値に基づき駆動される１つ以上のアクチュエータを含むアクチュエータ群４,を備える。
【００１６】
センサ群２は，カメラシステムＡ２１およびカメラシステムＢ２２の２つのカメラを備えるものとし，カメラシステムＡ２１およびカメラシステムＢ２２には，各センサに発生した異常や故障を検知し，コントローラへ通知を行う異常検出機能が付加されているものとする。異常検出機能は例えばセンサの物理故障(破損や断線等)に加え，センサ特性に応じた失陥状況(カメラシステムにおいては，逆光による認識不良等)を検出し，センサ異常信号を出力できるものとする。
【００１７】
なお，本実施例では簡単のため，センサ群２がカメラシステムＡ２１およびカメラシステムＢ２２の２つのセンサにより構成されている例を示しているが，本発明の要件はこの限りではなく，任意のセンサを任意の数だけ用いることができるものとする。
【００１８】
コントローラ３は，カメラシステムＡ２１から入力されるセンサ観測情報を前処理するセンサＡ前処理３１と，カメラシステムＢ２２から入力される観測情報を前処理するセンサＢ前処理３２と，センサ入力データに基づき周辺認識を行う画像認識処理３３と，画像認識結果に基づき自立移動体の移動先を決定する移動制御処理３４とを，自律移動体１の移動に関する制御演算として実行する。また，コントローラ３は，これら移動に関する制御演算以外に，カメラシステムＡ２１もしくはカメラシステムＢ２２からセンサ異常信号が出力された際の対応機能もしくは利用情報としての固定化データＡ３５および固定化データＢ３６と，画像認識処理３３への入力信号をセンサＡ前処理３１か固定化データ３５かに切り替えるセレクタＡ３７と，画像認識処理３３への入力信号をセンサＢ前処理３２か固定化データ３６かに切り替えるセレクタＢ３８と，を備える。
【００１９】
固定化データＡ３５および固定化データＢ３６は，カメラシステムＡ２１およびカメラシステムＢ２２から異常が出力された際，それらに対応する前処理結果の代替として用いられるものであり，本実施例ではそれぞれセンサＡ前処理結果３１，センサＢ前処理結果３２の出力と同一の記述形式を持つが，各前処理結果がシステム上出力し得ない値(無効値)を取るものとする。すなわち，各前処理結果が一定の値域(整数値で0~254)と出力される場合において，固定化データＡ３５および固定化データＢ３６は全ての値が255で埋められたデータであるとする。なお，固定化データＡ３５および固定化データＢ３６の値は，必ずしも無効値である必要はなく，仕様として規定された固定値や変数値を取ることも可能である。
【００２０】
以上の構成により実現される，自律移動体１のコントローラ３における制御フローを図３に示す。カメラシステムＡ２１およびカメラシステムＢ２２からセンサデータを取り込む(Ｓ１０１)。次に，カメラシステムＡ２１の異常検出機能２３，カメラシステムＢ２２の異常検出機能２４からのセンサ異常信号を取り込み(Ｓ１０２)，正常であった場合にはセンサデータの前処理(センサＡ前処理３１およびセンサＢ前処理３２)を実施し，結果を画像認識処理３３に送信する（Ｓ１０３１）。異常があった場合は，異常があったセンサ側のセレクタ(セレクタＡ３７，セレクタＢ３８の該当する方)を用いて，対応するセンサの固定化データを選択し，画像認識処理３３に送信する（Ｓ１０３２）。これを自律移動体１に接続されているすべてのセンサについて繰り返し(S１０４)，全センサデータの入力完了を確認の上で画像認識処理３３を実施する(Ｓ１０５)。最後に，周辺環境の認識結果に基づき，自律移動体１の移動制御処理３６を行い(S１０６)，アクチュエータ指令値をアクチュエータ群４に送信(S１０７)して，コントローラ２の処理を終了する。
【００２１】
以上の手順により，自律移動体１の制御が行われ，センサ群２およびコントローラ３により周辺状況を認識しつつ，アクチュエータ群４が駆動される。本実施例では，図４に示すような，自律移動体１が周囲に１つのオブジェクト(人物Ａ５)が共存するような状況下で移動するケースを例に，学習方法を示す。
【００２２】
以下，図５から図１０を用いて，機械学習を含む画像認識処理３３について，その学習方式の例を示す。本実施例では，画像認識処理３３は事前に計算機上で学習されたCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)を含む構成とし，自律移動体１に搭載されたカメラシステムＡ２１およびカメラシステムＢ２２の入力に基づき，物体位置を出力するものとする。
【００２３】
一般に教師有り学習においては，教師データとして前述の入力および出力のペアである学習用データセット６を与え，このデータセットを模擬することができるようパラメータチューニングが行われる。
【００２４】
図４に示すケースでは，自律移動体１の右斜め前方に人物Ａが位置しており，図５に示すように，カメラシステムＡ２１およびカメラシステムＢ２２の取得画像を，各々前処理した結果である，センサA前処理結果６３，およびセンサB前処理結果６４を正常時入力データ６１とし，物体検出位置を出力データ６２として学習を行う。
【００２５】
これにより，図６のようにカメラシステムＡ21およびカメラシステムＢ２２が正常に動作している際には，学習結果を含む画像認識処理３３により，物体位置を正しく検出することができる。
【００２６】
本方式では更に，画像認識処理３３の学習に当たり，図７および図８のような追加データセットを用いて学習を行う。すなわち，前述の正常時入力データ６１と出力データ６２のセットに加え，センサＡ異常時入力データ６５(カメラシステムＡ２１への異常発生を想定し，センサＡ前処理結果６３代替として固定化データＡ３５を利用)と出力データ６２のセット，センサＢ異常時入力データ６６(カメラシステムＢ２２への異常発生を想定し，センサＢ前処理結果６４代替として固定化データＢ３６を利用)と出力データ６２のセット，を用い，学習を行う。
【００２７】
これにより，図９に示すように，カメラシステムＢ２２に逆行が発生しカメラ認識性能が低下している際にも，事前に学習されたセンサＢ異常時入力データ６６に対応する出力(に近しい出力)を行うことが可能となり，物体検出位置の精度をある程度保つことが可能となる。本実施例では，カメラシステムＢ２２の欠落により物体検出位置が2マス大きくなる例を示している。
【００２８】
一方で，本方式を用いない場合，同様の逆光を想定すると，図１０に示すように認識異常を起こしているカメラシステムＢ２２の入力を用いて画像認識処理３３を行うため，正常時データセット(正常時入力データ６１と出力データ６２の対応)のみに依って学習された画像認識処理３３では，物体位置に誤り，すなわち物体の誤検出，検出漏れを発生してしまい，自律移動体１の移動停止や衝突事故の可能性が大きくなってしまう虞がある。
【００２９】
本実施例によれば，センサ異常検出機能２３および２４と，事前に定義し学習された固定化データＡ３５および固定化データＢ３６と，セレクタＡ３７およびセレクタＢ３８を用いることで，逆行や故障等によるセンサ利用不能状況（異常時における周辺認識動作の信頼性を一定水準に保つことが可能となり，自律移動体１の動作信頼性を向上することが可能となる。
【００３０】
本発明は、以上説明した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば，自律移動体１およびコントローラ３の機能構成についても，今回示した例には限らない。図１１に示すように，センサＡおよびセンサＢの異常検出機能を，コントローラ３内部に実装することも可能である。センサＡ異常検出処理３９１，センサＢ異常検出処理３９２は，例えば各センサの特性に基づき，直前時刻からの連続性の途絶え，すなわちカメラシステムにおける大幅な照度変化，レーダやLidar処理における位置座標の飛び等によれば，十分にセンサ異常やセンサ利用不能状況の検出が検出可能である。その他，一度画像認識処理３３を行い，前回の画像認識処理３３の結果からの乖離によっても判定可能であり，その際にはセンサＡ異常状態，センサＢ異常状態の両者を仮定して，固定化データＡ３５や固定化データＢ３６を用いた処理をそれぞれ行い，乖離の少ない結果を画像認識処理３３の出力とすることも考えらえる。また、センサ固定値Ａ，センサ固定値ＢをそれぞれセンサＡ，センサＢに保存しておき，自身が異常であると判断した場合にセンサ出力を固定値とする方式であってもよい。また、自身が異常であると判断した場合にセンサ出力を停止してもよい。自立移動体１の周辺を認識する周辺認識センサとしてカメラを例に示したが、ＬｉｄａｒやＲａｄａｒなども例として挙げられる。
【符号の説明】
【００３１】
１：自律移動体，２：センサ群，２１：カメラシステムA，２２：カメラシステムB，
２３：カメラシステムＡの異常検出機能，２４：カメラシステムＢの異常検出機能
３：コントローラ，３１：センサＡ前処理，３２：センサB前処理，
３３：画像認識処理，３４：移動制御処理，３５：固定化データＡ，
３６：固定化データＢ，３７：セレクタＡ，３８：セレクタＢ，
３９１：センサA異常検出処理，３９２：センサB異常検出処理，
４：アクチュエータ群，
５：人物A，６：学習データ，６１：正常時入力データ，６２：出力データ
６３：センサＡ前処理結果，６４：センサＢ前処理結果，
６５：センサＡ異常時入力データ，６６：センサＢ異常時入力データ
【図１】
2020173744.tif 000003
【図２】
2020173744.tif 000004
【図３】
2020173744.tif 000005
【図４】
2020173744.tif 000006
【図５】
2020173744.tif 000007
【図６】
2020173744.tif 000008
【図７】
2020173744.tif 000009
【図８】
2020173744.tif 000010
【図９】
2020173744.tif 000011
【図１０】
2020173744.tif 000012
【図１１】
2020173744.tif 000013