(57)【要約】【課題】学習済モデルを更新した場合であっても、それまでの学習により得られた情報を内燃機関の制御に反映可能な内燃機関の制御装置を提供する。【解決手段】内燃機関の制御装置は、学習済モデルを用いて出力パラメータの値を出力するパラメータ値出力部２２１と、差分モデルを用いて出力パラメータの値と出力パラメータの実際の値との差分を出力する差分出力部２２２と、パラメータ値出力部の出力値と差分出力部の出力値との和を出力する加算出力部２２３と、加算出力部の出力値に基づいて内燃機関を制御する機関制御部２２４と、出力パラメータの値と出力パラメータの実測値との差分を正解データとして取得し、差分モデルの入力パラメータの値と正解データとの組を教師データとして差分モデルの学習を行う学習部と、車両の外部に設置されたコンピュータから取得した更新データに基づいて学習済モデルを更新する更新部と、を備える。【選択図】図５
2020056378.tif 000002
【特許請求の範囲】
【請求項１】
入力パラメータの値が入力されると、学習済モデルを用いて出力パラメータの値を出力するパラメータ値出力部と、
入力パラメータの値が入力されると、差分モデルを用いて、前記パラメータ値出力部によって出力される前記出力パラメータの値と前記出力パラメータの実際の値との差分を出力する差分出力部と、
前記パラメータ値出力部の出力値及び前記差分出力部の出力値が入力されると、当該入力されたパラメータ値出力部の出力値と当該入力された差分出力部の出力値との和を出力する加算出力部と、
前記加算出力部の出力値に基づいて内燃機関を制御する機関制御部と、
前記パラメータ値出力部によって出力された前記出力パラメータの値と前記出力パラメータの実測値との差分を正解データとして取得し、前記差分モデルの入力パラメータの値と前記正解データとの組を教師データとして、前記差分モデルの学習を行う学習部と、
車両の外部に設置されたコンピュータから、前記学習済モデルを更新するための更新データを取得し、前記更新データに基づいて前記学習済モデルを更新する更新部と、
を備えた、内燃機関の制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、内燃機関の制御装置に関する。
【背景技術】
【０００２】
従来から、機械学習によって学習された学習済モデルを用いて、車両の内燃機関を制御する技術が公知である（例えば、特許文献１参照）。特に、特許文献１に記載の各モデルでは、内燃機関の運転に関する複数の入力パラメータが入力されると、ニューラルネットワークを用いて、吸気ガス、排気ガス及びＥＧＲガスの流量がそれぞれ出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１１２２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような機械学習の学習済モデルを用いる制御装置において、各種制御に関する機能をより向上させることを目的としたサービスキャンペーンやリコール等によって、学習済モデルの更新が行われることが考えられる。この場合、車両に搭載された制御装置は、例えば、車両の外部に設置されたコンピュータ（例えば、外部サーバ）から無線通信等を介して、学習済モデルを更新するための更新データを取得する。その後、制御装置は、この更新データによって学習済モデルの書き換え、すなわち学習済モデルの更新を行う。
【０００５】
また、このような学習済モデルを用いる制御装置として、自律的に学習済モデルの再学習を行うことにより学習済モデルを更新するものも考えられる。このように自律的に学習済モデルの再学習を行う制御装置では、運転中に取得した車両固有の教師データに基づいて学習済モデルが更新される。そのため、更新された学習済モデルは例えば車両の使用状況や使用環境などの車両固有の特性が反映されたモデルとなるため、斯かる学習済モデルによれば内燃機関をより適切に制御することが可能となる。
【０００６】
ところで、このような再学習を行う制御装置において、上述したサービスキャンペーンやリコール等によって学習済モデルの更新が行われる場合が想定される。この場合、それまでの再学習により車両固有の特性が反映された学習済モデルが、メーカ等によって一律に作成された標準的な学習済モデルに書き換えられる。その結果、更新後の学習済モデルは、それまでの再学習により反映されていた車両固有の特性が反映されていないものとなる。また、ニューラルネットワークに代表されるような機械学習が活用される場合、そのモデルはブラックボックスモデルであるため、その更新後の学習済モデルにそれまでの再学習により反映されていた車両固有の特性を反映することが難しい。したがって、更新後の学習済モデルにおいて車両固有の特性を反映させるためには、更新後において運転中に取得した車両固有の教師データに基づいてもう一度最初から再学習し直す必要がある。
【０００７】
本開示は、上記課題に鑑みてなされたものであり、その目的は、外部のコンピュータから取得した更新データに基づいて学習済モデルを更新した場合であっても、それまでの学習により得られた情報を内燃機関の制御に反映可能な内燃機関の制御装置を提供することにある。
【課題を解決するための手段】
【０００８】
本開示の要旨は、以下の通りである。
【０００９】
（１）入力パラメータの値が入力されると、学習済モデルを用いて出力パラメータの値を出力するパラメータ値出力部と、入力パラメータの値が入力されると、差分モデルを用いて、前記パラメータ値出力部によって出力される前記出力パラメータの値と前記出力パラメータの実際の値との差分を出力する差分出力部と、前記パラメータ値出力部の出力値及び前記差分出力部の出力値が入力されると、当該入力されたパラメータ値出力部の出力値と当該入力された差分出力部の出力値との和を出力する加算出力部と、前記加算出力部の出力値に基づいて内燃機関を制御する機関制御部と、前記パラメータ値出力部によって出力された前記出力パラメータの値と前記出力パラメータの実測値との差分を正解データとして取得し、前記差分モデルの入力パラメータの値と前記正解データとの組を教師データとして、前記差分モデルの学習を行う学習部と、車両の外部に設置されたコンピュータから、前記学習済モデルを更新するための更新データを取得し、前記更新データに基づいて前記学習済モデルを更新する更新部と、を備えた、内燃機関の制御装置。
【発明の効果】
【００１０】
本開示によれば、外部のコンピュータから取得した更新データに基づいて学習済モデルを更新した場合であっても、それまでの学習により得られた情報を内燃機関の制御に反映可能な内燃機関の制御装置を提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１の実施形態に係る内燃機関及び内燃機関を制御するＥＣＵの概略構成図である。
【図２】図２は、ニューラルネットワークの一例を示す図である。
【図３】図３は、第１の実施形態に係る学習済モデルにおけるニューラルネットワークの具体例を示す図である。
【図４】図４は、第１の実施形態に係る差分モデルにおけるニューラルネットワークの具体例を示す図である。
【図５】図５（ａ）及び図５（ｂ）は、第１の実施形態に係る内燃機関の制御を説明するためのブロック図である。
【図６】図６は、第２の実施形態に係る内燃機関の制御システムの概略構成図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本開示の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
【００１３】
＜第１の実施形態＞
≪内燃機関の構成≫
図１は、第１の実施形態に係る内燃機関及び内燃機関を制御する電子制御ユニット（ＥＣＵ）の概略構成図である。図１には、機関本体１と、吸気マニホルド４と、排気マニホルド５とを備えた内燃機関１００が示されている。図１に示されるように、機関本体１は、各気筒の燃焼室２内に向けて配置された燃料噴射弁３を備える。吸気マニホルド４は吸気ダクト６を介して排気ターボチャージャ７のコンプレッサ７ａの出口に連結され、コンプレッサ７ａの入口はエアクリーナ９に連結される。吸気ダクト６内にはスロットルアクチュエータ１０により開閉駆動されるスロットル弁１１が配置され、吸気ダクト６周りには吸気ダクト６内を流れる吸入空気を冷却するためのインタクーラ１２が配置される。
【００１４】
一方、排気マニホルド５は排気ターボチャージャ７の排気タービン７ｂの入口に連結され、排気タービン７ｂの出口は排気管１３を介して排気浄化用触媒コンバータ１４に連結される。図１に示される例では、この排気浄化用触媒コンバータ１４内に、上流側から順に、酸化触媒１５とパティキュレートフィルタ１６とが収容されている。排気マニホルド５と吸気マニホルド４とは排気ガス再循環（以下、「ＥＧＲ」という）通路１７を介して互いに連結され、ＥＧＲ通路１７内にはＥＧＲ制御弁１８が配置される。更に、ＥＧＲ通路１７内にはＥＧＲ通路１７内を流れるＥＧＲガスを冷却するためのＥＧＲクーラ１９が配置される。各燃料噴射弁３は燃料供給管２０を介してコモンレール２１に連結され、このコモンレール２１は燃料ポンプ２２を介して燃料タンク２３に連結される。
【００１５】
図１に示されるように、吸気マニホルド４には、吸気マニホルド４内の吸気温を検出するための吸気温センサ２４が配置され、排気マニホルド５には、排気マニホルド５内の排気温を検出するための排気温センサ２５が配置されている。吸気管８には、吸気管８内を流れる空気の流量を検出するエアフローメータ８ａが配置されている。また、機関本体１には、機関冷却水の温度（以下、単に「水温」という）を検出するための水温センサ２６と、機関本体１の摩擦摺動部を潤滑する潤滑油の温度（以下、単に「油温」という）を検出する油温センサ２７と、が配置されている。
【００１６】
スロットルアクチュエータ１０には、スロットル弁１１の開度（以下、「スロットル開度」という）を検出するためのスロットル開度センサ１０ａが配置されている。ＥＧＲ制御弁１８には、ＥＧＲ制御弁１８の開度（以下、「ＥＧＲ弁開度」という）を検出するためのＥＧＲ弁開度センサ１８ａが配置されている。
【００１７】
排気管１３内には、排気ガス中の気体濃度を検出するための気体濃度センサ２８及び排気ガスの空燃比を検出するための空燃比センサ２９がそれぞれ配置されている。気体濃度センサ２８は、例えば、排気ガス中のＮＯx濃度を検出するＮＯxセンサとすることができる。気体濃度センサ２８として、ＮＯxセンサの他にも、後述する学習済モデル及び差分モデルで用いられるパラメータに応じて、例えば、排気ガス中のＨＣ濃度、ＣＯ濃度、ＣＯ2濃度をそれぞれ検出するＨＣセンサ、ＣＯセンサ、ＣＯ2センサ等、これらセンサを適宜用いることができる。
≪ＥＣＵの構成≫
【００１８】
電子制御ユニット（ＥＣＵ）２００は、双方性バス２０１によって互いに接続された記憶部２１０、制御部２２０、入力ポート２３０及び出力ポート２４０を備える。
【００１９】
記憶部２１０は、例えばＲＯＭ（リードオンリメモリ）やＲＡＭ（ランダムアクセスメモリ）等を含むことができる。記憶部２１０は、制御部２２０による処理に用いられる各種のプログラムや学習済モデル、差分モデル、各種のデータ（例えば、各種パラメータ、教師データ、及び各種閾値など）を記憶する。
【００２０】
制御部２２０は、例えばＣＰＵ及びその周辺回路等を有するプロセッサとすることができる。制御部２２０は、記憶部２１０に記憶された各種プログラムを実行することにより車両の各種制御を実行することができる。
【００２１】
図１に示されるように、制御部２２０は、パラメータ値出力部２２１と、差分出力部２２２と、加算出力部２２３と、機関制御部２２４と、学習部２２５と、更新部２２６と、を含む。制御部２２０が有するこれらの各部は、制御部２２０のプロセッサ上で実行されるプログラムにより実装される機能モジュールである。
【００２２】
入力ポート２３０には、エアフローメータ８ａ、スロットル開度センサ１０ａ、ＥＧＲ弁開度センサ１８ａ、吸気温センサ２４、排気温センサ２５、水温センサ２６、油温センサ２７、気体濃度センサ２８空燃比センサ２９、内燃機関１００の出力トルク（以下、「トルク」という）を検出するトルクセンサ５１、及びノッキングの有無を検出するノッキングセンサ５２などの出力信号が、対応する各ＡＤ変換器２３１を介して入力される。また、入力ポート２３０には、機関負荷を検出するための信号として、アクセルペダル５３の踏み込み量に比例した出力電圧を発生する負荷センサ５３ａの出力電圧が、対応するＡＤ変換器２３１を介して入力される。また、入力ポート２３０には、機関回転速度などを算出するための信号として、クランクシャフトが例えば１５°回転する毎に出力パルスを発生するクランク角センサ５４の出力信号が入力される。このように、入力ポート２３０には、内燃機関１００を制御するために必要な各種センサの出力信号が入力される。
【００２３】
さらに、入力ポート２３０には、車両の外部に設置されたコンピュータ（例えば、外部サーバ）から無線通信等を介して学習済モデルを更新するための更新データが入力される。
【００２４】
出力ポート２４０は、対応する駆動回路２４１を介して、燃料噴射弁３、スロットルアクチュエータ１０、ＥＧＲ制御弁１８及び燃料ポンプ２２などの各制御部品に電気的に接続されている。
【００２５】
ＥＣＵ２００は、入力ポート２３０に入力された各種センサの出力信号に基づいて、各制御部品を制御するための制御信号を出力ポート２４０から出力して内燃機関１００を制御する。したがって、ＥＣＵ２００は、内燃機関１００の制御装置として機能する。
【００２６】
≪ニューラルネットワークの概要≫
本実施形態では、学習済モデル及び差分モデルは、ニューラルネットワークを用いる。まず、図２を参照して、本実施形態に係る学習済モデル及び差分モデルにおいて用いられるニューラルネットワークについて説明する。図２は、ニューラルネットワークの一例を示す。図２における丸印は、人工ニューロンを表している。ニューラルネットワークにおいては、この人工ニューロンは、通常、ノード又はユニットと称される（本明細書では、ノードと称す）。図２において、Ｌ＝１は入力層、Ｌ＝２およびＬ＝３は隠れ層、Ｌ＝４は出力層を各々示す。また、図２において、ｘ1およびｘ2は入力層（Ｌ＝１）のノード及びそのノードからの出力値を示し、ｙは出力層（Ｌ＝４）の各ノード及びそのノードからの出力値を示す。同様に、隠れ層（Ｌ＝２）のｚ1、ｚ2およびｚ3は隠れ層（Ｌ＝２）の各ノードからの出力値を示し、隠れ層（Ｌ＝３）のｚ1およびｚ2は隠れ層（Ｌ＝３）の各ノードからの出力値を示す。なお、隠れ層の層数は、１個又は任意の個数とすることができ、入力層のノードの数および隠れ層のノードの数も任意の個数とすることができる。なお、本実施形態では、出力層のノードの数は１個とされている。
【００２７】
入力層の各ノードでは、入力がそのまま出力される。一方、隠れ層（Ｌ＝２）の各ノードには、入力層の各ノードの出力値ｘ1およびｘ2が入力される。隠れ層（Ｌ＝２）の各ノードでは、各々対応する重みｗおよびバイアスｂを用いて総入力値ｕが算出される。例えば、図２において隠れ層（Ｌ＝２）のｚk（ｋ＝１，２，３）で示されるノードにおいて算出される総入力値ｕkは、次式のようになる（Ｍは入力層のノードの数）。
【数１】
2020056378.tif 000003
【００２８】
次いで、この総入力値ｕkは、活性化関数ｆにより変換され、隠れ層（Ｌ＝２）のｚkで示されるノードから、出力値ｚk（＝ｆ（ｕk））として出力される。一方、隠れ層（Ｌ＝３）の各ノードには、隠れ層（Ｌ＝２）の各ノードの出力値ｚ1、ｚ2およびｚ3が入力される。隠れ層（Ｌ＝３）の各ノードでは、各々対応する重みｗおよびバイアスｂを用いて総入力値ｕ（Σｚ・ｗ＋ｂ）が算出される。この総入力値ｕは、同様に活性化関数ｆにより変換され、隠れ層（Ｌ＝３）の各ノードから、出力値ｚ1、ｚ2として出力される。なお、本実施形態では、この活性化関数としてシグモイド関数σが用いられている。
【００２９】
一方、出力層（Ｌ＝４）のノードには、隠れ層（Ｌ＝３）の各ノードの出力値ｚ1およびｚ2が入力される。出力層のノードでは、各々対応する重みｗおよびバイアスｂを用いて総入力値ｕ（Σｚ・ｗ＋ｂ）が算出されるか、又は、各々対応する重みｗのみを用いて総入力値ｕ（Σｚ・ｗ）が算出される。本実施形態では、出力層のノードでは活性化関数として恒等関数が用いられており、したがって、出力層のノードからは、出力層のノードにおいて算出された総入力値ｕが、そのまま出力値ｙとして出力される。
【００３０】
≪ニューラルネットワークにおける学習≫
本実施形態では、誤差逆伝播法を用いて、ニューラルネットワーク内における各重みｗの値およびバイアスｂの値が学習される。この誤差逆伝播法は周知であり、したがって、誤差逆伝播法についてはその概要を以下に簡単に説明する。なお、バイアスｂは重みｗの一種なので、以下の説明では、バイアスｂは重みｗの一つとしている。
【００３１】
さて、図２に示すようなニューラルネットワークにおいて、Ｌ＝２、Ｌ＝３又はＬ＝４の各層のノードへの入力値ｕ(L)における重みをｗ(L)と表すと、誤差関数Ｅの重みｗ(L)による微分、即ち、勾配∂Ｅ/∂ｗ(L)は、次の（１）式で示される。
【数２】
2020056378.tif 000004
【００３２】
ここで、ｚ(L-1)・∂ｗ(L)＝∂ｕ(L)であるので、（∂Ｅ/∂ｕ(L)）＝δ(L)とすると、上記（１）式は、次の（２）式で表すことができる。
【数３】
2020056378.tif 000005
【００３３】
ここで、ｕ(L)が変動すると、次の層の総入力値ｕ(L+1)の変化を通じて誤差関数Ｅの変動を引き起こすので、δ(L)は、次の（３）式で表すことができる（Ｋ）はＬ＋１層におけるノードの数）。
【数４】
2020056378.tif 000006
ここで、z(L)＝ｆ（ｕ(L)）と表すと、上記（３）式の右辺に現れる入力値ｕk(L+1)は、次の（４）式で表すことができる。
【数５】
2020056378.tif 000007
【００３４】
ここで、上記（３）式の右辺第１項（∂Ｅ/∂ｕ(L+1)）はδ(L+1)である。上記（３）式の右辺第２項（∂uk(L+1)/∂ｕ(L)）は、上記（４）式より、次の（５）式で表すことができる。
【数６】
2020056378.tif 000008
【００３５】
したがって、δ(L)は、上記（３）乃至（５）式より、次の（６）式で表すことができる。
【数７】
2020056378.tif 000009
【００３６】
即ち、δ(L+1)が求まると、δ(L)を求めることができる。
【００３７】
さて、或る入力値ｘ及びその入力値ｘに対する正解データｔを含む教師データが求められており、この入力値ｘに対する出力層からの出力値がｙであった場合、誤差関数として二乗誤差が用いられている場合には、二乗誤差Ｅは、Ｅ＝（ｙ−ｔ）2/２で求められる。図２に示される出力層（Ｌ＝４）のノードでは、出力値ｙ＝ｆ（ｕ(L)）となるため、この場合には、出力層（Ｌ＝４）のノードにおけるδ(L)の値は、次の（７）式で示される。
【数８】
2020056378.tif 000010
【００３８】
ところで、本実施形態では、前述したように、ｆ（ｕ(L)）は恒等関数であるため、ｆ’（ｕ(Ll)）＝１となる。したがって、δ(L)＝ｙ−ｔとなり、δ(L)を求めることができる。
【００３９】
δ(L)が求まると、上記（６）式を用いて前層のδ(L-1)を求めることができる。このようにして順次、前層のδが求められ、これらδの値を用いて、上記（２）式から、各重みｗについて誤差関数Ｅの微分、即ち、勾配∂Ｅ/∂ｗ(L)を求めることができる。
【００４０】
勾配∂Ｅ/∂ｗ(L)が求められると、この勾配∂Ｅ/∂ｗ(L)を用いて、誤差関数Ｅの値が減少するように、重みｗの値が更新される。即ち、重みｗの値の学習が行われる。なお、教師データとしてバッチ、又はミニバッチが用いられる場合には、誤差関数Ｅとして、次の（８）式で示される二乗和誤差Ｅが用いられる。ここで、Ｎは教師データの総数であり、ｉはＮ以下の自然数（ｉ＝１，２，…，Ｎ）であり、ｙi及びｔiは入力値ｘkiに対する出力値及び正解データをそれぞれ示す。
【数９】
2020056378.tif 000011
【００４１】
一方、二乗誤差を逐次算出して学習が行われる場合には、誤差関数Ｅとして、上述の二乗誤差Ｅ＝（ｙ−ｔ）2/２が用いられる。
【００４２】
≪学習済モデルの概要≫
本実施形態における学習済モデルの概要について説明する。まず、本実施形態における学習済モデルで用いられる入力パラメータの一例を説明する。本実施形態における学習済モデルの入力パラメータは、点火時期、燃料噴射量、燃料噴射時期、内燃機関の吸気弁及び排気弁の開閉タイミング（以下、「Ｉｎ−Ｅｘ ＶＶＴタイミング」という）、スロットル開度、ＥＧＲ弁開度、吸気温、水温、油温及び機関回転速度のうち、２つ以上を含むことができる。
【００４３】
次に、各入力パラメータの値の取得方法の一例を説明する。点火時期、燃焼噴射量、燃料噴射時期及びＩｎ−Ｅｘ ＶＶＴタイミングは、それぞれ、ＥＣＵ２００の指令値から取得される。スロットル開度、ＥＧＲ弁開度、水温、吸気温及び油温は、それぞれ、スロットル開度センサ１０ａ、ＥＧＲ弁開度センサ１８ａ、吸気温センサ２４、水温センサ２６及び油温センサ２７の出力値から取得される。機関回転速度は、クランク角センサ５４の出力信号に基づくＥＣＵ２００の算出値から取得される。
【００４４】
次に、本実施形態における学習済モデルで用いられる出力パラメータの一例を説明する。本実施形態における学習済モデルの出力パラメータは、排気温、排気ガス中のＮＯx濃度、ＨＣ濃度、ＣＯ濃度及びＣＯ2濃度、排気ガスの空燃比、内燃機関１００の出力トルク並びにノッキング判定値のうち、少なくとも１つを含むことができる。
【００４５】
図３は、本実施形態に係る学習済モデルにおけるニューラルネットワークの具体例を示す。図３に示される学習済モデルにおけるニューラルネットワークは、点火時期、燃料噴射量、スロットル開度、機関回転速度を入力パラメータとし、トルクを出力パラメータとしている。本実施形態では、学習済モデルのニューラルネットワークはＰ層（Ｐは３以上の任意の整数）で構成され、各隠れ層におけるノードの数は任意の個数とすることができる。また、図３に示される学習済モデルにおけるニューラルネットワークにおいては、入力層（Ｌ＝１）は、４つの入力パラメータに対応して４個のノードを有しているが、入力パラメータの数に応じて４以外の任意の個数のノードを有していてもよい。
【００４６】
図３に示す例の他にも、本実施形態に係る学習済モデルにおけるニューラルネットワークは、例えば、点火時期、燃料噴射量、スロットル開度、ＥＧＲ弁開度、水温及び機関回転速度を入力パラメータとし、ＮＯX及びＨＣを出力パラメータとすることができる。また、本実施形態に係る学習済モデルにおけるニューラルネットワークは、例えば、点火時期、燃料噴射量、スロットル開度、水温及び機関回転速度を入力パラメータとし、ノッキング判定値を出力パラメータとすることができる。
【００４７】
≪学習済モデルの更新≫
本実施形態では、ＥＣＵ２００の更新部２２６は、例えばサービスキャンペーンやリコール等において、車両の外部に設けられたコンピュータから入力ポート２３０を介して学習済モデルを更新するための更新データを取得する。更新部２２６は、この取得した更新データに基づいて、記憶部２１０に記憶された学習済モデルを更新データに応じた学習済モデルに書き換えることにより、学習済モデルを更新する。学習済モデルの更新では、これにより、学習済モデルのニューラルネットワークにおける入力層や隠れ層のノードの数、隠れ層の数、重み、バイアスの少なくとも一部が変更される。
【００４８】
本実施形態では、上記学習済モデルの更新により、例えば、学習済モデルのニューラルネットワークにおける入力層や隠れ層のノードの数、隠れ層の数、重み、バイアス等をより適正化することが可能となる。その結果、学習済モデルの出力パラメータの予測精度を向上させることが可能となる。
【００４９】
なお、このように学習済モデルを更新する場合においては、その更新前の学習済モデルと更新後の学習済モデルとで少なくとも出力パラメータが同一であることが必要である。
【００５０】
≪学習済モデルの更新の問題点≫
ところで、上述した学習済モデルは、メーカ等によって一律に作成された標準的なモデルであり、各車両固有の特性を反映したものにはなっていない。したがって、斯かる学習済モデルを用いて出力パラメータの値を推定すると、斯かる学習済モデルから出力された出力パラメータの値とその出力パラメータの実際の値との間には誤差が生じる可能性がある。
【００５１】
そこで、斯かる誤差を低減させるために、運転中に取得した車両固有の教師データに基づいて自律的に学習済モデルを再学習させることが考えられる。このように自律的に学習済モデルの再学習を行う制御装置では、例えば車両の使用状況や使用環境などの車両固有の特性に応じて学習済モデルが再学習される。その結果、再学習後の学習済モデルに車両固有の特性が反映されることによって、再学習後の学習済モデルにおける出力パラメータの予測精度を向上させることができる。このような車両固有の特性に応じて再学習された学習済モデルを用いることにより、内燃機関をより適切に制御することが可能となる。
【００５２】
具体的には、運転中に取得した車両固有の教師データに基づいて学習済モデルの再学習を行うことにより、学習済モデルのニューラルネットワークの重みやバイアスが更新される。それにより、車両固有の特性が再学習後の学習済モデルにおける重みやバイアスに反映される。
【００５３】
ところで、このような学習済モデルの再学習を行う制御装置において、上述したサービスキャンペーンやリコール等によって外部のコンピュータから取得した更新データに基づいて学習済モデルを更新することが考えられる。ところが、この場合、それまでの再学習により車両固有の特性が反映された学習済モデルが、メーカ等によって一律に作成された標準的な学習済モデルに書き換えられることになる。
【００５４】
例えば、メーカ等によって一律に作成された標準的な学習済モデルＡ1が車両の出荷時に搭載された制御装置において、この標準的な学習済モデルＡ1の再学習を行う場合を想定する。この標準的な学習済モデルＡ1は、車両の内燃機関を制御するために用いられる。このような制御装置において、標準的な学習済モデルＡ1は、運転中に取得した教師データに基づく再学習により車両固有の特性が反映された車両固有の学習済モデルＡ1’に更新される。
【００５５】
しかしながら、その後、サービスキャンペーンやリコール等により学習済モデルを更新するための更新データが取得されると、車両固有の学習済モデルＡ1’が機能改良後の標準的な学習済モデルＡ2に更新される。このとき、車両固有の特性が反映されたニューラルネットワークの重みやバイアスを有する車両固有の学習済モデルＡ1’が、ニューラルネットワークの重み等が一律に設定された標準的な学習済モデルＡ2に書き換えられる。当該更新後において車両固有の特性に応じて内燃機関を制御するためには、運転中に取得した車両固有の教師データに基づいてもう一度最初から再学習し直す必要がある。
【００５６】
≪本実施形態における制御手法≫
そこで、本実施形態では、記憶部２１０は、学習済モデルに加え、学習済モデルの出力パラメータの値と学習済モデルの出力パラメータの実際の値との差分を出力パラメータとして出力する差分モデルを記憶している。本実施形態では、この差分モデルは、ニューラルネットワークを用いる。学習部２２５は、この差分モデルの教師あり学習を行うことにより、差分モデルのニューラルネットワークの重みやバイアスを更新する。そして、機関制御部２２４は、学習済モデルの出力値と差分モデルの出力値との和に基づいて内燃機関を制御する。これにより、外部のコンピュータから取得した更新データに基づいて学習済モデルが更新された場合であっても、それまでの学習によってニューラルネットワークの重みやバイアスが更新された差分モデルの出力値を用いて、内燃機関１００を制御することが可能となる。その結果、学習済モデルの更新直後も、車両固有の特性を反映させながら内燃機関１００を制御することが可能となる。以下、本実施形態について詳細に説明する。
【００５７】
≪差分モデル≫
まず、本実施形態において用いられる差分モデルの入力パラメータ及び出力パラメータについて説明する。差分モデルの入力パラメータは、学習済モデルで用いられる入力パラメータとして上述した入力パラメータを含むことができる。すなわち、差分モデルの入力パラメータは、点火時期、燃料噴射量、燃料噴射時期、Ｉｎ−Ｅｘ ＶＶＴタイミング、スロットル開度、ＥＧＲ弁開度、吸気温、水温、油温及び機関回転速度のうち、２つ以上を含むことができる。好ましくは、差分モデルでは、例えば、車両の出荷時に記憶部２１０に搭載された学習済モデルの入力パラメータと同じ入力パラメータが用いられる。差分モデルで用いられるこれら入力パラメータの値の取得方法は、学習済モデルで用いられる入力パラメータの値の取得方法と同様である。
【００５８】
差分モデルの出力パラメータは、学習済モデルの出力パラメータの出力値（すなわち、パラメータ値出力部２２１によって出力される出力パラメータの値）とこの出力パラメータの実際の値との差分である。例えば、学習済モデルの出力パラメータがトルクである場合、差分モデルは、入力パラメータの値が入力されると、ニューラルネットワークを用いて、学習済モデルから出力されるトルクの値と当該トルクの実際の値との差分を出力する。
【００５９】
図４は、本実施形態に係る差分モデルにおけるニューラルネットワークの具体例を示す。図４は、学習済モデルとして図３に示される学習済モデルを用いた場合を示している。図４に示される差分モデルにおけるニューラルネットワークは、点火時期、燃料噴射量、スロットル開度、機関回転速度を入力パラメータとし、学習済モデルから出力されるトルクの値と当該トルクの実際の値との差分を出力パラメータとしている。本実施形態では、差分モデルのニューラルネットワークはＰ層（Ｐは３以上の任意の整数）で構成され、各隠れ層におけるノードの数は任意の個数とすることができる。また、図４に示される差分モデルにおけるニューラルネットワークにおいては、入力層（Ｌ＝１）は、４つの入力パラメータに対応して４個のノードを有しているが、入力パラメータの数に応じて４以外の任意の個数のノードを有していてもよい。
【００６０】
≪差分モデルにおける学習方法≫
次に、本実施形態に係る差分モデルにおける学習方法の概要について説明する。本実施形態では、学習部２２５は、パラメータ値出力部２２１から学習済モデルの出力パラメータの値を取得する。また、学習部２２５は、車両の運転中に取得した各種センサの出力値から、差分モデルの入力パラメータの値と学習済モデルの出力パラメータの実測値とを取得する。
【００６１】
ここで、学習済モデルの出力パラメータの実測値は、以下のような取得方法により取得される。すなわち、学習済モデルの出力パラメータが排気温、ＮＯx濃度、ＨＣ濃度、ＣＯ濃度、ＣＯ2濃度、空燃比、トルク又はノッキング判定値であるときには、出力パラメータの値は、それぞれ排気温センサ２５、気体濃度センサ２８、空燃比センサ２９、トルクセンサ５１又はノッキングセンサ５２の出力値から取得される。
【００６２】
次いで、学習部２２５は、パラメータ値出力部２２１によって出力された学習済モデルの出力パラメータの値と学習済モデルの出力パラメータの実測値との差分を正解データとして取得する。そして、学習部２２５は、差分モデルの入力パラメータの値とその入力パラメータの値における正解データとの組を教師データとして、差分モデルの学習を行う。具体的には、例えば、学習部２２５は、教師データを用いて、上述したように二乗誤差Ｅを算出する。そして、学習部２２５は、二乗誤差Ｅの値が減少するように差分モデルのニューラルネットワークの重みやバイアスの値の学習を行うことにより、記憶部２１０において差分モデルを更新することができる。これにより、車両固有の特性を差分モデルのニューラルネットワークの重みやバイアスに反映させることができる。
【００６３】
≪内燃機関の制御≫
次に、本実施形態に係る内燃機関の制御装置が実行する内燃機関の制御について説明する。図５（ａ）及び図５（ｂ）は、本実施形態に係る内燃機関の制御を説明するためのブロック図である。図５（ａ）に示される例では、パラメータ値出力部２２１は学習済モデルＡ1を用い、差分出力部２２２は差分モデルＢを用いるものとする。
【００６４】
図５（ａ）に示されるように、パラメータ値出力部２２１は、入力パラメータの値が入力されると、学習済モデルＡ1を用いて出力パラメータの値ａ1を出力する。また、差分出力部２２２は、入力パラメータの値が入力されると、差分モデルＢを用いて学習済モデルの出力パラメータの値と学習済モデルの出力パラメータの実際の値との差分ｂを出力する。そして、加算出力部２２３は、パラメータ値出力部２２１の出力値ａ1及び差分出力部２２２の出力値ｂが入力されると、当該入力したパラメータ値出力部２２１の出力値と当該入力した差分出力部２２２の出力値との和ａ1＋ｂを出力する。機関制御部２２４は、加算出力部２２３の出力値ａ1＋ｂに基づいて内燃機関１００を制御する。
【００６５】
ここで、図５（ｂ）に示されるように、更新部２２６によって学習済モデルＡ1が学習済モデルＡ2に更新された場合を想定する。この場合、図５に示されるように、パラメータ値出力部２２１は、入力パラメータの値が入力されると、学習済モデルＡ2を用いて出力パラメータの値ａ2を出力する。また、差分出力部２２２は、入力パラメータの値が入力されると、差分モデルＢを用いて学習済モデルの出力パラメータの値と学習済モデルの出力パラメータの実際の値との差分ｂを出力する。そして、加算出力部２２３は、パラメータ値出力部２２１の出力値ａ2及び差分出力部２２２の出力値ｂが入力されると、当該入力したパラメータ値出力部２２１の出力値と当該入力した差分出力部２２２の出力値との和ａ2＋ｂを出力する。機関制御部２２４は、加算出力部２２３の出力値ａ2＋ｂに基づいて内燃機関１００を制御する。
【００６６】
このように、本実施形態では、更新部２２６によって学習済モデルが更新された場合であっても、差分モデルは変更されない。さらに、本実施形態では、機関制御部２２４は、更新後の学習済モデルの出力値と、学習部２２５による学習により車両固有の特性が反映された差分モデルの出力値とを用いて内燃機関１００を制御することができる。これにより、学習済モデルを更新した場合であっても、それまでの差分モデルの学習により得られたニューラルネットワークの重みやバイアスを内燃機関１００の制御に反映させることが可能となる。
【００６７】
＜第２の実施形態＞
図６は、第２の実施形態に係る内燃機関の制御システムの概略構成図である。図６には、車両３１０と、車両３１０の外部に設置されたサーバ３２０と、が示されている。図６に示されるように、車両３１０は、通信部３１１と、ＥＣＵ３１２と、を含む。ＥＣＵ３１２は、学習部２２５を含まない点を除いて、第１の実施形態に係るＥＣＵ２００と同様の構成を有する。
【００６８】
本実施形態では、車両３１０のＥＣＵ３１２は、差分モデルの入力パラメータの各値における、学習済モデルの出力パラメータの値と学習済モデルの出力パラメータの実測値との差分を正解データとして取得して、差分モデルの入力パラメータとこれに対応する正解データとを含む学習用データを通信部３１１を介してサーバ３２０に送信する。
【００６９】
また、図６に示されるように、サーバ３２０は、通信部３２１と、パラメータ値取得部３２２と、データセット作成部３２３と、学習部３２４と、を含む。サーバ３２０の通信部３２１は、車両３１０の通信部３１１と通信可能に構成されている。
【００７０】
サーバ３２０のパラメータ値取得部３２２は、車両３１０から送信された学習用データを通信部３２１を介して受信し、当該学習用データ中の入力パラメータの値と正解データとを取得する。サーバ３２０のデータセット作成部３２３は、パラメータ値取得部３２２で取得された入力パラメータの値とこれに対応する正解データとの関係を示すデータセットを作成する。学習部３２４は、データセット作成部３２３で作成されたデータセットにしたがって、差分モデルの入力パラメータの値とこれに対応する正解データとの組を教師データとして、差分モデルにおけるニューラルネットワークの重みの学習を行う。次いで、サーバ３２０の学習部３２４は、当該学習を行った差分モデルを通信部３２１を介して車両３１０に送信する。
【００７１】
車両３１０のＥＣＵ３１２は、通信部３１１を介してサーバ３２０から送信された差分モデルを受信し、ＥＣＵ３１２の記憶部２１０に記憶した差分モデルを当該受信した差分モデルで書き換えることにより、差分モデルにおけるニューラルネットワークの重みを更新する。車両３１０のＥＣＵ３１２の機関制御部２２４は、学習済モデルの出力値と当該更新された差分モデルの出力値との和を出力する加算出力部２２３の出力値に基づいて、内燃機関１００を制御する。
【００７２】
本実施形態によると、サーバ３２０において差分モデルのニューラルネットワークの重みやバイアスが学習される。そのため、車両３１０のＥＣＵ３１２に、差分モデルにおけるニューラルネットワークの重みの学習を行うための高性能な演算処理装置を設ける必要がなくなる。その結果、車両にかかるコストを低減させることができる。
【００７３】
なお、上記実施形態では、学習済モデル及び差分モデルとしてニューラルネットワークを用いたものを例に説明したが、例えば決定木など、他の機械学習モデルを用いてもよい。また、上述した各パラメータの値の取得方法はあくまで一例であり、各パラメータの値は他の方法によっても取得することもできる。
【符号の説明】
【００７４】
１    機関本体
１０ａ    スロットル開度センサ
１８ａ    ＥＧＲ弁開度センサ
２４    吸気温センサ
２５    排気温センサ
２６    水温センサ
２７    油温センサ
２８    気体濃度センサ
２９    空燃比センサ
１００    内燃機関
【図１】
2020056378.tif 000012
【図２】
2020056378.tif 000013
【図３】
2020056378.tif 000014
【図４】
2020056378.tif 000015
【図５】
2020056378.tif 000016
【図６】
2020056378.tif 000017