(57)【要約】直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置（２０）に通信ネットワーク２を介して接続された情報処理装置（１０，１３）は、周期メッセージを学習用周期メッセージとして受信する受信部（１０１）と、学習用周期メッセージのうち一のメッセージと、一のメッセージの直前に受信部が受信した他のメッセージとの受信間隔を算出する受信間隔演算部（１０２）と、受信間隔に基づいて、周期メッセージの受信間隔の基準値を決定する決定部（１０３）とを備え、基準値は、基準値の決定後に他の情報処理装置が送信する周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる。【選択図】図２
2020202850.tif 000002
【特許請求の範囲】
【請求項１】
直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置（２０）に通信ネットワーク（２）を介して接続された情報処理装置（１０，１３）であって、
前記周期メッセージを学習用周期メッセージとして受信する受信部（１０１）と、
前記学習用周期メッセージのうち一のメッセージと、前記一のメッセージの直前に前記受信部が受信した他のメッセージとの受信間隔を算出する受信間隔演算部（１０２）と、
前記受信間隔に基づいて、前記周期メッセージの受信間隔の基準値を決定する決定部（１０３）と、を備え、
前記基準値は、前記基準値の決定後に前記他の情報処理装置が送信する前記周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる、
情報処理装置。
【請求項２】
直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置（２０）に通信ネットワーク（２）を介して接続された情報処理装置（１１，１２）であって、
前記周期メッセージを学習用周期メッセージとして受信する受信部（１０１）と、
前記学習用周期メッセージのうち一のメッセージへの、前記一のメッセージの直前に前記受信部が受信した他のメッセージからの変化量を算出する変化量演算部（１０７）と、
前記変化量に基づいて、前記周期メッセージの変化量の基準値を決定する決定部（１０３）と、を備え、
前記基準値は、前記基準値の決定後に前記他の情報処理装置が送信する前記周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる、
情報処理装置。
【請求項３】
前記受信部はさらに、前記他の情報処理装置から、所定のイベントが発生した場合に送信されるメッセージである非周期メッセージを学習用非周期メッセージとして受信し、
前記変化量演算部はさらに、前記学習用非周期メッセージのうち一の非周期メッセージへの、前記一の非周期メッセージの直前に前記受信部が受信した他のメッセージからの変化量である非周期変化量を算出し、
前記決定部はさらに、前記非周期変化量に基づいて前記非周期メッセージの変化量の基準値である非周期変化量基準値を決定し、
前記非周期変化量基準値は、前記非周期変化量基準値の決定後に前記他の情報処理装置が送信する前記非周期メッセージが正常であるかどうかの判断基準に用いられる、
請求項２記載の情報処理装置（１２）。
【請求項４】
前記受信部はさらに、前記他の情報処理装置から、前記判定対象周期メッセージを受信し、
当該情報処理装置はさらに、
前記決定部が決定した前記基準値を保存する保存部（１０４、１０６）と、
前記基準値に基づいて前記判定対象周期メッセージが正常であるかどうかを判定するメッセージ判定部（１０５）と、をさらに備える、
請求項１乃至３記載の情報処理装置。
【請求項５】
前記受信部はさらに、前記基準値の決定前に前記他の情報処理装置が送信する前記周期メッセージである第１の判定対象周期メッセージを受信し、
前記保存部はさらに、予め設定された初期基準値を保存し、
前記メッセージ判定部は、前記決定部が前記基準値を決定するまでは前記初期基準値に基づいて前記第１の判定対象周期メッセージが正常であるかどうかを判定し、前記決定部が前記基準値を決定した後は前記基準値に基づいて前記判定対象周期メッセージである第２の判定対象周期メッセージが正常であるかどうかを判定する、
請求項４記載の情報処理装置。
【請求項６】
前記メッセージ判定部が前記第１の判定対象周期メッセージが正常ではないと判定した場合、正常ではない前記第１の判定対象周期メッセージを破棄せず、
前記メッセージ判定部が前記第２の判定対象周期メッセージが正常ではないと判定した場合、正常ではない前記第２の判定対象周期メッセージを破棄する、
請求項５記載の情報処理装置。
【請求項７】
前記メッセージ判定部が前記第１の判定対象周期メッセージまたは前記第２の判定対象周期メッセージが正常ではないと判定した場合、正常ではない周期メッセージを受信したことを示すログを前記保存部に保存する、
請求項６記載の情報処理装置。
【請求項８】
当該情報処理装置は、前記他の情報処理装置である第１の情報処理装置から前記判定対象周期メッセージを受信して前記判定対象周期メッセージが正常であるかどうかを判定する第２の情報処理装置に前記通信ネットワークを介して接続され、
前記基準値を前記第２の情報処理装置に送信する送信部（１０８）をさらに備える、
請求項１乃至３記載の情報処理装置（１２）。
【請求項９】
直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置に通信ネットワークを介して接続された情報処理装置（１０，１３）で実行される、基準値学習用プログラムであって、
前記周期メッセージを学習用周期メッセージとして受信し、
前記学習用周期メッセージのうち一のメッセージと、前記一のメッセージの直前に受信した他のメッセージとの受信間隔を算出し、
前記受信間隔に基づいて、前記周期メッセージの受信間隔の基準値を決定し、
前記基準値は、前記基準値の決定後に前記他の情報処理装置が送信する前記周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる、
基準値学習用プログラム。
【請求項１０】
直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置に通信ネットワークを介して接続された情報処理装置（１０，１３）における基準値学習方法であって、
前記周期メッセージを学習用周期メッセージとして受信し、
前記学習用周期メッセージのうち一のメッセージと、前記一のメッセージの直前に受信した他のメッセージとの受信間隔を算出し、
前記受信間隔に基づいて、前記周期メッセージの受信間隔の基準値を決定し、
前記基準値は、前記基準値の決定後に前記他の情報処理装置が送信する前記周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる、
基準値学習方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１９年４月１日に出願された日本特許出願番号２０１９−０６９７７８号に基づくもので、ここにその記載内容を援用する。
【技術分野】
【０００２】
本出願は、情報処理装置に関するものであり、主として、車両用の情報処理装置に関するものである。
【背景技術】
【０００３】
従来より、自動車には様々な種類の情報処理装置が搭載されており、これらの情報処理装置をＣＡＮ（Controller Area Network）などの通信ネットワークで互いに接続することにより、車載システムを構成している。このような車載システムでは、外部からの不審なアクセスやデータがないかを検出するために、ネットワーク侵入検知システム（ＮＩＤＳ：Network-based Intrusion Detection System）が用いられることが知られている。【０００４】
特許文献１は、通信システムにて通信されているメッセージの正／不正を簡易な構成で判定することのできる通信システムおよび通信方法を開示している。この通信システムでは、複数のＥＣＵが、メッセージを通信可能にするために通信用バスに接続される。各ＥＣＵには、規定の通信間隔が設定されており、メッセージを送信するＥＣＵは、この規定の通信間隔に基づいてメッセージを送信する。送信されたメッセージを受信するＥＣＵは、当該受信したメッセージの通信間隔を検出し、この検出した通信間隔と前記規定の通信間隔との比較に基づいて、当該受信したメッセージの正／不正を判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１３／０９４０７２号
【発明の概要】
【０００６】
ところで、メッセージの通信間隔の他、メッセージに格納されるデータやメッセージ長等を利用してメッセージの正／不正を判定することが考えられる。いずれの場合も、設定された基準値と、受信したメッセージの通信間隔やメッセージに格納されたデータ等との比較に基づいて、受信したメッセージの正／不正を判定する。しかしながら、本発明の発明者は、メッセージの通信間隔が車種毎に異なったり、車両の装備や使用環境によってメッセージに格納されるデータやメッセージ長が異なることがあるため、予め画一的に設定された基準値を用いた場合、メッセージの正／不正を正確に判定できない可能性があるという課題を見出した。
【０００７】
そこで、本開示の目的は、メッセージの正／不正の判定に使用される判定基準を学習して決定することにある。
【０００８】
本開示の一態様による情報処理装置は、直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置に通信ネットワークを介して接続された情報処理装置であって、前記周期メッセージを学習用周期メッセージとして受信する受信部と、前記学習用周期メッセージのうち一のメッセージと、前記一のメッセージの直前に前記受信部が受信した他のメッセージとの受信間隔を算出する受信間隔演算部と、前記受信間隔に基づいて、前記周期メッセージの受信間隔の基準値を決定する決定部と、を備え、前記基準値は、前記基準値の決定後に前記他の情報処理装置が送信する前記周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる。
【０００９】
本開示の他の態様による情報処理装置は、直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置に通信ネットワークを介して接続された情報処理装置であって、前記周期メッセージを学習用周期メッセージとして受信する受信部と、前記学習用周期メッセージのうち一のメッセージへの、前記一のメッセージの直前に前記受信部が受信した他のメッセージからの変化量を算出する変化量演算部と、前記変化量に基づいて、前記周期メッセージの変化量の基準値を決定する決定部と、を備え、前記基準値は、前記基準値の決定後に前記他の情報処理装置が送信する前記周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる。
【００１０】
本開示の他の態様による基準値学習用プログラムは、直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置に通信ネットワークを介して接続された情報処理装置で実行される、基準値学習用プログラムであって、前記周期メッセージを学習用周期メッセージとして受信し、前記学習用周期メッセージのうち一のメッセージと、前記一のメッセージの直前に受信した他のメッセージとの受信間隔を算出し、前記受信間隔に基づいて、前記周期メッセージの受信間隔の基準値を決定し、前記基準値は、前記基準値の決定後に前記他の情報処理装置が送信する前記周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる。
【００１１】
本開示の他の態様による基準値学習方法は、直前のメッセージを送信してから一定時間後に送信されるメッセージである周期メッセージを送信する他の情報処理装置に通信ネットワークを介して接続された情報処理装置における基準値学習方法であって、前記周期メッセージを学習用周期メッセージとして受信し、前記学習用周期メッセージのうち一のメッセージと、前記一のメッセージの直前に受信した他のメッセージとの受信間隔を算出し、前記受信間隔に基づいて、前記周期メッセージの受信間隔の基準値を決定し、前記基準値は、前記基準値の決定後に前記他の情報処理装置が送信する前記周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる。
【発明の効果】
【００１２】
本開示の情報処理装置、基準値学習用プログラム、及び基準値学習方法によれば、他の情報処理装置から送信されたメッセージが正常であるかどうかを判定するための判定基準を学習して決定することにより、メッセージが正常であるかどうかの判定精度を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本開示の情報処理装置を有する車載システムを説明する図であり、
【図２】図２は、実施形態１の情報処理装置のブロック図であり、
【図３】図３は、実施形態１の情報処理装置の動作を説明する図であり、
【図４】図４は、実施形態１の情報処理装置の動作を説明する図であり、
【図５】図５は、実施形態２の情報処理装置のブロック図であり、
【図６】図６は、実施形態２のメッセージの受信状態を説明する図であり、
【図７】図７は、実施形態２のメッセージの変化量を説明する図であり、
【図８】図８は、実施形態２のメッセージの受信状態を説明する図であり、
【図９】図９は、実施形態２のメッセージの変化量を説明する図であり、
【図１０】図１０は、実施形態２のメッセージの受信状態および変化量を説明する図であり、
【図１１】図１１は、実施形態３の情報処理装置のブロック図であり、
【図１２】図１２は、実施形態３のメッセージの受信状態を説明する図であり、
【図１３】図１３は、実施形態３のメッセージの変化量を説明する図であり、
【図１４】図１４は、実施形態３のメッセージの受信状態を説明する図であり、
【図１５】図１５は、実施形態３のメッセージの変化量を説明する図であり、
【図１６】図１６は、実施形態３のメッセージの受信状態および変化量を説明する図であり、
【図１７】図１７は、実施形態４の情報処理装置のブロック図である。
【発明を実施するための形態】
【００１４】
以下、本開示の実施形態について、図面を参照して説明する。
なお、以下に示す本発明とは、請求の範囲に記載された発明を意味するものであり、以下の実施形態に限定されるものではない。また、少なくともダブルクォーテーション内の語句は、請求の範囲に記載された語句を意味し、同じく以下の実施形態に限定されるものではない。
請求の範囲の従属項に記載の構成および方法、従属項に記載の構成および方法に対応する実施形態の構成および方法、並びに請求の範囲に記載がなく実施形態のみに記載の構成および方法は、本発明においては任意の構成および方法である。請求の範囲の記載が実施形態の記載よりも広い場合における実施形態に記載の構成および方法も、本発明の構成および方法の例示であるという意味で、本発明においては任意の構成および方法である。いずれの場合も、請求の範囲の独立項に記載することで、本発明の必須の構成および方法となる。
実施形態に記載した効果は、本発明の例示としての実施形態の構成を有する場合の効果であり、必ずしも本発明が有する効果ではない。
複数の実施形態がある場合、各実施形態に開示の構成は各実施形態のみで閉じるものではなく、実施形態をまたいで組み合わせることが可能である。例えば一の実施形態に開示の構成を、他の実施形態に組み合わせても良い。また、複数の実施形態それぞれに開示の構成を集めて組み合わせても良い。
本開示に記載した課題は公知の課題ではなく、本発明者が独自に知見したものであり、本開示の構成および方法と共に発明の進歩性を肯定する事実である。
【００１５】
（実施形態１）
図１は、複数の情報処理装置１０、２０、２１と、これらの情報処理装置を互いに接続する通信ネットワーク２から構成された車載システム１を示している。図１に示す複数の情報処理装置のうち、ゲートウェイとして構成された情報処理装置１０が本実施形態の情報処理装置である。以下に示す実施形態では、情報処理装置１０が情報処理装置２０から送信されたメッセージを受信し、後述する処理を行う構成を説明している。以下の説明では、本開示の情報処理装置１０にメッセージを送信する情報処理装置２０を、送信元情報処理装置（“他の情報処理装置”に対応）と称する。なお、本開示の情報処理装置１０は、ゲートウェイの情報処理装置に限定されるものではない。
【００１６】
通信ネットワーク２には、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）といった通信方式の他、Ｅｔｈｅｒｎｅｔ（登録商標）やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、任意の通信方式を用いることができるが、以下の例ではＣＡＮを用いる例を説明する。
【００１７】
本実施形態の送信元情報処理装置２０は、情報処理装置１０に周期メッセージを送信する。本開示の周期メッセージは、直前のメッセージを送信してから一定時間後に送信される“メッセージ”である。メッセージの送信間隔である一定時間は予め定められているが、車載システム１を搭載する車両の種類によって異なることがある。送信元情報処理装置２０が送信するメッセージには、車載センサ等によって検出された様々なデータが含まれている。
ここで、“メッセージ”とは、通信ネットワークを介して送受信されるデータであり、複数のデータを含むデータフレームであってもよく、データフレームに含まれているデータそのものであってもよい。
【００１８】
図２は情報処理装置１０の構成を示している。情報処理装置１０は、受信部１０１、受信間隔演算部１０２、決定部１０３、判定基準保存部１０４、メッセージ判定部１０５、およびログ保存部１０６を備えている。
【００１９】
受信部１０１は、送信元情報処理装置２０から送信された周期メッセージを受信する。後述するとおり、本実施形態では、受信部１０１が受信する周期メッセージは、周期メッセージが正常であるかどうかの判定基準を学習するために利用されるとともに、このような判定基準を用いて正常であるかどうかの判定を行う対象としても利用される。つまり、受信部１０１では、周期メッセージを、判定基準を決定するための学習用周期メッセージとして受信するとともに、周期メッセージが正常であるかどうかを判定する対象の判定対象周期メッセージとしても受信する。
【００２０】
受信間隔演算部１０２は、受信部１０１が受信した学習用周期メッセージのうち一のメッセージと、当該一のメッセージの直前に受信部１０１が受信した他のメッセージとの受信間隔を算出する。受信間隔演算部１０２はさらに、受信部１０１が受信した判定対象周期メッセージのうち一のメッセージと、当該一のメッセージの直前に受信部１０１が受信した他のメッセージとの受信間隔を算出する。
【００２１】
決定部１０３は、受信間隔演算部１０２が算出した学習用メッセージの受信間隔に基づいて、受信部１０１が受信する周期メッセージの受信間隔の“基準値”を決定する。後述するとおり、決定部１０３が決定する基準値は、当該基準値の決定後に送信元情報処理装置２０が送信する周期メッセージである判定対象周期メッセージが正常であるかどうかの判定基準に用いられる。
ここで、“基準値”とは、基準となる値が含まれていればよく、必ずしも１つの値ではなくともよい。例えば、基準値は、下限値と上限値といった２つの値であってもよい。
【００２２】
上述したとおり、送信元情報処理装置２０は、一定時間毎に周期メッセージを送信しているが、通信ネットワーク２の状態によって、受信部１０１が常に一定時間毎に周期メッセージを受信できるとは限らない。そのため、決定部１０３は、複数の受信間隔に基づいて基準値を決定することが望ましい。そこで、決定部１０３は、受信部１０１が受信した複数の学習用メッセージの受信間隔を収集して基準値を求める。
【００２３】
決定部１０３が受信間隔の基準値を求める方法は任意である。例えば、決定部１０３は、複数の受信間隔の平均値を求めて、得られた平均値を基準値として決定する。あるいは、決定部１０３は複数の受信間隔の標準偏差σをさらに求めて、平均値−標準偏差σによって得られる値を最低基準値、平均値＋標準偏差σで求められる値を最大基準値として決定する。決定部１０３が決定する基準値は、特定の１つの値であってもよく、基準値の上下限を示す２つの値であってもよい。
【００２４】
決定部１０３が、受信部１０１にて受信した周期メッセージを学習用メッセージとして利用し、学習を開始するタイミングは予め設定されていることが望ましい。例えば、車両の製造工場などで車両を初回起動した時を学習を開始するタイミングとして設定する。そして、初回起動後に所定の数（例えば、Ｎ個）の学習用メッセージの受信間隔が収集されると、あるいは、初回起動後に所定の期間が経過すると、決定部１０３は受信間隔の基準値を決定する。
【００２５】
他の例として、例えば、ディーラーや整備工場において外部装置が情報処理装置１０に接続され、当該外部装置から信号を受信した時を、学習を開始するタイミングとしてもよい。あるいは、車両の電源やイグニッションがＯＮに操作された時や、車内で特定の操作が行われた時に学習を開始してもよい。車内で行われる特定の操作としては、車内に設けられた専用スイッチを操作することや、複数のボタンやハンドルを同時に操作すること（例えば、ブレーキを踏みながら複数のボタンを押す、ブレーキを複数回踏む）等が挙げられる。
【００２６】
さらに他の例として、例えば、車両が所定の状態になったことを検出した時、例えば、車両の速度が所定の速度以上になった時に学習を開始してもよい。車載システム１には、車両が所定の状態になった場合に限り作動する装置やシステムが含まれていることがある。例えば、車線逸脱防止システムは、車両速度が所定の速度（例えば、３０ｋｍ／ｈ）以上で作動する。このようなシステムの場合、車両が所定の速度以下の状態ではシステムが停止しているため、メッセージは送信されない。したがって、受信間隔に基づいて基準値を学習することはできない。そこで、このようなシステムについては、車両の速度が所定の速度以上になった時に学習を開始する。
【００２７】
また、車両の初回起動直後や、車両の電源やイグニッションをＯＮにした直後は、車載システム１や通信ネットワーク２の状態が安定しておらず、メッセージの受信間隔が一定にならない可能性がある。そこで、受信間隔の基準値の精度を高めるために、車両の起動後、一定期間内に受信した周期メッセージは、学習用メッセージとして利用しなくともよい。また、情報処理装置１０は、通信ネットワーク２の状態を監視する監視部（図示せず）をさらに備え、監視部が、通信ネットワーク２の高負荷や、通信ネットワーク２に発生した異常またはエラーを検出した場合には、その間に受信部１０１が受信した周期メッセージは学習用メッセージとして利用しなくともよい。
【００２８】
なお、以下に示す実施形態では、所定の数（例えば、Ｎ個）の学習用メッセージの受信間隔に基づいて基準値を決定している。しかしながら、決定部１０３は、受信部１０１が受信した全ての周期メッセージを学習用メッセージとして利用し、基準値を決定してもよい。この場合、受信部１０１が周期メッセージを受信する度に、受信間隔の基準値が常に更新されることになるため、基準値の精度をさらに高めることが可能となる。
【００２９】
判定基準保存部１０４（“保存部”に対応）は、予め設定された判定基準である受信間隔の初期基準値を保存する。この初期基準値は、決定部１０３が決定する基準値と同様、特定の１つの値であってもよく、基準値の上下限を示す２つの値であってもよい。
判定基準保存部１０４はさらに、決定部１０３が決定した判定基準である受信間隔の基準値も保存する。
【００３０】
メッセージ判定部１０５は、決定部１０３が決定した基準値を判定基準に用いて、受信部１０１が判定対象周期メッセージとして受信した周期メッセージが正常であるかどうかを判定する。メッセージ判定部１０５は、決定部１０３が受信間隔の基準値を決定するまでは、判定基準保存部１０４に保存されている初期基準値に基づいて、周期メッセージ（“第１の判定対象周期メッセージ”に対応）が正常であるかどうかを判定する。また、決定部１０３が受信間隔の基準値を決定した後は、決定部１０３が決定した受信間隔の基準値に基づいて、周期メッセージ（“第２の判定対象周期メッセージ”に対応）が正常であるかどうかを判定する。
【００３１】
具体的には、メッセージ判定部１０５は、受信部１０１が判定対象周期メッセージとして受信した周期メッセージとその直前に受信したメッセージとの受信間隔と、判定基準保存部１０４に保存されている初期基準値または決定部１０３が決定した基準値とを比較する。例えば、受信部１０１にて受信した周期メッセージと、その直前のメッセージとの受信間隔が５０．２５ｍｓｅｃであり、受信間隔の最大初期基準値が４９．５ｍｓｅｃ、最小初期基準値が５０．５ｍｓｅｃである場合、メッセージ判定部１０５は受信部１０１にて受信した周期メッセージは正常であると判定する。これに対し、受信部１０１にて受信した周期メッセージと、その直前のメッセージとの受信間隔が４９．４５ｍｓｅｃの場合、メッセージ判定部１０５は受信部１０１にて受信した周期メッセージは正常ではないと判定する。決定部１０３が決定した受信間隔の基準値を用いて周期メッセージを判定する場合も同様である。
【００３２】
なお、初期基準値または決定部１０３が決定した基準値が特定の１つの値である場合には、予め誤差範囲を設定しておき、受信した２つのメッセージの受信間隔が基準値の誤差範囲内であるかどうかによって、メッセージが正常であるかどうかを判定することが望ましい。送信元情報処理装置２０は規定の送信間隔で周期メッセージを送信するが、通信ネットワーク２の混雑によって遅延が生じることも起こりうる。そのため、誤差を予め設定することにより、遅延した正常なメッセージが正常ではないと判定されることを防止する。
【００３３】
ログ保存部１０６（“保存部”に対応）は、メッセージ判定部１０５が周期メッセージが正常ではないと判定した場合、正常でない周期メッセージを受信したことを示すログを保存する。ログ保存部１０６には、正常でない周期メッセージを受信したことを示すログに加えて、当該周期メッセージを受信した時刻や、当該周期メッセージの内容を併せて記録してもよい。
【００３４】
図３は、本実施形態の情報処理装置１０の動作のうち、判定基準の決定に関する動作の一例を示している。
まず、決定部１０３は、車両が初回起動の状態であるかどうかを判定する（Ｓ１０１）。車両が初回起動の場合には（Ｓ１０１：Ｙｅｓ）、送信元情報処理装置２０から送信された周期メッセージを学習用周期メッセージとして受信（Ｓ１０２）し、受信した学習用周期メッセージとその直前に受信したメッセージとの受信間隔を算出する（Ｓ１０３）。これに対し、車両が初回起動ではない場合には（Ｓ１０１：Ｎｏ）、図３に示すＳ１０２以降の処理は行わない。
予め設定されたＮ個の受信間隔を収集するまで、Ｓ１０２〜Ｓ１０４の処理を継続する。そして、Ｎ個の受信間隔が収集されると（Ｓ１０４：Ｙｅｓ）、送信元情報処理装置２０が送信する周期メッセージが正常であるかどうかの判定基準として用いられる受信間隔の基準値を決定する（Ｓ１０５）。決定された基準値は、判定基準保存部１０４に保存される（Ｓ１０６）。
【００３５】
次に、図４は、本実施形態の情報処理装置１０の動作のうち、受信部１０１にて受信した周期メッセージが正常であるかどうかを判定する動作を示している。
受信部１０１が判定対象周期メッセージとして周期メッセージを受信する（Ｓ２０１）と、受信間隔演算部１０２は、受信した周期メッセージと、その直前に受信したメッセージの受信間隔を算出する（Ｓ２０２）。受信間隔を算出すると、メッセージ判定部１０５は、算出した受信間隔と、初期基準値または図３の処理によって決定された基準値とを比較する（Ｓ２０３）。ここで、図３に示す一連の処理にて決定部１０３が受信間隔の基準値を決定するまでは、Ｓ２０３おいて使用する基準値は、判定基準保存部１０４に予め保存されている初期基準値である。一方、図３に示す一連の処理にて決定部１０３が受信間隔の基準値を決定した後は、Ｓ２０３において使用する基準値は、決定部１０３が決定した基準値である。
【００３６】
Ｓ２０３において、算出した受信間隔と基準値とを比較した結果、受信間隔が基準値の範囲内にはなく、周期メッセージが正常ではないと判定した場合（Ｓ２０４：Ｎｏ）には、Ｓ２０３において使用した基準値が初期基準値であるかどうかを判定する（Ｓ２０５）。使用した基準値が初期基準値ではなく、決定部が決定した基準値である場合（Ｓ２０５：Ｎｏ）には、正常ではないと判定された周期メッセージを破棄する（Ｓ２０６）。そして、正常ではない周期メッセージを受信したこと示すログをログ保存部１０６に保存する（Ｓ２０７）。
これに対し、使用した基準値が初期基準値の場合（Ｓ２０５：Ｙｅｓ）には、周期メッセージは破棄せず、正常ではない周期メッセージを受信したこと示すログを保存する（Ｓ２０７）。
【００３７】
学習によって得られる基準値ではなく、初期基準値を使用してメッセージが正常であるかどうかを判定した場合、判定結果の信頼度は高くない可能性がある。そのため、メッセージ判定部１０５が正常ではないと判定しても、実際は正常なメッセージである可能性があり、正常ではないと判定されたメッセージは破棄しない方が望ましい。これに対し、実際に受信したメッセージに基づいて決定された基準値を使用して周期メッセージが正常であるかどうかを判定した場合、その判定結果の信頼度は高い。そこで、この場合には、正常ではない周期メッセージを破棄する。
【００３８】
一方、メッセージ判定部１０５が、周期メッセージが正常ではないと判定した場合、データ分析に利用できるようにログを記録として残しておくことが望ましい。そこで、メッセージ判定部１０５が周期メッセージが正常ではないと判定した場合には、初期基準値を利用して判定したかどうかによらず、正常ではない周期メッセージを受信したことを示すログをログ保存部１０６に保存する。
【００３９】
なお、図４では、周期メッセージが正常ではないと判定した場合、正常ではない周期メッセージを破棄（Ｓ２０６）するとともに、ログを記録（Ｓ２０７）しているが、これらの処理に加えて、正常ではない周期メッセージを受信したことを、車載システムを構成する他の情報処理装置に通知してもよい。
【００４０】
なお、上記実施形態１では、決定部１０３は受信間隔の基準値を決定するとともに、受信した周期メッセージの受信間隔に基づいてメッセージが正常であるかどうかを判定している。しかしながら、決定部１０３は、受信間隔の基準値に代えて、メッセージの長さの基準値を決定するとともに、受信した周期メッセージの長さに基づいてメッセージが正常であるかどうかを判定してもよい。
【００４１】
上記実施形態１によれば、周期メッセージの受信間隔に基づいてメッセージが正常であるかどうかを判定する際の基準値を学習して決定することが可能となるため、車両毎に基準値をそれぞれ設定することなくメッセージの正／不正を高い精度で判定することが可能となる。
【００４２】
（実施形態２）
実施形態１では、受信間隔に基づいて、周期メッセージが正常であるかどうかの判定基準となる受信間隔の基準値を決定する構成を説明した。本実施形態では、メッセージが示すデータの変化量に基づいて、周期メッセージが正常であるかどうかの判定基準となる変化量の基準値を決定する構成を、実施形態１との相違点を中心に説明する。
【００４３】
図５は、本実施形態の情報処理装置１１を示している。情報処理装置１１は、図２に示す受信間隔演算部１０２に代えて、変化量演算部１０７を備えている。
変化量演算部１０７は、受信部１０１が受信した学習用周期メッセージのうち一の周期メッセージへの、当該一の周期メッセージの直前に受信部１０１が受信した他のメッセージからの“変化量”を算出する。
変化量演算部１０７はさらに、受信部１０１が判定対象周期メッセージとして受信したメッセージへの変化量についても、同様に算出する。
ここで、“変化量”とは、変化の程度を表す値であればよく、２つのメッセージの差分はもちろん、変化の割合であってもよい。
【００４４】
決定部１０３は、変化量演算部１０７が算出した変化量に基づいて、判定対象周期メッセージが正常であるかどうかをそれぞれ判定するための判定基準に用いられる変化量の基準値を決定する。
【００４５】
図６、８、１０は、情報処理装置１１が受信するメッセージの３つの例を示している。
【００４６】
図６は、周期メッセージが、例えば、スイッチのＯＮ／ＯＦＦ状態のように、２つの状態のいずれかを示す場合を示している。図６では、受信部１０１は、スイッチＯＮの状態を示すメッセージＭ１−Ｍ４を受信間隔Ｔ０で周期的に受信している。説明を容易にするために、メッセージの内容をＯＮ／ＯＦＦで表しているが、これらのＯＮ／ＯＦＦは、例えば、１ビットで表される０または１の数値である。そこで、図６に示すメッセージを受信部１０１が受信すると、変化量演算部１０７は、１ビットで表される数値の変化量を算出する。
【００４７】
図７は、図６に示す周期メッセージに関する変化量演算部１０７の算出結果を示している。図７に示す変化量０とは、２つのメッセージが示すデータがいずれもＯＮまたはＯＦＦであり、変化がないことを示している。これに対し、変化量１とは、例えば、２つのメッセージのうち一方のデータがＯＮであり、他方のデータがＯＦＦであり、スイッチの状態が変化したことを示している。図７に示す例では、変化量が０となる確率は１００％であり、１となる確率は０％である。そのため、決定部１０３は変化量基準値は０であると決定する。
【００４８】
図８は、周期メッセージが、例えば、シフトレバーの状態のように、予め設定された複数の状態のいずれかを示す場合を示している。図８では、受信部１０１は、シフトレバーがＰ（すなわち、パーキング）の状態を示すメッセージＭ１−Ｍ４を、受信間隔Ｔ０で周期的に受信している。なお、Ｒ、Ｎ、Ｄはそれぞれ、シフトレバーがＲ（すなわち、リバース）の状態、Ｎ（すなわち、ニュートラル）の状態、Ｄ（すなわち、ドライブ）の状態を示している。
【００４９】
図８では説明を容易にするために、メッセージの内容をＰ、Ｒ、Ｎ、Ｄで表しているが、これらの情報は、例えば、２ビットで表される数値である。そこで、図８に示すメッセージを受信部１０１が受信すると、変化量演算部１０７は、２ビットで表される数値の変化量を算出する。
【００５０】
図９は、図８に示す周期メッセージに関する変化量演算部１０７の算出結果を示している。メッセージ１は図８のＰ、メッセージ２はＲ、メッセージ３はＮ、メッセージ４はＤにそれぞれ対応する値である。例えば、図９に示す例では、変化量が０となる確率は１００％であり、変化量が０以外となる確率は０％である。そこで、決定部１０３は、変化量基準値は０であると決定する。
【００５１】
図１０は、周期メッセージが、例えば、センサ等によって検出された任意の数値を示す場合を示している。この例では、メッセージは車両速度を示している。
【００５２】
図１０に示す例では、メッセージは速度Ｘの値を示している。そこで、図１０に示すメッセージを受信部１０１が受信すると、変化量演算部１０７は、各メッセージが示している速度の変化量を算出する。この変化量は、例えば、Ｘ１とＸ２の差分、またはＸ１からＸ２への変化の割合（すなわち、傾き）である。そして、決定部１０３は、周期メッセージへの変化量の基準値を、これらの差分または変化の割合に決定する。なお、速度の変化量は、アクセル踏み込み量などによって変動することが考えられる。このように、他のパラメータによって変化量が変動する場合には、他のパラメータに応じた変化量の基準値を決定してもよい。例えば、アクセル踏み込み量を複数の段階に分類し、段階毎に複数の速度の変化量の基準値を決定してもよい。
【００５３】
なお、図６〜図１０に示すメッセージの内容や変化量の値は例示にすぎず、これらの例に限定されるものではない。
【００５４】
本実施形態においても、実施形態１と同様の方法によって、メッセージが正常であるかどうかを判定する。ただし、実施形態１とは異なり、本実施形態では、受信間隔に代えて、変化量の基準値をメッセージが正常であるかどうかの判断基準に用いる。なお、本実施形態においても、判定基準保存部１０４が予め設定された変化量の初期基準値を保存し、決定部１０３が変化量の基準値を決定するまでは、初期基準値に基づいて周期メッセージが正常であるかどうかを判定してもよい。
【００５５】
上記実施形態１によれば、メッセージの内容に基づいてメッセージが正常であるかどうかを判定する際の基準値を学習して決定することが可能となり、基準値を車両毎に設定することなくメッセージの正／不正を判定することが可能となる。
【００５６】
（実施形態３）
実施形態１、２の構成によれば、送信元情報処理装置２０から送信される周期メッセージの判定基準を学習により決定することが可能となる。しかしながら、送信元情報処理装置２０から送信されるメッセージには、周期メッセージだけでなく、例えば、所定のイベントが発生したことをトリガとして送信されるものがある。イベントが発生したことをトリガとしてメッセージが送信される場合、通常の周期とは異なるタイミングでメッセージが送信されることになる。そのため、受信間隔に基づいてメッセージが正常かどうかを判定すると、イベントをトリガとして送受信されたメッセージは正常ではないと判定されるおそれがある。また、このようなメッセージの変化量は、周期メッセージの変化量とは異なると考えられる。
【００５７】
そこで、本実施形態では、周期的に送受信されるメッセージに加えて、イベントの発生をトリガとして送受信されるメッセージが正常であるかを判定するための構成を、実施形態１、２との相違点を中心に説明する。
【００５８】
図１１は本実施形態の情報処理装置１２を示している。情報処理装置１２は、図２に示す受信間隔演算部１０２と、図５に示す変化量演算部１０７の双方を備えている。
【００５９】
本実施形態の受信部１０１は、送信元情報処理装置２０から、周期メッセージに加えて、所定のイベントが発生した場合に送信されるメッセージである非周期メッセージを受信する。なお、受信部１０１が受信したメッセージが周期メッセージおよび非周期メッセージのいずれであるかは、当該メッセージと、その直前に受信したメッセージとの受信間隔によって判断することができる。例えば、当該メッセージと、その直前に受信したメッセージとの受信間隔が、実施形態１で説明した基準値の範囲内である場合には周期メッセージであると判断し、基準値の範囲外である場合には非周期メッセージであると判断する。
実施形態１、２の周期メッセージと同様、受信部１０１は、非周期メッセージを、判定基準を決定するための学習用非周期メッセージとして受信するとともに、非周期メッセージが正常であるかどうかを判定する対象の判定対象非周期メッセージとしても受信する。
【００６０】
本実施形態の受信間隔演算部１０２は、実施形態１と同様の方法を用いて、受信間隔の基準値を算出する。ただし、周期メッセージの受信間隔の基準値を求める際に、非周期メッセージの受信間隔を含めて算出した場合、正確な周期メッセージの受信間隔の基準値を算出することができない。そこで、受信間隔演算部１０２では、スミルノフ・グラブス検定やトンプソン検定といった外れ値検定手法を用いて非周期メッセージの受信間隔を検出し、非周期メッセージの受信間隔を除外して周期メッセージの受信間隔の基準値を算出する。なお、本実施形態では、実施形態１の方法を用いて受信間隔の基準値を算出することにより、周期メッセージと非周期メッセージを識別している。しかしながら、実施形態１とは異なる方法を用いて、周期メッセージと非周期メッセージを識別してもよい。
【００６１】
変化量演算部１０７は、実施形態２と同様、受信部１０１が受信した学習用周期メッセージのうち一の周期メッセージへの、当該一の周期メッセージの直前に受信部１０１が受信した他のメッセージからの変化量を算出する。本実施形態の変化量演算部１０７はさらに、受信部１０１が受信した学習用非周期メッセージのうち一の非周期メッセージへの、当該一の非周期メッセージの直前に受信部１０１が受信した他のメッセージからの変化量（“非周期変化量”に対応）を算出する。
変化量演算部１０７はさらに、受信部１０１が判定対象周期メッセージまたは判定対象非周期メッセージとして受信したメッセージへの変化量についても、同様に算出する。
【００６２】
決定部１０３は、変化量演算部１０７が算出した変化量に基づいて、判定対象周期メッセージおよび判定対象非周期メッセージが正常であるかどうかをそれぞれ判定するための判定基準に用いられる変化量の基準値を決定する。より具体的には、学習用周期メッセージへの変化量に基づいて、周期メッセージへの変化量基準値を決定し、学習用非周期メッセージへの変化量に基づいて、非周期メッセージへの変化量基準値（“非周期変化量基準値”に対応）を決定する。
【００６３】
なお、周期メッセージへの変化量基準値は、実施形態２によって決定することができる。そこで、本実施形態では主に、非周期メッセージへの変化量基準値について説明する。
【００６４】
以下に、実施形態２で説明したメッセージがそれぞれ、周期的なタイミングに加えて、所定のイベントが発生したことをトリガとして送信される場合を説明する。
【００６５】
図１２は、図６と同様、メッセージがスイッチのＯＮ／ＯＦＦ状態のように、２つの状態のいずれかを示しており、さらに、周期メッセージと非周期メッセージの双方を受信している場合を示している。この例では、メッセージＭ２を受信した後にイベントが発生したため、非周期的なタイミングで非周期メッセージＭ３を受信している。メッセージＭ２とＭ３との間の受信間隔Ｔ１は、周期メッセージを送信する受信間隔Ｔ０よりも短い。また、メッセージＭ１、Ｍ２はスイッチＯＮの状態を示しており、メッセージＭ３、Ｍ４はスイッチＯＦＦの状態を示している。
【００６６】
図１３は、非周期メッセージに関する変化量演算部１０７の算出結果を示している。非周期メッセージへの変化量が０となる確率は３０％であり、１となる確率は７０％である。そこで、決定部１０３は、非周期メッセージへの変化量基準値は１であると決定する。
【００６７】
なお、非周期メッセージへの変化量が０の場合、すなわち、イベントが発生したにもかかわらず、スイッチのＯＮ／ＯＦＦに変化がない場合とは、スイッチのＯＮ／ＯＦＦ以外のイベントによって非周期メッセージが送受信されたことを示している。
【００６８】
図１４は、図８と同様、メッセージが予め設定された複数の状態のいずれかを示しており、さらに、周期メッセージと非周期メッセージの双方を受信している場合を示している。メッセージＭ２、Ｍ４を受信した後にイベントが発生したため、非周期的なタイミングで非周期メッセージＭ３、Ｍ５を受信している。メッセージＭ２とＭ３の間の受信間隔Ｔ１、およびメッセージＭ４とＭ５の間の受信間隔Ｔ２は、周期的な受信間隔Ｔ０よりも短い。
【００６９】
図１５は、非周期メッセージに関する変化量演算部１０７の算出結果を示している。図９とは異なり、変化量が０となる確率は、非周期メッセージの値、あるいは、当該非周期メッセージの直前に受信したメッセージ（すなわち、前回メッセージ）の値によって異なる。例えば、図１５に示す例では、非周期メッセージへの変化量が０となる確率は、前回メッセージが１の場合は６０％であるのに対し、前回メッセージが３の場合は１０％である。つまり、非周期メッセージへの変化量だけでは、正確な判定基準となる基準値を決定することはできない。そこで、決定部１０３は、非周期メッセージの直前に受信したメッセージの値毎または非周期メッセージの値毎に変化量基準値を決定する。例えば、前回メッセージが１の場合、非周期メッセージの変化量が０となる確率は６０％であり、１となる確率は３５％である。そこで、決定部１０３は、前回データが１の場合における非周期メッセージの変化量基準値は０または１であると決定する。さらに、前回メッセージが３の場合、非周期メッセージの変化量が−１となる確率は４０％であり、１となる確率は４０％である。そこで、決定部１０３は、前回データが３の場合における非周期メッセージの変化量基準値は−１または１であると決定する。
【００７０】
図１６は、図１０と同様、メッセージが任意の数値を示す場合を示しており、イベントが発生して、周期メッセージと非周期メッセージの双方を受信している例を示している。例えば、イベントとしてブレーキ操作が行われると、送信元情報処理装置２０は非周期的なタイミングで非周期メッセージを送信する。図１６に示すとおり、受信部１０１は、メッセージＭ３以外のメッセージを、受信間隔Ｔ０で周期的に受信している。また、メッセージＭ２を受信した後にブレーキ操作がされたことにより、非周期的なタイミングでメッセージＭ３を受信している。メッセージＭ２とＭ３の間の受信間隔Ｔ１は周期的な受信間隔Ｔ０よりも短い。
【００７１】
ここで、図１６に示す周期メッセージへの変化量、すなわち、メッセージＭ１からＭ２への変化量、メッセージＭ３からＭ４およびメッセージＭ４からＭ５への変化量、並びにメッセージＭ５からＭ６への変化量はいずれも異なる点で、図１０とは異なる。そこで、メッセージが任意の数値を示している場合には複数の変化量基準値を決定することが望ましい。例えば、図１６に示す例では、周期メッセージＭ１からＭ２への変化量に基づいて第１の周期メッセージへの変化量基準値を決定し、メッセージＭ３からＭ４、Ｍ４からＭ５への変化量に基づいて第２の周期メッセージへの変化量基準値を決定し、さらに、メッセージＭ５からＭ６への変化量に基づいて第３の周期メッセージへの変化量基準値を決定する。
さらに、メッセージＭ２からＭ３への非周期メッセージへの変化量に基づいて、非周期メッセージへの変化量基準値を決定する。
【００７２】
本実施形態においても、実施形態１と同様の方法によって、メッセージが正常であるかどうかを判定する。また、本実施形態においても、判定基準保存部１０４が、予め設定された非周期メッセージの変化量の初期基準値を保存していてもよい。この場合、決定部１０３が非周期メッセージの変化量基準値を決定するまでは、初期基準値に基づいて、非周期メッセージが正常であるかどうかを判定してもよい。
【００７３】
以上、本実施形態によれば、周期メッセージに加えて非周期メッセージが送受信される場合にも、メッセージの正／不正の判定基準を学習して決定することが可能となる。
【００７４】
（実施形態４）
上記実施形態では、図２、５、１１に示すように、受信部１０１が受信したメッセージが正常であるかをどうかの判定を情報処理装置において行っている。これに対し、本実施形態では、本開示の情報処理装置はメッセージが正常であるかどうかの判定を行わず、決定部１０３にて決定した基準値を他の情報処理装置に送信する構成を、実施形態１〜３との相違点を中心に説明する。
【００７５】
図１７は、本実施形態４の情報処理装置１３を示している。本実施形態４の情報処理装置１３は、受信部１０１、受信間隔演算部１０２、決定部１０３、および送信部１０８を備えている。
【００７６】
本実施形態４の情報処理装置１３は、上述した実施形態と同様、送信元情報処理装置２０（“第１の情報処理装置”に対応）から受信したメッセージに基づいて、判定対象周期メッセージまたは判定対象非周期メッセージが正常であるかどうかの判定基準に用いられる基準値を決定する。
送信部１０８は、決定部１０３が決定した基準値を、例えば、図１に示す情報処理装置２１（“第２の情報処理装置”に対応）に送信する。ここで、情報処理装置１０が判定基準を送信する情報処理装置２１は、送信先情報処理装置と称する。
【００７７】
送信先情報処理装置２１は、通信ネットワークを介して、送信元情報処理装置２０から送信されたメッセージを受信する。このとき、送信先情報処理装置２１は、本開示の情報処理装置１３から受信した基準値を用いて、送信元情報処理装置２０から受信したメッセージが正常であるかどうかを判定する。
【００７８】
なお、実施形態１〜３の情報処理装置は、車両に搭載されて車載システムを構成する情報処理装置である。しかしながら、本実施形態４の情報処理装置１３は車両に搭載されていなくともよく、車外に設けられていてもよい。この場合、情報処理装置１３の受信部１０１は、無線通信ネットワークを介して、車両に搭載された送信元情報処理装置２０からメッセージを受信し、当該メッセージに基づいて基準値を決定する。そして、情報処理装置１３の送信部１０８は、無線通信ネットワークを介して、車両に搭載された送信先情報処理装置２１に基準値を送信する。
【００７９】
本実施形態によれば、車載システムを構成する各々の情報処理装置が判定基準を決定しなくとも、学習して決定された基準値を用いて、それぞれの情報処理装置がメッセージの正／不正を判定することが可能となる。
【００８０】
（総括）
以上、本開示の各実施形態における情報処理装置の特徴について説明した。
【００８１】
上記実施形態で使用した用語は例示であるので、同義の用語、あるいは同義の機能を含む用語に置き換えてもよい。
【００８２】
実施形態の説明に用いたブロック図は、装置等の構成を機能毎に分類および整理したものである。これらの機能ブロックは、ハードウェア又はソフトウェアの任意の組み合わせで実現される。また、機能を示したものであることから、かかるブロック図は方法の発明、および当該方法を実現するプログラムの発明の開示としても把握できるものである。
【００８３】
各実施形態に記載した処理、フロー、および方法として把握できる機能ブロックについては、一のステップで他のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えても良い。
【００８４】
各実施形態、および請求の範囲で使用する“第１”“第２”の用語は、同種の２以上の構成や方法を区別するために使用しており、順序や優劣を限定するものではない。
【００８５】
本開示は、各実施形態で説明した構成および機能を有する専用のハードウェアで実現できるだけでなく、メモリやハードディスク等の記憶媒体に記憶した本発明を実現するためのプログラム、およびこれを実行可能な専用又は汎用ＣＰＵおよびメモリ等を有する汎用のハードウェアとの組み合わせとしても実現できる。
【００８６】
専用や汎用のハードウェアの非遷移的実体的記憶媒体（例えば、外部記憶装置（ハードディスク、ＵＳＢメモリ、ＣＤ／ＢＤ等）、又は内部記憶装置（ＲＡＭ、ＲＯＭ等））に格納されるプログラムは、記憶媒体を介して、あるいは記憶媒体を介さずにサーバから通信回線を経由して、専用又は汎用のハードウェアに提供することもできる。これにより、プログラムのアップグレードを通じて常に最新の機能を提供することができる。
【産業上の利用可能性】
【００８７】
本開示の情報処理装置は、主として自動車において利用される車両用の情報処理装置として説明したが、車両用に限らず、様々な用途に用いられる情報処理装置に適用可能である。
【図１】
2020202850.tif 000003
【図２】
2020202850.tif 000004
【図３】
2020202850.tif 000005
【図４】
2020202850.tif 000006
【図５】
2020202850.tif 000007
【図６】
2020202850.tif 000008
【図７】
2020202850.tif 000009
【図８】
2020202850.tif 000010
【図９】
2020202850.tif 000011
【図１０】
2020202850.tif 000012
【図１１】
2020202850.tif 000013
【図１２】
2020202850.tif 000014
【図１３】
2020202850.tif 000015
【図１４】
2020202850.tif 000016
【図１５】
2020202850.tif 000017
【図１６】
2020202850.tif 000018
【図１７】
2020202850.tif 000019
【国際調査報告】
2020202850.tif 000020
2020202850.tif 000021
2020202850.tif 000022
2020202850.tif 000023
2020202850.tif 000024