JP 2021-18484 A 2021.2.15(57)【要約】【課題】自船周辺に存在する他船等の避航対象物の数が増減する場合であっても衝突危険性の程度を適切に表現でき、また、その結果を用いて機械学習により避航動作を学習することができる周辺状態表現方法、避航動作学
習プログラム、避航動作学習システム、及び船舶を提供すること。
【解決手段】自船１を含む任意の領域１５０をグリッド状に分割し、自船１の位置と速度ベクトルと他船２を含む避航対象物の位置と速度ベクトルの情報から自船１との衝突予測位置と衝突危険度を計算する衝突危険性計算
過程と、グリッド状に分割されたセル１５１についてセ
ル１５１中における衝突予測位置の有無および／または
衝突危険度に応じてセル１５１の衝突危険性の程度を表す指標を少なくとも１つ割り当てる指標割り当て過程を備えた。
【選択図】図４

(2)JP 2021-18484 A 2021.2.15【特許請求の範囲】【請求項１】
自船を含む任意の領域をグリッド状に分割し、前記自船の位置と速度ベクトルと他船を含む避航対象物の位置と速度ベクトルの情報から
前記自船との衝突予測位置と衝突危険度を計算する衝突危険性計算過程と、
前記グリッド状に分割されたセルについて前記セル中における前記衝突予測位置の有無および／または前記衝突危険度に応じて前記セルの衝突危険性の程度を表す指標を少なくとも１つ割り当てる指標割り当て過程を備えたことを特徴とする、周辺状態表現方法。
【請求項２】
前記自船を中心とした任意の円形の前記領域を前記グリッド状に分割することを特徴とする、
請求項１に記載の周辺状態表現方法。
【請求項３】
前記自船を含む任意の形状の前記領域を前記グリッド状に分割することを特徴とする、請求項１に記載の周辺状態表現方法。
【請求項４】
前 記 領 域 中 に 存 在 す る 前 記 避 航 対 象 物 が Ａ Ｉ Ｓ (自 動 船 舶 識 別 装 置 )を 搭 載 し て い る 場 合、前記避航対象物のＡＩＳ情報を受信し、前記ＡＩＳ情報に基づき前記避航対象物の前記位置と前記速度ベクトルを定めることを特徴とする、
請求項１から請求項３のいずれか１項に記載の周辺状態表現方法。
【請求項５】
前記衝突危険性計算過程において、前記自船と前記避航対象物によるＯＺＴ（航行妨害ゾーン）を計算し、計算された前記ＯＺＴを前記衝突予測位置とすることを特徴とする、
請求項１から請求項４のいずれか１項に記載の周辺状態表現方法。
【請求項６】
前記指標割り当て過程において、前記セル中に前記衝突予測位置が含まれる場合は前記
セルの前記指標としてｎ次元実数値ベクトルを、含まれない場合はｎ次元ゼロベクトルを割り当てることを特徴とする請求項１から請求項５のいずれか１項に記載の周辺状態表現方法。
【請求項７】
前記セル中に前記衝突予測位置が含まれる場合は前記セルの前記指標を１とし、含まれない場合は０とすることを特徴とする、請求項６に記載の周辺状態表現方法。
【請求項８】
コンピュータに、請求項１から請求項７のいずれか１項に記載の周辺状態表現方法における前記衝突危険性
計算過程と前記指標割り当て過程を実行させ、その結果に基づき、前記自船の前記避航対象物に対する避航動作を機械学習により学習させる避航動作学習過程を実行させることを特徴とする、避航動作学習プログラム。
【請求項９】
前記避航動作学習過程において、前記自船が事前に指定されたウェイポイントを目標とするように条件づけられた避航動作を前記機械学習により学習させることを特徴とする、請求項８に記載の避航動作学習プログラム。
【請求項１０】自船を含む任意の領域をグリッド状に分割するグリッド生成手段と、前記自船の位置と速度ベクトルと、避航対象物の位置と速度ベクトルを取得する位置・速度情報取得手段と、
前記自船の前記位置と前記速度ベクトルと前記避航対象物の前記位置と前記速度ベクトルの情報から前記自船との衝突予測位置と衝突危険度を計算する衝突危険性計算手段と、
前記グリッド状に分割されたセルについて前記セル中における前記衝突予測位置の有無お

10

20

30

40

50

(3)

JP 2021-18484 A 2021.2.15

よび／または前記衝突危険度に応じて前記セルの衝突危険性の程度を表す指標を少なくとも１つ割り当てる指標割り当て手段と、
前記指標割り当て手段の実行した割り当て結果に基づき、前記自船の前記避航対象物に対する避航動作を機械学習により学習させる避航学習手段とを備えたことを特徴とする避航動作学習システム。
【請求項１１】
前記グリッド生成手段が、前記自船を中心とした任意の円形の前記領域を前記グリッド状に分割することを特徴とする請求項１０に記載の避航動作学習システム。
【請求項１２】
前記グリッド生成手段が、前記自船を含む任意の形状の前記領域を前記グリッド状に分割することを特徴とする請求項１０に記載の避航動作学習システム。
【請求項１３】
前 記 位 置 ・ 速 度 情 報 取 得 手 段 が 、 受 信 し た 前 記 避 航 対 象 物 の Ａ Ｉ Ｓ (自 動 船 舶 識 別 装 置 )情報に基づいて前記領域中に存在する前記避航対象物の前記位置と前記速度ベクトルを取得することを特徴とする請求項１０から請求項１２のいずれか１項に記載の避航動作学習
システム。
【請求項１４】前記衝突危険性計算手段が、前記ＡＩＳで取得された前記避航対象物の前記位置と前記
速度ベクトルから前記自船と前記避航対象物によるＯＺＴ（航行妨害ゾーン）を計算し、計算された前記ＯＺＴを前記衝突予測位置とすることを特徴とする請求項１３に記載の避航動作学習システム。
【請求項１５】
前記指標割り当て手段が、前記セル中に前記衝突予測位置が含まれる場合は前記セルの前記指標としてｎ次元実数値ベクトルを、含まれない場合はｎ次元ゼロベクトルを割り当てることを特徴とする請求項１０から請求項１４のいずれか１項に記載の避航動作学習シ
ステム。
【請求項１６】
前記指標割り当て手段が、前記セル中に前記衝突予測位置が含まれる場合は前記セルの前記指標を１とし、含まれない場合は０とすることを特徴とする請求項１５に記載の避航動作学習システム。
【請求項１７】前記避航動作学習手段が、前記自船が事前に指定されたウェイポイントを目標とするよ
うに条件づけられた避航動作を前記機械学習により学習することを特徴とする請求項１０から請求項１６のいずれか１項に記載の避航動作学習システム。
【請求項１８】
前記指標割り当て手段の前記割り当て結果及び／又は前記避航学習手段の学習結果を表示する表示手段をさらに備えたことを特徴とする請求項１０から請求項１７のいずれか１
項に記載の避航動作学習システム。
【請求項１９】
請求項１０から請求項１８のいずれか１項に記載の避航動作学習システムにより学習された学習済モデルの前記避航動作に従って操船する操船手段を備えたことを特徴とする船舶。
【請求項２０】
請求項８又は請求項９に記載の避航動作学習プログラムにより学習された学習済モデルの前記避航動作に従って操船することを特徴とする船舶。
【発明の詳細な説明】【技術分野】【０００１】
本発明は、他船等の避航対象物を避けて航行するための周辺状態表現方法、避航動作学

10

20

30

40

50

(4)

JP 2021-18484 A 2021.2.15

習プログラム、避航動作学習システム、及び船舶に関する。
【背景技術】【０００２】
近年、自律船の研究開発が活発になってきている。我が国においても、国土交通省が「自動運行船」の実用化に向けたロードマップを取りまとめ、２０２５年までの実用化を目
標 に 掲 げ て い る 。 ま た 、 Maritime Autonomous Surface Ships (Ｍ Ａ Ｓ Ｓ )に 係 る 規 則 を 取
りまとめる動きがＩＭＯ（国際海事機関）にて行われており、安全性、セキュリティそして環境に関する懸案事項について、ＭＡＳＳの要件を含む内容が議論されている。こうした自律船を実現する上で重要な要素技術の一つとして自動避航操船の技術がある。
これまでにも衝突危険、効率、避航規則を評価した動的計画法による避航操船やファジ
ィ制御理論を援用した衝突危険度の推論を行う自動避航システムなどを始め、強化学習などを用いるものなど、数多くの自動避航操船アルゴリズムが研究・提案されている。
しかし、これらは複数の船舶の避航にうまく対応できるものではないか、もしくは避航
操船アルゴリズムを適用する際に避航判定の計算で一度に一隻のみの船舶しか考慮に入れることができなかった。
【０００３】
ここで、特許文献１には、移動体の行動に関する行動データと、地図をメッシュで分割した個々の区画に移動体の移動基準に関する情報である地理属性情報が付与されている地理データと、指示に対する移動体の応答性に関する応答性データとを有する記憶部と、応答性データに基づいて移動体の理想的な行動を推定し、その推定した行動とその行動デー
タの行動との差分を算出し、その算出結果に基づいて応答性データを更新する指示応答性
推定部と、行動データ、地理データ及び応答性データに基づいて移動体が各時刻において或る座標に存在する確からしさを推定し、地理Ｅマップを生成する地理Ｅマップ生成部と、地理Ｅマップに基づいて移動体の未来の座標を予測する移動予測部とを有する交通管制
支援システムが開示されている。
また、特許文献２には、出発地点から目的地点までの海域を格子状に任意の間隔に区切った交差部分を複数のノードとして設定し、海気象データと船舶が固有に有する個船デー
タとに基づいて、ノード間におけるコストに係るパラメータの予測値を算出してコスト予測データを生成するコストパラメータ生成手段と、海気象データと個船データとに基づいて、ノード間における船舶安全に関するパラメータについて、算出した予測値又は海気象
データの少なくとも一方に基づいて避航予測データを生成する避航支援パラメータ生成手
段と、避航予測データ及び安全航行に係る許容限界を示す閾値を表す閾値データに基づいて、出発地点から目的地点において、閾値データが示す範囲を満たすエッジを抽出し、コ
スト予測データに基づいて、エッジから目的地までの最適航路を探索する航路探索手段とを備える運航支援装置が開示されている。
また、特許文献３には、コンピュータに、特定の船舶の航跡が通過する複数のグリッドそれぞれについて、航跡の進入角および退出角をそれぞれ算出する処理を実行させ、複数のグリッドそれぞれについて設定された判定条件に基づき、進入角および退出角が、判定条件に適合するグリッドを抽出する処理を実行させ、抽出されたグリッドにおける航跡での特定の船舶の位置に対応した、他の船舶との相対距離に基づき、特定の船舶が回避行動を行ったか否かを判定する処理を実行させる回避行動判定プログラムが開示されている。
また、特許文献４には、特定の海域に関する水深値メッシュデータ及び潮汐調和定数メッシュデータに基づいて推測した推算水深値を有する推算水深値メッシュデータを取得して視覚化し、船舶が存在する位置情報及び時刻に対応する推算水深値が危険値に相当している場合に、警報を発し、推算水深値を示す位置が識別されるようにも視覚化する海図情報処理方法が開示されている。
また、特許文献５には、センサ群、３次元視野取得部、異物識別部、異物データベース、解析部、深層学習部、学習部、通信部を有し、船舶の移動経路における異物を探知し、識別し、センサデータを収集し解析した結果を利用して、船舶の衝突回避を支援する衝突回避支援システムが開示されている。

10

20

30

40

50

(5)

JP 2021-18484 A 2021.2.15【先行技術文献】【特許文献】【０００４】【特許文献１】特開２０１８−３６９５８号公報【特許文献２】特開２０１０−２３７７５５号公報【特許文献３】特開２０１７−１８２７２９号公報【特許文献４】特開２００７−５０７５９号公報【特許文献５】特許第６２９３９６０号公報【発明の概要】【発明が解決しようとする課題】【０００５】
特許文献１〜特許文献５は、周辺船舶の数が増減した場合に衝突危険性の程度を適切に表現しようとするものではない。また、衝突危険性の程度を用いて避航動作の機械学習を行うものでもない。
そこで本発明は、自船周辺に存在する他船等の避航対象物の数が増減する場合であっても衝突危険性の程度を適切に表現でき、また、その結果を用いて機械学習により避航動作を学習することができる周辺状態表現方法、避航動作学習プログラム、避航動作学習シス
テム、及び船舶を提供することを目的とする。
【課題を解決するための手段】【０００６】
請求項１記載に対応した周辺状態表現方法においては、自船を含む任意の領域をグリッド状に分割し、自船の位置と速度ベクトルと他船を含む避航対象物の位置と速度ベクトルの情報から自船との衝突予測位置と衝突危険度を計算する衝突危険性計算過程と、グリッド状に分割されたセルについてセル中における衝突予測位置の有無および／または衝突危険度に応じてセルの衝突危険性の程度を表す指標を少なくとも１つ割り当てる指標割り当て過程を備えたことを特徴とする。
請求項１に記載の本発明によれば、グリッド状に分割した自船を含む任意の領域を仮想センサーとして、避航対象物との衝突危険性を各セルにおいて表現することができる。また、避航対象物の数が増減する場合であっても、複数の避航対象物の動的情報を同時に検知して制御入力として利用しやすい形に変換することができる。
【０００７】
請求項２記載の本発明は、自船を中心とした任意の円形の領域をグリッド状に分割することを特徴とする。
請求項２に記載の本発明によれば、どの方位においても自船から領域の端までの距離は同じとなり、各方位において満遍なくセルに指標を割り当てることができる。
【０００８】
請求項３記載の本発明は、自船を含む任意の形状の領域をグリッド状に分割することを特徴とする。
請求項３に記載の本発明によれば、任意の形状の領域を仮想センサーとして、避航対象物との衝突危険性を各セルにおいて表現することができる。また、自船の位置も領域内の任意の位置に設定すること、グリッドの疎密を任意に設定すること等もできる。
【０００９】
請 求 項 ４ 記 載 の 本 発 明 は 、 領 域 中 に 存 在 す る 避 航 対 象 物 が Ａ Ｉ Ｓ (自 動 船 舶 識 別 装 置 )を搭載している場合、避航対象物のＡＩＳ情報を受信し、ＡＩＳ情報に基づき避航対象物の位置と速度ベクトルを定めることを特徴とする。
請求項４に記載の本発明によれば、避航対象物がＡＩＳを搭載している場合に避航対象物の情報を、ＡＩＳ情報を利用して確実に取得することができる。
【００１０】
請求項５記載の本発明は、衝突危険性計算過程において、自船と避航対象物によるＯＺ
Ｔ（航行妨害ゾーン）を計算し、計算されたＯＺＴを衝突予測位置とすることを特徴とす

10

20

30

40

50

(6)

JP 2021-18484 A 2021.2.15

る。
請求項５に記載の本発明によれば、自船と避航対象物の動的情報をもとに将来衝突する
危険のある箇所を計算し、衝突危険性の評価を簡潔に行うことができる。
【００１１】
請求項６記載の本発明は、指標割り当て過程において、セル中に衝突予測位置が含まれる場合はセルの指標としてｎ次元実数値ベクトルを、含まれない場合はｎ次元ゼロベクト
ルを割り当てることを特徴とする。
請求項６に記載の本発明によれば、ｎ次元のベクトルで衝突危険性の程度を表す指標を適切に表現することができる。
【００１２】
請求項７記載の本発明は、セル中に衝突予測位置が含まれる場合はセルの指標を１とし、含まれない場合は０とすることを特徴とする。
請求項７に記載の本発明によれば、衝突危険性の程度を表す指標を簡便に表現することができる。
【００１３】
請求項８記載に対応した避航動作学習プログラムは、コンピュータに、周辺状態表現方法における衝突危険性計算過程と指標割り当て過程を実行させ、その結果に基づき、自船の避航対象物に対する避航動作を機械学習により学習させる避航動作学習過程を実行させることを特徴とする。
請求項８に記載の本発明によれば、避航動作を学習させることにより、適切な避航動作
結果を得ることができる。
【００１４】
請求項９記載の本発明は、避航動作学習過程において、自船が事前に指定されたウェイ
ポイントを目標とするように条件づけられた避航動作を機械学習により学習させることを特徴とする。
請求項９に記載の本発明によれば、単に衝突を回避するだけでなく、ウェイポイントへの針路も考慮した避航動作結果を得ることができる。
【００１５】
請求項１０記載に対応した避航動作学習システムは、自船を含む任意の領域をグリッド状に分割するグリッド生成手段と、自船の位置と速度ベクトルと、避航対象物の位置と速度ベクトルを取得する位置・速度情報取得手段と、自船の位置と速度ベクトルと避航対象物の位置と速度ベクトルの情報から自船との衝突予測位置と衝突危険度を計算する衝突危険性計算手段と、グリッド状に分割されたセルについてセル中における衝突予測位置の有無および／または衝突危険度に応じてセルの衝突危険性の程度を表す指標を少なくとも１つ割り当てる指標割り当て手段と、指標割り当て手段の実行した割り当て結果に基づき、自船の避航対象物に対する避航動作を機械学習により学習させる避航学習手段とを備えたことを特徴とする。
請求項１０に記載の本発明によれば、避航対象物の数が増減する場合であっても、グリッド状に分割した自船を含む任意の領域を仮想センサーとして用い、機械学習に利用しや
すい形で複数の避航対象物の動的情報を同時に検知して、より適切な避航動作を学習することができる。
【００１６】
請求項１１記載の本発明は、グリッド生成手段が、自船を中心とした任意の円形の領域
をグリッド状に分割することを特徴とする。
請求項１１に記載の本発明によれば、どの方位においても自船から領域の端までの距離は同じとなり、各方位において満遍なくセルに指標を割り当てることができる。
【００１７】
請求項１２記載の本発明は、グリッド生成手段が、自船を含む任意の形状の領域をグリッド状に分割することを特徴とする。
請求項１２に記載の本発明によれば、任意の形状の領域を仮想センサーとして、避航対

10

20

30

40

50

(7)

JP 2021-18484 A 2021.2.15

象物との衝突危険性を各セルにおいて表現することができる。また、自船の位置も領域内の任意の位置に設定すること、グリッドの疎密を任意に設定すること等もできる。
【００１８】
請求項１３記載の本発明は、位置・速度情報取得手段が、受信した避航対象物のＡＩＳ(自 動 船 舶 識 別 装 置 )情 報 に 基 づ い て 領 域 中 に 存 在 す る 避 航 対 象 物 の 位 置 と 速 度 ベ ク ト ル を取得することを特徴とする。
請求項１３に記載の本発明によれば、避航対象物がＡＩＳを搭載している場合に避航対
象物の情報を、ＡＩＳ情報を利用して確実に取得することができる。
【００１９】
請求項１４記載の本発明は、衝突危険性計算手段が、ＡＩＳで取得された避航対象物の位置と速度ベクトルから自船と避航対象物によるＯＺＴ（航行妨害ゾーン）を計算し、計算されたＯＺＴを衝突予測位置とすることを特徴とする。
請求項１４に記載の本発明によれば、自船と避航対象物の動的情報をもとに将来衝突す
る危険のある箇所を計算し、衝突危険性の評価を簡潔に行うことができる。
【００２０】
請求項１５記載の本発明は、指標割り当て手段が、セル中に衝突予測位置が含まれる場
合はセルの指標としてｎ次元実数値ベクトルを、含まれない場合はｎ次元ゼロベクトルを割り当てることを特徴とする。
請求項１５に記載の本発明によれば、ｎ次元のベクトルで衝突危険性の程度を表す指標
を適切に表現することができる。
【００２１】
請求項１６記載の本発明は、指標割り当て手段が、セル中に衝突予測位置が含まれる場
合はセルの指標を１とし、含まれない場合は０とすることを特徴とする。
請求項１６に記載の本発明によれば、衝突危険性の程度を表す指標を簡便に表現することができる。
【００２２】
請求項１７記載の本発明は、避航動作学習手段が、自船が事前に指定されたウェイポイ
ントを目標とするように条件づけられた避航動作を機械学習により学習することを特徴とする。
請求項１７に記載の本発明によれば、単に衝突を回避するだけでなく、ウェイポイント
への針路も考慮した避航動作結果を得ることができる。
【００２３】
請求項１８記載の本発明は、指標割り当て手段の割り当て結果及び／又は避航学習手段の学習結果を表示する表示手段をさらに備えたことを特徴とする。
請求項１８に記載の本発明によれば、割り当て結果や学習結果を表示手段により視認することができる。
【００２４】
請求項１９記載に対応した船舶は、避航動作学習システムにより学習された学習済モデ
ルの避航動作に従って操船する操船手段を備えたことを特徴とする。
請求項１９に記載の本発明によれば、操船手段は、学習手段の学習結果としての学習済
モデルを用いてリアルタイムのシミュレーションを行い、シミュレーションの結果導出した避航動作に従って自船を操船することができる。
【００２５】
請求項２０記載に対応した船舶は、避航動作学習プログラムにより学習された学習済モ
デルの避航動作に従って操船することを特徴とする。
請求項２０に記載の本発明によれば、コンピュータの学習結果としての学習済モデルを用いてリアルタイムのシミュレーションを行い、シミュレーションの結果導出した避航動
作に従って自船を操船することができる。
【発明の効果】【００２６】

10

20

30

40

50

(8)

JP 2021-18484 A 2021.2.15

本発明の周辺状態表現方法によれば、グリッド状に分割した自船を含む任意の領域を仮想センサーとして、避航対象物との衝突危険性を各セルにおいて表現することができる。
また、避航対象物の数が増減する場合であっても、複数の避航対象物の動的情報を同時に検知して制御入力として利用しやすい形に変換することができる。
【００２７】
また、自船を中心とした任意の円形の領域をグリッド状に分割する場合には、どの方位においても自船から領域の端までの距離は同じとなり、各方位において満遍なくセルに指標を割り当てることができる。
【００２８】
また、自船を含む任意の形状の領域をグリッド状に分割する場合には、任意の形状の領域を仮想センサーとして、避航対象物との衝突危険性を各セルにおいて表現することができる。また、自船の位置も領域内の任意の位置に設定すること、グリッドの疎密を任意に設定すること等もできる。
【００２９】ま た 、 領 域 中 に 存 在 す る 避 航 対 象 物 が Ａ Ｉ Ｓ (自 動 船 舶 識 別 装 置 ) を 搭 載 し て い る 場 合、避航対象物のＡＩＳ情報を受信し、ＡＩＳ情報に基づき避航対象物の位置と速度ベクトルを定める場合には、避航対象物がＡＩＳを搭載している場合に避航対象物の情報を、Ａ
ＩＳ情報を利用して確実に取得することができる。
【００３０】
また、衝突危険性計算過程において、自船と避航対象物によるＯＺＴ（航行妨害ゾーン）を計算し、計算されたＯＺＴを衝突予測位置とする場合には、自船と避航対象物の動的情報をもとに将来衝突する危険のある箇所を計算し、衝突危険性の評価を簡潔に行うことができる。
【００３１】
また、指標割り当て過程において、セル中に衝突予測位置が含まれる場合はセルの指標
としてｎ次元実数値ベクトルを、含まれない場合はｎ次元ゼロベクトルを割り当てる場合には、ｎ次元のベクトルで衝突危険性の程度を表す指標を適切に表現することができる。
【００３２】
また、セル中に衝突予測位置が含まれる場合はセルの指標を１とし、含まれない場合は０とする場合には、衝突危険性の程度を表す指標を簡便に表現することができる。
【００３３】
また、本発明の避航動作学習プログラムによれば、避航動作を学習させることにより、適切な避航動作結果を得ることができる。
【００３４】
また、避航動作学習過程において、自船が事前に指定されたウェイポイントを目標とす
るように条件づけられた避航動作を機械学習により学習させる場合には、単に衝突を回避するだけでなく、ウェイポイントへの針路も考慮した避航動作結果を得ることができる。
【００３５】
また、本発明の避航動作学習システムによれば、避航対象物の数が増減する場合であっても、グリッド状に分割した自船を含む任意の領域を仮想センサーとして用い、機械学習に利用しやすい形で複数の避航対象物の動的情報を同時に検知して、より適切な避航動作を学習することができる。
【００３６】
また、グリッド生成手段が、自船を中心とした任意の円形の領域をグリッド状に分割する場合には、どの方位においても自船から領域の端までの距離は同じとなり、各方位において満遍なくセルに指標を割り当てることができる。
【００３７】
また、グリッド生成手段が、自船を含む任意の形状の領域をグリッド状に分割する場合には、任意の形状の領域を仮想センサーとして、避航対象物との衝突危険性を各セルにおいて表現することができる。また、自船の位置も領域内の任意の位置に設定すること、グ

10

20

30

40

50

(9)

JP 2021-18484 A 2021.2.15

リッドの疎密を任意に設定すること等もできる。
【００３８】ま た 、 位 置 ・ 速 度 情 報 取 得 手 段 が 、 受 信 し た 避 航 対 象 物 の Ａ Ｉ Ｓ (自 動 船 舶 識 別 装 置 )情報に基づいて領域中に存在する避航対象物の位置と速度ベクトルを取得する場合には、避航対象物がＡＩＳを搭載している場合に避航対象物の情報を、ＡＩＳ情報を利用して確実に取得することができる。
【００３９】
また、衝突危険性計算手段が、ＡＩＳで取得された避航対象物の位置と速度ベクトルから自船と避航対象物によるＯＺＴ（航行妨害ゾーン）を計算し、計算されたＯＺＴを衝突予測位置とする場合には、自船と避航対象物の動的情報をもとに将来衝突する危険のある箇所を計算し、衝突危険性の評価を簡潔に行うことができる。
【００４０】
また、指標割り当て手段が、セル中に衝突予測位置が含まれる場合はセルの指標としてｎ次元実数値ベクトルを、含まれない場合はｎ次元ゼロベクトルを割り当てる場合には、ｎ次元のベクトルで衝突危険性の程度を表す指標を適切に表現することができる。
【００４１】
また、指標割り当て手段が、セル中に衝突予測位置が含まれる場合はセルの指標を１とし、含まれない場合は０とする場合には、衝突危険性の程度を表す指標を簡便に表現することができる。
【００４２】
また、避航動作学習手段が、自船が事前に指定されたウェイポイントを目標とするように条件づけられた避航動作を機械学習により学習する場合には、単に衝突を回避するだけ
でなく、ウェイポイントへの針路も考慮した避航動作結果を得ることができる。
【００４３】
また、指標割り当て手段の割り当て結果及び／又は避航学習手段の学習結果を表示する
表示手段をさらに備えた場合には、割り当て結果や学習結果を表示手段により視認することができる。
【００４４】
また、本発明の船舶によれば、操船手段は、学習手段の学習結果としての学習済モデル
を用いてリアルタイムのシミュレーションを行い、シミュレーションの結果導出した避航動作に従って自船を操船することができる。
【００４５】
また、本発明の船舶によれば、コンピュータの学習結果としての学習済モデルを用いてリアルタイムのシミュレーションを行い、シミュレーションの結果導出した避航動作に従って自船を操船することができる。
【図面の簡単な説明】【００４６】【図１】本発明の実施形態による避航動作学習システムの構成図【図２】同避航動作学習システムを有するサーバと、避航動作推論システムを有するコンピュータとを備えた避航システムの構成図【図３】同ＯＺＴの説明図【図４】同グリッド状に分割された領域を利用したＯＺＴの検知を示す図【図５】同強化学習のフレームワークを示す図【図６】同船体運動の座標系を示す図【図７】今津問題に用意されている見合い関係を示す図【図８】同問題の初期状態を示す図【図９】同問題の学習した結果としての航跡を示す図【発明を実施するための形態】【００４７】
以下、本発明の実施形態による周辺状態表現方法、避航動作学習プログラム、避航動作

10

20

30

40

50

(10)

JP 2021-18484 A 2021.2.15

学習システム、及び船舶について説明する。
【００４８】
図１は本実施形態による避航動作学習システムの構成図である。避航動作学習システム
Ｘは、サーバやコンピュータを用いて構成され、避航動作学習プログラムを実行する。
避航動作学習システムＸは、自船が他船や浅瀬、ブイ、流氷等の避航対象物を避けて航行する避航操船を機械学習により学習する。避航動作学習システムＸは、船舶に搭載して実際の運航データから避航操船を学習することも、陸上施設に設置してシミュレーション
により避航操船を学習することもできる。
避航動作学習システムＸは、グリッド生成手段１０と、位置・速度情報取得手段２０と、衝突危険性計算手段３０と、指標割り当て手段４０と、避航学習手段５０と、表示手段
６０を備える。
【００４９】
グリッド生成手段１０は、自船を含む任意の領域をグリッド状に分割する。領域は水面上の２次元領域である。領域の大きさは、自船に搭載されている位置・速度情報取得手段
２０の性能や、自船の操縦運動特性等に基づいて定める。
【００５０】
位置・速度情報取得手段２０は、自船の位置及び速度ベクトルと、避航対象物の位置及び速度ベクトルを取得する。
位 置 ・ 速 度 情 報 取 得 手 段 ２ ０ は 、 自 船 の 位 置 及 び 速 度 ベ ク ト ル を 、 Ｇ Ｎ Ｓ Ｓ （ Global N
avigation Satellite System： 全 球 測 位 衛 星 シ ス テ ム ） 等 の 測 位 装 置 や 船 速 計 か ら 取 得 する。
ま た 、 位 置 ・ 速 度 情 報 取 得 手 段 ２ ０ は 、 避 航 対 象 物 が Ａ Ｉ Ｓ （ Automatic Identificati
on System： 船 舶 自 動 識 別 装 置 ） を 搭 載 し て い る 場 合 、 避 航 対 象 物 の Ａ Ｉ Ｓ 情 報 を 受 信 し、ＡＩＳ情報に基づき避航対象物の位置と速度ベクトルを定める。これにより、避航対象
物がＡＩＳを搭載している場合に避航対象物の情報を、ＡＩＳ情報を利用して確実に取得することができる。なお、位置・速度情報取得手段２０は、航行制限区域や浅瀬等の情報を有する電子海図等の地理情報、又はレーダ、赤外線、ＬｉＤＡＲ等から避航対象物の情報を取得することもできる。他船がＡＩＳ非搭載船の場合、位置・速度情報取得手段２０
は、レーダ等で計測した他船の位置の時系列データから他船の速度ベクトルを求めることができる。
また、位置・速度情報取得手段２０が取得する避航対象物の位置及び速度ベクトルは、自船に対する相対位置及び相対速度ベクトルであることが望ましいため、位置・速度情報
取得手段２０は、取得した情報が避航対象物の絶対位置及び対地速度ベクトルである場合にその取得した情報から自船に対する相対位置及び相対速度ベクトルを算出する演算部を備えることが好ましい。
【００５１】
衝突危険性計算手段３０は、位置・速度情報取得手段２０が取得した、自船の位置及び速度ベクトルと、避航対象物の位置及び速度ベクトルの情報から、自船と避航対象物との衝突予測位置及び衝突危険度を計算する（衝突危険性計算過程）。
なお、衝突予測位置には、２次元上における一点だけでなく、ある程度の広がりを持った位置（衝突予測範囲）も含む。
【００５２】
指標割り当て手段４０は、グリッド状に分割された領域の各セルについて、セル中における衝突予測位置の有無及び衝突危険度の少なくとも一方に応じて、セルの衝突危険性の程度を表す指標を少なくとも１つ割り当てる（指標割り当て過程）。これにより、自船と避航対象物との衝突危険性を各セルにおいて表現することができる。
【００５３】
避航学習手段５０は、指標割り当て手段４０の実行した割り当て結果に基づき、自船の避航対象物に対する避航動作を機械学習により学習する（避航動作学習過程）。避航学習
手段５０は、既に取得した船舶の避航動作のデータを用いて強化学習を行い学習済モデル

10

20

30

40

50

(11)

JP 2021-18484 A 2021.2.15を生成する。具体的には、行動の価値の推定と行動の設定を行なう行動設定機能、行動に基づいて避航動作に対する避航経路と報酬（例えば、ウェイポイントとの差分）を避航動
作のデータを取得して演算する避航動作演算機能、避航経路と報酬の結果からエージェン
トを学習する学習機能、更新用の学習済モデルを評価して出力する評価・出力機能等を備える。避航動作を学習させることにより、適切な避航動作結果を得ることができる。
このとき避航学習手段５０は、自船が事前に指定されたウェイポイント（ＷＰ）を目標とするように条件づけられた避航動作を機械学習により学習することが好ましい。これにより、単に衝突を回避するだけでなく、ウェイポイントへの針路も考慮した避航動作結果を得ることができる。
【００５４】
表示手段６０は、指標割り当て手段４０の割り当て結果、及び避航学習手段５０の学習
結果の少なくとも一方を表示する。これにより、割り当て結果や学習結果を視認することができる。
【００５５】
図２は避航動作学習システムを有するサーバと、避航動作推論システムを有するコンピュータとを備えた避航システムの構成図である。例えば、サーバＸ１は陸上に設置され、コンピュータＹ１は自船（船舶）に搭載される。
サーバＸ１は、避航動作学習システムＸと、避航動作学習システムＸの避航学習手段５０が機械学習により学習した避航動作を学習済モデルとして出力する学習済モデル出力手段７０を備える。なお、学習済モデルには、グリッド生成手段１０が生成した、グリッド状に分割された自船を含む任意の領域の情報も含まれる。出力された学習済モデルは、コンピュータＹ１の学習済モデル読込部（図示無し）を介して自船（船舶）に搭載された避航動作推論システムＹに入力される。
コンピュータＹ１は、推論位置・速度情報取得手段８０と、推論衝突危険性計算手段９０と、推論指標割り当て手段１００と、学習済モデル１１０と、推論表示手段１２０と、結果出力手段１３０を備える。避航動作推論システムＹは、推論衝突危険性計算手段９０、推論指標割り当て手段１００、及び学習済モデル１１０で構成される。
推論位置・速度情報取得手段８０は、位置・速度情報取得手段２０と同様に、自船の位置、速度ベクトル、及びウェイポイントと、避航対象物の位置及び速度ベクトルを取得する。この場合、避航対象物である他船は、複数であってもよい。
推論衝突危険性計算手段９０は、衝突危険性計算手段３０と同様に、推論位置・速度情報取得手段８０が取得した、自船の位置及び速度ベクトルと、避航対象物の位置及び速度ベクトルの情報から、自船と避航対象物との衝突予測位置及び衝突危険度を計算する。
推論指標割り当て手段１００は、指標割り当て手段４０と同様に、グリッド状に分割された領域の各セルについて、セル中における衝突予測位置の有無及び衝突危険度の少なくとも一方に応じて、セルの衝突危険性の程度を表す指標を少なくとも１つ割り当てる。
学習済モデル１１０は、学習済モデル出力手段７０から出力された学習済モデルを学習
済モデル読込部を介して読み込んだものである。これにより学習済モデルが避航動作推論
システムＹにコピーされる。なお、学習済モデル１１０は、前記した避航学習手段５０と同様の行動設定機能、避航動作演算機能等を有する。
避航動作推論システムＹは、入力された学習済モデル１１０を用いてウェイポイントも考慮してリアルタイムのシミュレーションを行い、シミュレーションの結果として避航動作を導出する。導出された避航動作は、推論表示手段１２０に表示されるとともに、結果
出力手段１３０から自船の自律航行システム（図示せず）へ送信される。なお、推論表示
手段１２０には、推論指標割り当て手段１００の指標割り当て結果も表示させることができる。
自律航行システムは、この避航動作の導出結果に従って操船手段１４０を制御し自船を操船する。また、導出された避航動作を出力手段１３０から避航動作学習システムＸへ送信し、避航動作学習システムＸにおいて、逆強化学習や模倣学習等を行わせてもよい。この際、学習済モデルを評価して今迄の学習済モデルよりも高い報酬が得られるか否かを評

10

20

30

40

50

(12)

JP 2021-18484 A 2021.2.15

価・出力機能で評価して更新用学習済モデルとして出力する。
なお、避航動作学習システムＸは、自律船に用いられる自律航行システムとして利用されるが、この自律航行システムは、衝突予防、座礁予防、自動離着桟、自動係船等の機能を有するシステムであり、避航動作推論システムＹは、衝突予防機能、座礁予防機能の一部を構成する。また、操船手段１４０は、舵、オートパイロット等の船アクチュエータである。
【００５６】
なお、図２では、陸上のサーバＸ１に避航動作学習システムＸを設けて学習済モデルを導出し、船上のコンピュータＹ１に避航動作推論システムＹを設けてリアルタイムで避航動作を導出する例を示したが、避航動作学習システムＸと避航動作推論システムＹを同一のコンピュータ又はサーバを用いて構成することもできる。但し、少なくとも学習済モデ
ル１１０を用いてリアルタイムでシミュレーションを行なう避航動作推論システムＹは、自船に搭載することが好ましい。
また、学習済モデルを導出する避航動作学習システムＸにおける避航動作の学習は、過去の様々な避航動作のデータや、様々な見合い関係のデータに基づいて行ってもよいし、
さらに、リアルタイムのシミュレーション結果や人の操船結果を評価して利用し学習済モ
デルを更新してもよい。また、自船においては、少なくともリアルタイムでシミュレーシ
ョンした結果としての推論指標割り当て手段１００の割り当て結果も推論表示手段１２０で表示することが好ましい。
【００５７】
次に、図３及び図４を用いて周辺状態表現方法について説明する。図３はＯＺＴの説明図であり、図４はグリッド状に分割された領域を利用したＯＺＴの検知を示す図である。
なお、ここでの避航対象物は他船としている。
実 海 域 に お け る 避 航 操 船 で は 、 自 船 １ の 操 船 者 は 通 常 、 Ｄ Ｃ Ｐ Ａ （ Distance of Closest Point of Approach： 最 接 近 距 離 ） 、 や Ｔ Ｃ Ｐ Ａ （ Time of Closest Point of Approach：最接近点までの時間）を用いて現在の速力と針路から将来的に他船２とどの程度接近す
るのか、いつごろ最接近距離になるのかといったことを把握する。もしＤＣＰＡが十分に短ければ、操船者は他船２を避航するように操船する。
このようにＣＰＡにより得られる情報は避航操船を行う上で非常に有用なものであるが、ＣＰＡの値そのものは自船１が一体どの方位へ針路とれば安全になるかまでは示さない。したがって操船者は、十分な離隔距離が確保できるかを実際に自船１の針路を変えてみて逐一確かめる必要がある。これは、ＣＰＡを用いた自動避航操船アルゴリズムについても同様である。実際に衝突を避けるためには、将来的な他船２の相対的な運動状態や衝突の可能性などを予測し自船１の操船を行う必要がある。
そこで、こうした将来の状況を勘案した操船を行うため、衝突危険性計算手段３０（又は推論衝突危険性計算手段９０）は、ＡＩＳで取得された他船２の位置及び速度ベクトル
か ら 自 船 １ と 他 船 ２ に よ る Ｏ Ｚ Ｔ （ Obstacle Zone by Target： 航 行 妨 害 ゾ ー ン ） を 計 算
し、計算されたＯＺＴを衝突予測位置とすることが好ましい。ＯＺＴを用いることにより、自船１の位置、船速、針路といった動的情報と、他船２の位置、船速、方位といった動的情報をもとに将来衝突する危険のある箇所を計算し、交通流の衝突危険性の評価を簡潔に行うことができる。
ＯＺＴには、その計算や表現方法にいくつかのバリエーションが存在するが、本実施形
態では衝突針路を用いた計算法をベースにしている。ＯＺＴは、現在の位置、速力と針路で他船２が進むときに自船１と将来的に衝突する可能性のある範囲として表現される。
将 来 的 に 他 船 ２ と 自 船 １ が 衝 突 す る 恐 れ の あ る 自 船 １ の 衝 突 針 路 Ｃ Oは 下 式 （ １ ） に 従って求められる。

10

20

30

40

(13)

JP 2021-18484 A 2021.2.15

【数１】

−１

ここで、α＝ｓｉｎｒ／ｄであり、ｒは安全航過距離、ｄは自船１から他船２までの距離、Ｖ０及びＶＴはそれぞれ自船１と他船２の船速である。Ａｚは自船１から見た他
船２の位置の方位角であり、ＣＴは他船２の針路である。
【００５８】
こ れ に よ り 求 め ら れ た 最 大 ４ 個 の 衝 突 針 路 Ｃ Oの 組 を 用 い て 、 そ れ ぞ れ の 衝 突 針 路 を 取っ た 場 合 の Ｄ Ｃ Ｐ Ａ お よ び Ｔ Ｃ Ｐ Ａ は 、 Ｃ Oを 用 い て 下 式 （ ２ ） 及 び 下 式 （ ３ ） に よ り 求
められる。
【数２】

10

【数３】

ここで、ＣＲ及びＶＲは、それぞれ自船１から見た他船２の相対針路と相対速度である。このＴＣＰＡをもとに、図３に示すように、他船２の針路上に線分から半径が安全航過距離となる角丸長方形を描くことができ、この角丸長方形で囲まれた範囲がＯＺＴとなる。
このように、本実施形態では、自船１の周辺に存在する他船２の情報を処理するために
ＯＺＴを用いている。
【００５９】
強化学習を始めとする多くの制御理論においては事前に入力ベクトルの次元数が決定されている必要があり、学習から検証の全過程においてその次元数を変えることはできない。しかし、実際には他船２の隻数や他船２が発生させるＯＺＴの数は一定ではないので、ＯＺＴの数が変わっても固定次元のベクトルで表現可能な検知手法を必要とする。
そこで、避航動作学習システムＸでは、衝突危険性計算手段３０が求めたＯＺＴをグリッド生成手段１０によってグリッド状に分割された自船１を含む任意の領域（グリッドセンサー）１５０により検知し、制御入力として利用しやすい形に変換する。領域１５０におけるセルの数は一定なので、検知する他船２の数が増減しても固定次元のベクトル一つで表現できる。なお、これは避航動作推論システムＹにおいても同様である。
グリッド生成手段１０は、図４に示すように、自船１を含む任意の領域１５０をグリッド状に分割することにより、自船１の周囲に仮想センサーであるグリッドセンサーを張り巡らせる。本実施形態では、グリッド生成手段１０が自船１を中心とした任意の円形の領域１５０をグリッド状に分割している。これにより、どの方位においても自船１から領域の端までの距離は同じとなり、各方位において満遍なくセル１５１に指標を割り当てることができる。領域１５０の大きさは、例えば、自船１に搭載されたＡＩＳの電波が届く距
離が約１２ＮＭ（海里）であることから、その半分の６ＮＭなどとする。
グリッド状に分割された領域１５０は、角度方向と動径方向を分割された同心円グリッドで構成されており、分割されたそれぞれのセル１５１毎にＯＺＴとの重なりを判定することで仮想センサーとしてＯＺＴの検知を行う。
なお、グリッド生成手段１０は、自船１を含む任意の形状の領域をグリッド状に分割し、任意の形状のグリッドセンサーによりＯＺＴの検知を行うこともできる。任意の形状と

30

40

50

(14)

JP 2021-18484 A 2021.2.15

は、多角形、楕円形、円形、半円形等である。また、グリッドは等間隔に限らず必要に応じて疎密があってもよく、例えば自船１の進行方向にその他の方向よりも広い領域又は密な領域を設定するなど、非対称形とすることもできる。また、自船１の位置を領域内の任意の位置に設定することもできる。
【００６０】
指標割り当て手段４０（又は推論指標割り当て手段１００）は、ＯＺＴと一部でも重なったセル１５１はセル１５１中に衝突予測位置が含まれると判断してセル１５１の指標を１とし、それ以外のセル１５１はセル１５１中に衝突予測位置が含まれないと判断してセ
ル１５１の指標を０（ゼロ）とする。これにより、全体としてセル１５１と同数の成分を持つ一つのベクトルとして表現される。セル１５１の指標を０又は１とすることで、衝突危険性の程度を表す指標を簡便に表現することができる。
このように、避航動作学習システムＸは、グリッド状に分割した自船１を含む任意の領域１５０を仮想センサーとして、他船２等の避航対象物との衝突危険性を各セル１５１において表現することができる。なお、これは避航動作推論システムＹにおいても同様である。
また、指標割り当て手段４０（又は推論指標割り当て手段１００）は、衝突危険性計算
手段３０が算出した衝突危険度が所定の閾値を超える場合はセル１５１の指標を１とし、それ以外のセル１５１の指標を０とすることもできる。
また、指標割り当て手段４０（又は推論指標割り当て手段１００）は、セル１５１中に衝突予測位置が含まれる場合はセル１５１の指標としてｎ次元実数値ベクトルを割り当て、セル１５１中に衝突予測位置が含まれない場合はセル１５１の指標としてｎ次元ゼロベ
クトルを割り当てることもできる。この場合は、ＯＺＴの位置だけでなく、他船２が複数存在することによるＯＺＴの重なりや、自船１との相対速度や相対針路、ＴＣＰＡやＤＣ
ＰＡ等についての評価指標を合わせて表現するため、各セル１５１に対して任意の次元の実数値ベクトルを当てはめる。これにより、ｎ次元のベクトルで衝突危険性の程度を表す
指標を適切に表現することができ、ＯＺＴの重なりがある場合は、他船２が避航する可能性が高いためＯＺＴから自船１をより離した方がよい等、より適切な避航動作を学習させることができる。なお、各セル１５１のベクトルの次元は、スカラー値の場合はｎ＝１となる。
また、指標割り当て手段４０（又は推論指標割り当て手段１００）は、衝突危険度をｎ次元実数値ベクトルで表現する場合、ＯＺＴと一部でも重なった各セル１５１に対してｎ次元実数値ベクトルを、それ以外の各セル１５１に対してｎ次元のゼロベクトルを割り当てる。これにより、結果的に領域（グリッドセンサー）１５０の次元×ｎ次元の衝突危険度の表現ベクトルのような入力となる。
なお、指標割り当て手段４０（又は推論指標割り当て手段１００）がセル１５１に割り当てる指標は、数値の他、アルファベットや記号で表現することも可能である。
なお、衝突危険性計算手段３０（又は推論衝突危険性計算手段９０）がＯＺＴを用いずに自船１と他船２との衝突予測位置及び衝突危険度を計算する場合は、指標割り当て手段
４０（又は推論指標割り当て手段１００）は、例えば「ＤＣＰＡが小さいほど」、又は「
ＴＣＰＡが短いほど」、より大きな危険度の数値を指標としてセル１５１に割り当てるよ
うにすることができる。
【００６１】
図４においては、グリッド状に分割された領域１５０の中央に位置し図の上側に向かって航行する自船１と、図の右上から斜め下方へ向けて航行する他船２を示している。なお、図４において他船２はグリッド状に分割された領域（グリッドセンサー）１５０の範囲外に位置しているが、他船２は領域１５０内に位置することもある。
他船２の針路の先にある点線で囲まれた範囲がＯＺＴである。グリッド状に分割された
領域１５０のうち色が付されたセル１５１が、領域１５０とＯＺＴとが重なったセル１５１である。このようにして避航動作学習システムＸ（又は避航動作推論システムＹ）は、
ＯＺＴの情報を一つの固定次元ベクトルとして認識する。なお、同様の方法で、陸地や水

10

20

30

40

50

(15)

JP 2021-18484 A 2021.2.15

深の関係で航行が制限される区域やブイなどの障害物といった類の操船判断に影響を及ぼす避航対象物も、二次元の図形として専有領域を表現できるものを処理できる。
【００６２】
グリッド状に分割された領域（グリッドセンサー）１５０は、自船１を中心にその大きさが固定され、自船１の航行に伴って移動する。よってＯＺＴの情報は自船１に対して相対的なものとなる。領域が水域をグリッド状に固定的に分割したもの（領域が自船の航行に伴って移動しない）である場合には、最初の目的地に到達し次の目的地に向かう際には改めて水域をグリッド状に固定的に分割する必要があるが、本実施形態のように領域１５０を自船１の航行に付随して移動させることで、新たな航海を行う際に改めて領域１５０を設定する手間を省くことができる。
また、画像のように２次元の配列に整形することで、畳込み層などを持つニューラルネ
ットを通して２次元的な特徴量を抽出することも可能であり、より本質的な衝突危険箇所の表現を得ることができる。
【００６３】
次に、避航学習手段５０における機械学習について説明する。
避航学習手段５０の機械学習には、例えば深層強化学習を用いることができる。深層強化学習は、強化学習と深層学習を組み合わせた機械学習の一手法である。
図５は強化学習のフレームワークを示す図である。強化学習では、学習エージェント（
自 船 １ ） が 、 取 り 巻 く 環 境 の 状 態 s（ 他 船 ２ の 動 向 や 次 に 向 か う ウ ェ イ ポ イ ン ト 等 ） を 把
握 、 検 知 し 、 そ の 条 件 で 取 る べ き 行 動 a（ 指 示 舵 角 ） を シ ミ ュ レ ー シ ョ ン 又 は 現 実 世 界 を通して学習する。
目標を達成（他船２と衝突せず、次のウェイポイントへ到達）した際に学習エージェン
トが得られる報酬ｒの設計を適切に行えば、プログラムが自動的に方策π（状態とその状態でとるべき行動）を構築することが可能となる。
【００６４】
深層強化学習は数多くの手法が提案されているが、複数の手法を試行した結果、学習の安 定 性 が 高 か っ た Ｐ Ｐ Ｏ ： Proximal Policy Optimization Algorithms（ Schulman, J., W
olski, F., Dhariwal, P., Radford, A., and Oleg Klimov:Proximal Policy Optimizati
on Algorithms, arXiv:1707.06347v2, (2017).） を 、 避 航 操 船 ア ル ゴ リ ズ ム と し て 応 用 することが好ましい。
【００６５】
状態ｓは、グリッド状に分割された領域１５０の状態と、自船１の進路、回頭角速度、船速、舵角、さらに、ウェイポイントまでの進路、距離、ウェイポイントへの方位にセットしたオートパイロットの舵角値で表す。なお、他船２の動的情報はＯＺＴの検知結果のみから把握することにし、他船２の位置、方位、船速の情報は入力として使用しない。
報酬は、通常の行動に逐次加点される基礎点と、予め設定された基準を満たす際に得られる成果点（減点を含む）に分ける。基礎点は下式（４）〜（６）により定められる。下式（５）はウェイポイントへ近づく進路に寄せると多く加点されるものである。また、下式（６）は右側への変針・避航を促進するための加点である。
【数４】

【数５】

10

20

30

40

(16)

JP 2021-18484 A 2021.2.15【数６】

また、成果点は以下のように定められる。なお、成果点の付与とともにエピソードも終了する。ウェイポイント航行においては、指定されたウェイポイントの半径０．２ＮＭ以内に入ればタスク成功とし、衝突していなくとも制限時間以内にウェイポイントに到達しない場合は減点しエピソードを打ち切る。
（１）初期地点から−０．１ＮＭ（海里）以上南下、もしくは東西へ２．０ＮＭ以上逸れた場合に−５０（２）他船２との距離が、設定された安全航過距離である０．３ＮＭよりも短い場合に−５０（３）ウェイポイントへ到着した際に＋５０【００６６】
図６は船体運動の座標系を示す図である。
深層強化学習における船体運動モデルは、いわゆる野本の一次遅れの応答モデル（ＫＴモデル）を使用し、舵角の変化は指示舵角による一次遅れの形で計算した。これらを連立させたものが下式（７）であり、４次のルンゲクッタ法により積分計算を行う。
【数７】

10

ここで、ψは方位角、ｒは回頭角速度、δは舵角でδｃは指示舵角を表す。ＴとＴＥはそれぞれ方位角と舵角の変化に対する時定数であり、Ｋは操舵量に対するゲインである。
【００６７】
避航学習手段５０における深層強化学習の例として、いわゆる今津問題を対象とした深層強化学習を実施した。図７は今津問題に用意されている見合い関係を示す図である。枠
内左上の数字が問題のケース番号を示す。２２ケースの問題は、どれも枠内の中央の地点に船舶が同時に到着するように、つまり衝突するように配置されている。問題には、行会
い、横切り、追い越しの１対１の基本的な見合い関係や、最大で４隻が絡む高難易度の見合い関係が含まれている。なお、他船２は一切の変針を行わないものとした。
深層強化学習の結果は、対象とした全パターンの問題で衝突せずにウェイポイントへ到
達する操船操作を学習することができた。その中で、極端に難易度の高い見合い関係であるケース番号１９番（４船の見合い）の初期状態と結果を図８、図９に示す。
図８は初期状態であり、自船１を挟むように両側の他船２Ａ、２Ｂが交差する進路を示している。これに対応して他船２ＡのＯＺＴと他船２ＢのＯＺＴが交差してウェイポイン
トへ向かう進路を塞いでおり、その交点に右舷前方から左舷に横切るもう一隻の他船２ＣのＯＺＴが重なっている。
図９は、学習した結果としての航跡を示す図である。右舷手前の横切り船である他船２ＣのＯＺＴが自船１から約２ＮＭの距離に侵入した時点で避航を開始し、初期状態で左舷にいた他船２Ａの後方を通る避航経路をとったことが分かる。
【産業上の利用可能性】【００６８】

30

20

40

50

(17)

JP 2021-18484 A 2021.2.15

本発明の周辺状態表現方法は、機械学習に限らず避航操船のための情報の前処理技術として種々の制御理論に汎用的に用いることができる。また、本発明の避航動作学習プログ
ラム及び避航動作学習システムは、船舶の自動避航操船制御を可能にするとともに、リア
ルタイムのシミュレーションから航海機器等の画面上に推薦針路を表示し航海支援に利用することもできる。特に、避航動作学習プログラム及び避航動作学習システムは、自律船の自律航行システムとして好適に用いられる。
【符号の説明】【００６９】
１ 自船
２ 他船（避航対象物）
１０ グリッド生成手段
２０ 位置・速度情報取得手段
３０ 衝突危険性計算手段
４０ 指標割り当て手段
５０ 避航学習手段
６０ 表示手段
１５０ 領域（グリッドセンサー）
１５１ セル
Ｘ 避航動作学習システム

10

20

【図１】

【図２】

(18)

【図３】

【図４】

【図５】

【図６】

JP 2021-18484 A 2021.2.15

(19)

【図７】

【図９】

【図８】

JP 2021-18484 A 2021.2.15

(20)JP 2021-18484 A 2021.2.15

̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶
フロントページの続き(72)発明者 澤田涼平

東京都三鷹市新川６丁目３８番１号
Ｆターム(参考) 5H181 AA25

BB04

LL08

LL09

BB20 CC02

国立研究開発法人
CC03

CC12

CC14

海上・港湾・航空技術研究所内
FF05

LL01

LL04