称号及び氏名

博士（工学）

学位授与の日付

2024 年 3 月 31 日

論「Captain-like Route Planning for Automatic Collision Avoidance文

名檜垣岳史and Berthing」（自律的な避航および着桟のための船長らしい航路計画の策定）

論文審査委員

主査

橋本博公

副査

片山徹

副査

中谷直樹

副査

牧敦生

論文要旨

今日，船舶の衝突事故の大部分はヒューマンエラーによって引き起こされている。加えて，船員の担い手不足や人件費の高騰は各国の抱える課題である。これらの課題解決には船舶運航の自律化が有効だが，自律運航船の実用化には，他船や障害物との衝突を自律的に回避する自動避航操船，および船舶を目標岸壁に着ける自動着桟操船の 2 つが肝要となる。これらはいずれも他船や岸壁との衝突リスクを伴い安全性に直結する重要なタスクであるため，自律システムによる操船が受け入れられるには，その行動が海技者にとって予測可能で信頼できるものでなければならない。しかしながら，海技者の感覚に即した自動避航操船および自動着桟操船を目的とした先行研究はほとんどなかった。そこで，本研究では逆強化学習および模倣学習を用いて熟練船長の操船行動を解明するとともに，船長らの感覚に基づく避航航路および着桟航路の生成手法を提案した。
自動避航操船の先行研究は，主にルールベースの手法と機械学習ベースの手法に大別できる。

前者は，衝突リスクを数学的あるいは幾何学的にモデル化して経路の探索や最適化を行うものであるが，これらの手法は一般にパラメータ依存性が高く，未知の状況において意図通りの挙動を示さない可能性が指摘されている。後者は，主に深層強化学習を用いて自律的な衝突回避行動を学習するものであり，学習時に経験しなかった状況への適用が期待されるほか，少なくとも単一のタスクに対しては人間以上の性能を発揮しうることが示されている。しかし，これらの先行研究を以てしても熟練船長らの感覚に即した自動避航操船は達成できていなかった。著者は，この根 本 的 な 原 因 が 海 上 交 通 ル ー ル (Convention on the International Regulations for Preventing
Collisions at Sea; COLREGs)の定式化の難しさにあると考えた。COLREGs は人間の操船者のために書かれており解釈の余地があるため，COLREGs を遵守させるための目的関数の設計が困難と言える。そこで，本研究では熟練船長らの避航操船を「正解」とみなすことで最適な目的関数が得られるはずだという着想のもと，熟練船長による避航操船データから最適報酬を導出し，海技者の感覚に即した避航操船の実現を目指した。
自動着桟操船の先行研究には，主に最適制御を用いたアプローチとニューラルネットワークを用いたアプローチがある。前者は制約条件のもと目的関数を最小化することで高度な制御が可能となるが，既存手法は計算コストが高くリアルタイムな制御が困難であり，一度計画航路から外れてしまうと復帰が難しいという課題を抱えていた。他方，後者は状況に応じた最適行動をあらかじめ学習しておくことでリアルタイム性を確保できるが，一般に，終端状態に拘束を課すことができない。着桟問題においては，終端状態，すなわち目標岸壁に接岸するときに衝突リスクが最も大きくなるため，本来ならば終端状態に明示的な拘束条件を課すべきである。そこで，本研
究では実時間と逆時間の双方向で着桟航路を生成し，それらを結合することで終端条件に弱い拘束を課す手法を考案した。さらに，提案手法は実際の商船の着桟データに基づいて模倣学習を行うことで着桟航路のリアルタイムな生成を可能とする。
本論文は第 1 章から第 5 章で構成される。
第 1 章では，自動避航操船および自動着桟操船の研究背景と課題を整理するとともに，本研究の位置付けと目的を示した。
第 2 章では，最大エントロピー逆強化学習 (maximum entropy inverse reinforcement learning;MaxEnt IRL)を用いて操船データから最適報酬を導出する手法を提案し，熟練船長の避航操船行動の解明と模倣に取り組んだ。まず，dangerous area of collision (DAC)と呼ばれる衝突危険領域を避けるような疑似航路を作成し，逆強化学習によってその航路から適切な報酬関数を導出できることを示した。次に，操船シミュレータを用いて熟練者による操船実験を実施し，その航路から報酬を導出することで熟練船長の操船の特徴を明らかにした。さらに，得られる報酬を最大化させるような経路探索によって適切な避航が可能となることを今津問題と呼ばれる避航シナリオを用いて確かめた。本章で提案した手法により，船長らが他船に対してどれくらい距離を保っているか，またどのような状況を好ましい，あるいは好ましくないと感じているかを可視化することに成功した。加えて，本手法で導出した報酬関数はこれまで定量化が困難であった要素，特にCOLREGs の遵守度といった感覚的な情報を定量化していると考えられる。ゆえに，本研究の発展として避航操船の評価や船員教育への応用も期待できる。
第 3 章では，敵対的生成模倣学習 (generative adversarial imitation learning; GAIL)を用いた人間らしい避航航路の作成手法を提案した。第 2 章の成果により熟練船長の感覚に即した避航航路の生成が可能となったが，その適用可能範囲は小規模で離散的な状態空間に限られるという課題があった。そこで，本研究では新たに GAIL を導入することで，熟練者の意思決定を模倣しつつ大規模・連続状態空間に適用可能な避航航路の生成手法（模倣航路プランナー）を提案した。まず，
proximal policy optimization (PPO)と呼ばれる深層強化学習手法を用いて避航操船の検証用デモデータを作成し，模倣航路プランナーがデモデータを精度良く再現できることを示した。次に，実験で得られた熟練船長の操船データに対する GAIL の適用可能性について検証し，状態空間の大規模・高次元化によって航路の模倣精度が改善されることを明らかにした。さらに，従来型の衝突危険度評価指標を用いて模倣航路プランナーの避航操船結果を比較検証し，研究当時最先端であった先行研究の操船 AI と比べてもより安全で効率的な避航操船が可能であることを示した。
本手法の発展により，あらゆる状況下において熟練の船長と同等の避航操船航路を生成することができれば，自動避航操船の実現に大きく近づくこととなる。
第 4 章では，実際の商船の着桟データに基づいて着桟航路をリアルタイムに生成する手法を提案した。まず，船舶自動識別装置 (automatic identification system; AIS)から得られた船舶の運航データを教師とし，タスク関連付き敵対的模倣学習(task-relevant adversarial imitation learning; TRAIL)を適用することで，実際の着桟航路を精度良く模倣できることを示した。次に，教師データとシミュレーションの時間軸を逆転させて模倣学習を行うことで，終端状態，すなわち接岸時における拘束条件を課すことを考案した。さらに，通常の時間軸（順時間）で得られる着桟航路と逆時間の着桟航路を分布化し結合することで，終端状態に疑似的な拘束を課しつつ船長らの感覚に即した着桟航路を生成できることを示した。本研究は，既往研究の課題として掲げられていたリアルタイム性と終端状態における拘束の双方を達成しうる有用なアプローチである。さらに，これまで実現が難しかった船長らしい着桟航路の再現に成功しており，自動着桟の実用化に向けて重要な役割を果たすものと言える。
第 5 章では，本研究で得られた成果を総括し，本論文の結論とした。

審査結果の要旨
本論文は，自律的な避航および着桟のための人間らしい航路計画の策定を目的として，船長の避航操船行動を解明するとともに，船長らの感覚に基づく避航航路および着桟航路の生成手法を提案したものであり，以下の成果を得ている。
（１）

最大エントロピー逆強化学習を用いて，実際の操船データから最適報酬を導出する手法を提案した。操船シミュレータを用いて熟練者による操船実験を実施し，その航路から報酬を導出することで，船長がどのような状況を好ましい／好ましくないと感じているかを可視化することに成功した。さらに，得られる報酬を最大化させる経路探索によって適切な避航が可能となることを確かめた。本手法で導出された報酬関数は，これまで困難であった船長らの操船感覚を定量化するものである。
（２）

熟練者の意思決定を模倣しつつ，大規模な連続状態空間にも適用が可能な敵対的生成模倣学習

を用いた避航航路の作成手法を提案した。検証用デモデータを作成し，模倣航路プランナーがデモデータを精度良く再現できることを示した。さらに，熟練船長の実際の操船データを用いた検証では，状態空間の大規模・高次元化によって航路の模倣精度が改善されることを明らかにした。また，研究当時最先端であった先行研究の操船 AI よりも安全で効率的な避航操船が可能であることを示した。
（３）

タスク関連付き敵対的模倣学習を適用し，人間らしい着桟航路をリアルタイムに生成する手法を提案した。船舶の実運航データを教師として，実際の着桟航路を精度よく模倣できることを示した。
また，教師データとシミュレーションの時間軸を逆転させて模倣学習を行うことで，終端状態すなわち接岸時における拘束条件を課すことを考案した。さらに，通常の時間軸（順時間）で得られる着桟航路と逆時間の着桟航路を分布化し結合することで，終端状態に疑似的な拘束を課しつつ船長らの感覚に即した着桟航路を生成可能とした。
これらの成果は，熟練船長の感覚を反映したうえでリアルタイムに航路を生成できることが大きな特徴である。いずれの提案手法についても，船長の操船データや実運航データを用いた検証を行っており，自律運航船の実用化に大きく寄与し，船舶海洋工学分野の学術的な発展に貢献するものと高く評価できる。また，申請者が自立して研究活動を行うのに必要な能力と学識を有することを証したものである。
学位論文審査委員会は，本論文の審査および最終試験の結果から，博士（工学）の学位を授与することを適当と認める。