学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

jh190061-NAH

海上輸送の革新に向けた自動操船用 AI の開発
橋本 博公（神戸大学）
概要
海上輸送の革新に向けて，国内外で船舶の自動運航技術の研究開発が進んでいる．本研究は，深層 Q 学習の応用により，衝突危険判断だけでなく回避行動までを行う自律操船用 AI の開発を試みた．相手船や航路など自船の周辺状況を認識させるため，自船を中心とするセルを作成し，各セル内の数値で状態を構成する手法を用いた．CNN の採用により，空間的情報が失われないことに加えて，水深や航路などの補助情報の入力までが可能となる．学習時には，相手船が存在しない海域から多数の船舶が行き交う輻輳海域までの様々な状況に対応可能とするため，相手船の隻数，位置，初期速度や方位をランダムに定めている．更に，深層学習におけるニューラルネットワークの重みの更新を加速するために GPU を使用し，1000 万ステップという膨大な学習回数の確保と，GPU スパコンを活用したハイパーパラメータの最適化を実施することで，危険回避と目的地到達を高度に両立する自動操船用 AI の開発を行った．

1. 共同研究に関する情報

おり，主要航路や港湾の輻輳化が指摘されて(1) 共同研究を実施した拠点名

いる．国内物流では，イーコマースの台頭に

東京工業大学学術国際情報センター

よって，陸上輸送は受入限界に達しており，(2) 共同研究分野

今後は海上輸送の拡大が不可避の状況であ■超大規模数値計算系応用分野

る．一方，わが国は超高齢化社会に突入しつ□

超大規模データ処理系応用分野

つあり，近い将来に船員数が逼迫する恐れが□超大容量ネットワーク技術分野ある．また，海難事故の多くは人為的要因に□超大規模情報システム関連研究分野よるものであり，機械の高度サポートによる(3) 参加研究者の役割分担海難事故の低減が求められている．

青木尊之（東京工業大学学術国際情報センター）

こうした背景のもと，船舶に対する自動TSUBAME3.0 での数値計算の検証とフィードバック化・省人化の要望が急速に拡大しており，欧藤井迪生（日本ナブトール）

州では自律運航船に関する大型プロジェク

操船シミュレータを利用した AI の定量的評価

トがいくつも実施され，法規制の問題も含め谷口裕樹（神戸大学大学院海事科学研究科）て活発な議論が進められている．国内では，GPU を用いた AI 開発のためのプログラミング

国土交通省海事局が，自動運航船の 2025 年

松本敦志（神戸大学大学院海事科学研究科）までの実用化を目指すと目標を掲げている．

AIS データの解析と学習パラメータの最適化

このように船舶運航の自動化の流れは加速

土橋優貴（神戸大学大学院海事科学研究科）

しているが，その実現のためには他船との衝各種操船シナリオに対する AI の適用および検証

突や座礁を回避する避航操船が不可欠であ湯浦哲大（神戸大学大学院海事科学研究科）

り，危険察知や回避行動選択についてのアル各種操船シナリオに対する AI の適用および検証ゴリズムが求められている．
研究課題代表者は，深層 Q 学習にもとづき，

2.

船 舶 の 避 航 操 船 用 AI （ Artificial

研究の目的と意義
近年，世界の海上輸送量が著しく増加してIntelligence：人工知能）の開発にいち早く1

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

取り組み，複数の自走式模型船を用いた検証なる．特に目標点到達や衝突回避などの問題実験を世界に先駆けて実施した（Shen et al.,では，投機的な探索と評価を繰り返して知能2019）．既に，模型船レベルではその有効性がを強化する強化学習が適している．この中で実証されているが，実際に自動操船を実現しも，状態が与えられた場合の行動価値を実際てくためには，AI の知能レベルを熟練船長とに行動した結果をもとに学習する Q 学習では，同等以上に引き上げる必要があり，これを達行動価値関数 Q の近似に深層学習を用いるこ成することが本研究の目的となる．とで，膨大な数の状態に対する行動価値を定めることができ，これにより最大の累積報酬

H. Shen, H. Hashimoto, A. Matsuda et al., Automatic collisionが見込まれる最適行動の選択が可能となる．

avoidance of multiple ships based on deep Q-learning, Applied

行動価値関数 Q の近似には多層ニューラルネットワークを用いるが，問題の複雑化に伴Ocean Research, 86, 268-288, 2019.

い，入力数だけでなく試行錯誤的に定めるハ船舶による海上輸送は，環境への負荷が低イパーパラメータ数も増加するため，現実にいことが知られており，温室効果ガスの排出即した問題を取り扱うためには，ニューラル削減や交通手段の多様化という観点においネットワークの重み更新の処理速度に優れて，国内物流における海上輸送の重要性が高た GPU を用いること，船舶運航の実態を考慮まっている．近い将来に超高齢化社会を迎えしてハイパーパラメータをチューニングする日本において，海上輸送による物流を維ることが求められる．さらに，船舶の衝突回持・拡大させていくためには，省人化技術や避問題では，他船や航路，障害物などの周辺安全化技術の開発が欠かせない．本研究で取情報を入力に含める必要があり，輻輳海域でり組む，自動操船を実現する AI の開発は，は海域全体を画像として捉えて，ピクセル情

こうした問題に応えるものであり，交通運輸報を用いて状態を構成することが好ましい．

分野の技術革新，物流革命へと繋がることがこの入力画像を用いた学習時においても，画期待される．

像処理に圧倒的な能力を発揮する GPU の活用

巨大な慣性と操船応答性の低さゆえに，船が望まれる．なお，諸計算を要する入力画像

舶の操船制御は容易ではなく，自動化が進んの計算時には CPU での処理も多く含まれるのでいないのが実状である．即ち，既存の制御で，CPU コア数も学習速度を大きく左右する．

理論とは全く異なるアプローチで操船問題

このため，一般の計算機環境では，自船周りの解を得ようとすることが本研究の学術的の限られた領域での情報の小集団を入力デな意義となる．なお，船舶の自動操船のみをータとした計算および学習が限界であり，試対象としているが，操船者への心的負担が大行回数にも限度があるため，熟練者以上の操きい着岸の自動化や自然外乱下での定点保船技術を学習させることは困難である．

持など，深層 Q 学習の適用範囲は極めて広い

この問題を解決する手段として，最新かつものである．

大量の GPU を備えた「TSUBAME3.0」を利用した学習が挙げられる．先述した海域全体の画3.

像入力と併せて，圧倒的なパフォーマンスで当拠点公募型研究として実施した意義
衝突や座礁という危機的状況での操船のの学習が可能となり，自動操船用 AI の開発

正誤を学習するための教師データはほとんを一気に加速できるものと期待できる．ただど存在しないため，機械自身に評価やチューし，強化学習の実施には船舶の操縦運動を記ニングを行わせる機械学習が有力な手段と述する数学モデルが必要であり，報酬関数の2

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

与え方にも船舶工学分野のノウハウが求め学習の基礎設計を行った．ライブラリにはられる．さらに，開発した AI を実践に供すKeras（Tensor Flow）を使用し，出力は，無るためには操船経験者による評価も欠かせ

変針，左変針，右変針の 3 種類とした．今回ない．

は，目標方位ではなく，舵角 0 度，-5 度，+5以上より，本研究の遂行には，研究代表者度を出力の選択肢とした．当面は人間が操船の船舶工学及び AI 開発技術に関する知見だする船舶と AI が自律操船する船舶が混在すけでは不十分であり，GPU スパコンでの数値るものと想定されており，AI の急激な行動変計算を専門とする研究者，画像処理と Python化は人間にとって脅威となり許容することによるプログラミングに長けた研究者，さらができないため，舵角の最大値を制限するこには実船での操船経験を有する研究者が必とで解決を図っている．総学習ステップ数は要であり，これら複数の専門分野を包含した1,000 万とし，学習間隔は 100 ステップ毎と研究体制を構築する必要がある．スパコン利設定した．

用を含む学際的な共同研究開発を実施する

ランダムな探索と行動方針の探求というためには，JHPCN の枠組みの活用が不可欠でジレンマを解消するために，Mnih(2013)らがあり，自動操船用 AI の開発及び検証に実績提案した-greedy 法を用いている．の初期を有する神戸大学，GPU スパコンでの数値計値は 1.0 とし，1,000 万ステップ終了時点で算に多くの実績を有する東京工業大学，さら0.1 となるように線形的に減少させた．入力には，開発した自動操船用 AI の定量的評価

層と出力層の間には，畳み込みニューラルネが可能な海技実務者が密に連携することにットワーク（Convolutional Neural Network）

よってのみ，世界をリードする自動操船用のが 3 層，全結合ニューラルネットワークAI 開発を実現することができる．

（Fully Connected Neural Network）が 3 層含まれており，活性化関数には標準的な ReLU

4. 前年度までに得られた研究成果の概要関数を用いる．
（図 1 参照）

該当しない
V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D.

5.

今年度の研究成果の詳細Wierstra, M.Riedmiller, Playing Atari with Deep Reinforcement

船長の危険判断や回避行動選択のプロセ

Learning, Tech.report.Deep. Technol, 2013, arXiv1312.5602

スを明瞭に記述することは容易ではなく，衝[cs.LG].

突や座礁という危機的状況では操船の正誤

INPUT判定自体が困難である．操船問題では，投機Layer

的な探索と評価を繰り返して知能を強化すCNNる強化学習が適しており，実際に行動した結Convolutional Neural Network

Layer
Layer

果をもとに知能強化を行う Q 学習と行動価値関数 Q の深層学習による近似を組み合わせた
深層 Q 学習は，あらゆる状態に対して，将来Layer

FCNNまでの累積報酬の期待値が最大となる行動

Fully Connected Neural Network選択を行うことができる．

Layer
Layer

初めに，ウェイポイント（目的地）への効率的な到達と衝突危険の確実な回避を両立

OUTPUTさせる自動操船 AI の開発を目指して，深層 Q

図 1 入力と出力間のニューラルネットワー
3

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

ク層決定しているが，領域外に出るまで変針はし状態に関する入力数は，図 2 のように，一ないものと設定した．相手船が少数の場合に辺を 4 海里とする正方領域を 80×80 のセルは，エキスパートシステムのような旧来型のに分割し，過去から現在までの 3 ステップ分アルゴリズムでも対応可能であるが，極めての値（19,200 個）を入力とした．相手船の現多くの船舶が行き交う状況においては困難

在地に該当するセルは 1.0，未来位置は 1.0が伴う．また，相手船が少数の場合であって未満の値を入力し，自船のバンパー（安全確も，実際の事故は居眠りや認知不足のため衝保領域）と未来位置は，それぞれ 0.25 と 0.25

突間際まで避航操船が取られない状況で起未満の値を入力している．なお，自船の将来こるため，このような状況下での対応は熟練

位置は操舵に対する一次遅れ系の KT モデル

船長でも困難と言える．本研究では，こうしで予測し，相手船は現在の速度と針路を維持た点を考慮したうえで，学習環境と条件を設するものと仮定している．相手船が変針する定していることが特徴である．

場合であっても，旋回角速度に応じて将来位置が変化し，ニューラルネットワークの入力に自動的に反映されるため，実海域でも適用が可能であろう．

図 3 バンパー領域
表１ バンパー領域の短軸と長軸

図 2 自船周りの数値格納用セル
報酬関数は，図 3 に示すような自船のバンパー内に他船が進入した場合に負の報酬を与えるようにし，出力である舵角が 0 度の場合にはわずかに正の報酬が得られるように設定した．表 1 と図 4 のように，外洋と輻輳

図 4 二重バンパー（内：輻輳海域，外：外海域を想定した二重バンパーを採用してい洋）る．学習環境としては，正方領域内のランダムな位置に相手船を 0 から 30 隻配置し，領学習用プログラムは Python で作成し，Q 学域の外に出た場合はランダムな位置に戻し

習に関する処理には CPU を，深層学習の重みている．相手船の速度は自船に対して 0.8～

付けに関する処理には GPU を用いることで，1.2 倍の範囲内でランダムに与えている．船学習速度の高速化を図っている．本プログラ

首方位は 0 度から 360 度の範囲でランダムにムと先に述べた学習条件を用いて，畳み込み4

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

ニューラルネットワークのフィルタやカード数などのニューラルネットワークに関すネルサイズ，全結合ニューラルネットワークるパラメータ，並びにメモリーサイズやバッのノード数やドロップアウト率などを適当チサイズ，学習間隔などの学習パラメータのに設定し，学習を実行したところ，4 海里四最適化を図った．現時点で本研究成果は外部方内に最大 30 隻の相手船が存在する場合で未発表であり，具体的な数値については記載

も，自船バンパーに相手船を入れないようにを割愛する．

舵を取り，効果的に衝突回避が達成される可

上述の深層 Q 学習，学習環境の設定，最適能性が高いことが確認された．

ハイパーパラメータを用いて，自動操船用 AI以上より，自動操船 AI を開発するためのの開発を行った．膨大な適用サンプルの中か報酬関数や学習環境の設計が概ね妥当であら，AI による自動衝突回避の例を図 5-6 に示ると判断し，これ以降は，知能レベルを最大す．なお，図 7 のように，衝突の危険がない限に高めるために，ハイパーパラメータの最場合には目標のウェイポイントに直進する適化を行った．最適化を行う際には，類似問ことから，深層強化学習で課題であった目的題の経験を踏まえながら試行錯誤的に探索

地到達と衝突危険回避が両立されているもする必要があるが，問題自体の非線形性や不のと確認できる．

確定性が強いため，広範なパラメータの組み合わせに対して，同一の学習を実行する必要がある．本採択課題において使用を許可された TSUBAME3.0 には，2160 個の NVIDIA Tesla
P100 が備えられており，1 ノードあたり 4 基の GPU が含まれる．CPU と GPU1 基での使用が可能であることから，これを基本ユニットとして，分散的に大量の学習を実行することで，各パラメータに関する感度調査と最適化を試みた．
TSUBAME3.0 は，ジョブの最大実行時間が 24時間であり，1000 万 step の学習を 1 回で完了することができない．また，複数の GPU を用いた並列深層学習や分散学習機能は導入されていないため，単一の CPU と単一の GPUによる学習ジョブを 24 時間に限って多数実行することとした．学習回数に対する報酬関数の遷移を確認すると，学習シナリオ及び行動選択のランダム性により大きな変動が見られるものの，移動平均をとればその遷移は線形的に増加（減算報酬のため最大報酬は 0）しており，必ずしも最終ステップ数まで学習を進めなくても，相対的な優劣の比較が可能であると判断した．そこで，CNN や全結合 NNの層数，フィルターやカーネルサイズ，ノー5学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

図 6 輻輳海域での自動操船のスナップショ

図 5 輻輳海域での自動操船のスナップショット（自船周り）ット
6

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

ステム（ECDIS）画像から，状態要素と値を自動入力するなどの検討が望まれる．
現状では数値シミュレーション上での妥当性の検証に過ぎないため，今後は模型船実験や操船シミュレータを用いた検証，更には実船に搭載しての実海域での実証実験の実施により，海上輸送に革新をもたらす無人運航船の実現に向けて研究を加速していくこ
図 7 相手船が存在しない場合の自動操船結とが望まれる．

果の例

7. 研究業績一覧（発表予定も含む）
本研究課題における，TSUBAME ポイントの(1) 学術論文 （査読あり）

使用状況であるが，当初配分が 50,400,000 ポなし

イント，3 月末日時点での計算ジョブでの使(2) 国際会議プロシーディングス （査読あ用が 45,354,500 ポイントであり，ほぼ全量り）を計画的に執行することができた．

なし(3) 国際会議発表 （査読なし）

6. 今年度の進捗状況と今後の展望

なし

今後の海上輸送システムを大きく変貌さ(4) 国内会議発表 （査読なし）せる可能性の高い自律操船 AI の開発を目指

松本敦志，自律操船 AI の開発と検証，した本研究は，当初の計画通りに輻輳海域に日本船舶海洋工学会関西支部学生研究

おいても，目的地到達と衝突回避の両立が達

発表会 2019， 2019 年 11 月 30 日，大阪

成された点において期待通りの結果が得ら

産業創造館れたといえる．一方，ハイパーパラメータの(5) その他（特許，プレスリリース，著書等）

最適化という点でも，一枚の GPU を使用した単一学習を多数実施することで，試行錯誤的ではあるが概ね達成されたものと考えられる．一方，問題に応じてハイパーパラメータの最適値は変化するため，今後の汎用的利用に向けては，ハイパーパラメータの最適化についても，機械学習を適用するなど，更に高度な研究が必要であると考えられる．
実際の船舶の衝突回避問題では，航路や水深などの周辺情報までを入力に含める必要があり，その場合には，海域全体を画像として与え，ピクセル情報を用いて状態を構成することが好ましい．現状では，画像処理を見据えた格好で，画像ライクな取り扱いを行ってはいるが，CPU 処理のコストが高い．今後の発展性を高めるためにも，電子海図表示シ7