英（YANG YING）

学位被授与者氏名

楊

学位の名称

博士（工学）

学位番号

博（一）第６６号

学位授与年月日

２０２２年３月２０日

論文題目

Research on stereo matching of sea surface images for long-distance 3D image
measurement

論文題目（英訳または和訳）

遠距離三次元計測のための海面画像のステレオマッチングに関する研究

論文審査委員

論文審査委員会
委員主査 ：福岡工業大学大学院知能情報システム工学専攻教授
同審査委員：福岡工業大学大学院知能情報システム工学専攻教授
同審査委員：福岡工業大学大学院知能情報システム工学専攻教授
同審査委員：福岡工業大学大学院物質生産システム工学専攻教授

盧存偉
近木祐一郎
宋宇
江口啓

論文審査機関福岡工業大学大学院工学研究科

論文内容の要旨（和文）

津波は破壊的な自然災害である。現在の津波計測・到達予測システムは、限られた数の地震計や波浪計を使って地震波や海面の高さを測定し、津波の発生の有無、発生場所、発生時間、海岸に到達する規模などを予測するものがある。しかし、限られた数の計測機器を使用するため、大きな予測誤差が生じる可能性がある。この問題を解決するために、本論文ではステレオ視に基づく遠距離津波画像計測システムを提案する。
提案システムは、海岸にカメラを設置し、4~20km の遠方海面をリアルタイムで撮影し、画像処理により津波発生の有無を判定し、津波発生の場合ではその到着時間と規模を予測する。提案システムでは、4 ~ 20 km 遠距離の海面を 24 時間撮影すること、雨や雪などの悪天候下での画像計測、ステレオマッピング、海面高さの算出、津波発生の有無の判定方法、到達時間と規模の推定方法など、多くの研究課題がある。
本論文では、ステレオマッチングについて研究する。ステレオマッチングは下記の 2 つの要件を満たす必要がある：1) 精度要件：海面高度を正確に測定する能力、
2) 速度要件：海面高度の測定を迅速に完成すること。しかし、遠距離の海面画像には「視差範囲が大きい」、「異なる波の特徴の相違が少ない」、「海面の非剛体変換」などの特徴があり、ステレオマッチングが困難である。
本論文では、上記のス問題を解決するために、下記の 3 つの側面からアプローチする：(1)特徴ベクトルとデシジョンツリーによる疎なマッチングを行い、高速度を目指す。(2)リーニングコストボリュームとセミグローバル法による密なマッチングを行い、高精度を目指す。(3)ニューラルネットワークによる視差マップの生成方法を提案し、マッチング波の数を確保する。
また、視差範囲が大きい問題を解決するために、視差 d と y 座標の関係を定式化する。異なる波の特徴が少ない問題を解決するために、海面画像の特徴マップを生成するために、non-end to end ネットワーク構造を構築する。非剛体変換の問題を解決するために、海の波を区別するための特徴ベクトルを確立し、いくつかの決定論的特徴に敏感に判断し、いくつかの不確実な特徴を無視することで、波をマッチングするためのデシジョンツリーを構築する。
本論文は以下の通り 5 章より構成されている。
第 1 章では、津波計測の背景と本研究の目的を紹介する。
第 2 章では、波の特徴点の検出、記述、マッチング策略の選択という標準的なマッチングパイプラインに基づく、改良型ステレオマッチング手法を紹介する。各ステップは、遠距離の海面画像の特徴に適応するようにうまく設計されています。
第 3 章では、ニューラルネットワークを用いたステレオマッチングのための、学習データセットの作成、ネットワークの構築、ネットワークによる疎なマッチングの方法を紹介する。この章では、特徴ベースのステレオマッチング手法とニューラルネットワークを用いた手法の比較実験を行っている。
第 4 章では、提案手法の実験結果を示す。実験では、2 つの撮影地点から 3 つの期間内に撮影された海面画像を用いて行い、提案手法の有効性を検証する。

論文内容の要旨（英文）

論文審査結果

第５章では、この論文をまとめ、今後の課題について述べる。
Tsunamis are some of the most destructive natural disasters. Some proposed tsunami
measurement and arrival prediction systems use a limited number of instruments, then judge
the occurrence of the tsunami, forecast its arrival time, location and scale. Since there are alimited number of measurement instruments, there is a possibility that large prediction errors
will occur. In order to solve this problem, a long-distance tsunami measurement system basedon the binocular stereo vision principle is proposed in this paper.
The proposed system installs two cameras on the coast, takes long-distant image of sea
surfaces about 4 ~ 20 km real-time, determines the tsunamis and predicts the arrival time andscale of a tsunami by image processing. In our project, there are many research subjects suchas 24-hour image capture for long-distance sea surface of 4 ~ 20 km, image measurement in
bad weather such as rain and snow, stereo mapping for binocular stereo vision, calculation ofsea level height, method of determining the presence or absence of tsunami, and how toestimate the arrival time.
In this paper, we will focus on the stereo matching method. To achieve tsunami
measurement, stereo matching needs to meet two requirements: 1) high precision toaccurately perceive sea surface anomalies, 2) fast to achieve rapid perception of sea surface
anomalies. However, long distance sea surface images have three main features: 1) large
disparity range, 2) lacking feature points, 3) non-rigid transformation, they make stereo
matching difficult.
To realize stereo matching of this system, it is accomplished from three aspects: (1) Sparsematching by feature vector and decision tree for high speed; (2) Dense matching using leaning
cost volume and semi global method for high accuracy; (3) Feature map generation by neuralnetwork to secure the number of matching waves.
In addition, to solve the time and space consumption problem caused by large disparity
range, we formulate the relationship between disparity d and the y coordinate. To solve theproblem of non-rigid transformation, a feature vector is established to distinguish sea wave
from each other and a decision tree is built to matching waves by making judgement sensitive
to some deterministic features and ignoring some uncertain features. A non-end to end
network structure is built to generate feature map of sea surface image to solve the problemof lacking feature points.
The outline of this thesis is as follows.
Chapter 1 presents the background of tsunami measurement and the purpose of this work.
Chapter 2 introduces the improved stereo matching method based on standard matchingpipeline of feature point detection, description and matching strategy selection. Each step iswell designed to adapt to long-distance sea surface images’ characteristics.
Chapter 3 presents the stereo matching by neural network including the making of training
data set, the establishment of non-end to end network as well as feature map generation by
the network. The experiments to compare the traditional methods and the network are alsoconducted.
Chapter 4 presents the experiment results of the proposed method; the experiment wasconducted on sea surface images taken within three periods from two sites to verify theefficiency of our method.
Chapter 5 summarizes this thesis.
審査の結果
この論文は津波の三次元画像計測における 4～20Km の遠距離撮影画像の対応付け（ステレオマッチング）問題について、理論的及び実験的な側面から研究を進めている。日本は地震・津波被害の多い国であり、「現時点で、地震予知（警報につながるほど確度の高い地震予測）を行うのは非常に困難である」（日本地震学会の立場より）ので、この研究は津波が発生した場合にそれをいち早く発見し規模を計測することを目指し、実用性を持っていると判断される。
現在、津波の計測手段としては「地震津波観測網」、「GPS 波浪計」などがあげられる。しかし、これらの既存手法では計測範囲や計測精度、設置及び維持費用などの問題が残っている。本学では海岸に設置する二台のカメラを用い、4～20Km 範囲の海面を撮影し、津波の発生と規模を計測する手法を提案した。上記の提案手法を実現するために、二台のカメラより撮影された二枚の画像から同じ画素を探す、いわゆる、対応付け問題の解決は必要不可欠である。遠距離撮影画像の対応付け問題を解決するために、この論文では波の特徴ベクトルに基づく従来の対応付け手法とディープラーニング解析に基づく対応付け手法を提案した。
具体的には、まず、数秒の処理時間しか必要としない、特徴ベクトルとデシジョンツリーによる疎な対応付け手法を提案し、津波計測の高速性を確保した。また、海面の三次元的な形状を再現するために、リーニングコストボリュームとセミグローバル法による密な対応付け手法を提案した。尚、従来の対応付け手法との比較のために、ディープラーニングによる対応付け手法も提案し、95%の対応付け精度が得られた。
この論文は全 5 章より構成されている。第 1 章では、研究の背景と既存の手法について説明し、三次元画像処理技術を用いた津波計測の考え方を述べ、研究の目的を説明する。第 2 章では、従来の画像処理手法の改良に基づく対応付け手法を紹介する。まず、疎な対応付け手法を紹介し、その後、密な対応付け手法を紹介する。第3 章では、ディープラーニングに基づく対応付け手法を紹介する。まずシステムの構成を説明し、その後実験について述べる。第 4 章では、実験及び結果の考察を説明する。まず実験環境を紹介し、その後疎な対応付け手法の実験結果と考察、密な対応付け手法の実験結果と考察について述べる。第 5 章では、この論文をまとめ、今後の課題について述べる。
これらのことより、提案手法には有用性があると判断された。
本研究の成果として、学術論文が 2 編（内第一著者 2 編）、国際会議 6 編（内第一著者 4 編）となっている。これらの結果には、本研究の新規性、有用性、ならびに、実用性が認められる。以上の理由により、審査委員会は提出論文が学位論文の内容として適合すると判定した。

主な研究業績

学位論文公聴会においては、論文内容に関連する種々の工学的及び技術的な質問があったが、いずれも適切な回答を行うことができた。また公聴会後の最終試験においては、学位論文に関連する分野の学識を有し、今後研究を進めていくための研究能力を備えていることが判明した。
以上の結果から、学位審査委員会はこの論文が博士（工学）の学位に適格であると判定した。
参考論文 11 編１冊
学術論文：2 編, 第一著者 2 編
１ “A Stereo Matching Method for 3D Image Measurement of Long-Distance Sea Surface”,
Journal of Marine Science and Engineering (JMSE), 1-21, 1281, Volume 9, Issue 11,(2021)
Authors: Ying Yang, Cunwei Lu.
2 “Long-distance sea wave extraction method based on improved Otsu algorithm”, Artificial
Life Robotics 304–311, Volume 24, Issue 3, (2019)
Authors: Ying Yang, Cunwei Lu.
国際会議論文：6 編, 第一著者 4 編
１ “Method of Sea Wave Matching Based on Convolutional Neural Network -- A
comparison with featurevector matching method”, 25th International Symposium on Artificial Life andRobotics, GS3-5,
Beppu, Japan, Jan. 2020
Authors：Ying Yang, Chenhao Chen, Cunwei Lu.
2 “Long distance sea surface images fast sparse matching by integrated feature vector”,
Proc. of the Seventh Asia International Symposium on Mechatronics, E21, vol 589,Springer, Singapore, 2019

Authors：Ying Yang, Cunwei Lu, Chenhao Chen.
3 “Research on stereo matching methods for long distance sea surface image”, 2019 5thInternational Conference on Engineering, Applied Sciences and Technology (ICEAST),
ID 125, pp.101-104, Luang Prabang, Lao PDR, 2019
Authors：Ying Yang, Cunwei Lu, Chenhao Chen.
4 “Method of Sea Wave Matching Based on Siamese Network”, Proc. of the Seventh Asia
International Symposium on Mechatronics, E25, Vol 589, Springer, Singapore, 2019
Authors：Chenhao Chen, Cunwei Lu, Ying Yang.
5 “Method of Sea Wave Extraction and Matching from Images Based on Convolutional
Neural Network”, 5th International Conference on Engineering, Applied Sciences andTechnology (ICEAST), ID 131, pp.105-108, Luang Prabang, Lao PDR, 2019
Authors：Chenhao Chen, Cunwei Lu, Ying Yang.
6 “Long distance sea wave extraction method based on improved Otsualgorithm”, 23rd International Symposium on Artificial Life and Robotics,
OS7-4. Beppu, Japan, Jan. 2018
Authors：Ying Yang, Cunwei Lu.
国内会議論文：3 編, 第一著者 2 編
１ “ブロック分割二値化手法に基づく遠距離撮影画像の波抽出”, 2020 年度電気・情報関係学会九支部連合大会, 04-2A-09, Sept. 2020
Authors：陳 志鵬, 楊 英, 盧 存偉
2 “Long distance sea wave extraction method by improved block Otsu algorithm”, The
70th Joint
Conference of Electrical, Electronics and information Engineers in Kyushu, 13-1A05, Sept. 2017
Authors：Ying Yang, Cunwei Lu.
3 “Improved Mean Shift Algorithm for Long Distance Sea Wave Tracking”,
Proceedings of the IEICE
General Conference 2017 電子情報通信学会 2017 年総合大会講演論文集 D11-41, Mar. 2017.
Authors：Ying Yang, Cu Wei. Lu, Lei Yan, Tsujino Kazuhiro.