人工知能を用いた水中画像超解像技術の研究開発
代表研究者
共同研究者

李
玉潔
高橋 伸弥

福岡大学 工学部
福岡大学 工学部

助教
准教授

1 概要
近年、新興国の急速な工業化の進展と経済発展により鉱物資源の需要は増加の一途をたどり、その持続的な供給に対する危機感の高まりと、資源ナショナリズムの再興が相まって資源の供給構造は大きな変革期を迎えている。陸上資源の枯渇に伴い、深海資源の調査や採集に関する研究が急速に進められている。日本の排他的経済水域（ＥＥＺ）と大陸棚には，金属・レアエレメント類を含有する黒鉱型海底熱水鉱床やコバル
トリッチクラストなどの深海底鉱物資源の有望海域が多数発見されており、黒鉱型海底熱水鉱床では世界第１位、コバルトリッチクラストでは米国に次いで世界第２位の潜在的資源量があると推定される。しかし、潜在的有望海域から、資源的に魅力のある場所を絞り込む方法は完全には確立されておらず、また、深海海底における採鉱技術が始まるなか、その鉱蔵の探査と採取活動には、新たな調査技術の開発や有効な採掘技術が必要である。
さらに、世界第 3 位の経済大国である日本の活発な産業活動と豊かな生活を支えているのが、石油、天然
ガス、銅、ニッケルなどの膨大なエネルギーや資源である。すなわち、日本は世界有数のエネルギーと資源の消費大国である。しかしながら、日本固有のエネルギーや資源は少ないため、その大部分を諸外国からの輸入に頼っているのが現状である。さらに、近年のアジア地域における飛躍的な経済成長を背景に、これらの資源やエネルギーの世界全体の需要が急増するなど、日本が安定的な供給を確保することは、難しくなりつつある。 特に、石油、天然ガス、銅、ニッケル等の鉱物資源の海外依存度は、ほぼ 100％であり、海外資源獲得競争の激化や、産出地域における紛争などによる供給不安の発生、さらには経済状況の変化による需要動向の変動が、長期的な資源価格の上昇傾向と、資源価格の乱高下を発生させやすい状況を生み出している。人口の都市部への集中や高齢化による生活スタイルの変化などによって、電化が進んできているため、エネルギー需要が拡大し、国民生活を向上させるために、エネルギーや資源の確保が不可欠である。これらより、我が国独自の海洋資源開発は極めて重要である。
しかし、深海採掘機のリアルタイムモニタリングの研究はあまり行なわれておらず、効率的な深海採鉱は困難である。従来の深海探査方法として、測地衛星リモートセンシング技術、母船曳航ソナーの技術、自律型海中ロボット（Autonomous Underwater Vehicle、AUV）巡航イメージング技術などがあげられるが、リア
ルタイムで探索することは困難であり、また、これらの方法は環境に影響されやすく、精度が低いなどの問題がある。広大な海底で資源を高精度に探し当て、効率的に採集するには、可視光によるイメージングシス
テムの導入は不可欠である。このため、先進的な人工知能技術を用いてこれらの問題を克服する研究を行った。

2 本文
2-1 水中映像復元手法（１）UDCP 法による水中画像復元
先行研究[1-6]で述べられているように、水中などのヘイズがある画像では、背景の画素値はすべてのチャンネルで常に高い。しかし、色の鮮やかさや影などの影響により、魚、サンゴ礁、および海底などの主要物
体を含む領域では、RGB チャンネルの中で少なくとも 1 つのチャンネルで低い値を取る。それに対し、低光源下で撮影されたビデオについて RGB 成分の最小値を取り、ヘイズ画像との類似性について調査を行った結果、ランダムに選ばれたそれぞれ 30 個のヘイズ動画について、全画素の RGB 成分の最小値のヒストグラムが非常に類似しているという研究結果が得られている[7]。そこで、提案された画像劣化モデルは以下のように
表される。
(1)
ここで、
は情景の輝度を、A は環境光を表し、透過率 t(x)よってその比率が決まる。式(1)に表された

1
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

関係より、A と t(x)を求めれば次式のように からを取得することができる。
(2)に対し変換処理を行い、画像を出力する。この処理の際、環境光 A および透過率 t(x)を推定
ここで、する必要がある。以下にこれらのパラメータの推定方法および最終的な改善画像を取得する方法について述べる。
次式に示すように入力画像に対し RGB 成分の最小値を取る。
(3)
では、常にノイズが多く含まれているため、ここで中央値フィルタを用いた平滑化処理を行う。次に、平滑化されたの中で輝度の最も高い画素を選択し、その位置の画素値を環境光 A とする。
環境光の推定を行った後、透過率の推定を行う。透過率 t(x)を局所的にできるだけ滑らかに維持するように推定を行う。最初に、反転処理後の入力画像に対し RGB 最小値を取る。このグレイスケール画像をダークチャンネルと定める。
(4)
そして、透過率は以下のように求められる。
(5)
ここで、 はの値を調整するためのパラメータであり、本研究では 0.98 としている。
（２）IGAN を用いた水中画像復元
先行研究 UDCP（図１に示す）では、深海画像の特有な光の散乱や色の退化、粉麈の影響による劣化をスペ
クトル特性法及び重み付きフィルタ法で、また、照明の照度不均一さを口径食除去法により改善する新たな画像鮮明化法を提案した。開発した画質改善システムは深海底の中高濃度濁度（～500mg/L）やネフェロイド層で撮影の可視化に成功した。しかし、超高濃度濁度（＞500mg/L）の水中における画像計測方法では、可視化が困難である。そこで、本研究では深層学習を利用し、超高濃度濁度の劣化画像データベースを構築した
上で、画像鮮明化法の開発を行った。図 2 のように具体的には、Improved Generative Adversarial Network(IGAN)を用いて日本海洋研究開発機構から入手した画像データを利用し、2 万枚の劣化画像データベースを生成し、水中で光の減衰係数や反射率を考慮したが、加えて、先行研究で提案した高濁度の影響係数も考慮した。また、マリンスノーや Underwater Flickering 現象を模倣するため、陸上で対象とした降雪時の手法を参照し、深層学習法を用いたマリンスノーや Underwater Flickering 現象も考えた。

図１先行研究での実験結果. (左図)入力画像;(右図)処理結果

2
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

図２IGAN 水中画像鮮明化法 IGAN
実験の際、ImageNet のいくつかのサンプルを使用し、提案法を評価した。また、実際の環境で取得した画像をテストした。 本研究では、比較のために 10 の IGAN 生成結果と UGAN 生成結果をランダムに選択し、評価方法として構造的類似性（SSIM）インデックスと水中画像品質測定法（UIQM）を利用した。
SSIM は知覚に基づくモデルであり、画像の劣化は構造情報の変化として知覚され、輝度マスキングやコン
トラストマスキング構造情報などの重要な知覚現象を同時に含み、強い相互依存関係があることを示す。 ピ
クセル間、特に空間的にこれらの依存関係に近い場合、オブジェクトの構造に関する重要な情報が含まれている。 SSIM の式は、x と y のサンプル間の 3 つの比較測定に基づいている。輝度（l）、コントラスト（c）、構造（s）である。 次式で表す。
(6)

(7)

(8)

ここで、

は均値,

は分散である,はピクセル値のダイナミックレンジであり、はと の共分散である。

,

,

,

は 0.01 と 0.03 で設定する。

UIQM は、新しい非参照の水中画像品質測定法である。これは、色、シャープネス、コントラストの 3 つの測定指標で構成されている。 それぞれの指標は、特定の水中画像処理タスクに個別に使用できる。 輝度とコントラストのマスキング、色の知覚、相対的なコントラスト感度などの一部の VHS 機能が測定式に組み込まれている。 したがって、水中画質を測定する他の既存の方法と比較して、UIQM は人間の視覚との相関が強く、水中画質を完全に、包括的かつ効果的に測定できる。 本研究では水中画質の評価基準は次式で表す。

(9)
ここで、RG=R-G, YB=Y-B である。まず、改善された方法を水中生成拮抗ネットワークと公平に比較するた
め、生成された結果からランダムに 10 枚の画像を選択した。 SSIM と UIQM を使用して各画像をテストし、3
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

10 枚の画像の SSIM と UIQM の平均値を計算した。
平均値を比較すると、
表 1 から、提案された方法の値が UGAN
より 0.01 高いことが分かった。
表１COMPARISON OF MEAN VALUES OF SSIM AND UIQM
UGAN

IGAN

SSIM

0.8332507

0.8443432

UIQM

1.532719

1.54751

10 枚の写真の品質評価結果によると、提案された改善方法は UGAN よりも優れている。
次に、提案手法の品質を視覚の観点から評価した。図３画像の左側はトレーニングデータセットの水中画像で、下部は生成された画像である。水中での光の吸収のため、水中の写真は青と緑であることが分かった。
我々が提案した IGAN は、画像の色を正しく復元し、陸上の写真と似ていることを確認した。

4
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

(a) 原画像(b) 本提案手法
図３ IGAN の実験結果

3-1 水中映像超解像手法（１）SRCNN による水中画像超解像
水中画像の高精細ディスプレイ技術は、海洋動物の観察、海底採鉱、海洋漁業の生産など、多くのアプリ
ケーションにとって非常に重要である。従来の水中視覚表示システムは、視認性が低い、リアルタイムパフォーマンスが低い、解像度が低いなどの問題があり、極端な環境でのリアルタイム高精細ディスプレイのニーズを満たすことができない。これらの問題を解決するために、水中画像強調法と対応する画像超解像アル
ゴリズムを提案した。水中画像の品質を向上させるために、Retinex アルゴリズムを変更してニューラルネ
ットワークと組み合わせる。 Retinex アルゴリズムを使用して水中の画像を曇らせないようにし、ガンマ補正を適用して画像の明るさを向上させた。次に、ダークチャネルの事前および多層パーセプトロンと組み合わせることにより、透過マップがさらに改良され、画像のダイナミックレンジが改善された。超解像の際には、現在の畳み込みニューラルネットワーク再構築アルゴリズムは Y チャネルでのみトレーニングされた。
これは、色の特徴の不十分な取得が原因で問題が発生しやすい。したがって、色特徴に基づく画像超解像再構成アルゴリズムが提案された。実験結果は、提案された方法が画像のエッジとテクスチャの詳細の再構成効果を改善し、画像の鮮明度を高め、画像の色回復を向上させることを示した。
画像形成の過程では、悪環境の影響と機器の制限により、画像の伝送と保存の過程で画像の詳細が失われることが多く、画像の解像度が低下する。近年、情報を取得する最も直接的な方法として、画像は顔認識、
医療画像、ビデオ監視、リモートセンシング画像、コンピュータービジョンなどの重要なアプリケーションで使用されている。現在の研究分野では、画像超解像の手法には、主に補間[8-13]、再構成制約[14, 15]、
および学習[16-17]が含まれる。
例えば、再構成に基づく方法に関して、スターク等 [18-20]は、画像の超解像の問題を解決するための凸集合投影法を最初に提案した。この方法では、高解像度画像の解空間と高解像度画像を表す制約セットの交点を繰り返し取得して、より小さな解空間を決定し、高解像度画像の再構成を完了する。開始点として高解像度画像空間から点が選択され、すべての制約凸集合を満たす次の点が、高解像度画像を取得するための多くの連続反復投影によって取得された。
凸集合投影法は、超解像画像の問題を解決する簡単な方法を提供し、事前の知識を最大限に活用した。これにより、高解像度画像のエッジとディテールの品質をよりよく保証できた。ただし、この方法は初期点のランダムな選択に大きく依存し（不安定で一意の解ではない）、収束が遅く、計算要件が大きく、収束の安定性が低くなる。後で、Rasti 等 [21]各反復逆投影（IBP）法で反復にバ
イキュービック補間とバイキュービックサンプリングを追加することを提案した。これにより、各反復の平均二乗誤差が減少し、画像再構成の効果が向上させた。ただし、上記の一連の方法は IBP アルゴリズムにの5
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

み適用され、再構築された高解像度画像の品質を向上させるが、従来の補間アルゴリズムに代わって初期画像を推定しないため、エッジがギザギザになった。
超解像画像の IBP 法では、元画像を考慮して、エッジ位置で発生する可能性のあるノコギリ波効果は、非局所的な冗長性であることがよくある。 Zeng らの[22]反復投影のプロセスでは、非局所情報の類似性を十分に活用することで、再構成エラー、固定 IBP 推定の初期値、およびエラーの累積を減らし、上記の問題を解決できると考えている。イラニら[23]は、反復逆投影法を提案し、それを使用して超解像画像の問題を解決した。この方法では、まず補間により高解像度画像の初期推定値を取得し、初期推定によって得られた画像が元の高解像度画像と等しい場合、初期推定によって得られた低解像度画像は実際の低解像度画像と等しい。それ以外の場合、エラーは逆投影されて修正される。エラーが許容できる場合、反復プロセスは終了する。この方法はシンプルで直感的で、計算負荷が小さく、収束が高速できる。ただし、逆投影演算子を選択することは困難であり、通常、解は一意ではない。さらに、各反復のエラーは再構成された画像に均一に追加されるため、画像にギザギザのエッジが残る。学習方法に基づいて、 [24-26]は、最初に低解像度の画像
ブロックセットの選択と最も近い k 個の近傍の入力画像に対して、そして制約付き最小二乗解の値に対して
近傍埋め込み方法を提案し、適切な重みを取得して高解像度画像ブロック、近傍の埋め込み方法は単純で直接的であり、サンプルセットへの依存性は大幅に減少する。ただし、近傍の数は固定され、ユーザーによって制御されるため、過剰適合または過小適合が発生し、最終的な画像再構成でぼやけが発生した。
先行研究では、入力チャネルの数を増やすトレーニングが、より多くの画像特徴を抽出し、より多くの高周波情報を取得し、高解像度画像をよりよく再構築できることを提案した。 本研究では、入力画像を改善するための 3 つの畳み込み層で構成される SRCNN に基づいている。まず、3 つのステップに分かれて計算する。
最初のステップは、
低解像度の画像を 3 つの RGB チャンネルを持つ 3 つの別々の画像に分割することである。
2 番目のステップでは、3 つの画像をたたみ込みニューラルネットワークでトレーニングして、3 つの出力画像を取得する。 3 番目のステップでは、取得した 3 つの画像を融合して、最終的な高解像度画像再構成を行う。 全体の流れを図４に示す。

図４ Multilayer Perceptron による SRCNN 画像超解像
Original Input

Bilinear Interpolation

SRCNN

Ours

6
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

(a)

(b)

(c)

図５超解像の比較実験結果
図５から、元画像のコントラストは他の画像のコントラストよりも低くなっている。 従来方法は画像の明るさを改善したが、詳細はぼやけている。 たとえば、図５の暗い領域は魚を表示できない。本研究で提案した手法は従来方法より良い結果を得ることが分かった。
（２）Wavelet Transform Fusion と SRFeat を利用した水中画像超解像
深層学習はコンピュータービジョンの分野で大きな成功を収めており、多くの手法が深層学習を利用して画像超解像を研究している。ドン等。 画像超解像の分野に初めて深層学習を適用するのは、畳み込みニュー
ラルネットワークに基づく超解像度畳み込みニューラルネットワーク（SRCNN）法である。この手法は計算性能と再構成効果において従来の画像超解像法よりも優れた。その後、いくつかの深層学習ベースの画像超解像手法が開発された。 Shi らは[27]サブピクセル畳み込み層を増やしてメーターを減らすことを提案した。
Kim ら[28]は、畳み込みネットワークの受容野を増加させ、SRCNN と比較して画像再構成の効果を向上させた。
この手法は深い再帰的ネットワーク（DRCN）に基づく画像超解像法を提案した。Kim ら[29]は、深い畳み込
みネットワークに基づく超深度超解像（VDSR）法も提案した。この手法は、ネットワークの学習速度を加速し、学習コストを削減し、ネットワークの深さを増やすことで画像解像度を改善する効果を証明することで、画像の超解像に残差の概念を導入した。Tai ら[30]は、再帰的残差構造によってネットワークの深さを増やし、画像の解像度をある程度向上させて、深い再帰的残差ネットワーク（DRRN）に基づく画像超解像法を提案した。Lim ら[31]残差ブロックの不要なバッチ正規化（BN）を削除して、モデルをよりコンパクトにし、画像の再構成品質を改善した。Lai ら[32]は、ラプラスピラミッドに基づいてラプラシアン超解像ネットワーク（LapSRN）モデルを構築し、段階的なアップサンプリングによって超解像を再構築した。Ledig ら[33]は、生成的敵対的ネットワークベースの画像超解像（SRGAN）を提案した。Haris ら[34]連続アップサンプリ
ングとダウンサンプリング（ディープバックプロジェクションネットワーク（DBPN））を備えたネットワークを提案し、各ステージのエラーフィードバックメカニズムを確立することによって再構築を導きした。上記の方法では、目的関数として MSE を使用したから、生成された画像には高いピーク信号対雑音比（PSNR）があるが、生成された品質には高周波情報とテクスチャの詳細が欠けており、知覚効果は十分では利用しなかった。既存の GAN ベースの超解像手法を使用して実際のテクスチャ情報を生成できるが、意味のない高周波の追加ノイズが生成される傾向がある。したがって、Park ら[35]は特徴識別ネットワークに基づく特徴識別（SRFeat）を使用した単一画像超解像を提案した。 GAN に基づいて識別ネットワークを追加し、生成ネット
ワークが画像構造に関連する高周波機能を生成できるようにし、超解像画像の視覚効果をさらに改善した。
現在の深層学習法は画像超解像の復元効果を高めるが、次のような問題がまだ残っている。まず、画像の7
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

特徴と画像の全体的な情報のネットワーク抽出は不完全である。つまり、学習能力が不十分である。第 2 に、
ネットワークの深いに伴い、勾配がなくなり、ネットワークが不安定になってしまう。第 3 に、ディープネ
ットワークトレーニングは、より多くのパラメータを生成し、多くの計算時間がかかる。第 4 に、再構築プ
ロセスでは不要なノイズを追加されている。
上記の問題を解決するために、本研究では、SRFeat に基づく改良された画像超解像法を提案する。マルチ
フレーム融合法に利用されたこの方法は、トレーニング後の画像をアップサンプリング画像と融合する。ネットワークのトレーニングの複雑さを増すことなく、ネットワークで取得できない画像情報を取得し、同時にノイズ除去の効果を達成できる。提案モデルでは、SRFeat ネットワークフレームワークをトレーニングの
バックボーンネットワークとして使用する。また、ネットワークトレーニング後の画像は、補間された低解像度画像が融合される。トレーニングネットワークとトレーニングパラメーターのレイヤーを増やすことな
く、よりグローバルな画像情報が取得され、ノイズが除去されるだけでなく、高画質の超解像画像が復元される。
まず、Generative Adversarial Networks（GAN）を紹介する。GAN は 2014 年の「ゼロサムゲーム」のゲー
ム理論から発想を得た生成モデルである。ディープラーニング生成モデルに基づいて開発されている。ネットワークの生成に加えて、判別ネットワークも含まれる。 GAN は、カウンタープロセスを通じて生成モデルを推定するための新しいフレームワークであり、確率的勾配降下法（SGD）を使用して最適化できる。これらの 2 つのモデルは、キャプチャされたデータ分布モデル G（ジェネレーターモデル）と確率判別モデル D（判別モデル）で、同時にトレーニングする必要があるサンプルのトレーニングデータソースを推定するために使用される。ジェネレーターモデルは、実際のデータサンプルの潜在的な分布をキャプチャし、新しいデー
タサンプルを生成する。弁別器モデルは、入力データが実際のデータか生成されたサンプルデータかを区別するためのバイナリ分類器である。ゲームで勝つために、2 つのモデルは生成能力と識別能力を向上させる必要がある。ディープニューラルネットワークは、ジェネレーターモデルと弁別子モデルに使用できる。生
成的敵対的ネットワーク（GAN）の最適化プロセスは、Min-Max ゲームの問題である。最適化の期待はナッシ
ュ均衡に到達することである。これにより、ジェネレーターモデルはデータサンプルの分布を推定したり、期待されるデータサンプルを生成したりできる。
例として、画像の超解像の問題を取り上げると、この問題を解決するプロセスでは、あいまいな低解像度の画像が入力として取得され、生成されたネットワークから高解像度の鮮明な画像が出力される。判別ネッ
トワークは、入力画像が実画像か生成画像かを判断する必要がある。判別ネットワークからのフィードバッ
クの後、生成ネットワークは、判別ネットワークが実際の画像と生成された画像を正確に区別できなくなるまで、画像を生成し続ける。
現在、GAN に基づく SR 手法を使用して実際のテクスチャ情報を生成できるが、それらはすべて、入力画像とは関係のない無意味な高周波ノイズを生成する傾向がある。SR 再構成後の画像と真の HR 画像の違いは高周波情報であり、GAN で使用される平均二乗誤差（MSE）損失関数は高周波情報を学習するには不十分であり、直接 GAN 損失も生成されるためである。画質の高い高解像度画像を取得するために、Park など[35]は、GANに基づく SRFeat ネットワークを提案した。この方法では、ジェネレーターで長距離ジャンプ接続を使用するだけでなく、特徴領域に判別ネットワークを追加したから、画像構造に関連する高周波特徴を生成できる。
具体的には、ネットワークのトレーニングに 2 つのステップがある。最初のステップは、ImageNet によってトレーニングされる平均二乗誤差（MSE）事前トレーニングによってネットワークを生成することである。ただし、超解像結果は視覚的に満足できない。 2 番目のステップは、知覚損失と 2 つのカウンター損失を使用してネットワークをトレーニングすることである。ここで、VGG19 を通じて高解像度と画像再構成を行い、MSE を計算する。 GAN 損失の 1 つは、画像識別ネットワークである。これは、元々の方法として画像のピク
セル値を評価し、もう 1 つの GAN の損失は、画像の特徴グラフを決定するために使用される特徴識別ネット
ワークに対応する。つまり、知覚誤差で計算されたオブジェクトは、判別ネットワークによって判断される。
目的は、高解像度と超解像のイメージの一貫性を保つことで、機能 GAN 損失は、高周波ノイズではなく知覚される高周波情報を生成することである。
さらに、画像融合について紹介する。画像融合は、情報融合研究分野で注目されている。画像データには、シーンの明暗、色、温度、距離、その他の特徴を含むことである。これらの画像は、単一の画像で表示できる。画像融合とは、2 つ以上の画像情報を 1 つの画像に融合することをいう。これにより、融合された画像にはより多くの情報が含まれ、人間の観察やコンピュータ処理に便利である。画像融合の目的は、関連する

8
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

情報を実際のアプリケーションターゲットの下で最大限に組み合わせて、出力の不確実性と冗長性を減らすことである。本研究では、ウェーブレット変換画像融合法である最も基本的な画像融合法を利用する。ウェーブレット変換は 1980 年代後半に提案され、画像コーディング、パターンマッチング、フラクタル分析に最初に使用された。ウェーブレット変換に基づく方法は画像融合に適用される。ウェーブレット変換を使用した画像の融合は、明らかな人工的な効果なしに、周波数領域と空間領域の両方で画像をより良い結果にすることができる。
本研究で提案したアルゴリズムの有効性をより適切に検証するために、通常の画像を元の方法と比較するだけでなく、比較のためにいくつかの水中画像を採用する。 表 2 は水中画像の比較結果である。
表２ SRFeat との比較実験結果
SSIM
PSNR
Image
Scale
SRFeat/Ours
SRFeat/Ours
Ancuti3

40.9286/0.9651

38.9880/43.0335

ocean4

40.8313/0.8982

34.3557/36.9368

Im10

4

0.9136/0.9422

37.6175/39.4061

Ancuti10

40.9523/0.9761

42.0241/45.2440

表 2 の実験結果より、PSNR と SSIM の両方が大幅に改善されていることが分かった。これは、本研究で提案されているアルゴリズムは、一般的な画像だけでなく、より複雑な水中画像にも優れた効果があることを示している。図６に、実際の水中画像の実験結果を示す。 この図から、画像の全体的な情報が再構成され、画像内の一部のノイズも除去されており、再構成された画像が良好な効果を持っていることが分かった。

9
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

図６ 本研究での提案法と SRFeat の比較実験．（左）入力画像（中）SRFeat 結果（右）提案法
本研究では、高解像度画像の再構成効果をより良くするために、深層学習画像超解像再構成を従来の画像融合方法と組み合わせて、融合ベースの SRFeat 画像超解像アルゴリズムを提案した。 SRFeat のネットワー
ク構造を参照することにより、画像はトレーニングされ、ウェーブレット変換融合のために低解像度画像のアップサンプリングと結合された。 提案法は、画像のより包括的な情報を取得し、ノイズ除去の良い効果を達成できた。ネットワークはより深い層と多量なパラメータを不要である。ただし、提案法には優れたノイズ除去効果があるが、使用された融合アルゴリズムは簡単であるため、画像の細部を保持することはできない。 したがって、今後は、画像融合のアルゴリズムを研究することを試みる。

3．結論と展望近年、海洋に関する ICRT 技術の産業開発が世界的に盛んになっている。2014 年国連は気候変動に関する
新たな取り組み「ビッグデータ・クライメイト・チャレンジ」を開始した。このイニシアティブは国連事務総長が開催した 2014 年国連気候サミットに関連したものである。
「ビッグデータ・クライメイト・チャレンジ」の主要な目的の 1 つは、ビッグデータを活用して気候変動への対策を明らかにすること、特に「気候変動の経済的側面のデータに基づいた証拠を公開すること」である。
日本の海洋ビッグデータの研究開発は進んである。エブリセンス社は 2016 年から IoT 分野に関する技術を用いた漁場や海洋情報の収集および共有システムの共同研究開発プロジェクトを開始した。従来の個別情報の取り扱いから、より広域かつ共用型の情報共有が求められつつある。例えば、魚群探知機による魚影・海底情報などや、水深、水質、水温、潮目、潮流、風向、風速、波高などの海洋環境情報を、海洋業務に関連する各事業者が連携し相互利用を可能とする海洋情報流通プラットフォームを構築することで、広く水産業、
海洋関連事業の生産性向上へ寄与するものと期待されている。日本舶用工業会スマートナビゲーションシス
テム研究会は、船舶搭載機器などから収集されたビッグデータを活用するための基盤となる海事 IoT 技術の開発とその標準化を主な目的として 2012 年 12 月に設置された。この海事 IoT は、船舶搭載機器やシステムから得られた航海、機関、船体・貨物などのデータが海事衛星等の通信手段を通じて陸に送られ、陸上に張り巡らせられたインターネットを介してそれらのデータを活用することにより、予測できない機械停止を減らす、操船時のエネルギー効率を高める（GHG 排出削減）、メンテナンスコストを低減するなどのほか、広く
海事ビジネスの革新を目的としている。
このようにビッグデータ・人工知能への注目が高まり、各国がその開発に向けて力を入れている。しかしながら、これまでのビッグデータ・人工知能の研究開発は空中、陸上及び海上等の日常生活支援に関する課
題の解決が主である。他方、深海底や海中などの資源調査に対する先端的なビッグデータや人工知能の研究
開発とその応用はまだ不十分であり、従来の人工知能やロボット技術をそのまま適用することが困難な場合が多い。
そこで、本研究では世界初の海洋資源開発 AI システムの一つとして、水中画像超解像を研究できた。
今後、更なる遂行すれば、以下の学術的・経済的・社会的な課題を解決できる。
（１）複雑な海底環境におけるビッグデータ・人工知能技術の開発
本研究では世界に先駆けて効率的な海底採鉱システムによるビッグデータ・人工知能技術を開発する。深海底で撮影した劣化ビデオデータを含む新たな人工知能モデルを提案し、海底生物を認識するための超解像技術を開発できた。今後、塩度、流速等のデータ信号を人工知能モデルで解析し、鉱物の分布を解明する海洋資源の予測モデルの開発を行う。
（２）効率的な海洋資源開発技術の確立

10
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

本研究では新たな人工知能を用いた水中生物認識技術を搭載した深海探査向け計測システムを製作した。
今後は。高精度で粉塵中でも採掘機の位置、鉱物の厚さや分布を検知できる画像計測方法、知能制御技術及び知能センサ技術を確立する。

【参考文献】
1)
K. He, Jian Sun, Xiaoou Tang, “Single Image Haze Removal Using Dark Channel Prior”, IEEE
Transactions on Pattern Analysis and Machine Intelligence, 33(12), pp. 2341-2353, 2011.
2)
Z. Kalal, K. Mikolajczyk, J. Matas, “Tracking-Learning-Detection”, IEEE Transactions on
Pattern Analysis and Machine Intelligence, 6(1), pp. 1-17, 2010.
3)
H. Lu, D. Wang, Y. Li, J. Li, X. Li, H. Kim, S. Serikawa, I. Humar, “CONet: A Cognitive Ocean
Network”, IEEE Wireless Communications, 26(3), pp.90-96, 2019.
4)
H. Lu, T. Uemura, D. Wang, J. Zhu, Z. Huang, H. Kim, “Deep-sea Organisms Tracking Using
Dehazing and Deep Learning”, Mobile Networks and Applications, pp.1-8, In Press, 2019.
5)
Y. Sakai, H. Lu, J. Tan, H. Kim, “Recognition of surrounding environment from electric
wheelchair videos based on modified YOLOv2”, Future Generation Computer Systems, 92, pp.157-161, 2019.
6)
H. Lu, Y. Li, T. Uemura, H. Kim, S. Serikawa, “Low Illumination Underwater Light Field Images
Reconstruction Using Deep Convolutional Neural Networks”, Future Generation Computer Systems, 82,
pp.142-148, 2018.
7) H. Lu, Y. Li, S. Nakashima, S. Serikawa, “Turbidity Underwater Image Restoration Using Spectral
Properties and Light Compensation”, IEICE Transactions on Information and Systems, E-99D(1),pp.219-226, 2016.
8) C. Dong, C. C. Loy, K. He and X. Tang, “Learning a deep convolutional network forimage super-resolution”, ECCV 2014, Part IV, LNCS 8692, Springer, pp. 184-199, 2014.
9) Lertrattanapanich S，Bose N K. “High resolution image formation from low resolution frames usingdelaunay triangulation”, IEEE Transactions on Image Processing，11(12), pp.1427-1441, 2002.
10) Tong C S，Leung K T. “Super- resolution reconstruction based on linear interpolation of wavelet
coefficients”, Multidimensional Systems and Signal Processing，18（2）：153-171, 2007.
11) Tong C S，Leung K T., “Super-resolution reconstruction using Haar wavelet estimation”, Wavelet
Analysis and Applications, Birkhäuser Basel，2006：419-430.
12) Zhou D.An, “edge-directed bicubic interpolation algorithm”, International Congress on Imageand Signal Processing, IEEE，pp. 1186-1189, 2010.
13) Aly H, Dubois E. “Regularized image up-sampling using a new observation model and the level set
method”, In: Proceedings of the 2003 International Conference on Image Processing. Barcelona,
Spain: IEEE, 2: Article No. III-665-8, 2003.
14) Aly H A, Dubois E. “Image up-sampling using total-variation regularization with a new observation
model”, IEEE Transactions on Image Processing, 14(10): 1647−1659, 2005.
15) He K，Zhang X，Ren S，et al. “Deep residual learning for image recognition”, Computer Vision and
Pattern Recognition,IEEE，pp.770-778, 2015.
16) Cao M，Gan Z，Zhu X., “Super-resolution algorithm through neighbor embedding with new feature
selection and example training”, IEEE International Conference on Signal Processing. IEEE，pp.825-828, 2012.
17) Huang K，Hu R，Jiang J，et al. “Face image super-resolution through improved neighbor embedding”,
Multimedia modeling, Springer International Publishing，2016.
18) Stark H ， Oskoui P., ”High-resolution image recovery from image-plane arrays ， using convex
projections”, Journal of the Optical Society of America A：Optics & Image Science，1989，6（11）19) Wernick M N，Chen C T., “Method of recovering tomographic signal elements in a projection profileor image by solving linear equations：US”，US5323007[P].1994
20) Stark H, Olsen T. “Projection-based image restoration”, Journal of the Optical Society of America
A，9(9), 1914-1919, 1992.

11
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

21) Rasti P，Demirel H，Anbarjafari G. “Improved iterative back projection for video super-resolution”,
Signal Processing and Communications Applications Conference，pp.552-555, 2014.
22) ZENG Kai, DING Shifei. “Advances in image super-resolution reconstruction. Computer Engineeringand Applications”, 53（16）：29-35、2017.
23) Irani M，Peleg S.,”Super resolution from image sequences”,ICPR-C， 90：115-120, 1990.
24) Cao M，Gan Z，Zhu X. “Super-resolution algorithm through neighbor embedding with new feature
selection and example training”, IEEE International Conference on Signal Processing, IEEE，pp.825-828, 2012.
25) Gao X，Zhang K，Tao D，et al.”Image super- resolution with sparse neighbor embedding”, IEEE
Transactions on Image Processing A Publication of the IEEE Signal Processing Society，21（7）,pp.1-10, 2012.
26) T. Fan, C. Li, X. Ma, Z. Chen, X. Zhang and L. Chen, “An improved single image defogging method
based on Retinex”, 2017 2nd International Conference on Image, Vision and Computing (ICIVC),
Chengdu, pp. 410-413, 2017.
27) Shi W, Caballero J, Huszár F, et al. “Real-time single image and video super-resolution using
an efficient subpixel convolutional neural network”, Proceedings of the IEEE conference on
computer vision and pattern recognition, pp.1874-1883, 2016.
28) Kim J., Lee J K, Lee K M. “Deeply-Recursive Convolutional Network for Image Super resolution”,
IEEE Conference on Computer Vision and Pattern Recognition, pp.1-10, 2016.
29) Kim J, Lee J K, Lee K M. “Accurate Image Super resolution Using Very Deep Convolutional Networks”,
pp.1-10, 2015.
30) Tai Y, Yang J, Liu X. “Image Super resolution via Deep Recursive Residual Network”, IEEE Computer
Vision and Pattern Recognition, pp.1-10, 2017.
31) Lim B, Son S, Kim H, et al. “Enhanced deep residual networks for single image super-resolution”,
Proceedings of the IEEE conference on computer vision and pattern recognition workshops,
pp.136-144, 2017.
32) Lai W S, Huang J B, Ahuja N, etc. “Deep Laplacian Pyramid Networks for Fast and Accurate Super
resolution”, IEEE Conference on Computer Vision and Pattern Recognition, pp.5835-5843, 2017.
33) Ledig C, Theis L, Huszar F, etc. “Photo-Realistic Single Image Super resolution using a Generative
Adversarial Network”, pp.1-10, 2016.
34) Haris M, Shakhnarovich G, Ukita N. “Deep back-projection networks for super-resolution”,
Proceedings of the IEEE conference on computer vision and pattern recognition, pp.1664-1673,
2018.
35) Park Seong-Ji,Son Hyeongseok, Cho Sunghyun,Hong Ki-Sang,Lee Seungyong. “SRFeat: Single Image
Super resolution with Feature Discrimination”, Computer Vision -ECCV, Springer International
Publishing Cham, pp.455-471, 2018.

〈発
題

名

Underwater Image Enhancement Using
Improved Generation Adversarial Network
Single image super resolution via wavelet
transform fusion and SRFeat network
Improved Image Enhancement Method Basedon Retinex Algorithm
Cognitive ocean of things: a comprehensive
review and future trends

表

資

料〉

掲載誌・学会名等

発表年月

Concurrency
andComputation:
Practice and Experience
Journal of Ambient Intelligence andHumanized Computing

25 May 2020
16 May 2020

Studies in Computational Intelligence

1 January 2020

Wireless Networks

1 September 201912
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度