立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

画像空間の構造と画像変換ネットワークの構造の関係の研究
Relationship between the structures of image spaces and image transformation networks
2201004

研究代表者

早稲田大学 理工学術院
基幹理工学研究科

教 授

石川博[研 究 の 目 的]
データ空間が構造を持つということは，データを格納する変数が意味を持つことである。プログラム言語理論では，プログラムの効果・意味をセマンティクスと呼ぶが，ここでは，いわば変数のセマンティクスを考える。つまり，計一般の深層学習算機応用で通常採用される「符号化は任意である」という概念とは対照的に，データは様々なす関数が自然に汎化性能を持つようになること構造を持つ空間の要素であり，それら空間の間を示した。には構造について自然な関係があると仮定する。

汎化こそが機械学習の本質である。これを説

例えば，画像は平面領域の各点に色を与えたも明するため例えば画像のノイズ除去を考えると，のなので，平面領域の構造と色の空間の構造を一般の深層学習では，学習データを予測するよ受け継いでいる。データの，そしてそれから誘うにモデルのパラメータ (重み) を決定する。

導されるデータ空間の構造を考慮することに

つまり，大量の (ノイズ入り入力，ノイズ無し

よって，その視点から様々なタスクにおける正解出力) 組からなる学習データを与えて，入ネットワーク構造とその汎化性能の関係を理解力に対するネットワークの出力と正解出力の距することをめざす。

離が小さくなるような重みを探す。

一般のニューラルネットワークは実数値をとつまり，ここでいう学習とは，入力に対するるという以外のデータ空間の構造を考慮してい出力を与える関数を覚えさせることであるが，ないが，コンピュータービジョンに劇的な性能単なる記憶とは重要な違いが存在する。それは，向上をもたらした畳み込みニューラルネット

記憶とは前に見た学習データに対して入力−出

ワーク (CNN) は，一般ネットワークの構造力関係を答えられることであるが，学習におけに加えて，変数に空間的な意味を与え，画像領る目標は，学習データに入っていない，初めて域における近傍や対称性の概念をその構造に反見る入力に対する出力を「推測」することであ映させている。このことがその性能の元であるるということである。これを汎化という。つまと い う 証 拠 の 一 つ は Deep Image Prior

り，学習データで見たことをおしひろげて，ま[Ulyanov et al. CVPR2018] である。これは学だ見ぬデータにおける入力-出力関係を推測す習によらず最適化によって，ネットワークの表るのである。問題は，何を根拠に推測するかで― 1 ―立石科学技術振興財団

ズを除去した画像を途中で通るのである。これは何を意味するのか。まるで CNN が自然な画像を好むかのようである。
ノイズ除去だけであればそれはそれほど特筆すべきことに思われないかも知れない。ノイズ除去はニューラルネットワークによらなくとも，様々な手法によって学習データなしに達成することができるのだから。しかし， Deep Image(上段：ノイズ除去Prior はノイズ除去だけでなく高精度の画像補

下段：画像補完)完 (inpainting) も達成した (左図)。学習なし

Deep Image Priorに純粋に CNN の重みを一定の方法で最適化するだけでここまで自然に画像の穴を埋めることある。
汎化が可能なのは，学習データの入力と出力が で き る の は 完 全 に 予 想 外 で あ っ た。Deepの間に何らかの相関関係が存在して，それをImage Prior においては全く学習させないのでデータから「学習」するからだと考えられる。

あるから，CNN のネットワーク構造自体がこ

ところが，Deep Image Prior では，学習デーれを引き起こしているように思われる。

タを全く使わず，ランダムな入力を固定し，与このように Deep Image Prior は，学習によえられたノイズ入り画像にネットワーク出力画る重みだけでなく，ネットワークの構造が汎化像が近づくように，重みだけを変えていく。

性能に重要であることを示したが，これは当然，CNN のパラメータ数は一般に非常に多いため，同じネットワークで学習をする場合にも重要で任意の画像を出力するに十分な自由度を持ってあると思われる。そこでこの二つの関係を多様いて，最終的には Deep Image Prior CNN の出な画像変換問題において調べ，より具体的にど力は，最適化の目標としたノイズ入り画像に到の要素が重要であるかを解明することにより，達する。Deep Image Prior の発見は，重みを各タスクにおける，より高性能な学習システム変えてそこへ行く途中で，ネットワーク出力画の開発につなげることをめざす。

像がノイズを除去した画像になったことである。
CNN にノイズとは何かを全く教えなくても，出力をノイズ入り画像に近づけていくと，ノイ同じネットワークの 2 つの使用法― 2 ―Tateisi Science and Technology Foundation

Encoder-Decoder アーキテクチャ[研究の内容，成果］
本研究では，上記の手始めに，同一のネットワーク構造の，通常の学習によるタスクにおける性能と，Deep Image Prior としての学習をしないタスク性能との相関を調べた。これは，Deep Image Prior としての性能の方が学習の必要がないため短時間で測定でき，もし両者に相関があれば，学習により使用する CNN の構学習時と Deep Image Prior 時の性能プロット造設計をより高速に行えるためである。そのたそれぞれの構造について，ノイズ除去タスクめに，ノイズ除去タスクにおいての両者の性能のための通常の学習をした場合の最終的なテスを調べた。
調 査 し た 構 造 は，い わ ゆ る Encoder-

ト評価値 RMSE と，学習をしない Deep Image

Decoder アーキテクチャ (上図) と呼ばれるもPrior としての評価値とをプロットしたものがので，前半の Encoder 部分が入力画像から畳上 図 で あ る。横 軸 が 学 習 時 の 性 能，縦 軸 がみ込み層により解像度を下げつつチャンネル数

Deep Image Prior 時の性能である (以下同様)。

を増やしていき，画像の特徴を抽出する。そしこれを見ると，両者には何らかの相関があるよて，図で一番低い部分にあたるボトルネックをうに見える。それぞれの場合に何が性能差をも通して，今度は Decoder が画像に戻す。このたらしているかが問題になる。

基本構造に，スキップコネクション (SC) と種々の可能性を検討したが，結論としては，呼ばれる，ボトルネックをバイパスする経路をネットの深さ (上図参照) により色分けした次付加する。これら Encoder や Decoder の深さのプロットを見ると，同じ色が横に並んでいるや，SC の有無，また SC を入れる層の深さのことから，Deep Image Prior 時の性能 (縦軸)違いによる様々な構造 300 種類以上について調は，ネットワークの深さに強く依存しているこ査した。とがわかる。
― 3 ―立石科学技術振興財団

今度は，同じ色が縦に並んでおり，横軸，つまり学習時の性能はこの SLC という量に依存しているようである。
以上のように，学習によるタスクの性能は主に，最も浅い SC の深さに関係し，Deep Image Prior としての学習をしないタスク性能は，ネットワークの深さに関係することが判明した。
これらの 2 要素は独立に変化させることができ，実際にこれらを変化させると 2 つの方法による深さによる色分け (右上が凡例)タスク性能をコントロールすることができるの一方，同様なことが学習時の性能 (横軸) にで，当初の目論見である CNN 構造設計には単ついて見つからずに苦労したが，最終的に，次純には使えないことが判明した。これとともに，のようなことが分かった。

プロットが一見相関を表すように見える理由も判明した。すなわち，ネット全体が浅い場合には，SLC も大きくはできないということである。そのため，プロットの右上部分，つまり深さが浅く SLC が大きい場合に対応する部分にはプロットの点が存在しない。
[今後の研究の方向，課題］

SLC

本研究の当初の目論見は外れたが，今後もSLC (Shallowest Level of Connection) とでデータの，そしてそれから誘導されるデータ空も呼ぶべき量に注目する。これは，スキップコ間の構造を考慮することによって，その視点かネクションのうち，最も浅いレベル間をつなぐら様々なタスクにおけるネットワーク構造とそものの深さである。これによって色分けすると，の汎化性能の関係を理解することをめざしたい。

プロットは次のようになる。
[成果の発表，論文等］
検討中

SLC による色分け (右上が凡例)― 4 ―