ヒストグラムの相関に基づく
映像カラー化の参照画像変更
Histogram Correlation based
Reference Image Change
For Video Colorization

令和 3 年(2021)年度卒業論文
指導教員 Micheletto Ruggero
横浜市立大学
国際総合科学部国際総合科学科
物質科学コース
180341白川雄也

1

⽬次
１ 序論 .................................................................................................................................... 3
1.1 背景 ............................................................................................................................... 3
1.2 課題と目的 .................................................................................................................... 42 関連研究 ............................................................................................................................. 5
2.1 畳み込みニューラルネットワーク ............................................................................... 5
2.2 Very Deep Convolutional Networks for Large-Scale Visual Recognition ........... 7
2.3 カラリゼーション .......................................................................................................... 8
2.4 Deep Exemplar-based Video Colorization................................................................. 9
2.5 カラー化に基づく圧縮 ................................................................................................ 11
2.6 ヒストグラム ............................................................................................................... 12
2.7 Histogram Correlation for Video Scene Change Detection ................................. 13
3 本研究の手法 .................................................................................................................... 14
3.1 ヒストグラムによる参照画像自動切り替え............................................................... 14
3.2 評価指標 .................................................................................................................... 15
3.2.1 Peak Signal-to-Noise Ratio (PSNR) ........................................................................ 15
3.2.2 Structural Similarity index (SSIM) ...................................................................... 16
3.3 検証映像データ ........................................................................................................... 17
4 結果 .................................................................................................................................... 18
4.1 検証映像①の出力結果 ................................................................................................ 18
4.2 検証映像②の出力結果 ................................................................................................ 21
4.3 検証映像③の出力結果 ................................................................................................ 26
4.4 検証映像④の出力結果................................................................................................ 34
4.5 検証映像⑤の出力結果................................................................................................ 42
4.6 検証映像⑥の出力結果 ................................................................................................ 45
5 考察 ..................................................................................................................................... 47
6 結論 ..................................................................................................................................... 51
7 参考文献 .............................................................................................................................. 52
8 謝辞 .................................................................................................................................... 54

2

１ 序論
1.1 背景映像情報を用いたビデオ通話等の技術はコミュニケーション手段として重要度が増している.しかし通信インフラが未発達な地域では映像のやり取りが満足にできない場合が考えられる.また高解像度な映像の出現により,映像データ量は年々増加している.通信環境が十分でない場所でもより効率的に映像の転送が可能な新しい技術を模索することが必要
だ.
近年ディープラーニングは様々な分野で研究され利用されている.画像や映像の分類・生成,音声認識や異常検知,さらに楽曲や絵の生成まで及ぶ.その中にはカラリゼーションも含まれる.カラリゼーションとは白黒画像や映像をカラー化する技術である.色は私たちの脳や心に,強い印象をもたらすため,白黒で記録されている古い映画や写真に色をつけ楽し
むために利用されることが多い.
カラー化は私たちに深い感動や発見をもたらすだけでなく、データ圧縮に利用できる可能性がある[1][2].画像や映像のデータ圧縮手法としてカラー化を利用するには,送信時に色情報を削減し,受信側で色情報を復元する手法が考えられる.(Fig 1.1-1)

Fig 1.1-1 : カラー化によるデータ圧縮手法の概略図3

1.2 課題と目的
カラリゼーションは多く研究されており,近年はディープラーニングを使用した自動カラー化が多く研究されている[3][4][5].自動で行われるカラー化は色の復元を目的としていないため,非常にリアルな色を作成するが元画像の色との類似性は低いことがあり,その結果,自動着色した結果は,望んだ色でないことがある.例えば,風船のグレースケール画像をカラー化する場合,多くの色が予想される.赤でも良いし,青でも良い.元の風船の色を正確に予測するとは限らない.
データ圧縮手法としてカラリゼーションを活用するには,送信側でカラー画像をグレース
ケール画像に変化させ,カラー画像より少ないデータ量でグレースケール画像と一部情報のみを送信,受信側ではグレースケール画像と一部情報を用いてカラー画像に復元することが手法として考えられる.映像に適用する場合も同様である.カラー化をエンターテイン
メントではなく,情報伝達手段として活用するためには復元時には元画像や映像の色と類似していることが前提となってくる.色によって印象や状況が誤って伝わってしまうためである.
また,情報伝達手段として利用するためには,後処理ができないことが制約として加わる.
加えて,映像を作成する際にフレーム一枚ずつをユーザーが手動で作業を行うカラリゼー
ションは労力や時間がかかり適切でない.コミュニケーション手段としてカラリゼーショ
ンを利用するには,人の手による作業や後処理を必要とせず,映像のフレームが一枚ずつ出
力され,元データの色に類似しているカラー化が自動で行われる必要がある. そして映像をカラー化する際には,時間的な一貫性も考慮しなければならない.一般的に色は時間的に安定しているためだ.
本研究では白黒映像のカラー化を行う手法として Zhang[5]らの手法を用いる.この手法は時間的な色の一貫性を解決し映像のカラー化を行うことが可能であり,参照に用いた画像の色が出力に反映されるカラー化とディープラーニングによる自動カラー化を組み合わせた手法である.本研究では,元の映像フレームを一枚抽出し,参照画像にすることでカラー化後映像の色を復元することを目指す.しかしシーンが切り替わり,参照画像が適切でなくなった場合は自然なカラー映像を得ることができなくなる.もし自然かつ忠実なカラー映像を継続して出力する場合には,映像内の物体や背景,シーンの急激な切り替わりの際に,参照画像も適切に変更する必要がある.フレーム一枚一枚をカラー化するのに元映像のフレームを同じ枚数使用していては意味がないので,参照画像を適切な指針として機能するまで保持し,機能しなくなった場合,新たな参照画像を用いるようにし,色の変化やシーン変化に対応できるようにしたい.参照画像を手動で変更していくのは手間がかかってしま
い,さらに参照画像をどのフレームで変更すれば良いか明確な基準もない.そこで本論文では,ヒストグラムの相関を使用し,色の類似で参照画像が適切かどうかを決めることで,参照画像を自動で切り替えることを目指し,品質向上を目指す.

4

2

関連研究

2.1 畳み込みニューラルネットワーク
一般に畳み込みニューラルネットワークは畳み込み層とプーリング層で構成される.この章では二次元データの形状における畳み込み演算とプーリング処理を説明する.
畳み込み層では,入力データにフィルター(またはカーネル)を適用し,畳み込み演算がされる.入力データにフィルターを一定間隔で動かし、それぞれのフィルターの要素と入力データの対応箇所を乗算し,和を求め,出力へ集約していく.このフィルターは最適化されるパラメータを持つ.フィルターの適用する位置をストライドという.

Fig:2.1-1 畳み込み演算

フィルターが出力された後の出力は,活性化関数に通され,特徴量マップを得る.なお三次元データに適用する際は,チャンネル方向に畳み込み演算を行った後,加算して一つの出力を得る. また入出力を同じサイズにしたり,出力サイズを調整するため,畳み込み演算の前に,入力データの周囲に固定の値を埋めるパディングという処理が行われることがある.
プーリングは空間サイズを小さくする処理を行う.特徴量のサイズが小さくなるため効率が向上する.プーリングには最大値プーリング,平均値プーリングがある.
最大値プーリングは、近傍のピクセルから最大値を取得し,一つの要素に集約する.平均値
プーリングでは,近傍のピクセルの平均値を取得し一つの要素に集約する.なおプーリング
層には最適化されるパラメーターは存在せず,入出力でデータのチャネル数は変化しない.

Fig:2.1-2 プーリング処理,左は最大値プーリング,右は平均値プーリング(ストライド 3)

5

CNN は複数の畳み込み層とプーリング層が連続し構成され, 最後に全結合層が複数存在す
る.全結合への入力が二次元であった場合は,一次元に変換され入力されることになる.そしてその出力は,出力層に入力される.出力層は各クラスの確率を出力する.もし,1000 種類のクラスに分類する場合は,1000 個の出力ユニットが存在することになる.
CNN は入力画像から特徴量マップを計算する.畳み込み層は,階層的に特徴量を抽出する.
入力層のすぐ後ろにある層はデータから低レベルの特徴量を抽出する.扱うデータが画像の場合は,エッジ等の低レベルの特徴量を最初のほうの層から抽出する.そして低レベルの特徴量を組み合わせることで,高レベル特徴量を形成する.高レベルの特徴量は,建物や車の全体的な輪郭など複雑な形状を形成することができる.低レベルの特徴量を層ごとに組み合わせて高レベルの特徴量を形成することで,特徴量階層を構築する.[6][7]Fig:2.1-3 特徴量マップ算出イメージ6

2.2 Very Deep Convolutional Networks for Large-Scale Visual Recognition
VGGNet[8]は畳み込み層とプーリング層からなる畳み込みニューラルネットワークであり,重みを持つ層の数が 11,13,16,19 層のバージョンがそれぞれ存在する.例えば,19 層の VGG
は VGG-19 と表されることが多い.VGG は画像分類のためのネットワークで,100 万を超える画像で訓練され,画像を 1000 個のカテゴリに分類することが可能である.また VGG モデルは構造がシンプルなため様々な手法のベースのネットワークや特徴量抽出器として使用されることも多い.
VGG モデルの畳み込み層では 3×3 フィルターを使用し,局所受容野を小さくしている. これは大きいサイズのフィルターを使用するより,小さいサイズのフィルターを重ねて使用することで,提案当時の他の CNN よりも畳み込み層を増加させるためである.畳み込み層のストライドとパディングサイズは 1 に設定されている.また畳み込みの後,活性化関数
ReLU(Rectified linear unit)が存在し,層が重ねられることで非線形による表現力が向上
する.畳み込み層での処理を２～３回繰り返した後,最大値プーリング(max-pooling)を行
う.最大値プーリングのサイズは 2×2 で、ストライドは 2 に設定されている.最大値プーリ
ングで特徴量のサイズを減らした後,再び畳み込み層が続き,畳み込みが繰り返される.最後に 4096 チャネルの全結合層 2 つと 1000 チャネルの全結合層１つが続く.

Fig2.2: VGG-19 の全体像

7

2.3 カラリゼーション
画像や映像をカラー化する技術をカラリゼーションと呼ぶ.現在に至るまで多くの研究がされてきた.Levin ら[9]は最適化手法によるカラー化手法を提案した.この手法は手動によりわずかな色情報をヒントとして与えることでカラー化が行われる.Welsh ら[10]は参照
画像の色情報を白黒画像に対応付ける,つまり色を移すことでカラー化を行った.ユーザーが行うのは適切な参照画像を与えることである.適切な参照画像が与えられれば自然なカラー画像が生成される.
また近年,ディープラーニングの研究が盛んにされるようになり,データセットに基づく
カラリゼーションが多く研究されている[3][4][5].ディープラーニングによる手法は,カラー画像が多く含まれるデータセットから輝度画像と色差画像の関係を学習することで自動カラー化を行うことができるようになる.
ディープラーニングによる手法の多くは自動的にカラー化を行うが,白黒画像にそれらしい自然な色付けをすることに重きを置かれているため,必ずしも,元の画像や映像の色に忠実なカラー化ではない.データ圧縮に使用するには元の画像や映像の色を忠実に再現する必要がある.
映像のカラー化は,画像よりも困難なものである.それは時間的な一貫性も考慮する必要があるためである.一般的に色は時間的に安定している.例えば,赤い風船は時間が経っても赤いままである.そのため画像のカラー化手法を映像のカラー化にそのまま使用することはできない.映像フレームを個別に着色したとしても,フレーム毎に出力が異なり,色の時間的な一貫性が保たれていない場合がある.カラー化した映像中の物体の色がフレーム毎に変化し,多くのちらつきを感じてしまう.これを改善するためには,隣り合うフレーム
間で時間的な隣接関係を構築し,時間的な色の一貫性[11]を保つ必要がある.

8

2.4 Deep Exemplar-based Video Colorization
本研究では,Zhang ら[5]の手法を利用し,カラー化を行った.この手法のタスクは参照画像に基づく動画のカラー化であり,入力は白黒動画と参照画像である.色の時間的一貫性の問題に対しては,フレームをカラー化した後,その色を次のフレームに伝播させ解決している.しかしこのアプローチは,短い白黒ビデオをカラー化するのに有効であるが,ビデオが長くなるにつれ,エラーが徐々に蓄積し,カラー化が十分でなくなる可能性があるため,一つ前のカラー化後フレームのみを利用するだけでなく,参照として与えられた画像も利用する.与えられた参照画像と白黒フレームとの間にセマンティックな対応関係を見つけ,カラー化の指針にすることで蓄積誤差を低減し,かつ参照画像に忠実なカラー化が可能となっている.
アーキテクチャの簡単な解説を行う.
ネットワークは Correspondence-Subnet と Colorization-Subnet の 2 つのモジュールで構成されている.時刻 t における映像フレームを𝑥!" ∈ ℝ#×%×& ，参照画像を𝑦 "'( ∈ ℝ#×%×) とする.l と ab は，それぞれ LAB 色空間における輝度と彩度を表す.
Correspondence-Subnet は,VGG19 から抽出した特徴量マップを用いて,入力フレーム𝑥!" と参照画像𝑦 '( の間のセマンティクな対応関係を構築するネットワークである.
入力白黒フレームが入力された後,それぞれ VGG19 に与えられ,計算される.
最終出力を利用するのではなく,VGG19 内の relu2_2,relu3_2,relu4_2,relu5_2 の層から特徴量マップを抽出し利用する.
抽出した多層の特徴量マップを連結し, 𝑥!" , 𝑦 '( に対する特徴量Φx, Φy ∈ ℝ#×%×* を形成した後,4 つの残差ブロックに供給され,出力は 2 つの特徴ベクトル𝐹+ , 𝐹, ∈ ℝ#%×* に再形成される.
次に𝑥!" , 𝑦 '( の特徴間の類似性を計算し,対応関係を見つけるため,位置 i における𝐹+ と位置
j における𝐹, の類似性を特徴づける要素を持つ相関行列を計算する。

ℳ(𝑖, 𝑗) =1(𝐹+ (𝑖) − 𝜇-! )(𝐹, (𝑗) − 𝜇-" )4
5𝐹+ (𝑖) − 𝜇-! 5. 6𝐹, (𝑗) − 𝜇-" 6.

ここで,𝜇-! , 𝜇-" は平均特徴ベクトルを表す.
2 つの入力による特徴量を用いた相関行列に従い,参照色𝑦 '( を𝑥!" 方向に転写させ,カラー化の指針となる𝒲 '( を得る.
また色の転写は必ずしも正確ではないので,𝑥!" の各位置 i ごとに,参照色の抽出の信頼度示
す信頼度マップ S を出力する．
𝑆(𝑖) = max ℳ(𝑖, 𝑗)/

よって Correspondence-Subnet は 2 つの出力を生成する．

9Colorization-Subnet は現在の白黒フレームをカラー化するネットワークであり,現在のフレームの輝度𝑥!" ,参照画像から転写されたカラーマップ𝒲 '( ,信頼度マップ S,前フレーム"'(のカラー化結果であるフレーム𝑥;!0&,これら 4 つの入力を受け取る.
出力は t 時点のフレームに対して予測したカラーマップ𝑥;!'( である.
Colorization-Subnet は Zhang ら[4]による画像のカラリゼーションで使用された U-Net
アーキテクチャに似た構造である.Zhang ら[4]は大規模なデータから学習した情報と,ユーザーが抽出したカラー点を利用することにより,ユーザーの意図を反映するカラー化を実現した.アーキテクチャは低レベルの特徴を再利用するために,スキップ接続を持つオートエンコーダである. 多値の特徴をエンコーダは階層的に捉え,デコーダは利用して現在のフレームの色成分を予測する.ネットワークは複数の畳み込みブロックから構成され,各ブ
ロックは 2〜3 畳み込み層を含む.

(Zhang et al [5] )Fig 2.4-1 : 使⽤ディープラーニングアーキテクチャのダイアグラム

10

2.5 カラー化に基づく圧縮
Ftima ら[1]は敵対的生成ネットワークに基づく画像のカラー化を行い,低データレート領
域では JPEG より性能が良いことを主観評価で示した.Zhang ら[4]の手法は,グレースケー
ル画像の画素に複数の色情報を与えることで,カラー化を行う.また色情報を与えずとも,
自動的に自然なカラー化が可能である,しかし Ftima ら[1]は自動的なカラー化は原画像の色情報との類似性は低いことを指摘し,原画像の色を忠実に再現するため,原画像の画素が持つ色情報を自動的に複数抽出し,拡散させることで原画像の色情報に忠実なカラー化を行った.
また Pan ら[2]は敵対的生成ネットワークを用いたカラー化による映像圧縮を提案した.
この手法は H.265 と比べ,より効率的に主観的品質を向上させ,PSNR,SSIM の値を大幅に改善することを示した.

11

2.6 ヒストグラム
本研究ではヒストグラムを用いてカラー化時の参照画像を適宜変更するため,ヒストグラ
ムの解説をする[12].
横軸に画素値,縦軸にそれぞれの画素値の頻度(画素値をもつ画像の個数)をとり,画像の画素値の分布を棒グラフで表したものを,ヒストグラムとよぶ.ヒストグラムは,画像中にどのような値の画素値がどれほど含まれているかを分布として示す.カラー画像の各色チ
ャネルに対しても,グレースケール画像と同様にヒストグラムを求めることができ,各色チ
ャンネルのヒストグラムには,画像に含まれる色彩に関する特徴が表れる.また画像中の物
体位置とは関係ない.

Fig2.6-1: グレースケール画像

Fig2.6-2: ヒストグラム

122.7 Histogram Correlation for Video Scene Change Detection
グレースケールのヒストグラムを用いて,映像のシーンの切り替わりを検出する Radwan
ら[13]の手法が存在する.Radwan は,フレーム間の相関に基づくシーン検知アルゴリズムを提案した.
このアルゴリズムは映像の最初のフレームを参照フレームとし,参照フレームのヒストグ
ラムと全ビデオフレームのヒストグラムの相関を計算した後,計算された相関値とフレーム数の関係をプロットし観察することで,シーンと動きの変化を検知し区別する手法である.
Radwan らは,あるフレーム数で相関値が一定の場合,参照フレームと比べ,背景が変化していない動きのあるシーンであると示した.さらに,フレーム数に応じて相関値が変化している場合は,シーンが徐々に変化していることを示し,相関値が急激に変化する場合は,シーンが急激に変化していることを示した.
まず最初のフレームを参照フレーム fr とし,このときのヒストグラム Gfr は,𝐺12 (𝑟3 ) = 𝑛3
ここで,rk はＫ番目の濃度値,ｎk はフレーム内で濃度値がｒk である画素の数である.
フレームが複数枚ある映像のヒストグラム Gt(t=2,3…)を計算し,Gfr と Gt の相関は次のように計算できる.
𝑐𝑜𝑟𝑟A𝐺12 , 𝐺! B =∑456&A(𝐺12 (𝑢) − 𝑔12 )(𝐺! (𝑢) − 𝑔! )BF∑456&(𝐺12 (𝑢) − 𝑔12 ). ∑456&(𝐺! (𝑢) − 𝑔! ).

ここで,n はグレースケールの濃度値 rk の数,gfr と gt はそれぞれ Gfr と Gt の平均値である.
アルゴリズムステップは以下の通りである.
1. 映像をフレームに分割.
2. 最初のフレームを参照フレームとし,そのヒストグラム Gfr を計算.
3. 映像の残りフレームについて,ヒストグラム Gt を計算する．
4. Gt と Gfr の相関を計算する.
5. シーンや動きの変化を推測するために計算した相関とフレーム番号の関係をグラフに
プロット.

13

3

本研究の手法3.1 ヒストグラムによる参照画像自動切り替え

Radwan[13]らの,映像のフレーム間の相関に基づく,シーンチェンジ検出アルゴリズムを拡張し利用することで,カラー化時の入力である参照画像を適宜変更する.
映像のカラー化に使用する Deep learning アーキテクチャは Zhang ら[5]の学習済みモデルを用いた.Zhang らによる先行研究ではカラー化時に用いる参照画像は不変であるが,本研究では参照画像と現在のフレームのヒストグラムの相関値が閾値を下回った際に,参照
画像を変更し,現在のフレームを新たな参照画像にする.再びヒストグラムの相関値による
参照画像が切り替わるまで,カラー化には新たな参照画像を使用する.
また Radwan らの手法ではヒストグラムを算出する際,映像フレームのグレースケール画像に適用していたが,本研究では各カラーチャネル RGB にそれぞれに適用した.またヒスト
グラムを算出する際の参照フレームもカラー化参照画像と同じタイミングで切り替えを行う.
閾値は-0.9 から 0.9 の範囲で実行し,切り替わりやすさを変更.切り替え数による品質の関係を確認した.

拡張後のアルゴリズムのステップ(6 は,相関値が閾値を下回るかどうかで A,B 別れる.)
1.
2.
3.
4.
5.

ビデオをフレームに分割し,以後それぞれのフレームを一枚ずつ処理していく.
第一枚目フレームをカラー化の参照画像 y,ヒストグラムの参照フレーム fr とする.
参照フレーム fr のヒストグラム Gfr が算出されていない場合は算出.
時刻 t におけるフレーム x のヒストグラム Gt を色(RGB)ごとにそれぞれ算出.
参照画像のヒストグラム Gfr と時刻 t におけるフレームのヒストグラム Gt の相関を RGBごとに計算する.
6.A もし,相関値が事前に設定した閾値を下回った場合,時刻 t におけるフレームと参照画
像は色の類似度が下がったと考え,時刻 t におけるフレーム x を新たな参照画像 y と参照フレーム fr として置き換える.(次に参照画像が切り替わるまで,グレースケール画
像をカラー化する際や相関を計算する際はこの参照画像を使用する.)この場合,時刻 tにおけるフレーム x のグレースケール化及びカラー化は行わず,カラー化後のフレーム
𝑥;として扱う.次のフレーム(t+1)の処理のため,ステップ 3 に進む.
6.B もし閾値を下回らない場合は,参照画像や参照フレームの変更は行わない.(時刻 t におけるフレーム x のグレースケール画像のカラー化や,時刻 t+1 におけるヒストグラム
Gt+1 の相関算出の際には,以前の参照画像が引き続き使用され実行される.)
時刻 t におけるフレーム x がグレースケール画像に変換され,カラー化される.
次のフレーム(t+1)の処理のため,ステップ 4 に進む.

14

3.2

評価指標

3.2.1 Peak Signal-to-Noise Ratio (PSNR)
評価指標として Peak Signal-to-Noise Ratio(PSNR)を用いた.PSNR は画像の客観画質評価の指標としてよく利用され,画素値の平均二乗誤差(MSE：mean square error)を比較することで算出される.
本研究では時刻 t におけるカラー化後フレーム𝑥;と元映像のカラーフレーム x を使用
し,PSNR を算出.全てのフレームに適用した後,平均を算出し、映像の PSNR とした.
𝑚𝑎𝑥 .

𝑃𝑆𝑁𝑅 = 10 L

1 #∑
𝐻𝑊 76&∑%/6&.

A𝑥;7,/ − 𝑥7,/ B

Q

ここで max は最大ピクセル値 255 であり,xi,j は H×W の原画像の i,j 番目の画素値, 𝑥;i,j は
比較画像の i,j 番目の画素値である.[14]153.2.2 Structural Similarity index (SSIM)
また Structural Similarity index (SSIM)による評価も行う. SSIM は明暗,コントラスト
を分離した画像の類似度を評価する.[14]𝑆𝑆𝐼𝑀 =

WWW;𝜎+,+92𝜎+ 𝜎+92𝑥𝑥∙∙
𝜎+ 𝜎+9 (𝜎+ ). ＋(𝜎+9 ). (𝑥̅ ). ＋( Y𝑥;).

ここで𝑥̅ は原画像の画素値平均, Y𝑥; は再現画像の画素値平均, 𝜎+ , 𝜎+9 はそれぞれの標準偏差,
𝜎:,, は両者の相互共分散である.第 1 項は,画素間の相関の強さを表し,第 2 項は,標準偏差の差分の大きさを評価し,コントラストの変化を評価する値となる.第 3 項は明暗の変化を評価する値である.

16

3.3 検証映像データ
本研究の検証データとして,筆者が撮影した映像,Pixabay[15]より取得した[16][17][18]を利用する.なお取得した映像は Pixabay License で非商用,商用共に無料で帰属表示も必
要がない映像である.全ての映像サイズは(432×768×3)である.

Table 3.3-1 : 筆者が撮影したカラー映像
映像番号
映像①
映像②
映像③

映像内容
机の表面が映された後、赤の正六面体と三角柱、青の球が現れる
横浜市立大学理学系研究棟の外を歩いている
公園を歩いている内容.ベンチや遊具が映る

Table 3.3-2: Pixabay より取得したカラー映像
映像番号
映像④[16]
映像⑤[17]
映像⑥[18]

映像内容
ローラースケートで滑っている男性が映る
定点映像である.道路が映されており,車や路面電車が通る
定点映像である.歩道,車道が映されており,歩行者や車が通る

17

4 結果
4.1 検証映像①の出力結果
Table 4.1-1:検証映像①における設定閾値とそれに伴う参照画像切り替え数,PSNR,SSIM閾値
切り替え数
PSNR[dB]
SSIM-0.9 から 0.5
021.8300.930
0.6
127.8390.923
0.7
127.7910.922
0.8
329.1800.922
0.9
529.782
0.923

Fig4.1-1: 参照画像の切り替え数と PSNR の関係

Fig4.1-2:参照画像に切り替え数と SSIM の関係

18

元映像フレーム

グレースケール

切り替えなしFig4.1-3 検証映像①における出力映像フレーム

19

閾値=0.6

閾値=0.7

閾値=0.8Fig4.1-4 検証映像①における出力映像フレーム20

閾値=0.9

4.2 検証映像②の出力結果
Table4.2-1 検証映像②における設定閾値とそれに伴う参照画像切り替え数,PSNR,SSIM閾値
切り替え数
PSNR [dB]
SSIM-0.9 から 0.1
023.0020.923
0.2
224.5260.925
0.3
3
25.0220.927
0.4
4
25.1930.927
0.5
826.7910.929
0.6
1527.8000.931
0.7
2027.7820.931
0.8
35
28.2390.932
0.9
63
28.4540.933

Fig4.2-1 参照画像の切り替え数と PSNR の関係

Fig4.2-2 参照画像の切り替え数と SSIM の関係

21

元映像フレーム

グレースケール

切り替えなしFig4.2-3: 検証映像②における出力映像フレーム22

閾値=0.2

閾値=0.3Fig4.2-4: 検証映像②における出⼒映像フレーム

23

閾値=0.4閾値=0.5

閾値=0.6

Fig4.2-5: 検証映像②における出力映像フレーム24

閾値=0.7閾値=0.8

閾値=0.9Fig4.2-6: 検証映像②における出力映像フレーム

25

4.3 検証映像③の出力結果
Table 4.3-1:検証映像③における設定閾値とそれに伴う参照画像切り替え数,PSNR,SSIM閾値-0.9 から -0.4
-0.3
-0.2
-0.1
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9

切り替え回数
0
2
6
7
6
10
15
22
25
29
40
51
73
112

PSNR [dB]
21.63922.61522.85824.29824.25424.73526.10727.49727.69828.10028.34928.79629.05829.413

26

SSIM
0.911
0.914
0.917
0.920
0.921
0.921
0.930
0.930
0.931
0.931
0.932
0.933
0.934
0.934

Fig 4.3-1 参照画像切り替え数と PSNR の関係

Fig 4.3-2 参照画像の切り替え数と SSIM の関係

27

元映像フレーム

グレースケール

切り替え無しFig4.3-3: 検証映像③における出力映像フレーム28

閾値=-0.3

閾値=-0.2

Fig4.3-4: 検証映像③における出力映像フレーム29

閾値=-0.1

閾値=0.0閾値=0.1

Fig4.3-5: 検証映像③における出力映像フレーム30

閾値=0.2閾値=0.3

閾値=0.4Fig4.3-6: 検証映像③における出力映像フレーム31

閾値=0.5閾値=0.6

閾値=0.7

Fig4.3-7:検証映像③における出力映像フレーム32

閾値=0.8

閾値=0.9Fig4.3-8: 検証映像③における出力映像フレーム

33

4.4 検証映像④の出力結果

Table 4.4-1 : 検証映像④における設定閾値とそれに伴う参照画像切り替え数,PSNR,SSIM閾値
切り替え数
PSNR [dB]
SSIM-0.9 から-0.5
027.9520.927-0.4
128.2620.926-0.3
228.8690.932-0.2
2
30.0420.934-0.1
229.9530.933
0.0
329.7930.933
0.1
629.9350.934
0.2
729.9470.936
0.3
830.1960.937
0.4
1130.2360.936
0.5
1530.2600.936
0.6
23
30.2170.937
0.7
35
30.5170.937
0.8
56
30.670
0.938
0.9
106
30.985
0.939

34

32
31.5
31

PSNR[dB]

30.5
30
29.5
29
28.5
28
27.5
27
0

20

40

60

80

100

Number of switches

Fig 4.4-1 : 参照画像の切り替え数と PSNR の関係

Fig 4.4-2 参照画像の切り替え数と SSIM の関係

35

120

元映像フレーム

グレースケール

切り替えなしFig 4.4-3 検証映像④における出力映像フレーム36

閾値=-0.4

閾値=-0.3

Fig 4.4-4 検証映像④における出力映像フレーム37

閾値=-0.2閾値=-0.1

閾値=0.0

Fig 4-4-5 検証映像④における出力映像フレーム38

閾値=0.1閾値=0.2

閾値=0.3

Fig 4.4-6 検証映像④における出力映像フレーム39

閾値=0.4閾値=0.5

閾値=0.6

Fig 4.4-7 検証映像④における出力映像フレーム40

閾値=0.7閾値=0.8

閾値=0.9Fig 4.4-8 検証映像④における出力映像フレーム

41

4.5 検証映像⑤の出力結果
Table 4.5-1: 検証映像⑤における設定閾値とそれに伴う参照画像切り替え数,PSNR,SSIM閾値-0.9 から 0.7
0.8
0.9

切り替え回数
0
3
9

PSNR [dB]
29.36730.71730.981

SSIM
0.930
0.932
0.931

31.5

PSNR[dB]

31

30.5

30

29.5

29
0

2

4

6

8

Number of switches

Fig 4.5-1:参照画像の切り替え数と PSNR の関係

Fig 4.5-2:参照画像の切り替え数と SSIM の関係

42

10

元映像フレーム

グレースケール

切り替えなしFig 4.5-3 :映像データ⑤における出力映像フレーム43

閾値=0.8

閾値=0.9Fig 4.5-4 :映像データ⑤における出力映像フレーム

44

4.6 検証映像⑥の出力結果

Table 4.6-1:検証映像⑥における設定閾値とそれに伴う参照画像切り替え数,PSNR,SSIM閾値--0.9 から 0.9

切り替え回数0

PSNR [dB]
29.183

45

SSIM
0.95

元映像フレーム

グレースケール

切り替えなしFig 4.6-1 :映像データ⑥における出力映像フレーム

46

5 考察
映像データ①から⑤のカラー化において,参照画像を切り替えないカラー化と比べ,ヒス
トグラムの相関値による参照画像の自動切り替えが行われたカラー化の方がより高い PSNR
値であり,品質の向上が確認できた.またそれは参照画像の切り替え数が増加するにつれより向上する.
しかし映像データ①の参照画像切り替えのための閾値が 0.6 と 0.7 による参照画像の切り替え数は両者共に同じ 1 であるにも関わらず,PSNR の値は異なっていた. 閾値が 0.6 であるより 0.7 の方が,参照画像の切り替わりが発生しやすい.実際に閾値が 0.6 と 0.7 の参照画
像切り替わりタイミングを調査したところ,閾値が 0.6 の場合,切り替えフレームは 39 枚目
で,0.7 の場合は切り替えフレームは 23 枚目であった.

(a)(b)
Fig5.1 :映像データ①における閾値 0.6 と 0.7 の参照画像の置き換わりフレーム(a) 閾値 0.6 において新たな参照画像として置き換わったフレーム(b) 閾値 0.7 において新たな参照画像として置き換わったフレーム.
以降のカラー化では(a),(b)のフレームがそれぞれ参照画像に用いられた.
ここで 5-1:(b)の閾値 0.7 で発生した参照画像の置き換えフレームを確認すると,物体の形が完全に確認できる前に切り替えが起きていることがわかる.ここで閾値 0.7 のカラー化フ
レームを確認すると,新たな参照画像となった 23 枚目のフレームには映っていなかった球
体の上半分の色が閾値 0.6 の色と比べ,鮮やかでないことがわかる.

(c)(d)
Fig 5.2 :映像データ①における閾値 0.6 と 0.7 のカラー化後フレーム.
(c)閾値 0.6 でのカラー化後フレーム(d)閾値 0.7 でのカラー化後フレーム47

Fig5-2(d)の結果は,Fig5-1(b)の新たな参照画像に球体上半分の情報が存在しなかったためと推測できる.
しかし閾値が 0.8 に変わり,参照画像の切り替えがより多く発生しやすくなったことで,物体の出現により対応できている.閾値 0.9 に関しても同様である.また閾値 0.8 では物体が登場時,青色の球体が赤色にカラー化されていたが 0.9 では本来の赤色にカラー化されていた.
閾値の変更により参照画像の切り替わりが早い段階で発生する.切り替え数が増えるのにつれ,より早いタイミングで正確に映像内物体がカラー化され,品質も向上する.

(e)
(f)
(g)
Fig 5.3:映像データ①における閾値 0.8 の参照画像の 切り替わりフレーム(e)フレーム 12 枚目(f)フレーム 27 枚目(g)フレーム 65 枚目

(h)

(i)

(k)

(l)

(j)

Fig 5.4:映像データ①における閾値 0.9 の参照画像の切り替わりフレーム(h)フレーム 9 枚目(i) フレーム 20 枚目(j) フレーム 26 枚目(k) フレーム 35 枚目(l) フレーム 65 枚目

48このような参照画像の切り替えタイミングのずれによる,閾値上昇にも関わらず参照画像の切り替え数の減少であったり,切り替え数増加による PSNR 値減少や不適切なカラー化は映像データ②,③,④でも見られた.そして参照画像の切り替えタイミングのずれによる適切でないカラー化は切り替え数をより多くすることで解決が可能であった.
一方,映像データ⑥では参照画像の切り替わり自体が発生しなかった.
映像データ⑤と映像データ⑥は定点映像である.映像データ⑤では参照画像切り替えが発
生したが,映像データ⑥では参照画像の切り替わりが発生せず,車等の複数物体は元映像フ
レームの色と異なるカラー化がされていた。

(m)
Fig 5.5 :映像データ⑥における出力結果.
(m) 元映像のフレーム(n) 参照画像切り替えなしカラー化後フレーム(n)

映像データ⑥において最初に参照画像であった第 1 フレームと映像フレーム中に⼤きな⾊の違いはないとされ, 参照画像の切り替えが発⽣せず全てのフレームにおいて第 1 フレームが参照画像として使⽤された.しかし参照画像に存在しない物体がフレーム中に現れたためカラー化により元の⾊の復元ができなかったと考えられる.
また確認のため,映像フレームごとのヒストグラムの相関値を算出した.

49

Fig 5.6:映像データ⑥のフレームごとのヒストグラム相関値,
参考画像を切り替える際には グレースケールは使⽤していないが参考のため算出.
Fig5.6 より,全てのフレームでヒストグラムの相関値の動きは 1.00~0.96 の範囲内であり,
⼤きな動きは存在していないことがわかる.実際に映像中では,参照画像には存在しない⾊の⾞が出現していたものの,フレーム全体としては⼤きな⾊の変化とは⾔えないものだった.
ヒストグラムの相関値による切り替えは,フレーム画像全体としての⾊の変化には対応できたが,⼩さな⾊の変化には対応できないことが考えられる.
SSIM の値は,切り替えが起きた映像②から⑤において PSNR と同じく上昇傾向であった.
しかし,映像①における SSIM は,切り替えが起こらなかった時点が⼀番⾼い値であった.これは PSNR の傾向, カラー化後出⼒フレームの結果と反するものであり,必ずしも評価指標
は⼈間の視覚に対応するものではないことが判明した.より⼈間の知覚を反映した評価を⾏う必要がある.

50

6 結論
本論文では,白黒映像から元映像の色を復元するために,参照画像に基づいたカラー化を行うディープラーニングを使用し,さらにヒストグラムの相関値による参照画像の自動切り替えを行うことで元映像の色の復元を試みた.本研究の主な結論を以下にまとめる.
・検証映像データ６つ中 5 つが,参照画像の切り替わりがない場合の PSNR より,ヒストグ
ラムによる参照画像切り替えを行った場合の方が PSNR は高い値となった.また閾値を変更した際には,閾値の値が上昇するにつれて,参照画像の切り替え回数が増加し,PSNR も上昇した.また品質も上昇したといえる.
・ヒストグラムによる参照画像の切り替えは,フレーム画像全体のヒストグラムの相関値を用いて行われるため,フレーム画像内の僅かな色の変化には反応しない.
より小さな物体の動きや色の変化に対応するには,画像全体のヒストグラムを利用するのではなく,細かい領域に分割し,それぞれの領域ごとにヒストグラムを適用するなどが考えられる.
また人間の知覚により対応した評価を行う必要がある.

51

7 参考文献[1] Fatima,A.,Hussain,W.& Rasool,S.” Grey is the new RGB: How good is GAN-based.
image colorization for image compression?”Multimed Tools Appl 80,3775-3791[2] Z.Pan,F.Yuan,J.Lei,S.Kwong,Video compression coding via colorization: agenerative.adversarial network (gan)-based approach, arXiv preprint
arXiv:1912.10653,2019.
[3] S.Iizuka,E.Simo-Serra,and H.Ishikawa,”Let there be color!
joint end-to-end learning of global and local image priors for automatic
image colorization with simultaneous classification,”ACM Trans.
Graph.,vol.35,no. 4, pp. 1-11, 2016.
[4] R. Zhang, J.-Y. Zhu, P. Isola, X. Geng, A. S. Lin, T. Yu, and A. A. Efros,“Real-time user-guided image colorization with learned deep priors,”
arXiv preprint arXiv:1705.02999,2017.

[5] B.Zhang, M. He, J. Liao, P. V. Sander, L. Yuan, A. Bermak,and D.Chen,“Deep exemplar-based video colorization,”in Proceedings of the IEEE.
Conference on Computer Vision and Pattern Recognition, 2019, pp. 8052–8061.

[6] 山下隆義 (2018) 『イラストで学ぶ ディープラーニング 改訂第 2 版』講談社[7] ラシュカ,セバスチャン・ミルジャリリ,ヴァヒド(2020)『[第 3 版]Python 機械学習プ
ログラミング達人データサイエンティストによる理論と実践』 クイープ訳,福島真太
郎監訳,インプレス[8] Simonyan,K.,&Zisserman,A.(2014).”Very deep convolutional networks forlarge. scale image recognition.”arXiv preprint arXiv:1409.1556[9] Levin,Anat & Lischinski,Dani & Weiss,Yair.(2004).”Colorization using.
Optimization.” ACM Transactions on Graphics. 23. 10.1145/1015706.1015780.
[10] Welsh,Tomihisa & Ashikhmin, Michael & Mueller,Klaus.(2002).
“Transferring.Color to.Greyscale Images.”
ACM Trans.Graph..21.277- 280.10.1145/566570.566576.
[11] D.Chen, J. Liao, L. Yuan, N. Yu, and G. Hua, “Coherent online video styletransfer,” in Proceedings of the IEEE International Conference on
Computer Vision, pp. 1105–1114, 2017.

[12] ディジタル画像処理編集委員会著(2020)『ディジタル画像処理[改訂第二版]』
画像情報教育振興協会.

52

[13] Nisreen.I.Radwan,Nancy.M.Salem,and Mohamed.I.El Adawy,(2012)“Histogram
Correlation. for Video Scene Change Detection,”in Advances in Computer
Science,Engineering&Applications,vol.166,D.C.Wyld,J.Zizka,andD.Nagamalai,
Eds.,pp.765–773, Springer Berlin Heidelberg, Berlin, Heidelberg,[14] 大町真一郎・陳謙・大町方子・宮田高道・長谷川為春・早川吉彦・加瀬澤正・塩入諭(2014)『未来へつなぐデジタルシリーズ 28 画像処理』白鳥則郎監修,共立出版.
[15] pixabay.com,< https://pixabay.com/ja/videos/>2022 年 1 月 20 日アクセス[16] “スケート-キャスター-スケーター-3674”,<https://pixabay.com/videos/id-3674/>2022 年 1 月 20 日アクセス[17]“トラム-ブダペスト-ハンガリー-31013”,https://pixabay.com/videos/id31013/>
2022 年 1 月 20 日アクセス[18]“タイ-車-道-街-輸送-30001”,<https://pixabay.com/videos/id-30001/>
2022 年 1 月 20 日アクセス

53

8 謝辞
本論文は多くの方々のご協力により完成させることができました.
本研究を実施するにあたりミケレット・ルジェロ教授には研究や発表についての熱心なご指導を賜りました.深く御礼申し上げます.
また,深層学習や画像処理に関して,多くの知識やご助言いただいた孫哲研究員をはじめとする理化学研究所画像情報処理研究チームの方々に厚く御礼申し上げます.
そして日々の議論を通じて多くの知識やアドバイスを頂戴いたしましたミケレット研究室の皆様には深く感謝いたします.
最後に家族や友人,本論文執筆に携わってくれた全ての方々に感謝の意を表し,謝辞といたします.

54