計測自動制御学会東北支部 第 233 回研究集会 (2006.12.18)
資料番号 233-6

時間領域フィルタを用いたフィルム映像のブロッチ検出に関する検討
A Blotch Detection in Film Sequences Using Temporal Filters○庄子弘毅 ∗ ，阿部正英 ∗ ，川又政征 ∗○ Kouki Syoji∗ , Masahide Abe∗ , Masayuki Kawamata∗*東北大学大学院工学研究科*Graduate School of Engineering, Tohoku University
キーワード : 映像修復 (Motion picture restoration) ブロッチ検出 (Blotch detection)，背景画像 (Back groundimage)，α-トリムド平均値フィルタ (α-Trimmed mean ﬁlter)，フリッカ補正 (Flicker correction)

連絡先 : 〒 980 仙台市青葉区荒巻字青葉 6–6–05 東北大学 大学院 工学研究科 電子工学専攻 川又研究室
庄子弘毅，Tel.: (022)795-7095，Fax.: (022)263-9169，E-mail: kouki@mk.ecei.tohoku.ac.jp

1.

はじめに恩恵を受けられるようにするためには，高速で安価にディジタル修復可能な処理方法の確立が不可

古いフィルム映像は貴重で歴史的価値が高いものが多い．その一方で，その多くは素材の経年劣化などによる画質の劣化や物理的損傷により視覚的に見づらい映像となっている．このような状況

欠である [6, 7]．著者らの研究グループでは，古いフィルム映像をフレームごとの位置ずれ，フリッカ，ブロッチの順でディジタル修復に取り組んでいる．

において，フィルム映像のディジタル的な保存および修復が求められている．著者らの研究グループ

本稿では，位置ずれとフリッカが既に補正された映像からブロッチ位置を検出する．

ではこれまで，フレームごとの位置ずれやフリッカ，ブロッチなどの古いフィルム映像特有の劣化の修復に取り組んできている [1–5]．

ブロッチ除去手法の多くは，ブロッチを検出した部分のみフィルタ処理することにより，ブロッチを除去している [8–10]．従来のブロッチ検出法の多現在，ディジタル修復により，すでに一般公開された作品もいくつか存在する [6]．しかし，これらの修復事例では処理結果を画面上で目視確認しながら修復作業が進められている．このため現時点
では，ディジタル修復コストが高いことから，ディジタル修復の恩恵を受けられるフィルム映像は商業的成功の見込めるものに限られている．したがって，より多くのフィルム映像がディジタル修復の

くは，現在フレームのブロッチ検出のための参照
画像として前後フレームの輝度値を用いる [9, 11]．
商用映画のような比較的劣化が少ない映像に対しては連続するフレームにおいてブロッチが連続して同じ位置に発生することはまれである．そのため，現在フレームと前後フレームの輝度値を比較することでブロッチ位置を検出できる．しかし，個人が所有している記録映画などの劣化が激しい映–1–

像では時間軸上のブロッチの出現頻度は高くなる．

理や複製の不完全性など多岐にわたる [7]．これら

そのため，連続するフレームの同位置にブロッチの個々の要因に基づくフリッカのモデル化は困難が発生する確率は高くなる．したがって，連続フである．本稿では，個々の要因についてモデル化

レームにブロッチが発生する場合には，従来法のせずに原映像と劣化映像の関係が線形であるとす

ブロッチ検出率は低下する．

る以下のフリッカモデルを用いる [12–14]．

そこで，本稿ではフリッカとブロッチによって劣化した映像から背景画像を推定し，その背景画像

I(⃗x, t) = ϕ(⃗x, t)E(⃗x, t) + ψ(⃗x, t)を参照画像とするブロッチ検出法を提案する．背景画像は各画素ごとに時間方向に α-トリムド平均値フィルタを適用することにより推定する．提案
法では劣化映像から推定された背景画像を参照画像とするため，前後フレームにブロッチが発生していてもブロッチを検出できる．このことを，人工的に劣化させた映像に対してフリッカを補正し，補正画像から付加したブロッチを検出する数値評

ここで，E(⃗x, t) は t 番フレーム の位置ベクトル ⃗x における劣化のない原映像の輝度値をあらわし，I(⃗x, t) は劣化映像の輝度値をあらわす．また，ϕ(⃗x, t)とψ(⃗x, t)はそれぞれフリッカゲインパラメータとフリッカオフセットパラメータとよばれる．ϕ(⃗x, t) と ψ(⃗x, t) は，時間 t に対して不規則に変化し，空間座標 ⃗x に対して滑らかに変化する性質を持つ．

価実験により示した．ここで，付加した劣化はフリッカとブロッチである．ただし，本稿では劣化が激しい，すなわち時間軸上のブロッチの発生頻度が高い映像に対するブロッチの検出率を比較する(1)

文献 [14] では，フリッカパラメータ ϕ(⃗x, t) とψ(⃗x, t) は 2 次元多項式として近似されている．本
稿では文献 [14] の方法によって人工的に ϕ(⃗x, t) とψ(⃗x, t) を計算してフリッカを発生させる．

ために，位置ずれが理想的に補正されており，フリッカのパラメータ推定が正確である場合を仮定

2.2

ブロッチ

した．また，映像の種類として，映像中の移動物体
ブロッチはフィルム保管時や上映時に生じるフィの動き推定精度に起因する問題を除外するために，移動物体とカメラワークがない映像を仮定した．
本論文の構成を以下に示す．2 章では，フィルムに含まれる劣化について概説する．3 章では，従来のブロッチ検出法を概説する．4 章では，背景画像を参照画像としたブロッチ検出法を提案する．5 章
では，数値評価実験によって従来法と提案法のブルム表面の剥離や，埃や髪の毛がフィルムに付着することにより生じる画素の欠落である．これらの個々の要因に基づくブロッチのモデル化は困難であり，修復においてブロッチはミッシングデータとして扱われる．そこで，ブロッチによる劣化は次式のようにモデル化される [9]．

ロッチ検出性能を比較する．6 章でまとめる．

2.

フィルム映像に含まれる劣化

2.1

フリッカ

I(⃗x, t) = (1 − d(⃗x, t)) E(⃗x, t) + d(⃗x, t)c(⃗x, t)(2)

ここで，c(⃗x, t) は位置ベクトル ⃗x におけるブロッチの輝度値を示し， d(⃗x, t) はブロッチの発生位置を示すバイナリマスクである．また，ブロッチはフリッカは，元の映像には存在しない輝度の不空間領域と時間領域において突発的に現れる．さ規則な時間的変動として定義される．その原因はらに，1 つのブロッチ内ではブロッチの輝度値がほフィルムの経年劣化や露光時間の変動，化学的処–2–こで，前後フレームから作成された 2 枚の参照画像と現在フレームの画像の絶対値差分がしきい値以上であればブロッチと判定する．また，動き推定法には階層型ブロックマッチング法 [11] などが用いられる．
ある劣化映像の t 番フレームにおける位置ベク
トル ⃗x に対して，SDIa 法によって検出されたブロッチのバイナリマスク DSDIa は次式であらわさFig. 1

れる．

従来法の処理手順1 (e > e ) and (e > e )btftdSDIa =0 otherwise

ぼ一定であり，ブロッチ領域の中心の輝度値は輝度値の最大値または最小値に近い値をとる．
文献 [11] では，人工的にブロッチを作成する場

ただし，合ブロッチの形は MRF(Markov Random Fields)モデルを用いて決定している．本稿では文献 [11] とeb

同様に MRF モデルを用いて決定した．

ef

3.

従来のブロッチ検出法と問題点(3)¯¯= ¯I(⃗x, t) − I(⃗x + ⃗vt,t−1 (⃗x), t − 1)¯¯¯= ¯I(⃗x, t) − I(⃗x + ⃗vt,t+1 (⃗x), t + 1)¯

(4)
(5)

ここで，I(⃗x, t) は t 番フレームの位置ベクトル⃗x における劣化画像の輝度値をあらわし，⃗vt,t−1 (⃗x)

ブロッチの位置は現在フレームの画像の輝度値と ⃗vt,t−1 (⃗x) はそれぞれ位置ベクトル ⃗x における前と参照画像の輝度値とを比較して，しきい値処理後フレームに対する動きベクトルをあらわす．

によって決定される．これはブロッチの出現が時SDIa 法は注目画素の輝度値とそれと対応する 2間的に不規則であるために，ブロッチの発生位置枚の参照画像の画素の輝度値の差がしきい値以上がある画素における輝度値の時間変化の激しい点の画素をブロッチと判定する．しかし，出現するに対応することに由来する．

ブロッチの輝度値が輝度値の最大値などの単一な

本節ではブロッチの検出法として文献 [11] によ値となる場合に連続する 2フレームにブロッチが発る方法と文献 [9] による方法について概説する．さ

生すると，前後の参照フレームの画素との差分がらにそれぞれの手法で検出可能なブロッチについしきい値以下となるためにブロッチと判定されなて考察する．図 1 に文献 [11] と文献 [9] の処理の流い．したがって，SDIa 法は各画素の時間軸上のブれを示す．

ロッチの出現頻度が高くなるにつれて検出率は低下する．

3.1

SDIa によるブロッチ検出

SDIa(Spike Detection Index-a) 法 [11] は現在フ

3.2

ROD によるブロッチの検出

レームに対して動きが補償された前後フレームをROD(Rank Order Detector) [9] は SDIa 法と同参照画像とし，現在フレームの各画素について参様に現在フレームに対して動き補償された前後フ

照画像の対応する画素との絶対値差分をしきい値レームを参照画像とする．ROD 法では図 2 に示す処理することによってブロッチ位置を検出する．こ–3–

出が可能である．しかし，ROD 法では 3 つのしき㫋㪄㪈㫋㫇㪊

い値を設定する必要があるため SDIa 法と比較して㫋㪂㪈㫇㪈

パラメータの調整が困難である [9]．また，ブロッ㫇㪉㫇㪍I(x, t)チの出現頻度が高く，注目画素の周辺の画素がブ㫇㪋㫇㪌

ロッチとなる場合については SDIa 法と同様に注目画素がブロッチであったとしてもブロッチと判定されない．したがって，ROD 法は SDIa 法と同様にFig. 2

判定時に用いる参照画素に含まれるブロッチの画

ROD の参照画素の定義

素数が増加するにつれて検出率は低下する．
ように位置ベクトル ⃗x における画素のブロッチ判
定に前後フレームの p1 から p6 の画素を用いる．
ここで，p1 から p6 は以下のように定義される．

4.

提案法のねらいと処理手順

4.1

提案法のねらいSDIa法とROD法は前節で述べたように，各画素

p1= I(⃗x + ⃗vt,t−1 (⃗x) + (0, 0), t − 1)p2

= I(⃗x + ⃗vt,t−1 (⃗x) + (0, 1), t − 1)p3

= I(⃗x + ⃗vt,t−1 (⃗x) + (0, −1), t − 1)p4

= I(⃗x + ⃗vt,t+1 (⃗x) + (0, 0), t + 1)

よる．そこで，本節ではこの問題を解決するため

p5= I(⃗x + ⃗vt,t+1 (⃗x) + (0, 1), t + 1)にブロッチ検出対象となる映像の各ショットにつp6= I(⃗x + ⃗vt,t+1 (⃗x) + (0, −1), t + 1)の時間方向のブロッチの出現頻度が高くなるにつれてブロッチの検出率は低下する．これは参照画素に含まれるブロッチの画素数が増加することに(6)

まず，ROD 法では p1 から p6 を昇順にソートして r1 から r6 を得る．つぎに，そのメジアンをM = (r3 + r4 )/2 から求める．そこで，ある劣化映像の t 番フレームにおける位置ベクトル ⃗x に対しいてフリッカとブロッチを含まない背景画像を推定し，その背景画像を参照画像とするブロッチ検出法を提案する．背景画像が推定できていれば前後フレームにおけるブロッチの有無に関わらず現在フレームのブロッチ検出が可能である．て，ROD 法によって検出されたブロッチのバイナ

4.2

リマスク dROD は次式であらわされる．

処理手順

提案法は以下の 3 つの過程からなる．

1 (e > e ) or (e > e ) or (e > e )
1t1
2t2
3t3
dROD =(7)0 otherwise

1) 背景画像の推定
2) 背景画像と位置ずれとフリッカが補正された

ただし，
I(⃗x, t) − r
7−iei =r − I(⃗x, t)i

画像との絶対値差分の計算

I(⃗x, t) > M
I(⃗x, t) <=M

i = 1, 2, 33) 絶対差分のしきい値処理

ROD 法はブロッチの判定に前後の参照フレーム

提案法の流れを図 3 に示す．の周辺画素を利用している．そのため，ROD 法はただし，提案法ではブロッチを輝度値の分布がSDIa 法で問題となる前後の参照フレームの同位置平坦で，かつブロッチの輝度値が輝度値の最大値にブロッチが発生した場合に対してもブロッチ検または最小値である場合を仮定する．

–4–

Fig. 3提案法の処理手順

Fig. 4 フリッカとブロッチによって劣化した映像の輝度変化例

背景画像は対象となるショットの全フレームにわたって各画素の時間領域に α-トリムド平均値フィルタを適用する．ここで，ショットとは切れ目な

mean[I(⃗x, t)]=mean[ϕ(⃗x, t)EB (⃗x)] + mean[ψ(⃗x, t)]

しに連続して撮影された映像のことであり，映像= EB (⃗x)mean[ϕ(⃗x, t)] + mean[ψ(⃗x, t)]の構成要素の単位の 1 つである．α-トリムド平均値フィルタは入力信号を信号値でソートしたのちここで，mean[·] は平均値を求める演算子をあらにその上位および下位のα%の信号を除外して，そわし，EB (⃗x) は対象ショットの背景画像をあらわの残りの信号に対して平均値フィルタを適用する．

す．式 8 から ϕ(⃗x, t) と ϕ(⃗x, t) の時間平均が求まそのため，インパルス性雑音とガウス性雑音の除ればフリッカの影響を除外できる．移動物体とブ去に有効である [15]．

ロッチが含まれないという仮定から，フリッカにフリッカによる劣化は時間軸上での不連続性かよる劣化のない画像の輝度値 E(⃗x, t) は背景画像のらガウス性の雑音であるとみなすことができる．

輝度値と等しいとみなす．すなわち，次式を仮定

また，ブロッチによる劣化は，ブロッチが時間軸する．

上で不規則にあらわれてその輝度値が輝度値の最大値または最小値になることからインパルス性のE(⃗x, t) = EB (⃗x)

雑音であるとみなすことができる．そこで，提案(8)法では時間軸上に α-トリムド平均値フィルタを適一方，フリッカとブロッチによって劣化している用することでフリッカとブロッチの影響を除外し場合は，提案法において想定しているブロッチのて背景画像を推定する．

輝度値に関する仮定から，ブロッチの輝度値は最フリッカの影響は対象ショット内に移動物体と大値または最小値である．よって，フリッカとブブロッチが含まれないと仮定すると，位置ずれがロッチによって劣化した映像の背景画像 ÊB (⃗x) は補正されたショット内の全フレームに関して画素劣化映像の各画素について時間領域に α トリムドごとに時間軸上に平均処理することで，次式のよ平均値フィルタを適用することで推定できる．こうに除外できる．

こで，図 4 に人工的にフリッカとブロッチを付加した劣化映像のある画素における輝度値の時間変化とその信号を輝度値に関して昇順にソートした信号を図示する．

–5–

ある劣化映像の t 番フレームにおける位置ベク
トル ⃗x に対して，提案法によって検出されたブロッチのバイナリマスク dp は次式であらわされる．

1 |I(⃗x, t) − Ê (⃗x)| > etBdp =0 otherwise

5.

(9)

(a) 劣化映像 1 の例

劣化映像の例

Fig. 5

従来法との比較(b) 劣化映像 2 の例

䊑䊨䉾䉼ᬌ಴₸䈱Ყセ㩿䊑䊨䉾䉼಴⃻₸䈏ૐ䈇႐ว㪀䊑䊨䉾䉼ᬌ಴₸䈱Ყセ㩿䊑䊨䉾䉼಴⃻₸䈏㜞䈇႐ว㪀㪈㪇㪇䊑䊨䉾䉼ᬌ಴₸像に対してフリッカを補正し，ブロッチの出現頻度の増加ともないブロッチ検出率が低下するという従来法の問題点の検証と，ブロッチの出現頻度

㪐㪏

㪐㪏

㪐㪍

㪐㪍
䊑䊨䉾䉼ᬌ಴₸

人工的にフリッカとブロッチを付加した劣化映㪐㪋
㪐㪉
㪐㪇
㪪㪛㪠㪸
㪩㪦㪛
㪧㫉㫆㫇㪅

㪏㪏
㪏㪍 a
㪇

が高い状況下における各手法のブロッチ検出性能

㪈㪇㪇

aa㪐㪋
㪐㪉
㪐㪇
㪪㪛㪠㪸
㪩㪦㪛
㪧㫉㫆㫇㪅

㪏㪏

㪌
䈚䈐䈇୯

㪈㪇

(a) 劣化映像 1

㪏㪍 a㪇

㪌
䈚䈐䈇୯

㪈㪇

(b) 劣化映像 2

評価実験を行った．
ここで，ブロッチ検出の前処理にあたる位置ず

Fig. 6

各手法のブロッチ検出率れ補正は理想的な状況を仮定し，フリッカ補正は付加したフリッカパラメータが正確に推定できた場合を仮定した．さらにフレーム間の動き推定については動きのない人工的に作成した映像を用いと変化させ，et2 = 39，et3 = 55 とした場合のブロッチ検出率を評価する．なお，提案法の参照画像作成において α = 0.25 とした．図 6 に劣化映像 1と劣化映像 2 のそれぞれの検出結果を示す．て動き推定も理想的であると仮定した．

まず，従来法の問題点を検証する．図 6(a) と (b)

劣化映像はサイズ 256 × 256 の静止画に対して100フレームの劣化画像を作成した．フリッカは文献 [14]にもとづき作成した．また，ブロッチの発生に関してブロッチの出現頻度の増加にともなうブロッチ検出率の変化の平均値を表 1 にまとめる．
表 1 から，ブロッチの出現頻度の増加にともない頻度に関して1フレームに平均4.6個のブロッチが付加され，1つのブロッチの面積が平均23.6pixelsにな

SDIa 法および ROD 法の検出率はそれぞれ平均でる劣化映像 1 と 1 フレームに平均 84.7 個のブロッチ−2.77% と −4.81% 低下したのに対して，提案法はが付加され，1つのブロッチの面積が平均29.9pixels

平均で −0.40%の低下にとどまった．よって従来法になる劣化映像 2 の 2 つを作成した．それぞれの原は提案法に比べてよりブロッチの出現頻度に依存した検出法であると考えられる．

画像とブロッチ付加画像の例を図 5 に示す．

また，図 7 に劣化映像 2 のある連続する 3 フレー

性能評価は付加したブロッチの画素数に対して実際にブロッチとして検出された画素数の割合によって評価する．この割合を本稿ではをブロッチ検出率とよぶ．ブロッチ検出率が高いほど目的の画素を検出できたことになる．SDIa 法と提案法のしきムに対する各手法の検出結果を示す．ここで，付加したブロッチをブロッチとして判定した領域を緑色で，付加したブロッチの領域でブロッチと判定されなかった領域を黄色で，さらに付加したブ

い値 et を 1 ≤ et ≤ 10.5 と変化させ，ROD 法のしロッチ以外の領域をブロッチと判定した領域を赤

きい値 et1 ，et2 ，et3 を et1 について 1 ≤ et1 ≤ 10.5

色で着色した．図 7 には前フレームで発生したブ–6–

Table 1

ブロッチ出現頻度の増加にともなうブSignal Processing, 8-5, 421/429 (2004)

ロッチ検出率の変化

検出率の変化 [%]ﬁlms using phase-only correlation, Journal ofSDIa

ROD

提案法

2) M. Hagiwara, M. Abe and M. Kawamata:

-2.77

-4.81

-0.40

Shot change detection and camerawork estimation for old ﬁlm restoration, 電子情報通

ロッチと現在フレームで発生したブロッチが重複

信学会技術研究報告, - SIP2004-80,ICD2004-する領域がある．従来法では検出できなかった重112,IE2004-56, 25/30 (2004)

複する領域のブロッチが提案法では検出されていることが確認できる．

3) 浜口洋司, 阿部正英, 川又政征: 古いフィルム
映像における動きに対してロバストなフリッカパラメータ推定, 電子情報通信学会技術研

6.

まとめ

究報告, - SIP2004-81, 31/36 (2004)

本稿では，フィルム映像におけるブロッチ検出の

4) 阿部正英, 目黒洋一, 川又政征: 移動物体検出手法を提案した．従来法には動きが推定された前と時間領域メディアンフィルタリングを用い後フレームを参照画像とするために，時間領域のた古いフィルム映像のブロッチ除去, 電子情ブロッチの発生頻度が高くなることによってブロッ

報通信学会論文誌, J88-A-1, 11/22 (2005)

チの検出率が低下するという問題点がある．そこ
で，提案法はブロッチ検出対象のショットについて各画素に対して時間領域に α-トリムド平均値フィルタを適用して背景画像を推定し，この背景画像をブロッチ検出の参照画像とする．そのため，提5) 阿部正英, 川又僚太, 庄子弘毅, 川又政征, 太田直久, 小野定康: 古い映画フィルムの高解像度ディジタルスキャン, 映像情報メディア学会
技術報告, 30-32, 1/4 (2006)

案法ではブロッチの発生頻度が高い場合において，

6) 齊藤隆弘: ディジタル画像処理によるフィル

前後フレームにブロッチが発生していてもブロッム映像の復元 (1), 映像情報メディア学会誌,

チを検出できる．このことを，人工的にフリッカと55-12, 1599/1604 (2001)

ブロッチを発生させた劣化映像に対してブロッチ検出する数値評価実験により示した．ただし，本稿ではブロッチの検出性能を比較するために，位

7) 齊藤隆弘: ディジタル画像処理によるフィルム映像の復元 (2), 映像情報メディア学会誌,

56-1, 85/92 (2002)

置ずれが理想的に補正されており，フリッカのパラメータ推定が正確である場合を仮定した．また，

8) 齋藤貴之, 阿部正英, 川又政征: 古いフィルム映

映像の種類として，映像中の移動物体の動き推定

像の修復におけるブロッチノイズの位置の推定

精度に起因する問題を除外するために，移動物体とその情報を用いた動き推定, 電子情報通信とカメラワークがない映像を仮定した．

学会技術研究報告, - DSP2001-101,ICD2001-

106,IE2001-85, 9/16 (2001)

参考文献

9) A. C. Kokaram:

Motion Picture Restora-tion, Springer-Verlag (1998)
1) M. Hagiwara, M. Abe and M. Kawamata: Estimation method of frame displacement for old–7–10) 宮田晃次, 田口亮: ブロッチによって劣化した動画像信号に対する一復元手法, 電子情報通信学会論文誌, J84–A-3, 398/408 (2001)

11) A. C. Kokaram, R. D. Morris, W. J. Fitzgerald
and P. J. W. Rayner: Detection of missing
data in image sequences, IEEE Trans. Image
Processing, 4-11, 1496/1508 (1995)
12) P. M. B. van Roosmalen, J. Biemond and R. L.
Lagendijk: Restoration and storage of ﬁlm andvideo archive material, Signal Processing forMultimedia (Ed. by J. S. Bynes), IOS Press,
167/192 (1999)
13) P. M. B. van Roosmalen, R. L. Lagendijk andJ. Biemond: Flicker reduction in old ﬁlm sequences, Time Varying Image Processing andMoving Object Recognition, 4 (Ed. by V. cappellini), Elsevier, 9/18 (1997)
14) P. M. B. van Roosmalen:

Restoration ofArchived Film and Video, PhD thesis, Delft
University of Technology in Dutch (1999)
15) 雛元孝夫, 棟安実治, 田口亮: 非線形ディジタ
ル信号処理, 朝倉書店 (1999)–8–

(a-1) 劣化映像 (t-1)(a-2) 劣化映像 (t)(a-3) 劣化映像 (t+1)(b-1)SDIa(t-1)(b-2)SDIa(t)(b-3)SDIa(t+1)(c-1)ROD(t-1)(c-2)ROD(t)(c-3)ROD(t+1)(d-1) 提案法 (t-1)(d-2) 提案法 (t)(d-3) 提案法 (t+1)

Fig. 7

連続フレームのブロッチ検出結果の比較 () 内はフレーム番号–9–