ディジタル映像アーカイブのための画像修復技術の研究開発
齊藤 隆弘

ータは経年劣化しないこと、②画像や音やテキスト

あらまし

等のディジタルデータの合成や編集が容易なこと、筆者らの研究グループは、古い映像資料（映画フ③ネットワーク経由の高度かつ便利な利活用が容易ィルム）のディジタルアーカイブ化のための必須のに実現できること、④高性能かつ先端的なディジタ

基本技術である

ル信号処理やディジタル画像処理の適用が可能であ

経年劣化により傷んだ映画フィル

ムのディジタル映像修復技術の研究開発に取り組

ること、⑤ディジタルデータの記録と保存はアナロんできた。経年劣化フィルムに先端的なディジタル

グデータに比較して安価であること、⑥ディジタル

映像修復技術を適用することで、撮影当時の生き生複製が容易であること、⑦ディジタル技術の進歩はきとした映像を蘇らせることができる。本論文では、

速いこと、といったものである。上記の特徴の中で、筆者らの研究グループがここ数年間に行った研究開⑥と⑦は、長所にもなりうるし、欠点にもなりうる。

発の成果について述べる。

一方、ディジタルアーカイブをその導入形態から分類すると、①

実物のアーカイブのディジタル化、②ディジタル情報技術を活用した収蔵物のディ

Ⅰ はじめにジタルアーカイブ化、③散在する対象物のディジタ

経年劣化を避けることができない

実物の文化資ルデータとしてディジタルアーカイブ化、という 3の姿を、ディジタル画像やディジタルデータと種類に分類することができる。我が国においては、(1)

産して高精度に記録し、これらを広く公開すれば、実実物のアーカイブ

物の文化資産の劣化の防止にもなり、さらには文化すると、さほど普及していなかったということから、の普及にも貢献しうる。 実物の文化資産をディ

上記①の形態のディジタルアーカイブは主流ではな

ジタル化するということは、実物の有効利用を促進

く、上記②や③のタイプのディジタルアーカイブがすることであり、また同時に実物の無用な利用を抑主流であるといわれている。多くの美術館・博物館

制することで、実物を劣化から守ることにも繋がる。

では、ディジタル情報通信技術やデータベース技術

我が国においては、1990 年代前半に、このようなの普及に合わせ、アーカイブとディジタルアーカイ

コンセプトが自然発生的に生じ、このコンセプトのブをほぼ同時に立ち上げるといった傾向がよく見ら生みの親の一人であった東京大学、月尾嘉男教授が、れるとのことである。

このコンセプトを表す用語として「ディジタルアー

そのものが、西欧諸国に比較

我が国における美術館のディジタルアーカイブと(1)

カイブ」という用語を提唱した。現在では、我が国

その公開サービスの事例としては、東京国立博物館

におけるディジタルアーカイブ構想は、ディジタル

が、4 × 5 フィルムをスキャンした 4000 × 5000 画素

情報のネットワーク経由の高度な利活用までも視野のディジタル画像データを最高レベルのデータとに入れたものになっていることはいうまでもないこ

し、またそれを間引いた 4 段階のディジタル画像デとである。

ータを無圧縮の TIFF 形式で長期保存用データとし、ディジタルアーカイブの特徴は、①ディジタルデ

さらにインターネットを介しての一般公開には、国39

際標準画像圧縮方式の JPEG によって情報圧縮した

ディジタル映像復元には、最先端の画像処理技術

データ形式を導入した事例が、標準モデルとなり、が適用されるが、処理対象のディジタルデータが膨（2）

その後の流れの主要な方向性を決定付けた。また、大であり、また現状では計算時間も非常に長いこと我が国においては、美術館における鑑賞のみならず、から、そのコストは非常に大きなものとならざるを事前学習や事後学習にディジタル情報技術を使用す得ない。筆者らの研究グループは、古い映像資料とる先端的な試みが、東京大学総合研究博物館等で始しての映画フィルムを対象とし、そのディジタルア

（3）

められ 、 現在では、このような高度な利活用の形

ーカイブ化のための基本技術の研究開発に取り組ん

態の実現を、その目標とすることがディジタルアーできた。映像資料のディジタル化の妙味は、先端的カイブの標準コンセプトになりつつある。

なディジタル映像復元技術を適用することで、撮影

一方、我が国の動画像のディジタルアーカイブと当時の生き生きとした映像を蘇えらせることができしては、2003 年に埼玉県川口市に設立された NHK

る点にある。本論文では、筆者らの研究グループがアーカイブスが、その規模と収蔵量から国内最大の

ここ数年間に行った研究開発の成果について述べ（6）〜（17）（4）

ものである。これは、VTR テープなどの種々の媒体に記録された組素材映像

過去に放送された TV 番組

や

る。

番

をディジタル化し、再利用しようとするものである。また、我が国の映画フィルムのディ

Ⅱ シネマ映像の経年劣化とそのディジタル修復

ジタルアーカイブ化に関しては、組織的な試みとしては、東京国立近代美術館フィルムセンターの試み

映画は 100 年以上前から存在しているが、映画フ（5）が唯一のものである。このフィルムセンターでは、

ィルムの化学的不安定性に起因した経年劣化が生じ

神奈川県相模原市に設置されているフィルム保管庫ることは避けられず、多くの貴重な映像資料が失わに、35mm フィルムで 20 万缶（長編映画に換算してれつつある。 とくに、1950 年以前に採用されてい約 4 万本相当）のフィルムを保存しているが、そのた硝酸エステルが使用されていたフィルムでは経年

多くのものは経年変化によって劣化している。経年劣化が避けられず、その多くは重度の損傷を被って劣化した映画フィルムのディジタルアーカイブ化にいる。そこで、映画フィルムをディジタル保存するは、ディジタル映像復元が必須であるが、フィルムとともに、損傷をディジタル画像処理技術により修センターでは試行的なプロジェクトとして 2002 年

復し、経年劣化以前の本来の品質の画像を復元する

度から 2004 年度の期間に下記の 5 本の映画作品を、ことが必要とされている。

（5）（5）〜（7）『斬人斬馬剣』（1929 年 伊藤大輔監督）2002 〜

ディジタル損傷修復を普及させるには、ディジタ

2003 年度

ル画像処理をできる限り自動化、高速化することで、『和製喧嘩友達』（1929 年 小津安二郎監督）2003

ディジタル損傷修復に要するコストを可能な限り削年度減する必要がある。世界で初めてディジタル損傷修『瀧の白糸』（1933 年 溝口健二監督）2004 年度

復されて公開された映画は、ディズニー映画の「白『新・平家物語』（1955 年 溝口健二監督）2004 年

雪姫（1937 年作品）」であり、そのコストは 700 万

度

US ドルであった 。 現在開発されている専用ディジ『國士無双』（1932 年 伊丹万作監督）2004 年度

タル画像処理システムを用いた場合が、そのコスト

その映画フィルムの各コマを 2048 画素× 1556 画素

はフィルム損傷の程度によっても異なるが、1 分間の高解像度でディジタルスキャンし、さらにディジを修復するのに約 3 万〜 30 万円かかるといわれていタル映像復元したが、その後は経費的な問題もあっる。2 時間の映画で約 360 万〜 3600 万円かかるとなて、ディジタルアーカイブ化は進展していないとのると、現時点の損傷修復コストは決して安いとはい

（18）

（19）

（5）

ことである。

40

論文

えない。現状では、商業的に成功した映画のみがディジタル損傷修復の恩恵を受けていて、芸術的価値

オリジナルフィルムを、光化学的な手法で複製したは高くても商業的には成功しなかった映画や、ドキりする際に生じる損傷であり、これらの多くはもっュメンタリー映像や資料映像は、高コストなままだ

ぱらディジタル損傷修復の対象となる。上記の（4）と、ディジタル損傷修復されず放置され、やがては〜（6）の損傷は、カラーフィルムの損傷であり、消え去る運命にあるだろう。商業的に利用価値が見

軽度の損傷であるならば、モノクロフィルムと同様込めないと考えられている映像もディジタル損傷修の手法を適用することによって修復可能である。

復の恩恵が受けられるようにするには、ディジタル

感光乳剤が塗布されたフィルム面と反対側のフィ

損傷修復コストを大幅に下げるための技術開発が必ルムベース面に付いた傷は要不可欠である。

屈折率を有した液体に浸しながら、オリジナルフィ

EC の DIAMANT プロジェクトでは、修復処理のフィルムの素材と同じルムを新しいフィルムに焼き付ける手法

であるウ

対象となるさまざまのフィルム損傷の事例を収集、ェッジゲート・プリンティングなどの光化学的手法

分類、整理するとともに、損傷動画像例をそのによって修復することができる。ポジフィルムの場

（5）

（19）

Web サイトに掲載している 。 表 1 には、DIAMANT

合、黒く見えるスクラッチ（引掻き傷）がこれに相プロジェクトの Web サイトに掲載されているフィ

当する。一方、フィルム面の感光乳剤が塗布された（19）

ルム損傷の分類表を、再整理して示した。なお、表面に傷が付くと、ポジフィルムの場合には白く見え、

1 には、各損傷の見え方とその修復についてのコメ

しかも傷の深さによって見え方が微妙に異なる。場

ントを記載したが、これは DIAMANT プロジェクト

合によっては、雪のように見えることもある。このの Web サイトに記載されているものではなく、筆傷は光化学的手法では修復することができない。こ者の見解である。

の場合、ディジタル損傷修復以外では修復不可能である。このように多様な損傷を効果的に修復するに

表 1 では、フィルム損傷を、以下の 6 種類のカテ
ゴリーに大分類している。

は、ディジタル損傷修復が優位である。
筆者らの研究グループでは、実際のフィルム損傷（1）Loss of image information（画像情報の消失）事例を調査した結果、フレームの不規則な揺れ、フ（2）Defects originated in duplication（複写時の損

リッカ、スクラッチ、ブロッチ、ランダム雑音、フ傷）（3）Defects due to multiple copying（転写の繰り返しによる損傷）

ォーカス微動の補正（鮮鋭度の改善）は、画像処理技術によって修復、補正可能であると判断し、それらの損傷修復法や補正法を具体的な研究開発目標と（6）〜（17）（4）Defects relating to early colored films（初期のカラーフィルムに関連した損傷）（5）Defects relating to early natural color system

して設定した。
以下には、修復対象とした 5 種類のフィルム損傷の定義と原因を簡単に列記した。
（9）
（14）
（15）
（17）

（初期カラーシステムに関連した損傷）（1）フリッカ（6）Defects relating to modern color system（最元のシーンには存在しない明るさの不自然な時間

近のカラーシステムに関連した損傷）的変動として定義される。その原因には、フィルム

上記の（1）の損傷は、フィルムそのものが傷つの経年劣化、化学的処理や複製の不完全性、シャッ

いたり、皺が付いたり、破損したり、黴が生えたり、

タ時間の変動等、多くのものがある。

感光乳剤が剥離、溶解したりして生じた損傷である。

（2）ブロッチ

この種の損傷には、第一にアナログ的な修復技法がフィルム表面の挨の付着や、経年劣化による感光適用される。例えば、フィルム素材と同じ光学的特乳剤の剥離等の様々な要因によって生じた斑点状の性を有した素材で傷を埋めたり、フィルム面を洗浄損傷である。その輝度は暗い場合もあるし、明るいしたりするものである。上記の（2）、（3）の損傷は、場合もある。

（8）
（9）
（12）
（16）
（17）

41

デ
ィ
ジ
タ
ル
映
像
ア
ー
カ
イ
ブ
の
た
め
の
画
像
修
復
技
術
の
研
究
開
発

表1

種々のフィルム損傷タイプとその修復
Defects Types（損傷のタイプ）

損傷の見え方とその修復（1）Loss of Image Information（画像情報の消失）（1-1）Scratches（スクラッチ：引掻き傷）（1-2）Tears（裂け目あるいは断裂）（1-3）Crowsfeet（カラスの足跡）

化学的修復。モフォロジ処理などのフレーム内画像処理による検出と修復。
裂け目や断裂をフレーム間処理で検出し、時空間補間によりフレーム挿入。
モフォロジ処理などのフレーム内画像処理による検出と修復。
大きなブロッチ。フレーム間差分にモフォロジ処理等を適（1-4）Cue dots（目印点）

用して検出。フレーム間補間。

（1-5）Missing frames（消失フレーム）（1-6）Wide splices（幅広の繋ぎ目）（1-7）Reticulation（網状のしわ）（1-8）Water damage（水による損傷）（1-9）Rust damage（錆の付着による損傷）（1-10）Fingerprints（指紋の付着）消失フレームをフレーム間処理で検出し、フレーム間補間により消失フレームを挿入。
周囲と不連続な水平の繋ぎ目を検出し、隣接領域からの時
間空間補間により修復。
修復は困難。種々の非線形平滑化処理等の適用。
大面積ブロッチ。フレーム間差分にモフォロジ処理等を適用して検出。フレーム間補間。
錆によるしみをフレーム間差分にモフォロジ処理等を適用して検出。フレーム間補間。
小さなブロッチがバースト的に発生。フレーム間・フレー
ム内処理で検出し、時空間補間。
雨のように見える。フレーム間・フレーム内処理で検出し、（1-11）Oil stains（油の汚れ）

時空間補間にて修復。

（1-12）Bilstering or peeling of the emulsion（感光乳剤の剥離）（1-13）Melting of the emulsion（感光乳剤の溶融）（1-14）Mold（黴による感光乳剤の侵食）（1-15）Effects of improper chemical treatment of the film

大きな白いブロッチ。フレーム・フレーム内処理で検出し、フレーム間補間にて修復。
画像の一部が白い『液体』状に見える。大抵、修復は不可能。
様々な形と明るさを持ったパターンが時間的に変化。修復は困難。
大きなしみ。数珠状のブロッチ。染み抜きフィルタ。フレーム間・フレーム内処理で検出。

（不適な化学的処理）（1-16）Decomposition（フィルムの分離・分解）

感光乳剤と合成樹脂膜とが分離・分解。大抵、修復は不可能。

（2）Defects originated in duplication（複写時の損傷）（2-1）Unsteadiness（フレームの不規則な揺れ）

大域的な動き解析を用いた揺れの検出と補正。カメラワー
クの分離が必要。
基準参照フレームを用いたフリッカ補正処理。フレーム間（2-2）Flicker（フリッカ）

の処理。

（9）
（12）
（17）

（3）スクラッチ

構の動作の不安定性によって生じるものである。

スクラッチ損傷は、フィルムとビデオとでは現れ（5）フォーカス微動

（10）
（11）
（13）

方が異なる。フィルムスクラッチはフィルム走行時

フィルム転写時や、場合によっては、撮影時にフにフィルム表面に付いた引掻き傷であり、周囲よりォーカスがフレームごとに微変動し、画像が時々ぼも暗い、または明るい垂直に近い線分として見え、けたり、鮮明になったりするように見える。

数フレーム期間にわたってほぼ同じ位置に見える。
（9）
（17）

筆者らは、先に、画質劣化の要因の一つであるブ（8）（4）フレームの不規則な揺れ

ロッチノイズの検出と修復を行う方式を提案した。

撮影時やフィルム転写時におけるフィルム送り機

筆者らの先の提案方式では、損傷のある画像に対し

42

論文

Defects Types（損傷のタイプ）（2-3）Breathing（フォーカスの微動）（2-4）Multiple frame line（多重フレームのライン）（2-5）Cropped image（画像の過度のトリミング）（2-6）Copied dust or hairs（塵や髪の毛の複写）（2-7）Newton’s rings（ニュートン環）

損傷の見え方とその修復

フォーカスの外れたフレームを検出し、鮮鋭度を上げる。
フレーム内フィルタ。
周囲と不連続なラインを検出し、隣接領域からラインを生成し、置換。
無声映画に有音映画のマスクを当ててトリミング。修復は不可能。
ブロッチや曲線状の損傷。フレーム間・フレーム内処理で検出し、修復。
モフォロジ処理などのフレーム内画像処理による検出と修復。

（2-8）Halation（ハレーション）

明るい被写体の周囲の暈（ハロー）を検出し、除去。

（2-9）Uneaven exposure（不均一な露光）

明るさの空間的変化からトレンドを推定して補正。

（2-10）Over-exposure（露光過度）

各種のコントラスト補正法の適用。

（2-11）Under-exposure（露光不足）

各種のコントラスト補正法の適用。

（2-12）Late lights（露光タイミングのずれ）（2-13）Flare（光斑）（2-14）Fogging（曇り、かぶり）（2-15）Fringing（カラーの縞）（3）Defects due to multiple copying（転写の繰り返しによる損傷）

正常に露光された周囲のフレームに明るさを合わせる。輝
度値の非線形変換。
暗い領域中で一様に明るく輝いている部分を検出し、周囲から補間。
画像部分領域で突発的に発生する明るさの不規則時間変動。
フリッカ補正の適用。
色の縞。色成分の位置ずれの検出と補正。
鮮鋭度、コントラストの低下。粒状性の増大。鮮鋭化と雑音除去との両立処理。

（4）Defects relating to early colored films（初期のカラーフ
ィルムの損傷）（4-1）Dye fading（褪色）（4-2） Fading of the silver salts（銀塩の消失）（5）Defects relating to early natural color system（初期カラーシ
ステムの損傷）大抵の場合、元の色を復元することは困難。人手による着色処理。
フレーム間・フレーム内処理による色禿領域の検出と修復。
カラーフリッカ補正処理。
マゼンダ成分の部分的消失。赤いブロッチの検出・補正。

（6）Defects relating to modern color system（最近のカラーシステ
ムの損傷）（6-1） Fading（褪色）

何層かの感光層が消失。カラーグレーディング補正。カラースレートを参照した補正。

ても適用可能な動き解析法を用いるとともに、着目

高速化と改良について検討し、ほぼ同画質のノイズ

画像と動き補償画像の二つの画像間の最小差分法に除去性能を維持しつつ、20 倍以上の大幅な高速化

基づく検出と修復を行うことにより、ロバスト性のを実現することができた 。 以下では、主としてこ

高い高精度なノイズ抑制を達成している。しかしなの成果について述べる。

（16）

がら、膨大な処理時間を必要とするため、実用化のためには、ディジタル損傷修復コストを大幅に下げるための研究開発が必要不可欠であった。そこで、その後、筆者らの研究グループは、先の提案処理の

43

デ
ィ
ジ
タ
ル
映
像
ア
ー
カ
イ
ブ
の
た
め
の
画
像
修
復
技
術
の
研
究
開
発

図 1 ディジタル修復処理の基本的な構成

Ⅲ 高速ブロッチ修復法とその評価（1）手法
図 2 高速ブロッチ修復法の処理の基本的な流れ

ブロッチのディジタル修復処理は、大きく分けて2 段階に分類される。ブロッチの検出とブロッチの①高速化の工夫修復であり、図 1 にその処理の基本的な構成を示し

基本的には筆者らの従来手 法 も本手法も、図 1（8）に示したように、 ブロッチの検出た。
ノイズの検出は、最初に、修復したい画像とその

の修復

と

ブロッチ

の二つの処理で構成されている。従来手法

1 フレーム前の画像間で動いている人や物に対して

では、5 フレームを用いて動きの連続的方向検出と動き補償処理を行う（図 1 の①）。すなわち、後の非線形関数による非汚染度を推定することによってフレーム間差分処理において、ノイズによるフレー

ブロッチを検出しているが、本手法では 2 フレーム

ム間差分値と動きによって生じるフレーム間差分値

間の動き補償処理をベースに、フレーム間差分処理とが混在しないように、あらかじめ動きによって生とモフォロジー処理を組み合わせた処理を採用する

じるフレーム間差分を補正するために実施する。次ことで、使用するフレーム数の減少と、簡易処理へに、動き補償処理をした画像と修復したい画像とのの置き換えによる高速化を実現している。また、従間でフレーム間差分処理を行う（図 1 の②）。この来手法では、時空間補間法により修復を行っている

フレーム間差分処理によってノイズ検出のための前が、本手法では、フレーム間補間法によって高速化処理ができたことになる。さらに、差分画像にしきを実現している。さらに、画素間引き処理、誤差計

い値処理を適用することで、修復画像からノイズが算法の簡素化、ソフトウエア的改善を行い、高速化検出される（図 1 の③）。

を実現した。これらはいずれも修復不足等の画質面次に行うのがノイズの修復である。検出されたノイズに対して近隣領域の画像情報を用いて穴埋め処での影響と照らし合わせながら、損傷修復結果に視覚的に有意な差異を生じない範囲内で行った。

理を行うことでノイズを除去する（図 1 の④）。
以上がディジタル修復処理の大まかな流れであ②動き補償処理る。さらに、本手法では、動き補償処理とフレーム

時刻 t での画像の N 画素× N 画素サイズの着目領間差分処理によるブロッチノイズの検出と修復処理

域（ROI）に対し、時刻 t ＋ 1 での画像の同一位置をを再帰的に繰り返すアルゴリズムを採用している。

中心とした（2N ＋ 1）画素×（2N ＋ 1）画素サイズ

図 2 に本手法の処理の基本的な流れを示した。また、の探索着目領域（ROI）の中で、絶対値差分最小値

以下の各節において、本手法の各処理の詳細につい検索を階層的精粗サーチ法により行う。階層的精粗て述べる。

サーチ法とは、低解像度の画像で誤差最小の位置を

44

論文

表2

演算時間の比較演算時間

筆者らの従来手法

提案手法

1 画像当たり

180 秒

7〜9秒

フィルム 2 時間当たり

約1年

約 16 日済み）の S 画素× S 画素のサイズの近隣領域を定義
し、この近隣領域中の画素値の上位の 30 ％の平均
値を最大平均値、画素値の下位の 30 ％の平均値を最小平均値と定義し、ノイズの正負に応じて上記の図 3 修復処理における近傍領域の定義

ように画素値を置き換えていく。このように、ノイズ修復済の近隣領域中の画素の値のみを用いて、順決め、それを中心として探索着目領域（ROI）を

次画素値を置き換えていく。

1 ／ 4 ずつ小さくし、その分だけ解像度を上げて探索する方法である。

⑤再帰的繰り返し処理
上記処理により時刻 t ＋ 1 での画像が修復される。

③フレーム間差分処理

次の時刻 t ＋ 2 での画像の処理を行うときは、修復

動き補償された時刻 t での画像（時刻 t からの時された時刻 t ＋ 1 での画像を用いることで、再帰的間経過による動き変化成分を補正し、時刻 t ＋ 1 での画像を予測した画像）と、時刻 t ＋ 1 での実際の画像とのフレーム間差分画像を作成する。また、フレーム間差分画像に対して、フレーム間差分値（フ繰り返し演算を行う。

（2）修復性能の評価
修復実験に使用した

ディジタルスキャンされた

レーム間差分画像の画素値）の絶対値が所定のしき

シネマ画像の 1 シーンの原画像を、図 4 に示した。

い値よりも大きい画素は、ブロッチとして検出する

表 2 には、図 4 の画像を本手法で処理した際の演算とともに、その周辺画素（周囲 8 方向の 8 画素）も処理時間を、筆者らの従来手 法 で処理した際の演

ブロッチとして検出するものとした（モフォロジー

算処理時間と比較して示した。また、表 2 では、1処理の Dilation〔膨張〕処理に相当）。すなわち、単画像当たりの演算時間の実測値から 24（フレー純なしきい値処理よりも一回り領域拡張されたことム／秒）としたときの 2 時間映像当たりの処理時間になり、これによってブロッチの中心領域だけでなの見積値も合わせて示した。なお、演算時間は、く、ブロッチ全体を覆うようにブロッチ領域を検出

Pentium D2、80GHz （1.0 GB RAM）のコンピューできるようになる。

タで処理した際の演算処理時間である。

（8）

図 5 には、原画像と、1 フレーム前の修復済み画④修復処理

像を用いて動き補償を行って得られた画像との間のフレーム間差分値の絶対値が所定のしきい値より

フレーム間差分画像を示した。また、参考のため、小さいものは修復せず、ブロッチ検出領域内でその図 6 には、動き補償処理を行わなかった場合のフレ

フレーム間差分値が正の画素は近隣領域中の最大平ーム間差分画像も示した。図 7 にはフレーム間差分

均値に、そのフレーム間差分値が負の画素は近隣領

画像を単純にしきい値処理した結果を、図 8 にはフ域中の最小平均値に、時刻 t ＋ 1 での画像の画素を

レーム間差分画像をモフォロジー処理で領域拡張し置き換える。

た結果を示した。さらに、図 9 にはノイズ修復処理

図 3 に修復処理で参照する近傍領域の定義を示しを行い、本手法によって最終的に得られた修復画像

た。画像をラスタースキャンしながら、検出されたを示した。また、比較のため、図 10 には筆者らのノイズを見つけたら、図 3 のように走査済み（修復従来手法 による修復画像を示した。

（8）

45

デ
ィ
ジ
タ
ル
映
像
ア
ー
カ
イ
ブ
の
た
め
の
画
像
修
復
技
術
の
研
究
開
発

図 4 使用したシネマ画像の 1 シーンの画像（灰色＝ 0、黒＝負値、白＝正値）
図 5 フレーム間差分画像（動き補償あり）（灰色＝ 0、黒＝負値、白＝正値）
図 6 フレーム間差分画像（動き補償なし）（灰色＝ 0、黒＝負値、白＝正値）
図 7 しきい値処理結果（モフォロジー処理なし）（灰色＝ 0、黒＝負値、白＝正値）
図 8 しきい値処理結果（モフォロジー処理あり）

図 9 提案手法による修復画像①動き補償処理の効果分と動き成分の両方が同時に重畳されてしまう。一図 5 と図 6 の比較からわかるように、図 6 のよう方、図 5 のように動き補償処理を適用した場合は、に動き補償処理を行わないと、汽車や線路のようなフレーム間差分にはシーンの絵柄がほとんど見え

非ノイズ成分までもフレーム間差分値として抽出さず、フレーム間差分はほぼノイズ成分のみで構成されてしまい、ブロッチノイズと区別できなくなってれていることがわかる。以上から、動き補償処理はしまう。すなわち、フレーム間差分成分にノイズ成有効であり、必須な処理であるといえる。

46

論文

一方、本手法の演算時間は、表 2 のように、筆者（8）らの先の手 法 と比較して大幅な高速化を実現している。しかしながら、本手法でも、2 時間の映像フ
ィルムをすべて処理するには、1 台の標準的なパーソナルコンピュータで約 16 日、10 台のパーソナル
コンピュータで並列処理しても約 2 日かかる。よって、高速化はまだ十分とはいえない。本手法の演算
時間の 90%以上は、動き補償処理に費やされている。
よって、今後のさらなる高速化のためには、動き補償（8）

図 10 筆者らの従来手 法 による修復画像

処理の高速化について、さらに検討する必要がある。

②モフォロジー処理の効果⑤高速化の要因

図 7 と図 8 の比較からわかるように、図 8 のよう本手法で達成した高速化の要因は、下記の通りでにモフォロジー処理を適用することによって、あるある。すなわち、

程度大きいブロッチノイズにおいても形状全体が抽（1）階層的精粗サーチ法による高速化

出されているが、図 7 のようにモフォロジー処理を（2）サーチ演算手法の工夫（誤差を最大絶対値で適用しない場合には、ブロッチノイズの中心部分の近似、誤差計算の打ち切り等）による高速化

みしか抽出されておらず、正確なブロッチ形状が検（3）動き補償処理の画素間引きによる高速化

出できていない。このことから、モフォロジー処理（4）検出処理で使用するフレーム数の減少化と簡は、効果的な処理であるといえる。

易処理への置き換えによる高速化（5）修復処理を時空間補間法からフレーム内補間③修復結果の比較法に変更したことによる高速化

ノイズ抑制の効果は他のシーンでも同様に確認さ（6）ソフトウェア的な改善による高速化れた。とくに、本手法は再帰的繰り返し処理を行っ以上の 6 点である。

ており、ノイズの軽減された修復済みの画像を前フ

さらに、作成したシミュレーションソフトウェア

レームの参照画像として用いているところに特徴がをプロファイル解析した結果、上記要因のそれぞれある。そのため、シーンが変わることによって、ノ

単独の高速化効果は、筆者らの従来手法に対して、イズ軽減効果が薄れることが懸念されたが、本手法（1）約 2 倍、（2）約 1.2 倍、（3）約 1.5 倍、（4）約 3

ではノイズ抑制の応答が早いため、その影響は小さ倍、（5）約 2 倍、（6）約 1.5 倍であった。それぞれ

く、動画像として観察した場合にはほとんど気になが高速化に寄与し、全体として表 1 のように約 20 倍らない。

の高速化を達成した。

（8）

本手法は比較的簡易な処理であるため、演算時間だけでなく、ハードウェア化による実現も比較的容易であるというメリットもある。

Ⅳ その他のフィルム損傷の修復
筆者らの研究グループは、上記Ⅲで述べたブロッ（8）④筆者らの従来処 理 との比較

チノイズ修復法をさらに改善するとともに、実用化

図 9 と図 10 の比較から、本手法による修復画像と、を視野に入れ、その他の各種のノイズ抑制について（8）

筆者らの先の手 法 による修復画像は、視覚的にほも検討を加え、4 種の経年劣化ノイズの軽減手法を

ぼ同程度であることがわかる。他のフレームの画像開発した。下記にそれらの手法の処理概要を示した。

（9）
（12）
（14）
〜（17）

においても同様な傾向が見られた。

47

デ
ィ
ジ
タ
ル
映
像
ア
ー
カ
イ
ブ
の
た
め
の
画
像
修
復
技
術
の
研
究
開
発

（b）処理結果画象（a）入力損傷画象図 11 フリッカとスクラッチの抑制結果
（9）
（12）
（17）

③スクラッチノイズ抑制手法
下記の 3 通りの手法について検討した。
1. 手法 A
（12）
（17）
）

垂直線成分に反応する選択的な構造要素を用いたモルフォロジー演算によるオープニング処理（黒のスクラッチが抽出対象）と、クロージング処理（白のスクラッチが抽出対象）を用いた抑制手法である。

図 12 フレームの揺れ抑制過程

2. 手法 B（9）（17））

微分オペレーターによる線強調と Hough 変換に（1）各種の損傷修復手法

よる線検出、および補間処理によるスクラッチ抑制

（9）
（14）
（15）
）
（17）

①フリッカ抑制手法手法である。

ヒストグラム解析により画像のダイナミックレン

3. 手法 A と手法 B を組み合わせた処理である。

（17）

ジ（DL）および平均輝度（M）を計測し、基準信号との差から次式に基づき階調変換する手法であ④ブロッチのノイズ抑制手法

る。

Ⅲで述べたブロッチノイズ抑制手 法 を改良し、

（16）
（17）
）

z（p）= γ・ x（p）＋δ

（1）

（16）

ラベリングによるノイズ除去、および前後複数フレ

ただし、上式において、δは平均輝度 M と基準値

ーム画像を用いた画素移植による修復処理の追加をとの差、γはダイナミックレンジ DL と基準値との

行った。

（17）

比、x（p）は原画像、z（p）は修復画像を表している。

（2）修復性能の評価
図 11、図 12、図 13 に処理結果を示した。これら

（9）
（17）
）

②フレームの揺れ抑制手法の処理結果に示したように、除去対象としているノ

複数の着目領域 ROI 内で推定された複数の動きベ

イズを軽減することができた。一方、画像一枚当たクトルから、あらかじめ定めた取捨選択基準によっりの演算時間は、フリッカ、フレームの揺れ、スクて選ばれた動きベクトルのみを用いて、フレームのラッチノイズの抑制処理に関しては 0.1 秒未満、ブグローバルなワーピングモデルを推定し、このワー

ロッチノイズの抑制処理に関しては 7 〜 9 秒程度

ピングモデルに基づきフレームの揺れを抑制する手（おもに動き補償の処理に演算時間を要している）法である。なお、時刻 t での画像のフレームを修正であり、ブロッチノイズの抑制処理に関しては、さし、この修正画像を次のフレームの修正に再帰的にらなる高速化の検討が必要である。

用いている。

48

論文

（a）入力損傷画象（b）処理結果画象図 13 ブロッチノイズの抑制結果
大きい円の中の小さいブロッチは完全に消えているが、小さい円の中の大きいブロッチはまだ不完全である。

他の経年劣化要因であるスクラッチノイズ、フリッカ、フレームの揺れについても実用的な処理を考案した。今後、これら主要なノイズや変動を抑制する
（9）
）〜
（17）

ディジタル画像処理を、図 14 に示したように統合し、総合的なディジタル映像修復システムを開発することを計画している。その中で、とくに人の視覚を考慮したノイズ抑制方式について研究する予定である。さらに、多種多様なディジタル映像修復処理を比較する際に、各種の経年劣化ノイズを数学的にモデル化し、ノイズのない画像にこの数学モデルに従って人工的に発生した経年劣化ノイズを付加した
動画像をテスト動画像として用いて修復処理を行い、修復性能を定量評価する予定である。
図 14 各種のノイズ抑制処理の統合

これらの技術開発が、今後の映像資料のディジタ
ルアーカイブの進展や普及に貢献することを、切に
望む。

Ⅴ むすび
本研究では、古い映像資料のディジタルアーカイ

謝辞

ブへの適用をその目標とし、経年劣化映像のディジ

本研究は、神奈川工科大学・武尾英哉研究室とのタル損傷修復のコストを大幅に低減するためのブロ共同研究として行われたものである。ここに、武尾ッチノイズの新たな軽減手法を考案し、筆者らが先

英哉准教授をはじめとする武尾英哉研究室のメンバ（8）に提案した手 法 と比較して、優れたノイズ軽減効ー各位に感謝の意を表する。

果を維持しつつ、演算時間を大幅に短縮した。また、（さいとう・たかひろ）【参考文献】（1）笠羽晴夫
2007「デジタルアーカイブの歴史的考察」『映像情報メディア学会誌』61（11）： 1545-1548（2）高見沢明雄
1997「東京国立博物館の文化財情報システム」『文化庁月報』347 ： 6-7

49

デ
ィ
ジ
タ
ル
映
像
ア
ー
カ
イ
ブ
の
た
め
の
画
像
修
復
技
術
の
研
究
開
発

（3）坂村健
1997「デジタルミュージアム─博物館の未来を目指して─」『文化庁月報』347 ： 4-5（4）江原学2007「放送映像アーカイビング」『映像情報メディア学会誌』61（11）： 1567-1572（5）室屋泰三
2007「美術館におけるデジタルアーカイブの現状と課題〜独立行政法人国立美術館の事例〜」『映像情報メディア学会誌』61（11）： 1589-1592（6）齊藤隆弘
2001「ディジタル画像処理によるフィルム映像の復元（1）」『映像情報メディア学会誌』55（12）： 1599-

1604（7）齊藤隆弘
2002「ディジタル画像処理によるフィルム映像の復元（2）」『映像情報メディア学会誌』56（1）： 85-92（8）小松隆、 岩間徹、 齊藤隆弘
1998

「古い映像フィルムの損傷の検出と修復」『電子情報通信学会論文誌』J81-D-Ⅱ（8）： 1912-1919（9）T. Saito, T. Komatsu, T. Ohuchi, T. Seto.
2000

Image processing for restoration of heavily-corrupted old film sequences. Proc. 15th IAPR Int. Conf.

Pattern Recognition

2 ： 17-20（10）T. Ohuchi, T. Seto, T. Komats, T. Saito.
2000

Selective sharpness enhancement of heavily-corrupted old film sequences. Proc. 2000 IEEE Int. Conf.

Image Processing Ⅱ： 676-679（11）齊藤隆弘、 薩摩林純、 小松隆
2002「連立非線形拡散・反作用型時間発展方程式に基づく画像の選択的鮮鋭度改善とその動画像ブリージ

ング歪の抑制への応用」『電子情報通信学会論文誌』J85-A（10）： 1100-1114（12）飯高一郎、 小松隆、 齊藤隆弘
2003

「経年劣化映像の損傷検出・修復の定量的評価」

映像メディア処理シンポジウム（IMPS2003）Ⅰ-

4 ： 15（13）齊藤隆弘、 原田寛之、 薩摩林純、 小松隆
2004「連立非線形拡散法によるカラー画像の選択的鮮鋭化」『映像情報メディア学会誌』58（11）： 1673-

1679（14）大貫崇英、 小松隆、 齊藤隆弘
2005

「対数輝度補正アルゴリズムによる画像フリッカ補正」

映像情報メディア学会年次大会、 24-1

（15）大貫崇英、 小松隆、 齊藤隆弘
2006

「経年劣化損傷にロバストな高速フリッカ補正法」

映像メディア処理シンポジウム（ I M P S 2 0 0 6 ）、

Ⅰ-4 ： 10（16）武尾英哉、小松隆、齊藤隆弘
2007「実用化に向けた経年劣化シネマ映像のディジタル修復に関する検討」『画像電子学会誌』36（4）465-470（17）武尾英哉、小松隆、齊藤隆弘
2008「ディジタル映像アーカイブのための経年劣化シネマ映像の修復の検討」

2008 年総合大会、D-11-72（18）L, Rohrbough.
1993

Massive effort restored snow white to theater quality、Newsbyte、July 9（19）http://diamant.joanneum.ac.at50

論文

電子情報通信学会