計測自動制御学会東北支部第 343 回研究集会(2023.7.07)
資料番号 343-5

AI を用いたデジタルアーカイブ手法の考察
Consideration of digital archiving methods using AI○清水 能理○Yoshimasa Shimizu
八戸工業大学
Hachinohe Institute of Technology
キーワード: デジタルアーカイブ(digital archive)，画像処理(image processing)，GAN (Generative AdversarialNetwork)，超解像(super-resolution)，最適化(optimization)
連絡先:〒031-8501 八戸市大字妙字大開88-1 八戸工業大学工学部工学科システム情報工学コース
清水能理 Tel.: (0178)25- 8135，Fax.: (0178)25-1691，E-mail: shimizu@hi-tech.ac.jp

１．はじめにの一種を用いる。GAN の中でも超解像に焦点を置き、浮世デジタルアーカイブは知的資源を対象とし、その所蔵お絵画像を対象として絵画の高解像を試みる。また、複数のよび利用機関は文書館・公文書館・資料館・博物館・美術

手法を比較しながら超解像の精度向上を行い、超解像とノ館・図書館等である。デジタル化知的資源を公開することイズ除去に着目し、絵画画像の保存手法として有効か検証

により、ネットワークを通じた利用が容易となる。一方、し、考察していく 4)- 9)。

超解像（Super-Resolution）は、画像や動画の解像度を擬似的に上げる技術のことで、解像度が低い画像の高周波成

３．画像処理分を予測・復元して、解像度を高める。この技術は、テレ画像処理は、コンピュータを使用してデジタル画像を処

ビなどに関わるデジタルの画像処理技術の一つで、入力信理する技術で、その目的は、画像の品質を向上、特定の特号の解像度を高めて出力信号を作る技術を指す。具体的な徴を抽出、または画像を他の形式に変換するなど、様々な製品では、入力された動画や静止画の信号を高解像度化し目的に応じて異なり多岐にわたる 7) - 10)。て出力し、高解像度の画像を表示する。この技術を、従来画像処理の一般的なタスクは、以下になる。の画像処理に代わる新しい技術として、絵画などのデジタ

3-1. ノイズ除去: 画像から不要なノイズを取り除き、画像ルアーカイブに応用することを検討する 1)- 3)。の品質を向上させる。
3-2. 解像度改善: 画像の解像度を向上させ、画像の詳細や２．問題の記述
絵画のデジタル化にはカメラで撮影する方法と、スキャ鮮明さを向上させる。
3-3. 特徴抽出: 画像から特定の特徴を抽出し、物体認識やナーで保存するという２つの方法がある。AI の超解像手法

パターン認識などのタスクを実行する。

を用いると、さらに高画質に保存が可能になるのではと考3-4. セグメンテーション: 画像を複数の領域に分割するこえる。本研究では、データから特徴を学習することで実在とで、異なるオブジェクトや背景を識別する。

しないデータを生成可能な Generative Adversarial

3-5. 物体検出: 画像内の物体の位置や境界を検出し、識別Network（GAN, 敵対的生成ネットワーク）と呼ばれる AIする。

3-6. モザイク処理: 画像の一部をモザイク状にぼかすことワーク（Adversarial Discriminative Network）の 2 つがで、個人情報の保護や不正利用の防止などで使用される。

ある 4)。
5-1. 敵対的生成ネットワーク（Adversarial Generative

４．デジタルアーカイブ

Network）：敵対的生成モデル（Adversarial Generative

デジタルアーカイブは、デジタル技術を用いて文書、画Model）のことで、GAN（Generative Adversarial Network）像、音声、動画などの情報資源を保存、整理、公開するたなどがあり、生成器と識別器の 2 つのネットワークが相互めのシステムまたはプロセスである。従来のアーカイブはに競い合いながら学習する。

主に物理的な形態で保存されていたが、デジタルアーカイ

5-2.

ブは情報を電子的な形式で保存し、オンラインでアクセスDiscriminative Network）：敵対的識別モデル（Adversarial

可能にすることができる。主な目的は、情報資源を長期間Discriminative Model）を指し、入力データを分類する識保存し、容易に検索・閲覧できるようにすることである。

別モデルを意味し、学習において敵対的な要素が組み込ま歴史的な文書や芸術作品、学術研究データなど、重要な情れ、生成されたデータと本物のデータを区別するため GAN報を保存し、後世に伝えることが可能になる。次のようなの識別器が使用される。

要素から構成される 11)- 13)。

敵 対 的 識 別 ネ ッ ト ワ ー ク （ Adversarial

生成モデルと識別モデルを敵対的に学習させることで、

4-1. デジタル化: アナログ形式の情報をデジタル形式に変より高度な表現や生成能力を実現するために使用され、生換する。スキャンや録音などの手法を使用し、紙の文書や成モデルがより本物に近いデータを生成できるようになり、写真、テープなどをデジタルデータに変換する。

識別モデルがより洗練された識別能力を持つように期待さ

4-2. デジタル保存: デジタルデータを適切な形式で保存しれる。

する。データベースやクラウドストレージなどのシステムを使用し、データの安全性と可用性を確保する。

６．GAN（Generative Adversarial Network）

4-3. メタデータ管理: デジタルアーカイブ内の情報資源をGAN は生成モデルの一種で、データを生成するモデル特定するためのメタデータ（情報に関する情報）を作成・（生成器）と、生成されたデータと本物のデータを識別す管理する。作成者、作成日、キーワード、関連するテーマるモデル（識別器）の 2 つのネットワークで構成される。などの情報が含まれ、効果的な検索と分類が可能になる。

GAN の学習は、生成器と識別器が互いに競い合うような

4-4. アクセス制御: デジタルアーカイブには、一般の人々形で進む。生成器はランダムノイズからデータを生成し、や特定のユーザーに対してアクセスを制限するためのセキ

識別器は生成されたデータと本物のデータを区別しようとュリティ対策が必要で、機密性の高い情報や著作権が保護する。識別器は生成されたデータと本物のデータを正しくされた情報については、アクセス制限が設けられる場合も識別することで報酬を得る一方、生成器は識別器を騙すよある。

うなデータを生成することで報酬を得る。この競争が進む

4-5. オンライン公開: デジタルアーカイブは、インターネ中で、生成器は本物のデータに似たデータを生成するようットを通じてオンラインで公開されることが一般的で、一に学習し、識別器は生成されたデータと本物のデータをよ

般の人々がアーカイブのコンテンツを閲覧・検索できるより正確に区別できるようになる。

うになる。国立公文書館デジタルアーカイブ、立命館大学
ARC などがある 1)- 2)。

画像生成や音声生成などの例として、Deepfake（ディープフェイク）技術があり、GAN で生成されたデータは、本物と区別がつかないほど高い品質になる。一方、GAN は深５．敵対的ネットワーク（Adversarial Network）
敵対的ネットワークは、主に敵対的生成ネットワーク（Adversarial Generative Network）と敵対的識別ネット

層学習の一部として研究され、データの補完・修復、データ拡張など応用範囲は広がっている 4),7),14)- 15)。

７．超解像 GAN（Super Resolution GAN）

素は競合的に学習され、互いに向上し続ける。

超解像は、低解像度の画像を高解像度の画像に変換することである。単純に画像を大きくするのではなく、ひずみ

８．研究方法を抑えて人間が見ても自然な画像として認識できるような

8-1. デジタルアーカイブの絵画を超解像GAN で処理する

形で高解像度の画像を生成するというのが大きな特徴であには、まず学習データセットが必要で、高解像度な絵画画る。従来の超解像の手法としては、SRCNN、FSRCNN、像とそれに対応する低解像度な画像のペアを使って GANSRGAN がある 7)。

を学習させ、生成器が低解像度画像を高解像度に変換する

超解像 GAN（Super Resolution GAN）は、超解像技術能力を獲得させる。

を実現するために GAN を利用したアプローチで、通常の8-2. 学習が完了した GAN を使用し、デジタルアーカイブ

GAN と同様に、ジェネレータとディスクリミネータの 2の絵画を処理する。まず低解像度の画像を入力として生成つの主要な要素で構成される。低解像度画像から高解像度器に与える。生成器はそれを高解像度に変換し、より鮮明画像を生成する手法で、GAN の能力を活用することで詳な画像を生成する。生成された高解像度画像は、元の低解細な特徴やテクスチャの回復が可能となる。この技術は、像度画像よりも詳細な情報を含んでいる。

画像の拡大、ビデオの品質向上、映像処理、医療画像解析

8-3. 超解像 GAN は、画像の詳細な復元や補完に利用されなどの領域で広く応用される 16)- 18)。

るが、完璧を保証するものではない。絵画の場合、GAN に

7-1 ジェネレータ：低解像度の画像を高解像度に変換する

よって生成された高解像度画像は、元の絵画とは異なる可役割を果たし、畳み込みニューラルネットワーク能性がある。また、GAN のパフォーマンスは学習データセ（Convolutional Neural Network）や深層学習モデルで構ットやパラメータ設定に依存するため、調整が必要である。

築される。入力として与えられた低解像度画像を取り、高デジタルアーカイブの絵画を、注意深く評価する。

解像度の画像を生成する。
7-2 ディスクリミネータ：ジェネレータが生成した画像と９．ESRGAN本物の高解像度画像を区別する役割を果たす。畳み込みニ

ESRGAN とは、SRGAN での課題であるアーティファクトとューラルネットワークや識別モデルとして構築され、与えいうノイズが現れることを改善した手法である。ESRGAN のられた画像が本物の高解像度画像か、それともジェネレー生成器のネットワークは、畳み込み層、23 個の Residual-タが生成した偽の画像であるかを判断する。

in-Residual(RRDB)、畳み込み層、アップサンプリングレイ

7-3 超解像 GAN の学習プロセス：ジェネレータとディスヤー(畳み込みと Leaky ReLU と PixelShuffle)、そして 2クリミネータが相互に競い合う。ジェネレータはディスクつの畳み込み層から構成されている 16)- 18)。

リミネータをだまそうとして高品質な高解像度画像を生成し、ディスクリミネータは本物画像とジェネレータ生成画像を区別しようとする。この競争により、ジェネレータはより高品質な高解像度画像を生成するよう進化し、ディスクリミネータはより正確に識別するように学習する。
超解像 GAN を、絵画のデジタルアーカイブで利用する
場合は、古い作品や低解像度のスキャンなど質の低い元画

図 1 ESRGAN の生成器のネットワーク構造像に使用することで、高品質な高解像度画像に復元することができる。生成器は低解像度の画像を高解像度に変換する役割を果たし、識別器は生成器が生成した画像が本物の高解像度画像かどうかを判別する役割を果たす。2 つの要

１０．実験方法ESRGAN、Real-ESRGAN、さらに改良のため SCUNet を組み合わせ、学習を行った。

10.1 ESRGAN

高解像になり、和紙に描いたような画像が生成された。

(1)画像データ、アノテーションデータを読み込む。

Real-ESRGAN 学習後 ESRGAN の学習を行うと、主に髪(2)ラベルを作成する。の部分が赤みがかった画像が生成される結果となった。結(3)128×128 でランダムに画像を切り取る。

果画像の口、目、髪の部分のみで比較を行うと、Real-(4)ESRGAN で 15epoch 学習させる。

ESRGAN の学習が情報を損なわずに高解像にできた。

10.2 Real-ESRGAN
超解像を行う画像をフォルダに入れ、Real-ESRGAN で、サイズ倍率 4 倍で学習させる。
10.3 SCUNet
ノイズ除去を行う画像をフォルダに入れ、SCUNet で学習させる。
同様にに、以下の方法を用いる。

１２．おわりにデジタルアーカイブに用いる GAN による超解像の精度向上を目的として、SCUNet を学習後 Real-ESRGAN を学習させる方法と、Real-ESRGAN 学習後にノイズ除去ネットワークアーキテクチャ SCUNet を学習させる方法の2 種類の手法を考察した。Real-ESRGAN の学習前後どち10.4 ESRGAN 学習後 Real-ESRGAN の学習らでも安定した学習結果を得ることができた。Real-10.5 Real-ESRGAN 学習後 ESRGAN の学習

ESRGAN の学習後に SCUNet を学習させると、拡大さ10.6 Real-ESRGAN 学習後 SCUNet の学習せた際元の部分を維持したまま GAN のみの場合より、鮮10.7 SCUNet 学習後 ESRGAN の学習

明ではっきりとした画像結果となった。

10.8 SCUNet 学習後 Real-ESRGAN の学習本研究で試みた実験からは、Real-ESRGAN の学習後にSCUNet の学習を行った提案手法が情報を損なわず細部

１１．実験結果
学習結果を口、目、髪で比較し、保存手法として最も有効な手まで正確に高解像に変換でき、絵画の保存に有効な手法ではないかと考察する。

法は、Real-ESRGAN 学習後 SCUNet を学習した手法であった。

参考文献
1) 国立公文書館 デジタルアーカイブ:
https://www.digital.archives.go.jp
2) 立命館大学 ARC.浮世絵データベース.国立情報学研究
所 DSC(2020):
https://doi.org/10.32130/rdata.2.1
3) 毛利ほか:GAN ディープラーニング実装ハンドブック,秀和システム (2021)
図 2 Real-ESRGAN 学習後 SCUNet 学習画像

4) Jakub Langr/Vladimir Bok,実践 GAN 敵対的生成ネッ
トワークによる深層学習,マイナビ出版 (2020)

GAN を利用し超解像を行い絵画の保存に有効か考察を

5) 臼井孝俊, 清水能理: 敵対的サンプルに対する異常検行った。超解像手法の ESRGAN は、従来の SRGAN の課知の研究,情報処理学会東北支部研究会 研究報題であったアーティファクトを解決し、自然な画像生成を告,Vol.2022 No.1-1 (2022)可能にした。Real-ESRGAN は、ESRGAN の低解像度の

6) 相馬徹平, 清水能理: 画像データに対する異常検知手データ生成が改良され、元の情報を損なわずに綺麗に高解法の特徴および性能の比較,情報処理学会東北支部研究会

像にできた。ESRGAN の学習後 Real-ESRGAN を学習さ研究報告,Vol.2022 No.1-4 (2022)

せると、ESRGAN で生成できなかった部分がそのままで

7) チーム・カルポ:物体検出と GAN,オートエンコーダー,

画像処理入門,秀和システム(2021)
8) 袴田晨比, 清水能理: Learning-to-See-in-the-Darkを用いた暗所における物体検出の研究,情報処理学会東北支部研究会 研究報告,Vol.2022 No.1-5 (2022)
9) 山田果林, 清水能理：ランドマーク検出法を用いた顔輪郭による個人認識の研究, 情報処理学会東北支部研究会
研究報告, Vol.2022 No.2-3 (2022)
10) 大村龍生, 清水能理: Python を用いた AI アプリ開発
および最適化の研究,情報処理学会東北支部研究会 研究報
告,Vol.2022 No.1-2 (2022)
11) ARC 浮世絵顔データセット.Yingtao Tian, ROIS-DS
CODH:
https://doi.org/10.20676/00000394
12) 人文学オープンセンター共同利用センター.浮世絵顔
データセット:
http://codh.rois.ac.jp/ukiyo-e/face-dataset/13) Yingtao Tian, Tarin Clanuwat, Chikahiko Suzuki,
Asanobu Kitamoto: Ukiyo-e Analysis and Creativity
with Attribute and Geometry Annotation,
arXiv.2106.02267, 2021.
14) 坂本祐介, 清水能理: 敵対的サンプルに対して堅牢なAI モデルの構築,情報処理学会東北支部研究会 研究報
告,Vol.2022 No.1-3 (2022)15) 村上綾香, 清水能理: ESRGAN を用いた絵画画像のデジタルデータ保存の研究,情報処理学会東北支部研究会 研究報告,Vol.2022 No.2-2 (2022)
16) ESRGAN:EnhancedSuper-ResolutionGenerative
Adversarial Networks(2018):
https://arxiv.org/abs/1809.00219
17) Real-ESRGAN: Training Real-World Blind SuperResolution with Pure Synthetic Data(2021):
https://arxiv.org/abs/2107.10833
18) Practical Blind Denoising via Swin-Conv-UNet andData Synthesis(2022):
https://arxiv.org/abs/2203.13278