情報処理学会研究報告
IPSJ SIG Technical Report

画像補正処理による紙背文書の鮮明化
泉晴翔 1

右田雅裕 2 戸田真志 2

伊藤正彦 3

概要：古文書には，当時紙が貴重だったため，一度使い終えた紙を再利用して，その裏にも文字の書かれたものが存在する．このうち，反故になった側の文書を紙背文書，あるいは裏文書と呼ぶが，この紙背文書の部分にも貴重な文書が残っている可能性がある．そこで，本研究では，両面に文字の書かれた文書を上から撮影した画像から，紙背文書に当たる裏面の文字の部分のみを抽出するための手法を提案する．提案した手法を基にシミュレーション，文書の実物を用いての実験のそれぞれ行い，手法の有効性の検証を行った．
キーワード：画像補正，古文書，紙背文書，文字抽出

Sharpening of paper-back documents by image correction process
HARUTO IZUMI1 MASAHIRO MIGITA2
MASASHI TODA2 MASAHIKO ITOH3
Abstract: Because paper was precious in those days, some ancient documents were reused after they had been used, and some ofthem have text written on the reverse side of the paper. The documents on the back side are called "Shihai-monjyo" or "Uramonjyo" and there is a possibility that valuable documents remain in the reverse side of these documents. In this study, we propose
a method for extracting only the text on the reverse side of a double-sided document from an image taken from above. Based on
the proposed method, we conducted simulations and experiments using actual documents to verify the effectiveness of the method.
Keywords: image correction, ancient documents, paper back document, character extraction

1. はじめに過去の時代の人々のやり取りや，記録が記された文書である古文書には，歴史的な価値が高いものが多く存在し，その内容の解析を行う際には，文書が破れたり，汚れたりといった損傷を与えないように細心の注意を払う必要がある．佐藤によれば，昔は，紙の生産量が極めて少なく貴重品とされていたため，一度使った反故を再度利用することが多く，裏の空白部分を利用して書かれた場合において，反故になった側の文書を紙背文書，あるいは裏文書と呼ぶ

図 1

古文書の袋とじ部分の内部を撮影した画像[1]．また，田良島によると，日本における紙背文書の代表例は，奈良時代の正倉院文書と呼ばれるもので，これは，

図 1 より，横向きに書かれている表面の文書とは別に，戸籍や計帳といった公文書が廃棄されたものが東大寺に下縦向きに紙背文書が存在することが読み取れる．しかし，げ渡され，その裏に東大寺の実務的な文書が記されたもの

このような撮影方法は文書に負担がかかるため，貴重な文なのだという[2]. その他にも，飯倉は，鎌倉・室町時代の書になればなるほど困難になる．そのため，紙背文書にお公家日記においては，裏文書となった書状が表の日記本文

いても，表面の文書と同様に上からの撮影で解析できるよと関連することもよくあり，裏文書としても史料価値が大うな技術が必要であると考えられる．

きいと述べている[3]．これらのことから，古文書の解析に

そこで本研究では，表面，裏面の両面に文字の書かれたおいては，表面に書かれた文書だけではなく，その裏面に古文書を上から撮影した画像から，紙背文書にあたる裏面記された紙背文書も重要な解析対象として扱うことが必要の文字部分のみを抽出するための手法を提案することを目であると考えられる．図 1 に，袋とじ構造の古文書の袋状的とする．の部分を覗き込むようなかたちで撮影された画像を示す．

1 熊本大学工学部
Faculty of Engineering, Kumamoto University
2 熊本大学総合情報統括センター
Center for Management of Information Technology, Kumamoto Universityⓒ2023 Information Processing Society of Japan

3 熊本大学大学院人文社会科学研究部
Faculty of Humanities and Social Sciences, Graduate School of Kumamoto
University1

情報処理学会研究報告
IPSJ SIG Technical Report

2. 先行研究

裏写りを除いた画像を得ることが出来る．

本章では，本研究の先行研究にあたる研究について，その概要の説明を行う．Ueno ら[4]は，表面，裏面の両面に墨で文字の書かれた古文書の画像から裏面の文字によって生じる裏写りを除去するために，紙の構造を表す光学モデルを導出し，光学モデルに基づき，文書の下に敷く台紙の明るさを変えて撮影した 2 枚の画像から，裏写り成分を除いた画像を求める手法を提案した．図 2 に Ueno ら[4]によっ

このように，先行研究[4]では，表面に書かれた文字をより鮮明に捉えるために裏写り部分を除くための手法が提案されているが，一方で裏面の文字については注目されておらず，むしろ取り除くべき対象として扱われている．そのため，本研究では，1 章で述べた紙背文書の解析の重要性を考慮し，裏面の文字について，その抽出を行うための手法の提案を目的としている．

3. 提案手法て提案された光学モデルを表す図を示す．

本章では，本研究で提案する，表面，裏面の両面に文字の書かれた古文書画像から，裏面に書かれた文字のみを抽出するための手法について，具体的な画像を用いながら説明を行う．
3.1 画像の取得と裏写り除去処理
はじめに，Ueno らの手法[4]にならい，明るさの異なる二つの台紙を敷いて二枚の画像の撮影を行う．なお，このとき，文書の下に敷く台紙は，Ueno ら[4]が行っていたように，位置合わせの負担の軽減のため，色の付いた画用紙等
図 2紙の構造を表した光学モデル([4]を参考に作成)ではなく，図 3 に示すような電子ペーパーを使用する．

図 2 の灰色の領域は紙を，黒い領域は文字の書かれている箇所を，赤い領域は紙の下に敷かれた台紙を表している．
また，オレンジ色の矢印と青色の矢印がそれぞれ紙の表面で反射する光線と，紙を透過して下の台紙部分で反射する光線を表している．この二つの光線により，文書𝐼の見え方は(1)式のように表される．
𝐼 = 𝑟𝑓 + 𝑡𝑓2 𝑓 2 𝑡𝑏2 𝑚(1)(1)式中の𝑟𝑓 は，紙の前面での反射率，𝑡𝑓 , 𝑡𝑏 はそれぞれ紙の前面，背面での透過率，𝑓は紙繊維による減衰，そして𝑚は台紙の反射率を表している．ここで，紙の下に敷く台紙の変更により変化が生じるパラメータは，𝑚のみとなるため，色の明るい台紙，暗い台紙を用いてそれぞれ撮影され図 3

た画像𝐼𝑏 , 𝐼𝑑 は，明るい台紙の反射率を𝑚𝑏 , 暗い台紙の反射率を𝑚𝑑 とすると，(1)式の右辺第二項のうち，𝑡𝑓2 𝑓 2 𝑡𝑏2 を𝑃（𝑃は定数）とおくと，それぞれ，(2),(3)式のように表される．
𝐼𝑏 = 𝑟𝑓 + 𝑃𝑚𝑏(2)

𝐼𝑑 = 𝑟𝑓 + 𝑃𝑚𝑑(3)

さらに，明るい台紙，暗い台紙の反射率の比を𝛼とおき，(4)式のように表す．
𝑚𝑑
𝛼=𝑚𝑏

(4)

光線のみを求めればよい．これは(2),(3),(4)式より，
𝛼𝐼𝑏 − 𝐼𝑑𝛼−1

図 3 に示すような電子ペーパーに背景を白く塗りつぶした文書ファイルと，黒く塗りつぶした文書ファイルをインポートし，それらを表示させたものをそれぞれ明るい台紙（白台紙），暗い台紙（黒台紙）として用いる．それぞれの台紙パターンで撮影した画像を一部切り出したものの一例
を図 4 に，図 4 の画像に対して裏写り除去処理を施した結

裏写りを除いた画像を求めるには，紙の前面で反射する

𝑟𝑓 =電子ペーパー

果，得られた画像を図 5 に示す．撮影環境については 4 章
にて後述する．なお，それぞれの画像はグレースケール化して扱っている．

(5)と求められ，このような処理を画像に対して施すことで，ⓒ2023 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report
それぞれの領域で，各座標での元画像の同一座標の画素値を全て取得していき，領域ごとに異なる二つの配列に値を格納していく．図 7 に処理のイメージを表した図を示す．

(a) 台紙色：白
図 4(b) 台紙色：黒
撮影画像（一例）

図 7

元画像の画素値を取得する処理のイメージ図

3.4 裏写り除去画像に対して補正処理
Ueno ら[4]の提案した光学モデルに基づくと，撮影画像は表面で反射する光線と，紙を通り抜けて台紙の部分で反射する光線から構成されるのに対し，裏写り除去画像は，
図 5

図 4 の画像に対して裏写り除去処理を施して得られた画像表面で反射する光線のみで構成される．そのため，この二つで単純に差分を取るだけでは，明るさの基準が合わず，裏面の文字の抽出はできない．そこで，裏写り除去画像に3.2 裏写り除去画像を二値化

対し，裏面の成分を補うための補正処理が必要となる．こ3.1 節の処理で得た，図 5 のような裏写り除去処理を施の処理には，3.3 節で取得した元画像の画素値の情報を用いした画像に対し，文書の表面における文字の有無の情報をる．具体的な処理の内容としては，まず，表面の文字の有得るために二値化処理を適用する．なお，二値化手法は大無で分けて元画像の画素値を格納した配列において，それ津の二値化を使用する．また，二値化処理のみでは，紙部ぞれで最頻値をとるような値を求める．そして，文書にお分の画素値が小さい箇所や，裏写り除去処理で取り除けないて，文字が書かれている領域よりも，そうでない領域のかった裏面の文字がノイズとして表れてしまうため，続け方が多いという仮定の下で，表面に文字がある場合，無いてクロージングを施す．クロージングを行う際のカーネル

場合それぞれで元画像において最頻の画素値を持つピクセの大きさは 3×3 で，今回使用した画像においては膨張・収ルが，裏面には文字が存在しないような箇所であるという縮処理の繰り返し回数は 6 回とした．図 6 に，図 5 の画像推定を行う．そのようなピクセルの存在する座標全てにおに二値化・クロージングを行った結果を示す．

ける，元画像と裏写り除去画像の画素値の差を取得していき，その平均を四捨五入した値を求め，得られた値が表面に文字がある領域，文字が無い領域それぞれに対して加える補正値となる．この値を裏写り除去画像の各点に対して加えていき，裏面成分の補正を行う．図 8 に図 5 の画像に対し，補正処理を施した結果を示す．

図 6

裏写り除去画像の二値化画像

3.3 元画像から画素値の取得
3.2 節の処理で得られた図 6 のような二値画像は，値が 0の領域が表面に文字の存在する箇所を，値が 255 の領域が表面に文字の存在しない箇所を表す．ここで，二値画像のⓒ2023 Information Processing Society of Japan

図 8

裏写り除去画像に対し補正処理を施した画像

3情報処理学会研究報告
IPSJ SIG Technical Report
図 8 の画像を見ると，補正処理により，画像の全体的なが望ましいため，差分画像において，裏面の文字の部分が明るさが白台紙で撮影した画像に近づいており，かつ，裏それ以外の領域と比較して最も画素値が大きくなることを面に文字の存在する箇所については，その影響が元画像よ利用して，差分画像の全画素の画素値を降順に並べたものりも小さくなっていることが読み取れる．のうち，大きい方から 1%の値を穴埋め値として設定する．

3.5 補正画像と元画像の差分画像の取得

図 11 に，図 9 の裏面抽出画像に対して穴埋め処理を施し3.4 節で得た，図 8 のような補正画像と，元画像（白台紙た結果を示す．

で撮影）との差分画像を取得する．また，差分画像を出力する際は，二つの画像の画素値の差が 0 を下回る際には，値を 0 で打ち切って出力を行う．図 9 に，図 8 の補正画像と，図 4(a)の元画像との差分画像を示す．

(a) 出力結果
図 11(a) 差分画像
図 9(b) 画素値を 2 倍したもの

補正画像と元画像の差分画像(b) 画素値を 2 倍したもの

穴埋め処理適用後の画像

4. 実験
3 章で提案した手法を用いて実験を行う．実験は，撮影時の外乱が無いような，理想的な条件でのシミュレーショ

3.6 差分画像に対して穴埋め処理

ンと，実際に文書の画像を撮影して，その画像に対して処取得した差分画像において，元画像で表面と裏面で文字理を施す，実画像での実験の二つを行った．また，実画像が被っているような箇所では，図 10 中の赤い丸で囲んででの実験においては，裏面文字のみの正解画像を用意し，いる部分のように，表面の文字のある部分が潰れてしまい，それに基づき文字の抽出精度の評価を行った．

裏面の文字の抽出が上手くいっていないことが読み取れる．

4.1 シミュレーション
シミュレーションでは，両面に文字が書かれているような文書を想定した画像を作成し，その画像に対し処理を行っていく．
4.1.1 使用画像
まず，表面，裏面それぞれでの文字のパターンを表す画像を作成する．画像の作成には Windows に標準搭載されている「ペイント」を使用した．図 12 に今回の実験で使用した 文 字パ タ ー ン を 表す 画 像 を 示 す． な お 画 像 サイ ズ は600×600[pixel]である．

図 10

文字が被っている影響で抽出が上手くいかない例

そのため，このような箇所の復元をするための穴埋め処理を施す．まず，表面と裏面で文字が被る可能性のある箇所の絞り込みを行う必要がある．文字が被る箇所には必ず表面に文字が存在するはずなので，3.2 節で得た図 6 のような表面文字の二値画像において，値が 0 の領域をマーカーとして，差分画像における同じ領域を文字の被る箇所の候補とする．そして，その中で差分画像の画素値が 0 を越える箇所を文字が被っている領域と判定し，一定の穴埋め値で埋めていく処理を施す．穴埋めを行う際には，裏面の(a) 表面の文字パターン
図 12(b) 裏面の文字パターン

想定する文字パターン

文字が抽出されている部分と同程度の値で埋めていくことⓒ2023 Information Processing Society of Japan4情報処理学会研究報告
IPSJ SIG Technical Report
4.1.2 パラメータ設定
図 12 に示した文字のパターンに対応するように，パターン画像と同じサイズの二次元配列の各点で，Ueno ら[4]によって提案された光学モデルのパラメータを適当に設定して与えていく．そして，各点で得られた値に 255 を掛けることで，文書の下の台紙が明るい台紙，暗い台紙それぞれの場合での文書の見え方に相当する画像の作成を行う．
このとき，各点に与える反射率の値にランダム性を持たせることで，紙や墨のばらつきを表現している．今回の実験(a) 出力結果で使用した光学モデルのパラメータを表 1 に示す．

図 14表 1シミュレーション画像の作成に用いたパラメータ(b) 画素値を 10 倍したもの

シミュレーション時の出力画像

4.2 実画像での実験
実画像を用いての実験では，図 15 に示すような，書道半紙の両面に墨で文字の書かれた古文書を模したサンプルを使用して，処理を行っていく．

4.1.3 実験結果
表 1 に示したパラメータによって作成された，明るい台

図 15

古文書サンプル紙を敷いた場合，暗い台紙を敷いた場合のそれぞれを想定したシミュレーション画像を図 13 に示す．

4.2.1 使用機材および撮影環境
本実験に使用した機材の一覧を表 2 に，文書画像撮影時の様子を図 16 にそれぞれ示す．
表 2

Nikon D5500

カメラ
電子ペーパー

図 13

FUJITSU QUADERNO A4(Gen. 2)
型番：FMVDP41
Fotodiox C-200RS

照明(a) 明るい台紙の場合

使用機材(b) 暗い台紙の場合作成されたシミュレーション画像

図 13 より，台紙の変更による反射率の変化によって，若干ではあるが画像全体のコントラストが変化しており，かつ，明るい台紙を敷いた場合の方がより裏写りが画像中に表れていることが読み取れる．続いて，図 13 の画像に対し，3 章で提案した手法を適用した結果を図 14 に示す．な

図 16

文書画像撮影時の様子

お，シミュレーション時においては，画像を二値化する際のノイズの影響は見られなかったため，クロージング処理は行っていない．

図 16 に示すように，撮影はカメラを三脚で固定し，文書の真上から行っている．また，太陽光や室内の照明などの影響を受けないようにするため，撮影は夜間に行い，撮影ⓒ2023 Information Processing Society of Japan5

情報処理学会研究報告
IPSJ SIG Technical Report時に使用する照明以外の室内の照明やディスプレイ等，光を発する物体については全て消灯させた状態を保った．
4.2.2 撮影画像
上記の環境で撮影を行った画像について，白台紙で撮影した画像を図 17 に，黒台紙で撮影した画像を図 18 に示す．
また，撮影画像に関する情報を表 3 に示す．

(a) 台紙色：白図 19

図 17

入力画像①

白台紙で撮影した画像(a) 出力結果
図 20

図 18(b) 台紙色：黒(b) 画素値を 2 倍したもの
出力画像①

黒台紙で撮影した画像
表 3

画像情報

ファイル形式

JPEG

幅6000[pixel]

高さ4000[pixel]

撮影日時2023 年 1 月 14 日 午後 9 時頃(a) 台紙色：白図 21(b) 台紙色：黒入力画像②4.2.3 実験結果
実験は，図 17, 図 18 に示した撮影画像の一部分を切り出したものについて行っていく．実験に使用する入力画像と，その画像に対して 3 章で提案した手法を適用して得られた結果を図 19 から，図 24 に示す．

(a) 出力結果
図 22ⓒ2023 Information Processing Society of Japan(b) 画素値を 2 倍したもの
出力画像②6

情報処理学会研究報告
IPSJ SIG Technical Report
25 から図 30 に，また，各画像における正解画像との一致率の算出結果を表 4 に示す．

(a) 台紙色：白図 23(b) 台紙色：黒
入力画像③
図 25(a) 出力結果
図 24

画像①の正解画像(b) 画素値を 2 倍したもの
出力画像③(a) 撮影画像

4.2.4 評価

図 26(b) 出力画像

画像①の処理前後の二値化画像

本研究で提案した手法により，どれほど正確に裏面の文字のみを抽出できたかを評価するため，画像の一致率[5]を用いて評価を行う．画像の一致率は，二つの画像の同一座標における画素値を比較し，画素値の一致している要素数を全画素数で割ることにより求められる．つまり，一致率は二つの画像が類似しているほど 1 に近づき，類似していないほど 0 に近づく．評価を行うにあたり，比較に用いる
正解画像については，今回の実験で使用した文書の裏面の文字のトレースを手作業で取り，それを文書の撮影時と同
図 27

じ環境で撮影することにより作成した．一致率の算出は，画像②の正解画像

正解画像と撮影画像（白台紙），正解画像と色を反転させた出力画像の二つの組み合わせで行う．しかし，そのままではそれぞれの画像間で画素値の基準が合っておらず，単純に比較を行うことが出来ないため，撮影画像，出力画像，正解画像をそれぞれ二値化した画像について一致率を算出していく．なお，撮影画像と出力画像については大津の二値化を適用し，正解画像については，手動で閾値を設定し二値化を行っている．また，出力画像を二値化した画像については，文字の存在しない紙部分においてノイズが生じている箇所が存在するが，ここでは，文字の抽出がどれだ(a) 撮影画像

け上手く行えているかに着目して評価を行うため，1 回の

図 28(b) 出力画像

画像②の処理前後の二値化画像

クロージング処理を施して，紙のノイズの影響を除く．
4.2.3 節の図 19 から図 24 に示した，入力画像（撮影画像）①~③(a)と，色を反転させた出力画像①~③(a)について，それぞれの正解画像とともに二値化処理を行った結果を図ⓒ2023 Information Processing Society of Japan7

情報処理学会研究報告
IPSJ SIG Technical Reportに一定の補正値を加えていく補正処理では対応しきれなかったためであると考えられる．また，穴埋め処理についても，現状は表面と裏面で文字の被っている箇所については全て一定値で埋めるような処理を行っていることから，本研究で提案した手法では，本来の文字の筆跡や濃淡の再現にまでは至っていない．現状，これらの課題については，対処することが出来ていない状況だが，今後は撮影に用いる光の波長帯を変更しての実験や，異なる波長帯で撮影し
図 29

画像③の正解画像た複数の画像を合わせこむことなどで手法の改良，結果の改善が見込めないか調査を行っていく予定である．

6. 結論
本研究では，表面，裏面の両面に文字の書かれた古文書の画像から，裏面に書かれた文字のみを抽出するための手法の提案を行った．提案した手法に基づき，シミュレーシ
ョン，実画像それぞれで実験を行った結果，抽出結果において穴埋め処理の過不足がある箇所や，紙部分の明るさの(b) 出力画像変動が大きい箇所が存在するといった課題はあるものの，画像③の処理前後の二値化画像

裏面の文字の大部分については抽出することが出来た．今(a) 撮影画像
図 30

後の課題としては，抽出精度の改善や，文字の筆跡レベル
表 4での再現，そして，最終的には袋とじ構造を持つ古文書，正解画像との一致率

正解画像と正解画像とすなわち，表，裏，裏，表の 4 層構造になっているような撮影画像の一致率

出力画像の一致率

古文書に対して，各層の文字の分離，抽出を目指すことが

画像①0.876

0.946

画像②0.883

0.929

画像③0.891

0.949

画像

5. 考察
4.1.3 節，4.2.3 節の実験結果から，シミュレーション時，実画像での実験時でともに，本研究で提案した手法を適用することで，裏面の文字部分が，その他の領域よりも明るく浮かび上がるような形で出力画像に表れていることが読み取れる．また，実画像での実験時に算出した正解画像との一致率について，表 4 に示した結果から分かるように，本実験で使用した画像においては，全ての場合で正解画像挙げられる．

参考文献
佐藤進一．[新版]古文書学入門， 法政大学出版局，1997.
田良島哲．文化財情報の発掘と再生-「モノ」と「テキスト」のはざまで-，情報知識学会誌，2007, Vol.17, No.4,
pp243-250[3] 飯倉晴武．古文書入門ハンドブック，吉川弘文館，1993.
[4] Yuri Ueno, et al. “An Optical Model for Show-throughCancellation in Ancient Document Imaging with Dark and Bright
Mounts” 17th International Conference on Machine Vision
Applications(MVA) Fully Online, July 25-27, 2021.
[5] OFFICE54，【Python】OpenCV と NumPy で２つの画像を比較（完全一致、部分一致の比率），
https://office54.net/python/module/opencv-numpy-compare
アクセス日：2023/02/10[1][2]と撮影画像を比較したときよりも，正解画像と出力画像を比較したときの方が，一致率が向上する結果となった．このことから，本研究で提案した手法の適用により，裏面の文字のみをより鮮明に捉えることが出来るようになったといえる．しかし，実画像での出力結果では，シミュレーシ
ョン時には見られなかったような，穴埋め処理が過剰に行われ，表面の文字の部分も抽出されている箇所や，紙部分の明るさの変動が大きい箇所が存在している．このような現象が生じる原因としては，実物の紙における紙繊維の状態や，墨の濃淡の変動が大きく，それが結果として撮影画像における画素値のばらつきとして表れ，裏写り除去画像ⓒ2023 Information Processing Society of Japan8