論 文
PDF 中のテキスト情報を利用した視覚障害者のための英文 PDF 科学

技術文書読み取りシステム
金堀 利洋† a)鈴木昌和†† b)Scientiﬁc English PDF Document Reader for Visually Impaired People Utilizing
Embedded Text Information
Toshihiro KANAHORI†a) and Masakazu SUZUKI††b)

あらまし Web アクセシビリティの意識が浸透しつつある一方で，電子図書など情報が PDF として提供される流れが加速している．配布されている PDF には文字情報が、人が読む順序と異なる順番に埋め込まれていて、視覚障害者がその内容を読み取る事が困難であるといった問題が指摘されている [2]．また，数式の情報が読み取れる形で入っていることは少ない．更に，印刷文書を OCR を用いて認識し，その認識結果から PDF を生成した文書の場合，数式がその周辺に文字認識のエラーを引き起こし，数式中以外の文字を読むことも困難になる場合も多い．今回，特に数式を含んだ科学技術文書を対象とし，PDF から抽出した文字情報と，PDF を画像として認識した結果を統合することで，質の高い，アクセシブルな文書情報を PDF から取り出すシステムを示す．
キーワード

視覚障害者，Web アクセシビリティ，PDF アクセシビリティ，OCR，数式認識

1. は じ め に
近年のインターネットを中心とした情報処理・通信

るため，Web 技術の標準化団体 W3C からガイドライ技術の発達により，Web 上のコンテンツは，我々の重ンが示された [3]．国内においても，日本工業規格によ要な情報源の 1 つとなっている．視覚障害者にとってり，「高齢者・障害者等配慮設計指針」(JIS X8341) がも，以前は印刷物として提供されていた情報の多くが，示され，その中で Web アクセシビリティについて定Web 上のコンテンツとして配信される様になり，スク

められている．こういった取り組みの結果，Web アクリーンリーダ等でこれらの情報に独力でアクセス可能

セシビリティの意識は，次第に浸透し，Web コンテンとなった [1] [2]．しかしながら，かつては文字中心でツ上の情報へのアクセスは，改善されてきている．

あった Web コンテンツは，画像や動画などを伴うイ

一方，Web コンテンツ内で，主に資料等の文書がンタラクティブなコンテンツが中心となり，視覚障害

PDF として提供される流れも加速している．最終的者にとって，Web ページ上にある情報を把握することに必要な情報が PDF として提供されている事が非常が困難な状況になってしまった．そういった状況のなに多くなっている．また，印刷文書を OCR によってか，障害の有無に依らず Web コンテンツの情報が利認識し，文字情報を埋め込んだ PDF として文書を閲用可能であること (Web アクセシビリティ) を確保す

覧可能とした電子図書の提供も盛んになってきている．提供されている多くの PDF には以下の様な問題†

筑波技術短期大学 障害者高等教育研究支援センター〒 305–0821 茨城県つくば市春日 4–12–7
Tsukuba College of Technology, Research Center on Higher

††

がある:
（ 1 ） 印刷文書をスキャンした画像のみで，文字情Education for the Hearing and Visually Impaired, Kasuga

報が埋め込まれておらず，スクリーンリーダで読み上

4–12–7, Tsukuba-shi, Ibraki-ken, 305–0821 Japan

げることができない．

九州大学大学院数理学研究院〒 812–8581 福岡市東区箱崎 6–10–1（ 2 ） 文字情報が埋め込まれていても，その順番が，Faculty of Mathematics, Kyusyu University, Hakozaki 6–10–

人が読む順番に従って入っておらず，正確な情報を取1, Higashi-ku, Fukuoka-shi, 812–8581 Japan

り出せる状態になっていない．特に，図表の周辺では

a) E-mail: kanahori@k.tsukuba-tech.ac.jpb) E-mail: suzuki@math.kyushu-u.ac.jp

キャプションが正しく入らない事が多い [2]．

電子情報通信学会論文誌 D Vol. Jxx–D No. xx pp. 1–8 xxxx 年 xx 月

1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx（ 3 ） 印刷文書をスキャンし，OCR で認識させ，文が出来なくなってしまう．また，OCR を用いて，印刷

字情報を埋め込んでいても，数式など認識が困難な部

文書に文字情報を埋め込んだ PDF では，図 1 の様に分があると，その部分の文字情報だけでなく，周辺の数式部分に文字情報が入っておらず，その文字情報は，情報が誤って入っている．また，多種多様な数学記号や数式構造の情報が入っていることはほとんど無い．
この問題については後で詳しく述べる．

Web アクセシビリティの意識の向上により，欲しい

the weight A in g then
[本来，数式があるべき部分]
where A runs through the dominant...

情報に辿り着くことはある程度出来る様になったが，肝心の情報が PDF 化されているために結局その情報を得ることが出来ない．現在の PDF には用意されたアクセシビリティのための機能があるが，それを用いて作成された PDF は少なく，ただ単に，OCR や生成ソフトを用いて自動的に生成された PDF をそのまま使用していることがこの様な事態を生み出している．

図1

黒く反転している部分には文字情報が入っているが，2 行目にある数式に文字情報が入っていない．
Fig. 1 The mathematical formula on the middle line
is skipped and there is no hidden text for theformula.

しかしながら，すでにある PDF に数式の情報を入力したり，数式によって引き起こされた文字情報の間違の様に，数式部分が認識されずに，本来，数式の情報

いを修正するのは，大変，手間と時間がかかると思わが入っているべき部分にまったく文字情報が入っていれる．

なかったり，図 2 の様に，数式部分に文字情報は入っ

今回，我々は，特に数式を含む，英文の科学技術ているが，入っている情報は，PDF 文書を対象とし，抽出した PDF 内に埋め込まれている文字情報と，一方で，PDF を画像として認識し，その認識結果を抽出した文字情報を用いて修正し，質の高い文書情報を PDF から取り出し，視覚障害者にとってアクセシブルな形式として出力する事を目的

Consider the metric Q defined in 0 by
\du + i*du\ .. _. .
= J Q^T L if Z?|(c), -oo.<c<oo.
It is not difficult to show (cf., e.g., ...

としたシステムを開発した．使用する文書認識システ
ムは，九州大学鈴木研究室を中心に開発をしている科
学技術文書処理システム Infty [4] を使用する．認識した結果は，Infty の機能を用いて，数式部分を LATEXの書式で文字情報を埋め込んだ PDF 文書を生成する
こともできる．本論文では，このシステムの処理の流れ，特に PDF から抽出した文字情報と，PDF を画像

図2

数式部分に文字情報は埋め込まれているが，数式の情報は入っていない．
Fig. 2 The hidden text for mathematical formulae do
not have correct mathematical information.

として認識した認識結果のマッチングを用いた認識結
果修正手法について詳しく述べ，この手法の評価実験の結果も示す．

2. 数式を含んだ PDF の問題の様に，数学記号や，数式の構造に関する情報を得ることが出来ない．また，数式はその前後の文字認識にエラーを生じさせる．

数式を含んだ PDF において，特に数式周辺で以下の様な問題が挙げられる．例えば，LATEX を使用し，dvipdfm を使用して生成した PDF では，単純な数式:
c1 − c2
h1
× 1000, D =× 1000,H=h2h1を変換した PDF から，Acrobat 7 を使用して「アク数式 ζ → log((ζ − iη0 )−1 ) が後のテキスト部分の文字認識のエラーを引き起こしている．
Fig. 3 The mathematical formula ζ → log((ζ −iη0 )−1 ) causes recognition errors of next characters.
図3

セシビリティ可能なテキスト」として出力した結果は，

h|.|c|1|..c|2|H=|?1000;D=?1000.|h|.|h|.|となり (各 | は改行)，全く元の数式の情報を得ること
2

例えば，図 3 の，数式 ζ → log((ζ − iη0 )−1 ) が行のベースラインの推定を誤らせ，その後の d を (と i に論文／PDF 中のテキスト情報を利用した視覚障害者のための英文 PDF 科学技術文書読み取りシステム

認識させたり，p を P と認識させるという認識エラー

画像の 2 つである．これらは PostScript インタプリ

を引き起こし，結果，その文字情報は以下の様になっタとしてよく用いられる Ghostscript をバッチファイてしまっている．

ルから呼び出して行われる．

by ?-^l? g ((?-^o)"1) a n ( i aPPtying ...

4. 1 テキスト情報の抽出
Ghostscript を呼び出し，PDF からテキスト情報をこの様に，特に理系の文書において，数式の情報を得

ASCII テキストファイルとして抽出する．抽出したテることが出来ないということは，視覚障害者が理系学

キストファイル中の文字列をスペースで切り分ける．

問を学ぶにあたって，大変致命的なことである．

切り分けた各部分文字列を “単語” と呼び，テキスト

3. PDF 認識の流れ

ファイルから得られる全ての “単語” をリストとして保持する．このリストの単語と Infty の認識結果内のこのシステムは，PDF からテキスト情報とページ

単語のマッチングを行う．

画像を抽出するために Ghostscript [5] を用いて，以下

4. 2 ページ画像の生成の流れで PDF の認識を行う (図 4)．各プロセスの詳

Ghostscript を用いて PDF から全てのページ画像

細な説明は後の節で行う:を持った 1 つの 600dpi 白黒 2 値マルチ TIFF 画像ファ

（ 1 ） PDF からテキスト情報をテキストファイル

イルを生成する．この生成した画像ファイルを Inftyの形で抽出する．

で認識を行う．

（ 2 ） PDF からページ画像をマルチ TIFF 形式の画像ファイルとして生成する．
（ 3 ） 生成したページ画像を Infty で認識する．

5. Infty の認識結果と PDF のテキスト情報を用いた最終認識結果の生成（ 4 ） PDF から抽出したテキスト情報を，Infty のPDF から生成された画像に対して，Infty はレイ認識結果を用いて数式や欠落しているテキスト追加しアウト解析，文字認識，表認識，数式認識を行う．文て修正を加えていく．

字認識結果後，各単語がテキスト部であるか，そうで（ 5 ） 修正結果を最終的な認識結果として出力する．

ないかを後に説明する Geometric Position Checking

この手法で利用するのは，PDF に埋め込まれた単という手法を用いて判断し，テキスト部でない単語を純なテキスト情報のみである．よって，PDF のバー

数式部として数式構造解析する．この解析部では，文ジョンや，生成方法を考慮する必要はないし，更には，字認識結果が変更されることもあるため [6]，解析後も何らかの方法でテキスト情報さえ取り出せれば，対象

う一度，テキスト/数式の判定を行う．この認識結果

は PDF でなくても構わない．その反面，PDF が持っと，PDF からのテキスト情報を用いて最終的な認識ている文字の位置や大きさといった有用な情報を利用

結果を生成する．基本的には，テキスト部に対してはすることはできない．本手法の特徴的な部分は，後にPDF のテキストを用い，数式部に対しては，Infty の述べる Word Matching Method によって，単語毎に認識結果を用いるが，PDF 中のテキスト情報の誤り，

テキスト情報と Infty の認識結果とのマッチングを行

Infty の誤認識を考慮して，以下の手順で生成を行う．

い，対応する Infty の認識結果の文字矩形座標を PDF（ 1 ） 誤認識により，本来テキスト部であるにも関のテキストに割り当てていくことにより，テキスト情

わらず，数式部として切り分けられた場合も考慮して，報の修正に必要な情報を復元するところにある．ま一旦全てテキスト部とみなす．この時，数式構造解析

た，読み上げの順番に影響するレイアウトに関しては，の結果，分数やPDF でのレイアウト (読み上げ順番) は関係なく，全数式部は，誤って数式部として切り分けられた部分でて Infty の結果を用いる．Infty のレイアウト解析は，はないとして，最終的な認識結果として採用する．

P √，の様に，上下の構造を持つ

基本的にページの左上から右下に向かって，2 カラム（ 2 ） テキスト部の各単語 w に対して，対応するであればカラム毎に，順番をつけていく．これによっ

PDF 中の単語 W を，生成した単語リストの中からて，PDF の読み上げ順を改善する事を狙っている．

4. PDF からの情報抽出
PDF から抽出する情報は，テキスト情報とページ

Word Matching Method を用いて決定する．この時，PDF 中に対応する単語が見つからなかった認識結果
内の単語については，PDF 中で欠落した単語であるとし，最終的な認識結果に加える．
3

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx（ 3 ） 対応する単語 W が見つかった認識結果中のこれらの位置特徴の内，base line を用いて，各単語

単語 w の各文字 c の外接矩形座標を，単語 W の各文がテキストであるか，そうでないかを調べる．単語中

字 C に対して割り当てていく．

の各文字 c に対して，その外接矩形の下部の y 座標を（ 4 ） 座標が割り当てられた PDF 中の単語 W にb(c) とし，行 L 全体の base line を base(L) とすると，対して，Geometric Position Checking を用いてテキ|b(c) − base(L)| > TG なる文字 c が単語中に存在したスト部であるか判定する．W がテキスト部であると場合，その単語はテキストではない，と判定する．こ

判定された場合，W を最終的な認識結果として採用

こで TG は閾値で，行 L の位置特徴 top line ，bottom

する．テキスト部ではないと判定された場合，W に対line をそれぞれ top(L)，bottom(L) とすると，応する Infty の認識結果 w を最終的な認識結果として採用し，再度，テキスト部/数式部の切り分けと，数式構造解析を行う．

TG :=|bottom(L) − top(L)| + 16
16と経験的に定義された値である．なお，600dpi の画

以上の様にして，PDF のテキストに対して Word

像において，|bottom(L) − top(L)| の値は 100 程度でMatching Method を用いて Infty の認識結果と対応ある．すなわち，単語内の各文字が行のベースライン

させ，外接矩形座標を復元して，PDF 中の単語が適上に並んでいるかを調べ，そうであるならば，その切なテキスト情報であるかどうか判定する．単語に対単語はテキストであると判断する．そうでないならするテキスト情報が適切でないと判定された場合は，

ば，添え字といった数式構造を持つと思われるので，Infty の認識結果を用い，PDF のテキスト情報の修正

テキストではないと判断する．この手法を Geometricと，数式情報の埋め込みを行う．

Position Checking と呼ぶ．
5. 2 Word Matching Method
各行において，文字認識結果の列を，空白や，テキスト部と数式部の境目で区切って “単語” とする．この認識結果内の単語に対応した単語を，PDF から抽出した単語リスト内から，以下のマッチング手法を用いて探し出す．Infty は立体とイタリック体を区別して認識を行うが，このマッチングにおいては，それらを同一視して，単純な文字列同士として処理を行う．ま図 4 PDF の認識プロセス
Outline of PDF recognition process.

た，数学記号などの特殊な文字は，バックスラッシュ

5. 1 Geometric Position Checking‘\’ に置き換えて文字列を生成する．
5. 2. 1 完全マッチングによる認識結果の確定
認識結果中の単語 wi に対して，文字列として完全

文字認識後，各文字は外接矩形座標を持つ．各文字に一致する単語 Wp を PDF から抽出した単語リスト

に対して，その位置特徴，top line ，center line ，baseの中から見つけていく．完全に一致する単語 Wp が存

line ，bottom line が推定される．特別に，小文字の在した場合，Wp の各文字に対して wi の各文字の矩‘t’ に対しては，t-top line が求められる (図 5 参照)．

形座標を順に割り当てたもの最終的な認識結果とする．

これらの特徴量は文字種毎に採取した，文字の高さにこれは結局 wi と同じものになるので，内部的には wi

対する特徴量の比を用いて推定し，数式構造解析でもをそのまま最終的な認識結果として用いる．認識結果

使用される [6]．更に，各行中の文字の位置特徴から中の単語 wi は，レイアウト解析・行切り分け結果に多数決で，その行全体の位置特徴が推定される．Infty

準じて，基本的には行は上から順に，単語は行中の左Fig. 4の認識率が高いことから，行中の文字がある程度あれから右へ捜査していく．この時，wi に対して，単語リば，その位置特徴は信頼できる値となる．

スト中に複数の完全一致する単語が存在した場合，まず，各完全一致する単語 Wp に対して，以下の様にして，完全一致度 NM (wi , Wp ) を求める．
（ 1 ） wi の 1 つ前にある単語 wi−1 と，単語リスト

図 5 文字の位置特徴
Fig. 5 Position features of a character.

4

内で Wp の 1 つ前にある単語 Wp−1 とを比較する．

論文／PDF 中のテキスト情報を利用した視覚障害者のための英文 PDF 科学技術文書読み取りシステム（ 2 ） もし，wi−1 と Wp−1 が再度完全に一致したの単語を Wp とする．

場合，wi−1 の文字数を NP に加える．ここで，NP（ 2 ） wi の 1 つ後ろの単語 wi+1 が確定していた場

は前方向に完全一致した文字数のカウンタとし，初期合， W (i + 1) の 1 つ前の単語を Wp とする．

値は 0 とする．更に wi−1 の 1 つ前にある単語 wi−2

（ 3 ） wi の前後の単語 wi−1 と wi+1 の両方とも確と，Wp−1 の 1 つ前にある単語 Wp−2 とを比較し，こ定していた場合，

れらも完全に一致した場合，wi−2 の文字数を NP に加える．
（ 3 ） この様にして，認識結果中の単語 wi の n 個

Wp =前の単語 wi−n と，PDF からの単語リスト中の単語

Wp の n 個前の単語 Wp−n が完全に一致する間，前に8>>NM (wi−1 ) >>= NM (wi+1 )>>><⇒ W (i − 1) の 1 つ後ろの単語,>>
NM (wi−1 ) < NM (wi+1 )
>
>
>
>
:
⇒ W (i + 1) の 1 つ前の単語.

さかのぼりながら，wi−n の文字数を NP に加算して以上によって求めた Wp と wi を動的計画法を用いた

いく．
（ 4 ） 同様にして，wi の n 個後ろの単語 wi+n についても，Wp+n と完全一致する間，後ろにたどりながら，wi+n の文字数を，後ろ方向に完全一致した文
字数のカウンタ NN に加算していく．
（ 5 ） 認識結果中の単語 wi の前後で，対応する PDF
中の単語リストの単語と完全一致する単語の文字数の合計を，完全一致度として NM (wi , Wp ) := NP + NNと定める．
次に，wi に対応する PDF 中の単語は，

NM (wi ) := max{NM (wi , Wp )|Wp は wi と完全一致 }と定めた時に，NM (wi ) = NM (wi , W (i)) を与える

PDF の単語リスト中の単語とし，W (i) と書くことにする．これら単語比較の処理では，単語リスト内の順

マッチング (DP マッチング) にかけ，そのマッチングのコストが，wi と Wp によって定まる閾値よりも小さければ，Wp を wi に対応する単語とする．
認識結果中の単語 w と PDF 中の単語 W の DP
マッチングとそのコスト CDP (w, W ) は以下の手順で求める:（ 1 ） w と W の文字数が同じ N 個である場合，w
中の i 番目の文字を ci ，W 中の i 番目の文字を Ci とした時，全ての i = 1, · · · , N に対して，ci と Ci が同じ文字であるか，類似文字であった場合，類似文字考慮した単語の一致として，この時のコスト CDP (w, W )を 0 とする．ここで用いている類似文字の組み合わせを，表 1 に示す．ここで一致しなかった場合は次の処理に移る．
（ 2 ） w の文字数を n，W の文字数を N とする．

i = 1, · · · , n と I = 1, · · · , N に対して，w の i 文
字目までと W の I 文字目までのマッチングコスト

CDP (i, I) を以下で定義する;
図6

NM (wi , Wp ) の意味. この図では，各ボックスは単語を表す．
Fig. 6 Meanings of NM (wi , Wp ). Each box stands
for a word.

番は，PDF 中の位置は考慮せず，単にリスト中の順
番のみを用いる．これは，PDF 中の行の順番の間違いを想定している．

5. 2. 2 確定した単語の前後にある単語のマッチ

CDP (0, 0) = 0, CDP (1, 0) = CDP (0, 1) = 1,8
9CDP (i − 1, I) + 1,
>
>
>
>
=
<
CDP (i, I) = min.
CDP (i, I − 1) + 1,
>
>
>
>
;
:
CDP (i − 1, I − 1) + C(i, I)
ここで，C(i, I) は w の i 番目の文字 ci と W の I 番
目の文字 CI との比較コストで，ング
完全マッチングによって確定した単語の前，もしくは後ろにある認識結果中の単語 wi とする．wi に対して，PDF の単語リスト中の単語 Wp を以下の方法で求める:（ 1 ） wi の 1 つ前の単語 wi−1 が確定していた場合， wi−1 と完全一致する単語 W (i − 1) の 1 つ後ろC(i, I) =

8
>
>
0,
>
>
>
>
<0,
>
>
>
>
>
>
:1,

ci と CI が類似文字である,
ci の認識結果の第 3 候補までに,CI の類似文字がある,
上記以外.

としている．これらの値を求めて，w の n 文字目までと W の N 文字目までのマッチングコスト CDP (n, N )5電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx(c, C), (s, S), (v, V), (w, W), (x, X), (z, Z)

断し，テキスト部であるとなれば，W を最終的な認識(1, l (小文字のエル))

結果として採用する．W の各文字に対する外接矩形座(0 (数字のゼロ), O (大文字のオー), o (小文字のオー))(− (マイナス), - (ハイフン), – (ロングハイフン))

表 1 類似文字の組み合わせ
Table 1 Sets of simillar characters.

を単語全体のマッチングコスト CDP (w, W ) とする．
次に，この CDP (w, W ) が以下で定める閾値 TDP より小さければ w に対応する PDF 中の単語を W とする. 更に，単語 w の文字数が 6 以下と短い場合は，0
CDP (w, W ) が閾値 TDP 以上であっても，TDPより小さければ，w に対応する PDF 中の単語を W とす
0る. ここで閾値 TDP , TDP は，ﬀ

TDP := min 4,

max{n, N }
3

0
:=
, TDP

max{n, N },2としている．

標の割り当て方は以下の通りである: w 中の文字 c とW 中の文字 C との対応が 1:1 である場合: この場合，
単純に c の外接矩形を C にそのまま割り当てる．w 中の複数の文字 {ci , · · · , ci+n } が，W 中の 1 文字 Cp に対応している場合: Cp の外接矩形を，{ci , · · · , ci+n }の各文字の外接矩形の和とする．w 中の１つの文字 ciが，W 中の複数の文字 {Cp , · · · , Cp+n } に対応している場合: 各 Cq ∈ {Cp , · · · , Cp+n } の外接矩形は，cの外接矩形を縦に n + 1 等分した矩形の q 番目の矩形とする．以上の様にして，PDF 中の各単語の文字に対して外接矩形を割り当てていく．

5. 3 数式部分の認識
上記のマッチング処理によって認識結果が変更され

5. 2. 3 残りの確定していない単語のマッチングている可能性があるので，再度，数式解析を行い，数ここまでのマッチングによって，対応する単語が見式部であるかそうでないかの判断を行う．数式である

つからなかった認識結果中の単語 w の内，文字数が 4と判断された部分は数式解析によって，更に認識結果

以上の単語に対して，まだ対応する単語の決まっていの変更が行われるが，テキスト部分に関しては，マッない PDF の単語リスト中の単語の中で，チングによる修正の結果が認識の最終結果として用い

CDP (w, W ) = min{CDP (w, W 0 )|られる．

|N (w) − N (W 0 )| <= 2},となる W を見つける．ここで CDP は 5. 2. 2 で定義
0

6. 認識結果の出力以上によって生成された認識結果を再び元画像に埋したマッチングコストで，N (w) や N (W ) はそれぞ

め込み，テキスト情報を持った PDF を生成する．このれ，単語 w と W 0 の文字数とする．CDP (w, W ) が以時，数式は Infty により数学記号や数式構造も認識さ

00
下の閾値 TDP
より小さければ，w に対応する PDF 中

れているので，その情報は LATEX や，MathML で埋の単語を W とする;

め込まれ，PDF 内の数式の読み上げも可能となる．こ



ﬀ
ﬀ
N (w)
N (w)
00
TDP
:= min max 2,,.
32以上においても PDF の単語リスト中に対応する単語が見つからなかった認識結果中の単語は，PDF 中で欠落している単語であるとして，最終的な文字認識結果として残しておく．

5. 2. 4 PDF から抽出した文字への外接矩形の割り当て
マッチ ン グ に よって 対 応 付 け ら れ た 単 語 の ペ アれにより，数式の情報が埋め込まれていない PDF に，数式の情報を埋め込むことができ，よりアクセシビリ
ティの高い PDF を自動的に生成することができる．

7. 評価実験と結果
本システムの評価を行うために，OCR によって生成された PDF を再認識することによって，どの程度PDF に含まれるテキスト情報の精度が上がるのかを調べた．方法としてはまず，我々が文字認識システム等の評価を行うために構築した，正解データベース [7](w, W ) に対して，どちらを最終的な認識結果とすを用いた．この正解データベースは，600dpi でスキャるかを判断する．PDF 中の単語 W の各文字 C に対しンされた文書画像，各文字の外接矩形，文字認識，文て，マッチングの結果から，認識結果中の単語 w の中字種などの正解，数式の構造といった情報を持っていの文字の外接矩形座標を割り当てていく．割り当てらる．その中の文書画像を，ABBY FineReader 7.0 をれた外接矩形座標と，C の文字種を用いて Geometric

用いて認識し，結果をテキスト情報を持つ PDF とし

Position Checking で W がテキスト部になりうるか判て出力した．FineReader は英語だけでなく，様々な

6

論文／PDF 中のテキスト情報を利用した視覚障害者のための英文 PDF 科学技術文書読み取りシステム

ヨーロッパ言語の文書を非常に高い精度で認識するこ

プル PDF には以下の様な誤認識の傾向がみられた:とが出来る OCR システムであるが，数式に関しては（ 1 ） 数式を含む部分がレイアウト解析の際に図と非常に簡単なもの以外認識することができない．これ認識されてしまい，その中にあるテキスト部の文字がを数式認識をしていない一般的なテキスト情報を持っ認識されていない，た PDF の実験サンプルとして用い，正解データベー（ 2 ） 認識に使用する言語情報が数式によって乱さスと比較し，認識率を求めた．次に，本システムに，れる，形が似ている文字，‘o’ と ‘O’, ‘w’ と ‘W’ など，

この生成した PDF を再認識させ，その認識率を求めが数式の直後にあると，小文字が大文字と認識されてた．ここでの認識率とは，正解データベースが持つ各

しまう．

文字の矩形座標に対して，認識結果中の同じ矩形座標（ 3 ） 縦に比較的大きな数式があると，行の大きさにある文字が等しければ正解であるとカウントし，その取得を誤り，その後の文字認識が正確に行われない

れを全体の文字数で割ったものとしている．

(図 3)．

今回の評価実験では，正解データベース中の数学雑誌 15 冊と教科書 1 冊から 13 文書 (531 ページ) を用いた．これらには 787,421 文字，内テキスト部 621,998
文字，数式部 165,423 文字が含まれている．

これより，数式がテキスト部の文字認識に実際に悪影響を与えていることが確かめられた．
表 2 において，実験サンプルの元々の認識率 (精度)と，テキスト情報を利用した認識率を見ると，Infty に

ここで実験サンプル PDF の正解率 (認識率) を求めよる再認識によって，数式情報の付加だけでなく，テる際にも，本認識手法と同様に PDF から抽出したテ

キスト部の認識率も向上していることが分かる．しかキスト情報を用いた．しかしながら，正解データベーしながら，テキスト情報を利用しなかった場合と，テスと比較するには，各文字の外接矩形が必要となってキスト情報を利用した場合を比較すると，テキスト部

くる．そこで，Infty によって認識した結果と PDFの認識率の向上が見られるが，数式部の認識率が落ちから抽出したテキスト情報とを，先に述べた Wordてしまっている．これは主に，マッチングの結果，数Matching Method を用いてマッチングを行う．この式部において，最終的な認識結果として PDF のテキ時，テキスト部においては，PDF から抽出した文字

スト情報の方の結果が使われてしまったことによる．

を常に最終結果とすることによって，対応する Infty

例を挙げると，“q 0 = dqmodIY ” という式が，Inftyの認識結果にある外接矩形座標を PDF から抽出したでは，きちんと認識されていた．一方，PDF 中では，文字に割り当てる．この様にして PDF 中のテキスト“q’=dgmod/y” となっていた．これが，マッチングの情報に外接矩形座標追加し，正解データベースとの比際に，Infty の認識結果の中に ‘q’ の第 2 候補として，較を行い，認識率を算出した．また，PDF から抽出

‘g’ が，‘I’ の第 2 候補として ‘/’ が入っていたために，されるテキストは ASCII 文字に限られるので，比較

DP コストが閾値以下になり，PDF のテキストが採用

対象は ASCII 文字とし，更に，認識や区別が難しい，されてしまい，結果，“q 0 = dgmod/y” と認識されて

点類 (" ’ , .

‘) も対象から除き，ASCII 文字だけしまった．この様に PDF 中のテキストが誤っていてでは区別できない，マイナス記号 ‘−’ とハイフン ‘-’ はも，認識候補中に文字があれば，認識結果として採用同一視した．

されてしまう問題があった．

以上の様にして，まず生成した実験サンプルの認識

追加実験として，テキスト部に関しては誤りのない率を，テキスト部 (TEXT) のみ求めた．次に，Infty

PDF に対して，数式情報を埋め込む目的で使用する

で，実験サンプルを埋め込まれているテキスト情報場合を想定して，上記の実験でも使用した正解データを使用せずに，PDF を画像としてのみ認識した認識

ベースから生成した PDF を本システムでもう一度認率を，同様の算出基準でテキスト部 (TEXT)，数式識し，その認識率を測定した．この生成した PDF で部 (MATH)，そして両方を含めた全体の認識率 (TO-は，数式は LATEX のコマンドで記述されている．PDF

TAL) を求めた．最後に，同様の基準で実験サンプルのテキストを利用して認識した場合，テキスト部，数の PDF のテキスト情報を用いて，Infty で再認識し式部共に認識率 100%を示し，この実験においては，た時の認識率をテキスト部，数式部，全体の認識率を正しく入っているテキスト部の情報を崩さず，数式を求めた．その結果を表 2 に示す．

埋め込むことに成功していた．

この評価実験中，FineReader で生成した実験サン

読み上げ順の改善について定量的な評価は行ってい7電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx
TOTAL

TEXT

MATH

レイアウト解析においても，より大きな効果が得られSample PDF–

99.75%–

ると期待できる．評価実験でも，数式部の認識においRecognition without text

99.18%

99.71%

97.18%ては，本手法の悪影響が僅かに見られ，これを改善す

Recognition using text

99.22%

99.79%

97.09%

るには，マッチングの対象となる単語の見直しや DP

表 2

元の PDF の認識率と，PDF のテキスト情報を利用しなかった場合と利用した場合の認識率．
Table 2 Recognition rates of original PDFs, recognition witout text information and recognition
usgin text information.

ないが，実際に配布されている PDF を本システムで認識して比較したところ，以下の様な傾向が見られた．

マッチングの際のコスト設定の見直しなどが必要である．また，読み上げ順の改善についても，“適切な読み上げ順” を考慮したレイアウト解析の改良が必要だと思われる．今回は英語文書のみ認識対象としたが，今後，特に日本語への適用を実装していきたい．
文

まず，数式によって引き起こされる読み上げ順の乱れに関して，例えば数式が上下の行と混じってしまって[1]いる場合は，ほぼ正しく行分けが行われ，正しい順番に修正されていた．また，異なるレイアウト中のブ
ロックのテキストが混ざり合っている様な，極端な場[2]合に関しても，きちんとブロックを分けて出力していた．これらは認識の際に PDF 中の読み上げ順序を使わず，Infty のレイアウト解析結果のみを用いた事が上手く働いたからであるが，元々きちんと PDF にタグ“Web Content Accessibility Guidelines 2.0,”[4]

M. Suzuki, F. Tamari, R. Fukuda, S. Uchida,

http://www.w3.org/TR/2006/WD-WCAG20-20060427/
T. Kanahori, “INFTY — An Integrated OCR System
for Mathematical Documents”, ACM Symposium on
Document Engineering, pp.95–104, 2003など，正しい読み上げ順になっていてる PDF を認識
しまい，脚注が文書中に挿入されてしまって，かえっ[5]“Ghostscript, Ghostview and GSview,”[6]

Y. Eto and M. Suzuki, “Mathematical formula recog-

http://www.cs.wisc.edu/∼ghost/て読み上げ順を悪くするという場合もあった．これは，nition using virtual link network,” Proc. ICDAR,
pp.762–767, 2001.

Infty のレイアウト解析が，画像中の位置によって順番を決定するためだと思われる．

渡辺哲也, “視覚障害者の Windows パソコン及びインター
ネット利用・学習状況,” 独立行政法人国立特殊教育総合研究所報告書 D-190, 2003.
吉本浩二 渡辺哲也, スクリーンリーダによる PDF 文書へのアクセシビリティについて, ヒューマンインタフェース
学会研究報告集 vol.5, no.5, 2004.

[3]

付け [2] されており，脚注が節の終わりに挿入されるにかけた場合，Infty による読み上げ順が適用されて

献[7]

M. Suzuki, S. Uchida and A. Nomura, “A GroundTruthed Mathematical Character and Symbol Image

8. お わ り に

Database”, Proceedings of 8th International Con-

今回，PDF から取り出したテキスト情報と，PDF

DAR 2005,pp.675–679, Seoul, Korea.

ference on Document Analysis and Recognition, IC-を画像として認識した認識結果を組み合わせることにより，より精度の高い情報を PDF から得るシステムの提案とその手法，更には，評価実験も行った．既存の認識システムによって生成した PDF を再認識することにより，本システムが PDF 中の数式部分にテキスト情報を追加するだけでなく，数式周辺の文字の誤認識もある程度修正することを示した．このシステムが提供するインターフェイスを用いて，簡単に数式を含んだ PDF を認識させ，数式の情報を持たない PDF
から，数式の情報をもった PDF を生成することが可能である．しかしながら，今回 PDF から抽出したテ
キスト情報は，Ghostscript の機能を利用して，ASCII
テキストファイルから得るので，PDF 中にあるフォントや，位置といった有用な情報は使用することが出来なかった．今後，PDF から直接情報を取得する様にすれば，認識率だけでなく，読み上げ順に影響する
8（平成 xx 年 xx 月 xx 日受付）

金堀 利洋
1997 岡山大学理学部卒．2002 九州大学数理学研究科博士課
程単位取得後退学．同年，筑波技術短期大学障害者高等教育センター助手．2003 数理学博士．現在，筑波技術大学障害者高等教育研究支援センター助教授．主に視覚障害者支援システム開発に従事．

鈴木 昌和

（正員）

1969 京都大学理学部卒．1971 京都大学大学院理学研究科修士課程修了．同年，京都大学大学院理学研究科博士課程進学．
1973 フランス政府給費留学生として渡仏，パリ大学第 11 部
数学科博士過程．1975 フランス国立科学研究センター研究員．
1977 Doctorat d’Etat ès Sciences (パリ大学 VII)．同年，九州大学工学部講師．現在，九州大学大学院数理学研究院教授．
NPO 法人サイエンス・アクセシビリティ・ネット代表理事．主に，多変数関数解析，代数幾何，近年，科学技術文書認識，視覚障害者支援システム開発に従事．電子情報通信学会・日本数学会・情報処理学会会員．

Abstract The awareness of Web Accessibility is widely spreading to society, but then a lot of contents
are provided as PDF ﬁles on the Web. In provided PDF ﬁles, information of characters is not embeddedin the proper reading order [2]. Information of mathematical formulae is rarely embedded in an accessible
way. A scientiﬁc PDF document generated by OCR system often has many recognition errors caused bymathematical formulae. Therefore, it is very diﬃcult to read that scientiﬁc PDF documents correctly forvisually impaired people. In this report, we present a system which can provide high-quality and accessible document information of a scientiﬁc PDF documents, especially containing mathematical formulae, bycorrecting recognition results of PDF’s printed images with extracted character information from the PDF
documents. We show experimental results in order to evaluate the system.
Key words Visually Impaired People, Web Accessibility, PDF Accessibility, OCR, Mathematical Formula Recognition