電子情報通信学会論文誌 2017/10 Vol. J100–D No. 10

単文字を対象とする．
傾斜した文字を認識するために，文字列全体の傾斜

傾斜文字認識のための正規化方法
志久修†（正員）

手島裕詞†（正員）を補正することで個々の文字を正立させる方法 [2]〜内田 誠一††（正員）[5] がある．これらの方法では文字の縦ストロークを極Character Normalization Method for Recognizing Slanted

力垂直にすることが前提であるため，縦ストロークがCharactersない場合に文字を正立できない場合がある．したがっOsamu SHIKU† , Yuji TESHIMA† ,て，正立できなかった文字は，傾斜したままの形状でand Seiichi UCHIDA†† , Members†

認識する必要がある．変形した単文字の認識法として，

佐世保工業高等専門学校，佐世保市

National Institute of Technology,

Sasebo College,

1–1

Okishin, Sasebo-shi, 857–1193 Japan††九州大学大学院システム情報科学研究院，福岡市

不変量を用いる方法 [6], [7]，部分空間法と高速フーリエ変換を用いる方法 [8]，変形文字を全て学習する方

Faculty of Information Science and Electrical Engineering,

法 [9], [10] などがある．方法 [6]〜[8] では変形した英Kyushu University, 744 Motooka, Nishi-ku, Fukuoka-shi,

数字等を高精度に認識できるが，日本語のように字形819–0395 Japan
DOI:10.14923/transinfj.2017JDL8007が複雑で，かつ字種が多い文字に対する性能は明らかにされていない．方法 [9], [10] では変形文字の学習にあらまし 傾斜した単文字を認識するための正規化法を提案する．提案法では，文字に外接する平行四辺形を正方形にすることで，文字の傾斜を正規化する．
提案法を前処理とする文字認識システムは，傾斜した文字をそのまま学習させた文字認識システムよりも，傾斜した文字を高精度に認識できることを示す．
キーワード 傾斜文字，射影ひずみ，正規化，文字認識より特徴ベクトルの分布が広がり，これらの分布を表現するために固有ベクトルの数が増え，照合時間及び辞書容量が大きくなることが考えられる．
本論文では，一様角度で傾斜した単文字を認識するための正規化法を提案する．提案法では，傾斜した文字を傾斜角にかかわらず同じような形状に整える．提案法を前処理とする文字認識システムを構築し，傾斜した文字の認識実験を行う．実験により，提案法を前処理とする文字認識システムは，傾斜した文字を全て1. ま え が き
カメラを用いた文字認識では，文字を斜めから撮影するときに生じる射影ひずみへの対処が課題の一つとなっている [1]．射影ひずみを受けた文字列には，
図 1(a) に示すように，文字列の回転，文字の傾斜，文字サイズの変動が生じる．もし文字列抽出がある程度適切に行われ，その結果として図 1(b) に示すように文字列が水平になるように回転補正されたとしても，依然として文字列には水平方向に傾斜（せん断）が残ってしまう．この傾斜は，図 1(b) のように文字列全体で一様ではなく，文字の位置ごとに異なっている．ただし，一文字程度の幅で見ると，傾斜はほぼ一様と近似できるものとして，本論文では一様に傾斜している

学習 [9], [10] させた文字認識システムよりも，高い認識率が得られることを示す．なお本実験では，文字認識システムの識別器として部分空間法及び畳み込みニューラルネットワーク（CNN と呼ぶ）の 2 種類を採用する．

2. 傾斜正規化法
2. 1 処理の概要
単文字の傾斜ひずみを正規化する方法を提案する．
提案法では，図 2 に示すように，単文字画像（図 (a)）
から文字に外接する平行四辺形（図 (b)）を求め，その平行四辺形が正方形になるように座標変換を行う（図(c)）．対象とする単文字は，図 1 のように回転補正された文字列から正確に切り出されたもので，傾斜角は一様とする．

図2Fig. 1

図 1 射影ひずみと回転補正
Perspective distortion and rotation correction.

902

電子情報通信学会論文誌

正規化処理の例．(a) 文字画像 (b) 外接平行四辺形(c) 正規化画像
Fig. 2 Normalization process.

c 一般社団法人電子情報通信学会 2017
D Vol. J100–D No. 10 pp. 902–906 レ タ ー

図 4 ハフ平面（A − B 平面）
Fig. 4 Hough plane (A − B plane).

（ 2 ） 上下の平行線の抽出：左右の平行線と同様にして求める．すなわち図形画素 (xi , yi ) を，x 軸に対する直線の傾きを a，y 切片を b とする式 b = −xi a + yi
図 3 方向ごとのヒストグラム
Fig. 3 Histgrams by directions.

により a − b 平面に投票する．そして a − b 平面における投票値の山から平行線の傾きと y 切片を求める．
傾き A 及び a の量子化数は，A は −1.0〜1.0 まで2. 2 外接平行四辺形の抽出0.05 刻み，a は −0.02〜0.02 まで 0.01 刻みと設定す提案法では文字の傾斜角にかかわらず適切な外接平る．これは図 1 のように文字列を行方向に回転補正し行四辺形を抽出する必要がある．そこで，平行四辺形

た場合，切り出された単文字は，文字の左右方向の傾を，単文字画像の投影ヒストグラムから求める．図 3

斜は大きく，上下方向の傾斜は本来は 0 になるべきだに，様々な方向からの x 軸に対する投影ヒストグラムが多少の誤差が生じる，とそれぞれ仮定して設定してを示す．ここで x 軸は水平軸（文字列の方向）である．

いる．

基本的アイディアは，以下のとおりである．まず各方

3. 実向の投影ヒストグラムにおいて，投影値の 2 乗の合計

提案法を前処理とする文字認識システム（提案シス（山の面積と呼ぶ）と投影値が 0 より大きい要素の総テムと呼ぶ）を構築し，傾斜した文字の認識実験を行数（山の幅と呼ぶ）を求める．その上で，面積と幅のう．比較のため，文字の大きさだけを正規化する文字比が最大となる投影方向を文字の傾斜角とする．この認識システム（従来システムと呼ぶ）を用いる．文字傾斜角と山の左右の端点から平行線を求める．文字の認識システムの識別器には部分空間法と CNN の 2 種

上下に接する平行線は，同様に y 軸への投影ヒストグ類を採用する．識別器の学習と評価に用いる傾斜したラムから求める．

文字画像は，data augmentation により，正立した単験具体的な平行線の抽出手順を以下に述べる．本方法

文字画像を水平方向に傾斜させて生成する．すなわち

では投影ヒストグラムをハフ変換 [11] により求める．

提案システムでは傾斜を正規化した文字画像を識別器（ 1 ） 左右の平行線の抽出：単文字画像の中心点をに学習させ，傾斜を正規化した文字画像を認識対象と原点とし，全ての図形画素の座標 (xi , yi ); (i は図形画する．一方，従来システムでは傾斜したままの文字画

素の番号) を，式 B = −yi A + xi により A − B 平面像を識別器に学習させ，傾斜したままの文字画像を認に投票する．ここで A と B は，単文字画像上の直線識対象とする．の y 軸に対する傾きと x 切片である．図 4 に，図 3 の

3. 1 実験データ

文字画像に対する A − B 平面を示す．A − B 平面に実験では，3,169 字種（漢字，かな，カナ，英数字）おいて任意の傾き A をもつ 1 ラインが，方向 A からを対象とする．識別器の学習のため，1 字種当り 270

x 軸に対する投影ヒストグラムになる（図 4 の濃淡が，個の文字画像を用意する．これらはスキャナ（400dpi，投影ヒストグラムの投影値を表している）．そこで，傾2 値）で入力した 1 字種当り 30 個の文字画像に，y 軸

き A を変え 1 ラインごとに山の面積と幅の比を求めに対し‐40◦ から 40◦ まで 10◦ 刻みで 9 種類のせん断ていく．そして，山の面積と幅の比が最大となる傾き変形を加えて作成する．30 個の内訳は，3 フォント（明Am を平行線の傾き，Am での山の両端点 B1 , B2 を朝体，ゴシック体，楷書体）×5 サイズ（6,8,10,12,14平行線の x 切片とする．図 4 に A − B 平面から求めポイント）×2 種類のレーザプリンタである．

た傾き Am ，x 切片 B1 , B2 の 2 点を示す．これらの 2点が図 3 の平行線に対応する．

学習用の文字画像を正規化し，識別器の学習に用いる．正規化サイズは 64×64 画素とする．図 5 に学習903

電子情報通信学会論文誌 2017/10 Vol. J100–D No. 10

図 6 評価用の文字画像
Fig. 6 Test images.

Fig. 7図 7 部分空間の次元数と認識率の関係
The relation between the number of dimensions and recognition rate.

用とは別に印刷した 6 ポイントの 3 フォント文字を複写機で品質を落とし，更にせん断角度を正立（せん断角度 0◦ ）以外は異なる角度（‐35◦ から 35◦ まで 10◦刻み）にしている．図 6 に評価用の文字画像を示す．

3. 2 識 別 器識別器として，方向線素特徴量と部分空間法を組み合わせた方法 [12] 及び CNN を採用する．部分空間法の辞書は，正規化した学習用の文字画像から方向線素特徴量を抽出し作成する．CNN は正規化した学習用の文字画像をそのまま学習させる．CNNの構成は，畳み込み層を C, プーリング層を P，全連結層を F と表すと，入力側（64 ×64 画素）から，C(64 ×64 ×20)-P(60 ×60 ×20)- C(30 ×30 ×40)Fig. 5

図 5 学習用の文字画像と正規化画像
Training images and normalized images.

P(26 ×26 ×40)-F(13 ×13 ×40)-F(500)-F(3169) である．活性化関数は ReLU，学習は誤差逆伝搬法で行う．学習の反復回数は 50 回とする．

用の文字画像（図 (a)）と正規化画像（図 (b)，(c)）を

3. 3 実 験 結 果

示す．従来システムでは大きさの正規化だけなので，（ 1 ） 部分空間法における次元数と認識率

正規化後の文字にせん断変形が残っていることが分か

部分空間法を識別器としたときの部分空間の次元数る．一方，提案システムでは正規化後の文字が本来の（固有ベクトル数）と評価用の文字画像の認識率の関形状と異なる場合があるが，せん断角度によらずほぼ係を調べた．図 7 に結果を示す．提案システムでは，同じような形状あるいは少数の形状に揃っていること従来システムに比べ，少ない次元数で高い認識率が得が分かる．

られていることが分かる．この理由は，傾斜を正規化評価用の画像として，1 字種当り 27 個の画像を用意した画像（例えば図 5(c)）から抽出された特徴ベクトする．これらは学習用と同じ手順で作成するが，学習ルの分布は，傾斜した文字画像（例えば図 5(b)）から904

レ タ ー

抽出された特徴ベクトルの分布よりも小さくなり，少ない次元数で分布を表現できるためと考えられる．部
分空間法では照合時間及び辞書容量が次元数に比例す

Table 1

角度るため，少ない次元数で高い認識率が得られる提案システムが有利であるといえる．
（ 2 ） 角度ごとの認識率−35◦部分空間法と CNN をそれぞれ識別器としたときの−25◦

評価用の文字画像の角度ごとの認識率を調べた．部分−15◦

空間法の次元数は，図 7 より認識率がそれぞれほぼ飽和する提案システムは 8，従来システムは 15 とした．

−5◦

また従来システムでは正立した文字だけを識別器に学0◦習させた場合も調べた．表 1 に角度ごとの認識率（第5◦3 位累積認識率）を示す．表より，両識別器において，従来システムでは正立文字だけではなく傾斜した文字も学習させることで，傾斜した文字の認識率が向上していることが分かる．同じく両識別器において，提案システムでは角度によらずほぼ一定の認識率になって

15◦
25◦
35◦

表 1 角度ごとの認識率
The relation between shear angles andrecognition rate.

部分空間法（次元数）
従来 (15)
提案 (8)
正立
傾斜
1.45
94.48
97.55
(3.60) (98.66) (99.53)
11.50
96.30
97.43
(21.59) (99.36) (99.51)
74.17
97.21
97.75
(88.99) (99.57) (99.61)
98.31
97.84
97.78
(99.89) (99.71) (99.59)
99.02
98.17
98.00
(99.94) (99.77) (99.63)
98.62
97.88
97.92(99.93) (99.68) (99.54)
74.54
97.45
97.91(88.53) (99.55) (99.56)
11.24
96.56
97.77
(21.14) (99.33) (99.60)
1.17
94.23
97.77
(2.99) (98.39) (99.67)

CNN
従来
正立
傾斜
2.64
93.40
(5.40) (98.22)
10.27
93.99
(18.64) (98.39)
47.71
93.75
(64.15) (98.40)
91.00
93.80
(96.68) (98.47)
94.27
94.30
(98.43) (98.67)
91.85
93.97
(97.19) (98.44)
45.41
93.80
(62.43) (98.49)
8.66
93.80
(16.08) (98.30)
2.60
92.81
(5.08) (97.94)

提案
96.08
(98.97)95.88(99.04)96.10(99.18)
96.12(99.11)
96.68(99.27)
96.12(99.17)
96.22(99.13)
95.67(98.98)
96.14(99.04)

いるのに対し，傾斜文字を学習させた従来システムでは部分空間法においては傾斜が大きくなると認識率が低下し，CNN においては全ての角度で認識率が低くなっていることが分かる．これより提案法を前処理とする文字認識システムが，傾斜した文字の認識に有効であることが分かる．
（ 3 ） 提案システムでの誤認識例
図 8 に，傾斜文字を学習させた従来システムでは正しく認識でき，提案システムでは誤認識した例を示す．
図 8(a) は誤認識の例，図 8(b) はその字種の学習画像の例をそれぞれ示す．図 8(a)，(b) ともに文字画像（外接平行四辺形）及び正規化画像を示す．図 8(b) のFig. 8

図 8 誤認識例（「火」→「久」）と学習画像
Examples of mis-recognition and training images.

正規化画像は同じような形状であるのに対し，図 8(a)の正規化画像は図 8(b) と異なる形状になっているこ

しく認識できていた．とが分かる．すなわち，図 8(a) のような形状は学習その他の誤認識例として，同形文字（c，C 等），類しておらず，更に図 8(a) に類似する字種「久」が存似文字（ば，ぱ等）及び文字のつぶれがあった．同形在したために，誤認識したと考えられる．なお，異な文字と類似文字については，表 1 の 3 位累積認識率がる形状に正規化された理由として，「火」のように同程ほぼ 99%以上であるため，上位候補としては認識でき度の面積（黒画素数）で構成された異なる方向のストていることが分かる．

ロークをもつ文字では，つぶれ等によりストロークの4. む す び

黒画素数が増減することで，提案法で採用した文字の本論文では，傾斜した文字を認識するための正規化

傾斜角（投影ヒストグラムの面積と幅の比が最大にな法を提案した．提案法を前処理とした文字認識システる方向）が変わってしまったためと考えられる．ちなムは，傾斜した文字をそのまま学習させた文字認識シみに，図 5(c) の「A」は同程度の 2 方向のストロークステムよりも，傾斜した文字を高精度に認識できるこをもつため，字形によって二つの形状の正規化画像ととを示した．

なるが，両方の形状を学習していることと，どちらの提案法は単文字ごとに正規化を行ったが，一般的に形状にも類似する文字がないことから，「A」は全て正一つの文字列内では個々の文字の傾斜角は急激に変わ905電子情報通信学会論文誌 2017/10 Vol. J100–D No. 10

らないので，この制約条件を設けることにより正規化

Patern Anal. Mach. Intell., vol.32, no.4, pp.755–762,
April 2010.の精度向上が考えられる．今後の課題は，前述した文[7]

堀松 晃，岩村雅一，黄瀬浩一，“特徴点の一意決定性を利用した高速なアフィン不変文字認識，” 信学論（D），vol.J98-D, no.4, pp.651–660, April 2015.

[8]

張 放，菅谷至寛，大町真一郎，阿曽弘具，“部分空間法と高速フーリエ変換を用いた傾斜文字認識，” 画電学誌，vo.39, no.5, pp.598–605, May 2010.

[9]

成田 了，大山 航，若林哲史，木村文隆，“3 次元回転” 電学論（C），vol.133, no.4,
不変カメラベース文字認識，pp.876–882, April 2013.

ルカメラを用いた文字認識・文書画像解析の現状と課題，”信学技報，PRMU2004-246, March 2005.
[2] G.K. Myers, R.C. Bolles, Q.T. Luong, J.A. Herson,and H.B. Aradhye, “Rectification and recognition of[10]

草地良規，鈴木 章，伊藤直己，荒川賢一，安野貴之，“景観画像中の文字候補群によるインデクシング及び検索技” 信学論（D），vol.J90-D, no.9, pp.2562–2572, Sept.
術，

text in 3-D scenes,” Int. J. Document Analysis and[11]

字列の制約について検討し，更に実際にカメラで撮影した射影ひずみや湾曲などの変形をしている文字列の文字認識に，提案法を適用 [13], [14] することである．
謝辞 本研究は，科学研究費補助金（課題番号：15K00258）によって行われたものです．
文
[1]

献

黄瀬浩一，大町真一郎，内田誠一，岩村雅一，“ディジタRecognition, no.7, pp.147–158, July 2005.
[3]

萩原敏浩，渡部広一，河岡[4]

列における形状補正手法，” 信学論（D-II），vol.J86-D-II,no.2, pp..262-271, Feb. 2003.
林 信吾，志久 修，玉井敬一，福本博文，黒田英夫，“活司，“ひずみを有する活字文字

[12]

2007.
松山隆司，輿水大和，“Hough 変換とパターンマッチン
グ，” 情報処理，vol.30, no.9, pp.1035–1046, Sept. 1989.
孫 寧，安倍正人，根元義章，“改良型方向線素特徴量および部分空間法を用いた高精度な手書き文字認識システム，”
信学論（D-II），vol.J78-D-II, no.6, pp.922–930, June
1995.

字文字列に生じる傾斜ひずみの補正方法，” 信学論（D），vol.J90-D, no.2, pp.600–603, Feb. 2007.
[5] C. Merino-Gracia, M. Mirmehdi, J. Sigut, and J.L.

[13]

志久 修，林 信吾，手島裕詞，“2 段階の正規化を用い” 画像関係学会連た射影歪みを受けている文字列の認識，合会第 3 回秋季大会，PC10, Nov. 2016.

Gonzalez-Mora, “Fast perspective recovery of text in[14]

志久 修，手島裕詞，“カメラ入力文字認識のための文字” 平成 28 年度電気学会九州支部沖縄支所講演
正規化方法，会，OKI-2016-38, Dec. 2016.

natural scenes,” Image Vis. Comput., vol.31, no.10,
pp.714–724, Oct. 2013.
[6]

L. Li and C.L. Tan, “Recognizing planar symbols
with severe perspective deformation,” IEEE Trans.

906（平成 29 年 2 月 27 日受付，6 月 2 日再受付，6 月 16 日早期公開）