看板画像からの文字抽出に関する特徴量の検討
Extraction of Character from Scene Image
感性情報学講座 0312006016
指導教員： 小嶋和徳 伊藤慶明

1. はじめに岩渕慎也
石亀昌明

3.1．看板位置情報に基づく領域削減処理

OCR技術を用いた文書画像からの文字抽出・認識技術の精度は文字かどうかを識別する際に，背景領域の削減処理を行うこと現在実用段階にある．しかし，情景画像からの文字抽出は OCRにより，文字部分での識別が容易になるといえる．これは，文技術を用いても認識が困難である．これは，文書画像は比較的字と背景とで近似の特徴量を得られてしまう場合が存在し，そ単純な背景パターン上に存在しているのに対し，情景画像はよの際に SVM での識別が困難となってしまうためである．そのり複雑な背景パターン上に存在しているためである．情景画像ため，本研究では背景領域の削減処理を行うこととした．以下から文字抽出精度が向上すれば，ロボット工学や視覚障がい者が背景領域削減処理の際の処理の条件となる．のための歩行支援システムなど，様々な分野での応用が可能に＜文字領域削除条件＞なると考えられる．先行研究[1]における文字候補以外の領域が（１）多くなることによる認識率の低下，エッジ領域が大きくなる j
ことによるクラスタリング精度の低下に対し，本研究ではその改善策を提案し，文字抽出の精度向上を図る．

2. 先行研究 1）の手法と問題点
先行研究[1]では，入力画像に対して，エッジ領域を抽出し，各エッジ領域を隣接条件に基づく領域統合処理を行い，文字候補領域の抽出，クラスタリング処理を行い，2値画像を作成する．
その後クラスタリング処理により得られた 2 値画像から文字，図１の候補１の領域を基に拡大領域を作成し，候補２に触れ合う領域が存在している

Aa
拡大領域

候補 1
図 1

または背景の特徴量を抽出し特徴量を SVM により学習し，与え候補 2
条件１拡大領域図られた入力画像内に文字が存在するか識別を行う．しかし，先

図 1 では拡大領域の作成を行い，拡大領域と触れ合う領域が存行研究[1]では以下の問題点が存在する．

在しているかの図になる．この際に作成される拡大領域は候補1（１）

背景領域の特徴量が学習データ内で多くなることにの横幅を2.7倍した領域となる．

よる認識率の低下（２）（２）

文字候補領域が大きさによるクラスタリング精度の低下（３）

画像中に1文字で存在する文字の識別が困難

本研究では，上記の問題点を踏まえ改善策を検討し，識別率の向上を図る．

3. 改善策・特徴量検討
本研究では，前章の問題点（１）に対し背景領域の削減処理，問題点（２）に対してはクラスタリングの特徴量として誘目性を追加，1文字程度の小領域でのクラスタリングをし，問題点（３）

Aa
候補１と候補2での面積比が1.8以下である

候補 1
図2

候補 2

条件２ 面積比比較3.2. 誘目性を考慮したクラスタリングに対しては1文字の学習データを与え，先行研究1）の問題点改先行研究1）ではクラスタリング処理を行う際にL*a*b*表色善を行うこととした．また，特徴量として新たに，輝度ヒスト系の値を用いてクラスタリング処理を行っている．しかし，こグラム特徴と形状特徴を追加し認識率の向上を行った．の場合光の反射や影がその領域内に存在する場合にうまくクラスタリング処理を行うことができなかった．そこで本研究では，新たに誘目性をクラスタリング特徴量として追加することでク200枚，評価画像として残りの58枚を使用し評価実験を行った．

ラスタリング精度の向上を行った．誘目性とは，その領域内で表1が評価結果である．

のどの程度目につきやすい色であるかを数値化したものになる．

表 1

評価結果

算出式は以下の通りである．

適合率

再現率

F尺度

5366

44564859

L ∗2 + (a ∗ +60)2 + (b ∗ 60)2

3.3．輝度ヒストグラムからの特徴量抽出
対象領域が文字領域であれば，文字色部分と背景色部分で輝度先行研究[1]
本手法

4.2. 考察ヒストグラムの頻度が高くなる．逆に背景であれば背景色以外

今回の評価結果において看板文字位置情報に基づく領域削減の色情報があまりなく，輝度ヒストグラムの頻度も背景色部分処理を行い，形状特徴，輝度ヒストグラム特徴からの特徴量をが多くなる．このことから輝度ヒストグラムの頻度の極大値数用いることでの精度の向上がみられた，適合率については領域を求めることにより，文字領域と背景領域の識別が可能となる．

削減処理の際に背景パターンの除去をすることができたために

3.4. 形状からの特徴量抽出向上がみられた．また，看板内の文字がうまく取れている場合

本研究では，形状からの特徴量抽出として複雑度，円形度を用いることとした．複雑度とはその図形がどの程度複雑であるかに識別をうまくすることができた．しかし，ガラス上に描かれている文字はうまく識別できなかった．以下が先行研究 1)と本手法との比較画像になる．

を表すパラメータとなる．また，円形度はその図形がどの程度円形に近いかを表すパラメータとなる．同じ図形であれば同程度の特徴量をえることができる．この事より文字か背景の識別が可能となる．算出式は以下の通りになる．
F=

L2
S

図3 先行研究手法1)

図4 本手法先行研究では，クラスタリングする際に大きな領域でクラス4πS
E= 2Lタリング処理しているため光の反射などが画像中に存在してい上記の式でのFは複雑度，Eは円形度を表している．また，L

本手法ではより色分布を抑えるために 1 文字程度の小領域でのた場合にうまくクラスタリングすることができなかった（図2），

はその図形の周囲長，Sは面積を表している．

クラスタリングを行ったため出力画像の向上がみられた．

4. 実験及び評価

5. おわりに本研究では先行研究1)をもとに形状特徴，輝度ヒストグラム

4.1． 評価方法

からの特徴量，また，位置情報による領域削減処理を行うこと

本研究は先行研究1）のシステムを参考とし，その問題点検討，特徴量を変更を行っての精度向上を行った．
そのため先行研究1）により精度向上させることができた．

での評価方法を用いて画像の評価を行った．

参考文献

＜評価式＞

1)芦田和毅，永井弘樹,岡本正行，宮尾秀俊：“情景画nm
p=nenmr=ng2prf=p+r
評価式でのfはF尺度で，pは適合率，rは再現率をそれぞれ表像からの文字抽出”．電子情報通信学会論文誌 D-II，Vol.JJ88-D-II，No9(2005），pp1817-1824
2)若林昌明，白井啓一郎，岡本正行，山本博章：“カラー情景画像からの文字抽出の高精度化の一検討”，電子情報通信学会技術研究報告書.PRUM，Vol.107，
No491(20080214)，pp.149-154
3)Nello Cristianini，JohoShawe-Traylor(著)，大北している．また，nm は、評価画像と比較したときに，ともに文毅(訳)：“サポートベクターマシン”，共立出版株式

字列パターンにある画素数，ne は抽出された文字列パターンの画素数，ng は評価画像の文字列パターンの画素数をそれぞれ表会社，東京 2005．

している．データとしてはICDAR2003で実際に使用された画像セット258枚を使用した．学習データとしては画像258枚中

4)宮本定明：“クラスター分析入門”，大北出版株式会
社，東京，1999