Faster R-CNN を用いた情景画像中の文字検出における様々な画像フィルタを利用した精度向上
Improvement of Precision by using Various Image Filter for Character Detectionin Scene Image by Faster R-CNN
感性情報学講座 0312014155 三好 理一郎
指導教員：小嶋和徳 伊藤慶明
1. はじめに
現在，文書画像や PDF ファイル等からの文字認識は，OCR 技術により実用化されるほど高精度な認識が可能である．一方，情景画像中から文字部分を抽出し，認識を行うことは困難である．
情景画像中から文字を抽出，認識できれば，携帯端末での文字翻訳等幅広い分野で利用できる．
Faster R-CNN1)は情景画像中の文字抽出，認識を実現する手法として注目されている．しかし，Faster R-CNN のみで文字抽出，認識を行うと，背景ノイズまで誤って文字として認識してしまい，高い適合率が得られない．

Faster R-CNN を情景画像中の文字抽出に用いる場合，背景部分がノイズとなり，文字のみを正しく文字候補として抽出できないため，高い適合率が得られないという問題がある．そこで本研究では，Faster R-CNN による文字抽出を行う前に，評価画像に対して文字部分を抽出することに特化したフィルタ処理を行うことで，Faster R-CNNのみの評価より高い精度での文字抽出を図る．

3. 提案手法
本研究では Faster R-CNN の前処理として様々なフィルタの組み合わせを考慮して検討を進めそのため本研究では，情景画像に対する文字抽る．本研究で用いるフィルタの組み合わせを表 1

出の適合率を向上 させる．これにより その後に示す．表 1 の組み合わせに加えて各フィルタのOCR 技術等により高精度での文字認識が実現で重みについての検討も行った．

きると考える．本研究では特に，様々なフィルタ

表1

本研究で使用したフィルタ一覧を利用して加工した画像を Faster R-CNN への入

Sobel

Roberts

力画像とすることで文字抽出の適合率向上を目

4lap

8lap

指す．

MedianGaussian

Median→4lap

Median→8lapGaussian→4lap

Gaussian→8lap

MedianMedian

本研究では，情景画像中の文字部分の抽出に→鮮鋭化(4lap)→鮮鋭化(8lap)

Faster R-CNN を利用する．

→4lap→8lap

Faster R-CNN とは，Deep Neural Network(DNN）

Median→鮮鋭化(8lap)

Bilateral

2. Faster R-CNN に よ る 情 景 画 像 か ら の文字抽出の 一 種 で あ る ． DNN の 中 で 画 像 識 別 は ，Convolutional Neural Network (CNN) が用→鮮鋭化(8lap)※4lap→4 近傍 Laplacian , 8lap→8 近傍 Laplacian

いられることが多く，CNN の前に物体候補を抽出する手順を追加し，複数の物体のクラス分類フィルタ処理を行った画像を Faster R-CNN にを可能としたのが R-CNN である．更にその R-入力した結果例を図 2 に示す．図 2 の左は原画像

CNN の物体候補抽出にも CNN を適用することを入力とした場合，右はエッジを保存しつつノイで高精度化，高速化したのが Faster R-CNN となズを除去する Bilateral フィルタを適用した後，エる．Faster R-CNN ではまず一つの DNN の中でッジ強調を行う鮮鋭化を行った場合である．

画像中から物体候補を抽出する．次に，抽出し右画像では,左の原画像に対して植物部分や，た物体候補に対してクラス分類を行い，物体をレンガ部分の特徴が薄められており，文字部分の識別する．

特徴が強調されていることが分かる．その効果により原画像に Faster R-CNN を適用すると，画像提案手法での成功例が図 4 である．左画像が下のレンガ部分が文字として認識されている一Median → 鮮 鋭 化 を 行 っ た 画 像 で ， 右 画 像 が方，処理画像では文字部分のみが抽出された．

Bilateral→鮮鋭化を行った画像である．どちらも原画像と比較して背景部分を削除し，文字部分のみを全て抽出することができている．この二つの組み合わせでは特に，右画像の様に背景部分の割合の多い画像に対しての効果が高い傾向にある．

図2

フィルタ処理による文字抽出領域の変化
図44. 実験.
本研究の評価指標として，適合率，再現率，F値を使用する． Faster R-CNN は，文字検出用に学習済み（英字，数字のみ 6000 枚）のものを利用する．クラス分類としては text，background 二種類に識別可能である．評価には ICDAR2003 の画像 253 枚を評価のみに使用した．
表 1 で示したフィルタの中から，再現率を下げ提案手法での成功例

次に，提案手法での失敗例が図 5 である．フィルタ処理を行った場合，原画像と比較して光の影響を強く受けることと文字内に模様がある文字に対して適合率，再現率が低いという傾向がある．
更なる精度の向上に向けて今後このような点を踏まえてフィルタを検討，改善していく．

ず適合率を上げる，つまり原画像と同等の再現率を保ちつつ誤検出の割合を減少させるフィルタを考察した．この中から適合率，再現率が最も高くなった実験結果が表 2 となる．適合率が最も高
い組み合わせが Bilateral フィルタ後に鮮鋭化を行ったものとなった．原画像との差は 0.056pt 上

図5昇と上昇率も高い．F 値も最も高くなっており，性能としてはフィルタ群の中で最も良いということだが再現率が 0.032pt 減少してしまっている．

提案手法での失敗例

5. まとめしかし，再現率が最も高い組み合わせとなった

本研究では，Faster R-CNN を用いた情景画像中Median フィルタを行った後鮮鋭化を行ったものの文字認識において入力画像に前処理を行うこは，適合率を 0.012pt 上昇させるだけでなく再現とで適合率向上を図った．様々なフィルタでの実率も微上昇させているため，特に有効なフィルタ

験の結果，ノイズ除去には Median フィルタやの組み合わせだと言える．背景領域部分，つまりBilateral フィルタを，エッジ強調には鮮鋭化を利

ノイズ部分の除去フィルタにおいては，Median用することでより高精度な認識を行うことがでや Bilateral が有効であり，エッジ強調には，きることを確認できた．今後，更なるフィルタのLaplacian の重みを用いた鮮鋭化が有効だという検討と問題点改善によって精度向上目指していことが分かった．

く．

表2

既存手法と提案手法の評価結果比較

原画像
Median→鮮鋭化(8 近傍 Laplacian)Bilateral→鮮鋭化(8 近傍 Laplacian)

F値

参考文献

0.953

0.8711） ShaoqingRen,

0.814

0.953

0.878

0.858

0.921

0.889

適合率

再現率

0.802

KaimingHe,

RossGirshick,

JianSun.「Faster R-CNN : TowardsReal-Time
ObjectDetectionwithRegionProposalNetworks」
NIPS(ニューラル情報処理システム学会 )2015