(57)【要約】【課題】元の文字画像から歪んで得られた文字画像を補正する際に、元の文字画像と撮影された文字画像との既知の対応点を必要とせず、文字の傾き及び歪みを品位良く補正できる文字画像補正装置及び文字画像補正方法を提供することを目的とする。【解決手段】撮影した画像から文字領域を検出する文字領域検出部１と、文字領域検出部１によって検出された文字領域から文字列の傾斜角を検出する傾斜角検出部３と、傾斜角が所定の角度になるように文字列傾斜角を補正する傾斜角補正部４と、傾斜角補正部４によって傾斜角が補正された文字列において、文字のアスペクト比を検出する文字列アスペクト比検出部５と、傾斜角が補正された文字列の文字のアスペクト比を補正するアスペクト比補正部９と、を備える。【選択図】図１
2010130441.tif 000002
【特許請求の範囲】
【請求項１】
撮影した画像から文字領域を検出する文字領域検出手段と、
前記文字領域検出手段によって検出された文字領域から文字列の傾斜角を検出する傾斜角検出手段と、
前記傾斜角が所定の角度になるように前記文字列の傾斜角を補正する傾斜角補正手段と、
前記傾斜角補正手段によって傾斜角が補正された文字列において、文字のアスペクト比を検出する文字列アスペクト比検出手段と、
前記文字列アスペクト比検出手段で検出されたアスペクト比が所定の値になるように、前記傾斜角が補正された文字列の、文字のアスペクト比を補正するアスペクト比補正手段と、
を備えることを特徴とする文字画像補正装置。
【請求項２】
予め所定の異なる傾斜角の文字列が形成された複数の基準画像を備え、
前記傾斜角検出手段が、
前記複数の基準画像における文字列に対して、前記文字領域検出手段で検出された文字領域における文字列の傾斜角の相似を表す相関度を算出し、
前記複数の基準画像の内で相関度の高い基準画像の文字列の傾斜角に基づいて、前記文字領域検出手段で検出された文字領域における文字列の傾斜角を検出するように構成されている、
ことを特徴とする請求項１に記載の文字画像補正装置。
【請求項３】
前記アスペクト比検出手段が、
前記文字列を文字列方向及び文字列方向に直交する文字列直交方向の夫々に投影して、前記文字列方向及び前記文字列直交方向の夫々に画素分布を検出する画素分布検出手段と、
前記文字列方向の画素分布に基づいて、前記文字列の前記文字列方向に直交する方向における文字サイズを検出する第１の文字サイズ検出手段と、
前記文字列直交方向の画素分布に基づいて、前記文字列の前記文字列方向における文字サイズを検出する第２の文字サイズ検出手段と、
を備え、
前記第１の文字サイズ検出手段で検出された文字サイズと前記第２の文字サイズ検出手段で検出された文字サイズとの比によって、前記アスペクト比を検出するように構成されている、
ことを特徴とする請求項１又は請求項２に記載の文字画像補正装置。
【請求項４】
撮影した画像から文字領域を検出する文字領域検出手順と、
前記文字領域検出手順によって検出された文字領域から文字列の傾斜角を検出する傾斜角検出手順と、
前記傾斜角が所定の角度になるように前記文字列の傾斜角を補正する傾斜角補正手順と、
前記傾斜角補正手順によって傾斜角が補正された文字列において、文字のアスペクト比を検出する文字列アスペクト比検出手順と、
前記文字列アスペクト比検出手段で検出されたアスペクト比が所定の値になるように、前記傾斜角が補正された文字列の、文字のアスペクト比を補正するアスペクト比補正手順と、
を備えることを特徴とする文字画像補正方法。
【請求項５】
予め所定の異なる傾斜角の文字列が形成された複数の基準画像を用い、
前記傾斜角検出手順において、
前記複数の基準画像における文字列に対して、前記文字領域検出手順で検出された文字領域における文字列の傾斜角の相似を表す相関度を算出し、
前記複数の基準画像の内で相関度の高い基準画像の文字列の傾斜角に基づいて、前記文字領域検出手順で検出された文字領域における文字列の傾斜角を検出する、
ことを特徴とする請求項４に記載の文字画像補正方法。
【請求項６】
前記アスペクト比検出手順において、
前記文字列を文字列方向及び文字列方向に直交する文字列直交方向の夫々に投影して、前記文字列方向及び前記文字列直交方向の夫々に画素分布を検出する画素分布検出手順と、
前記文字列方向の画素分布に基づいて、前記文字列の前記文字列方向に直交する方向における文字サイズを検出する第１の文字サイズ検出手順と、
前記文字列直交方向の画素分布に基づいて、前記文字列の前記文字列方向における文字サイズを検出する第２の文字サイズ検出手順と、
を用い、
前記第１の文字サイズ検出手順で検出された文字サイズと前記第２の文字サイズ検出手順で検出された文字サイズとの比によって、前記アスペクト比を検出する、
ことを特徴とする請求項４又は請求項５に記載の文字画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された文字画像の歪補正に係る文字画像補正装置及び文字画像補正方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラは、広く普及し、風景や人物に限らず時刻表やポスターなどの文字を含む画像を撮影する際にも用いられるようになってきた。さらには、手書き文字や印刷された文字を、デジタルカメラを用いて光学的に読み取り、前もって記憶されたパターンとのマッチングにより文字を特定する光学式文字読み取り装置（ＯＣＲ：Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）にも用いられている。しかしながら、撮影された文字画像は、撮影する位置により撮影対象に対する「アオリ」や「回転ズレ」が生じて歪むので、その文字の特定が困難であって（読みづらく）、そのまま使用するには最適なものではなかった。
【０００３】
例えば、書画カメラによる手書き文字や印刷物の撮影、デジタルカメラによるホワイトボードに記述された図形や文字の撮影等において、認識度を向上させるためには、カメラと撮影対象との水平線を合わせ、且つ、カメラの視点を対象物の中心位置の垂直方向から見えるように撮影条件を設定する必要がある。
【０００４】
書画カメラを用いる際には、撮影位置や被写体の位置を調整することによって、前述の「カメラと撮影対象との水平線を合わせ、且つ、カメラの視点を対象物の中心位置の垂直方向から見えるように設置する」という撮影条件を比較的容易に設定できるが、撮影したい原稿が大きくて書画カメラに載置できない場合には、この撮影条件を設定することが困難であった。また、ホワイトボードに記述された図形や文字を撮影する際には、手持ちカメラを用いることが多く、前述の撮影条件を設定することが困難であった。
【０００５】
「アオリ」は、例えば被写体が矩形であるのに対し、撮影される画像が撮影する位置によって台形に歪む現象である。そこで、文字画像をデジタルカメラで撮影する際には、あたかも被写体に正対した位置から撮影したように、「アオリ」を補正する（所謂、画像変換を行う）技術が知られている。
【０００６】
例えば、ホワイドボードの外形が長方形であるという前提に立ち、ホワイトボードの各辺を撮影し、撮影されたホワイドボードの長方形の変形度合いから、撮影の視点のズレを検出し、このズレを打ち消すように歪みを補正する。
【０００７】
図１１（ａ）が横書きの文字列が印刷された元画像、図１１（ｂ）が図１１（ａ）の文字列が撮影方向からみて仰角方向及び回転方向に傾いて撮影された画像、図１１（ｃ）が元画像に対する撮影装置の位置を表した図である。この際、図１１（ｂ）の撮影状態でＯＣＲに入力すると、文字が傾いて歪んでおり、文字の回転補正やパターンマッチングによる文字の特定が有効に働かず、文字を認識することができない。即ち、一般に、ＯＣＲは、文字列の回転補正の機能を備え、回転補正された水平及び垂直方向、上下反転（天地反転）の文字列を認識することができるが、回転補正しても歪んでいる（例えば、台形に歪んでいる）文字を認識することが困難である。
【０００８】
そこで、このような「アオリ」を伴う画像を補正する際に、射影変換が用いられている。射影変換は、視点（ビューポイント）を変えて、既知の対応点（例えば、長方形領域だった部分）を抽出し、変形された対応点の座標を決定することにより変換行列を求め、この変換行列を用いて文字列等の撮影対象の画像を補正する（例えば、特許文献１参照）。
【０００９】
平面に配置されている物体（例えば、文字が印刷された用紙である）をデジタルカメラで撮影した際には、２次元射影変換が用いられる。２次元射影変換は、撮影された画像における座標を（ｕ，ｖ）、撮影された実空間における座標を（ｘ，ｙ）、変換行列における係数をａ１〜ａ８とすると、式１で表すことができる。
【数１】
2010130441.tif 000003
【特許文献１】特開２００７−０５８６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の射影変換を用いた文字画像補正の技術によれば、（式１）のように、未知の変換係数が８個（ａ１〜ａ８）なので、この変換係数を求めるには、撮影された画像座標と実空間の座標とを関連付けできる対応点（基準となる目印）が４点以上必要になる。その結果、例えば長方形内の領域にあって既知の対応点を４点以上関連付けることができない状況では、射影変換による補正が困難であった。
【００１１】
そこで、本発明は、文字が印刷された撮影対象に対して傾斜されて撮影され、元の文字画像から歪んで得られた文字画像を補正する際に、元の文字画像と撮影された文字画像との既知の対応点を必要とせず、文字の傾き及び歪みを品位良く補正できる文字画像補正装置及び文字画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
かかる目的を達成するためになされた請求項１に記載の発明は、撮影された文字画像の歪みを補正する文字画像補正装置において、撮影した画像から文字領域を検出する文字領域検出手段と、前記文字領域検出手段によって検出された文字領域から文字列の傾斜角を検出する傾斜角検出手段と、前記傾斜角が所定の角度になるように前記文字列の傾斜角を補正する傾斜角補正手段と、前記傾斜角補正手段によって傾斜角が補正された文字列において、文字のアスペクト比を検出する文字列アスペクト比検出手段と、前記文字列アスペクト比検出手段で検出されたアスペクト比が所定の値になるように、前記傾斜角が補正された文字列の、文字のアスペクト比を補正するアスペクト比補正手段と、を備えることを特徴とする。
【００１３】
請求項１に記載の文字画像補正装置によれば、文字列の傾斜角を検出する傾斜角検出手段と、傾斜角が所定の角度になるように文字列の傾斜角を補正する傾斜角補正手段と、傾斜角補正手段によって傾斜角が補正された文字列において、文字のアスペクト比を検出する文字列アスペクト比検出手段と、文字列アスペクト比検出手段で検出されたアスペクト比が所定の値になるように、傾斜角が補正された文字列の、文字のアスペクト比を補正するアスペクト比補正手段と、を備えているので、文字が印刷された撮影対象に対して傾斜されて撮影され、元の文字画像から歪んで得られた文字画像を補正する際に、元の文字画像と撮影された文字画像との既知の対応点を必要とせず、文字の傾き及び歪みを品位良く補正できる。また、請求項１に記載の文字画像補正装置は、補正する文字領域の大きさが撮影距離に比べて、所定の範囲以下（例えば、撮影距離が２ｍの際には、１０ｃｍ以下）であることが好ましい。
【００１４】
また、請求項１に記載の文字画像補正装置は、請求項２に記載の発明のように、予め所定の異なる傾斜角の文字列が形成された複数の基準画像を備え、前記傾斜角検出手段が、前記複数の基準画像における文字列に対して、前記文字領域検出手段で検出された文字領域における文字列の傾斜角の相似を表す相関度を算出し、複数の基準画像の内で相関度の高い基準画像の文字列の傾斜角に基づいて、前記文字領域検出手段で検出された文字領域における文字列の傾斜角を検出するように構成されていることにより、撮影された文字画像における文字列の傾斜角を検出できる。
【００１５】
また、請求項１又は請求項２に記載の文字画像補正装置は、請求項３に記載の発明のように、前記アスペクト比検出手段が、前記文字列を文字列方向及び文字列方向に直交する文字列直交方向の夫々に投影して、前記文字列方向及び前記文字列直交方向の夫々に画素分布を検出する画素分布検出手段と、前記文字列方向の画素分布に基づいて、前記文字列の前記文字列方向に直交する方向における文字サイズを検出する第１の文字サイズ検出手段と、前記文字列直交方向の画素分布に基づいて、前記文字列の前記文字列方向における文字サイズを検出する第２の文字サイズ検出手段と、を備え、前記第１の文字サイズ検出手段で検出された文字サイズと前記第２の文字サイズ検出手段で検出された文字サイズとの比によって、前記アスペクト比を検出するように構成されていることにより、傾斜角が補正された文字画像における文字列の、文字のアスペクト比を検出できる。
【００１６】
次に、請求項４に記載の発明は、撮影された文字画像の歪みを補正する文字画像補正方法において、撮影した画像から文字領域を検出する文字領域検出手順と、前記文字領域検出手順によって検出された文字領域から文字列の傾斜角を検出する傾斜角検出手順と、前記傾斜角が所定の角度になるように前記文字列の傾斜角を補正する傾斜角補正手順と、前記傾斜角補正手順によって傾斜角が補正された文字列において、文字のアスペクト比を検出する文字列アスペクト比検出手順と、前記文字列アスペクト比検出手段で検出されたアスペクト比が所定の値になるように、前記傾斜角が補正された文字列の、文字のアスペクト比を補正するアスペクト比補正手順と、を備えることを特徴とする。
【００１７】
請求項４に記載の文字画像補正方法によれば、文字列の傾斜角を検出する傾斜角検出手順と、傾斜角が所定の角度になるように文字列の傾斜角を補正する傾斜角補正手順と、傾斜角補正手段によって傾斜角が補正された文字列において、文字のアスペクト比を検出する文字列アスペクト比検出手順と、文字列アスペクト比検出手順で検出されたアスペクト比が所定の値になるように、前記傾斜角が補正された文字列の、文字のアスペクト比を補正するアスペクト比補正手順とを用いることにより、請求項１に記載の発明と同様に、文字が印刷された撮影対象に対して傾斜されて撮影され、元の文字画像から歪んで得られた文字画像を補正する際に、元の文字画像と撮影された文字画像との既知の対応点を必要とせず、文字の傾き及び歪みを品位良く補正できる。
【００１８】
また、請求項４に記載の文字画像補正方法は、請求項５に記載の発明のように、予め所定の異なる傾斜角が形成された複数の基準画像を用い、前記傾斜角検出手順において、前記複数の基準画像における文字列に対して、前記文字領域検出手順で検出された文字領域における文字列の傾斜角の相似を表す相関度を算出し、複数の基準画像の内で相関度の高い基準画像の文字列の傾斜角に基づいて、前記文字領域検出手順で検出された文字領域における文字列の傾斜角を検出することにより、請求項２に記載の発明と同様に、撮影された文字画像における文字列の傾斜角を検出できる。
【００１９】
また、請求項４又は請求項５に記載の文字画像補正方法は、請求項６に記載の発明のように、前記アスペクト比検出手順において、前記文字列を文字列方向及び文字列方向に直交する文字列直交方向の夫々に投影して、前記文字列方向及び前記文字列直交方向の夫々に画素分布を検出する画素分布検出手順と、前記文字列方向の画素分布に基づいて、前記文字列の前記文字列方向に直交する方向における文字サイズを検出する第１の文字サイズ検出手順と、前記文字列直交方向の画素分布に基づいて、前記文字列の前記文字列方向における文字サイズを検出する第２の文字サイズ検出手順と、を用い、前記第１の文字サイズ検出手順で検出された文字サイズと前記第２の文字サイズ検出手順で検出された文字サイズとの比によって、前記アスペクト比を検出することにより、請求項３に記載の発明と同様に、傾斜角が補正された文字画像における文字列の、文字のアスペクト比を検出できる。
【発明の効果】
【００２０】
本発明の文字画像補正装置及び文字画像補正方法は、文字列の傾斜角を検出してこの傾斜角が所定の角度になるように文字列の傾斜角を補正し、次いで、傾斜角が補正された文字列において、文字のアスペクト比を検出して検出されたアスペクト比が所定の値になるように、傾斜角が補正された文字列における文字のアスペクト比を補正することにより、文字が印刷された撮影対象に対して傾斜されて撮影され、元の文字画像から歪んで得られた文字画像を補正する際に、元の文字画像と撮影された文字画像との既知の対応点を必要とせず、文字の傾き及び歪みを品位良く補正できる。
【００２１】
また、本発明の文字画像補正装置及び文字画像補正方法は、予め所定の異なる傾斜角の文字列が形成された複数の基準画像を備え、複数の基準画像における文字列に対して、撮影された文字画像の文字列の傾斜角の相似を表す相関度を算出し、複数の基準画像の内で相関度の高い基準画像の文字列の傾斜角に基づいて、文字列の傾斜角を検出することにより、撮影された文字画像における文字列の傾斜角を検出できる。
【００２２】
また、本発明の文字画像補正装置及び文字画像補正方法は、文字画像の文字列を文字列方向及び文字列方向に直交する文字列直交方向の夫々に投影して、文字列方向及び文字列直交方向の夫々に画素分布を検出し、次いで、文字列方向の画素分布に基づいて、文字列の前記文字列方向に直交する方向における第１の文字サイズを検出すると共に、文字列直交方向の画素分布に基づいて、文字列の文字列方向における第２の文字サイズを検出し、次いで、文字列方向の文字サイズと文字列に直交する方向の文字サイズとの比によって、文字のアスペクト比を検出することにより、傾斜角が補正された文字画像における文字列の、文字のアスペクト比を検出できる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の文字画像補正装置及び文字画像補正方法の一実施例を図面に基づいて説明する。図１が、本発明の一実施例の文字画像補正装置の構成を表すブロック図、図２が、同実施例の文字画像補正装置における、文字列の傾斜角検出の説明図、図３が、同実施例の文字画像補正装置における、文字列の傾斜角を検出するために備えられた複数の基準画像を表した図、図４が、同実施例の文字画像補正装置における、複数の基準画像に対する文字列の、傾斜角の相関係数の演算結果を表した図である。
【００２４】
また、図５が、同実施例の文字画像補正装置における、文字列のアスペクト比検出の説明図、図６が、同実施例の文字画像補正装置における、文字列のアスペクト比補正の説明図、図７が、同実施例の文字画像補正装置における、補正された文字画像を表した図である。
【００２５】
また、図８〜図１０が、同実施例の文字画像補正装置及び文字画像補正方法における、文字画像補正の手順を表したフローチャートであって、図９が、図８における文字領域検出ステップの詳細を表したフローチャート、図１０が、図８における基準画像取得ステップの詳細を表したフローチャートである。
【００２６】
図１に表したように、本実施例の文字画像補正装置１００は、デジタルカメラ１０１で撮影された文字画像の歪みを補正する。
【００２７】
文字画像補正装置１００は、デジタルカメラ１０１で撮影した画像から文字領域を検出する文字領域検出部１、所定の相異なる傾斜角が形成された複数の基準画像を格納する基準画像格納部２、基準画像における文字列に対して文字領域検出部１によって検出された文字領域の文字列の傾斜角の相関度を算出し、文字領域の文字列の傾斜角を検出する傾斜角検出部３、傾斜角が所定の角度になるように文字列の傾斜角を補正する傾斜角補正部４、傾斜角補正部４によって傾斜角が補正された文字列において、文字のアスペクト比を検出するアスペクト比検出部５、傾斜角が補正された文字列の文字のアスペクト比を補正するアスペクト比補正部９、等によって構成されている。
【００２８】
図２（ａ）に表したように、デジタルカメラにはｕ、ｖ方向に複数の光電変換素子（画素）が配置された撮像素子が備えられており、この撮像素子を介して文字画像が撮影される。この際、文字画像には、被写体に対するデジタルカメラの回転方向に応じた傾斜及び仰角に応じた歪みが発生している。また、本実施例では、白用紙に黒文字が記載されている。そして、デジタルカメラ１０１の撮像素子を介して画素毎の輝度が検出され、黒文字部の輝度が０、用紙の白部の輝度が２５５である。
【００２９】
文字領域検出部１は、文字画像をｕ方向及びｖ方向に走査して各画素の輝度を検出し、文字Ｐ１〜Ｐ４で囲まれた文字領域を検出する。具体的には、水平方向に走査して垂直列毎に黒画素の密度を検出し、この黒画素密度を所定の閾値と比較して水平方向の文字領域の先端位置（Ｐ０〜Ｐ２）と末端位置（Ｐ１〜Ｐ３）を検出すると共に、垂直方向に走査して水平列毎に黒画素の密度を検出し、この黒画素密度を所定の閾値と比較して垂直方向の文字領域の先端位置（Ｐ０〜Ｐ１）と末端位置（Ｐ２〜Ｐ３）を検出する。
【００３０】
本実施例では、文字列領域を検出する閾値として、文字領域の４辺の夫々に対応付けて、第１の閾値から第４の閾値が設定されている。
【００３１】
基準画像格納部２は、図２（ｂ）に表したように、画素の水平方向に対して傾斜する基準画像が５度間隔で格納されている。図３（ａ）に表したように、傾斜０度に対応する基準画像は、黒の画素が水平方向に傾きなく黒画素ラインを有し、この黒画素ラインが垂直方向に所定の間隔を介して複数並設されている。また、図４（ｂ）〜（ｇ）に表したように、傾斜１５度、傾斜３０度、傾斜４５度、傾斜６０度、傾斜７５度、傾斜９０度に対応する基準画像は、図４（ａ）の黒画素ラインが夫々の傾斜角度だけ傾いて並設されている。ここで、黒画素ラインの代わりに所定の文字列を並設してもよい。
【００３２】
傾斜角検出部３は、複数の基準画像における黒画素ラインに対して、文字領域検出部１で検出された文字領域における文字列の傾斜角の相似を表す相関度を算出し、複数の基準画像の内で相関度の高い基準画像の傾斜角に基づいて、文字領域検出部１で検出された文字領域における文字列の傾斜角を検出する。
【００３３】
詳しくは、撮影された文字画像をｆ、基準画像をｇ、相関係数をｒ、文字画像の文字領域のサイズをＭ×Ｎと表した際に、（式２）を用いて、各基準画像との相関係数ｒを算出し、最も相関係数が高い基準画像の傾斜角を、文字領域検出部１で検出された文字領域における文字列の傾斜角とする。
【数２】
2010130441.tif 000004
【００３４】
図４は、（式２）を用いて得られた相関係数ｒの算出結果を表している。横軸が基準画像の傾斜角度、縦軸が相関係数ｒを表している。図４に表したように、本実施例では、傾斜角が３０度の際に相関係数ｒが大きく、撮影された文字画像における文字列の傾斜角を３０度として検出した。
【００３５】
次に、傾斜角補正部４は、傾斜角検出部３によって文字列の傾斜角度をθ、傾斜補正前の文字画像の座標を（ｕ，ｖ）、傾斜補正後の文字画像の座標を（ｕ´，ｖ´）と表した際に、（式３）を用いて、文字列の傾斜角が０度になるように、文字画像の座標を補正する。
【数３】
2010130441.tif 000005
【００３６】
次に、アスペクト比検出部５は、図５（ａ）の傾斜角が補正された文字列において、図１に表したように、文字列を文字列方向に投影して文字列方向の画素分布を検出する文字列方向画素分布検出部６ａ、文字列を文字列と直交する方向に投影して直交方向の画素分布を検出する文字列直方向画素分布検出部６ｂ、文字列方向の画素分布に基づいて文字列に直交する方向における文字サイズを検出する文字列直方向の文字サイズ検出部７ａ、文字列に直交する方向の画素分布に基づいて文字列方向における文字サイズを検出する文字列方向の文字サイズ検出部７ｂ、文字列方向の文字サイズと文字列直方向の文字サイズとの比によって文字列における文字のアスペクト比を演算する文字アスペクト比演算部８、等によって構成されている。
【００３７】
図５（ｂ）において、文字画像に対して右側に配置された図が文字列を水平方向に投影した際の画素分布を表し、文字画像に対して下側に配置された図が文字列を垂直方向に投影した際の画素分布を表し、夫々、黒文字の画素値が小さく表れている。
【００３８】
文字列直方向の文字サイズ検出部７ａは、文字列が複数あるときには、それらの平均値や中央値を検出して文字高さ（画素値が低い範囲であって矩形の谷の幅）とする。一方、文字列方向の文字サイズ検出部７ｂは、文字列毎に文字幅（画素値が低い範囲であって矩形の谷の幅）の平均値や中央値を検出して文字幅とし、文字列が複数あるときには、さらに複数の文字列毎の値の平均値や中央値を文字幅として検出する。
【００３９】
アスペクト比演算部８は、文字サイズ検出部７ａで得られた文字サイズ（文字高さ）をＡ、文字列方向の文字サイズ検出部７ｂで得られた文字サイズ（文字幅）をＢとすると、アスペクト比αを、α＝Ａ／Ｂ、の演算式を用いて算出する。
【００４０】
次に、アスペクト比補正部９は、アスペクト比演算部８で得られたアスペクト比が所定の値を満足しない際に、１文字の高さと幅の比が文字として認識しやすい値、例えば１になるように対象画素を画素補間して補正し、文字画像を垂直方向へ補正する。この際、画素補間の方法として図６（ａ）及び（式４）に表した共１次内挿入法を用いることができる。図６（ａ）において、Ｐ（ｕ，ｖ）が内挿したい座標であって、Ｐｉ，  ｊ、Ｐｉ＋１，ｊ、Ｐｉ，ｊ＋１、Ｐｉ＋１，ｊ＋１が内挿点Ｐ（ｕ，ｖ）を囲む観測点である。
【数４】
2010130441.tif 000006
【００４１】
また、画素補間として、図６（ｂ）及び（式５）〜（式７）に表した３次畳み込み内挿法を用いることもできる。図６（ｂ）において、Ｐ（ｕ，ｖ）が内挿したい座標であって、Ｐ１１〜Ｐ４４が観測点である。
【数５】
2010130441.tif 000007
【数６】
2010130441.tif 000008
【数７】
2010130441.tif 000009
【００４２】
例えば、文字高さが３０画素、文字幅が５０画素の際には、アスペクト比を１に補正するために、傾斜角が０度に補正された文字画像領域を、前述の補間式を用いて、５０／３０＝５／３倍だけ垂直方向に補間する。また、垂直方向に５／３倍の補間する代わりに、文字幅を３／５に縮小する補間を行っても良い。
【００４３】
図７は、本実施例における、撮影された文字画像領域の傾斜角を補正し（本実施例では傾斜角３０度を０度に補正し）て、その補正された文字画像領域の文字のアスペクト比を１に補正した結果得られた文字画像である。文字の傾きや歪みが無く、品位良く補正できていることが判る。
【００４４】
以上のように、本実施例に記載の文字画像補正装置１００は、文字列の傾斜角を検出する傾斜角検出部３と、傾斜角が所定の角度になるように文字列傾斜角を補正する傾斜角補正部４と、傾斜角補正部４によって傾斜角が補正された文字列において、文字のアスペクト比を検出する文字列アスペクト比検出部５と、文字列アスペクト比検出部５で検出されたアスペクト比が所定の値になるように、傾斜角が補正された文字列の、文字のアスペクト比を補正するアスペクト比補正部９と、を備えているので、文字が印刷された撮影対象に対して傾斜されて撮影され、元の文字画像から歪んで得られた文字画像を補正する際に、元の文字画像と撮影された文字画像との既知の対応点を必要とせず、文字の傾き及び歪みを品位良く補正できる。
【００４５】
また、本実施例に記載の文字画像補正装置１００は、基準画像格納部２に所定の異なる傾斜角の文字列が形成された複数の基準画像を備え、傾斜角検出部３が、複数の基準画像における文字列に対して、文字領域検出部１で検出された文字領域における文字列の傾斜角の相似を表す相関度を算出し、複数の基準画像の内で相関度の高い基準画像の文字列の傾斜角に対応付けて、文字領域検出部１で検出された文字領域における文字列の傾斜角を検出できる。
【００４６】
また、本実施例に記載の文字画像補正装置１００は、アスペクト比検出部５が、文字列を文字列方向及び文字列方向に直交する文字列直交方向の夫々に投影して、文字列方向の画素分布を検出する文字列方向画素分布検出部６ａ及び文字列直交方向の画素分布を検出する文字列直方向画素分布検出部６ｂと、文字列方向の画素分布に基づいて、文字列方向に直交する方向における文字サイズを検出する文字列直方向の文字サイズ検出部７ａと、文字列直交方向の画素分布に基づいて、文字列方向における文字サイズを検出する文字列方向の文字サイズ検出部７ｂと、を備え、文字列直方向の文字サイズと文字列方向の文字サイズとの比によって、アスペクト比を検出するアスペクト比演算部８と、によって構成されていることにより、傾斜角が補正された文字画像における文字列の、文字のアスペクト比を検出できる。
【００４７】
次に、図８〜図１０を用いて、第１の実施形態における文字画像補正方法の手順を説明する。この手順は、図示されないＣＰＵが図示されないＲＯＭに格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図８〜図１０におけるＳは、ステップを表している。
【００４８】
先ず、この手順は、図８に表したように、オペレータによって文字画像補正装置１００に起動信号が入力された際にスタートする。
【００４９】
次いで、Ｓ１００において、デジタルカメラ１０１で撮影された文字画像を画素アドレスに対応付けて入力し、その後、Ｓ２００の文字領域検出ステップに移る。
【００５０】
次いで、Ｓ２００の文字領域検出ステップは、図９のフローチャートに表したように、Ｓ２０１において文字画像を水平方向に走査し、その後、Ｓ２０２に移る。
【００５１】
次いで、Ｓ２０２において垂直列毎の黒画素の密度を検出し、その後、Ｓ２０３に移る。
【００５２】
次いで、Ｓ２０３において、黒画素の密度を第１の閾値と比較し、黒画素の密度が第１
の閾値よりも大きいときはＳ２０４に移り、一方、黒画素の密度が第１の閾値よりも小さいときは、Ｓ２０２に戻り黒画素の密度が第１の閾値よりも大きくなるまでＳ２０２〜Ｓ２０３を繰り返す。
【００５３】
次いで、Ｓ２０４において、黒画素の密度が第１の閾値よりも大きくなった画素列に対応付けて水平方向の文字領域の先端位置（図２（ａ）中のＰ０〜Ｐ２）を検出し、その後、Ｓ２０５に移り、水平方向に走査を続行し、その後、Ｓ２０６に移る。
【００５４】
次いで、Ｓ２０６において垂直列毎の黒画素の密度を検出し、その後、Ｓ２０７に移る。
【００５５】
次いで、Ｓ２０７において、黒画素の密度を第２の閾値と比較し、黒画素の密度が第１
の閾値よりも小さいときはＳ２０８に移り、一方、黒画素の密度が第２の閾値よりも大きいときいは、Ｓ２０６に戻り黒画素の密度が第２の閾値よりも小さくなるまでＳ２０６〜Ｓ２０７を繰り返す。
【００５６】
次いで、Ｓ２０８において、黒画素の密度が第２の閾値よりも小さくなった画素列に対応付けて水平方向の文字領域の末端位置（Ｐ１〜Ｐ３）を検出し、その後、Ｓ２０９に移る。
【００５７】
次いで、Ｓ２０９において、文字画像を垂直方向に走査し、その後、Ｓ２１０に移る。
【００５８】
次いで、Ｓ２１０において水平列毎の黒画素の密度を検出し、その後、Ｓ２１１に移る。
【００５９】
次いで、Ｓ２１１において黒画素の密度を第３の閾値と比較し、黒画素の密度が第３
の閾値よりも大きいときはＳ２１２に移り、一方、黒画素の密度が第３の閾値よりも小さいときは、Ｓ２１０に戻り、黒画素の密度が第３の閾値よりも大きくなるまでＳ２１０〜Ｓ２１１を繰り返す。
【００６０】
次いで、Ｓ２１２において、黒画素の密度が第３の閾値よりも大きくなった画素列に対応付けて垂直方向の文字領域の先端位置（Ｐ０〜Ｐ１）を検出し、その後、Ｓ２１３に移り、垂直方向に走査を続行し、その後、Ｓ２１４に移る。
【００６１】
次いで、Ｓ２１４において水平列毎の黒画素の密度を検出し、その後、Ｓ２１５に移る。
【００６２】
次いで、Ｓ２１５において、黒画素の密度を第４の閾値と比較し、黒画素の密度が第４
の閾値よりも小さいときはＳ２１６に移り、一方、黒画素の密度が第４の閾値よりも大きいときは、Ｓ２１４に戻り、黒画素の密度が第４の閾値よりも小さくなるまでＳ２１４〜Ｓ２１５を繰り返す。
【００６３】
次いで、Ｓ２１６において、黒画素の密度が第４の閾値よりも小さくなった画素列に対応付けて垂直方向の文字領域の末端位置（Ｐ２〜Ｐ３）を検出し、その後、図８のＳ３００に移る。
【００６４】
次いで、Ｓ３００の基準画像取得ステップは、図１０のフローチャートに表したように、まずＳ３０１において、基準画像格納部２に格納された複数の基準画像から所定の２枚の基準画像を取得し、その後、Ｓ３０２に移る。
【００６５】
次いで、Ｓ３０２において、（式２）を用いて２枚の基準画像の夫々に対して文字画像の文字列との相関度Ｍ１、Ｍ２を算出し、その後、Ｓ３０３に移る。ここで、Ｍ１、Ｍ２は、（式２）における相関係数ｒに相当する。
【００６６】
次いで、Ｓ３０３において、Ｍ１とＭ２との比較により、相関度が高い選択になるように基準画像の選択順を設定する。つまり、２枚の基準画像の文字列の傾斜角が０度と９０度であって、９０度の基準画像の相関度が０度の基準画像の相関度よりも大きいときには、基準画像の選択を、傾斜角が０度から反時計周りに５度間隔になるように選択する。一方、９０度の基準画像の相関度が０度の基準画像の相関度よりも小さいときには、基準画像の選択を、傾斜角が９０度から時計周りに５度間隔になるように選択する。
【００６７】
次いで、Ｓ３０４において、選択順に基準画像を取得し、その後、Ｓ３０５に移る。
【００６８】
次いで、Ｓ３０５において、選択された基準画像に対して文字領域における文字列の傾斜角の相似を表す相関度Ｍ（ｎ）を算出し、その後、Ｓ３０６に移る。
【００６９】
次いで、Ｓ３０６において、直前のＳ３０５で算出された相関度Ｍ（ｎ）と、その前に算出された相関度Ｍ（ｎ−１）とを比較し、Ｍ（ｎ）がＭ（ｎ−１）よりも小さいときにはＳ３０７に移り、一方、Ｍ（ｎ）がＭ（ｎ−１）よりも大きいときにはＳ３０４に戻ってＳ３０４〜Ｓ３０６を繰り返し、Ｓ３０６でＭ（ｎ）がＭ（ｎ−１）よりも小さくなったときにＳ３０７に移る。
【００７０】
次いで、Ｓ３０７において、Ｍ（ｎ）が算出された基準画像を、撮影された文字領域の文字列の傾き検出用の基準画像として取得し、その後、図８のＳ４００に移る。
【００７１】
次いで、Ｓ４００において、Ｓ３０７で取得された基準画像における黒画素列の傾斜角を撮影された文字領域の文字列の傾斜角として検出し、その後、Ｓ５００に移る。
【００７２】
次いで、Ｓ５００において、傾斜角補正部４を用い、撮影された文字領域の文字列が水平になるように（式３）により文字画像を補正し、その後、Ｓ６００に移る。
【００７３】
次いで、Ｓ６００において、アスペクト比検出部５を用い、傾斜角が補正された文字列における文字のアスペクト比を検出し、その後、Ｓ７００に移る。
【００７４】
次いで、Ｓ７００において、文字アスペクト比補正部９を用い、文字のアスペクト比が所定の値になるように文字画像を補正し、文字画像補正方法の処理手順を終了する。
【００７５】
以上のように、本実施例に記載の文字画像補正方法は、文字領域検出ステップ（Ｓ２００）において、撮影した画像から文字領域を検出し、次いで、基準画像取得ステップ（Ｓ３００）及び文字列の傾き角度算出ステップ（Ｓ４００）において、文字列の傾斜角を検出し、次いで、画像傾き補正ステップ（Ｓ５００）において、文字列の傾斜角を所定の角度になるように補正し、次いで、アスペクト比検出ステップ（Ｓ６００）において、傾斜角が補正された文字列における文字のアスペクト比を検出し、次いで、アスペクト比補正ステップ（Ｓ７００）において、文字列の検出されたアスペクト比が所定の値になるように文字画像を補正することにより、元の文字画像から歪んで得られた文字画像を補正する際に、元の文字画像と撮影された文字画像との既知の対応点を必要とせず、文字の傾き及び歪みを品位良く補正できる。
【００７６】
また、本実施例に記載の文字画像補正方法は、予め所定の異なる傾斜角が形成された複数の基準画像を用い、Ｓ４００において、複数の基準画像における文字列に対して、文字領域における文字列の傾斜角の相似を表す相関度を算出し、複数の基準画像の内で相関度の高い基準画像の文字列の傾斜角に基づいて、文字列の傾斜角を検出することにより、撮影された文字画像における文字列の傾斜角を検出できる。
【００７７】
また、本実施例に記載の文字画像補正方法は、アスペクト比検出ステップ（Ｓ６００）において、文字列を文字列方向及び文字列方向に直交する文字列直交方向の夫々に投影して、文字列方向及び前記文字列直交方向の夫々に画素分布を検出し、文字列方向の画素分布に基づいて、文字列の文字列方向に直交する方向における文字サイズを検出すると共に、文字列直交方向の画素分布に基づいて、文字列方向における文字サイズを検出し、文字列直方向の文字サイズと文字列方向の文字サイズとの比によって、傾斜角が補正された文字画像における文字列の、文字のアスペクト比を検出できる。
【００７８】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。本実施例では、横書きの文字画像であるが、縦書きの文字画像であっても水平と垂直を入れ替えることにより、同様に補正できる。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施例の文字画像補正装置の構成を表すブロック図である。
【図２】同実施例の文字画像補正装置における、文字列の傾斜角検出の説明図であって、（ａ）が撮影して得られた文字画像を表した図、（ｂ）が文字画像の傾斜角を検出するために備えられた複数の基準画像の傾斜角を表した図である。
【図３】同実施例の文字画像補正装置における、文字列の傾斜角を検出するために備えられた複数の基準画像を表した図である。
【図４】同実施例の文字画像補正装置における、複数の基準画像に対する文字列の、傾斜角の相関係数の演算結果を表した図である。
【図５】同実施例の文字画像補正装置における、文字列のアスペクト比検出の説明図であって、（ａ）が回転補正を行った直後の文字列を表した図、（ｂ）が文字列の垂直方向及び水平方向の画素分布を表した図である。
【図６】同実施例の文字画像補正装置における、文字列のアスペクト比補正の説明図であって、（ａ）が共1次内挿法を用いた画素補間方法の説明図、（ｂ）が３次畳み込み内挿法を用いた画素補間方法の説明図である。
【図７】同実施例の文字画像補正装置における、補正された文字画像を表した図である。
【図８】同実施例の文字画像補正装置及び文字画像補正方法における、文字画像補正の手順を表したフローチャートである。
【図９】図８における文字領域検出ステップの詳細を表したフローチャートである。
【図１０】図８における基準画像取得ステップの詳細を表したフローチャートである。
【図１１】従来例の説明図であって、（ａ）が横書きの文字列が印刷された元画像を表した図、（ｂ）が（ａ）の文字列が撮影方向からみて仰角方向及び回転方向に傾いて撮影された画像、（ｃ）が元画像に対する撮影装置の撮影位置を表した図である。
【符号の説明】
【００８０】
１…文字領域検出部、２…基準画像格納部、３…傾斜角検出部、４…傾斜角補正部、５…アスペクト比検出部、６ａ…文字列方向画素分布検出部、６ｂ…文字列直方向画素分布検出部、７ａ…文字列直方向の文字サイズ検出部、７ｂ…文字列方向の文字サイズ検出部、８…文字アスペクト比演算部、９…文字アスペクト比補正部、１００…文字画像補正装置、１０１…デジタルカメラ。
【図１】
2010130441.tif 000010
【図２】
2010130441.tif 000011
【図３】
2010130441.tif 000012
【図４】
2010130441.tif 000013
【図５】
2010130441.tif 000014
【図６】
2010130441.tif 000015
【図７】
2010130441.tif 000016
【図８】
2010130441.tif 000017
【図９】
2010130441.tif 000018
【図１０】
2010130441.tif 000019
【図１１】
2010130441.tif 000020