(57)【要約】【課題】背景画像に比較的広い領域のノイズや汚れが生じている場合であっても、撮像画像に含まれる文字の領域を精度よく切り出す技術を提供することを課題とする。【解決手段】文字列が含まれる画像６１の文字列方向Ａの各画素位置について、文字切り出し方向Ｂの画素値を積算した画素値積算評価値を求める。その波形を波形データ６２で表す。波形データ６２に対して第１閾値６３と第２閾値６４を設定する。波形データ６２が第１閾値６３を超える領域を文字候補領域とする。そして、文字候補領域の中で、画素値積算評価値が第２閾値６４を超える領域が存在する場合には、当該文字候補領域を真の文字領域として文字を切り出す。【選択図】図３
2008097589.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出す装置であって、
前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２
の方向に沿って全ての画素値を積算するための積算手段と、
第１閾値を設定するための第１閾値設定手段と、
前記第１閾値設定手段によって設定された前記第１閾値を越える前記積算手段によって前記積算された画素値を有する前記画像の前記第１の方向の座標位置に対応する領域を各文字候補領域として抽出する抽出手段と、
前記第１閾値設定手段によって設定された第１閾値より大きな値を第２閾値として設定する第２閾値設定手段と、
前記抽出手段によって抽出された各文字候補領域の有する前記積算された画素値が前記第２閾値を超える領域が存在するか否かを判断し、第２閾値を越える積算された画素値を有する各文字候補領域を各文字領域として認識する認識手段と、
を備えることを特徴とする文字切り出し装置。
【請求項２】
請求項１に記載の文字切り出し装置において、さらに、
前記複数の文字からなる文字列を表示する文字列表示部と、
前記文字列表示部において、前記認識手段によって認識された各文字領域を、各文字領域に含まれる文字を矩形形状のウインドウにて囲み、表示する文字領域表示手段と、
前記積算手段によって得られた積算された画素値を画像の前記第１の方向の各座標位置における値を波形として表示する波形表示部と、からなるとともに、
前記波形表示部に表示される文字列の各文字に対応する波形の位置と前記文字列表示部に表示される各文字とを位置決めして表示する表示手段
を備えることを特徴とする文字切り出し装置。
【請求項３】
請求項１に記載の文字切り出し装置において、さらに、
前記積算手段によって得られた積算された画素値を画像の前記第１の方向の各座標位置における値として波形表示するとともに、この波形に対して、前記第１閾値設定手段ならびに第２閾値設定手段によって設定された第１閾値ならびに第２閾値の値を示す位置に重ね表示する波形表示部
を備えることを特徴とする文字切り出し装置。
【請求項４】
請求項１に記載の文字切り出し装置において、さらに、
前記複数の文字からなる文字列を表示する文字列表示部と、
前記文字列表示部において、前記認識手段によって認識された各文字領域を、各文字領域に含まれる文字を矩形形状のウインドウにて囲み、表示する文字領域表示手段と、
前記積算手段によって得られた積算された画素値を画像の前記第１の方向の各座標位置における値を波形として表示し、この波形に対して、前記第１閾値設定手段ならびに第２閾値設定手段によって設定された第１閾値ならびに第２閾値の値を示す位置に重ね表示するとともに、波形表示される文字列の各文字の位置と前記文字列表示部に表示される各文字とを位置決めして表示する波形表示部とを有する表示手段
を備えることを特徴とする文字切り出し装置。
【請求項５】
請求項１に記載の文字切り出し装置において、さらに、
前記第１の方向に関する領域幅を設定する領域幅設定手段と、
前記第１閾値設定手段によって設定された第１閾値によって抽出された各文字候補領域から、前記領域幅設定手段によって設定される領域幅よりも小さい前記第１の方向に関する領域幅を有する文字候補領域を除外する削除手段、
を備えることを特徴とする文字切り出し装置。
【請求項６】
請求項１に記載の文字切り出し装置において、
前記第２閾値設定手段は、前記第１閾値設定手段によって設定された第１閾値に加算する値を設定する加算値設定手段と、前記第１閾値と前記加算値設定手段によって設定された加算値を加算することにより第２閾値を算出する加算手段からなることを特徴とする文字切り出し装置。
【請求項７】
請求項２または４に記載の文字切り出し装置において、
前記文字領域表示手段において表示され、各文字領域に対応する各文字を囲む矩形形状のウインドウの幅は、前記抽出手段によって前記第１閾値の高さで抽出された各文字候補領域の幅によって決定されることを特徴とする文字切り出し装置。
【請求項８】
請求項１に記載の文字切り出し装置において、さらに、
文字列の配列方向に沿った文字の切り出し方向を設定する文字切り出し方向設定手段と、前記文字切り出し方向設定手段によって設定された文字切り出し方向から切り出す文字の数を設定する文字数設定手段、
を備えることを特徴とする文字切り出し装置。
【請求項９】
請求項２、３または４に記載の文字切り出し装置において、さらに、
前記波形表示部に表示される波形を少なくとも前記画像の前記第１の方向に膨張させるとともに、その膨張回数を設定する波形膨張回数設定手段、
を備えることを特徴とする文字切り出し装置。
【請求項１０】
請求項２、４または７に記載の文字切り出し装置において、さらに、
前記認識手段によって認識され、前記文字領域前記文字領域表示手段において表示される各文字領域に対応する各文字を囲む矩形形状のウインドウの高さを、各ウインドウにて囲まれている各文字の高さに対応して決定するウインドウ高さフィッティング手段、
を備えることを特徴とする文字切り出し装置。
【請求項１１】
画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出す方法であって、
前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２
の方向に沿って全ての画素値を積算するための積算工程と、
第１閾値を設定するための第１閾値設定工程と、
前記第１閾値設定工程において設定された前記第１閾値を越える前記積算工程において前記積算された画素値を有する前記画像の前記第１の方向の座標位置に対応する領域を各文字候補領域として抽出する抽出工程と、
前記第１閾値設定工程において設定された第１閾値と大きな値を第２閾値として設定する第２閾値設定工程と、
前記抽出工程において抽出された各文字候補領域の有する前記積算された画素値が前記第２閾値を超える領域が存在するか否かを判断し、第２閾値を越える積算された画素値を有する各文字候補領域を各文字領域として認識する認識工程と、
を備えることを特徴とする文字切り出し方法。
【請求項１２】
画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出すプログラムであって、
コンピュータを、
前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２
の方向に沿って全ての画素値を積算するための積算手段、
第１閾値を設定するための第１閾値設定手段、
前記第１閾値設定手段によって設定された前記第１閾値を越える前記積算手段によって前記積算された画素値を有する前記画像の前記第１の方向の座標位置に対応する領域を各文字候補領域として抽出する抽出手段、
前記第１閾値設定手段によって設定された第１閾値と大きな値を第２閾値として設定する第２閾値設定手段、
前記抽出手段によって抽出された各文字候補領域の有する前記積算された画素値が前記第２閾値を超える領域が存在するか否かを判断し、第２閾値を越える積算された画素値を有する各文字候補領域を各文字領域として認識する認識手段、
として機能させることを特徴とする文字切り出しプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から文字領域を切り出す技術に関する。
【背景技術】
【０００２】
商品や製品に印字された文字を撮像し、画像処理装置において文字認識処理を行うこと
で、印刷内容の確認工程を自動化させることができる。この文字認識処理を精度よく行う
ためには、その前工程としての文字の切り出し工程が重要である。
【０００３】
文字の切り出し工程は、撮像画像の中に含まれる文字の領域を決定する工程である。撮
像画像の中に、複数の文字からなる文字列が含まれている場合、この文字列の中から、各
文字の領域を決定する必要がある。
【０００４】
文字列を切り出す方法としては、画像の投影データを利用する方法がある。つまり、撮
像画像の画素値を切り出し方向について積算した波形データを作成し、この波形データを
分析するのである。そして、背景部分に比べて、文字部分の画素積算値が大きいことを利
用し（文字が黒色の場合は、白黒反転させることで、文字部分の画素積算値が大きくなる
ように扱えばよい。）、画素積算値が所定の閾値を超える領域を文字領域として認識する
のである。
【０００５】
【特許文献１】特許第２８７２７６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
図１１は、文字「ＡＢ４５０」が印字された媒体を撮像した画像９０と、その画像９０
から生成された波形データ９１を示す図である。波形データ９１は、画像９０の文字列方
向Ｘに関する各座標位置において、文字の切り出し方向Ｙについて画素値を積算したデー
タである。説明を分かり易くするために、波形データ９１と文字「ＡＢ４５０」を含む画
像９０を、文字列方向Ｘに関して位置関係を合わせて表示している。この図から、文字部
分の画素積算値が背景部分の画素積算値より大きくなっていることが分かる。
【０００７】
また、文字「Ｂ」と文字「４」との間には、ノイズ９５が発生している。このノイズに関する画素積算値についても、背景部分よりは大きな画素積算値が求められている。
【０００８】
したがって、ノイズ９５を文字領域から除外するためには、ノイズ９５の領域の画素積
算値よりも大きな値に閾値を設定する必要がある。そこで、図に示すような位置に閾値９
２を設定することにより、ノイズ９５を文字領域から除外することができる。しかし、閾
値９２により文字領域を判定した場合、文字「Ｏ」については、画素積算値が小さい文字
の中央領域が文字領域から除外されてしまう。つまり、文字「Ｏ」に対応する領域は、２
つの文字の領域と誤認識されることになる。
【０００９】
そこで、文字「Ｏ」を正確に切り出すためには、閾値を下げる必要がある。たとえば、
図１２に示すような位置に閾値９３を設定すると、文字「Ｏ」を正確に切り出すことが可
能である。しかし、閾値９３を用いると、ノイズ９５まで文字領域として認識してしまう
ことになる。このように、閾値を調整する方法では、ノイズを確実に除外しようとする目
的と、画素積算値の低い領域も含めて文字領域全体を切り出すという目的の両方を満たす
ことができなかった。
【００１０】
また、切り出された文字領域の幅に閾値を設けるという手法もある。つまり、文字領域
として切り出された領域が、所定の幅より狭い場合には、ノイズであるという判断のもと
、文字領域から除外するのである。しかし、背景との濃度差は小さいが、大きさが文字に
近いような領域の広いノイズや汚れがある場合には、これらを除去することはできない。
【００１１】
上記特許文献１は、画像中に探索始点と探索終点を設定し、この始点と終点を結ぶ経路
上で、通過する各画素の画素値を積算し、その積算値が最小となる経路を見つけるように
している。特許文献１の方法によれば、精度のよい文字領域の抽出が可能としているが、
特許文献１の方法は、探索始点と探索終点およびそれらを結ぶ探索領域を予め設定する必
要がある。つまり、特許文献１の方法は、そもそも、文字境界位置が、ある程度予測でき
ることが条件となっている。
【００１２】
そこで、本発明は前記問題点に鑑み、背景画像に比較的広い領域のノイズや汚れが生じ
ている場合であっても、撮像画像に含まれる文字の領域を精度よく切り出す技術を提供す
ることを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、請求項１記載の発明は、画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出す装置であって、前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２の方向に沿って全ての画素値を積算するための積算手段と、第１閾値を設定するための第１閾値設定手段と、前記第１閾値設定手段によって設定された前記第１閾値を越える前記積算手段によって前記積算された画素値を有する前記画像の前記第１の方向の座標位置に対応する領域を各文字候補領域として抽出する抽出手段と、前記第１閾値設定手段によって設定された第１閾値と大きな値を第２閾値として設定する第２閾値設定手段と、前記抽出手段によって抽出された各文字候補領域の有する前記積算された画素値が前記第２閾値を超える領域が存在するか否かを判断し、第２閾値を越える積算された画素値を有する各文字候補領域を各文字領域として認識する認識手段と、を備えることを特徴とする。
【００１４】
請求項２記載の発明は、請求項１に記載の文字切り出し装置において、さらに、前記複数の文字からなる文字列を表示する文字列表示部と、前記文字列表示部において、前記認識手段によって認識された各文字領域を、各文字領域に含まれる文字を矩形形状のウインドウにて囲み、表示する文字領域表示手段と、前記積算手段によって得られた積算された画素値を画像の前記第１の方向の各座標位置における値を波形として表示するとともに、波形表示される文字列の各文字の位置と前記文字列表示部に表示される各文字とを位置決めして表示する波形表示部とを有する表示手段を備えることを特徴とする。
【００１５】
請求項３記載の発明は、請求項１に記載の文字切り出し装置において、さらに、前記積算手段によって得られた積算された画素値を画像の前記第１の方向の各座標位置における値として波形表示するとともに、この波形に対して、前記第１閾値設定手段ならびに第２閾値設定手段によって設定された第１閾値ならびに第２閾値の値を示す位置に重ね表示する波形表示部を備えることを特徴とする。
【００１６】
請求項４記載の発明は、請求項１に記載の文字切り出し装置において、さらに、前記複数の文字からなる文字列を表示する文字列表示部と、前記文字列表示部において、前記認識手段によって認識された各文字領域を、各文字領域に含まれる文字を矩形形状のウインドウにて囲み、表示する文字領域表示手段と、前記積算手段によって得られた積算された画素値を画像の前記第１の方向の各座標位置における値を波形として表示し、この波形に対して、前記第１閾値設定手段ならびに第２閾値設定手段によって設定された第１閾値ならびに第２閾値の値を示す位置に重ね表示するとともに、波形表示される文字列の各文字の位置と前記文字列表示部に表示される各文字とを位置決めして表示する波形表示部とを有する表示手段を備えることを特徴とする。
【００１７】
請求項５記載の発明は、請求項１に記載の文字切り出し装置において、さらに、前記第１の方向に関する領域幅を設定する領域幅設定手段と、前記第１閾値設定手段によって設定された第１閾値によって抽出された各文字候補領域から、前記領域幅設定手段によって設定される領域幅よりも小さい前記第１の方向に関する領域幅を有する文字候補領域を除外する削除手段、を備えることを特徴とする。
【００１８】
請求項６記載の発明は、請求項１に記載の文字切り出し装置において、前記第２閾値設定手段は、前記第１閾値設定手段によって設定された第１閾値に加算する値を設定する加算値設定手段と、前記第１閾値と前記加算値設定手段によって設定された加算値を加算する加算手段からなることを特徴とする。
【００１９】
請求項７記載の発明は、請求項２または４に記載の文字切り出し装置において、前記文字領域表示手段において表示され、各文字領域に対応する各文字を囲む矩形形状のウインドウの幅は、前記抽出手段によって前記第１閾値の高さで抽出された各文字候補領域の幅によって決定されることを特徴とする。
【００２０】
請求項８記載の発明は、請求項１に記載の文字切り出し装置において、さらに、文字列の配列方向に沿った文字の切り出し方向を設定する文字切り出し方向設定手段と、前記文字切り出し方向設定手段によって設定された文字切り出し方向から切り出す文字の数を設定する文字数設定手段、を備えることを特徴とする。
【００２１】
請求項９記載の発明は、請求項１、２、３または４に記載の文字切り出し装置において、さらに、前記波形表示部に表示される波形を少なくとも前記画像の前記第１の方向に膨張させるとともに、その膨張回数を設定する波形膨張回数設定手段、を備えることを特徴とする。
【００２２】
請求項１０記載の発明は、請求項２、４または７に記載の文字切り出し装置において、さらに、前記認識手段によって認識され、前記文字領域前記文字領域表示手段において表示される各文字領域に対応する各文字を囲む矩形形状のウインドウの高さを、各ウインドウにて囲まれている各文字の高さに対応して決定するウインドウ高さフィッティング手段、
を備えることを特徴とする。
【００２３】
請求項１１記載の発明は、画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出す方法であって、前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２の方向に沿って全ての画素値を積算するための積算工程と、第１閾値を設定するための第１閾値設定工程と、前記第１閾値設定工程において設定された前記第１閾値を越える前記積算工程において前記積算された画素値を有する前記画像の前記第１の方向の座標位置に対応する領域を各文字候補領域として抽出する抽出工程と、前記第１閾値設定工程において設定された第１閾値と大きな値を第２閾値として設定する第２閾値設定工程と、前記抽出工程において抽出された各文字候補領域の有する前記積算された画素値が前記第２閾値を超える領域が存在するか否かを判断し、第２閾値を越える積算された画素値を有する各文字候補領域を各文字領域として認識する認識工程と、を備えることを特徴とする。
【００２４】
請求項１２記載の発明は、画像に含まれる第１の方向に配列された複数の文字からなる文字列から各々の文字を切り出すプログラムであって、コンピュータを、前記画像の前記第１の方向の各座標位置において、前記第１の方向と直交する第２の方向に沿って全ての画素値を積算するための積算手段、第１閾値を設定するための第１閾値設定手段、前記第１閾値設定手段によって設定された前記第１閾値を越える前記積算手段によって前記積算された画素値を有する前記画像の前記第１の方向の座標位置に対応する領域を各文字候補領域として抽出する抽出手段、前記第１閾値設定手段によって設定された第１閾値と大きな値を第２閾値として設定する第２閾値設定手段、前記抽出手段によって抽出された各文字候補領域の有する前記積算された画素値が前記第２閾値を超える領域が存在するか否かを判断し、第２閾値を越える積算された画素値を有する各文字候補領域を各文字領域として認識する認識手段、として機能させることを特徴とする。
【発明の効果】
【００２５】
本発明の文字切り出し装置は、文字が含まれる画像の切り出し方向について画素値積算
評価値を算出し、評価値が第１閾値を超える領域を文字候補領域とする。そして、文字候
補領域に対しては、第２閾値を利用してノイズ成分であるかどうかの判定を行う。したが
って、背景部分との濃度差は小さいが、比較的領域が広く、文字の大きさと近い大きさを
持つようなノイズも精度よく除去することができる。
【００２６】
また、文字を切り出すための第１閾値を操作することなく、それとは別に設けられた第
２閾値によりノイズ除去を行うので、切り出される文字の領域に悪影響を及ぼすことがな
い。
【発明を実施するための最良の形態】
【００２７】
｛システムの概要｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本実施の形態
に係る画像処理システムの全体図である。この画像処理システムは、画像処理装置１と、
カメラ２と、モニタ３とから構成されている。カメラ２は、ＣＣＤやＣＭＯＳなどの撮像
センサや光学系ユニットを備えている。モニタ３は、たとえば、液晶表示ディスプレイな
どが用いられる。また、画像処理装置１には、画像処理システムの処理結果に応じて制御
される制御機器４が接続されている。
【００２８】
この画像処理システムは、カメラ２により、媒体８０に印字されている文字８１の画像
を撮像し、画像処理装置１において、カメラ２が撮像した画像を解析する。解析結果や、
処理内容は、適宜、モニタ３に表示される。画像処理装置１において、撮像画像から最終
的に文字認識が行われると、その認識結果に応じて制御機器４が制御されるのである。
【００２９】
文字８１が印字された媒体８０は、たとえば、製品に貼付された媒体である場合や、商
品の包装自体である場合がある。画像処理装置１は、これら製品や商品に印字されている
文字８１を認識することにより、製品、商品の製造工程、搬送工程などの確認作業を行う
のである。
【００３０】
図２は、画像処理装置１の機能ブロックを示す図である。画像処理装置１は、図に示す
ように、画像入力部１１、画像記憶部１２、画像処理部１３、操作部１４、処理結果記憶
部１５、出力部１６を備えている。
【００３１】
カメラ２で撮像された画像は、画像入力部１１より画像処理装置１に入力され、一旦、
画像記憶部１２に蓄積される。画像処理部１３は、画像記憶部１２に蓄積された撮像画像
から、各々の文字の切り出し処理、切り出された文字の各々に対する文字認識処理を実行する。本発明は、この文字の切り出し処理に特徴があり、文字の切り出し処理の詳細については、後で説明する。文字認識処理については、公知の方法が利用される。文字認識結果は、処理結果記憶部１５に格納される。そして、出力部１６より、処理結果データが外部に出力され、たとえば、制御機器４が処理結果データに応じて制御されるのである。
【００３２】
また、画像処理装置１は、操作部１４を備えている。操作部１４は、たとえば、ダイヤ
ルやキーボタンなどから構成される。ユーザは、操作部１４を操作することで、画像処理
装置１に対する各種の指示を与えることができる。たとえば、画像処理の処理パラメータ
の設定などを行うことができる。モニタ３には、処理パラメータの設定画面や、処理結果
などが表示される。ユーザは、モニタ３に表示された画面を参照しつつ、パラメータの設
定や、処理結果の確認などを行う。
【００３３】
｛文字切り出し方法の内容｝
次に、図３を参照しながら、本発明の特徴部である文字の切り出し方法について説明す
る。文字の切り出しとは、撮像画像に含まれる文字認識を行う前工程であって、撮像画像の中の文字列の中に含まれる１つ１つの文字の領域を抽出する処理である。文字の切り出し工程として、まず、撮像画像から文字列を含む行の切り出しが行われ、続いて、この文字列から文字列の中に含まれる個々の文字を切り出す処理が行われる。
【００３４】
図３（ａ）は、行の切り出しが行われた画像６１を示す図である。切り出されるべき文字列の全体を囲むための矩形形状のウインドウのサイズは、以下の状況に基づいて、自動的に決定される。矩形形状のウインドウの幅は、切り出し方向における切り出し開始文字の位置と、切り出し終了文字の位置によって決定される。例えば、切り出し方向が、図３（ａ）において左側から右側に向いている場合、その切り出し開始文字の位置は、文字列の中で最も左側に位置する文字「Ａ」の最も左に位置する部分であり、切り出し終了文字の位置は、文字列の中で最も右側に位置する文字「０」の最も右に位置する部分である。これらの位置情報に基づき、矩形形状のウインドウの幅が決定される。本実施例においては、文字「Ａ」と文字「０」の位置情報にさらに予め定めた余裕代を与えることで、矩形形状の幅がこれらの文字の位置より更に、外方向に位置するようになっている。なお、切り出し開始文字や切り出し終了文字の位置は、後述する画素積算値により、決定することが好ましい。さらに、矩形形状のウインドウの高さは、切り出されるべき文字列に含まれる全ての文字の中で最も高い文字の部分と最も低い文字の部分の位置によって決定される。これにより、つまり、文字列を含む画像６１であり、文字高さに沿った高さの画像である。図に示すように、この画像６１には、文字列「ＡＢ４５０」が含まれている。また、文字「Ｂ」と文字「４」との間には、ノイズ６５が存在する。ノイズ６５は、たとえば、背景部分の汚れなどである。
【００３５】
ここで、図に示すように、方向Ａ、Ｂを定義する。そして、方向Ａを文字列方向Ａと呼
ぶことにし、方向Ｂを、文字切り出し方向Ｂと呼ぶことにする。方向Ａは、切り出されるべき文字列の配列する方向を示す行の切り出し方向Ａと呼ぶこともできる。図に示すように、方向Ａは、方向Ｂに対して直交している。言い換えれば、文字列が切り出された後、方向Ｂは、既に決定されている方向Ａに対して直交方向に定義される。つまり、画像６１は、撮像画像から行の切り出し方向Ａについて切り出された画像であり、この後の工程で、文字切り出し方向Ｂについて切り出しを行うことで、画像６１から、個々の文字に対応する文字領域が切り出される。
【００３６】
図３（ｂ）は、画像６１の文字切り出し方向Ｂについて画素値を積算することによって得られる画素値積算評価値を示す図である。文字列方向Ａの各画素位置（各座標位置）で方向Bに沿った全ての画素値を積算することにより画素値積算評価値を算出し、これらを波形データ６２として表している。この波形データ６２は、文字領域を評価するためのデータとして用いられる。つまり、背景部分とは異なり、文字が存在する領域では、画素値積算評価値が大きくなり、文字領域を評価することが可能である。
【００３７】
ただし、文字領域の波形データ６２が大きくなるように表現するために、文字が黒色の
場合には、白黒反転させた上で画素値積算評価値を求めている。つまり、画像６１の各画
素は、その画素値（濃度）が、たとえば０〜２５５の値をとる白黒画像である。背景が黒
色で文字色が白色の場合には、文字部分が高輝度となるため、そのまま画素値を積算した
値を画素値積算評価値とすればよい。逆に、背景が白色で文字色が黒色の場合には、文字
部分が低輝度となるため、画素値０〜２５５を、画素値２５５〜０となるように変換する
のである。そして、白黒反転させた画素値を積算したものを画素値積算評価値として採用
するのである。これにより、文字色が黒、白どちらの場合であっても、文字部分について
は、画素値積算評価値の値が大きくなるように統一的に扱うことができる。
【００３８】
そして、図３（ｂ）に示すように、波形データ６２に対して第１閾値６３と第２閾値６
４を設定している。第１閾値６３は、文字候補区間を判定するための閾値である。画素値
積算評価値が第１閾値６３を超える領域が文字候補区間と判定される。第２閾値６４は、
文字候補区間から真の文字区間を選択するための閾値であり、第１閾値６３と同一または、より大きい値のみが設定される。具体的には、第１閾値６３によって選択された文字候補区間として判定された各々の区間の中で、画素値積算評価値が第２閾値６４を超える領域が存在する場合には、当該文字候補区間を、真の文字区間として判定するのである。より具体的には、図３（ｂ）に示すように、第１閾値６３は、全ての文字「Ａ」、「Ｂ」、「４」、「５」ならびに「０」を文字候補区間として切り出せる値に設定されている。しかしながら、これらの全ての文字に加えて、第１閾値６３は文字「Ｂ」と「４」との間に存在するノイズ６５も文字候補区間として切り出す位置に設定されている。このため、第２閾値６４をノイズ６５を含まず、全ての文字「Ａ」、「Ｂ」、「４」、「５」ならびに「０」のみを切り出せる値に設定すること、つまり全ての文字「Ａ」、「Ｂ」、「４」、「５」ならびに「０」のみに対応する文字候補区間内の少なくとも一部の画素値積算評価値が第２閾値６４を超える値に、第２閾値６４を設定するのである。これら第１、第２閾値６３ならびに６４は、後述する波形表示部上にて、画素値積算評価値を波形として表示する表示部上に重ねて表示されるため、適切な値をユーザは、表示を確認しつつ、設定することが可能である。
【００３９】
｛処理の流れ｝
次に、図４のフローチャートを参照しながら、文字切り出し処理の流れを説明する。文
字の切り出し処理は、上述したように、行の切り出し方向Ａについての切り出しと、文字
切り出し方向Ｂについての切り出しとがある。本発明の切り出し方法は、この両方の切り
出し方法に適用できる方法であり、図４のフローチャートは、両方の切り出し処理に共通
の処理フローである。ただし、行切り出しされた画像から文字切り出し方向Ｂについて文
字切り出しする処理を例にとって説明する。
【００４０】
まず、カメラ２が媒体８０に印字された文字８１を撮像し、画像入力部１１が、撮像画
像を入力し、画像記憶部１２に格納する。次に、画像処理部１３が画像記憶部１２に格納
されている画像を読み出して、以下の処理を実行する。
【００４１】
画像処理部１３は、撮像画像の投影データを生成する（ステップＳ１）。つまり、文字
列方向Ａの各画素位置において、画素値積算評価値を演算する。このようにして演算され
た画素値積算評価値を示すのが、図３（ｂ）の波形データ６２である。
【００４２】
次に、画像処理部１３は、第１閾値６３よりも画素値積算評価値が大きい領域を文字候
補区間として設定し、文字候補区間の数Ｎを求める（ステップＳ２）。つまり、波形デー
タ６２の中で、第１閾値６３よりも高くなる領域を文字候補区間として設定するとともに
、第１閾値６３を超える領域の数Ｎを求めるのである。
【００４３】
次に、画像処理部１３は、変数ｎに１をセットする（ステップＳ３）。そして、変数ｎ
が文字候補区間の数Ｎを超えていないかどうかを判定し（ステップＳ４）、超えていない
場合には、ｎ番目の文字候補区間の投影波形に着目し、ｎ番目の文字候補区間の中で、画
素値積算評価値が第２閾値６４を超える領域が存在するかどうかを判定する（ステップＳ
５）。
【００４４】
ｎ番目の文字候補区間の中に、画素値積算評価値が第２閾値６４を超える領域が存在す
る場合には（ステップＳ５でＹＥＳ）、当該文字候補区間を文字幅として文字を切り出す
（ステップＳ６）。つまり、当該文字候補区間を真の文字区間として設定するのである。
一方、ｎ番目の文字候補区間の中に、画素値積算評価値が第２閾値６４を超える領域が存
在しない場合には（ステップＳ５でＮＯ）、文字の切り出しは行われない。つまり、当該
文字候補区間は、真の文字区間として採用されない。
【００４５】
ステップＳ６で文字切り出しが行われた後、あるいは、ステップＳ５でＮＯと判定され
た後、変数ｎが１インクリメントされ（ステップＳ７）、再び、ステップＳ４で、変数ｎ
が文字候補区間の数Ｎを超えているかどうかが判定される。そして、変数ｎがＮを超える
まで、ステップＳ５〜Ｓ６を繰り返し、文字候補区間を真の文字区間として採用するかど
うかの判定処理が行われる。そして、全ての文字候補区間について処理を終了すると（ス
テップＳ４でＮＯ）、処理を終了する。文字領域が切り出されると、以降、画像処理部１
３により、文字認識処理が行われる。
【００４６】
図５〜図８は、実際の画像を例に、上記の文字切り出し方法を実施した例を示す図であ
る。これらの図は、行方向に切り出された画像７１から文字切り出し方向Ｂに関して文字
を切り出す処理例を示すものである。
【００４７】
まず、図５（ａ）に示すように、画像７１が取得される。この画像７１には、文字「３
Ｕ」が含まれている。また、濃度は低いが領域の広いノイズ７５と、濃度は高いが領域の
狭いノイズ７６とが画像７１に含まれている。
【００４８】
図５（ｂ）は、画像７１から求められた波形データ８１を示す。つまり、画像７１の文
字列方向Ａの各画素位置において、文字切り出し方向Ｂについて求められた画素値積算評
価値の波形を示す。
【００４９】
図５（ｃ）は、波形データ８１に対して第１閾値８２（図３の第１閾値６３に対応）を
設定した様子を示す。そして、図６は、この第１閾値８２を超える領域から文字候補区間
を求め、その文字候補区間に基づいて文字切り出し領域を矩形７２で表示したものである
。この図から分かるように、文字「３」、「Ｕ」と合わせて、ノイズ７５、７６も文字切
り出し領域として矩形７２で囲まれている。
【００５０】
図５（ｄ）、図５（ｅ）は、ノイズ除去処理の様子を示す図である。ノイズ除去をする
ために、第２閾値８３（図３の第２閾値６４に対応）を設定するとともに、ここでは、ノ
イズ幅８５も設定している。
【００５１】
第２閾値８３を設定する理由は、上述した通りであり、文字候補区間の中から、濃度の
最大値が低いノイズ領域を除去するためである。図５（ｄ）に示すように、第１閾値８２
より大きい値の第２閾値８３が設定されることにより、ノイズ７５に対応する波形部分が
第２閾値８３を下回るようになり、文字領域から除外される。図７は、文字候補区間の中
で、画素値積算評価値が第２閾値８３を超える領域が存在する区間のみを文字区間とした
場合の文字切り出し領域を矩形７２で表している。これにより、ノイズ７５が文字切り出
し領域から除外されていることが分かる。
【００５２】
ノイズ幅８５を設定する理由は、背景技術で説明したように、小さな汚れなどのノイズ
を文字区間から除外するためである。図５（ｅ）で示すように、ノイズ幅８５が設定され
ることで、ノイズ７６に対応する波形のうち、第１閾値８２を超える区間が、ノイズ幅８
５より狭くなり、文字領域から除外される。図８は、文字候補区間の中で、画素値積算評
価値が第２閾値８３を超える領域が存在する区間であって、かつ、文字候補区間の幅がノ
イズ幅８５よりも広い区間を真の文字区間とした場合の文字切り出し領域を矩形７２で表
している。これにより、ノイズ７５およびノイズ７６が文字切り出し領域から除外されて
いることが分かる。
【００５３】
このように、第２閾値８３と合わせてノイズ幅８５を設定することにより、最大濃度の
低いノイズと、領域の狭いノイズの両方を文字区間から除外することができる。つまり、
第２閾値８３を用いたノイズ除去により、濃度は低いが領域の広いノイズが除去され、ノ
イズ幅８５を用いたノイズ除去により、線キズ、ドットノイズなど、くっきりはしている
が、文字よりも明らかに細い（小さい）ノイズも除去することができる。
【００５４】
ここまで、文字切り出し方向Ｂに関する切り出し方法を例に説明したが、上述したよう
に、本発明の文字切り出し方法は、行の切り出し方向Ａに関する切り出し、文字切り出し
方向Ｂに関する切り出しの両方に適用できる方法である。図９は、行の切り出し方向Ａに
関する切り出し方法の様子を示す図である。
【００５５】
画像６６には、複数の文字列が含まれている。この画像６６に対して、行の切り出し方
向Ａについて、画素値積算評価値を求める。そして、文字切り出し方向Ｂの各画素位置に
ついて、行の切り出し方向Ａについて求めた画素値積算評価値を表すのが、波形データ６
７である。
【００５６】
この波形データ６７に、第１閾値６８と第２閾値６９が設定される。つまり、画素値積
算評価値が第１閾値６８を超える領域を文字候補区間（この場合、行候補区間と呼んでも
よい。）とし、文字候補区間の中で、画素値積算評価値が第２閾値６９を超える領域が存
在する区間を真の文字区間として採用するのである。
【００５７】
このように、行の切り出し方向Ａについても、第１閾値６８と第２閾値６９を用いて文
字の切り出しを行う。図５で説明した場合と同様、ノイズ幅によるノイズ除去を行っても
よい。
【００５８】
そして、行の切り出し方向Ａと文字切り出し方向Ｂの両方向について、第１閾値と第２
閾値を用いて真の文字区間を決定することで、文字領域を決定することができるのである
。
【００５９】
このように、本実施の形態の画像処理システムによれば、第１閾値と第２閾値の２つの
閾値を利用して文字区間を決定するので、ノイズ成分を文字区間から除外しつつ、文字領
域を精度よく検出することが可能である。特に、従来ノイズとして検出することが難しか
った広い領域の（文字と同じような大きさの）のノイズについても、背景との濃度差が小
さい場合には、文字領域から除外することができる。そして、このようなノイズの除去を
行うために、文字を切り出すための第１閾値を操作することなく、別に設定された第２閾
値を操作するので、切り出される文字の領域へ悪影響を及ぼすことがない。
【００６０】
｛ユーザインタフェース｝
図１０は、上記の文字切り出し処理を実行する際に、モニタ３に表示される設定確認画
面５を示す図である。この設定確認画面５は、画面の右方向に配列された設定部５０１〜
５１１と、画面の中央に配置された画像処理領域５２０と波形表示部５３０とを備えてい
る。ユーザは、画像処理領域５２０に表示された画像および波形表示部５３０に表示され
た波形５３１を参照しながら、操作部１４を操作して、設定部５０１〜５１１の各パラメ
ータを変更し、文字の切り出し処理の調整を行うことができるのである。画像処理領域５
２０内の矩形５２１は、行切り出し領域を表している。更に、画像処理領域５２０と波形表示部５３０の設定画面５上における位置は、各々に表示される文字列の中の文字と各文字に対応する波形が画面の上下関係において、前記画像の文字列内の複数の文字が配列する方向、つまり行の切り出し方向において、同じ文字が同じ位置に位置するように位置決めされて、表示されるため、文字領域として画像処理領域５２０内に表示される、矩形形状のウインドウで囲まれた文字と、それに対応する波形表示部５３０内に表示される各文字に対応する波形の関係が容易に認識できるという効果がある。本実施例においては、波形表示部５３０を設定画面５上において上に、画像処理領域５２０を下に設けたが、その位置関係を逆にしても良いことはいうまでもない。
【００６１】
画像処理領域５２０は、処理対象の文字を含む画像を表示する領域である。この図では
、日付（０６．１０．２９）が印字された媒体を撮像した画像が表示されている。そして
、画像処理領域５２０には、切り出された文字領域が矩形５２２で囲まれるようにして表
示されている。図では、それぞれの文字「０」や「６」などが、それぞれ個別の矩形５２
２で囲まれており、文字領域として切り出されている状態を示している。ユーザは、この
表示を見ることで、文字の切り出し状態を確認することができる。
【００６２】
波形表示部５３０には、図では、波形データ５３１（図３（ｂ）の波形データ６２に対
応）が表示されている。また、波形データ５３１に、重ねるようにして第１閾値５３２と
第２閾値５３３が表示されている。この表示を見ることで、ユーザは、波形と第１、第２
閾値との関係を知ることができ、閾値との関係で、どのような領域が文字領域として抽出
されるかを感覚的に知ることができる。
【００６３】
また、ユーザは、設定部５０８に設定値を入力することで、第１閾値５３２（切り出し
閾値）の値を変更することが可能である。この設定部５０８には、ユーザが入力を行わない場合は、デフォルト値として「４０」という値が設定されている。これは、画素値の積算値を０から２５５までに設定し、文字のある部分が数字が多くなるように設定した場合である。従って、ユーザ入力が行われない場合は、画像処理領域５２０上の「４０」の値の位置に第１閾値５３２が表示される。ユーザにより第１閾値５３２が変更されると、これにより、文字の切り出し位置も変更されるので、画像処理領域５２０に表示されている矩形５２２の位置や大きさが変化する。このように、ユーザは、第１閾値５３２を変更しながら、文字の切り出し位置を確認することが可能である。
【００６４】
また、ユーザは、設定部５１０に設定値を入力することで、第２閾値５３３（投影強度
下限）の値を変更することが可能である。この設定部５１０に入力される値によって設定される第２閾値５３３は、常に上述した第１閾値５３２と同一またはそれ以上の大きさの値が設定されることが必要である。従って、第２閾値５３３は、本設定部５１０に入力された値に、上記第１閾値５３２の設定部５０８にて設定されている値を加算することで、最終的な第２閾値５３３の値を求めるようにしている。また、ユーザが入力を行わない場合は、デフォルト値として「２５」という値が設定されている。このため、設定部５０８に「６０」の値が設定され、設定部５１０にユーザが入力を行わない場合は、第２閾値５３３の値は、上述したデフォルト値を第１閾値に加算した「８５」となる。ユーザにより第２閾値５３３が変更されると、これにより、文字切り出しの判定基準が変更されるので、画像処理領域５２０に表示されている矩形５２２の数が変化する。このように、ユーザは、第２閾値５３３を変更しながら、文字の切り出し位置を確認することが可能である。
また、設定部５１０に対する設定値の別の設定方法としては、設定部５０８に設定された値を、本設定部５１０に対しても表示し、それより小さい値の設定を受け付けないようにする手法も考えられる。
【００６５】
また、ユーザは、設定部５０９に設定値を入力することで、ノイズ幅５３４（投影幅下
限）の値を変更することが可能である。ユーザによりノイズ幅５３４（図５（e）のノイ
ズ幅８５に対応）が変更されると、これにより、文字切り出しの判定基準も変更されるの
で、画像処理領域５２０に表示されている矩形５２２の数が変化する。このように、ユー
ザは、ノイズ幅５３４を変更しながら、文字の切り出し位置を確認することが可能である
。
【００６６】
その他の設定部５０１〜５１１の意味について説明しておく。設定部５０１は、行番号を設定することができる。取得された画像内に複数の文字列が存在する場合、各文字列に対して、画像処理装置によって自動的に対応する行番号が付与される。従って、特定の文字列に対する行番号を用いて、特定の文字列を指定することができる。指定された文字列は、画像処理領域５２０上に表示される。
【００６７】
設定部５０２は、切り出すべき文字の文字数を設定することができる。予め切り出すべき文字の文字数が決まっている場合には、その文字数を設定部５０２に設定する。更に詳細には、切り出すべき文字の文字数は、後述する設定部５０３で決定される読み出し方向、「順方向」、「逆方向」ならびに「文字のサイズ順」の中から選択される一つの読み出し方向と一緒に決定される。この設定によって、文字切り出し精度を控除させることができるとともに、ユーザによって切り出すことを要求された文字のみをその他の切り出し条件も考慮して切り出すことができる。
【００６８】
設定部５０３は、切り出すべき文字の切り出し方向を設定することができる。本実施例においては、設定部５０３は、「順方向」、「逆方向」ならびに「文字のサイズ順(文字のサイズの大きい順)」の一つを選択して、設定できる。「順方向」は図１０における画像処理領域５２０の左側から文字の切り出しを開始することを意味し、「逆方向」は図１０における画像処理領域５２０の右側から文字の切り出しを開始することを意味する。言い換えれば、「順方向」の反対方向であり、「文字のサイズ順(文字のサイズの大きい順)」は、文字列の中の文字の大きさの順番に基づいて文字列から文字を切り出すことを意味している。設定部５０３のもう一つの例としては、この設定部５０３は基本的に文字の切り出し開始の方向を決定することが求められているので、選択されるアイテムとして「順方向」と「逆方向」のみが提供されれば十分である。
【００６９】
設定部５０４は、傾斜補正を行うか否かを選択することができる。文字が例えば、イタリック文字のように文字列の配列方向に傾斜している時、隣接する文字の投影データ（画素値積算評価値）は互いに重なり合う。このため、傾斜している文字を補正する処理を行うか否かが設定される。設定部５０４に「ＯＮ」が設定されると、画像処理装置１は、文字列の文字の傾き角度を検出し、そして自動的に検出された傾き角度に基づいて補正された、非傾斜文字を生成する。そして、文字の切り出し処理は、その補正された文字列に対して実行される。また、この傾き補正が不要な場合、ユーザは「ＯＦＦ」を選択する。
【００７０】
設定部５０５は切り出し方法を設定するものである。詳細には、「投影」と「比率指定」が選択されるべき切り出し方法として提供されている。「投影」を用いる切り出しは、切り出されるべき文字列の文字配列方向における各座標位置（各画素位置）において、文字列の文字配列方向に直交する方向に沿った画素値を積算することによって得られる画素値積算評価値に基づく各文字の切り出しを実行させることができる。一方、「比率指定」を用いる切り出しは、上述した「投影」と同じ機能とともに、切り出し開始の文字の位置と切り出し終了の文字の位置ならびに位置切り出すべき文字と文字との間の間隔のサイズの設定に基づいて切り出しを実行させることができる。このため、「比率指定」が選択された場合は、もう一つのダイアログボックス（図示せず）がモニタ２上に現れ、文字列における最初の文字から最後の文字の間に０から１００までの値の座標値が設定され、この座標値に基づいて上述した設定パラメータを特定させることができる。
【００７１】
設定部５０６は波形膨張回数の数を設定させることができる。この設定は、波形の途切れをなくすためのものである。この設定の機能は、ドットの集合によって形成される文字に有効である。言い換えれば、ドットの集合によって形成される文字は、ドットとドットの間に空間を有しているので、その空間に対応する位置の画素値の積算値は、文字のその他の部分に対応する画素値の積算値より極端に低い。従って、ドットによって形成される文字に対応する波形は非連続的な形状となる場合がある。このような場合、この非連続的な形状の波形は、文字列の少なくとも配置方向(複数の文字が並び配列する方向)に膨張させることによって、連続的な形状の波形へ変更させることができる。さらに、各文字においてドット間の空間のサイズが異なるため、設定部５０６はドットによって形成されたいかなるタイプの文字に対しても適切な膨張率を提供するために波形の膨張回数の数を設定できるようになっている。
【００７２】
設定部５０７は文字幅の上限値を設定することができる。図に示すように、もし幅は、文字の高さに対する比率で設定される。この上限値は、接触している文字等を分離する処理で用いられる。
【００７３】
設定部５１１では、フィッティングを行うか否かを設定することができる。文字の形状に従って矩形形状を有する切り出し領域のフィッティングは、垂直方向（文字の切り出し方向）における文字の位置のシフトする場合に有効である。更に詳細には、本実施例においては、「フィッティング」を選択しない場合、文字列から切り出されるべき各文字を囲む矩形形状の切り出し領域の上側と下側の各々の位置は、文字列から切り出されるべき全ての文字の中で最も高い位置と最も低い位置によって固定される。従って、図１０に示される二つのピリオドのような文字が切り出される場合、図に示すように二つのピリオドの各々に対応する矩形形状の切り出し領域の上部空間には文字が存在しない。切り出し領域内のこの部分的な空間に文字が存在せず、そしてこの部分的な空間に対する情報は文字認識処理において無意味であるので、切り出し領域内のこの偏った文字のレイアウトは、パターンマッチング処理のような文字認識処理に対しては不利益である。このような問題を解決するために、本設定部５１１は非常に有効である。つまり、設定部５１１において「フィッティング」を選択することにより、上述したピリオドのケースにおいても、ピリオドの文字の高さに合わせた矩形形状の切り出し領域を設定できるので、切り出し領域内の無駄な空間を低減できるため、その後の画像処理を効率的に行うことができる。
【００７４】
さらに、設定部５０１から５１１の各設定部は、複数の選択可能な機能から選択されるひとつの条件を選択する際、所望の機能を選択するためにプルダウンメニュー選択方式を用いることが好ましい。
【図面の簡単な説明】
【００７５】
【図１】本実施の形態に係る画像処理システムの全体図である。
【図２】画像処理装置のブロック図である。
【図３】文字切り出し工程の処理手順を示す図である。
【図４】文字切り出し処理の全体フローチャートである。
【図５】文字切り出し処理の処理例を示す図である。
【図６】第１閾値により切り出された文字を示す図である。
【図７】第２閾値による判定を加えた後の文字の切り出し状態を示す図である。
【図８】ノイズ幅による判定を加えた後の文字の切り出し状態を示す図である。
【図９】行の切り出し工程の処理手順を示す図である。
【図１０】文字切り出し処理のユーザインタフェースを示す図である。
【図１１】従来の文字切り出し処理による問題点を示す図である。
【図１２】従来の文字切り出し処理による問題点を示す図である。
【符号の説明】
【００７６】
１      画像処理装置
２      カメラ
３      モニタ
１３    画像処理部
６１    （行切り出しされた）画像
６２    波形データ（画素値積算評価値）
６３    第１閾値
６４    第２閾値
【図１】
2008097589.tif 000003
【図２】
2008097589.tif 000004
【図３】
2008097589.tif 000005
【図４】
2008097589.tif 000006
【図５】
2008097589.tif 000007
【図６】
2008097589.tif 000008
【図７】
2008097589.tif 000009
【図８】
2008097589.tif 000010
【図９】
2008097589.tif 000011
【図１０】
2008097589.tif 000012
【図１１】
2008097589.tif 000013
【図１２】
2008097589.tif 000014