(57)【要約】【課題】運転免許証等の証明書を読み取る際に、読み取る画像の色合いが複数の領域において似通っている場合であっても、読み取った画像の方向を判定する。【解決手段】画像入力部２は、運転免許証番号が記載された運転免許証の画像を読み取る。情報処理装置の画像方向判定部９は、画像入力部２によって読み取られた画像において、運転免許証番号が記されているべき領域に対して反射光の分布を検出する。画像方向判定部９は、検出された反射光の分布に従って、特定された領域内にある文字の数が予め定められた数であるか否かを判定する。画像方向判定部９は、文字数判定部の判定結果に応じて、運転免許証の画像の方向を判定する。【選択図】図３
2014071866.tif 000002
【特許請求の範囲】
【請求項１】
各々に一意に割り当てられた識別文字列が記された証明書の画像を、当該証明書に照射される光の反射光に基づいて読み取る画像入力部と、
前記画像入力部により読み取られた画像において、前記識別文字列が記されているべき領域からの反射光の分布を検出する検出部と、
前記検出部により検出された反射光の分布に従って、前記領域内にある文字の数が予め定められた数であるか否かを判定する文字数判定部と、
前記領域内にある文字の数が予め定められた数であると前記文字数判定部によって判定された場合には、前記証明書の画像の方向が正立方向であると判定する画像方向判定部と
を具備することを特徴とする画像処理装置。
【請求項２】
前記文字数判定部は、前記領域内に等間隔で配置されている文字の数が前記予め定められた数であるか否かを判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域内にある文字の数が予め定められた数ではないと前記文字数判定部によって判定された場合には、
前記画像入力部により読み取られた画像内の前記領域とは異なる第２の領域について、前記検出部が前記検出を行うとともに、前記文字数判定部が前記判定を行い、
前記画像方向判定部は、前記第２の領域内にある文字の数が予め定められた数であると前記文字数判定部によって判定された場合には、前記証明書の画像の方向が倒立方向であると判定する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像方向判定部は、前記領域内にある文字の数が予め定められた数でないと前記文字数判定部によって判定され、かつ、前記第２の領域内にある文字の数が予め定められた数でないと前記文字数判定部によって判定された場合には、前記証明書の画像が処理不能画像であると判定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
各々に一意に割り当てられた識別文字列が記された証明書の画像を、当該証明書に照射される光の反射光に基づいて読み取る画像入力部を備えるコンピュータが実行する画像方向判別方法であって、
前記画像入力部により読み取られた画像において、前記識別文字列が記されているべき領域からの反射光の分布を検出する検出ステップと、
前記検出ステップにおいて検出された反射光の分布に従って、前記領域内にある文字の数が予め定められた数であるか否かを判定する文字数判定ステップと、
前記領域内にある文字の数が予め定められた数であると前記文字数判定ステップにおいて判定された場合には、前記証明書の画像の方向が正立方向であると判定する画像方向判定ステップと
を備えることを特徴とする画像処理方法。
【請求項６】
各々に一意に割り当てられた識別文字列が記された証明書の画像を、当該証明書に照射される光の反射光に基づいて読み取る画像入力部を備えたコンピュータを、
前記画像入力部により読み取られた画像において、前記識別文字列が記されているべき領域からの反射光の分布を検出する検出部と、
前記検出部により検出された反射光の分布に従って、前記領域内にある文字の数が予め定められた数であるか否かを判定する文字数判定部と、
前記領域内にある文字の数が予め定められた数であると前記文字数判定部によって判定された場合には、前記証明書の画像の方向が正立方向であると判定する画像方向判定部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、キャッシュカード、従業者証、社員証、会員証、学生証、外国人登録証及び各種運転免許証等の証明書からＯＣＲ（Optical Character Recognition）等により記載事項を画像データとして読み取り、証明書の画像の方向を判定する画像処理装置や記載事項の文字認識等の画像処理を行う画像処理装置がある（特許文献１参照）。
特許文献１に示す運転免許証画像処理装置および方法は、運転免許証画像の特定の位置における画素の階調値を用いて、処理対象である面の画像であるかを判定する技術が提案されている。具体的には、運転免許証の有効期限領域（ａ領域）と、その領域が運転免許証を上下、左右または表裏に反転した場合に位置する領域（ｂ領域）とを予め設定しておき、有効期限領域内の青色を示す階調値に属する画素の数が、有効期限領域内の全画素数に対して占める割合を各領域ごとに計算し、ａ領域とｂ領域での計算結果を比較することによって、読み取った画像が正立画像か倒立画像かまたは反転画像かを判別している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−０６５１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、複数の領域間で画素数の計数結果を比較するため、例えば、運転免許証の画像データを入力する際、運転免許証を照明する光源のムラや運転免許証が色あせている等の影響を受けやすいという問題がある。
これにより、これらの複数の領域において色合いが似通っていて、有効期限領域の青色である階調値の画素数が、青色でない領域の階調値とほとんど同じであるような場合には正しい判定ができない場合があるという問題がある。
本発明は上述した背景に鑑みてなされたものであり、証明書等を読み取る際に、照明ムラ等の影響を受けにくい画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、各々に一意に割り当てられた識別文字列が記された証明書の画像を、当該証明書に照射される光の反射光に基づいて読み取る画像入力部と、前記画像入力部により読み取られた画像において、前記識別文字列が記されているべき領域からの反射光の分布を検出する検出部と、前記検出部により検出された反射光の分布に従って、前記領域内にある文字の数が予め定められた数であるか否かを判定する文字数判定部と、前記領域内にある文字の数が予め定められた数であると前記文字数判定部によって判定された場合には、前記証明書の画像の方向が正立方向であると判定する画像方向判定部とを具備することを特徴とする画像処理装置を提供する。この装置によれば、運転免許証等の証明書を読み取る際に、証明書の画像の方向が正立方向かを判定することができる。
【０００６】
本発明の好ましい態様において、前記文字数判定部は、前記領域内に等間隔で配置されている文字の数が前記予め定められた数であるか否かを判定してもよい。この装置によれば、運転免許証等の証明書を読み取る際に、証明書の画像の方向が正立方向かを判定することができる。
【０００７】
本発明の更に好ましい態様において、前記領域内にある文字の数が予め定められた数ではないと前記文字数判定部によって判定された場合には、前記画像入力部により読み取られた画像内の前記領域とは異なる第２の領域について、前記検出部が前記検出を行うとともに、前記文字数判定部が前記判定を行い、前記画像方向判定部は、前記第２の領域内にある文字の数が予め定められた数であると前記文字数判定部によって判定された場合には、前記証明書の画像の方向が倒立方向であると判定してもよい。この装置によれば、運転免許証等の証明書を読み取る際に、証明書の画像の方向が倒立方向かを判定することができる。
【０００８】
本発明の更に好ましい態様において、前記画像方向判定部は、前記領域内にある文字の数が予め定められた数でないと前記文字数判定部によって判定され、かつ、前記第２の領域内にある文字の数が予め定められた数でないと前記文字数判定部によって判定された場合には、前記証明書の画像が処理不能画像であると判定してもよい。この装置によれば、運転免許証等の証明書を読み取る際に、証明書の画像が裏面の画像であるかを判定することができる。
【０００９】
また、本発明は、各々に一意に割り当てられた識別文字列が記された証明書の画像を、当該証明書に照射される光の反射光に基づいて読み取る画像入力部を備えるコンピュータが実行する画像方向判別方法であって、前記画像入力部により読み取られた画像において、前記識別文字列が記されているべき領域からの反射光の分布を検出する検出ステップと、前記検出ステップにおいて検出された反射光の分布に従って、前記領域内にある文字の数が予め定められた数であるか否かを判定する文字数判定ステップと、前記領域内にある文字の数が予め定められた数であると前記文字数判定ステップにおいて判定された場合には、前記証明書の画像の方向が正立方向であると判定する画像方向判定ステップとを備えることを特徴とする画像方向判定方法を提供する。この方法によれば、運転免許証等の証明書を読み取る際に、証明書の画像の方向が正立方向かを判定することができる。
【００１０】
また、本発明は、各々に一意に割り当てられた識別文字列が記された証明書の画像を、当該証明書に照射される光の反射光に基づいて読み取る画像入力部を備えたコンピュータを、前記画像入力部により読み取られた画像において、前記識別文字列が記されているべき領域からの反射光の分布を検出する検出部と、前記検出部により検出された反射光の分布に従って、前記領域内にある文字の数が予め定められた数であるか否かを判定する文字数判定部と、前記領域内にある文字の数が予め定められた数であると前記文字数判定部によって判定された場合には、前記証明書の画像の方向が正立方向であると判定する画像方向判定部として機能させるためのプログラムを提供する。このプログラムによれば、運転免許証等の証明書を読み取る際に、証明書の画像の方向が正立方向かを判定することができる。
【発明の効果】
【００１１】
本発明によれば、運転免許証等の証明書を読み取る際に、証明書の画像の方向を判定することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る情報処理システムの全体構成を示すブロック図である。
【図２】運転免許証の画像の一例を示す図である。
【図３】情報処理装置のプログラム構成を示すブロック図である。
【図４】ＣＰＵによって実行される処理の手順を示すフローチャートである。
【図５】ＣＰＵによって実行される処理の手順を示すフローチャートである。
【図６】運転免許証の画像の方向が正立方向である場合を説明するための図である。
【図７】運転免許証の画像の方向が倒立方向である場合を説明するための図である。
【図８】ＣＰＵによって実行される処理の手順を示すフローチャートである。
【図９】ＣＰＵによって実行される処理の手順を示すフローチャートである。
【図１０】運転免許証番号の文字列とその文字列の画像から計算される射影パターンの一例を示す図である。
【図１１】運転免許証の画像の方向が倒立方向である場合を説明するための図である。
【図１２】運転免許証番号の画像の一例を示す図である。
【図１３】変形例６に係る機能構成の一例を示すブロック図である。
【図１４】運転免許証番号の文字列の画像から計算される射影パターンの一例を示す図である。
【図１５】斜線除去処理が施された運転免許証番号の画像の一例を示す図である。
【発明を実施するための形態】
【００１３】
［実施形態］
［構成］
図１は、本実施の形態における（運転免許証）画像処理を実行する画像処理装置１００の構成を示すブロック図である。図１において、１は画像の方向判定処理、文字認識処理などを行う画像処理部であり、２は画像を入力するスキャナ等の画像入力部、３は処理後の画像を表示する画像表示部である。
【００１４】
画像処理部１において、４は画像入力部２から入力される画像データを記憶する画像メモリ、５は画像入力部２から供給される信号に従って画像データを生成する制御部であり、ＣＰＵ等からなる。６は画像データを記憶する記憶部である。記憶部６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等である。記憶部６には、氏名、住所、運転免許証番号等の項目毎に各領域の画像を抽出するための各領域を示す情報（以下「画像情報抽出情報」という）が格納されている。また、記憶部６には、どの項目の画像情報（画像データ）を抽出するかを選択するための情報（以下「項目選択情報」という）が格納されている。
【００１５】
８は文字領域として抽出された領域に対し、文字認識処理を行う文字認識部、９は画像入力部２によって読み取られた画像の方向を判定する画像方向判定部、１０は画像表示部３とのインターフェースとなる出力インターフェース（Ｉ／Ｆ）部である（文字認識部８と画像方向判定部９の処理は制御部５が記憶部６に記憶されているコンピュータプログラムを実行することによって実現されてもよい）。
【００１６】
画像入力部２は運転免許証４０に対して照射される光の反射光に基づいて画像読取を行う。画像入力部２は、光電変換して、反射した光量をアナログ電気信号に変換するＣＣＤラインセンサ等の密着型の１次元撮像素子（図示略）と、アナログの信号を２５６階調の多値（デジタル）画像データに変換するＡ／Ｄ変換器（図示略）と、ノイズ除去、画像の平滑化（画素ごとの濃度値の細かい変動を取り除き、滑らかな画像とする処理）、画像の鮮鋭化（画像の濃度値の変化を強調する処理）などの前処理を行う前処理部（図示略）とを有する。画像表示部３は、ディスプレー等の表示パネルを備える。なお、画像表示部３は、表示パネルに代えてプリンタ等を備える構成であってもよい。
【００１７】
図２は、運転免許証４０の画像の一例を示す図である。図示のように、運転免許証４０には、利用者の氏名や住所、生年月日等の各種情報が枠線ｆ１内に記載されているとともに、識別番号（識別文字列）である運転免許証番号が記載されている。
【００１８】
図３は、（運転免許証）画像処理部１の機能構成を示すブロック図である。図において、画像方向判定部９は、画像入力部２によって読み取られた運転免許証の画像が処理可能な画像（処理対象となる面の画像）か否かを判定する。情報記録領域設定部９１は、住所、氏名、免許証番号等を記載するための領域（以下「情報記録領域」という）を設定する。射影計算部９２は、情報記録領域を示す枠線ｆ１を、水平方向及び垂直方向における濃度ヒストグラムを算出して検出する。なお、射影計算部９２は、枠線ｆ１がない場合には運転免許証の端を検出してもよい。また、搬送時の搬送手段のガイド面（運転免許証４０を搭載する面）に色等をつけて運転免許証との境界位置を明確にしてもよい。射影計算部９２は、識別文字列が記されているべき領域からの反射光の分布を検出する検出部の一例である。
【００１９】
画像情報抽出部９３は、予め設定されている領域Ｐ１又は領域Ｐ２の画像情報（画像データ）を画像メモリ４から抽出する。画像情報抽出部９３は、射影計算部９２によって検出された枠線ｆ１（の画素位置）を基準として、領域Ｐ１（又は領域Ｐ２）の四隅の画素の位置等を指定する。
【００２０】
外形矩形領域設定部９４は、高さ方向の位置を切り出す。外形矩形領域設定部９４は、画像情報抽出部９３によって算出された濃度ヒストグラムを用いて領域Ｐ１（又は領域Ｐ２）から免許証番号（文字列）の両端の位置を切り出す。具体的には、外形矩形領域設定部９４は、水平方向に配列した各画素の垂直方向における濃度ヒストグラムから検出する。画像情報抽出部９３は、領域Ｐ１（または領域Ｐ２）に該当する画像メモリ４の画像情報（画像データ）について算出する。これに対し、射影計算部９２は、運転免許証４０の外形と情報記録領域を示す枠線ｆ１（及びその近傍）までの範囲を算出する。換言すると、射影計算部９２は、画像メモリ４に取り込まれた運転免許証４０全体の画像情報（画像データ）については射影を行わない。
【００２１】
両端文字抽出部９５は、両端の文字を抽出する。両端の各文字の中心位置検出部９６は、両端の各文字の中心位置を検出する。全文字中心位置検出部９７は、左端文字の中心位置と右端文字の中心位置との差を求め、その差を１１等分する（１２文字であるため。）各文字両端位置検出部９８は、左から２番目の文字から右端の１つ手前の文字までの各文字について、各文字の両端位置を検出する。文字数計数部９９は、文字の両端位置が所定の範囲（文字幅）に入っているのかどうかを判定する。
【００２２】
文字数判定部８９は、切り出された文字に従って、識別文字列が記されているべき領域内にある文字の数が予め定められた数であるか否かを判定する。文字数判定部８９は、識別文字列が記されているべき領域内にある文字の数が予め定められた数であると文字数判定部によって判定された場合には、証明書の画像の方向が正立方向であると判定する。
【００２３】
文字認識部８は、画像入力部２によって読み取られた画像から文字を認識する（なお、詳細は、特開２００８−２５０７５４号公報参照）。文字認識部８では、まず、２値化が行われる。より具体的には、文字認識部８の文字列切り出し部８１は、記憶部６に記憶された項目選択情報に従って項目を選択するとともに、記憶部６に記憶された画像情報抽出情報に従って、選択した項目に対応する領域を特定する。文字列切り出し部８１は、特定した領域に対応する画像データを画像メモリ（図示略）から読み出して、その画像データが多階調の濃淡画像である場合には、白黒２値の画像に変換を行う。なお、この画像メモリは、ＲＡＭ、ＳＤＲＡＭ、ＤＤＲＳＤＲＡＭ、ＲＤＲＡＭなど、画像データを記憶しうるものであれば如何なるものであってもよい。また、２値化するにあたっては、適当な方法によって閾値を求めるものとする。さらに、今後の処理では、この白黒２値化画像を用いることとする。文字列切り出し部８１は、画像入力部２により読み取られた画像において、識別文字列が記されているべき領域からの反射光の分布を検出することによって文字列の画像データを検出する。文字列切り出し部８１は本発明に係る検出部の一例である。
【００２４】
次いで、文字切り出しが行われる。より具体的には、文字切り出し部８２は、文字列切り出し部８１によって検出された文字列の画像データについて、垂直方向に射影計算を行う。そして、求められた垂直射影プロファイルを用いて、文字と文字との間のスペースを識別し、文字の切り出しを行う。なお、詳細については後述する。この処理により、認識対象となっている文字の外接矩形領域（上下左右の座標値）が求められる。
【００２５】
次いで、特徴抽出が行われる。より具体的には、特徴抽出部８３は、上述した外接矩形領域を任意のサブ領域に分割（例えば、１個の外接矩形領域を５×５の領域に分割し、そのうち１個の領域をサブ領域とする）し、各サブ領域において、サブ領域内の全画素数に占める黒画素数の割合を求め、それらを要素とする特徴ベクトルを生成する。
【００２６】
次いで、特徴比較が行われる。より具体的には、特徴比較部８４は、特徴抽出部８３で求められた特徴ベクトルを、あらかじめこの媒体で使用される全文字について求めておいた基準特徴ベクトルと比較して、類似度（例えば正規化相関係数）が最も高いものをその文字が該当する候補文字に設定する。なお、基準特徴ベクトルは、予め特徴辞書格納部８５に格納されているものであって、特徴比較が行われる際に、特徴辞書格納部８５から類似度が高い文字のデータが読み出され、特徴比較が行われる。
【００２７】
最後に、文字認識が行われる。より具体的には、類似文字認識部８６は、特徴比較部８４によって設定された候補文字を、媒体に用いられた文字として認識する。なお、類似度が一定値を超える候補文字が複数個存在する場合には、文字認識を行うことができないので、類似文字認識部８６において、特徴ベクトルから導き出せる２次的な特徴量を利用して、類似文字の判別を行う。例えば、任意に分割したサブ領域を左側半分と右側半分との２領域の左右線対称に分けて、部分特徴ベクトルを構成してそれらの間の類似性を調べたり、同様に上半分と下半分との２領域の上下線対称に分けて、類似性を調べたりしてもよい。また、左右線対称や上下線対称と同様に点対称で類似性を調べてもよい。
【００２８】
［動作］
次に、本実施形態の動作について図面を参照しつつ説明する。４は、画像処理部１及び画像入力部２が行う処理の手順を示すフローチャートである。画像処理部１は、運転免許証に記載されている１２文字の運転免許証番号を読み取り、文字コードに変換し文字認識を行うことを主な処理としている。この処理は、図１に示す画像入力部２に運転免許証４０が差し込まれることを契機として開始される。画像入力部２は運転免許証４０が差し込まれる差込口（図示略）を有しており、利用者によって運転免許証４０が画像入力部２に差し込まれると、差し込まれた運転免許証４０は、媒体搬送機構（図示略）の搬送ガイドに沿って搬送され、撮像素子（図示略）を通過することによって、その画像データが光電変換され、Ａ（analog）／Ｄ（digital）変換された後、画素毎に多階調（例えば、２５６階調）の輝度値が画像メモリ（図示略）に取り込まれる。これにより、読み取られた画像に含まれる各画素の輝度値が画像メモリ（図示略）に記憶される（ステップＳ１）。
【００２９】
画像方向判定部９は、画像入力部２によって読み取られた運転免許証４０画像全体の画像データについて全体の射影を検出し、Ｘ方向（水平方向）射影、Ｙ方向（垂直方向）射影を求め、運転免許証のエッジを検出することによって、運転免許証４０の画像の領域を特定する。
【００３０】
次いで、画像方向判定部９は、画像入力部２に差し込まれた運転免許証４０の画像の方向（すなわち差し込まれた運転免許証４０の画像の方向が正立方向であるか、倒立方向であるか、又は画像が裏面画像であるか）を判定する（ステップＳ２）。
方向を判定する所定の領域Ｐ１またはＰ２は、運転免許証の運転免許証番号が記載されている領域である。図２に示すように、運転免許証番号は、０〜９までの数字の１２文字（１２桁数）で構成されている。例えば、図２に示す運転免許証４０では、第  １２３４５６７８９０３０  号で運転免許証番号が表されている。なお、説明する上で、最右端の数字「０」を１桁目の数字として、ｃ（１）とし、最左端の数字「１」を１２桁目の数字として、ｃ（１２）とし、その間の数字を、右端から、ｃ（２）、ｃ（３）・・・・・ｃ（１１）とする。この実施形態では、図２に示すような、領域Ｐ１に運転免許証番号が存在するような画像の方向を「正立方向」と呼び、一方、画像が１８０度回転した状態で運転免許証番号が領域Ｐ２に位置するような画像の方向を「倒立方向」と呼ぶ。
画像方向判定部９は、領域Ｐ１及び領域Ｐ２に運転免許証番号に相当する文字がない（文字数がない）場合には、取得した画像データは運転免許証４０の裏面または運転免許とは異なる媒体であると判定する。
【００３１】
文字認識部８は、画像方向判定部９の判定結果に従って文字認識を行う（ステップＳ３）。より具体的には、例えば、文字認識部８は、運転免許証４０に記載された運転免許証番号を読み取り、読み取った運転免許証番号を用いて各種の認証処理を行ったり、利用者の登録処理を行ったりといった処理を行う。
文字認識部８は、認識した文字を画像表示部３に表示する（ステップＳ４）等、各種の処理を実行する。
【００３２】
次いで、図４のステップＳ２に示した画像方向判定処理の詳細について、図５乃至図９を参照しつつ説明する。
図５は、図４のステップＳ２に示した画像方向判定処理の手順を示すフローチャートである。
図５において、まず、画像方向判定部９の情報記録領域設定部９１が、運転免許証４０の画像の方向が正立方向であると仮定し（ステップＳ１１）、射影計算部９２が、読み取られた画像の特定の領域Ｐ１（図２参照）に運転免許証番号があるか否かを判定する（ステップＳ１２）。
運転免許証において運転免許証番号が記載されている位置はほぼ一定であるから、この実施形態では、運転免許証番号が記載されているであろう領域Ｐ１の四隅のｘ，ｙ座標（図２参照）を予め設定しておく。このｘ，ｙ座標は、ＲＯＭまたは記憶部６に記憶されており、画像方向判定部９は、このｘ，ｙ座標によって示される領域Ｐ１内に運転免許証番号があるか否かを判定することによって運転免許証の方向を判定する。
【００３３】
図６は、運転免許証４０の画像の方向が正立方向である場合を説明するための図であり、図７は運転免許証４０の画像の方向が倒立方向である場合を説明するための図である。
図示のように、運転免許証の画像の方向が正立方向である場合には領域Ｐ１に運転免許証番号が記載されている一方、運転免許証の画像の方向が倒立方向である場合には、領域Ｐ１には運転免許証番号ではなく他の情報に関する画像が描画されている。
【００３４】
ここで、図５のステップＳ１２に示す運転免許証番号の有無の判定処理について、図８に示すフローチャートを参照しつつ説明する。
画像情報抽出部９３は、画像メモリに記憶されている運転免許証の画像データから、運転免許証番号が記載されている矩形状の領域Ｐ１の画像データを切り出す（ステップＳ２１）。文字数計数部９９は、領域Ｐ１に対応する各画素ごとの輝度値を求め、切り出した矩形状した画像の各画素の輝度値（多階調）の二値化を行う。文字数計数部９９は、得られた二値化画像を用いて、矩形領域内に等間隔で配置されている文字の数をカウントする（ステップＳ２２）。
運転免許証の場合は運転免許証番号は１２桁と決められているので、文字の個数が１２個であれば運転免許証番号が存在すると判定する。
文字数計数部９９は、ステップＳ２２の判定結果を参照して、文字の数が予め定められた数（この実施形態では「１２」）であるか否かを判定し（ステップＳ２３）、判定結果が肯定的である場合には（ステップＳ２３；ＹＥＳ）、領域Ｐ１または領域Ｐ２には、運転免許証番号があると判定する（ステップＳ２４）。
一方、判定結果が否定的である場合には（ステップＳ２３；ＮＯ）、領域Ｐ１及び領域Ｐ２には、運転免許証番号がないと判定する（ステップＳ２５）。
【００３５】
ここで、図８のステップＳ２２に示す文字数のカウント処理の詳細について、図９に示すフローチャートを参照しつつ説明する。
まず、画像情報抽出部９３及び外形矩形領域設定部９４は、切り出された領域Ｐ１又は領域Ｐ２の矩形画像に含まれる各画素のＸ軸（図２参照）に対する射影Ｐ（ｘ）を計算して、ヒストグラムを生成する（ステップＳ３１）。
図１０は、このようにして生成されたヒストグラムの一例を示している。図１０において、横軸はＸ軸方向の（画像メモリ上の画素）位置を示し、縦軸はＸ軸方向の各座標における画素値の度数を示す。つまり、度数は、それぞれのＸ座標の画素値である「１」または「０」を合算した値である。この例では、黒色の画素値を「０」とし、白色の画素値を「１」としているため、図示のように、Ｘ軸方向において文字が記載されている位置は度数が低い一方、文字が記載されていない位置は度数が高くなっている。
【００３６】
外形矩形領域設定部９４は、Ｐ（ｘ）を左方からスキャンして運転免許証番号の左端位置Ｘｓlを求める（ステップＳ３２）。
より具体的には、外形矩形領域設定部９４は、射影Ｐ（ｘ）を左方からスキャンしていき度数が予め定められた閾値より小さくなる位置であって左方から２番面の位置を検出する。
図１０に示す例では、左方からスキャンした場合に、運転免許証番号の左側に「第」の文字が記載されており、この文字の位置でも度数が閾値よりも低くなるため、外形矩形領域設定部９４は、度数が閾値よりも小さくなる位置であって左方から２番目の位置を運転免許証番号の左端位置として検出する。図１０の最左端の数字ｃ（１２）「１」の左端位置をＸｓLとしている。
【００３７】
ここで、図９に示す処理において用いられる閾値の決定処理の一例について説明する。
図２、図１０に示すように、運転免許証番号の５桁目の数字ｃ（５）＝「５」から８桁目の数字ｃ（８）＝「８」は、文字に斜線がかかっており、この斜線がかかった箇所は反射光の強度が低いため、閾値によっては斜線の箇所も文字として検出されてしまい、文字の検出が適切になされない場合がある。そのため、文字の検出を適切に行うべく、画像情報抽出部９３が以下の処理を行って閾値を決定してもよい。
まず、画像情報抽出部９３は、仮の閾値ｂｔｈを定め、Ｐ（ｘ）が閾値ｂｔｈよりも高い区間を空白区間と判定する。
次いで、画像情報抽出部９３は、空白区間におけるＰ（ｘ）の最小値を求め、この最小値を閾値として用いる。
この態様によれば、斜線がかけられている箇所を含む区間におけるＰ（ｘ）の最小値が閾値として用いられるため、斜線がかけられている箇所は確実に閾値を上回る。そのため、斜線がかけられている箇所が文字区間として検出されることがない。
【００３８】
図９の説明に戻る。ステップＳ３２の処理を終えると、次いで、両端文字抽出部９５は、位置Ｘｓlを開始点として射影Ｐ（ｘ）をスキャンし最上位桁数字の右端位置Ｘｓrを求める（ステップＳ３３）。最上位桁数字は、図１０に示す運転免許証番号の中で最左端の数字ｃ（１２）＝「１」を示している。
より具体的には、例えば、両端文字抽出部９５は、位置ＸｓLを開始点として射影Ｐ（ｘ）をスキャンし、度数が予め定められた閾値以上となる位置を右端位置ＸｓRとする。
【００３９】
次いで、各文字の中心位置検出部９６は、以下の式（１）を用いて最上位桁数字の中央位置Ｘｃ（１２）を求める（ステップＳ３４）。
【００４０】
［数１］
Ｘｃ（１２）＝（ＸｓL＋ＸｓR）／２  …（１）
【００４１】
次いで、外形矩形領域設定部９４は、以下の式（２）を用いて、運転免許証番号の概略右端位置Ｘｅrを求める（ステップＳ３５）。
式（２）において、Ｄｘは運転免許証番号の１２桁の文字列のＸ軸方向の幅を表す値であり、予め設定された値である。
【００４２】
［数２］
ＸｅR＝ＸｓL＋Ｄｘ  …（２）
【００４３】
次いで、両端文字抽出部９５は、位置ＸｅRを開始点として射影Ｐ（ｘ）を右方からスキャンして最下位桁数字の左端位置ＸｅLを求める（ステップＳ３６）。
最下位桁数字は、図１０に示す運転免許証番号の中で最右端の数字ｃ（１）＝「０」を示している。
この処理は、具体的には、例えば、両端文字抽出部９５は、ＸｅRを開始点として射影Ｐ（ｘ）を右方からスキャンし、度数が予め定められた閾値以上となる位置を左端位置ＸｅLとする。
次いで、各文字の中心位置検出部９６は、以下の式（３）を用いて最下位桁数字の中央位置Ｘｃを求める（ステップＳ３７）。
【００４４】
［数３］
Ｘｃ（１）＝（ＸｅL＋ＸｅR）／２  …（３）
【００４５】
更に、全文字中心位置検出部９７は、以下の式（４）を用いて、文字間隔の現実値Ｄｃを求める（ステップＳ３８）。
【００４６】
［数４］
Ｄｃ＝（Ｘｃ（１）−Ｘｃ（１２））／１１  …（４）
【００４７】
次いで、全文字中心位置検出部９７は、２から１１桁の各文字の中央位置Ｘｃ（ｋ）を、以下の式（５）を用いて算出する（ステップＳ３９）。
ただし、以下の式（５）においてｋ＝２，…１１とする。
【００４８】
［数５］
Ｘｃ（ｋ）＝Ｘｃ（１）−（ｋ−１）＊Ｄｃ  …（５）
【００４９】
次いで、全文字中心位置検出部９７は、各文字のそれぞれについて、文字の中央位置Ｘｃ（ｋ）から文字の端の位置までの最大許容距離を設定する（ステップＳ４０）。
この実施形態では、全文字中心位置検出部９７は、最大許容距離としてＤｃを設定する。
【００５０】
次いで、各文字両端位置検出部９８及び文字数計数部９９は、ステップＳ４１からステップＳ４８の処理を行うことによって、領域Ｐ１にある文字の数が１２であるか否かを判定する。
ステップＳ４１からステップＳ４８において、カウンタは左から何番目の文字かを示すカウンタであり、エラーカウンタはエラーの回数を示すカウンタである。また、最大許容距離は、文字の中央位置から文字の右端位置までの許容される最大の距離を示す。
まず、文字数計数部９９は、カウンタに１を設定するとともに、エラーカウンタにゼロを設定する（ステップＳ４１）。
次いで、各文字両端位置検出部９８は、カウンタによって示される文字の中央位置Ｘｃ（カウンタ）から射影Ｐ（ｘ）を右方向に最大許容距離までスキャンし、度数が予め定められた閾値以上となる位置を検出することによって、カウンタによって示される文字の右端位置を検出する（ステップＳ４２）。
ステップＳ４２の処理において、最大許容距離の範囲内に文字の右端位置が検出されなかった場合は（ステップＳ４３；ＮＯ）、文字数計数部９９は、エラーカウンタをインクリメントする（ステップＳ４４）。
【００５１】
また、各文字両端位置検出部９８は、カウンタによって示される文字の中央位置Ｘｃ（カウンタ）から射影Ｐ（ｘ）を左方向に最大許容距離までスキャンし、度数が予め定められた閾値以上となる位置を検出することによって、カウンタによって示される文字の左端位置を検出する（ステップＳ４５）。ステップＳ４５の処理において、最大許容距離の範囲内に文字の左端位置が検出されなかった場合は（ステップＳ４６；ＮＯ）、文字数計数部９９は、エラーカウンタをインクリメントする（ステップＳ４７）。次いで、文字数計数部９９は、カウンタの値が１２であるか否かを判定し（ステップＳ４８）、判定結果が否定的である場合には（ステップＳ４８；ＮＯ）、カウンタをインクリメントし（ステップＳ４９）、ステップＳ４２の処理に戻る。
【００５２】
一方、ステップＳ４８において判定結果が肯定的である場合には（ステップＳ４８；ＹＥＳ）、文字数計数部９９は、エラーカウンタがゼロであるか否かを判定し（ステップＳ５０）、エラーカウンタがゼロである場合には（ステップＳ５０；ＹＥＳ）、文字数は１２であると判定する（ステップＳ５１）一方、エラーカウンタがゼロでない場合には（ステップＳ５０；ＮＯ）、文字数は１２でないと判定する（ステップＳ５２）。
【００５３】
図５の説明に戻る。文字数判定部８９は、ステップＳ１２の判定結果を参照して、運転免許証番号があるかを判定する（ステップＳ１３）。文字数判定部８９は、運転免許証番号があると判定された場合は（ステップＳ１３；ＹＥＳ）、画像の方向が正立方向、すなわち読み取った画像が処理可能画像であると判定する（ステップＳ１４）一方、運転免許証番号がないと判定された場合は（ステップＳ１３；ＮＯ）、画像情報抽出部９３等がステップＳ１５以降の処理を行って、読み取られた画像の方向が倒立方向であるかを判定する。
【００５４】
ステップＳ１５において、画像情報抽出部９３は、読み取られた画像の方向が倒立方向画像であると仮定し、領域Ｐ２（図２参照）を特定する（ステップＳ１５）。領域Ｐ２は、運転免許証４０の画像の方向が倒立方向である場合に、運転免許証番号が記載されている領域である。射影計算部９２は、領域Ｐ２に運転免許証番号があるかどうかを判定する（ステップＳ１６）。このステップＳ１６の処理はステップＳ１２の処理（すなわち図８に示す画像方向判定処理）と同様であり、ここではその詳細な説明を省略する。すなわち、領域Ｐ１内にある文字の数が予め定められた数ではないと文字数判定部８９によって判定された場合には、領域Ｐ１とは異なる領域Ｐ２について、射影計算部９２が上記検出を行うとともに、文字数判定部８９が上記判定を行い、領域Ｐ２内にある文字の数が予め定められた数であると判定された場合には、運転免許証４０の画像の方向が倒立方向であると判定する。図１１は、運転免許証４０の画像の方向が倒立方向である場合を説明するための図である。図示のように、運転免許証４０の画像の方向が倒立方向である場合は、領域Ｐ２に運転免許証番号が記載されているため、領域Ｐ２に対して文字数の判定処理を行うことによって運転免許証番号の文字数が判定される。
【００５５】
文字数判定部８９は、ステップＳ１６の判定結果を参照して、運転免許証番号があるかを判定する（ステップＳ１７）。文字数判定部８９は、運転免許証番号があると判定された場合には（ステップＳ１７；ＹＥＳ）、画像の方向が倒立方向である、すなわち読み取った画像が処理可能画像であると判定する（ステップＳ１４）一方、運転免許証番号がないと判定された場合は（ステップＳ１７；ＮＯ）、処理不能画像であると判定する（ステップＳ１８）。ステップＳ１７において運転免許証番号がないと判定された場合には、運転免許証番号が正立方向の場合の位置にも倒立方向の位置にもないため、文字数判定部８９は、表裏が反転して読み取られた画像であると判定する。すなわち、文字数判定部８９は、領域Ｐ１内にある文字の数が予め定められた数でないと判定され、かつ、領域Ｐ２内にある文字の数が予め定められた数でないと判定された場合には、読み取った画像が処理不能画像であると判定する。この場合は、文字数判定部８９は、「運転免許証が裏面の可能性があります。向きを確認してください。」といったメッセージや、「運転免許証を裏返してもう一度差し込んでください」といったメッセージを出力してもよい。また、文字数判定部８９は、「運転免許証ではないものが挿入されている可能性があります。確認してください。」といったメッセージを出力してもよい。
【００５６】
以上のような処理を行って、画像方向判定部９は、運転免許証の画像の方向を判定する。文字認識部８は、画像方向判定部９の判定結果を参照して、読み取られた画像に対して画像認識処理を行う。具体的には、例えば、文字認識部８は、特定された領域についてＯＣＲ処理等の文字認識処理等を行う。すなわち、画像処理部１は、文字認識処理等の処理負荷の高い処理を実行する前に、特定の領域において文字の数を判定することによって画像の方向の判定処理を実行する。このようにすることにより、画像方向の判定処理を低い処理負荷で行うことができる。
【００５７】
このように本実施形態では、運転免許証から特定の領域に記載された運転免許証番号の文字の数を判定し、この判定結果に基づいて画像の方向を判定する。このようにすることで、読み取った画像の方向の判定を行うことができる。
また、画像処理部１の文字認識部８が運転免許証番号の文字の領域に対してＯＣＲ処理等の文字認識処理を施す場合には、上述した文字数判定部８９が行った文字数の判定結果を文字認識処理に用いることができる。例えばＯＣＲ処理等の文字認識処理では、文字を判別する前の段階で、文字の区切り位置を把握してどこからどこまでの領域に文字が存在しているかを調べる必要があるが、上記実施形態では、上述の文字数の判定処理によって文字の区切り位置が把握されるため、文字認識部８は、この区切り位置を、その後に行う文字認識処理に流用することができる。そのため、文字認識部８が、後段の文字認識処理において文字の区切り位置の認識処理を行う必要がなく、全体としての処理時間を短縮することができる。
【００５８】
［変形例］
上述した実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、上述した実施形態及び以下に示す各変形例は、必要に応じて組み合わせて実施してもよい。
［変形例１］
上述の実施形態では、証明書として運転免許証を用いたが、証明書は運転免許証に限定されるものではなく、例えば、パスポートや、社員証、健康保険証、スポーツジム等の会員証等であってもよく、識別文字列（識別番号を含む）が一意に割り当てられた証明書であればどのようなものであってもよい。例えば、パスポートの場合は、パスポートの画像において旅券番号が記載された領域を、画像の方向が正立方向である場合と倒立方向である場合のそれぞれについて予め特定しておき、画像方向判定部９が、特定された領域に旅券番号があるか否かを判定することによって画像の方向を判定するようにしてもよい。要は、証明書に一意に割り当てられた識別文字列が記されているべき領域を、証明書の画像の方向が正立方向である場合と倒立方向である場合とのそれぞれの場合において予め特定しておき、画像方向判定部９が、特定された領域に識別文字列があるか否かを判定することによって、証明書の画像の方向を判定すればよい。
【００５９】
［変形例２］
上述の実施形態では、１次元撮像素子と媒体搬送機構を有する画像入力部２を用いたが、画像入力部の構成はこれに限定されるものではなく、例えば２次元ＣＣＤやＣＭＯＳイメージャなどのエリアセンサと被写体支持機構とを有する読取装置を用いてもよい。
【００６０】
［変形例３］
上述の実施形態では、画像方向判定部９は、特定の領域（領域Ｐ１又はＰ２）内に等間隔で配置されている文字の数が予め定められた数であるか否かを判定したが、文字数の判定の態様は上述した実施形態で示したものに限定されるものではなく、他の態様であってもよい。例えば、画像方向判定部９が、射影Ｐ（ｘ）を左方からスキャンしていき、ヒストグラムの度数と予め定められた閾値とを比較することによって度数のピークを検出し、このピークの数を文字数として検出するようにしてもよい。要は、画像方向判定部９は、検出された反射光の分布に従って、特定の領域内にある文字の数が予め定められた数であるか否かを判定するものであればどのようなものであってもよい。
【００６１】
［変形例４］
上述の実施形態では、図９のステップＳ５０に示したように、エラーカウンタがゼロでない場合、すなわち一度でもエラーが出た場合は、画像方向判定部９は、文字数が予め定められた数でないと判定するようにしたが、判定の態様はこれに限らず、例えば、ある一定の条件を満たす場合にはエラーとみなさないような判定を行ってもよい。すなわち、画像方向判定部９は、文字数が予め定められた数であると判定された領域がある場合には、その領域に対応する方向を読み取った画像の方向として判定する一方、文字数が予め定められた数であると判定された領域がない場合には、その判定結果が予め定められた条件を満たす領域がある場合に該領域に対応する読取方向を読み取った画像の方向として判定してもよい。この予め定められた条件としては、例えば、判定結果と予め定められた文字数との差分が所定の範囲内であることを条件としてもよい。このようにすることによって、例えば識別文字列の記載領域に汚れやゴミが付着していることによって識別文字列を正確に読み取れない場合であっても、画像の方向を推定することができる。
また、文字数の判定処理においてエラーが発生した場合に、画像方向判定部９が、ヒストグラムの度数の判定に用いた閾値の値を変更して、再度判定処理を行うようにしてもよい。
【００６２】
［変形例５］
上述の実施形態では、画像方向判定部９は、文字の中央位置を算定し、算定した中央位置を基準として、その左右端が予め定められた最大許容距離内にあるかを判定したが、これに限らず、文字の中央位置に代えて右端（又は左端）を検出する構成とし、検出した右端（又は左端）から予め定められた最大許容距離内に反対側の端があるかを判定してもよい。
【００６３】
［変形例６］
上述の実施形態において、画像方向判定部９が、外形矩形領域設定部９４に係る処理を実行した後に、運転免許証番号の文字にかかった斜線部分を取り除く処理を行うようにしてもよい。この場合の処理の内容について、図１２乃至図１５を参照しつつ説明する。
図１２は、運転免許証番号の画像の一例を示す図である。図１２に示すように、免許証番号は３文字目から８文字目に斜線が施されている。この斜線を除去して文字を取り出す二値化処理について以下に説明する。
【００６４】
図１３は、本変形例に係る機能構成の一例を示すブロック図である。図において、射影算出部１０１は、初めに切り出された画像（以下、「文字領域画像」という）についてＸ射影を求める。ここでＸ射影は通常のＸ射影ではなく、特別な射影計算を行う。すなわち、射影算出部１０１は、文字領域画像をＳ（ｉ，ｊ）と表すとき、ｓｍｉｎ（Ｘ）＝ｍｉｎ（Ｓ（ｉ，Ｘ））を求める。これは直線ｘ＝ｉにおける、最小画素値である。Ｓｍｉｎ（Ｘ）を図１４に示す。
【００６５】
二値化閾値決定部１０２は、ｓｍｉｎ（Ｘ）に基づいて、二値化閾値を求める。二値化閾値決定部１０２は、まず、仮の閾値ｂｔｈを定める。例えばｂｔｈ＝５０とする（図１４参照）。二値化閾値決定部１０２は、ｓｍｉｎ（Ｘ）において、関数値がｂｔｈを下回ればその区間を文字区間Ｂと判定し、上回ればその区間を空白区間Ｗと判定する。ここで、斜線とｓｍｉｎ（Ｘ）との関係に注目すると、斜線は５文字目から８文字目にかけて施されており、これは図１４における空白区間のうち、斜線がかかる部分の関数値はそうでない部分よりも小さいことがわかる。この斜線がかかる５個の連続する空白区間（図１４の影をつけた部分）についてｓｍｉｎ（Ｘ）の最小画素値を求め、これを二値化閾値BinThreshとする。図１４の例ではBinThresh＝５２となる。
【００６６】
二値化実行部１０３は、このBinThreshを用いて文字領域画像の二値化を行う。その結果、図１５に示す画像が得られる。図１５に示すように、二値化によってもとの文字領域画像の斜線が除去されていることがわかる。この方式では、斜線の存在する部分の最小画素値を求め、これを二値化の閾値としているため、斜線の部分は確実に閾値を上回ることが保証されている。したがって二値化によって斜線画素が黒領域にマップされることはないので、文字認識にとって望ましい二値化を行うことができる。
【００６７】
［変形例７］
上述の実施形態において、文字認識部８と画像方向判定部９は、制御部５が記憶部６等の記憶媒体に記憶されたコンピュータプログラムを読み出して実行することによって実現されてもよい。この場合、このコンピュータプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取可能な記録媒体に記憶した状態で提供し得る。また、インターネット等の通信回線を介して画像処理装置１００にダウンロードさせてもよい。
【符号の説明】
【００６８】
１…画像処理部、２…画像入力部、３…画像表示部、４…画像メモリ、５…制御部、６…記憶部、８…文字認識部、９…画像方向判定部、１０…出力インターフェース部、４０…運転免許証、８１…文字列切り出し部、８２…文字切り出し部、８３…特徴抽出部、８４…特徴比較部、８５…特徴辞書格納部、８６…類似文字認識部、８９…文字数判定部、９１…情報記録領域設定部、９２…射影計算部、９３…画像情報抽出部、９４…外形矩形領域設定部、９５…両端文字抽出部、９６…各文字の中心位置検出部、９７…全文字中心位置検出部、９８…各文字両端位置検出部、９９…文字数計数部、１００…画像処理装置、１０１…射影算出部、１０２…二値化閾値決定部、１０３…二値化実行部。
【図１】
2014071866.tif 000003
【図２】
2014071866.tif 000004
【図３】
2014071866.tif 000005
【図４】
2014071866.tif 000006
【図５】
2014071866.tif 000007
【図６】
2014071866.tif 000008
【図７】
2014071866.tif 000009
【図８】
2014071866.tif 000010
【図９】
2014071866.tif 000011
【図１１】
2014071866.tif 000012
【図１３】
2014071866.tif 000013
【図１５】
2014071866.tif 000014
【図１０】
2014071866.tif 000015
【図１２】
2014071866.tif 000016
【図１４】
2014071866.tif 000017