(57)【特許請求の範囲】
【請求項１】
コンピュータに、
電子筆記具により文字が書かれた媒体を撮像して得られた媒体画像と、前記電子筆記具から得られる文字画像とを記憶する記憶部から、前記媒体画像と前記文字画像とを取得し、
前記媒体画像から文字に対応する文字領域を求め、前記文字領域の画像と前記文字画像との相互相関値に基づく第１の照合処理及び非線形マッチング処理した前記文字領域の画像と前記文字画像との相互相関値に基づく第２の照合処理を含む前記文字領域の画像と前記文字画像との照合を行い、
照合の結果に応じて、前記媒体画像と前記文字画像とを対応付ける
各処理を実行させることを特徴とする画像処理プログラム。
【請求項２】
前記コンピュータに、
前記媒体画像から文字に対応する文字領域を求め、非線形マッチングにより前記文字領域の画像と前記文字画像との照合を行う
処理を実行させることを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記コンピュータに、
前記媒体画像から文字に対応する文字領域を求め、端点フリーの動的計画法により前記文字領域の画像と前記文字画像とに対して平行移動及び拡大縮小を行って、前記文字領域の画像と前記文字画像との照合を行う
処理を実行させることを特徴とする請求項１又は２に記載の画像処理プログラム。
【請求項４】
前記媒体画像から文字に対応する領域を求め、前記文字領域の画像と前記文字画像との照合を行う処理は、
前記文字領域の画像と、前記文字画像との相互相関値及び当該相互相関値に対応する信頼度を求め、前記相互相関値の大きさが第１位となる当該文字領域の画像を前記文字画像に対応する画像とする前記第１の照合処理と、
前記第１の照合処理により求めた前記相互相関値の大きさが第１位となる前記文字領域の画像の当該相互相関値に対応する前記信頼度が所定閾値未満である場合に、端点フリーの動的計画法により当該文字領域の画像と前記文字画像とに対して平行移動及び拡大縮小を行った画像間の前記相互相関値の大きさが第１位となる当該文字領域の画像を前記文字画像に対応する画像とする前記第２の照合処理と
を含むことを特徴とする請求項１、２又は３に記載の画像処理プログラム。
【請求項５】
前記コンピュータに、
複数の前記媒体が撮像された撮像画像から複数の前記媒体画像を抽出する
処理をさらに実行させることを特徴とする請求項１〜４の何れか１つに記載の画像処理プログラム。
【請求項６】
コンピュータに、
電子筆記具により文字が書かれた媒体を撮像して得られた媒体画像と、前記電子筆記具から得られる文字画像とを記憶する記憶部から、前記媒体画像と前記文字画像とを取得し、
前記媒体画像から文字に対応する文字領域を抽出し、
抽出した前記文字領域の画像と、前記文字画像とをそれぞれ正規化し、
端点フリーの動的計画法により、前記文字領域の正規化画像と前記文字画像の正規化画像との対応関係を求め、
前記対応関係を近似する近似直線のパラメータを推定し、
前記パラメータを用いた平行移動及び拡大縮小に基づき前記媒体画像から前記文字領域を再抽出し、
再抽出した前記文字領域の画像を再正規化し、
前記文字領域の再正規化画像と、前記文字画像の正規化画像との照合を行い、
照合の結果に応じて、前記媒体画像と前記文字画像とを対応付ける
各処理を実行させることを特徴とする画像処理プログラム。
【請求項７】
画像処理装置が実行する画像処理方法であって、
電子筆記具により文字が書かれた媒体を撮像して得られた媒体画像と、前記電子筆記具から得られる文字画像とを記憶する記憶部から、前記媒体画像と前記文字画像とを取得し、
前記媒体画像から文字に対応する文字領域を抽出し、前記文字領域の画像と、前記文字画像との相互相関値及び当該相互相関値に対応する信頼度を求め、前記相互相関値の大きさが第１位となる当該文字領域の画像を前記文字画像に対応する画像とし、前記相互相関値の大きさが第１位となる前記文字領域の画像の当該相互相関値に対応する前記信頼度が所定閾値未満である場合に、端点フリーの動的計画法により当該文字領域の画像と前記文字画像とに対して平行移動及び拡大縮小を行った画像間の前記相互相関値の大きさが第１位となる当該文字領域の画像を前記文字画像に対応する画像とし、
前記文字画像に対応する前記文字領域の画像に基づき、前記媒体画像と前記文字画像とを対応付ける
各処理を含むことを特徴とする画像処理方法。
【請求項８】
電子筆記具により文字が書かれた媒体を撮像して得られた媒体画像と、前記電子筆記具から得られる文字画像とを記憶する記憶部から、前記媒体画像と前記文字画像とを取得する取得部と、
前記媒体画像から文字に対応する文字領域を抽出する抽出部と、
前記媒体画像から文字に対応する文字領域を求め、前記文字領域の画像と前記文字画像との相互相関値に基づく第１の照合処理及び非線形マッチング処理した前記文字領域の画像と前記文字画像との相互相関値に基づく第２の照合処理を含む前記文字領域の画像と前記文字画像との照合を行う照合部と、
前記照合部による照合結果に基づき、前記媒体画像と前記文字画像とを対応付ける対応付け処理部と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
従来から、ホワイトボード等のボードに文字を記入したカードを貼りながらブレインストーミングを行い、ブレインストーミング終了後に、カードが貼られたボード全体をデジタルカメラ等で撮影することが行われている。そして、カードが貼られたボード全体を撮影し、ブレインストーミングの結果を電子的に復元及び記録する。ブレインストーミングの結果を電子的に復元及び記録するために、カードが貼られたボード全体の撮影画像をより効率的かつ正確に画像処理することが求められる。
【０００３】
例えば、カードが貼られたボード全体の撮影画像からカード領域を抽出し、カード領域に従って、カードに記入されている文字を人手で入力したり、ＯＣＲ（Optical  Character  Reader）装置等で文字認識したりして、テキスト化することが行われている。また、例えば、ペンの軌跡情報であるストローク情報を取得できる電子ペンを用いてカードに文字を記入し、電子ペンから取得したストローク情報を利用して文字認識を行い、カードの記入内容をテキスト化することが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２５３３６５号公報
【特許文献２】特開２０１０−２３１６６２号公報
【特許文献３】特開２００８−１８１５１０号公報
【特許文献４】特開２００９−０１５３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来技術では、次のような問題がある。すなわち、文字が記入されたカードは、ボード上に自在に貼られるため、カードが貼り付けられた位置を特定することが容易ではない。また、カードに記入される文字は、記入領域及び記入内容に制限がない手書き文字である。このため、ボード上のカード領域の識別が容易ではなく、カードに記入された文字認識の精度も低いため、カードの記入内容を精度よく正確にテキスト化できないという問題がある。
【０００６】
すなわち、従来技術では、文字が記入されたカードが貼られたボード全体の撮影画像から、各カード領域を抽出し、各カードの記入内容を精度よくテキスト化することが容易ではない。つまり、文字が記入されたカードが貼られたボード全体の撮影画像から、各カードの位置及び各カードの記入内容を精度よく電子化することは容易ではない。
【０００７】
開示技術の一態様では、上述の問題に鑑み、文字が記入されたカードが貼られたボード全体の撮影画像のカード領域の画像と、カードに記入した文字の文字画像とを精度よく対応付けることを目的とする。
【課題を解決するための手段】
【０００８】
開示技術の一態様では、電子筆記具により文字が書かれた媒体を撮像して得られた媒体画像と、電子筆記具から得られる文字画像とを記憶する記憶部から、媒体画像と文字画像とを取得する。そして、媒体画像から文字に対応する文字領域を求め、文字領域の画像と文字画像とを照合する。そして、照合の結果に応じて、媒体画像と文字画像とを対応付ける。
【発明の効果】
【０００９】
開示技術の一態様によれば、文字が記入されたカードが貼られたボード全体の撮影画像のカード領域の画像と、カードに記入した文字の文字画像とを精度よく対応付ける。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例に係る画像処理装置の構成の一例を示すブロック図である。
【図２】図２は、実施例に係る全体画像の一例を示す図である。
【図３】図３は、実施例に係る電子ペン文字情報の一例を示す図である。
【図４】図４は、実施例に係るカード領域抽出処理結果の一例を示す図である。
【図５】図５は、実施例に係るカードマッチング処理結果の一例を表示するＧＵＩの一例を示す図である。
【図６】図６は、実施例に係るカードマッチング処理の一例を示すフローチャートである。
【図７】図７は、実施例に係るペン文字の正規化処理の一例を示すフローチャートである。
【図８】図８は、実施例に係るグレー処理化されたペン文字画像の正規化処理前後の一例を示す図である。
【図９】図９は、実施例に係るカード画像の正規化処理の一例を示すフローチャートである。
【図１０】図１０は、実施例に係るカード画像の正規化処理前後の一例を示す図である。
【図１１】図１１は、実施例に係るマッチング処理の一例を示すフローチャートである。
【図１２】図１２は、実施例に係る単純マッチング処理の一例を示すフローチャートである。
【図１３】図１３は、実施例に係るカード画像及びカード画像の２値化画像の一例を示す図である。
【図１４】図１４は、実施例に係るノイズを含むカード画像及びノイズを含むカード画像の正規化画像の一例を示す図である。
【図１５】図１５は、実施例に係る厳密マッチング処理の一例を示すフローチャートである。
【図１６Ａ】図１６Ａは、実施例に係るペン文字画像の正規化画像に関する射影ヒストグラムの一例を示す図である。
【図１６Ｂ】図１６Ｂは、実施例に係るカード画像の正規化画像に関する射影ヒストグラムの一例を示す図である。
【図１７】図１７は、実施例に係るペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムの算出方法の一例を示す図である。
【図１８】図１８は、実施例に係るペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムの対応関係の一例を示す図である。
【図１９】図１９は、実施例に係るペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムを対応関係に従って重ね合わせた一例を示す図である。
【図２０】図２０は、実施例に係るペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムの対応関係を直線近似した一例を示す図である。
【図２１Ａ】図２１Ａは、実施例に係るカード画像の再正規化の一例を示す図である。
【図２１Ｂ】図２１Ｂは、実施例に係るカード画像の再正規化の一例を示す図である。
【図２２】図２２は、実施例に係るカード領域の抽出の一例を示す図である。
【図２３】図２３は、実施例に係る正規化処理及び正規化処理の逆変換による座標の対応関係の一例を示す図である。
【図２４】図２４は、実施例に係る単純マッチングより抽出した正規化領域及び厳密マッチングにより抽出した正規化領域の一例を示す図である。
【図２５】図２５は、実施例に係る画像処理プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下に、開示技術の一態様に係る画像処理プログラム、画像処理方法及び画像処理装置の実施例を図面に基づいて説明する。なお、以下の実施例は、一例を示すに過ぎず、開示技術を限定するものではない。
【実施例】
【００１２】
（画像処理装置の構成）
図１は、実施例に係る画像処理装置の構成の一例を示すブロック図である。実施例に係る画像処理装置１０は、カード領域抽出部１１、カードマッチング部１２、ＧＵＩ（Graphical  User  Interface）制御部１３を含む。ＧＵＩ制御部１３には、全体画像記憶部２０、電子ペン文字情報記憶部３０、入出力部４０、カードマッチング結果記憶部５０が接続される。
【００１３】
全体画像記憶部２０は、全体画像を記憶する。全体画像は、ユーザにより電子ペンを用いて記入されたカードが貼り付けて配置されたホワイトボード等のボード全体を撮像して得られる撮像画像である。カードは、文字を記入できる媒体であれば、何れでもよい。電子ペンは、電子ペンを用いて書かれた文字について、電子ペンの軌跡に基づく電子ペン文字情報を出力する。
【００１４】
電子ペン文字情報記憶部３０は、電子ペンから取得された電子ペン文字情報を記憶する。電子ペン文字情報は、電子ペンを用いてカードに記入された文字の二次元の画像である文字画像、文字画像の枚数、文字画像を文字認識した結果のテキスト情報である文字認識結果を含む。全体撮影画像、文字画像は、例えばＪＰＥＧ形式等の画像ファイルである。文字認識結果は、テキスト形式等の文書ファイルである。
【００１５】
入出力部４０は、キーボード、マウス、電子ペン等の入力装置と、ディスプレイ等の表示装置、スピーカ等の音響装置である出力装置とを含む。入出力部４０は、ＧＵＩ制御部１３による制御により、ユーザによる入力装置からの入力を受け付け、ユーザに対して出力装置から情報の出力を行う。
【００１６】
カードマッチング結果記憶部５０は、画像処理装置１０による画像処理結果を記憶する。画像処理結果は、画像処理装置１０が、全体画像から抽出したカード領域に対応するカードに記入された記入内容と最も類似する電子ペン文字情報とを対応付けた結果である。
【００１７】
ユーザは、ＧＵＩ制御部１３による制御により入出力部の表示装置に表示されるＧＵＩを介して、全体画像及び電子ペン文字情報を指定する。図２は、実施例に係る全体画像の一例を示す図である。ＧＵＩ制御部１３は、全体画像記憶部２０から全体画像を取得し、ＧＵＩを介して入出力部４０の表示装置に全体画像を表示する。
【００１８】
図３は、実施例に係る電子ペン文字情報の一例を示す図である。ＧＵＩ制御部１３は、電子ペン文字情報記憶部３０から電子ペン文字情報を取得し、ＧＵＩを介して入出力部４０の表示装置に電子ペン文字情報を表示する。ＧＵＩ制御部１３は、複数の全体画像及び複数の電子ペン文字情報を、ユーザに選択させるように一覧表示してもよい。
【００１９】
ユーザは、入出力部４０の表示装置に表示されるＧＵＩを介して、カード領域抽出処理を実行する指示を入力する。カード領域抽出部１１は、カード領域抽出処理を実行する指示に応じて、全体画像に含まれるカード領域を抽出するカード領域抽出処理を実行する。カード領域抽出処理は、全体画像に含まれるカードの領域を抽出する処理である。カード領域抽出処理は、全体画像を入力とし、カード領域情報を出力する。カード領域情報とは、カードの枚数と、各カードの座標を含む。
【００２０】
カードの座標は、例えば鉛直方向を上下、水平方向を左右とし、全体画像の左上の頂点を原点とした場合に、全体画像において矩形のカードの左上の頂点が位置する座標及び右下の頂点が位置する座標で表す。カード領域抽出処理は、例えば、特開２００９−１９３１５９号公報等に記載の公知技術を用いることができる。
【００２１】
カード領域抽出部１１によるカード領域抽出処理結果は、ＧＵＩを介してユーザに対して表示される。図４は、実施例に係るカード領域抽出処理結果の一例を示す図である。図４に示すように、抽出したカード領域は、全体画像の中で、ボールド線の矩形で表示される。ユーザは、ＧＵＩ制御部１３によるＧＵＩを操作して、ボールド線の矩形を変更することによりカード領域を修正することができる。
【００２２】
次に、ユーザは、入出力部に表示されるＧＵＩを介して、カードマッチング処理を実行する指示を入力する。カードマッチング部１２は、カードマッチング処理を実行する指示に応じて、全体画像に含まれるカード領域の画像と、電子ペン文字情報の文字画像との対応付けを行うカードマッチング処理を実行する。
【００２３】
カードマッチング処理は、全体画像、カード領域情報、電子ペン文字情報の３つの情報を入力とする。また、カードマッチング処理は、全体撮影画像に含まれる各カード領域の座標と、各電子ペン文字情報に含まれる文字画像との対応関係を出力とする。カードマッチング処理の処理結果であるカードマッチング結果は、ＧＵＩ制御部１３によりＧＵＩ表示されてもよいし、カードマッチング結果記憶部５０に記憶されてもよい。
【００２４】
図５は、実施例に係るカードマッチング処理結果の一例を表示するＧＵＩの一例を示す図である。図５に示すように、カードマッチング処理結果の表示では、カード領域と、カード領域に対応する電子ペン文字情報の文字認識結果とを表示する。図５に示すウィンドウの右側に電子ペン文字情報の文字認識結果が表示される。そして、電子ペン文字情報の文字認識結果は、何れのカード領域と対応付けられるかが表示される。
【００２５】
例えば、ＧＵＩ制御部１３は、マウス等でカード領域が指定されると、指定されたカード領域に対応する文字認識結果の左側を、図５のハッチング部分のようにハイライト表示してもよい。または、ＧＵＩ制御部１３は、マウス等で電子ペン文字情報の文字認識結果が指定されると、指定された文字認識結果をハイライト表示してもよい。なお、ハイライト表示は、色を変える、表示を点滅させる、ボールド線で囲む等、容易に識別可能な方法であれば、何れの方法であってもよい。
【００２６】
（カード領域抽出処理）
図６は、実施例に係るカードマッチング処理の一例を示すフローチャートである。カードマッチング処理の概略は、次のとおりである。先ず、画像処理装置１０は、全体画像記憶部２０から全体画像を取得する。また、画像処理装置１０は、電子ペン文字情報記憶部３０から電子ペン文字情報を取得する。
【００２７】
そして、画像処理装置１０は、ペン文字情報の各文字画像に対して、グレー化処理と正規化処理を実行する。なお、以下、ペン文字情報の文字画像を、ペン文字画像と呼ぶ。グレー化処理は、画像を白から黒までの各階調で表現するようにグレースケール化する処理である。正規化処理は、画像をあらかじめ決められた一定の大きさの画像に変換する処理である。
【００２８】
次に、画像処理装置１０は、全体画像をグレー化処理し、カード領域情報の各カードの座標ごとに次の処理を実行する。すなわち、画像処理装置１０は、カードの座標に従って、グレー化した全体画像からカード領域を抽出する。以下、全体画像から抽出したカード領域を、カード画像と呼ぶ。そして、画像処理装置１０は、抽出したカード画像に対して正規化処理を実行する。そして、画像処理装置１０は、正規化処理したカード画像と、先に求めた正規化処理されたペン文字画像とのマッチング処理を実行し、最も類似するペン文字画像を求め、求めたペン文字画像を対応結果とする。以上がカードマッチング処理の概略である。
【００２９】
図６に示すように、先ず、画像処理装置１０は、電子ペン文字情報記憶部３０から１つの電子ペン情報を取得し、取得した電子ペン情報の番号に対応するカウンタ変数ｉ（ｉは非負整数）がペン文字画像の枚数より小であるか否かを判定する（ステップＳ１１）。なお、カウンタ変数ｉは、ペン文字画像の番号を示す情報であり、図５に示すカードマッチング処理に先立ってｉ＝０と初期化されているものとする。画像処理装置１０は、カウンタ変数ｉがペン文字画像の枚数より小であると判定した場合（ステップＳ１１Ｙｅｓ）、ステップＳ１２へ処理を移す。一方、画像処理装置１０は、カウンタ変数ｉがペン文字画像の枚数より小であると判定しなかった場合（ステップＳ１１Ｎｏ）、ステップＳ１５へ処理を移す。
【００３０】
次に、画像処理装置１０は、カウンタ変数ｉが示すｉ番目のペン文字画像のグレー化処理を実行する（ステップＳ１２）。次に、画像処理装置１０は、ｉ番目のペン文字画像の正規化処理を実行する（ステップＳ１３）。ステップＳ１３に示す正規化処理の詳細は、図７を参照して後述する。次に、画像処理装置１０は、カウンタ変数ｉを１だけインクリメントする（ステップＳ１４）。画像処理装置１０は、ステップＳ１４が終了すると、ステップＳ１１へ処理を移す。
【００３１】
一方、画像処理装置１０は、全体画像記憶部２０から全体画像を取得し、取得した全体画像のグレー化処理を実行する（ステップＳ１５）。次に、画像処理装置１０は、ｉとは異なるカウンタ変数であるカウンタ変数ｊ（ｊは非負整数）がカードの枚数より小であるか否かを判定する（ステップＳ１６）。なお、カウンタ変数ｊは、カウンタ変数ｉと同様に、図５に示すカードマッチング処理に先立ってｊ＝０と初期化されているものとする。画像処理装置１０は、カウンタ変数ｊがカードの枚数より小であると判定した場合（ステップＳ１６Ｙｅｓ）、ステップＳ１７へ処理を移す。一方、画像処理装置１０は、カウンタ変数ｊがカードの枚数より小であると判定しなかった場合（ステップＳ１６Ｎｏ）、カードマッチング処理を終了する。
【００３２】
次に、画像処理装置１０は、ｊ番目のカード画像の抽出処理を実行する（ステップＳ１７）。次に、画像処理装置１０は、ｊ番目のカード画像の正規化処理を実行する（ステップＳ１８）。ステップＳ１８に示すカード画像の正規化処理の詳細は、図９を参照して後述する。次に、画像処理装置１０は、マッチングを実行する（ステップＳ１９）。ステップＳ１９に示すマッチング処理の詳細は、図１１を参照して後述する。次に、画像処理装置１０は、カウンタ変数ｊを１だけインクリメントし（ステップＳ２０）、ステップＳ１６へ処理を移す。
【００３３】
（ペン文字の正規化処理）
図７は、実施例に係るペン文字の正規化処理の一例を示すフローチャートである。ペン文字の正規化処理は、図６のステップＳ１３に示す処理であり、概略は、次のとおりである。先ず、画像処理装置１０は、グレー化処理されたペン文字画像を２値化する。例えば、２値化の方法としては大津の２値化方式を用いることができる。次に、画像処理装置１０は、２値化したペン文字画像に対してラベリング処理を実行する。ラベリング処理の結果、ラベル数と、ラベルに対応する黒画素連結成分の外接矩形が得られる。
【００３４】
次に、画像処理装置１０は、全ての黒画素連結成分を含む外接矩形を求める。そして、画像処理装置１０は、２値化前のグレー化処理されたペン文字画像から外接矩形に相当する部分を抽出し、予め決められた一定の大きさになるように画像を線形変換する。画像処理装置１０は、線形変換による画像変換で、横軸方向のサイズが予め決められた一定の長さとなるように画像変換した後に、縦軸方向のサイズが予め決められた一定の長さとなるように画像変換する。以上がペン文字の正規化処理の概略である。
【００３５】
図７に示すように、先ず、画像処理装置１０は、グレー化処理されたペン文字画像を２値化する（ステップＳ１３ａ）。次に、画像処理装置１０は、２値化したペン文字画像に対してラベリング処理を実行する（ステップＳ１３ｂ）。次に、画像処理装置１０は、ラベリング処理の結果に基づき、ラベル数と、ラベルに対応する黒画素連結成分の外接矩形とを算出する（ステップＳ１３ｃ）。次に、画像処理装置１０は、２値化前のグレー化処理された画像であるペン文字画像から外接矩形に相当する部分を抽出した画像を線形変換する（ステップＳ１３ｄ）。画像処理装置１０は、ステップＳ１３ｄの処理が終了すると、図６に示すステップＳ１４の処理へ処理を移す。
【００３６】
以上の処理により、予め定められたサイズである、グレー化処理されたペン文字画像の正規化画像が得られる。図８は、実施例に係るグレー処理化されたペン文字画像の正規化処理前後の一例を示す図である。図８に向かって上方が正規化処理前のグレー処理化されたペン文字画像であり、図８に向かって下方が正規化処理後のグレー処理化されたペン文字画像である。なお、ペン文字画像は、カードに記入された文字の軌跡に基づくため、領域の面積がより狭くなる傾向がある。よって、グレー化処理されたペン文字画像に対して正規化処理を実行して画像面積を拡大することにより、カード画像とのサイズの差をより小さくし、後段のマッチング処理の効率性及び精度をより高める。
【００３７】
（カード画像の正規化処理）
図９は、実施例に係るカード画像の正規化処理の一例を示すフローチャートである。カード画像の正規化処理は、図６のステップＳ１８に示す処理であり、概略は、次のとおりである。画像処理装置１０は、カード画像に対して、図７に示すペン文字画像の正規化処理と同様の処理を実行する。画像処理装置１０は、カード画像の正規化処理では、ラベリング処理の後にノイズ除去処理を実行する。画像処理装置１０は、所定サイズ以上の黒画素連結成分と、所定サイズ以下の黒画素連結成分とを除外することによりノイズ除去処理を実行する。以上がカード画像の正規化処理の概略である。
【００３８】
図９に示すように、先ず、画像処理装置１０は、グレー化処理されたカード画像を２値化する（ステップＳ１８ａ）。次に、画像処理装置１０は、２値化したカード画像に対してラベリング処理を実行する（ステップＳ１８ｂ）。次に、画像処理装置１０は、ラベリング処理したカード画像に対して、所定サイズ以上の黒画素連結成分と、所定サイズ以下の黒画素連結成分を除外することにより、ノイズ除去処理を実行する（ステップＳ１８ｃ）。
【００３９】
次に、画像処理装置１０は、ラベリング処理され、ノイズ除去処理された結果に基づき、カード画像のラベル数と、ラベルに対応する黒画素連結成分の外接矩形とを算出する（ステップＳ１８ｄ）。次に、画像処理装置１０は、２値化前のグレー化処理されたカード画像から外接矩形に相当する部分を抽出した画像を線形変換する（ステップＳ１８ｅ）。画像処理装置１０は、ステップＳ１８ｅの処理が終了すると、図６に示すステップＳ１９の処理へ処理を移す。
【００４０】
以上の処理により、グレー化処理されたカード画像の正規化画像が得られる。図１０は、実施例に係るカード画像の正規化処理前後の一例を示す図である。図１０に向かって上方が正規化処理前のカード画像であり、図１０に向かって下方が正規化処理後のカード画像である。なお、ボードの全体画像から抽出したカード画像は、領域の面積がより広くなる傾向がある。よって、グレー化処理されたカード画像に対して正規化処理を実行して画像面積を縮小することにより、ペン文字画像とのサイズの差をより小さくし、後段のマッチング処理の効率性及び精度をより高める。
【００４１】
（マッチング処理）
図１１は、実施例に係るマッチング処理の一例を示すフローチャートである。マッチング処理は、図６のステップＳ１９に示す処理である。マッチング処理の概略は、次のとおりである。すなわち、画像処理装置１０は、全体画像から抽出したカード画像の正規化画像と、各ペン文字画像をグレー化処理した正規化画像とをマッチングさせる。先ず、画像処理装置１０は、単純マッチングと呼ぶ処理を実行する。この結果、全体画像から抽出したカード画像の正規化画像と最も類似しているペン文字画像の正規化画像、対応する正規化相互相関値、正規化相互相関値に対応する信頼度を算出する。正規化相互相関値及び信頼度については、後述する。
【００４２】
ここで、画像処理装置１０は、単純マッチングにより算出された信頼度が所定閾値を超える場合は、対応する正規化相互相関値が第１位であるペン文字画像の正規化画像をカード画像に対するマッチング結果とする。また、画像処理装置１０は、単純マッチングの信頼度が所定閾値を超えない場合は、さらに厳密マッチングと呼ぶ処理を実行する。なお、以下の説明では、全体画像から抽出したカード画像の正規化画像のうち、第ｐ番目の画像に対するマッチング処理を説明する。第ｐ番目のカード画像に対して対応するペン文字画像を探索し、第ｑ番目のペン文字画像がマッチする場合を、Ｎ（ｐ）＝ｑと表す。
【００４３】
図１１に示すように、先ず、画像処理装置１０は、全体画像から抽出したカード画像の正規化画像に対して、各ペン文字画像の正規化画像をマッチングさせる単純マッチング処理を実行する（ステップＳ１９ａ）。単純マッチング処理の詳細は、図１２を参照して後述する。
【００４４】
次に、画像処理装置１０は、単純マッチング処理で得られた、全体画像から抽出したカード画像の正規化画像と最も類似しているペン文字画像の正規化画像に対応する正規化相互相関値の信頼度が所定閾値ｔｈＲ以上であるか否かを判定する（ステップＳ１９ｂ）。画像処理装置１０は、全体画像から抽出したカード画像の正規化画像と最も類似するペン文字画像の正規化画像に対応する正規化相互相関値の信頼度が所定閾値ｔｈＲ以上であると判定した場合（ステップＳ１９ｂＹｅｓ）、ステップＳ１９ｄへ処理を移す。
【００４５】
一方、画像処理装置１０は、全体画像から抽出したカード画像の正規化画像と最も類似するペン文字画像の正規化画像の信頼度が所定閾値ｔｈＲ以上であると判定しなかった場合（ステップＳ１９ｂＮｏ）、ステップＳ１９ｃへ処理を移す。次に、画像処理装置１０は、全体画像から抽出したカード画像の正規化画像に対して、各ペン文字画像の正規化画像をマッチングさせる厳密マッチング処理を実行する（ステップＳ１９ｃ）。厳密マッチング処理の詳細は、図１５を参照して後述する。
【００４６】
次に、画像処理装置１０は、第１位の正規化相互相関値に対応するカード画像と、文字画像とを対応付ける（ステップＳ１９ｄ）。画像処理装置１０は、ステップＳ１９ｄが終了すると、画像処理装置１０は、マッチング処理を終了し、図６のステップＳ２０へ処理を移す。
【００４７】
（単純マッチング処理）
図１２は、実施例に係る単純マッチング処理の一例を示すフローチャートである。単純マッチング処理は、図１１のステップＳ１９ａに示す処理である。単純マッチングの処理の概要は、次のとおりである。すなわち、画像処理装置１０は、単純マッチング処理において、全体画像から抽出したカード画像の正規化画像に対して、各ペン文字画像の正規化画像との類似度として正規化相互相関値を算出する。なお、正規化相互相関値は、−１から１までの値を取る。正規化相互相関値の算出は、特開平０９−２２３２３３号公報等に記載の公知の方法を用いることができる。
【００４８】
そして、画像処理装置１０は、全体画像から抽出したカード画像の各正規化画像と、各ペン文字画像の正規化画像との正規化相互相関値を求める。具体的には、画像処理装置１０は、正規化相互相関値の大きさが第１位の正規化相互相関値ＮＣＣ１及び第２位の正規化相互相関値ＮＣＣ２を、次の（１）式により求める。
【００４９】
【数１】
0005915275.tif 000002
【００５０】
なお、（１）式において、ペン文字画像の正規化画像とカード画像の正規化画像のサイズがＭ（横軸方向の画素数）×Ｎ（縦軸方向の画素数）であるとする。また、（１）式において、ｆ（ｘ，ｙ）は、ペン文字画像の正規化画像の濃度値、例えば画素値を表す。また、（１）式において、ｇ（ｘ，ｙ）は、カード画像の正規化画像の濃度値、例えば画素値を表す。そして、画像処理装置１０は、所定閾値ｔｈＮＣＣを用いた次の（２）式により、単純マッチングの信頼度を算出する。
【００５１】
【数２】
0005915275.tif 000003
【００５２】
ここで、第ｎ位の大きさの正規化相互相関値をＮＣＣｎと表す（ｎは自然数）。上述したように、（２）式におけるＮＣＣ１は、（１）式により算出した、大きさが第１位の正規化相互相関値である。また、ＮＣＣ２は、（１）式により算出した、大きさが第２位の正規化相互相関値である。そして、画像処理装置１０は、正規化相互相関値の大きさが第１位であるペン文字画像がｑ番目である場合、Ｒ≧ｔｈＲを充足するならば、Ｎ（ｐ）＝ｑとして、ｑ番目のペン文字画像が対応すると判定する。一方、画像処理装置１０は、正規化相互相関値の大きさが第１位であるペン文字画像がｑ番目である場合であって、Ｒ≧ｔｈＲを充足しないならば、Ｎ（ｐ）＝−１として、対応するペン文字画像が存在しないと判定する。以上が単純マッチングの処理の概要である。
【００５３】
図１２に示すように、先ず、画像処理装置１０は、カウンタ変数ｋをｋ＝０としてｋを初期化する（ステップＳ１９ａ−１）。次に、画像処理装置１０は、カウンタ変数ｋ（ｋは非負整数）がペン文字画像の枚数が小であるか否かを判定する（ステップＳ１９ａ−２）。画像処理装置１０は、カウンタ変数ｋがペン文字画像の枚数より小であると判定した場合（ステップＳ１９ａ−２Ｙｅｓ）、ステップＳ１９ａ−３へ処理を移す。一方、画像処理装置１０は、カウンタ変数ｋがペン文字画像の枚数より小であると判定しなかった場合（ステップＳ１９ａ−２Ｎｏ）には、ステップＳ１９ａ−５へ処理を移す。
【００５４】
次に、画像処理装置１０は、上述の（１）式に基づき、全体画像から抽出したカード画像の正規化画像と、ｋ枚目のペン文字画像の正規化画像との正規化相互相関値を算出する（ステップＳ１９ａ−３）。次に、画像処理装置１０は、カウンタ変数ｋを１だけインクリメントする（ステップＳ１９ａ−４）。ステップＳ１９ａ−４が終了すると、画像処理装置１０は、ステップＳ１９ａ−２へ処理を移す。
【００５５】
次に、画像処理装置１０は、上述の（２）式に基づき、全体画像から抽出したカード画像の正規化画像との正規化相互相関値の大きさが第１位であるペン文字画像の正規化画像の信頼度を算出する（ステップＳ１９ａ−５）。ステップＳ１９ａ−５の処理が終了すると、画像処理装置１０は、単純マッチング処理を終了し、図１１に示すステップＳ１９ｂの処理へ移る。
【００５６】
（厳密マッチング処理）
一般に、全体画像は、照明による明暗が変動したり、カードの影を含んだりする。よって、全体画像から抽出したカード画像を正規化処理する際に、カードの影などがノイズとして残ったり、文字の一部を影などのノイズとして除去してしまったりする。このため、全体画像を正しく正規化処理できないことがある。
【００５７】
図１３は、実施例に係るカード画像及びカード画像の２値化画像の一例を示す図である。図１４は、実施例に係るノイズを含むカード画像及びノイズを含むカード画像の正規化画像の一例を示す図である。図１３に示すように、２値化画像には、カードの影とカードの表面への照明の当たり方による違いから起因するノイズがあることがわかる。
【００５８】
図１４に向かって上方に示すように、カード画像がノイズを含む場合には、ノイズの一部が文字の一部と判定されたり、文字の一部、例えば“グ”の濁点をノイズと判定されたりする。よって、図１４に向かって下方に示すように、正規化領域が不正確になり、正規化画像が正しく生成されない。
【００５９】
このように、ノイズを含むカード画像の正規化画像に対して単純マッチング処理を実行すると、類似するペン文字画像が存在しない、又は、単純マッチングの信頼度が低いという結果になる。そこで、画像処理装置１０は、ノイズを含むカード画像の正規化画像に対しても対応するペン文字画像を求めるために、厳密マッチングを実行する。
【００６０】
図１５は、実施例に係る厳密マッチング処理の一例を示すフローチャートである。厳密マッチング処理の概要は、次のとおりである。厳密マッチング処理は、全体画像から抽出したカード画像の正規化画像と、各ペン文字画像の正規化画像に対して、次の処理を行う。
【００６１】
先ず、画像処理装置１０は、画像の横軸方向（画素数Ｍ）と縦軸方向（画素数Ｎ）について、それぞれ連続ＤＰ（Dynamic  Programming、動的計画法）により、カード画像の正規化画像と、各ペン文字画像の正規化画像との対応関係を求める。なお、連続ＤＰの詳細は、後述する。そして、画像処理装置１０は、得られた対応関係を直線近似することにより、画像間の変換パラメータを推定する。なお、変換パラメータの詳細は、後述する。
【００６２】
次に、画像処理装置１０は、変換パラメータに基づいて、全体画像からカード領域を再度抽出して正規化を行い、正規化相互相関値を算出する。そして、画像処理装置１０は、正規化相互相関値の大きさが第１位となるペン文字画像のカウンタ番号と正規化相互相関値を求め、厳密マッチングの信頼度を算出する。
【００６３】
図１５に示すように、先ず、画像処理装置１０は、カウンタ変数ｍをｍ＝０として初期化する（ステップＳ１９ｃ−１）。次に、画像処理装置１０は、カウンタ変数ｍ（ｍは非負整数）がペン文字画像の枚数より小であるか否かを判定する（ステップＳ１９ｃ−２）。画像処理装置１０は、カウンタ変数ｍがペン文字画像の枚数より小であると判定した場合（ステップＳ１９ｃ−２Ｙｅｓ）、ステップＳ１９ｃ−３へ処理を移す。一方、画像処理装置１０は、カウンタ変数ｍがペン文字画像の枚数より小であると判定しなかった場合（ステップＳ１９ｃ−２Ｎｏ）、ステップＳ１９ｃ−８へ処理を移す。
【００６４】
次に、画像処理装置１０は、画像の横軸方向（ｘ）と縦軸方向（ｙ）それぞれについて、カード画像の正規化画像と、各ペン文字画像の正規化画像とに対して連続ＤＰを実行する（ステップＳ１９ｃ−３）。次に、画像処理装置１０は、変換パラメータを推定する（ステップＳ１９ｃ−４）。変換パラメータの推定については、後に詳述する。次に、画像処理装置１０は、カード画像の再正規化を実行する（ステップＳ１９ｃ−５）。カード画像の再正規化については、後に詳述する。
【００６５】
次に、画像処理装置１０は、該当するカード画像の正規化画像と、ペン文字画像の正規化画像との正規化相互相関値を算出する（ステップＳ１９ｃ−６）。この処理は、図１２に示すステップＳ１９ａ−３と同様の処理である。次に、画像処理装置１０は、カウンタ変数ｍを１だけインクリメントする（ステップＳ１９ｃ−７）。画像処理装置１０は、ステップＳ１９ｃ−７の処理が終了すると、ステップＳ１９ｃ−２へ処理を移す。
【００６６】
一方、画像処理装置１０は、図１２に示すステップＳ１９ａ−５と同様に、全体画像から抽出したカード画像の正規化画像との正規化相互相関値の大きさが第１位であるペン文字画像の正規化画像の信頼度を算出する（ステップＳ１９ｃ−８）。ステップＳ１９ｃ−８の処理が終了すると、画像処理装置１０は、マッチング処理を終了し、図１１に示すステップＳ１９ｄへ処理を移す。
【００６７】
（連続ＤＰについて）
画像処理装置１０は、画像の横軸方向（ｘ）及び縦軸方向（ｙ）について、それぞれ連続ＤＰによって画像間の対応関係を求める。具体的には、画像処理装置１０は、カード画像の正規化画像とペン文字画像の正規化画像をそれぞれ２値化し、横軸と縦軸の２方向に対して画像全体の射影ヒストグラムを作成する。そして、画像処理装置１０は、画像の横軸方向（ｘ）及び縦軸方向（ｙ）について、得られた射影ヒストグラム間を連続ＤＰ（ダイナミック・プログラミング、動的計画法）によって照合する。
【００６８】
図１６Ａは、実施例に係るペン文字画像の正規化画像に関する射影ヒストグラムの一例を示す図である。図１６Ｂは、実施例に係るカード画像の正規化画像に関する射影ヒストグラムの一例を示す図である。連続ＤＰとは、端点フリーＤＰとも呼ばれる非線形マッチング方式の一種であり、次の（３）式及び（４）式の漸化式に基づいて順次計算を行うことによってマッチングの経路を選択し、選択した経路を記録していくものである。なお、（３）式では、右辺の括弧内の３つの式により求まる値の最小値をＰ（ｘ，ｙ）の値とすることを示す。また、（４）式は、（３）式の右辺の３つの式それぞれに対応するｃ（ｘ，ｙ）を与える式であり、（３）式の右辺の３つの式のうちＰ（ｘ，ｙ）を与える式に対応する（４）式の右辺の３つの式のうちの１つの式によりｃ（ｘ，ｙ）を算出することを示す。
【００６９】
【数３】
0005915275.tif 000004
【００７０】
【数４】
0005915275.tif 000005
【００７１】
具体的には、画像処理装置１０は、連続ＤＰにより、次のようにして計算を行う。図１７は、実施例に係るペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムの算出方法の一例を示す図である。ペン文字画像の正規化画像とカード画像の正規化画像のサイズがＭ（横軸方向の画素数）×Ｎ（縦軸方向の画素数）であるとする。また、横軸方向の画素数Ｍについて、図１７に示す横軸方向に、ペン文字画像の射影ヒストグラムｈ１（ｙ）（ｙ＝０、１、・・・、Ｍ−１）を表す。また、同様に、横軸方向の画素数Ｍについて、図１７に示す縦軸方向に、カード画像の射影ヒストグラムｈ２（ｘ）（ｘ＝０、１、・・・、Ｍ−１）を表すとする。なお、（３）式におけるＱ（ｘ，ｙ）は、｜ｈ１（ｙ）−ｈ２（ｘ）｜である。ただし、｜＊｜は、＊の絶対値を表す。
【００７２】
画像処理装置１０は、（３）式により、漸化式である（３）式によってＰ（ｘ，ｙ）を順次計算する。また、画像処理装置１０は、（３）式に基づく漸化式の計算過程で選択された経路に基づいて、漸化式である（４）式により、重みｃ（ｘ，ｙ）を順次計算するとともに、選択経路を記録する。
【００７３】
画像処理装置１０は、Ｐ（ｘ，ｙ）の漸化式による計算が終了すると、次の（５）式によって、Ｐ（ｘ，ｙ））を重みｃ（ｘ，ｙ）で正規化した値Ｒ（ｘ，ｙ）を計算する。そして、次の（６）式で表される（ｘ，ｙ）の集合の中から最小のＲ（ｘ，ｙ）を解として選択する。（６）式で表される（ｘ，ｙ）の集合は、図１７に向って右下に示すボールド線の矩形領域に該当する。
【００７４】
【数５】
0005915275.tif 000006
【００７５】
【数６】
0005915275.tif 000007
【００７６】
なお、画像処理装置１０は、上述と同様の処理を、縦軸方向の画素数Ｎについても、ペン文字画像の射影ヒストグラムをｈ１（ｙ）（ｙ＝０、１、・・・、Ｎ−１）、カード画像の射影ヒストグラムｈ２（ｘ）（ｘ＝０、１、・・・、Ｎ−１）として実行する。
【００７７】
（射影ヒストグラムの対応関係）
図１８は、実施例に係るペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムの対応関係の一例を示す図である。図１９は、実施例に係るペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムを対応関係に従って重ね合わせた一例を示す図である。図１８は、ペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムの対応関係をグラフ上に示したもので、選択された最小のＲ（ｘ，ｙ）からそれまでに至る経路をたどって対応関係として表示したものである。図１９は、図１６Ａ及び図１６Ｂに示した２つの射影ヒストグラムを図１８に示した対応関係に従って重ねたものである。
【００７８】
（変換パラメータ推定）
画像処理装置１０は、連続ＤＰによって、縦軸と横軸の各座標間の対応関係を得る。画像間の相違を平行移動及び拡大縮小によるずれであるとすると、各座標間の対応関係は直線になる。そこで、画像処理装置１０は、連続ＤＰによる対応結果を直線近似し、直線の切片を平行移動量、直線の傾きを拡大縮小量としてそれぞれ推定する。直線近似は最小二乗法を用いる。図２０は、実施例に係るペン文字画像及びカード画像の正規化画像に関する射影ヒストグラムの対応関係を直線近似した一例を示す図である。
【００７９】
図２０に示すｘ軸はカード画像の座標に対応し、ｙ軸はペン文字画像の座標に対応する。以下、横軸方向と縦軸方向の連続ＤＰそれぞれについて、求めた直線の傾きを（ａｘ）、（ａｙ）と表し、切片を（ｄｘ）、（ｄｙ）と表す。すなわち、カード画像と、ペン文字画像との横軸方向における対応関係を示す近似直線は、次の（７）式のように表すことができる。また、カード画像と、ペン文字画像との縦軸方向における対応関係を示す近似直線は、次の（８）式のように表すことができる。画像処理装置１０は、（ａｘ）、（ａｙ）、（ｄｘ）、（ｄｙ）を変換パラメータとして推定する。なお、（ａｘ）及び（ａｙ）は、図２０に示す近似直線の傾きに相当する。また、（ｄｘ）及び（ｄｙ）は、図２０に示す近似直線の切片に相当する。
【００８０】
【数７】
0005915275.tif 000008
【００８１】
【数８】
0005915275.tif 000009
【００８２】
（カード画像の再正規化）
図２１Ａ及び図２１Ｂは、実施例に係るカード画像の再正規化の一例を示す図である。画像処理装置１０は、推定した変換パラメータに基づいて、カード領域の抽出を再度実行して再び正規化を実行する。変換パラメータは、横軸方向及び縦軸方向の平行移動と拡大縮小に基づく値であるので、画像処理装置１０は、平行移動と拡大縮小に対応する値を逆算してカード領域の再抽出位置を求める。具体的には、画像処理装置１０は、次のようにしてカード領域の再抽出位置を求める。
【００８３】
図２２は、実施例に係るカード領域の抽出の一例を示す図である。画像処理装置１０は、図２２に示すように、カード画像の正規化処理において算出される外接矩形にそって抽出したカード画像を正規化処理する。そこで、画像処理装置１０は、図１５のステップＳ１９ｃ−４の処理で推定した変換パラメータを用いて、全体画像からカード画像を抽出する抽出位置を補正する処理を実行する。図２２に示すように、カード画像の左上を原点とした座標系とし、外接矩形の座標を左上の点を（ｘ１，ｙ１）と右下の点を（ｘ２，ｙ２）とで表す。
【００８４】
ここで、横軸方向のカード画像の抽出位置の補正方法を説明する。先ず、図２１Ａ及び図２１Ｂに示すように、画像処理装置１０は、カード画像と、ペン文字画像との対応関係を示す（７）式において、ｙ＝０に対応するｘ＝ｓ０を求める。また、同様に、画像処理装置１０は、（７）式において、ｙ＝Ｍに対応するｘ＝ｓ１を求める。具体的には、ｓ０及びｓ１は、（９）式及び（１０）式に示すとおりである。ｓ０とｓ１は、図２１Ｂに示すように、カード画像の正規化画像における、図２１Ｂに向かって左方の対応点と右方の対応点に相当する。
【００８５】
【数９】
0005915275.tif 000010
【００８６】
【数１０】
0005915275.tif 000011
【００８７】
次に、画像処理装置１０は、ｓ０及びｓ１を元々のカード画像における対応点に変換する。図２３は、実施例に係る正規化処理及び正規化処理の逆変換による座標の対応関係の一例を示す図である。すなわち、画像処理装置１０は、カード画像の抽出位置（ｘ１，ｙ１）、（ｘ２，ｙ２）から、抽出位置の横の長さＬｘは、次の（１１）式のとおりとなる。
【００８８】
【数１１】
0005915275.tif 000012
【００８９】
正規化処理では、長さＬｘがＭに変換されるので、正規化処理の逆変換によりｓ０及びｓ１の対応点が求められる。具体的には、図２３に示すように、画像処理装置１０は、ｓ０に対応する正規化処理の逆変換による点ｘ１＋ｓ０×Ｌｘ／Ｍ、ｓ１に対応する正規化処理の逆変換による点ｘ１＋ｓ１×Ｌｘ／Ｍを算出する。ｓ０に対応する点ｘ１＋ｓ０×Ｌｘ／Ｍ、ｓ１に対応する点ｘ１＋ｓ１×Ｌｘ／Ｍは、図１５のステップＳ１９ｃ−４の変換パラメータ推定により求められた変換パラメータを含むので、図２３の下方に示すように、カード画像のｘ軸方向の抽出位置が補正される。画像処理装置１０は、ｙ軸方向についても同様の処理を実行する。
【００９０】
そして、画像処理装置１０は、補正されたカード画像抽出位置に基づき、カード画像を再度抽出し、あらかじめ決めた一定の大きさになるように画像を線形に変換することで正規化を行う。図２４は、単純マッチングより抽出した正規化領域及び厳密マッチングにより抽出した正規化領域の一例を示す図である。図２４の上方に示すように、矩形領域Ｍ１が単純マッチングにより抽出する外接矩形であり、矩形領域Ｍ２が厳密マッチングにより抽出する外接矩形である。図２４の下方のカード画像Ｍ３が示すように、画像処理装置１０は、厳密マッチングによりカード画像を抽出して正規化処理を実行することにより、単純マッチングと比較してより精度よくカード画像を抽出することができる。
【００９１】
（正規化相互相関値と信頼度の算出）
続いて、画像処理装置１０は、得られたカード画像の正規化画像とペン文字画像の正規化相互相関値を算出する。そして、画像処理装置１０は、全てのペン文字画像に対する正規化相互相関値を求めてから、正規化相互相関値の大きさの第１位及び第２位を与える各ペン文字画像の番号と正規化相互相関値を求める。そして、画像処理装置１０は、単純マッチングと同様に、正規化相互相関値の大きさの第１位を与えるペン文字画像について、上述の（１）式及び（２）式に基づいて、厳密マッチングの信頼度を算出する。画像処理装置１０は、正規化相互相関値の第１位を与えるペン文字画像がｑ番目であるとし、信頼度がＲ≧ｔｈＲをみたすならばＮ（ｐ）＝ｑとし、信頼度がＲ≧ｔｈＲをみたさないならば、Ｎ（ｐ）＝−１として対応するペン画像が存在しないと判定する。
【００９２】
（実施例による効果）
画像処理装置１０は、全体画像から抽出するカード画像とペン文字画像とを端点フリーの連続ＤＰによってマッチングし、２つの画像間の変換パラメータを推定し、カード画像の抽出位置を補正する。このため、実施例に係る画像処理装置１０は、カードの影などのノイズがあってもより正確に抽出位置を補正し、高精度なマッチング処理が可能であり、全体画像の電子化をより効率的かつより正確に行うことができる。
【００９３】
なお、上述の実施例では、文字画像を電子ペンから得るとしたが、これに限らず、タブレット等のデジタイザを用いてもよい。また、上述の実施例では、厳密マッチングを行う際に、連続ＤＰを用いるとしたが、これに限らず、他の非線形マッチングの手法を用いてもよい。
【００９４】
また、上述の実施例で説明した各処理を実行するカード領域抽出部１１、カードマッチング部１２、ＧＵＩ制御部１３は、一例として、ＡＳＩＣ、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等の集積回路で実現できる。各処理を実行するカード領域抽出部１１、カードマッチング部１２、ＧＵＩ制御部１３は、ＣＰＵ等の集積回路、内部記憶装置及び外部記憶装置の協働により実行される。また、全体画像記憶部２０、電子ペン文字情報記憶部３０、カードマッチング結果記憶部５０は、一例として、ＲＡＭ、フラッシュメモリ、外部記憶装置等で実現できる。
【００９５】
なお、ＡＳＩＣは“Application  Specific  Integrated  Circuit”、ＣＰＵは“Central  Processing  Unit”、ＭＰＵは“Micro  Processing  Unit”、ＦＰＧＡは“Field  Programmable  Gate  Array”の略である。内部記憶装置は、ＲＡＭ（Random  Access  Memory）等の半導体メモリ装置である。外部記憶装置は、フラッシュメモリ（flash  memory）、磁気ディスク、光ディスク、光磁気ディスク等を記憶媒体とする記憶装置である。
【００９６】
（画像処理プログラム）
以上の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行させることで行ってもよい。図２５は、実施例に係る画像処理プログラムを実行するコンピュータの一例を示す図である。図２５に示すように、コンピュータ５００は、バス５０７を介して接続されるＣＰＵ５０１、ＲＡＭ５０２、外部記憶装置５０３、ユーザの操作を受け付ける操作部５０４、各種処理の実行に係る情報を表示する表示部５０５、通信部５０６を有する。
【００９７】
外部記憶装置５０３には、図１に示したカード領域抽出部１１、カードマッチング部１２、ＧＵＩ制御部１３と同様の機能を発揮するカード領域抽出プログラム５０３ａ、カードマッチングプログラム５０３ｂ、ＧＵＩ制御プログラム５０３ｃの実行に要する各種データが予め格納される。画像処理プログラムは、図１に示した各部と同様、適宜統合又は分散させてもよい。
【００９８】
図２５に示す様に、ＣＰＵ５０１が、各プログラム５０３ａ〜５０３ｃを外部記憶装置５０３から読み出して実行する。これにより、カード領域抽出プログラム５０３ａは、カード領域抽出プロセス５０１ａとして機能する。また、カードマッチングプログラム５０３ｂは、カードマッチングプロセス５０１ｂとして機能する。また、ＧＵＩ制御プログラム５０３ｃは、ＧＵＩ制御プロセス５０１ｃとして機能する。
【００９９】
なお、各プログラム５０３ａ〜５０３ｃによりＣＰＵ５０１、ＲＡＭ５０２及び外部記憶装置５０３で実現される図１に示す各部は、処理の実行時に適宜に実現されればよい。また、各プログラム５０３ａ〜５０３ｃについては、予め外部記憶装置５０３に格納されていなくともよい。例えば、コンピュータ５００が読み取り可能な可搬の磁気ディスク、光ディスク、光磁気ディスク、集積回路搭載カード等の可搬用の物理媒体に各プログラムを記憶させておく。そして、コンピュータ５００が、媒体読み取り装置を介して可搬用の物理媒体から各プログラムを読み出して実行するようにしてもよい。また、公衆回線網又は閉域回線網を介してコンピュータ５００と通信部５０６を介して通信可能な他のコンピュータから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【０１００】
１０  画像処理装置
１１  カード領域抽出部
１２  カードマッチング部
１３  ＧＵＩ制御部
２０  全体画像記憶部
３０  電子ペン文字情報記憶部
４０  入出力部
５０  カードマッチング結果記憶部
【図１】
0005915275.tif 000013
【図２】
0005915275.tif 000014
【図３】
0005915275.tif 000015
【図４】
0005915275.tif 000016
【図５】
0005915275.tif 000017
【図６】
0005915275.tif 000018
【図７】
0005915275.tif 000019
【図８】
0005915275.tif 000020
【図９】
0005915275.tif 000021
【図１０】
0005915275.tif 000022
【図１１】
0005915275.tif 000023
【図１２】
0005915275.tif 000024
【図１３】
0005915275.tif 000025
【図１４】
0005915275.tif 000026
【図１５】
0005915275.tif 000027
【図１６Ａ】
0005915275.tif 000028
【図１６Ｂ】
0005915275.tif 000029
【図１７】
0005915275.tif 000030
【図１８】
0005915275.tif 000031
【図１９】
0005915275.tif 000032
【図２０】
0005915275.tif 000033
【図２１Ａ】
0005915275.tif 000034
【図２１Ｂ】
0005915275.tif 000035
【図２２】
0005915275.tif 000036
【図２３】
0005915275.tif 000037
【図２４】
0005915275.tif 000038
【図２５】
0005915275.tif 000039