(57)【要約】  本発明は、領域認識方法及び装置を開示し、画像処理分野に属する。本発明の領域認識方法は、証明書類画像における顔領域の領域位置を取得し、顔領域の領域位置に基づき少なくとも１つの情報領域を決定し、情報領域に対して領域切断を行い、少なくとも１つのキャラクター領域を得ることによって、関連技術における直接的に撮影された証明書類画像におけるある情報領域に対する認識の難易度が大きく且つある情報領域に対する位置決めが不正確であるという問題を解決し、証明書類画像における顔領域の領域位置により他の情報領域を決定し、他の情報領域を切断することによって、情報領域に対して正確に位置決めを行うとともに情報領域におけるキャラクター領域を正確に認識する効果を達する。【選択図】図２
2018503201.tif 000002
【特許請求の範囲】
【請求項１】
分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、
前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、各前記正サンプル画像は少なくとも１つの数字を含み、各前記負サンプル画像はゼロ個の数字又は不完全な数字を含むことと、
前記認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得ることと、
前記数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることと、を含むことを特徴とする領域抽出方法。
【請求項２】
前記認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得ることは、
所定のウィンドウを使用して所定のウィンドウスキャンポリシに従って前記認識すべき画像から候補ウィンドウ領域を抽出することと、
前記候補ウィンドウ領域の画像特徴を前記認識モデルに入力して分類し、分類結果を得ることと、
前記分類結果が正結果であれば、前記候補ウィンドウ領域を前記数字領域として認識することと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
少なくとも２つの前記数字領域があり、
交差領域が存在するｎ個の前記数字領域を検索することと、
前記交差領域が存在する前記ｎ個の数字領域を合併し、合併後の前記数字領域を得ることと、を更に含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記交差領域が存在するｎ個の前記数字領域を合併し、合併後の前記数字領域を得ることは、
前記交差領域が存在するｎ個の前記数字領域の間の上縁と下縁が重なった場合、
ｎ個の前記数字領域のｎ個の左縁における最左側にある左縁を、合併後の左縁として決定することと、
ｎ個の前記数字領域のｎ個の右縁における最右側にある右縁を、合併後の右縁として決定することと、
前記上縁、前記下縁、前記合併後の左縁、前記合併後の右縁に基づき、前記合併後の前記数字領域を得ることと、を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることは、
前記数字領域を２値化し、２値化後の数字領域を得ることと、
前記２値化後の数字領域に対して垂直方向に応じてヒストグラムを算出し、前記ヒストグラムは、各列のピクセルの横座標と前記各列のピクセルにおける前景色ピクセルの累積値を含むことと、
前記ヒストグラムにおける前景色ピクセルの累積値が所定の閾値よりも大きい列からなる連続列セットに基づき、ｎ個の単一数字領域を認識することと、を含むことを特徴とする請求項１〜４のいずれかに記載の方法。
【請求項６】
所定のサンプル画像を取得し、前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、前記正サンプル画像は少なくとも１つの数字を含み、前記負サンプル画像はゼロ個の数字又は不完全な数字を含むことと、
分類アルゴリズムにより前記所定のサンプル画像を訓練し、認識モデルを得ることと、を含むことを特徴とするモデル訓練方法。
【請求項７】
前記分類アルゴリズムにより前記所定のサンプル画像を訓練し、認識モデルを得ることは、
前記正サンプル画像の画像特徴と前記負サンプル画像の画像特徴を抽出することと、
前記正サンプル画像の画像特徴と正結果を示すための第１ラベルを前記分類アルゴリズムにより確立された初期モデルに入力し、前記負サンプル画像の画像特徴と負結果を示すための第２ラベルを前記初期モデルに入力し、前記認識モデルを得ることと、を含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記分類アルゴリズムは、エイダブースト、サポートベクターマシンＳＶＭ、人工ニューラルネットワーク、遺伝的アルゴリズム、ナイーブベイズ、ディシジョンツリーおよびｋ近傍法アルゴリズムにおける少なくとも１種を含むことを特徴とする請求項６又は７に記載の方法。
【請求項９】
分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、各前記正サンプル画像は少なくとも１つの数字を含み、各前記負サンプル画像はゼロ個の数字又は不完全な数字を含むように配置される取得モジュールと、
前記認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得るように配置される認識モジュールと、
前記数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得るように配置される切断モジュールと、を含むことを特徴とする領域抽出装置。
【請求項１０】
前記認識モジュールは、
所定のウィンドウを使用して所定のウィンドウスキャンポリシに従って前記認識すべき画像から候補ウィンドウ領域を抽出するように配置されるウィンドウスキャンサブモジュールと、
前記候補ウィンドウ領域の画像特徴を前記認識モデルに入力して分類し、分類結果を得るように配置される分類サブモジュールと、
前記分類結果が正結果である場合、前記候補ウィンドウ領域を前記数字領域として認識するように配置される確認サブモジュールと、を含むことを特徴とする請求項９に記載の装置。
【請求項１１】
少なくとも２つの前記数字領域があり、
交差領域が存在するｎ個の前記数字領域を検索するように配置される検索モジュールと、
前記交差領域が存在する前記ｎ個の数字領域を合併し、合併後の前記数字領域を得るように配置される合併モジュールと、を更に含むことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記合併モジュールは、
前記交差領域が存在するｎ個の前記数字領域の間の上縁と下縁が重なった場合、
ｎ個の前記数字領域のｎ個の左縁における最左側にある左縁を、合併後の左縁として決定するように配置される第１の決定サブモジュールと、
ｎ個の前記数字領域のｎ個の右縁における最右側にある右縁を、合併後の右縁として決定するように配置される第２の決定サブモジュールと、
前記上縁、前記下縁、前記合併後の左縁、前記合併後の右縁に基づき、前記合併後の前記数字領域を得るように配置される第３の決定サブモジュールと、を含むことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記切断モジュールは、
前記数字領域を２値化し、２値化後の数字領域を得るように配置される２値化サブモジュールと、
前記２値化後の数字領域に対して垂直方向に応じてヒストグラムを算出し、前記ヒストグラムは、各列のピクセルの横座標と前記各列のピクセルにおける前景色ピクセルの累積値を含むように配置される算出サブモジュールと、
前記ヒストグラムにおける前景色ピクセルの累積値が所定の閾値よりも大きい列からなる連続列セットに基づき、ｎ個の単一数字領域を認識するように配置される数字認識サブモジュールと、を含むことを特徴とする請求項９〜１２のいずれかに記載の装置。
【請求項１４】
所定のサンプル画像を取得し、前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、前記正サンプル画像は少なくとも１つの数字を含み、前記負サンプル画像はゼロ個の数字又は不完全な数字を含むように配置されるサンプル取得モジュールと、
分類アルゴリズムにより前記所定のサンプル画像を訓練し、認識モデルを得るように配置される訓練モジュールと、を含むことを特徴とするモデル訓練装置。
【請求項１５】
前記訓練モジュールは、
前記正サンプル画像の画像特徴と前記負サンプル画像の画像特徴を抽出するように配置される抽出サブモジュールと、
前記正サンプル画像の画像特徴と正結果を示すための第１ラベルを前記分類アルゴリズムで確立された初期モデルに入力し、前記負サンプル画像の画像特徴と負結果を示すための第２ラベルを前記初期モデルに入力し、前記認識モデルを得るように配置される入力サブモジュールと、を含むことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記分類アルゴリズムは、エイダブースト、サポートベクターマシンＳＶＭ、人工ニューラルネットワーク、遺伝的アルゴリズム、ナイーブベイズ、ディシジョンツリーおよびｋ近傍法アルゴリズムにおける少なくとも１種を含むことを特徴とする請求項１４又は１５に記載の装置。
【請求項１７】
分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、各前記正サンプル画像は少なくとも１つの数字を含み、各前記負サンプル画像はゼロ個の数字又は不完全な数字を含み、
前記認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を取得し、
前記数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得るように配置されるプロセッサと、
前記プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含むことを特徴とする領域抽出装置。
【請求項１８】
所定のサンプル画像を取得し、前記所定のサンプル画像は正サンプル画像及び負サンプル画像を含み、前記正サンプル画像は少なくとも１つの数字を含み、前記負サンプル画像はゼロ個の数字又は不完全な数字を含み、
分類アルゴリズムにより前記所定のサンプル画像を訓練し、認識モデルを得るように配置されるプロセッサと、
前記プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含むことを特徴とするモデル訓練装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は出願番号がＣＮ２０１５１０７２７９３２．０であり、出願日が２０１５年１０月３０日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容はここで参考として本願に援用される。
【０００２】
本発明は画像処理分野に関し、特に領域抽出方法、モデル訓練方法及び装置に関する。
【背景技術】
【０００３】
数字領域抽出は画像から数字領域を抽出する技術である。
【０００４】
関連技術における数字に関する領域抽出方法は、一般的には画像において所定の大きさと所定の桁数の数字の所在する領域を識別するだけであり、画像における数字のフォントスタイルが異なり、又はフォントサイズが異なり、又は数字の桁数が異なると、画像から数字領域を効果的に抽出し難い。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
関連技術における問題を解決するために、本発明は領域抽出方法、モデル訓練方法及び装置を提供する。当該技術案は、以下のとおりである。
【課題を解決するための手段】
【０００６】
本発明の実施例に係る第１の形態では、
分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、
前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、
各前記正サンプル画像は少なくとも１つの数字を含み、各前記負サンプル画像はゼロ個の数字又は不完全な数字を含むことと、
前記認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得ることと、
前記数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることと、を含む領域抽出方法を提供している。
【０００７】
好ましい実施例では、前記認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得ることは、
所定のウィンドウを使用して所定のウィンドウスキャンポリシに従って前記認識すべき画像から候補ウィンドウ領域を抽出することと、
前記候補ウィンドウ領域の画像特徴を前記認識モデルに入力して分類し、分類結果を得ることと、
前記分類結果が正結果であれば、前記候補ウィンドウ領域を前記数字領域として認識することと、を含む。
【０００８】
好ましい実施例では、少なくとも２つの前記数字領域があり、
上記方法は、
交差領域が存在するｎ個の前記数字領域を検索することと、
前記交差領域が存在する前記ｎ個の数字領域を合併し、合併後の前記数字領域を得ることと、を更に含む。
【０００９】
好ましい実施例では、
前記交差領域が存在するｎ個の前記数字領域を合併し、合併後の前記数字領域を得ることは、
前記交差領域が存在するｎ個の前記数字領域の間の上縁と下縁が重なった場合、
ｎ個の前記数字領域のｎ個の左縁における最左側にある左縁を、合併後の左縁として決定することと、
ｎ個の前記数字領域のｎ個の右縁における最右側にある右縁を、合併後の右縁として決定することと、
前記上縁、前記下縁、前記合併後の左縁、前記合併後の右縁に基づき、前記合併後の前記数字領域を得ることと、を含む。
【００１０】
好ましい実施例では、
前記数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることは、
前記数字領域を２値化し、２値化後の数字領域を得ることと、
前記２値化後の数字領域に対して垂直方向に応じてヒストグラムを算出し、前記ヒストグラムは、各列のピクセルの横座標と前記各列のピクセルにおける前景色ピクセルの累積値を含むことと、
前記ヒストグラムにおける前景色ピクセルの累積値が所定の閾値よりも大きい列からなる連続列セットに基づき、ｎ個の単一数字領域を認識することと、を含む。
【００１１】
本発明の実施例に係る第２の形態では、
所定のサンプル画像を取得し、前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、前記正サンプル画像は少なくとも１つの数字を含み、前記負サンプル画像はゼロ個の数字又は不完全な数字を含むことと、
分類アルゴリズムにより前記所定のサンプル画像を訓練し、認識モデルを得ることと、を含むモデル訓練方法を提供している。
【００１２】
好ましい実施例では、
前記分類アルゴリズムにより前記所定のサンプル画像を訓練し、認識モデルを得ることは、
前記正サンプル画像の画像特徴と前記負サンプル画像の画像特徴を抽出することと、
前記正サンプル画像の画像特徴と正結果を示すための第１ラベルを前記分類アルゴリズムにより確立された初期モデルに入力し、前記負サンプル画像の画像特徴と負結果を示すための第２ラベルを前記初期モデルに入力し、前記認識モデルを得ることと、を含む。
【００１３】
好ましい実施例では、
前記分類アルゴリズムは、エイダブースト（Ａｄａｂｏｏｓｔ）、サポートベクターマシンＳＶＭ、人工ニューラルネットワーク、遺伝的アルゴリズム、ナイーブベイズ、ディシジョンツリー、およびｋ近傍法アルゴリズムにおける少なくとも１種を含む。
【００１４】
本発明の実施例に係る第３の形態では、
分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、
前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、
各前記正サンプル画像は少なくとも１つの数字を含み、各前記負サンプル画像はゼロ個の数字又は不完全な数字を含むように配置される取得モジュールと、
前記認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得るように配置される認識モジュールと、
前記数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得るように配置される切断モジュールと、を含む領域抽出装置を提供している。
【００１５】
好ましい実施例では、
前記認識モジュールは、
所定のウィンドウを使用して所定のウィンドウスキャンポリシに従って前記認識すべき画像から候補ウィンドウ領域を抽出するように配置されるウィンドウスキャンサブモジュールと、
前記候補ウィンドウ領域の画像特徴を前記認識モデルに入力して分類し、分類結果を得るように配置される分類サブモジュールと、
前記分類結果が正結果である場合、前記候補ウィンドウ領域を前記数字領域として認識するように配置される確認サブモジュールと、を含む。
【００１６】
好ましい実施例では、
少なくとも２つの前記数字領域があり、
該装置は、
交差領域が存在するｎ個の前記数字領域を検索するように配置される検索モジュールと、
前記交差領域が存在する前記ｎ個の数字領域を合併し、合併後の前記数字領域を得るように配置される合併モジュールと、を更に含む。
【００１７】
好ましい実施例では、
前記合併モジュールは、
前記交差領域が存在するｎ個の前記数字領域の間の上縁と下縁が重なった場合、
ｎ個の前記数字領域のｎ個の左縁における最左側にある左縁を、合併後の左縁として決定するように配置される第１の決定サブモジュールと、
ｎ個の前記数字領域のｎ個の右縁における最右側にある右縁を、合併後の右縁として決定するように配置される第２の決定サブモジュールと、
前記上縁、前記下縁、前記合併後の左縁、前記合併後の右縁に基づき、前記合併後の前記数字領域を得るように配置される第３の決定サブモジュールと、を含む。
【００１８】
好ましい実施例では、
前記切断モジュールは、
前記数字領域を２値化し、２値化後の数字領域を得るように配置される２値化サブモジュールと、
前記２値化後の数字領域に対して垂直方向に応じてヒストグラムを算出し、前記ヒストグラムは、各列のピクセルの横座標と前記各列のピクセルにおける前景色ピクセルの累積値を含むように配置される算出サブモジュールと、
前記ヒストグラムにおける前景色ピクセルの累積値が所定の閾値よりも大きい列からなる連続列セットに基づき、ｎ個の単一数字領域を認識するように配置される数字認識サブモジュールと、を含む。
【００１９】
本発明の実施例に係る第４の形態では、
所定のサンプル画像を取得し、前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、前記正サンプル画像は少なくとも１つの数字を含み、前記負サンプル画像はゼロ個の数字又は不完全な数字を含むように配置されるサンプル取得モジュールと、
分類アルゴリズムにより前記所定のサンプル画像を訓練し、認識モデルを得るように配置される訓練モジュールと、を含むモデル訓練装置を提供している。
【００２０】
好ましい実施例では、
前記訓練モジュールは、
前記正サンプル画像の画像特徴と前記負サンプル画像の画像特徴を抽出するように配置される抽出サブモジュールと、
前記正サンプル画像の画像特徴と正結果を示すための第１ラベルを前記分類アルゴリズムで確立された初期モデルに入力し、前記負サンプル画像の画像特徴と負結果を示すための第２ラベルを前記初期モデルに入力し、前記認識モデルを得るように配置される入力サブモジュールと、を含む。
【００２１】
好ましい実施例では、
前記分類アルゴリズムは、エイダブースト（Ａｄａｂｏｏｓｔ）、サポートベクターマシンＳＶＭ、人工ニューラルネットワーク、遺伝的アルゴリズム、ナイーブベイズ、ディシジョンツリー、およびｋ近傍法アルゴリズムにおける少なくとも１種を含む。
【００２２】
本発明の実施例に係る第５の形態では、
分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、前記所定のサンプル画像は正サンプル画像と負サンプル画像を含み、各前記正サンプル画像は少なくとも１つの数字を含み、各前記負サンプル画像はゼロ個の数字又は不完全な数字を含み、
前記認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得て、
前記数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得るように配置されるプロセッサと、
前記プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含む領域抽出装置を提供している。
【００２３】
本発明の実施例に係る第６の形態は、
所定のサンプル画像を取得し、前記所定のサンプル画像は正サンプル画像及び負サンプル画像を含み、前記正サンプル画像は少なくとも１つの数字を含み、前記負サンプル画像はゼロ個の数字又は不完全な数字を含み、
分類アルゴリズムにより前記所定のサンプル画像を訓練し、認識モデルを得るように配置されるプロセッサと、
前記プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含むモデル訓練装置を提供している。
【発明の効果】
【００２４】
本発明の実施例に係る技術案は下記の有益な効果を含んでもよい。
【００２５】
分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、所定のサンプル画像は正サンプル画像と負サンプル画像を含み、各正サンプル画像は少なくとも１つの数字を含み、各負サンプル画像はゼロ個の数字又は不完全な数字を含み、認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得て、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることで、数字領域抽出方法において数字の大きさと数字桁数に制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、認識モデルにより画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めするとともに切断して抽出する効果を達成する。
【００２６】
以上の一般的な説明及び後述する詳細は例示的なものに過ぎず、本発明を制限するためのものではない。
【図面の簡単な説明】
【００２７】
ここの図面は明細書に組み込まれて本明細書の一部を構成し、本発明に適合する実施例を示し、明細書と共に本発明の原理を解釈するのに用いられる。
【００２８】
【図１】図１は例示的な実施例に係るモデル訓練方法を示すフローチャートである。
【図２】図２は例示的な実施例に係る領域抽出方法を示すフローチャートである。
【図３Ａ】図３Ａは別の例示的な実施例に係るモデル訓練方法を示すフローチャートである。
【図３Ｂ】図３Ｂは例示的な実施例に係るオリジナルサンプル画像の模式図である。
【図３Ｃ】図３Ｃは例示的な実施例に係る正サンプル画像の模式図である。
【図３Ｄ】図３Ｄは例示的な実施例に係る負サンプル画像の模式図である。
【図４】図４は別の例示的な実施例に係る領域抽出方法を示すフローチャートである。
【図５】図５は別の例示的な実施例に係る領域抽出方法を示すフローチャートである。
【図６Ａ】図６Ａは別の例示的な実施例に係る領域抽出方法を示すフローチャートである。
【図６Ｂ】図６Ｂは例示的な実施例に係る領域左縁の模式図である。
【図６Ｃ】図６Ｃは例示的な実施例に係る領域右縁の模式図である。
【図６Ｄ】図６Ｄは例示的な実施例に係る領域抽出の模式図である。
【図７Ａ】図７Ａは別の例示的な実施例に係る領域抽出方法を示すフローチャートである。
【図７Ｂ】図７Ｂは例示的な実施例に係る領域２値化の模式図である。
【図７Ｃ】図７Ｃは例示的な実施例に係る領域２値化ヒストグラムの模式図である。
【図７Ｄ】図７Ｄは例示的な実施例に係る領域２値化連続列セットの模式図である。
【図８】図８は例示的な実施例に係る領域抽出装置を示すブロック図である。
【図９】図９は別の例示的な実施例に係る領域抽出装置を示すブロック図である。
【図１０】図１０は別の例示的な実施例に係る領域抽出装置を示すブロック図である。
【図１１】図１１は別の例示的な実施例に係る領域抽出装置を示すブロック図である。
【図１２】図１２は例示的な実施例に係るモデル訓練装置を示すブロック図である。
【図１３】図１３は別の例示的な実施例に係るモデル訓練装置を示すブロック図である。
【図１４】図１４は例示的な実施例に係る領域抽出装置を示すブロック図である。
【発明を実施するための形態】
【００２９】
ここでは、例示的な実施例を詳しく説明し、その例を図面に示す。下記の説明は図面を参照する場合、特に明記しない限り、異なる図面における同一の符号は同一又は類似の要素を示す。下記の例示的な実施例で説明した実施形態は、本発明と一致するすべての実施形態を表すものではない。反対に、これらは、例えば特許請求の範囲に詳細に説明した、本発明のいくつかの形態と一致する装置および方法の例に過ぎない。
【００３０】
本発明の実施例は、認識モデルを訓練する第１過程と、認識モデルにより認識する第２過程という２つの過程を含む。この２つの過程は同一の端末を採用して実現してもよいし、第１端末を採用して第１過程を実行してもよく、第２端末を採用して第２過程を実行する。本発明の実施例はこれを限定しない。以下、異なる実施例を採用してそれぞれ第１過程と第２過程を説明する。
【００３１】
図１は例示的な実施例に係るモデル訓練方法を示すフローチャートである。該モデル訓練方法は以下のステップを含む。
【００３２】
ステップ１０１では、所定のサンプル画像を取得し、所定のサンプル画像が正サンプル画像及び負サンプル画像を含み、正サンプル画像が少なくとも１つの数字を含み、負サンプル画像がゼロ個の数字又は不完全な数字を含む。
【００３３】
ステップ１０２において、分類アルゴリズムにより所定のサンプル画像を訓練し、認識モデルを得る。
【００３４】
以上のように、本発明の実施例により提供されたモデル訓練方法は、少なくとも１つの数字を含む正サンプル画像とゼロ個の数字又は不完全な数字を含む負サンプル画像とを含む所定のサンプル画像を取得し、分類アルゴリズムにより所定のサンプル画像を訓練し、認識モデルを得ることで、数字領域抽出方法において数字の大きさと数字桁数に対して制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、該訓練過程に得られた認識モデルは画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めする効果を達する。
【００３５】
図２は例示的な実施例に係る領域抽出方法を示すフローチャートであり、該領域抽出方法は以下のステップを含む。
【００３６】
ステップ２０１では、認識モデルを取得し、認識モデルが分類アルゴリズムにより所定のサンプル画像を訓練して得たものであり、所定のサンプル画像が正サンプル画像及び負サンプル画像を含み、それぞれの正サンプル画像が少なくとも１つの数字を含み、それぞれの負サンプル画像がゼロ個の数字又は不完全な数字を含む。
【００３７】
ステップ２０２において、認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得る。
【００３８】
ステップ２０３では、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得る。
【００３９】
以上のように、本発明の実施例により提供された領域抽出方法は、分類アルゴリズムにより正サンプル画像と負サンプル画像を含む所定のサンプル画像を訓練して得た認識モデルを取得し、各正サンプル画像が少なくとも１つの数字を含み、各負サンプル画像がゼロ個の数字又は不完全な数字を含み、認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得て、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることで、数字領域抽出方法において数字の大きさと数字桁数に対して制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、認識モデルにより画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めするとともに切断して抽出する効果を達成する。
【００４０】
図３Ａは別の例示的な実施例に係るモデル訓練方法を示すフローチャートであり、該モデル訓練方法は以下のステップを含む。
【００４１】
ステップ３０１では、所定のサンプル画像を取得し、所定のサンプル画像が正サンプル画像及び負サンプル画像を含み、正サンプル画像が少なくとも１つの数字を含み、負サンプル画像がゼロ個の数字又は不完全な数字を含む。
【００４２】
画像ライブラリ又は直接的に撮影して得られた画像から所定のサンプル画像を選択し、所定のサンプル画像は認識モデルに使用された画像であり、所定のサンプル画像は正サンプル画像と負サンプル画像という２種の画像を含む。そのうち、正サンプル画像は単一数字を含む数字画像であってもよく、単一行を含み、且つ数字の個数が限定されない数字画像であってもよい。正サンプル画像における数字について、フォントサイズ、フォントスタイル、および数字桁数が限定されず、また、正サンプル画像において、数字画像の個数が限定されない。負サンプル画像はゼロ個の数字を含む画像であってもよく、一部の不完全な数字を含む画像であってもよい。
【００４３】
好ましくは、正サンプル画像は同一の画像から一個又は複数の数字領域を切り取って形成された画像であってよい。負サンプル画像は、同一の画像における数字領域付近の混乱しやすい領域を切り取って形成された画像、同一の画像からわずかな数字を含んで切り取って形成された画像又は同一の画像における他の領域を切り取って形成された画像であってよい。図３Ｂは１つの画像のオリジナル図を示し、図３Ｃは図３Ｂのオリジナル図から切り取って形成された正サンプル画像であり、図３Ｄは図３Ｂのオリジナル図から切り取って形成された負サンプル画像である。
【００４４】
ステップ３０２において、正サンプル画像の画像特徴と負サンプル画像の画像特徴を抽出する。
【００４５】
正サンプル画像と負サンプル画像を取得した後、それぞれ正サンプル画像と負サンプル画像に特徴抽出を行い、正サンプル画像の画像特徴と負サンプル画像の画像特徴を得る。
【００４６】
ステップ３０３において、正サンプル画像の画像特徴と正結果を示すための第１ラベルを分類アルゴリズムにより確立された初期モデルに入力し、負サンプル画像の画像特徴と負結果を示すための第２ラベルを初期モデルに入力し、認識モデルを得る。
【００４７】
得られた正サンプル画像の画像特徴を分類アルゴリズムにより確立された初期モデルに入力し、また、正サンプル画像の対応する正結果の第１ラベルも初期モデルに入力する。例えば、正結果を示す第１ラベルを１とする。
【００４８】
得られた負サンプル画像の画像特徴を分類アルゴリズムにより確立された初期モデルに入力し、また、負サンプル画像の対応する負結果の第２ラベルも初期モデルに入力する。例えば、負結果を示す第２ラベルを−１とする。
【００４９】
そのうち、分類アルゴリズムは、エイダブースト（Ａｄａｂｏｏｓｔ）、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ、サポートベクターマシン）、人工ニューラルネットワーク、遺伝的アルゴリズム、ナイーブベイズ、ディシジョンツリーおよびＫＮＮ（ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ、ｋ近傍法）アルゴリズムにおける少なくとも１種を含む。
【００５０】
例えば、オリジナルの正サンプル画像は２５６＊２５６ピクセルであり、オリジナルの正サンプル画像からｈａａｒ特徴（Ｈａａｒ−ｌｉｋｅ特徴）の抽出を行い、各正サンプル画像はｈａａｒ特徴を得ることができ、すべての正サンプル画像から抽出された画像特徴を分類アルゴリズムにより確立された初期モデルに入力し、同様に、負サンプル画像から抽出された画像特徴を分類アルゴリズムにより確立された初期モデルに入力し、訓練した後、認識モデルを得る。
【００５１】
以上のように、本発明の実施例により提供されたモデル訓練方法は、少なくとも１つの数字を含む正サンプル画像とゼロ個の数字又は不完全な数字を含む負サンプル画像とを含む所定のサンプル画像を取得し、正サンプル画像の画像特徴と負サンプル画像の画像特徴を抽出し、正サンプル画像の画像特徴と正結果を示すための第１ラベルを分類アルゴリズムにより確立された初期モデルに入力し、負サンプル画像の画像特徴と負結果を示すための第２ラベルを初期モデルに入力し、認識モデルを得ることで、数字領域抽出方法において数字の大きさと数字桁数に対して制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、認識モデルにより画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めする効果を達成する。
【００５２】
図４は別の例示的な実施例に係る領域抽出方法を示すフローチャートであり、該領域抽出方法は以下のステップを含む。
【００５３】
ステップ４０１では、認識モデルを取得し、認識モデルが分類アルゴリズムにより所定のサンプル画像を訓練して得たものであり、所定のサンプル画像が正サンプル画像及び負サンプル画像を含み、それぞれの正サンプル画像が少なくとも１つの数字を含み、それぞれの負サンプル画像がゼロ個の数字又は不完全な数字を含む。
【００５４】
認識モデルを取得し、該認識モデルは図３に示す実施例において正サンプル画像と負サンプル画像に対して分類アルゴリズムにより確立された初期モデルを訓練したモデルである。
【００５５】
ステップ４０２において、所定のウィンドウを使用して所定ウィンドウスキャンポリシに従って認識すべき画像から候補ウィンドウ領域を抽出する。
【００５６】
認識モデルを取得した後、固定の大きさの所定のウィンドウを設置し、所定のウィンドウを利用して所定のウィンドウスキャンポリシに従って認識すべき画像をウィンドウスキャンし、ウィンドウスキャンした後、認識すべき画像から複数の数字領域の候補ウィンドウ領域を抽出する。
【００５７】
好ましくは、該所定のウィンドウスキャンポリシは、上から下へ、左から右への順で認識すべき画像に対して行ごとにウィンドウスキャンを行うことを含む。
【００５８】
好ましくは、該所定のウィンドウスキャンポリシは、同一の認識すべき画像に対してサイズの異なる所定のウィンドウを用いて複数回ウィンドウスキャンを行うことを含む。
【００５９】
好ましくは、該所定のウィンドウスキャンポリシは、一定のサイズの所定のウィンドウを用い認識すべき画像をウィンドウスキャンする場合、所定のウィンドウは、隣接する２回の移動過程で、互いに重なる領域が存在することを含む。
【００６０】
例えば、所定のウィンドウの大きさが１６＊１６ピクセルであり、認識すべき画像の大きさが２５６＊２５６ピクセルである場合、１６＊１６ピクセルの所定のウィンドウを認識すべき画像の左上角から、所定ウィンドウスキャンポリシに従って上から下まで、左から右まで順次に認識すべき画像の各ピクセルをウィンドウスキャンし、所定のウィンドウが左から右まで移動する過程に、隣接する２回の移動過程の所定のウィンドウに互いに積層された領域が存在する。
【００６１】
ステップ４０３において、候補ウィンドウ領域の画像特徴を認識モデルに入力して分類し、分類結果を得る。
【００６２】
ステップ４０２で得られた候補ウィンドウ領域に画像特徴の抽出を行い、画像特徴の抽出が図３Ａに示す実施例で認識モデルにおける画像特徴の抽出と同じである。候補ウィンドウ領域に対して抽出された画像特徴を図３Ａに示す実施例で取得された認識モデルに入力して分類し、認識モデルは候補ウィンドウ領域から抽出した画像特徴と認識モデルにおけるテンプレートとをマッチングし、該候補ウィンドウ領域が数字領域であるかどうかを検出する。候補ウィンドウ領域における画像特徴に対する認識モデルの検出により、候補ウィンドウ領域における数字領域を認識する。
【００６３】
ステップ４０４において、分類結果が正結果であれば、候補ウィンドウ領域を数字領域として認識する。
【００６４】
認識モデルが分類された後、得られた分類結果が正結果であれば、候補ウィンドウ領域を数字領域として認識する。正の結果は、該候補ウィンドウ領域が正サンプル画像を訓練して得たモデルに属することを意味する。
【００６５】
認識モデルにおける正結果を示す第１ラベルに基づき、候補ウィンドウ領域を分類する場合、分類結果が正結果であれば、分類した後、該候補ウィンドウ領域に第１ラベルをマークする。
【００６６】
ステップ４０５において、分類結果が負結果であれば、候補ウィンドウ領域を非数字領域として認識する。
【００６７】
認識モデルが分類された後、得られた分類結果が負結果であれば、候補ウィンドウ領域を非数字領域として認識する。負の結果は、該候補ウィンドウ領域が負サンプル画像を訓練して得たモデルに属することを意味する。
【００６８】
認識モデルにおける負結果を示す第２ラベルに基づき、候補ウィンドウ領域を分類する際、分類結果が負結果であれば、分類した後、該候補ウィンドウ領域に第２ラベルをマークする。
【００６９】
ステップ４０６において、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得る。
【００７０】
認識モデルが分類された後、分類結果が正結果である候補ウィンドウ領域に領域切断を行い、該候補ウィンドウ領域における単一数字領域を得て、そのうち、該候補ウィンドウ領域に１つの単一数字領域を少なくとも含む。
【００７１】
以上のように、本発明の実施例により提供された領域抽出方法は、分類アルゴリズムにより少なくとも１つの数字を含む各正サンプル画像とゼロ個の数字又は不完全な数字を含む各負サンプル画像とを含む所定のサンプル画像を訓練して得た認識モデルを取得し、所定のウィンドウを使用して所定のウィンドウスキャンポリシに従って認識すべき画像から候補ウィンドウ領域を抽出し、候補ウィンドウ領域の画像特徴を認識モデルに入力して分類し、分類結果を得、分類結果が正結果であれば、候補ウィンドウ領域を数字領域として認識し、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることで、数字領域抽出方法において数字の大きさと数字桁数に対して制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、認識モデルにより画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めするとともに切断して抽出する効果を達成する。
【００７２】
候補ウィンドウ領域に対する認識により得られた数字領域が少なくとも２つのものである場合、該少なくとも２つの数字領域の間に交差領域が存在する可能性があり、交差領域が存在する複数の数字領域に対して合併する必要がある。
【００７３】
図４に示す選択可能な実施例において、少なくとも２つの数字領域があり、ステップ４０５の後、以下のステップを更に含むことができ、図５に示すように、
ステップ５０１において、交差領域が存在するｎ個の数字領域を検索する。
【００７４】
少なくとも２つの数字領域がある場合、簡単な規則により全ての数字領域に交差領域が存在するｎ個の数字領域を検索する。
【００７５】
例えば、数字領域に重ね合わせられた個数を検出することにより交差領域が存在する数字領域を検索し、又は、数字領域における重合領域の相互の包含関係により交差領域が存在する数字領域を検索する。
【００７６】
ステップ５０２において、交差領域が存在するｎ個の数字領域を合併し、合併後の数字領域を得る。
【００７７】
交差領域が存在するｎ個の数字領域を検索した後、交差領域が存在するｎ個の数字領域を合併し、最後の数字領域を決定する。
【００７８】
以上のように、本実施例は交差領域が存在するｎ個の数字領域を検索し、交差領域が存在するｎ個の数字領域を合併し、合併後の数字領域を得る。それにより最終に決定された数字領域がより正確であり、数字領域に対する認識と抽出により有利である。
【００７９】
図５に示す選択可能な実施例において、ステップ５０２を以下のステップ５０２ａ〜ステップ５０２ｃに替えることができ、図６Ａに示すように、
交差領域が存在するｎ個の数字領域の間の上縁と下縁が重なる場合、
ステップ５０２ａにおいて、ｎ個の数字領域のｎ個の左縁における最左側にある左縁に基づき、合併後の左縁として決定する。
【００８０】
ｎ個の数字領域を１行に配列する場合、ｎ個の数字領域のｎ個の左縁を取得し、ｎ個の左縁における最左側にある左縁をｎ個の数字領域を合併した後の左縁ｍ１として決定し、図６Ｂに示す。
【００８１】
ステップ５０２ｂにおいて、ｎ個の数字領域のｎ個の右縁における最右側にある右縁に基づき、合併後の右縁として決定する。
【００８２】
ｎ個の数字領域を１行に配列する場合、ｎ個の数字領域のｎ個の右縁を取得し、ｎ個の右縁における最右側にある右縁をｎ個の数字領域を合併した後の右縁ｍ２として決定し、図６Ｃに示す。
【００８３】
ステップ５０２ｃにおいて、上縁、下縁、合併後の左縁、合併後の右縁に基づき、合併後の数字領域を得る。
【００８４】
上記ステップで決定された上縁、下縁、合併後の左縁、合併後の右縁に基づき、最後に合併した数字領域を得て、図６Ｄに示す。
【００８５】
以上のように、本実施例は、ｎ個の数字領域のｎ個の左縁のうちの最左側に位置する左縁を、合併後の左縁として決定し、ｎ個の数字領域のｎ個の右縁のうちの最右側に位置する右縁を、合併後の右縁として決定し、上縁、下縁、合併後の左縁、合併後の右縁に基づいて、合併後の数字領域を得て、それにより、合併後の数字領域をより正確にし、数字領域の切断及び抽出により有利である。
【００８６】
図６Ａに示す選択可能な実施例において、ステップ４０６を以下のステップ４０６ａ〜ステップ４０６ｅに替えることができ、図７Ａに示すように、
ステップ４０６ａにおいて、数字領域を２値化し、２値化後の数字領域を得る。
【００８７】
好ましくは、ステップ５０２ｃで合併後の数字領域に基づき、該数字領域をプリ処理し、プリ処理後の数字領域を２値化する。そのうち、プリ処理は、ノイズ除去、フィルタリング、または縁抽出等の操作を含むことができる。
【００８８】
２値化とは数字領域におけるピクセルのグレー値と所定のグレー閾値を比較し、数字領域におけるピクセルを、所定のグレー閾値よりも大きいピクセル群と所定のグレー閾値よりも小さいピクセル群の２つの部分に分けて、２つの部分のピクセル群に数字領域でそれぞれ黒と白の２種の異なる色を呈させ、２値化後の数字領域を得て、図７Ｂに示すことである。そのうち、前景に位置する１種の色のピクセルが前景色ピクセルと称され、即ち、図７Ｂにおける白色ピクセルであり、背景に位置する１種の色のピクセルが背景色ピクセルと称され、即ち、図７Ｂにおける黒色ピクセルである。
【００８９】
ステップ４０６ｂにおいて、２値化後の数字領域に対して垂直方向に応じてヒストグラムを算出し、ヒストグラムは、各列のピクセルの横座標と各列のピクセルにおける前景色ピクセルの累積値を含む。
【００９０】
２値化後の数字領域に対して垂直方向に応じてヒストグラムを算出し、該ヒストグラムは水平方向で各列のピクセルの横座標を表し、垂直方向で各列のピクセルにおける前景色ピクセルの個数累積値を表し、図７Ｃに示す。
【００９１】
ステップ４０６ｃにおいて、ヒストグラムにおける前景色ピクセルの累積値が所定の閾値よりも大きい列からなる連続列セットに基づき、ｎ個の単一数字領域を認識する。
【００９２】
ヒストグラムに基づき各列ピクセルにおける前景色ピクセルの累積値を取得し、各列ピクセルにおける前景色ピクセルの累積値と所定の閾値を比較し、ヒストグラムにおける前景色ピクセルの累積値が所定の閾値よりも大きい列からなる連続列セットを、単一数字領域の所在する列として決定することができる。
【００９３】
連続列セットは、前景色ピクセルの累積値が第２の閾値よりも大きい列が連続的なｐ列で、該連続的なｐ列のピクセルにより構成されるセットを意味し、図７Ｄに示すように、連続な列セットはｐであり、即ちヒストグラムに形成された連続的な白色領域である。図におけるｐ列のピクセルに対して、下側に位置するヒストグラムにおける前景色ピクセルの累積値がいずれも所定の閾値よりも大きい。該ｐ列ピクセルは数字画像において数字領域「３」と対応する。
【００９４】
各連続列セットを１つの数字領域として認識し、ｎ個の連続列セットをｎ個の単一数字領域として認識する。
【００９５】
以上のように、本実施例は数字領域を２値化し、且つ２値化後の数字領域を垂直方向に応じてヒストグラムを算出し、各数字の対応する単一数字領域を認識することにより、数字領域における単一数字領域を認識する正確性を向上させることができる。
【００９６】
以下は本発明の装置の実施例であり、本発明の方法の実施例の実施において使用することができる。本発明の装置の実施例で開示されていない詳細は、本発明の方法の実施例を参照する。
【００９７】
図８は例示的な実施例に係る領域抽出装置を示すブロック図であり、図８に示すように、該領域抽出装置は、以下のものを含むが、これらに限定されない。
【００９８】
取得モジュール８１０は、分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、所定のサンプル画像が正サンプル画像及び負サンプル画像を含み、各正サンプル画像が少なくとも１つの数字を含み、各負サンプル画像がゼロ個の数字又は不完全な数字を含むように配置され、
認識モジュール８２０は、認識モデルに基づいて認識すべき画像を認識し、少なくとも１つの数字領域を得るように配置され、
切断モジュール８３０は、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得るように配置される。
【００９９】
以上のように、本発明の実施例により提供された領域抽出装置は、分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、所定のサンプル画像は正サンプル画像と負サンプル画像を含み、各正サンプル画像は少なくとも１つの数字を含み、各負サンプル画像はゼロ個の数字又は不完全な数字を含み、認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得て、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることで、数字領域抽出方法において数字の大きさと数字桁数に対して制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、認識モデルにより画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めするとともに切断して抽出する効果を達成する。
【０１００】
図９は別の例示的な実施例に係る領域抽出装置を示すブロック図であり、図９に示すように、該領域抽出装置は、以下のものを備えるが、これらに限定されない。
【０１０１】
取得モジュール８１０は、分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、所定のサンプル画像が正サンプル画像及び負サンプル画像を含み、各正サンプル画像が少なくとも１つの数字を含み、各負サンプル画像がゼロ個の数字又は不完全な数字を含むように配置される。
【０１０２】
取得モジュール８１０は、認識モデルを取得し、該認識モデルは正サンプル画像と負サンプル画像に対し分類アルゴリズムにより確立された初期モデルを訓練して得たモデルである。
【０１０３】
認識モジュール８２０は、認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得るように配置される。
【０１０４】
本実施例において、認識モジュール８２０は、以下のサブモジュールを更に含む。
【０１０５】
ウィンドウスキャンサブモジュール８２１は、所定のウィンドウを使用して所定のウィンドウスキャンポリシに従って認識すべき画像から候補ウィンドウ領域を抽出するように配置される。
【０１０６】
取得モジュール８１０により認識モデルが取得された後、ウィンドウスキャンサブモジュール８２１は一定の大きさの所定のウィンドウを設置し、所定のウィンドウを利用して所定のウィンドウスキャンポリシに従って認識すべき画像をウィンドウスキャンし、ウィンドウスキャンし後、認識すべき画像から複数の数字領域の候補ウィンドウ領域を抽出する。
【０１０７】
好ましくは、該所定のウィンドウスキャンポリシは、上から下へ、左から右への順で認識すべき画像に対して行ごとにウィンドウスキャンを行うことを含む。
【０１０８】
好ましくは、該所定のウィンドウスキャンポリシは、同一の認識すべき画像に対してサイズの異なる所定のウィンドウを用いてウィンドウスキャンを複数回行うことを含む。
【０１０９】
好ましくは、該所定のウィンドウスキャンポリシは、一定のサイズの所定のウィンドウを用い認識すべき画像をウィンドウスキャンする場合、所定のウィンドウは、隣接する２回の移動過程で、互いに重なる領域が存在することを含む。
【０１１０】
分類サブモジュール８２２は、候補ウィンドウ領域の画像特徴を認識モデルに入力して分類し、分類結果を得るように配置される。
【０１１１】
ウィンドウスキャンサブモジュール８２１により得られた候補ウィンドウ領域に画像特徴の抽出を行う。候補ウィンドウ領域から抽出された画像特徴を取得モジュール８１０で取得された認識モデルに入力して分類し、認識モデルは候補ウィンドウ領域から抽出された画像特徴と認識モデルにおけるテンプレートをマッチングし、該候補ウィンドウ領域が数字領域であるかどうかを検出する。分類サブモジュール８２２は候補ウィンドウ領域における画像特徴に対する認識モデルの検出により、候補ウィンドウ領域における数字領域を認識する。
【０１１２】
確認サブモジュール８２３は、分類結果が正結果である場合、候補ウィンドウ領域を数字領域として認識するように配置される。
【０１１３】
認識モデルが分類された後、得られた分類結果が正結果であれば、確認サブモジュール８２３は候補ウィンドウ領域を数字領域として認識する。正の結果は、該候補ウィンドウ領域が正サンプル画像を訓練して得たモデルに属することを意味する。
【０１１４】
確認サブモジュール８２３は、更に分類結果が負結果であるとき、候補ウィンドウ領域を非数字領域として認識するように配置される。
【０１１５】
認識モデルが分類された後、得られた分類結果が負結果であれば、確認サブモジュール８２３は候補ウィンドウ領域を非数字領域として認識する。負の結果は、該候補ウィンドウ領域が負サンプル画像を訓練して得たモデルに属することを意味する。
【０１１６】
切断モジュール８３０は、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得るように配置される。
【０１１７】
切断モジュール８３０は確認サブモジュール８２３で得られた候補ウィンドウ領域に領域切断を行い、該候補ウィンドウ領域における単一数字領域を得て、そのうち、該候補ウィンドウ領域は１つの単一数字領域を少なくとも含む。
【０１１８】
以上のように、本発明の実施例により提供された領域抽出装置は、分類アルゴリズムにより少なくとも１つの数字を含む各正サンプル画像とゼロ個の数字又は不完全な数字を含む各負サンプル画像と、を含む所定のサンプル画像を訓練して得た認識モデルを取得し、所定のウィンドウを使用して所定のウィンドウスキャンポリシに従って認識すべき画像から候補ウィンドウ領域を抽出し、候補ウィンドウ領域の画像特徴を認識モデルに入力して分類し、分類結果を得て、分類結果が正結果であれば、候補ウィンドウ領域を数字領域として認識し、数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得ることで、数字領域抽出方法において数字の大きさと数字桁数に対して制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、認識モデルにより画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めするとともに切断して抽出する効果を達成する。
【０１１９】
図９に示す選択可能な実施例において、該装置は下記のモジュールを更に備えてもよく、図１０に示すように、
検索モジュール１０１０は、交差領域が存在するｎ個の数字領域を検索するように配置される。
【０１２０】
少なくとも２つの数字領域がある場合、検索モジュール１０１０は簡単な規則により全ての数字領域における交差領域が存在するｎ個の数字領域を検索する。
【０１２１】
合併モジュール１０２０は、交差領域が存在するｎ個の数字領域を合併し、合併後の数字領域を得るように配置される。
【０１２２】
交差領域が存在するｎ個の数字領域を検索した後、合併モジュール１０２０は交差領域が存在するｎ個の数字領域を合併し、最後の数字領域を決定する。
【０１２３】
そのうち、選択可能な的実現方式として、合併モジュール１０２０は以下のサブモジュールを含んでよい。
【０１２４】
交差領域が存在するｎ個の数字領域の間の上縁と下縁が重なる場合、
第１の決定サブモジュール１０２１は、ｎ個の数字領域のｎ個の左縁における最左側にある左縁を、合併後の左縁として決定するように配置される。
【０１２５】
ｎ個の数字領域を１行に配列するとき、ｎ個の数字領域のｎ個の左縁を取得し、第１の決定サブモジュール１０２１はｎ個の左縁における最左側にある左縁をｎ個の数字領域を合併した後の左縁として決定する。
【０１２６】
第２の決定サブモジュール１０２２は、ｎ個の数字領域のｎ個の右縁における最右側にある右縁を、合併後の右縁として決定するように配置される。
【０１２７】
第１の決定サブモジュール１０２１と第２の決定サブモジュール１０２２により決定された上縁、下縁、合併後の左縁、合併後の右縁に基づき、第３の決定サブモジュール１０２３は最後に合併した数字領域を得る。
【０１２８】
以上のように、本実施例は、ｎ個の数字領域のｎ個の左縁のうちの最左側に位置する左縁を、合併後の左縁として決定し、ｎ個の数字領域のｎ個の右縁のうちの最右側に位置する右縁を、合併後の右縁として決定し、上縁、下縁、合併後の左縁、合併後の右縁に基づいて、合併後の数字領域を得て、それにより、合併後の数字領域をより正確にし、数字領域の切断及び抽出により有利である。
【０１２９】
図８に示す選択可能な実施例において、切断モジュール８３０は以下のサブモジュールを更に含んでよい。図１１に示すように、
２値化サブモジュール８３１は、数字領域を２値化し、２値化後の数字領域を得るように配置される。
【０１３０】
好ましくは、第３の決定サブモジュール１０２３で決定された数字領域に基づき、２値化サブモジュール８３１は該数字領域をプリ処理し、プリ処理後の数字領域を２値化する。そのうち、プリ処理はノイズ除去、フィルタリング、縁抽出等の操作を含むことができる。
【０１３１】
２値化は、数字領域におけるピクセルのグレー値と所定のグレー閾値を比較し、数字領域におけるピクセルを所定のグレー閾値よりも大きいピクセル群と所定のグレー閾値よりも小さいピクセル群の２つの部分に分けて、２つの部分のピクセル群に数字領域でそれぞれ黒と白の２種の異なる色を呈させ、２値化後の数字領域を得ることである。
【０１３２】
算出サブモジュール８３２は、２値化後の数字領域に対して垂直方向に応じてヒストグラムを算出し、ヒストグラムは、各列のピクセルの横座標と各列のピクセルにおける前景色ピクセルの累積値を含むように配置される。
【０１３３】
算出サブモジュール８３２は２値化サブモジュール８３１で処理された数字領域に対して垂直方向に応じてヒストグラムを算出し、該ヒストグラムは水平方向で各列のピクセルの横座標を表し、垂直方向で各列のピクセルにおける前景色ピクセルの個数累積値を示す。
【０１３４】
数字認識サブモジュール８３３は、ヒストグラムにおける前景色ピクセルの累積値が所定の閾値よりも大きい列からなる連続列セットに基づき、ｎ個の単一数字領域を認識するように配置される。
【０１３５】
ヒストグラムに基づき各列のピクセルにおける前景色ピクセルの累積値を取得し、数字認識サブモジュール８３３は各列ピクセルにおける前景色ピクセルの累積値と所定の閾値を比較し、ヒストグラムにおける前景色ピクセルの累積値が所定の閾値よりも大きい列からなる連続列セットを、単一数字領域の所在する列として決定することができる。
【０１３６】
連続列セットとは、前景色ピクセルの累積値が所定の閾値よりも大きい列が連続的なｐ列であり、該連続的なｐ列ピクセルにより構成されるセットを意味する。
【０１３７】
各連続列セットを１つの数字領域として認識し、ｎ個の連続列セットをｎ個の単一数字領域として認識する。
【０１３８】
以上のように、本実施例は数字領域を２値化し、２値化後の数字領域に対して垂直方向に応じてヒストグラムを算出し、各数字の対応する単一数字領域を認識し、単一数字領域を正確に切断及び認識する方法を提供する。
【０１３９】
図１２は例示的な実施例に係るモデル訓練装置を示すブロック図であり、図１２に示すように、該モデル訓練装置は以下のものを備えるが、これらに限定されない。
【０１４０】
サンプル取得モジュール１２１０は、所定のサンプル画像を取得し、所定のサンプル画像は正サンプル画像と負サンプル画像を含み、正サンプル画像は少なくとも１つの数字を含み、負サンプル画像はゼロ個の数字又は不完全な数字を含むように配置される。
【０１４１】
訓練モジュール１２２０は、分類アルゴリズムにより所定のサンプル画像を訓練し、認識モデルを得るように配置される。
【０１４２】
以上のように、本発明の実施例により提供されたモデル訓練装置は、所定のサンプル画像を取得し、所定のサンプル画像は正サンプル画像と負サンプル画像を含み、正サンプル画像は少なくとも１つの数字を含み、負サンプル画像はゼロ個の数字又は不完全な数字を含み、分類アルゴリズムにより所定のサンプル画像を訓練し、認識モデルを得ることで、数字領域抽出方法において数字の大きさと数字桁数に対して制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、該訓練過程に得られた認識モデルは画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めする効果を達成する。
【０１４３】
図１３は別の例示的な実施例に係るモデル訓練装置を示すブロック図であり、図１３に示すように、該モデル訓練装置は以下のものを備えるが、これらに限定されない。
【０１４４】
サンプル取得モジュール１２１０は、所定のサンプル画像を取得し、所定のサンプル画像は正サンプル画像と負サンプル画像を含み、正サンプル画像は少なくとも１つの数字を含み、負サンプル画像はゼロ個の数字又は不完全な数字を含むように配置される。
【０１４５】
サンプル取得モジュール１２１０は画像ライブラリ又は直接的に撮影して得られた画像から所定のサンプル画像を選択し、所定のサンプル画像は認識モデルで使用された画像であり、所定のサンプル画像は正サンプル画像と負サンプル画像の２種の画像を含む。そのうち、正サンプル画像は単一数字を含む数字画像であってもよく、単一行を含み且つ数字の個数が限定されない数字画像であってもよい。正サンプル画像における数字は、フォントサイズ、フォントスタイル、および数字桁数が限定されず、また、正サンプル画像において、数字画像の個数が限定されない。負サンプル画像はゼロ個の数字を含む画像であってもよく、一部の不完全な数字を含む画像であってもよい。
【０１４６】
訓練モジュール１２２０は、分類アルゴリズムにより所定のサンプル画像を訓練し、認識モデルを得るように配置される。
【０１４７】
そのうち、分類アルゴリズムは、エイダブースト（Ａｄａｂｏｏｓｔ）、サポートベクターマシンＳＶＭ、人工ニューラルネットワーク、遺伝的アルゴリズム、ナイーブベイズ、ディシジョンツリーおよびｋ近傍法アルゴリズムにおける少なくとも１種を含む。
【０１４８】
本実施例において、訓練モデル１２２０は以下のサブモジュールを含んでよい。
【０１４９】
抽出サブモジュール１２２１は、正サンプル画像の画像特徴と負サンプル画像の画像特徴を抽出するように配置される。
【０１５０】
サンプル取得モジュール１２１０により正サンプル画像と負サンプル画像が取得された後、抽出サブモジュール１２２１はそれぞれ正サンプル画像と負サンプル画像に対して特徴抽出を行い、正サンプル画像の画像特徴と負サンプル画像の画像特徴を得る。
【０１５１】
入力サブモジュール１２２２は、正サンプル画像の画像特徴と正結果を示すための第１ラベルを分類アルゴリズムにより確立された初期モデルに入力し、負サンプル画像の画像特徴と負結果を示すための第２ラベルを初期モデルに入力し、認識モデルを得るように配置される。
【０１５２】
入力サブモジュール１２２２は、得られた正サンプル画像の画像特徴を分類アルゴリズムにより確立された初期モデルに入力するとともに、正サンプル画像の対応する正結果の第１ラベルも初期モデルに入力する。
【０１５３】
入力サブモジュール１２２２は、得られた負サンプル画像の画像特徴を分類アルゴリズムにより確立された初期モデルに入力するとともに、負サンプル画像の対応する負結果の第２ラベルも初期モデルに入力する。
【０１５４】
そのうち、分類アルゴリズムは、エイダブースト（Ａｄａｂｏｏｓｔ）、ＳＶＭ、人工ニューラルネットワーク、遺伝的アルゴリズム、ナイーブベイズ、ディシジョンツリー、およびＫＮＮアルゴリズムにおける少なくとも１種を含む。
【０１５５】
以上のように、本発明の実施例により提供されたモデル訓練装置は、所定のサンプル画像を取得し、所定のサンプル画像は正サンプル画像と負サンプル画像を含み、正サンプル画像は少なくとも１つの数字を含み、負サンプル画像はゼロ個の数字又は不完全な数字を含み、正サンプル画像の画像特徴と負サンプル画像の画像特徴を抽出し、正サンプル画像の画像特徴と正結果を示すための第１ラベルを分類アルゴリズムにより確立された初期モデルに入力し、負サンプル画像の画像特徴と負結果を示すための第２ラベルを初期モデルに入力し、認識モデルを得ることで、数字領域抽出方法において数字の大きさと数字桁数に対して制限があり、異なるフォントサイズ又は異なる数字桁数の数字位置を正確に抽出することができない問題を解決し、認識モデルにより画像における異なるフォントスタイル又は異なるフォントサイズ又は異なる数字桁数の数字位置を正確に位置決めする効果を達成する。
【０１５６】
本発明は更に領域抽出装置を提供し、該装置は、
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
そのうち、プロセッサは、
分類アルゴリズムにより所定のサンプル画像を訓練して得た認識モデルを取得し、所定のサンプル画像は正サンプル画像と負サンプル画像を含み、各正サンプル画像は少なくとも１つの数字を含み、各負サンプル画像はゼロ個の数字又は不完全な数字を含み、
認識モデルに基づき認識すべき画像を認識し、少なくとも１つの数字領域を得て、
数字領域に対して領域切断を行い、少なくとも１つの単一数字領域を得るように配置される。
【０１５７】
本発明はモデル訓練装置を更に提供し、該装置は、
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
そのうち、プロセッサは、
所定のサンプル画像を取得し、所定のサンプル画像は正サンプル画像と負サンプル画像を含み、正サンプル画像は少なくとも１つの数字を含み、負サンプル画像はゼロ個の数字又は不完全な数字を含み、
分類アルゴリズムにより所定のサンプル画像を訓練し、認識モデルを得るように配置される。
【０１５８】
上記実施例における装置について、そのうち、それぞれのモジュールの操作を実行する具体的な方式は、該方法に関する実施例で詳細に説明したので、ここで詳しく説明しない。
【０１５９】
図１４は例示的な実施例に係る領域抽出方法を実行するための装置を示すブロック図である。例えば、装置１４００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信設備、ゲームコンソール、タブレット型装置、医療設備、フィットネス装置、パーソナルデジタルアシスタントなどである。
【０１６０】
図１４を参照して、装置１４００は、処理部材１４０２、メモリ１４０４、電源部材１４０６、マルチメディア部材１４０８、オーディオ部材１４１０、入力／出力（Ｉ／Ｏ）インターフェース１４１２、センサー部材１４１４、及び通信部材１４１６のうちの一つ又は複数の部材を含むことができる。
【０１６１】
処理部材１４０２は、通常、装置１４００の全体的操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関する操作を制御する。処理部材１４０２は、上記方法の全部又は一部のステップを完成するために、コマンドを実行する一つ又は複数のプロセッサ１４１８を含むことができる。さらに、処理部材１４０２はその他の部材とのインタラクションが容易であるように、一つ又は複数のモジュールを含むことができる。例えば、処理部材１４０２は、マルチメディア部材１４０８と処理部材１４０２とのインタラクションが容易であるように、マルチメディアモジュールを含むことができる。
【０１６２】
メモリ１４０４は、装置１４００における操作をサポートするために、さまざまなタイプのデータを記憶するように配置される。これらのデータの実例は、装置１４００において操作される如何なるアプリケーション又は方法のコマンド、連絡先データ、電話帳データ、メッセージ、ピクチャ、ビデオなどを含む。メモリ１４０４は如何なるタイプの揮発性又は非揮発性メモリ又はそれらの組合せ、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクにより実現することができる。
【０１６３】
電源部材１４０６は装置１４００のさまざまな部材に対し電力を供給する。電源部材１４０６は電源管理システム、一つ又は複数の電源、及びその他の装置１４００に対する電力の生成、管理及び供給に関連する部材を含むことができる。
【０１６４】
マルチメディア部材１４０８は、装置１４００とユーザーの間の出力インターフェースを提供するスクリーンを含む。一部の実施例において、スクリーンは液晶ディスプレイ（ＬＣＤ）とタッチパネル（ＴＰ）を含むことができる。スクリーンにタッチパネルが含まれる場合、スクリーンはユーザーからの入力信号を受信するために、タッチスクリーンで実現されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルにおけるジェスチャーを感知するために、一つ又は複数のタッチセンサーを含む。タッチセンサーは、タッチ又はスワイプ動作の境界を感知するとともに、タッチ又はスワイプ動作に関わる持続時間及び圧力を検出することができる。一部の実施例において、マルチメディア部材１４０８は、フロントカメラ及び／又はバックカメラを含む。装置１４００が操作モードである場合、例えば、撮影モード又はビデオモードである場合、フロントカメラ及び／又はバックカメラは外部のマルチメディアデータを受信することができる。各フロントカメラ及びバックカメラは、固定された光学レンズシステムであってもよく、又は焦点距離と光学ズーム能力を有する。
【０１６５】
オーディオ部材１４１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオ部材１４１０は、マイクロフォン（ＭＩＣ）を含み、装置１４００が操作モードである場合、例えば、呼び出しモード、記録モード及び音声認識モードである場合、マイクロフォンは外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ１４０４に記憶され、又は通信部材１４１６を介して送信される。一部の実施例において、オーディオ部材１４１０は、さらにオーディオ信号を出力するスピーカーを含む。
【０１６６】
Ｉ／Ｏインターフェース１４１２は、処理部材１４０２と周辺インターフェースモジュールとの間にインターフェースを提供し、上記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含むことができるがこれに限定されない。
【０１６７】
センサー部材１４１４は、装置１４００に対し各方面の状態評価を提供する一つ又は複数のセンサーを含む。例えば、センサー部材１４１４は、装置１４００のオン／オフ状態、部材の相対的位置決めを検出することができ、前記部材は、例えば、装置１４００のディスプレイ及びキーパッドであり、センサー部材１４１４は、さらに装置１４００又は装置１４００の一つの部材の位置変化、ユーザーと装置１４００との接触の有無、装置１４００の方角又は加速／減速及び装置１４００の温度変化を検出することができる。センサー部材１４１４は、近接センサーを含むことができ、如何なる物理的接触がないとき、近傍物体の存在を検出するように構成される。センサー部材１４１４は、さらにイメージングアプリケーションに用いられる光学センサー、例えば、ＣＭＯＳ又はＣＣＤイメージセンサーを含むことができる。一部の実施例において、該センサー部材１４１４は、さらに加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー又は温度センサーを含むことができる。
【０１６８】
通信部材１４１６は、装置１４００とその他の装置との有線又は無線による通信が容易であるように配置される。装置１４００は、通信標準に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組合せにアクセスすることができる。一例示的な実施例において、通信部材１４１６は、放送チャネルを介して外部放送管理システムからの放送信号又は放送関連情報を受信する。一例示的な実施例において、通信部材１４１６は、狭域通信を促進するために、さらに近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールにおいて、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及びその他の技術に基づいて実現することができる。
【０１６９】
例示的な実施例において、装置１４００は、一つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラー、マイクロコントローラー、マイクロプロセッサ又はその他の電子部品により実現することができ、上記領域抽出方法を実行するのに用いられる。
【０１７０】
例示的な実施例において、さらに、コマンドを含む非一時的なコンピュータ可読記憶媒体、例えば、コマンドを含むメモリ１４０４を提供し、上記領域抽出方法を完成するために、上記コマンドは装置１４００のプロセッサ１４１８により実行することができる。例えば、非一時的なコンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク及び光データ記憶装置などであってもよい。
【０１７１】
当業者であれば、明細書を考慮しここに開示された発明を実践した後、本発明のその他の実施態様を容易に想到できる。本願は、本発明の如何なる変形、用途又は適応的変化を含むためのものであり、これらの変形、用途又は適応的変化は本発明の一般的な原理に準じ、本発明の開示されていない本技術分野における公知常識又は慣用の技術手段を含む。明細書と実施例は例示的なものに過ぎず、本発明の実際の範囲と精神は下記特許請求の範囲により与えられる。
【０１７２】
理解すべきことは、本発明は既に上記のように説明され、図面に示された正確な構造に限定されず、その範囲を逸脱しない限りにおいて様々な修正や変更を行うことができる。本発明の範囲は特許請求の範囲のみにより限定される。
【図１】
2018503201.tif 000003
【図２】
2018503201.tif 000004
【図３Ａ】
2018503201.tif 000005
【図３Ｂ】
2018503201.tif 000006
【図３Ｃ】
2018503201.tif 000007
【図３Ｄ】
2018503201.tif 000008
【図４】
2018503201.tif 000009
【図５】
2018503201.tif 000010
【図６Ａ】
2018503201.tif 000011
【図６Ｂ】
2018503201.tif 000012
【図６Ｃ】
2018503201.tif 000013
【図６Ｄ】
2018503201.tif 000014
【図７Ａ】
2018503201.tif 000015
【図７Ｂ】
2018503201.tif 000016
【図７Ｃ】
2018503201.tif 000017
【図７Ｄ】
2018503201.tif 000018
【図８】
2018503201.tif 000019
【図９】
2018503201.tif 000020
【図１０】
2018503201.tif 000021
【図１１】
2018503201.tif 000022
【図１２】
2018503201.tif 000023
【図１３】
2018503201.tif 000024
【図１４】
2018503201.tif 000025
【国際調査報告】
2018503201.tif 000026
2018503201.tif 000027
2018503201.tif 000028
2018503201.tif 000029