(57)【要約】  本出願は、コンピュータ技術分野に適用し、証明書画像抽出方法、端末機器及びコンピュータの不揮発性可読記憶媒体を提供する。前記方法は、証明書画像を含む、撮像装置によって撮影された元の画像を取得することと、赤、緑、青の３色成分における元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得することと、予め訓練された証明書特徴モデルに応じて、バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られることと、証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出することと、を含む。証明書特徴モデルに応じて元の画像中の証明書位置を確定し、画像中の証明書画像を抽出することにより、元の画像から証明書画像を抽出する精度が向上する。
2021531571.tif 000002
【特許請求の範囲】
【請求項１】
証明書画像を含む、撮像装置によって撮影された元の画像を取得することと、
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得することと、
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られることと、
前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出することと、を含むことを特徴とする証明書画像抽出方法。
【請求項２】
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定する前に、前記方法は、さらに、
履歴証明書画像を収集し、前記履歴証明書画像を予め設定されたターゲット画像要件に従ってフィルタリングしてターゲット画像を取得することと、
予め設定された証明書画像テンプレートに従って前記ターゲット画像の画素を識別し、前記ターゲット画像から少なくとも１つの画素を中心画素点として確定することと、
訓練モデルの初期重み値を設定し、前記初期重み値、各前記中心画素点と前記中心画素点の周辺の画素点の画素値に基づいて証明書画像の出力位置を計算し、前記出力位置と予め設定された期待位置との間の差に基づいて前記初期重みを調整して目標重みを取得し、前記目標重みに基づいてニューラルネットワークに基づく証明書特徴モデルを確定することと、を含むことを特徴とする請求項１に記載の証明書画像抽出方法。
【請求項３】
前記予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定することは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正すること、を含むことを特徴とする請求項２に記載の証明書画像抽出方法。
【請求項４】
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正することは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差を確定することと、
前記距離の差が前記差の閾値以上である場合、前記証明書特徴モデルの初期パラメータを、下式に応じて補正し、
【数１】
2021531571.tif 000014
ここで、ｗｉｊ（ｋ）がｋ回目の訓練時の重みを表し、ｗｉｊ（ｋ＋１）がｋ＋１回目の訓練時の重みを表し、ηが学習レートを表しかつη＞０であり、Ｅ（ｋ）が最初のｋ回の訓練によって得られた証明書画像の位置の期待値を表すこととを含むことを特徴とする請求項３に記載の証明書画像抽出方法。
【請求項５】
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得することは、
赤、緑、青の３色成分における前記元の画像の各前記画素点の成分値に応じて、前記元の画像における各前記画素点の平均色差を推定することと、
各前記画素点の前記平均色差に応じて、各前記画素点の赤、緑、青の３色成分の利得量を計算することと、
前記利得量に基づいて、前記元の画像における各前記画素点の色温度を補正し、前記バランス画像を取得することと、を含むことを特徴とする請求項１−４のいずれか一項に記載の証明書画像抽出方法。
【請求項６】
証明書画像を含む、撮像装置によって撮影された元の画像を取得するための取得ユニットと、
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得するための処理ユニットと、
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定するために使用され、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られる確定ユニットと、
前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する抽出ユニットと、を含むことを特徴とする端末機器。
【請求項７】
前記端末機器は、
履歴証明書画像を収集し、前記履歴証明書画像を予め設定されたターゲット画像要件に従ってフィルタリングしてターゲット画像を取得するためのスクリーニングユニットと、
予め設定された証明書画像テンプレートに従って前記ターゲット画像の画素を識別し、前記ターゲット画像から少なくとも１つの中心画素点を確定するための識別ユニットと、
訓練モデルの初期パラメータを設定し、前記初期パラメータ、各前記中心画素点の画素値と前記中心画素点の周辺の画素点の画素値に基づいて学習及び訓練して、ニューラルネットワークに基づく証明書特徴モデルを取得するための訓練ユニットと、をさらに含むことを特徴とする請求項６に記載の端末機器。
【請求項８】
前記確定ユニットは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正するための修正ユニット、を含むことを特徴とする請求項７に記載の端末機器。
【請求項９】
前記修正ユニットは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差を確定するための距離計算ユニットと、
前記距離の差が前記差の閾値以上である場合、前記証明書特徴モデルの初期パラメータを、下式に応じて補正するために使用され、
【数２】
2021531571.tif 000015
ここで、ｗｉｊ（ｋ）は、ｋ回目の訓練時の重みを表し、ｗｉｊ（ｋ＋１）がｋ＋１回目の訓練時の重みを表し、ηが学習レートを表しかつη＞０であり、Ｅ（ｋ）が最初のｋ回の訓練によって得られた証明書画像の位置の期待値を表すパラメータ補正ユニットとを含んでもよいことを特徴とする請求項８に記載の端末機器。
【請求項１０】
前記処理ユニットは、
赤、緑、青の３色成分における前記元の画像の各前記画素点の成分値に応じて、前記元の画像における各前記画素点の平均色差を推定するための色差推定ユニットと、
各前記画素点の前記平均色差に応じて、各前記画素点の赤、緑、青の３色成分の利得量を計算するための利得計算ユニットと、
前記利得量に基づいて、前記元の画像における各前記画素点の色温度を補正し、前記バランス画像を取得するためのバランス処理ユニットと、含むことを特徴とする請求項６−９のいずれか一項に記載の端末機器。
【請求項１１】
メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータ可読命令とを含み、前記プロセッサは、前記コンピュータ可読命令を実行すると、
証明書画像を含む、撮像装置によって撮影された元の画像を取得するステップと、
赤、緑、青の３色成分における前記元の画像における各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得するステップと、
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られるステップと、
前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出するステップと、を実現することを特徴とする端末機器。
【請求項１２】
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定する前に、さらに、
履歴証明書画像を収集し、前記履歴証明書画像を予め設定されたターゲット画像要件に応じてフィルタリングしてターゲット画像を取得することと、
予め設定された証明書画像テンプレートに従って前記ターゲット画像の画素を識別し、前記ターゲット画像から少なくとも１つの画素を中心画素点として確定することと、
訓練モデルの初期重み値を設定し、前記初期重み値、各前記中心画素点と前記中心画素点の周辺の画素点の画素値に基づいて証明書画像の出力位置を計算し、前記出力位置と予め設定された期待位置との間の差に基づいて前記初期重みを調整して目標重みを取得し、前記目標重みに基づいてニューラルネットワークに基づく証明書特徴モデルを確定することと、を含むことを特徴とする請求項１１記載の端末機器。
【請求項１３】
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定することは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正すること、を含むことを特徴とする請求項１２に記載の端末機器。
【請求項１４】
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正することは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と、前記証明書の実際の位置との間の距離の差を確定することと、
前記距離の差が前記差の閾値以上である場合、前記証明書特徴モデルの初期パラメータを、下式に応じて補正し、
【数３】
2021531571.tif 000016
ここで、ｗｉｊ（ｋ）がｋ回目の訓練時の重みを表し、ｗｉｊ（ｋ＋１）がｋ＋１回目の訓練時の重みを表し、ηが学習レートを表しかつη＞０であり、Ｅ（ｋ）が最初のｋ回の訓練によって得られた証明書画像の位置の期待値を表すことと、を含むことを特徴とする請求項１３に記載の端末機器。
【請求項１５】
赤、緑、青の３色成分における前記元の画像における各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得することは、
赤、緑、青の３色成分における前記元の画像の各前記画素点の成分値に応じて、前記元の画像における各前記画素点の平均色差を推定することと、
各前記画素点の前記平均色差に応じて、各前記画素点の赤、緑、青の３色成分の利得量を計算することと、
前記利得量に基づいて、前記元の画像における各前記画素点の色温度を補正し、前記バランス画像を取得することと、を含むことを特徴とする請求項１１−１４のいずれか一項に記載の端末機器。
【請求項１６】
コンピュータ可読命令を記憶しているコンピュータの不揮発性可読記憶媒体であって、前記コンピュータ可読命令がプロセッサによって実行されると、
証明書画像を含む、撮像装置によって撮影された元の画像を取得するステップと、
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得するステップと、
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られるステップと、
前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出するステップと、を実現することを特徴とするコンピュータの不揮発性可読記憶媒体。
【請求項１７】
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定する前に、さらに、
履歴証明書画像を収集し、前記履歴証明書画像を予め設定されたターゲット画像要件に従ってフィルタリングしてターゲット画像を取得することと、
予め設定された証明書画像テンプレートに従って前記ターゲット画像の画素を識別し、前記ターゲット画像から少なくとも１つの画素を中心画素点として確定することと、
訓練モデルの初期重み値を設定し、前記初期重み値、各前記中心画素点と前記中心画素点の周辺の画素点の画素値に基づいて証明書画像の出力位置を計算し、前記出力位置と予め設定された期待位置との間の差に基づいて前記初期重みを調整して目標重みを取得し、前記目標重みに基づいてニューラルネットワークに基づく証明書特徴モデルを確定することと、を含むことを特徴とする請求項１６に記載のコンピュータの不揮発性可読記憶媒体。
【請求項１８】
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定することは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正すること、を含むことを特徴とする請求項１７に記載のコンピュータの不揮発性可読記憶媒体。
【請求項１９】
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正することは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差を確定することと、
前記距離の差が前記差の閾値以上である場合、前記証明書特徴モデルの初期パラメータを、下式に応じて補正し、
【数４】
2021531571.tif 000017
ここで、ｗｉｊ（ｋ）がｋ回目の訓練時の重みを表し、ｗｉｊ（ｋ＋１）がｋ＋１回目の訓練時の重みを表し、ηが学習レートを表しかつη＞０であり、Ｅ（ｋ）が最初のｋ回の訓練によって得られた証明書画像の位置の期待値を表すことと、を含むことを特徴とする請求項１８に記載のコンピュータの不揮発性可読記憶媒体。
【請求項２０】
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得することは、
赤、緑、青の３色成分における前記元の画像の各前記画素点の成分値に応じて、前記元の画像における各前記画素点の平均色差を推定することと、
各前記画素点の前記平均色差に応じて、各前記画素点の赤、緑、青の３色成分の利得量を計算することと、
前記利得量に基づき、前記元の画像における各前記画素点の色温度を補正し、前記バランス画像を取得することと、を含むことを特徴とする請求項１６−１９のいずれか一項に記載のコンピュータの不揮発性可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１９年１月１０日に中国特許庁に提出された、出願番号が２０１９１００２３３８２．２号で、発明の名称が「証明書画像抽出方法及び端末機器」である中国特許出願の優先権を主張し、その内容全体が参照により本出願に組み込まれる。
【０００２】
本出願は、コンピュータ応用技術分野に属し、特に、証明書画像抽出方法、端末機器及びコンピュータの不揮発性可読記憶媒体に関する。
【背景技術】
【０００３】
マシンビジョンは、「モノ」に「見る」機能を持たせ、情報収集機能だけでなく、処理や認識などの高度な機能も持たせることができる。また、マシンビジョンの機器コストが低く、最も一般的に使用されている機器はカメラである。統計によると、近年、各大都市での公共カメラと家庭用・企業用カメラの取り付け比率が大幅に増加しており、家庭用・企業用カメラの取り付け比率も高く、カメラの普及に伴い、今後、各都市の隅又は家庭や企業ではカメラが大量に使用される。カメラの急速な普及に伴い、マシンビジョン技術の関連アプリケーションはさらに急速に発展していく。マシンビジョン分野の発展に伴い、証明書写真による身元検証技術もこの波に乗って広く応用されている。
【０００４】
従来技術では、都市の様々な場所に配置されたカメラを呼び出して身元検証を行うことができ、これにより、数万人から特定の人の情報を見つけることが簡単になる。しかし、多くの外部環境の影響により、得られた証明書画像の品質が悪く、証明書画像を正確に取得することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本出願の実施例は、従来技術における多くの外部環境の影響により、得られた証明書画像の品質が悪く、正確ではないという問題を解決するように、証明書画像抽出方法、端末機器及びコンピュータの不揮発性可読記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
本出願の実施例の第１の態様に係る証明書画像抽出方法は、
証明書画像を含む、撮像装置によって撮影された元の画像を取得することと、
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得することと、
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られることと、
前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出することと、を含む。
【０００７】
本出願の実施例の第２の態様に係る端末機器は、メモリと、プロセッサと、前記メモリに記憶されかつ前記プロセッサ上で実行可能なコンピュータ可読命令とを含み、前記プロセッサが前記コンピュータ可読命令を実行すると、以下のステップを実現する：
【０００８】
証明書画像を含む、撮像装置によって撮影された元の画像を取得する。
【０００９】
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得する。
【００１０】
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られる。
【００１１】
前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する。
【００１２】
本出願の実施例の第３の態様に係る端末機器は、
証明書画像を含む、撮像装置によって撮影された元の画像を取得するための取得ユニットと、
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得するための処理ユニットと、
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定するために使用され、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られる確定ユニットと、
前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する抽出ユニットと、を含む。
【００１３】
本出願の実施例の第４の態様に係るコンピュータの不揮発性可読記憶媒体は、コンピュータ可読命令を記憶しており、前記コンピュータ可読命令がプロセッサによって実行されると、前記プロセッサに上記の第１の態様の方法を実行させる。
【発明の効果】
【００１４】
本出願の実施例では、証明書画像を含む、撮像装置によって撮影された元の画像を取得し、赤、緑、青の３色成分における元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得し、予め訓練された証明書特徴モデルに応じて、バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られ、証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する。証明書特徴モデルに応じて元の画像中の証明書位置を確定し、画像中の証明書画像を抽出することにより、元の画像から証明書画像を抽出する精度が向上する。
【図面の簡単な説明】
【００１５】
【図１】本出願の実施例１に係る証明書画像抽出方法のフローチャートである。
【図２】本出願の実施例２に係る証明書画像抽出方法のフローチャートである。
【図３】本出願の実施例３に係る端末機器の概略図である。
【図４】本出願の実施例４に係る端末機器の概略図である。
【発明を実施するための形態】
【００１６】
以下の説明では、限定ではなく説明の目的で、特定のシステム構造、技術などの詳細が本出願の実施例を完全に理解するために提供される。しかし、これらの詳細のない他の実施例においても本出願が実現され得ることは当業者が理解すべきである。他の実施例では、不要な詳細が本出願の説明を妨げないように、周知のシステム、装置、回路及び方法に対する詳細な説明を省略する。
【００１７】
本出願に記載の技術的解決手段を説明するために、以下に具体的な実施例を用いて説明する。
【００１８】
図１を参照すると、図１は、本出願の実施例１に係る証明書画像抽出方法のフローチャートである。本実施例における証明書画像抽出方法の実行主体は、端末である。端末は、スマートフォン、タブレットコンピュータ、ウェアラブル機器などのモバイル端末を含むがこれらに限定されず、デスクトップコンピュータなどであってもよい。図に示す証明書画像抽出方法は、以下のステップを含むことができる。
【００１９】
Ｓ１０１、証明書画像を含む、撮像装置によって撮影された元の画像を取得する。
【００２０】
社会実名制の発展に伴い、証明書情報を高速かつ正確に収集することは、ますます重要な話題となり、ハードウェア性能の向上及びデジタル画像処理技術の高速発展により、証明書情報収集システムの性能が大幅に向上する。証明書情報収集システム全体の機能に影響を与える証明書画像処理部として、それはシステムの効果に大きな影響を与え、且つ、対応する処理もシステムによって異なる。国の法規制が徐々に改善されるにつれ、社会は公共の安全に対する要求がますます高くなっているため、関係部門は、社会や人々の生活の多くの分野でインターネットアクセスの実名制、口座開設の実名制、携帯電話の実名制などの実名制を実施している。個人情報の抽出が単純に手作業による入力及び検証に依存すると、作業効率が低くなり、誤り率が高くなり、業務の両方に重大な不便をもたらす。証明書情報収集システムは、無線周波数識別技術と画像識別技術により、証明書情報の自動抽出、身元証明書、パスポートなどの証明書資料の入力を実現することができる。情報取得手段の豊富さと画像処理技術の発展により、証明書トリーダーの体積がより小さくなり、情報抽出の速度が速くなり、情報の誤り率が低くなる。公共の安全と管理効率を向上させるとともに、業務の両方に大きな利便性をもたらす。さらに、証明書情報収集システムは、実名制アプリケーションの拡張にも有利である。証明書情報収集システムの発展により、汽車、自動車、地下鉄などの交通量が大きい場合にも実名制の実施が可能となり、これは鉄道、道路、都市鉄道輸送の安全性が大幅に確保される。
【００２１】
モバイルインテリジェント端末とは、コンピュータのように様々なオペレーティングシステムが取り付けられるが、体積がコンピュータに比べて小さく、携帯しやすく、且つ無線インターネットアクセス機能を有し、ユーザは、自分のニーズに応じてオペレーティングシステムに対応する様々なアプリケーションをダウンロードすることができる。生活の中でより一般的なモバイルインテリジェント端末として、スマートフォン、タブレットコンピュータ、車載コンピュータ、ウェアラブルモバイル機器などがある。スマートフォンは、現在のより一般的に使用されるモバイルインテリジェント端末であり、ユーザは、自分の好み又はニーズに応じてサードパーティサービスプロバイダーから提供されるアプリケーション、ゲーム又は機能プログラムなどをインストールすることができ、インテリジェント端末の機能に対するニーズを満足することができる。近年、科学技術の継続的な発展に伴い、様々な証明書はもはや１本の証明書ではなく、身元証明書に類似するカードである。証明書の利用に伴い、証明書情報の入力も重要な問題となっている。従来の情報入力方法として、まず関連するテーブルに情報を手動で書き込み、次に内部作業者は、テーブルの内容に応じて重要な情報をコンピュータに記憶するか、又は指定された場所に証明書をスキャンしてアップロードする。前者の方式では情報入力の場所が制限されないが、情報入力のたびに多大な人的及び物的資源が必要であり、誤入力も発生しやすい。後者の場合、情報入力の効率や確率が向上するが、利用場所が比較的固定されている。モバイルインテリジェント端末の登場により、いつでもどこでも証明書情報の入力が可能になる。モバイルインテリジェント端末上の情報識別システムは、サービス業界、交通システム、公安システムなどの証明書情報をチェックする必要がある部分に広く適用することができ、多数の人員を必要とせずに証明書情報の収集及びチェックを完了することができ、収集及びチェック作業における証明書情報識別の効率と正確率を向上させ、幅広い応用の見通しを持っている。
【００２２】
実際の応用では、ユーザは、モバイル端末で撮影された元の画像をサーバ又は画像処理端末にアップロードすることができ、画像処理端末は、元の画像を受信した後、その元の画像を処理して識別する。本解決手段の応用場面は、ユーザの証明書画像が取得されて検証されるウェブサイトで画像収集命令をユーザに送信し、ユーザが自分の端末機器で身元証明書、パスポートなどの写真を撮影し、撮影された画像をモバイル端末内のアプリケーションソフト又はウェブページを介して実行主体に送信し、実行主体がターゲット画像を取得した後に当該元の画像を処理して識別することであってもよい。
【００２３】
Ｓ１０２、赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得する。
【００２４】
実際の応用では、画像を表現するために最も一般的に使用される色空間は、赤緑青（ＲＧＢ：Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）である。トゥルーカラー画像の３つの色成分はそれぞれ１つのバイトビットで表されるので、１つのドットの空間は３つのバイトで表される必要があり、１つの１０２４×７６８のトゥルーカラー画像は１０２４×７６８×３＝２．２５ＭＢが必要となる。このような大きな空間は、初期のコンピュータでは大きなオーバーヘッドであり、携帯電話のようにメモリスペースが比較的小さいいくつかの環境でも、それも巨大である。したがって、1つのテーブルで画像内の全ての色が格納されるが、実際の画像データはもはやＲＧＢデータではなく、そのテーブル内のＲＧＢデータのインデックスであり、インデックスのサイズを制御するために、このテーブルのサイズは、一般的に２５６個未満の要素、すなわち１バイトで表される範囲に要求され、このバイトはこの画像内の１ドットの色を表すことができる。テーブルがより小さくなると、１つのドットのためのインデックスビット数がさらに少なくなるので、１０２４×７６８のトゥルーカラー画像の２５６色パレットに１０２４×７６８×３＝７６８．８ＫＢだけが必要となる。色量子化プロセスでは、トゥルーカラー又はフォールストゥルーカラー画像がパレット画像に量子化されるためのカラーパレットとパレット画像に継続的に量子化されるためのカラーパレットという２つのカラーパレットがよく使用される。コンピュータの記憶容量の継続的な増大に伴い、パレット画像は、パーソナルコンピュータから徐々に消えてきているが、携帯電話などのいくつかの特殊な機器、特にモバイルゲームアプリケーションなどでは、依然として広く応用されている。
【００２５】
コンピュータ技術の継続的な発展に伴い、グラフィック画像の処理は、工業、農業、軍事、医学、管理などの様々な分野で広く利用されている。カラースキャナー、カメラなどの機器で、自然界のカラフルな元の画像を収集することができる。しかし、コンピュータで表示する場合、表示装置によって提供される機能と経済性の理由で、表示できる色の数は常に制限されている。一方で、異なるコンピュータ機器の条件で表示できる色の数は常に異なるが、同じ画像でもグレードの低いマシン機器の状態ではより良く再現されることが望まれる。色再現、階調処理の一連の問題を解決することができるテレビ撮影の分野において非常に重要な概念である。
【００２６】
実際の応用では、バランスは、ディスプレイにおける赤、緑、青の三原色を混合して生成された白色の精度を記述するための指標である。ホワイトバランスは、カメラの分野で色再現と色相処理の一連の問題を解決するための非常に重要な概念である。ホワイトバランスは、電子画像のトゥルーカラーの再現に伴って発生し、専門の撮影分野でより早く応用され、現在の家庭用の電子製品でも広く使用されているが、技術の発展によりホワイトバランスの調整がより簡単になり、しかし、多くのユーザがホワイトバランスの動作原理を理解していなく、理解には多くの誤解がある。ホワイトバランスにより、カメラの画像に被写体の色の状態を正確に反映させることができる。本実施例では、手動ホワイトバランスと自動ホワイトバランスなどで元の画像に対してホワイトバランス処理を行うことにより、バランス画像を得ることができる。
【００２７】
Ｓ１０３、予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られる。
【００２８】
証明書文字の識別に用いられる主な方法は、隠れマルコフモデル、ニューラルネットワーク、サポートベクターマシン、テンプレートマッチングである。隠れマルコフモデルを用いたすべての方法では、前処理と既存の知識に基づくパラメータ設定とが行わる必要がある。この方法では、複雑な前処理とパラメータ化により高い識別率を取得することができ、証明書特徴モデルを多層知覚ニューラルネットワークによって訓練することができるが、ニューラルネットワークが後方フィードバック法を用いて訓練するため、より良い結果を得るために何度も訓練しなければならず、このプロセスに時間がかかり、隠れ層の層数と隠れ層のニューロンの数を実験的な方法で求めなければならない。選択可能に、ニューラルネットワークは、バランス画像内の証明書を識別するために、２４個の入力層ニューロン、１５個の隠れ層ニューロン、及び３６個の出力層ニューロンを含む。
【００２９】
人間の中脳には無数のニューロンが存在し、これらのニューロンには無尽蔵のつながりがあり、組織化された後に緊密な神経ネットワーク構造が形成され、この神経ネットワーク構造が人間の脳の複雑な計算と機能を実現することが可能である。ここでのニューラルネットワークは、主にこれらのニューロンの接続方式、組織構造を研究するためのものである。ニューラルネットワークの場合、それは層状と網状の２種類に分けられてもよい。第１の種類のニューロン構造の場合、ニューロンは階層的に配列され、層ごとに並びに配置されて1つの緊密な機構を形成し、層の間にニューロンで接続されているが、各層内のニューロンの場合、接続ができなく、第２の種類のニューロン構造の場合、各ニューロンは相互に接続することができる。
【００３０】
ニューラルネットワークの場合、一定の訓練を行った後に、ニューラルネットワークの処理のルールや方法を学習し、かつこれらの方法で問題の処理及び解決を行う必要があることを説明すべきである。順方向多層ネットワークの構造については、具体的には次のいくつかのステップで実現される。まず、入力パターンと出力パターンを含む順方向多層ネットワークの訓練例を提供する必要がある。上記の設計の訓練セルフケアについては、入力と出力に一定の誤差が許容され、順方向多層ネットワークの出力を変更する必要があり、最終的な出力が誤差の範囲を満たすより良い出力を得るために、出力を変更する必要がある。
【００３１】
Ｓ１０４、前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する。
【００３２】
バランス画像中の証明書画像の位置が確定された後、証明書画像の位置に応じて、バランス画像から当該証明書画像を抽出する。具体的には、その抽出方法は、証明書画像を抽出するためにバランス画像から直接トリミングする方式であってもよく、証明書画像以外の画像領域を除去して証明書画像を保持する方法であってもよいが、ここでは限定されない。
【００３３】
また、エッジと勾配とに基づいて、証明画像の画像エッジを検出し、その画像エッジに基づいて、証明画像を抽出するようにしてもよい。
【００３４】
また、エッジ及びグラデーションに基づく方法により、証明書画像の画像エッジを検出し、当該画像エッジに基づき、証明書画像を抽出することができる。エッジに基づく証明書画像方法では、自然場面における証明書画像と背景エッジに大きな違いがあると考えられ、当該方法では文字に対してエッジ検出を行うので、エッジ情報から証明書画像を確定する。選択可能に、Ｓｏｂｅｌ演算子、Ｒｏｂｅｒｔ演算子、Ｌａｐｌａｃｅ演算子によって証明書画像の画像エッジを確定することができる。ここで、Ｓｏｂｅｌ演算子は、証明書画像中のある画素点のグラデーションが閾値よりも大きいかどうかを判断することにより、その点がエッジ点であるかどうかを確定し、Ｒｏｂｅｒｔ演算子は、文字と背景の違いが大きい画像に適し、かつ検出して得られたエッジが粗いが、Ｌａｐｌａｃｅ演算子は、ノイズに非常に敏感であり、ダブルエッジ効果を発生しやすく、エッジの検出に直接使用されていない。また、接続領域に基づく証明書画像特定方法を用いうことができ、元の画像を２値画像に変換し、ノイズの影響を低減させ、形態学的腐食膨張アルゴリズムを用いて証明書画像領域を接続し、証明書画像と白背景との区別の度合いによって画像を分割し、証明書画像の様々な特徴によって非証明書画像接続領域を除外し、それによって証明書画像を取得するという接続領域に基づく証明書画像確定方法は、証明書画像の確定速度が速くなり、証明書画像及びその証明書画像に含まれる文字の識別効率を向上させることができる。
【００３５】
上記の解決手段では、証明書画像を含む、撮像装置によって撮影された元の画像を取得し、赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得し、予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られ、前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する。証明書特徴モデルに応じて元の画像中の証明書位置を確定し、画像中の証明書画像を抽出することにより、元の画像から証明書画像を抽出する精度が向上する。
【００３６】
図２を参照すると、図２は、本出願の実施例２に係る証明書画像抽出方法のフローチャートである。本実施例における証明書画像抽出方法の実行主体は、端末である。端末は、スマートフォン、タブレットコンピュータ、ウェアラブル機器などのモバイル端末を含むがこれらに限定されず、デスクトップコンピュータなどであってもよい。図に示す証明書画像抽出方法は、以下のステップを含むことができる。
【００３７】
Ｓ２０１、履歴証明書画像を収集し、前記履歴証明書画像を予め設定されたターゲット画像要件に従ってフィルタリングしてターゲット画像を取得する。
【００３８】
元の画像を識別して処理する前に、証明書画像を識別するための証明書特徴モデルを訓練する必要がある。したがって、本解決手段では、まず、元の画像から証明書画像を抽出するために、履歴証明書画像に基づいて証明書特徴モデルを訓練することができる。本解決手段では、証明書特徴モデルを訓練するためのデータは、履歴証明書画像であってもよく、履歴証明書画像は、証明書画像を正式に抽出する前に取得された履歴画像を含む。
【００３９】
実際の応用では、取得された履歴証明書画像には要件を満たしていない画像がある可能性があり、このような状況を考慮して、本解決手段では、取得された履歴証明書画像を予め設定されたターゲット画像要件に従ってフィルタリングしてターゲット画像を取得する。ここで、予め設定されたターゲット画像要件は、画像の画素、サイズ、又は撮影時間の要件であってもよく、さらに、検出された画像の完全性、証明書画像のタイプの要件などであってもよい。これらの要件は、実行者によって確定されてもよく、ここでは限定されず、ターゲット画像要件が確定された後、取得された履歴証明書画像をターゲット画像要件と一致させ、一致度が一致度閾値より大きい履歴証明書画像をターゲット画像として確定する。
【００４０】
様々な撮像装置で得られた証明書画像を取得してニューラルネットワーク訓練を行うための初期サンプルとして使用する。ニューラルネットワークの学習及び訓練プロセスでは、訓練セットの選択は、ネットワークの学習及び訓練時間、重み行列、学習及び訓練効果などに影響を直接与える。本解決手段では、画像のエッジが明らかであり、かつ画像の大部分の領域にエッジが分布している画像が訓練セットの初期サンプルとして選択され、画像のエッジがより明確になり、粒状のエッジが画像全体に分布し、かつそのテクスチャ特徴が豊富であり、ニューラルネットワークが十分に訓練され、ネットワークの重みなどのネットワーク情報はより多くのエッジ情報を記憶し、画像をより良く検出することができる。
【００４１】
Ｓ２０２、予め設定された証明書画像テンプレートに従って前記ターゲット画像の画素を識別し、前記ターゲット画像から少なくとも１つの中心画素点を確定する。
【００４２】
画像サンプルの中心画素点を確定する際には、画像識別により、画像サンプルの顕著かつ代表的な画素点を中心画素点として確定することができる。例示的には、処理される元の画像がユーザによって撮影された身元画像である場合、既知の身元証明書画像のアバターのサイズと文字の位置に基づいてアバターの四隅を中心画素点として確定してもよいし、身元証明書中の１番目のワード又は各行の１番目のワードなどのいくつかの文字を中心画素点として確定してもよい。さらに、身元証明書の写真、不動産証明書の写真などの取得された画像のタイプを予め設定し、各タイプの画像テンプレート及び当該テンプレート内の各画像要素の位置、又は証明書の境界からの距離などの情報を確定し、これらの情報によって識別し、画像サンプル内の中心画素点を正確に確定し、中心画素点及びそれを中心する周辺の画素点を用いて学習及び訓練を行い、元の画像から証明書の位置を確定することができる。
【００４３】
説明すべきものとして、中心画素点の周辺の画素点の数は、少なくとも２個であってもよく、好ましくは、画像の各画素をより明確に確定するために、中心画素点の周辺の８個の画素点を確定して学習して訓練してもよい。
【００４４】
Ｓ２０３、訓練モデルの初期パラメータを設定し、前記初期パラメータ、各前記中心画素点の画素値と前記中心画素点の周辺の画素点の画素値に基づいて学習して訓練し、ニューラルネットワークに基づく証明書特徴モデルを取得する。
【００４５】
いずれかのニューラルネットワークモデルについては、その応用プロセスにおける学習及び訓練はいずれも重要なリンクであり、ネットワークは、関連付け、記憶、予測機能を持つことができるように、学習及び訓練される必要がある。通常、いくつかのパラメータの確定は、学習及び訓練プロセスにとって非常に重要である。ネットワークの初期パラメータは、ネットワークの初期構造、接続の重み、閾値及び学習率などを含む。異なる設定は、ネットワークの収束速度に影響をある程度与える。初期パラメータの選択は、非常に重要であるが、非常に難しい。ネットワーク構築は、必要な技術処理に加えて、主に観察と経験に依存している。
【００４６】
証明書特徴モデルを訓練するとき、まず、モデルの初期値を確定し、ネットワークの初期重みと閾値は、一般的に［−１，１］又は［０，１］からランダムに選択され、いくつかの改良されたアルゴリズムは、間隔に適切な変更を加える。次に、ベクトルを正規化し、学習及び訓練プロセスにおいてノード入力が大きすぎてはならず、重み調整が小さすぎるとネットワーク学習及び訓練に不利である。訓練画像は階調に基づいているため、画像行列はすべて［０、２５５］の間の整数値であり、かつ特徴ベクトルの次元が比較的高いので、ネットワークの訓練速度を向上させるために、特徴ベクトルに対して一様に正規化する。特徴ベクトルを行ベクトルと見なすと、それは、以下のように表される。
【００４７】
【数１】
2021531571.tif 000003
ここで、
【数２】
2021531571.tif 000004
は、それぞれ中心画素点とその周辺の画素点の画素値を表すために使用される。
【００４８】
本実施例における中心画素点の周辺の画素点の数は、少なくとも２個であってもよく、中心画素点の周辺の画素点をより正確に説明するために、好ましくは８個であってもよく、８ビットの階調画像の階調値範囲は［０、２５５］であり、従って、実際の処理における正規化式は以下のとおりであり、
【数３】
2021531571.tif 000005
ここで、ｘ０は、中心画素点の画素値を表すために使用される。
【００４９】
処理対象が画像であり、画像サンプルセットが比較的大きいため、画像をブロックに分割するという考え方を採用する。ニューラルネットワークに１つの画像サンプルが入力されるたびに、１つ又は少なくとも２つの中心画素点を確定することにより、この中心画素点の周辺のテンプレート画素、即ちそれを中心とする周辺の８つの画素を学習及び訓練し、これらの画素の階調値を上から下へ、左から右へと順に入力層に供給する。出力層から供給される所望の出力画素の階調値と実際の出力層の出力画素の階調値との間には一定の誤差があり、この誤差は逆伝播し、これにより各ニューロンの閾値とニューロン間の接続重みが変化するため、ネットワークはより多くのエッジ情報を効果的に記憶することができる。上記のプロセスを、誤差が所定の範囲内に小さくなるまで、又は訓練回数が目標回数に達するまで繰り返して行い、訓練タスクを完了する。訓練要件では、ネットワークの訓練をいつでも停止できると同時に、今後のニューラルネットワークによる検出を容易にするために、訓練された重みと閾値の両方をバックエンドのデータベースに記憶し、最後に訓練されたネットワークを保存することが規定されている。
【００５０】
Ｓ２０４、証明書画像を含む、撮像装置によって撮影された元の画像を取得する。
【００５１】
本実施例におけるＳ２０４は、図１に対応する実施例におけるＳ１０１の実現方法と完全に同様であり、具体的には図１に対応する実施例におけるＳ１０１の関連説明を参照することができ、ここでは説明を省略する。
【００５２】
Ｓ２０５、赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得する。
【００５３】
元の画像を取得した後、赤、緑、青の３色成分における元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得する。
【００５４】
さらに、ステップＳ２０５は、具体的には、ステップＳ２０５１−Ｓ２０５２を含んでもよい。
【００５５】
Ｓ２０５１、赤、緑、青の３色成分における前記元の画像の各前記画素点の成分値に応じて、前記元の画像における各前記画素点の平均色差を推定する。
【００５６】
画像に対して形態学的処理又はマッチング、識別などの処理を行う前に、干渉情報をフィルタリングしたり、有効情報を強化したりするなどの画像前処理と呼ばれる処理を行う。画像の前処理の主な目的は、画像内の干渉情報又は無関係な情報を排除し、有用な実の情報を復元し、関連情報の検出可能性を高め、データを最大限に関素化することで、特徴抽出、画像分割、マッチングと識別の信頼性を向上させることである。デジタルカラー画像に対する前処理は、一般的に輝度と色の復元と強化である。様々な前処理の比較と試験に鑑み、ホワイトバランス処理はシステムの最終的な分割結果に比較的大きな影響を与えるが、他の前処理は、ほとんど影響を与えないことがわかる。したがって、本解決手段における前処理は主にホワイトバランス処理である。
【００５７】
光源が異なるとスペクトルの成分及び分布も異なり、これを比色分析では色温度と呼ばれる。１つの白い物体は、色温度の低い光が照射されと赤くなり、色温度の高い光が照射されると青くなる。撮影時には、周囲光源の色温度が画像に影響を与え、必然的に色のずれが生じる。ターゲット色への外光の影響を最小限に抑え、異なる色温度条件下で被写体の元の色を復元するためには、正しいカラーバランスを達成するための色補正を行う必要がある。
【００５８】
画像のＲ、Ｇ、Ｂの３色が等しい場合、その色差が０であり、白色になる。画像処理では、一般的に、ＹＢＲカラーモデルを用いて色差を計算する。ＹＢＲ色系とＲＧＢ色系の対応関係は、以下のとおりである：
【００５９】
【数４】
2021531571.tif 000006
【００６０】
Ｙが十分に大きく、ＢとＲが十分に小さい空間で１つの領域が定義され、その領域内の全ての画素が白色として見なされ、色差の計算に参加することができる。次に、白色画素の平均色差を用いて画像全体の色差を表し、よい精度を達成する。システムの特徴に応じて、以下の約束条件、
【数５】
2021531571.tif 000007
が与えられる。当該約束を満たす画素は白色として見なされ、白色画素点の平均輝度及びＲ、Ｇ、Ｂ成分の平均値Ｒａｖｇ、Ｇａｖｇ、Ｂａｖｇとが得られる。
【００６１】
Ｓ２０５２、各前記画素点の前記平均色差に応じて、赤、緑、青の３色成分における各前記画素点の利得量を計算する。
【００６２】
実際の応用では、色利得が画像の鮮やかさを示すために使用され、利得量は色のコントラストを増加し、色をより鮮やかで飽和させ、より大きな視覚的影響を引き起こし、一方では、一定のシャープニング効果があるため、エッジラインがより鮮明になる。色利得により、画像のコントラスト、彩度などを自動的に調整する機能は同様である。デジタルカメラのこのような技術は、写真をより鮮明に見せることができ、より目立つようにすることができる。
【００６３】
前ステップで算出された平均色差に基づき、ホワイトバランスの各成分の利得量は、以下のとおりである：
【００６４】
【数６】
2021531571.tif 000008
【００６５】
Ｓ２０５３、前記利得量に基づき、前記元の画像における各前記画素点の色温度を補正し、前記バランス画像を取得する。
【００６６】
前ステップで得られた利得量に基づき、本解決手段では、画像全体の各画素の色温度補正を行い、具体的な算式は以下のとおりである：
【００６７】
【数７】
2021531571.tif 000009
【００６８】
選択可能に、画像の強化を行って画像のノイズを除去又は低減したりし、画像のコントラストを増加したりするなどにより、テキスト領域の位置を強化することができる。画像の水平補正により、元の画像をテキストの水平分布に変換し、テキスト領域の位置決め精度を向上させる。画像強化方法として、ガウスぼかしとシャープニング処理であってもよく、画像のガウスぼかし処理は、細部をぼかしてノイズを低減するための一般的な方法であり、ガウスぼかし処理には、点の８つの接続領域を一定の重みで加算し、その中の値を点の画素値として使用する。ガウスぼかしスムージング処理により、画像内の多くのノイズを平滑化し、画像内のターゲット画像の輪郭を強化することができる。ガウスぼかしスムージング処理は、背景が複雑であるが画像の目標輪郭が明らかな画像のみに適用できるが、スムージング処理により、画像の細部を平滑化することができ、ノイズを平滑化するとともに、不明確な輪郭の細部も平滑化する。
【００６９】
また、元の画像に対して画像の平滑化やフィルタリングを行うことができ、画像生成プロセスで発生する画像の品質の低下に対して何らかの対策を講じることができる。これにより、画像の品質を向上させることができる。具体的には、画像の失われた一部の情報を対象として補償する。また、他の方法として、画像のある部分の画像情報を強化するように画像処理を行う。重要度の低いいくつかの画像情報をさらに低減する。証明書の画像処理では、証明書の画像情報を取得するために、通常は証明書収集ツールを使用する必要がある。このプロセスでは、ノイズが発生することが多いので、ノイズの低減に努める必要がある。このような方法により、画像の品質を高めることができ、発生したノイズを干渉し、良い画像情報を取得し、重要な画像の情報を強化する。この画像の前処理の技術は、画像の平滑処理である。画像平滑技術の場合、画像強化効果は、主に次の２つの方法と性能要件によって達成され、まず、画像の線やエッジの輪郭などの重要な情報を保持するが必要があり、任意に破壊できなく、次に、画像に対して、画像を鮮明にし、画像効果を高める必要がある。
【００７０】
Ｓ２０６、予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られる。
【００７１】
証明書特徴モデルが多層知覚ニューラルネットワークによって訓練され、ニューラルネットワークが後方フィードバック法によって訓練され、より良い結果を得るために、このようなネットワークを何度も訓練しなければならない。このプロセスに時間がかかり、かつ隠れ層の層数と隠れ層のニューロンの数を実験的な方法で求めなければならない。選択可能に、ニューラルネットワークは、バランス画像内の証明書を識別するために、２４個の入力層ニューロン、１５個の隠れ層ニューロン、及び３６個の出力層ニューロンを含む。
【００７２】
さらに、ステップＳ２０６は、具体的には、ステップＳ２０６１を含んでもよい。
【００７３】
Ｓ２０６１、前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正する。
【００７４】
証明書特徴モデルに基づいて元の画像内の証明書画像の位置を検出する場合、検出結果が実際の検出結果と異なる可能性が高いが、この場合、その後の検出結果がより正確になるように、証明書特徴モデルのパラメータを調整してもよい。具体的な実施形態は以下のとおりである。
【００７５】
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差を確定する。
【００７６】
前記距離の差が前記差の閾値以上である場合、前記証明書特徴モデルの初期パラメータを、次の式に応じて補正される：
【数８】
2021531571.tif 000010
ここで、ｗｉｊ（ｋ）は、ｋ回目の訓練時の重みを表し、ｗｉｊ（ｋ＋１）は、ｋ＋１回目の訓練時の重みを表し、ηは、学習レートを表しかつη＞０であり、Ｅ（ｋ）は、最初のｋ回の訓練によって得られた証明書画像の位置の期待値を表す。
【００７７】
ニューラルネットワークの実際の出力値が所望の出力値と一致しない場合、誤差信号を求め、かつ当該信号を出力端子から逆伝播し、同時に伝播プロセスで重み係数を常に修正して誤差関数を最小化し、通常、ネットワーク誤差の場合、平均二乗偏差を用いて重み係数を修正する。調整のための式は次のとおりである：
【００７８】
【数９】
2021531571.tif 000011
【００７９】
式では、ｗｉｊ（ｋ）は、ｋ回目の訓練時の重みを表し、ｗｉｊ（ｋ＋１）は、ｋ＋１回目の訓練時の重みを表し、は、η学習レートを表しかつη＞０であり、Ｅ（ｋ）は、最初のｋ回の訓練によって得られた証明書画像の位置の期待値を表し、
【数１０】
2021531571.tif 000012
は、ｋ回目の負のグラデーションを表す。
【００８０】
Ｓ２０７、前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する。
【００８１】
本実施例におけるＳ２０７は、図１に対応する実施例におけるＳ１０５の実現方法と完全に同様であり、具体的には図１に対応する実施例におけるＳ１０５の関連説明を参照することができ、ここでは説明を省略する。
【００８２】
上記解決手段では、履歴証明書画像を収集し、前記履歴証明書画像を予め設定されたターゲット画像要件に従ってフィルタリングしてターゲット画像を取得し、予め設定された証明書画像テンプレートに従って前記ターゲット画像の画素を識別し、前記ターゲット画像から少なくとも１つの中心画素点を確定し、訓練モデルの初期パラメータを設定し、前記初期パラメータ、各前記中心画素点の画素値と前記中心画素点の周辺の画素点の画素値に基づいて学習及び訓練してニューラルネットワークに基づく証明書特徴モデルを取得する。証明書画像を含む、撮像装置によって撮影された元の画像を取得し、赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得し、予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られ、前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する。取得された抽出待ち画像の元の画像を前処理し、証明書特徴モデルに基づいて前処理後の画像に対して証明書位置を確定し、その画像から証明書画像を抽出することにより、元の画像からの証明書画像の抽出精度が向上する。
【００８３】
図３を参照すると、図３は、本出願の実施例３に係る端末機器の概略図である。端末機器に含まれる各ユニットは、図１〜図２に対応する実施例における各ステップを実行するために使用される。具体的には、図１〜図２のそれぞれに対応する実施例における関連説明を参照してください。説明の便宜上、本実施例に関連する部分のみが示されている。本実施例の端末機器３００は、
証明書画像を含む、撮像装置によって撮影された元の画像を取得するための取得ユニット３０１と、
赤、緑、青の３色成分における前記元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得するための処理ユニット３０２と、
予め訓練された証明書特徴モデルに応じて、前記バランス画像から前記証明書画像の位置を確定するために使用され、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られる確定ユニット３０３と、
前記証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出するための抽出ユニット３０４と、を含む。
【００８４】
さらに、前記端末機器は、
履歴証明書画像を収集し、前記履歴証明書画像を予め設定されたターゲット画像要件に従ってフィルタリングしてターゲット画像を取得するためのスクリーニングユニットと、
予め設定された証明書画像テンプレートに従って前記ターゲット画像の画素を識別し、前記ターゲット画像から少なくとも１つの中心画素点を確定するための識別ユニットと、
訓練モデルの初期パラメータを設定し、前記初期パラメータ、各前記中心画素点の画素値と前記中心画素点の周辺の画素点の画素値に基づいて学習及び訓練してニューラルネットワークに基づく証明書特徴モデルを取得するための訓練ユニットと、をさらに含んでもよい。
【００８５】
さらに、前記確定ユニット３０３は、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差が予め設定された差閾値以上である場合、前記証明書特徴モデルの初期パラメータを修正するための修正ユニット、を含んでもよい。
【００８６】
さらに、前記修正ユニットは、
前記証明書特徴モデルに基づいて得られた前記証明書の位置と前記証明書の実際の位置との間の距離の差を確定するための距離計算ユニットと、
前記距離の差が前記差の閾値以上である場合、前記証明書特徴モデルの初期パラメータを、下式に応じて補正するために使用され、
【数１１】
2021531571.tif 000013
ここで、ｗｉｊ（ｋ）がｋ回目の訓練時の重みを表し、ｗｉｊ（ｋ＋１）がｋ＋１回目の訓練時の重みを表し、ηが学習レートを表しかつη＞０であり、Ｅ（ｋ）が最初のｋ回の訓練によって得られた証明書画像の位置の期待値を表すパラメータ補正ユニットを含んでもよい。
【００８７】
さらに、前記処理ユニット３０２は、
赤、緑、青の３色成分における前記元の画像の各前記画素点の成分値に応じて、前記元の画像における各前記画素点の平均色差を推定するための色差推定ユニットと、
各前記画素点の前記平均色差に応じて、各前記画素点の赤、緑、青の３色成分の利得量を計算するための利得計算ユニットと、
前記利得量に基づいて、前記元の画像における各前記画素点の色温度を補正し、前記バランス画像を取得するためのバランス処理ユニットと、含んでもよい。
【００８８】
上記解決手段では、証明書画像を含む、撮像装置によって撮影された元の画像を取得し、赤、緑、青の３色成分における元の画像の各画素点の成分値に応じて、前記元の画像に対してホワイトバランス処理を行い、バランス画像を取得し、予め訓練された証明書特徴モデルに応じて、バランス画像から前記証明書画像の位置を確定し、ここで、前記証明書特徴モデルが履歴証明書画像、証明書画像モデル及び予め設定された初期重みに基づいて訓練されて得られ、証明書画像の位置に応じて、前記バランス画像から前記証明書の画像を抽出する。証明書特徴モデルに応じて元の画像中の証明書位置を特定し、画像中の証明書画像を抽出することにより、元の画像から証明書画像を抽出する精度が向上する。
【００８９】
図４は、本出願の実施例４に係る端末機器の概略図である。図４に示すように、当該実施例の端末機器４は、プロセッサ４０と、メモリ４１と、前記メモリ４１に記憶され且つ前記プロセッサ４０上で実行可能なコンピュータ可読命令４２とを含む。前記プロセッサ４０は、前記コンピュータ可読命令４２を実行すると上述した各証明書画像抽出方法の実施例におけるステップ、例えば図１に示すステップ１０１乃至１０４を実現する。又は、前記プロセッサ４０は、前記コンピュータ可読命令４２を実行すると上述した各装置実施例における各モジュール／ユニットの機能、例えば、図３に示すユニット３０１乃至３０４の機能を実現する。
【００９０】
例示的には、前記コンピュータ可読命令４２は、１つ以上のモジュール／ユニットに分割されてもよく、前記１つ以上のモジュール／ユニットは、前記メモリ４１に記憶され、前記プロセッサ４０によって実行され、本出願を完了する。前記１つ以上のモジュール／ユニットは特定の機能を完了できる一連のコンピュータ可読命令の命令セグメントであってもよく、当該命令セグメントが前記端末機器４における前記コンピュータ可読命令４２の実行プロセスを記述するために使用される。
【００９１】
前記端末機器４は、デスクトップコンピュータ、ラップトップ、ハンドヘルドコンピュータ、クラウドサーバなどのコンピューティング機器であってもよい。前記端末機器は、プロセッサ４０、メモリ４１を含んでもよいがこれらに限定されない。図４が、端末機器４の一例に過ぎず、端末機器４に対する限定を構成するものではなく、それが図に示されているものよりも多く又は少ない構成要素、又はいくつかの構成要素の組み合わせ、又は異なる構成要素を含んでもよく、例えば、前記端末機器がさらに、入出力装置、ネットワークアクセス装置、バスなどを含んでもよいことは、当業者が理解され得る。
【００９２】
前記プロセッサ４０は、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよく、また、他の汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣＡｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサ、又は任意の従来のプロセッサなどであってもよい。
【００９３】
前記メモリ４１は、前記端末機器４の内部記憶ユニット、例えば端末機器４のハードディスク又は内部メモリであってもよい。前記メモリ４１は、前記端末機器４の外部記憶機器、例えば、前記端末機器４に装備されているプラグインハードディスク、スマートメディアカード（ＳＭＣ：Ｓｍａｒｔ  Ｍｅｄｉａ（登録商標）  Ｃａｒｄ）、セキュアデジタル（ＳＤ：Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）カード、フラッシュカード（ＦＣ：Ｆｌａｓｈ  Ｃａｒｄ）などであってもよい。さらに、前記メモリ４１は、前記端末機器４の内部記憶ユニットだけでなく、外部記憶機器を含んでもよい。前記メモリ４１は、前記コンピュータ可読命令、前記端末機器に必要な他のプログラム及びデータを記憶するために使用される。前記メモリ４１はさらに、出力されたか、又は出力されるデータを一時的に記憶するために使用されてもよい。
【００９４】
当業者にとって、上記実施例の方法における流れの全部又は一部がコンピュータ可読命令によって関連するハードウェアに指示して完了されてもよいことを理解することができ、前記コンピュータ可読命令は、不揮発性のコンピュータ可読記憶媒体に記憶されてもよく、このコンピュータ可読命令が実行されると、上記各方法の実施例の流れを含んでもよい。ここで、本出願によって提供される各実施例で使用されるメモリ、記憶、データベース、又は他の媒体への参照はいずれも不揮発性及び／又は揮発性メモリを含んでもよい。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、）又は外部キャッシュメモリを含んでもよい。限定ではなく説明として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、強化型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形態で得られる。
【００９５】
上述した実施例は、本出願の技術的解決手段を説明するためのものであり、これらを限定するためのものではない。前記実施例を参照しながら本出願を詳細に説明したが、当業者であれば、各前記実施例に記載された技術的解決手段を変更し、又はそれらの技術特徴の一部を等価的に置き換えることができることを理解すべきである。これらの変更や置き換えは、対応する技術的解決手段の本質を本出願の各実施例の技術的解決手段の要旨及び範囲から逸脱させることなく、いずれも本出願の保護の範囲に含まれるべきである。
【符号の説明】
【００９６】
4  端末機器
40  プロセッサ
41  メモリ
42  コンピュータ可読命令
301  取得ユニット
302  処理ユニット
303  確定ユニット
304  抽出ユニット
【図１】
2021531571.tif 000018
【図２】
2021531571.tif 000019
【図３】
2021531571.tif 000020
【図４】
2021531571.tif 000021
【国際調査報告】
2021531571.tif 000022
2021531571.tif 000023
2021531571.tif 000024
2021531571.tif 000025