(57)【要約】【課題】撮影画像における対象領域の設定を精度良く行うこと。【解決手段】画像処理装置１０は、記憶部１３と、画像処理部１５とを有する。記憶部１３は、撮影画像を記憶する。画像処理部１５は、撮影画像において複数の線分を検出し、検出した複数の線分の相互関係に基づいて、四辺形の四辺の線分の組合せの複数の候補を検出する。また、画像処理部１５は、複数の組合せ候補の各々に対する複数のスコアを算出し、算出した複数のスコアに基づいて、複数の組合せ候補の中から最適組合せを選択する。また、画像処理部１５は、最適組合せに含まれる四辺の線分の各々を各辺とする四辺形領域に基づいて対象領域を決定し、決定した対象領域を撮影画像上に設定する。【選択図】図１
2020035215.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を記憶する記憶部と、
前記撮影画像において複数の線分を検出し、
前記複数の線分の相互関係に基づいて、四辺形の四辺の線分の組合せの複数の候補を検出し、
前記複数の候補の各々に対する複数のスコアを算出し、
前記複数のスコアに基づいて、前記複数の候補の中から何れか一つの組合せを選択し、
選択した前記組合せに含まれる前記四辺の前記線分の各々を各辺とする四辺形の領域に基づいて対象領域を決定し、
前記撮影画像上に前記対象領域を設定する画像処理部と、
を具備する画像処理装置。
【請求項２】
前記四辺は、上辺、下辺、左辺及び右辺であり、
前記画像処理部は、撮影対象となる媒体表面に引かれている複数の罫線のレイアウトに基づいて選定された選定罫線に基づいて、前記複数の候補の各々における前記上辺の線分と前記下辺の線分とを決定する、
請求項１に記載の画像処理装置。
【請求項３】
前記選定罫線は、第１罫線と、前記第１罫線よりも優先度が低い第２罫線とを含み、
前記複数の線分は、前記第１罫線に対応する第１線分と、前記第２罫線に対応する第２線分とを含み、
前記画像処理部は、前記複数の線分において、前記第１線分を選択後に、選択した前記第１線分に基づいて前記第２線分を選択する、
請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記四辺の前記線分上のエッジ画素に基づいて前記複数のスコアを算出する、
請求項１に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記線分の端点と他の前記線分との間の距離に基づいて、前記複数のスコアを算出する、
請求項１に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記複数の線分に前記第２線分が含まれているか否かに基づいて、前記複数のスコアを算出する、
請求項３に記載の画像処理装置。
【請求項７】
前記画像処理部は、前記複数の線分に含まれる前記第２線分上のエッジ画素に基づいて、前記複数のスコアを算出する、
請求項３に記載の画像処理装置。
【請求項８】
前記画像処理部は、前記複数の線分に含まれる前記第２線分に設定された重要度に基づいて、前記複数のスコアを算出する、
請求項３に記載の画像処理装置。
【請求項９】
撮影画像において複数の線分を検出し、
前記複数の線分の相互関係に基づいて、四辺形の四辺の線分の組合せの複数の候補を検出し、
前記複数の候補の各々に対する複数のスコアを算出し、
前記複数のスコアに基づいて、前記複数の候補の中から何れか一つの組合せを選択し、
選択した前記組合せに含まれる前記四辺の前記線分の各々を各辺とする四辺形の領域を対象領域として決定し、
前記撮影画像上に前記対象領域を設定する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
カメラによって撮影された画像（以下では「撮影画像」と呼ぶことがある）には、カメラによる撮影の対象となった媒体（以下では「対象媒体」と呼ぶことがある）の画像（以下では「媒体画像」と呼ぶことがある）が含まれる。対象媒体の表面に文字が印刷されている場合に、例えばＯＣＲ（Optical  Character  Recognition）を用いて、媒体画像を対象にして文字認識を行うことがある。例えば対象媒体が運転免許証である場合に、運転免許証の表面に印刷された氏名、生年月日、住所、免許証番号等の個人情報を、カメラによって撮影された運転免許証の画像からＯＣＲを用いて取得することがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／２０８３６７号
【特許文献２】特開２０１１−０３５９４２号公報
【特許文献３】特表２０１８−５００７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
表面に文字が印刷された対象媒体のカメラによる撮影状況には様々な状況があるため、文字認識の対象領域を撮影画像上に設定することが困難になることがある。例えば、対象媒体を手に持って撮影を行う状況では、媒体画像の一部が手の指の画像によって隠れてしまうことがあるために、撮影画像における媒体画像の特定が困難になることがある。撮影画像における媒体画像の特定が困難になると、文字認識の対象領域を撮影画像上に設定することが困難になる。文字認識の対象領域を撮影画像上に設定することが困難になると、文字認識の認識率が低下してしまう。
【０００５】
開示の技術は、上記に鑑みてなされたものであって、撮影画像における対象領域の設定を精度良く行うことを目的とする。
【課題を解決するための手段】
【０００６】
開示の態様では、画像処理装置は、記憶部と、画像処理部とを有する。前記記憶部は、撮影画像を記憶する。前記画像処理部は、前記撮影画像において複数の線分を検出し、前記複数の線分の相互関係に基づいて、四辺形の四辺の線分の組合せの複数の候補を検出し、前記複数の候補の各々に対する複数のスコアを算出し、前記複数のスコアに基づいて、前記複数の候補の中から何れか一つの組合せを選択し、選択した前記組合せに含まれる前記四辺の前記線分の各々を各辺とする四辺形の領域に基づいて対象領域を決定し、前記撮影画像上に前記対象領域を設定する。
【発明の効果】
【０００７】
開示の態様によれば、撮影画像における対象領域の設定を精度良く行うことができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例１の画像処理装置の構成例を示す図である。
【図２】図２は、実施例１の画像処理装置の処理フローの一例を示す図である。
【図３】図３は、実施例１の画像処理装置の処理フローの一例を示す図である。
【図４】図４は、実施例１の画像処理装置の動作例の説明に供する図である。
【図５】図５は、実施例１の画像処理装置の動作例の説明に供する図である。
【図６】図６は、実施例１の画像処理装置の動作例の説明に供する図である。
【図７】図７は、実施例１の画像処理装置の動作例の説明に供する図である。
【図８】図８は、実施例１の画像処理装置の動作例の説明に供する図である。
【図９】図９は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１０】図１０は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１１】図１１は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１２】図１２は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１３】図１３は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１４】図１４は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１５】図１５は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１６】図１６は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１７】図１７は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１８】図１８は、実施例１の画像処理装置の動作例の説明に供する図である。
【図１９】図１９は、実施例１の画像処理装置の動作例の説明に供する図である。
【図２０】図２０は、実施例１の画像処理装置の動作例の説明に供する図である。
【図２１】図２１は、実施例１の画像処理装置の動作例の説明に供する図である。
【発明を実施するための形態】
【０００９】
以下に、本願の開示する画像処理装置及び画像処理方法の実施例を図面に基づいて説明する。なお、この実施例により本願の開示する画像処理装置及び画像処理方法が限定されるものではない。また、実施例において同一の機能を有する構成、及び、同一の処理を行うステップには同一の符号を付す。
【００１０】
［実施例１］
＜画像処理装置の構成＞
図１は、実施例１の画像処理装置の構成例を示す図である。図１において、画像処理装置１０は、制御部１１と、記憶部１３と、画像処理部１５とを有する。画像処理部１５は、制御部１１による制御の下で動作する。画像処理装置１０は、例えば、カメラを備える携帯端末や、カメラを備える据置型の端末に搭載されて使用される。
【００１１】
記憶部１３には、撮影画像が記憶されている。
【００１２】
画像処理部１５は、制御部１１からの指示に従って、記憶部１３に記憶されている撮影画像を記憶部１３から取得し、取得した撮影画像に対して以下に述べる画像処理を施す。
【００１３】
＜画像処理装置の処理・動作＞
図２及び図３は、実施例１の画像処理装置の処理フローの一例を示す図である。図４〜図２１は、実施例１の画像処理装置の動作例の説明に供する図である。
【００１４】
実施例１では、対象媒体が運転免許証である場合を一例に挙げて説明する。
【００１５】
図２に示す処理フローは、画像処理部１５が撮影画像を記憶部１３から取得したときに開始される。また、画像処理部１５による撮影画像の記憶部１３からの取得は、制御部１１からの指示に従って行われる。例えば、カメラを備える携帯端末が有するタッチパネルに表示される処理開始ボタンがタッチされたときに、制御部１１は、記憶部１３からの撮影画像の取得指示を画像処理部１５に与える。図４に、画像処理部１５が記憶部１３から取得した撮影画像ＰＩの一例を示す。図４において、撮影画像ＰＩは、例えば、媒体画像である運転免許証の画像（以下では「免許証画像」と呼ぶことがある）ＤＬＩと、運転免許証を掴んでいる指の画像（以下では「指画像」と呼ぶことがある）ＦＩと、背景の画像（以下では「背景画像」と呼ぶことがある）ＢＧＩとを含む。図４では、撮影画像ＰＩにおいて、免許証画像ＤＬＩの一部が指画像ＦＩによって隠れている。
【００１６】
図２において、ステップＳ１０１では、画像処理部１５は、記憶部１３から取得した撮影画像において、例えば近傍階調差を用いて、水平方向及び垂直方向にエッジ画素を抽出し、水平方向のエッジ画素から形成される画像（以下では「水平方向エッジ画像」と呼ぶことがある）ＥＩＨ（図５）、及び、垂直方向のエッジ画素から形成される画像（以下では「垂直方向エッジ画像」と呼ぶことがある）ＥＩＶ（図６）を生成する。
【００１７】
次いで、ステップＳ１０３では、画像処理部１５は、水平方向エッジ画像ＥＩＨ（図５）及び垂直方向エッジ画像ＥＩＶ（図６）に対して、ハフ検出及び最小二乗法を用いた線分検出を行い、検出した複数の線分から形成される画像（以下では「線分画像」と呼ぶことがある）ＬＳＤ（図７）を生成する。線分画像ＬＳＤには、図７に示すように、複数の水平方向の線分（以下では「水平線分」と呼ぶことがある）から形成される画像（以下では「水平方向線分画像」と呼ぶことがある）と、複数の垂直方向の線分（以下では「垂直線分」と呼ぶことがある）から形成される画像（以下では「垂直方向線分画像」と呼ぶことがある）とが含まれる。画像処理部１５は、例えば、水平方向エッジ画像ＥＩＨにおいて水平方向に相互に隣接するエッジ画素を連結して水平方向線分画像を生成するとともに、垂直方向エッジ画像ＥＩＶにおいて垂直方向に相互に隣接するエッジ画素を連結して垂直方向線分画像を生成する。
【００１８】
次いで、ステップＳ１０５では、画像処理部１５は、組合せ候補検出処理を行う。
【００１９】
図３に、組合せ候補検出処理の処理フローの一例を示す。
【００２０】
ここで、図８に、対象媒体である運転免許証ＤＬの表面に引かれている複数の罫線のレイアウトに基づいて選定された罫線（以下では「選定罫線」と呼ぶことがある）の一例を示す。運転免許証ＤＬの表面には、水平方向及び垂直方向の双方に複数の罫線がレイアウトされて引かれており、これらの複数の罫線のレイアウトに基づいて、これらの複数の罫線の中の何れかの罫線が予め選定されている。例えば、図８に示すように、水平方向では、罫線ＬＨ１〜ＬＨ７の７本の罫線が予め選定され、垂直方向では、罫線ＬＶ１，ＬＶ２の２本の罫線が予め選定されている。
【００２１】
また、運転免許証ＤＬの下辺も罫線とみなし、運転免許証ＤＬの下辺が罫線ＬＨ８として予め選定されている。また、罫線ＬＨ１〜ＬＨ８において、罫線ＬＨ１，ＬＨ２は「基準線」として選定され、罫線ＬＨ３〜ＬＨ８は、基準線よりも優先度が低い「補助線」として選定されている。つまり、選定罫線は、基準線と、基準線よりも優先度が低い補助線とを含む。
【００２２】
また、運転免許証ＤＬを手に持って撮影を行う状況では補助線である選定罫線ＬＨ５，ＬＨ６，ＬＨ８の一部が隠れてしまうことがあるため、基準線である選定罫線ＬＨ１の上方に補助線である選定罫線ＬＨ５，ＬＨ６を設定し、基準線である選定罫線ＬＨ２の下方に補助線である選定罫線ＬＨ８を設定した。
【００２３】
また、運転免許証ＤＬの地の色と、運転免許証ＤＬの背景の色とが類似する場合には、運転免許証ＤＬの上辺を選定罫線ＬＨ１に、運転免許証ＤＬの下辺を選定罫線ＬＨ２に設定してしまうと基準線が不明になる可能性がある。このため、選定罫線ＬＨ１を運転免許証ＤＬの上辺よりも下方に、選定罫線ＬＨ２を運転免許証ＤＬの下辺よりも上方に設定した。つまり、選定罫線ＬＨ５，ＬＨ６，ＬＨ８は、選定罫線ＬＨ１と選定罫線ＬＨ２とに挟まれた領域以外の領域に設定されている。
【００２４】
なお、基準線は「第１罫線」と呼ばれ、補助線は「第２罫線」と呼ばれることもある。
【００２５】
また、図９に、罫線ＬＨ１〜ＬＨ８の位置関係の一例を示す。図９に示すように、罫線ＬＨ１と罫線ＬＨ２とは距離Ｌ１だけ離れて位置し、罫線ＬＨ１と罫線ＬＨ３とは距離Ｌ２だけ離れて位置し、罫線ＬＨ１と罫線ＬＨ４とは距離Ｌ３だけ離れて位置する。また、罫線ＬＨ３と罫線ＬＨ４とは距離Ｌ４だけ離れて位置し、罫線ＬＨ１と罫線ＬＨ５とは距離Ｌ５だけ離れて位置し、罫線ＬＨ３と罫線ＬＨ５とは距離Ｌ６だけ離れて位置し、罫線ＬＨ１と罫線ＬＨ６とは距離Ｌ７だけ離れて位置する。また、罫線ＬＨ５と罫線ＬＨ６とは距離Ｌ８だけ離れて位置し、罫線ＬＨ３と罫線ＬＨ７とは距離Ｌ９だけ離れて位置し、罫線ＬＨ４と罫線ＬＨ７とは距離Ｌ１０だけ離れて位置し、罫線ＬＨ２と罫線ＬＨ８とは距離Ｌ１１だけ離れて位置する。
【００２６】
また、図１０に、罫線の位置関係と罫線間距離との対応関係が設定された位置関係テーブルＴＡの一例を示す。図１０における罫線間距離Ｌ１〜Ｌ１１は、図９における距離Ｌ１〜Ｌ１１に対応する。また、位置関係テーブルＴＡの罫線間距離Ｌ１〜Ｌ１１において、罫線間距離Ｌ２〜Ｌ１１には「±Δｌ」のマージンが付加されている。Δｌは、例えば「１mm」である。位置関係テーブルＴＡは、記憶部１３に予め記憶されており、画像処理部１５によって参照される。
【００２７】
図３に戻り、ステップＳ１３１では、画像処理部１５は、水平線候補を選択する。画像処理部１５は、水平線候補の選択を、基準線候補の選択（ステップＳ１３３）と、補助線候補の選択（ステップＳ１３５）とに分けて行い、２本の基準線候補を選択した後に、選択した基準線候補に基づいて補助線候補を選択する。
【００２８】
次いで、ステップＳ１３７では、画像処理部１５は、２本の垂直線候補を選択する。
【００２９】
そして、ステップＳ１３９では、画像処理部１５は、ステップＳ１３３で選択した２本の基準線候補と、ステップＳ１３７で選択した２本の垂直線候補とを組み合わせることにより、図１１に示すような、四辺形の四辺の線分（上辺の線分：ＬＨ１Ｃ，下辺の線分：ＬＨ２Ｃ，左辺の線分：ＬＶ１Ｃ，右辺の線分：ＬＶ２Ｃ）の組合せの候補（以下では「組合せ候補」と呼ぶことがある）ＱＲＣを複数検出する。なお、組合せ候補の各線分は、四辺形の四辺の何れかの辺の一部または全部を形成する。
【００３０】
例えば、ステップＳ１３３では、画像処理部１５は、線分画像ＬＳＤ（図７）における水平方向線分画像に含まれる複数の水平線分の中から、罫線ＬＨ１，ＬＨ２（つまり「基準線」）のそれぞれに対応する水平線分を基準線候補ＬＨ１Ｃ，ＬＨ２Ｃとして選択する。例えば、画像処理部１５は、水平方向のすべての線分の中で、以下の条件１〜３のすべてを満たす２本の水平線分の組合せを基準線候補ＬＨ１Ｃ，ＬＨ２Ｃの組合せとして選択する。
＜条件１＞基準線候補ＬＨ１Ｃは、撮影画像ＰＩの上半分の領域ＵＰＨ（図４）に存在する。
＜条件２＞基準線候補ＬＨ２Ｃは、撮影画像ＰＩの下半分の領域ＬＯＨ（図４）に存在する。
＜条件３＞基準線候補ＬＨ１Ｃに対する基準線候補ＬＨ２Ｃの傾きは±３°以下である。
【００３１】
ステップＳ１３３の処理後、ステップＳ１３５では、画像処理部１５は、線分画像ＬＳＤ（図７）における水平方向線分画像に含まれる水平方向の複数の線分の中から、罫線ＬＨ３〜ＬＨ８（つまり「補助線」）のそれぞれに対応する水平線分を補助線候補ＬＨ３Ｃ〜ＬＨ８Ｃとして選択する。
【００３２】
ステップＳ１３５において、画像処理部１５は、まず、条件１〜３に従って選択した基準線候補ＬＨ１Ｃ，ＬＨ２Ｃに基づいて、水平方向のすべての線分の中で、以下の条件４，５のすべてを満たす水平線分を補助線候補ＬＨ３Ｃ〜ＬＨ８Ｃとして選択する。画像処理部１５は、補助線候補をＬＨ３Ｃ→ＬＨ４Ｃ→ＬＨ５Ｃ→ＬＨ６Ｃ→ＬＨ７Ｃ→ＬＨ８Ｃの順に選択する。
＜条件４＞すべての近隣候補に対する傾きが±１°以下である。
＜条件５＞すべての近隣候補に対する相対距離のズレが±Δｌmm以下である（例えばΔｌ＝１mm）。
【００３３】
ここで、補助線候補ＬＨ３Ｃに対する近隣候補は基準線候補ＬＨ１Ｃであり、補助線候補ＬＨ４Ｃに対する近隣候補は基準線候補ＬＨ１Ｃ及び補助線候補ＬＨ３Ｃであり、補助線候補ＬＨ５Ｃに対する近隣候補は基準線候補ＬＨ１Ｃ及び補助線候補ＬＨ３Ｃであり、補助線候補ＬＨ６Ｃに対する近隣候補は基準線候補ＬＨ１Ｃ及び補助線候補ＬＨ５Ｃであり、補助線候補ＬＨ７Ｃに対する近隣候補は補助線候補ＬＨ３Ｃ及び補助線候補ＬＨ４Ｃであり、補助線候補ＬＨ８Ｃに対する近隣候補は基準線候補ＬＨ２Ｃである。
【００３４】
また、画像処理部１５は、条件５における「相対距離」を、ステップＳ１３３で選択した基準線候補ＬＨ１Ｃ，ＬＨ２Ｃと位置関係テーブルＴＡ（図１０）とに基づいて算出する。例えば、補助線候補ＬＨ３Ｃに対する近隣候補は基準線候補ＬＨ１Ｃであるため、基準線候補ＬＨ１Ｃと基準線候補ＬＨ２Ｃとの間の距離が運転免許証ＤＬにおける実寸相当で「Ｎmm」であった場合、位置関係テーブルＴＡの罫線間距離Ｌ１，Ｌ２に基づいて、補助線候補ＬＨ３Ｃについての相対距離は「Ｎ×（４／４０）＝Ｎ／１０mm」と算出される。また例えば、補助線候補ＬＨ４Ｃに対する近隣候補は基準線候補ＬＨ１Ｃ及び補助線候補ＬＨ３Ｃであるため、基準線候補ＬＨ１Ｃと基準線候補ＬＨ２Ｃとの間の距離が運転免許証ＤＬにおける実寸相当で「Ｎmm」であった場合、位置関係テーブルＴＡの罫線間距離Ｌ１，Ｌ３，Ｌ４に基づいて、補助線候補ＬＨ４Ｃについての相対距離は、「Ｎ×（８／４０）＝Ｎ／５mm」及び「Ｎ×（４／４０）＝Ｎ／１０mm」と算出される。
【００３５】
また、ステップＳ１３５において、画像処理部１５は、次いで、補助線候補ＬＨ８Ｃとして選択されるべき水平線分が基準線候補ＬＨ２Ｃとして誤って選択されていないか否か判定する。画像処理部１５は、以下の条件６〜９のすべてを満たす場合に、補助線候補ＬＨ８Ｃとして選択されるべき水平線分が基準線候補ＬＨ２Ｃとして誤って選択されていると判定する。そして、画像処理部１５は、以下の条件６〜９のすべてを満たす基準線候補ＬＨ２Ｃを含む組合せを組合せ候補から除外する。
＜条件６＞条件１〜３に従って選択した基準線候補ＬＨ２Ｃから上方向の相対距離以内に水平線分が存在する。
＜条件７＞基準線候補ＬＨ２Ｃに対する補助線候補ＬＨ８Ｃの傾きは±１°以下である。
＜条件８＞基準線候補ＬＨ２Ｃに対する補助線候補ＬＨ８Ｃの相対距離のズレが±Δｌmm以下である（例えばΔｌ＝１mm）。
＜条件９＞補助線候補ＬＨ８Ｃ上のエッジ画素の総数が、基準線候補ＬＨ２Ｃ上のエッジ画素の総数の７０％以上である。
【００３６】
ここで、画像処理部１５は、条件６，８における「相対距離」を、ステップＳ１３３で選択した基準線候補ＬＨ１Ｃ，ＬＨ２Ｃと位置関係テーブルＴＡ（図１０）とに基づいて算出する。例えば、基準線候補ＬＨ１Ｃと基準線候補ＬＨ２Ｃとの間の距離が運転免許証ＤＬにおける実寸相当で「Ｎmm」であった場合、位置関係テーブルＴＡの罫線間距離Ｌ１，Ｌ１１に基づいて、条件６，８における相対距離は「Ｎ×（３／４０）＝３Ｎ／４０mm」と算出される。
【００３７】
上記の条件１〜９のうち、条件３〜９には、線分画像ＬＳＤ（図７）における水平方向線分画像に含まれる複数の水平線分の間の相互関係が規定されている。
【００３８】
次いで、ステップＳ１３７では、画像処理部１５は、線分画像ＬＳＤ（図７）における垂直方向線分画像に含まれる複数の垂直線分の中から、罫線ＬＶ１，ＬＶ２のそれぞれに対応する垂直線分を垂直線候補ＬＶ１Ｃ，ＬＶ２Ｃとして選択する。例えば、画像処理部１５は、垂直方向のすべての線分の中で、以下の条件１０〜１３のすべてを満たす２本の垂直線分の組合せを垂直線候補ＬＶ１Ｃ，ＬＶ２Ｃの組合せとして選択する。
＜条件１０＞垂直線候補ＬＶ１Ｃは、撮影画像ＰＩの左半分の領域ＬＥＨ（図４）に存在する。
＜条件１１＞垂直線候補ＬＶ２Ｃは、撮影画像ＰＩの右半分の領域ＲＩＨ（図４）に存在する。
＜条件１２＞基準線候補ＬＨ１Ｃに対する垂直線候補ＬＶ１Ｃの傾きは９０°±２５°以下である。
＜条件１３＞基準線候補ＬＨ１Ｃに対する垂直線候補ＬＶ２Ｃの傾きは９０°±２５°以下である。
【００３９】
そして、ステップＳ１３９では、画像処理部１５は、ステップＳ１３３で選択した基準線候補ＬＨ１Ｃ，ＬＨ２Ｃと、ステップＳ１３５で選択した補助線候補（つまり、ステップＳ１３３で選択した基準線候補ＬＨ１Ｃ，ＬＨ２Ｃに基づいて選択した補助線候補）と、ステップＳ１３７で選択した垂直線候補ＬＶ１Ｃ，ＬＶ２Ｃとを組み合わせることにより、複数の組合せ候補ＱＲＣを検出する。
【００４０】
ここで、条件１〜９に従って選択された基準線候補ＬＨ１Ｃ，ＬＨ２Ｃ及び補助線候補ＬＨ３Ｃ〜ＬＨ８Ｃの一例を図１２〜１４に示す。
【００４１】
図１２に示す水平線候補群ＬＨＣ１には、２本の基準線候補ＬＨ１Ｃ，ＬＨ２Ｃと、６本の補助線候補ＬＨ３Ｃ〜ＬＨ８Ｃとが含まれる。
【００４２】
また、図１３に示す水平線候補群ＬＨＣ２には、２本の基準線候補ＬＨ１Ｃ，ＬＨ２Ｃと、５本の補助線候補ＬＨ３Ｃ〜ＬＨ７Ｃとが含まれる一方で、補助線候補ＬＨ８Ｃは含まれない。水平線候補群ＬＨＣ２における基準線候補ＬＨ２Ｃは条件６〜９のすべてを満たすため、画像処理部１５は、水平線候補群ＬＨＣ２を組合せ候補から除外する。
【００４３】
また、図１４に示す水平線候補群ＬＨＣ３には、２本の基準線候補ＬＨ１Ｃ，ＬＨ２Ｃと、３本の補助線候補ＬＨ３Ｃ〜ＬＨ５Ｃとが含まれる一方で、補助線候補ＬＨ６Ｃ〜ＬＨ８Ｃは含まれない。画像処理部１５は、基準線候補ＬＨ１Ｃ，ＬＨ２Ｃ及び補助線候補ＬＨ３Ｃ〜ＬＨ８Ｃのうち、基準線候補ＬＨ１Ｃ，ＬＨ２Ｃまたは補助線候補ＬＨ３Ｃ〜ＬＨ７Ｃの何れかを含まない組合せを組合せ候補から除外する。よって、画像処理部１５は、補助線候補ＬＨ６Ｃ，ＬＨ７Ｃを含まない水平線候補群ＬＨＣ３を組合せ候補から除外する。
【００４４】
また、水平線候補群ＬＨＣ１（図１２）に含まれる基準線候補ＬＨ１Ｃ，ＬＨ２Ｃと、条件１０〜１３のすべてを満たす垂直線候補ＬＶ１Ｃ，ＬＶ２Ｃとの組合せ候補の一例を図１５〜図１７に示す。図１５に示す組合せ候補ＱＲＣ１と、図１６に示す組合せ候補ＱＲＣ２と、図１７に示す組合せ候補ＱＲＣ３とでは、基準線候補ＬＨ１Ｃ，ＬＨ２Ｃとして選択された水平線分は同一であるが、垂直線候補ＬＶ１Ｃ，ＬＶ２Ｃとして選択された垂直線分が互いに異なる。
【００４５】
以上にようにして、画像処理部１５は、ステップＳ１３９において、例えば、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の３つの組合せ候補を検出する。
【００４６】
図２に戻り、次いでステップＳ１０７では、画像処理部１５は、ステップＳ１３９で検出した複数の組合せ候補に対する複数のスコアを算出する。
【００４７】
次いで、ステップＳ１０９では、画像処理部１５は、ステップＳ１０７で算出したスコアに基づいて、ステップＳ１３９で検出した複数の組合せ候補の中から何れか一つの組合せを最適組合せとして選択する。例えば、画像処理部１５は、ステップＳ１３９で検出した複数の組合せ候補の中から、最も大きいスコアを有する組合せ候補を最適組合せとして選択する。
【００４８】
ここで、ステップＳ１０７でのスコアの算出について、算出例１〜５を挙げて説明する。
【００４９】
＜算出例１＞
画像処理部１５は、組合せ候補ＱＲＣ（図１１）の四辺の線分ＬＨ１Ｃ，ＬＨ２Ｃ，ＬＶ１Ｃ，ＬＶ２Ｃの各線分上のエッジ画素の総数を「基準スコア」として算出する。
【００５０】
＜算出例２＞
画像処理部１５は、組合せ候補ＱＲＣ（図１１）の四辺の各線分ＬＨ１Ｃ，ＬＨ２Ｃ，ＬＶ１Ｃ，ＬＶ２Ｃにおいて、線分の端点と、他の線分（または他の線分の延長線）との間の距離の合計値を補正スコアとして算出し、算出した補正スコアを基準スコアから減算する。
【００５１】
例えば、画像処理部１５は、図１８に示すように、組合せ候補ＱＲＣが上辺の線分ＬＨ１Ｃと左辺の線分ＬＶ１Ｃ１とを含む場合、上辺の線分ＬＨ１Ｃの端点ＥＰと左辺の線分ＬＶ１Ｃ１の延長線との間の距離ｄ１を補正スコアとして算出する。また例えば、図１８に示すように、組合せ候補ＱＲＣが上辺の線分ＬＨ１Ｃと左辺の線分ＬＶ１Ｃ２とを含む場合、上辺の線分ＬＨ１Ｃの端点ＥＰと左辺の線分ＬＶ１Ｃ２との間の距離ｄ２を補正スコアとして算出する。
【００５２】
＜算出例３＞
画像処理部１５は、組合せ候補ＱＲＣに含まれる補助線候補の有無に応じた係数ｋを基準スコアに乗算する。例えば、画像処理部１５は、補助線候補ＬＨ３Ｃ〜ＬＨ７Ｃの５本の補助線候補のすべてが組合せ候補ＱＲＣに含まれる場合には係数ｋを「１」に設定する一方で、補助線候補ＬＨ３Ｃ〜ＬＨ７Ｃの何れか１本が組合せ候補ＱＲＣに含まれない場合には係数ｋを「０」に設定する。
【００５３】
例えば、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３（図１５，１６，１７）は、水平線候補群ＬＨＣ１に基づいて生成されたものであるため、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各々には、補助線候補ＬＨ３Ｃ〜ＬＨ７Ｃの５本の補助線候補のすべてが含まれている。よって、画像処理部１５は、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各々に対しては、係数ｋを「１」に設定する。
【００５４】
＜算出例４＞
画像処理部１５は、組合せ候補ＱＲＣに含まれる補助線候補上のエッジ画素の総数を補正スコアとして算出し、算出した補正スコアを基準スコアに加算する。
【００５５】
＜算出例５＞
選定罫線ＬＨ３〜ＬＨ７の５本の選定罫線のそれぞれに重要度ｋｌ３〜ｋｌ７が予め付与される。画像処理部１５は、組合せ候補ＱＲＣにおいて、選定罫線ＬＨ３〜ＬＨ７に対応する補助線候補ＬＨ３Ｃ〜ＬＨ７Ｃの各補助線候補上のエッジ画素の数に各重要度ｋｌ３〜ｋｌ７を乗算し、補助線候補ＬＨ３Ｃ〜ＬＨ７Ｃの各乗算結果の合計値を補正スコアとして算出し、算出した補正スコアを基準スコアに加算する。
【００５６】
以上、スコアの算出について、算出例１〜５を説明した。画像処理部１５は、算出例１を単独で採用してスコアを算出しても良く、また、算出例２〜５の何れか一つまたは複数を算出例１に組み合わせてスコアを算出しても良い。例えば、画像処理部１５は、以下の式（１）に従ってスコアを算出する。式（１）において、係数ｂは重み係数であり、例えば「２」に設定される。
スコア＝基準スコア×係数ｋ−（補正スコア×係数ｂ）  …（１）
【００５７】
ここで、組合せ候補ＱＲＣ１（図１５）については、基準線候補ＬＨ１Ｃ，ＬＨ２Ｃの検出位置が選定罫線ＬＨ１，ＬＨ２（図８）の位置と同一であり、垂直線候補ＬＶ１Ｃ，ＬＶ２Ｃの検出位置が選定罫線ＬＶ１，ＬＶ２（図８）の位置と同一である。また、組合せ候補ＱＲＣ２（図１６）については、基準線候補ＬＨ１Ｃ，ＬＨ２Ｃの検出位置が選定罫線ＬＨ１，ＬＨ２の位置と同一であり、垂直線候補ＬＶ１Ｃの検出位置が選定罫線ＬＶ１の位置と同一である一方で、垂直線候補ＬＶ２Ｃの検出位置が選定罫線ＬＶ２の位置と異なる。また、組合せ候補ＱＲＣ３（図１７）については、基準線候補ＬＨ１Ｃ，ＬＨ２Ｃの検出位置が選定罫線ＬＨ１，ＬＨ２の位置と同一であり、垂直線候補ＬＶ２Ｃの検出位置が選定罫線ＬＶ２の位置と同一である一方で、垂直線候補ＬＶ１Ｃの検出位置が選定罫線ＬＶ１の位置と異なる。また、組合せ候補ＱＲＣ２における垂直線候補ＬＶ２Ｃの検出位置と選定罫線ＬＶ２の位置との相違度は、組合せ候補ＱＲＣ３における垂直線候補ＬＶ１Ｃの検出位置と選定罫線ＬＶ１の位置との相違度よりも大きい。よって、式（１）に従って組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各々のスコアを算出すると、「ＱＲＣ１のスコア＞ＱＲＣ３のスコア＞ＱＲＣ２のスコア」となる。よって、画像処理部１５は、ステップＳ１３９で組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の３つの組合せ候補を検出した場合、ステップＳ１０９では、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の中から、最も大きいスコアを有する組合せ候補ＱＲＣ１を最適組合せＯＰとして選択する。
【００５８】
図２に戻り、次いでステップＳ１１１では、画像処理部１５は、ステップＳ１０９で選択した最適組合せＯＰに基づいて、四辺形領域ＱＲを決定する。例えば、画像処理部１５は、組合せ候補ＱＲＣ１（図１５）を最適組合せＯＰとして選択した場合、図１９に示すように、組合せ候補ＱＲＣ１に含まれる基準線候補ＬＨ１Ｃ，ＬＨ２Ｃ及び垂直線候補ＬＶ１Ｃ，ＬＶ２Ｃのそれぞれから形成される上辺ＵＰＳ，下辺ＬＯＳ，左辺ＬＥＳ，右辺ＲＩＳを有する四辺形領域ＱＲを決定する。基準線候補ＬＨ１Ｃから上辺ＵＰＳが形成され、基準線候補ＬＨ２Ｃから下辺ＬＯＳが形成され、垂直線候補ＬＶ１Ｃから左辺ＬＥＳが形成され、垂直線候補ＬＶ２Ｃから右辺ＲＩＳが形成される。画像処理部１５は、基準線候補ＬＨ１Ｃ，ＬＨ２Ｃ及び垂直線候補ＬＶ１Ｃ，ＬＶ２Ｃのそれぞれを延長または切断することによって、四辺形領域ＱＲの上辺ＵＰＳ，下辺ＬＯＳ，左辺ＬＥＳ，右辺ＲＩＳを形成する。
【００５９】
次いで、ステップＳ１１３では、画像処理部１５は、ステップＳ１１１で決定した四辺形領域ＱＲに基づいて対象領域ＴＲを決定する。例えば、画像処理部１５は、まず、図８に示す罫線レイアウトに基づいて、周知の技術である「透視投影変換」を用いて、四辺形領域ＱＲの形状の歪みを補正する。この補正により、四辺形領域ＱＲの形状が矩形に補正される。次いで、画像処理部１５は、図２０に示すように、矩形に補正後の四辺形領域（以下では「矩形領域」と呼ぶことがある）ＱＲＡを、運転免許証ＤＬの四辺と選定罫線ＬＨ１，ＬＨ２，ＬＶ１，ＬＶ２との位置関係（図８）に基づいた所定の比率で拡張することにより、対象領域ＴＲを決定する。
【００６０】
次いで、ステップＳ１１５では、画像処理部１５は、図２１に示すように、ステップＳ１１３で決定した対象領域ＴＲを撮影画像ＰＩ上に設定する。
【００６１】
そして、ステップＳ１１７では、画像処理部１５は、撮影画像ＰＩに設定した対象領域ＴＲ内の画像に対して、例えばＯＣＲを用いて、文字認識を行う。
【００６２】
以上のように、実施例１では、画像処理装置１０は、記憶部１３と、画像処理部１５とを有する。記憶部１３は、撮影画像ＰＩを記憶する。画像処理部１５は、撮影画像ＰＩにおいて複数の線分を検出し、検出した複数の線分の相互関係に基づいて、四辺形の四辺の線分の組合せの複数の候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３を検出する。また、画像処理部１５は、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各々に対する複数のスコアを算出し、算出した複数のスコアに基づいて、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の中から最適組合せＯＰを選択する。また、画像処理部１５は、最適組合せＯＰに含まれる四辺の線分の各々を各辺とする四辺形領域ＱＲに基づいて対象領域ＴＲを決定し、決定した対象領域ＴＲを撮影画像ＰＩ上に設定する。
【００６３】
こうすることで、運転免許証ＤＬの様々な撮影状況において、撮影画像ＰＩにおける対象領域ＴＲの設定を精度良く行うことができる。
【００６４】
また、実施例１では、画像処理部１５は、選定罫線ＬＨ１〜ＬＨ８に基づいて、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各々における上辺の線分と下辺の線分とを決定する。
【００６５】
こうすることで、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各々において、四辺形領域ＱＲの最適な上辺の線分及び最適な下辺の線分を決定することができる。
【００６６】
また、実施例１では、選定罫線ＬＨ１〜ＬＨ８は、基準線と、基準線よりも優先度が低い補助線とを含む。また、撮影画像ＰＩにおいて検出された複数の線分は、基準線に対応する線分（以下では「基準線対応線分」と呼ぶことがある）と、補助線に対応する線分（以下では「補助線対応線分」と呼ぶことがある）とを含む。画像処理部１５は、撮影画像ＰＩにおいて検出した複数の線分において、基準線対応線分（ＬＨＣ１，ＬＨＣ２）を選択後に、選択した基準線対応線分に基づいて、補助線対応線分（ＬＨＣ３〜ＬＨＣ８）を選択する。なお、基準線対応線分は「第１線分」と呼ばれ、補助線対応線分は「第２線分」と呼ばれることもある。
【００６７】
こうすることで、基準線と補助線の優先度の高低に応じた互いに異なる基準にて、基準線対応線分と補助線対応線分とを選択することができる。
【００６８】
また、実施例１では、画像処理部１５は、例えば、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の四辺の線分上のエッジ画素に基づいて、各組合せ候補のスコアを算出する。
【００６９】
また例えば、画像処理部１５は、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各線分において、線分の端点と他の線分との間の距離に基づいて、各組合せ候補のスコアを算出する。
【００７０】
また例えば、画像処理部１５は、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各線分に補助線対応線分が含まれているか否かに基づいて、各組合せ候補のスコアを算出する。
【００７１】
また例えば、画像処理部１５は、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各線分に含まれる補助線対応線分上のエッジ画素に基づいて、各組合せ候補のスコアを算出する。
【００７２】
また例えば、画像処理部１５は、組合せ候補ＱＲＣ１，ＱＲＣ２，ＱＲＣ３の各線分に含まれる補助線対応線分に設定された重要度に基づいて、各組合せ候補のスコアを算出する。
【００７３】
こうすることで、各組合せ候補について好適なスコアを算出することができる。
【００７４】
以上、実施例１について説明した。
【００７５】
［実施例２］
選定罫線の設定位置は図８に示すものに限定されない。例えば、図８では、運転免許証ＤＬの下辺から上方に最初に出現する水平線を選定罫線ＬＨ２に設定している。しかし、図８において、運転免許証ＤＬの下辺から上方に２番目または３番目に出現する水平線を選定罫線ＬＨ２に設定することも可能である。運転免許証ＤＬの下辺から上方に２番目または３番目に出現する水平線は、運転免許証ＤＬの「種類」の表における横罫に該当する。
【００７６】
［実施例３］
画像処理部１５は、条件１〜３を満たす基準線候補が存在しない場合に、条件４，５を満たす補助線候補の何れかを基準線候補として用いても良い。
【００７７】
［実施例４］
記憶部１３は、ハードウェアとして、例えば、メモリにより実現される。メモリの一例として、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）等のＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ等が挙げられる。
【００７８】
制御部１１及び画像処理部１５は、ハードウェアとして、例えばプロセッサにより実現される。プロセッサの一例として、ＣＰＵ（Central  Processing  Unit）、ＤＳＰ（Digital  Signal  Processor）、ＦＰＧＡ（Field  Programmable  Gate  Array）等が挙げられる。また、制御部１１及び画像処理部１５は、プロセッサと周辺回路とを含むＬＳＩ（Large  Scale  Integrated  circuit）によって実現されても良い。さらに、制御部１１及び画像処理部１５は、ＧＰＵ（Graphics  Processing  Unit）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）等を用いて実現されても良い。
【００７９】
画像処理装置１０での上記説明における各処理の全部または一部は、各処理に対応するプログラムを画像処理装置１０が有するプロセッサに実行させることによって実現しても良い。例えば、上記説明における各処理に対応するプログラムがメモリに記憶され、プログラムがプロセッサによってメモリから読み出されて実行されても良い。また、プログラムは、任意のネットワークを介して画像処理装置１０に接続されたプログラムサーバに記憶され、そのプログラムサーバから画像処理装置１０にダウンロードされて実行されたり、画像処理装置１０が読み取り可能な記録媒体に記憶され、その記録媒体から読み出されて実行されても良い。画像処理装置１０が読み取り可能な記録媒体には、例えば、メモリカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、及び、Ｂｌｕ−ｒａｙ（登録商標）ディスク等の可搬の記憶媒体が含まれる。また、プログラムは、任意の言語や任意の記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。また、プログラムは必ずしも単一的に構成されるものに限られず、複数のモジュールや複数のライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものも含む。
【００８０】
画像処理装置１０の分散・統合の具体的形態は図示するものに限られず、画像処理装置１０の全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００８１】
［実施例５］
開示の技術が適用可能な対象媒体は運転免許証に限定されない。例えば、対象媒体が帳票（例えば、請求書や納品書等）、または、図面（例えば、機械、住宅、土地等の図面）である場合にも、開示の技術を適用可能である。
【００８２】
また、対象領域内の画像に対して行われる処理は文字認識に限定されない。例えば対象媒体が図面である場合に、対象領域内の画像に対して、寸法認識を行うことも可能である。
【符号の説明】
【００８３】
１０  画像処理装置
１１  制御部
１３  記憶部
１５  画像処理部
【図１】
2020035215.tif 000003
【図２】
2020035215.tif 000004
【図３】
2020035215.tif 000005
【図４】
2020035215.tif 000006
【図５】
2020035215.tif 000007
【図６】
2020035215.tif 000008
【図７】
2020035215.tif 000009
【図８】
2020035215.tif 000010
【図９】
2020035215.tif 000011
【図１０】
2020035215.tif 000012
【図１１】
2020035215.tif 000013
【図１２】
2020035215.tif 000014
【図１３】
2020035215.tif 000015
【図１４】
2020035215.tif 000016
【図１５】
2020035215.tif 000017
【図１６】
2020035215.tif 000018
【図１７】
2020035215.tif 000019
【図１８】
2020035215.tif 000020
【図１９】
2020035215.tif 000021
【図２０】
2020035215.tif 000022
【図２１】
2020035215.tif 000023