(57)【要約】【課題】画素の階調値順序に応じた包含関係を表す連結成分の階層構造に基づいて、ＯＣＲ処理を行わずに、前景である文字領域の高精度な二値画像を取得できる画像処理装置、画像処理方法、および、プログラムを提供することを課題とする。【解決手段】本発明は、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、連結成分から構成される階層構造の階層構造データを生成し、階層構造データに基づいて、文字らしさの特徴を満たす連結成分を文字らしい領域として抽出し、文字らしい領域のみに用いる二値化の閾値を取得し、文字らしい領域を二値化した補正領域を取得し、補正領域以外の入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、補正領域と背景領域とから構成される二値画像の二値画像データを取得する。【選択図】図２
2018026005.tif 000002
【特許請求の範囲】
【請求項１】
入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成手段と、
前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出手段と、
前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正手段と、
前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する画像取得手段と、
を備えたことを特徴とする、画像処理装置。
【請求項２】
前記階層構造生成手段は、
前記入力画像において、前記階調値毎に、当該階調値以上または以下の画素が隣接して連結した前記連結成分を特定し、全階調値の前記連結成分から構成される前記階層構造の前記階層構造データを生成する、請求項１に記載の画像処理装置。
【請求項３】
前記階層構造生成手段は、
前記入力画像において、前記階調値毎に、当該階調値以上または以下の画素が隣接して連結した前記連結成分を特定し、階調幅に基づく前記階層構造の前記階層構造データを生成する、請求項１または２に記載の画像処理装置。
【請求項４】
前記領域抽出手段は、
前記階層構造データに基づいて、前記連結成分が、文字らしいシャープネス性を満たすか否かを判定し、前記文字らしいシャープネス性を満たす前記連結成分を前記文字らしい領域として抽出する、請求項１から３のいずれか一つに記載の画像処理装置。
【請求項５】
前記領域抽出手段は、
前記階層構造データに基づいて、前記連結成分が、文字らしいコントラストを満たすか否かを判定し、前記文字らしいコントラストを満たす前記連結成分を前記文字らしい領域として抽出する、請求項１から３のいずれか一つに記載の画像処理装置。
【請求項６】
前記領域抽出手段は、
前記階層構造データに基づいて、前記連結成分が、文字らしい面積を満たすか否かを判定し、前記文字らしい面積を満たす前記連結成分を前記文字らしい領域として抽出する、請求項１から３のいずれか一つに記載の画像処理装置。
【請求項７】
前記補正手段は、
前記文字らしい領域に含まれる画素の最大階調値と最小階調値との差に、所定のパラメータを乗じた値を、前記文字らしい領域のみに用いる二値化の閾値として取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する、請求項１から６のいずれか一つに記載の画像処理装置。
【請求項８】
前記補正手段は、
前記文字らしい領域に含まれる、前記最小階調値の画素から前記最大階調値の画素までの面積の累積度数分布を作成し、前記累積度数分布において相対累積度数が所定の割合となる階調値を、前記文字らしい領域のみに用いる二値化の閾値として取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する、請求項１から６のいずれか一つに記載の画像処理装置。
【請求項９】
前記領域抽出手段は、
前記階層構造データに基づいて、前記連結成分の面積と当該連結成分に前記階層構造上で隣接する連結成分の面積との差を被除数とし、当該隣接する連結成分の面積を除数とした場合の商が、前記文字らしいシャープネス性の閾値を満たすか否かを判定し、前記商が前記文字らしいシャープネス性の閾値を満たすと判定した場合、前記連結成分を前記文字らしい領域として抽出する、請求項４に記載の画像処理装置。
【請求項１０】
前記領域抽出手段は、
前記階層構造データに基づいて、前記連結成分に含まれる画素の最大階調値と最小階調値との差が、前記文字らしいコントラストの閾値を満たすか否かを判定し、前記差が前記文字らしいコントラストの閾値を満たすと判定した場合、前記連結成分を前記文字らしい領域として抽出する、請求項５に記載の画像処理装置。
【請求項１１】
前記領域抽出手段は、
前記階層構造データに基づいて、前記連結成分の面積が、前記文字らしい面積の閾値を満たすか否かを判定し、前記連結成分の面積が前記文字らしい面積の閾値を満たすと判定した場合、前記連結成分を前記文字らしい領域として抽出する、請求項６に記載の画像処理装置。
【請求項１２】
入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成ステップと、
前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出ステップと、
前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正ステップと、
前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する二値画像取得ステップと、
を含むことを特徴とする、画像処理方法。
【請求項１３】
入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成ステップと、
前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出ステップと、
前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正ステップと、
前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する二値画像取得ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
従来から、画像中の文字列を抽出する技術が開示されている。
【０００３】
ここで、濃度値を所定範囲毎に区切って、当該所定範囲において画像から抽出された連結成分の成分ツリーを生成し、成分ツリーの接続関係に基づいて、テキスト抽出を行う技術が開示されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２６２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の文字認識装置（特許文献１）においては、文字列抽出のため、連結成分に対してＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）処理を実施して、候補文字の確からしさを求める必要があるという問題点を有していた。
【０００６】
本発明は、上記問題点に鑑みてなされたもので、画素の階調値順序に応じた包含関係を表す連結成分の階層構造に基づいて、ＯＣＲ処理を行わずに、前景である文字領域の高精度な二値画像を取得できる画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するため、本発明に係る画像処理装置は、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成手段と、前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出手段と、前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正手段と、前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する画像取得手段と、を備えたことを特徴とする。
【０００８】
また、本発明に係る画像処理方法は、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成ステップと、前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出ステップと、前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正ステップと、前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する二値画像取得ステップと、を含むことを特徴とする。
【０００９】
また、本発明に係るプログラムは、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成ステップと、前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出ステップと、前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正ステップと、前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する二値画像取得ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
この発明によれば、文字領域抽出をベースとする二値化手法を実施することにより、撮影環境または撮影装置に依存せずに、高い文字認識性を持つ二値画像を生成することができる。
【００１１】
また、この発明によれば、文字認識性を向上させることで、高いＯＣＲ精度を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】図２は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。
【図３】図３は、本実施形態における入力画像の一例を示す図である。
【図４】図４は、本実施形態における連結成分の階層構造の一例を示す図である。
【図５】図５は、本実施形態における連結成分の一例を示す図である。
【図６】図６は、本実施形態における連結成分の一例を示す図である。
【図７】図７は、本実施形態における連結成分の一例を示す図である。
【図８】図８は、本実施形態における連結成分の一例を示す図である。
【図９】図９は、本実施形態における連結成分の一例を示す図である。
【図１０】図１０は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。
【図１１】図１１は、本実施形態における入力画像の一例を示す図である。
【図１２】図１２は、本実施形態における文字らしい領域の一例を示す図である。
【図１３】図１３は、本実施形態における補正領域の一例を示す図である。
【図１４】図１４は、本実施形態における面積の累積度数分布に基づく閾値設定の一例を示すグラフである。
【図１５】図１５は、本実施形態における入力画像の一例を示す図である。
【図１６】図１６は、本実施形態における二値画像の一例を示す図である。
【図１７】図１７は、本実施形態における入力画像の一例を示す図である。
【図１８】図１８は、本実施形態における二値画像の一例を示す図である。
【図１９】図１９は、本実施形態における入力画像の一例を示す図である。
【図２０】図２０は、本実施形態における二値画像の一例を示す図である。
【図２１】図２１は、本実施形態における入力画像の一例を示す図である。
【図２２】図２２は、本実施形態における二値画像の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本発明に係る画像処理装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【００１４】
［本実施形態の構成］
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について図１を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。
【００１５】
但し、以下に示す実施形態は、本発明の技術思想を具体化するための画像処理装置１００を例示するものであって、本発明をこの画像処理装置１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態の画像処理装置１００にも等しく適用し得るものである。
【００１６】
また、本実施形態で例示する画像処理装置１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００１７】
図１に示すように、画像処理装置１００は、概略的に、制御部１０２と、記憶部１０６と、を備えて構成される。また、これら画像処理装置１００の各部は任意の通信路を介して通信可能に接続されている。
【００１８】
ここで、画像処理装置１００は、更に、入出力部を備えて構成されてもよい。ここで、入出力部は、データの入出力（Ｉ／Ｏ）を行う。
【００１９】
また、入出力部は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および／または、マイク等の入力部であってもよい。
【００２０】
また、入出力部は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、および、タッチパネル等）、および／または、音声情報を音声として出力する音声出力部（例えば、スピーカ等）等の出力部であってもよい。
【００２１】
また、画像処理装置１００は、更に、インターフェース部を備えていてもよい。ここで、画像処理装置１００は、インターフェース部を介して、外部装置（例えば、画像読取装置等）と相互に通信可能に接続されていてもよい。
【００２２】
また、インターフェース部は、通信回線および／または電話回線等に接続されるアンテナおよび／またはルータ等の通信装置に接続されるインターフェース（ＮＩＣ等）であってもよく、画像処理装置１００とネットワークとの間における通信制御を行う通信インターフェースであってもよい。
【００２３】
ここで、ネットワークは、有線通信および／または無線通信（例えば、ＷｉＦｉ等）の遠隔通信等を含む。また、インターフェース部は、画像読取装置等と制御部１０２との間の入出力制御を行う入出力インターフェースであってもよい。
【００２４】
なお、制御部１０２は、インターフェース部、および、入出力部を制御してもよい。
【００２５】
記憶部１０６は、各種のデータベース、テーブル、および／または、ファイルなどを格納する。また、記憶部１０６は、各種アプリケーションプログラム（例えば、ユーザアプリケーション等）を記憶していてもよい。
【００２６】
また、記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、フレキシブルディスク、および／または、光ディスク等の有形の記憶装置、または、記憶回路を用いることができる。
【００２７】
記憶部１０６には、コントローラ等に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。
【００２８】
これら記憶部１０６の各構成要素のうち、画像データファイル１０６ａは、画像データを記憶する。ここで、画像データは、カラー画像データ、グレースケール画像データ、二値画像データ、または、入力画像データ等であってもよい。
【００２９】
また、制御部１０２は、画像処理装置１００を統括的に制御するＣＰＵ、メニーコアＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、および／または、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等を含む有形のコントローラ、または、制御回路から構成されてもよい。
【００３０】
制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
【００３１】
ここで、制御部１０２は、大別して、階層構造生成部１０２ａ、領域抽出部１０２ｂ、補正部１０２ｃ、画像取得部１０２ｄ、および、画像表示部１０２ｅを備える。
【００３２】
階層構造生成部１０２ａは、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、連結成分から構成される階層構造の階層構造データを生成する。
【００３３】
ここで、階層構造生成部１０２ａは、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、全階調値の連結成分から構成される階層構造の階層構造データを生成してもよい。
【００３４】
ここで、全階調値は、３２、６４、１２８、または、２５６階調等における全ての階調値であってもよい。
【００３５】
また、階層構造生成部１０２ａは、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、階調幅に基づく階層構造の階層構造データを生成してもよい。
【００３６】
ここで、階調幅に基づく階層構造とは、例えば、２５６階調の場合、１階調毎の２５６階層構造等であってもよい。
【００３７】
領域抽出部１０２ｂは、階層構造データに基づいて、連結成分が、文字らしさの特徴を満たすか否かを判定し、文字らしさの特徴を満たす連結成分を文字らしい領域として抽出する。
【００３８】
ここで、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分が、文字らしいシャープネス性を満たすか否かを判定し、文字らしいシャープネス性を満たす連結成分を文字らしい領域として抽出してもよい。
【００３９】
また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分が、文字らしいコントラストを満たすか否かを判定し、文字らしいコントラストを満たす連結成分を文字らしい領域として抽出してもよい。
【００４０】
また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分が、文字らしい面積を満たすか否かを判定し、文字らしい面積を満たす連結成分を文字らしい領域として抽出してもよい。
【００４１】
また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分の面積と当該連結成分に階層構造上で隣接する連結成分の面積との差を被除数とし、当該隣接する連結成分の面積を除数とした場合の商が、文字らしいシャープネス性の閾値を満たすか否かを判定し、商が文字らしいシャープネス性の閾値を満たすと判定した場合、連結成分を文字らしい領域として抽出してもよい。
【００４２】
また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分に含まれる画素の最大階調値と最小階調値との差が、文字らしいコントラストの閾値を満たすか否かを判定し、差が文字らしいコントラストの閾値を満たすと判定した場合、連結成分を文字らしい領域として抽出してもよい。
【００４３】
また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分の面積が、文字らしい面積の閾値を満たすか否かを判定し、連結成分の面積が文字らしい面積の閾値を満たすと判定した場合、連結成分を文字らしい領域として抽出してもよい。
【００４４】
補正部１０２ｃは、文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、文字らしい領域を二値化した補正領域を取得する。
【００４５】
ここで、補正部１０２ｃは、文字らしい領域に含まれる画素の最大階調値と最小階調値との差に、所定のパラメータを乗じた値を、文字らしい領域のみに用いる二値化の閾値として取得し、当該二値化の閾値に基づいて、文字らしい領域を二値化した補正領域を取得してもよい。
【００４６】
また、補正部１０２ｃは、文字らしい領域に含まれる、最小階調値の画素から最大階調値の画素までの面積の累積度数分布を作成し、累積度数分布において相対累積度数が所定の割合となる階調値を、文字らしい領域のみに用いる二値化の閾値として取得し、当該二値化の閾値に基づいて、文字らしい領域を二値化した補正領域を取得してもよい。
【００４７】
画像取得部１０２ｄは、画像データを取得する。ここで、画像取得部１０２ｄは、二値画像の二値画像データを取得してもよい。
【００４８】
また、画像取得部１０２ｄは、補正領域以外の入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、補正領域と背景領域とから構成される二値画像の二値画像データを取得してもよい。
【００４９】
また、画像取得部１０２ｄは、入力画像の入力画像データを取得してもよい。ここで、入力画像は、カラー画像、または、グレースケール画像等の多値画像であってもよい。また、画像取得部１０２ｄは、画像データを画像データファイル１０６ａに格納してもよい。
【００５０】
画像表示部１０２ｅは、画像データを表示させる。ここで、画像表示部１０２ｅは、画像データを入出力部を介して表示させてもよい。
【００５１】
［本実施形態の処理］
上述した構成の画像処理装置１００で実行される処理の一例について、図２から図２２を参照して説明する。図２は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。
【００５２】
図２に示すように、まず、画像取得部１０２ｄは、画像データファイル１０６ａに記憶された、多値画像である入力画像の入力画像データを取得する（ステップＳＡ−１）。
【００５３】
ここで、図３を参照して、本実施形態における入力画像の一例について説明する。図３は、本実施形態における入力画像の一例を示す図である。
【００５４】
図３に示すように、本実施形態においては、例えば、１１×１１画素サイズの４階調値の画素から構成される多値画像を入力画像としてもよい。
【００５５】
図２に戻り、階層構造生成部１０２ａは、入力画像において、階調値毎に、当該階調値以下の画素が隣接して連結した連結成分を特定し、全階調値の連結成分から構成される、階調幅に基づく階層構造の階層構造データを生成する（ステップＳＡ−２）。
【００５６】
ここで、図４から図９を参照して、本実施形態における連結成分の一例について説明する。図４は、本実施形態における連結成分の階層構造の一例を示す図である。図５から図９は、本実施形態における連結成分の一例を示す図である。
【００５７】
図４に示すように、本実施形態においては、図３に示す２５６階調における４階調値（Ｌｅｖｅｌ１−４）の画素から構成される入力画像における連結成分から、リンクとノードとを用いた階層構造（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ  Ｔｒｅｅ）の階層構造データを生成してもよい。
【００５８】
なお、図４において、０から２５５まで縦に並ぶ２５６個の丸は、各階調値を示している。
【００５９】
ここで、図４において、隣接した連結関係にない連結成分Ｃと連結成分Ｅと連結成分Ｆとは、２５６階調において、最大階調値が等しい関係にある。
【００６０】
また、図４に示すように、本実施形態においては、最大階調値が異なる連結成分について、階調値の順序に応じた包含関係、すなわち、隣接し連結関係にある最大階調値の高い連結成分が最大階調値の低い連結成分を包含する関係を表す階層構造データを生成してもよい。
【００６１】
すなわち、本実施形態において、階層構造上、親ノードに該当する連結成分は、子ノード、および／または、孫ノードの連結成分を含む関係にある。
【００６２】
例えば、図４に示すように、本実施形態においては、階層構造上、連結成分Ｂは、子ノードとなる連結成分Ｃおよび連結成分Ｄ、ならびに、孫ノードとなる連結成分Ｅを含む関係にある。
【００６３】
また、図４に示すように、本実施形態においては、２５６階調の入力画像の階調幅と同じ刻みとなる２５６階層の階層構造の階層構造データを生成してもよい。
【００６４】
このように、本実施形態においては、２５６階調等の刻みが細かい階層構造とすることで、連結成分の精密な切り分けが可能となる。
【００６５】
そして、図５に示すように、本実施形態においては、Ｌｅｖｅｌ３以下の画素が隣接して連結した領域を、連結成分Ａ（１１×１１画素の白背景画像：２５５階調値）の下位の階層となる連結成分Ｂと特定してもよい。
【００６６】
また、図６に示すように、本実施形態においては、Ｌｅｖｅｌ２以下の画素が隣接して連結した領域を、連結成分Ａの下位の階層となり、連結成分Ｂの下位の階層となる連結成分Ｃと特定してもよい。
【００６７】
また、図７に示すように、本実施形態においては、Ｌｅｖｅｌ２以下の画素が隣接して連結した領域を、連結成分Ａの下位の階層となり、連結成分Ｂの下位の階層となる連結成分Ｅと特定してもよい。
【００６８】
また、図８に示すように、本実施形態においては、Ｌｅｖｅｌ２以下の画素が隣接して連結した領域を、連結成分Ａの下位の階層となる連結成分Ｆと特定してもよい。なお、本実施形態において、連結成分Ｆは、画像中のノイズである。
【００６９】
また、図９に示すように、本実施形態においては、Ｌｅｖｅｌ１以下の画素が隣接して連結した領域を、連結成分Ａの下位の階層となり、連結成分Ｂの下位の階層となり、連結成分Ｃの下位の階層となる連結成分Ｄ（０階調値）と特定してもよい。
【００７０】
図２に戻り、領域抽出部１０２ｂは、階層構造データに基づいて、各階調値の連結成分が、文字らしさの特徴を満たすか否かを判定し、文字らしさの特徴を満たす連結成分を文字らしい領域として抽出する（ステップＳＡ−３）。
【００７１】
ここで、図１０を参照して、本実施形態における文字らしい領域抽出処理の一例について説明する。図１０は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。
【００７２】
図１０に示すように、まず、領域抽出部１０２ｂは、階層構造データに基づいて、各階調値の連結成分の面積と当該連結成分に階層構造上で隣接する連結成分の面積との差を被除数とし、当該隣接する連結成分の面積を除数とした場合の商が、文字らしいシャープネス性の閾値を満たすか否かを判定し、商が文字らしいシャープネス性の閾値を満たすと判定した場合、処理をステップＳＢ−２に移行させる（ステップＳＢ−１）。
【００７３】
ここで、本実施形態における文字らしいシャープネス性判定は、下記数式１に表される指標を用いてもよい。
【数１】
2018026005.tif 000003
【００７４】
例えば、図４の階層構造において、λ＝ｌｅｖｅｌ３である場合、数式１における画素値λに該当する領域とは、連結成分Ｂであってもよい。
【００７５】
そして、本実施形態においては、シャープネス性判定として、階層構造上の各ノード（連結成分）について、数式１に対する閾値を設定して判定することで、閾値以下の領域をシャープネス性を満たすノードとして抽出してもよい。
【００７６】
また、本実施形態においては、抽出されたノードについて、階層構造上接合関係にあるノード間について、最も上位層に該当するノードのみを抽出してもよい。
【００７７】
具体的には、本実施形態においては、数式１を用いて下記のように、閾値を０．４に設定し、閾値より小さいか否かを判定するシャープネス性判定を行ってもよい。
【数２】
2018026005.tif 000004
【００７８】
そして、領域抽出部１０２ｂは、階層構造データに基づいて、文字らしいシャープネス性の閾値を満たす連結成分に含まれる画素の最大階調値と最小階調値との差が、文字らしいコントラストの閾値を満たすか否かを判定し、差が文字らしいコントラストの閾値を満たすと判定した場合、処理をステップＳＢ−３に移行させる（ステップＳＢ−２）。
【００７９】
ここで、本実施形態における文字らしいコントラスト判定は、下記数式２に表されるように、抽出された連結成分毎の最大画素値と最小画素値との差を指標として用いてもよい。
【数３】
2018026005.tif 000005
【００８０】
具体的には、本実施形態においては、数式２を用いて下記のように、閾値を５０に設定し、閾値より大きいか否かを判定するコントラスト判定を行ってもよい。
【数４】
2018026005.tif 000006
【００８１】
そして、領域抽出部１０２ｂは、階層構造データに基づいて、文字らしいコントラストの閾値を満たすと判定した連結成分の面積が、文字らしい面積の閾値を満たすか否かを判定し、連結成分の面積が文字らしい面積の閾値を満たすと判定した場合、連結成分を文字らしい領域として抽出し（ステップＳＢ−３）、処理を終了する。
【００８２】
ここで、本実施形態における文字らしい面積判定は、下記数式３に表されるように、抽出された連結成分の面積を指標として用いてもよい。
【数５】
2018026005.tif 000007
【００８３】
具体的には、本実施形態においては、数式３を用いて下記のように、最小閾値を５、および、最大閾値を２００００に設定し、閾値内におさまるか否かを判定する面積判定を行ってもよい。
【数６】
2018026005.tif 000008
【００８４】
なお、一般的な画像データにおいて、文字らしい領域は、文字らしいシャープネス性、文字らしいコントラスト（領域内の画素の階調値の最大値と最小値との差）、および、文字らしい領域の面積に関する特徴を有するため、本実施形態においては、文字らしい領域の抽出基準としてこれらの特徴を採用した。
【００８５】
図２に戻り、補正部１０２ｃは、文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、文字らしい領域を二値化した補正領域を取得する（ステップＳＡ−４）。
【００８６】
ここで、図１１から図１４を参照して、本実施形態における文字認識性補正の一例について説明する。図１１は、本実施形態における入力画像の一例を示す図である。図１２は、本実施形態における文字らしい領域の一例を示す図である。図１３は、本実施形態における補正領域の一例を示す図である。図１４は、本実施形態における面積の累積度数分布に基づく閾値設定の一例を示すグラフである。
【００８７】
本実施形態においては、抽出した文字らしい領域について、文字認識性が向上するように補正をかけている。
【００８８】
例えば、本実施形態において、図１１に示す明朝体フォントの「典」という文字の画像を入力画像とした場合、図１２に示すように、文字らしい領域は、文字認識性が低い画像として抽出される。
【００８９】
そこで、本実施形態においては、文字認識性が低い文字らしい領域に対する補正を行うために、文字らしい領域内のみの情報に基づき、下記数式４を用いて二値化の閾値を算出してもよい。
【数７】
2018026005.tif 000009
【００９０】
そして、本実施形態においては、数式４を用いて算出された閾値により、図１２に示す文字らしい領域の二値化を実施することにより、図１３に示す補正領域を取得することで、文字認識性を向上させている。
【００９１】
ここで、本実施形態においては、数式４に示すｒａｔｉｏ＝１．０の場合、図１２に示す無補正の文字らしい領域が補正領域として取得される。
【００９２】
また、本実施形態においては、数式４に示すｒａｔｉｏ＝０．７５の場合、図１３に示す補正領域が取得される。
【００９３】
また、本実施形態においては、パラメータに依存せずに、二値化の閾値を算出してもよい。
【００９４】
例えば、本実施形態においては、図１２に示す文字らしい領域内の最小階調値の画素から最大階調値の画素までの面積の累積度数分布を算出し、図１４に示すグラフを作成している。
【００９５】
ここで、各種フォントについて、文字らしい領域の面積は、文字認識性の高い補正領域の面積の２倍程度となるケースが多いため、図１４に示すグラフにおいては、二値化の閾値を相対累積度数が５０％（０．５）となる階調値に設定している。
【００９６】
この閾値を採用することにより、本実施形態においては、図１２に示す文字らしい領域から、文字認識性が向上した補正領域を取得することができた。
【００９７】
図２に戻り、画像取得部１０２ｄは、補正領域以外の入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、補正領域と背景領域とから構成される二値画像の二値画像データを取得し（ステップＳＡ−５）、処理を終了する。
【００９８】
ここで、画像表示部１０２ｅは、更に、画像取得部１０２ｄにより取得された二値画像データを入出力部を介して表示させ、ユーザに確認させてもよい。
【００９９】
このように、本実施形態においては、補正領域とそれ以外の領域とを二分する二値画像を生成する。
【０１００】
なお、本実施形態においては、補正領域が黒（例えば、グレースケールの場合、階調値：０）の場合、それ以外の領域を白（例えば、グレースケールの場合、階調値：２５５）として二値画像を生成し、補正領域が白の場合、それ以外の領域を黒として二値画像を生成する。
【０１０１】
ここで、図１５から図２２を参照して、本実施形態における二値化処理の一例について説明する。図１５、図１７、図１９および図２１は、本実施形態における入力画像の一例を示す図である。図１６、図１８、図２０および図２２は、本実施形態における二値画像の一例を示す図である。
【０１０２】
図１５に示す画質劣化要因が生じていない画像に対して、本二値化処理を適用した場合、画質劣化要因が無いため、本実施形態においては、図１６に示すように、高精度の二値画像を得ることができる。
【０１０３】
そこで、図１７に示すモバイルカメラで撮影された低コントラストの画質劣化要因が生じている画像に対して、本二値化処理を適用した場合であっても、本実施形態においては、図１８に示すように、高精度の二値画像を得ることができる。
【０１０４】
また、図１９に示すモバイルカメラで撮影された輝度ムラの画質劣化要因が生じている画像に対して、本二値化処理を適用した場合であっても、本実施形態においては、図２０に示すように、文字部分に関しては画質劣化要因が無い場合と同様の高精度の二値画像を得ることができる。
【０１０５】
また、図２１に示すモバイルカメラで撮影されたボケの画質劣化要因が生じている画像に対して、本二値化処理を適用した場合であっても、本実施形態においては、図２２に示すように、文字領域が少し収縮（Ｅｒｏｓｉｏｎ）しているものの、高精度の二値画像を得ることができる。
【０１０６】
このように、本実施形態においては、各種画質劣化要因が生じている画像であっても、文字領域を大きく変化させずに、ロバストに文字領域のみ抽出し、二値化させることができる。
【０１０７】
なお、特許文献１記載の発明により取得された二値画像データに対してＯＣＲ処理を行った場合、ＯＣＲ精度が平均８８％であったのに対し、本実施形態における二値化処理により取得された二値画像データに対してＯＣＲ処理を行った場合、ＯＣＲ精度が平均９８％まで向上した。
【０１０８】
従来から、モバイルカメラデバイスの高解像度化により、カメラ画像データに対するＯＣＲの実施が可能となっている。例えば、個人認証のために、本人確認カード（運転免許証、マイナンバーカード、および、在留カード等）を気軽にカメラスキャンし、ＯＣＲの実施がされている。
【０１０９】
しかしながら、カメラ画像においては、スキャナ画像と異なり、被写体の撮影環境、および、デバイス起因の画質劣化要因（輝度ムラ、ノイズ、ボケ、または、低コントラスト等）が画像内に多分に含まれてしまうという問題があった。
【０１１０】
これらの画質劣化要因により、従来の二値化手法による二値画像には、ＯＣＲ誤認識の原因となる文字切れ、および、ノイズ等が生じてしまうため、高いＯＣＲ精度を達成することができなかった。
【０１１１】
そこで、本実施形態においては、画素の階調値順序に応じた包含関係を表す連結成分の階層的データ構造から、前景である文字領域を抽出し、抽出された領域から二値画像を生成している。
【０１１２】
すなわち、本実施形態においては、階調値毎に、当該階調値以上または以下の画素が隣接して連結関係にある、当該階調値以上または以下の画素を連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ）として特定している。
【０１１３】
そして、本実施形態においては、連結成分間の階調値の順序に応じた包含関係を表す領域の階層構造（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ  Ｔｒｅｅ）を表すデータを作成している。
【０１１４】
そして、本実施形態においては、生成されたデータから、文字らしい領域を抽出し、抽出された文字らしい領域において、文字認識性を補正し、補正された領域とそれ以外の領域とを二分する二値画像を生成している。
【０１１５】
なお、従来から、階層構造から文字らしい領域を抽出する技術は、存在していたが、文字らしい領域の抽出にとどまり、文字認識性、特に、光学的文字認識（ＯＣＲ）において高精度に認識可能な形状となるような領域に補正する処理は存在しなかった。
【０１１６】
一方、本実施形態においては、文字らしい領域を抽出した上で、文字認識性が向上するよう、抽出された文字らしい領域を補正することを実施している。
【０１１７】
また、本実施形態においては、文字認識性を向上させた領域を二値画像として取得することで、多様な用途として使用することができるようにしている。
【０１１８】
ここで、多様な用途として使用することができる画像データとしては、カラー画像データと比べてデータ容量の少ない画像データ、または、多くのＯＣＲエンジンが読取に必要とするレベルの画像データ等であってもよい。
【０１１９】
［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
【０１２０】
例えば、画像処理装置１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（画像処理装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
【０１２１】
また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
【０１２２】
このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。
【０１２３】
また、画像処理装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
【０１２４】
例えば、画像処理装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。
【０１２５】
なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて画像処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
【０１２６】
また、このコンピュータプログラムは、画像処理装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
【０１２７】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。
【０１２８】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
【０１２９】
記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。
【０１３０】
また、画像処理装置１００は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像処理装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
【０１３１】
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
【産業上の利用可能性】
【０１３２】
以上のように、画像処理装置、画像処理方法、および、プログラムは、産業上の多くの分野、特に画像を扱う画像処理分野で実施することができ、極めて有用である。
【符号の説明】
【０１３３】
１００  画像処理装置
１０２  制御部
１０２ａ  階層構造生成部
１０２ｂ  領域抽出部
１０２ｃ  補正部
１０２ｄ  画像取得部
１０２ｅ  画像表示部
１０６  記憶部
１０６ａ  画像データファイル
【図１】
2018026005.tif 000010
【図２】
2018026005.tif 000011
【図３】
2018026005.tif 000012
【図４】
2018026005.tif 000013
【図５】
2018026005.tif 000014
【図６】
2018026005.tif 000015
【図７】
2018026005.tif 000016
【図８】
2018026005.tif 000017
【図９】
2018026005.tif 000018
【図１０】
2018026005.tif 000019
【図１１】
2018026005.tif 000020
【図１２】
2018026005.tif 000021
【図１３】
2018026005.tif 000022
【図１４】
2018026005.tif 000023
【図１５】
2018026005.tif 000024
【図１６】
2018026005.tif 000025
【図１７】
2018026005.tif 000026
【図１８】
2018026005.tif 000027
【図１９】
2018026005.tif 000028
【図２０】
2018026005.tif 000029
【図２１】
2018026005.tif 000030
【図２２】
2018026005.tif 000031