(57)【要約】  一実施形態に係る画像処理装置は、取得部、第１特定部、および第２特定部を備える。取得部は、半透明文字が重畳された文字領域と、半透明文字が重畳されていない背景領域との間のエッジを取得する。第１特定部は、エッジを挟んで隣り合う文字領域内の代表色と背景領域内の代表色とのペアを複数個取得し、複数のペアから半透明文字の文字色および透過度を特定する。第２特定部は、文字領域内の各画素について、半透明文字が重畳された後の画素色と文字色と透過度とから、該半透明文字が重畳される前の画素色を特定する。
2014141412.tif 000002
【特許請求の範囲】
【請求項１】
原画像に半透明文字が重畳されて成る画像を処理する画像処理装置であって、
前記半透明文字が重畳された文字領域と、半透明文字が重畳されていない背景領域との間のエッジを取得する取得部と、
前記エッジを挟んで隣り合う前記文字領域内の代表色と前記背景領域内の代表色とのペアを複数個取得するペア取得部と、
複数の前記ペアから前記半透明文字の文字色および透過度を特定する第１特定部と、
前記文字領域内の各画素について、前記半透明文字が重畳された後の画素色と前記文字色と前記透過度とから、該半透明文字が重畳される前の画素色を特定する第２特定部と
を備える画像処理装置。
【請求項２】
前記半透明文字が重畳された前記文字領域内の各画素の重畳色が、該重畳色と、対応する前記原画像の画素の色と、該半透明文字の文字色および透過度との関係を示す関係式により決定され、
前記ペア取得部が、前記エッジを挟んで隣り合う前記文字領域内の第１の重畳色と前記背景領域内の第１の背景色との第１ペアと、前記エッジを挟んで隣り合う前記文字領域内の第２の重畳色と背景領域内の第２の背景色の第２ペアとを特定し、ここで、前記第２の重畳色が前記第１の重畳色と異なり、前記第２の背景色が前記第１の背景色と異なり、
前記第１特定部が、前記関係式に前記第１ペアを代入した第１の方程式と、前記関係式に前記第２ペアを代入した第２の方程式とに基づいて、前記半透明文字の文字色及び透過度を特定し、
前記第２特定部が、前記文字領域内の各画素について、前記半透明文字の文字色および透過度と前記関係式とに基づいて、前記原画像における画素値を特定する、
請求項１に記載の画像処理装置。
【請求項３】
前記第１特定部が、カラー・クラスタリングを実行することで前記文字領域のクラスタと前記背景領域のクラスタとのペアを複数個取得して各クラスタの代表色を取得することで、前記文字領域内の代表色と前記背景領域内の代表色とのペアを複数個取得する、
請求項１または２に記載の画像処理装置。
【請求項４】
前記第１特定部が、代表色が同じである二つの前記背景領域のクラスタに前記文字領域のクラスタが挟まれている場合に、該文字領域のクラスタと該背景領域のクラスタとのペアを取得する、
請求項３に記載の画像処理装置。
【請求項５】
アンチエイリアス処理が施された前記半透明文字のエッジを中心とする小領域内の画素値の範囲を求め、該小領域内の各画素値を第１の基準値または第２の基準値に二値化する逆変換部を備え、
前記第１の基準値および前記第２の基準値が前記画素値の範囲の端点である、請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第１特定部が、
前記背景領域と、アンチエイリアス処理が施された前記半透明文字が位置する前記文字領域とを含む矩形領域を取得し、
前記矩形領域の外縁に沿った方向に延びている前記エッジを境に隣り合っている前記文字領域および前記背景領域からそれぞれの前記代表色を取得する、
請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項７】
前記第１特定部が、各クラスタの画素値の統計値を代表色として取得する、
請求項３または４に記載の画像処理装置。
【請求項８】
前記取得部が、文字部分の画素値が分散している場合に、文字が半透明であると判定する、
請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項９】
前記取得部が、前記背景領域から前記文字領域にかけて連続しているエッジが存在する場合に、文字が半透明であると判定する、
請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項１０】
原画像に半透明文字が重畳されて成る画像を処理する画像処理装置により実行される画像処理方法であって、
前記半透明文字が重畳された文字領域と、半透明文字が重畳されていない背景領域との間のエッジを取得する取得ステップと、
前記エッジを挟んで隣り合う前記文字領域内の代表色と前記背景領域内の代表色とのペアを複数個取得するペア取得ステップと、
複数の前記ペアから前記半透明文字の文字色および透過度を特定する第１特定ステップと、
前記文字領域内の各画素について、前記半透明文字が重畳された後の画素色と前記文字色と前記透過度とから、該半透明文字が重畳される前の画素色を特定する第２特定ステップと
を含む画像処理方法。
【請求項１１】
原画像に半透明文字が重畳されて成る画像を処理する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、
前記半透明文字が重畳された文字領域と、半透明文字が重畳されていない背景領域との間のエッジを取得する取得部と、
前記エッジを挟んで隣り合う前記文字領域内の代表色と前記背景領域内の代表色とのペアを複数個取得するペア取得部と、
複数の前記ペアから前記半透明文字の文字色および透過度を特定する第１特定部と、
前記文字領域内の各画素について、前記半透明文字が重畳された後の画素色と前記文字色と前記透過度とから、該半透明文字が重畳される前の画素色を特定する第２特定部と
を前記コンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面は、画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
画像から文字を除去して、その領域を周囲の背景領域の画素を用いて補完する技術がある（下記非特許文献１参照）。このような手法を用いることで、その文字で隠れていた背景を自然に復元することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】He,Liu, Michael Bleyer, and Margrit Gelautz. "Object Removal by Depth-guidedInpainting." Austrian Association for Pattern Recognition, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
文字領域が透過性を持っている（半透明である）画像に上記非特許文献１の技術を適用すると、背景の復元が不完全または不十分になる場合がある。その先行技術では、文字に覆われた背景の情報を周囲の情報を用いて予測している。したがって、例えば、半透明の文字で覆われている背景の一部が周囲の図柄と異なっていると、その部分が本来あるべき姿に復元されず、元の背景との違いが顕著になってしまう。そこで、半透明文字に覆われた背景をより確実に復元することが望まれている。
【課題を解決するための手段】
【０００５】
本発明の一側面に係る画像処理装置は、原画像に半透明文字が重畳されて成る画像を処理する画像処理装置であって、半透明文字が重畳された文字領域と、半透明文字が重畳されていない背景領域との間のエッジを取得する取得部と、エッジを挟んで隣り合う文字領域内の代表色と背景領域内の代表色とのペアを複数個取得するペア取得部と、複数のペアから半透明文字の文字色および透過度を特定する第１特定部と、文字領域内の各画素について、半透明文字が重畳された後の画素色と文字色と透過度とから、該半透明文字が重畳される前の画素色を特定する第２特定部とを備える。【０００６】
本発明の一側面に係る画像処理方法は、原画像に半透明文字が重畳されて成る画像を処理する画像処理装置により実行される画像処理方法であって、半透明文字が重畳された文字領域と、半透明文字が重畳されていない背景領域との間のエッジを取得する取得ステップと、エッジを挟んで隣り合う文字領域内の代表色と背景領域内の代表色とのペアを複数個取得するペア取得ステップと、複数のペアから半透明文字の文字色および透過度を特定する第１特定ステップと、文字領域内の各画素について、半透明文字が重畳された後の画素色と文字色と透過度とから、該半透明文字が重畳される前の画素色を特定する第２特定ステップとを含む。【０００７】
本発明の一側面に係る画像処理プログラムは、原画像に半透明文字が重畳されて成る画像を処理する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、半透明文字が重畳された文字領域と、半透明文字が重畳されていない背景領域との間のエッジを取得する取得部と、エッジを挟んで隣り合う文字領域内の代表色と背景領域内の代表色とのペアを複数個取得するペア取得部と、複数のペアから半透明文字の文字色および透過度を特定する第１特定部と、文字領域内の各画素について、半透明文字が重畳された後の画素色と文字色と透過度とから、該半透明文字が重畳される前の画素色を特定する第２特定部とをコンピュータに実行させる。【０００８】
本発明の一側面に係るコンピュータ読取可能な記録媒体は、原画像に半透明文字が重畳されて成る画像を処理する画像処理装置としてコンピュータを機能させる画像処理プログラムを記憶するコンピュータ読取可能な記録媒体であって、画像処理プログラムが、半透明文字が重畳された文字領域と、半透明文字が重畳されていない背景領域との間のエッジを取得する取得部と、エッジを挟んで隣り合う文字領域内の代表色と背景領域内の代表色とのペアを複数個取得するペア取得部と、複数のペアから半透明文字の文字色および透過度を特定する第１特定部と、文字領域内の各画素について、半透明文字が重畳された後の画素色と文字色と透過度とから、該半透明文字が重畳される前の画素色を特定する第２特定部とをコンピュータに実行させる。【０００９】
このような側面においては、まず、それぞれが文字領域および背景領域の代表色から成る複数のペアから、半透明文字そのもの文字色および透過度が得られる。文字領域の画素色は、文字が重畳される前の画素色（元の背景色）と該文字自体の色とを混合したものであるといえるから、半透明文字そのものの色が決まれば、文字領域の画素色を元の背景色に戻すことが可能になる。このように、半透明文字自体の色を得た上で、文字領域内の各画素について重畳前の画素色を特定することで、元の背景を画素単位でより確実に復元することができる。【００１０】
別の側面に係る画像処理装置では、半透明文字が重畳された文字領域内の各画素の重畳色が、該重畳色と、対応する原画像の画素の色と、該半透明文字の文字色および透過度との関係を示す関係式により決定され、ペア取得部が、エッジを挟んで隣り合う文字領域内の第１の重畳色と背景領域内の第１の背景色との第１ペアと、エッジを挟んで隣り合う文字領域内の第２の重畳色と背景領域内の第２の背景色の第２ペアとを特定し、ここで、第２の重畳色が第１の重畳色と異なり、第２の背景色が第１の背景色と異なり、第１特定部が、関係式に第１ペアを代入した第１の方程式と、関係式に第２ペアを代入した第２の方程式とに基づいて、半透明文字の文字色及び透過度を特定し、第２特定部が、文字領域内の各画素について、半透明文字の文字色および透過度と関係式とに基づいて、原画像における画素値を特定してもよい。【００１１】
別の側面に係る画像処理装置では、第１特定部が、カラー・クラスタリングを実行することで文字領域のクラスタと背景領域のクラスタとのペアを複数個取得して各クラスタの代表色を取得することで、文字領域内の代表色と背景領域内の代表色とのペアを複数個取得してもよい。【００１２】
別の側面に係る画像処理装置では、第１特定部が、代表色が同じである二つの背景領域のクラスタに文字領域のクラスタが挟まれている場合に、該文字領域のクラスタと該背景領域のクラスタとのペアを取得してもよい。【００１３】
別の側面に係る画像処理装置では、アンチエイリアス処理が施された半透明文字のエッジを中心とする小領域内の画素値の範囲を求め、該小領域内の各画素値を第１の基準値または第２の基準値に二値化する逆変換部を備えてもよい。【００１４】
第１の基準値および第２の基準値が画素値の範囲の端点であってもよい。【００１５】
別の側面に係る画像処理装置では、第１特定部が、背景領域と、アンチエイリアス処理が施された半透明文字が位置する文字領域とを含む矩形領域を取得し、矩形領域の外縁に沿った方向に延びているエッジを境に隣り合っている文字領域および背景領域からそれぞれの代表色を取得してもよい。【００１６】
別の側面に係る画像処理装置では、第１特定部が、各クラスタの画素値の統計値を代表色として取得してもよい。【００１７】
別の側面に係る画像処理装置では、取得部が、文字部分の画素値が分散している場合に、文字が半透明であると判定してもよい。【００１８】
別の側面に係る画像処理装置では、取得部が、背景領域から文字領域にかけて連続しているエッジが存在する場合に、文字が半透明であると判定してもよい。
【発明の効果】
【００１９】
本発明の一側面によれば、半透明文字に覆われた背景をより確実に復元することができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態に係る復元処理の概念を示す図である。
【図２】実施形態に係る復元処理の概念を示す図である。
【図３】実施形態に係る画像処理装置のハードウェア構成を示す図である。
【図４】実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図５】実施形態に係る画像処理装置の動作を示すフローチャートである。
【図６】実施形態に係る画像処理プログラムの構成を示す図である。
【図７】濃淡勾配の方向ヒストグラム（ＨＯＧ）を用いた処理を説明する図である。
【図８】アンチエイリアス処理の例を示す図である。
【発明を実施するための形態】
【００２１】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００２２】
まず、図１〜４を用いて、実施形態に係る画像処理装置１０の機能及び構成を説明する。画像処理装置１０は、原画像に重畳されている半透明文字を除去して、その半透明文字で隠れている背景を復元するコンピュータ・システムである。なお、本明細書における「文字」は、任意の形状のマークや絵なども含む概念である。また、本明細書における「半透明文字」は、透過度を有する文字である。透過度は０〜１の間で定義される。透過度が０であればその文字は不透明であり、透過度が１であればその文字は完全に透明である。したがって、本明細書では、半透明文字の透過度は０より大きく１より小さいものとする。この範囲であれば、透過度の具体的な数値は何ら限定されない。
【００２３】
図１，２を用いて、本実施形態における復元処理の概念を説明する。画像処理装置１０は、原画像に半透明文字を重畳することで生成された文字有り画像の入力を受け付ける。画像処理装置１０はこの文字有り画像から、文字に外接する矩形の領域（外接矩形）を取得し、各外接矩形において背景領域と文字領域との境界（エッジ）を特定する。
【００２４】
続いて、画像処理装置１０は、背景を復元する単位である処理対象の領域（以下では「対象領域（ｔａｒｇｅｔ  ｒｅｇｉｏｎ）」という）を特定する。対象領域は、半透明文字が重畳されていない背景領域と、半透明文字が重畳された文字領域とを含み、一又は複数の外接矩形で構成される。図１に示す対象領域Ｌは、背景Ｊに半透明文字Ｋが重畳された一つの外接矩形である。本実施形態は、半透明文字そのものの色および透過度が一定であることを前提とする。
【００２５】
続いて、画像処理装置１０は背景領域と文字領域の双方についてカラー・クラスタリング（ｃｏｌｏｒ  ｃｌｕｓｔｅｒｉｎｇ）を行い、対象領域Ｌにおいてエッジを挟んで隣り合う背景領域の代表色と文字領域の代表色（代表的な重畳色）とのペアを複数個取得する。図１の例では、画像処理装置１０は背景領域の代表色Ｏ１と文字領域の代表色Ｉ１とから成る第１ペアと、背景領域の代表色Ｏ２と文字領域の代表色Ｉ２とから成る第２ペアとを取得する。
【００２６】
続いて、画像処理装置１０はその二つのペアから半透明文字そのものについての文字色Ｔおよび透過度ｒを特定する。そして、画像処理装置１０は半透明文字そのものの色と文字領域の色とから、その半透明文字に覆われている領域の各画素の元の色を特定および復元する。この一連の処理により、背景Ｊが復元される。復元は画素毎に実行されるので、半透明文字Ｋで完全に隠れていた背景Ｊ内の円Ｊｐ，Ｊｑも復元される。
【００２７】
背景の復元は、色に関する下記の関係式（１）に基づく。
Ｉ＝Ｏｒ＋（１−ｒ）Ｔ  …（１）
ここで、変数Ｏは、その半透明文字で覆われた背景そのものの色であり、画像処理装置１０により復元される色である。変数Ｔ，ｒはそれぞれ、上述した通り、半透明文字そのものの文字色および透過度である。変数Ｉは、半透明文字が重畳された後の文字領域内の画素の色（文字有り画像における見た目の色）である。変数Ｉは、背景そのものの色と半透明文字そのものの色との混合であるともいえる。
【００２８】
図１では対象領域が一つの外接矩形であったが、上述したように対象領域は複数の外接矩形を含んでいてもよい。ただし、このように二つの外接矩形から代表色のペアを取得する場合には、２文字の色設定が同じであるという前提が必要である。
【００２９】
図２は、対象領域Ｌが二つの外接矩形Ｌａ，Ｌｂから成る例を示している。外接矩形Ｌａは背景Ｊａに半透明文字Ｋａが重畳された領域であり、外接矩形Ｌｂは背景Ｊｂに半透明文字Ｋｂが重畳された領域である。図２の例では、画像処理装置１０は隣り合う二つの文字から得られる二つの外接矩形のそれぞれから１ペアずつ取得する。すなわち、画像処理装置１０は外接矩形Ｌａから背景領域の代表色Ｏ１と文字領域の代表色Ｉ１とのペアを取得し、外接矩形Ｌｂから背景領域の代表色Ｏ２と文字領域の代表色Ｉ２とのペアとを取得する。この場合も、画像処理装置１０はその二つのペアから半透明文字そのものについての文字色Ｔおよび透過度ｒを特定し、半透明文字そのものの色と文字領域の色とから、文字領域内の各画素の元の色を復元する。上述した通り、この一連の処理は、処理対象である複数の文字の基本色および透過度が同じであることを前提とする。
【００３０】
なお、対象領域の形状は矩形に限定されず、文字領域を含むのであれば対象領域はどのような形状であってもよい。
【００３１】
図３に、画像処理装置１０のハードウェア構成を示す。画像処理装置１０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイなどの出力装置１０６とを備えている。
【００３２】
後述する画像処理装置１０の各機能的構成要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。
【００３３】
なお、画像処理装置１０はそれぞれ、１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。
【００３４】
図４に示すように、画像処理装置１０は機能的構成要素として取得部１１、文字色特定部（ペア取得部、第１特定部）１２、および復元部（第２特定部）１３を備えている。
【００３５】
取得部１１は、背景領域と文字領域との間のエッジを取得する機能要素である。取得部１１は任意の手法を用いて、各対象領域のエッジの情報を取得することができる。
【００３６】
取得部１１は、画像処理装置１０以外の装置（図示せず）から、対象領域およびエッジの情報が付加された画像データを取得してもよい。
【００３７】
あるいは、取得部１１はカラー処理（ｃｏｌｏｒ  ｐｒｏｃｅｓｓｉｎｇ）を施すことで画像データ内の対象領域を特定すると共に、キャニー法（Ｃａｎｎｙ  ｍｅｔｈｏｄ）などのような従来の手法を用いて各対象領域内のエッジを検出してもよい。
【００３８】
カラー処理の例として、領域ベースの手法（ｒｅｇｉｏｎ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ）の一つであるカラー・クラスタリング（ｃｏｌｏｒ  ｃｌｕｓｔｅｒｉｎｇ）がある。この手法は、クラスタリングのためにｋ−平均法（ｋ−ｍｅａｎｓ  ｍｅｔｈｏｄ）を用いてカラー数を削減し、そのクラスタリングの後に各カラー・クラスタ（ｃｏｌｏｒ  ｃｌｕｓｔｅｒ）に対してトポロジ解析に基づく領域分割を行うものである。カラー処理の他の手法として、分類ベースの手法（ｃｌａｓｓｉｆｉｅｒ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ）、例えばサポート・ベクトル・マシン（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ（ＳＶＭ））が挙げられる。あるいは、領域ベースの手法を用いた後に分類ベースの手法で後処理を実行することで対象領域を抽出してもよい。
【００３９】
このように、対象領域およびエッジを取得する方法は様々である。取得部１１は、各対象領域のエッジの情報を文字色特定部１２に出力する。
【００４０】
文字色特定部１２は、半透明文字の文字色および透過度を特定する機能要素である。ここで、「半透明文字の文字色」とは、見た目の色ではなく、見た目の色の基本となる色（基本色）のことである。画像中の半透明文字の部分は背景と混合しているので、半透明文字そのものの色を知る必要がある。文字色特定部１２は各対象領域についてその色を以下のように特定する。
【００４１】
文字色特定部１２は、図１，２に示すように、エッジを挟んで隣り合う文字領域内の代表色と背景領域内の代表色とのペアを二つ取得する。個々の画素色を取得するのではなく各領域の代表的な色を取得する理由は、計算を簡単にするためである。文字色特定部１２はカラー・クラスタリングを用いて、文字領域および背景領域のそれぞれを複数のクラスタに分け、各クラスタの代表色を求める。代表色の決定方法は限定されず、例えば、文字色特定部１２はクラスタ内の画素色の統計値（平均値や中央値など）を代表色として設定してもよい。あるいは、文字色特定部１２はユーザにより入力された各クラスタの代表色を用いてもよい。続いて、文字色特定部１２はエッジを挟んで隣り合う文字領域のクラスタと背景領域のクラスタとをペアとして特定し、ペア内の各クラスタの代表色を得る。この際に、文字色特定部１２は二つのペアを取得する。
【００４２】
図１，２の例では、文字色特定部１２は文字領域内の代表色Ｉ１と背景領域内の代表色Ｏ１とのペアと、文字領域内の代表色Ｉ２と背景領域内の代表色Ｏ２とのペアとを取得する。
【００４３】
続いて、文字色特定部１２は二つのペアの情報を上記式（１）に適用することで下記の連立方程式（２）を得る。
【００４４】
Ｏ１ｒ＋（１−ｒ）Ｔ＝Ｉ１
Ｏ２ｒ＋（１−ｒ）Ｔ＝Ｉ２  …（２）
【００４５】
そして、文字色特定部１２はこの連立方程式（２）を解くことで半透明文字そのものの文字色Ｔおよび透過度ｒを求める。値Ｔ，ｒはそれぞれ下記式（３），（４）で得られる。
【００４６】
Ｔ＝（Ｉ１−Ｏ１ｒ）／（１−ｒ）＝（Ｉ２−Ｏ２ｒ）／（１−ｒ）  …（３）
ｒ＝（Ｉ１−Ｉ２）／（Ｏ１−Ｏ２）  …（４）
【００４７】
各対象領域について値Ｔ，ｒを求めると、文字色特定部１２は、半透明文字に関するそれらの値Ｔ，ｒが付加された対象領域の情報を復元部１３に出力する。
【００４８】
復元部１３は、半透明文字で覆われた背景の元の色を復元する機能要素である。復元部１３は各対象領域について以下の処理を実行する。
【００４９】
復元すべき文字領域内の画素の個数がＮ個であれば、復元部１３は画素ｐ１〜ｐＮのそれぞれについて、上記式（１）を用いて画素の元の色Ｏｏｒｇを求める。
【００５０】
すなわち、復元部１３は、半透明文字が重畳された後の画素ｐｉの色（すなわち、現在の画素色）Ｉｃと、文字色特定部１２から入力された半透明文字の文字色Ｔおよび透過度ｒとを式（１）に適用することで、半透明文字が重畳される前の画素ｐｉの色Ｏｏｒｇを求める（下記式（５））。そして、復元部１３は画素ｐｉの色をＩｃからＯｏｒｇに置き換える。
【００５１】
Ｉｃ＝Ｏｏｒｇｒ＋（１−ｒ）Ｔ
したがって、Ｏｏｒｇ＝｛Ｉｃ−（１−ｒ）Ｔ｝／ｒ  …（５）
【００５２】
復元部１３は画素ｐ１〜ｐＮのすべてについて上記式（５）を用いて画素色を変更することで、半透明文字を消去し、元の背景色を復元する。
【００５３】
すべての対象領域について上記の処理を実行すると、復元部１３は背景を復元した画像のデータを出力する。出力方法は限定されず、復元部１３は復原画像データを任意の記憶装置（図示せず）に格納してもよいし、復原画像をモニタに表示させるかまたは印刷してもよい。
【００５４】
次に、図５を用いて、画像処理装置１０の動作を説明するとともに本実施形態に係る画像処理方法について説明する。ここでは、説明を簡単にするために、一つの対象領域についての処理を説明する。
【００５５】
まず、取得部１１が文字有り画像から一つの対象領域を取得するとともに（ステップＳ１１、取得ステップ）、その対象領域内のエッジの情報を取得する（ステップＳ１２、取得ステップ）。
【００５６】
続いて、文字色特定部１２がエッジを挟んで隣り合う文字領域内の代表色と背景領域内の代表色とのペアを二つ取得する（ステップＳ１３、ペア取得ステップ）。そして、文字色特定部１２は二つのペアの情報（文字領域内の代表色が二つと、背景領域内の代表色が二つ）を上記連立方程式（２）に代入することで半透明文字の文字色および透過度を求める（ステップＳ１４、第１特定ステップ）。
【００５７】
続いて、復元部１３が文字領域内の一画素について、半透明文字の文字色および透過度と現在の画素色とを上記式（１）に適用することで、元の画素色を特定する（ステップＳ１５、第２特定ステップ）。そして、復元部１３は現在の画素色を特定された色に置き換えることで、その画素の元の色を復元する（ステップＳ１６）。復元部１３はこの一連の処理を文字領域内のすべての画素について実行する（ステップＳ１７参照）。
【００５８】
当然ながら、文字有り画像から複数の対象領域が抽出された場合には、それぞれの対象領域についてステップＳ１１〜Ｓ１７の処理が実行され、最終的には、半透明文字が除去されて背景が復元された画像データが出力される。
【００５９】
次に、図６を用いて、画像処理装置１０を実現するための画像処理プログラムＰを説明する。
【００６０】
画像処理プログラムＰは、メインモジュールＰ１０、取得モジュールＰ１１、文字色特定モジュールＰ１２、および復元モジュールＰ１３を備えている。
【００６１】
メインモジュールＰ１０は、画像処理の機能を統括的に制御する部分である。取得モジュールＰ１１、文字色特定モジュールＰ１２、および復元モジュールＰ１３を実行することにより実現される機能はそれぞれ、上記の取得部１１、文字色特定部１２、および復元部１３の機能と同様である。
【００６２】
画像処理プログラムＰは、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等の有形の記録媒体に固定的に記録された上で提供されてもよい。また、画像処理プログラムＰは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
【００６３】
以上説明したように、本実施形態によれば、まず、それぞれが文字領域および背景領域の代表色から成る複数のペアから、半透明文字そのもの文字色および透過度が得られる。文字領域の画素色は、文字が重畳される前の画素色（元の背景色）と該文字自体の色とを混合したものであるといえるから、半透明文字そのものの色が決まれば、文字領域の画素色を元の背景色に戻すことが可能になる。このように、半透明文字自体の色を得た上で、文字領域内の各画素について重畳前の画素色を特定することで、元の背景を画素単位でより確実に復元することができる。元の背景を画素単位で復元することができるので、図１における領域Ｊｐ，Ｊｑのように、半透明文字に完全に覆われていて、露出している背景領域とは連続していない部分も、元の色またはそれに近い色に復元することが可能である。
【００６４】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００６５】
［ＨＯＧの利用］
文字色特定部１２は、背景内の境界と文字のエッジとがたまたま重なった場合のことを考慮して、代表色を得るために濃淡勾配の方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ（ＨＯＧ））を用いてもよい。ＨＯＧは、文字幅を構成する一組の境界画素（ｅｄｇｅ  ｐｉｘｅｌｓ）に関して双方のエッジの傾きは同じあるが各エッジの向きは互いに逆である、という性質に着目した手法である。
【００６６】
図７を用いてこの手法を説明する。図７の例では、代表色がＯ２である背景領域と代表色がＯ３である背景領域との境界が半透明文字「Ｔ」のエッジ部分と重なっている。代表色Ｏ３は文字領域の影響を全く受けていないので、この代表色Ｏ３がペアの一部として採用されてしまうと、半透明文字そのものの文字色および透過度の計算結果に誤りが生じる。
【００６７】
そこで、文字色特定部１２はＨＯＧを用いて、文字領域のクラスタが、代表色が同じ二つの背景領域のクラスタに挟まれている箇所を探し、この条件を満たすクラスタの代表色をペアにする。図７の例では、代表色がＩ１である文字領域のクラスタが、代表色がＯ１である二つの背景領域のクラスタに挟まれている。したがって、文字色特定部１２はこれら二つの代表色Ｉ１，Ｏ１のペアを生成する。しかし、代表色がＩ１である文字領域のクラスタは、代表色がＯ２である二つの背景領域のクラスタに挟まれておらず、かつ、代表色がＯ３である二つの背景領域のクラスタに挟まれてもいない。したがって、文字色特定部１２は代表色Ｉ２を含むペアを生成しない。この場合には、文字色特定部１２は別の外接矩形から代表色のペアを得る必要がある。
【００６８】
［アンチエイリアス（ａｎｔｉ−ａｌｉａｓｉｎｇ）］
半透明文字が挿入される際に、文字の輪郭を滑らかにするアンチエイリアス処理が施されている場合がある。画素は横方向（ｘ方向）及び縦方向（ｙ方向）に並んでいるが、この画素の並びに対して斜め方向に延びている文字の輪郭（エッジ）について、アンチエイリアス処理が施される。アンチエイリアス処理が施された結果、この画素は、背景色と文字色との間の中間色を有することになる。このアンチエイリアス処理が為された画素については上記式（１）を適用することができない。例えば、図８の例では、文字「Ｒ」の略右半分の輪郭部分にその処理が施されており、その箇所にそのまま式（１）を適用すると復元の精度が下がってしまう。そこで、復元の精度をさらに高めるために、画像処理装置１０は下記のような手法を用いてアンチエイリアスを除外または除去してもよい。
【００６９】
画像処理装置１０は、アンチエイリアス処理が施された画素を、文字領域内でその処理が施されていない画素の色か、またはエッジに隣接する背景領域の画素の色のどちらかに変換することで、アンチエイリアスを除去してもよい。
【００７０】
具体的には、画像処理装置１０は、エッジとして判定された画素（エッジ画素）を中心とするＷ×Ｗ画素の小領域を取得する。Ｗの具体的な値は限定されないが、アンチエイリアス処理が適用された部分を少なくとも包含するようにその値を設定する必要がある。例えばＷ＝３でもよい。
【００７１】
続いて、画像処理装置１０はＲＧＢ色空間を示す三次元座標上にこの領域内の各画素をプロットし、これらの画素にフィットする近似直線を求める。画像処理装置１０は最小自乗法、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）、ＬＭｅｄＳ（Ｌｅａｓｔ  ＭＥＤｉａｎ  Ｓｑｕａｒｅ）などを用いて近似直線を求めることができる。
【００７２】
続いて、画像処理装置１０は画素を示す点をその直線上に投影し、直線上において両端に位置する二つの投影点（端点）に対応する二つの画素を基準画素として特定する。続いて、画像処理装置１０は、基準画素以外の残りの画素の色を、二つの基準画素の色（第１の基準値および第２の基準値）のどちらか一方に置換する。具体的には、一つの残りの画素をｐｒで示すとすると、画像処理装置１０はこの画素ｐｒとの距離が短い方の基準画素の色を画素ｐｒの色として選択する。なお、画素ｐｒと基準画素との距離は、三次元空間上にプロットされた点間の実際の距離であってもよいし、近似直線上の投影点同士の距離であってもよい。
【００７３】
このように、画像処理装置はエッジ周辺の領域を二値化することでアンチエイリアスを除去する。この除去処理は、復元部１３が復元処理を実行する前であればいつ行ってもよい。例えば、その除去処理は、文字色特定部１２が代表色のペアを選択する前に行われてもよい。したがって、この除去処理は文字色特定部１２が行ってもよいし、復元部１３が行ってもよい。この場合には、文字色特定部１２または復元部１３は逆変換部としても機能する。
【００７４】
あるいは、文字色特定部１２は、文字領域のクラスタの代表色を選択する際に、アンチエイリアス処理が施された画素を含むクラスタを除外してもよい。具体的には、文字色特定部１２は、外接矩形の外縁に沿った方向（Ｘ方向またはＹ方向）に延びているエッジを境に隣り合っている文字領域および背景領域からそれぞれの代表色を取得し、これらの代表色のペアを生成してもよい。
【００７５】
あるいは、文字色特定部１２は、文字領域のクラスタの代表色を選択する際に、そのクラスタに含まれる画素値の中央値または平均値を代表色として選択してもよい。あるいは、文字色特定部１２は色のヒストグラム（ｈｉｓｔｏｇｒａｍ）を算出して、最も高い数値を示す色（出現頻度が最も高い色）を代表色として選択してもよい。アンチエイリアス処理が施された画素は少なく、例外であるともいえるので、このように画素値の統計値（例えば中央値、平均値、または出現頻度が最も高い値）を用いることで、アンチエイリアス処理の影響を下げることができる。
【００７６】
画像処理装置１０は、文字が半透明であるか不透明（ソリッド（ｓｏｌｉｄ））であるかを判定する機能を備えていてもよい。この場合には、画像処理装置１０（例えば、取得部１１）は、文字領域内の画素値が分散していれば半透明文字が描画されていると判定し、その画素値が分散していなければ不透明文字であると判定してもよい。あるいは、画像処理装置１０（例えば、取得部１１）は、背景領域から文字領域にかけて連続しているエッジが存在すればその文字領域が半透明文字であると判定してもよい。
【符号の説明】
【００７７】
１０…画像処理装置、１１…取得部、１２…文字色特定部（ペア取得部、第１特定部）、１３…復元部（第２特定部）、Ｐ…画像処理プログラム、Ｐ１０…メインモジュール、Ｐ１１…取得モジュール、Ｐ１２…文字色特定モジュール、Ｐ１３…復元モジュール。
【図１】
2014141412.tif 000003
【図２】
2014141412.tif 000004
【図３】
2014141412.tif 000005
【図４】
2014141412.tif 000006
【図５】
2014141412.tif 000007
【図６】
2014141412.tif 000008
【図７】
2014141412.tif 000009
【図８】
2014141412.tif 000010
【国際調査報告】
2014141412.tif 000011
2014141412.tif 000012
2014141412.tif 000013
2014141412.tif 000014