(57)【要約】【課題】任意の文字色及び任意の背景色で描かれた画像であっても、汎用的に文字領域を抽出することが可能な文字領域抽出装置、文字領域抽出方法及び文字領域抽出プログラムを提供する。【解決手段】文字領域抽出装置１は、統計パラメータ生成部１１が、入力画像の色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成し、統計パラメータ選択部１２が、入力画像内における色の広がりに基づいて、複数の統計パラメータから文字色の統計パラメータを選択し、類似度算出部２１が、文字色の統計パラメータと入力画像の各画素の画素値とから、当該画素の色が文字色に類似する度合いを示す文字色類似度を算出し、領域分割部２２が、その文字色類似度に基づいて、入力画像を文字領域と背景領域とに分割することで、文字領域を抽出することを特徴とする。【選択図】      図１
2005018176.tif 000002
【特許請求の範囲】
【請求項１】
任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出装置であって、
前記画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成するパラメータ生成手段と、
このパラメータ生成手段で生成された複数の統計パラメータ毎に、その統計パラメータに基づいて、前記画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段と、
この広がり指標算出手段で算出された広がり指標に基づいて、複数の前記統計パラメータから、前記文字色の統計パラメータを選択するパラメータ選択手段と、
このパラメータ選択手段で選択された前記文字色の統計パラメータと、前記画像の各画素の画素値とに基づいて、当該画素の色が前記文字色に類似する度合いを示す文字色類似度を算出する類似度算出手段と、
この類似度算出手段で算出された文字色類似度に基づいて、前記画像を前記文字領域と背景領域とに分割する領域分割手段と、
を備えていることを特徴とする文字領域抽出装置。
【請求項２】
任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出装置であって、
前記画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成するパラメータ生成手段と、
このパラメータ生成手段で生成された複数の統計パラメータ毎に、その統計パラメータに基づいて、前記画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段と、
この広がり指標算出手段で算出された広がり指標に基づいて、複数の前記統計パラメータから、前記文字色及び前記背景色の統計パラメータをそれぞれ選択するパラメータ選択手段と、
このパラメータ選択手段で選択された前記文字色及び前記背景色の各統計パラメータと、前記画像の各画素の画素値とに基づいて、当該画素の色が前記文字色及び前記背景色にそれぞれ類似する度合いを示す文字色類似度及び背景色類似度を算出する類似度算出手段と、
この類似度算出手段で算出された文字色類似度及び背景色類似度に基づいて、前記画像を前記文字領域と背景領域とに分割する領域分割手段と、
を備えていることを特徴とする文字領域抽出装置。
【請求項３】
前記領域分割手段で分割された文字領域における各画素の連結領域の大きさを計測する領域計測手段と、
この領域計測手段で計測された連結領域の大きさに基づいて、前記連結領域の大きさが所定の閾値より小さい場合に、その連結領域で示される文字領域を前記背景領域に変更する領域変更手段と、
を備えていることを特徴とする請求項１又は請求項２に記載の文字領域抽出装置。
【請求項４】
前記統計パラメータには、混合モデルを構成するガウス分布のパラメータを用いることを特徴とする請求項１乃至請求項３のいずれか１項に記載の文字領域抽出装置。
【請求項５】
任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出方法であって、
前記画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成するパラメータ生成ステップと、
このパラメータ生成ステップで生成された複数の統計パラメータ毎に、その統計パラメータに基づいて、前記画像における色の広がりの指標を示す広がり指標を算出し、その広がり指標に基づいて、複数の前記統計パラメータから、前記文字色の統計パラメータを選択するパラメータ選択ステップと、
このパラメータ選択ステップで選択された前記文字色の統計パラメータと、前記画像の各画素の画素値とに基づいて、当該画素の色が前記文字色に類似する度合いを示す文字色類似度を算出する類似度算出ステップと、
この類似度算出ステップで算出された文字色類似度に基づいて、前記画像を前記文字領域と背景領域とに分割する領域分割ステップと、
を含んでいることを特徴とする文字領域抽出方法。
【請求項６】
任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出するために、コンピュータを、
前記画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成するパラメータ生成手段、
このパラメータ生成手段で生成された複数の統計パラメータ毎に、その統計パラメータに基づいて、前記画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段、
この広がり指標算出手段で算出された広がり指標に基づいて、複数の前記統計パラメータから、前記文字色の統計パラメータを選択するパラメータ選択手段、
このパラメータ選択手段で選択された前記文字色の統計パラメータと、前記画像の各画素の画素値とに基づいて、当該画素の色が前記文字色に類似する度合いを示す文字色類似度を算出する類似度算出手段、
この類似度算出手段で算出された文字色類似度に基づいて、前記画像を前記文字領域と背景領域とに分割する領域分割手段、
として機能させることを特徴とする文字領域抽出プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の色の統計分布に基づいて、その画像から文字領域を抽出する文字領域抽出装置、文字領域抽出方法及び文字領域抽出プログラムに関する。
【０００２】
【従来の技術】
従来、画像から、文字が描かれた文字領域を抽出する装置としては、自動車道路等に設置されて、車両のナンバープレートから車両番号を読み取るナンバープレート読み取り装置等が存在している。このナンバープレート読み取り装置では、車両番号の文字認識を行う前処理として、ナンバープレートを撮影した画像から文字領域の抽出を行っている。このような、画像から文字領域を抽出する手法としては、以下に示す種々の手法が存在する。
【０００３】
まず、第１の手法としては、入力された画像を、画像の明度によって２値化画像に変換し、その２値化画像から文字領域を抽出する手法が提案されている（例えば、特許文献１、特許文献２参照。）。
また、第２の手法としては、入力された画像に対して微分処理を施すことで、エッジ画像を生成し、そのエッジ画像から文字領域を抽出する手法が提案されている（例えば、特許文献３参照。）。
さらに、第３の手法としては、文字が水平方向に並んでいる等の文字の幾何学的な特徴を、予め定めた基準値と比較することで文字領域を抽出する手法が提案されている（例えば、特許文献４参照。）。
【０００４】
【特許文献１】
特開平６−１１１０５８号公報（第３−５頁、第１図）
【特許文献２】
特開２００１−３３１８０３号公報（第３−５頁、第１図）
【特許文献３】
特開２０００−１８７７３２号公報（第４頁、第１−３図）
【特許文献４】
特開平９−３１９９９５号公報（第５−９頁、第１図及び第４図）
【０００５】
【発明が解決しようとする課題】
前記従来の技術において、第１の手法のように、２値化画像を用いて文字領域を抽出する手法では、コントラストや明度のヒストグラム等によって、２値化を行う閾値を自動で設定することも可能で、容易に２値化画像を生成することができるが、色情報を考慮していないため、文字色と背景色とが異なっていても明度が同じである場合は、文字領域と背景領域とを同一の領域であると判定してしまい、文字領域を抽出することができないという問題があった。
なお、色情報を考慮して閾値を設定する場合、例えばＲＧＢ等の多次元の空間で閾値を設定する必要があり、任意の文字色及び任意の背景色で描かれた画像に対して閾値を設定できるような、汎用的な手法は存在していない。
【０００６】
また、第２の手法のように、エッジ画像を用いて文字領域を抽出する手法では、微分演算を行う必要があるため、ノイズや汚れに弱く、文字以外の領域を文字領域と誤認識してしまうという問題があった。
さらに、第３の手法のように、文字の幾何学的な特徴によって文字領域を抽出する手法では、文字列の長さが短い、文字列の並びが不規則である、あるいは、文字列が定型の位置に配置されていない場合、その有効性を発揮することができないという問題があった。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、任意の文字色及び任意の背景色で描かれた画像であっても、汎用的に文字領域を抽出することが可能な文字領域抽出装置、文字領域抽出方法及び文字領域抽出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の文字領域抽出装置は、任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出装置であって、統計パラメータを生成するパラメータ生成手段と、画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段と、文字色の統計パラメータを選択するパラメータ選択手段と、文字色類似度を算出する類似度算出手段と、画像を領域分割する領域分割手段と、を備える構成とした。
【０００９】
かかる構成によれば、文字領域抽出装置は、パラメータ生成手段によって、入力された画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成する。例えば、画像から色の統計分布の加重和である混合モデルを構築することで、文字色と背景色とを異なる確率密度関数で近似する。この確率密度関数は、平均ベクトルや分散等の統計パラメータによって、統計分布を特定することができる。これによって、任意の色であっても、文字色と背景色とを統計パラメータによって区分することが可能になる。
【００１０】
そして、文字領域抽出装置は、広がり指標算出手段によって、統計パラメータから画像における色の広がり指標を算出し、その広がり指標に基づいて、パラメータ選択手段が、文字色の統計パラメータを選択する。ここで広がり指標とは、画像上で、ある色が統計分布において、どれだけの広がりを持っているかを示す指標であって、分散等の値を用いることができる。
【００１１】
例えば、背景の上に文字が描かれている画像の場合、背景色と文字色との２色が、画像を占める大部分の色となり、色の統計分布は２つの分布で表現されることになる。さらに、一般的に画像上では、文字領域の周りに背景領域が存在するため、文字色よりも背景色の方が大きな広がりを持っている。そこで、最も大きい分散を持つ統計分布は、背景色のものであり、２番目に大きい分散を持つ統計分布は、文字色のものであると仮定することができる。このように統計分布の広がり（分散）を求めることで、文字色の統計分布（統計パラメータ）を特定することができる。
【００１２】
なお、色の分布が３つ以上となる場合は、背景色及び文字色以外の色をノイズとみなし、例えば、統計分布の重み係数によって、背景色及び文字色の２組の統計パラメータのみを選択すればよい。
【００１３】
そして、文字領域抽出装置は、類似度算出手段によって、文字色の統計パラメータと、画像の各画素の画素値（色ベクトル）とに基づいて、文字色類似度を算出し、領域分割手段によって、画像を文字領域とそれ以外の領域（背景領域）とに分割する。文字色類似度は、画素値（色ベクトル）が、文字色に類似する度合いを示すものであって、例えば、色ベクトルが文字色の統計分布に属する確率である。
このように、文字領域抽出装置は、画像の色の統計分布から、文字色の統計分布を特定する確率密度関数の統計パラメータを求め、画像の各画素の画素値が文字色の統計分布に属するかどうかを判定することで、文字領域を抽出する。
【００１４】
また、請求項２に記載の文字領域抽出装置は、任意の文字色、及び、任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出装置であって、統計パラメータを生成するパラメータ生成手段と、画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段と、文字色及び背景色の統計パラメータを選択するパラメータ選択手段と、文字色類似度及び背景色類似度を算出する類似度算出手段と、画像を領域分割する領域分割手段と、を備える構成とした。
【００１５】
かかる構成によれば、文字領域抽出装置は、パラメータ生成手段によって、入力された画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成する。例えば、画像から色の統計分布の加重和である混合モデルを構築することで、文字色と背景色とを異なる確率密度関数で近似することで、任意の色であっても、文字色と背景色とを統計パラメータによって区分することが可能になる。
そして、文字領域抽出装置は、広がり指標算出手段によって、統計パラメータから画像における色の広がり指標（例えば、分散）を算出し、その広がり指標に基づいて、パラメータ選択手段が、文字色及び背景色の統計パラメータを選択する。
【００１６】
そして、文字領域抽出装置は、類似度算出手段によって、文字色及び背景色の統計パラメータと、画像の各画素の画素値（色ベクトル）とに基づいて、文字色類似度及び背景色類似度を算出する。この文字色類似度及び背景色類似度は、それぞれ、画素値（色ベクトル）が、文字色又は背景色に類似する度合いを示すものであって、例えば、色ベクトルが文字色又は背景色の統計分布に属する確率である。この確率（文字色類似度及び背景色類似度）に基づいて、領域分割手段が、画像を文字領域と背景領域とに分割することが可能になる。
【００１７】
さらに、請求項３に記載の文字領域抽出装置は、請求項１又は請求項２に記載の文字領域抽出装置において、領域計測手段と、領域変更手段と、を備える構成とした。
【００１８】
かかる構成によれば、文字領域抽出装置は、領域計測手段によって、領域分割手段で分割された文字領域における各画素の連結領域の大きさを計測する。この連結領域とは、文字領域を構成する画素のまとまりであって、その大きさとは、連結領域の面積、例えば画素数を示す。そして、文字領域抽出装置は、領域変更手段によって、連結領域の大きさが所定の閾値より小さい場合に、その連結領域を文字領域とは異なるノイズと判断して、背景領域に変更する。これによって、文字領域抽出装置は、画像から精度よく文字領域を抽出することができる。
【００１９】
また、請求項４に記載の文字領域抽出装置は、請求項１乃至請求項３のいずれか１項に記載の文字領域抽出装置において、前記統計パラメータには、混合モデルを構成するガウス分布のパラメータを用いることを特徴とする。
【００２０】
かかる構成によれば、文字領域抽出装置は、統計パラメータに混合モデルを構成するガウス分布のパラメータを用いることとすると、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズム等の従来のアルゴリズムに基づいて、統計パラメータを容易に算出することができる。この確率密度関数をガウス分布のパラメータである平均ベクトル、共分散行列及び当該共分散行列の混合重みで表すことで、文字色、背景色を一意に特定することが可能になる。
【００２１】
また、文字領域抽出装置において、統計パラメータにガウス分布のパラメータを用いることとすると、その統計パラメータを、本願出願人が出願した（「統計解析装置、統計解析方法及び統計解析プログラム」特願２００２−３１３６１１）で提案した統計解析装置等を用いて算出することも可能になる。これによって、ＥＭアルゴリズムのような反復収束演算を行う必要がないため、演算速度を早めることができる。
【００２２】
さらに、請求項５に記載の文字領域抽出方法は、任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出方法であって、パラメータ生成ステップと、パラメータ選択ステップと、類似度算出ステップと、領域分割ステップと、を含んでいることを特徴とする。
【００２３】
この手順によれば、文字領域抽出方法は、パラメータ生成ステップで、入力された画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成する。例えば、画像から色の統計分布の加重和である混合モデルを構築することで、文字色と背景色とを異なる確率密度関数で近似する。これによって、任意の色であっても、文字色と背景色とを統計パラメータによって区分することが可能になる。
【００２４】
そして、文字領域抽出方法は、パラメータ選択ステップで、統計パラメータから画像における色の広がり指標（例えば分散）を算出し、その広がり指標に基づいて、文字色の統計パラメータを選択する。この広がり指標によって、色の広がりが大きい方を背景色、小さい方を文字色というように特定することができる。
【００２５】
さらに、文字領域抽出方法は、類似度算出ステップで、文字色の統計パラメータと、画像の各画素の色ベクトルとに基づいて、文字色類似度を算出し、領域分割ステップで、画像を文字領域とそれ以外の領域（背景領域）とに分割する。この文字色類似度は、例えば、色ベクトルが文字色の統計分布に属する確率である。そして、この確率によって、画素が文字領域に含まれる画素かどうかを判定することが可能になる。
【００２６】
また、請求項６に記載の文字領域抽出プログラムは、任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出するために、コンピュータを、パラメータ生成手段、広がり指標算出手段、パラメータ選択手段、類似度算出手段、領域分割手段、として機能させることを特徴とする。
【００２７】
かかる構成によれば、文字領域抽出プログラムは、パラメータ生成手段によって、入力された画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成する。これによって、任意の色であっても、文字色と背景色とを統計パラメータによって区分することが可能になる。
【００２８】
そして、文字領域抽出プログラムは、広がり指標算出手段によって、統計パラメータから画像における色の広がり指標（例えば分散）を算出し、その広がり指標に基づいて、パラメータ選択手段が、文字色の統計パラメータを選択する。この広がり指標によって、色の広がりが大きい方を背景色、小さい方を文字色というように特定することができる。
【００２９】
さらに、文字領域抽出プログラムは、類似度算出手段によって、文字色の統計パラメータと、画像の各画素の色ベクトルとから、文字色類似度を算出し、領域分割手段によって、画像を文字領域とそれ以外の領域（背景領域）とに分割する。この文字色類似度は、例えば、色ベクトルが文字色の統計分布に属する確率である。そして、この確率によって、画素が文字領域に含まれる画素かどうかを判定することが可能になる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［第一の実施の形態：文字領域抽出装置］
図１は、本発明における第一の実施の形態に係る文字領域抽出装置の構成を示したブロック図である。図１に示すように、文字領域抽出装置１は、入力された任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像（入力画像）を、文字領域と背景領域とに分割することで、入力画像から文字領域を抽出するものである。ここでは、文字領域抽出装置１は、統計パラメータ算出手段１０と、類似度判定分割手段２０とを備えて構成している。
【００３１】
統計パラメータ算出手段１０は、入力画像内の色の統計分布から、混合モデルによる確率密度関数における、文字色及び背景色の統計パラメータを算出するものである。なお、統計パラメータ算出手段１０は、統計パラメータ生成部１１と、統計パラメータ選択部１２とにより構成されている。
【００３２】
統計パラメータ生成部（パラメータ生成手段）１１は、Ｍ組（Ｍは２以上の自然数）の確率密度関数の加重和によって表される混合モデルによって、入力画像内における色の統計分布を近似し、その混合モデルにおける各確率密度関数の統計パラメータを生成するものである。なお、色は、例えば色の３原色によって表現される色空間におけるベクトル（以降、色ベクトルと呼ぶ）である。また、混合モデルにおける各確率密度関数を基底要素と呼ぶ。
【００３３】
ここで、色ベクトルをｘ、ｍを１以上Ｍ以下の自然数とし、混合モデルｐ（ｘ）を構成する第ｍ番目の基底要素をｅｍ（ｘ）、当該基底要素の混合重み（重み係数）をｗｍとすると、混合モデルｐ（ｘ）は、（１）式で表される。
【００３４】
【数１】
2005018176.tif 000003
【００３５】
ただし、第ｍ番目の基底要素の混合重みｗｍは、（２）式を満たしているものとする。
【００３６】
【数２】
2005018176.tif 000004
【００３７】
このように、混合モデルｐ（ｘ）によって、入力画像の色（色ベクトル）の統計分布を近似することにより、入力画像の特徴となるＭ個の支配的な色（例えば、背景色及び文字色）の分布である基底要素ｅｍ（ｘ）を抽出することができる。
【００３８】
なお、この基底要素ｅｍ（ｘ）には、例えばガウス分布の確率密度関数（ガウス基底要素）を用いることができる。ここで、ｄを色ベクトルｘの色空間における次数（次元）、μｍを第ｍ番目の平均ベクトル、Σｍ及びΣｍ−１をそれぞれ共分散行列及びその逆行列とし、Ｔを行列の転置を表すものとすると、ガウス基底要素Ｎ（ｘ；μｍ，Σｍ）は、（３）式で表される。
【００３９】
【数３】
2005018176.tif 000005
【００４０】
なお、３原色のカラーカメラで撮影された画像を扱う場合は、次数ｄ＝３となり、モノクロームのカメラを用いる場合は、次数ｄ＝１となる。また、Ｄ（２以上）個の波長帯に分光する撮像手段を用いる場合は次数ｄ＝Ｄとなる。このように、次数ｄの次元は、扱う画像に応じて１以上の自然数であればよい。
【００４１】
以降、基底要素ｅｍ（ｘ）については、ガウス分布の確率密度関数を例として説明する。すなわち、基底要素ｅｍ（ｘ）は、（４）式に示すようにガウス基底要素Ｎ（ｘ；μｍ，Σｍ）を用いる。なお、以降の説明において、ガウス基底要素は、単に基底要素と呼ぶこととする。
【００４２】
【数４】
2005018176.tif 000006
【００４３】
この統計パラメータ生成部１１は、（４）式に示した基底要素（ガウス基底要素）ｅｍ（ｘ）に対して、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムによって、反復収束演算を行うことで、第ｍ番目の基底要素の統計パラメータである平均ベクトルμｍ、共分散行列Σｍ及び当該共分散行列Σｍの混合重みｗｍを得る。ここでは、ＥＭアルゴリズムをＭ回実行することで、Ｍ組の統計パラメータ（μｍ，Σｍ，ｗｍ）（ｍ＝１，２，…，Ｍ）を得る。ここで生成されたＭ組の統計パラメータは、統計パラメータ選択部１２へ出力される。
【００４４】
ここで、図２及び図３を参照して、ＥＭアルゴリズムを用いた統計パラメータ（平均ベクトルμｍ、共分散行列Σｍ及び混合重みｗｍ）を算出する手法について説明する。図２は、文字が描かれた画像（入力画像）の一例を示す図である。図３は、入力画像を色空間上の混合モデルで表現した図である。
【００４５】
図２に示すように、入力画像Ｍには、任意の文字色及び任意の背景色で描かれた文字領域Ｃ及び背景領域Ｎと、ノイズ（文字色及び背景色以外の第３色のノイズＥ１、文字色と同色の文字色ノイズＥ２）とが混在しているものとする。
また、図３に示すように、ここでは、色の３原色（Ｒ、Ｇ、Ｂ）によって表現される色空間上の混合モデル（ガウス混合モデル）によって、入力画像Ｍの色の統計分布を近似することとし、統計パラメータの数は３（Ｍ＝３）とする。
【００４６】
ここで、ＥＭアルゴリズムの第ｋ反復終了後における平均ベクトルの推定値をμｍ（ｋ）、共分散行列の推定値をΣｍ（ｋ）、及び、混合重みの推定値をｗｍ（ｋ）とすると、ｗｍ（ｋ）は、（５）式により求められる。
【００４７】
【数５】
2005018176.tif 000007
【００４８】
なお、ζｍ（ｋ−１）（ｘ）は、第（ｋ−１）反復終了後までに推定された平均ベクトルμｍ（ｋ−１）、共分散行列Σｍ（ｋ−１）、及び、混合重みｗｍ（ｋ−１）に基づいて計算される値で、第ｍ番目の基底要素から色ベクトルｘが出力される確率を表す。このζｍ（ｋ−１）（ｘ）は、（６）式により与えられる。
【００４９】
【数６】
2005018176.tif 000008
【００５０】
また、第ｋ反復終了後における平均ベクトルの推定値μｍ（ｋ）、及び、共分散行列の推定値をΣｍ（ｋ）は、それぞれ、（７）式及び（８）式により求められる。
【００５１】
【数７】
2005018176.tif 000009
【００５２】
【数８】
2005018176.tif 000010
【００５３】
このように、統計パラメータ（平均ベクトルμｍ、共分散行列Σｍ及び混合重みｗｍ）は、平均ベクトルμｍ（０）、共分散行列Σｍ（０）、及び、混合重みｗｍ（０）を初期値として与え、帰納的に前記（５）式乃至（８）式に代入することにより算出される。すなわち、（９）式に示すようにｋ回の反復演算によって、混合モデルｐ（ｘ）（（１）式及び（４）式参照）を構成する基底要素の統計パラメータ（μｍ，Σｍ，ｗｍ）を推定することができる。
【００５４】
【数９】
2005018176.tif 000011
【００５５】
この反復演算は、反復の回数（ｋ）を予め定めた一定回数（例えば１００回）として演算を行ってもよいし、ｋの増加に対して基底要素の統計パラメータの変化量が、ある閾値を下回った時点で反復演算を終了することとしてもよい。
また、初期値として与える統計パラメータの初期値は、例えば、入力画像全体の色ベクトルの平均ベクトル及び共分散行列に乱数を加えて、μｍ（０）及びΣｍ（０）とし、ｗｍ（０）は全て１／Ｍとする。
【００５６】
このように、初期値を設定することで、図３において、第１番目（ｍ＝１）の初期値Ｐ１（０）（μ１（０），Σ１（０），ｗ１（０））からは、基底要素の統計パラメータＰ１（μ１，Σ１，ｗ１）が算出される。また、第２番目（ｍ＝２）の初期値Ｐ２（０）（μ２（０），Σ２（０），ｗ２（０））からは、基底要素の統計パラメータＰ２（μ２，Σ２，ｗ２）が算出される。また、第３番目（ｍ＝３）の初期値Ｐ３（０）（μ３（０），Σ３（０），ｗ３（０））からは、基底要素の統計パラメータＰ３（μ３，Σ３，ｗ３）が算出される。
【００５７】
これによって、図２の文字領域Ｃ、背景領域Ｎ及び第３色ノイズＥ１は、基底要素の統計パラメータＰ１、Ｐ２及びＰ３で表現されたいずれかの統計分布に属することになる。また、文字色ノイズＥ２は、文字領域Ｃと同じ統計分布に属することになる。なお、文字領域Ｃ及び背景領域Ｎが、どの統計分布に属するかの判定は、後記する統計パラメータ選択部１２（図１）によって行われる。
図１に戻って説明を続ける。
【００５８】
統計パラメータ選択部１２は、統計パラメータ生成部１１で生成されたＭ組の統計パラメータから、文字色及び背景色の統計パラメータを選択するものである。この統計パラメータ選択部１２では、Ｍ組の統計パラメータ（μｍ，Σｍ，ｗｍ）（ｍ＝１，２，…，Ｍ）のうち、混合重みｗｍの大きい方から２組の統計パラメータを選択し、その２組の統計パラメータの一方を文字色の統計パラメータ、他方を背景色の統計パラメータとする。また、ここで選択された文字色の統計パラメータ及び背景色の統計パラメータは、領域分割手段２０へ通知される。なお、ここでは、統計パラメータ選択部１２を、広がり指標算出部１２ａとパラメータ選択部１２ｂとにより構成した。
【００５９】
広がり指標算出部（広がり指標算出手段）１２ａは、混合重みｗｍの大きい方から２組の統計パラメータを選択し、それぞれの統計パラメータで表される統計分布（色分布）の広がりを示す指標（広がり指標）を算出するものである。ここで算出された２つの広がり指数は、パラメータ選択部１２ｂへ通知される。
【００６０】
この広がり指標算出部１２ａでは、画像上の広がりを示す指標を、統計分布の分散によって求めるものとする。すなわち、広がり指標算出部１２ａは、入力画像の各画素の色ベクトルｘが、その統計パラメータで示された統計分布に属する確率ζｍ（ｘ）を（１０）式による演算により求め、（１１）式及び（１２）式によって、統計分布の共分散行列Ｓｍを求める。
【００６１】
【数１０】
2005018176.tif 000012
【００６２】
【数１１】
2005018176.tif 000013
【００６３】
【数１２】
2005018176.tif 000014
【００６４】
なお、（１１）式及び（１２）式において、ｒは画像内の座標を表している。また、Ｗｍは横方向の分散、Ｈｍは縦方向の分散、Ｃｍは共分散を表している。
このように、広がり指標算出部１２ａは、横方向の分散Ｗｍ又は縦方向の分散Ｈｍによって、統計分布（色分布）の広がり指標を求めることができる。そこで、広がり指標算出部１２ａは、混合重みｗｍの大きい２組の統計分布の広がり指標（Ｗｍ又はＨｍ）を（１０）式乃至（１２）式で求め、パラメータ選択部１２ｂに通知する。
【００６５】
パラメータ選択部（パラメータ選択手段）１２ｂは、広がり指標算出部１２ａで算出された２つの広がり指標に基づいて、混合重みｗｍの大きい２組の統計パラメータを、それぞれ文字色の統計パラメータ、及び、背景色の統計パラメータとして選択するものである。なお、ここでは、文字領域の周りに背景色となる余白（余白は白色とは限らない）が存在する場合を想定し、文字領域よりも背景領域（非文字領域）の方が画像上で大きな広がりを持っているものとする。
【００６６】
ここで、混合重みｗｍの大きい順に２組の統計パラメータを（μａ，Σａ，ｗａ）、（μｂ，Σｂ，ｗｂ）とし、それぞれの広がり指標をＷａ、Ｗｂ（ここでは、（１１）式の横方向の分散Ｗｍを用いることとする）とすると、Ｗａ＜Ｗｂの場合は、（μａ，Σａ，ｗａ）が文字色の統計パラメータ、（μｂ，Σｂ，ｗｂ）が背景色の統計パラメータとなる。また、Ｗａ≧Ｗｂの場合は、（μｂ，Σｂ，ｗｂ）が文字色の統計パラメータ、（μａ，Σａ，ｗａ）が背景色の統計パラメータとなる。すなわち、パラメータ選択部１２ｂは、（１３）式に示す判定によって、文字色の統計パラメータ（μｃ，Σｃ，ｗｃ）と、背景色の統計パラメータ（μｎ，Σｎ，ｗｎ）とを特定する。
【００６７】
【数１３】
2005018176.tif 000015
【００６８】
ここで、特定された文字色の統計パラメータ（μｃ，Σｃ，ｗｃ）と、背景色の統計パラメータ（μｎ，Σｎ，ｗｎ）とは、類似度判定分割手段２０へ通知される。また、文字色及び背景色以外の色（例えば、図２の第３色ノイズＥ１）の統計パラメータは、以降の判定には使用されない。
【００６９】
類似度判定分割手段２０は、統計パラメータ算出手段１０で算出された文字色の統計パラメータ（μｃ，Σｃ，ｗｃ）及び背景色の統計パラメータ（μｎ，Σｎ，ｗｎ）に基づいて、入力画像の各画素の色ベクトルが、文字色又は背景色のどちらの統計パラメータに類似するかを判定し、入力画像を文字領域と背景領域とに分割した２値化画像を生成するものである。ここでは、類似度判定分割手段２０を、類似度算出部２１と、領域分割部２２とにより構成した。
【００７０】
類似度算出部（類似度算出手段）２１は、統計パラメータ算出手段１０の統計パラメータ選択部１２で選択された文字色の統計パラメータ（μｃ，Σｃ，ｗｃ）及び背景色の統計パラメータ（μｎ，Σｎ，ｗｎ）と、入力画像内の各画素の画素値（色ベクトル）とに基づいて、各画素の色が、文字色及び背景色に類似する度合いを示す類似度（それぞれの類似度を、文字色類似度及び背景色類似度と呼ぶ）を算出するものである。ここで算出された文字色類似度及び背景色類似度は、領域分割部２２へ通知される。
【００７１】
この類似度算出部２１は、類似度を前記（３）式に示したガウス基底要素Ｎの類似性に基づいて算出する。すなわち、類似度算出部２１は、入力画像の各画素の座標ｒにおける色ベクトルｘ（ｒ）が文字色の統計パラメータに類似する文字色類似度ζｃ（ｘ（ｒ））と、色ベクトルｘ（ｒ）が背景色の統計パラメータに類似する背景色類似度ζｎ（ｘ（ｒ））とを、（１４）式による演算により求める。この各類似度は、色ベクトルｘ（ｒ）が、各統計パラメータで表される統計分布に属する確率である。
【００７２】
【数１４】
2005018176.tif 000016
【００７３】
領域分割部（領域分割手段）２２は、類似度算出部２１で算出された類似度である文字色類似度ζｃ（ｘ（ｒ））と、背景色類似度ζｎ（ｘ（ｒ））とに基づいて、入力画像内の各画素を、文字領域と背景領域とに分割するものである。この領域分割部２２では、入力画像内の各画素の座標ｒにおける類似度を、予め定めた閾値と比較し、その画素が文字領域の画素か、背景領域の画素かを判定することで、入力画像を文字領域と背景領域とに分割した２値化画像を生成する。
【００７４】
例えば、文字色類似度ζｃ（ｘ（ｒ））が予め定めた閾値θｃ以上で、かつ、背景色類似度ζｎ（ｘ（ｒ））が予め定めた閾値θｎ未満の場合は、その座標ｒの画素の色は、文字色であると判定し、それ以外の場合は、背景色であると判定する。すなわち、領域分割部２２は、（１５）式に示すように、入力画像内の各画素の座標ｒ毎に、文字色類似度ζｃ（ｘ（ｒ））及び背景色類似度ζｎ（ｘ（ｒ））と、予め定めた閾値θｃ及びθｎとを比較し、座標ｒの画素の色ベクトルｘ（ｒ）が、文字色と判定される場合は「１」、背景色と判定される場合は「０」となる２値化画像Ｂ（ｘ（ｒ））を生成する。
【００７５】
【数１５】
2005018176.tif 000017
【００７６】
このように、領域分割部２２は、入力画像を文字領域と背景領域とに分割することで、文字領域を抽出した文字領域抽出画像（２値化画像）を生成し出力する。
【００７７】
以上、本発明に係る文字領域抽出装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、領域分割部２２で、文字領域抽出画像（２値化画像）Ｂ（ｘ（ｒ））を生成するときに、文字色類似度ζｃ（ｘ（ｒ））及び背景色類似度ζｎ（ｘ（ｒ））の両方を用いたが、文字色類似度ζｃ（ｘ（ｒ））のみによって、入力画像内の各画素を、文字領域と背景領域とに分割することとしてもよい。
【００７８】
すなわち、類似度算出部２１では、前記（１４）式のうちで、文字色類似度ζｃ（ｘ（ｒ））のみを算出することとし、領域分割部２２では、（１６）式に示すように、文字色類似度ζｃ（ｘ（ｒ））が予め定めた閾値θｃ以上の場合に、座標ｒの画素の色は文字色であると判定し、それ以外の場合は背景色であると判定する。この場合、統計パラメータ算出手段１０の統計パラメータ選択部１２は、文字色の統計パラメータのみを選択するだけでよい。
【００７９】
【数１６】
2005018176.tif 000018
【００８０】
なお、文字領域抽出装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して文字領域抽出プログラムとして動作させることも可能である。
【００８１】
（文字領域抽出装置の動作）
次に、図４を参照（適宜図１参照）して、文字領域抽出装置１の動作について説明する。図４は、文字領域抽出装置１の動作を示すフローチャートである。
【００８２】
＜パラメータ生成ステップ＞
まず、文字領域抽出装置１は、統計パラメータ算出手段１０の統計パラメータ生成部１１によって、任意の文字色及び任意の背景色で描かれた画像（入力画像）から、その入力画像内における色の統計分布を確率密度関数の加重和によって表される混合モデルによって近似することで、その混合モデルにおける各確率密度関数の統計パラメータを生成する（ステップＳ１）。
【００８３】
このステップＳ１では、Ｍ組（Ｍは２以上の自然数）の統計パラメータ（平均ベクトルμｍ、共分散行列Σｍ及び混合重みｗｍ）（ｍ＝１，２，…，Ｍ）が生成される。なお、この統計パラメータは、ＥＭアルゴリズムによる反復収束演算（前記（５）式乃至（８）式参照）を行うことで算出される。なお、この統計パラメータは、本願出願人が出願した（「統計解析装置、統計解析方法及び統計解析プログラム」特願２００２−３１３６１１）で提案した統計解析装置等を用いて求めることも可能である。
【００８４】
＜パラメータ選択ステップ＞
また、文字領域抽出装置１は、統計パラメータ選択部１２の広がり指標算出部１２ａによって、統計パラメータ生成部１１で生成されたＭ組の統計パラメータ（μｍ、Σｍ、ｗｍ）の中から、混合重みｗｍの大きい２組の統計パラメータを選択する（ステップＳ２）。ここでは、２組の統計パラメータをそれぞれ（μａ、Σａ、ｗａ）、（μｂ、Σｂ、ｗｂ）とする。
このステップＳ２では、Ｍ組の統計パラメータから、混合重みｗｍの大きい２組の統計パラメータを選択することで、入力画像の中で支配的な色である文字色及び背景色の統計パラメータを選択することになる。
【００８５】
また、文字領域抽出装置１は、広がり指標算出部１２ａによって、統計パラメータで表される統計分布の広がり指標（例えば分散）を算出する（ステップＳ３）。ここでは、統計パラメータ（μａ、Σａ、ｗａ）の分散をＷａ、統計パラメータ（μｂ、Σｂ、ｗｂ）の分散をＷｂとする
【００８６】
このステップＳ３では、広がり指標算出部１２ａが、入力画像の各画素の色ベクトルが２組の統計パラメータで示された統計分布に属する確率を求め、それぞれの統計分布の共分散行列を求めることで、統計分布の広がりである分散を得ることができる（前記（１０）式乃至（１２）式参照）。
【００８７】
そして、文字領域抽出装置１は、統計パラメータ選択部１２のパラメータ選択部１２ｂによって、広がり指標算出部１２ａで算出された２つの広がり指標（分散）の大小を比較する（ステップＳ４）。ここで、分散Ｗａが分散Ｗｂより大きい場合（Ｗａ＞Ｗｂ）は、統計パラメータ（μａ、Σａ、ｗａ）を背景色の統計パラメータ（μｎ、Σｎ、ｗｎ）、統計パラメータ（μｂ、Σｂ、ｗｂ）を文字色の統計パラメータ（μｃ、Σｃ、ｗｃ）と判定する（ステップＳ５）。また、分散Ｗａが分散Ｗｂより小さい場合（Ｗａ≦Ｗｂ）は、統計パラメータ（μａ、Σａ、ｗａ）を文字色の統計パラメータ（μｃ、Σｃ、ｗｃ）、統計パラメータ（μｂ、Σｂ、ｗｂ）を背景色の統計パラメータ（μｎ、Σｎ、ｗｎ）と判定する（ステップＳ６）。
【００８８】
＜類似度算出ステップ＞
そして、文字領域抽出装置１は、類似度判定分割手段２０の類似度算出部２１によって、統計パラメータ選択部１２で選択（判定）された文字色の統計パラメータ（μｃ，Σｃ，ｗｃ）及び背景色の統計パラメータ（μｎ，Σｎ，ｗｎ）と、入力画像内の各画素の画素値（色ベクトル）とに基づいて、各画素の色が、文字色及び背景色に類似する度合いを示す文字色類似度及び背景色類似度を算出する（ステップＳ７）。
このステップＳ７では、類似度算出部２１が、ガウス基底要素Ｎの類似性に基づいて、入力画像内の各画素の色ベクトルが、文字色又は背景色の統計パラメータに類似する類似度を算出する（前記（１４）式参照）。
【００８９】
＜領域分割ステップ＞
そして、文字領域抽出装置１は、類似度判定分割手段２０の領域分割部２２によって、類似度算出部２１で算出された文字色類似度及び背景色類似度と、予め定めたそれぞれの閾値とに基づいて、入力画像を文字領域と、背景領域とに分割（２値化；前記（１５）式参照）する（ステップＳ８）。
以上の動作によって、文字領域抽出装置１は、任意の文字色及び任意の背景色で描かれた入力画像から、文字色で描かれた文字領域を抽出した画像（２値画像）を生成することができる。
【００９０】
［第二の実施の形態：文字領域抽出装置］
次に、図５を参照して、本発明における第二の実施の形態に係る文字領域抽出装置について説明する。図５は、第二の実施の形態に係る文字領域抽出装置の構成を示したブロック図である。図５に示すように、文字領域抽出装置１Ｂは、入力された任意の文字色及び任意の背景色で描かれた画像（入力画像）を、文字領域と背景領域とに分割することで、入力画像から文字領域を抽出するものである。ここでは、文字領域抽出装置１Ｂは、統計パラメータ算出手段１０と、類似度判定分割手段２０と、ノイズ除去手段３０とを備えて構成している。ノイズ除去手段３０以外の構成は、図１に示した文字領域抽出装置１と同一であるので、同一の符号を付し説明を省略する。
【００９１】
ノイズ除去手段３０は、類似度判定分割手段２０から２値化画像として出力される文字領域抽出画像から、文字領域と判定すべきではない小さな領域（領域分割の誤り）を背景領域とすることで、ノイズの除去を行うものである。ここでは、ノイズ除去手段３０を、領域計測部３１と、領域変更部３２とにより構成した。
【００９２】
領域計測部（領域計測手段）３１は、類似度判定分割手段２０の領域分割部２２で分割された２値化画像（文字領域抽出画像）で、文字領域と判定された領域（前記（１５）式でＢ（ｘ（ｒ））＝１となる領域）を構成する連結領域の画素数（領域の大きさ）を計測するものである。ここで計測された領域の大きさは領域変更部３２へ通知される。
【００９３】
領域変更部（領域変更手段）３２は、領域計測部３１で計測された文字領域となる連結領域の画素数（領域の大きさ）と、所定の閾値とを比較して、連結領域の画素数（大きさ）が閾値より小さい場合に、その連結領域で示される文字領域を背景領域に変更するものである。すなわち、領域変更部３２は、連結領域の画素数（大きさ）が閾値より小さい場合に、前記（１５）式で示した２値化画像内Ｂ（ｘ（ｒ））で、連結領域に含まれる座標ｒの画素について、Ｂ（ｘ（ｒ））＝０と変更する。
なお、この所定の閾値は、入力画像内で文字の概略の大きさが分かっている場合に、最小の文字の大きさ以下とする。すなわち、この所定の閾値は、入力画像の内容によって、予め設定しておくものである。
【００９４】
以上の構成によって、文字領域抽出装置１Ｂは、画像ノイズ等に起因して誤って文字領域と認識した領域を、背景領域に修正することができる。例えば、図２に示した文字色と同色の文字色ノイズＥ２を、背景領域に修正することができる。
【００９５】
【発明の効果】
以上説明したとおり、本発明に係る文字領域抽出装置、文字領域抽出方法及び文字領域抽出プログラムでは、以下に示す優れた効果を奏する。
【００９６】
請求項１、請求項２、請求項５又は請求項６に記載の発明によれば、任意の文字色及び背景色の組み合わせで構成されている入力画像を、文字領域及び背景領域に分割することで、入力画像から文字領域を抽出することができる。このとき、色情報を考慮して閾値を設定する必要がなく、文字色及び背景色の組み合わせが任意の組み合わせであっても、汎用的に文字領域を抽出することができる。
【００９７】
このように文字領域と背景領域とを分けて認識できるので、例えば、車両のナンバープレートから車両番号の領域を抽出したり、スポーツ選手のユニフォームから背番号の領域を抽出したり等の文字領域の抽出を行うことができる。また、文字色及び背景色の色の組み合わせが任意の組み合わせであっても、文字領域を抽出することができるので、例えば、車両のナンバープレートの色が異なっていたり、スポーツ選手のチームによってユニフォームの色が異なっていても、車両番号や背番号の領域を抽出することができる。
【００９８】
また、背景色及び文字色以外の色が混在していても、統計パラメータを用いることで、例えば重み係数によって、背景色及び文字色以外の色であると認識することができ、入力画像から精度よく文字領域を抽出することができる。
【００９９】
請求項３に記載の発明によれば、画像内に文字色と同じ色を持つ領域（ノイズ）が含まれていても、そのノイズを文字領域から削除することができ、入力画像から精度よく文字領域を抽出することができる。
【０１００】
請求項４に記載の発明によれば、統計パラメータとして、ガウス分布のパラメータを用いるため、従来のＥＭアルゴリズム等に基づいて、容易に統計パラメータを算出することができる。また、このガウス分布のパラメータによって、必要かつ充分に色分布を表現することができるため、文字領域を抽出するための演算量やメモリの消費を抑えることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る文字領域抽出装置の構成を示すブロック図である。
【図２】文字領域抽出装置に入力される、文字が描かれた画像の一例を示す図である。
【図３】入力画像を色空間上の混合モデルで表現した図である。
【図４】本発明の第一の実施の形態に係る文字領域抽出装置の動作を示すフローチャートである。
【図５】本発明の第二の実施の形態に係る文字領域抽出装置の構成を示すブロック図である。
【符号の説明】
１、１Ｂ  文字領域抽出装置
１０      統計パラメータ算出手段
１１      統計パラメータ生成部（パラメータ生成手段）
１２      統計パラメータ選択部
１２ａ    広がり指標算出部（広がり指標算出手段）
１２ｂ    パラメータ選択部（パラメータ選択手段）
２０      類似度判定分割手段
２１      類似度算出部（類似度算出手段）
２２      領域分割部（領域分割手段）
３０      ノイズ除去手段
３１      領域計測部（領域計測手段）
３２      領域変更部（領域変更手段）
【図１】
2005018176.tif 000019
【図２】
2005018176.tif 000020
【図３】
2005018176.tif 000021
【図４】
2005018176.tif 000022
【図５】
2005018176.tif 000023