(57)【特許請求の範囲】
【請求項１】
図形を読み取り認識して出力する図形読み取り装置であって、
カラー画像を入力する画像入力手段と、
カラー画像に含まれる主要色を抽出し、カラー画像から抽出された主要色毎の主要色画像に分解する主要色抽出手段と、
抽出された３次元空間上の主要色の各点を、変換式により平面へと投影する投影手段と、
２次元空間に投影された主要色間の距離の特長により、組み合わせる必要のない組み合わせを除去する候補絞り込み手段と、
絞り込まれた候補から画像を組み合わせて画像領域候補を作成する組合せ生成手段とを備えることを特徴とする図形読み取り装置。
【請求項２】
前記投影手段は、抽出された３次元空間上の主要色の各点を、投影手法を用いて以下の変換式により（Ｒ，Ｇ，Ｂ）＝（１，１，１）の方向からＲ＋Ｇ＋Ｂ＝０の平面へと投影することを特徴とする請求項１に記載の図形読み取り装置。
【数２】
0004394692.tif 000003
【請求項３】
前記投影手段は、光源の特徴により（Ｒ，Ｇ，Ｂ）＝（１，１，１）以外の方向の色情報の変化の方向に垂直な投影面を求め、その平面に投影することを特徴とする請求項１に記載の図形読み取り装置。
【請求項４】
前記候補絞り込み手段は、求めた投影面上での各主要色の点同士の距離を比較し、この距離が予め決められた閾値の範囲内である場合、その主要色同士の組合せを有効なものとし、この距離が閾値の範囲外である場合、その組合せを無効とすることを特徴とする請求項２又は３に記載の図形読み取り装置。
【請求項５】
図形を読み取り認識して出力する図形読み取り方法であって、
画像入力手段が、カラー画像を入力する画像入力ステップと、
主要色抽出手段が、カラー画像に含まれる主要色を抽出し、カラー画像から抽出された主要色毎の主要色画像に分解する主要色抽出ステップと、
投影手段が、抽出された３次元空間上の主要色の各点を、変換式により平面へと投影する投影ステップと、
候補絞り込み手段が、２次元空間に投影された主要色間の距離の特長により、組み合わせる必要のない組合せを除去する候補絞り込みステップと、
組合せ生成手段が、絞り込まれた候補から画像を組み合わせて画像領域候補を作成する組合せ生成ステップとを含むことを特徴とする図形読み取り方法。
【請求項６】
前記投影ステップでは、前記投影手段が、抽出された３次元空間上の主要色の各点を、投影手法を用いて以下の変換式により（Ｒ，Ｇ，Ｂ）＝（１，１，１）の方向からＲ＋Ｇ＋Ｂ＝０の平面へと投影することを特徴とする請求項５に記載の図形読み取り方法。
【数３】
0004394692.tif 000004
【請求項７】
前記投影ステップでは、前記投影手段が、光源の特徴により（Ｒ，Ｇ，Ｂ）＝（１，１，１）以外の方向の色情報の変化の方向に垂直な投影面を求め、その平面に投影することを特徴とする請求項５に記載の図形読み取り方法。
【請求項８】
前記候補絞り込みステップでは、前記候補絞り込み手段が、求めた投影面上での各主要色の点同士の距離を比較し、この距離が予め決められた閾値の範囲内である場合、その主要色同士の組合せを有効なものとし、この距離が閾値の範囲外である場合、その組合せを無効とすることを特徴とする請求項６又は７に記載の図形読み取り方法。
【請求項９】
図形を読み取り認識して出力する図形読み取りを実行するプログラムであって、
カラー画像を入力する画像入力ステップと、
カラー画像に含まれる主要色を抽出し、カラー画像から抽出された主要色毎の主要色画像に分解する主要色抽出ステップと、
抽出された３次元空間上の主要色の各点を、変換式により平面へと投影する投影ステップと、
２次元空間に投影された主要色間の距離の特長により、組み合わせる必要のない組み合わせを除去する候補絞り込みステップと、
絞り込まれた候補から画像を組み合わせて画像領域候補を作成する組合せ生成ステップとをコンピュータに実行させることを特徴とする図形読み取りプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像で示される文字等のパターン認識を行う図形読み取り装置に関する。
【背景技術】
【０００２】
従来、カラー画像で示される文字等の図形を認識する際に、照明条件等に影響を受けずに、認識する手法が存在した。この手法では、照明条件による影や劣化により塗装面が薄くなった等の影響により、認識対象の図形領域が分離してしまうことに対処するため、対象図形の主要色成分の組み合わせを用いることで対象図形を高精度に認識することを可能にしていた。【０００３】
図１は、従来の図形読み取りにおける照明条件等の影響の除去を図るシステムの一例を示す。この従来の図形読み取りシステムは、画像入力手段と、主要色抽出手段と、組合せ作成手段、図形領域抽出手段、図形認識手段とから構成されている。【０００４】
このような構成を有する従来のシステムはつぎのように動作する。画像入力手段から入力されたカラー画像について、主要色抽出手段が、カラー画像に含まれる色ヒストグラム中の局所的なピーク値に基づいて主要色を抽出し、カラー画像を抽出された主要色毎の主要色画像に分解する。組合せ作成手段は、分解された主要色画像を組み合わせて組合せ画像を生成する。図形領域抽出手段は、主要色画像及び組合せ画像から文字領域候補を抽出する。図形認識手段は、抽出されたすべての文字領域候補に対して文字認識処理を施し、文字認識処理結果の文字認識頻度によって最も良い文字の読み取り結果を得る。【０００５】
また、カラー画像で示される文字等のパターン認識において、ＲＧＢ色空間で主要色の中から当該主要色との距離がある閾値以下の主要色を選択するパターン認識装置がある（例えば、特許文献１参照）。
【特許文献１】特開２００３−１６４４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の手法では、対象図形から抽出されるすべての主要色成分の組み合わせを用いていたため、主要色が増加するにつれ処理時間が大幅に増加するという問題があった。【０００７】
すなわち、組合せ画像を生成する際に、効果的な組合せを決定することができなかったため、その後の図形領域抽出手段及び図形認識手段において、余分な候補に対しても処理を行う必要があったので、全体の処理速度を向上させることができていなかった。【０００８】
そこで本発明は、カラー画像による図形認識等において、認識精度を保ったまま、処理速度を大幅に向上させる図形読み取り装置及び方法並びにそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するため、本発明は、図形を読み取り認識して出力する図形読み取り装置であって、カラー画像を入力する画像入力手段と、カラー画像に含まれる主要色を抽出し、カラー画像から抽出された主要色毎の主要色画像に分解する主要色抽出手段と、抽出された３次元空間上の主要色の各点を、変換式により平面へと投影する投影手段と、２次元空間に投影された主要色間の距離の特長により、組み合わせる必要のない組み合わせを除去する候補絞り込み手段と、絞り込まれた候補から画像を組み合わせて画像領域候補を作成する組合せ生成手段とを備えることを特徴とする。【００１０】
以上の構成によって、余分な候補が生成されず、全体としての処理速度の向上を期待できる。また、照明条件などの影響を除く際に無効な組合せをなくすことができる。
【発明の効果】
【００１１】
本発明による第１の効果は照明条件や劣化により塗装面が薄くなった等の影響を受けるような図形認識処理において、効果的な候補領域の抽出が可能となる。【００１２】
第２の効果は、効果的な候補領域の抽出を行うことによって処理全体の精度を保ったまま高速化できることにある。
【図面の簡単な説明】
【００１３】
【図１】従来の図形読み取りシステムの一例を示す図である。
【図２】本発明による図形読み取り装置の概略構成とその処理手順を示す図である。
【図３】図形読み取り装置のハードウエア概略構成を示す図である。
【図４】色の３次元空間から平面への投影を示す図である。
【図５】実施例３による図形読み取り装置の概略構成とその処理手順を示す図である。
【符号の説明】
【００１４】
１０  画像入力装置
２０  データ処理装置
【発明を実施するための最良の形態】
【００１５】
次に、本発明の最良の形態について図面を参照して説明する。
【実施例１】
【００１６】
図２は、本発明による図形読み取り装置の概略構成とその処理手順を示す。本実施例は、カラー画像を取得することのできるデジタルカメラやスキャナ等の画像入力装置１０と、画像入力装置１０から入力されたカラー画像を処理可能なプログラム制御により動作するデータ処理装置（コンピュータ）２０とから構成されている。【００１７】
図３は、上記図形読み取り装置のハードウエア概略構成を示す。データ処理装置２０では、システムバス１１にＣＰＵ１２，ＲＯＭ１３，ＲＡＭ１４が接続され、さらに入出力インターフェース１５ａを介して、磁気ディスク装置１５が接続されている。ＣＰＵ１２は、キャッシュメモリを実装し、命令実行及び演算処理を行う。ＲＯＭ１３にはＢＩＯＳ(basic input/output system)等がファームウェアとして格納されている。ＲＡＭ１４は、主記憶であり、磁気ディスク装置１５から読み出したプログラム及びデータを記憶する。磁気ディスク装置１５には、オペレーティングシステム、アプリケーションプログラム等が格納され、本発明を実行するためのプログラム及び画像データ等も格納されている。【００１８】
システムバス１１には、入力インターフェース１０ａを介して画像入力装置１０と、表示インターフェース１６ａを介してディスプレイ１６と、出力インターフェース１７ａを介してプリンタ１７とが接続されている。さらにシステムバス１１は、通信インターフェース１８を介してネットワーク１９に接続され、他のサーバーや端末とデータ送受信を行う。【００１９】
データ処理装置２０は、制御プログラムにより、主要色成分抽出手段、投影手段、候補絞りこみ手段、組合せ画像生成手段として機能する。これらの手段はそれぞれ概略つぎのように動作する。【００２０】
主要色成分抽出手段は、カラー画像上から主要色成分を抽出する。投影手段は、日照条件などにより分離された領域の色成分が、色の３次元空間上にて分離する方向を推測し、およそその分離した方向に垂直となる平面に対して、各色成分の投影像を生成する。例えばＲＧＢ空間でいえば日照条件等による影響の際、およそ（Ｒ，Ｇ，Ｂ）＝（１，１，１）ベクトルの方向にシフトするという特徴があるため、（Ｒ，Ｇ，Ｂ）＝（１，１，１）の方向から、Ｒ＋Ｇ＋Ｂ＝０の平面に投影した色成分の投影像を求める。候補絞りこみ手段は、投影された色成分の各点同士を比較し、予め実験によって求められた閾値を用いて、候補の組合せを絞り込む。組合せ画像生成手段は、主要色を決定して絞り込まれた候補から組合せ画像を生成する。【００２１】
次に図２のフローチャートを参照して本実施例の動作について説明する。まず、画像入力装置１０から入力された画像は、カラー画像としてデータ処理装置２０に入力される（ステップＳ１）。データ処理装置２０内では、入力されたカラー画像に対して、主要色成分抽出手段により色情報に含まれる色ヒストグラム中の局所的なピーク値に基づいて主要色を抽出し、カラー画像を抽出された主要色毎の主要色画像に分解する（ステップＳ２）。次にステップＳ２にて抽出された３次元空間上の主要色の各点を、以下の変換式により、図４に示すように（Ｒ，Ｇ，Ｂ）＝（１，１，１）の方向からＲ＋Ｇ＋Ｂ＝０の平面へと投影する（ステップＳ３）。【００２２】
【数１】
0004394692.tif 000002
上記式で、右辺の（ｘ’ ｙ’ ｚ’ １）は変換前の座標を表し、左辺の（ｘ ｙ ｚ １）は変換後の座標を表す。【００２３】
さらに、ステップＳ３にて求めた投影面上での各主要色の点同士の距離を比較し、この距離が予め実験によって求められた閾値の範囲内である場合、その主要色同士の組合せを有効なものとする。この距離が閾値の範囲外であった場合、その組合せは無効とする（ステップＳ４）。これにより、画像領域の候補の組み合わせが決定される（ステップＳ５，Ｓ６）。ついで、決定された画像領域に対して、抽出目的以外の部分を除くノイズ除去処理を行う（ステップＳ７）。最後に、図形認識処理により目的の対象物を認識する（ステップ８）。【００２４】
次に、実施例１の効果について説明する。本実施例では、組合せ画像の決定の際に、意味のない余分な組合せを除去し、照明条件や劣化により塗装面が薄くなった等の影響により分離された文字領域などの有効な領域のみを組み合わせることが可能となるため、候補領域の数を減らすことが可能となる。このため、それ以降の、ノイズ除去処理、認識処理において、認識精度を保ったまま処理速度を向上させることが期待できる。【００２５】
また、本実施例では、意味のない余分な組合せが除去されているため、最終的に余分な結果が出力されなくなり、最終結果の選別処理にも効果がある。
【実施例２】
【００２６】
次に本発明の実施例２について説明する。本実施例による図形読み取り装置の概略構成とその装置内の処理手順は、図２に示す実施例１と同様である。【００２７】
本実施例では、上記実施例１に対し、投影手段の投影機能が異なる。まず主要色成分抽出手段が、カラー画像上から主要色成分を抽出する。投影手段は、対象画像に対して、特定の光源などを当てた場合などにおいても、その光源の色の示す方向から、その方向に垂直な平面に対して投影像を生成する。候補絞りこみ手段は、投影された色成分の各点同士を比較し、予め実験によって求められた閾値を用いて、候補の組合せを絞り込む。組合せ画像生成手段は、主要色を決定して絞り込まれた候補から組合せ画像を生成する。【００２８】
次に図２のフローチャートを参照して本実施例の動作について説明する。まず、画像入力装置１０から入力された画像は、カラー画像としてデータ処理装置２０に入力される（ステップＳ１）。データ処理装置２０内では、入力されたカラー画像に対して、主要色成分抽出手段により色情報に含まれる色ヒストグラム中の局所的なピーク値に基づいて主要色を抽出し、カラー画像を抽出された主要色毎の主要色画像に分解する（ステップＳ２）。【００２９】
次にステップＳ２にて抽出された３次元空間上の主要色の各点を平面に投影するが、カラー光源など特定の光源による影響を受けた対象物は、光源の特徴により（Ｒ，Ｇ，Ｂ）＝（１，１，１）以外の特定の方向にも色情報が変化することが考えられる。その変化の特徴により、投影面（変化の方向に垂直）を求め、その平面に投影する（ステップＳ３）。さらに、ステップＳ３にて求めた投影面上での各主要色の点同士の距離を比較し、この距離が予め実験によって求められた閾値の範囲内である場合、その主要色同士の組合せを有効なものとする。この距離が閾値の範囲外であった場合、その組合せは無効とする（ステップＳ４）。これにより、画像領域の候補の組み合わせが決定される（ステップＳ５，Ｓ６）。ついで、決定された画像領域に対して、抽出目的以外の部分を除くノイズ除去処理を行う（ステップＳ７）。最後に、図形認識処理により目的の対象物を認識する（ステップ８）。【００３０】
本実施例では、カラー光源など特定の光源による影響を受けた対象物に対し、その光源の色の示す方向から、その方向に垂直な平面に対して投影像を生成できる。
【実施例３】
【００３１】
次に本発明の実施例３について説明する。本実施例は、実施例１の投影手段と実施例２の投影手段とを選択して実行できる。図５は、本実施例による図形読み取り装置の概略構成とその処理手順を示す。【００３２】
データ処理装置２０は、制御プログラムにより、主要色成分抽出手段、投影手段Ａ（実施例１の投影手段）又は投影手段Ｂ（実施例２の投影手段）、候補絞りこみ手段、組合せ画像生成手段として機能する。本実施例では、投影手段Ａもしくは投影手段Ｂを用いて投影した各主要色成分の各点間の距離を用いて組合せを行うことで候補領域を生成する。【００３３】
まず主要色成分抽出手段１４によりカラー画像上から主要色成分を抽出する。投影手段Ａもしくは投影手段Ｂにより３次元空間から２次元空間に投影された主要色成分の各距離を予め実験によって求められた閾値により判定して絞り込み、主要色成分の複数パターンの組合せ画像（２つの組み合わせ、３つの組み合わせ、ｎ個の組み合わせ）を生成する。【００３４】
次に図５のフローチャートを参照して本実施例の動作について説明する。まず、画像入力装置１０から入力された画像は、カラー画像としてデータ処理装置２０に入力される（ステップＳ１１）。データ処理装置２０内では、入力されたカラー画像に対して、主要色成分抽出手段により色情報に含まれる色ヒストグラム中の局所的なピーク値に基づいて主要色を抽出し、カラー画像を抽出された主要色毎の主要色画像に分解する（ステップＳ１２）。【００３５】
次にステップＳ２にて抽出された３次元空間上の主要色の各点を、投影手段Ａもしくは投影手段Ｂを用いて平面に投影する（ステップＳ１３又はＳ１４）。さらに、ステップＳ１３又はＳ１４にて求めた投影面上での各主要色のｎ個の点同士（２つの組み合わせ、３つの組み合わせ、ｎ個の組み合わせ）の距離を比較し、この距離が予め実験によって求められた閾値の範囲内である場合、その主要色同士の組合せを有効なものとする。この距離が閾値の範囲外であった場合、その組合せは無効とする（ステップＳ１５）。これにより、画像領域の候補の組み合わせが決定される（ステップＳ１６，Ｓ１７）。ついで、決定された画像領域に対して、抽出目的以外の部分を除くノイズ除去処理を行う（ステップＳ１８）。最後に、図形認識処理により目的の対象物を認識する（ステップＳ１９）。【００３６】
次に、実施例３の効果について説明する。本実施例では、複数パターンの組合せを用いることで、対象領域が複数の領域に分割した場合にも対応できるが、複数パターンを組み合わせることでより処理時間に負荷がかかる。しかしながらこのような状況下においても組合せ画像の決定の際に、意味のない余分な組合せを除去し、照明条件や劣化により塗装面が薄くなった等の影響より複数の領域に分離された文字領域などの有効な領域のみを組み合わせることが可能となるため、候補領域の数を減らすことが可能となる。このため、それ以降の、ノイズ除去処理、認識処理において、認識精度を保ったまま処理速度を向上させることが期待できる。
【産業上の利用可能性】
【００３７】
本発明による図形読み取り装置は、カラー画像を利用した認識処理において、照明条件等の影響を受けるなど、色成分の組み合わせの処理が必要となった場合になどの用途に適用できる。また、対象物が複数の色領域を持った物体の認識にも適用可能である。
【図１】
0004394692.tif 000005
【図２】
0004394692.tif 000006
【図３】
0004394692.tif 000007
【図４】
0004394692.tif 000008
【図５】
0004394692.tif 000009