(57)【要約】【目的】デジタル画像の中から文字及び／又は図形を効率よく抽出する。【構成】図４に示すように、デジタル画像１１１が一般的なカラー画像である場合、視覚装置２は、多色分類手段１１を用いて、このデジタル画像１１１を少なくとも５色、すなわち白色、黒色、赤色、緑色及び灰色に分類し、多色画像を生成することができる。これにより、この視覚装置２は、このデジタル画像１１１の１画素を３ビットに圧縮することができる。また、図５に示すように、この視覚装置２は、文字／図形選択手段１２を用いてこの多色画像から文字及び／又は図形と、これらの輪郭と、を抽出し、さらにテクスチャ除去手段１３を用いてテクスチャを除去する。これにより、この視覚装置２は、このデジタル画像１１１中の文字及び／又は図形を効率よく抽出することができる。【選択図】        図５
2004328549.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１個のデータ処理装置を含む視覚装置であって、
前記データ処理装置が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、
前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、
を特徴とし、
前記データ処理装置が、補色関係に基づいて、入力したデジタル画像の各画素を灰色を含む少なくとも５色に分類することにより、前記デジタル画像から少なくとも前記５色で表される多色画像を生成する多色分類手段を備えることにより、前記デジタル画像の各画素を少なくとも３ビットの帯域画素値に圧縮することを特徴とする視覚装置。
【請求項２】
少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、
前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、
を特徴とし、
前記データ処理装置が、
補色関係に基づいて、入力したデジタル画像の各画素を灰色を含む少なくとも５色に分類することにより、前記デジタル画像から少なくとも前記５色で表される多色画像を生成する多色分類手段と、
前記多色画像の各画素の少なくとも１色に対して、所定の近傍内にある所定の帯域画素値の個数が所定の範囲内にある画素だけを選択することにより、前記多色画像を粗文字／図形画像に変換する文字／図形選択手段と、
前記粗文字／図形画像の各画素の少なくとも１色に対して、所定の近傍内にある所定の帯域画素値の個数が所定の範囲内にある画素だけを除去することにより、前記粗文字／図形画像を文字／図形画像に変換するテクスチャ除去手段と、
を備えることにより、前記文字／図形画像の各画素を少なくとも３ビットの帯域画素値に圧縮することを特徴とする視覚装置。
【請求項３】
請求項２記載の視覚装置において、
前記データ処理装置が精細化手段を備え、
前記精細化手段が、
前記文字／図形画像の各画素を構成する複数の前記帯域画素値が前記文字／図形を表す場合、精細文字／図形画像において対応する前記帯域画素値の各々を前記デジタル画像において対応する前記帯域画素値に設定するステップと、
前記文字／図形画像の各画素を構成する複数の前記帯域画素値が前記灰色を表す場合、前記精細文字／図形画像において対応する前記帯域画素値の各々を所定の灰色を表す前記帯域画素値に設定するステップと、
を用いることを特徴とする視覚装置。
【請求項４】
二次元格子状に配列された複数の配列演算ユニットから構成される少なくとも１個のデータ処理装置を含む視覚装置であって、
前記データ処理装置の各々が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、
前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、
各々の前記配列演算ユニットが、少なくとも１個の前記プロセッサを用いて、少なくとも１個の前記帯域画素値を処理することと、
を特徴とし、
各々の前記配列演算ユニットにおいて、
前記配列演算ユニットを初期化する手段と、
入力すべきデジタル画像の帯域画素値がなければ処理を終了する手段と、
前記デジタル画像の少なくとも１個の前記帯域画素値を入力する手段と、
前記デジタル画像の各画素を平滑するために、前記デジタル画像の複数の前記帯域画素値を平滑画像の少なくとも１個の帯域画素値に変換する手段と、
前記平滑画像の各画素を強調するために、前記平滑画像の複数の前記帯域画素値を強調画像の少なくとも１個の帯域画素値に変換する手段と、
前記強調画像の各画素を少なくとも５色に分類するために、前記強調画像の少なくとも１個の前記帯域画素値から色分類画像の少なくとも１個の帯域画素値を生成する手段と、
前記色分類画像の各画素から孤立点及び孤立孔を除去するために、前記色分類画像の複数の前記帯域画素値を多色画像の少なくとも１個の帯域画素値に変換する手段と、
前記多色画像の各々の前記帯域画素値を出力する手段と、
を備えたことを特徴とする視覚装置。
【請求項５】
二次元格子状に配列された複数の配列演算ユニットから構成される少なくとも１個のデータ処理装置を含む視覚装置であって、
前記データ処理装置の各々が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、
前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、
各々の前記配列演算ユニットが、少なくとも１個の前記プロセッサを用いて、少なくとも１個の前記帯域画素値を処理することと、
を特徴とし、
各々の前記配列演算ユニットにおいて、
前記配列演算ユニットを初期化する手段と、
入力すべきデジタル画像の帯域画素値がなければ処理を終了する手段と、
前記デジタル画像の少なくとも１個の前記帯域画素値を入力する手段と、
前記デジタル画像の各画素を平滑するために、前記デジタル画像の複数の前記帯域画素値を平滑画像の少なくとも１個の帯域画素値に変換する手段と、
前記平滑画像の各画素を強調するために、前記平滑画像の複数の前記帯域画素値を強調画像の少なくとも１個の帯域画素値に変換する手段と、
前記強調画像の各画素を少なくとも５色に分類するために、前記強調画像の少なくとも１個の前記帯域画素値から色分類画像の少なくとも１個の帯域画素値を生成する手段と、
前記色分類画像の各画素から孤立点及び孤立孔を除去するために、前記色分類画像の複数の前記帯域画素値を多色画像の少なくとも１個の帯域画素値に変換する手段と、
前記多色画像から文字及び図形を選択するために、前記多色画像の複数の前記帯域画素値を粗文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、
前記粗文字／図形画像からテクスチャを除去するために、前記粗文字／図形画像の複数の前記帯域画素値を文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、
前記文字／図形画像の各々の前記帯域画素値を出力する手段と、
を備えたことを特徴とする視覚装置。
【請求項６】
請求項５記載の視覚装置において、
前記デジタル画像を用いて前記文字／図形画像を精細化し、精細文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、
前記文字／図形画像の各々の前記帯域画素値の代りに、前記精細文字／図形画像の各々の前記帯域画素値を出力する手段と、
備えたことを特徴とする視覚装置。
【請求項７】
請求項１〜５のうちのいずれか１項に記載の視覚装置と、
前記デジタル画像を撮影する撮影装置又は前記デジタル画像を描画する描画装置と、
画像圧縮手段及び画像通信手段を含む通信装置と、
を含む通信システムであって、
前記視覚装置が出力した、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に対して、
前記画像圧縮手段が、複数の前記灰色の前記帯域画素値を一纏めに圧縮して圧縮画像データを生成することと、
前記画像通信手段が、前記圧縮画像データを通信ネットワークに送信することと、
を特徴とする通信システム。
【請求項８】
請求項７記載の通信システムと、
データベースを含む少なくとも１個のコンピュータシステムと、
前記通信システムと前記コンピュータシステムを接続する通信ネットワークと、を含む文字／図形探索システムであって、
前記コンピュータシステムの各々が、
前記通信システムから前記圧縮画像データを受信する画像受信手段と、
受信した前記圧縮画像データを前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に伸張する画像伸張手段と、
前記多色画像、前記文字／図形画像又は前記精細文字／図形画像から少なくとも１個の前記文字／図形を含む領域を検出する文字／図形領域検出手段と、
前記領域から前記データベースのキー画像を生成するキー画像生成手段と、
前記キー画像を、前記データベースに蓄えられた記録画像データと比較する画像検出手段と、
を含むことにより、前記領域に対する検出結果を生成することを特徴とする文字／図形探索システム。
【請求項９】
請求項８記載の文字／図形探索システムにおいて、
少なくとも１個の前記コンピュータシステムが、画像送信手段を用いて、前記領域に対する前記検出結果又は前記領域の位置情報を前記通信装置に送信することと、
前記通信装置がディスプレイ又はスピーカを含むことと、
により、前記通信装置が前記ディスプレイ又は前記スピーカを用いて前記検索結果又は前記位置情報を出力することを特徴とする文字／図形探索システム。
【請求項１０】
請求項８記載の文字／図形探索システムにおいて、
少なくとも１個の前記コンピュータシステムが、画像送信手段を用いて、前記記録画像データに関連付けられた検索結果文字列又は検索結果画像を前記通信装置に送信することと、
前記通信装置がディスプレイ又はスピーカを含むことと、
により、前記通信装置が前記ディスプレイ又は前記スピーカを用いて前記検索結果文字列又は前記検索結果画像を出力することを特徴とする文字／図形探索システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術の分野】
本発明は、画像中の複数の文字又は図形を抽出する視覚装置に関し、詳しくは、ビデオカメラ及びスキャナなどの撮影装置で撮影された二値画像、濃淡画像、三原色波長、可視光波長、赤外線波長、紫外線波長、その他全ての電磁波のうち任意の帯域から構成される画像などの静止画像中の複数の文字又は図形と、それらの輪郭の色から多色画像を生成し、各々の色の画像に対して文字又は図形を抽出するものに関する。
【０００２】
【従来の技術】
これまで本発明者のうちの一人により、視覚装置が開発されてきた（例えば、特許文献１、２及び３参照。）。この視覚装置はデジタル技術によって人間の視覚機能を具現化したものであり、例えば顕微鏡によって撮影された画像中の微生物の数を数えたり、また、移動カメラのパン、チルト、ロール及びズームの機構を制御することにより、複数の物体を探索し、これらの物体に対して画像処理を行うことができる。この視覚装置が行うこの画像処理の大半が局所処理であり、しかもこれらの局所処理は二次元格子状に配列された複数の配列演算ユニットによって並列に実行される。この視覚装置は、パーソナルコンピュータのようなコンピュータシステム、複数のプロセッサを搭載した並列計算機及びこれらを１個のＬＳＩ（大規模集積回路）に搭載したシステムＬＳＩなどによって実現され得るが、さらに複数の仮想配列演算ユニットから構成される専用回路が用いられるならば、この視覚装置はこれらの局所並列画像処理を高速に実行することができる（特許文献２、３及び非特許文献１参照。）。
【０００３】
一方で、これまでに多くの研究者が画像中の文字を抽出する方法を開発してきた（例えば、非特許文献２、３、４、５及び６参照。）。これらの方法の多くが濃淡画像を対象としたものである。また、これらの方法がカラー画像を処理できる場合でも、これらの方法は、３個の濃淡画像に分解した後に各々の濃淡画像に対して文字を抽出するので、これらの方法は基本的に濃淡画像に対する文字抽出法である（例えば、非特許文献２参照。）。加えて、これらの方法の多くがフーリエ変換、ハフ変換及びヒストグラムの計算を行う（例えば、非特許文献３、４及び６参照。）。したがって、例え処理領域を区切ったとしても、これらの方法はこの処理領域の中で大域処理を行わなければならないので、基本的に並列性が低くなり、結果として処理速度が遅くなる。
【０００４】
ところで、局所並列画像処理はこのような問題を解決することができる。例えば、８近傍しか参照しない位置及び大きさ検出アルゴリズム（以下、位置／大きさ検出アルゴリズムと略記する。例えば、特許文献１参照。）が出力する重複情報が一定の範囲内にある場合、この重複情報が文字の位置のヒントになる。そこで、８個以下の画素を参照する関数のみから構成される局所並列画像処理アルゴリズムでも情景画像から文字を抽出することができ、しかも比較的高い抽出率を達成することができる。しかしながら、このアルゴリズムには以下のような３つの問題がある。第一に、このアルゴリズムはカラー画像を黒文字画像と白文字画像にしか変換しないので、他の色を処理することが極めて困難である。そのため、このアルゴリズムは、このカラー画像の赤帯域だけにバイアスを加えることにより、赤色を黒色か白色のいずれかとして際立たせている。第二に、例えこの重複情報がこの一定の範囲内にあるとしても、この重複情報は必ずしも文字の位置を指し示すとは限らない。多くの場合、塗り潰された領域の中にも同様の重複情報が生成されるため、予めこの塗り潰された領域に含まれる重複情報が除去された後に、このアルゴリズムは残りの重複情報を用いて文字の判定を行わなければならない。第三に、このアルゴリズムは８近傍以下の処理のみを用いているので、この情景画像が大きくなればなるほど計算量も増加する。特にこの塗り潰された領域を除外する場合、このアルゴリズムは８近傍処理を多数回繰り返さなければならない。
【０００５】
ここで、人間の視覚について調べると、補色関係を有効に利用していることが判る（例えば、非特許文献７参照。）。この補色関係は、人間の視覚において見られる特徴であり、色相環において向い合う色の組み合せである。例えば、赤色と緑色は補色関係にあり、同じ画素において同時に見えることはない。同様に黄色と青色も補色関係にある。但し、人間の視覚では、黄色と青色の影響力は白色、黒色、赤色及び緑色に比べて弱く、例えば白地に黄色の文字や黒地に青色の文字は大変見辛い。したがって、黄色は白色に、青色は黒色に近いと見做すことができるが、このことは、心理学のみならず網膜の構造からも裏付けられている。
【０００６】
加えて、上述の白色及び黒色自体も相対的な明るさを表し、ある画素が同じ明るさであっても、その周辺が暗ければこの画素は白色に見え、その周辺が明るければこの画素は黒色に見える。つまり灰色というどの色にも属さない周辺の明るさを基準とした相対的な明るさが人間にとっての白色及び黒色となる。何故なら、太陽光の下など明るさが常時変化する環境において人間が生活する場合、このような相対的な明るさを利用することは大変便利であるからである。但し、神経生理学の分野において、この灰色を決定する具体的な網膜の仕組みは未だ解明されていないばかりか、網膜から神経節細胞を介して一次視覚野に送信する画像データを圧縮するのに、この灰色が重要な役割を果たしていることに、多くの研究者は気付いていない（例えば、非特許文献８参照。）。また、網膜には多くの種類のアマクリン細胞があり、これらのアマクリン細胞は双極細胞及び神経節細胞と複雑なネットワークを形成しているにも係わらず、これらのアマクリン細胞に対しては、ＬＳＩの分野においても動き検出にのみ注目が集まっている（例えば、非特許文献９及び１０参照。）。
【０００７】
実は人間が文字又は図形を書く場合、これらの文字及び図形を見易くするために、無意識にこの補色関係を利用している。そこで第一の問題に対しては、この補色関係を有効に用いれば、これらの文字及び図形の位置を容易に見付けることができるばかりか、少ない情報量でこれらの文字及び図形の色を的確に表すこともできる。しかも塗り潰された領域は色の変化がないために灰色と見做され得る。そこで上述の情景画像からこの灰色の部分を除くことにより、この補色関係は第二の問題に対しても有効である。
【０００８】
さて、第三の問題に対しては、位置／大きさ検出アルゴリズムを使う代りに任意の近傍を直接参照して総和を求める関数を用いる。特に、文字及び図形が一般に線分、円弧及び自由曲線を含む少なくとも１個の線によって構成されているので、この近傍に対する近傍長はこれらの線の最大幅を越える必要はない。したがって、総和を求めるこの関数も局所関数になる。これにより、視覚装置は計算量を大幅に削減することができる。なお、以下では、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。
【０００９】
これらのことを考慮すると、視覚装置が入力画像を少なくとも白色、黒色、赤色、緑色及び灰色の５色に分類し、各々の色毎に、総和を求める局所関数を用いて文字又は図形を選択することにより、この視覚装置はこれらの文字及び図形を抽出することができるばかりか、これらの文字及び図形の色を的確に表すことができると期待される。しかも多くの関数が８近傍以下を参照する関数であるので、この視覚装置は少ないハードウェア量と計算量でこれらの文字及び図形を抽出することができると期待される。
【００１０】
【特許文献１】
国際公開番号ＷＯ００／１６２５９号パンフレット
【特許文献２】
国際公開番号ＷＯ０１／４１４４８号パンフレット
【特許文献３】
国際公開番号ＷＯ０２／７３５３８号パンフレット
【非特許文献１】
福田静人，味岡義明，天野英晴，「位置／大きさ検出装置のＦＰＧＡへの実装」，第１０回エフピージーエー／ピーエルディー・デザイン・コンファレンス（ＦＰＧＡ／ＰＬＤ  Ｄｅｓｉｇｎ  Ｃｏｎｆｅｒｅｎｃｅ）論文集，エレクトロニック・デザイン・アンド・ソリューション・フェア（Ｅｌｅｃｔｒｏｎｉｃ          Ｄｅｓｉｇｎ  ａｎｄ  Ｓｏｌｕｔｉｏｎ  Ｆａｉｒ）２００３，２００３年１月３０日，ｐ．１１５−１２２
【非特許文献２】
顧力栩，田中直樹，金子豊久，Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，「表紙画像からの文字領域抽出方式」，電子情報通信学会論文誌，１９９７年１０月，第Ｊ８０−Ｄ−ＩＩ巻，第１０号，ｐ．２６９６−２７０４
【非特許文献３】
劉詠梅，山村毅，大西昇，杉江昇，「シーン内の文字列領域の抽出について」，電子情報通信学会論文誌，１９９８年４月，第Ｊ８１−Ｄ−ＩＩ巻，第４号，ｐ．６４１−６５０
【非特許文献４】
後藤英昭，平山理継，阿曽弘具，「局所多値しきい値処理による濃淡文書画像からの文字パターンの抽出」，電子情報通信学会論文誌，１９９９年１１月，第Ｊ８２−Ｄ−ＩＩ巻，第１１号，ｐ．２１８８−２１９２
【非特許文献５】
金大祐，高橋裕樹，中嶋正之，「情景画像からのハングル文字列領域抽出と字素識別」，電子情報通信学会技術報告，２００２年５月，第ＰＲＭＵ−２００２−１８号，第ＭＩ２００２−３４号，ｐ．６５−７０
【非特許文献６】
松尾賢一，上田勝彦，梅田三千雄，「局所対象領域の２値化による情景画像からの文字列領域抽出」，電気学会論文誌，２００２年２月，第１２２−Ｃ巻，第２号，ｐ．２３２−２４１
【非特許文献７】
池田光男著，「眼はなにをみているか−視覚系の情報処理」，第１版，平凡社，１９８８年８月２２日，ｐ．１８３−２７６
【非特許文献８】
ヘルガ・コルブ（Ｈｅｌｇａ  Ｋｏｌｂ），エドアルド・フェルナンデス（Ｅｄｕａｒｄｏ          Ｆｅｒｎａｎｄｅｚ），ラルフ・ネルソン（Ｒａｌｐｈ  Ｎｅｌｓｏｎ）編，「ウェブビジョン          （ＷＥＢＶＩＳＩＯＮ）」，（米国），［ｏｎｌｉｎｅ］，２００３年，ジョン・Ａ・モラン・アイ・センター（Ｊｏｈｎ  Ａ．  Ｍｏｒａｎ  Ｅｙｅ  Ｃｅｎｔｅｒ），ユタ大学          （Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｕｔａｈ），［２００３年４月１４日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｅｂｖｉｓｉｏｎ．ｍｅｄ．ｕｔａｈ．ｅｄｕ＞
【非特許文献９】
Ｋ．ボアヘン（Ｋ．Ｂｏａｈｅｎ），「レチノモルフィック・チップ・ザット・シー・クアドラプル・イメージ（Ｒｅｔｉｎｏｍｏｒｐｈｉｃ  Ｃｈｉｐｓ  ｔｈａｔ  ｓｅｅ          Ｑｕａｄｒｕｐｌｅ  Ｉｍａｇｅｓ），（米国），第７回ニューラル，ファジーとバイオインスパイアード・システムのためのマイクロエレクトロニクスに関する国際会議予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｓｅｖｅｎｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ          Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ  ｆｏｒ  Ｎｅｕｒａｌ，  Ｆｕｚｚｙ，  ａｎｄ  Ｂｉｏ−          Ｉｎｓｐｉｒｅｄ  Ｓｙｓｔｅｍｓ），アイトリプルイー（ＩＥＥＥ），１９９９年，ｐ．１２−２０
【非特許文献１０】
山田仁，宮下貴重，大谷真弘，米津宏雄，「内網膜機能に学んだ動き情報の生成とその電子回路化」，デンソーテクニカルレビュー，株式会社デンソー，２０００年，第５巻，第２号，ｐ．１０１−１０６
【００１１】
【発明が解決しようとする課題】
そこで、請求項記載の本発明は、色の補色関係を用いて、画像から少なくとも１個の文字及び図形を抽出することにより、少ないハードウェア量及び計算量でこれらの文字及び図形の位置又は色を同時に抽出することを目的とする。
【００１２】
【課題を解決するための手段及び発明の効果】
請求項１の発明は、少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、を特徴とし、前記データ処理装置が、補色関係に基づいて、入力したデジタル画像の各画素を灰色を含む少なくとも５色に分類することにより、前記デジタル画像から少なくとも前記５色で表される多色画像を生成する多色分類手段を備えることにより、前記デジタル画像の各画素を少なくとも３ビットの帯域画素値に圧縮することを特徴とする視覚装置である。本発明において、前記多色分類手段は二次元格子状に配列された複数の配列演算ユニットによって実現される。したがって、前記視覚装置が行う画像処理は局所並列画像処理である。前記多色分類手段では、前記デジタル画像の各画素の複数の前記帯域画素値で表される色を、白色、黒色及び色相環において向い合う少なくとも１対の色を含む少なくとも４色に分類する手段（又はステップ）と、前記白色と前記黒色の差分を計算する手段（又はステップ）と、向い合う少なくとも前記１対の色から差分を計算する手段（又はステップ）と、前記白色と前記黒色の前記差分と、向い合う少なくとも前記１対の色の前記差分と、から灰色を分類する手段（又はステップ）と、を用いて、少なくとも前記５色を含む前記多色画像に変換することが好ましい。なお、前記デジタル画像がカラー画像である場合、向い合う少なくとも１対の色として、一般に赤色及び緑色が用いられることが好ましい。また、特に断りがない限り、黄色及び青色はそれぞれ前記白色及び前記黒色と見做される。そこでこれら５色を表すためには少なくとも３ビットあれば良いので、前記視覚装置は、前記デジタル画像を、少なくとも３ビットの前記帯域画素値から構成される画像に圧縮することができる。しかも圧縮された前記帯域画素値の多くが前記灰色となるので、これらの前記帯域画素値に対する圧縮も容易である。本発明は、前記デジタル画像を圧縮することができるので、前記デジタル画像の圧縮に関する諸問題が好適に解決される。
【００１３】
請求項２の発明は、少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、を特徴とし、前記データ処理装置が、補色関係に基づいて、入力したデジタル画像の各画素を灰色を含む少なくとも５色に分類することにより、前記デジタル画像から少なくとも前記５色で表される多色画像を生成する多色分類手段と、前記多色画像の各画素の少なくとも１色に対して、所定の近傍内にある所定の帯域画素値の個数が所定の範囲内にある画素だけを選択することにより、前記多色画像を粗文字／図形画像に変換する文字／図形選択手段と、前記粗文字／図形画像の各画素の少なくとも１色に対して、所定の近傍内にある所定の帯域画素値の個数が所定の範囲内にある画素だけを除去することにより、前記粗文字／図形画像を文字／図形画像に変換するテクスチャ除去手段と、を備えることにより、前記文字／図形画像の各画素を少なくとも３ビットの帯域画素値に圧縮することを特徴とする視覚装置である。本発明において、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。そこで本発明では、前記デジタル画像中のこれらの文字及び／又は図形（以下、文字／図形と略記する。）を抽出し、前記文字／図形画像を生成する。本発明において、全ての手段は二次元格子状に配列された複数の配列演算ユニットによって実現される。したがって、前記視覚装置が行う画像処理は局所並列画像処理である。前記多色分類手段では、前記デジタル画像の各画素の複数の前記帯域画素値で表される色を、白色、黒色及び色相環において向い合う少なくとも１対の色を含む少なくとも４色に分類する手段（又はステップ）と、前記白色と前記黒色の差分を計算する手段（又はステップ）と、向い合う少なくとも前記１対の色から差分を計算する手段（又はステップ）と、前記白色と前記黒色の前記差分と、向い合う少なくとも前記１対の色の前記差分と、から灰色を分類する手段（又はステップ）と、を用いて、少なくとも前記５色を含む前記多色画像に変換することが好ましい。なお、前記デジタル画像がカラー画像である場合、向い合う少なくとも１対の色として、一般に赤色及び緑色が用いられる。また、特に断りがない限り、黄色及び青色はそれぞれ前記白色及び前記黒色と見做される。そこでこれら５色を表すためには少なくとも３ビットあれば良いので、前記視覚装置は、前記デジタル画像を、少なくとも３ビットの前記帯域画素値から構成される画像に圧縮することができる。しかも圧縮された前記帯域画素値の多くが前記灰色となるので、これらの前記帯域画素値に対する圧縮も容易である。前記文字／図形選択手段では、前記多色画像の各画素の少なくとも１色に対して、前記所定の近傍内にある前記所定の帯域画素値を集める手段（又はステップ）と、集まった前記帯域画素値の個数が前記所定の範囲内にある前記画素だけを選択する手段（又はステップ）と、を用いて、前記多色画像を粗文字／図形画像に変換する。もし前記所定の帯域画素値の前記個数が前記所定の範囲内にあれば、前記多色画像の前記画素の前記色の帯域画素値を前記文字／図形と見做し、前記粗文字／図形画像の帯域画素値とする。もし前記所定の帯域画素値の前記個数が前記所定の範囲内になければ、前記帯域画素値を前記灰色と見做し、前記粗文字／図形画像の帯域画素値とする。前記テクスチャ除去手段では、前記粗文字／図形画像の各画素の少なくとも１色に対して、エッジ情報に対応する帯域画素値を生成する手段（又はステップ）と、所定の近傍内にある所定の帯域画素値を集める手段（又はステップ）と、集まった前記帯域画素値の個数が所定の範囲内にある画素だけを除去する手段（又はステップ）と、を用いて、前記粗文字／図形画像を文字／図形画像に変換することが好ましい。もし前記所定の帯域画素値の前記個数が前記所定の範囲内になければ、前記粗文字／図形画像の前記画素の前記色の帯域画素値をテクスチャではないと見做し、前記文字／図形画像の帯域画素値とする。もし前記エッジ情報の数が前記所定の範囲内にあれば、前記粗文字／図形画像の前記帯域画素値を前記灰色と見做し、前記文字／図形画像の帯域画素値とする。本発明は、前記デジタル画像中の前記文字／図形の色を的確に表したまま、前記デジタル画像中の前記文字／図形を抽出することができるので、前記文字／図形の抽出に関する諸問題が好適に解決される。
【００１４】
請求項３の発明は、請求項２記載の視覚装置において、前記データ処理装置が精細化手段を備え、前記精細化手段が、前記文字／図形画像の各画素を構成する複数の前記帯域画素値が前記文字／図形を表す場合、精細文字／図形画像において対応する前記帯域画素値の各々を前記デジタル画像において対応する前記帯域画素値に設定する手段（又はステップ）と、前記文字／図形画像の各画素を構成する複数の前記帯域画素値が前記灰色を表す場合、前記精細文字／図形画像において対応する前記帯域画素値の各々を所定の灰色を表す前記帯域画素値に設定する手段（又はステップ）と、を用いることを特徴とする視覚装置である。本発明において、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。そこで本発明では、前記デジタル画像中のこれらの文字及び／又は図形（以下、文字／図形と略記する。）を抽出し、前記精細文字／図形画像を生成する。本発明において、全ての手段は二次元格子状に配列された複数の配列演算ユニットによって実現される。したがって、前記視覚装置が行う画像処理は局所並列画像処理である。前記精細化手段は、前記デジタル画像のうち、前記文字／図形画像中の前記灰色の前記画素、つまり前記文字及び前記図形に含まれない前記画素に対応する前記画素を所定の前記灰色に置き換え、それ以外の画素をそのまま維持する。これにより、前記精細文字／図形画像中の前記文字及び前記図形の色は正確になる。しかも多数の画素が前記灰色になるので、これらの前記画素の帯域画素値に対する圧縮も容易である。本発明は、前記デジタル画像中の前記文字及び前記図形の色を正確に表したまま、前記デジタル画像中の前記文字及び前記図形を抽出することができるので、前記文字及び前記図形の抽出に関する諸問題が好適に解決される。
【００１５】
請求項４の発明は、二次元格子状に配列された複数の配列演算ユニットから構成される少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置の各々が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、各々の前記配列演算ユニットが、少なくとも１個の前記プロセッサを用いて、少なくとも１個の前記帯域画素値を処理することと、を特徴とし、各々の前記配列演算ユニットにおいて、前記配列演算ユニットを初期化する手段と、入力すべきデジタル画像の帯域画素値がなければ処理を終了する手段と、前記デジタル画像の少なくとも１個の前記帯域画素値を入力する手段と、前記デジタル画像の各画素を平滑するために、前記デジタル画像の複数の前記帯域画素値を平滑画像の少なくとも１個の帯域画素値に変換する手段と、前記平滑画像の各画素を強調するために、前記平滑画像の複数の前記帯域画素値を強調画像の少なくとも１個の帯域画素値に変換する手段と、前記強調画像の各画素を少なくとも５色に分類するために、前記強調画像の少なくとも１個の前記帯域画素値から色分類画像の少なくとも１個の帯域画素値を生成する手段と、前記色分類画像の各画素から孤立点及び孤立孔を除去するために、前記色分類画像の複数の前記帯域画素値を多色画像の少なくとも１個の帯域画素値に変換する手段と、前記多色画像の各々の前記帯域画素値を出力する手段と、を備えたことを特徴とする視覚装置である。本発明は前記配列演算ユニットが提供する機能をデジタル技術によって実現するためのアルゴリズムの実装形態である。前記デジタル画像がカラー画像の場合、前記多色画像は、少なくとも白色、黒色、赤色、緑色及び灰色の５色を含むことができる。前記配列演算ユニットを前記二次元格子状に配列し、前記配列演算ユニットを近傍同士相互に結合し、前記配列演算ユニットの各パラメータの初期値を設定した後に、前記デジタル画像を画素単位で適宜入力し、平滑化から前記多色画像の出力までを順次行い、前記デジタル画像が入力されなくなるまで繰り返す。本発明は前記配列演算ユニットを並列に動作させることができるので、複数の前記文字及び前記図形の抽出に関する諸問題が好適に解決される。
【００１６】
請求項５の発明は、二次元格子状に配列された複数の配列演算ユニットから構成される少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置の各々が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、各々の前記配列演算ユニットが、少なくとも１個の前記プロセッサを用いて、少なくとも１個の前記帯域画素値を処理することと、を特徴とし、各々の前記配列演算ユニットにおいて、前記配列演算ユニットを初期化する手段と、入力すべきデジタル画像の帯域画素値がなければ処理を終了する手段と、前記デジタル画像の少なくとも１個の前記帯域画素値を入力する手段と、前記デジタル画像の各画素を平滑するために、前記デジタル画像の複数の前記帯域画素値を平滑画像の少なくとも１個の帯域画素値に変換する手段と、前記平滑画像の各画素を強調するために、前記平滑画像の複数の前記帯域画素値を強調画像の少なくとも１個の帯域画素値に変換する手段と、前記強調画像の各画素を少なくとも５色に分類するために、前記強調画像の少なくとも１個の前記帯域画素値から色分類画像の少なくとも１個の帯域画素値を生成する手段と、前記色分類画像の各画素から孤立点及び孤立孔を除去するために、前記色分類画像の複数の前記帯域画素値を多色画像の少なくとも１個の帯域画素値に変換する手段と、前記多色画像から文字及び図形を選択するために、前記多色画像の複数の前記帯域画素値を粗文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、前記粗文字／図形画像からテクスチャを除去するために、前記粗文字／図形画像の複数の前記帯域画素値を文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、前記文字／図形画像の各々の前記帯域画素値を出力する手段と、を備えたことを特徴とする視覚装置である。本発明において、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。そこで本発明では、前記デジタル画像中のこれらの文字及び／又は図形（以下、文字／図形と略記する。）を抽出し、前記文字／図形画像を生成する。つまり、本発明は前記配列演算ユニットが提供する機能をデジタル技術によって実現するためのアルゴリズムの実装形態である。前記デジタル画像がカラー画像の場合、前記多色画像は、少なくとも白色、黒色、赤色、緑色及び灰色の５色を含むことができる。前記配列演算ユニットを前記二次元格子状に配列し、前記配列演算ユニットを近傍同士相互に結合し、前記配列演算ユニットの各パラメータの初期値を設定した後に、前記デジタル画像を画素単位で適宜入力し、平滑化から前記文字／図形画像の出力までを順次行い、前記デジタル画像が入力されなくなるまで繰り返す。本発明は前記配列演算ユニットを並列に動作させることができるので、複数の前記文字／図形の抽出に関する諸問題が好適に解決される。
【００１７】
請求項６の発明は、請求項５記載の視覚装置において、前記デジタル画像を用いて前記文字／図形画像を精細化し、精細文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、前記文字／図形画像の各々の前記帯域画素値の代りに、前記精細文字／図形画像の各々の前記帯域画素値を出力する手段と、備えたことを特徴とする視覚装置である。本発明において、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。そこで本発明では、前記デジタル画像中のこれらの文字及び／又は図形（以下、文字／図形と略記する。）を抽出し、前記精細文字／図形画像を生成する。つまり、本発明は前記配列演算ユニットが提供する機能をデジタル技術によって実現するためのアルゴリズムの実装形態である。前記デジタル画像がカラー画像の場合、前記多色画像は、少なくとも白色、黒色、赤色、緑色及び灰色の５色を含むことができる。前記配列演算ユニットを前記二次元格子状に配列し、前記配列演算ユニットを近傍同士相互に結合し、前記配列演算ユニットの各パラメータの初期値を設定した後に、前記デジタル画像を画素単位で適宜入力し、平滑化から前記精細文字／図形画像の出力までを順次行い、前記デジタル画像が入力されなくなるまで繰り返す。本発明は前記配列演算ユニットを並列に動作させることができるので、複数の前記文字／図形の抽出に関する諸問題が好適に解決される。
【００１８】
請求項７の発明は、請求項１〜５のうちのいずれか１項に記載の視覚装置と、前記デジタル画像を撮影する撮影装置又は前記デジタル画像を描画する描画装置と、画像圧縮手段及び画像通信手段を含む通信装置と、を含む通信システムであって、前記視覚装置が出力した、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に対して、前記画像圧縮手段が、複数の前記灰色の前記帯域画素値を一纏めに圧縮して圧縮画像データを生成することと、前記画像通信手段が、前記圧縮画像データを通信ネットワークに送信することと、を特徴とする通信システムである。前記撮影装置は、カメラ及びスキャナなど、前記デジタル画像を撮影できるものである。また、前記描画装置は、マウス、タブレット及びタッチパネルなど、前記デジタル画像を描画できるものであることが好ましい。前記通信ネットワークは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、イーサーネット、ＩＳＤＮ（総合デジタル通信網）、ｘＤＳＬ（ＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｔｒａｎｓｆｅｒ  Ｍｏｄｅ）及びフレームリレーなどの有線技術、赤外線、無線ＬＡＮ、ＩＭＴ−２０００（ＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなど）及びＢｌｕｅｔｏｏｔｈなどの無線技術から構成される。また前記画像圧縮手段は、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）及びＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  ＥｘｐｅｒｔｓＧｒｏｕｐ）などの画像圧縮技術を用いて、前記多色画像、前記文字／図形画像及び前記精細文字／図形画像のうち少なくとも１個を圧縮することができることが好ましい。このとき、前記画像圧縮手段がＧＩＦ（Ｇｒａｐｈｉｃ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）及びＦｌａｓｈのようなアニメーションに適した圧縮形式を用いるならば、前記画像圧縮手段はこれらの画像を高い圧縮率で圧縮することができる。本発明は、前記視覚装置が出力するこれらの画像を高速に通信することができるので、前記文字／図形の通信に関する諸問題が好適に解決される。
【００１９】
請求項８の発明は、請求項７記載の通信システムと、データベースを含む少なくとも１個のコンピュータシステムと、前記通信システムと前記コンピュータシステムを接続する通信ネットワークと、を含む文字／図形探索システムであって、前記コンピュータシステムの各々が、前記通信システムから前記圧縮画像データを受信する画像受信手段と、受信した前記圧縮画像データを前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に伸張する画像伸張手段と、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像から少なくとも１個の前記文字／図形を含む領域を検出する文字／図形領域検出手段と、前記領域から前記データベースのキー画像を生成するキー画像生成手段と、前記キー画像を、前記データベースに蓄えられた記録画像データと比較する画像検出手段と、を含むことにより、前記領域に対する検出結果を生成することを特徴とする文字／図形探索システムである。前記画像受信手段は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、イーサーネット、ＩＳＤＮ（総合デジタル通信網）、ｘＤＳＬ（Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｔｒａｎｓｆｅｒ  Ｍｏｄｅ）及びフレームリレーなどの有線技術、赤外線、無線ＬＡＮ、ＩＭＴ−２０００（ＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなど）及びＢｌｕｅｔｏｏｔｈなどの無線技術を用いて、前記通信ネットワークから前記圧縮画像データを受信する。前記画像伸張手段は、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）及びＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの画像伸張技術を用いて、前記圧縮画像データを前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に伸張することができることが好ましい。前記文字／図形領域検出手段は、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像が多数の前記灰色を含むことを利用して、水平方向と垂直方向のヒストグラムを計算することにより、少なくとも１個の前記文字／図形を含む前記領域の位置及び大きさを検出することが好ましい。また、前記視覚装置の位置／大きさ検出アルゴリズムを用いることにより、前記文字／図形領域検出手段は、多数の前記領域の前記位置及び前記大きさを高速に検出することができる。前記キー画像生成手段は、前記位置及び前記大きさを用いて、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像から前記領域を切り出し、前記キー画像を生成する。前記画像検出手段は、前記データベースに組み込まれた画像検索技術（例えばｉｍｇＳｅｅｋなど）及びニューラルネットワークなどの画像処理技術を用いて、前記キー画像に対応する前記データを前記データベースの中から検出することが好ましい。前記データベースにはＳＱＬ（Ｓｔｒｕｃｔｕｒｅ  Ｑｕｅｒｙ  Ｌａｎｇｕａｇｅ）のようなデータベース記述言語を備えたリレーショナルデータベース及びオブジェクト指向データベースなどが用いられることが好ましい。ここに、前記文字／図形に関する前記記録画像データが蓄えられ、前記記録画像データには画像ＩＤが割り当てられることが好ましい。前記コンピュータシステムは、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像から前記灰色の前記帯域画素値を除去した後、残りの前記帯域画素値が指し示す前記文字／図形の前記領域を切り出し、前記記録画像データと比較する。これにより、前記コンピュータシステムが、背景など、前記文字／図形以外の部分と、前記記録画像データを比較する必要がない。一般に、前記領域に対する前記検出結果は前記記録画像データであるが、前記記録画像データの代りに前記画像ＩＤが用いられても良い。本発明は、前記データベースの前記データの量を少なくすることができると共に、前記コンピュータシステムにおいて所定の前記文字／図形を高速に検出することができるので、前記文字／図形の探索に関する諸問題が好適に解決される。
【００２０】
請求項９の発明は、請求項８記載の文字／図形探索システムにおいて、少なくとも１個の前記コンピュータシステムが、画像送信手段を用いて、前記領域に対する前記検出結果又は前記領域の位置情報を前記通信装置に送信することと、前記通信装置がディスプレイ又はスピーカを含むことと、により、前記通信装置が前記ディスプレイ又は前記スピーカを用いて前記検索結果又は前記位置情報を出力することを特徴とする文字／図形探索システムである。前記画像送信手段は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、イーサーネット、ＩＳＤＮ（総合デジタル通信網）、ｘＤＳＬ（Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｔｒａｎｓｆｅｒ  Ｍｏｄｅ）及びフレームリレーなどの有線技術、赤外線、無線ＬＡＮ、ＩＭＴ−２０００（ＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなど）及びＢｌｕｅｔｏｏｔｈなどの無線技術を用いて、前記通信ネットワークに前記検索結果又は前記位置情報を送信することが好ましい。前記位置情報は、前記デジタル画像における前記文字／図形の二次元座標若しくは前記デジタル画像の中心からの相対的な方向、例えば上、下、左及び右などを表す。前記通信装置は前記ディスプレイに前記二次元座標の位置を表示するか、若しくは前記スピーカを用いて上、下、左及び右などの音声データを出力する。前記撮影装置の利用者は、前記ディスプレイ上の前記位置又は前記音声データの指示に従い、前記撮影装置又は撮影物の向きを変えることにより、所定の前記文字／図形を容易に見付けることができる。本発明は、前記通信ネットワークの通信容量が少なくても、前記文字／図形を探索することができるので、前記文字／図形の探索に関する諸問題が好適に解決される。
【００２１】
請求項１０の発明は、請求項８記載の文字／図形探索システムにおいて、少なくとも１個の前記コンピュータシステムが、画像送信手段を用いて、前記記録画像データに関連付けられた検索結果文字列又は検索結果画像を前記通信装置に送信することと、前記通信装置がディスプレイ又はスピーカを含むことと、により、前記通信装置が前記ディスプレイ又は前記スピーカを用いて前記検索結果文字列又は前記検索結果画像を出力することを特徴とする文字／図形探索システムである。前記画像送信手段は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、イーサーネット、ＩＳＤＮ（総合デジタル通信網）、ｘＤＳＬ（Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｔｒａｎｓｆｅｒ  Ｍｏｄｅ）及びフレームリレーなどの有線技術、赤外線、無線ＬＡＮ、ＩＭＴ−２０００（ＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなど）及びＢｌｕｅｔｏｏｔｈなどの無線技術を用いて、前記検索結果画像又は前記検索結果文字列を前記通信ネットワークに送信する。前記検索結果文字列は任意の文字列であり、前記検索結果画像も任意の画像であることが好ましい。前記検索結果文字列及び前記検索結果画像は前記記録画像データに関連付けられた状態で前記データベースに記録される。したがって、前記キー画像によって前記記録画像データが検索された場合、前記データベースは、前記記録画像データを用いることにより、前記検索結果文字列又は前記検索結果画像を参照することができる。前記通信装置は前記ディスプレイに前記検索結果文字列又は前記検索結果画像を表示するか、若しくは前記スピーカを用いて前記検索結果文字列の音声データを出力する。前記撮影装置の利用者は、前記検索結果文字列又は前記検索結果画像を得るまで適当に前記撮影装置又は撮影物の向きを変えることにより、所定の前記文字／図形を容易に見付けることができる。本発明は、前記通信ネットワークの通信容量が少なくても、前記文字／図形を探索することができるので、前記文字／図形の探索に関する諸問題が好適に解決される。
【００２２】
【発明の実施の形態】
以下、本発明の配列演算ユニット（ＡＲＲＡＹ  ＯＰＥＲＡＴＩＯＮ  ＵＮＩＴ）１００を利用した視覚装置（ＶＩＳＵＡＬ  ＤＥＶＩＣＥ）２の実施形態を挙げ、図面を参照して説明する。
【００２３】
まず、図１に示すように、視覚装置２は少なくとも１個のデータ処理装置１１０を含む。このデータ処理装置１１０は、少なくとも１個のプロセッサ１０１を含み、このプロセッサ１０１が、局所関数によって記述される局所並列画像処理アルゴリズムに従った、少なくとも１個の手段を実現すると共に、少なくとも１個の入力画像を入力した後でこの局所並列画像処理を実行し、必要に応じて少なくとも１個の出力画像を出力する。なお、上述の手段が複数ある場合、この視覚装置２は、図１に示すように１個のデータ処理装置１１０を用いてこれらの手段を実現することもできるし、図２に示すように複数（ここでは４個）のデータ処理装置１１０を用いてこれらの手段を実現することもできる。そこで以下では、説明を簡単にするために、この視覚装置２は１個のデータ処理装置１１０を用いるものとする。
【００２４】
次に、図３に示すように、このデータ処理装置１１０は、格子状に配列された複数の配列演算ユニット１００から構成される。これらの配列演算ユニット１００の各々は、このプロセッサ１０１のプログラムとして記述される。しかしながら、このプロセッサ１０１の数が１個の場合、これらの配列演算ユニット１００のプログラムは順番に実行されるため、このデータ処理装置１１０は局所並列画像処理の並列性を生かすことができない。そこで以下では、この並列性を生かしたデータ処理装置１１０の専用回路について説明する。
【００２５】
図３のように、これらの配列演算ユニット１００はデータ処理装置１１０中で格子状に配列され、さらにこれらの配列演算ユニット１００の各々はデータ処理装置１１０中の隣接する配列演算ユニット１００だけと相互に通信できるように配線される。つまり４近傍同士が直接配線されることになる。これにより８近傍同士を配線する場合に比べて、少ない電子部品と配線量で、同程度に高速に動作し、しかも将来近傍サイズを拡張する場合にも簡単に拡張性を有することができる。
【００２６】
さらにこれらの配列演算ユニット１００の各々は、図１０に示す通り、画像処理における数式を計算するためのプロセッサ１０１と、数式で使われる全てのパラメータ、定数、関数及びオペレータを記憶するための一組のメモリ１０２と、近傍の配列演算ユニット１００と通信するための少なくとも１個のコントローラ１０３から構成される。なお、このプロセッサ１０１及びこのコントローラ１０３は、それぞれクロック信号を入力する同期回路である。このプロセッサ１０１は、アドレスバス５１で指定したアドレスによりこれらのメモリ１０２及びコントローラ１０３の任意のメモリ素子及びレジスタを選択することができる。またこのプロセッサ１０１はデータバス５２を介してこれらのメモリ１０２及びコントローラ１０３と双方向に通信可能に接続され、このアドレスバス５１で指定された任意のメモリ素子及びレジスタのデータにアクセスすることができる。この配列演算ユニット１００が１つ以上の入力画素から構成される前入力データ群を入力すると、このコントローラ１０３は前入力データ群をこのメモリ１０２に記憶させる。またこのコントローラ１０３は、関数により作成された、このメモリ１０２中の計算データを隣接する配列演算ユニット１００に送信すると共に、この隣接する配列演算ユニット１００から受信した計算データをこのメモリ１０２に記憶させ、さらに必要ならば、入力した以外の配列演算ユニット１００に転送する。最終的にこのコントローラ１０３は、出力画像の画像データを結果データとして出力する。勿論、この配列演算ユニット１００は複数のコントローラ１０３を備えても良い。なお、この配列演算ユニット１００及びこれを改良した仮想配列演算ユニットの詳細な回路図については、特許文献３を参照のこと。
【００２７】
さてここまでは、視覚装置２を構成するデータ処理装置１１０について説明してきた。このデータ処理装置１１０は、少なくとも１個のプロセッサ１０１を備えることにより、局所並列画像処理に従った少なくとも１個の手段を実現することができる。そこで以下では、本発明で用いるこれらの手段について説明する。
【００２８】
図４に示すように、請求項１記載の発明に対応する視覚装置２の実施形態は、データ処理装置１１０上に実装された多色分類手段１１から構成される。この多色分類手段１１は、デジタル画像１１１を入力して、少なくとも５色を含む多色画像１１２を生成する。以下では説明を簡単にするために、デジタル画像１１１は一般的なカラー画像であるものとし、この多色分類手段１１は、このデジタル画像１１１の各画素を白色、黒色、赤色、緑色及び灰色の５色に分類し、この多色画像１１２として各々の色毎に二値画像を生成するものとする。但し、灰色は残りの４色以外を意味するので、実際には白色、黒色、赤色及び緑色の４色があれば十分である。したがって多色画像１１２は、それぞれ白色、黒色、赤色及び緑色の二値画像に対応した、多色画像（白）１１２ａ、多色画像（黒）１１２ｂ、多色画像（赤）１１２ｃ及び多色画像（緑）１１２ｄから構成されるものとする。なお、このデジタル画像１１１を白色、黒色、赤色、緑色及び灰色の５色に分類した場合、一般に黄色は白色に、青色は黒色に分類されるが、赤みがかった黄色及び緑がかった青色は、それぞれ赤色及び緑色に分類される。
【００２９】
さて、この多色分類手段１１は、補色関係に基づいてデジタル画像１１１の各画素を白色、黒色、赤色、緑色及び灰色の５色に分類し、多色画像１１２を生成する。この補色関係は、人間の視覚において見られる特徴であり、色相環において向い合う色の組み合せである。例えば赤色と緑色は補色関係にあり、１画素においてこれらの赤色と緑色が同時に見えることはなく、しかもお互いにコントラストを強調する。また、黄色と青色（実際には紫色）も補色関係にある。さらに、白色と黒色は相対的な明るさを表し、ある画素が同じ明るさであっても、その周辺が暗ければこの画素は白色に見え、その周辺が明るければこの画素は黒色に見える。つまり灰色というどの色にも属さない周辺の明るさを基準とした相対的な明るさが人間にとっての白色及び黒色である。したがって、１画素において白色と黒色も同時に見えることはない。そこでデジタル画像１１１の各画素において、赤帯域の画素値と緑帯域の画素値の差をそれぞれの色の強さとし、さらに周辺の画素の明るさを基準とした各画素の明るさを白色及び黒色の強さとする。ここで重要なのは、両方の組とも色の強さに差がない場合、この画素を灰色、つまり４色以外の色とすることである。これにより、このデジタル画像１１１のうち色の変化が僅かな画素は全て灰色となり、一方で文字及び図形など複数の色が複雑に入り組んだ画素は灰色以外の色になる。実際に人間が文字及び図形を書く場合、これらの文字及び図形を見易くするために、無意識にコントラストを強調する色の組み合せを選んでいる。したがって、この多色分類手段１１は、この補色関係を利用することにより、これらの文字及び図形の色を損なうことなく、このデジタル画像１１１から、これらの文字及び図形と、それらの輪郭と、を除いた背景を灰色で塗り潰すことができる。このとき、この多色画像１１２は丁度マンガの描写に似た画像となる。
【００３０】
なお、ここでは多色画像１１２として４個の二値画像を用いたが、勿論この多色画像１１２の各画素を３ビットで表しても良い。また、この多色分類手段１１は、補色関係に基づいて、白色、黒色、赤色、緑色、青色、黄色及び灰色の７色に分類しても良い。勿論この場合も、この多色画像１１２の各画素を３ビットで表すことができる。さらに、デジタル画像１１１として、赤外線及び紫外線など、可視光以外の帯域を少なくとも１個含んでも良い。この場合、これらの帯域を赤色、緑色、青色及び黄色のいずれかに割り当てることができる。勿論、これら以外の新たな色に割り当てても良い。
【００３１】
ところで、所定の線幅以下で書かれた文字がデジタル画像１１１中にある場合、このデジタル画像１１１から生成された多色画像１１２中にもこの文字とほぼ同じ文字が現れる。また、この線幅を越える線及び領域を含む図形がこのデジタル画像１１１中にある場合、この多色画像１１２中にもこの図形とほぼ同じ図形及びその輪郭が現れる。そこで以下では、この多色画像１１２から、これらの文字及び／又は図形（以下、単に文字／図形と略記する。）を抽出する視覚装置２について説明する。
【００３２】
図５に示すように、請求項２記載の発明に対応する視覚装置２の実施形態は、データ処理装置１１０上に実装された文字／図形抽出手段２１によって実現され、さらにこの文字／図形抽出手段２１は、多色分類手段１１、文字／図形選択手段１２及びテクスチャ除去手段１３から構成される。なお、図５において、この多色分類手段１１は、デジタル画像１１１を白色、黒色、赤色、緑色及び灰色の５色に分類する。したがって、視覚装置２が出力する文字／図形画像１１３は、文字／図形画像（白）１１３ａ、文字／図形画像（黒）１１３ｂ、文字／図形画像（赤）１１３ｃ及び文字／図形画像（緑）１１３ｄから構成されるものとする。この文字／図形選択手段１２は、この多色分類手段１１が生成した多色画像１１２を入力して、この多色画像１１２の各帯域画素値に対して、色毎に所定の近傍の帯域画素値の総和を求め、この総和が所定の範囲内にあるか判定する。このとき、この総和がこの範囲内にあれば、この文字／図形選択手段１２は、この多色画像１１２の帯域画素値が文字／図形に含まれると判断して、粗文字／図形画像の対応する色の帯域画素値にする。さもなくば、この帯域画素値を灰色にする。これにより、この文字／図形選択手段１２は、背景に関係なく、この多色画像１１２中の文字／図形に含まれる画素を色毎に選択することができる。さらに、このテクスチャ除去手段１３は、この粗文字／図形画像を入力して色毎にエッジ情報を生成し、このエッジ情報に対して、色毎に所定の近傍の帯域画素値の総和を求め、この総和が所定の範囲内にあるか判定する。このとき、この総和がこの範囲内になければ、このテクスチャ除去手段１３は、この粗文字／図形画像の帯域画素値がテクスチャに含まれないと判断して、文字／図形画像１１３の対応する色の帯域画素値にする。さもなくば、この帯域画素値を灰色にする。これにより、このテクスチャ除去手段１３は、文字／図形の大きさ又は形に関係なく、この粗文字／図形画像中のテクスチャに含まれる画素を色毎に除去することができる。
【００３３】
なお、ここでは文字／図形画像１１３として４個の二値画像を用いたが、勿論この文字／図形画像１１３の各画素を３ビットで表しても良い。また、この多色分類手段１１は、補色関係に基づいて、白色、黒色、赤色、緑色、青色、黄色及び灰色の７色に分類しても良い。勿論この場合も、この文字／図形画像１１３の各画素を３ビットで表すことができる。さらに、デジタル画像１１１として、赤外線及び紫外線など、可視光以外の帯域を少なくとも１個含んでも良い。この場合、これらの帯域を赤色、緑色、青色及び黄色のいずれかに割り当てることができる。勿論、これら以外の新たな色に割り当てても良い。
【００３４】
さて、ここで図６に示すように、請求項３記載の発明に対応する視覚装置２の実施形態は、精細文字／図形抽出手段２２によって実現され、この精細文字／図形抽出手段２２は、上述の文字／図形抽出手段２１に対して精細化手段１４を加えたものである。この精細化手段１４は、文字／図形画像１１３を用いることにより、デジタル画像１１１から文字／図形の帯域画素値を抜き出して、精細文字／図形画像１１４の対応する帯域画素値にし、それ以外を所定の灰色にする。これにより、本発明は、文字／図形画像１１３では正確に表すことができなかったこの文字／図形の色を正確に表すことができる。さらに、この文字／図形以外の画素を灰色にすることにより、本発明は、精細文字／図形画像１１４の情報量を少なくすると共に、圧縮プログラムによってこの精細文字／図形画像１１４の更なる圧縮を可能にすることができる。
【００３５】
さて、視覚装置２で用いられている多色分類手段１１、文字／図形抽出手段２１及び精細化手段１４は、幾つかの配列演算ユニット１００から構成されるデータ処理装置１１０を用いることにより実装することができる。そこで以下では、配列演算ユニット１００を利用したデータ処理装置１１０の実施形態を挙げ、この視覚装置２を図面を参照して説明する。
【００３６】
まず配列演算ユニット１００は、入力画像の１つの画素とその近傍画素を用いることにより、出力画像の１つの画素を生成する。そこで図３に示したように、配列演算ユニット１００を入力画像のサイズに合わせて格子状に配列したデータ処理装置１１０を用いることにより、データ処理装置１１０は入力画像から出力画像を生成することができる。なお図３において、配列演算ユニット１００をＡＯＵと略記する。また図３では、配列演算ユニット１００は正方格子状に配列されているが、勿論実装面積を最小にするために、配列演算ユニット１００を六角格子状、つまり最密充填構造に配置しても良い。この場合、配列演算ユニット１００間の複数の信号線の一部はジグザグに配線される。次に配列演算ユニット１００は専用ハードウェアによって実装されても良いし、汎用コンピュータ上でソフトウェアによって実装することもできる。つまり入力画像から出力画像を生成することができれば、実装手段は制限されない。したがって配列演算ユニット１００のアルゴリズムを示すことにより、データ処理装置１１０の画像処理を示すことができる。そこで配列演算ユニット１００のアルゴリズムを示すために、図４、５及び６で示された多色分類手段１１、文字／図形抽出手段２１、テクスチャ除去手段１３及び精細化手段１４で用いる数式について説明する。
【００３７】
幅ｗ、高さｈ、帯域数ｂの任意の２ｎ階調画像をｘ及びｙとすると、これらの画像ｘ及びｙは各々位置ｐ（ｉ，ｊ，ｋ）の帯域画素値ｘｉｊｋ及びｙｉｊｋを用いて数式１及び２のように表される。なおアンダーラインが付された文字はベクトルを示す。またｎは非負の整数、ｗ、ｈ、ｂ、ｉ、ｊ、ｋは自然数である。
【００３８】
【数１】
2004328549.tif 000003
【００３９】
【数２】
2004328549.tif 000004
【００４０】
まず前記画像の各帯域画素値に対する点処理に関する関数について以下で説明する。
【００４１】
画像ｘを二値画像に変換する場合、数式３に従って帯域画素値を二値化する。
【００４２】
【数３】
2004328549.tif 000005
【００４３】
画像ｘを下限ａと上限ｂで飽和させる場合、数式４に従って帯域画素値を飽和させる。
【００４４】
【数４】
2004328549.tif 000006
【００４５】
画像ｘから下限ｃと上限ｄに対応するウィンドウを生成する場合、数式５に従って帯域画素値を生成する。
【００４６】
【数５】
2004328549.tif 000007
【００４７】
画像ｘを帯域最大値画像に変換する場合、数式６に従ってｉ行ｊ列の画素の各帯域の値のうち最大値を選択する。なお前記帯域最大値画像は単帯域画像となるので、便宜上帯域数１の前記画像として取り扱うことにする。したがって第３添字は１となっている。
【００４８】
【数６】
2004328549.tif 000008
【００４９】
さて、画像の位置ｐ（ｉ，ｊ，ｋ）におけるｑ近傍の位置の集合Ｐｉｊｋ（ｑ）は数式７によって表される。ただしｑは４、８、２４、４８、８０、１２０、（２ｒ＋１）２−１と続く数列であり、ｒは自然数である。なお画像サイズをはみ出した位置が集合Ｐｉｊｋ（ｑ）に含まれる場合には、特に指定がない限り位置ｐ（ｉ，ｊ，ｋ）を代用するものとする。またこれ以外のときは、指定に従い、画素値が０に相当し、しかも画像に含まれない架空の位置を代用する。これにより辺縁処理は自動的に行われる。したがって集合Ｐｉｊｋ（ｑ）の要素の数は常にｑとなる。
【００５０】
【数７】
2004328549.tif 000009
【００５１】
そこで次に画像の各帯域画素値に対する最大８近傍の近傍処理に関する関数及びオペレータについて以下で説明する。
【００５２】
画像ｘの位置ｐ（ｉ，ｊ，ｋ）における平滑化は数式８に従って行われる。ただしｉｎｔ（ｖ）は実数ｖの小数点以下切り捨てを意味するものとする。もし画像ｘの帯域画素値が整数値であるならば、ハードウェアの実装時にｑ＝４のときｘｌｍｋの総和に対して右シフト命令を２回、ｑ＝８のときｘｌｍｋの総和に対して右シフト命令を３回実行するような回路に変更することにより、除算を実行する回路を省くことができる。
【００５３】
【数８】
2004328549.tif 000010
【００５４】
ラプラシアンの計算は、数式９に示すように単なる２階差分オペレータである。８近傍の方がノイズの微妙な変化を捉えてゼロ点およびゼロ交差が多くなり、本発明には向いている。ただしｑが４か８であるので、ハードウェアの実装時にｑ＝４のときｘｉｊｋに対して左シフト命令を２回、ｑ＝８のときｘｉｊｋに対して左シフト命令を３回実行するような回路に変更することにより、乗算を実行する回路を省くことができる。
【００５５】
【数９】
2004328549.tif 000011
【００５６】
画像ｘが任意の二値画像であるとして、この画像ｘのうち孤立点ないし孤立孔を除去する場合には、数式１０に従い計算する。なお４近傍の場合にはその性質上対角線を検知することができないので、極力８近傍にした方がよい。
【００５７】
【数１０】
2004328549.tif 000012
【００５８】
次に画像の各帯域画素値に対する近傍処理に関する関数及びオペレータについて以下で説明する。
【００５９】
２つの画像ｘ、ｙがある場合、これらの画像の差分は数式１１に従って計算される。
【００６０】
【数１１】
2004328549.tif 000013
【００６１】
ここで数式９によるラプラシアンと数式１１による差分を用いると、数式１２に従い画像ｘの鮮鋭化を簡単に記述することができる。
【００６２】
【数１２】
2004328549.tif 000014
【００６３】
２つの画像ｘ、ｙがあり、画像ｙが単帯域二値画像である場合、数式１３に従い、この画像ｙの帯域画素値を用いてこの画像ｘの各帯域画素値を抜き出すことができる。
【００６４】
【数１３】
2004328549.tif 000015
【００６５】
さらに、２つの画像ｘ、ｙがあり、画像ｙが単帯域二値画像である場合、数式１４に従い、画像ｙの帯域画素値を用いてこの画像ｘの各帯域画素値を抜き出すと共に、残りの帯域画素値を任意の値ｇに設定することができる。なお、数式１３は、数式１４においてｇ＝０と同等である。
【００６６】
【数１４】
2004328549.tif 000016
【００６７】
画像ｘの位置ｐ（ｉ，ｊ，ｋ）におけるｑ近傍の総和は数式１５に従って行われる。
【００６８】
【数１５】
2004328549.tif 000017
【００６９】
画像ｘがカラー画像のような多帯域画像である場合、その２つの帯域、例えば第一帯域である赤色と第二帯域である緑色を用いて、この画像ｘ中の文字／図形及びこの輪郭から白色、黒色、赤色、緑色及び灰色を抽出するものとする。このとき画像ｘの位置ｐ（ｉ，ｊ，ｋ）における多色抽出は、そのｑ近傍を用いて、それぞれ数式１６〜１９に従って行われる。なお、数式１６〜１９の右辺は本来ｑによって割られる必要があるが、これらの帯域画素値は互いに大小を比較するためだけに用いられるので、ここでは右辺にｑを掛けることにより除算が省略されている。また、灰色は、白色、黒色、赤色及び緑色の中間色であり、これらの色以外を指すものとする。
【００７０】
【数１６】
2004328549.tif 000018
【００７１】
【数１７】
2004328549.tif 000019
【００７２】
【数１８】
2004328549.tif 000020
【００７３】
【数１９】
2004328549.tif 000021
【００７４】
次に、この画像から抽出された複数の色の中から１色を選択するものとする。このとき４帯域画像ｘの位置ｐ（ｉ，ｊ，ｋ）における多色選択は、所定の値ｆを用いて、それぞれ数式２０〜２３に従って行われる。このとき、この４帯域画像ｘの各画素に対して、ｆは適切に微調整されることが望ましい。なお、これらの数式が白色、黒色、赤色及び緑色のいずれも選択しない場合、これらの数式が指し示す画素を灰色とする。
【００７５】
【数２０】
2004328549.tif 000022
【００７６】
【数２１】
2004328549.tif 000023
【００７７】
【数２２】
2004328549.tif 000024
【００７８】
【数２３】
2004328549.tif 000025
【００７９】
ここで数式１６〜１９による多色抽出と数式２０〜２３による多色選択を用いると、数式２４に従い画像ｘの多色分類を簡単に記述することができる。
【００８０】
【数２４】
2004328549.tif 000026
【００８１】
画像ｘの位置ｐ（ｉ，ｊ，ｋ）におけるｑ近傍に対して、数式３の二値化、数式１５の総和、数式５のウィンドウ及び数式１３のマスクを用いると、数式２５に従いこの画像ｘの帯域毎の文字／図形選択を簡単に記述することができる。
【００８２】
【数２５】
2004328549.tif 000027
【００８３】
二値画像ｘの位置ｐ（ｉ，ｊ，ｋ）におけるｑ近傍に対して、数式９によるラプラシアン、数式３による二値化、数式１５による総和、数式５によるウィンドウ及び数式１３によるマスクを用いると、数式２５に従いこの二値画像ｘの帯域毎のテクスチャ除去を簡単に記述することができる。
【００８４】
【数２６】
2004328549.tif 000028
【００８５】
２つの画像ｘ及びｙがあり、この画像ｙが任意の帯域数の二値画像である場合、数式６による最大値選択及び数式１４によるマスクを用いると、数式２７に従いこの二値画像ｙの精細化を簡単に記述することができる。
【００８６】
【数２７】
2004328549.tif 000029
【００８７】
そこで数式１から数式２７までを用いることにより、図４、５及び６で示された多色分類手段１１、文字／図形抽出手段２１及び精細文字／図形抽出手段２２を実装するデータ処理装置１１０の全ての配列演算ユニット１００のアルゴリズムを記述することができる。以下では、データ処理装置１１０中の任意の配列演算ユニット１００のアルゴリズムを用いて、多色分類手段１１、文字／図形抽出手段２１及び精細文字／図形抽出手段２２を順番に説明する。
【００８８】
図４に示すように、データ処理装置１１０によって実現される多色分類手段１１がデジタル画像１１１から多色画像１１２を生成するために、格子状に配列された配列演算ユニット１００は同期して並列に動作する。格子上ｉ行ｊ列に配置された配列演算ユニット１００をＡＯＵｉｊとすると、多色分類手段１１に対するＡＯＵｉｊのアルゴリズムは図７のようになる。
【００８９】
ステップ１１０１で、ＡＯＵｉｊを格子上のｉ行ｊ列に配置する。これは論理的であれ物理的であれ、ＡＯＵｉｊの近傍を決定するために必要である。
【００９０】
ステップ１１０２で、ＡＯＵｉｊの近傍や変数の初期値を設定する。近傍の設定においては、前記各関数で使う近傍サイズｑを個別に決めても良いし、全部を統一しても良い。本発明のデータ処理装置１１０が生成した文字／図形画像１１３の正確さを上げるためには近傍サイズｑを全て大きな値に設定することが望ましい。しかしながら計算時間の制約や、入力されるデジタル画像１１１のサイズなどにより、文字／図形抽出手段２１は必要に応じて適宜近傍サイズを変えることで対処することができる。
【００９１】
ステップ１１０３で、デジタル画像１１１が終了したかどうか判断する。もしデジタル画像１１１が無ければ（ステップ１１０３：ＹＥＳ）、アルゴリズムを終了する。もしデジタル画像１１１があれば（ステップ１１０３：ＮＯ）、ステップ１１０４に移行する。ただし特定の帯域数と画像サイズに対して配列演算ユニット１００を実装する場合には、無限ループにしても良い。
【００９２】
ステップ１１０４で、デジタル画像１１１のｉ行ｊ列の画素を帯域数分入力する。これは、ＡＯＵｉｊがデジタル画像１１１のｉ行ｊ列の画素を一括して処理するためである。このためＡＯＵｉｊは少なくとも帯域数分の画像データを記憶するメモリ１０２を必要とする。
【００９３】
ステップ１１０５で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、入力したデジタル画像１１１の各帯域画素値に対して関数Ｓｉｊｋ（ｘ）に従い平滑化を行う。平滑化された帯域画素値は平滑画像の帯域画素値として扱われる。ここで関数Ｓｉｊｋ（ｘ）は必要に応じて数回繰り返しても良い。一般的な多帯域画像の場合、この回数は２回で十分である。なお、この平滑化の後、必要に応じて、この平滑画像を対数変換しても良い。
【００９４】
ステップ１１０６で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、平滑画像の各帯域画素値に対して関数Ｅｉｊｋ（ｘ）に従い鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭画像の帯域画素値として扱われる。
【００９５】
ステップ１１０７で、鮮鋭画像の各帯域画素値に対して関数Ｍｑｉｊｋ（ｘ）に従い多色に分類する。分類された帯域画素値は色分類画像の帯域画素値として扱われる。
【００９６】
ステップ１１０８で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、色分類画像の帯域画素値に対して関数Ａｉｊｋ（ｘ）に従い孤立点および孤立孔を除去する。孤立点および孤立孔を除去された帯域画素値は多色画像１１２の帯域画素値として扱われる。
【００９７】
ステップ１１０９で、多色画像１１２の帯域画素値を出力する。その後ステップ１１０３に戻る。
【００９８】
これにより、配列演算ユニット１００から構成されるデータ処理装置１１０を用いて、多色分類手段１１はデジタル画像１１１から多色画像１１２を生成することができる。
【００９９】
図５に示すように、データ処理装置１１０によって実現される文字／図形抽出手段２１がデジタル画像１１１から文字／図形画像１１３を生成するために、格子状に配列された配列演算ユニット１００は同期して並列に動作する。格子上ｉ行ｊ列に配置された配列演算ユニット１００をＡＯＵｉｊとすると、文字／図形抽出手段２１に対するＡＯＵｉｊのアルゴリズムは図８のようになる。
【０１００】
ステップ２１０１で、ＡＯＵｉｊを格子上のｉ行ｊ列に配置する。これは論理的であれ物理的であれ、ＡＯＵｉｊの近傍を決定するために必要である。
【０１０１】
ステップ２１０２で、ＡＯＵｉｊの近傍や変数の初期値を設定する。近傍の設定においては、前記各関数で使う近傍サイズｑを個別に決めても良いし、全部を統一しても良い。本発明のデータ処理装置１１０が生成した文字／図形画像１１３の正確さを上げるためには近傍サイズｑを全て大きな値に設定することが望ましい。しかしながら計算時間の制約や、入力されるデジタル画像１１１のサイズなどにより、文字／図形抽出手段２１は必要に応じて適宜近傍サイズを変えることで対処することができる。
【０１０２】
ステップ２１０３で、デジタル画像１１１が終了したかどうか判断する。もしデジタル画像１１１が無ければ（ステップ２１０３：ＹＥＳ）、アルゴリズムを終了する。もしデジタル画像１１１があれば（ステップ２１０３：ＮＯ）、ステップ２１０４に移行する。ただし特定の帯域数と画像サイズに対して配列演算ユニット１００を実装する場合には、無限ループにしても良い。
【０１０３】
ステップ２１０４で、デジタル画像１１１のｉ行ｊ列の画素を帯域数分入力する。これは、ＡＯＵｉｊがデジタル画像１１１のｉ行ｊ列の画素を一括して処理するためである。このためＡＯＵｉｊは少なくとも帯域数分の画像データを記憶するメモリ１０２を必要とする。
【０１０４】
ステップ２１０５で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、入力したデジタル画像１１１の各帯域画素値に対して関数Ｓｉｊｋ（ｘ）に従い平滑化を行う。平滑化された帯域画素値は平滑画像の帯域画素値として扱われる。ここで関数Ｓｉｊｋ（ｘ）は必要に応じて数回繰り返しても良い。一般的な多帯域画像の場合、この回数は２回で十分である。なお、この平滑化の後、必要に応じて、この平滑画像を対数変換しても良い。
【０１０５】
ステップ２１０６で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、平滑画像の各帯域画素値に対して関数Ｅｉｊｋ（ｘ）に従い鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭画像の帯域画素値として扱われる。
【０１０６】
ステップ２１０７で、鮮鋭画像の各帯域画素値に対して関数Ｍｑｉｊｋ（ｘ）に従い多色に分類する。分類された帯域画素値は色分類画像の帯域画素値として扱われる。
【０１０７】
ステップ２１０８で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、色分類画像の帯域画素値に対して関数Ａｉｊｋ（ｘ）に従い孤立点および孤立孔を除去する。孤立点および孤立孔を除去された帯域画素値は多色画像１１２の帯域画素値として扱われる。
【０１０８】
ステップ２１０９で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、多色画像の各帯域画素値に対して関数Ｕｑｉｊｋ（ｘ）に従い文字／図形を選択する。選択された帯域画素値は粗文字／図形画像の帯域画素値として扱われる。なお、必要に応じて、この関数を数回繰り返しても良い。
【０１０９】
ステップ２１１０で、粗文字／図形画像の各帯域画素値に対して関数Ｔｑｉｊｋ（ｘ）に従いテクスチャを除去する。テクスチャを除去された帯域画素値は文字／図形画像１１３の帯域画素値として扱われる。なお、必要に応じて、この関数を数回繰り返しても良い。
【０１１０】
ステップ２１１１で、文字／図形画像１１３の帯域画素値を出力する。その後ステップ２１０３に戻る。
【０１１１】
これにより、配列演算ユニット１００から構成されるデータ処理装置１１０を用いて、文字／図形抽出手段２１はデジタル画像１１１から文字／図形画像１１３を生成することができる。
【０１１２】
図６に示すように、データ処理装置１１０によって実現される精細文字／図形抽出手段２２がデジタル画像１１１から精細文字／図形画像１１４を生成するために、格子状に配列された配列演算ユニット１００は同期して並列に動作する。格子上ｉ行ｊ列に配置された配列演算ユニット１００をＡＯＵｉｊとすると、精細文字／図形抽出手段２２に対するＡＯＵｉｊのアルゴリズムは図９のようになる。
【０１１３】
ステップ２２０１で、ＡＯＵｉｊを格子上のｉ行ｊ列に配置する。これは論理的であれ物理的であれ、ＡＯＵｉｊの近傍を決定するために必要である。
【０１１４】
ステップ２２０２で、ＡＯＵｉｊの近傍や変数の初期値を設定する。近傍の設定においては、前記各関数で使う近傍サイズｑを個別に決めても良いし、全部を統一しても良い。本発明のデータ処理装置１１０が生成した精細文字／図形画像１１４の正確さを上げるためには近傍サイズｑを全て大きな値に設定することが望ましい。しかしながら計算時間の制約や、入力されるデジタル画像１１１のサイズなどにより、精細文字／図形抽出手段２２は必要に応じて適宜近傍サイズを変えることで対処することができる。
【０１１５】
ステップ２２０３で、デジタル画像１１１が終了したかどうか判断する。もしデジタル画像１１１が無ければ（ステップ２２０３：ＹＥＳ）、アルゴリズムを終了する。もしデジタル画像１１１があれば（ステップ２２０３：ＮＯ）、ステップ２２０４に移行する。ただし特定の帯域数と画像サイズに対して配列演算ユニット１００を実装する場合には、無限ループにしても良い。
【０１１６】
ステップ２２０４で、デジタル画像１１１のｉ行ｊ列の画素を帯域数分入力する。これは、ＡＯＵｉｊがデジタル画像１１１のｉ行ｊ列の画素を一括して処理するためである。このためＡＯＵｉｊは少なくとも帯域数分の画像データを記憶するメモリ１０２を必要とする。
【０１１７】
ステップ２２０５で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、入力したデジタル画像１１１の各帯域画素値に対して関数Ｓｉｊｋ（ｘ）に従い平滑化を行う。平滑化された帯域画素値は平滑画像の帯域画素値として扱われる。ここで関数Ｓｉｊｋ（ｘ）は必要に応じて数回繰り返しても良い。一般的な多帯域画像の場合、この回数は２回で十分である。なお、この平滑化の後、必要に応じて、この平滑画像を対数変換しても良い。
【０１１８】
ステップ２２０６で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、平滑画像の各帯域画素値に対して関数Ｅｉｊｋ（ｘ）に従い鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭画像の帯域画素値として扱われる。
【０１１９】
ステップ２２０７で、鮮鋭画像の各帯域画素値に対して関数Ｍｑｉｊｋ（ｘ）に従い多色に分類する。分類された帯域画素値は色分類画像の帯域画素値として扱われる。
【０１２０】
ステップ２２０８で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、色分類画像の帯域画素値に対して関数Ａｉｊｋ（ｘ）に従い孤立点および孤立孔を除去する。孤立点および孤立孔を除去された帯域画素値は多色画像１１２の帯域画素値として扱われる。
【０１２１】
ステップ２２０９で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、多色画像の各帯域画素値に対して関数Ｕｑｉｊｋ（ｘ）に従い文字／図形を選択する。選択された帯域画素値は粗文字／図形画像の帯域画素値として扱われる。なお、必要に応じて、この関数を数回繰り返しても良い。
【０１２２】
ステップ２２１０で、粗文字／図形画像の各帯域画素値に対して関数Ｔｑｉｊｋ（ｘ）に従いテクスチャを除去する。テクスチャを除去された帯域画素値は文字／図形画像１１３の帯域画素値として扱われる。なお、必要に応じて、この関数を数回繰り返しても良い。
【０１２３】
ステップ２２１１で、文字／図形画像１１３の各帯域画素値に対して関数Ｆｉｊｋ（ｘ，ｙ）に従い精細化する。精細化された帯域画素値は精細文字／図形画像１１４の帯域画素値として扱われる。
【０１２４】
ステップ２２１２で、精細文字／図形画像１１４の帯域画素値を出力する。その後ステップ２２０３に戻る。
【０１２５】
これにより、配列演算ユニット１００から構成されるデータ処理装置１１０を用いて、精細文字／図形抽出手段２２はデジタル画像１１１から精細文字／図形画像１１４を生成することができる。
【０１２６】
なお、ここで多色画像１１２及び文字／図形画像１１３は４帯域画像として扱われているが、視覚装置２は出力手段でこれらの画像の各画素を３ビットの帯域画素値に変換しても良い。これにより、これらの画像のデータ量は、入力されたデジタル画像１１１に比べて大幅に圧縮される。しかもこれらの画像の殆んどの画素が灰色となるため、圧縮プログラムを用いれば、これらの画像はさらに圧縮され得る。加えて、ここではデジタル画像１１１の赤帯域と緑帯域を用いた場合について説明したが、勿論青帯域を用いることにより、同様の方法で白色、黒色、赤色、緑色、青色、黄色及び灰色の７色に変換することもできる。この場合も、視覚装置２は出力手段で多色画像１１２及び文字／図形画像１１３の各画素を３ビットの帯域画素値に変換することができる。
【０１２７】
さてここまでは、文字／図形を抽出する視覚装置２について説明してきた。この視覚装置２はデジタル画像１１１の各画素を少なくとも３ビットに圧縮することができ、しかも多くの画素を灰色にすることができるので、この視覚装置２はこのデジタル画像１１１の高速通信に適している。そこで以下では、この通信装置７及び通信ネットワーク８を中心に通信システムの実施形態について説明する。
【０１２８】
まず、図１１に示すように、請求項７記載の発明に対応する通信システムの実施形態は、視覚装置２、カメラ９及び通信装置７から構成される。なお、図１１では、撮影装置としてこのカメラ９を用いているが、このカメラ９の代りに、スキャナを用いることもできる。また、このカメラ９の代りに、マウス、タブレット及びタッチパネルなどの描画装置を用いることもできる。この通信装置７は画像圧縮手段７０１及び画像通信手段７０２を有する。この画像圧縮手段７０１は、このカメラ９が撮影したデジタル画像１１１からこの視覚装置２によって生成された多色画像１１２、文字／図形画像１１３及び精細文字／図形画像１１４を入力し、ＭＰＥＧなどの動画像圧縮技術及びＪＰＥＧなどの静止画像圧縮技術を用いて動画像及びフレーム画像を圧縮し、画像通信手段７０２に出力する。このとき、これらの入力画像の多くの画素が灰色であり、他の色の数も限られているので、これらの色を効率よく圧縮できるＧＩＦ及びＦｌａｓｈのようなアニメーションに適した圧縮形式を組み合せることにより、この画像圧縮手段７０１は高い圧縮率を達成することができる。
【０１２９】
次に、画像通信手段７０２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）のような通信ネットワーク８を介して、傍にあるコンピュータシステム８００にＭＰＥＧ画像及びＪＰＥＧ画像などを送信することができる。さらにこの画像通信手段７０２は、ＴＣＰ／ＩＰなどの通信プロトコルを実装することにより、インターネットなどの通信ネットワーク８を介して遠隔地のコンピュータシステム８００にこれらのＭＰＥＧ画像及びＪＰＥＧ画像などを送信することができる。さらにこの画像通信手段７０２としてＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなどの高帯域無線技術を用いることにより、この通信装置７は、このカメラ９が撮影した動画像を安価に、しかも場所と時間を選ばずに送信することができる。勿論、電子メールを利用することにより、この通信装置７は、このコンピュータシステム８００と通信できるときだけ、これらのＭＰＥＧ画像及びＪＰＥＧ画像などを送信することができる。そこで、請求項８記載の発明に対応する文字／図形探索システムの実施形態では、この通信ネットワーク８に少なくとも１個のコンピュータシステム８００を接続することにより、このコンピュータシステム８００は、この通信ネットワーク８からこれらの圧縮画像を高速に受信することができる。
【０１３０】
ここで、図１３に示すように、このコンピュータシステム８００は、画像受信手段８０１、画像伸張手段８０２、文字／図形領域検出手段８０３、キー画像生成手段８０４及び画像検出手段８０５を備えるものとする。この画像受信手段８０１は、画像通信手段７０２と同様の技術を用いて、通信ネットワーク８から圧縮画像データを受信する。この画像伸張手段８０２は、ＭＰＥＧなどの動画伸張技術及びＪＰＥＧなどの静止画像伸張技術を用いて、これらの圧縮画像データを、視覚装置２によって生成された多色画像１１２、文字／図形画像１１３及び精細文字／図形画像１１４に伸張する。このとき、これらの画像中の多くの画素は灰色であるので、この文字／図形領域検出手段８０３は、灰色以外の画素に対して水平方向及び垂直方向のヒストグラムを計算することにより、これらの画像に含まれる少なくとも１個の文字／図形を含む領域の位置及び大きさも容易に決定することができる。また、所定の色を１とし、残りの色を０とする二値画像に対して視覚装置２の位置／大きさ検出アルゴリズムを用いることにより、この文字／図形領域検出手段８０３は、この領域の位置及び大きさを高速に検出できる。さらに、この位置／大きさ検出アルゴリズムの代りに、位置、大きさ及び傾き検出アルゴリズム（以下、位置／大きさ／傾き検出アルゴリズムと略記する。）を用いることにより、この領域の傾きも高速に検出することができる。そこでこのキー画像生成手段８０４は、この領域の位置及び大きさを用いて、これらの画像からこの領域を切り出すことにより、データベースのキー画像を生成することができる。
【０１３１】
一方で、図１４に示すように、このデータベースは、記録画像の識別番号である画像ＩＤ５０１、この記録画像の説明である画像説明５０２及びこの記録画像のデータである記録画像データ５０３を含む画像レコードを多数記録している。そこで、この画像検出手段８０５は、ｉｍｇＳｅｅｋのような画像検索ソフトウェア、ＳＱＬ（Ｓｔｒｕｃｔｕｒｅ  Ｑｕｅｒｙ  Ｌａｎｇｕａｇｅ）のようなデータベース記述言語を備えたリレーショナルデータベース及びオブジェクト指向データベース、さらにはパーセプトロンのようなニューラルネットワークなどを用いることにより、このキーから、色情報を含めて、高い精度で所定の文字／図形を検出することができる。
【０１３２】
さて、図１２に示すように、請求項９記載の発明に対応する文字／図形探索システムの実施形態は、携帯電話２１１のような通信装置７がディスプレイ２２２及びスピーカ２２４を備えることにより、デジタル画像１１１の撮影者に対して情報を伝達することができる。そこで、このコンピュータシステム８００が、画像通信手段７０２と同様の画像送信手段を備え、さらに、少なくとも１個の所定の文字／図形を含む領域を用いてこの画像検出手段８０５が検出した検出結果又は位置情報を、通信ネットワーク８を介して通信装置７に送信することにより、この通信装置７は、この撮影者に対してこの領域の位置を教えることができる。例えば、この位置情報は、このデジタル画像１１１の二次元座標で表されるものとする。この場合、この位置情報が指し示す位置をこのディスプレイ２２２に表示することにより、この撮影者は、この文字／図形にこのカメラ９を向けることができる。さらにこの撮影者が、この位置を常にこのデジタル画像１１１の中心と一致させながら前進することにより、この撮影者はこの文字／図形がある場所に辿り着くことができる。また、この位置情報は、このデジタル画像１１１の中心からの相対的な方向、例えば上、下、左及び右などを表しても良い。この場合、このスピーカ２２４が、音声合成装置を介してこれらの方向を音声データとして出力することにより、この撮影者は、このディスプレイ２２２を見なくても、この文字／図形がある場所に辿り着くことができる。特にこのような音声機能は、視覚障害者及び高齢者など、このディスプレイ２２２を見ることが困難な人及び作業中の作業員のように、このディスプレイ２２２を常時見続けることが困難な人にとって役に立つ。
【０１３３】
ところで、このデータベースが図１４に示すように、記録画像の識別番号である画像ＩＤ５０１、この記録画像の説明である画像説明５０２及びこの記録画像のデータである記録画像データ５０３を含む画像レコードを多数記録しており、さらにこの画像レコードが、図１５に示すように、この記録画像に対する検索結果文字列５０４及び検索結果画像である別の記録画像を指し示す検索結果画像ＩＤ５０５のうち少なくとも１個を含むものとする。このとき、請求項１０記載の発明に対応する文字／図形探索システムの実施形態は、データベースの機能を利用することにより、撮影されたデジタル画像１１１中の文字／図形自体ではなく、この文字／図形に関連付けられた検索結果文字列５０４又は検索結果画像をこのデジタル画像１１１の撮影者に対して伝達することができる。つまり、このコンピュータシステム８００が、この検索結果文字列５０４又はこの検索結果画像を通信ネットワーク８を介して通信装置７に送信することにより、この通信装置７は、この撮影者に対してこの検索結果文字列５０４又はこの検索結果画像を提示することができる。例えば、撮影された単語が「世界一高い山」であれば、このコンピュータシステム８００は「エベレスト」という単語若しくはこのエベレストの画像をこの通信装置７に送信することができる。本発明はこの単語を表す画像をこのデータベースのキーとして用いているので、日本語、英語、フランス語及びドイツ語など、使用される言語に関係なく、このデータベースを検索することができる。しかも、視覚装置２がこのデジタル画像１１１からこの単語を抽出し、さらに圧縮するので、本発明は、この通信ネットワーク８の通信負荷を大幅に軽減することができる。したがって、携帯電話２１１のように通信帯域が制限される通信ネットワーク８にとって特に有用である。さらに、この検索結果文字列５０４をホームページアドレスにすることにより、この撮影者は、ｉ−ｍｏｄｅのようなインターネット接続機能を利用して、撮影した文字／図形からホームページを直接呼び出すこともできる。勿論、この撮影者は、この検索結果文字列５０４をこのホームページへの文字入力にも利用することができる。
【０１３４】
なお、ここではこの記録画像データ５０３として一般的な文字／図形の画像を用いる場合について説明したが、勿論、このデータベースは、この文字／図形を含む画像だけでなく、この画像に関連付けられた多色画像１１２、文字／図形画像１１３及び精細文字／図形画像１１４のいずれかをこの記録画像データ５０３として用いることができる。この場合、このデータベースは、この文字／図形の画像の画像ＩＤ５０１をこの検索結果画像ＩＤ５０５として用いることができる。これにより、このデータベースはこの文字／図形の画像を高速に検索することができる。
【０１３５】
請求項１及び４記載の発明の実施形態によれば、全ての手段が局所処理によって実現され得る。したがってイメージセンサの製造者は、二次元格子状に配列された複数の配列演算ユニット１００から構成されるデータ処理装置１１０を実現するＬＳＩ（大規模集積回路）を製造し、このＬＳＩを必要な数だけ積層することにより、デジタル画像１１１を簡単に、しかも高速に減色するイメージセンサを実現することができる。そこで、このイメージセンサをパーソナルコンピュータ、ゲーム機、テレビ及びビデオデッキなどの電子機器に組み込むことにより、これらの電子機器は、利用者のプライバシに配慮しながら、この利用者のジェスチャを取り込むことができる。特にこのイメージセンサは、高齢者の安否を確認したり、この高齢者の徘徊を監視するのに適している。また、本実施形態は、このデジタル画像１１１の各画素を３ビットの帯域画素値に圧縮して、カラーマンガのような画像を生成することができる。そこで、本実施形態をビデオデッキに組み込むことにより、このビデオデッキは、録画した動画像の各シーンに対して的確なラベルを付けすることができる。したがって、このビデオデッキの利用者は、タッチパネルなどを使って、見たいシーンのスケッチを描くことにより、このビデオデッキは、このシーンの頭出しを素早く行うことができる。さらに、本実施形態を携帯電話２１１のような通信機器に組み込むことにより、例えこのデジタル画像１１１の画素数が多くても、この通信機器はこのデジタル画像１１１を効率よく圧縮することができる。なお、本実施形態は人間の脳の視覚機能に極めて類似しているので、本実施形態は人間の脳の視覚機能の解明に大いに有用である。例えば、クロマニョン人のような古代人が洞窟に壁画を描いたり、我々の祖先が原始的な象形文字を利用していたが、これらの多くは抽象的な線画であった。この理由は、彼らの脳及び手の表現力が未熟だったからであると考えられているが、本実施形態は、彼らが脳の視覚機能に従って忠実に、つまり「見たまま」に動物及び物体を表現していたことを暗示している。さらに我々自身もマンガの中の登場人物及び風景を容易に認識することができるが、本実施形態を用いれば、この理由も容易に理解することができる。したがって、本実施形態は、利用者にとって理解しやすいユーザインターフェースの開発に役に立つ。
【０１３６】
請求項２及び５記載の発明の実施形態によれば、全ての手段が局所処理によって実現され得る。したがってイメージセンサの製造者は、二次元格子状に配列された複数の配列演算ユニット１００から構成されるデータ処理装置１１０を実現するＬＳＩ（大規模集積回路）を製造し、このＬＳＩを必要な数だけ積層することにより、デジタル画像１１１中の文字／図形を簡単に、しかも高速に抽出するイメージセンサを実現することができる。そこで、このイメージセンサをパーソナルコンピュータ、ゲーム機、テレビ及びビデオデッキなどの電子機器に組み込むことにより、これらの電子機器は、利用者のプライバシに配慮しながら、この利用者のジェスチャを取り込むことができる。特にこのイメージセンサは、高齢者の安否を確認したり、この高齢者の徘徊を監視するのに適している。また、本実施形態は、この文字／図形の色及び形状を損なうことなく、このデジタル画像１１１を圧縮して、カラーマンガのような画像を生成することができる。そこで、本実施形態をビデオデッキに組み込むことにより、このビデオデッキは、録画した動画像の各シーンに対して的確なラベルを付けすることができる。したがって、このビデオデッキの利用者は、タッチパネルなどを使って、見たいシーンのスケッチを描くことにより、このビデオデッキは、このシーンの頭出しを素早く行うことができる。さらに、本実施形態を携帯電話２１１のような通信機器に組み込むことにより、例えこのデジタル画像１１１の画素数が多くても、この通信機器はこのデジタル画像１１１を効率よく圧縮することができ、しかもこの通信機器の利用者は、プライバシーに配慮しながらこの文字／図形を的確に識別することができる。特に、視覚障害者及び高齢者に対して、サポータが遠隔から代読及び歩行などを支援をするのに適している。
【０１３７】
請求項３及び６記載の発明の実施形態によれば、全ての手段が局所処理によって実現され得る。したがってイメージセンサの製造者は、二次元格子状に配列された複数の配列演算ユニット１００から構成されるデータ処理装置１１０を実現するＬＳＩ（大規模集積回路）を製造し、このＬＳＩを必要な数だけ積層することにより、デジタル画像１１１中の文字／図形を簡単に、しかも高速に抽出するイメージセンサを実現することができる。そこで、このイメージセンサをパーソナルコンピュータ、ゲーム機、テレビ及びビデオデッキなどの電子機器に組み込むことにより、これらの電子機器は、利用者のプライバシに配慮しながら、この利用者のジェスチャを取り込むことができる。特にこのイメージセンサは、高齢者の安否を確認したり、この高齢者の徘徊を監視するのに適している。また、本実施形態は、この文字／図形の色及び形状を正確に保持しながら、このデジタル画像１１１を圧縮して、カラーマンガのような画像を生成することができる。そこで、本実施形態をビデオデッキに組み込むことにより、このビデオデッキは、録画した動画像の各シーンに対して的確なラベルを付けすることができる。したがって、このビデオデッキの利用者は、タッチパネルなどを使って、見たいシーンのスケッチを描くことにより、このビデオデッキは、このシーンの頭出しを素早く行うことができる。さらに、本実施形態を携帯電話２１１ような通信機器に組み込むことにより、例えこのデジタル画像１１１の画素数が多くても、この通信機器はこのデジタル画像１１１を効率よく圧縮することができ、しかもこの通信機器の利用者は、プライバシーに配慮しながらこの文字／図形を正確に識別することができる。特に、視覚障害者及び高齢者に対して、サポータが遠隔から代読及び歩行などを支援をするのに適している。
【０１３８】
請求項７及び８記載の発明の実施形態によれば、通信ネットワーク８を介して、視覚装置２を搭載した通信システムと接続されたコンピュータシステム８００は、カメラ９が撮影したデジタル画像１１１から文字／図形を容易に選択することができ、しかもこの文字／図形の色を的確に識別することができる。そこで、このコンピュータシステム８００にこの文字／図形を認識する機能を持たせることにより、このコンピュータシステム８００の利用者は、このカメラ９を持っている遠隔地の撮影者の周囲の状況を容易に把握することができる。
【０１３９】
請求項９記載の発明の実施形態によれば、通信ネットワーク８を介して、視覚装置２を搭載した通信システムと接続されたコンピュータシステム８００は、カメラ９が撮影したデジタル画像１１１から文字／図形を容易に選択することができ、しかもこの文字／図形の色を的確に識別することができる。そこで、このコンピュータシステム８００にこの文字／図形を認識する機能を持たせることにより、このコンピュータシステム８００の利用者は、このカメラ９を持っている遠隔地の撮影者の周囲の状況を容易に把握することができる。例えば、このコンピュータシステム８００にハンバーガーチェーンのロゴを認識する機能を持たせることにより、このコンピュータシステム８００は、この撮影者の周囲にこのハンバーガーチェーンの店舗があるかどうか判断することができる。しかも、もしあれば、このコンピュータシステム８００がこの撮影者に対してこのカメラ９をこのロゴの方向に向けさせることにより、このコンピュータシステム８００は、この店舗の入り口までこの撮影者を誘導することができる。勿論、このコンピュータシステム８００にこの店舗までの途中にある看板及びランドマークを認識する機能を持たせることにより、このコンピュータシステム８００は、この店舗までこの撮影者を誘導することもできる。したがって、この撮影者は初めての場所でも簡単にこの店舗を見付けることができる。さらに、このコンピュータシステム８００にトイレマークを認識する機能を持たせることにより、このコンピュータシステム８００は無線誘導装置など高価な社会基盤を整備することなく、普段使用している看板及びチラシなどをそのまま用いることにより、この撮影者をこの店舗のトイレまで誘導することができる。このような通信システムを、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）と組み合せることにより、この通信システムは高い精度と有用性を達成することができ、特に視覚障害者及び高齢者などが外出する際に便利である。この他に、このコンピュータシステム８００に道路上の複数の車線及びマークを認識する機能を持たせることにより、このコンピュータシステム８００は、これらの車線の位置を検出することができるばかりか、安全地帯の位置及び制限速度を警告することができる。
【０１４０】
請求項１０記載の発明の実施形態によれば、通信ネットワーク８を介して、視覚装置２を搭載した通信システムと接続されたコンピュータシステム８００は、カメラ９が撮影したデジタル画像１１１から文字／図形を容易に選択することができ、しかもこの文字／図形の色を的確に識別することができるばかりか、このカメラ９を持っている遠隔地の撮影者に、この文字／図形に対応した情報を提供することができる。そこで、このコンピュータシステム８００に特定のキーワード及びマークを認識する機能を持たせることにより、この撮影者は、周囲に隠されたこれらのキーワード及びマークを見付け出すことができる。例えば、このコンピュータシステム８００がデータベースを用いて日時、場所、これらのキーワード及びマークを組み合せることにより、この通信システムは、これらのキーワード及びマークを順番に探していく宝探しゲームを、この通信ネットワーク８を介して広範囲で実現することができる。したがって、このようなゲームを上述のハンバーガーチェーンの店舗への誘導と組み合わせることにより、この通信システムはこのハンバーガーチェーンの営業活動を促進することができる。また、このコンピュータシステム８００にテレビの番組表に記載された番組名、時刻及びマークを認識する機能を持たせることにより、この撮影者は、撮影した番組の情報を得られるばかりか、この通信装置７をテレビ及びビデオのリモコンとして利用することもできる。この番組表の文字は一般に小さいので、特に視覚障害者及び高齢者などがテレビ及びビデオを利用する際に便利である。さらに、この撮影者が携帯電話２１１のような通信装置７を用いてチラシ及びホームページなどに書かれた商品コードを撮影した場合、このコンピュータシステム８００は、この携帯電話２１１に商品の説明、広告及び発注案内を送信することもできる。したがって、通信販売会社がこのコンピュータシステム８００を利用することにより、この会社はカタログにバーコードなどを利用しなくても、顧客からの注文を自動化することができる。しかもこの商品コードが小さくても、この撮影者がこのカタログを接写することにより、このコンピュータシステム８００はこの商品コードを識別できるので、特に視覚障害者及び高齢者などが通信販売を利用する際に便利である。勿論、この撮影者がテレビ番組中の女優が着ている服及び友人の家で見付けたアクセサリを撮影して、これらの服及びアクセサリを即座に注文することもできる。この他に、このコンピュータシステム８００に道路標識を認識する機能を持たせることにより、このコンピュータシステム８００は、カーナビゲーションに登録されていない臨時の工事に対しても、通行止めを警告したり、この撮影者の車を回り道に誘導することができる。
【０１４１】
以上、本実施形態を説明したが、本発明は上述の実施形態には限定されることはなく、当業者であれば種々なる態様を実施可能であり、本発明の技術的思想を逸脱しない範囲において本発明の構成を適宜改変できることは当然であり、このような改変も、本発明の技術的範囲に属するものである。
【図面の簡単な説明】
【図１】本実施形態のデータ処理装置を１個含む視覚装置のブロック図である。
【図２】本実施形態のデータ処理装置を４個含む視覚装置のブロック図である。
【図３】本実施形態の格子状に配置された配列演算ユニットのブロック図である。
【図４】本実施形態のデジタル画像の各画素を５色に分類する場合の説明図である。
【図５】本実施形態のデジタル画像から文字及び図形を抽出する場合の説明図である。
【図６】本実施形態のデジタル画像から抽出した文字及び図形の色を正確に表す場合の説明図である。
【図７】本実施形態の多色分類手段のアルゴリズムを示すフローチャートである。
【図８】本実施形態の文字／図形抽出手段のアルゴリズムを示すフローチャートである。
【図９】本実施形態の精細文字／図形抽出手段のアルゴリズムを示すフローチャートである。
【図１０】本実施形態の配列演算ユニットの内部構造のブロック図である。
【図１１】本実施形態のカメラ、視覚装置及び通信装置から構成される通信システムのブロック図である。
【図１２】本実施形態のカメラ、ディスプレイ及びスピーカを搭載した携帯電話の説明図である。
【図１３】本実施形態の圧縮画像データを用いてデータベースを検索するコンピュータシステムの説明図である。
【図１４】本実施形態の記録画像を記録するデータベース中の画像レコードの説明図である。
【図１５】本実施形態の検索結果画像ＩＤと検索結果文字列を記録するデータベース中の画像レコードの説明図である。
【符号の説明】
２        視覚装置
７        通信装置
８        通信ネットワーク
９        カメラ
１１      多色分類手段
１２      文字／図形選択手段
１３      テクスチャ除去手段
１４      精細化手段
２１      文字／図形抽出手段
２２      精細文字／図形抽出手段
５１      アドレスバス
５２      データバス
１００    配列演算ユニット
１０１    プロセッサ
１０２    メモリ
１０３    コントローラ
１１０    データ処理装置
１１１    デジタル画像
１１２    多色画像
１１２ａ  多色画像（白）
１１２ｂ  多色画像（黒）
１１２ｃ  多色画像（赤）
１１２ｄ  多色画像（緑）
１１３    文字／図形画像
１１３ａ  文字／図形画像（白）
１１３ｂ  文字／図形画像（黒）
１１３ｃ  文字／図形画像（赤）
１１３ｄ  文字／図形画像（緑）
１１４    精細文字／図形画像
２１１    携帯電話
２２２    ディスプレイ
２２４    スピーカ
５０１    画像ＩＤ
５０２    画像説明
５０３    記録画像データ
５０４    検索結果文字列
５０５    検索結果画像ＩＤ
７０１    画像圧縮手段
７０２    画像通信手段
８００    コンピュータシステム
８０１    画像受信手段
８０２    画像伸張手段
８０３    文字／図形領域検出手段
８０４    キー画像生成手段
８０５    画像検出手段
【図１】
2004328549.tif 000030
【図２】
2004328549.tif 000031
【図３】
2004328549.tif 000032
【図４】
2004328549.tif 000033
【図５】
2004328549.tif 000034
【図６】
2004328549.tif 000035
【図７】
2004328549.tif 000036
【図８】
2004328549.tif 000037
【図９】
2004328549.tif 000038
【図１０】
2004328549.tif 000039
【図１１】
2004328549.tif 000040
【図１２】
2004328549.tif 000041
【図１３】
2004328549.tif 000042
【図１４】
2004328549.tif 000043
【図１５】
2004328549.tif 000044