(57)【要約】【課題】  画像入力機器により取り込まれた文書、図面の画像から、文字・線図を正確にまたは改善した再現画像を作成する。【解決手段】  多値ビットマップの原画像を取得する原画像取得手段１１と、原画像取得手段が取得した原画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段１４と、輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段１５と、地形的特徴抽出手段が抽出した地形的特徴を組み込むことで前記原画像中の文字・線図を再現した２値画像を作成する地形的特徴組み込み手段１６とを備える。【選択図】    図３
2005064736.tif 000002
【特許請求の範囲】
【請求項１】
多値ビットマップの原画像を取得する原画像取得手段と、
前記原画像取得手段が取得した前記原画像から、当該原画像よりも高解像度の多値画像を生成する高解像度多値画像生成手段と、
前記原画像取得手段が取得した前記原画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段と、
前記輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段と、
前記高解像度多値画像生成手段が生成した前記多値画像に含まれる文字・線図の輪郭に、前記地形的特徴抽出手段が抽出した地形的特徴を組み込むことで、前記文字・線図を再現または改善した２値画像を生成する地形的特徴組み込み手段と、
前記地形的特徴組み込み手段が生成した前記２値画像、または当該２値画像を多値化した画像に含まれる文字・線図の輪郭を修正する輪郭修正手段と、
前記輪郭修正手段により文字・線図の輪郭が修正された画像を、表示装置、印刷装置またはネットワークを介した接続された外部装置に出力する画像出力手段と、
を備えたことを特徴とする画像出力装置。
【請求項２】
前記地形的特徴は、輝度曲面を実際の地形に対応させたときに、周囲よりも輝度が低い「谷または窪地」、周囲よりも輝度が高い「尾根または山頂」、「谷または窪地」と「尾根または山頂」との間に位置する「山腹または鞍部」であることを特徴とする請求項１に記載の画像出力装置。
【請求項３】
さらに、前記画像出力手段が出力する画像の前記文字・線図または更に背景の色彩が、前記原画像取得手段が取得した前記原画像における色に近似させて生成されていることを特徴とする請求項１または２に記載の画像出力装置。
【請求項４】
前記原画像取得手段は、前記原画像がカラー画像であるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段を備えたことを特徴とする請求項１から３の何れかに記載の画像出力装置。
【請求項５】
前記地形的特徴組み込み手段は、前記輝度曲面のうち極小部分が線状または帯状に連続する領域および前記極小部分が局在する領域を、文字・線図の一部として前記元画像における文字・線図を再現または改善した文字・線図を再現または改善した前記２値画像を生成することを特徴とする請求項１から４の何れかに記載の画像出力装置。
【請求項６】
前記高解像度多値画像生成手段が生成した前記高解像度多値画像から、各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とからなる基本画像（地形的特徴の組み込みがなされる画像）を生成する基本画像生成手段を備え、
前記地形的特徴組み込み手段は、前記基本画像生成手段が生成した前記基本画像に基づき前記文字・線図を再現または改善した２値画像を生成することを特徴とする請求項１から５の何れかに記載の画像出力装置。
【請求項７】
前記地形的特徴組み込み手段は、前記（ｃ）文字・線図を構成するか否かが確定されていない画素が、前記輝度曲面のうち極小部分が線状または帯状に連続する領域または前記極小部分が局在する領域に含まれるときは、当該画素が文字・線図を構成するものとして、文字・線図を再現または改善した前記２値画像を生成することを特徴とする請求項６に記載の画像出力装置。
【請求項８】
前記高解像度多値画像生成手段が生成した高解像度多値画像の各画素における輝度勾配量を検出する輝度勾配量検出手段を備え、
前記輪郭修正手段は、前記輝度勾配量検出手段が検出した各画素の輝度勾配量により前記地形的特徴組み込み手段が作成した文字・線図を再現または改善した前記画像中の文字・線図の輪郭を修正する第１の輪郭修正手段を有する、
ことを備えたことを特徴とする請求項１から７の何れかに記載の画像出力装置。
【請求項９】
前記輪郭修正手段は、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を形成する画素列の曲率または方向変化を参照してさらに当該画像中の文字・線図の輪郭を修正する第２の輪郭修正手段を有することを特徴とする請求項８に記載の画像出力装置。
【請求項１０】
前記第２の輪郭修正手段は、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングして、各クラスタについて前記輪郭の円滑化および／または角部の角度鮮明化により、前記画像中の文字・線図の輪郭を修正することを特徴とする請求項９に記載の画像出力装置。
【請求項１１】
多値ビットマップの原画像を取得する原画像取得手段と、
前記原画像取得手段が取得した前記原画像から、当該原画像よりも高解像度の多値画像を生成する高解像度多値画像生成手段と、
前記高解像度多値画像生成手段が生成した前記多値画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段と、
前記輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段と、
前記地形的特徴抽出手段が抽出した前記地形的特徴を組み込むことで、前記原画像中の文字・線図を再現または改善した２値画像を作成する地形的特徴組み込み手段と、
前記地形的特徴組み込み手段が生成した前記２値画像、または当該２値画像を多値化した画像に含まれる文字・線図の輪郭を修正する輪郭修正手段と、
前記輪郭修正手段により文字・線図の輪郭が修正された画像を、表示装置、印刷装置またはネットワークを介した接続された外部装置に出力する画像出力手段と、
を備えたことを特徴とする画像出力装置。
【請求項１２】
前記地形的特徴は、輝度曲面を実際の地形に対応させたときに、周囲よりも輝度が低い「谷または窪地」、周囲よりも輝度が高い「尾根または山頂」、「谷または窪地」と「尾根または山頂」との間に位置する「山腹または鞍部」であることを特徴とする請求項１１に記載の画像出力装置。
【請求項１３】
さらに、前記画像出力手段が出力する画像の前記文字・線図または更に背景の色彩が、前記原画像取得手段が取得した前記原画像における色に近似させて生成されていることを特徴とする請求項１１または１２に記載の画像出力装置。
【請求項１４】
前記原画像取得手段は、前記原画像がカラー画像であるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段を備えたことを特徴とする請求項１１から１３の何れかに記載の画像出力装置。
【請求項１５】
前記地形的特徴組み込み手段は、前記輝度曲面のうち極小部分が線状または帯状に連続する領域および前記極小部分が局在する領域を、文字・線図の一部として前記元画像における文字・線図を再現または改善した文字・線図を再現または改善した前記２値画像を生成することを特徴とする請求項１１から１４の何れかに記載の画像出力装置。
【請求項１６】
前記高解像度多値画像生成手段が生成した前記高解像度多値画像から、各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とからなる基本画像を生成する基本画像生成手段を備え、
前記地形的特徴組み込み手段は、前記基本画像生成手段が生成した前記基本画像に基づき前記文字・線図を再現または改善した２値画像を生成することを特徴とする請求項１１から１５の何れかに記載の画像出力装置。
【請求項１７】
前記地形的特徴組み込み手段は、前記（ｃ）文字・線図を構成するか否かが確定されていない画素が、前記輝度曲面のうち極小部分が線状または帯状に連続する領域または前記極小部分が局在する領域に含まれるときは、当該画素が文字・線図を構成するものとして、文字・線図を再現または改善した前記２値画像を生成することを特徴とする請求項１６に記載の画像出力装置。
【請求項１８】
前記高解像度多値画像生成手段が生成した高解像度多値画像の各画素における輝度勾配量を検出する輝度勾配量検出手段を備え、
前記輪郭修正手段は、前記輝度勾配量検出手段が検出した各画素の輝度勾配量により前記地形的特徴組み込み手段が作成した文字・線図を再現または改善した前記画像中の文字・線図の輪郭を修正する第１の輪郭修正手段を有する、
ことを備えたことを特徴とする請求項１１から１７の何れかに記載の画像出力装置。
【請求項１９】
前記輪郭修正手段は、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を形成する画素列の曲率または方向変化を参照してさらに当該画像中の文字・線図の輪郭を修正する第２の輪郭修正手段を有することを特徴とする請求項１８に記載の画像出力装置。
【請求項２０】
前記第２の輪郭修正手段は、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングして、各クラスタについて前記輪郭の円滑化および／または角部の角度鮮明化により、前記画像中の文字・線図の輪郭を修正することを特徴とする請求項１９に記載の画像出力装置。
【請求項２１】
コンピュータを、請求項１から２０の何れかに記載の各手段として機能させる画像出力プログラム。
【請求項２２】
コンピュータを、請求項１から２０の何れかに記載の各手段として実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャナ、デジタルカメラ等の画像入力機器により取り込まれた文書、図面の画像から、文字・線図を正確に再現した画像または文字・線図を改善して再現した画像を作成することができる画像出力装置、画像出力プログラムおよびこのプログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
近年、カラースキャナ、カラーデジタルカメラ（カラーデジタルカメラ付きの携帯型電話機を含む）等のカラー情報入力機器が広く普及している。カラースキャナでは、たとえば解像度４００ｄｐｉ、２５６階調で原稿画像を読み取る場合には、処理するべきデータ量が増化し、読み取りに時間がかかる等の不都合がある。また、カラーデジタルカメラでは、たとえば解像度４００ｄｐｉで撮影するとメモリに記憶できる画像数が少なくなるといった不都合がある。
【０００３】
一般に、カラー画像では、たとえば２００ｄｐｉ程度であっても、ディスプレイに表示する場合に画質が劣って見えることはない。このため、この種のカラー情報入力機器では、カラーの文書、図面、地図等を、２００ｄｐｉ程度の解像度で取得し（すなわち読み取りまたは撮影し）、所定フォーマット（ＴＩＦ、ＪＰＥＧ、ＧＩＦ等）のイメージファイルとして他の装置に送信等している。
【０００４】
ところで、カラービットマップ画像に、写真、絵等のほか、文字・線図が含まれている場合において、これら文・線図を正確にまたは改善して出力したいことがある。たとえば、あるユーザは、カラービットマップ画像中の文字・線図を、ディスプレイに表示し、またはプリントしたい場合がある。
【０００５】
ところが、カラーの印刷文書、図面、地図等が２００ｄｐｉ程度の解像度で作成されている場合に、画像に含まれる文字・線図が小さいと（たとえば、３ミリ四方程度だと）、当該画像をディスプレイに表示出力したときや、印刷出力したときに文字・線図の視認性が低下する場合がある。
【０００６】
モノクロ画像からなる文書、図面、地図等は２００ｄｐｉ程度の解像度では、たとえばディスプレイに表示したときに画質が劣って見える。このため、モノクロ画像からな文書等は、通常は、解像度４００ｄｐｉ以上の解像度で作成される。すなわち、モノクロスキャナでは（あるいは、カラースキャナのモノクロ読み取りモードでは）、４００ｄｐｉ程度の解像度で、文書、図面、地図等を読み取り、２値画像としてディスプレイに表示したり印刷したりすることができる。また、デジタルカメラでは、モノクロで撮影した場合には、撮影画像のデータ量は、カラーで撮影した場合のデータ量に比べて圧倒的に小さいので、撮影画像は４００ｄｐｉ程度の解像度で、ディスプレイに表示したり印刷したりすることができる。
【０００７】
モノクロビットマップ画像は、４００ｄｐｉ程度の解像度であれば、画像中の文字が小さい場合（たとえば、３ミリ四方程度）であっても、高い視認性でディスプレイに表示することができるし、またプリンタにより高解像度で印刷出力することができる。
【０００８】
従来、２００ｄｐｉ程度以下の解像度、多階調のカラー画像に含まれる線図等を、モノクロの４００ｄｐｉと同様に、正確に再現しまたは改善して作成し、これをディスプレイに表示し、印刷し、または所定装置に送信することが望まれている。
【０００９】
従来のカラービットマップ画像に描かれている文字を正確に再現し、または改善して作成するためには、（１）フィルタリング、（２）コントラスト強調、（３）モデルベースの画像復元、（４）高解像度化が用いられる。
【００１０】
（１）のフィルタリングには、たとえばモルフォルジー（Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ｏｐｅｒａｔｉｏｎ）を用いたノイズ除去方法（非特許文献１，非特許文献２参照）、細部をぼかさずにノイズを除去する２次フィルタを用いた方法（非特許文献３参照）がある。
【００１１】
（２）のコントラスト強調には、たとえば処理ウィンドウ（たとえば、３×３画素，５×５画素の処理領域）内の局所的統計量をもとにした非線形の階調変換（非特許文献４参照）がある。
【００１２】
（３）のモデルベースの画像復元には、たとえばＯＣＲの誤認識の原因をクラスタ分析によりモデル化して画像復元する方法（非特許文献５参照）がある。
【００１３】
（４）の高解像度化としては、ビットマップ画像中の文字・線図を構成する画素をクラスタリングして平均することにより、任意の解像度のアウトラインを生成する方法（非特許文献６参照）、分布の双峰性、滑らかさ、輝度の３つをパラメータとする評価関数に基づき、逆問題として定式化し、最適な高解像度画像を復元する方法（非特許文献７参照）、補間による高解像度化と２値化に基づく方法（特許文献１，特許文献２，特許文献３，非特許文献８，非特許文献９参照）などがある。
【００１４】
人間にとってのテキストの読みやすさという点からの画質の改善の両方を考えるならば、低解像度のビットマップ画像から高解像度の２値ビットマップ画像を復元するというアプローチが自然である。なお、理論的には、低解像度・多階調（あるいは多値）画像と高解像度・２値画像とは、サンプリング間隔、量子化レベル数、ＰＳＦ（点広がり関数：ｐｏｉｎｔ  ｓｐｒｅａｄ  ｆｕｎｃｔｉｏｎ）のぼけ効果に関して、ある関係が成り立てば、同じ情報量を持つことが知られている（非特許文献１０）。
【００１５】
【特許文献１】特許第３３４５３５０号
【特許文献２】特開平８‐３４０４４６号
【特許文献３】特開２００１‐１１８０３２
【非特許文献１】L. Koskinen, H. Huttunen, and J.T. Astola, Text enhancement method based on soft morphological filters Proceedings of SPIE, vol. 2181, pp. 243-253, 1994.
【非特許文献２】J. Liang, R.M. Haralick, and I.T. Phillips, Document image restoration using binary morphological filters, Proceedings of SPIE, vol. 2660, pp. 274-285, 1996.
【非特許文献３】G. Ramponi and P. Fontanot, Enhancing document images with a quadratic filter, Signal Processing, vol. 33, pp. 23-34. 1993.
【非特許文献４】Y.C. Shin, R. Sridhar, V. Demjanenko, P.W. Palumbo, and J.J. Hull、 Contrast enhancement of mail piece images, Proceedings of SPIE, vol. 1661, pp. 27-37, 1992.
【非特許文献５】M.Y. Jaisimha, E.A. Riskin, R. Ladner, and S. Werner, Model-based restoration of document images for OCR, Proceedings of SPIE, vol. 2660, pp. 297-308, 1996.1997
【非特許文献６】US5930393(T.K. Ho and J.D. Hobby; Lucent Technologies), July 27, 1999.
【非特許文献７】P.D. Thouin and C.-I. Chang, A method for restoration of low-resolution document images, International Journal on Document Analysis and Recognition， vol. 2， pp. 200-210， 2000.
【非特許文献８】US5524070(Y.-C. Shin, R. Sridhar, S.N. Srihari and V. Demjamenko; State University of New York, Buffalo), April 6, 1996.
【非特許文献９】US6347156 (H. Kamada and K. Fujimoto; Fujitsu), February 12, 2002.
【非特許文献１０】D. Lee, T. Pavlidis, and G.W. Wasilkowski, A note on the trade-off between sampling and quantization in signal processing, Journal of Complexity, vol. 3, pp. 359-371, 1987.
【非特許文献１１】N.B. Karayiannis and A.N. Venetsanopoulos, Image interpolation based on variational principles, Signal Processing, vol. 25、 pp. 259-288, 1991.
【非特許文献１２】A.D. Kulkarni and K. Sivaraman, Interpolation of digital imagery using hyperspace approximation, Signal Processing, vol. 7, pp. 65-73, 1984.
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、上述した従来方法には次のような問題点がある。
まず、（１）のビットマップのクラスタリングと平均化の方法では、同一の文書画像上に同じ文字について十分な数のサンプルが存在することを仮定している。この仮定は、ヨーロッパ系の言語のように、文字種が少ない場合（アルファベット、数字、記号等を合計しても高々１００種類程度）には成立するが、東洋系の言語のように文字種が多い場合（たとえば漢字の場合には数千〜数万）には成立しない場合が多い。
【００１７】
次に、（４）の逆問題として定式化して解く方法であるが、計算量が多く、さらに、漢字のようにストロークの密度が高い場合には、後述する図１３（Ａ），（Ｂ），（Ｃ）にも示すように、ストロークと背景の輝度が逆転することもあり、分布の双峰性や輝度によって復元することが難しい場合が生じる。また、補間して２値化するという単純な方法でも、フォント形状の特徴をある程度は復元できる。しかし、後述する図１１（Ｂ）に示すように、輪郭のがたつきやストロークの切れが生じやすく、十分な画質が得られない。
【００１８】
画像が低解像度（たとえば２００ｄｐｉ程度）である場合、小さい文字（例えば、２００ｄｐｉで３ミリ四方）では、ストローク幅がサンプリング間隔と同じ程度になる。したがって、ストロークの輝度のばらつきが、統計的変動で説明できる範囲を超えるため、通常の２値化ではストロークが抽出できないことがある。
【００１９】
ぼやけた（すなわち、不鮮明な）ストロークを抽出するようにパラメータを調整すると、今度は潰れが生じる。また、補間には、双１次補間、３次スプライン補間などのほかに、変分原理に基づくもの（非特許文献１１.）や直交多項式基底に基づくもの（非特許文献１２）などの様々な技術があるが、これらの補間技術は、自然画像（写真）には効果を発揮するが、文字・線図に特に効果があるものは存在しない。
【００２０】
また、（２），（３）のクラスタリングによる方法では、文字輪郭の微細修正ができるものの、文字のストローク抽出等の処理をすることができない。
【００２１】
本発明の目的は、アルファベット等のキャラクタ数が少ない文字のみならず、簡単なアルゴリズムにより、漢字のようにキャラクタ数が多くかつ複雑な形状構造の文字、さらには細かい構成の線図を、原画像から正確に再現して作成し、または改善して作成し、これをディスプレイに表示し、プリンタに出力し、あるいは通信回線を介してそうチンすることができる画像出力装置、画像出力プログラムおよびこのプログラムが記録された記録媒体を提供することである。
【課題を解決するための手段】
【００２２】
〔１〕本発明は、「多値ビットマップの原画像を取得する原画像取得手段と、
前記原画像取得手段が取得した前記原画像から、当該原画像よりも高解像度の多値画像を生成する高解像度多値画像生成手段と、
前記原画像取得手段が取得した前記原画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段と、
前記輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段と、
前記高解像度多値画像生成手段が生成した前記多値画像に含まれる文字・線図の輪郭に、前記地形的特徴抽出手段が抽出した地形的特徴を組み込むことで、前記文字・線図を再現または改善した２値画像を生成する地形的特徴組み込み手段と、
前記地形的特徴組み込み手段が生成した前記２値画像、または当該２値画像を多値化した画像に含まれる文字・線図の輪郭を修正する輪郭修正手段と、
前記輪郭修正手段により文字・線図の輪郭が修正された画像を、表示装置、印刷装置またはネットワークを介した接続された外部装置に出力する画像出力手段と、
を備えたことを特徴とする画像出力装置。」
を要旨とする。
【００２３】
〔２〕本発明は、「前記地形的特徴は、輝度曲面を実際の地形に対応させたときに、周囲よりも輝度が低い「谷または窪地」、周囲よりも輝度が高い「尾根または山頂」、「谷または窪地」と「尾根または山頂」との間に位置する「山腹または鞍部」であることを特徴とする〔１〕に記載の画像出力装置。」
を要旨とする。
【００２４】
〔３〕本発明は、「さらに、前記画像出力手段が出力する画像の前記文字・線図または更に背景の色彩が、前記原画像取得手段が取得した前記原画像における色に近似させて生成されていることを特徴とする〔１〕または〔２〕に記載の画像出力装置。」
を要旨とする。
【００２５】
〔４〕本発明は、「前記原画像取得手段は、前記原画像がカラー画像であるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段を備えたことを特徴とする〔１〕から〔３〕の何れかに記載の画像出力装置。」
を要旨とする。
【００２６】
〔５〕本発明は、「前記地形的特徴組み込み手段は、前記輝度曲面のうち極小部分が線状または帯状に連続する領域および前記極小部分が局在する領域を、文字・線図の一部として前記元画像における文字・線図を再現または改善した文字・線図を再現または改善した前記２値画像を生成することを特徴とする〔１〕から〔４〕の何れかに記載の画像出力装置。」
を要旨とする。
【００２７】
〔６〕本発明は、「前記高解像度多値画像生成手段が生成した前記高解像度多値画像から、各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とからなる基本画像（地形的特徴の組み込みがなされる画像）を生成する基本画像生成手段を備え、
前記地形的特徴組み込み手段は、前記基本画像生成手段が生成した前記基本画像に基づき前記文字・線図を再現または改善した２値画像を生成することを特徴とする〔１〕から〔５〕の何れかに記載の画像出力装置。」
を要旨とする。
【００２８】
〔７〕本発明は、「前記地形的特徴組み込み手段は、前記（ｃ）文字・線図を構成するか否かが確定されていない画素が、前記輝度曲面のうち極小部分が線状または帯状に連続する領域または前記極小部分が局在する領域に含まれるときは、当該画素が文字・線図を構成するものとして、文字・線図を再現または改善した前記２値画像を生成することを特徴とする〔６〕に記載の画像出力装置。」
を要旨とする。
【００２９】
〔８〕本発明は、「前記高解像度多値画像生成手段が生成した高解像度多値画像の各画素における輝度勾配量を検出する輝度勾配量検出手段を備え、
前記輪郭修正手段は、前記輝度勾配量検出手段が検出した各画素の輝度勾配量により前記地形的特徴組み込み手段が作成した文字・線図を再現または改善した前記画像中の文字・線図の輪郭を修正する第１の輪郭修正手段を有する、
ことを備えたことを特徴とする〔１〕から〔７〕の何れかに記載の画像出力装置。」
を要旨とする。
【００３０】
〔９〕本発明は、「前記輪郭修正手段は、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を形成する画素列の曲率または方向変化を参照してさらに当該画像中の文字・線図の輪郭を修正する第２の輪郭修正手段を有することを特徴とする〔８〕に記載の画像出力装置。」
を要旨とする。
【００３１】
〔１０〕本発明は、「前記第２の輪郭修正手段は、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングして、各クラスタについて前記輪郭の円滑化および／または角部の角度鮮明化により、前記画像中の文字・線図の輪郭を修正することを特徴とする〔９〕に記載の画像出力装置。」
を要旨とする。
【００３２】
〔１１〕本発明は、「多値ビットマップの原画像を取得する原画像取得手段と、
前記原画像取得手段が取得した前記原画像から、当該原画像よりも高解像度の多値画像を生成する高解像度多値画像生成手段と、
前記高解像度多値画像生成手段が生成した前記多値画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段と、
前記輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段と、
前記地形的特徴抽出手段が抽出した前記地形的特徴を組み込むことで、前記原画像中の文字・線図を再現または改善した２値画像を作成する地形的特徴組み込み手段と、
前記地形的特徴組み込み手段が生成した前記２値画像、または当該２値画像を多値化した画像に含まれる文字・線図の輪郭を修正する輪郭修正手段と、
前記輪郭修正手段により文字・線図の輪郭が修正された画像を、表示装置、印刷装置またはネットワークを介した接続された外部装置に出力する画像出力手段と、
を備えたことを特徴とする画像出力装置。」
を要旨とする。
【００３３】
〔１２〕本発明は、「前記地形的特徴は、輝度曲面を実際の地形に対応させたときに、周囲よりも輝度が低い「谷または窪地」、周囲よりも輝度が高い「尾根または山頂」、「谷または窪地」と「尾根または山頂」との間に位置する「山腹または鞍部」であることを特徴とする〔１１〕に記載の画像出力装置。」
を要旨とする。
【００３４】
〔１３〕本発明は、「さらに、前記画像出力手段が出力する画像の前記文字・線図または更に背景の色彩が、前記原画像取得手段が取得した前記原画像における色に近似させて生成されていることを特徴とする〔１１〕または〔１２〕に記載の画像出力装置。」
を要旨とする。
【００３５】
〔１４〕本発明は、「前記原画像取得手段は、前記原画像がカラー画像であるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段を備えたことを特徴とする〔１１〕から〔１３〕の何れかに記載の画像出力装置。」
を要旨とする。
【００３６】
〔１５〕本発明は、「前記地形的特徴組み込み手段は、前記輝度曲面のうち極小部分が線状または帯状に連続する領域および前記極小部分が局在する領域を、文字・線図の一部として前記元画像における文字・線図を再現または改善した文字・線図を再現または改善した前記２値画像を生成することを特徴とする〔１１〕から〔１４〕の何れかに記載の画像出力装置。」
を要旨とする。
【００３７】
〔１６〕本発明は、「前記高解像度多値画像生成手段が生成した前記高解像度多値画像から、各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とからなる基本画像を生成する基本画像生成手段を備え、
前記地形的特徴組み込み手段は、前記基本画像生成手段が生成した前記基本画像に基づき前記文字・線図を再現または改善した２値画像を生成することを特徴とする〔１１〕から〔１５〕の何れかに記載の画像出力装置。」
を要旨とする。
【００３８】
〔１７〕本発明は、「前記地形的特徴組み込み手段は、前記（ｃ）文字・線図を構成するか否かが確定されていない画素が、前記輝度曲面のうち極小部分が線状または帯状に連続する領域または前記極小部分が局在する領域に含まれるときは、当該画素が文字・線図を構成するものとして、文字・線図を再現または改善した前記２値画像を生成することを特徴とする〔１６〕に記載の画像出力装置。」
を要旨とする。
【００３９】
〔１８〕本発明は、「前記高解像度多値画像生成手段が生成した高解像度多値画像の各画素における輝度勾配量を検出する輝度勾配量検出手段を備え、
前記輪郭修正手段は、前記輝度勾配量検出手段が検出した各画素の輝度勾配量により前記地形的特徴組み込み手段が作成した文字・線図を再現または改善した前記画像中の文字・線図の輪郭を修正する第１の輪郭修正手段を有する、
ことを備えたことを特徴とする〔１１〕から〔１７〕の何れかに記載の画像出力装置。」
を要旨とする。
【００４０】
〔１９〕本発明は、「前記輪郭修正手段は、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を形成する画素列の曲率または方向変化を参照してさらに当該画像中の文字・線図の輪郭を修正する第２の輪郭修正手段を有することを特徴とする〔１８〕に記載の画像出力装置。」
を要旨とする。
【００４１】
〔２０〕本発明は、「前記第２の輪郭修正手段は、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングして、各クラスタについて前記輪郭の円滑化および／または角部の角度鮮明化により、前記画像中の文字・線図の輪郭を修正することを特徴とする〔１９〕に記載の画像出力装置。」
を要旨とする。
【００４２】
〔２１〕本発明は、「コンピュータを、〔１〕から〔２０〕の何れかに記載の各手段として機能させる画像出力プログラム。」
を要旨とする。
【００４３】
〔２２〕本発明は、「コンピュータを、〔１〕から〔２０〕の何れかに記載の各手段として実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。」を要旨とする
【００４４】
なお、本発明の画像出力装置における各手段の一部または全部を１つまたは複数のハードウェア（ＤＳＰ等）により構成することができる。
【発明の効果】
【００４５】
本発明によれば、漢字のような複雑な形状構造をもつ文字・線図を高い認識精度で再現することができる。また、簡単な計算で処理を行なうので、高速に文字・線図を再現して、ディスプレイに表示し、プリンタにより出力し、あるいは携帯型電話機糖の通信端末に送信することができる。
【発明を実施するための最良の形態】
【００４６】
図１は本発明の画像出力装置の一構成例を示す図である。
図１において、パーソナルコンピュータ（ＰＣ）１１０は画像出力装置として動作するもので、ＣＰＵ１１１と、メモリ１１２（ＲＯＭ１１２１とＲＡＭ１１２２とからなる）と、ハードディスク装置１１３と、リムーバブルディスク装置１１４と、ディスプレイ・インタフェース１１５と、プリンタ・インタフェース１１６と、キーボード１１７と、ネットワーク・インタフェース１１８とがバス１１９に接続されて構成されている。
【００４７】
図１では、ディスプレイ１１５１はディスプレイ・インタフェース１１５に接続され、プリンタ１１６１はプリンタ・インタフェース１１６に接続され、ネットワーク・インタフェース１１８は通信回線１００に接続されている。
【００４８】
メモリ１１２には、後述する原画像取得手段１１，高解像度多値画像生成手段１２，基本画像生成手段１３，輝度曲面生成手段１４，地形的特徴抽出手段１５，地形的特徴組み込み手段１６，輝度勾配量検出手段１７，輪郭修正手段（第１の輪郭修正手段１８１，第２の輪郭修正手段１８２）として機能するプログラムが格納されている。なお、画像出力手段１９は、ディスプレイ・インタフェース１１５，プリンタ・インタフェース１１６，ネットワーク・インタフェース１１８として示されている。本発明の画像出力手段は、これらのインタフェース（ハードウェア）と、こららの駆動回路および駆動ソフトウェア（ドライバプログラム等）により構成される。上記のプログラムが本発明の画像出力プログラムを構成する。
【００４９】
ここでは、画像出力の処理対象となることができるカラービットマップ画像がリムーバブルディスク装置１１４に格納されているものとする。また、本発明の画像出力プログラムがハードディスク装置１１３に格納されているものとし、ユーザが画像出力プログラムを起動すると、画像出力プログラム（「ＧＯＰ」で示す）はＲＡＭ１１２に読み込まれ、画像作成処理が可能になる。
【００５０】
正確に原画像を再現するためあるいはまたは改善して原画像を再現するためには、様々な情報を多角的（トップダウン／ボトムアップ）に利用することが有効である。
本発明では、画像解析によって得られる多様な特徴を統合して、補間と局所統計量により生成した基本画像を、輝度曲面の地形的特徴を導入して修正する手法を採用することで再現性の高い画像、あるいは改善された画像を出力することができる。
本発明における処理は、（１）〜（５）により構成される。
【００５１】
（１）地形的特徴による欠落ストロークの補完
処理対象画像（多値ビットマップの原画像）から、輝度曲面ｚ＝ｆ（ｘ，ｙ）を形成する。この輝度曲面ｚ＝ｆ（ｘ，ｙ）の地形的特徴（尾根、峡谷、山頂、窪地、山腹、鞍部）を調べる。なお、原画像がカラービットマップ画像である場合には、原画像をグレイスケールの多値ビットマップ画像に変換し、これを処理対象画像とする。
【００５２】
輝度曲面ｆ（ｘ，ｙ）上で，各画素について周囲との高さを比較すると，周囲より低い（暗い）画素の連なりであるストロークの部分（すなわち、「谷または窪地」）、周囲よりも高い（明るい）画素の連なりであるストローク間のギャップに相当する部分（すなわち、「尾根または山頂」）、その他（背景：すなわち、「山腹または鞍部」）の３レベルに分類できる。図１０は、輝度曲面ｚ＝ｆ（ｘ，ｙ）により，各画素をこのように分類した地形特徴図ＧｉｏＣであり、ここでは、多値ビットマップ画像中の日本語４文字（Ｃ１：「策」，Ｃ２：「基」，Ｃ３：「静」，Ｃ４：「か」）を例に挙げてある。
多値ビットマップ画像中の日本語４文字（Ｃ１，Ｃ２，Ｃ３，Ｃ４）を３レベル（高，中，低）で表した場合、当該多値ビットマップ画像が低解像度（たとえば、２００ｄｐｉ程度）でも、文字の特徴は欠落することなく保存されている。
したがって、特に、上述した漢字のように複雑な構造を持つ画像からストロークを抽出するような場合に、上記輝度曲面のレベルを参照することは、極めて効果的である。
【００５３】
そこで、後述する各実施形態では、低解像度の原画像で計算した地形的特徴を取り入れることで、当該原画像をそのまま２値化した場合に欠落してしまうストローク（図１１（Ｂ）参照）を補完している。
たとえば、図１０に示したような地形特徴図ＧｉｏＣの「峡谷」部分（黒の部分）は、極小部分が線状または帯状に連続する領域であり「ストロークの長い線分」に相当する。また、「窪地」部分は、極小部分が局在する領域であり「点あるいはストロークが短い線分」に相当する。
なお、「峡谷」の端部近傍に、他の「峡谷」や「窪地」が存在していれば、当該「峡谷」は他の「峡谷」や「窪地」と連続するはずであり、「窪地」の端部近傍に、他の「区窪地」や「峡谷」が存在していれば、当該「窪地」は他の「窪地」や「峡谷」と連続するはずである。したがって、「峡谷」や「峡谷」の周囲画素を参照することで、ストロークを正確に、または改善して作成することもできる。
Wang等の文献（L. Wang and T. Pavlidis、 Direct gray-scale extraction of features for character recognition、 IEEE Transactions on Pattern Analysis and Machine Intelligence、 vol. 15、 no. 10、 pp. 1053-1067、 1993.）で述べられているように、地形的特徴を考察することは、特に、低解像度の画像において有効である。
【００５４】
（２）補間画像の生成と局所統計量による基本画像の生成処理
計算が簡単であり、扱う対象が限定されない（すなわち、どのような文字，線図をも扱うことができる）という一般性を考慮し、以下の処理を施す。
（ｉ）補間により原画像から高解像度多値ビットマップ画像を生成し、この画像に（１）の地形的特徴による欠落ストロークの補完処理を施すことができる。
（ｉｉ）原画像から局所統計量による基本画像を生成し、この画像に（１）の地形的特徴による欠落ストロークの補完処理を施すことができる。基本画像とは、図１２（Ａ）のように、各画素の輝度値は３レベルの値をとることができ、「ＯＮ」（文字・線図を構成する画素、ここでは、ｚ＝ｆ（ｘ，ｙ）＝１とする）を黒の領域、「ＯＦＦ」（文字・線図を構成しない画素、ここでは、ｚ＝ｆ（ｘ，ｙ）＝０とする）を白の領域、「ＴＢＤ」（文字・線図を構成するか否かが確定されていない画素、ここでは、ｚ＝ｆ（ｘ，ｙ）＝−１とする）をグレイの領域とした画像である。
（ｉｉｉ）補間により原画像から高解像度多値ビットマップ画像を生成し、この画像から局所統計量による基本画像を生成する。そして、この基本画像に（１）の地形的特徴による欠落ストロークの補完処理を施すことができる。
【００５５】
（３）輪郭の第１の修正
（１），（２）により欠落したストロークを補完できたとしても、輪郭線がなめらかでないため、文字画像の品質としては、貧弱となることがある。
なめらかな輪郭線の基準として、曲率が小さい（曲率半径が大きい）ことが必要となる。また、輪郭線は、輝度勾配量が極大となるような画素（すなわち、白領域と黒領域との境界）を通過することが前提となる。
そこで、現在では画像処理の標準的手法となっている、Active Contour Model、またはSnakeの手法（D. Williams and M. Shah、 A fast algorithm for active contours and curvature estimation、 CVGIP: Image Understanding、 vol. 55、 no. 1、 pp. 14-26、 1992.）を用いて輪郭線を修正する（図１４の修正結果参照）。
【００５６】
（４）輪郭の第２の修正
人間の視覚にとって気になる点である、水平・垂直方向の線のがたつきや、垂直線と水平線の交差部分の鈍りを補正するために、輪郭の修正を行うこともできる。
（５）画像の出力
文字・線図の輪郭が復元または改善されている画像を、ディスプレイ（表示手段）や、プリンタに出力する。
【００５７】
以下、本発明の画像出力装置の実施形態を説明する。
《第１実施形態》
図２に第１実施形態の画像出力装置１Ａの構成を示す。
第１実施形態では、画像出力装置１Ａは、原画像取得手段１１、高解像度多値画像生成手段１２、基本画像生成手段１３、輝度曲面生成手段１４、地形的特徴抽出手段１５、地形的特徴組み込み手段１６、輝度勾配量検出手段１７、第1の輪郭修正手段１８１、および画像出力手段１９を備えている。
原画像取得手段１１は原画像取得プログラムにより、高解像度多値画像生成手段１２は高解像度多値画像生成プログラムにより、基本画像生成手段１３は基本画像生成プログラムにより、輝度曲面生成手段１４は輝度曲面生成プログラムにより、地形的特徴抽出手段１５は地形的特徴抽出プログラムにより、地形的特徴組み込み手段１６は地形的特徴組み込みプログラムにより、輝度勾配量検出手段１７は輝度勾配量検出プログラムにより、第1の輪郭修正手段１８１は第1の輪郭修正プログラムにより、それぞれ実現することができる。画像出力手段１９は、前述したようにハードウェアおよびソフトウェアにより実現することができる。
【００５８】
原画像取得手段１１は、多値ビットマップの原画像を取得することができ、この原画像がカラーであるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段１１１を備えている。
第１実施形態では、高解像度多値画像生成手段１２は、原画像取得手段１１が取得した原画像から、当該原画像の解像度よりも高い解像度の多値画像を生成することができる。
基本画像生成手段１３は、高解像度多値画像生成手段１２が生成した多値画像から、各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とから基本画像を生成することができる。
地形的特徴組み込み手段１６は、原画像取得手段１１が取得した多値画像に含まれる文字・線図の輪郭に、地形的特徴組み込み手段１６が抽出した地形的特徴を組み込むことで、文字・線図を再現または改善した２値画像を生成することができる。
【００５９】
輝度曲面生成手段１４は、原画像取得手段１１が取得した原画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面ｚ＝ｆ（ｘ，ｙ）を生成する。たとえば、輝度が高レベル，中レベル，低レベルの３値の何れかをとるようにでき、高輝度の場合にはｆ（ｘ，ｙ）＝１、中輝度の場合にはｆ（ｘ，ｙ）＝０、低輝度の場合にはｆ（ｘ，ｙ）＝−１とすることができる。
地形的特徴抽出手段１５は、輝度曲面生成手段１４が生成した輝度曲面ｆ（ｘ，ｙ）の地形的特徴（尾根、峡谷、山頂、窪地、山腹）を抽出することができる。
【００６０】
地形的特徴組み込み手段１６は、輝度曲面ｆ（ｘ，ｙ）のうち極小部分が線状または帯状に連続する領域（峡谷）および極小部分が局在する領域（窪地）を文字・線図の一部として前記元画像における文字・線図を再現または改善した文字・線図を再現または改善した２値画像を生成することができる。たとえば、地形的特徴組み込み手段１６は、たとえば、高解像度の原画像から、適宜の手法（たとえば、適宜のフィルタ）により文字・線図を形成し、当該文字・線図を構成しないが、輝度曲面ｆ（ｘ，ｙ）の峡谷および窪地に相当する画素については、文字・線図を構成するように修正を加えることができる。
そして、地形的特徴組み込み手段１６は、（ｃ）文字・線図を構成するか否かが確定されていない画素が、輝度曲面ｆ（ｘ，ｙ）のうち「峡谷」（極小部分が線状または帯状に連続する領域）または「窪地」（極小部分が局在する領域）に含まれるときは、当該画素が文字・線図を構成するものとして、文字・線図を再現または改善した２値画像を生成することができる。
輝度勾配量検出手段１７は、高解像度多値画像生成手段１２が生成した高解像度多値画像の各画素における輝度勾配を検出することができる。
第１の輪郭修正手段１８１は、輝度勾配量検出手段１７が検出した各画素の輝度勾配量により地形的特徴組み込み手段１６が作成した文字・線図を再現または改善した２値画像中の文字・線図の輪郭を修正することができる。
画像出力手段１９は、第１の輪郭修正手段１８１により文字・線図の輪郭が修正された画像を、表示装置、印刷装置またはネットワークを介して接続された外部装置に出力することができる。
【００６１】
《第２実施形態》
図３に第２実施形態の画像出力装置１Ｂの構成を示す。
第２実施形態では、画像出力装置１Ｂは、画像出力装置１Ａの各構成要素に加えて、第２の輪郭修正手段１８２を備えている。第２の輪郭修正手段１８２は第２の輪郭修正プログラムにより実現することができる。
【００６２】
第２の輪郭修正手段１８２は、第１の輪郭修正手段１８１が修正した２値画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングして、各クラスタについて輪郭の円滑化および／または角部の角度鮮明化により、２値画像中の文字・線図の輪郭を修正することができる。
【００６３】
《第３実施形態》
図４に第３実施形態の画像出力装置１Ｃの構成を示す。
第３実施形態では、画像出力装置１Ｃは、画像出力装置１Ｂの各構成要素に加えて、原画像保存手段２１および色復元手段２２を備えている。原画像保存手段２１は、ハードウェアとしての記憶装置と原画像保存プログラムとにより構成され、色復元手段２２は色復元プログラムにより実現することができる。
【００６４】
原画像保存手段２１は、原画像取得手段１１が取得した原画像を保存しており、色復元手段２２は、この原画像の文字・線図の色を特定し、この色を第２の輪郭修正手段１８２が認識した文字・線図に付与し、画像出力手段１９がこれを、ディスプレイ，プリンタに出力し、あるいは通信回線を介して外部機器に出力する。通常、画像出力手段１９が出力する画像の文字・線図の色は、原画像の文字・線図の色に近似させる。
【００６５】
《第４実施形態》
図５に第４実施形態の画像出力装置１Ｄの構成を示す。
第３実施形態では、画像出力装置１Ｄは、画像出力装置１Ａと同様、原画像取得手段１１、高解像度多値画像生成手段１２、基本画像生成手段１３、輝度曲面生成手段１４、地形的特徴抽出手段１５、地形的特徴組み込み手段１６、輝度勾配量検出手段１７、第1の輪郭修正手段１８１、および画像出力手段１９を備えている。
ただし、本実施形態では、輝度曲面生成手段１４は、高解像度多値画像生成手段１２が生成した多値画像から、輝度曲面ｆ（ｘ，ｙ）を生成する。
【００６６】
《第５実施形態》
図６に第５実施形態の画像出力装置１Ｅの構成を示す。
第４実施形態では、画像出力装置１Ｅは、画像出力装置１Ｄの各構成要件に加えて、第２の輪郭修正手段１８２を備えている。
画像出力装置１Ｂと同様に、第２の輪郭修正手段１８２は、第１の輪郭修正手段１８１が修正した２値画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングして、各クラスタについて輪郭の円滑化および／または角部の角度鮮明化により、２値画像中の文字・線図の輪郭を修正することができる。
ただし、本実施形態では、輝度曲面生成手段１４は、高解像度多値画像生成手段１２が生成した多値画像から、輝度曲面ｆ（ｘ，ｙ）を生成する。
【００６７】
《第６実施形態》
図７に第６実施形態の画像出力装置１Ｆの構成を示す。
第６実施形態では、画像出力装置１Ｆは、画像出力装置１Ｅの各構成要素に加えて、原画像保存手段２１および色復元手段２２を備えている。
画像出力装置１Ｃと同様に、原画像保存手段２１は、原画像取得手段１１が取得した原画像を保存しており、色復元手段２２は、この原画像の文字・線図の色を特定し、この色を第２の輪郭修正手段１８２が認識した文字・線図に付与し、画像出力手段１９がこれを、ディスプレイ，プリンタに出力し、あるいは通信回線を介して外部機器に出力する。通常、画像出力手段１９が出力する画像の文字・線図の色は、原画像の文字・線図の色に近似させる。
【００６８】
図８（Ａ）に示すように、携帯型電話機２は、ウェブサイト（画像出力装置１として示す）の簡易画像Ｇ１を表示している場合に、画像作成装置１に画像変換要求を発行することができる。この場合には、画像作成装置１は上述した原画像を持っているので、画像作成装置１から変換画像（実施形態１から６における処理後の画像）Ｇ２を受け取ることができる。
【００６９】
また、図８（Ｂ）に示すように、携帯型電話機２は、ウェブサイト３の簡易画像Ｇ１を表示している場合に、画像作成装置１に画像変換要求を発行することができる。この場合には、画像作成装置１はウェブサイト３から原画像Ｇ０を取得して画像変換を行なう。携帯型電話機２は、画像作成装置１から変換画像（実施形態１から６における処理後の画像）Ｇ２を受け取ることができる。
さらに、図８（Ｃ）に示すように、携帯型電話機２は、ウェブサイト３の簡易画像Ｇ１を表示している場合に、画像作成装置１に画像変換要求を発行するとともにその簡易画像（あるいは、適宜取得した２００ｄｐｉ程度の原画像）を画像作成装置１に送信することができる。この場合には、画像作成装置１は取得した画像の画像変換を行なう。そして、携帯型電話機２は、画像作成装置１から変換画像（実施形態１から６における処理後の画像）Ｇ２を受け取ることができる。
【００７０】
以下、本発明の実施例を、図９のフローチャートに沿って説明する。
《補間と局所統計量による基本画像の生成》
基本画像の生成は、次のような手順で行われる。まず、原画像取得手段１１は、原画像（多値ビットマップ画像）を取得し（Ｓ１０１）、この取得した画像（多値ビットマップ画像）がグレイスケール画像であるならば（Ｓ１０２の「ＮＯ」）、これをそのまま処理対象画像とする。取得した画像がカラー画像ならば（Ｓ１０２の「ＹＥＳ」）、原画像をグレイスケール画像ＩＯに変換する（Ｓ１０３）。
【００７１】
次に、補間により高解像度多値画像ＩＨを生成する（Ｓ１０４）。補間には様々な方法があるが、ここでは、計算が簡単な双１次補間を用いて、その結果に平滑化（たとえば３×３の線形フィルタ）処理を施す。また、後述する第１の輪郭修正で用いるために、高解像度多値画像ＩＨ上の各画素について、輝度勾配量ＧＨを計算しておき、計算結果を所定のメモリに保存しておく（Ｓ１０５）。
また、高解像度多値画像ＩＨから、局所統計量をもとに基本画像ＦＨを生成する（Ｓ１０６）。
【００７２】
図１１（Ｂ）は、図１１（Ａ）に示した原画像をＮｉｂｌａｃｋによる２値化技術を用いて２値化した結果を示している。図１１（Ｂ）から明らかなように、このままでは、水平のストロークが欠落してしまう。このため、基本画像ＦＨとして、Ｎｉｂｌａｃｋによる２値化技術(W. Niblack, An introduction to image processing, pp. 115-116， Englewood Cliffs, NJ: Prentice Hall, 1986.)を拡張する。
【００７３】
すなわち、基本画像ＦＨは、たとえば、１，０，−１の何れかの値をとるものとする。
ＦＨ（ｘ，ｙ）＝１：「ＯＮ」（前景、あるいは、文字のストローク）、
ＦＨ（ｘ，ｙ）＝０：「ＯＦＦ」（背景）、
ＦＨ（ｘ，ｙ）＝−１：「ＴＢＤ」（「ＯＮ」の可能性があり、後で地形的特徴によって決定する）、
の３値の何れかをとる画像を生成する。
【００７４】
図１２（Ａ），（Ｂ）（（Ｂ）は（Ａ）の画像の部分Ｗの拡大図）に、基本画像ＦＨの例を示す。ここで、ＦＨ（ｘ，ｙ）の「ＯＮ」、「ＯＦＦ」、「ＴＢＤ」を、それぞれ、黒、白、グレイで表わしている。
具体的には、高解像度多値画像ＩＨ（ｘ，ｙ）について、処理対象となる画素を中心とするウィンドウ（処理領域：たとえば３×３画素，５×５画素等）内で計算される、輝度の平均μ（ｘ，ｙ）と標準偏差σ（ｘ，ｙ）をもとに、基本画像ＦＨ（ｘ，ｙ）を次のような規則で設定する。
【００７５】
（１）ＩＨ（ｘ，ｙ）≦μ（ｘ，ｙ）＋ｋ０σ（ｘ，ｙ）（ただし、ｋ０は既定のパラメータ）ならば、ＦＨ（ｘ，ｙ）＝１（「ＯＮ」に設定）とする。
（２）μ（ｘ，ｙ）＋ｋ０σ（ｘ，ｙ）＜ＩＨ（ｘ，ｙ）＜μ（ｘ，ｙ）＋ｋ１σ（ｘ，ｙ）（ただし、ｋ０＜ｋ１）で、かつ、（ｘ，ｙ）の近傍にＦＨ（ｘ，ｙ）が「ＯＮ」の画素が存在するならば、ＦＨ（ｘ，ｙ）＝−１（「ＴＢＤ」に設定）とする。
（３）その他の場合には、ＦＨ（ｘ，ｙ）＝０（「ＯＦＦ」に設定）とする。
【００７６】
「ＴＢＤ」は、漢字のようにストロークの密度が高い場合に、白とするか黒とするかは、地形的特徴を調べなければ決定できないことを表わす。
実際には、同じストロークでもサンプリング位置により、輝度が大きく異なる。図１３（Ｂ），（Ｃ）は図１３（Ａ）に示したグレイスケール原画像Ｉｏの垂直方向のスキャンラインＡ，Ｂに沿った輝度のプロファイルである。図１３（Ｂ），（Ｃ）に示されるように、特に、水平方向のストロークが密集している個所で、その傾向が著しい。したがって、（２）の場合（ＦＨ（ｘ，ｙ）＝−１（「ＴＢＤ」））には、ＩＨ（ｘ，ｙ）からＦＨ（ｘ，ｙ）を決定するための処理領域（ウィンドウ）の大きさは、その上下左右ｔ画素以内（ｔは解像度の拡大率に応じて決められるパラメータ）とすればよい。
【００７７】
《地形的特徴による欠落ストロークの補完》
処理対象となるグレイスケール画像（多値画像）ＩＯから、輝度曲面ｚ＝ｆ（ｘ，ｙ）を生成して（Ｓ１０７）、輝度曲面ｚ＝ｆ（ｘ，ｙ）上の地形的特徴（尾根、峡谷、山頂、窪地、山腹）を抽出する（Ｓ１０８）。
ここでは、白が黒よりもｚの値が大きいものとして定義する。ストロークの補完にとって重要な特徴は、ｚの値が局所的に小さい部分、すなわち、峡谷（ｆ（ｘ，ｙ）が１方向で極小）と窪地（ｆ（ｘ，ｙ）が全ての方向で極小）である。
【００７８】
これらの特徴の具体的な計算方法は、ＷａｎｇとＰａｖｌｉｄｉｓによる「文字認識のための特徴の直接的なグレイスケール抽出」（：L. Wang and T. Pavlidis、 Direct gray-scale extraction of features for character recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 15, no. 10, pp. 1053-1067, 1993.）の技術、あるいは、Seong-Whan Lee と Young Joon Kim による「文字認識におけるグレイスケール画像からの直接的な形状特徴抽出」（Direct Extraction of Topographic Features for Gray Scale Character Recognition：IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 7, pp.724-729, July 1995.）の技術を用いることができる。
【００７９】
例えば、グレイスケール画像（多値画像）ＩＯから、図１０に示したような地形的特徴を得ることができる。次に、このようにして得られた地形的特徴を用いて、ストロークを補完して、項解像度修正画像ＪＨを作成する（Ｓ１０９）。
基本画像ＦＨ（ｘ，ｙ）が値「ＴＢＤ」を持つ画素について、グレイスケール画像（多値画像）ＩＯでの対応する画素が、「峡谷」または「窪地」であれば、基本画像ＦＨ（ｘ，ｙ）を「ＯＮ」に、そうでなければ「ＯＦＦ」に設定しなおす。すなわち、輝度曲面ｚ＝ｆ（ｘ，ｙ）から得られる特徴を、基本画像ＦＨ（ｘ，ｙ）から得られる画像に優先させている。
【００８０】
このようにして得られた２値画像を図１４に示す。基本画像ＦＨに輝度曲面ｚ＝ｆ（ｘ，ｙ）の特徴を取り入れる前の画像（図１１（Ｂ）参照）と比べると、文字Ｃ３（「静」）の中のＣ３１で示す部分（「月」）の水平ストロークや、文字Ｃ２（「基」）の水平ストロークが復元できていることがわかる。
しかし、図１４の画像では、文字のストロークは十分に復元されているが、輪郭がなめらかでないため、文字画像の品質としては、明らかに貧弱である。
【００８１】
《輪郭の第１の修正》
すでに述べたように、なめらかな輪郭線の基準として、曲率が小さい（曲率半径が大きい）ことが必要となる。また、輪郭線は、輝度勾配量が極大となるような画素（すなわち、白領域と黒領域との境界）を通過することが前提となる。
【００８２】
そこで、１９８０年代終わりに考案され、現在では画像処理の標準的手法となっている、上述したActive Contour または、Snake アルゴリズムを用いて、輪郭線を修正する。前述した、このアルゴリズムでは、弧長ｓをパラメータとした初期曲線をｖ（ｓ）＝（ｘ（ｓ），ｙ（ｓ））とし、次の量が最小となるように、ｖ（ｓ）を修正する（Ｓ１１０）。
【００８３】
E＝∫（α（ｓ）Ｅｃｏｎｔ＋β（ｓ）Ｅｃｕｒｖ＋λ（ｓ）Ｅｉｍａｇｅ）ｄｓ
ここで、Ｅｃｏｎｔ（≧０）は曲線の収縮を防き点列が等間隔に配置されるようにするための項、Ｅｃｕｒｖ（≧０）は点列の曲率が小さくなるようにするための項、Ｅｉｍａｇｅ（≦０）は画像ＩＨ上の勾配量を大きくするための項で、初めに計算しておいた輝度勾配量ＧＨを使って、−ＧＨ（ｖ（ｓ））と表わすことができる。図１５に輝度勾配量ＧＨの例を示す。図１５では、輝度勾配量ＧＨが大きくなればなるほど高濃度となるように表示してある。図１５に示されるように、文字の輪郭部分の輝度勾配量が大きくなっていることがわかる。
【００８４】
なお、α，β，γの３つのパラメータは点ごとに異なる値に設定することもできるが、ここでは、固定した値を用いる（α＝β＝γ＝１．０）。
基本画像ＦＨから得られる輪郭線（「ＯＮ」画素の境界）のそれぞれにActive Contourアルゴリズムを使って、輪郭を修正する。全ての輪郭線について修正を行った後、ベクトル−ラスター変換によって、輪郭線から２値画像を生成する。
【００８５】
図１６に、図１５に示した輝度勾配量ＧＨと、図１４に示した画像とを重ね合わせた画像を示す。また、図１７に輪郭修正の結果を示す。図１７の画像と、図１４の画像とを比較するれば明らかなように、輪郭線の滑らかさやストロークの太さの均一性が向上していることがわかる。
【００８６】
《輪郭の第２の修正》
Active Contourのアルゴリズムによって文字画像の品質は格段に向上するが、水平・垂直方向の線のがたつきや、垂直線と水平線の交差部分の鈍りが観察される。
【００８７】
これらは人間の知覚にとって非常に気になる点である。そのため、人間にとってきれいに見えるように、第２の修正により輪郭を整えることができる。特に、水平・垂直方向の線のがたつきや、垂直線と水平線の交差部分の鈍りを補正する（Ｓ１１１）。
いま、処理対象の閉輪郭線を点列Ｐ＝（ｐ（０），ｐ（１），・・・，ｐ（ｎ−１））で表わすものとする。ただし、点列Ｐのｐの括弧内の添え字は、便宜上付したものである。すなわち、点ｐ（ｉ）の添え字値ｉは、一般には、０〜ｎ−１とならならないことを考慮して、ｉ＞ｎならばｐ（ｉ）＝ｐ（ｉ−ｎ）、ｉ＜０、ならばｐ（ｉ）＝ｐ（ｉ＋ｎ））とする。
【００８８】
本実施形態では、この点列Ｐを接線方向でクラスタリングする。点ｐ（ｉ）の接線方向をθ（ｉ）として、点ｐ（ｉ）にラベルＬ（ｉ）を次のように与える。
（ｊπ／２）−δ≦θ≦（ｊπ／２）＋δ
（ただし、δはπ／２に比べて十分に小さいパラメータ、ｊ＝０，１，２，３）
ならば、Ｌ（ｉ）＝ｊとする。すなわち、点ｐ（ｉ）の接線方向が、ほぼ０°，９０°，１８０°，２７０°に近ければ、点ｐ（ｉ）にＬ（ｉ）＝０，１，２，３の値を与える。
【００８９】
その他の場合、Ｌ（ｉ）＝−１とする。
すなわち、水平方向に近い接線を持つ点ｐはラベル０または２、垂直方向に近い接線を持つ点はラベル１または３、それ以外の点はラベル−１を持つ。
このようにして、点列Ｐから、レベルの系列（Ｌ（０），Ｌ（１），・・・，Ｌ（ｎ−１））が得られる。同じラベルを持つ一連の点を１つのクラスタとしてまとめることにより、図１９（Ａ）に示すように、点列Ｐをクラスタ分けできる。
【００９０】
ｊ番目のクラスタについて、ｋｊをそのクラスタの開始点のインデックス、ｍｊ＞０をそのクラスタに属する点の数として、
Ｃｊ＝（ｐ（ｋｊ），ｐ（ｋｊ＋１），・・・，ｐ（ｋｊ＋ｍｊ−１））
とすると、
ｊ−１番目とｊ＋１番目のクラスタとの間には、
ｋｊ＝ｋｊ−１＋ｍｊ−１，ｋｊ＋１＝ｋｊ＋ｍｊ
という関係があり、
Ｌ（ｋｊ−１＋ｍｊ−１）≠Ｌ（ｋｊ）＝Ｌ（ｋｊ＋１）
＝・・・＝Ｌ（ｋｊ＋ｍｊ−１）≠Ｌ（ｋｊ＋１）
という性質を満たす。
クラスタＣｊについて、水平・垂直方向の線のがたつきを修正する。Ｌ（ｋｊ）＝０，または、２、すなわち、水平方向に近い接線をもつクラスタならば、Ｃｊの各点のｙ座標Ｙ（ｋｊ＋ｉ）（ｉ＝０，１，・・・，ｍｊ−１）の分布から、そのモードＭを求める。
【００９１】
そして、｜Ｙ（ｋｊ＋ｉ）−Ｍ｜≦１ならば、Ｙ（ｋｊ＋ｉ）←Ｍと設定する。
Ｌ（ｋｊ）＝１、または、３の場合は、ｘ座標について同様の処理を行う。
次に、垂直線と水平線の交差部分の鈍りを整形する。接線方向が水平・垂直以外の点のクラスタＣｊが、互いに垂直な接線方向を持つ点のクラスタに囲まれている、すなわち、Ｌ（ｋｊ−１）≧０、Ｌ（ｋｊ）＜０、Ｌ（ｋｊ＋１）＞０、Ｌ（ｋｊ−１）≠（ｋｊ＋１）とする。
【００９２】
もし、クラスタＣｊに属する点の数が十分に少ないならば、図１９（Ｂ）に示すように、クラスタＣｊ−１とＣｊ＋１を延長し、直角のコーナーを構成することにより、クラスタＣｊ内の点を修正する。
全ての輪郭線について修正を行った後、ベクトル−ラスター変換によって、輪郭線から２値画像を生成する。以上の処理フローを図１８に示す。
【００９３】
漢字「回」（符号Ｃ５で示す）について第２の処理を施す前の状態を図２０（Ａ）に示し、第２の処理を施した後の状態を図２０（Ｂ）に示す。図２０（Ａ），（Ｂ）において黒塗りの画素ａ，ｃ，ｅ，ｇ，ｉは、クラスタを構成しない画素（接線が０°，９０°，１８０°，２７０°から外れている画素）を示し、ｂ，ｄ，ｆ，ｈはクラスタを構成する画素（接線が０°，９０°，１８０°，２７０°に近い画素）を示している。
図２０（Ａ）に示す処理前の輪郭線（画素列）の凹凸やコーナ部分（符号ＣＮＲで示す）の鈍りは、図２０（Ｂ）に示す輪郭線では緩和されていることがわかる。
【００９４】
図２１（Ｂ）に、図２１（Ａ）の２００ｄｐｉの原画像を、解像度４倍で作成した結果を示す。図２１（Ａ），（Ｂ）からわかるように、本実施例によれば多階調の原画像が鮮明でなくとも、再現性に優れた２値ビットマップ画像が再現される。なお、２００ｄｐｉで入力されたカラー画像に対して、特許文献１の方法では９７．２％の認識精度であったが、上記の方法では、９９．１％の認識精度が得られた。
【図面の簡単な説明】
【００９５】
【図１】本発明の画像認識装置の一構成例を示す図である。
【図２】第１実施形態における各手段による処理の流れを示す機能ブロック図である。
【図３】第２実施形態における各手段による処理の流れを示す機能ブロック図である。
【図４】第３実施形態における各手段による処理の流れを示す機能ブロック図である。
【図５】第４実施形態における各手段による処理の流れを示す機能ブロック図である。
【図６】第５実施形態における各手段による処理の流れを示す機能ブロック図である。
【図７】第６実施形態における各手段による処理の流れを示す機能ブロック図である。
【図８】（Ａ）はウェブサイトにおいて原画像の再現等を行なった画像受け取る具体例を示す図、（Ｂ）は同じく他の具体例を示す図、（Ｃ）は同じくさらに他の具体例を示す図である。
【図９】本発明の実施例を示すフローチャートである。
【図１０】輝度曲面のｘｙ平面から抽出される地形的特徴を示す図である。
【図１１】（Ａ）は原画像を、（Ｂ）は（Ａ）の画像をＮｉｂｌａｃｋによる２値化技術を用いて２値化した結果を示す図である。
【図１２】（Ａ）は基本画像の例を示す図、（Ｂ）は（Ａ）の画像の部分拡大図である。
【図１３】（Ａ）はグレイスケール原画像、（Ｂ）は（Ａ）のグレイスケール原画像の垂直方向のスキャンラインＡに沿った輝度のプロファイル、（Ｃ）は同じくスキャンラインＢに沿った輝度のプロファイルである。
【図１４】輝度曲面ｚ＝ｆ（ｘ，ｙ）の地形的特徴を取り入れた２値画像を示す図である。
【図１５】高解像度多値画像の各画素における輝度勾配の例を示す図である。
【図１６】図１３に示した輝度勾配量と、図１２に示した画像とを重ね合わせた画像を示す図である。
【図１７】図１４に示した画像について第２の輪郭修正手段による処理を行なった結果を示す図である。
【図１８】全ての輪郭線について修正を行った後、ベクトル−ラスター変換によって、輪郭線から２値画像を生成するときの処理フローを示す図である。
【図１９】（Ａ）輪郭画素列をクラスタ分けした例を示す図であり、（Ｂ）はクラスタ単位で凹凸を修正した例を示す図である。
【図２０】。  （Ａ）は漢字についての整形処理を施す前の状態を示す図、（Ｂ）は整形処理を施した後の状態を示す図である。
【図２１】（Ａ）の２００ｄｐｉの原画像を示す図、（Ｂ）は解像度４倍で作成した結果を示す図である。
【符号の説明】
【００９６】
１Ａ〜１Ｆ  画像出力装置
２  携帯型電話機
３  ウェブサイト
１１  原画像取得手段
１２  高解像度多値画像生成手段
１３  基本画像生成手段
１４  輝度曲面生成手段
１５  地形的特徴抽出手段
１６  地形的特徴組み込み手段
１７  輝度勾配量検出手段
１９  画像出力手段
２１  原画像保存手段
２２  色復元手段
１００  通信回線
１１０  ＰＣ（パーソナルコンピュータ）
１１１  ＣＰＵ
１１２  メモリ
１１３  ハードディスク装置
１１４  リムーバブルディスク装置
１１５  ディスプレイ・インタフェース
１１６  プリンタ・インタフェース
１１７  キーボード
１１８  ネットワーク・インタフェース
１１９  バス
１８１  第１の輪郭修正手段
１８２  第２の輪郭修正手段
１１２１  ＲＯＭ
１１２２  ＲＡＭ
１１５１  ディスプレイ
１１６１  プリンタ
１１６１  プリンタ
１１７１  キーボード
【図１】
2005064736.tif 000003
【図２】
2005064736.tif 000004
【図３】
2005064736.tif 000005
【図４】
2005064736.tif 000006
【図５】
2005064736.tif 000007
【図６】
2005064736.tif 000008
【図７】
2005064736.tif 000009
【図８】
2005064736.tif 000010
【図９】
2005064736.tif 000011
【図１０】
2005064736.tif 000012
【図１１】
2005064736.tif 000013
【図１２】
2005064736.tif 000014
【図１３】
2005064736.tif 000015
【図１４】
2005064736.tif 000016
【図１５】
2005064736.tif 000017
【図１６】
2005064736.tif 000018
【図１７】
2005064736.tif 000019
【図１８】
2005064736.tif 000020
【図１９】
2005064736.tif 000021
【図２０】
2005064736.tif 000022
【図２１】
2005064736.tif 000023