(57)【特許請求の範囲】
【請求項１】
文字列の上を通すことによって選択した文字列を記録するためのペンであって、文字を画像化するための感光センサ（８）および画像化した文字を識別し且つこれらをペンに文字コードフォーマットで記憶する信号処理ユニット（20〜24）を含むペンにおいて、感光センサ（８）が２次元センサ面を有し、このセンサが、各画像の内容が先の画像の内容と一部は重なるように、部分的に重複する内容の複数の画像を使って選択した文字列を画像化するようになされ、信号処理ユニット（20〜24）が、前記複数の画像から複合画像を創り且つペンの異なる運動速度および異なる回転角度に対して補償が得られるように、重複した画像だけを使って各画像を先の画像と垂直および水平の両方で編集するようになされ、画像化した文字の識別がこの複合画像に基づいて行われることを特徴とするペン。
【請求項２】
請求項１によるペンであって、更に、記録すべき文字を証明するための光パルスを出すようにされた照明手段（６）を含むペン。
【請求項３】
請求項１または請求項２によるペンにおいて、前記信号処理ユニット（20〜24）が文字を識別するためのニューラルネットワークを含むペン。
【請求項４】
請求項１から請求項３の何れか一項によるペンにおいて、前記信号処理ユニットが前記複合画像を、各々１文字しか含まない複数の画像に分割するようにされたペン。
【請求項５】
請求項１から請求項４の何れか一項によるペンであって、更に、このペンが文字を走査する準備ができたことを表示するための表示装置（29）を含むペン。
【請求項６】
請求項１から請求項５の何れか一項によるペンであって、更に、識別した文字を示すためのディスプレー（25）を含むペン。
【請求項７】
ペンを使って選択した文字列を記録するための方法であって、
ペンを選択した文字列の上を通過させ、同時に、この選択した文字列を、各画像の内容が先の画像の内容と部分的に重複するように、複数の画像を使って画像化する工程、
前記複数の画像から複合画像を創り且つペンの異なる運動速度および異なる回転角度に対して補償が得られるように、重複した画像だけを使って各画像を先の画像と垂直および水平の両方で編集するために、このペンの中の信号処理ユニットを使う工程、
複合画像の中の文字を識別する工程、および
所定の文字コードフォーマットを使って、識別した文字を、このペンの中に記憶する工程を含む方法。
【請求項８】
請求項７による方法であって、更に、前記ペンを記録すべき文字の上を通過させるとき、それらを光パルスで照明する工程を含む方法。
【請求項９】
請求項７または請求項８による方法において、前記複数の画像を編集する工程が、逐次記録した各画像の対の内容間の最善の一致をもたらす重複位置を決定するために、逐次記録した画像を可能性ある重複位置に関して二つ一組で調べることを含み、この様に決定した重複位置をこの対の画像を編集する際に使用する方法。
【請求項１０】
請求項７から請求項９の何れか一項による方法において、前記記録した画像の編集をリアルタイムで行う方法。
【請求項１１】
請求項９による方法において、前記記録した画像が各々明暗度によって決る複数の画素から成り、更に、
前記最善の重複位置を決定してから前記対の画像を編集するとき、各重複画素に対する画素明暗度を、好ましくは平均値で決定する工程であって、その画素明暗度は対となる画像そのものの画素の明暗度に基づく工程、および
この様にして決定した画素明暗度を複合画像に使う工程を含む方法。
【請求項１２】
請求項７から請求項11の何れか一項による方法において、前記文字を識別する工程が、前記複合画像を各々１文字しか含まない複数のサブ画像に分割する工程を含む方法。
【請求項１３】
請求項12による方法において、前記複合画像が各々明暗度によって決る複数の画素から成り、前記複合画像を複数のサブ画像に分割する工程が、複数の行の和および列の和を得るために前記複合画像の画素の明暗度を行毎におよび列毎に合計する工程と、この複合画像をサブ画像に分割するために得た、これらの行の和および列の和間の局部的な最小値を識別する工程とを含む方法。
【請求項１４】
請求項12または請求項13による方法において、各サブ画像が各々明暗度によって決る複数の画素から成り、記録した画像の中の文字を識別する工程が、サブ画像の中の各画素の明暗度を決める工程と、それを、前記サブ画像の文字を入力信号を使って識別するようにされたニューラルネットワークに対する入力信号として送る工程とを含む方法。
【請求項１５】
請求項７から請求項14の何れか一項による方法であって、更に、前記文字の識別に先立って、前記画像の中の文字が水平な行を形成するように、前記複合画像を回転する工程を含む方法。
【発明の詳細な説明】
発明の分野
本発明は、請求項１の前段部分による、選択した文字列を記録するためのペン、並びに請求項７の前段部分による、そのような記録を行う方法に関するものである。
発明の背景
文章（テキスト）の読者は、文章の最も重要な部分に印を付け、次回その文章を通読するときに容易にこれを見つけ、関係のない部分を読まずに済むようにすることを、しばしば望む。この目的に対し、いわゆるハイライトペン（光彩ペン）を使うことが知られている。
読者はまた、文章の選択した部分を新しい文書としてまとめることが必要なこともあり、文書はコンピュータのワープロソフトで編集ができる。文章をコンピュータに入れるための既知の方法は、スキャナ（走査装置）を使うことである。スキャナには据置型スキャナと携帯型スキャナがある。据置型スキャナは、ページ全体の文章を走査するために使用し、スキャナは文章の上を自動的に一定速度で通される。この種のスキャナは、あるページのある文章の選択した部分を走査することには適していない。一方、携帯型スキャナは、これを目的として使うことができる。
米国特許第5,301,243号は、支持体上の文字列から文字を読むための手持式スキャナを開示している。このスキャナは、支持体と接触して読み込む文字の上を通過し、この支持体の細かい部分を「見る」光学系を有する。この光学系には、CCD（電荷結合素子）型のラインセンサがあり、それは一列の並ぶ複数の感光素子を有する。このスキャナが支持体上の文字の上を通過するとき、一連の文字およびその間のスペースを縦に「スライス（切断）したもの」として記録する。この「スライスしたもの」はディジタルビットマップ（digital bitmap）としてこのスキャナの中に記憶される。次に,OCR（光学式文字認識）ソフトを使って走査した文字を識別し、それらを文字コードのフォーマット（体裁）で、例えば、アスキー（ASCII）コードを使って、メモリ（記憶装置）に記憶する。文字認識は、スキャナの中、またはビットマップになされた文字が送られる外部のコンピュータで行うことができる。
携帯型スキャナを使うことに関する問題は、文字を正しく識別するために、このスキャナが、走査した「スライスしたもの」の間隔を知らねばならないことである。これは、スキャナを文字の上で一定の速度で通過させるか、そうでなければスキャナが非常に正確な距離計を有していなければならいことを意味するが、前者を手動で達成することは困難である。
上述の米国特許第5,301,243号では、この距離問題を車輪の形状の機械的距離計を使って除去している。しかし、機械的距離計は可動部品を有し、このことは耐久性および製造に関する限り欠点である。更に、この距離計が新聞等から情報を記録する場合、これらを堅い面上に置かなければ困難である。その上、この距離計は記録する情報を採る面に車輪を当接しなければ成らず、従ってこの面に当接するスキャナの端を大きくするので、記録すべき情報を見る可能性が減ぜられる。
既知の携帯型スキャナに関する別の問題は、それらを全時間実質的に一つの所定の方向に向けて保持しなければならないことである。更に詳しくは、センサを、ペンが動かされる方向と垂直に、即ち文字列に垂直に向けなければならない。もし、文字列を記録するときに、スキャナを他の方向に保持またはその縦軸周りに回転させると、走査した「スライス」に方向情報がないので、スキャナは記録した文字を識別することが困難であろう。これは、人が違えばスキャナの持ち方が違うことが多いので、先行技術の重大な欠点である。特に、右利きと左利きのスキャナの持ち方に違いがある。更に、スキャナを線に沿って動かすとき、人はしばしば手の位置を変える。これは、手に本等を持っており、この文章を記録したいときに特に問題である。
米国特許第4,949,391号は、距離計のない光学式スキャナを開示している。更に詳しくは、この光学式スキャナには２次元センサがあり、これがスキャナの通過する文章の内容を、部分的に重複して画像に記録する。しかし、この手持式スキャナは、実際は文字を解釈せずに記録する「愚鈍な」記録ユニットに過ぎない。その代りに、このスキャナを接続したコンピュータでOCR処理を行う。このスキャナは、画像から冗長な情報を持つ列を除去するために、逐次記録した画像を互いに関連づけ、保管場所が少ししか要らないようにしている。このスキャナは、車輪が決める所定の方向にしか動かせない。
発明の要約
この発明の一つの目的は、携帯型スキャナの先行技術の上述の問題を除去し、または少なくとも軽減すること、並びに、特に距離計を使わずに且つ一定速度で動かす必要なしに、選択した文字列の記録に使える方法およびペンを提供することである。
これに関連して、別の目的は、縦軸周りの異なる方法で回転して保持することができ、および、特に選択した文字列を記録する間、記録した文字の識別の信頼性を決定的に下げることなくペンをその縦軸周りに回転可能にする方法およびペンを提供することである。
これらの目的は、それぞれ請求項１および請求項７に述べる特徴を有する、選択した文字列を記録するためのペンおよび方法によって達成される。
上述のように、この発明によるペンおよび方法は、このペンを選択した文字列の上を通すことによって、文字列を記録するために使用する。この選択した列は、例えば１ないし数語または長い文章から選択した１ないし数文から成ってもよい。これらの文字は、英字、数字および／またはその他書かれた文字若しくは記号でもよい。これらの文字は、光学的に走査できる紙またはその他の媒体から走査してもよい。
このペンは、２次元センサ面を備える感光センサを含む。ここで、２次元センサ面とは、互いに垂直な二つの方向それぞれに二つ以上の画素を記録できるセンサ面を指す。このセンサは、CCD型が好ましい。それは、２次元画像をグレースケール（grey scale）またはカラーで記録できる。これらの画像は、各々明暗値によって決る複数の画素から成る。これらの画像の高さは、記録すべき最も高い文字に対して、本質的に余裕があるべきである。これらの画像の幅は、所望する画像記録頻度および利用できるセンサに基づいて選択できる。
更に、このペンは、少なくとも中央処理ユニット、メモリ、入／出力回路、およびこの発明による方法を実行するための指示プログラムを含む信号処理ユニットを含む。この信号処理ユニットは、適当にプログラムしたマイクロプロセッサを含むのが好ましい。この信号処理ユニットは、内容が部分的に重複する画像を使って、記録した画像を一つの画像に編集する。この編集は、これらの画像の水平方向情報は勿論、垂直情報も利用するように、垂直および水平の両方で行う。結果として、この複合画像に内容の重複はない。
画像を編集し終ったとき、信号処理ユニットがこの画像の中の文字を識別し、それらを文字コードのフォーマットでこのペンの中のメモリに記憶する。これは、このペンがスタンドアロン型（独立型）であることを意味する。しかし、外部コンピュータに適当に接続し、これに情報を伝送することができる。複合画像は、所定の最大長さであるのが好ましい。記録したがまだ編集してない画像の処理速度を増し、必要メモリを減らすために、画像を記録すると編集を逐次適当に実施する。そして、編集を同時に実行できるという事実が、記録した画像に対する必要メモリを減少する。この編集は、通常記録した画像を全て編集するまで続く。しかし、それは複合画像の所定の最大長さに達すると中断される。これに対して、記録完了後に編集を行ってもよく、この場合は所定の最大数の画像が記録でき、その後これらの画像が一つの画像に編集される。ペンは記録を再開する準備ができたことを表示する表示装置を有することができる。
２次元センサ面を備えるセンサを使うこと、内容が部分的に重複する画像を記録できることおよびそれらの画像を一つの画像に編集することによって、一定速度の運動または距離計の具備に対する必要性をなくすることができる。画像の内容が部分的に重複するために、これらの画像はそれ自体が相対位置についての情報、即ち距離情報を含み、この結果、距離計を使ってこの情報を記録する必要がない。更に、これらの重複画像がその相対位置を示す方向情報を含むので、ユーザは、文字識別を損うことなくこのペンを文章に対して任意の回転角度で保持でき、且つ画像を記録しながらペンを回転することさえできる。これは、使い勝手を可成り改善する。
ユーザが記録した文字列を、最初にそれを普通のコンピュータへ伝送する必要なく読めるように、このペンがディスプレーを有することが好ましい。
上述のように、編集の実行が可能であるように、記録した画像の内容に幾つかの重複がなければならない。この重複程度は、20％以上、好ましくは50％以上である。
記録した画像のコントラストを十分に大きくし、ペンを文字列に対して動かすことにより生ずるぼけを避けるため、ペンを文字列の上を通すとき、記録すべき文字を光パルスで照明するのが好ましい。この照明は、この装置に内蔵または取付けた照明手段、例えば、LED（発光ダイオード）を使って適宜達成することができる。この光パルスの周波数は、画像を記録するための周波数、即ち感光センサの内容を読むための周波数と同じとし、それと同期させるべきである。例えば、速くて機械的なシャッター（開閉器）をパルス照明の代りに使うことができる。しかし、これは装置を複雑にする。
画像を編集するとき、対となる各画像の対の内容間の最善の一致をもたらす重複位置を決定するために、逐次記録した画像を、可能性ある重複位置に関して二つ一組で調べるのが好ましい。この様に決定した重複位置を、この対の画像を編集するときに使用する。
この最善の重複位置を決定したとき、各重複画素に対して画素明暗度を決定するのが好ましい。この画素明暗度は、対となる画像そのものの画素の明暗度に基づく。この様にして決定した画素明暗度を最終複合画像に使う。
全画像を編集し終ったとき、この画像を、各々が１文字を含む複数のサブ画像に分割するのが好ましい。この分割は、物理的分割ではなく、全画像で行うべきで、実際の文字認識の準備を構成し、各文字を別々に解釈するのが好ましい。また、その代りに語全体またはその部分を解釈してもよい。
画素の明暗度を行毎におよび列毎に合計することによって複数の行和および列和を得、さらに得た行和および列和間の局部的最小値を識別することによって、画像をサブ画像に分割することができる。
複合画像の中の文字の識別は、ニューラルネットワークを使って行うのが都合がよい。
これに関連して、サブ画像の中の各画素の明暗度が決められ、入力信号を使って前記サブ画像の中の文字を識別するニューラルネットワークに、入力信号として送られるのが適当である。
文字の識別に先立って、もし必要なら、画像の中の文字が水平な行を形成するように、複合画像を回転することができる。これは、識別を容易にする。
この発明によるペンは、例えば、勉強しながら文章を記録するため、数値を走査するため、紙の形でだけ存在する古い文書に基づいて新しい文書を作るため、およびその他の多くの用途に使うことができる。
【図面の簡単な説明】
以下に本発明をその実現方法および使い方の例によって説明する。説明は、以下の添付図面を参照する。
図１は、本発明によるハイライトペンの実施例を示した概略的図である。
図２は、本発明によるハイライトペンの実施例における電子回路のブロック線図である。
図３は、本発明による方法の流れ線図で、その実行方式を示す。
図4a〜図4eは、本発明による方法の実施例を示す。
図5a〜図5cは、本発明による方法の他の実施例を示す。
図6a〜図6cは、本発明による方法の別の実施例を示す。
発明の詳細な説明
図１の本発明によるペンの実施例は、従来のハイライトペンとほぼ同じ形状のケーシング１を有する。このケーシング１は一つの短い端面に窓２を有し、これは文字を読取るべき、通常１枚の紙である記録媒体に当接または少し隔離して保持することが意図されている。窓２の幅は、所望の画像記録頻度、所望の最大牽引速度および利用できるセンサに基づいて選択する。窓２の高さは、記録すべき文字の最大高さより幾らか大きい。窓２は、このペンの縦軸と鋭角を成し、ユーザがこのペンを紙と所定の角度に保持するように案内する。更に、この窓は、紙と接して疲労することがないように、ケーシングの中に幾らか引込んでいる。
ケーシング１は、本質的に光学部分３、電子部分４および電源５を含む。
光学部分３には、LED6、レンズ系７および電子部分４とのインタフェースを構成する感光センサ８がある。
LED6は、記録媒体の目下窓の下にある部分を照明する役割を持つ。拡散体９をLED6の前に取付け、光を拡散する。
レンズ系７の役割は、感光センサ８の窓２の下にある記録媒体の部分の画像をできるだけ正確に投射することである。もし、センサ８の感光面積が窓２より小さければ、レンズ系７は画像の縮小もしなければならない。当業者は、この目的を満足する多数の異なるレンズ系を構成できるであろう。
この実施例では、感光センサ８がA/D変換器内蔵の２次元正方形CCDユニットから成る。そのようなセンサは市販されている。ここで、センサ８は、窓２に対して小さな角度で、それ自体のプリント基板11に取付けられる。
このペンの電源は、ケーシング内の別の区画13に取付けた電池12から供給される。
図２のブロック線図は、電子部分４を概略的に示す。それはプロセッサ（演算装置）20を含み、プロセッサはバス（母線）21の仲介によって、プロセッサのプログラムを記憶するROM22、このプロセッサの作業メモリを構成し且つセンサからの画像並びに識別および解釈した文字を記憶する読み／書きメモリ23、制御論理ユニット24、並びにセンサ８およびLED6に接続する。次に、この制御論理ユニット24は、ケーシングに取付けたディスプレー25、外部コンピュータに情報を送受信するための赤外線トランシーバ（赤外線無線送受信機）26、ユーザがこの装置を制御するためのボタン27、ユーザが文章を追跡するのを容易にする光ビームを出すトレーサ（追跡用）LED28、およびこのペンが文字を記録する用意ができたことを表示するLEDを含む表示装置29といった多数の周辺ユニットに接続されている。これらのメモリ、センサ、および周辺ユニットへの制御信号は、制御論理ユニット24で発生する。この制御論理ユニットは、プロセッサへの割込みの発生および優先順位づけも扱う。ボタン27、赤外線トランシーバ26、ディスプレー25およびトレーサLED28、並びにLED6は、この制御論理ユニットのレジスタ（一時記憶装置）でプロセッサの読み書きが行われることによってアクセスされる。ボタン27は、それらを作動しているとき、プロセッサ20への割込みを発生させる。
このペンは、次のように作動する。ユーザがこのペンを文章のある紙に向けて文字列の記録を始めたい位置に保持する。ボタン27を押してこのペンを作動させ、ペンを記録したい文章の上で動かし、文章を読むときと同様にこの文章をなぞる。トレーサLED28がこれらの行の追跡を容易にする光ビームを出す。ユーザがこのペンを作動させるとき、プロセッサ20は、LED6に25Hzの所定の周波数でストロボパルスの発生開始を指示し、センサが記録した画像を同じ周波数で読み／書きメモリ23に記憶する。しかし、画像の形で記憶される文章は、大量のメモリスペースを要し、また、コンピュータ例えばワープロソフトで直ちに使うことができない。従って、画像の文字は、アスキーコードを使って識別し、記憶する。ユーザが選択した文字列の上でペンを動かし終った、または行の終りまで来たときは、ペンを紙から上げて、作動状態にあるボタンを開放し、それによってプロセッサ20がLED6を消す。選択した文字列を記録したとき、ユーザは、記録した文章をディスプレー25上に表すように、またはこの文章を赤外線トランシーバ26を通じて外部コンピュータへ伝送するようにペンを制御できる。ユーザがしばしば正しい文字を走査したことを確かめたがるので、操作した文字情報を直接ディスプレー上に示し得ることが、非常に本質的であることが分った。
図３の流れ図は、この発明による方法の実行方式を示す。段階301で、内容の重複する画像を上に説明したペンを使って走査し、読み／書きメモリ23の現画像領域に記憶する。これらの画像は、画像の状態で、即ち各々白から黒までの範囲のグレースケール値を有する複数の画素を用いて記憶される。
全画像を現画像領域に記憶すると、直ちにこの画像の先の画像との編集を、もしそのような画像があれば、適当に始める（段階302）。もし先の画像が何もなければ、現行画像を読み／書きメモリの行画像領域に直接入れる。
画像の内容間で最善の一致を達成するために、現行画像を先の画像と如何に編集するかを決める必要があり、画像間のあらゆる可能性ある重複位置を画素レベルで調べ、重複量を次のように決定する：
（１）各重複画素位置に対して、含まれる二つの画素のグレースケール値を、もし後者が白でなければ、合計する。どの画素も白でない画素位置をプラス位置と称する。
（２）全てのプラス位置に対するグレースケール値を合計する。
（３）各画素位置の隣の画素を調べる。もし、重複する画素位置がプラス位置の隣でなく、白の画素および白でない画素からなる画素位置であれば、この白でない画素のグレースケール値を項目（２）の和から、事によると定数を掛けて、引く。
（４）上に述べたような最高重複量をもたらす重複位置を選択する。できた複合画像では、グレースケール値の平均値を使う。この様にして、重複領域でノイズを抑えることができる。編集は、この様にして垂直と水平の両方で行う。もし、編集したとき、画像が水平線に終らないことを検出したならば、複合画像を適当に調整して、例えば、複合画像を回転することによって、それが水平になるようにする。
この複合画像は、読み／書きメモリの行画像領域で次第に発展する。この行画像領域は、通常のタイプライターで打ち込まれたA4の文章の行を記憶するに十分な大きさであるのが好ましい。
段階303で、プロセッサ20のソフトウェアが行画像メモリ領域の複合画像を、各々１文字しか含まないサブ画像に分割する。この目的は、これらの文字を解釈するニューラルネットワークソフトウェアへの入力信号を創ることである。この分割は、複合画像の各画素行および各画素列に対するグレースケール値を合計することによって行う。得られた行の和および列の和に対する局部的な最小明暗度を検討することによって、各文字の広がりの境界を知ることができる。
もし、複合画像が１行を越える文章を含むならば、このようなことは文章が小さい場合に有り得るが、このときはサブ画像に分割する前に文章の行を分離し、且つ問題の行を選択しなければならない。この分離は、サブ画像に分けるために使うような手法を使って行うことができる。
段階304で、サブ画像を、各々の画素がグループ内の画素の平均グレースケール値に一致した画素で置換えられた画素のグループに分割することによって、所定の画素フォーマットに縮小する。もし必要なら、類似の縮小を、この発明による方法の他の段階の間で行うことができる。更に、文字をその平衡点に関して芯出しし、グレースケール値を、各画素のグレースケール値の二乗の和を値として与えて標準化する。
次に、段階305で、描かれた文字列の複合画像の各文字を解釈する。一緒に１文字しか含まないサブ画像を構成する画素のグレースケール値を、ニューラルネットワークへ入力信号として送る。このニューラルネットワークからの各出力は、このネットワークが認識できる文字を表している。このネットワークからの最高出力信号を有する出力を選択し、この様に選択される文字を、段階306で、所定の文字コードフォーマット、例えばアスキーコードを使って解釈した文字用であるメモリ領域の読み／書きメモリ23に記憶する。文字コードフォーマットでの文字識別および記憶を完了したとき、プロセッサは表示装置29を作動させてユーザに新しい文字列を記録する準備ができたことを知らせる（段階307）。次に、段階301へ戻る。
前記説明した段階は、関連するユニットおよび適当なソフトウェアを使って、プロセッサ20で実行される。そのようなソフトウェアは、当業者が前記の指示を使って創ることができる。文字認識は、適当な方法でプログラミングされたニューラルネットワークを使って行う。ニューラルネットワークは、例えば、米国014760マサチューセッツ州ネーティック、プライムパークウェー24、マスワーク社からMATLABニューラルネットワークツールボックスとして市販されている。
図4aから図4eは、文字列
0003641485.tif 000002
を走査するとき、この発明による方法が如何に作用するかを説明する。図4aは、紙の上に小さい黒点の形の、ある程度の「ドットノイズ」も含む文章を示す。図4bは、センサを使って記録する画像を示す。この図から分るように、この画像の内容は一部重複する。文字「ｌ」が１番画像に完全に見え、２番画像に部分的に見える。重複程度は、牽引速度、即ちセンサの内容を読出す周波数に関連して、ユーザがこの装置を文章の上を引く速度に依る。図4cは、複合画像全体がどの様に見えるかを示す。注意すべきは、画像がまだ画素の形で記憶されていることである。図4dは、全画像の、サブ画像への分割を示す。図4eは、ニューラルネットワークへの入力信号として使用する、基準化および正規化した文字を示す。この方法を実行し終ったとき、文章
0003641485.tif 000003
がこのペンの読み／書きメモリにアスキーコードとして記憶される。
図示した実施例では、ペンを真っ直ぐ保持し、文字列を記録する間全く回転しなかった。もし、ペンをその縦軸周りに一定角度で回転して保持すると、画像は図5aのものになるだろう。この場合、画像を編集すると、傾斜した画像が得られ（図5b参照）、文字列を水平にする（図5c）ためには、それを回転しなければならない。どの程度の回転をすべきかを決定するためには、複合画像の文字の位置を２、３の場所で検出する。
もし、ペンを記録するときその縦軸の周りに回転すると、画像の傾斜が異なる。この例を図6aに示す。これらの画像を編集すると（図6b参照）、波形の文字列が得られる。それは、複合画像の文字の位置を複数の場所で検出し、異なる部分を異なる程度に回転することによって（図6c参照）、水平な線に整えることができる。
【図１】
0003641485.tif 000004
【図２】
0003641485.tif 000005
【図３】
0003641485.tif 000006
【図４ａ】
0003641485.tif 000007
【図４ｂ】
0003641485.tif 000008
【図４ｃ】
0003641485.tif 000009
【図４ｅ】
0003641485.tif 000010
【図４ｄ】
0003641485.tif 000011
【図５ａ】
0003641485.tif 000012
【図５ｂ】
0003641485.tif 000013
【図５ｃ】
0003641485.tif 000014
【図６ａ】
0003641485.tif 000015
【図６ｃ】
0003641485.tif 000016
【図６ｂ】
0003641485.tif 000017