(57)【特許請求の範囲】
【請求項１】
図形を構成する形状を、ストロークとして入力する入力手段と、
前記入力手段により入力された形状を表示する入力形状表示手段と、
前記入力手段により入力された形状を近似する抽象化図形の候補を複数抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された前記抽象化図形の候補を複数表示する特徴表示手段と、
前記特徴表示手段により表示された前記抽象化図形に対して前記入力手段により前記形状の入力が加えられた場合、前記特徴抽出手段により前記抽象化図形の候補が抽出されるごとに、抽出された複数の前記抽象化図形の各々と、いままでに抽出された前記抽象化図形とを組み合わせてなる複数の図形が、それぞれ、予め記憶された形状と対応するか否かを認識する認識手段と、
前記認識手段により認識した結果得られた複数の図形を表示する認識形状表示手段と
を備えることを特徴とする形状入力表示装置。
【請求項２】
前記入力形状表示手段は、前記認識形状表示手段が認識の結果得られた形状を表示するとき、入力された形状の表示を消去する
ことを特徴とする請求項１に記載の形状入力表示装置。
【請求項３】
図形を構成する形状を、ストロークとして入力する入力ステップと、
前記入力ステップの処理により入力された形状を表示する入力形状表示ステップと、
前記入力ステップの処理により入力された形状を近似する抽象化図形の候補を複数抽出する特徴抽出ステップと、
前記特徴抽出ステップの処理により抽出された前記抽象化図形の候補を複数表示する特徴表示ステップと、
前記特徴表示ステップの処理により表示された前記抽象化図形に対して前記形状の入力が加えられた場合、前記特徴抽出ステップの処理により前記抽象化図形の候補が抽出されるごとに、抽出された複数の前記抽象化図形の各々と、いままでに抽出された前記抽象化図形とを組み合わせてなる複数の図形が、それぞれ、予め記憶された形状と対応するか否かを認識する認識ステップと、
前記認識ステップの処理により認識した結果得られた複数の図形を表示する認識形状表示ステップと
を含むことを特徴とする形状入力表示方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、例えば電子手帳装置、携帯用コンピュータなどに用いて好適な形状入力表示装置および方法に関する。
【０００２】
【従来の技術】
電子手帳装置あるいは携帯用コンピュータなどにおいては、ペンで文字、図形、記号などの所定の形状を入力することができるようになされているものがある。このように、ペンで種々の形状を入力することができるようになされていると、紙に文字や図形などを描く感覚で装置に指令を入力することができるため、初心者でも比較的簡単に種々の入力を行うことができる。
【０００３】
図３５は、このような従来の装置におけるペン入力の処理を説明するフローチャートである。ステップＳ１において、使用者がペンでタブレット上に所定の筆跡を入力すると、タブレットと一体化されたＬＣＤなどの表示部に、その筆跡が表示される。また、その筆跡のデータがタブレットの座標上の点（ｘi，ｙi）の集合として取り込まれる。このデータは、ストローク（画）ごとに取り込まれる。第ｋ番目の画のデータは、Ｓ（ｋ）として取り込まれる。
【０００４】
ステップＳ２では、筆跡Ｓ（ｋ）に対する特徴抽出処理が行われる。この特徴Ｐ（ｋ）は、直線Ｌi（ｋ）と円弧Ａi（ｋ）の集合として表される。即ち、入力した筆跡が所定の数の直線と円弧の集合として検出される。
【０００５】
これらの特徴抽出データＰ（ｋ）は、それ以前の画で入力され、未解放（まだ処理が終了していない）特徴抽出データとともに、次のステップＳ３において、形状判定処理に用いられる。即ち、それまでに入力され、まだ認識が行われていない筆跡から、その筆跡に対応する、予め登録されている形状が存在するか否かが判定される。
【０００６】
それまでに入力された筆跡から所定の形状が認識されない場合、図形認識処理を終了する。そして、次の新たな筆跡が入力されたとき、ステップＳ１の処理から同様の処理を繰り返す。
【０００７】
ステップＳ３において、所定の形状が認識された場合、ステップＳ４に進み、その認識の基礎とされた過去の筆跡データＳ（ｋ）乃至Ｓ（ｋ−ｃ）が消去される。そして、ステップＳ５に進み、それまでのステップＳ２における処理の結果得られた特徴抽出データＰ（ｋ）乃至Ｐ（ｋ−ｃ）が、既に形状認識に用いられたデータとして解放される。さらに、ステップＳ６に進み、ステップＳ３の形状判定処理の結果認識された図形データＦ0（ｋ−ｃ，ｋ），Ｆ1（ｋ−ｃ，ｋ）・・・が表示部に表示される。
【０００８】
以上の処理を、具体的表示例を参照してさらに説明する。いま図３６（ａ）に示すように、ペンを用いてタブレット（表示部）上に筆跡Ｓ0を入力したとする。このとき、ペンの動きがタブレットにより検出され、図３６（ｂ）に示すように、その筆跡が表示部に表示される。ペンをタブレットから離すことを契機として、図形認識処理が開始される。
【０００９】
次に、使用者が図３６（ｃ）に示すように、筆跡Ｓ1を１画で描いたとする。 即ち、いま使用者は、筆跡Ｓ0と筆跡Ｓ1とで三角形を描いたものとする。筆跡Ｓ1の入力を完了すると、この筆跡Ｓ1の特徴抽出処理が行われる。
【００１０】
図３７（ａ）は、このような筆跡Ｓ0と筆跡Ｓ1の特徴抽出結果を示している。この例においては、筆跡Ｓ0が、直線Ｌ0と円弧Ａ0の２つの特徴を有するものと して検出されている。また、筆跡Ｓ1は、直線Ｌ1，Ｌ2と、円弧Ａ1を特徴とする形状として検出されている。
【００１１】
尚、この図３７（ａ）に示す特徴（形状）は、筆跡Ｓ0，Ｓ1を処理した結果得られたものを模式的に示したものであって、表示部には実際には表示されない。
【００１２】
そして、この直線Ｌ0または円弧Ａ0と、直線Ｌ1，Ｌ2および円弧Ａ1の組合せ により得られる図形が、予め記憶されている形状と比較され、その形状が三角形として予め記憶されている形状に対応するとき、図３７（ｂ）に示すように、認識した結果得られた三角形の形状Ｔ0が、それまでの筆跡Ｓ0，Ｓ1に代えて表示 される。
【００１３】
【発明が解決しようとする課題】
従来の装置は、このように、入力された筆跡Ｓ0，Ｓ1を表示部に表示させるとともに、入力された筆跡から、その特徴を抽出し、その特徴から所定の形状を認識することができたとき、その筆跡を消去し、それに代えて、認識した結果得られた図形を表示するようにしている。その結果、使用者は、その装置の認識に際しての癖を理解することができず、所定の形状を認識させるのに時間がかかる課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、任意の形状を迅速かつ確実に入力し、表示させることができるようにするものである。
【００１５】
【課題を解決するための手段】
請求項１に記載の形状入力表示装置は、図形を構成する形状を、ストロークとして入力する入力手段としてのペン１６と、ペン１６により入力された形状を表示する入力形状表示手段としてのプログラム上のステップＳ１１と、ペン１６により入力された形状を近似する抽象化図形の候補を複数抽出する特徴抽出手段としてのステップＳ１２と、特徴抽出手段により抽出された抽象化図形の候補を複数表示する特徴表示手段としてのステップＳ１４と、特徴表示手段により表示された抽象化図形に対して入力手段により形状の入力が加えられた場合、特徴抽出手段により抽象化図形の候補が抽出されるごとに、抽出された複数の抽象化図形の各々と、いままでに抽出された抽象化図形とを組み合わせてなる複数の図形が、それぞれ、予め記憶された形状と対応するか否かを認識する認識手段としてのステップＳ１５と、認識手段により認識した結果得られた複数の図形を表示する認識形状表示手段としてのステップＳ１８とを備えることを特徴とする。
【００１７】
また、認識形状表示手段が認識の結果得られた形状を表示するとき、入力された形状の表示を消去するようにすることができる。
【００２１】
請求項３に記載の形状入力表示方法は、図形を構成する形状を、ストロークとして入力する入力ステップと、入力ステップの処理により入力された形状を表示する入力形状表示ステップと、入力ステップの処理により入力された形状を近似する抽象化図形の候補を複数抽出する特徴抽出ステップと、特徴抽出ステップの処理により抽出された抽象化図形の候補を複数表示する特徴表示ステップと、特徴表示ステップの処理により表示された抽象化図形に対して形状の入力が加えられた場合、特徴抽出ステップの処理により抽象化図形の候補が抽出されるごとに、抽出された複数の抽象化図形の各々と、いままでに抽出された抽象化図形とを組み合わせてなる複数の図形が、それぞれ、予め記憶された形状と対応するか否かを認識する認識ステップと、認識ステップの処理により認識した結果得られた複数の図形を表示する認識形状表示ステップとを含むことを特徴とする。
【００２２】
【作用】
請求項１に記載の形状入力表示装置および請求項３に記載の形状入力表示方法においては、入力形状を近似する抽象化図形の候補を複数抽出したとき、その抽出された抽象化図形の候補が複数表示される。従って、使用者は、最終的に形状が認識される前に、自らが入力した形状が、装置にどのように認識されているのかを知ることができ、その結果に対応して、以後入力する形状を工夫することが可能になる。その結果、所望の形状を迅速かつ確実に入力し、表示させることができる。
【００２４】
【実施例】
図１は、本発明の形状入力表示装置としてのオンライン手書き形状入力表示装置の一実施例の構成を示すブロック図である。ＣＰＵ１は、ＲＯＭ２に記憶されているプログラムに従って各部を制御し、形状入力表示動作を実行するようになされている。ＲＡＭ３には、必要に応じて所定のデータなどが記憶される。バックアップＲＡＭ４には、バッテリ５から常に所定の電力が供給されており、装置の電源をオフした場合においても、記憶しておきたい情報を記憶するようになされている。タイマ６は、水晶振動子７を基準にして、バッテリ５で常時動作するようになされている。
【００２５】
ディスプレイコントローラ１１は、バスライン８を介して入力されるデータをＶ−ＲＡＭ１２に展開し、そこに展開された画像をディスプレイ部１３に表示させるようになされている。入力タブレット１５は、ペン１６を操作することにより、入力された座標位置データをタブレットインタフェース１４に出力し、タブレットインタフェース１４は、このデータをバスライン８を介してＣＰＵ１あるいはディスプレイコントローラ１１に出力するようになされている。
【００２６】
マイク１８は、集音した音声信号を固体録音処理回路１７に出力し、記憶させるようになされている。また、固体録音処理回路１７が出力した音声信号は、加算器２０を介してスピーカ２１に供給され、放音されるようになされている。ダイアラー１９は、ＣＰＵ１に制御され、所定のダイアル信号を加算器２０を介してスピーカ２１に出力するようになされている。
【００２７】
複数のキースイッチ群２２は、装置の動作を切り換えるとき操作され、その操作に対応する信号がキーインタフェース２３からバスライン８を介してＣＰＵ１に出力されるようになされている。また、複数のキースイッチ群２４の所定のものを操作することにより電源回路２５をオンし、各部に電力を供給させるようにしたり、固体録音処理回路１７による録音、再生、停止、音量調整などを実行することができるようになされている。
【００２８】
さらに、ソケット２６には、図示せぬＩＣカードを挿入することができるようになされており、ＩＣカードインタフェース２７は、このＩＣカードに対してデータを授受するようになされている。
【００２９】
ピンコネクター２９には、例えばモデムなどを接続することができ、拡張用インタフェース２８とこのモデムを介して信号を授受できるようになされている。
【００３０】
次に、その動作について、図２のフローチャートを参照して説明する。最初にステップＳ１１において、使用者がペン１６を用いて入力タブレット１５上に所定の筆跡を入力すると、入力タブレット１５は、その座標データを筆跡データとしてタブレットインタフェース１４に出力する。タブレットインタフェース１４は、この筆跡データをＣＰＵ１にバスライン８を介して供給する。ＣＰＵ１は、この筆跡データをバスライン８を介して、さらにディスプレイコントローラ１１に出力する。ディスプレイコントローラ１１は、この筆跡データに対応する画素データを生成し、Ｖ−ＲＡＭ１２に展開する。そして、このＶ−ＲＡＭ１２に展開された画素データが、ディスプレイコントローラ１１により読み出され、ディスプレイ部１３に出力され、表示される。
【００３１】
即ち、このようにして、ＣＰＵ１にペン１６で入力した第ｋ画（ストローク）目のデータＳ（ｋ）が取り込まれる。この筆跡データＳ（ｋ）は、次式で表されるように、点（ｘi，ｙi）の集合として構成される。
Ｓ（ｋ）＝｛（ｘ0，ｙ0），（ｘ1，ｙ1），・・・，（ｘp，ｙp）｝
【００３２】
次にステップＳ１２において、このようにして取り込んだ筆跡データＳ（ｋ）に対する特徴抽出処理が実行される。即ち、ＣＰＵ１は筆跡データＳ（ｋ）から、筆跡を直線Ｌi（ｋ）と円弧Ａi（ｋ）とに分解し、その集合を特徴抽出データＰ（ｋ）とする。即ち、特徴抽出データＰ（ｋ）は、次式で表すことができる。
Ｐ（ｋ）＝｛Ｌ0(ｋ)，・・・，Ｌm(ｋ)，Ａ0(ｋ)，・・・，Ａn(ｋ)｝
【００３３】
即ち、例えば筆跡データＳ（ｋ）が図３に示すようにして取り込まれているとすると、ＣＰＵ１は、この点列データ（ｘi，ｙi）の集合を、図４に示すように、直線Ｌiと円弧Ａiのデータに分解する。図４の実施例においては、図３に示した筆跡データＳ（ｋ）が、直線Ｌ0，Ｌ1，・・・と、円弧Ａ0，Ａ1，Ａ2，・・ ・のデータとに分解されている。即ち、ＣＰＵ１は、図３に示す筆跡Ｓ（ｋ）を、図４に示すようにして直線と円弧で近似するのである。
【００３４】
筆跡データＳ（ｋ）に対して抽出された特徴抽出データＰ（ｋ）は、この実施例の場合、仮りに２つの直線Ｌ0，Ｌ1と、３つの円弧Ａ0，Ａ1，Ａ2により構成 されているとすると、次のように表される。
Ｐ（ｋ）＝（Ｌ0，Ｌ1，Ａ0，Ａ1，Ａ2）
【００３５】
この特徴抽出データＰ（ｋ）は、配列あるいはリストなどの方法により管理することが可能である。特徴抽出データＰ（ｋ）は、抽象化図形の種類（上記実施例においては、直線または円弧）、推定中心位置（円弧の場合）、中心角（円弧の場合）、始点、終点、長さ、データサイズ（データ量）、識別ＩＤなどの情報により構成される。
【００３６】
ステップＳ１２において、このように特徴抽出データＰ（ｋ）が抽出されると、次にステップＳ１３に進み、筆跡が消去される。即ち、ステップＳ１１においてディスプレイ部１３に表示した筆跡を、ここで消去する。そして、ステップＳ１４において、ステップＳ１２で抽出した処理結果をディスプレイ部１３に表示させる。即ち、ステップＳ１２で抽出した直線Ｌ0（ｋ），・・・，Ｌm（ｋ）と、円弧Ａ0（ｋ），・・・，Ａm（ｋ）が、ディスプレイ部１３上に同時に表示される。これにより、図３に示すような筆跡に代えて、図４に示す直線Ｌ0，Ｌ1や円弧Ａ0，Ａ1，Ａ2が表示される。
【００３７】
次にステップＳ１５に進み、形状判定処理が行われる。即ち、いまステップＳ１２で抽出された特徴抽出データＰ（ｋ）と、それ以前の第ｋ−１画目乃至第ｋ−ｃ画目の筆跡を入力したときに抽出された特徴抽出データＰ（ｋ−１）乃至Ｐ（ｋ−ｃ）から、これらの直線や円弧により構成される形状が、予め登録してある形状に対応するか否かの判定処理が行われる。例えば、これらの直線や円弧により、三角形、四角形、円など、どのような形状が描かれたのかを判定（認識）するのである。
【００３８】
これらの判定の結果、予め登録してある形状が特に認識されなかった場合、処理が終了される。この場合、さらに次の筆跡が入力されたとき、その新たな筆跡データＳ（ｋ）を取り込み、同様の処理を行うことになる。
【００３９】
また、ステップＳ１５において、何等かの形状が認識された場合においては、その認識された図形データＦ0（ｋ−ｃ，ｋ），Ｆ1（ｋ−ｃ，ｋ），・・・が得られる。このときステップＳ１６に進み、ステップＳ１４において表示した特徴抽出結果Ｐ（ｋ），Ｐ（ｋ−１），・・・，Ｐ（ｋ−ｃ）を消去し、ステップＳ１７において、これらのデータを解放する。即ち、これらのデータにより構成される形状は既に認識されたので、以後の認識処理の対象データとしては用いられないようにする。さらに、ステップＳ１８に進み、ステップＳ１５における形状判定処理の結果得られた認識図形が、ディスプレイ部１３に表示される。
【００４０】
即ちＣＰＵ１は、ステップＳ１５における形状判定処理の結果、特徴抽出の結果得られた直線と円弧により、ＲＯＭ２やＲＡＭ３に予め記憶されている所定の形状が構成されているものと認識された場合、その認識図形データＦ0（ｋ−ｃ，ｋ），Ｆ1（ｋ−ｃ，ｋ），・・・をディスプレイコントローラ１１に出力する。ディスプレイコントローラ１１は、この認識図形データに対応する画素データを生成し、Ｖ−ＲＡＭ１２上に展開し、記憶させる。そして、このＶ−ＲＡＭ１２上に展開されたデータを読み出し、ディスプレイ部１３上に表示させる。
【００４１】
ステップＳ１５における形状判定処理についてさらに説明すると、この形状判定処理は、特徴抽出データを入力として形状判定を行い、処理の結果として図形データを出力するものである。直近に入力された筆跡Ｓ（ｋ）の１つ前に入力された筆跡Ｓ（ｋ−１）に対する図形認識処理（＝特徴抽出処理＋形状判定処理）の結果、認識された図形が存在しなかった場合、Ｓ（ｋ−１）に対する形状判定処理の入力となった特徴抽出データＰ（ｋ−１），・・・，Ｐ（ｋ−ｃ）、ならびに直近の筆跡Ｓ（ｋ）に対する特徴抽出データＰ（ｋ）が判定の入力とされる。このような場合以外においては、直近の筆跡Ｓ（ｋ）に対する特徴抽出データＰ（ｋ）のみが判定の入力とされる。
【００４２】
いま、例えば図５に示す如く、第１画目の筆跡Ｓ（１）と第２画目の筆跡Ｓ（２）が入力されており、その特徴抽出処理の結果、特徴抽出データＬ0（１），Ｌ1（１），Ａ0（１），Ｌ1（２）が抽出されているものとする。直近の形状判 定処理では、記憶された図形が存在して（認識されて）おらず、Ｌ0（１），Ｌ1（１），Ａ0（１）は解放されていない。
【００４３】
このような特徴データにより、例えば予め記憶されている矢印の図形が対応するか否かを判定するとき、その判定は次のように行われる。
（１）特徴抽出データから３つの抽出直線データを選択する。
（２）３つの直線データのうち、最も長いものを直線Ａとする。
（３）直線Ａの両端点のうち、いずれか一方の端点の近傍に、残りの２つの直線データが位置しているか否かを判定する。
（４）残りの２本の直線が、矢印の羽部分に相当する位置、かつ、方向を持っているか否かを判定する。
（５）以上のすべての条件を満たす場合、選択した３本の直線により矢印が構成されているものと判定（認識）する。
【００４４】
次に、以上の処理における具体的表示例について、図６および図７を参照してさらに説明する。いま、使用者が三角形を描こうとして、その１辺として、図６（ａ）に示すように、筆跡Ｓ0を描いたものとする。図形認識処理は、画（スト ローク）の入力後に起動され、特徴抽出処理と形状判定処理を行って終了する。
【００４５】
ディスプレイ部１３には、いま筆跡Ｓ0がペン１６で手書き入力されたため、 この筆跡Ｓ0が、図６（ａ）に示すように一旦表示される。この筆跡Ｓ0に対して、まず特徴抽出処理が行われる。図６（ｂ）は、この特徴抽出処理の結果得られた直線と円弧が表示された状態を示している。同図に示すように、この実施例においては、筆跡Ｓ0が直線Ｌ0と円弧Ａ0として検出されている。その結果、筆跡Ｓ0の表示が消去された後、直線Ｌ0と円弧Ａ0とが、ディスプレイ１３上に、図６（ｂ）に示すように表示される。この実施例においては、直線Ｌ0と円弧Ａ0が離れて表示されているが、この表示は筆跡Ｓ0の特徴抽出の結果行われるもので あり、その表示位置も、その特徴を構成する筆跡データの位置に対応して行われる。従って、その表示位置は重なる場合もある。
【００４６】
また、この実施例においては、直線が破線により、円弧が実線により表示されるようになされている。
【００４７】
このように、直線Ｌ0と円弧Ａ0が特徴として検出された段階において形状判定処理が行われるが、１本の直線Ｌ0または円弧Ａ0によっては、特定の図形は予め登録されていない。その結果、次の筆跡の入力待ちの状態となる。
【００４８】
図６（ｃ）は、使用者がペン１６を用いて三角形の残りの２辺を１画で描いた状態を示している。いま、使用者は三角形を描こうとしているのであるから、この残りの２辺に対応する筆跡Ｓ1の始点と終点を、円弧Ａ0の両端ではなく、直線Ｌ0の両端と交差するように描くことになる。換言すれば、使用者は、筆跡Ｓ1を円弧Ａ0に対応して描くよりも、直線Ｌ0に対応して描いた方が、描いた図形が三角形として認識され易くなることを容易に認識することができる。もし、円弧Ａ0に対応して筆跡Ｓ1を描けば、その図形は三角形ではなく、扇形として認識され易くなることは容易に想到し得るところである。
【００４９】
即ち、このように使用者は、認識処理の中間段階の結果としての特徴抽出処理の表示を見ながら、それに対応して、次の筆跡を入力するようにすることで、装置のパターン認識の癖を把握しながら、所望の形状を迅速かつ確実に入力し、表示させることが可能となるのである。
【００５０】
図７（ａ）は、筆跡Ｓ1に対する特徴抽出処理結果が表示された状態を示して いる。この実施例においては、筆跡Ｓ1が２つの直線Ｌ1とＬ2、および１つの円 弧Ａ1により表されている。ここで、例えば、３つの直線Ｌ0，Ｌ1，Ｌ2が図形認識のための候補として選択されると、その始点と終点が、それぞれ他の直線の始点または終点の近傍に位置しているため、この３本の直線により三角形が描かれたものと認識される。その結果、直線Ｌ0，Ｌ1，Ｌ2、および円弧Ａ0，Ａ1の表 示が消去され、図７（ｂ）に示すように、最終的に図形認識処理の結果得られた三角形Ｔ0が表示される。
【００５１】
図７（ａ）に示す複数の直線と円弧により、他にも認識することができる図形が存在する場合においては、その図形も、この三角形Ｔ0と同時に、あるいは所 定の操作をしたとき、この三角形Ｔ0に代えて順次表示させるようにすることが できる。
【００５２】
図８は、特徴抽出データの表示例の他の実施例を示している。図８（ａ）においては、直線が、より太い（例えば１．５mmの太さの）実線で表され、円弧が、より細い太さ（例えば０．５mmの太さ）で表示される。
【００５３】
図８（ｂ）においては、直線が所定の色彩（例えば青色）で表示され、円弧が、それ以外の色彩（例えば赤）で表示される。
【００５４】
図８（ｃ）においては、直線と円弧が、例えば０．１秒ごとに交互に表示される。
【００５５】
さらに、図８（ｄ）においては、筆跡に加えて、特徴抽出データが別の領域に同時に表示されるようになされている。
【００５６】
図９は、特徴抽出データの組合せの他の実施例を示している。同図（ａ）においては、直線、円弧、およびスプライン曲線が特徴抽出データとして用意されている。即ち、入力した筆跡は、この直線、円弧、またはスプライン曲線の組合せとして検出（近似）される。
【００５７】
図９（ｂ）においては、直線、スプライン曲線、Ｌ字および楕円により特徴抽出データが構成されている。
【００５８】
このように、どのような形状を特徴抽出データとして予め登録しておくかは任意である。
【００５９】
以上の実施例においては、特徴抽出処理結果を表示するようにしたが、これらの特徴抽出処理結果から認識された認識候補が複数存在する場合、これを表示させる実施例について、以下に説明する。
【００６０】
いま、例えば図１０に示すように、ペン１６を用いて２つの直線を入力し、それらが直線Ｌ１とＬ２として認識表示されている状態において、さらに筆跡Ｓ３を入力したとする。そして、この筆跡Ｓ３の特徴が抽出され、その特徴抽出処理結果として、図１１に示すように、２つの円弧Ａ１，Ａ２と、１本の直線Ｌ３が表示されたものとする。以上の処理は、上述した、例えば図２のステップＳ１１とステップＳ１４において行われるものである。
【００６１】
そして、これらの特徴抽出処理結果から予め記憶されている形状を認識すると、例えば図１２乃至図１４に示すように、３つの形状が得られるものとする。図１２は、直線Ｌ１，Ｌ２と円弧Ａ２により、扇型の図形が認識された場合を表しており、図１３は、２つのＬ１，Ｌ２と１つの円弧Ａ１により、他の扇型の図形が認識された場合を示している。また、図１４は、３本の直線Ｌ１，Ｌ２，Ｌ３により、三角形の図形が認識された場合を示している。
【００６２】
この実施例においては、このようにして得られた３つの認識候補を順次時間的にずらして、自動的にまとめて表示させるようにする。
【００６３】
即ち、図１５に示すように、最初にｎ番目の認識候補を時間ｔnだけ表示した後、時間Ｔnだけ経過するのを待って、次のｎ−１番目の候補を時間ｔn-1だけ表示する。その後、時間Ｔn-1だけ間隔をおいて、次の候補を表示する。以下、同様の処理を繰り返し、最後に第１番目の候補が表示される。この認識候補の表示の順番は、この実施例の場合、各認識候補の得点（スコア）の順番とする。即ち、最も得点の少ない（正しい認識である可能性が少ない）第ｎ番目の候補が最初に表示され、以下、可能性の少ない候補が順次先に表示された後、最後に最も可能性が高い認識候補が表示される。即ち、これにより、使用者は、すべての認識候補を一覧することができる。
【００６４】
尚、上記した時間ｔiとＴiは、それぞれ一定の値ｔまたはＴとすることができる。また、これらの値は、使用者が必要に応じて所定の値に調整することができるようにしてもよい。
【００６５】
このような処理を行うには、図２のフローチャートにおけるステップＳ１８の形状判定処理結果の表示の処理を、例えば図１６のフローチャートに示すように行うようにすればよい。
【００６６】
即ち、この実施例においては、ステップＳ２１において、ステップＳ１５で行われた形状判定処理の結果得られた認識候補の図形データの集合Ｒ（ｎ）（＝｛Ｆ0，Ｆ1，・・・，Ｆn-1｝）が受け取られる。次にステップＳ２２において、認識候補の有無が判定される。認識された図形データが存在しない場合においては、処理が終了される。認識された図形データが存在する場合においては、ステップＳ２３に進み、変数ｉに初期値ｎ−１が設定される。即ち、これにより、一番最初に表示される図形データが指定されることになる。
【００６７】
次にステップＳ２４に進み、ステップＳ２３で指定した変数ｉに対応する認識結果Ｆiを表示する。いまの場合、ステップＳ２３において、ｉ＝ｎ−１として設定しているため、図形データＦn-1が表示されることになる。
【００６８】
次にステップＳ２５において、認識の結果得られた図形が他にもあるかどうか判定され、他に認識結果が存在しない場合においては、処理が終了される。他にも認識の結果得られた図形が存在する場合においては、ステップＳ２６に進み、ステップＳ２４で表示を開始した後、予め設定した時間ｔiだけ時間が経過したか否か判定される。時間が時間ｔiだけまだ経過していないと判定されたとき、時間ｔiだけ経過するまで待機する。
【００６９】
そして、時間ｔiだけ経過したとき、ステップＳ２７に進み、ステップＳ２４で表示した認識結果Ｆiを消去する。そしてステップＳ２８に進み、時間Ｔiだけ経過するまで待機する。このように、前の認識結果を消去した後、次の認識結果を表示するまでしばらく待機するのは、ディスプレイ部１３がＬＣＤにより構成され、急速な表示の切り換えが困難であるためである。また、別のもう１つの理由は、あまりに迅速に表示を切り換えると、画面が見にくくなるためである。
【００７０】
以上のようにして、ステップＳ２８において、前の認識結果を消去した後、時間Ｔiが経過したと判定されたとき、ステップＳ２９に進み、変数ｉが１だけデクリメントされる。即ち、次に表示される認識結果が、より高い得点の認識結果に切り換えられる。そしてステップＳ２４に進み、ステップＳ２９で指定した変数ｉに対応する新たな認識結果Ｆiが表示される。
【００７１】
以下、同様の処理が繰り返されて、得点の少ない認識結果Ｆn-1から、得点の最も大きい認識結果Ｆ0が、自動的に所定の時間毎順次切り換えられて表示される。
【００７２】
以上の実施例においては、得点の低いものから順次得点の高いものに認識結果を順番に表示させるようにした。このようにするには、得点の順番に認識結果Ｆ0乃至Ｆn-1を予めソートしておく必要がある。
【００７３】
図１６の実施例においては、得点の低いものから順番に認識結果を表示させるようにしたが、逆に、得点の高いものから順番に表示させるようにすることも可能である。
【００７４】
図１７は、認識結果を所定時間毎に自動的に順次表示する他の実施例を示している。この処理も、図２におけるステップＳ１８における処理として実行されるものである。
【００７５】
最初にステップＳ４１において、認識候補のすべての集合Ｒ（ｎ）（＝｛Ｆ0，Ｆ1，・・・，Ｆn-1｝）とともに、各認識結果Ｆiに対応する得点（スコア）Ｇ（ｎ）（＝｛ｇ0，ｇ1，・・・，ｇn-1｝）が受け取られる。次にステップＳ４２において、認識結果が存在するか否かが判定され、存在しないと判定された場合、処理は終了される。１つでも認識結果が存在すると判定された場合、ステップＳ４３に進み、変数ｉとｍａｘにｎ−１がセットされ、変数ｇにｇn-1がセットされる。変数ｍａｘは、最高得点の認識結果Ｆiを特定する変数ｉを記憶するものであり、変数ｇは、その得点（最高得点）を記憶するものである。
【００７６】
次にステップＳ４４に進み、ステップＳ４３で設定した変数ｉに対応する認識結果Ｆiを表示する。ステップＳ４５において、この表示を開始した後、時間ｔiだけ経過するまで待機し、時間ｔiだけ経過したとき、ステップＳ４６に進み、ステップＳ４４で表示した認識結果Ｆiを消去する。
【００７７】
次にステップＳ４７に進み、他にも認識結果が存在するか否かを判定し、他にも認識結果が存在する場合、ステップＳ４８に進み、時間Ｔiだけ経過するまで待機する。ステップＳ４６において、前に表示した認識結果を消去した後、時間Ｔiだけ経過したと判定された場合、ステップＳ４９に進み、変数ｉを１だけデクリメントする。そしてステップＳ５０において、ステップＳ４９において新たに指定した変数ｉに対応する認識結果Ｆiの得点ｇiが、ステップＳ４３において設定した値ｇより大きいか否かが判定される。これから表示しようとする認識結果Ｆiの得点ｇiの方が大きい場合、ステップＳ５１に進み、その変数ｉを変数ｍａｘに設定し、また、その得点ｇiを変数ｇに設定する。
【００７８】
このように、変数ｍａｘとｇに最大の得点を有する認識結果を特定する変数ｉと、その得点ｇiを記憶した後、ステップＳ４４に戻り、ステップＳ４９で設定した新たな変数ｉに対応する認識結果Ｆiを表示する。ステップＳ５０において、ステップＳ４９で指定した新たな認識結果の得点ｇiが、変数ｇに既に記憶されている得点と等しいか、それより小さいと判定された場合、ステップＳ５１における記憶処理は省略されて、ステップＳ４４に進み、それ以降の処理が実行される。
【００７９】
即ち、以上の動作が繰り返されることにより、認識結果Ｆ0乃至Ｆn-1が順次所定の時間毎に自動的に切り換えて表示される。これらの認識結果は、得点の順番に必ずしもソートされているものではないので、表示される順番は、得点とは無関係である。しかしながら、最後に表示される認識結果は、最も得点の高いものであることが望ましい。これは、最終的には、使用者がその得点の高い認識結果を選択する可能性が高いためである。
【００８０】
そこでステップＳ４７において、他に表示すべき認識結果が、もはや存在しないと判定された場合、ステップＳ５２に進み、ステップＳ５１において変数ｍａｘに記憶した値に対応する最高点の認識結果Ｆmaxを画面上に表示させる。
【００８１】
尚、以上の図１６と図１７に示す実施例においては、所定の時間が経過すると、その都度、自動的に、表示を次の認識結果に切り換えるようにしたが、例えば使用者がペン１６を操作して、所定の入力を行ったとき、その都度次の候補を順次切り換え表示させるようにすることも可能である。
【００８２】
また、以上の実施例においては、ペン１６を用いて筆跡を入力したその位置に、各認識結果が時間をずらして順次まとめて切り換え表示される。この認識結果の表示を、時間をずらして表示させるのではなく、同時に表示させるようにすることも可能である。図１８は、その表示例を示している。この実施例においては、３つの認識候補Ｆa，Ｆb，Ｆcが、ぼかし具合を変化させて同時に表示されている。
【００８３】
即ち、認識結果Ｆaは、図１９に示すように、線分の幅が１ピクセル（１画素）の幅とされるとともに、その濃さがレベル１５とされている。これに対して、認識結果Ｆbは、図２０に示すように、線の太さが３ピクセルにより表され、中央の１ピクセルの濃さはレベル９とされ、左右の各ピクセルの濃さはレベル３とされている。即ち、図１９における場合と同様に、線分の濃さのレベルの合計は、１５（＝９＋３＋３）となるようになされている。
【００８４】
また、認識結果Ｆcは、図２１に示すように、その線分の太さが５ピクセル分とされ、その中央のピクセルの濃さのレベルは５とされ、その左右に隣接する各ピクセルの濃さのレベルは３とされ、さらに、その外側の各ピクセルの濃さのレベルは２とされている。従って、この場合も、濃さのレベルの合計は、１５（＝５＋３＋３＋２＋２）となるようになされている。
【００８５】
即ち、この実施例においては、各線分の断面における各ピクセルの濃さのレベルの総和が、各認識結果Ｆiにおいて一定となるようになされている。
【００８６】
図１８に示した実施例をまとめると、表１に示すようになる。即ち、この実施例においては、最も得点の高い認識結果の形状が、最も細い線で、かつ、最も濃く表示される。そして、得点が低くなるにつれて、線の太さが太くなり、線の濃さも薄くなっていく。
【００８７】
【表１】
0003824277.tif 000002
【００８８】
以上の実施例においては、認識結果が図形であったが、文字である場合においても、同様に、実際に文字を入力した位置の近傍に、認識結果を表示させるようにすることができる。但し、文字の場合は、異なる認識結果を時間的にずらして表示するようにすることは、特に問題は生じないが、同じ位置に重ねて表示すると、表示された認識候補を使用者がどのような文字であるのか、認識することが困難になる。そこで、この場合においては、第１候補を入力した位置に表示し、第２候補以下の認識候補の文字を、その位置から１文字分ずつ順次ずらして表示させるようにすることができる。図２２乃至図２５は、この場合の実施例を示している。
【００８９】
図２２の実施例においては、各認識候補の色がそれぞれ異なる色相で表示されている。この実施例においては、表２にも示すように、第１候補が黒色、第２候補が赤色、第３候補が黄色で、それぞれ表示されている。
【００９０】
【表２】
0003824277.tif 000003
【００９１】
図２３の実施例においては、各認識候補の線の種類が異なるように表示されている。この実施例においては、表３にも示すように、第１候補が実線で表示され、第２候補が鎖線で表示され、そして第３候補が点線で表示されている。
【００９２】
【表３】
0003824277.tif 000004
【００９３】
図２４の実施例においては、線の太さが異なるように、各認識候補が表示されている。この実施例においては、表４にも示すように、第１候補が太線、第２候補が中線、そして第３候補が細線で表示されている。
【００９４】
【表４】
0003824277.tif 000005
【００９５】
さらに、図２５の実施例においては、上述した図１８乃至図２１に示した実施例における場合と同様に、各認識候補の線の太さと濃さが変化するように表示されている。
【００９６】
尚、このように、各候補の線の色相、線の種類、線の太さなど、線の属性を変更させる場合においては、図２６乃至図２８に示すように、図形の場合にも適用することが可能である。この場合、各認識結果は、ほぼ同一位置に表示されている。表５乃至表７に示すように、これらの実施例においても、各候補が、黒、赤、黄色といった色相、あるいは、実線、鎖線、点線といった線の種類、あるいは、太線、中線、細線といった線の太さにより識別表示されている。
【００９７】
【表５】
0003824277.tif 000006
【００９８】
【表６】
0003824277.tif 000007
【００９９】
【表７】
0003824277.tif 000008
【０１００】
勿論、上記した実施例は、必要に応じて組み合わせることが可能である。即ち、線の色相、線の種類および線の太さを、それぞれ適宜組み合わせて、さらに、より認識し易くすることができる。
【０１０１】
以上においては、複数の認識候補を時間をずらして、あるいは色を変えるなどして、同時に表示させるようにしたが、次に、このように表示された認識候補のうち、所定のものを選択する実施例について説明する。
【０１０２】
図２９の実施例においては、複数の認識候補が、異なる色相で表示されている。そして、所定の色彩の認識候補をペン１６で直接指定することにより、最終的な認識候補の選択が行われるようになされている。
【０１０３】
図３０の実施例においては、各認識候補が異なる色相で表示されると同時に、選択枠９１が画面上に表示されている。そして、この選択枠９１に、各認識候補の色相に対応する文字が表示されており、使用者は、ペン１６で、この選択枠９１に表示されている文字のうち、最終的に選択したい認識結果に対応する文字を指定するようになされている。
【０１０４】
図３１の実施例においては、認識結果が線の太さと濃さを変えることで表示されている。そして、この実施例においては、スケール１０１が表示されている。ペン１６でスケール１０１の所定の位置を操作すると、その位置にカーソル１０２が移動する。画面上には、このカーソル１０２で指定する範囲の濃さの認識候補のみが表示される。そして、その状態において、最も細く、かつ濃い線で表示されている認識結果が選択される。
【０１０５】
例えば図３２に示すように、スケール１０１の左端部と右端部の間には、認識候補Ｆ0乃至Ｆn-1が対応づけられており、カーソル１０２を移動させることにより、そのうちのカーソル１０２で囲まれる３つ（この実施例の場合、Ｆ3，Ｆ4，Ｆ5の３つ）の認識候補が画面上に表示される。そして、確定処理を行うと、そのうちの、例えば中央の最も線が濃く、かつ細く表示されている認識候補Ｆ4が選択される。
【０１０６】
図３３は、スケール１０１におけるカーソル１０２の位置を相対的に移動した場合における各候補の表示状態の変化を模式的に示している。この実施例の場合、カーソル１０２で４つの候補が指定されるようになっている。図３３（ａ）に示すように、カーソル１０２をスケール１０１の左端に位置させた場合においては、左端の認識候補Ｆ0が最も鮮明に表示され、その右側の認識候補Ｆ1，Ｆ2，Ｆ3は、順次次第にぼけて表示される。
【０１０７】
そして、図３３（ｂ）に示すように、カーソル１０２を例えば１メモリだけ右側に移動させると、それまで若干ぼけて表示されていた認識結果Ｆ1が最も鮮明に表示され、それまで最も鮮明に表示されていた認識結果Ｆ0は、若干ぼけた表示状態に変化する。カーソル１０２を図３３（ｃ）に示すように、さらに１メモリだけ右側に移動させると、認識結果Ｆ2が最も鮮明に表示され、その左側の認識候補Ｆ1とＦ0は、それぞれ次第にぼけた表示状態に変化する。
【０１０８】
尚、このように、スケール１０１上のカーソル１０２を動かす構成により、例えば図３４に示すように、認識した結果得られた形状（この実施例の場合、文字）の太さをスケール１０１上におけるカーソル１０２の位置に対応して変化させるようにすることもできる。この実施例の場合、カーソル１０２を左側に移動させるほど、線が細く表示され、右側に移動させるほど、線が太く表示される。
【０１０９】
【発明の効果】
以上の如く請求項１に記載の形状入力表示装置および請求項３に記載の形状入力表示方法によれば、特徴抽出手段により抽出された抽象化図形の候補を複数表示するようにしたので、使用者は、その表示に対応して次に入力する形状を調整することができるため、所望の形状を迅速かつ正確に入力し、表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の形状入力表示装置の一実施例の構成を示すブロック図である。
【図２】図１の実施例の動作を説明するフローチャートである。
【図３】図２のステップＳ１１における筆跡データを説明する図である。
【図４】図２のステップＳ１２における特徴抽出処理を説明する図である。
【図５】図２におけるステップＳ１５の形状判定処理の例を説明する図である。
【図６】図２の処理動作を説明する具体的表示例の図である。
【図７】図６に続く図である。
【図８】特徴抽出データの他の表示例を説明する図である。
【図９】特徴抽出データの他の組合せ例を説明する図である。
【図１０】図２のステップＳ１１における表示状態を説明する図である。
【図１１】図２のステップＳ１４における表示状態を説明する図である。
【図１２】図１６のステップＳ２４における所定の時刻における表示状態を説明する図である。
【図１３】図１６のステップＳ２４における他の所定の時刻における表示状態を説明する図である。
【図１４】図１６のステップＳ２４におけるさらに他の所定の時刻における表示状態を説明する図である。
【図１５】図１６の実施例の動作を説明するタイミングチャートである。
【図１６】図２のステップＳ１８における他の処理例を説明するフローチャートである。
【図１７】図２のステップＳ１８におけるさらに他の処理例を説明するフローチャートである。
【図１８】図２のステップＳ１８の表示例を説明する図である。
【図１９】図１８の認識結果Ｆaの線分の表示状態を説明する図である。
【図２０】図１８の認識結果Ｆbの線分の表示状態を説明する図である。
【図２１】図１８の認識結果Ｆcの線分の表示状態を説明する図である。
【図２２】図２のステップＳ１８における文字の表示状態を説明する図である。
【図２３】図２のステップＳ１８における文字の他の表示状態を説明する図である。
【図２４】図２のステップＳ１８における文字のさらに他の表示状態を説明する図である。
【図２５】図２のステップＳ１８における文字の他の表示状態を説明する図である。
【図２６】図２のステップＳ１８における図形の表示状態を説明する図である。
【図２７】図２のステップＳ１８における図形の他の表示状態を説明する図である。
【図２８】図２のステップＳ１８における図形のさらに他の表示状態を説明する図である。
【図２９】表示されている複数の認識結果から所定の認識結果を選択する例を説明する図である。
【図３０】表示されている複数の認識結果から所定の認識結果を選択する他の例を説明する図である。
【図３１】表示されている複数の認識結果から所定の認識結果を選択するさらに他の例を説明する図である。
【図３２】図３１におけるスケール１０１とカーソル１０２のより詳細な構成を説明する図である。
【図３３】図３１におけるスケール１０１上においてカーソル１０２を移動した場合における他の表示の変化を説明する図である。
【図３４】カーソルの移動に対応して文字の太さを変化させる様子を説明する図である。
【図３５】従来の形状入力表示装置の処理例を説明するフローチャートである。
【図３６】図３５の処理を説明する図である。
【図３７】図３６に続く図である。
【符号の説明】
１  ＣＰＵ
２  ＲＯＭ
３  ＲＡＭ
８  バスライン
１１  ディスプレイコントローラ
１２  Ｖ−ＲＡＭ
１３  ディスプレイ部
１４  タブレットインタフェース
１５  入力タブレット
１６  ペン
１０１  スケール
１０２  カーソル
【図１】
0003824277.tif 000009
【図２】
0003824277.tif 000010
【図３】
0003824277.tif 000011
【図４】
0003824277.tif 000012
【図５】
0003824277.tif 000013
【図６】
0003824277.tif 000014
【図７】
0003824277.tif 000015
【図８】
0003824277.tif 000016
【図９】
0003824277.tif 000017
【図１０】
0003824277.tif 000018
【図１１】
0003824277.tif 000019
【図１２】
0003824277.tif 000020
【図１３】
0003824277.tif 000021
【図１４】
0003824277.tif 000022
【図１５】
0003824277.tif 000023
【図１６】
0003824277.tif 000024
【図１７】
0003824277.tif 000025
【図１８】
0003824277.tif 000026
【図１９】
0003824277.tif 000027
【図２０】
0003824277.tif 000028
【図２１】
0003824277.tif 000029
【図２２】
0003824277.tif 000030
【図２３】
0003824277.tif 000031
【図２４】
0003824277.tif 000032
【図２５】
0003824277.tif 000033
【図２６】
0003824277.tif 000034
【図２７】
0003824277.tif 000035
【図２８】
0003824277.tif 000036
【図２９】
0003824277.tif 000037
【図３０】
0003824277.tif 000038
【図３１】
0003824277.tif 000039
【図３２】
0003824277.tif 000040
【図３３】
0003824277.tif 000041
【図３４】
0003824277.tif 000042
【図３５】
0003824277.tif 000043
【図３６】
0003824277.tif 000044
【図３７】
0003824277.tif 000045