(57)【要約】【課題】文字の筆順等の付加情報を用いて文字情報の認識率の向上を図る。【解決手段】データ入力機構１３は、記入デバイス１２から手書き情報に基づく絶対座標の入力座標データを取得する。データ入力機構１３は、入力座標データが文字データ領域に属すると判定した場合には、時系列の座標データである記入文字データ１３２をイメージ認識機構１５及び文字認識機構１６に出力する。イメージ認識機構１５は、イメージデータ１５１を生成する。文字認識機構１６は、文字認識処理を行って文字データ１６１を生成する。そして、出力データ編集機構１９は、フォーマットデータベース１４から抽出した所定フォーマット情報とイメージデータ１５１及び文字データ１６１とに基づいて表示用データを生成し、表示部に表示する。【選択図】  図１
2004178327.tif 000002
【特許請求の範囲】
【請求項１】
シートに情報を記入し、前記情報を記入した位置の座標情報を生成する記入デバイスと、
前記記入デバイスが生成した座標情報を生成順に取得し、前記座標情報に基づいてシートに記入された文字を特定する文字情報生成手段と、
前記記入デバイスが生成した座標情報を生成順に取得し、前記座標情報に基づいてシートに記入された線図の線図データを生成する線図情報生成手段と、
前記文字情報生成手段が特定した文字及び前記線図情報生成手段が生成した線図データに基づいて、シートに記入された文字及び線図を表示する情報表示手段とを備えた
ことを特徴とする情報入出力装置。
【請求項２】
シート上の文字記入領域及び線図記入領域を定めたフォーマット情報を記憶するフォーマット記憶手段と、
記入デバイスが生成した座標情報を前記記入デバイスから生成順に取得し、座標情報を取得した順に文字情報生成手段または線図情報生成手段に出力する座標情報振り分け手段とを備え、
前記座標情報振り分け手段は、各座標情報によって定まる位置がシート上の文字記入領域に属するのか線図記入領域に属するのかを判断し、文字記入領域内の位置を示す座標情報を文字情報生成手段に出力し、線図記入領域内の位置を示す座標情報を線図情報生成手段に出力する
請求項１記載の情報入出力装置。
【請求項３】
座標振り分け手段は、文字記入領域内の位置を示す座標情報を文字情報生成手段と線図情報生成手段との両方に出力する請求項２記載の情報入出力装置。
【請求項４】
情報表示手段は、文字記入領域内の位置を示す座標情報によって文字情報生成手段が特定した文字と、前記座標情報によって線図生成手段が生成した線図データに基づく線図とを同時に表示する請求項３記載の情報入出力装置。
【請求項５】
文字情報生成手段は、座標情報によって定まる位置と、取得した座標情報の順序とに基づいて文字を特定する請求項１から請求項４のうちのいずれか１項に記載の情報入出力装置。
【請求項６】
シート上への情報記入位置の座標情報を生成する記入デバイスを備えた情報入出力装置に搭載される情報入出力プログラムであって、
コンピュータに、
記入デバイスが生成した座標情報を生成順に取得する処理と、
前記座標情報に基づいてシートに記入された文字を特定する処理と、
前記座標情報に基づいてシートに記入された線図の線図データを生成する処理と、
特定した文字及び生成した線図データに基づいて、シートに記入された文字及び線図を表示する処理とを
実行させるための情報入出力プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手書きで入力された図形や文字の情報を認識して出力する情報入出力装置及び情報入出力プログラムに関する。
【０００２】
【従来の技術】
手書き文字等の入力情報を認識する装置として、特許文献１には、省設置スペースを実現し、伝票入力装置として専用化された伝票入力装置が記載されている。特許文献１に記載された伝票入力装置では、伝票画面に重ねて表示された入力画面に記入デバイスを用いて文字等を手書き入力する。
【０００３】
図８は、特許文献１に記載された伝票入力装置の構成の例を示す機能ブロック図である。図８に示すように、伝票入力装置は、手書きの情報を入力する入力機構１１０１と、情報内容を表示する表示機構１１０２と、イメージ作図処理を行うイメージ作図機構１１０８と、文字認識処理を行って文字データを生成する文字認識機構１１１０と、イメージデータを記憶するイメージデータメモリ１１１３とを含む。
【０００４】
入力機構１１０１は、記入デバイス１１０３によって手書き入力されたイメージデータやポイントした位置座標データを入力する。表示機構１１０２は、伝票の項目名の表示と入力された情報内容の表示を行う。記入デバイス１１０３は、タッチペン等の手書き入力用デバイスである。入力機構１１０１と表示機構１１０２とは、表示及び入力を同一画面で行えるように重ねられる。入力機構１１０１には、イメージが手書き入力されるイメージエリアや文字が手書き入力される文字エリア等が含まれる。イメージエリアや文字エリア等は、伝票入力装置の記憶装置（図示せず）に伝票毎に記憶された伝票フォーマットに規定される。
【０００５】
イメージ作図機構１１０８は、手書きイメージデータ入力部１１０９と、文字イメージ変換部１１１１と、イメージ編集部１１１２とを含む。入力機構１１０１のイメージエリアに図形が手書き入力された場合には、手書きイメージデータ入力部１１０９は、入力機構１１０１からの記入イメージデータ１１０６をイメージデータとして取り込む。イメージエリアに文字が手書き入力された場合には、文字認識機構１１１０は、入力機構１１０１からの記入イメージデータ１１０７に基づいて文字認識処理を行い、記入イメージデータ１１０７を文字データに変換する。文字イメージ変換部１１１１は、文字認識機構１１１０からの文字データをイメージデータに再変換する。
【０００６】
イメージ編集部１１１２は、手書きイメージデータ入力部１１０９と文字イメージ変換部１１１１からのイメージデータを編集して伝票記入データを生成する。そして、イメージ編集部１１１２は、生成した伝票記入データをイメージデータメモリ１１１３に記憶させる。なお、文字エリアに文字が手書き入力された場合にも、文字認識機構１１１０は、入力された手書き文字を文字データに変換する。
【０００７】
また、特許文献２には、ストロークの時系列だけでなく、文字全体の形も用いて認識を行うとにより、認識精度を高めた文字認識装置が記載されている。ストロークとは、入力された１つの線であり、手書き入力された文字は、１つまたは複数のストロークによって構成される。特許文献２に記載された文字認識装置では、入力されたストロークの時系列を用いて認識を行うオンライン認識部と、文字全体の形を用いて認識を行うオフライン認識手段とが、それぞれ独立に認識処理を行う。そして、文字認識装置の認識候補生成部は、オンライン認識部及びオフライン認識部から出力された認識候補を統合して新たな認識候補を生成する。
【０００８】
さらに、特許文献３には、特別な操作をせずに文字の書き終わりが正しく検出され、且つ文字を書く動作を中断しても誤って文字の書き終わりと判断されるのを防止する実時間文字認識装置が記載されている。特許文献３に記載された実時間文字認識装置は、ペン先がタブレット部上に設けられた文字枠外に出た状態と、タブレット部の近接の範囲外に出た状態とを検出する。そして、実時間文字認識装置は、その検出結果に従って文字の書き終わりを判別し文字を認識する。
【０００９】
【特許文献１】
特開平８−３３９４２３号公報（第３−５頁、第１図、第３図）
【特許文献２】
特開平９−２８８７１７号公報（第３−４頁、第３図）
【特許文献３】
特開昭６０−５４０８６号公報（第２−３頁、第１図）
【００１０】
【発明が解決しようとする課題】
特許文献１に記載された伝票入力装置では、入力された文字のイメージから文字を認識する。しかし、文字のイメージからだけでは文字の認識率が高くならない。また、イメージエリアに文字情報を手書き入力した場合には、イメージデータとして取得した文字の情報をそのまま表示機構に表示させるのでなく、イメージデータを文字認識のために一度文字データに変換し、さらに伝票データ編集のためにイメージデータに再変換している。そのため、情報出力の処理が煩雑になるとともに、表示機構に表示させる際に、手書き入力された記入イメージの再現性が損なわれる場合がある。
【００１１】
また、入力された文字は文字データに変換される。しかし、入力機構１１０１と表示機構１１０２とは重ねられているので、認識した文字をリアルタイムに表示できない。すなわち、文字データに基づく文字の表示を、文字入力時にリアルタイムに行えない。従って、文字を誤認識した場合や認識できなかった場合に、ユーザは直ちに認識結果を確認または修正することができない。さらに、表示機構に伝票画面と入力画面とを重ねて表示しイメージデータを取得するので、記入機構が複雑となる。
【００１２】
また、入力された文字等の認識率向上のために、特許文献１に記載された伝票入力装置に、特許文献２に記載された文字認識装置を適用することが考えられる。しかし、その場合には、ストロークの時系列情報をオンライン認識部に出力し、文字全体のデータをオフライン認識部に出力しなければならない。その結果、装置の構成が複雑化する。さらに、特許文献３に記載された実時間文字認識装置は、文字の書き終わりを正しく認識しているにすぎない。従って、手書きで入力された文字等の情報の認識率の向上はできない。
【００１３】
そこで、本発明は、文字の筆順等の付加情報を用いて文字情報の認識率の向上を図ることを目的とする。また、文字情報に関する処理を簡素化し、入力された手書き文字の記入イメージの再現性を保持して表示できることを目的とする。また、文字認識結果を視覚的且つリアルタイムに確認できることを目的とする。さらに、記入機構の構成を簡略化することを目的とする。
【００１４】
【課題を解決するための手段】
本発明による情報入出力装置は、シート（例えば、紙媒体）に情報を記入し、情報を記入した位置の座標情報（例えば、入力座標情報）を生成する記入デバイス（例えば、記入デバイス１２によって実現される）と、記入デバイスが生成した座標情報を生成順に取得し、座標情報に基づいてシートに記入された文字を特定する文字情報生成手段（例えば、文字認識機構１６によって実現される）と、記入デバイスが生成した座標情報を生成順に取得し、座標情報に基づいてシートに記入された線図の線図データ（例えば、イメージデータ１５１）を生成する線図情報生成手段（例えば、イメージ認識機構１５によって実現される）と、文字情報生成手段が特定した文字及び線図情報生成手段が生成した線図データに基づいて、シートに記入された文字及び線図を表示する情報表示手段（例えば、出力データ編集機構１９によって実現される）とを備えたことを特徴とする。
【００１５】
情報入出力装置は、シート上の文字記入領域（例えば、文字データ領域）及び線図記入領域（例えば、イメージデータ領域）を定めたフォーマット情報（例えば、所定フォーマット情報）を記憶するフォーマット記憶手段（例えば、フォーマットデータベース１４によって実現される）と、記入デバイスが生成した座標情報を記入デバイスから生成順に取得し、座標情報を取得した順に文字情報生成手段または線図情報生成手段に出力する座標情報振り分け手段（例えば、データ入力機構１３によって実現される）とを備え、座標情報振り分け手段は、各座標情報によって定まる位置がシート上の文字記入領域に属するのか線図記入領域に属するのかを判断し、文字記入領域内の位置を示す座標情報を文字情報生成手段に出力し、線図記入領域内の位置を示す座標情報を線図情報生成手段に出力するものであってもよい。そのような構成によれば、文字記入領域に記入された文字の特定を行い、線図記入領域に記入された線図の線図データを生成することができる。
【００１６】
座標振り分け手段は、文字記入領域内の位置を示す座標情報を文字情報生成手段と線図情報生成手段との両方に出力するものであってもよい。そのような構成によれば、イメージデータから文字コードデータ等に変換した後に、さらにイメージデータに再変換する必要がない。従って、文字情報に関する処理が簡素化でき、入力された手書き文字の記入イメージの再現性を保持して表示することができる。
【００１７】
情報表示手段は、文字記入領域内の位置を示す座標情報によって文字情報生成手段が特定した文字と、座標情報によって線図生成手段が生成した線図データに基づく線図とを同時に表示するものであってもよい。そのような構成によれば、文字情報生成手段が特定した文字と、線図生成手段が生成した線図データに基づく線図とを対比しながら、記入した文字が正しく認識されたか否かを確認することができる。従って、情報修正の処理の効率化を図ることができる。
【００１８】
文字情報生成手段は、座標情報によって定まる位置と、取得した座標情報の順序とに基づいて文字を特定するものであってもよい。そのような構成によれば、付加情報を考慮した文字認識処理を行うことができる。従って、文字情報の認識率の向上を図ることができる。
【００１９】
本発明による情報入出力プログラムは、シート上への情報記入位置の座標情報を生成する記入デバイスを備えた情報入出力装置に搭載される情報入出力プログラムであって、コンピュータに、記入デバイスが生成した座標情報を生成順に取得する処理と、座標情報に基づいてシートに記入された文字を特定する処理と、座標情報に基づいてシートに記入された線図の線図データを生成する処理と、特定した文字及び生成した線図データに基づいて、シートに記入された文字及び線図を表示する処理とを実行させることを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明による情報入出力装置の構成の例を示す機能ブロック図である。図１に示すように、情報入出力装置１００は、紙媒体１１に図形や文字等を手書き入力するための記入デバイス１２を含む。紙媒体１１は、予め所定のフォーマットが印刷された用紙または白紙である。所定のフォーマットについては後述する。記入デバイス１２は、電子ペン１２ａと受信部１２ｂとを含む。電子ペン１２ａは、ペン先にインクを装填されている。情報入出力装置１００の使用者（以下、単に使用者と記す）は、電子ペン１２ａを用いて実際に紙媒体１１に図形や文字等を手書き入力することができる。手書き入力される際に、電子ペン１２ａは、赤外線信号または超音波信号を受信部１２ｂに送信する。
【００２１】
なお、記入デバイス１２によって記入されるシートは紙媒体１１に限られない。例えば、樹脂製のシート等であってもよい。また、電子ペン１２ａは、無線電波信号等を受信部１２ｂに送信するものであってもよい。
【００２２】
受信部１２ｂは、電子ペン１２ａから赤外線信号または超音波信号を受信すると、受信した信号に基づいて電子ペン１２ａのペン先の座標を検出する。例えば、受信部１２ｂは、受信部１２ｂ自身の位置を基準として、信号を受信した方角と距離とを検出することにより電子ペン１２ａのペン先の座標データを算出する。受信部１２ｂは、紙媒体１１に記入された順に算出した座標データをデータ入力機構１３に出力する。以下、記入デバイス１２の受信部１２ｂが座標データとして出力する情報を入力座標データと記す。また、紙媒体１１に手書きで記入される図形や文字等の情報を手書き情報と記す。
【００２３】
図１に示すように、情報入出力装置１００は、手書き情報が図形の情報であるか文字の情報であるかを判断するデータ入力機構１３と、紙媒体１１に予め印刷される所定フォーマットの情報（以下、所定フォーマット情報と記す）を記憶するフォーマットデータベース１４と、入力座標データに基づいてイメージデータを生成するイメージ作図機構１５と、生成されたイメージデータを記憶するイメージデータメモリ１７と、入力座標データに基づいて文字を認識し文字データを生成する文字認識機構１６と、文字データを記憶する文字データメモリ１８と、イメージデータと文字データとを編集して出力データを生成する出力データ編集機構１９と、出力データを記憶する出力データメモリ２０と、出力データを外部システム２２に出力するデータ出力機構２１と、出力データを印字装置２４に出力するデータ印字機構２３とを含む。
【００２４】
外部システム２２は、情報入出力装置１００とＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の通信ネットワークを介して接続されるシステムである。例えば、外部システム２２は、社内において情報入出力装置１００からの出力データに基づき経理管理や在庫管理等の処理を行うための業務システムである。印字装置２４は、プリンタ等によって実現される。
【００２５】
情報入出力装置１００は、パーソナルコンピュータ等の情報処理端末に記入デバイス１２が接続されることによって実現される。図２は、情報入出力装置１００の構成の例を示すブロック図である。
【００２６】
図２において、記憶装置１２０は、磁気ディスク装置や光ディスク装置等であり、情報の入出力処理を実行するための情報入出力プログラム１２１を記憶する。制御部１１０は、記憶装置１２０が記憶する情報入出力プログラム１２１に従って処理を実行する。メモリ１３０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の半導体記憶装置である。データベース１４０は、所定フォーマット情報等を記憶するデータベース装置である。入力部１５０は、キーボードやマウス等の入力装置であり、出力データを印刷したり外部システムに出力する際に使用者によって操作される。表示部１６０は、ディスプレイ装置等の表示装置である。入出力インタフェース部１７０は、記入デバイス１２の受信部１２ｂ及び印字装置２４とＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルで接続するためのインタフェース部である。ネットワークインタフェース部１８０は、ＬＡＮボード等であり、ＬＡＮ２００を介して外部システム２２と情報の送受信を行う。
【００２７】
なお、入出力インタフェース部１７０は、ＵＳＢケーブルに限らず、ＲＳ２３２Ｃケーブル等で外部装置（本例では、印字装置２４）に接続されるインタフェース部であってもよい。また、情報入出力装置１００と外部システム２２とは、ＬＡＮ２００を介して接続される場合に限られない。例えば、情報入出力装置１００と外部システム２２とは、更にインターネットを介して接続されていてもよい。
【００２８】
本実施の形態において、記憶装置１２０は、コンピュータに、記入デバイスが生成した座標情報を生成順に取得する処理と、座標情報に基づいて紙媒体に記入された文字を特定する処理と、座標情報に基づいて紙媒体に記入された線図の線図データを生成する処理と、特定した文字及び生成した線図データに基づいて、紙媒体に記入された文字及び線図を表示する処理とを実行させるための情報入出力プログラム１２１を記憶する。
【００２９】
データ入力機構（座標情報振り分け手段）１３は、制御部１１０と入出力インタフェース部１７０とによって実現される。フォーマットデータベース（フォーマット記憶手段）１４は、データベース１４０によって実現される。イメージ作図機構（線図情報生成手段）１５及び文字認識機構（文字情報生成手段）１６は、制御部１１０によって実現される。イメージデータメモリ１７、文字データメモリ１８及び出力データメモリ２０は、メモリ１３０によって実現される。出力データ編集機構（情報表示手段）１９は、制御部１１０、入力部１５０及び表示部１６０によって実現される。データ出力機構２１は、制御部１１０及びネットワークインタフェース部１８０によって実現される。データ印字機構２３は、制御部１１０及び入出力インタフェース部１７０によって実現される。
【００３０】
図３は、紙媒体１１に予め印刷されている所定フォーマットの例を示す説明図である。図３に示す所定フォーマット３００は、商品の売り上げ額等を記入するための売上伝票のフォーマットである。図３に示すように、所定フォーマット３００は、商品名欄と、数量欄と、単価欄と、小計欄と、対前月欄と、合計欄と、基準点３１０とを含む。商品名欄は、商品名を記入する欄である。数量欄は、商品等の売上数量を記入する欄である。単価欄は、商品等の単価の額を記入する欄である。小計欄は、単価と数量とを乗算して算出した小計の額を記入する欄である。対前月欄は、対前月に対する増減を記号で記入する欄である。合計欄は、各商品の小計額を合計した合計金額を記入する欄である。基準点３１０は、後述する座標系の初期設定の際に基準とされる点である。すなわち、初期設定の際に、基準点３１０の座標の値が「Ｘ＝０，Ｙ＝０」に設定される。
【００３１】
小計欄または合計欄に記入した金額が前月の金額に対して増加した場合には、対前月欄に「○」記号が記入される。記入した金額が前月の金額に対して減少した場合には「△」が記入される。図３において、商品名欄、数量欄、単価欄、小計欄及び合計欄は、文字（数字を含む）を記入する欄であり文字データ領域として扱われる。対前月欄は、「○」または「△」の記号の図形を記入する欄でありイメージデータ領域として扱われる。なお、所定フォーマット３００は、一種類に限られない。例えば、情報入出力装置１００は、図３に示した売上伝票以外に出金伝票等の複数種類の伝票を処理するものであってもよい。
【００３２】
図４は、所定フォーマット３００の１行目３２０の商品名欄に、文字「Ｐ」が記入された場合の例を示す説明図である。記入デバイス１２の受信部１２ｂは、文字「Ｐ」が手書き入力される際に、電子ペン１２ａから受信する信号に基づいて、予め定められた一定の時間間隔で電子ペン１２ａのペン先の座標を検出する。例えば、記入デバイス１２は、１秒間に２００点の座標を検出する。そして、受信部１２ｂは、手書き入力された順番（本例では、Ｔ１，Ｔ２，Ｔ３・・・の順番）に検出点の座標を入力座標データとしてデータ入力機構１３に出力する。
【００３３】
図５は、受信部１２ｂが出力する入力座標データの例を示す説明図である。図５は、図４に示す文字「Ｐ」について、受信部１２ｂが出力した入力座標データである。受信部１２ｂは、図５に示すように、Ｔ１，Ｔ２，Ｔ３・・・の順番に各検出点毎のＸ座標及びＹ座標を出力する。
【００３４】
図６は、フォーマットデータベース１４に記憶される所定フォーマット情報の例を示す説明図である。図６は、図３に示す売上伝票に対応する所定フォーマット情報である。図６に示すように、所定フォーマット情報には、図３に示す売上伝票の各欄毎に「入力座標範囲」、「入力種別」、「入力項目」及び「入力桁数（または入力文字数）」の情報が含まれる。「入力座標範囲」には、所定フォーマット上での各記入欄の範囲がＸ座標及びＹ座標の値の範囲として記憶される。例えば、図３に示す１行目３２０の商品名欄の「入力座標範囲」として「Ｘ＝０〜３０」と「Ｙ＝４０〜５０」とが記憶される。
【００３５】
「入力種別」には、記入箇所が文字データ領域であるかイメージデータ領域であるかが記憶される。文字データ領域とは、売上伝票上で文字が記入される領域（欄）であり、イメージデータ領域とは、売上伝票上で図形が記入される領域（欄）である。例えば、図３に示す１行目３２０の商品名欄は商品名の文字列が記入される欄であるので、この商品名欄の「入力種別」には「文字データ領域」と記憶される。また、対前月欄は「○」または「△」の図形が記入される欄であるので、対前月欄の「入力種別」には、「イメージデータ領域」と記憶される。
【００３６】
「入力項目」には、記入箇所の「入力項目」（「商品名」や「単価」等）が記憶される。例えば、図３に示す各商品名欄の「入力項目」として「商品名」と記憶される。「入力桁数」には、記入箇所に手書きで入力される桁数（または文字数）が記憶される。記入箇所が金額等の数字を入力する箇所である場合には、入力される数字の桁数が記憶される。また、記入箇所が商品名等の文字を入力する箇所である場合には、入力される文字数が記憶される。
【００３７】
次に、動作について説明する。図７は、手書き入力された情報の入出力の処理経過の例を示す流れ図である。入出力の処理を実行する前に、情報入出力装置１００には、使用する所定フォーマットを予め使用者に指定される。本例では、情報入出力装置１００は、図３に示す売上伝票に対応する所定フォーマットが指定されているものとする。なお、紙媒体１１が白紙である場合には、情報入出力装置１００は、使用者によって白紙である紙媒体１１に手書き入力される旨の情報が入力される。
【００３８】
また、記入デバイス１２の受信部１２ｂは、使用者の操作に従って座標系の初期設定を行う。使用者は電子ペン１２ａのペン先を図３に示す所定フォーマット３００の基準点３１０に置く。受信部１２ｂは、使用者の操作に従って電子ペン１２ａのペン先の座標を「Ｘ＝０，Ｙ＝０」に設定する。そして、基準点３１０の座標が「Ｘ＝０，Ｙ＝０」に設定される。
【００３９】
なお、座標系の初期設定の方法は、本例で示す場合に限られない。例えば、所定フォーマット３００に基準点３１０を設けずに、受信部１２ｂを設置した場所を「Ｘ＝０，Ｙ＝０」に設定してもよい。そして、紙媒体１１を受信部１２ｂに対して予め決められた場所に固定するようにしてもよい。
【００４０】
使用者によって紙媒体１１に図形や文字等が記入されると、受信部１２ｂは、電子ペン１２ａから赤外線信号（または超音波信号）を受信する。受信部１２ｂは、受信した信号に基づいて入力座標データをデータ入力機構１３に出力する（ステップＳ１０１）。
【００４１】
データ入力機構１３は、記入デバイス１２の受信部１２ｂから入力座標データを受信すると、フォーマットデータベース１４から所定フォーマット情報を抽出する。本例では、図３に示す売上伝票の所定フォーマットが指定されているので、データ入力機構１３は、フォーマットデータベース１４から、図６に示す所定フォーマット情報を抽出する。データ入力機構１３は、抽出した所定フォーマット情報に基づいて、入力座標データが文字データ領域に属するのか、イメージデータ領域に属するのかを判定する（ステップＳ１０２）。
【００４２】
入力座標データが文字データ領域に属すると判定した場合には、データ入力機構１３は、入力座標データを手書き入力された順番（例えば、図４に示すＴ１，Ｔ２，Ｔ３・・・の順番）にイメージ作図機構１５及び文字認識機構１６に出力する。すなわち、入力座標データが時系列にイメージ作図機構１５及び文字認識機構１６に出力される。以下、イメージ作図機構１５及び文字認識機構１６に出力された情報を記入文字データ１３２と記す。
【００４３】
入力座標データがイメージ領域に属すると判定した場合には、データ入力機構１３は、入力座標データを手書き入力された順番にイメージ作図機構１５に出力する。すなわち、入力座標データが時系列にイメージ作図機構１５に出力される。以下、イメージ作図機構１５に出力された情報を記入イメージデータ１３１と記す。
【００４４】
例えば、図３に示す売上伝票の所定フォーマット３００の１行目３２０の商品名欄に手書き入力された場合について説明する。入力座標データを取得すると、データ入力機構１３は、入力座標データに含まれるＸ座標とＹ座標の値が図６に示す所定フォーマット情報の「入力座標範囲」のどの範囲に含まれる値であるかを判定する。データ入力機構１３は、Ｘ座標及びＹ座標の値が、１行目３２０の商品名欄に対応する「入力座標範囲」に含まれる値であると判定する。データ入力機構１３は、その「入力座標範囲」に対応する「入力種別」の情報を抽出する。抽出した「入力種別」の情報は「文字データ領域」であるので、データ入力機構１３は、入力座標データは文字データ領域に属すると判定する。そして、データ入力機構１３は、入力座標データを、図５に示すＴ１，Ｔ２，Ｔ３・・・の順番にイメージ作図機構１５及び文字認識機構１６に記入文字データ１３２として出力する。
【００４５】
また、例えば、図３に示す売上伝票の所定フォーマット３００の２行目３３０の対前月欄に手書き入力された場合について説明する。入力座標データを取得すると、データ入力機構１３は、入力座標データに含まれるＸ座標とＹ座標の値が図６に示す所定フォーマット情報の「入力座標範囲」のどの範囲に含まれる値であるかを判定する。データ入力機構１３は、Ｘ座標及びＹ座標の値が、２行目３３０の対前月欄に対応する「入力座標範囲」に含まれる値であると判定する。データ入力機構１３は、その「入力座標範囲」に対応する「入力種別」の情報を抽出する。抽出した「入力種別」の情報は「イメージデータ領域」であるので、データ入力機構１３は、入力座標データはイメージデータ領域に属すると判定する。そして、データ入力機構１３は、入力座標データを、手書き入力された順番にイメージ作図機構１５に記入イメージデータ１３１として出力する。
【００４６】
使用者によって白紙である紙媒体１１に手書き入力される旨の情報が入力されている場合には、データ入力機構１３は、フォーマットデータベース１４から所定フォーマット情報の抽出を行わない。データ入力機構１３は、入力された手書き情報は全て文字データ領域に記入された情報であると判定する。データ入力機構１３は、全ての入力座標データを、手書き入力された順番にイメージ作図機構１５及び文字認識機構１６に記入文字データ１３２として出力する。なお、データ入力機構１３は、手書き情報は全てイメージデータ領域に記入された情報であると判定し、入力座標データを、イメージ作図機構１５に記入イメージデータ１３１として出力してもよい。
【００４７】
ステップＳ１０２で入力座標データが文字データ領域に属すると判定され、データ入力機構１３が記入文字データ１３２を文字認識機構１６及びイメージ作図機構１５に出力した場合の動作を説明する。文字認識機構１６は、記入文字データ１３２に含まれる座標データに基づいて手書き情報がいずれの文字を入力したものであるかを認識する（ステップＳ１０３）。この座標データは、発生した順に時系列に並んでいる。文字認識機構１６は、この発生順に並んだ座標データを用いて文字を認識する。文字認識機構１６は、認識した文字に対応するコードデータを抽出する。コードデータとは、例えば、ＪＩＳ（Ｊａｐａｎｅｓｅ  Ｉｎｄｕｓｔｒｉａｌ  Ｓｔａｎｄａｒｄｓ  ；日本工業規格）、Ｓｈｉｆｔ−ＪＩＳ、ＥＵＣ（Ｅｘｔｅｎｄｅｄ  Ｕｎｉｘ  Ｃｏｄｅ）及びユニコード（Ｕｎｉｃｏｄｅ  ）等の文字コード体系に基づいたデータである。文字認識機構１６は、抽出したコードデータを含む情報を文字データ１６１として生成する。そして、文字認識機構１６は、生成した文字データ１６１を文字データメモリ１８に記憶させる（ステップＳ１０４）。
【００４８】
文字認識機構１６は、文字を認識する際に記入文字データ１３２に含まれる座標データの順番を参照する。例えば、図３に示す文字「Ｐ」が記入された場合には、文字「Ｐ」は文字「ア」と形が類似する。文字認識機構１６は、発生した時系列順に並ぶ座標データに基づいて文字の縦棒と横棒のどちらが先に入力されたかを判定する。そして、縦棒が先に入力されたと判定した場合には、文字認識機構１６は、入力された文字は「Ｐ」であると認識する。
【００４９】
文字認識機構１６が実行する文字認識処理と並行して、イメージ作図機構１５は、記入文字データ１３２に含まれる座標データの値に基づいて、手書きで入力された文字のイメージデータ１５１を生成する（ステップＳ１０５）。イメージ作図機構１５は、例えば、座標データの値に基づいてベクトルデータまたはスカラデータを算出することによって文字のイメージデータ１５１を生成する。そして、イメージ作図機構１５は、生成した文字のイメージデータ１５１をイメージデータメモリ１７に記憶させる（ステップＳ１０６）。
【００５０】
ステップＳ１０２で入力座標データがイメージデータ領域に属すると判定され、データ入力機構１３が記入イメージデータ１３１をイメージ作図機構１５に出力した場合の動作を説明する。イメージ作図機構１５は、記入イメージデータ１３１に含まれる座標データの値に基づいて、手書きで入力された図形のイメージデータ１５１を生成する（ステップＳ１０５）。イメージ作図機構１５は、例えば、座標データの値に基づいてベクトルデータまたはスカラデータを算出することによって図形のイメージデータ１５１を生成する。そして、イメージ作図機構１５は、生成した図形のイメージデータ１５１をイメージデータメモリ１７に記憶させる（ステップＳ１０６）。
【００５１】
出力データ編集機構１９は、イメージデータメモリ１７に記憶されるイメージデータ１５１と、文字データメモリ１８に記憶される文字データ１６１とを抽出する。また、出力データ編集機構１９は、フォーマットデータベース１４から所定フォーマット情報を抽出する。本例では、図３に示す売上伝票の所定フォーマットが指定されているので、出力データ編集機構１９は、図６に示す所定フォーマット情報を抽出する。
【００５２】
出力データ編集機構１９は、抽出した所定フォーマット情報とイメージデータ１５１及び文字データ１６１とに基づいて、情報入出力装置１００の表示部１６０に表示させるための表示用データを生成する（ステップＳ１０７）。表示用データは、図形や文字等を所定フォーマットの所定の箇所に挿入した状態の画面を、視覚的に表示部１６０に表示させるためのデータである。そして、出力データ編集機構１９は、表示部１６０に表示用データを表示し、使用者に情報修正の有無の確認を促す（ステップＳ１０８）。使用者は、表示部１６０で表示用データを確認し、手書き入力した文字等が正しく認識されているか否かを確認する。
【００５３】
手書き情報が文字情報である場合には、その文字についてイメージデータ１５１と文字データ１６１の両データが生成されている。文字情報については、出力データ編集機構１９は、文字データ１６１に含まれる文字コードに基づく認識文字と、イメージデータ１５１に基づく文字画像とを並べて表示部１６０に表示する。なお、出力データ編集機構１９は、文字データ１６１に基づく認識文字のみを表示部１６０に表示してもよい。また、出力データ編集機構１９は、イメージデータ１５１に基づく文字画像のみを表示部１６０に表示してもよい。
【００５４】
また、使用者によって白紙である紙媒体１１に手書き情報が入力される旨の情報が入力されている場合には、出力データ編集機構１９は、フォーマットデータベース１４から所定フォーマット情報の抽出を行わない。出力データ編集機構１９は、座標系において座標データに基づいて判断される所定箇所に図形や文字等を配置した表示画面の情報を表示用データとして生成する。そして、出力データ編集機構１９は、生成した表示用データを表示し、使用者に情報修正の有無の確認を促す。
【００５５】
ステップＳ１０８で図形や文字等を正しく認識していないと判断され、使用者によって文字データ１６１等を修正すべき旨の指示が入力された場合には、出力データ編集機構１９は、指示に従って文字データ１６１等を修正する（ステップＳ１０９）。例えば、文字データ１６１について修正の指示が入力された場合には、プルダウンメニュー（Ｐｕｌｌ  Ｄｏｗｎ  Ｍｅｎｕ）を表示部１６０に表示させてもよい。そして、使用者にメニュー画面の項目から正しい文字を選択させてもよい。この場合に、記入箇所が数字入力に限定されている箇所である場合には、「０」から「９」までの数字の項目を含んだメニュー画面を表示部１６０に表示させてもよい。使用者は、マウス等で項目をクリックすることにより正しい数字を入力することができる。
【００５６】
データの修正が完了し、使用者によって出力データを生成すべき旨の指示が入力された場合には、出力データ編集機構１９は、修正後の表示用データを出力データとして生成する（ステップＳ１１０）。そして、出力データ編集機構１９は、生成した出力データを出力データメモリ２０に記憶させる（ステップＳ１１１）。
【００５７】
ステップＳ１０９で文字等を正しく認識していると判断され、使用者によって出力データを生成すべき旨の指示が入力された場合には、出力データ編集機構１９は、ステップＳ１０７で生成した表示用データをそのまま出力データとして生成する。そして、出力データ編集機構１９は、生成した出力データを出力データメモリ２０に記憶させる（ステップＳ１１１）。
【００５８】
使用者によって出力データを外部システム２２に出力すべき旨の指示が入力された場合には、データ出力機構２１は、出力データメモリ２０に記憶される出力データを抽出する。そして、データ出力機構２１は、ＬＡＮ２００を介して出力データを外部システム２２に送信する（ステップＳ１１２）。
【００５９】
使用者によって出力データを印字装置２４に印刷すべき旨の指示が入力された場合には、データ出力機構２１は、出力データメモリ２０に記憶される出力データを抽出する。そして、データ印字機構２３は、出力データを印字装置２４に出力する（ステップＳ１１２）。印字装置２４は、出力データを取得すると、出力データに基づいて紙媒体に印字出力結果２４１を印刷する。
【００６０】
なお、本実施の形態では、文字認識機構１６が筆順（座標データの発生順）を考慮して文字認識処理を行う場合を例として説明したが、文字認識機構１６が考慮する情報は、筆順の情報に限られない。例えば、文字認識機構１６は、筆速度を考慮して文字認識処理を実行してもよい。例えば、入力座標データが２００分の１秒毎に一定時間間隔で得られる場合には、データ入力機構１３は、入力座標データの各座標データ間の距離を算出する。そして、データ入力機構１３は、算出した座標データ間の距離を筆速度を示す情報として利用する。
【００６１】
筆速度を示す情報を算出することによって、例えば、手書きで記入された文字が漢字であり、漢字の「撥ね」部分が他の部分と比較して筆速度が早い傾向があることが予め分かっている場合には、データ入力機構１３は、筆速度を示す情報に基づいて入力部分が漢字の「撥ね」部分であるか否かを判定してもよい。
【００６２】
また、文字認識機構１６は、手書き入力された文字を構成するストローク同士の交差状態を検出し、ストローク同士の交差状態を考慮して文字認識処理を行ってもよい。さらに、文字認識機構１６は、各ストローク間の相対位置を検出し、各ストローク間の相対位置を考慮して文字認識処理を実行してもよい。
【００６３】
以上のように本発明によれば、手書き入力された文字等の絶対座標の情報が時系列にリアルタイムに文字認識機構１６に入力されるので、文字認識機構１６は文字の筆順や筆速度等の付加情報を考慮した文字認識処理を行うことができる。従って、文字情報の認識率の向上を図ることができ、且つ簡易な構成で認識率を向上できる。
【００６４】
また、手書き入力された文字の座標データに基づいて文字データを生成したならば、その文字データに従って文字を表示する。また、イメージデータとして生成した文字はイメージデータとしてそのまま出力する。そのため、イメージデータから文字コードデータ等に変換した後に、さらにイメージデータに再変換する必要がない。従って、文字情報に関する処理が簡素化でき、入力された手書き文字の記入イメージの再現性を保持して表示することができる。
【００６５】
また、紙媒体に文字やイメージが記入されると、文字データ領域に入力された手書き情報に基づく座標データをリアルタイムに文字コードに変換し、イメージデータ及び文字コードデータを編集して表示部に表示することができる。従って、文字認識結果を視覚的且つリアルタイムに確認することができる。
【００６６】
さらに、実際に図形や文字等を記入する媒体は印刷された用紙等でよく、データ入力機構１３は、イメージデータではなく絶対座標のデータを記入デバイス１２から受信する。従って、記入デバイス１２等の記入機構の構成を簡素化することができ、記入機構の制作費用及び使用コストを低減することができる。
【００６７】
【発明の効果】
本発明による情報入出力装置によれば、シートに情報を記入し、情報を記入した位置の座標情報を生成する記入デバイスと、記入デバイスが生成した座標情報を生成順に取得し、座標情報に基づいてシートに記入された文字を特定する文字情報生成手段と、記入デバイスが生成した座標情報を生成順に取得し、座標情報に基づいてシートに記入された線図の線図データを生成する線図情報生成手段と、文字情報生成手段が特定した文字及び線図情報生成手段が生成した線図データに基づいて、シートに記入された文字及び線図を表示する情報表示手段とを備えるように構成したので、付加情報を考慮した文字認識処理を行うことができる。従って、文字情報の認識率の向上を図ることができ、且つ簡易な構成で認識率を向上できる。また、文字認識結果を視覚的且つリアルタイムに確認することができる。さらに、記入機構の構成を簡素化することができ、記入機構の制作費用及び使用コストを低減することができる。
【００６８】
本発明による情報入出力プログラムによれば、コンピュータに、記入デバイスが生成した座標情報を生成順に取得する処理と、座標情報に基づいてシートに記入された文字を特定する処理と、座標情報に基づいてシートに記入された線図の線図データを生成する処理と、特定した文字及び生成した線図データに基づいて、シートに記入された文字及び線図を表示する処理とを実行させるので、付加情報を考慮した文字認識処理を行うことができる。従って、文字情報の認識率の向上を図ることができ、且つ簡易な構成で認識率を向上できる。また、文字認識結果を視覚的且つリアルタイムに確認することができる。さらに、記入機構の構成を簡素化することができ、記入機構の制作費用及び使用コストを低減することができる。
【図面の簡単な説明】
【図１】本発明による情報入出力システムの構成の一例を示す機能ブロック図である。
【図２】本発明による情報入出力システムの構成の一例を示すブロック図である。
【図３】所定フォーマットの例を示す説明図である。
【図４】紙媒体１１に記入される手書き文字の例を示す説明図である。
【図５】入力座標データの例を示す説明図である。
【図６】フォーマットデータベース１４に記憶される所定フォーマット情報の例を示す説明図である。
【図７】情報の入出力の処理経過の一例を示す流れ図である。
【図８】従来の伝票入力装置の構成の例を示す機能ブロック図である。
【符号の説明】
１１  紙媒体
１２  記入デバイス
１３  データ入力機構
１４  フォーマットデータベース
１５  イメージ作図機構
１６  文字認識機構
１７  イメージデータメモリ
１８  文字データメモリ
１９  出力データ編集機構
２０  出力データメモリ
２１  データ出力機構
２２  外部システム
２３  データ印字機構
２４  印字装置
１００  情報入出力装置
【図１】
2004178327.tif 000003
【図２】
2004178327.tif 000004
【図３】
2004178327.tif 000005
【図４】
2004178327.tif 000006
【図５】
2004178327.tif 000007
【図６】
2004178327.tif 000008
【図７】
2004178327.tif 000009
【図８】
2004178327.tif 000010