(57)【特許請求の範囲】
【請求項１】
座標情報及び／又は文書情報を表すシンボルが記録された媒体から前記シンボルを光学的に読み取る手段と、
該シンボルをデコードする手段と、
読み取った画像中における該シンボルの位置、向き、歪量のうち少なくとも１つを検出する手段と、
該シンボルの位置情報、向き情報、歪情報の少なくとも１つとシンボルをデコードしたものとにより、画像中の所定の点に対する前記媒体上の位置を演算する手段と、を有するコンピュータ入力装置であって、
筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する手段と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段と、
を有することを特徴とするコンピュータ入力装置。
【請求項２】
座標情報及び／又は文書情報を表す第一のシンボルと複数からなる第二のシンボルが記録された媒体から前記第一のシンボルと前記第二のシンボルを光学的に読み取る手段と、
第一のシンボルをデコードする手段と、
第一のシンボルと第二のシンボルの位置を検出する手段と、
それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する前記媒体上の位置を演算する手段と、を有するコンピュータ入力装置であって、
筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する手段と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段と、
を有することを特徴とするコンピュータ入力装置。
【請求項３】
座標情報及び／又は文書情報を表す複数のシンボルを光学的に読み取る手段と、それぞれのシンボルをデコードする手段と、
読み取った画像中におけるそれぞれのシンボルの位置を検出する手段と
それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する手段または方法と、
筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する手段と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段と、
を有することを特徴とするコンピュータ入力装置。
【請求項４】
筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、
光学的に読み取られた座標情報及び／又は文書情報を表すシンボルをデコードする工程と、
読み取った画像中における該シンボルの位置、向き、歪量のうち少なくとも１つを検出する工程と、
該シンボルの位置情報、向き情報、歪情報の少なくとも１つとシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程と、
を有することを特徴とするコンピュータ入力方法。
【請求項５】
筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、
光学的に読み取られた座標情報及び／又は文書情報を表す第一のシンボルをデコードする工程と、
光学的に読み取られた第一のシンボルと光学的に読み取られた第二のシンボルの位置を検出する工程と、
それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程と、
を有することを特徴とするコンピュータ入力方法。
【請求項６】
筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、
光学的に読み取られた座標情報及び／又は文書情報を表す複数のシンボルのそれぞれをデコードする工程と、
読み取った画像中におけるそれぞれのシンボルの位置を検出する工程と、
それぞれのシンボルの位置情報とデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程と、
を有することを特徴とするコンピュータ入力方法。
【請求項７】
前記シンボルは人間にとって不可視であることを特徴とする請求項１から３の何れか１項に記載のコンピュータ入力装置。
【請求項８】
前記シンボルは人間にとって不可視であることを特徴とする請求項４から６の何れか１項に記載のコンピュータ入力方法。
【請求項９】
印刷媒体上に文書の論理的な位置情報あるいは文書の論理的な位置情報と文書を識別する情報を光学的に読み取り可能なシンボルで印刷する装置と、請求項１または請求項２または請求項３または請求項７に記載のコンピュータ入力装置と、該装置により得られたシンボルのデコード結果が筆記可能かどうかを判定する手段を有する装置とその判定結果により座標情報を原文書に付加する装置とを有することを特徴とするコンピュータ入力システム。
【請求項１０】
文書を印刷する際に、印刷媒体上の座標あるいは座標と文書ならびにページを識別する情報を光学的読み取り可能なシンボルで印刷する工程と、請求項４または請求項５または請求項６または請求項８に記載のコンピュータ入力方法と、該方法により得られたシンボルのデコード結果が筆記可能かどうかを判定する工程とその判定結果により座標情報を原文書に付加する工程とを有することを特徴とするコンピュータ入力システムにおける入力方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法に関し、例えばコンピュータを用いて印刷されたものの再入力システムなど、コンピュータシステムにおけるユーザーインターフェイスとしての機能を備えたコンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法に関する。
【０００２】
【従来の技術】
一般に、電子化された文書はディスプレイ上で表示されるため視認性に問題がある。また可搬性にも問題があるので、印刷して閲覧あるいは持ち運ぶことが多い。ここでこの文書に加筆などを行う場合、この印刷された文書、すなわちその印刷物である紙の書面に対して加筆などを行うことになる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記したようにこうした印刷物に加筆などを行う場合、電子的な原文書とは何らリンクされておらず、後で原文書を電子的に編集しなおす必要がある。
【０００４】
本発明は、こうした状況に鑑みてなされたものであり、印刷された文書に加筆すると電子的な原文書に自動的に反映されるシステムを提供することを目的とする。端的にいえば紙ベースのタブレットシステムである。このようなシステムのためにはまず、紙面上でのペンの座標を取得する必要があるが、特開昭６１−２９６４２１では光学的に機械読み取り可能なコードを紙面上にマトリクス上に並べ、それを読むことによって座標値を得ている。特開平７−１４１１０４にも類似の特許が出願されている。一方、紙面にファイル情報（ファイル名とか）をバーコードで印刷しておいて、タブレット上で加筆する際に紙面上のバーコードを読みとって文書の編集を行う例もある（特開平７−２４４６５７）。
【０００５】
上記目的は換言すると以下の通りである。
すなわち、紙等の媒体上へ筆記した時、筆記軌跡を取得するための筆記具（コンピュータ入力装置）において、筆記時に筆記可能な文書あるいは場所を判定する機能を持った筆記具（コンピュータ入力装置）を提供することである。
【０００６】
また、上記筆記具（コンピュータ入力装置）を用いて、電子文書が印刷してある紙等の媒体上へ筆記したとき、原文書へ加筆情報を反映させるためのシステムを提供することである。
【０００７】
【課題を解決するための手段】
かかる目的を達成するために、本発明は以下の特徴を有する。請求項１記載の発明は、座標情報及び／又は文書情報を表すシンボルが記録された媒体から前記シンボルを光学的に読み取る手段と、該シンボルをデコードする手段と、読み取った画像中における該シンボルの位置、向き、歪量のうち少なくとも１つを検出する手段と、該シンボルの位置情報、向き情報、歪情報の少なくとも１つとシンボルをデコードしたものとにより、画像中の所定の点に対する前記媒体上の位置を演算する手段と、を有するコンピュータ入力装置であって、筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する手段と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段とを有することを特徴とする。
【０００８】
請求項２記載の発明は、座標情報及び／又は文書情報を表す第一のシンボルと複数からなる第二のシンボルが記録された媒体から前記第一のシンボルと前記第二のシンボルを光学的に読み取る手段と、第一のシンボルをデコードする手段と、第一のシンボルと第二のシンボルの位置を検出する手段と、それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する前記媒体上の位置を演算する手段と、を有するコンピュータ入力装置であって、筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する手段と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段とを有することを特徴とする。
【０００９】
請求項３記載の発明は、座標情報及び／又は文書情報を表す複数のシンボルを光学的に読み取る手段と、それぞれのシンボルをデコードする手段と、読み取った画像中におけるそれぞれのシンボルの位置を検出する手段と、それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する手段または方法と、筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する手段と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段とを有することを特徴とする。
【００１０】
請求項４記載の発明は、筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、光学的に読み取られた座標情報及び／又は文書情報を表すシンボルをデコードする工程と、読み取った画像中における該シンボルの位置、向き、歪量のうち少なくとも１つを検出する工程と、該シンボルの位置情報、向き情報、歪情報の少なくとも１つとシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程とを有することを特徴とする。
【００１１】
請求項５記載の発明は、筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、光学的に読み取られた座標情報及び／又は文書情報を表す第一のシンボルをデコードする工程と、光学的に読み取られた第一のシンボルと光学的に読み取られた第二のシンボルの位置を検出する工程と、それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程とを有することを特徴とする。
【００１２】
請求項６記載の発明は、筆記可能な座標情報及び／又は文書情報、或いは、筆記不可能な座標情報及び／又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、光学的に読み取られた座標情報及び／又は文書情報を表す複数のシンボルのそれぞれをデコードする工程と、読み取った画像中におけるそれぞれのシンボルの位置を検出する工程と、それぞれのシンボルの位置情報とデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程とを有することを特徴とする。
【００１３】
請求項７記載の発明は、上記したシンボルが人間にとって不可視であることを特徴とする。
【００１４】
請求項８記載の発明は、上記したシンボルが人間にとって不可視であることを特徴とする。
【００１５】
請求項９記載の発明は、印刷媒体上に文書の論理的な位置情報あるいは文書の論理的な位置情報と文書を識別する情報を光学的に読み取り可能なシンボルで印刷する装置と、請求項１または請求項２または請求項３または請求項７に記載のコンピュータ入力装置と、該装置により得られたシンボルのデコード結果が筆記可能かどうかを判定する手段を有する装置とその判定結果により座標情報を原文書に付加する装置とを有することを特徴とする。
【００１６】
請求項１０記載の発明は、文書を印刷する際に、印刷媒体上の座標あるいは座標と文書ならびにページを識別する情報を光学的読み取り可能なシンボルで印刷する工程と、請求項４または請求項５または請求項６または請求項８に記載のコンピュータ入力方法と、該方法により得られたシンボルのデコード結果が筆記可能かどうかを判定する工程とその判定結果により座標情報を原文書に付加する工程とを有することを特徴とする。
【００１７】
【発明の実施の形態】
次に、本発明に係るコンピュータ入力装置（座標入力装置）、コンピュータ入力方法（座標入力方法）、コンピュータ入力システム（文書入力システム）、及び該システムにおける入力方法を図面を用いて詳細に説明する。
【００１８】
図１は、本発明の実施形態としてのコンピュータ入力システムにおける文書などについて示す図である。図１の１は人間が視覚的に読み取り可能な状態で文書が記録された媒体であり、一般には紙、布、プラスチック等であり、シート状のことが多い。図１の２は人間が読み取り可能な文書そのものであり、字、図、表などである。図１の３は機械が光学的に読み取り可能なシンボルであり、詳しくは後述するが、一般にはバーコード、２次元コード等である。図１の１と図１の２は図１上では煩雑になるため一部のみ取り出して互いに重ならないように表記しているが、実際には任意の位置、大きさ、数量で印刷することができる。
【００１９】
さて、簡単のため図１の２のシンボルの部分のみを図示した例が図２である。１は印刷された媒体例えば紙である。この例ではシンボル２をマトリクス上に並べている。さらにシンボルは媒体中のシンボルの座標を意味するものがエンコードされでいる。左上のシンボル３は「0101」がエンコードされ、シンボル４は「0102」、シンボル５は「0201」、またシンボル６は「0202」とエンコードされている。あるいは他の例としてシンボル３の部分が「aa」、シンボル４の部分が「ａｂ」、シンボル５の部分が「ba」、シンボル６の部分が「ｂb 」とエンコードされていてもよい。これらのように複数のシンボルが一意的に識別できるならば何でも良く、また配置にも特に制約はないが、図２のように、規則的にエンコードし、かつ規則的にシンボルを配置したほうがより好ましい。より具体的に例をあげると、紙面の左上を原点とし、右および下方向にＸ軸およびＹ軸をとる。ここで（10ｍｍ、10ｍｍ）の位置に「0101」のシンボルの中心がくるように配置し、（10ｍｍ、20ｍｍ）の位置には「0102」のシンボル、（20mm、10mm）の位置に「0201」のシンボルを配置する。また図２では光学的に機械読み取り可能なシンボルとしてＤａｔａＭａｔｒｉｘコードを模したもの挙げているが、同様なコードは他にもいくつか公知であり、例えばＣｏｄｅＯｎｅ、ＡｚｔｅｃＣｏｄｅ、ＭａｘｉＣｏｄｅ、ＱＲＣｏｄｅ等がある。また１次元のバーコードであっても構わない。あるいはエンコードされている情報が媒体上の物理的な位置を意味するものではなく、文書の論理的な位置を意味するもの、例えば第１章第２節第５段落第６文字目といったことを意味する「01020506」のようなものでも構わない。また、シンボルは記録体のなるべく広い範囲に記録することが望ましいが、必ずしも全面に記録する必要はない。例えば、プリンタで印刷する場合、紙面の周囲は印字できない範囲である場合が多い。このようなとき、このような部分に必ずしも印刷する必要はない。
【００２０】
さて、上述した図２の例では座標情報のみがエンコードされていたが、これに加えて文書を一意的に識別する情報もエンコードし記録したほうがより好ましい。文書を一意的に識別する情報には例えばファイル名、ドライブ名＋ディレクトリ名＋ファイル名、あるいはＵＲＬ等がある。また、単純な連番にしておいて実際のファイル名との対応は別にテーブルを用いてもよい。どの範囲をエンコードするかは使用者の都合で定めれば良い。このエンコードしたシンボルは図２の１の記録媒体に、座標情報を表すシンボルとは別に配置しても良いが、ここの座標を表すシンボルに同時にエンコードすることもできる。例えば、図２の３を「c:\MyFile\Patent.doc 0101 」、図２の４を「c:\MyFile\Patent.doc 0102 」のように、文書を表す情報＋座標を表す情報の両方を１つのシンボルにエンコードしても良い。２次元コードの場合、この程度の情報量は数ミリ角ぐらいのサイズになるので、十分エンコード可能である。あるいは、ファイル名などは長くなりがちであるので、これを数字のようなものに置き換えてエンコードし、対応関係はコンピュータ上の例えばデータベース等に格納してもよい。
【００２１】
請求項１記載の発明は、このような媒体に筆記したときに自動的に筆記軌跡が得られる座標入力装置（コンピュータ入力装置）である。これを図３に示す。また、ブロック図を図７に示す。図３の１はペン本体ある。ペン先は必要であれば、筆記可能なもの例えばボールペンやシャープペンシル等とすることもできる。図３の２は記録媒体上（例えば紙面）の画像を読み取る装置で例えばCCD+レンズ（あるいはCMOSイメージセンサ＋レンズ等）である。必要であれば照明を設ければ良い。図３の４は記録媒体である。図７の９は筆記軌跡を得る部分であり、図７の１０については後述する。図３では図示を省略しているが、読み取ったシンボルをデコードする装置、読み取った画像上におけるシンボルの位置、向き、歪を検出する装置を図７の１に示す。さらに図３では電源（図７の４）や外部とのインターフェイス部分（図７の３）は図示を省略している。また、図７の２は記憶装置であり、読み取った画像を一時的に保存する装置である。インターフェイス部（図７の３）は外部のコンピュータ等とのインターフェイスをとる部分で、RS232C、イーサーネット、ブルートゥース、USB 、IrDA等よく知られたインターフェイスである。さらに、望ましくは、ペン先の部分が筆記面に接触しているかどうかの装置を設けたほうが良い。これも公知であるので詳述は省略するが、ペン先部分をペン軸に沿った方向に可動とし、ペン先が筆記面に接触することによりペン先部分が移動し、それを機械的にあるいは導電性の変化等により検出する方法は既にタブレットのペン等で良く知られている。なお、前述の画像を処理する装置は必ずしもペンの内部にある必要はなく、外部に別途設けても良いし、外部の汎用計算機（パソコン等）で処理を行わせても良い。
【００２２】
図４はこの画像読取装置で図２のような媒体を読み取った画像例である。撮影範囲を、シンボルの少なくとも倍以上にしておけば、少なくとも１つのシンボルは画像上に入る。実際には隣接のシンボルも画像上に入るが簡単のため省略する。また、図３に示すように記録媒体と撮像面は必ずしも正対していないので、このような歪を持った画像が得られる。ここで、例えば図４の２を読み取り、市販のデコーダーを用いて「0102」と得られれば、少なくとも座標入力装置（コンピュータ入力装置）は図４の３の四角の大きさの精度で位置を検出することができる。このようなものは既に提案されているが（特開昭６１−２９６４２１号公報）、これでは解像度が数ミリ〜１ｃｍと非常に低く実用上は問題がある。あるいは解像度を高くするためにシンボルを小さくするためには、プリンタや画像読取装置の精度を向上させる必要があり、かつ大量のシンボルを用いるため印刷のコストがかかり現実的ではない。そこで本発明では、図４の画像を処理してこの画像内のシンボルの位置、向き、歪を検出する。シンボルは既にさまざまなものが公知である上にこのようなシンボルの位置等を検出する画像処理装置は市販されており、特に検出原理を知らなくても容易に検出することができるので詳述は省略する。この画像で２次元コードをデコードすると例えば「0102」と得られる。シンボルの印刷位置は既知であるので、例えば「0102」のシンボルの中心が紙面の左上から（10ｍｍ、20ｍｍ）と得られる。一方、シンボルのサイズも既知であるので、例えば 5ｍｍであるとすると、シンボルの４角の紙面座標における位置もそれぞれ（7.5 ｍｍ、17.5ｍｍ）、（7.5 ｍｍ、22.5ｍｍ）、（12.5ｍｍ、17.5ｍｍ）、（12.5ｍｍ、22.5ｍｍ）にあると求めることができる。一方、前述のように画像上のシンボルの４角の座標が得られている。これらの対応する点の関係式は次式で与えられることがすでにわかっている。
【００２３】
【数１】
0004031268.tif 000002
【００２４】
上記数式で添え字ｒは紙面座標、ｓは画像座標である。この式は未知数が８個あるので、前述のように４点対応点があれば係数（射影変換係数）がすべて求まる。次に、この係数と式を用いれば、画像上の任意の点に対する紙面上の座標を求めることができる。したがって、カメラのついたペン先に対応する紙面上の座標を求めることができる。なお、ペン先に対する画像上の点は、ペンとカメラの位置関係から求めることもできるし、画像上にペン先が写っている場合は実測してもよい。いずれの場合もペンとカメラの位置関係は固定であるので、容易に求めることができる。このような座標入力装置（コンピュータ入力装置）を用い、ペン先位置の検出を連続的に行えば、ペン先の移動軌跡を求めることができる（下記手順１）。前述のとおり、ペン先が筆記面に接触しているかどうかを判定する装置がついているならば、筆記軌跡を求めることができる。筆記軌跡データはペン内部の記憶装置に記憶させてもよいし、外部とのインターフェイスを通して、リアルタイムに取り出しても良い。
【００２５】
〔手順１〕
▲１▼２次元コードのエンコード結果→２次元コードの中心の紙面座標
▲２▼２次元コードの中心の紙面座標→２次元コードの４角の紙面座標
▲３▼２次元コードの４角の画像座標＋紙面座標→射影変換係数
▲４▼ペン先画像座標＋射影変換係数→ペン先紙面座標
【００２６】
さて、より好ましい形態は前述のとおり、紙等の記録媒体上に文書を一意的に識別するコードを付加したものである。座標を表すシンボルとは別に文書情報を表すシンボルを付加する場合、まず、座標入力装置（コンピュータ入力装置）の画像読取装置を用いて、文書情報を読み取り、その後筆記動作を行う。そうすると、座標入力装置（コンピュータ入力装置）には、例えば、「c:\MyDocument\Patent.doc」「10,10 」「10,11 」「10,12.5 」「11,14 」・・・のように文書名＋筆記座標列と入力される。あるいは、筆記動作後に文書情報を読み取っても同様である。また、座標を表すシンボルに文書を識別する情報を付加してある場合、座標入力装置（コンピュータ入力装置）には、たとえば、「c:\MyDocument\Patent.doc,10,10」「c:\MyDocument\Patent.doc,10,11」「c:\MyDocument\Patent.doc,10,12.5」「c:\MyDocument\Patent.doc,11,14」のように入力される。なお、ペン先が筆記面から離れたときにはそのようなセパレータデータを挿入すればよい。
【００２７】
ここで、筆記時にその文書またはその場所に対して筆記可能かどうかの判定をし、さらに使用者に知らせる。例えば書込み禁止文書など文書管理上その文書に加筆できない（させたくない）場合、あるいは例えばある特定のフォームに筆記をする場合、記入箇所以外に筆記しようとするなど、筆記が不適切な場合がある。このようなときはたとえ紙面に実際に筆記したとしても、それは原文書に反映されなかったり、反映されたとしてもその後の文書処理上意味を成さないので、このような場合、筆記時に判定をし使用者に知らせる（図７の１０）。そのためには、まず筆記可能あるいは逆に筆記不可能な文書の識別情報（例えば特定の文書に筆記できない場合）、座標情報（例えば用紙の端など特定の座標に筆記できない場合）、あるいはその組み合わせたもの（例えばある文書のある部分は筆記できない場合）を筆記具に登録する必要がある。図７の５は登録するためには記憶部、６はインターフェース部、７は登録動作部である。具体的には、電子的な原文書の存在するコンピュータと通信をして、筆記可能あるいは筆記不可能な文書識別情報や座標情報を記憶部に記憶させるものである。次に筆記時に筆記可能あるいは不可能かを判定部（図７の８）で判定する。通信部は図７の３のインターフェイス部と兼用でもよい。さらに、判定結果を筆記者に知らせたほうがより好ましい形態となる。筆記者に例えば筆記不可能という警告を発するには例えば音や光（LED の点滅等）、あるいは振動といった方法で知らせるのが構造上簡便である。これらの警告は従来の技術で容易に実現可能なものである。
【００２８】
また、上記した手順による実施例をさらに説明すると、以下のようになる。
入力装置には、たとえば、「c:\MyDocument\Patent.doc,10,10」「c:\MyDocument\Patent.doc,10,11」「c:\MyDocument\Patent.doc,10,12.5」「c:\MyDocument\Patent.doc,11,14」のように入力される。なお、ペン先が筆記面から離れたときにはそのようなセパレータデータを挿入すればよい。
【００２９】
ここで、筆記時にその文書またはその場所に対して筆記可能かどうかの判定をし、さらに使用者に知らせる。例えば書込み禁止文書など文書管理上その文書に加筆できない（させたくない）場合、あるいは例えばある特定のフォームに筆記をする場合、記入箇所以外に筆記しようとするなど、筆記が不適切な場合がある。このようなときはたとえ紙面に実際に筆記したとしても、それは原文書に反映されなかったり、反映されたとしてもその後の文書処理上意味を成さないので、このような場合、筆記時に判定をし使用者に知らせる（図７の１０）。そのためには、まず筆記可能あるいは逆に筆記不可能な文書の識別情報（例えば特定の文書に筆記できない場合）、座標情報（例えば用紙の端など特定の座標に筆記できない場合）、あるいはその組み合わせたもの（例えばある文書のある部分は筆記できない場合）を筆記具に登録する必要がある。図７の５は登録するためには記憶部、６はインターフェース部、７は登録動作部である。具体的には、電子的な原文書の存在するコンピュータと通信をして、筆記可能あるいは筆記不可能な文書識別情報や座標情報を記憶部に記憶させるものである。次に筆記時に筆記可能あるいは不可能かを判定部（図７の８）で判定する。通信部は図７の３のインターフェイス部と兼用でもよい。さらに、判定結果を筆記者に知らせたほうがより好ましい形態となる。筆記者に例えば筆記不可能という警告を発するには例えば音や光（LED の点滅等）、あるいは振動といった方法で知らせるのが構造上簡便である。これらの警告は従来の技術で容易に実現可能なものである。
【００３０】
図７の８の判定部とは実質的（物理的）にはCPU+ソフトウエアである。図７の６の通信部は原文書が保存してあるもの（例えば文書管理サーバーやPCなど）との通信を行う部分で、RS-232C 、USB 、LAN 、BlueTooth 等の汎用的なインターフェイスである。このインターフェイスを通じて書き込み制限がある文書名やエリアをサーバーから取得する。この情報は一旦図７の５の記憶部（例えばメモリ）に保存する。筆記を行うと原文書識別子（ファイル名など）や座標が得られるので、これを図７の８の判定部で、図７の５に記憶されているものと比較する。メモリ上には複数の文書名が登録されていることがあるが、その場合は逐一比較を行う。この比較動作はソフトウエアで実現可能である。上記比較動作により仮に一致した場合、図７の７の動作部で筆記者に対して警告を行う。
なお、上述した説明では、書き込み制限がある文書名等を一旦メモリに保存しているが、保存せずに、筆記時にサーバーに問い合わせをする構成であってもよい。
【００３１】
また、上述した説明に補足すると、図７の１、図７の７、図７の８はCPU+ソフトウエアでも実現できる（図８の９、１０）。また、図７の２と図７の５はCPU に接続されたメモリ（図８の２）で、図７の３、図７の６もCPU に接続されたインターフェース（I/O ）で実現することもできる（請求項４）。
【００３２】
図５は請求項２の座標検出例である。座標（＋文書識別情報）がエンコードされた２次元コードの間に四角の第二のシンボルを配置している。図４のように２次元コードだけの場合、歪量の計算に２次元コードの角を用いていたが、元来２次元コードはこのような用途に用いられるものではないので、角のマトリクスにドットがない場合等十分な精度が得られない場合がある。そこで、図５では歪検出用に第二のシンボルを配置している。これはデータをエンコードする必要がないので検出しやすい形がよく、図５では四角であるが円形でもよい。これはテンプレートマッチング手法を用いてその画面上における座標（以下特徴点とする）を検出することができる。また、実際には画面上には四角が他にも存在するので、抽出された第二のシンボルが必ずしも２次元コードに隣接のものが得られるとは限らず、もう１ブロック離れた位置のものが検出されることがあり、どの点が抽出されるかはその時々によって異なる。しかし、カメラと紙面の距離が一定なので、４角の画像座標系における間隔もほぼ一定となる。したがって、各特徴点や２次元コードがそれぞれどのブロックにあるか判定できる。２次元コードや第二のシンボルの配置はあらかじめ決められているので、これに対する紙面座座標を求める手順は以下のようになる。
【００３３】
〔手順２〕
▲１▼２次元コードのエンコード結果→２次元コードの紙面座標
▲２▼２次元コードの画像座標と特徴点１〜４の画像座標の位置関係＋２次元コードの紙面座標
→特徴点１〜特徴点４の紙面座標
▲３▼特徴点１〜特徴点４の画像座標＋紙面座標→射影変換係数
▲４▼ペン先画像座標＋射影変換係数→ペン先紙面座標
【００３４】
ここで、射影変換係数を求めるのは前述のとおりである。また、筆記時にその文書またはその場所に対して筆記可能かどうかの判定し使用者に知らせる構成も請求項１とまったく同様な構成（図７）で実現することができる。また、この構成は請求項１と同様にソフトウエアでも実現することができる（請求項５）。
図６には請求項３の実施例をあげる。座標（＋文書識別情報）がエンコードされた２次元コードを少なくとも４個抽出し、エンコード結果とシンボルの中心座標を得る。図５の例と同様、２次元コードの角は十分な精度が得られない場合があるので、この例では４個のシンボルの中心座標を用いて射影変換係数を求める。以下に手順を示す。
【００３５】
〔手順３〕
▲１▼２次元コード１〜４のエンコード結果→２次元コード１〜４の紙面座標
▲２▼２次元コード１〜４の画像座標＋紙面座標→射影変換係数
▲３▼ペン先画像座標＋射影変換係数→ペン先紙面座標
【００３６】
図５の場合は第二のシンボルの紙面座標を求めるのにそれぞれの位置関係を判定する必要があったが（手順２の▲２▼）、図６の場合、シンボルをエンコードすることによって紙面座標が得られるので、これを省略することができる。ただし、この実施例の場合、より広範囲で２次元コードをエンコードする必要があるので、光学系がより高価なものが要求されるという欠点がある。
【００３７】
なお、上述した実施例では、射影変換係数を求めるために特徴点４個用いてきた。この中で１個を２次元コードの中心座標で代用することもできるし、逆に５個以上の点を用い、最小二乗法を用いてより高い精度で変換係数を求めることもできる。また、筆記時にその文書またはその場所に対して筆記可能かどうかの判定し使用者に知らせる構成も請求項１とまったく同様な構成（図７）で実現することができる。また、この構成は請求項１と同様にソフトウエアでも実現することができる（請求項６）。
【００３８】
さて、請求項１または請求項２または請求項３において、図１の１と図１の２のインクの吸光波長あるいは発光波長を互いに重ならないようにし、図１の１の文書を人間が読み取り可能な波長域に、図１の２のシンボルを人間にとって読み取り不可能な波長域で印刷した場合、図１の１と図１の２は重ねて印刷しかつ独立して読み取ることができるのでより好ましい（請求項７）。不可視のインクには例えば日立マクセルのステルスインクがあり、特にこれは熱転写プリンタ用のインクリボンも市販されている。これは人間にはほとんど見えず、赤外領域ではCCD などの撮像素子には感度があるので機械読み取り可能である。一方、逆に赤外領域では透明な黒色インクも市販されているので、これらのインクを用いて市販の熱転写方式プリンタを用いれば、人間にとって可視の文書と機械にとって可視のシンボルとをプリンタで印刷することが容易に実現できる。
【００３９】
同様に請求項３または請求項４または請求項５の構成においても人間にとって不可視のインクを用いればより利便性が増す（請求項８）。
【００４０】
上述したいずれの場合（実施例）でも、原文書を一意的に識別できかつ筆記軌跡が求まるので、これらの情報を原文書に自動的に付加するのは容易である（請求項９、請求項１０）。文書名等から電子的な原文書を読み出し、その文書に軌跡を付加すれば良い。外部機器より軌跡情報を得て、原文書に付加するような電子文書編集方法は容易に構築することができるし、また市販のいわゆるワードプロセスソフトでもマクロ機能を用いれば容易に実現できる。なお、画像を電子的なものに変換する装置やその画像のシンボルのデコード、位置検出、歪み検出、ペン先位置検出、記憶の各装置／方法は、画像入力装置内にあってもよいし、別の装置内にあってもよいし、コンピュータ等の文書編集装置内のどこにあってもかまわない。また、原文書への筆記軌跡の付加は必ずしもリアルタイムに行う必要もなく、例えば、画像入力装置内のメモリに一旦蓄え、後で画像入力装置を文書編集装置と接続し、そのとき、原文書へ筆記軌跡を付加してもよい。このとき、いきなり原文書への筆記軌跡付加を行うのではなく、操作者に確認を求めてから行うほうがより望ましい。さらに、原文書も操作者が選択可能であるほうが望ましく、このときはシンボルに原文書の識別情報がない場合でも適用可能である。
【００４１】
なお、上述した各実施形態は、本発明の好適な実施形態であり、本発明の主旨を逸脱しない範囲内において、種々変形して実施することが可能である。
【００４２】
【発明の効果】
以上の説明により明らかなように、本発明のコンピュータ入力装置によれば、ペン（入力装置）に設けられた撮影装置により、撮影された光学的に機械読み取り可能なシンボルをデコードしかつ位置、傾き、歪みを検出することでペン先の筆記面における座標を精度よく検出することができる。かつ、筆記不可能な箇所に筆記しようとしたときの判定を行うことができるので、作業効率を高めることができる。
【００４３】
また、第２のシンボルを用いることにより、より精度よくペン先の筆記面における座標を検出することができる。
【００４４】
また、シンボルを複数個用いることにより、より精度よくペン先の筆記面における座標を検出することができる。
【００４５】
また、シンボルを不可視とすることでより見やすくすることができる。
【００４６】
また、本発明のコンピュータ入力方法によれば、上記した本発明のコンピュータ入力装置による各効果と同様の効果が得られる。
【００４７】
また、本発明のコンピュータ入力システムによれば、上記した本発明のコンピュータ入力装置またはコンピュータ入力方法による各効果と同様の効果に加え、電子文書を印刷した際、印刷された紙等へ筆記するだけで、電子的な原文書に自動的に反映されるシステムを構築することができる。かつ、筆記不可能な箇所に筆記しようとしたときの判定を行うことができるので、作業効率を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施形態としてのコンピュータ入力システムにおける文書などについて示す図である。
【図２】図１の２のシンボルの部分のみを例示した図である。
【図３】本発明の実施形態としてのコンピュータ入力装置により自動的に筆記軌跡を得ている状態を示す図である。
【図４】本発明の画像読取装置（コンピュータ入力装置）で図２のような媒体を読み取った場合の画像例を示す図である。
【図５】本発明の実施形態としてのコンピュータ入力システムでの文書における座標検出例を示す図である。
【図６】請求項３記載のコンピュータ入力装置の実施例について説明するための図である。
【図７】本発明の実施形態としてのコンピュータ入力装置の構成例を示すブロック図である。
【図８】本発明の実施形態としてのコンピュータ入力装置をCPU+ソフトウエアで実現する場合の構成例を示すブロック図である。
【図９】手順１を示すフローチャートである。
【図１０】手順２を示すフローチャートである。
【図１１】手順３を示すフローチャートである。
【符号の説明】
図７−１  歪み位置等検出部
図７−２  画像記憶部
図７−３  （外部との）Ｉ／Ｆ
図７−４  電源
図７−５  記憶部
図７−６  Ｉ／Ｆ
図７−７  動作部（警告部）
図７−８  判断部（判定部）
図７−９  筆記軌跡を得る部分
図７−１０  筆記時（入力時）に判定をして使用者に知らせる部分
図８−１  ＣＰＵ
図８−２  プログラム（ＨＤＤに格納されたプログラム）
図８−３  メモリ（ＲＡＭなど）
図８−４  電源
【図１】
0004031268.tif 000003
【図２】
0004031268.tif 000004
【図３】
0004031268.tif 000005
【図４】
0004031268.tif 000006
【図５】
0004031268.tif 000007
【図６】
0004031268.tif 000008
【図７】
0004031268.tif 000009
【図８】
0004031268.tif 000010
【図９】
0004031268.tif 000011
【図１０】
0004031268.tif 000012
【図１１】
0004031268.tif 000013