(57)【特許請求の範囲】
【請求項１】
筆記動作を行なうことができる情報入力装置と、音声データと画像データのうち少なくとも一方を記録して再生する情報記録再生装置とを含む情報処理システムであって、
前記情報入力装置は、
筆記可能な記録媒体に多数配列されるこの記録媒体の座標情報を含むコードシンボルを、前記筆記動作に伴って光学的に読み取るコード読取部と、
このコード読取部によって読み取られた前記コードシンボルをデコードして座標情報を獲得するデコード手段と、
前記コードシンボルをデコードして獲得した座標情報について、記録要求に係るものか再生要求に係るものかを指定するための指定情報を付与する要求指定手段と、
前記デコード手段が獲得した座標情報と前記要求指定手段により付与された指定情報とを前記情報記録再生装置に送信する送信手段とを備え、
前記情報記録再生装置は、
音声データと画像データとのうち少なくとも一方のデータを取得するデータ取得手段と、
このデータ取得手段により取得したデータを蓄積するデータ蓄積手段と、
前記情報入力装置から送信された座標情報と指定情報とを受信する受信手段と、
前記受信手段が受信した座標情報が記録要求に係るものか再生要求に係るものかを、当該座標情報に付与された前記指定情報に基づいて判定する要求判定手段と、
この要求判定手段により記録要求に係るものであると判定された場合、前記受信手段が受信した座標情報と、当該座標情報を受信した際の時刻とを、前記データ蓄積手段により蓄積されているデータに関連付けて記録部に記録するデータ記録手段と、
前記要求判定手段により再生要求に係るものであると判定された場合、前記受信手段が受信した座標情報に対応するデータを前記記録部より読み出して再生するデータ再生手段と、を備える
ことを特徴とする情報処理システム。
【請求項２】
前記情報入力装置は、前記座標情報が記録要求に係るものか再生要求に係るものかをユーザが指定するための切替スイッチを備え、
前記要求指定手段は、前記切替スイッチを介したユーザからの指定操作に応じた前記指定情報を生成してこれを前記座標情報に対して付与する
ことを特徴とする請求項１記載の情報処理システム。
【請求項３】
前記データ取得手段により取得されるデータは音声データ及び画像データであって、
前記データ再生手段は、前記受信手段が受信した座標情報が再生要求に係るものであると判定された場合には、前記座標情報に関連付けて記録されている音声データ及び画像データを前記記録部より抽出し、テレビモニタに対して出力する
ことを特徴とする請求項１記載の情報処理システム。
【請求項４】
前記データ取得手段により取得されるデータは音声データであって、
前記データ再生手段は、前記受信手段が受信した座標情報が再生要求に係るものであると判定された場合には、前記座標情報に関連付けて記録されている音声データを前記記録部より抽出し、スピーカに対して出力する
ことを特徴とする請求項１記載の情報処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理システムに関する。
【０００２】
【従来の技術】
従来より、テレビ等を観ながらメモを取ることが必要になった場合には、テレビから得る情報を手書きのメモとして蓄積している。そして、そのメモを読み返す作業を行って、改めてメモを取った当時の情報を思い返す。大抵の場合にはそのメモ内容で満足し、それを読み返すだけで情報を取得できるのであるが、メモを読み返しても分からない情報があったり、取ったメモが欲しい内容に対して記述項目が不十分であったり、メモを取ってはいても間違っていたりすることがある。
【０００３】
一般に、このような場合を回避すべく、テレビ番組をビデオに録画するなどしてその情報を取得・保存しようとするが、実際には数分間くらいの「ちょっとした情報の取得（メモを取る作業）」を行なう際に、同時にビデオの録画作業を行なうことは皆無に等しい。ビデオは各家庭にほぼ普及している家電製品と言えるが、その手間の大変さにより、ほんの数秒、数分の情報の為にビデオを取るユーザは現実にはほぼいないと言ってよい。また、取ったメモが欲しい内容に対して記述項目が不十分であったり、メモを取ってはいても間違っていたりする場合については、手書きのメモの速さと正確さが問題である。テレビの場合、番組にもよるが、そのメモを取る作業が困難な場合がある。それはアナウンサーの声が早口であったり、出てきた図や表が直ぐに切替わってしまったりするからである。
【０００４】
そこで、近年においては、短い時間の録画機能が付随したテレビや、画面のスクリーンショットを保存する機能を持つテレビなども開発されており、動画や静止画を短い時間メモリに蓄えることができるようになっている。このようなテレビによれば、ユーザは、一度動画や静止画をテレビのメモリに蓄えて、そのあと時間があるときにその情報を呼び出して観ることができる。
【０００５】
【発明が解決しようとする課題】
しかし、このような短い時間の録画機能が付随したテレビや、画面のスクリーンショットを保存する機能を持つテレビなどには重大な欠点がある。
【０００６】
第一の欠点としては、例えば料理番組を観ながらメモを取る場合には、ユーザは、情報をテレビのメモリに一度蓄えた後に、次に手書きのメモを書き起こさなくてはならない点である。つまり、最初はテレビのスクリーンショットを取り、数分の録画機能を備えたテレビを用いて録画するわけだが、結局そのあとにそれを観てメモを書かなくてはならないため、二度手間になってしまうことである。
【０００７】
第二の欠点としては、そのメモで十分という保証は何処にもないことから、後にメモの情報が不十分であると判明した場合には、再度情報を取った映像（ファイルやテープ）から手作業で内容検索して閲覧しなくてはならず、そのメモに関連する情報を取り出す作業は大変な作業となる点である。
【０００８】
このような問題は、テレビ番組を観ながらメモを取る場合に限るものではなく、ラジオを聞きながらメモを取る場合、電話で会話をしながらメモを取る場合、会議などの会話中のメモを取る場合においても同様の問題がある。
【０００９】
本発明の目的は、メモの取り間違いや、メモの不十分さを効率良く補うことができる情報処理システムを提供することである。
【００１０】
【課題を解決するための手段】
請求項１記載の発明は、情報処理システムであって、筆記動作を行なうことができる情報入力装置と、音声データと画像データとのうち少なくとも一方を記録して再生する情報記録再生装置とを含む情報処理システムであって、前記情報入力装置は、筆記可能な記録媒体に多数配列されるこの記録媒体の座標情報を含むコードシンボルを、前記筆記動作に伴って光学的に読み取るコード読取部と、このコード読取部によって読み取られた前記コードシンボルをデコードして座標情報を獲得するデコード手段と、前記コードシンボルをデコードして獲得した座標情報について、記録要求に係るものか再生要求に係るものかを指定するための指定情報を付与する要求指定手段と、前記デコード手段が獲得した座標情報と前記要求指定手段により付与された指定情報とを前記情報記録再生装置に送信する送信手段とを備え、前記情報記録再生装置は、音声データと画像データとのうち少なくとも一方のデータを取得するデータ取得手段と、このデータ取得手段により取得したデータを蓄積するデータ蓄積手段と、前記情報入力装置から送信された座標情報と指定情報とを受信する受信手段と、前記受信手段が受信した座標情報が記録要求に係るものか再生要求に係るものかを、当該座標情報に付与された前記指定情報に基づいて判定する要求判定手段と、この要求判定手段により記録要求に係るものであると判定された場合、前記受信手段が受信した座標情報と、当該座標情報を受信した際の時刻とを、前記データ蓄積手段により蓄積されているデータに関連付けて記録部に記録するデータ記録手段と、前記要求判定手段により再生要求に係るものであると判定された場合、前記受信手段が受信した座標情報に対応するデータを前記記録部より読み出して再生するデータ再生手段と、を備える。
【００１１】
したがって、情報入力装置において、コードシンボルが多数配列された記録媒体に対して筆記動作が行なわれると、コード読取部及びデコード手段によって記録媒体上の筆記位置の座標情報が獲得される。この座標情報には、記録要求に係るものか再生要求に係るものかを指定するための指定情報が付与される。そして、この獲得された座標情報と当該座標情報に付与された指定情報とが情報記録再生装置に送信されて受信される。情報記録再生装置においては、当該座標情報が記録要求に係るものか再生要求に係るものかを、当該座標情報に付与された指定情報に基づいて判定する。そして、座標情報が記録要求に係るものであると判定された場合には、受信された座標情報とデータ蓄積手段により蓄積されているデータとが関連付けられて記録部に記録される。一方、座標情報が再生要求に係るものであると判定された場合には、この座標情報に関連付けて記録されているデータが記録部より読み出されて再生される。これにより、ユーザが、コードシンボルが多数配列された記録媒体にメモをとると、同時に音声データと画像データとの少なくとも一方のデータがメモの座標情報に関連付けられて記録部に記録され、後にユーザがメモを取った箇所を再度筆記すると、そのメモの箇所に対応したメモに係る音声データや画像データが再生されるので、メモの取り間違いや、メモの不十分さを効率良く補うことが可能になる。また、座標情報に付与された指定情報により、座標情報が記録要求に係るものか再生要求に係るものかを容易に判定することが可能になる。
【００１２】
請求項２記載の発明は、請求項１記載の情報処理システムにおいて、前記情報入力装置は、前記座標情報が記録要求に係るものか再生要求に係るものかをユーザが指定するための切替スイッチを備え、前記要求指定手段は、前記切替スイッチを介したユーザからの指定操作に応じた前記指定情報をしてこれを前記座標情報に対して付与する。
【００１３】
したがって、座標情報が記録要求に係るものか再生要求に係るものかをユーザが容易に指定することが可能になる。
【００１６】
請求項３記載の発明は、請求項１記載の情報処理システムにおいて、前記データ取得手段により取得されるデータは音声データ及び画像データであって、前記データ再生手段は、前記受信手段が受信した座標情報が再生要求に係るものであると判定された場合には、前記座標情報に関連付けて記録されている音声データ及び画像データを前記記録部より抽出し、テレビモニタに対して出力する。
【００１７】
したがって、例えば、ユーザが、テレビを見ながらコードシンボルが多数配列された記録媒体に情報入力装置を用いてメモをとると、同時に音声データ及び画像データがメモの座標情報に関連付けられて記録部に記録され、後にユーザがメモを取った箇所を再度筆記すると、そのメモの箇所に対応したメモに係る音声データ及び画像データがテレビモニタに対して出力されて再生される。これにより、テレビ番組を観ながらとったメモに係る音声データ及び画像データを容易に検索することが可能になり、使い勝手が飛躍的に向上する。
【００１８】
請求項４記載の発明は、請求項１記載の情報処理システムにおいて、前記データ取得手段により取得されるデータは音声データであって、前記データ再生手段は、前記受信手段が受信した座標情報が再生要求に係るものであると判定された場合には、前記座標情報に関連付けて記録されている音声データを前記記録部より抽出し、スピーカに対して出力する。
【００１９】
したがって、例えば、ユーザが、電話や会議をしながらコードシンボルが多数配列された記録媒体に情報入力装置を用いてメモをとると、同時に音声データがメモの座標情報に関連付けられて記録部に記録され、後にユーザがメモを取った箇所を再度筆記すると、そのメモの箇所に対応したメモに係る音声データがスピーカに対して出力されて再生される。これにより、電話や会議をしながらとったメモに係る音声データを容易に検索することが可能になり、使い勝手が飛躍的に向上する。
【００２２】
【発明の実施の形態】
［第一の実施の形態］
本発明の第一の実施の形態を図１ないし図１３に基づいて説明する。
【００２３】
ここで、図１は本実施の形態の情報処理システム１００の構成を概略的に示すシステム構成図である。図１に示すように、本実施の形態の情報処理システム１００は、概略的には、情報入力システム１０１と、この情報入力システム１０１に対してデータ接続可能なビデオレコーダ１０２とで構成されている。情報入力システム１０１は、シート状の記録媒体（以下、媒体という。）１と、人が手に持って筆記動作を行なうことができる筆記具形状の情報入力装置４とで構成されている。一方、ビデオレコーダ１０２は、一般に、テレビモニタ１０３等に接続して用いられるもので、テレビ信号である画像信号と音声信号とを録画再生する情報記録再生装置である。
【００２４】
まず、情報入力システム１０１について詳細に説明する。図２は、情報入力システム１０１を構成する媒体１を示す平面図である。媒体１には、人間が視覚的に読み取り可能な状態で文書を記録することができ、一般的には、紙、布、プラスチック等で構成され、シート状である。このような媒体１には、光学的に読み取り可能なコードシンボル３が予め記録されている。このコードシンボル３は、詳しくは後述するが、例えばバーコード、２次元コード等である。
【００２５】
また、媒体１は、人の手による筆記動作等によって情報を可視的に表示することを目的としている。このため、媒体１は、後述する情報入力装置４を用いた筆記動作によって可視的な画像を形成することができるように形成されている。
【００２６】
ここで、図２中は、コードシンボル３は、媒体１の左隅に４個だけ示されているが、実際には、媒体１には、多数のコードシンボル３がマトリクス状に配列されている。そして、図２では、コードシンボル３は媒体１の大きさに対して極めて大きく表現されているが、これは、説明の便宜のためであり、実際のコードシンボル３の大きさは極めて微細である。なお、光学的に読み取り可能なコードシンボル３として、図２には、ＤａｔａＭａｔｒｉｘコードを示しているが、同様なコードシンボル３としては他にもいくつか周知であるものがあり、例えば、ＣｏｄｅＯｎｅ，ＡｚｔｅｃＣｏｄｅ，ＭａｘｉＣｏｄｅ，ＱＲＣｏｄｅ等を用いることができる。また１次元のバーコードや独自コードを用いてもよい。
【００２７】
このようなコードシンボル３は、座標情報を含んでいる。つまり、マトリクス状に配列されたコードシンボル３の個々には、媒体１におけるＸ−Ｙ座標上のどの位置にそのコードシンボル３が位置しているかという情報が座標情報として含まれている。より具体的に例をあげると、紙面の左上を原点とし、右および下方向にｘ軸およびｙ軸をとる。ここで、ｘ軸、ｙ軸の、（１０ｍｍ，１０ｍｍ）の位置に「０１０１」のコードシンボル３の中心が位置するように配置し、（１０ｍｍ，２０ｍｍ）の位置には「０１０２」のコードシンボル３、（２０ｍｍ，１０ｍｍ）の位置に「０２０１」のコードシンボル３を配置する。
【００２８】
また、コードシンボル３は、人間にとっては読み取り不可能であるが、光学的には読み取り可能な波長域で印刷されている。このように、コードシンボル３を不可視にすることにより、コードシンボル３に妨げられることなく媒体１上に記録された文書等を読み取ることができるので、利便性を高くすることができる。
【００２９】
ここで、不可視の材料について説明する。不可視のコードシンボル３を形成する材料の一例としては、ジイモニウム系の近赤外吸収色素［日本化薬（株）製品  IRG-022］をトナーとして用いる。このようにジイモニウム系の近赤外吸収色素をトナーとして用いて不可視のコードシンボル３を印字した媒体１に対して黒画像を含む可視画像を形成した場合においては、可視カットフィルタを通してＣＣＤ（Charge Coupled Device）で観察すると、可視画像は見えずに不可視のコードシンボル３のみが認識されることになる。
【００３０】
また、媒体１上に画像形成を行なう際に、従来の赤外線吸収の黒色トナーを用いる代わりに、赤外線を透過可能なイエロートナー、マゼンタトナー、シアントナーを使用することも考えられる。このように赤外線吸収を行なうトナーを用いた不可視のコードシンボル３上に、赤外線吸収を行なわないトナー（イエロートナー、マゼンタトナー、シアントナー）により画像を形成した場合には、より低コストで、不可視のコードシンボル３上に可視情報を重ね合わせて表示することができる。
【００３１】
ここで、赤外線吸収を行なわないトナー（イエロートナー、マゼンタトナー、シアントナー）を以下において例示的に説明する。
【００３２】
［イエロートナー］
樹脂として、テレフタル酸とエチレンオキサイド付加ビスフェノールＡとを重合させ、重量平均分子量（Ｍｗ＝12,000）、酸価＝５、軟化点Ｔｍ＝110℃のポリエステル樹脂を得る。このポリエステル樹脂“９５重量％”と、C.I.ピグメント・イエロー９７“５重量％”と、をエクストルーダー混練機によって溶融混練し、その後、粉砕、分級して、平均粒径7.0μｍのイエロートナー“５０重量％”及び平均粒径4.5μｍの微粉“５０重量％”を得る。
【００３３】
［マゼンタトナー］
樹脂として、テレフタル酸とエチレンオキサイド付加ビスフェノールＡとを重合させ、重量平均分子量（Ｍｗ＝12,000）、酸価＝５、軟化点Ｔｍ＝110℃のポリエステル樹脂を得る。このポリエステル樹脂“９５重量％”と、C.I.ピグメント・レッド１２２“５重量％”と、をエクストルーダー混練機によって溶融混練し、その後、粉砕、分級して、平均粒径7.0μｍ、≦４μｍ（pop）＝１０％のマゼンタトナー“５０重量％”及び平均粒径4.5μｍの微粉“５０重量％”を得る。
【００３４】
［シアントナー］
樹脂として、テレフタル酸とエチレンオキサイド付加ビスフェノールＡとを重合させ、重量平均分子量（Ｍｗ＝12,000）、酸価＝５、軟化点Ｔｍ＝110℃のポリエステル樹脂を得る。このポリエステル樹脂“９５重量％”と、C.I.ピグメント・ブルー１５：３“５重量％”と、をエクストルーダー混練機によって溶融混練し、その後、粉砕、分級して、平均粒径7.0μｍ、≦４μｍ（pop）＝１０％のシアントナー“５０重量％”及び平均粒径4.5μｍの微粉“５０重量％”を得る。
【００３５】
［黒色トナー］
イエロートナー、マゼンタトナー、シアントナーの生成過程で得られた微粉を、黒色トナーの製造に使用する。イエロートナー、マゼンタトナー、シアントナーの生成過程で分離された微粉を、イエロー微粉３５重量％、マゼンタ微粉３６重量％及びシアン微粉２９重量％の比率で混合し、溶融混練した後、粉砕、分級して、平均粒径7.0μｍの黒色トナー“５０重量％”を得る。
【００３６】
以上のようにして生成した各カラートナー（イエロートナー、マゼンタトナー、シアントナー）及び黒色トナーを、スチレン−メタクリレート−共重合体で被覆したフェライトキャリアと組み合わせて電子写真方式のプリンタに導入する。各カラートナー（イエロートナー、マゼンタトナー、シアントナー）及び黒色トナーを用いて近赤外吸収材料により不可視のコードシンボル３を印字した媒体１に画像形成を行なう。このような各カラートナー（イエロートナー、マゼンタトナー、シアントナー）を用いて形成された可視画像を、可視カットフィルタを通してＣＣＤで観察すると、可視画像は見えずに不可視のコードシンボル３のみが認識されることになる。
【００３７】
なお、不可視のコードシンボル３を印字した媒体１に画像形成するにあたっては、電子写真方式のプリンタに限るものではなく、インクジェットプリンタを用いるようにしても良い。
【００３８】
次に、情報入力システム１０１を構成する情報入力装置４について詳細に説明する。図３は、情報入力システム１０１を構成する情報入力装置４の概略構成を示す説明図である。図３に示すように、この情報入力装置４の筐体７は、ボールペン等と同様に円筒形の外観を有しており、この筐体７の先端部５には、筆記手段であるペン軸５ａを有している。このペン軸５ａは、フェルトペンやボールペンなどと同様に筆記可能に構成されている。この場合、筆記に用いられるインクは目視可能で媒体１のコードシンボル３の検出を妨げないものである。コードシンボル３が近赤外吸収材料で印刷されている場合、筆記用インクは赤外線を透過可能なインクである必要があり、カーボンブラックなどを含まないものである。そして、この情報入力装置４においては、ばね５ｂを備えてペン軸５ａの軸に沿った方向にわずかなストロークを持たせるとともに、ストロークの終端にマイクロスイッチ５ｃを備えている。したがって、通常は、ペン軸５ａはマイクロスイッチ５ｃに接触しない状態（言い換えれば、文字を筆記していない状態では電気信号が発生していない状態）となっており、筆記に伴う媒体１とペン軸５ａとの摩擦や筆圧により、ペン軸５ａをマイクロスイッチ５ｃに接触させることを可能としている。
【００３９】
また、本実施の形態の情報入力装置４は、筐体７の側部に、可視カットフィルタ６ａを有する画像読取部６を備えている。画像読取部６は、コード読取部として機能し、例えばＣＣＤなどの光電変換素子及びレンズ等の光学系により構成されていて可視カットフィルタ６ａを介して媒体１上の画像を読み取るものである。なお、ＣＣＤの他にも、ＣＭＯＳイメージセンサ等を適用することができる。また、画像読取部６には、必要に応じて照明を設けることができる。
【００４０】
このような情報入力装置４には、各部を制御する制御回路８が内蔵されており、この制御回路８には、マイクロスイッチ５ｃや画像読取部６のほか、Bluetooth、IEEE802.11やＩｒＤＡ等の赤外線通信などの無線通信インタフェースであってビデオレコーダ１０２等の情報記録再生装置とのデータの送受信を行なうための通信Ｉ／Ｆ９が接続されている。
【００４１】
ところで、本実施の形態の情報入力装置４においては、データの記録のみならずデータの再生にも用いることが可能になっている。つまり、情報入力装置４から送信される後述する座標情報（デコード情報）が“記録”に係るものであるのか“再生”に係るものであるのかを区別する必要がある。そこで、情報入力装置４には、情報入力装置４から送信される座標情報（デコード情報）が“記録”に係るものであるのか“再生”に係るものであるのかを区別するための切替スイッチ１１が設けられている。この切替スイッチ１１を操作することにより、座標情報（デコード情報）をデータ記録する記録モードか、それとも再生する再生モードかに切り替えることができる。より具体的には、切替スイッチ１１はダイアル式などがよく、記録するのか、それとも再生するのかを選択する際に固定できるタイプの方が良い（つまり、押し込んだままでないと再生する作業が行えない状態は不便である）。そして、この切替スイッチ１１の操作により、制御回路８に接続されている信号発生器１２が座標情報（デコード情報）を送信する際のその先頭データに記録か再生かを示すデータを発生する。ここに、要求指定手段が実現されている。
【００４２】
なお、図３に示す１０は、マイクロスイッチ５ｃ、画像読取部６、制御回路８、通信Ｉ／Ｆ９、信号発生器１２などに電力を供給する電源である。本実施の形態の情報入力装置４においては持ち運んで使用することが多いので、電源１０としては、再充電可能な２次電池が好ましい。
【００４３】
これにより、情報入力装置４は、筆記動作に伴ってペン軸５ａがその軸方向に押圧されてマイクロスイッチ５ｃを押すことにより、電源１０から画像読取部６、制御回路８、通信Ｉ／Ｆ９、信号発生器１２の各部に電源を供給する構成になっている。
【００４４】
次に、情報入力装置４の制御回路８が実行する各種処理の内容について説明する。図４は、制御回路８により実行される各種処理を示す機能ブロック図である。図４に示すように、制御回路８においては、画像読取部６で読み取った媒体１上の画像に基づいた各種処理が実行される。すなわち、画像読取部６からの読み取り画像を受け取った後（コード情報入力手段８ａ）、コードシンボル３をデコードして読み取った画像上におけるコードシンボル３の座標情報を検出し（デコード手段８ｂ）、この座標情報を通信Ｉ／Ｆ９を介してビデオレコーダ１０２に送信する（デコード情報送信手段８ｃ）。
【００４５】
図５は、情報入力装置４で図１のような媒体１を読み取った画像例である。情報入力装置４による撮影範囲を、コードシンボル３の幅の少なくとも倍以上にしておけば、少なくとも１つのコードシンボル３は画像の読み取り範囲内に入る。実際には、隣接のコードシンボル３も読み取り範囲内に入るが、図５では省略している。図１に示すように、媒体１の表面と画像読取部６の撮像面は必ずしも正対していないので、図５に示すように、読み取ったコードシンボル３の画像は歪みをもっている。ここで、例えば、図５の枠１３内のコードシンボル３を読み取り、それに含まれている座標情報をデコード手段８ｂでデコードした結果が「０１０２」と得られれば、情報入力装置４は、少なくとも図５に示す四角の枠１３の大きさの精度で媒体１上の座標位置を検出することができる（なお、かかる技術については、特開昭６１−２９６４２１号公報も参照）。
【００４６】
しかし、これでは解像度が数ミリ〜１ｃｍと非常に小さく、実用上は問題がある。あるいは解像度を高くするためにコードシンボル３を小さくするためには、コードシンボル３を印刷するプリンタや画像読取部６の精度を向上させる必要があり、かつ大量のコードシンボル３を用いるためには印刷のコストがかかり、現実的ではない。
【００４７】
そこで、本実施の形態においては、図６に示すような、コードシンボル３の４角に位置する各頂点（（Ｘｓ１，Ｙｓ１）〜（Ｘｓ４，Ｙｓ４））の画像座標を用いて、コードシンボル３の位置を検出する。
【００４８】
ここで、画像読取部６で読み取った画像を制御回路８で処理することによる先端部５の位置に対応する媒体１の紙面上の座標検出について説明する。なお、説明の簡易化のため、画像上における中心点が先端部５の位置であり、かつ、紙面に対して垂直であると仮定して以下の説明を行なう。図６に示す画像が得られたとすると、この画像で２次元コードをデコードすると、図６のコードシンボル３がデコードされ、例えば「００１０１０２」という座標情報が得られたとする。なお、「００１」の部分が今後のオプション用に残された枠で、「０１０２」の部分が座標情報である。コードシンボル３の印刷位置は既知であるので、例えば「００１０１０２」であるコードシンボル３の中心が媒体１の紙面の左上から、ｘｙ座標で（１０ｍｍ、２０ｍｍ）であるとする。一方、コードシンボル３のサイズも既知であり、例えば縦横５ｍｍであるとすると、コードシンボル３の４角の座標位置も、それぞれ、（７．５ｍｍ，１７．５ｍｍ），（７．５ｍｍ，２２．５ｍｍ），（１２．５ｍｍ，１７．５ｍｍ），（１２．５ｍｍ、２２．５ｍｍ）にあると求めることができる。これらコードシンボル３の４角の座標位置の関係式は次式で与えられることが知られている。
【００４９】
【数１】
0004050546.tif 000002
【００５０】
この式で、添え字ｒは媒体１の紙面上の座標、添え字ｓは画像読取部６で読み取った画像上の座標である。この式には未知数が８個あるので、前述のようにコードシンボル３の４角の座標位置がわかっていれば、係数（射影変換係数）がすべて求められる。次に、この係数と式を用いれば、画像上の任意の点に対する紙面上の座標を求めることができる。したがって、先端部５の位置に対応する媒体１の紙面上の座標を求めることができる。なお、先端部５対応する画像上の点は、先端部５と画像読取部６の位置関係から求めることもできるし、画像上に先端部５が写っている場合は実測してもよい。いずれの場合も先端部５と画像読取部６の位置関係は固定であるので、容易に求めることができる。このような情報入力装置４を用い、先端部５の位置の検出を連続的に行えば、先端部５の移動軌跡を求めることができる。本実施の形態においては、座標情報（デコード情報）は、一定周期で検出され、ビデオレコーダ１０２にリアルタイムに送信されることになる。
【００５１】
コードシンボル３の読み取り画像をエンコードしたデータが得られたときに、制御回路８が、そのデータから先端部５の位置に対応する媒体１の紙面上の座標を求める場合の処理手順について、前記の内容を整理し、図７のフローチャートを参照して説明する。まず、制御回路８は、コードシンボル３のエンコード結果から、コードシンボル３の中心における媒体１の紙面上の座標を求める（ステップＳ１）。そして、このコードシンボル３の中心における媒体１の紙面上の座標から、コードシンボル３の４角における媒体１の紙面上の座標を求める（ステップＳ２）。このコードシンボル３の４角における紙面上の座標と、画像上の座標とから、前記のように射影変換係数を求める（ステップＳ３）。そして、先端部５と画像読取部６の位置関係と、射影変換係数とから、先端部５における媒体１の紙面上の座標を求めることができる（ステップＳ４）。
【００５２】
次に、ビデオレコーダ１０２について詳細に説明する。図８は、ビデオレコーダ１０２に内蔵される各部の電気的接続を示すブロック図である。図８に示すように、ビデオレコーダ１０２は、各部を集中的に制御するＣＰＵ（Central Processing Unit）２１を備えている。このＣＰＵ２１には、制御プログラム等を記憶するＲＯＭ（Read Only Memory）や各種データを書換え可能に記憶する不揮発性のＲＡＭ（Random Access Memory）等のメモリ２２がバス２３で接続されている。
【００５３】
さらにバス２３には、記憶部であるＨＤＤ（Hard Disk Drive）２４や、Bluetooth、IEEE802.11やＩｒＤＡ等の赤外線通信などの無線通信インタフェースであって前述した情報入力装置４とのデータの送受信を行なうための通信Ｉ／Ｆ２５が接続されている。
【００５４】
ビデオレコーダ１０２は、報知手段として機能するテレビモニタ１０３等に接続して用いられるもので、テレビ信号である画像信号と音声信号とを録画再生するビデオレコーダであることから、ビデオレコーダ１０２には、テレビモニタ１０３等から出力された画像信号を入力するための画像入力部２６、テレビモニタ１０３等から出力された音声信号を入力するための音声入力部２７、テレビモニタ１０３等に対して画像信号を出力するための画像出力部２８、テレビモニタ１０３等に対して音声信号を出力するための音声出力部２９が、設けられている。これらの画像入力部２６、音声入力部２７、画像出力部２８、音声出力部２９は、ＭＰＥＧ（Motion Picture Expert Group）コーデック３０を介してＣＰＵ２１にバス接続されている。
【００５５】
ＭＰＥＧコーデック３０は、画像入力部２６から入力された画像信号をＭＰＥＧ符号化したＭＰＥＧ符号化データと音声入力部２７から入力された音声信号とからＭＰＥＧファイルデータを生成する。このようなＭＰＥＧファイルデータは、ＨＤＤ２４に保存される。
【００５６】
次いで、メモリ２２に記憶された制御プログラムに従いＣＰＵ２１が実行する処理について説明する。なお、従来のレコーダによって行なわれる処理と同様の処理についてはその説明を省略する。
【００５７】
図９は、本実施の形態のビデオレコーダ１０２の有する特長的な機能である加筆データ入力処理の流れを概略的に示すフローチャートである。図９に示すように、ＣＰＵ２１は、ＭＰＥＧコーデック３０で生成されたＭＰＥＧファイルデータを受信すると（ステップＳ１１のＹ：データ取得手段）、当該ＭＰＥＧファイルデータをメモリ２２に一時的に格納する（ステップＳ１２：データ蓄積手段）。この場合、メモリ２２は、例えば３分間分のデータを常に保持するものとする。なお、これに限るものではなく、一定のデータ量（例えば、５００ＫＢ）を常に保持するものであっても良い。
【００５８】
続くステップＳ１３においては、情報入力装置４からの記録を示す座標情報（デコード情報）を受信したか否かを判断する。情報入力装置４からの記録を示す座標情報（デコード情報）を受信していなければ（ステップＳ１３のＮ：要求判定手段）、再びステップＳ１１に戻り、ＭＰＥＧファイルデータの受信に待機する。
【００５９】
一方、ユーザが情報入力装置４を用いてメモ書きを行なうことにより、情報入力装置４からの記録を示す座標情報（デコード情報）を受信していれば（ステップＳ１３のＹ：要求判定手段、情報取得手段）、メモリ２２に格納されている３分間分のＭＰＥＧファイルデータを取り出し、この３分間分のＭＰＥＧファイルデータと受信した座標情報（デコード情報）とを関連付けてＨＤＤ２４の加筆データ記録テーブルＴ（図１０参照）に保存し（ステップＳ１４：データ記録手段）、再びステップＳ１１に戻る。つまり、ＣＰＵ２１は、記録を示す座標情報（デコード情報）が情報入力装置４から連続して入力されている間は、連続するＭＰＥＧファイルデータをＨＤＤ２４に記録しつづけることになる。
【００６０】
ここで、図１０はＨＤＤ２４に形成される加筆データ記録テーブルＴのデータ構成を模式的に示す説明図である。図１０に示すように、加筆データ記録テーブルＴには、座標情報（デコード情報）ａとＭＰＥＧファイルデータｂとが関連付けられて格納されるとともに、座標情報（デコード情報）の取得時間であるＭＰＥＧファイルのフレームを特定することができるタイムコードｃも座標情報（デコード情報）ａ及びＭＰＥＧファイルデータｂに関連付けて格納される。これにより、後に座標情報（デコード情報）からタイムコードを取得することができ、ＭＰＥＧファイルデータを情報入力装置４で取得した座標情報からピックアップすることが可能になる。
【００６１】
次に、本実施の形態のビデオレコーダ１０２の有する特長的な機能である加筆データ入力時再生処理について図１１を参照しつつ説明する。図１１に示すように、ＣＰＵ２１は、ユーザが情報入力装置４を用いてメモ書きの一点をポイントすることにより、情報入力装置４から再生を示す座標情報（デコード情報）を受信すると（ステップＳ２１のＹ：要求判定手段、情報取得手段）、受信した座標情報（デコード情報）に基づいてＨＤＤ２４の加筆データ記録テーブルＴを検索し、この座標情報（デコード情報）に関連付けられたＭＰＥＧファイルデータからタイムコードにより特定されるＭＰＥＧファイルのフレームを抽出する（ステップＳ２２：データ抽出手段）。
【００６２】
そして、ＣＰＵ２１は、このようにして抽出されたＭＰＥＧファイルの１フレームを、画像出力部２８及び音声出力部２９を介してテレビモニタ１０３に対して出力し（ステップＳ２３：データ再生手段）、テレビモニタ１０３において静止画として再生させる。
【００６３】
ここで、このような情報処理システム１００の実施例について説明する。ここでは、ユーザが、テレビモニタ１０３で料理番組を見ている際に、レシピ等をメモする状況について説明する。
【００６４】
このような場合、ユーザは、情報入力システム１０１を用いてメモを取ることになる。詳細には、情報入力装置４の切替スイッチ１１を記録モードに設定した後、図１２に示すように、媒体１に対して情報入力装置４のペン軸５ａによりレシピＲを筆記することになる。ここで、情報入力装置４は、ユーザの筆記動作に伴って媒体１上のコードシンボル３を読み取り、コードシンボル３の座標情報を記録を示す座標情報（デコード情報）としてビデオレコーダ１０２に送信する。
【００６５】
そして、情報入力装置４からの座標情報を受信したビデオレコーダ１０２は、座標情報（デコード情報）とＭＰＥＧファイルデータとを関連付けてＨＤＤ２４に格納する。
【００６６】
一般に、ユーザは、メモを取ることで情報を取得し、後で見直すことによりその内容を思い出す。しかしながら、そのメモ内容の詳細部分が何であったかを忘れてしまうことがある。あるいは、後に観ていて気付いた重要な点や、この料理は細かな点で何をすればよかったのか、分からなくなってしまうこともある。
【００６７】
このような場合には、改めて、レシピＲを記述した媒体１を取り出し、情報入力装置４の切替スイッチ１１を再生モードに設定した後、その媒体１上のレシピＲを記述した箇所に情報入力装置４を当てると、情報入力装置４は、媒体１上のコードシンボル３を読み取り、コードシンボル３の座標情報を再生を示す座標情報（デコード情報）としてビデオレコーダ１０２に送信する。
【００６８】
そして、情報入力装置４からの座標情報を受信したビデオレコーダ１０２は、以前その媒体１にレシピＲを筆記した際にＨＤＤ２４に格納しておいたデータを再生し、テレビモニタ１０３に出力する。これにより、図１３に示すように、媒体１にレシピＲを記述した際の映像や音声をテレビモニタ１０３において確認することができる。これにより、メモだけでは分かりづらい情報（例えば、焼き加減、盛り付け、調味料のふりかけ具合等）を、簡単な動作で確認することができる。
【００６９】
ここに、コードシンボル３が多数配列された記録媒体１に対して情報入力装置４により筆記動作を行なうと、コード読取部６及びデコード手段８ｂによって記録媒体１上の筆記位置の座標情報が獲得される。そして、ビデオレコーダ１０２は情報入力装置４からコードシンボル３が多数配列された記録媒体１上の筆記位置の座標情報を獲得し、この獲得された座標情報が記録要求に係るものであると判定した場合には、獲得した座標情報（デコード情報）とＭＰＥＧファイルデータとを関連付けてＨＤＤ２４に記録する。一方、獲得された座標情報が再生要求に係るものであると判定した場合には、この座標情報（デコード情報）に関連付けて記録されているＭＰＥＧファイルデータをＨＤＤ２４より抽出してテレビモニタ１０３に対して出力する。これにより、ユーザが、コードシンボル３が多数配列された記録媒体１に情報入力装置４を用いてメモをとると、同時にＭＰＥＧファイルデータがメモの座標情報（デコード情報）に関連付けられてＨＤＤ２４に記録され、後にユーザがメモを取った箇所を再度筆記すると、そのメモの箇所に対応したメモに係るＭＰＥＧファイルデータがテレビモニタ１０３に対して出力されて再生されるので、メモの取り間違いや、メモの不十分さを効率良く補うことが可能になる。
【００７０】
なお、本実施の形態のビデオレコーダ１０２は、ＭＰＥＧファイルデータをＨＤＤ２４に保存するようにしたが、これに限るものではなく、フレキシブルディスク、磁気テープ等のような磁気的な記憶媒体、ＭＯのような光磁気的な記憶媒体、ＣＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等のような光学的な記憶媒体、半導体メモリ等の各種方式のメディアを記憶媒体として用いるようにしても良い。なお、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの各種の光学的な記憶媒体、各種の光磁気的な記憶媒体、フレキシブルディスクなどの各種の磁気的な記憶媒体等は、ビデオレコーダ１０２に固定的に設けられておらず、単体で取り扱える交換自在な記憶媒体としての形態を備え、各メディアに適応した各種読取装置（ＣＤ−ＲＯＭドライブ等）を用いてデータが読み出される。
【００７１】
また、本実施の形態の情報処理システム１００は、情報入力システム１０１と、この情報入力システム１０１に対してデータ接続可能なビデオレコーダ１０２とで構成したが、これに限るものではない。例えば、情報入力装置４からの座標情報（デコード情報）の送信先をビデオレコーダ１０２に代えて、サウンドレコーダや電話機等の電子機器にしても良い。なお、サウンドレコーダや電話機等の電子機器の場合には、音声信号のみが記録され、報知手段であるスピーカから音声信号が再生される。
【００７２】
さらに、本実施の形態においては、ＭＰＥＧコーデック３０を用いて画像入力部２６から入力された画像信号をＭＰＥＧ符号化したが、これに限るものではなく、JPEG2000エンコーダを用いるようにしても良い。MotionJPEG2000においては、フレームごとの編集が可能である為に、例えば座標情報（デコード情報）を画像フォーマットに重ね合わせるなどの編集がフレームごとに可能となる。これは、ユーザから見て媒体１に加筆した内容を、映像に貼り付ける作業ができる。つまり、映像に対してコメントを加えるなどの編集がフレームごと可能になるものである。
【００７３】
［第二の実施の形態］
本発明の第二の実施の形態を図１４ないし図１５に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する（以降の実施の形態においても同様）。第一の実施の形態では、情報入力装置４からビデオレコーダ１０２に対して座標情報（デコード情報）を送信するようにしたが、本実施の形態においては、外部に座標情報（デコード情報）を送信せずに情報入力装置側で座標情報（デコード情報）を利用する点で異なるものである。
【００７４】
次に、本実施の形態の情報入力装置５０について詳細に説明する。図１４は、本実施の形態の情報入力装置５０の概略構成を示す説明図である。図１４に示すように、本実施の形態の情報入力装置５０は、第一の実施の形態で説明した情報入力装置４の構成に加え、記録部である不揮発性のメモリ５１が制御回路８に接続されている。また、通信Ｉ／Ｆ９には、集音マイク５２及びスピーカ・アンプ５３が接続されている。
【００７５】
次に、情報入力装置５０の制御回路８が実行する各種処理の内容について説明する。図１５は、制御回路８により実行される各種処理を示す機能ブロック図である。図１５に示すように、制御回路８においては、画像読取部６で読み取った媒体１上の画像に基づいた各種処理が実行される。すなわち、集音マイク５２からの音声信号を受け取ると（データ取得手段８ｄ）、メモリ５１に対して送信して蓄積する（データ蓄積手段８ｅ）。この場合、メモリ５１は、例えば３分間分の音声信号を常に保持するものとする。なお、これに限るものではなく、一定のデータ量（例えば、５００ＫＢ）を常に保持するものであっても良い。
【００７６】
一方、画像読取部６からの読み取り画像を受け取ると（コード情報入力手段８ａ）、コードシンボル３をデコードして座標情報（デコード情報）を検出し（デコード手段８ｂ）、記録を示す座標情報（デコード情報）であれば（要求判定手段）、この座標情報（デコード情報）をメモリ５１に蓄積されている３分間分の音声信号に関連付けてメモリ５１に保存する（データ保存手段８ｆ：データ記録手段）。
【００７７】
一方、再生を示す座標情報（デコード情報）であれば（要求判定手段）、メモリ５１に保存されている当該座標情報（デコード情報）に関連付けられた３分間分の音声信号を抽出してスピーカ・アンプ５３に対して出力して再生する（保存データ再生手段８ｇ：データ抽出手段、データ報知手段）。
【００７８】
すなわち、本実施の形態の情報入力装置５０によれば、筆記具をボイスレコーダとして利用することができることにより、会議などの会話中のメモを取るときに、その会話内容を取得し、書いたメモとリンク付けし、後にそのボイスメモと加筆メモを「ペン一本」で再生することができる。これにより、従来、会議にテープレコーダやボイスレコーダを持ち込み、重要なポイントで録音ボタンを押し、片方の手で、メモをとり、後にそのメモ内容を元にユーザ自らが録音した音声データを突き合わせていちいち頭だしをしなくてはならなかった作業を一気に解消することができる。
【００７９】
なお、本実施の形態の情報入力装置５０には集音マイク５２を内蔵したが、これに限るものではない。例えば、集音マイク５２に代えてラジオを内蔵することも考えられる。このようにラジオを内蔵した場合には、ラジオを聞きながらメモを取るときに、書いたメモとリンク付けし、後にその内容と加筆メモを「ペン一本」で再生することができる。これにより、電波の状況等によりその内容が聞きづらかった場合であっても、メモ内容を元に確認作業を行なうことができる。
【００８０】
なお、各実施の形態においては、コードシンボル３に座標情報を含めるようにしたが、個々のコードシンボル３には、その媒体１の同一性を示す識別情報を同一性情報として含めるようにしても良い。つまり、一の媒体１の全てのコードシンボル３について同一の識別情報が含まれていることになる。このようにすれば、同一性情報によって複数の媒体１を識別することができるので、複数の媒体１を同時に使用することができる。この場合には、この識別情報は座標情報とともに抽出される。
【００８１】
【発明の効果】
請求項１記載の発明によれば、情報入力装置において、コードシンボルが多数配列された記録媒体に対して筆記動作が行なわれると、コード読取部及びデコード手段によって記録媒体上の筆記位置の座標情報が獲得される。この座標情報には、記録要求に係るものか再生要求に係るものかを指定するための指定情報が付与される。そして、この獲得された座標情報と当該座標情報に付与された指定情報とが情報記録再生装置に送信されて受信される。情報記録再生装置においては、当該座標情報が記録要求に係るものか再生要求に係るものかを、当該座標情報に付与された指定情報に基づいて判定する。そして、座標情報が記録要求に係るものであると判定された場合には、受信された座標情報とデータ蓄積手段により蓄積されているデータとが関連付けられて記録部に記録される。一方、座標情報が再生要求に係るものであると判定された場合には、この座標情報に関連付けて記録されているデータが記録部より読み出されて再生される。これにより、ユーザが、コードシンボルが多数配列された記録媒体にメモをとると、同時に音声データと画像データとの少なくとも一方のデータがメモの座標情報に関連付けられて記録部に記録され、後にユーザがメモを取った箇所を再度筆記すると、そのメモの箇所に対応したメモに係る音声データや画像データが再生されるので、メモの取り間違いや、メモの不十分さを効率良く補うことが可能になる。また、座標情報に付与された指定情報により、座標情報が記録要求に係るものか再生要求に係るものかを容易に判定することが可能になる。
【００８２】
請求項２記載の発明によれば、座標情報が記録要求に係るものか再生要求に係るものかをユーザが容易に指定することが可能になる。
【００８４】
請求項３記載の発明によれば、例えば、ユーザが、テレビを見ながらコードシンボルが多数配列された記録媒体に情報入力装置を用いてメモをとると、同時に音声データ及び画像データがメモの座標情報に関連付けられて記録部に記録され、後にユーザがメモを取った箇所を再度筆記すると、そのメモの箇所に対応したメモに係る音声データ及び画像データがテレビモニタに対して出力されて再生されるので、テレビ番組を観ながらとったメモに係る音声データ及び画像データを容易に検索することができ、使い勝手が飛躍的に向上する。
【００８５】
請求項４記載の発明によれば、例えば、ユーザが、電話や会議をしながらコードシンボルが多数配列された記録媒体に情報入力装置を用いてメモをとると、同時に音声データがメモの座標情報に関連付けられて記録部に記録され、後にユーザがメモを取った箇所を再度筆記すると、そのメモの箇所に対応したメモに係る音声データがスピーカに対して出力されて再生されるので、電話や会議をしながらとったメモに係る音声データを容易に検索することができ、使い勝手が飛躍的に向上する。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の情報処理システムの構成を概略的に示すシステム構成図である。
【図２】情報入力システムを構成する媒体を示す平面図である。
【図３】情報入力システムを構成する情報入力装置の概略構成を示す説明図である。
【図４】制御回路により実行される各種処理を示す機能ブロック図である。
【図５】情報入力装置で図１のような媒体を読み取った画像を示す平面図である。
【図６】コードシンボルの位置の検出手法を示す説明図である。
【図７】媒体上のコードシンボルの読み取り画像をエンコードしたデータから情報入力装置の先端部の位置に対応する媒体の紙面上の座標を求める場合の処理について説明するフローチャートである。
【図８】ビデオレコーダに内蔵される各部の電気的接続を示すブロック図である。
【図９】加筆データ入力処理の流れを概略的に示すフローチャートである。
【図１０】加筆データ記録テーブルのデータ構成を模式的に示す説明図である。
【図１１】加筆データ入力時再生処理の流れを概略的に示すフローチャートである。
【図１２】情報入力装置による筆記状態を示す説明図である。
【図１３】テレビモニタに表示された画像の一例を示す説明図である。
【図１４】本発明の第二の実施の形態の情報入力装置の概略構成を示す説明図である。
【図１５】制御回路により実行される各種処理を示す機能ブロック図である。
【符号の説明】
１        記録媒体
３        コードシンボル
４，５０      情報入力装置
５ａ      筆記手段
６        コード読取部
８ｂ      デコード手段
８ｄ      データ取得手段
８ｅ      データ蓄積手段
２４      記録部
５１      記録部
１００    情報処理システム
１０２    情報記録再生装置
１０３    報知手段、テレビモニタ
【図１】
0004050546.tif 000003
【図２】
0004050546.tif 000004
【図３】
0004050546.tif 000005
【図４】
0004050546.tif 000006
【図５】
0004050546.tif 000007
【図６】
0004050546.tif 000008
【図７】
0004050546.tif 000009
【図８】
0004050546.tif 000010
【図９】
0004050546.tif 000011
【図１０】
0004050546.tif 000012
【図１１】
0004050546.tif 000013
【図１２】
0004050546.tif 000014
【図１３】
0004050546.tif 000015
【図１４】
0004050546.tif 000016
【図１５】
0004050546.tif 000017