(57)【要約】【課題】筆記データ及び記録データを文書識別情報に関連付ける登録操作を省略できるとともに、録音又は録画されるデータ量を抑制する文書処理プログラム、文書処理装置及び文書処理システムを提供する。【解決手段】文書処理システム１は、文書データを記憶蓄積する文書処理サーバ３に、筆記操作により文書４上に記入された筆記データを入力する電子ペン５Ａ〜５Ｃと、音声データを録音する音声入力装置２とが接続されている。そして、文書処理サーバ３は、電子ペン５Ａ〜５Ｃから筆記データ及び文書識別情報を取得する筆記データ取得手段、音声入力装置２から入力される記録データのうち、筆記操作に同期して録音された音声データを取得する記録データ取得手段、及び筆記データと文書識別情報と音声データとを取得したとき、筆記データと音声データとを文書識別情報に関連付けて登録する登録手段等として機能するものである。【選択図】図１
2009026121.tif 000002
【特許請求の範囲】
【請求項１】
筆記操作により文書上に記入された筆記データ及び前記文書を識別する文書識別情報を取得する筆記データ取得手段、
前記筆記操作に同期して録音又は録画された記録データを取得する記録データ取得手段、
及び、前記筆記データと前記文書の前記文書識別情報と前記記録データとを取得したとき、前記筆記データと前記記録データとを前記文書の前記文書識別情報に関連付けて登録する登録手段
として、コンピュータを機能させるための文書処理プログラム。
【請求項２】
前記記録データ取得手段は、
前記筆記操作が行われた期間の前又は後の所定の期間に対応する記録データを取得する請求項１に記載の文書処理プログラム。
【請求項３】
前記記録データ取得手段は、
前記筆記操作の開始を示す開始信号を所定数受信したとき、前記録音又は録画を開始し、前記筆記操作の終了を示す終了信号を所定数受信したとき、前記録音又は録画を終了する請求項１に記載の文書処理プログラム。
【請求項４】
筆記操作により文書上に記入された筆記データ及び前記文書を識別する文書識別情報を取得する筆記データ取得手段と、
前記筆記操作に同期して録音又は録画された記録データを取得する記録データ取得手段と、
前記筆記データと前記文書の前記文書識別情報と前記記録データとを取得したとき、前記筆記データと前記記録データとを前記文書の前記文書識別情報に関連付けて登録する登録手段と
を備えた文書処理装置。
【請求項５】
さらに、前記筆記操作が行われる前の所定の期間前記録音又は録画がされた記録データを記憶する１次記憶部と、
前記筆記操作に同期して前記録音又は録画を開始したとき、前記１次記憶部に記憶されている前記記録データを記憶し、その記憶した前記記録データに続けて前記録音又は録画を終了するまで前記記録データを記憶する２次記憶部とを備え、
前記筆記データ取得手段は、前記２次記憶部から前記記録データを読み出して取得する請求項４に記載の文書処理装置。
【請求項６】
筆記操作により文書上に記入された筆記データ及び前記文書を識別する文書識別情報を入力する筆記データ入力手段と、
録音又は録画を行って記録データを入力する記録データ入力手段と、
前記筆記データ入力手段から前記筆記データ及び前記文書識別情報を取得する筆記データ取得手段、前記記録データ入力手段から入力される記録データのうち、前記筆記操作に同期して録音又は録画された記録データを取得する記録データ取得手段、及び、前記筆記データと前記文書の前記文書識別情報と前記記録データとを取得したとき、前記筆記データと前記記録データとを前記文書の前記文書識別情報に関連付けて登録する登録手段を有する文書処理装置と
を備えた文書処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書処理プログラム、文書処理装置及び文書処理システムに関する。
【背景技術】
【０００２】
従来、ユーザによるメモに関連する音声等を捕捉情報として捕捉するようにしたシステムが知られている（例えば、特許文献１参照。）。
【０００３】
このシステムは、情報捕捉装置と、メモ取得装置と、データ処理装置とから構成され、情報捕捉装置は、マイクロホンやカメラ等からなり、プレゼンテーションの場において音声や画像に関する捕捉情報を、録音又は録画の時刻を示す時刻情報とともに連続して取得し、メモ取得装置は、プレゼンテーションの最中にユーザにより書き込まれたメモを、そのメモの書き込まれた時刻を示す時刻情報とともに取得する。そして、データ処理装置は、情報捕捉装置により取得された捕捉情報のうち、ユーザによりメモ書きされた時刻に対応する捕捉情報を抜き出して、ユーザによるメモとその抜き出した捕捉情報とを関連付けることができる。
【０００４】
【特許文献１】特開２００４−２４０９６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、筆記データ及び記録データを文書識別情報に関連付ける登録操作を省略できるとともに、録音又は録画されるデータ量を抑制する文書処理プログラム、文書処理装置及び文書処理システムを提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様は、上記目的を達成するため、以下の文書処理プログラム、文書処理装置及び文書処理システムを提供する。
【０００７】
［１］筆記操作により文書上に記入された筆記データ及び前記文書を識別する文書識別情報を取得する筆記データ取得手段、前記筆記操作に同期して録音又は録画された記録データを取得する記録データ取得手段、及び、前記筆記データと前記文書の前記文書識別情報と前記記録データとを取得したとき、前記筆記データと前記記録データとを前記文書の前記文書識別情報に関連付けて登録する登録手段として、コンピュータを機能させるための文書処理プログラム。
【０００８】
［２］前記記録データ取得手段は、前記筆記操作が行われた期間の前又は後の所定の期間に対応する記録データを取得する前記［１］に記載の文書処理プログラム。
【０００９】
［３］前記記録データ取得手段は、前記筆記操作の開始を示す開始信号を所定数受信したとき、前記録音又は録画を開始し、前記筆記操作の終了を示す終了信号を所定数受信したとき、前記録音又は録画を終了する前記［１］に記載の文書処理プログラム。
【００１０】
［４］筆記操作により文書上に記入された筆記データ及び前記文書を識別する文書識別情報を取得する筆記データ取得手段と、前記筆記操作に同期して録音又は録画された記録データを取得する記録データ取得手段と、前記筆記データと前記文書の前記文書識別情報と前記記録データとを取得したとき、前記筆記データと前記記録データとを前記文書の前記文書識別情報に関連付けて登録する登録手段とを備えた文書処理装置。
【００１１】
［５］さらに、前記筆記操作が行われる前の所定の期間前記録音又は録画がされた記録データを記憶する１次記憶部と、前記筆記操作に同期して前記録音又は録画を開始したとき、前記１次記憶部に記憶されている前記記録データを記憶し、その記憶した前記記録データに続けて前記録音又は録画を終了するまで前記記録データを記憶する２次記憶部とを備え、前記筆記データ取得手段は、前記２次記憶部から前記記録データを読み出して取得する前記［４］に記載の文書処理装置。
【００１２】
［６］筆記操作により文書上に記入された筆記データ及び前記文書を識別する文書識別情報を入力する筆記データ入力手段と、録音又は録画を行って記録データを入力する記録データ入力手段と、前記筆記データ入力手段から前記筆記データ及び前記文書識別情報を取得する筆記データ取得手段、前記記録データ入力手段から入力される記録データのうち、前記筆記操作に同期して録音又は録画された記録データを取得する記録データ取得手段、及び、前記筆記データと前記文書の前記文書識別情報と前記記録データとを取得したとき、前記筆記データと前記記録データとを前記文書の前記文書識別情報に関連付けて登録する登録手段を有する文書処理装置とを備えた文書処理システム。
【発明の効果】
【００１３】
請求項１に係る文書処理プログラムによれば、筆記データ及び記録データを文書識別情報に関連付ける登録操作を省略できるとともに、録音又は録画されるデータ量を抑制することができる。
【００１４】
請求項２に係る文書処理プログラムによれば、記録データの録音又は録画の漏れを低減させることができる。
【００１５】
請求項３に係る文書処理プログラムによれば、有用な記録データの録音又は録画を行うことができる。
【００１６】
請求項４に係る文書処理装置によれば、筆記データ及び記録データを文書識別情報に関連付ける登録操作を省略できるとともに、録音又は録画されるデータ量を抑制することができる。
【００１７】
請求項５に係る文書処理装置によれば、記録データの録音又は録画の漏れを低減させることができるとともに、文書処理装置の構成を簡略化することができる。
【００１８】
請求項６に係る文書処理システムによれば、筆記データ及び記録データを文書識別情報に関連付ける登録操作を省略できるとともに、録音又は録画されるデータ量を抑制することができる。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明の実施の形態に係る文書処理システムの概略の構成例を示す全体図である。この文書処理システム１は、文書データを記憶蓄積する文書処理サーバ３に、録音を行って音声データ（記録データ）を入力する音声入力装置（記録データ入力手段）２が接続され、さらに筆記操作により文書４上に記入された筆記データを入力する電子ペン（筆記データ入力手段）５Ａ〜５Ｃが無線通信１１によりネットワーク１０を介して接続されている。なお、図１では、電子ペン５Ａ〜５Ｃは３台であるが、１台でも２台でもよく、４台以上であってもよい。
【００２０】
ネットワーク１０は、有線ＬＡＮ、無線ＬＡＮ等のローカルエリアネットワークである。なお、ネットワーク１０は、インターネットに接続されたネットワークであってもよい。
【００２１】
音声入力装置２は、発話者により発せられた音声を電気信号に変換するマイクロホンと、そのマイクロホンにより変換された電気信号を音声データとして文書処理サーバ３に送信する通信回路とを備える。なお、音声入力装置２は、音声データの他に、静止画像又は動画像等の画像データを録画する撮像回路を備えたものでもよい。また、音声入力装置２は、ネットワーク１０を介して、音声データを文書処理サーバ３に送信してもよい。
【００２２】
（文書）
文書４は、文書４上の位置情報、文書４を識別する文書ＩＤ（文書識別情報）等を電子ペン５Ａ〜５Ｃに提供するコード層４１と、電子ペン５Ａ〜５Ｃのペン先５１０からのインクによって書込みが可能な手書き層４０とを備え、コード層４１上に手書き層４０が積層された構造を有する。
【００２３】
手書き層４０は、保護層を兼ねるものであり、可視光及び赤外光が透過する透明又は半透明の樹脂材料、例えば、ポリエチレンテレフタレート（ＰＥＴ）フィルムから形成されている。また、手書き層４０には、文書処理サーバ３にデジタルデータとして記憶されている文書データが所定の位置に画像として印刷されている。なお、文書４の内容は任意のものでよく、文書には例えば契約書、仕様書、図面、表、イラスト、写真等が含まれる。
【００２４】
コード層４１は、複数の後述するコード画像がマトリックス状に配置されたパターンを有し、パターンの部分は、赤外光を吸収する色材から形成され、パターン以外の部分は、赤外光及び可視光を透過させる樹脂材料、例えば、ポリエチレンテレフタレート（ＰＥＴ）フィルムから形成されている。
【００２５】
（電子ペン）
電子ペン５Ａ〜５Ｃは、一般的なペンとほぼ同様の外形を有するケース本体５００と、このケース本体５００の先端からペン先５１０が露出するようにケース本体５００に収容された筆記用のペン部５１とを備え、文書４に設けられたコード画像を撮像する機能、コード画像からコードを読み取る機能、読み取ったコードからペン先５１０による筆跡としての筆記データ及び筆記操作が行われた文書４の文書ＩＤを取得する機能、取得した筆記データ及び文書ＩＤを無線通信１１により文書処理サーバ３に送信する機能等を有する。なお、これらの機能については後述する。
【００２６】
ペン部５１は、先端にペン先５１０を有し、後方にインクタンクと、ペン先５１０への筆圧を検出する後述する筆圧検出部とを備える。インクは、文書４の手書き層４０に書き込みが可能で、消去部材５２０により消去可能であり、かつ、可視光を反射し、赤外光を透過させるインク材、例えば、東海光学株式会社製のＢタイプを用いることができる。
【００２７】
（文書処理サーバの構成）
図２は、文書処理サーバ３の概略の構成例を示すブロック図である。この文書処理サーバ３は、文書処理プログラム３００等のプログラムや各種のデータを記憶するＲＯＭ，ＲＡＭ，ＨＤＤ等からなる記憶部３０と、文書処理サーバ３の各部を制御する例えばＣＰＵ等からなる演算部３１と、ネットワーク１０を介して電子ペン５Ａ〜５Ｃから筆記データ及び文書ＩＤを受信するネットワークインタフェースカード（ＮＩＣ）等からなる通信部３２と、データ入力や操作指示を受け付けるキーボード、マウス等を備えた操作入力部３３と、演算部３１による処理結果等の各種の画面を表示するＬＣＤ（液晶ディスプレイ）等からなる表示部３４とを備える。このような文書処理サーバ３は、サーバの他に、例えばパーソナルコンピュータ（ＰＣ）、ワークステーション（ＷＳ）等により構成することができる。
【００２８】
記憶部３０は、音声入力装置２から入力される音声データを記憶する１次音声バッファ（１次記憶部）３０１と、２次音声バッファ（２次記憶部）３０２とを備え、文書データに対して音声データ及び筆記データが関連付けて登録されている文書データベース３０３が記憶されている。なお、文書データベース３０３の詳細は後述する。
【００２９】
１次音声バッファ３０１は、電子ペン５Ａ〜５Ｃにより筆記操作が行われる前の所定の期間、音声入力装置２により録音された音声データを記憶し、古い音声データから破棄して、随時最新の音声データを記憶している。
【００３０】
２次音声バッファ３０２は、電子ペン５Ａ〜５Ｃの筆記操作に同期して、演算部３１が音声データの録音を開始したとき、１次音声バッファ３０１に記憶されている音声データを記憶し、その音声データに続けて演算部３１が録音を終了するまで録音された音声データを記憶する。
【００３１】
演算部３１は、文書処理プログラム３００に従って動作することにより、筆記データ取得手段３１０、記録データ取得手段３１１、及び登録手段３１２等として機能する。
【００３２】
筆記データ取得手段３１０は、電子ペン５Ａ〜５Ｃにより取得された筆記データ及び文書ＩＤと、その筆記データを特定するための筆記データＩＤと、電子ペン５Ａ〜５Ｃを使用するユーザを特定するためのユーザＩＤを取得する。なお、筆記データＩＤは、筆記データを取得したときに、筆記データ取得手段３１０により発行してもよい。また、筆記データ取得手段３１０は、電子ペン５Ａ〜５Ｃから送信される筆記開始信号（開始信号）、筆記終了信号（終了信号）を受信し、記録データ取得手段３１１に送る。
【００３３】
記録データ取得手段３１１は、筆記データ取得手段３１０から筆記開始信号を所定数受信すると、音声データの録音を開始し、１次音声バッファ３０１に記憶されている音声データを２次音声バッファ３０２にコピー又は転送し、その後の音声を２次音声バッファ３０２に続けて録音する。また、記録データ取得手段３１１は、筆記データ取得手段３１０から筆記終了信号を所定数受信すると、音声データの録音を終了し、２次音声バッファ３０２から音声データを読み出して取得する。
【００３４】
なお、音声データの録音の終了は、音声入力装置２からの音声が所定の時間途切れた場合に行ってもよいし、終了信号を所定数受信してから所定の時間が経過した場合に行ってもよいし、それらに限られない。
【００３５】
登録手段３１２は、筆記データ取得手段３１０により筆記データ及び文書ＩＤを取得し、記録データ取得手段３１１により音声データを取得したとき、その筆記データと音声データとを文書ＩＤに関連付けて、文書データベース３０３に登録する。なお、登録手段３１２は、登録するタイミングや順序にかかわらず、筆記データとその筆記データに同期して録音された音声データとを文書ＩＤに関連付けて登録すればよい。例えば、登録手段３１２は、筆記データ、文書ＩＤ及び音声データを取得したときそれらを登録してもよいし、筆記データ及び文書ＩＤを取得したときそれらを先に登録し、その後音声データを取得したときその音声データを先に取得した文書ＩＤに関連付けて登録してもよい。
【００３６】
ここで、図３は、文書データベースの構成例を示す。この文書データベース３０３は、複数の文書データ、筆記データ、及び音声データを記憶し、それらを図３に示すテーブル３０３ａ〜３０３ｅに基づいて関連付けている。
【００３７】
図３（ａ）に示す文書テーブル３０３ａは、文書ＩＤをキーにして、文書４の文書名とその文書名に対応する文書データを属性として記憶している。
【００３８】
図３（ｂ）に示すユーザテーブル３０３ｂは、ユーザＩＤをキーにして、ユーザ名を属性として記憶している。
【００３９】
図３（ｃ）に示す筆記データテーブル３０３ｃは、筆記データＩＤをキーにして、文書ＩＤ、文書４における筆記データの位置情報、ユーザＩＤ、筆記データを属性として記憶している。すなわち、筆記データテーブル３０３ｃは、文書ＩＤの示す文書データに対して、ユーザＩＤの示すユーザが位置情報の示す文書４の位置に書き込んだ筆記データを関連付けて記憶している。ここで、１行目のレコードの位置情報における「Ｐ１，５２０−６００」は、文書４の１ページ目の文字数が５２０文字目から６００文字目の間の位置を示す。なお、位置情報は、文書４の左上を原点としたＸＹ座標により位置を示すものでもよいし、それらに限られない。
【００４０】
図３（ｄ）に示す音声データテーブル３０３ｄは、音声データＩＤをキーにして、文書ＩＤ、音声データを属性として記憶している。すなわち、音声データテーブル３０３ｄは、文書ＩＤの示す文書データに対して、音声データを関連付けて記憶している。
【００４１】
図３（ｅ）に示すデータ関係テーブル３０３ｅは、音声データＩＤ、筆記データＩＤを属性として記憶し、音声データＩＤと筆記データＩＤとの間を関連付けている。例えば、図３（ｅ）の１行目及び２行目のレコードは、音声データＩＤ「ＶＡ１」の音声データに対して、筆記データＩＤがそれぞれ「Ａ１」，「Ａ２」の筆記データがそれぞれ関連付けられていることを示す。
【００４２】
（文書の構成）
図４（ａ）〜（ｃ）は、文書４に設けられたコード層４１の詳細例を示す。文書４には、図４（ａ）に示すように、コード層４１の全体に、例えば２×２ｍｍの多数の不可視かつ赤外光吸収係数の大きいコード画像４２がマトリックス状に印刷されている。
【００４３】
図４（ｂ）は、コード画像４２の拡大図である。コード画像４２は、左上に配置されたローテンションコード部４２ａと、ローテンションコード部４２ａの下に配置されたＸ座標コード部４２ｂと、ローテンションコード部４２ａの右に配置されたＹ座標コード部４２ｃと、ローテンションコード部４２ａの右下に配置された識別コード部４２ｄとから構成されている。
【００４４】
ローテンションコード部４２ａには、自己のコード画像４２の領域を示す情報がエンコードされ、識別コード部４２ｄには、文書４を識別する文書ＩＤが識別コードとしてエンコードされている。ローテンションコード部４２ａ及び識別コード部４２ｄは、コード画像４２の位置によらず、全て同じコードが記録されている。
【００４５】
Ｘ座標コード部４２ｂ及びＹ座標コード部４２ｃには、それぞれ自己のコード画像４２の文書４上のＸ座標及びＹ座標がエンコードされている。Ｘ座標コード部４２ｂは、縦方向に同じＸ座標がエンコードされ、Ｙ座標コード部４２ｃは、横方向に同じＹ座標がエンコードされている。
【００４６】
上記の各コード部４２ａ〜４２ｄは、図４（ｃ）の拡大図に示すように、スラッシュ「／」からなる斜線パターン４２０ａとバックスラッシュ「＼」からなる斜線パターン４２０ｂとの組合せから構成されている。各斜線パターン４２０ａ、４２０ｂは、例えば、０．２ｍｍピッチで形成され、１つの斜線パターン４２０ａ、４２０ｂにより、１ビットの情報（０又は１）を表している。
【００４７】
なお、コード画像４２におけるパターンは、上記斜線パターン４２０ａ、４２０ｂに限定されず、周知のＱＲコード、ＰＤＦ４１７、Ｄａｔａ  Ｍａｔｒｉｘ、Ｍａｘｉ  Ｃｏｄｅ等の２次元コードでもよく、バーコード等の１次元コードや独自コードでもよい。また、目的に応じて複数種のコードを組み合わせてもよい。
【００４８】
（電子ペンの構成）
図５は、電子ペン５の内部構造の一例を示す要部断面図である。この電子ペン５は、前述したようにペン型のケース本体５００及びペン部５１を有し、文書４に赤外光を照射する赤外光源としての赤外ＬＥＤ(Light Emitting Diode)ランプ５２と、コード層４１に印刷されたコード画像４２を撮像する撮像部５３とを備える。これらのペン部５１、赤外ＬＥＤランプ５２及び撮像部５３は、ケース本体５００に収容されている。なお、図１に示す電子ペン５Ａ〜５Ｃは、電子ペン５と同等のものである。
【００４９】
赤外ＬＥＤランプ５２は、波長が８００ｎｍ〜１０００ｎｍの近赤外光を照射する。なお、赤外光源として、レーザ、ハロゲンランプ等を用いてもよい。
【００５０】
撮像部５３は、文書４に赤外光を照射し、文書４で反射した光のうち可視光を除去するとともに、赤外光を透過させる可視光除去フィルタ５３０と、可視光除去フィルタ５３０を透過した赤外光を撮像する撮像素子としての赤外線用ＣＣＤ(Charge Coupled Device)５３１とを備える。
【００５１】
赤外線用ＣＣＤ５３１は、受光した光をその強度に応じた電気信号に光電変換するものであり、可視領域から近赤外領域まで感度を有するものや、近赤外領域に感度を有するものを用いることができる。なお、撮像素子として、ＣＣＤの代わりにＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いてもよい。
【００５２】
図６は、電子ペン５の概略の構成例を示すブロック図である。電子ペン５は、前述したように、赤外ＬＥＤランプ５２、赤外線用ＣＣＤ５３１及び筆圧検出部５１１を備える他、赤外線用ＣＣＤ５３１からの信号を処理する信号処理部５４と、信号処理部５４により処理された信号をデコードするデコード部５５と、デコード部５５によりデコードされたコードから算出された筆記データを記憶するメモリ５６と、赤外ＬＥＤランプ５２を駆動するランプ駆動部５７と、電子ペン５の各部を制御する制御部５８と、文書処理サーバ３との間で情報を送受信する無線通信部５９と、電子ペン５の各部に電源を供給するニッケル・カドミウム蓄電池，リチウムイオン電池等のバッテリ５４０とを備える。
【００５３】
筆圧検出部５１１、信号処理部５４、デコード部５５、メモリ５６、ランプ駆動部５７、制御部５８、無線通信部５９及びバッテリ５４０は、ケース本体５００に収容されている。なお、信号処理部５４、デコード部５５、及び制御部５８の筆記データ算出機能のうち一部又は全部を電子ペン５から省いて、文書処理サーバ３が有していてもよい。
【００５４】
信号処理部５４は、赤外線用ＣＣＤ５３１からのアナログの電気信号をデジタル信号に変換するとともに、傾き補正、ガンマ補正、ノイズ除去等の各種の処理を行うものである。
【００５５】
制御部５８は、筆圧検出部５１１により所定の筆圧以上の筆圧が検出されたとき、筆記の開始を通知する筆記開始信号を文書処理サーバ３に送る。そして、制御部５８は、筆圧検出部５１１により所定の筆圧以上の筆圧が検出されている間、デコード部５５がデコードしたペン先５１０の座標を示すＸ座標コード及びＹ座標コードからペン先５１０の軌跡を算出し、筆記データとしてメモリ５６に記憶する。また、制御部５８は、所定の筆圧以上の筆圧が検出されなくなったとき、筆記の終了を通知する筆記終了信号とともに、メモリ５６に記憶されている筆記データを無線通信部５９を介して文書処理サーバ３に送る。
【００５６】
ランプ駆動部５７は、赤外光を連続して発生するように赤外ＬＥＤランプ５２を駆動するが、筆跡データ取得時（コード読取時）に赤外ＬＥＤランプ５２を瞬時点灯したり、パルス点灯してもよい。
【００５７】
無線通信部５９は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信１１を行う回路を備え、ネットワーク１０に接続されている。
【００５８】
デコード部５５は、コード画像４２のローテーションコード部４２ａからローテーションコード、Ｘ座標コード部４２ｂからＸ座標コード、Ｙ座標コード部４２ｃからＹ座標コード、識別コード部４２ｄから識別コードをそれぞれ読み取るものであり、これについては図面を参照して説明する。
【００５９】
図７は、デコード部５５によるコードの読み取り例を説明するための図である。コード層４１上には、図７（ａ）に示すように、ローテーションコード部４２ａ、Ｘ座標コード部４２ｂ、Ｙ座標コード部４２ｃ、識別コード部４２ｄからなるコード画像４２が２次元状に配置されている。図７（ａ）中、一点鎖線で囲んだ領域は、赤外線用ＣＣＤ５３１による撮像イメージ６、すなわち読取領域を示している。図７（ｂ）は、その撮像イメージ６の詳細を示している。
【００６０】
赤外線用ＣＣＤ５３１の撮像イメージ６は、コード画像４２よりも大きくしており、コード画像４２のサイズを前述したように２×２ｍｍとすると、撮像イメージ６のサイズを例えば３×３ｍｍとしている。デコード部５５は、図７（ｂ）に示すように撮像イメージ６の各イメージ部６０ａ，６０ｂ，６１ａ，６１ｂ，６２ａ，６２ｂ，６２ｃ，６２ｄを組み合わせて、各Ｘ座標コード、Ｙ座標コード、識別コードを復元している。実際の撮像イメージ６は、コード画像４２に対して傾いていることが多いが、図７（ａ），（ｂ）に示したのと同様に各部を組み合わせることにより、各コードを復元することができる。
【００６１】
（実施の形態の動作）
次に、本発明の実施の形態に係る文書処理システムの動作の一例を図８を参照して、図９のフローチャートに従って説明する。ここでは、発話者が、文書４に関する説明を行い、３人のユーザＡ〜Ｃが、文書４とその文書４にメモを書き込むための電子ペン５Ａ〜５Ｃとをそれぞれ所持し、その発話者の発する音声を聞いているものとして、以下にそのときの動作について説明する。
【００６２】
（１）ユーザＡによる筆記データの記録開始
まず、３人のユーザのうちの１人であるユーザＡが、発話者の音声に基づいて、電子ペン５Ａを用いて文書４にメモを書き込むと、電子ペン５Ａの筆圧検出部５１１は、所定の筆圧以上の筆圧を検出し、その所定の筆圧以上の筆圧を検出した旨を筆圧検出通知として制御部５８に通知する。
【００６３】
次に、制御部５８は、ユーザＡによる筆記操作が開始されたか否かを監視しており（Ｓ１０１）、筆圧検出部５１１から筆圧検出通知を受信すると、筆記操作が開始されたと判断する（Ｓ１０１：Ｙｅｓ）。
【００６４】
次に、制御部５８は、筆記データＩＤを新規に発行する（Ｓ１０２）。そして、制御部５８は、無線通信部５９によりネットワーク１０を介して、筆記開始信号を文書処理サーバ３に送る（Ｓ１０３）。
【００６５】
次に、文書処理サーバ３の筆記データ取得手段３１０は、通信部３２を介して制御部５８から送られた筆記開始信号を受信すると（Ｓ２０１）、記録データ取得手段３１１に筆記開始信号を送る。そして、記録データ取得手段３１１は、その筆記開始信号を受信すると、筆記カウンタをインクリメント（加算）する（Ｓ２０２）。
【００６６】
ここで、図８は、電子ペン５Ａ〜５Ｃからの筆記操作信号と筆記カウンタとの関係を示すタイミングチャートである。筆記カウンタは、初期状態としてゼロであったものとすると、筆記操作信号として筆記開始信号を受信した記録データ取得手段３１１は、筆記カウンタを「１」に変更する。
【００６７】
次に、記録データ取得手段３１１は、筆記カウンタが規定値を超えているか否か判断する（Ｓ２０２）。ここでは、その規定値を「２」とすると、記録データ取得手段３１１は、筆記カウンタが規定値「２」を超えていないと判断し（Ｓ２０３：Ｎｏ）、ステップ１０２に戻る。そして、筆記データ取得手段３１０は、他の電子ペン５Ｂ，５Ｃから筆記開始信号が入力されるまで待機する（Ｓ１０２）。なお、規定値は、「１」でも「３」でもよく、それらに限られない。
【００６８】
一方、電子ペン５Ａの制御部５８は、筆圧検出部５１１から筆圧検出通知を受けると、ユーザＡにより文書４に書き込まれた筆跡の記録を開始する（Ｓ１０４）。すなわち、制御部５８は、ランプ駆動部５７を駆動して、赤外ＬＥＤランプ５２により赤外光を連続して発生させる。赤外ＬＥＤランプ５２から発生した赤外光は、コード層４１を照射し、コード画像４２により反射された赤外光は、可視光除去フィルタ５３０によって可視光が除去された後、赤外線用ＣＣＤ５３１に入射する。
【００６９】
次に、赤外線用ＣＣＤ５３１は、入射した赤外光を電気信号に変換する。そして、信号処理部５４は、赤外線用ＣＣＤ５３１からのアナログの電気信号をデジタル信号に変換するとともに、傾き補正、ガンマ補正、ノイズ除去等の各種の処理を行う。デコード部５５は、信号処理部５４によって処理された信号をローテンションコード、Ｘ座標コード、Ｙ座標コード及び識別コードにデコードする。
【００７０】
次に、制御部５８は、筆圧検出部５１１により検出される筆圧により、筆記操作が終了したか否かを判断する（Ｓ１０５）。次に、制御部５８は、筆圧検出部５１１により所定の筆圧以上の筆圧が検出されている間は、ユーザＡによる筆記操作は継続していると判断し（Ｓ１０５：Ｎｏ）、デコード部５５が取得したコードのうち、ペン先５１０の座標を示すＸ座標コード及びＹ座標コードを基にペン先５１０の軌跡を算出し、それをステップＳ１０２で発行した筆記データＩＤとともに筆記データとしてメモリ５６に記憶する。また、制御部５８は、識別コードから取得した文書ＩＤについてもメモリ５６に記憶する。
【００７１】
（２）ユーザＢによる筆記データ及び音声データの記録開始
また、ユーザＢが、電子ペン５Ｂを用いて文書４にメモを書き込むと、電子ペン５Ａと同様に、所定の筆圧以上の筆圧を検出した筆圧検出部５１１は、筆圧検出通知を制御部５８に送り、制御部５８は、その筆圧検出通知によりユーザＢによる筆記操作が開始されたことを検出する（Ｓ１０１：Ｙｅｓ）。
【００７２】
次に、電子ペン５Ｂの制御部５８が、筆記データＩＤの発行（Ｓ１０２）、筆記開始信号の送信（Ｓ１０３）を行う。
【００７３】
次に、文書処理サーバ３の筆記データ取得手段３１０は、電子ペン５Ｂからの筆記開始信号を受信すると（Ｓ２０１）、記録データ取得手段３１１に筆記開始信号を送る。そして、記録データ取得手段３１１は、筆記カウンタをインクリメントする（Ｓ２０２）。ここでは、図８に示すように、筆記カウンタは「１」であるため、筆記データ取得手段３１０は、筆記カウンタを「２」に変更する。
【００７４】
次に、記録データ取得手段３１１は、筆記カウンタが規定値を超えているか否か判断し（Ｓ２０２）、筆記カウンタが規定値「２」を超えていると判断する（Ｓ２０３：Ｙｅｓ）。
【００７５】
次に、記録データ取得手段３１１は、音声データＩＤを新規に発行し（Ｓ２０４）、記憶部３０の１次音声バッファ３０１に記憶されている音声データを２次音声バッファ３０２にコピーする（Ｓ２０５）。なお、１次音声バッファ３０１には、図８に示すように、ユーザＢによる筆記操作が行われる前の所定の時間の音声データが記憶されている。
【００７６】
次に、記録データ取得手段３１１は、音声入力装置２から入力される音声の２次音声バッファ３０２への記録を開始する（Ｓ２０６）。すなわち、２次音声バッファ３０２には、図８に示すように、１次音声バッファ３０１からコピーされた音声データに続けて、現在の音声データが録音される。
（３）ユーザＡによる筆記データの取得
【００７７】
その後、ユーザＡが、文書４に対してメモの書き込みを終えると、電子ペン５Ａの制御部５８は、上記ステップＳ１０５において、ユーザＡの筆記操作が終了したと判断し（Ｓ１０５：Ｙｅｓ）、制御部５８は、メモリ５６への筆記データの記録を終了する（Ｓ１０６）。
【００７８】
次に、制御部５８は、無線通信部５９によりネットワーク１０を介して、筆記終了信号を送るとともに、メモリ５６に記憶された筆記データ、筆記データＩＤ、文書ＩＤ及び、ユーザＩＤを文書処理サーバ３に送る（Ｓ１０７）。
【００７９】
次に、文書処理サーバ３の筆記データ取得手段３１０は、通信部３２を介して制御部５８から送られた筆記終了信号等を受信すると（Ｓ２１１）、受信した筆記データ、筆記データＩＤ、文書ＩＤ及びユーザＩＤを登録手段３１２に送るとともに、筆記終了信号を受信した旨を通知する。次に、登録手段３１２は、筆記データ取得手段３１０からの通知を受信すると、受信した筆記データ、筆記データＩＤ、文書ＩＤ及びユーザＩＤを文書データベース３０３の筆記データテーブル３０３ｃに登録する（Ｓ２１２）。
【００８０】
次に、筆記データ取得手段３１０は、記録データ取得手段３１１に筆記終了信号を送る。記録データ取得手段３１１は、その筆記終了信号を受信すると、筆記カウンタをデクリメント（減算）する（Ｓ２１３）。ここでは、図８に示すように、筆記カウンタは「２」であるため、筆記操作信号として筆記終了信号を受信した記録データ取得手段３１１は、筆記カウンタを「１」に変更する。
【００８１】
次に、記録データ取得手段３１１は、筆記カウンタが「０」であるか否かにより音声データの録音の終了を判断する（Ｓ２１４）。ここでは、筆記カウンタは「１」であるため、音声データの録音は終了しないと判断し（Ｓ２１４：Ｎｏ）、ステップ２１１に戻る。なお、音声データの録音の終了は、筆記カウンタが「０」の場合に限定されず、「１」であっても、それ以上であってもよい。
（４）ユーザＢによる筆記データの取得
【００８２】
その後、ユーザＢが、文書４に対してメモの書き込みを終えて、電子ペン５Ｂの制御部５８が、上記と同様に、ユーザＢの筆記操作が終了したと判断すると（Ｓ１０５：Ｙｅｓ）、制御部５８は、メモリ５６への筆記データの記憶を終了し（Ｓ１０６）、筆記開始信号を送るとともに、筆記データ、筆記データＩＤ、文書ＩＤ及びユーザＩＤを文書処理サーバ３に送る（Ｓ１０７）。
【００８３】
次に、文書処理サーバ３の筆記データ取得手段３１０は、制御部５８から送られた筆記終了信号等を受信すると（Ｓ２１１）、それらを登録手段３１２に送る。そして、登録手段３１２は、筆記データ取得手段３１０から受信した筆記データ及び各種のＩＤ等を文書データベース３０３の筆記データテーブル３０３ｃに登録する（Ｓ２１２）。
【００８４】
（５）音声データの取得
次に、筆記データ取得手段３１０は、記録データ取得手段３１１に筆記終了信号を送り、記録データ取得手段３１１は、その筆記終了信号を受信すると、筆記カウンタをデクリメントする（Ｓ２１３）。ここでは、図８に示すように、筆記カウンタは「１」であるため、記録データ取得手段３１１は、筆記カウンタを「０」に変更する。
【００８５】
次に、記録データ取得手段３１１は、ステップＳ２１４において、筆記カウンタが「０」であると判断し（Ｓ２１４：Ｙｅｓ）、２次音声バッファ３０２への音声データの記録を終了し（Ｓ２１５）、記録データとして音声データ２０を取得する。
【００８６】
次に、記録データ取得手段３１１は、音声データ２０の取得を終了した旨を登録手段３１２に通知する。登録手段３１２は、記録データ取得手段３１１からの通知を受信すると、記録データ取得手段３１１により取得された音声データ２０を文書データベース３０３の音声データテーブル３０３ｄに登録する（Ｓ２１６）。
【００８７】
そして、登録手段３１２は、その音声データと、ユーザＡ及びユーザＢによる筆記データとを関連付けるレコードを、文書データベース３０３のデータ関係テーブル３０３ｅに登録する（Ｓ２１７）。
【００８８】
（６）文書データベースの利用
以上の動作によって、筆記データ及び音声データが登録された文書データベース３０３は、図示しない端末によってアクセスされる。その端末は、端末の各部を制御するＣＰＵと、ＣＰＵにより実行されるプログラムや各種のデータを記憶する記憶部と、ネットワーク１０に接続され、文書データベース３０３にアクセス可能な通信部（例えばネットワークインタフェースカード）と、キーボード，マウス等からなる入力部と、画面等を表示するＬＣＤ（液晶ディスプレイ）等からなる表示部と、音声データを再生して音声を出力する音声出力部とから構成されている。このような端末は、例えば、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ）等であり、文書処理システム１に複数の端末が接続されていてもよい。
【００８９】
そして、ユーザがこの端末を用いて、文書データを選択する画面の表示を要求すると、端末のＣＰＵは、ネットワーク１０を介して文書データベース３０３にアクセスし、例えば図３に示す文書テーブル３０３ａの一覧画面を表示部に表示する。
【００９０】
次に、ユーザは、表示された一覧画面上で、文書ＩＤが「Ｄｏｃ１」の文書データを入力部により選択したとする。なお、ユーザは、筆記操作を行ったユーザＡ〜Ｃであっても、その他のユーザであってもよい。また、ユーザは、例えばキーワード、日付、ユーザ名等の検索キーワードを指定して、文書データを選択してもよい。
【００９１】
次に、端末のＣＰＵは、ユーザにより選択された文書ＩＤ「Ｄｏｃ１」に該当する文書データの送信と、文書ＩＤ「Ｄｏｃ１」に関連付けられた筆記データ及び音声データの送信とを文書処理サーバ３に要求する。
【００９２】
次に、文書処理サーバ３の演算部３１は、通信部３２を介してその要求を受信すると、要求のあった文書データとともに、文書ＩＤ「Ｄｏｃ１」に関連付けられた筆記データ及び音声データを端末に送信する。例えば、文書データベース３０３に、図３に示すように各種のデータやテーブル等が登録されていると、演算部３１は、筆記データテーブル３０３ｃを参照して、文書ＩＤ「Ｄｏｃ１」に関連付けられている筆記データＩＤ「Ａ１」、「Ａ２」に該当する筆記データを送信し、さらに、データ関係テーブル３０３ｅにより筆記データ「Ａ１」、「Ａ２」に関連付けられている音声データＩＤ「ＶＡ１」を抽出し、音声データテーブル３０３ｄにおいて音声データＩＤ「ＶＡ１」に登録されている音声データを送信する。
【００９３】
次に、端末のＣＰＵは、文書処理サーバ３から文書データ「Ｄｏｃ１」、筆記データ「Ａ１」、「Ａ２」及び音声データ「ＶＡ１」を受信すると、その受信した文書データ等を表示部に表示する。
【００９４】
ここで、図１０は、端末の表示部に表示された文書データ等の一例を示す。この文書データ４３を表示する画面には、その文書データ４３の内容である機能仕様書が表示され、その機能仕様書上に、筆記データ「Ａ１」、「Ａ２」が、それらの位置情報が示す位置にそれぞれ表示されている。すなわち、Ｕｓｅｒ１による筆記データ「Ａ１」４４Ａは、機能仕様書の１ページ目の５２０文字目から６００文字目の間に表示され、Ｕｓｅｒ２による筆記データ「Ａ２」４４Ｂは、同様に６１０文字目から６５０文字目の間に表示される。
【００９５】
そして、ユーザが、例えば入力部を用いて、Ｕｓｅｒ１による筆記データ「Ａ１」４４Ａ上にカーソル４５を移動すると、端末のＣＰＵは、音声データ「ＶＡ１」を再生して、音声出力部により音声を出力する。同様に、Ｕｓｅｒ２による筆記データ「Ａ２」４４Ｂ上にカーソル４５を移動すると、端末のＣＰＵは、音声データ「ＶＡ１」を再生する。
【００９６】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲内で種々な変形が可能である。例えば、上記実施の形態では、文書処理サーバ３の筆記データ取得手段３１０、記録データ取得手段３１１、及び登録手段３１２を、演算部３１と文書処理プログラム３００によって実現したが、それらの一部又は全部を特定用途向け集積回路（ＡＳＩＣ：Application Specific IＣ）等のハードウェアによって実現してもよい。
【００９７】
また、上記実施の形態で使用される文書処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体から装置内の記憶部に読み込んでもよく、インターネット等のネットワークに接続されているサーバ等から装置内の記憶部にダウンロードしてもよい。
【００９８】
また、上記実施の形態では、電子ペン５Ａ〜５Ｃにより筆記データを取得したが、電子ペン５Ａ〜５Ｃの代わりに携帯端末、例えばＰＤＡ（Personal Digital Assistant）、スマートフォン等を用いてもよい。
【００９９】
また、上記実施の形態では、文書処理サーバ３に１次音声バッファ３０１と２次音声バッファ３０２とを設けて音声データの録音を行ったが、音声入力装置２に１次音声バッファと２次音声バッファとを設けて音声データの録音を行ってもよい。
【０１００】
また、上記実施の形態では、音声入力装置２により音声データの録音を行ったが、電子ペン５に音声録音機能を持たせて、電子ペン５で音声データの録音を行ってもよい。
【図面の簡単な説明】
【０１０１】
【図１】図１は、本発明の実施の形態に係る文書処理システムの概略の構成例を示す全体図である。
【図２】図２は、本発明の実施の形態に係る文書処理サーバの概略の構成例を示すブロック図である。
【図３】図３は、本発明の実施の形態に係る文書データベースの構成例を示す。
【図４】図４（ａ）は、文書のコード層の例の平面図、（ｂ）は、コード画像の例の全体図、（ｃ）は、コード画像の詳細構成例を示す図である。
【図５】図５は、本発明の実施の形態に係る電子ペンの内部構造の一例を示す要部断面図である。
【図６】図６は、本発明の実施の形態に係る電子ペンの概略の構成例を示すブロック図である。
【図７】図７は、デコード部によるコードの読み取り例を説明するための図である。
【図８】図８は、電子ペンの筆記操作信号、筆記カウンタ、及び音声データの記録の関係の例を示すタイミングチャートである。
【図９】図９は、本発明の実施の形態に係る文書処理システムの動作の一例を示すフローチャートである。
【図１０】図１０は、本発明の実施の形態に係る端末の表示部に表示された文書データ等の一例を示す図である。
【符号の説明】
【０１０２】
１  文書処理システム
２  音声入力装置
３  文書処理サーバ
４  文書
５，５Ａ〜５Ｃ  電子ペン
６  撮像イメージ
１０  ネットワーク
１１  無線通信
２０  音声データ
３０  記憶部
３１  演算部
３２  通信部
３３  操作入力部
３４  表示部
４０  手書き層
４１  コード層
４２  コード画像
４２ａ  ローテンションコード部
４２ｂ  Ｘ座標コード部
４２ｃ  Ｙ座標コード部
４２ｄ  識別コード部
４３  文書データ
４４Ａ，４４Ｂ  筆記データ
４５  カーソル
５１  ペン部
５２  赤外ＬＥＤランプ
５３  撮像部
５４  信号処理部
５５  デコード部
５６  メモリ
５７  ランプ駆動部
５８  制御部
５９  無線通信部
６０ａ，６０ｂ，６１ａ，６１ｂ，６２ａ，６２ｂ，６２ｃ，６２ｄ  イメージ部
３００  文書処理プログラム
３０１  １次音声バッファ
３０２  ２次音声バッファ
３０３  文書データベース
３０３ａ  文書テーブル
３０３ｂ  ユーザテーブル
３０３ｃ  筆記データテーブル
３０３ｄ  音声データテーブル
３０３ｅ  データ関係テーブル
３１０  筆記データ取得手段
３１１  記録データ取得手段
３１２  登録手段
４２０ａ，４２０ｂ  斜線パターン
５００  ケース本体
５１０  ペン先
５１１  筆圧検出部
５２０  消去部材
５３０  可視光除去フィルタ
５４０  バッテリ
【図１】
2009026121.tif 000003
【図２】
2009026121.tif 000004
【図３】
2009026121.tif 000005
【図４】
2009026121.tif 000006
【図５】
2009026121.tif 000007
【図６】
2009026121.tif 000008
【図７】
2009026121.tif 000009
【図８】
2009026121.tif 000010
【図９】
2009026121.tif 000011
【図１０】
2009026121.tif 000012