(57)【要約】【課題】高効率化を実現した文書作成支援システムを提供する。【解決手段】文書入力手段により座標データ又はキーデータを生成し、かかる入力信号に時刻情報が加えられてなる第１記憶情報を第１記憶手段に記憶し、音声入力手段により取り込まれた音声信号に時刻情報が加えられてなる第２記憶情報を第２記憶手段に記録し、上記時刻情報を媒介として上記第１記憶手段の第１記憶情報からそれに関連する第２記憶手段に記憶された第２記憶情報を検索して音声再生装置から出力させ、又は上記第２記憶手段の第２記憶情報からそれに関連する第１記憶手段に記憶された第１記憶情報を検索して表示装置により表示させる。【選択図】    図１
2005017949.tif 000002
【特許請求の範囲】
【請求項１】
座標データ又はキーデータを生成する文書入力手段と、
上記文書入力手段により取り込まれた入力信号に時刻情報が加えられてなる第１記憶情報を記憶する第１記憶手段と、
音声入力手段と、
上記音声入力手段により取り込まれた音声信号に時刻情報が加えられてなる第２記憶情報を記憶する第２記憶手段と、
上記第１記憶手段に記憶された第１記憶情報から表示を行う表示装置と、
上記第２記憶手段に記憶された第２記憶情報から音声信号を再生する音声再生装置と、
上記時刻情報を媒介として上記第１記憶手段の第１記憶情報からそれに関連する第２記憶手段に記憶された第２記憶情報を検索して上記音声再生装置から出力させ、又は上記第２記憶手段の第２記憶情報からそれに関連する第１記憶手段に記憶された第１記憶情報を検索して上記表示装置により表示させる制御装置とを備えてなることを特徴とする文書作成支援システム。
【請求項２】
請求項１において、
上記文書入力手段により取り込まれた座標データは、サンプリングされて上記入力信号とされることを特徴とする文書作成支援システム。
【請求項３】
請求項２において、
上記座標データは、連続した座標データを要素とし、時刻的距離と空間的距離により複数の要素をグループ化して上記時刻情報が加えられるものであり、
上記複数のグループは、更にグループ化されて大グループが形成されることを特徴とする文書作成支援システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、文書作成支援システムに関し、例えばボード上に文字や図形を描きながら行われる講義や講演等の記録を行うものに利用して有効な技術に関するものである。
【０００２】
【従来の技術】
講演等を文書で記録するには、音声認識ソフトウェアを利用して文書化することが考えられる。音声認識技術は人が話す言葉や文章をコンピュータに直接認識させる技術であり、現在入力手段として用いられているキーボード入力、ペン入力などに替わる簡便な入力手段として注目されている。音声認識に関する文献の例としては下記のものがある。
【０００３】
【非特許文献１】
Ｙ．Ｏｂｕｃｈｉ，  Ａ．Ｋｏｉｚｕｍｉ，  Ｙ．Ｋｉｔａｈａｒａ，  Ｊ．Ｍａｔｓｕｄａ，  ａｎｄ  Ｔ．Ｔｓｕｋａｄａ，  Ｐｒｏｃ．  ＥＵＲＯＳＰＥＥＣＨ’９９，  ｐｐ．２０２３−２０２６，  １９９９
【非特許文献２】
Ｖｉａ  Ｖｏｉｃｅ（ＩＢＭ社）
【非特許文献３】
Ｎａｔｕｒａｌｌｙ  Ｓｐｅａｋｉｎｇ（Ｄｒａｇｏｎ  社）
【０００４】
【発明が解決しようとする課題】
上記口述ソフトウェアでは、音声データとして認識したもの全てを文書化しようとするため、会議の議事録の様な全体を纏めた記録を作成するには向かない。
また、音声認識エラーにより思わぬ記録が作成されしまうという問題がある。聴講等の場で記録をリアルタイムに作成する際、聞き逃してしまった箇所を再度確認したいと思うことか多々ある。そこで、音声データと文書データの双方を記録することを検討したが、それぞれを独立に記録した場合、記録漏れを起こした箇所を記憶に頼り、音声データを再生しながら検索するあるいは大まかな時間を推定しながら検索することとなり効率悪いという問題が生じる。
【０００５】
この発明の目的は、高効率化を実現した文書作成支援システムを提供することにある。この発明の前記ならびにそのほかの目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【０００６】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、下記の通りである。文書入力手段により座標データ又はキーデータを生成し、かかる入力信号に時刻情報が加えられてなる第１記憶情報を第１記憶手段に記憶し、音声入力手段により取り込まれた音声信号に時刻情報が加えられてなる第２記憶情報を第２記憶手段に記録し、上記時刻情報を媒介として上記第１記憶手段の第１記憶情報からそれに関連する第２記憶手段に記憶された第２記憶情報を検索して音声再生装置から出力させ、又は上記第２記憶手段の第２記憶情報からそれに関連する第１記憶手段に記憶された第１記憶情報を検索して表示装置により表示させる。
【０００７】
【発明の実施の形態】
図１には、この発明に係る文書作成支援システムの一実施例の構成図が示されている。この実施例の文書作成支援システムでは、２通りの入力手段が設けられる。この実施例では、パーソナルコンピュータ・タブレット入力デバイスを基本としたシステム構成が示されている。ペン・キーボード・マウス等の入力Ｉ／Ｆを通して記録する文書は、入力文書記録モジユールによってタイムスタンプを付加されて保存される。ここで文書を構成する要素は、文字だけではなく、図、絵、削除記録、シーンチェンジ情報などもある。一方、文書入力と同時にマイクを通して音声入力を行い、録音機で音声入力開始時刻から終了時刻までタイムスタンプを付加した音声データを保存する。
【０００８】
保存文書データをパーソナルコンピュータ・タブレット入力デバイス等の表示媒体（ディスプレイ）に表示させ、ユーザがペン・キーボード・マウスで保存文書データの音声データ取り出し要求をした時、記録音声確認指示があると指示された文書位置に該当する時刻が取り出され、制御装置から再生装置が制御されて該当時刻の保存音声が再生機を通して再生される。
【０００９】
上記文書を構成する要素は、上記タブレット又はホワイトボードに描かれた文字又は図形等の座標信号からなる文字、図、絵等や、削除記録、あるいはシーンチェンジ情報などである。上記ペン入力、キー入力、あるいはマウス入力は、上記のように検索操作のための入力としても用いられる。例えば、保存文書データの表示が行われる表示装置の画面上に、文書作成を行うユーザーにより、図形等の説明に対応した音声信号を取り出すときには、当該図形が描かれたエリアをボード上にペン入力し、あるいは表示画面上にキーボード又はマウスによりカーソルを移動させて当該図形の一部を指示することにより、上記記録音声確認指示が与えられて、制御装置により保存音声信号のタイムスタンプから当該音声信号を取り出して再生装置を介してスピーカから出力させる。
【００１０】
逆に、保存音声を再生装置によりスピーカを介して出力させて、文書作成を行うときには、音声のみからは意味が不明な部分、キーボード等による時刻情報指定や、ＧＵＩ等による保存音声指定により、それに対応した文字や図形等を表示装置に表示させることもできる。このように、タイムスタンプを媒介させて、文書入力と音声入力とを互いに関連付けて再生・表示することができる。
【００１１】
この実施例のように文書作成を行うユーザがパーソナルコンピュータのキーボード、あるいはタブレット型ＰＣやＰＤＡ等のタッチパネル、あるいはペン入力システムからリアルタイムに作成する記録と、その場の音声データの関連付けを時刻で行う装置と、キーボード、タッチパネル、あるいはペン入力システムで入力した記録の一部を選択し、選択したデータと時刻で関連付けた音声データを再生装置により、音声をデータソースにした文書、図形式の記録作成時に聞き取れなかったキー入力やペンの速度が追いつかず記録漏れをおこした場合や、文書、図形式の記録の確認或いは音声ソースデータの確認を行いたい場合など、文書、図形式の記録の確認したい箇所を選択すればその時刻で関連付けられた音声データを再生することが出来、記録漏れを埋めたり図形式の記録の確認或いは音声ソースデータの確認か出来るようになり文書作成が容易となる。
【００１２】
図２には、この発明に係る文書作成支援システムにおける文書入力データである手書き情報の蓄積方法の一実施例の説明図が示されている。ホワイトボードやタブレットにペンを用いて描かれた文字や図形は、その座標データをサンプリングして、ヘッダに絶対時刻（タイムスタンプ）が付加されて１つの要素１とされる。時間的距離と空間的距離により複数の要素をグループ化（グルーピング）して文字「あ」に対応したグループ１を構成する。このようなグループを更に大グループ化して、記録モジュールに記録される。
【００１３】
図３には、この発明に係る文書作成支援システムにおける文書入力から音声入力を検索する場合の説明図が示されている。同図においては、一定時刻でグルービングできる文書、両形式記録のオブジェクト単位と音声データとの関連付けされた例が示されている。文書データは、１つの大グループ１を有し、かかる大グループ１はグループ１ないしグループ３から構成される。グループ１は、要素１ないし要素３から構成され、グループ２は要素１から構成され、グループ３は要素１ないし要素４から構成される。このような大グループ１の期間を指定すると、音声データの中からかかる大グープル１が含まれる期間に近い音声１ないし音声３が検索されて音声１ないし音声３の順に再生される。
【００１４】
上記大グループ１ではなく、特定のグループ１ないし３のいずれか１つを指定すると、それに最も近い音声１ないし３が検索されて再生される。もしも、文書データのグループ２に対して検索され音声２が、当該文書データに該当しないときには、かかる音声２の内容から１つ前の音声１又は１つ後の音声３を指定して再生するようにして該当する音声を探し出すようにすればよい。
【００１５】
このように、あらゆる要素が記憶された保存文書のデータベースから、検索キーが持つ時刻に該当する要素（あるいはグループ）が検索される。そして、検索結果を時刻順に再生する。検索する場合、どのような情報（音声・動画・文書など）のうち何が必要かは場合によるので、全てのデータに時刻情報（なるべく同一形式）を付加し、特定の時刻のデータは何でも検索・再生できるようにされる。また検索にあたり必要な機能は、実際には音声に対応する文書が同時刻に入力されることは少なく、上記のように音声が先のときもあり、後のときもある。この補正は最終的には人手でやるしかないが、その補正の支援として音声認識結果（認識ミスがあってもＯＫ）など、見るだけで時刻のずれが推測できる表現方法が用意されてもよい。また、音声認識結果と文書の内容から時刻のずれを自動で求め、グルーピングできれる機能も用意できるようにすると便利である。
【００１６】
図４には、この発明に係る文書作成支援システムにおける文書入力と音声入力の関係を説明する説明図が示されている。上記文書データに時刻情報を付加する単位は文章の場合は、文字単位、語彙単位、文章単位、句読点やスペース単位、改行単位、変換処理単位としてもよい。また、図形情報、削除情報、シーンチェンジ情報などはイベント発生単位としてもよい。この他に、記録データ形式にこだわらずに一定時刻でグルーピングできるオブジェクト単位としてもよい。図４においては、上記のように一定時刻でグルーピングできる文書、両形式記録のオブジェクト単位と音声データとの関連付けの例が示されている。
【００１７】
図５には、この発明に係る文書作成支援システムの他の一実施例の構成図が示されている。この実施例では、入力側と検索側とが分けて示されている。ドキュメント入力ＩＦからは、前記同様にタッチパネル（タブレットあるいはホワイトボード）を用いて描かれた文字、図形等の座標データ入力と、キーボード等により入力される文字や記号コードのデータを入力とが行われる。
【００１８】
上記座標データは、タイムスタンプ付座標列に変換される。このタイムスタンプ付座標列は、同図に例示的に示されているようにＴＭ・ｘ１，ｙ１・ｘ２，ｙ２…ＥＮＤとなる。ここで、ＴＭはタイムスタンプであり、ＥＮＤはエンドマークである。これらは記憶装置にデータベース１として記録される。上記文字や記号コードのデータも、上記同様にタイムスタンプ付キー文字列に変換される。このタイムスタンプ付キー文字列は、同図に例示的に示されているようにＴＭ・Ａ・Ｂ・Ｃ・Ｄ…ＥＮＤとなる。ここで、ＴＭはタイムスタンプであり、ＥＮＤはエンドマークである。これらは記憶装置にデータベース２として記録される。音声信号は、マイクを通して音声入力され、タイムスタンプ付録音装置によりタイムスタンプが付加されて記憶装置にデータベース３として記録される。
【００１９】
上記データベース１、２の記録データは、表示装置の画面上に表示される。上記データベース３の記録データは、音声再生装置により再生される。例えば、文書作成時において、データベース１の記録データをタッチパネル表示装置の画面上に表示させた状態で、該当する図形等が描かれた領域をタッチすることにより、当該領域に描かれた図形等の付加されたタイムスタンプ情報から検索時刻Ｔが取り出されて、かかる検索時刻Ｔをもとにデータベース３の中から該当するタイムスタンプが付加された音声信号が選択されて再生される。
【００２０】
また、上記文書作成時において、データベース２の記録データを表示装置の画面上に表示させた状態で、該当する文字列をペン又はカーソルで指定することにより、当該文字列に付加されたタイムスタンプ情報から検索時刻Ｔが取り出されて、かかる検索時刻Ｔをもとにデータベース３の中から該当するタイムスタンプが付加された音声信号が選択されて再生される。
【００２１】
更に、上記文書作成時において、データベース３に記録されている音声信号のうち聞き取り難い部分を音声認識して、それに対応したタイムスタンプ情報から検索時刻Ｔが取り出されて、かかる検索時刻Ｔをもとにデータベース１又は２が検索されて、該当する図形又はキー文字列を表示画面上に表示させる。
【００２２】
このように音声をデータソースにした文書、図形式の記録作成時に聞き取れなかったりキー入力やペンの速度が追いつかず記録漏れをおこした場合や文書、図形式の記録の確認或いは音声ソースデータの確認を行いたい場合、文書、図形式の記録の確認したい箇所を選択すればその時刻で関連付けられた音声データを再生することが出来、記録漏れを埋めたり図形式の記録の確認或いは音声ソースデータの確認か出来るようになる。
【００２３】
以上説明した実施例の文書作成支援システムによれば、手入力或いはキー入力した文書で不明確な箇所を直接ポイントすることにより、同時刻に記録した音声情報を再生できるので、曖昧な記憶にたよることなく正確な文書を完成させることが可能となる。入力文書と音声データの関連付けによる新しい記録形式の提案によるＰＣ（パーソナルコンピュータ、以下同じ），ＰＤＡユーザの拡大が図られる。
【００２４】
以上本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は上記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、ドキュメント入力手段としては、文字又は図形を座標データとして取り込むもの、キーボードのようにキーコードが入力されるもの、あるいはキーやマウスによるカーソルの位置情報によるもの等種々の実施形態をとることができる。音声信号は、無音状態を削除したり、記録時のサンプリング周波数に対して、再生時の周波数を音声認識が可能な範囲で高くして早聞きとしたりする変換機能を付加するものであってもよい。この発明は、ＰＤＡ，ノートＰＣ，タブレットＰＣ，電子黒板，テレビ会議システム，電子会議システム（ネット・ミーティング）にあるようなネットワーク共有のホワイトボードと音声チャットとの組合せが可能な文書作成支援システムとして広く利用できる。
【００２５】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。文書入力手段により座標データ又はキーデータを生成し、かかる入力信号に時刻情報が加えられてなる第１記憶情報を第１記憶手段に記憶し、音声入力手段により取り込まれた音声信号に時刻情報が加えられてなる第２記憶情報を第２記憶手段に記録し、上記時刻情報を媒介として上記第１記憶手段の第１記憶情報からそれに関連する第２記憶手段に記憶された第２記憶情報を検索して音声再生装置から出力させ、又は上記第２記憶手段の第２記憶情報からそれに関連する第１記憶手段に記憶された第１記憶情報を検索して表示装置により表示させることにより、文書作成の高効率化を実現できる。
【図面の簡単な説明】
【図１】この発明に係る文書作成支援システムの一実施例を示す構成図である。
【図２】この発明に係る文書作成支援システムにおける文書入力データである手書き情報の蓄積方法の一実施例を示す説明図である。
【図３】この発明に係る文書作成支援システムにおける文書入力から音声入力を検索する場合の説明図である。
【図４】この発明に係る文書作成支援システムにおける文書入力と音声入力の関係を説明する説明図である。
【図５】この発明に係る文書作成支援システムの他の一実施例を示す構成図である。
【符号の説明】
ＴＭ…タイムスタンプ，ｘ１，ｙ１・ｘ２，ｙ２…座標データ、Ａ，Ｂ，Ｃ，Ｄ…キー入力情報、ＥＮＤ…エンドマーク。
【図１】
2005017949.tif 000003
【図２】
2005017949.tif 000004
【図３】
2005017949.tif 000005
【図４】
2005017949.tif 000006
【図５】
2005017949.tif 000007