(57)【特許請求の範囲】
【請求項１】
ユーザにより手書き入力された軌跡の軌跡データを複数の端末間で送受信する軌跡データ通信システムにおいて、
軌跡データの識別子とアプリケーションの描画要求の識別子とに対して、音声出力時に用いる異なる所望の音声を対応付けてそれぞれ設定する設定手段と、
軌跡データを入力する入力手段と、
前記入力手段により入力された軌跡データを相手側端末へ送信する送信手段と、
相手側端末から送信された軌跡データを受信する受信手段と、
前記受信手段が受信した相手側端末からの軌跡データと自分側端末において入力された軌跡データとアプリケーションからの描画要求による軌跡データとのうちのいずれかに基づいて、所定の表示手段上に描画再生する描画手段と、
前記受信手段が受信した相手側端末からの軌跡データの識別子と前記自分側端末において入力された軌跡データの識別子と描画要求してきたアプリケーションの描画要求の識別子とのうちのいずれかを認識する認識手段と、
前記描画手段が前記認識手段によって認識された識別子に関連する軌跡データの描画再生を行う際に、前記設定手段による設定内容を参照して、前記認識手段によって認識された識別子に対応する音声を出力する音声出力手段と
を有することを特徴とする軌跡データ通信システム。
【請求項２】
前記軌跡データの識別子は、軌跡データを入力した筆記者の識別子であることを特徴とする請求項１記載の軌跡データ通信システム。
【請求項３】
前記設定手段は、入力された軌跡データの形状を認識することにより、当該認識した形状に対応する音声を前記軌跡データの識別子に対して設定することを特徴とする請求項１記載の軌跡データ通信システム。
【請求項４】
相手側端末で入力された軌跡データを受信して描画再生する軌跡データ通信端末であって、
軌跡データの識別子とアプリケーションの描画要求の識別子とに対して、音声出力時に用いる異なる所望の音声を対応付けてそれぞれ設定する設定手段と、
軌跡データを入力する入力手段と、
相手側端末から送信されてきた軌跡データを受信する受信手段と、
前記受信手段が受信した相手側端末からの軌跡データと前記軌跡データ通信端末において入力された軌跡データとアプリケーションからの描画要求による軌跡データとのうちのいずれかに基づいて、所定の表示手段上に描画再生する描画手段と、
前記受信手段が受信した相手側端末からの軌跡データの識別子と前記軌跡データ通信端末において入力された軌跡データの識別子と描画要求してきたアプリケーションの描画要求の識別子とのうちのいずれかを認識する認識手段と、
前記描画手段が前記認識手段によって認識された識別子に関連する軌跡データの描画再生を行う際に、前記設定手段による設定内容を参照して、前記認識手段によって認識された識別子に対応する音声を出力する音声出力手段と
を有することを特徴とする軌跡データ通信端末。
【請求項５】
前記軌跡データの識別子は、軌跡データを入力した筆記者の識別子であることを特徴とする請求項４記載の軌跡データ通信端末。
【請求項６】
前記設定手段は、入力された軌跡データの形状を認識することにより、当該認識した形状に対応する音声を前記軌跡データの識別子に対して設定することを特徴とする請求項４記載の軌跡データ通信端末。
【請求項７】
相手側端末で入力された軌跡データを受信して描画再生する軌跡データ通信方法であって、
軌跡データの識別子とアプリケーションの描画要求の識別子とに対して、音声出力時に用いる異なる所望の音声を対応付けてそれぞれ設定する設定ステップと、
前記相手側端末から送信されてきた軌跡データを受信する受信ステップと、
前記受信ステップにおいて受信した相手側端末からの軌跡データと自分側端末において入力された軌跡データとアプリケーションからの描画要求による軌跡データとのうちのいずれかに基づいて、所定の表示手段上に描画再生する描画ステップと、
前記受信ステップにおいて受信した相手側端末からの軌跡データの識別子と前記自分側端末において入力された軌跡データの識別子と描画要求してきたアプリケーションの描画要求の識別子とのうちのいずれかを認識する認識ステップと、
前記描画ステップにおいて前記認識ステップによって認識された識別子に関連する軌跡データの描画再生が行われる際に、前記設定ステップによる設定内容を参照して、前記認識ステップによって認識された識別子に対応する音声を出力する音声出力ステップと
を有することを特徴とする軌跡データ通信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、軌跡を入力し相手側端末装置及び自分側端末装置に表示することで端末相互間で通信を行なう軌跡データ通信システム、軌跡データ通信端末、及び軌跡データ通信方法に関する。
【０００２】
【従来の技術】
従来、軌跡データを送受信することで通信を行なう軌跡データ通信システムとしては、特表平２−５０２４９２号公報「マルチウィンドウ通信システム」などに紹介されているように、自分側端末に入力ペンで入力した入力点の軌跡のデータを通信回線を経由して相手側端末に送信し、この送信された軌跡データを相手側端末上に表示することで通信を行なうものがあった。
【０００３】
【発明が解決しようとする課題】
しかしながら上記従来技術では、軌跡データを送信し始めたことを同時刻に相手側に感知させる手段を備えていないため、相手が描き始めた時期を感知するには、自分側端末画面上にある相手側軌跡データの表示領域を常に監視していなければならないという問題点があった。
【０００４】
また、同時に複数の軌跡を同じ画面に描画した場合に、例えば実行中の自分側端末のアプリケーションが描いている軌跡であるのか、相手が送信している軌跡であるのか判断できない場合もあった。
【０００５】
そこで、本発明は上記の点に鑑みてなされたものであり、軌跡データが送信された時期を容易に判断可能であるとともに、軌跡データの種類の識別性を高めることが可能な軌跡データ通信システム、軌跡データ通信端末、及び軌跡データ通信方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために請求項１記載の発明は、ユーザにより手書き入力された軌跡の軌跡データを複数の端末間で送受信する軌跡データ通信システムにおいて、軌跡データの識別子とアプリケーションの描画要求の識別子とに対して、音声出力時に用いる異なる所望の音声を対応付けてそれぞれ設定する設定手段と、軌跡データを入力する入力手段と、前記入力手段により入力された軌跡データを相手側端末へ送信する送信手段と、相手側端末から送信された軌跡データを受信する受信手段と、前記受信手段が受信した相手側端末からの軌跡データと自分側端末において入力された軌跡データとアプリケーションからの描画要求による軌跡データとのうちのいずれかに基づいて、所定の表示手段上に描画再生する描画手段と、前記受信手段が受信した相手側端末からの軌跡データの識別子と前記自分側端末において入力された軌跡データの識別子と描画要求してきたアプリケーションの描画要求の識別子とのうちのいずれかを認識する認識手段と、前記描画手段が前記認識手段によって認識された識別子に関連する軌跡データの描画再生を行う際に、前記設定手段による設定内容を参照して、前記認識手段によって認識された識別子に対応する音声を出力する音声出力手段とを有することを特徴とする。
【０００７】
また、上記課題を解決するために請求項４記載の発明は、相手側端末で入力された軌跡データを受信して描画再生する軌跡データ通信端末であって、軌跡データの識別子とアプリケーションの描画要求の識別子とに対して、音声出力時に用いる異なる所望の音声を対応付けてそれぞれ設定する設定手段と、軌跡データを入力する入力手段と、相手側端末から送信されてきた軌跡データを受信する受信手段と、前記受信手段が受信した相手側端末からの軌跡データと前記軌跡データ通信端末において入力された軌跡データとアプリケーションからの描画要求による軌跡データとのうちのいずれかに基づいて、所定の表示手段上に描画再生する描画手段と、前記受信手段が受信した相手側端末からの軌跡データの識別子と前記軌跡データ通信端末において入力された軌跡データの識別子と描画要求してきたアプリケーションの描画要求の識別子とのうちのいずれかを認識する認識手段と、前記描画手段が前記認識手段によって認識された識別子に関連する軌跡データの描画再生を行う際に、前記設定手段による設定内容を参照して、前記認識手段によって認識された識別子に対応する音声を出力する音声出力手段とを有することを特徴とする。
また、上記課題を解決するために請求項７記載の発明は、相手側端末で入力された軌跡データを受信して描画再生する軌跡データ通信方法であって、軌跡データの識別子とアプリケーションの描画要求の識別子とに対して、音声出力時に用いる異なる所望の音声を対応付けてそれぞれ設定する設定ステップと、前記相手側端末から送信されてきた軌跡データを受信する受信ステップと、前記受信ステップにおいて受信した相手側端末からの軌跡データと自分側端末において入力された軌跡データとアプリケーションからの描画要求による軌跡データとのうちのいずれかに基づいて、所定の表示手段上に描画再生する描画ステップと、前記受信ステップにおいて受信した相手側端末からの軌跡データの識別子と前記自分側端末において入力された軌跡データの識別子と描画要求してきたアプリケーションの描画要求の識別子とのうちのいずれかを認識する認識ステップと、前記描画ステップにおいて前記認識ステップによって認識された識別子に関連する軌跡データの描画再生が行われる際に、前記設定ステップによる設定内容を参照して、前記認識ステップによって認識された識別子に対応する音声を出力する音声出力ステップとを有することを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。尚、以下の実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく本発明の範囲内で任意に変更可能である。
【０００９】
（実施の第１の形態）
まず、本発明による実施の第１の形態の説明を行う。
【００１０】
図１は、本発明による軌跡データ通信システムの機能的構成を示すとともに、システム構成をも示すシステム機能構成図であり、図２は、図１の各ブロックの機能を実現する具体的なハードウェア構成を示す構成ブロック図である。
【００１１】
本発明による軌跡データ通信システム１００は、複数の端末装置からなり、例えば図１に示すように自分側端末１０１と、相手側端末１０２とから構成される。
【００１２】
この軌跡データ通信システム１００において、自分側端末１０１及び相手側端末１０２の各端末のブロック構成は、各端末ともに同様の構成となっており、軌跡を入力する入力部１と、この入力部１から入力された軌跡データを相手側端末１０２へ送信する送信部２と、相手側端末１０２から送られた軌跡データを受信する受信部３と、例えば自分側端末１０１におけるアプリケーションによる描画要求を行う描画要求部３ａと、軌跡データから描画データを作成し入力部１等から入力された軌跡を表示部５に描画再生する描画部４と、描画部４で作成された描画データを表示する表示部５と、音声発生部６と、音声データから音声を出力する音声出力部７と、例えば相手側端末から送られた軌跡データの属性を認識する認識部８と、この認識部８における認識結果等の各種データを記憶する記憶部９とで構成される。
【００１３】
ここで、上記描画部４は、軌跡の描画データを作成し、この描画データを表示部５へ送ると同時に音声発生部６へ音声を出力するためのトリガーを与えるものである。
【００１４】
また上記音声発生部６は、描画部４からのトリガーを検知することで記憶部９に登録されている音声データ表及び認識部８の認識結果から適当な音声データを取得し、音声出力部７へ音声データを受け渡すようになっている。これにより、音声発生部６及び音声出力部７は、認識部８による属性の認識結果に応じて、描画部４による軌跡データの描画再生が行われることを知らせる音声を出力する音声出力手段としての機能を実現するようになっている。
【００１５】
上記記憶部９は、認識部８における認識結果としての筆記者データ表、音声データ表及び音声変数表を記憶するようになっている。尚、図３は、この記憶部９に記憶される筆記者データ表の一例を示したものであり、図４は、音声データ表、図５は、音声変数表の一例を示したものである。
【００１６】
以上の各機能構成ブロックは、例えば図２に示したようなハードウェアにより構成される。
【００１７】
すなわち、入力部１としての入力ペン１０、透明デジタイザ１１及び入力インターフェイス１２と、送信部２及び受信部３としての通信インターフェイス１３及び通信回線１４と、表示部５としての液晶ディスプレイ１５、ＶＲＡＭ１６及びディスプレイコントローラ１７と、音声発生部６としてのシンセサイザ１８と、音声出力部７としてのスピーカ１９と、記憶部９としての記憶装置２０と、描画要求部３ａ、描画部４及び認識部８としてのＣＰＵ２１とを有して構成される。
【００１８】
これにより、自分側端末１０１において、入力ペン１０で透明デジタイザ１１上に入力点の軌跡を入力し、液晶ディスプレイ１５に表示すると同時に、通信回線１４を通して相手側端末１０２の液晶ディスプレイ１５に自分側端末１０１で入力した軌跡を表示することができる。この場合、当然相手側端末１０２においても同様の構成及び操作により互いに軌跡の通信が行えるようになっている。
【００１９】
次に、本実施形態における軌跡データ通信システム１００の動作を図６〜図８のフローチャートを参照して説明する。
【００２０】
図６は、本実施形態における動作を示すフローチャートである。尚、本実施形態では図６〜図８に示すフローチャートに従って動作するソフトウェアがあらかじめ実行可能なプログラムとして記憶装置２０に記憶されているものとする。
【００２１】
まず、ＣＰＵ２１は、入力ペン１０及び透明デジタイザ１１及び入力インターフェイス１２によって構成される入力部１において入力ペン１０が透明デジタイザ１１に接触した時の入力点の座標値を調べ、入力された軌跡データがあるか否かを判断し（Ｓ２２）、入力された軌跡データがあれば、後述のステップＳ２６を実行する。
【００２２】
また、ＣＰＵ２１は、軌跡データがなければ（Ｓ２２；ＮＯ）、通信回線１４及び通信インターフェイス１３によって構成される受信部３に受信された軌跡データまたは、自分側端末１０１のアプリケーションからの描画要求による軌跡データを調べ、受信または描画要求された軌跡データがあるか否かを判断する（Ｓ２３）。ここで、受信または描画要求された軌跡データがあれば（Ｓ２３；ＹＥＳ）、後述のステップ２７を実行する。
【００２３】
また、軌跡データがなければ（Ｓ２３；ＮＯ）、直前に入力された軌跡データ及び直前に受信された軌跡データを調べ、「書き終り」の状態になったか否かを判断する（Ｓ２４）。
【００２４】
直前に同一の識別子を持つ軌跡データが存在すれば、すなわち一画のデータが終了である「書き終り」の状態になったことになるので（Ｓ２４；ＹＥＳ）、後に詳述するペンアップ処理を実行し（Ｓ２５）、一回の動作を終了する。また、直前に同一の識別子を持つ軌跡データが存在しなければ（Ｓ２４；ＮＯ）、別の軌跡データの入力または受信を待機していることになるのでステップＳ２２を再び実行する。
【００２５】
尚、本実施形態で扱われている自分側端末１０１のアプリケーションは、音声の出力を選択できるアプリケーションを対象としている。また、本実施形態では、マルチウインドウシステムなどにより複数のアプリケーションを起動することを想定しているため、ステップＳ２５終了後は、他のアプリケーションを実行し、再びステップＳ２２からの動作を繰り返すことになる。
【００２６】
一方、ステップＳ２２で入力された軌跡データがあると判断された場合には、通信回線１４及び通信インターフェイス１３によって構成される送信部２によって、入力された軌跡データを送信する（Ｓ２６）。
【００２７】
次に、ＣＰＵ２１は、入力された軌跡データあるいは受信された軌跡データに含まれる通信用端末識別子を筆記者識別子として設定する（Ｓ２７）。ここでは説明のため図３に示したように自分側端末１０１の識別子を１、相手側端末１０２の識別子を２、アプリケーションの描画要求は識別子０を割りあて、アプリケーションからの描画要求に対して音声は出力されないものとする。
【００２８】
筆記者識別子の設定を行った後は、直前に入力された軌跡データ及び直前に受信された軌跡データを調べ、直前に同一の識別子を持つ軌跡データが存在しなければ「書き始め」の状態なので（Ｓ２８；ＹＥＳ）、後に詳述するペンダウン処理を実行する（Ｓ２９）。尚、このステップＳ２９のペンダウン処理として図４に示したような音声データ表から現在の音声データを取得する。
【００２９】
また、直前に同一の識別子を持つ軌跡データが存在すれば筆記中を意味するのでステップ３０を実行する。すなわち、ステップ３０では、入力または受信された軌跡データをディスプレイコントローラ１７がＶＲＡＭ１６に書き込むことで実現されている描画部４へ送出し描画する（Ｓ３０）。
【００３０】
描画処理を行った後は、音声処理を実行する（Ｓ３１）。すなわち、図５に示すような音声変数表にあらかじめ設定された音声番号の値を筆記者識別子から取得し、さらにその値に対応する音声データを図４に示す音声データ表から取得し、シンセサイザ１６により実現されている音声発生部６へ送出する。音声番号は筆記者識別子ごとに異なる番号を設定しておく。その結果、音声出力部７であるスピーカ１９からは音声データに基づく音声が出力される。尚、ステップＳ３１終了後はステップＳ２２を再び実行する。
【００３１】
次に、ペンアップ処理の動作を説明する。
【００３２】
図７は、本実施形態のペンアップ処理動作を説明するフローチャートである。尚、ここで、ペンアップ処理とは、軌跡データの入力及び描画処理を終了する場合の最終的な処理のことをいう。
【００３３】
まず、このペンアップ処理ではＣＰＵ２１が、上記ステップＳ２７で設定された筆記者識別子の値を取得する（Ｓ３２）。次に、この取得された筆記者識別子に相当する軌跡データに基づいて出力中の音声を停止する（Ｓ３３）。
【００３４】
次に、ペンダウン処理の動作を説明する。
【００３５】
図８は、本実施形態のペンダウン処理動作を説明するフローチャートである。尚、ここで、ペンダウン処理とは、軌跡データの入力を行い始めるときに行われる軌跡データの初期入力処理のことをいう。
【００３６】
まず、このペンダウン処理では音声発生部６が、上記ステップＳ２７で設定された筆記者識別子を取得する（Ｓ３８）。
【００３７】
そして、音声発生部６は、図５の音声変数表のステップＳ３８で取得した筆記者識別子に対応する音声番号を取得する（Ｓ３９）。音声番号はあらかじめ設定されており、ここでは筆記者識別子１には音声番号４を、筆記者識別子２には音声番号１を設定してある。アプリケーションの識別子０にはここでは音声番号０を設定し、アプリケーションの描画要求によって描かれる軌跡では音声は出力されないようにしてある。当然のことながら、他の音声番号を設定することによってアプリケーションの描画要求であっても音声が出力されるようにすることも可能である。
【００３８】
そして、音声発生部６は、図４の音声データ表からステップ３９で取得した音声番号に対応する音声データを取得する（Ｓ４０）。尚、ここでいう「音声」とは、人の声に限ったものではなく、効果音や振動音、楽器の音など広い意味で空気を振動させて人間が感じることのできるものを差しており、図４の音声データ表は説明のために簡単に示している。
【００３９】
最後に、取得した音声データに基づいた音声を音声出力部７を構成するスピーカ１９から出力する（Ｓ４１）。
【００４０】
以上の処理を行なうことで軌跡固有の音声を出力することが可能となるため、自端末画面上の相手方軌跡データ表示領域を常に監視していなくても、相手が描始めるタイミングを知ることができ、ペン入力による軌跡データの通信システムにおいての操作性が改善される。
【００４１】
尚、本発明は相手側端末が複数である場合も想定しており、端末識別子により複数の相手が送信した軌跡に異なる音声を設定することが可能であることは言うまでもない。
【００４２】
（第２の実施形態）
次に、本発明による第２の実施形態の説明を行う。
【００４３】
本実施形態では、認識部８で軌跡の形状の認識、すなわちジェスチャ認識を記憶部９に記憶されたジェスチャ認識用辞書（図９参照）に基づいて行い、記憶部９に存在する筆記者変数及び音声変数へその認識結果を登録するようになっている。
【００４４】
尚、本実施形態におけるシステム各部の構成は、上記第１の実施形態とほぼ同様であり、また、動作も図６のフローチャートに従って動作する。従って、本実施形態では、上記第１の実施形態と異なる部分、すなわち、ステップＳ２５で呼び出されるペンアップ処理についてのみ説明する。
【００４５】
図１０は、本実施形態におけるペンアップ処理動作を示すフローチャートである。
【００４６】
まず、このペンアップ処理ではＣＰＵ２１が、筆記者識別子を取得した後（Ｓ３４）、この取得された筆記者識別子に相当する軌跡データに基づいて出力中の音声を停止する（Ｓ３５）。
【００４７】
次に、ＣＰＵ２１（認識部８）は、ジェスチャ認識を行う（Ｓ３６）。このジェスチャ認識としては、例えば入力された軌跡形状の特徴を図９に示すように抽出し、あらかじめ登録されたジェスチャ形状との類似性を計算することによって、形状番号を取得することにより行う。尚、軌跡の形状認識は、特公平５−６７９８８号公報、特公平５−８４５４０号公報などに数多く紹介されているように、既に公知の技術であり、本発明の主眼ではないため、その手法については、ここでは省略する。
【００４８】
最後に、ジェスチャ認識の結果を、図５に示すような音声変数表に、前記ステップＳ３４で取得した筆記者識別子に対応する音声番号として登録する（Ｓ３７）。これにより、次に入力または受信された軌跡データを描画する場合に、図４の音声データ表の該当する音声番号に従って音声が出力することになる。尚、本実施形態も上記第１の実施形態の場合と同様に相手側端末が複数である場合も想定しており、端末識別子により複数の相手が送信した軌跡に異なる音声を設定することが可能であることは言うまでもない。
【００４９】
以上の処理を行うことで、同時に複数の軌跡を同じ描画した場合であっても、実行中のアプリケーションが書いている軌跡であるのか、相手が送信している軌跡であるのかを判断できるようになるため、ペン入力による軌跡データの通信システムにおいて軌跡の識別性を高めることができ、操作性が改善される。
【００５０】
【発明の効果】
以上詳述した本発明による軌跡データ通信システム、軌跡データ通信端末、及び軌跡データ通信方法によれば、相手からの軌跡データを受信して表示する際に、その軌跡データに固有の音声を描画処理と同時に出力するので、軌跡データが送信された時期を容易に判断可能であるとともに軌跡の識別性を高めることが可能となる。
【図面の簡単な説明】
【図１】本発明によるシステム機能を示すブロック図である。
【図２】本発明による具体的なハードウェア構成を示す構成ブロック図である。
【図３】本発明における筆記者データ表を示す図である。
【図４】本発明における音声データ表を示す図である。
【図５】本発明における音声変数表を示す図である。
【図６】本発明による軌跡データ通信システムの動作をフローチャートである。
【図７】第１の実施形態におけるペンアップ処理動作を示すフローチャートである。
【図８】第１の実施形態におけるペンダウン処理動作を示すフローチャートである。
【図９】本発明におけるジェスチャ認識用辞書を示す図である。
【図１０】第２の実施形態におけるペンアップ処理動作を示すフローチャートである。
【符号の説明】
１  入力部
２  送信部
３  受信部
４  描画部
５  表示部
６  音声発生部
７  音声出力部
８  認識部
９  記憶部
１０  入力ペン
１１  透明デジタイザ
１２  入力インターフェイス
１３  通信インターフェイス
１４  通信回線
１５  液晶ディスプレイ
１６  ＶＲＡＭ
１７  ディスプレイコントローラ
１８  シンセサイザ
１９  スピーカ
２０  記憶装置
２１  ＣＰＵ
１００  軌跡データ通信システム
１０１  自分側端末
１０２  相手側端末
【図１】
0003774509.tif 000002
【図２】
0003774509.tif 000003
【図３】
0003774509.tif 000004
【図４】
0003774509.tif 000005
【図５】
0003774509.tif 000006
【図６】
0003774509.tif 000007
【図７】
0003774509.tif 000008
【図８】
0003774509.tif 000009
【図９】
0003774509.tif 000010
【図１０】
0003774509.tif 000011