(57)【要約】【課題】  電子メールのような文字入力だけを行いながら、アバタの動作を伴って表現豊かに情報通信できるコミュニケーションを可能にする。【解決手段】  本発明は、文字入力手段を用いて取得した文字列情報と、該文字列を生成した操作情報（キータイピングの押下継続時間とタイピングの間隔時間）とを取得し、記憶手段に格納し、記憶手段に格納された文字列情報と操作情報とを相手先の端末にネットワークを介して送信し、受信した文字列情報と操作情報を記憶手段に格納し、該文字列情報を表示する際に、該操作情報に基づいてアバタの動作を生成し、表示手段に表示する。このとき、操作情報の押下継続時間、または、間隔時間が短いほどアバタの身体動作が大きくなるようにする。【選択図】  図１
2011138464.tif 000002
【特許請求の範囲】
【請求項１】
文字を基本としたコミュニケーションシステムにおいて、通信文として入力された文字列からアバタの動作を生成して表示する情報入出力端末であって、
文字入力手段を用いて取得した文字列情報と、該文字列を生成した操作情報とを取得し、記憶手段に格納する入力手段と、
前記記憶手段に格納された前記文字列情報と前記操作情報とを相手先の端末にネットワークを介して送信する通信手段と、
受信した前記文字列情報と前記操作情報を記憶手段に格納し、該文字列情報を表示する際に、該操作情報に基づいてアバタの動作を生成し、表示手段に表示する表示制御手段と、
を有することを特徴とする情報入出力端末。
【請求項２】
前記入力手段は、
前記操作情報として、前記文字列情報を入力する際の、少なくともキータイピングの押下継続時間とタイピングの間隔時間のいずれかを取得し、
前記記憶手段は、
前記操作情報の前記押下継続時間、または、前記間隔時間が短いほど前記アバタの身体動作が大きくなるように設定された身体動作生成ルールを有し、
前記表示制御手段は、
前記操作情報に基づいて前記身体動作生成ルールを参照して、前記アバタの身体各部の動作角度を変化させる
ことを特徴とする請求項１記載の情報入出力端末。
【請求項３】
前記表示制御手段は、
前記文字列情報を文節または単語に分解し、文節または単語または特定の言い回し毎にランクが設定されたテーブルを参照し、該文節または該単語毎に値が大きいほどアバタの身体動作が大きくなるようなランクを付与する手段を含む
請求項１記載の情報入出力端末。
【請求項４】
文字を基本としたコミュニケーションシステムにおいて、通信文として入力された文字列からアバタの動作を生成して表示する文字入力コミュニケーション方法において、
文字入力手段を用いて取得した文字列情報と、該文字列を生成した操作情報とを取得し、記憶手段に格納する入力ステップと、
前記記憶手段に格納された前記文字列情報と前記操作情報とを相手先の端末にネットワークを介して送信する通信ステップと、
受信した前記文字列情報と前記操作情報を記憶手段に格納し、該文字列情報を表示する際に、該操作情報に基づいてアバタの動作を生成し、表示手段に表示する表示制御ステップと、
を行うことを特徴とする文字入力コミュニケーション方法。
【請求項５】
前記入力ステップにおいて、
前記操作情報として、前記文字列情報を入力する際の、少なくともキータイピングの押下継続時間とタイピングの間隔時間のいずれかを取得し、
前記表示制御ステップにおいて、
前記操作情報に基づいて、前記前記操作情報の前記押下継続時間、または、前記間隔時間が短いほどアバタの身体動作が大きくなるように設定された身体動作生成ルールを参照して、前記アバタの身体各部の動作角度を変化させる
ことを特徴とする請求項４記載の文字入力コミュニケーション方法。
【請求項６】
前記表示制御ステップは、
前記文字列情報を文節または単語に分解し、文節または単語または特定の言い回し毎にランクが設定されたテーブルを参照し、該文節または該単語毎に値が大きいほどアバタの身体動作が大きくなるようなランクを付与する
請求項４記載の文字入力コミュニケーション方法。
【請求項７】
請求項１乃至３のいずれか１項に記載の情報入出力端末を構成する各手段としてコンピュータを機能させるための文字入力コミュニケーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字入力コミュニケーション装置及び方法及びプログラムに係り、特に、文字による入力手段を用いて収集した通信文を用いて、アバタの動作を自動生成して表現豊かに通信文を伝達する遠隔コミュニケーションシステムにおける文字入力コミュニケーション装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
文字を基本としたコミュニケーションにおいて、表現を豊かにするために様々な工夫がされてきた。例えば、文字を組み合わせて新たな形を作り出して本来とは異なる意味を持たせたり、絵文字などのアイコンを用いたりして表現を豊かにする場合がある。さらには、アバタをメールに添付して送り、入力したとおりにアバタの動作を再生する場合がある。このように、文字を基本とするコミュニケーションで表現を豊かにするためには、ユーザは入力内容を工夫する手間が必要となる。
【０００３】
また、状態通知用端末に関連付けられた物や動物に対応する任意の画像情報などから構成されるアイコン情報と、現在状態（例えば「授業中」）と所在場所（例えば「新宿」）の状態情報の両方の対応関係が把握できるように隣接配置させて表示用端末に表示させる方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９２２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、表現を豊かにする工夫はユーザの知識と技量に委ねられており、誰でも手軽に行えるものではない。また、アバタを利用した通信方法も存在するが、凝った表現をするためには多くの時間を要することが課題であった。
【０００６】
特許文献１の手法は、文字入力に加え、気持ちなどの付加情報を個別に設定して伝える必要がある。
【０００７】
本発明は、上記の点に鑑みなされたもので、電子メールのような文字入力だけを行いながら、アバタの動作を伴って表現豊かに情報通信できる文字入力コミュニケーション装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
図１は、本発明の原理構成図である。
【０００９】
本発明（請求項１）は、文字を基本としたコミュニケーションシステムにおいて、通信文として入力された文字列からアバタの動作を生成して表示する情報入出力端末であって、
文字入力手段を用いて取得した文字列情報と、該文字列を生成した操作情報とを取得し、記憶手段４０に格納する入力手段１０と、
記憶手段４０に格納された文字列情報と操作情報とを相手先の端末にネットワークを介して送信する通信手段２０と、
受信した文字列情報と操作情報を記憶手段に格納し、該文字列情報を表示する際に、該操作情報に基づいてアバタの動作を生成し、表示手段に表示する表示制御手段３０と、
を有する。
【００１０】
また、本発明（請求項２）は、入力手段１０において、
操作情報として、文字列情報を入力する際の、少なくともキータイピングの押下継続時間とタイピングの間隔時間のいずれかを取得し、
記憶手段４０は、
操作情報の押下継続時間、または、間隔時間が短いほどアバタの身体動作が大きくなるように設定された身体動作生成ルールを有し、
表示制御手段３０は、
操作情報に基づいて身体動作生成ルールを参照して、アバタの身体各部の動作角度を変化させる。
【００１１】
また、本発明（請求項３）は、表示制御手段３０において、
文字列情報を文節または単語に分解し、文節または単語または特定の言い回し毎にランクが設定されたテーブルを参照し、該文節または該単語毎に値が大きいほどアバタの身体動作が大きくなるようなランクを付与する手段を含む。
【００１２】
図２は、本発明の原理を説明するための図である。
【００１３】
本発明（請求項４）は、文字を基本としたコミュニケーションシステムにおいて、通信文として入力された文字列からアバタの動作を生成して表示する文字入力コミュニケーション方法において、
文字入力手段を用いて取得した文字列情報と、該文字列を生成した操作情報とを取得し、記憶手段に格納する入力ステップ（ステップ１）と、
記憶手段に格納された文字列情報と操作情報とを相手先の端末にネットワークを介して送信する通信ステップ（ステップ２）と、
受信した文字列情報と操作情報を記憶手段に格納し（ステップ３）、該文字列情報を表示する際に、該操作情報に基づいてアバタの動作を生成し（ステップ４）、表示手段に表示する（ステップ５）表示制御ステップと、を行う。
【００１４】
また、本発明（請求項５）は、入力ステップ（ステップ１）において、
操作情報として、文字列情報を入力する際の、少なくともキータイピングの押下継続時間とタイピングの間隔時間のいずれかを取得し、
表示制御ステップ（ステップ４）において、
操作情報に基づいて、操作情報の押下継続時間、または、間隔時間が短いほどアバタの身体動作が大きくなるように設定された身体動作生成ルールを参照して、アバタの身体各部の動作角度を変化させる。
【００１５】
また、本発明（請求項５）は、表示制御ステップ（ステップ４）において、
文字列情報を文節または単語に分解し、文節または単語または特定の言い回し毎にランクが設定されたテーブルを参照し、該文節または該単語毎に値が大きいほどアバタの身体動作が大きくなるようなランクを付与する。
【００１６】
本発明（請求項７）は、請求項１乃至３のいずれか１項に記載の情報入出力端末を構成する各手段としてコンピュータを機能させるための文字入力コミュニケーションプログラムである。
【発明の効果】
【００１７】
上記のように本発明によれば、電子メールのような文字入力だけを行いながら、特別な知識と技量を必要とせず、表現豊かに情報通信できるコミュニケーションシステムを構築することで、簡単な操作でこれまでよりも豊かなコミュニケーションができるようになる。また、文字入力のみからアバタの身体動作や合成音声を自動生成できるので、子供など文字の読めない相手先へも簡単に情報を伝達できるようになる。
【図面の簡単な説明】
【００１８】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における装置構成図である。
【図４】本発明の一実施の形態における動作のフローチャートである。
【図５】本発明の一実施の形態における動作のシーケンスチャートである。
【図６】本発明の一実施の形態におけるテーブル生成部を設けた構成例である。
【発明を実施するための形態】
【００１９】
以下、図面と共に本発明の実施の形態を説明する。
【００２０】
図３は、本発明の一実施の形態における装置構成を示す。
【００２１】
同図に示す情報入力端末は、入力部１０、通信部２０、表示制御部３０、記憶部４０から構成される。
【００２２】
入力部１０には、操作情報を入力するためのキーボードやテンキー等の入力機器１が接続され、通信部２０にはネットワーク装置等の外部機器２が接続されている。
【００２３】
入力機器１として、ユーザは情報を送受するために、文字入力機能と画面表示機能を有したパーソナルコンピュータや携帯電話などの情報入出力端末を利用する。入力機器１は、情報を入力するために、キー操作による文字入力を行う。入力部１０は、入力機器１から文字が入力される際に、入力された文字コードだけでなく、その文字を入力する際に要したキータイピング操作に関する情報を同時に記憶部４０に記録する。その情報には、キータイピングの押下継続時間、タイピングの間隔時間を含む。また、削除や変換及びキャンセルに要したキー操作に関しても同様に記憶部４０に記録しておく。
【００２４】
ここで、キータイピングの押下継続時間やタイピングの間隔時間を用いるのは、ユーザの反応が活性化している様子を表現するためであり、活性化されている一般的な状態として早口になったり大きな声を出したりする時に身体動作も大きくなることに対応する。
【００２５】
記憶部４０は、メモリやハードディスク装置等の記憶媒体であり、入力部１０から取得した文字情報と操作情報４１及びアバタの身体動作生成ルール４２が格納される。
【００２６】
図４は、本発明の一実施の形態における動作のフローチャートであり、図５は、本発明の一実施の形態におけるシーケンスチャートである。図４、図５におけるステップ番号は対応している。
【００２７】
ステップ１０１）  最初に、入力処理について説明する。
【００２８】
まず、情報を入力するためには、ユーザが、キーボードやテンキー等の入力機器１を利用して文字を入力する。情報入出力端末入力部１０は、その入力文字を記録する際に、一般的なクライアント操作ログ取得ツールを用いて、入力時の操作情報を加えて記憶部４０に記録する。記録される情報には、キータイピングの押下継続時間、タイピングの間隔時間が含まれる。なお、キータイピングの押下継続時間やタイピングの間隔時間については、例えば、タイピング練習ソフト等の機能を用いることにより取得可能である。入力部１０は、操作情報と文字情報を併せて記憶部４０へ記録する。また、入力部１０は、入力機器１からの文字入力が完了したら、その旨を通信部２０へ通知する。
【００２９】
ステップ１０２）  情報入出力端末Ａの通信部２０は、入力部１０から入力完了の通知を受け取ったら、通信部２０は通信すべき情報を記憶部４０へ情報を要求して入手し、外部のネットワーク機器２を通じて、入力された情報を目的の相手先端末（情報入出力端末Ｂ）へ通知する。
【００３０】
ステップ１０３）  次に、情報表示に関する処理について説明する。
【００３１】
情報入出力端末Ｂの通信部２０は、情報送信元の情報入出力端末Ａから情報を受け取り、記憶部４０へ記録する。記録が完了したら表示制御部３０へ受信完了したことを通知する。
【００３２】
情報入出力端末Ｂの表示制御部３０は、記憶部４０から表示すべき情報を読み出し、画面表示する。その際に、情報送信元の情報入出力端末Ａで入力された文字情報だけでなく、アバタを表示する。アバタの表示方法については、特許第３６２５２１２号に開示されている技術を用いることにより実現できる。アバタは、記憶部４０に格納されている身体動作生成ルール４２に沿った人体動作を伴って表示する。その身体動作は、文字入力時のキータイピングの押下継続時間、間隔時間などのキータイピング操作情報に基づいて、記憶部４０の身体動作生成ルール４２を参照して生成する。その情報によって、アバタの表情や身体動作を変化させる。例えば、身体動作生成ルール４２は、キータイピングの継続時間がｍ秒以上、キータイピングの間隔がｎ秒以内のような条件毎にランクが設定され、当該ランクに応じた動作をアバタに与える等の方法が考えられる。
【００３３】
また、表示された文字情報の、どの部分をアバタが演じているかを即座に判断できるように、再生中の文字の箇所は強調表示される。あるいは、再生済みの部分と未再生の部分の文字フォントを異なるものにしてもよい。
【００３４】
ここで、記憶部４０に格納されているアバタの身体動作生成ルール４２について説明する。
【００３５】
人は対面のコミュニケーション時に、声の大きさや感情の高低の変化に応じて、手足の動作、体のゆれなど身体各部を動作することで表現力を豊かにしている。通常の文字情報の送受では、記号しか伝達できないが、本発明では、文字入力の際のキータイピング情報を合わせて伝達する。キータイピング情報は前述の身体動作を生成するために用いる。アバタの身体動作を生成する処理において、入力はキータイピングの押下継続時間、タイピングの間隔時間である。それぞれ、時間が短いほどアバタの身体動作を大きくする。アバタの身体各部の関節の動作角度を変化に割り当てる。
【００３６】
アバタの身体動作生成ルール４２の生成方法には種々の方法がある。
【００３７】
第１の方法として、キータイピングの押下時間やキータイピングのキータッチの間隔に応じてランク（０〜９９）を決定する。当該ランクの数値が大きいほどアバタの身体動作を大きくなるよう強度を決定する。例えば、押下時間やキータッチの間隔が最短の場合にはランク「９９」とし、短い場合には、当該時間に応じてランクが低くなるように設定し、ランク毎にアバタの関節の動作を設定する。例えば、ランク「９９」の場合は、右腕の関節の角度を１０度減らし、右肩の関節を１３０度にするように設定することが可能である。
【００３８】
第２の方法として、図６に示すように、テーブル生成部５０を設け、入力機器１から入力された文字情報を形態素解析し、文節や単語毎に分解し、予め、文節や単語、あるいは言い回し毎にランクが対応付けられている単語・ランクテーブル６０を生成する。なお、単語・ランクテーブル６０は、メモリまたはハードディスク等の記憶媒体である。表示制御部３０は、記憶部４０の文字情報を形態素解析し、文節や単語あるいは言い回しに基づいて単語・ランクテーブル６０を参照してランクを付与する。記録された文字、文節、あるいは、適当なブロック毎にランクを付与する。例えば、「そうだ」、「まったく」「とんでもない」等の単語についてはランクの数値を高くすることが考えられる。ランクは、第１の方法と同様に０〜９９の段階で表現し、ランクの数値が大きいほどアバタの身体動作が大きくなるよう、アバタの身体動作の強度を決定する。例えば、ランク「７５」の場合は、「ジェスチャーの種類：頭部を動かす」、ランク「９４」の場合には、「ジェスチャーの種類：手を上下に動かす」等の動作を行うようにする。
【００３９】
次に、第３の方法として、アバタの身体動作に発話動作を含める。音声合成の処理を行って文字情報を再生する。その発話タイミングや速さは、情報発信元のユーザが文字入力した際の操作情報に基づいて決定する。声の高さやピックについても同様である。
【００４０】
このように、電子メールのようなユーザが行う文字入力からアバタの動作を変化させたり、文字の表示色やフォントを変化させたりすることで、表現豊かに情報通信することが可能となる。
【００４１】
なお、図３、図６に示す情報入力端末の動作をプログラムとして構築し、当該情報入力端末として利用されるコンピュータまたは携帯端末内のプロセッサにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００４２】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００４３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【００４４】
１  入力機器
２  外部機器
１０  入力部
２０  通信部
３０  表示制御部
４０  記憶部
４１  操作文字情報
４２  身体動作生成ルール
５０  テーブル生成部
６０  単語・ランクテーブル
【図１】
2011138464.tif 000003
【図２】
2011138464.tif 000004
【図３】
2011138464.tif 000005
【図４】
2011138464.tif 000006
【図５】
2011138464.tif 000007
【図６】
2011138464.tif 000008