(57)【要約】【課題】通信状況が悪化した場合であっても、情報の送受信を行うことが可能な通信端末およびこれを用いた通信システムを提供することを目的とする。【解決手段】通信回線を介して複数の通信端末の間で信号を送受信する通信システムであって、前記通信端末は、音声信号が入力される音声入力部と、前記音声入力部により入力された音声を音声信号に変換する音声変換部と、前記音声信号を文字信号に変換する文字変換部と、前記通信回線を介して前記音声信号と前記文字信号を送信可能な送信部と、前記通信回線の状態に応じて前記送信部が前記音声信号あるいは前記文字信号を送信するように制御する制御部と、を備える。前記通信端末は、音声信号および文字信号を受信可能な受信部と、前記受信部により受信した音声信号を出力する出力部と、前記受信部により受信した文字信号を表示する表示部と、を備える。【選択図】  図１
2004194132.tif 000002
【特許請求の範囲】
【請求項１】
音声が入力される音声入力部と、
前記音声入力部に入力された音声を音声信号に変換する音声変換部と、
前記音声変換部により変換された音声信号を文字信号に変換する文字変換部と、
通信回線を介して前記音声信号と前記文字信号を送信可能な送信部と、
前記通信回線の状態に応じて前記送信部が前記音声信号あるいは前記文字信号を送信するように制御する制御部と、
を備えていることを特徴とする通信端末。
【請求項２】
前記制御部は、前記通信回線のエラーレートが所定値よりも高いとき、前記送信部が前記文字信号を送信するように制御することを特徴とする請求項１に記載の通信端末。
【請求項３】
請求項１または２に記載の通信端末は、前記音声信号と前記文字信号を記憶する記憶部を備えていることを特徴とする通信端末。
【請求項４】
前記記憶部は、前記音声信号と前記文字信号とともに時間情報を記憶することを特徴とする請求項３に記載の通信端末。
【請求項５】
請求項４に記載の通信端末は、文字を入力する文字入力部を備え、
前記文字入力部により入力された文字に対応する文字信号の時間情報に応じて、音声信号を前記記憶部から読み出すことを特徴とする通信端末。
【請求項６】
音声が入力される音声入力部と、
前記音声入力部に入力された音声を音声信号に変換する音声変換部と、
映像信号を入力する映像入力部と、
前記音声信号を文字信号に変換する文字変換部と、
通信回線を介して前記音声信号と前記文字信号と前記映像信号を送信可能な送信部と、
前記通信回線の状態に応じて前記送信部が前記音声信号または前記文字信号または前記映像信号を送信するように制御する制御部と、
を備えていることを特徴とする通信端末。
【請求項７】
通信回線を介して第１の通信端末と第２の通信端末との間で信号を送受信する通信システムであって、
前記第１の通信端末は、音声が入力される音声入力部と、前記音声入力部により入力された音声を音声信号に変換する音声変換部と、前記音声信号を文字信号に変換する文字変換部と、前記通信回線を介して前記音声信号と前記文字信号を送信可能な送信部と、前記通信回線の状態に応じて前記送信部が前記音声信号あるいは前記文字信号を送信するように制御する制御部と、を備え、
前記第２の通信端末は、音声信号および文字信号を受信可能な受信部と、前記受信部により受信した音声信号を出力する出力部と、前記受信部により受信した文字信号を表示する表示部と、を備えていることを特徴とする通信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
音声通信および文字通信を行うことが可能な通信端末およびこれを用いた通信システムに関する。
【０００２】
【従来の技術】
音声文字双方向変換サーバにより、発信者端末から送信された音声情報を文字情報に変換し、受信者端末に送信する方法がある（例えば、特許文献１参照）。
【特許文献１】
特開２００２−１６２９８３号公報
【０００３】
【発明が解決しようとする課題】
上記方法では、サーバにおいて音声文字の変換を行うため、発信者端末から通信会社等のサーバまでの通信状況が悪い場合、発信者端末からサーバに音声データを送信することができず、発信者と受信者との間のコミュニケーションが途絶えてしまい、使い勝手が悪いという問題が生じる。
【０００４】
そこで、本発明は、使い勝手の良い通信端末およびこれを用いた通信システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、通信回線を介して複数の通信端末の間で信号を送受信する通信システムであって、前記通信端末は、音声が入力される音声入力部と、前記音声入力部により入力された音声を音声信号に変換する音声変換部と、前記音声信号を文字信号に変換する文字変換部と、前記通信回線を介して前記音声信号と前記文字信号を送信可能な送信部と、前記通信回線の状態に応じて前記送信部が前記音声信号あるいは前記文字信号を送信するように制御する制御部と、を備える。前記通信端末は、音声信号および文字信号を受信可能な受信部と、前記受信部により受信した音声信号を出力する出力部と、前記受信部により受信した文字信号を表示する表示部と、を備える。このように構成することにより、通信状況が悪化した場合であっても、情報の送受信を行うことができる。
【０００６】
【発明の実施の形態】
図１は本発明の実施形態にかかる通信システムを示したものである。通信端末１および２は、通信網３を介してデータの送受信が可能な携帯電話やＰＤＡ等の通信端末である。
【０００７】
まず、通信端末１が音声、文字情報の送信を行う場合の動作を説明する。Ａ／Ｄ変換部１０１は、マイク１００で集音された音声をアナログ信号からデジタル信号へ変換する。デジタル信号に変換されたデジタル音声信号は、音声圧縮部１０２と文字変換部１０３へ入力される。音声圧縮部１０２は、デジタル音声信号をデータ圧縮し、データ量を減少させる。文字変換部１０３は、デジタル音声信号の音声認識を行うことにより、音声を文字情報に変換する。音声圧縮部１０２の出力信号と文字変換部１０３の出力信号を加算器１０４により加算する。
【０００８】
切替器１０８は、制御部２０７の指示により、加算器１０４からの出力と文字変換部１０３からの出力とを切り替えて、送信部１０７の出力する。送信部１０７は、通信網３を介して、音声データと文字データ、あるいは文字データを通信端末２へ送信する。また、記録部１０６は、文字変換部１０３の出力を受け取り、文字情報を記録する。表示部１０５は、文字変換部１０３の出力を受け取り、音声信号から変換された文字情報を表示する。
【０００９】
次に、通信端末１が音声、文字情報の受信を行う場合の動作を説明する。通信端末２の送信部から送られたデータを受信部２００にて受信する。受信部２００の出力は、音声復号部２０１と文字復号部２０２へ送られる。音声復号部２０１は、受信部２００から送られたデジタル信号を復号してデジタル音声信号を取り出し、Ｄ／Ａ変換部２０３へ送る。Ｄ／Ａ変換部２０３は、音声信号復号部２０１から送られたデジタル音声信号をアナログ信号に変換してスピーカ２０６へ送信する。スピーカ２０６は、Ｄ／Ａ変換部２０３から送られたアナログ音声信号を受け取り、音声を出力する。また、文字復号部２０２は、受信部２００から送られたデジタル信号を復号して文字情報を取り出し、表示部２０４と記録部２０５へ送る。記録部２０５は文字復号部２０２から送られた文字情報を記録する。
【００１０】
表示部１０５は、文字復号部２０２から送られた文字情報を受け取り、文字を表示する。また、表示部１０５は、記録部１０６および２０５から読み出された文字情報を表示することが可能である。なお、記録部１０６、２０５は、ハードディスクやRAM（Random Access Memory）であっても良いし、ICカート゛等の取外し可能な記憶媒体であっても良い。
【００１１】
図２は、音声・文字通信と、文字通信の切替制御を示したフローチャートである。制御部２０７は、記録部１０６に記憶されているプログラムによって、以下に述べる制御処理を行う。但し、このプログラムは、通信端末１の販売時に予めインストールされているものであっても、ユーザが通信端末１の購入後にインストールするものであってもどちらでも良い。ユーザが通信端末１の購入後にインストールする場合は、プログラムを記憶するサーバにアクセスし、プログラムをダウンロードし、記録部１０６に記憶させる。
【００１２】
通話開始（Ｓ２００）により、文字変換部１０３は、デジタル音声信号の音声認識を行うことにより、音声を文字情報に変換する（Ｓ２０１）。切替器１０８は、加算器１０４からの出力を選択し、送信部１０７から音声データと文字データを送信する音声・文字通信を行う（Ｓ２０２）。
【００１３】
音声・文字通信（Ｓ２０２）の状態が一定時間（例えば１秒間）経過すると、制御部２０７は通信エラーレートチェック（Ｓ２０３）を行う。送信部１０７がデータの再送を行った回数が所定回数を超えた場合や、受信部２００により受信したデータの誤り訂正の割合が一定以上を超えている場合、制御部２０７は通信エラーレートが「Ｈｉｇｈ」と判断する。
【００１４】
通信エラーレートチェック（Ｓ２０３）を行った結果、通信エラーレートが低ければ（Ｓ２０２：Ｌｏｗ）、音声・文字通信を継続する（Ｓ２０２）。通信エラーレートが高い場合（Ｓ２０２：Ｈｉｇｈ）、切替器１０８は文字変換部１０３からの出力を選択し、送信部１０７は文字データを送信する文字通信を行う（Ｓ２０４）。文字通信（Ｓ２０４）の状態が一定時間（例えば１秒間）経過すると通信エラーレートチェックを行う（Ｓ２０５）。通信エラーレートが高ければ（Ｓ２０５：Ｈｉｇｈ）、文字通信を継続する（Ｓ２０４）。通信エラーレートが低ければ（Ｓ２０５：Ｌｏｗ）、切替器１０８は加算器１０４からの出力を選択し、音声・文字通信に切り換える（Ｓ２０２）。
【００１５】
次に、ユーザに対して音声通信と文字通信の切替えを通知する手段を説明する。音声・文字通信中に通信エラーレートが高い状況（Ｓ２０３：Ｙｅｓ）になると、文字通信への切替を伝える音（警告音もしくは切替えを示す音声）をスピーカ２０６から出力する。文字通信中に通信エラーレートが低い状態（Ｓ２０５：Ｎｏ）になると、例えば図４に示すように、表示部１０５に音声通話に切替えることを示す表示を行う。このように通知を行うことにより、ユーザへの不意打ちを防止することができる。また、通知を行った後に、ユーザから切替の容認を示す入力があった場合に切替を行うようにしても良い。これにより、ユーザの意思に反して通信が切り替えられてしまうことを防止することができる。
【００１６】
本実施形態では、通信エラーレートが低い場合は音声データと文字データを送信し、通信エラーレートが高くなった場合に文字データのみを送信する文字通信に切り替えるように制御する。文字データ量は、音声データ量に比べて小さいため、誤り訂正符号化による訂正符号データを多く付加した場合でも、元データが小さいので誤り訂正符号化によるデータ増加量も小さい。さらに、再送処理を繰り返した場合でも、データ量が少ないため、送信完了までにかかる時間は短く、話者が話してから話した内容が通話相手に届くまでの時間差が小さい。このため、通信エラーレートが高い状況下であっても、コミュニケーションを保つことが可能となる。
【００１７】
また、通信エラーレートが低い場合にも音声データとともに文字データを送信することにより、受信側の通信端末が音声から文字情報に変換する変換部を備えていない場合であっても、受信者は通話内容を文字データで確認することができる。
【００１８】
また、本実施形態によれば、音声コミュニケーションを行いながら、同時に文字によるコミュニケーションが可能となる。騒音環境下において通話相手の音声が聞き取りにくい場合においても、文字によって相手が話す内容を認識することができるため、静かな場所へ移動しなくても通話相手が話す内容を確認しながら通話することができる。
【００１９】
但し、これに限定するものではなく、図３に示すように通信エラーレートが低い場合は音声通信を行い（Ｓ２１１）、通信エラーレートが高くなった場合に文字変換部１０３により音声文字変換を開始し（Ｓ２１３）、文字通信を行うようにしても良い。この場合、図１に示した通信端末１において、音声圧縮部１０２からの出力を切替器１０８に入力し、音声データと文字データを切り替える。
【００２０】
なお、ユーザの選択により、文字データを送信しない場合であっても、通話開始とともに文字変換部１０３による音声文字変換を行うようにしても良い。これにより、通話内容を文字情報として、表示あるいは記憶することができる。
【００２１】
また、通信エラーレートが高くなった等の通信状況の変化があった場合に限らず、ユーザから音声・文字通信の切替要求があった場合に、制御部２０７は音声・文字通信の切替を行うように制御しても良い。例えば、通信料金の抑制のために文字通信のみを行いたい等、ユーザのニーズに合わせて通信を行うことができる。また、相手側の端末から切替要求を受信した場合に、制御部２０７は音声・文字通信の切替を指示するようにしても良い。これにより、受信側の通信状況が悪い場合に、受信側の端末が音声・文字変換機能を備えていなくても、送信側端末で文字通信に切り替えることにより、コミュニケーションの断絶を防止することができる。
【００２２】
なお、図１に示していないが、受信部２００により受信した音声データを文字データに変換する文字変換部を設けるようにしても良い。これにより、送信側の端末が音声・文字変換機能を備えていなくても、通話内容を文字で表示あるいは文字データとして記録することができる。また、受信部２００により受信した文字データを音声に変換する音声変換部を備えるようにしても良い。これにより、文字データのみを受信した場合であっても、内容を音声により確認できる。
【００２３】
図５に、記録部１０６および２０５で記録した通話内容を表示部１０５へ表示する画面の一例を示す。通話記録一覧画面４では、通話開始日時と通話相手識別情報（通話相手の電話番号もしくは通話相手の名前など）を表示する。通話記録一覧画面４で表示される一覧からユーザ操作により１項目を選択すると、通話記録内容画面５に遷移する。通話記録内容画面５では、記録部１０６および記録部２０５から読み出された情報を表示する。文字情報は時間情報とともに記録するため、会話内容を再現するように記録部１０６、２０５から読み出した文字情報を組み合せて表示することができる。
【００２４】
これにより、ユーザは通話中もしくは通話終了後に、通話内容を文字として閲覧することができる。通話内容を文字として記録することにより、通話内容を音声録音によって蓄積するよりも少ないデータ容量で記録することができる。また文字による記録のため、通話中や通話終了後においても通話内容の検索やコピーなどが容易である。さらに、閲覧にかかる時間はユーザが文字を読む速度によって決定され、じっくり読んだり、すばやく読んだりことができるため、内容把握が容易となる。
【００２５】
なお、図５に示した例では、話した内容と聞いた内容を組み合せて表示したが、自分が話した内容と相手が話した内容を別に表示するようにしても良い。また、記録部１０６と２０５は一体にして設けても良い。また、記録部１０６および２０５に記録するデータは、文字データのみに限定するものではなく、音声データと文字データを記録するようにしても良い。
【００２６】
図６に、音声データおよび文字データの記録形式の一例を示す。文字データ７と音声データ８は、一定の時間毎（例えば１秒毎）にデジタル化されている。文字データ７は音声データ８を元に変換されたデータであり、文字データ７と音声データ８それぞれには共通の時間情報９が入っている。このように、音声データとともに文字データを記録することにより、音声データの検索を容易に行うことができる。なお、音声データと文字データとともに記録する情報は、時間情報に限定するものではなく、音声データと文字データの対応を示す記録位置情報であっても良い。
【００２７】
図７を用いて、記録部１０６あるいは２０５に記録された音声データを検索し、再生する方法を説明する。音声データを再生する場合、ユーザはキーワードを入力する（Ｓ１００）。キーワードにより、文字データ７の検索を行う（Ｓ１０１）。キーワードが見つかるまで検索を繰り返し（Ｓ１０１：ＮＧ）、キーワードが見つかる（Ｓ１０１：ＯＫ）と、見つかった文字データ７に含まれる時間情報９を取り出す（Ｓ１０２）。次に、抜き出した時間情報９を同じ時間情報９を有する音声データの検索を行う（Ｓ１０３）。時間情報９を有する音声データ８が見つかると（Ｓ１０３：ＯＫ）、見つかった音声データ８の個所から再生を開始する（Ｓ１０４）。
【００２８】
本実施形態のように、ユーザが入力した文字列をキーワードとした文字列検索を行うことにより、音声データ８の頭だしを行うことができ、音声による通話内容の確認を容易に行うことが可能となる。
【００２９】
また、図１に示した通信端末では、音声通信および文字通信を行っているが、これに追加して映像情報の送受信を行うようにしても良い。図８は、カメラ等の撮像部を備え、映像情報の送受信が可能な通信システムの実施形態を示したものである。なお、図１に同じ構成要素については同じ符号を付し、説明を省略する。
【００３０】
映像圧縮部１１０は、カメラ１０９で撮影された映像信号をデータ圧縮する。切替器１０８は制御部２０７からの制御により、映像圧縮部１１０で圧縮された映像信号と、音声圧縮部１０２で圧縮された音声信号と、文字変換部１０３で文字変換された文字データとを切り替えて出力する。なお、図示していないが、切替器１０８は加算器を備え、通信状況あるいはユーザ選択に応じて、音声情報と映像情報、文字情報を組み合せて出力することができる。
【００３１】
図１１に示すように、文字データ１５の量と音声データ１６の量、映像データ１７の量を比較すると、一般に文字の情報量は映像や音声の情報量より少ない性質を持っている。従って、映像データ１７や音声データ１６のデータ欠落の頻度に比べ、文字データ１５が欠落する度合いは低い。そのため、通信エラーレートが高くなった等の通信状況が悪くなった場合、音声・映像通信から文字通信に切替を行うことにより、コミュニケーションを保つことが可能となる。
【００３２】
受信部２００で受信された信号は、音声復号部２０１、文字復号部２０２、映像復号部２０８へ送られる。映像復号部２０８へ送られた信号は、復号され映像信号として出力される。加算器２０９には、文字復号部２０２からの出力信号と映像復号部２０８からの出力信号が入力される。加算器２０９では、入力された信号の合成を行い、文字情報と映像信号を合わせた映像信号を出力する。
【００３３】
表示部１０５は、例えば図９に示すような表示を行う。図９の表示例では、下部の文字表示部１４ａに文字復号部２０２で復号された文字情報を表示し、上部に映像表示部１３ａには映像復号部２０８で復号された映像情報を表示する。また、映像信号を復号できなかった場合には、例えば図１０に示すような表示を行う。
【００３４】
また、本実施形態では、音声信号と映像信号とともに、音声を文字として変換したデータを記録部１０６、２０５に記録することができる。これにより、文字をキーワードに検索することができるため、例えば会話やニュース配信等の音声を含む動画を容易に読み出し、再生することができる。
【００３５】
図1２は通信端末１から通信端末２へデータ送信した場合のシーケンス図である。まず文字Ｄ１ａと音声Ｄ１ｂと映像Ｄ１ｃのデータを通信端末１から通信端末２へ送信する。通信端末２は正常受信完了（Ｓ１）した時点で、通信端末１に受信成功通知（Ｓ２）を送信する。そして、通信端末２は、受信した音声と映像データの再生にかかる時間が経過したことを通知する再生タイマセット（Ｓ３）を行う。通信端末１は、通信端末２から受信成功通知（Ｓ２）を受信すると、次に送信する文字Ｄ２ａと音声Ｄ２ｂと映像Ｄ２ｃのデータを送信側通信端末１０から受信側通信端末１１へ送信する。送信の際に失敗が発生した場合（Ｓ４）、失敗が発生したデータ以降の再送が行い、通信端末１から通信端末２へ正常に受信完了する（Ｓ５）。その後、通信端末２から通信端末１に受信成功通知（Ｓ６）を送信し、再生タイマ再セット（Ｓ７）を行う。これにより文字、音声、映像が途絶えることなく送信することができる。
【００３６】
次に、送信する文字Ｄ３ａと音声Ｄ３ｂと映像Ｄ３ｃのデータを通信端末１から通信端末２へ送信する。通信環境が悪くなるとデータ送信が行いにくくなり、送信の失敗（Ｓ８）の頻度が高くなる。文字Ｄ３ａ、音声Ｄ３ｂ、映像Ｄ３ｃのすべてが通信端末１に到達する前に再生タイマタイムアウト（Ｓ９）がきた場合、通信端末２から通信端末１に受信失敗通知（Ｓ１０）を送信する。その際、文字Ｄ３ａのデータ受信が完了していなければ、文字Ｄ３ａの再送要求（Ｓ１１）を行い、送信側通信端末１０は文字Ｄ３ａのみを再送（Ｓ１２）を行う。
【００３７】
再生タイマタイムアウト（Ｓ９）は受信済みの音声Ｄ２ｂ、映像Ｄ２ｃの再生が終了し、再生するデータが枯渇したことを意味している。映像や音声を連続して再生を行う場合、常に再生するデータが存在する必要がある。つまり再生タイマタイムアウト（Ｓ９）が発生した時点で連続したリアルタイムな音声と映像によるコミュニケーションが途絶えることを意味する。しかし、文字通信の場合、しばらくしてから再度データ受信を行った場合にも、ユーザがすばやく文字を読み上げて行くことで一時的に欠落した時間を埋める事ができ、コミュニケーションが完全に途絶えることを防ぐことができる。
【００３８】
以上説明したように、本実施形態によれば、電波状態が悪い環境においても、文字によるコミュニケーションを併用することで、間欠的に音声や映像による通信不能な時間ができた場合においても、文字による通話内容を送受信することによってコミュニケーションを途絶えさせなくすることが可能となる。また、周囲騒音下においても、文字通信を用いることにより、コミュニケーションを補助することが可能となる。すなわち、通信状況が悪化した場合であっても、情報の送受信を行うことができる。
【００３９】
また、文字情報により通話内容を記録することができるため、音声通話内容を音声そのまま記録する場合に比べて少ないデータ量で保存することができる。保存したデータは文字であるため、検索や引用が容易であり、大量のデータを保存した際にも活用しやすい。
【００４０】
【発明の効果】
本発明によれば、使い勝手の良い通信端末およびこれを用いた通信システムを提供することができる。
【図面の簡単な説明】
【図１】通信システムの一実施形態を示す図である。
【図２】音声通信と文字通信の通信シーケンスを示す図である。
【図３】音声通信と文字通信の通信シーケンスを示す図である。
【図４】文字通信から音声通信への切替え表示の一例である。
【図５】通話記録の表示例である。
【図６】文字データと音声データの記録形式の一例である。
【図７】音声データの再生シーケンスを示す図である。
【図８】通信システムの一実施形態を示す図である。
【図９】受信データの表示例である。
【図１０】受信データの表示例である。
【図１１】文字と音声と映像のデータ量の一例を示す図である。
【図１２】データ送受信時のシーケンスを示す図である。
【符号の説明】
１、２  通信端末
１００  マイク
１０１  Ａ／Ｄ変換部
１０２  音声圧縮部
１０３  文字変換部
１０４  加算器
１０５  表示部
１０６、２０５  記録部
１０７  送信部
１０９  カメラ
１１０  映像圧縮部
２００  受信部
２０１  音声復号部
２０２  文字復号部
２０３  Ｄ／Ａ変換部
２０６  スピーカ
２０７  制御部
２０８  映像復号部
３  通信網
【図１】
2004194132.tif 000003
【図２】
2004194132.tif 000004
【図３】
2004194132.tif 000005
【図４】
2004194132.tif 000006
【図５】
2004194132.tif 000007
【図６】
2004194132.tif 000008
【図７】
2004194132.tif 000009
【図８】
2004194132.tif 000010
【図９】
2004194132.tif 000011
【図１０】
2004194132.tif 000012
【図１１】
2004194132.tif 000013
【図１２】
2004194132.tif 000014