(57)【要約】【課題】ユーザが携帯端末を操作する際の操作性を高める。【解決手段】サーバ３は、携帯端末１から操作情報や音声が受信されると、携帯端末１に表示される画像と同じ画像を表示し、オペレータにより用意された画像を携帯端末１に送信するのみでなく、オペレータが音声を発すると、オペレータにより発せられた音声をも携帯端末１に送信する。携帯端末１は、サーバ３から受信された画像を表示すると共に、サーバ３から受信された音声を出力する。オペレータは、ユーザが携帯端末１を操作する状況を想定しながら、ユーザの操作を適切に促すような指示を音声により行うことができ、ユーザは、サーバ３から受信された画像を見ると共に、オペレータが発した音声を聞きながら操作を行うことができる。【選択図】　図１
2004015196.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが端末を操作したり音声を発したことに応じて、操作の内容を表す操作情報や音声をサーバに送信する端末と、
端末から操作情報や音声が受信されたことに応じて、オペレータにより用意された画像を端末に送信するサーバとを備えてなる通信システムであって、
サーバは、端末に表示される画像と同じ画像を表示すると共に、オペレータにより発せられた音声を端末に送信するように構成され、
端末は、サーバから受信された画像を表示すると共に、サーバから受信された音声を出力するように構成されていることを特徴とする通信システム。
【請求項２】
請求項１に記載した通信システムにおいて、
端末は、自身の表示領域のサイズや通信速度などを表す端末能力をサーバに送信するように構成され、
サーバは、端末から受信された端末能力を解析することにより、端末に表示される画像と同じ画像を端末能力に基づいて表示すると共に、オペレータにより発せられた音声を端末能力に基づいて端末に送信するように構成されていることを特徴とする通信システム。
【請求項３】
請求項１または２に記載した通信システムにおいて、
端末およびサーバは、それぞれ表示領域を区画化した状態で画像を表示するように構成されていることを特徴とする通信システム。
【請求項４】
ユーザが端末を操作したり音声を発したことに応じて、操作の内容を表す操作情報や音声をサーバに送信する端末と、
端末から操作情報や音声が受信されたことに応じて、受信された操作情報を解析することにより、または、受信された音声に対して音声認識を行うことにより、画像を用意して端末に送信するサーバとを備えてなる通信システムであって、
サーバは、端末から受信された操作情報を解析することにより、または、端末から受信された音声に対して音声認識を行うことにより、音声を用意して端末に送信するように構成され、
端末は、サーバから受信された画像を表示すると共に、サーバから受信された音声を出力するように構成されていることを特徴とする通信システム。
【請求項５】
端末が、ユーザが端末を操作したり音声を発したことに応じて、操作の内容を表す操作情報や音声をサーバに送信し、
サーバが、端末から操作情報や音声が受信されたことに応じて、オペレータにより用意された画像を端末に送信する通信サービス方法であって、
サーバが、端末に表示される画像と同じ画像を表示すると共に、オペレータにより発せられた音声を端末に送信し、
端末が、サーバから受信された画像を表示すると共に、サーバから受信された音声を出力することを特徴とする通信サービス方法。
【請求項６】
端末が、ユーザが端末を操作したり音声を発したことに応じて、操作の内容を表す操作情報や音声をサーバに送信し、
サーバが、端末から操作情報や音声が受信されたことに応じて、受信された操作情報を解析することにより、または、受信された音声に対して音声認識を行うことにより、画像を用意して端末に送信する通信サービス方法であって、
サーバが、端末から受信された操作情報を解析することにより、または、端末から受信された音声に対して音声認識を行うことにより、音声を用意して端末に送信し、
端末が、サーバから受信された画像を表示すると共に、サーバから受信された音声を出力することを特徴とする通信サービス方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば携帯端末などの端末がサーバから受信された画像を表示することにより、ユーザがサーバから受信された画像を見ながら例えば目的地の設定などを行うことが可能となる通信システムおよび通信サービス方法に関する。
【０００２】
【発明が解決しようとする課題】
近年、サーバが例えば携帯端末に画像を送信し、携帯端末がサーバから受信された画像を表示することにより、ユーザがサーバから受信された画像を見ながら例えば目的地の設定などを行うことが可能となる通信システムが実用化されつつある。
【０００３】
具体的には、ユーザが携帯端末にて目的地の設定を開始するための操作を行うと、携帯端末は、ユーザが行った操作の内容を表す操作情報をサーバに送信する。サーバは、携帯端末から操作情報が受信されると、その旨をオペレータに知らせ、オペレータは、ユーザが目的地を設定するために必要な画像（例えば地図など）を用意し、サーバは、このようにしてオペレータにより用意された画像を携帯端末に送信する。そして、携帯端末は、サーバから画像が受信されると、受信された画像を表示する。このような一連の処理によって、ユーザは、サーバから目的地を設定するために必要な画像を受信することができ、これ以降、サーバから受信された画像を見ながら所望の目的地を設定することができる。
【０００４】
しかしながら、このように、携帯端末がサーバから受信された画像を表示するだけでは、ユーザは、これ以降、表示される画像のみに頼って操作を行わなければならず、操作性に優れているとは言い難いものである。
【０００５】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザがサーバから受信された画像を見ながら例えば目的地の設定などを行うものにおいて、ユーザが端末を操作する際の操作性を高めることができる通信システムおよび通信サービス方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載した通信システムによれば、ユーザが端末を操作したり音声を発すると、端末は、操作の内容を表す操作情報や音声をサーバに送信する。サーバは、端末から操作情報や音声が受信されると、オペレータにより用意された画像を端末に送信する。このとき、サーバは、オペレータにより用意された画像を端末に送信するのみでなく、端末に表示される画像と同じ画像を表示し、オペレータが音声を発すると、オペレータにより発せられた音声をも端末に送信する。そして、端末は、サーバから画像および音声が受信されると、受信された画像を表示すると共に、受信された音声を出力する。
【０００７】
したがって、オペレータは、サーバが端末に表示される画像と同じ画像を表示するので、ユーザが見る画像と同じ画像を見ることができ、ユーザの立場で、つまり、ユーザが端末を操作する状況を想定しながら、ユーザの操作を適切に促すような指示を音声により行うことができる。また、ユーザは、端末がサーバから受信された画像を表示するのみでなく、端末がサーバから受信された音声を出力するので、サーバから受信された音声、つまり、オペレータが発した音声を聞くことにより、サーバから受信された画像を見ると共に、オペレータが発した音声を聞きながら例えば目的地を設定するための操作を行うことができる。これにより、ユーザが端末を操作する際の操作性を高めることができる。
【０００８】
請求項２に記載した通信システムによれば、端末は、自身の表示領域のサイズや通信速度などを表す端末能力をサーバに送信し、サーバは、端末から受信された端末能力を解析することにより、端末に表示される画像と同じ画像を端末能力に基づいて表示すると共に、オペレータにより発せられた音声を端末能力に基づいて端末に送信する。したがって、端末とサーバとの間の性能の相違を吸収する（調整を図る）ことにより、端末とサーバとの間の性能の相違が原因となって不具合が生じることを未然に回避することができる。
【０００９】
請求項３に記載した通信システムによれば、端末およびサーバは、それぞれ表示領域を区画化した状態で画像を表示する。したがって、ユーザやオペレータは、例えば地図上の任意の地点を指定するような場合に、区画化されたいずれかの表示領域を指定することにより、適切な操作を行うことができる。
【００１０】
請求項４に記載した通信システムによれば、ユーザが端末を操作したり音声を発すると、端末は、操作の内容を表す操作情報や音声をサーバに送信する。サーバは、端末から操作情報や音声が受信されると、受信された操作情報を解析することにより、または、受信された音声に対して音声認識を行うことにより、画像を用意して端末に送信する。このとき、サーバは、画像を端末に送信するのみでなく、端末から受信された操作情報を解析することにより、または、端末から受信された音声に対して音声認識を行うことにより、音声をも用意して端末に送信する。そして、端末は、サーバから画像および音声が受信されると、受信された画像を表示すると共に、受信された音声を出力する。
【００１１】
したがって、ユーザは、端末がサーバから受信された画像を表示するのみでなく、端末がサーバから受信された音声を出力するので、サーバから受信された音声、つまり、サーバが用意した音声を聞くことにより、サーバから受信された画像を見ると共に、サーバが用意した音声を聞きながら例えば目的地を設定するための操作を行うことができる。これにより、上記した請求項１に記載したものと同様にして、ユーザが端末を操作する際の操作性を高めることができる。
【００１２】
【発明の実施の形態】
（第１実施例）
以下、本発明の端末を携帯端末に適用した第１実施例について、図１ないし図７を参照して説明する。
まず、図１は、通信システムの全体構成を概略的に示している。携帯端末１は、ユーザが携帯可能な構造となっており、ユーザが携帯端末１にて操作を行うと、または、ユーザが音声を発すると、操作の内容を表す操作情報や音声を携帯電話網や固定電話網などの各種の電話網から構成される電話網２を通じてサーバ３に送信する。サーバ３は、例えばデスクトップ型のコンピュータ端末および周辺機器から構成されており、携帯端末１から操作情報や音声が受信されると、受信された操作情報を表示したり、受信された音声を出力して、その旨をオペレータに知らせる。
【００１３】
図２は、上記した携帯端末１の電気的な構成を機能ブロック図として示している。携帯端末１は、制御プログラム（本発明でいうコンピュータプログラム）を実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４、マイクロホン５、スピーカ６、音声インタフェース部７、データインタフェース部８、多重化部９、通信部１０、記憶部１１、操作部１２、表示部１３を備えて構成されている。
【００１４】
マイクロホン５は、ユーザにより発せられた音声を入力すると、入力された音声を音声インタフェース部７に出力し、音声インタフェース部７は、マイクロホン５から音声を入力すると、入力された音声を送信処理して多重化部９に出力する。多重化部９は、音声インタフェース部７から音声を入力すると共に、データインタフェース部８からデータを入力すると、それら入力された音声とデータとを多重化し、音声とデータとが多重化された送信信号を通信部１０に出力する。そして、通信部１０は、多重化部９から送信信号を入力すると、入力された送信信号を電波により送信する。
【００１５】
また、通信部１０は、音声とデータとが多重化された受信信号を電波により受信すると、受信された受信信号を多重化部９に出力する。多重化部９は、通信部１０から受信信号を入力すると、入力された受信信号から音声とデータとを抽出し、音声を音声インタフェース部７に出力すると共に、データをデータインタフェース部８に出力する。音声インタフェース部７は、多重化部９から音声を入力すると、入力された音声を受信処理してスピーカ６に出力し、そして、スピーカ６は、音声インタフェース部７から音声を入力すると、入力された音声を外部に出力する。
【００１６】
記憶部１１は、各種の情報を記憶可能に構成されている。操作部１２は、ユーザが操作するもので、幾つかのキー（ボタン）が配列されて構成されている。この場合、操作部１２は、表示部１３に表示されるタッチパネル形式のキーから構成されるものであっても良い。表示部１３は、サーバ３から受信された画像（例えば地図）などを表示する。
【００１７】
図３は、上記したサーバ３の電気的な構成を機能ブロック図として示している。サーバ３は、本体１４、オペレータにより発せられた音声を入力する音声入力装置１５、携帯端末１から受信された音声を出力する音声出力装置１６、オペレータが操作する操作装置１７、各種の情報を表示する表示装置１８、携帯端末１との間の通信処理を行う通信装置１９、各種の情報を記憶する記憶装置２０を備えて構成されている。
以上に説明した構成では、携帯端末１とサーバ３とは、音声とデータ（画像、操作情報など）とを同時に通信可能となっている。
【００１８】
次に、上記した構成の作用について、図４ないし図７を参照して説明する。尚、ここでは、一例として、ユーザが携帯端末１を操作して目的地を設定する場合を説明する。
【００１９】
携帯端末１は、ユーザが目的地の設定を開始するための操作を操作部１２にて行った旨を検出すると（図４中、ステップＳ１）、サーバ３との間で通信リンク（音声およびデータ）を通信部１０により確立し、目的地の設定の開始を要求すべくリクエスト信号を通信部１０から電話網３を通じてサーバ３に送信する。尚、この場合、携帯端末１は、リクエスト信号をサーバ３に送信すると共に、端末に固有の端末識別番号を通信部１０から電話網３を通じてサーバ３に送信する。
【００２０】
サーバ３は、携帯端末１からリクエスト信号および端末識別番号が通信装置１９により受信されると、受信された端末識別番号を解析し（図４中、ステップＴ１）、図５（ａ）に示すように、例えば「携帯端末（端末ＩＤ：ＮＮＮＮ）から目的地を設定する要求があります。応答しますか？」という表示メッセージを表示装置１８に表示する（図４中、ステップＴ２）。
【００２１】
さて、オペレータは、このようにして表示装置１８に表示された表示メッセージを確認すると、携帯端末１からの目的地の設定の要求に対して応答するか否かを選択する。ここで、サーバ３は、オペレータが携帯端末１からの目的地の設定の要求に対して応答するための操作を操作装置１７にて行った旨を検出すると（図４中、ステップＴ３）、目的地の設定の要求に対して応答すべくレスポンス信号を通信装置１９から電話網３を通じて携帯端末１に送信する。
【００２２】
次いで、携帯端末１は、サーバ３からレスポンス信号が通信部１０により受信されると、自身の表示領域のサイズや通信速度を表す端末能力を通信部１０から電話網３を通じてサーバ３に送信する。ここで、携帯端末１が端末能力をサーバ３に送信するのは、携帯端末１とサーバ３との間の性能の相違が原因となって不具合が生じることを未然に回避するためである。
【００２３】
サーバ３は、携帯端末１から端末能力が通信装置１９により受信されると、受信された端末能力を解析し（図４中、ステップＴ４）、携帯端末１との間の性能の相違を吸収する（調整を図る）。そして、サーバ３は、図５（ｂ）に示すように、携帯端末１（の表示部１３）の外観（Ｐ参照）の概略を表示装置１８に表示する（図４中、ステップＴ５）。これにより、オペレータは、これ以降、携帯端末１の表示部１３に表示される画像と同じ画像を見ることになる。
【００２４】
次いで、サーバ３は、オペレータが目的地を設定するために必要な画像を用意すると共に、用意された画像に適切な例えば「画像を表示します。領域を指定して下さい。」という音声を発した旨を検出すると（図４中、ステップＴ６）、図６に示すように、オペレータにより用意された画像を、表示領域を複数のブロック（図６では、Ａ１〜Ａ３、Ｂ１〜Ｂ３の６つのブロック）に区画化し、先に解析された端末能力に基づいて表示装置１８に表示すると共に、表示装置１８に表示された画像と同じ画像および音声入力装置１５により入力された例えば「画像を表示します。領域を指定して下さい。」という音声を、先に解析された端末能力に基づいて通信装置１９から電話網３を通じて携帯端末１に送信する。
【００２５】
携帯端末１は、サーバ３から画像および音声が通信部１０により受信されると、受信された画像を表示部１３に表示すると共に、受信された音声をスピーカ６から出力する（図４中、ステップＳ２）。これにより、ユーザは、サーバ３から受信された表示領域が複数のブロックに区画化された画像を見ると共に、サーバ３から受信された音声、つまり、オペレータが発した例えば「画像を表示します。領域を指定して下さい。」という音声を聞くことが可能となる。
【００２６】
ここで、ユーザは、このようにして表示部１３に表示された画像を確認すると共に、オペレータが発した音声を確認すると、オペレータからの指示にしたがって、いずれかの領域を指定する。携帯端末１は、ユーザがいずれかの領域を指定するための操作を操作部１２にて行った旨を検出すると（図４中、ステップＳ３）、ユーザが行った操作の内容を表す操作情報を通信部１０からサーバ３に送信する。
【００２７】
サーバ３は、携帯端末１から操作情報が通信装置１９により受信されると、受信された操作情報をオペレータに報知する（図４中、ステップＴ７）。そして、オペレータは、サーバ３から報知された操作情報に基づいて、次の画像を用意すると共に、用意された画像に適切な次の音声を発し、これ以降、上記した動作を繰返し、ユーザが目的地を設定する作業を支援する。尚、図７は、一例としてユーザが図６に示す地図にて例えば「Ａ２」の領域を指定した場合を示している。そして、詳しくは説明しないが、これ以降、ユーザやオペレータの操作に応じて、これと同様にして、携帯端末１の表示部１３およびサーバ３の表示装置１８に表示される画像が例えば広域な地図の画像から詳細な地図の画像に順次更新されていくことになる。
【００２８】
以上のようにして、オペレータは、ユーザが見る画像と同じ画像を見ることができ、ユーザは、サーバから受信された画像を見ると共に、オペレータが発した音声を聞きながら目的地を設定するための操作を行うことができる。
【００２９】
ところで、以上は、ユーザが領域を指定するのに操作部１２にて操作する場合を説明したものであるが、ユーザが音声を発することにより領域を指定することが可能となる構成であっても良い。また、以上は、ユーザがサーバ３から受信された画像に基づいて目的地を設定する場合を説明したものであるが、例えばユーザが現在位置から目的地に至るまでの経路を検索する場合や、電子メールを閲覧する場合や、情報検索を行う場合などでも、サーバ３から受信された画像を見ると共に、オペレータが発した音声を聞きながら、ユーザがそれらの操作を行うことが可能となる構成であっても良い。
【００３０】
以上に説明したように第１実施例によれば、サーバ３は、携帯端末１から操作情報や音声が受信されると、オペレータにより用意された画像を携帯端末１に送信するのみでなく、携帯端末１に表示される画像と同じ画像を表示すると共に、オペレータにより発せられた音声をも携帯端末１に送信し、携帯端末１は、サーバ３から画像および音声が受信されると、受信された画像を表示すると共に、受信された音声を出力するように構成した。
【００３１】
したがって、オペレータは、サーバ３が携帯端末１に表示される画像と同じ画像を表示するので、ユーザが見る画像と同じ画像を見ることができ、ユーザの立場で、つまり、ユーザが携帯端末１を操作する状況を想定しながら、ユーザの操作を適切に促すような指示を音声により行うことができる。また、ユーザは、携帯端末１がサーバから受信された画像を表示するのみでなく、携帯端末１がサーバ３から受信された音声をも出力するので、サーバ３から受信された音声、つまり、オペレータが発した音声を聞くことにより、サーバ３から受信された画像を見ると共に、オペレータが発した音声を聞きながら目的地を設定するための操作を行うことができる。これにより、ユーザが携帯端末１を操作する際の操作性を高めることができる。
【００３２】
また、サーバ３は、携帯端末１から受信された端末能力を解析することにより、携帯端末１に表示される画像と同じ画像を端末能力に基づいて表示すると共に、オペレータにより発せられた音声を端末能力に基づいて携帯端末１に送信するように構成したので、携帯端末１とサーバ３との間の性能の相違を吸収する（調整を図る）ことにより、携帯端末１とサーバ３との間の性能の相違が原因となって不具合が生じることを未然に回避することができる。
【００３３】
さらに、携帯端末１およびサーバ３は、それぞれ表示領域を区画化した状態で画像を表示するように構成したので、ユーザやオペレータは、例えば地図上の任意の地点を指定するような場合に、区画化されたいずれかの表示領域を指定することにより、適切な操作を行うことができる。
【００３４】
（第２実施例）
次に、本発明の第２実施例について、図８を参照して説明する。尚、上記した第１実施例と同じ部分については説明を省略し、異なる部分について説明する。上記した第１実施例は、オペレータが配置されていることにより、オペレータが携帯端末１から受信された操作情報や音声に対して対応するように構成されているものであるが、これに対して、この第２実施例は、第１実施例で説明したオペレータが行う処理をサーバが行うことにより、サーバがオペレータに代わって携帯端末１から受信された操作情報や音声に対して対応するように構成されている。
【００３５】
すなわち、サーバ２１は、上記した第１実施例で説明したサーバ３とは異なって、携帯端末１から受信された操作情報を自動的に認識する操作認識機能や、携帯端末１から受信された音声を自動的に認識する音声認識機能を有しており、携帯端末１から操作情報や音声が受信されると、受信された操作情報を解析することにより、または、受信された音声に対して音声認識を行うことにより、画像および音声を用意して携帯端末１に送信するように構成されている。
【００３６】
以上に説明したように第２実施例によれば、サーバ２１は、操作認識機能や音声認識機能を有し、携帯端末１から操作情報や音声が受信されると、受信された操作情報を解析することにより、または、受信された音声に対して音声認識を行うことにより、画像を用意して携帯端末１に送信するのみでなく、音声をも用意して携帯端末１に送信するように構成した。
【００３７】
したがって、ユーザは、携帯端末１がサーバ２１から受信された画像を表示するのみでなく、携帯端末１がサーバ２１から受信された音声を出力するので、サーバ２１から受信された音声、つまり、サーバ２１が用意した音声を聞くことにより、サーバ２１から受信された画像を見ると共に、サーバ２１が用意した音声を聞きながら目的地を設定するための操作を行うことができる。これにより、上記した第１実施例に記載したものと同様にして、ユーザが携帯端末１を操作する際の操作性を高めることができる。
【００３８】
（その他の実施例）
本発明は、上記した実施例にのみ限定されるものではなく、以下のように変形または拡張することができる。
端末は、携帯端末に限らず、携帯電話機や、自動車に搭載される車載端末であっても良い。
オペレータが携帯端末から受信された操作情報や音声に対して対応する期間と、サーバが音声認識機能を働かせることにより、サーバが携帯端末から受信された操作情報や音声に対して対応する期間とが混在し、それらが選択可能な構成であっても良い。
ユーザやオペレータが領域を指定する手順として、例えばタッチペンで操作する（マーキングする）などの他の方法が採用される構成であっても良い。
【図面の簡単な説明】
【図１】本発明の第１実施例の全体構成を概略的に示す図
【図２】携帯端末の電気的な構成を示す機能ブロック図
【図３】サーバの電気的な構成を示す機能ブロック図
【図４】処理の流れを概略的に示す図
【図５】サーバにおける表示の一例を示す図
【図６】携帯端末およびサーバにおける表示の一例を示す図
【図７】図６相当図
【図８】本発明の第２実施例の全体構成を概略的に示す図
【符号の説明】
図面中、１は携帯端末（端末）、３はサーバ、２１はサーバである。
【図１】
2004015196.tif 000003
【図２】
2004015196.tif 000004
【図３】
2004015196.tif 000005
【図４】
2004015196.tif 000006
【図５】
2004015196.tif 000007
【図６】
2004015196.tif 000008
【図７】
2004015196.tif 000009
【図８】
2004015196.tif 000010