(57)【要約】【課題】発言者をリアルタイムで迅速に特定することで、スムーズな複数人通話を実現する携帯端末装置及びシステムを提供する。【解決手段】本発明は、パケットデータを受信し、符号化された音声データ、ユーザ識別情報及びユーザ位置情報を転送するデータ受信部１と、ユーザ識別情報とユーザ位置情報を対応付けて管理するユーザ位置管理部４と、符号化された音声データを復号する音声復号部６と、ユーザ位置管理部４を参照し、ユーザ識別情報及びユーザ位置情報に基づいてユーザの音声の方向を割り振り、当該方向の情報に基づいて指向性を加味して復号後の音声データを加工する音声加工部７と、加工後の音声データを再生出力する音声再生部８とを具備する携帯端末装置である。【選択図】      図１
2008067078.tif 000002
【特許請求の範囲】
【請求項１】
パケットデータを受信し、当該パケットデータに含まれる符号化された音声データ、ユーザ識別情報及びユーザ位置情報を少なくとも転送するデータ受信手段と、
上記ユーザ識別情報と上記ユーザ位置情報を対応付けて管理するユーザ位置管理手段と、
上記符号化された音声データを復号する音声復号手段と、
上記ユーザ位置管理手段を参照し、ユーザ識別情報及びユーザ位置情報に基づいて、ユーザの音声の方向を割り振り、当該方向の情報に基づいて指向性を加味して復号後の音声データを加工する音声加工手段と、
上記加工後の音声データを再生する音声再生手段と、
を具備することを特徴とする携帯端末装置。
【請求項２】
上記ユーザ位置情報に基づいて自装置の位置との相対的な位置関係を判定するユーザ位置判定手段を更に有し、上記音声加工手段は、この判定された相対的な位置関係に基づいて復号後の音声データを加工することを特徴とする請求項１に記載の携帯端末装置。
【請求項３】
パケットデータを受信し、当該パケットデータに含まれる符号化された映像データ、ユーザ識別情報を少なくとも転送するデータ受信手段と、
上記ユーザ識別情報とユーザ状態情報を対応付けて管理するユーザ状態管理手段と、
上記符号化された映像データを復号する映像復号手段と、
上記ユーザ状態管理手段からユーザ状態情報を受けて、当該ユーザ状態情報に基づいて復号後の映像データを加工する映像加工手段と、
上記加工後の映像データを再生する映像再生手段と、
を具備し、上記映像加工手段による加工とは、映像の表示領域及び表示サイズの少なくともいずれかの調整を含む、ことを特徴とする携帯端末装置。  
【請求項４】
上記パケットデータにユーザ位置情報が含まれている場合には、上記映像加工手段は当該ユーザ位置情報に基づいて映像の表示領域を調整することを更に特徴とする、請求項３に記載の携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数話者での通話に対応した携帯端末装置に関する。
【背景技術】
【０００２】
従来、複数の携帯端末装置を用いて複数話者による通話を行うことは実現されている。
【０００３】
例えばパーティーコールやＰｏＣの如く複数人での通話を可能とするサービスも存在するが、誰が発言しているについては、基本的には話者の声色で判断するしかなく、携帯電話機等での音声符号化により多少なりとも歪んだ音声等では話者の特定が難しい。この点に鑑みて、ＰｏＣサービス等では、画面上に現在の話者名を表示可能としている。
【０００４】
また、テレビ電話会議等でも、複数人の参加者により通話を行う場合がある。通常、全参加者の顔画像を画面上に配置し表示を行う。尚、このテレビ会議において、発言者を特定するための技術としては、例えば特許文献１に、テレビ会議などで発言者の表情を大きくして見せたりする技術が開示されている（同文献１の段落［００３７］参照）。
【特許文献１】特開２００１−３１３９１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＰｏＣサービス等で画面上に現在の話者名を表示しても、ユーザが画面を見ながら話すケースは、例えばスピーカーから音声を出している場合や、イヤホンマイクで通話している場合であり、通常の使用態様、つまり、通常の耳に携帯電話を当てた状態での通話では、画面上の情報を見ることができず、役に立たない。
【０００６】
また、仮に画面を見ることができる状態であっても、画面を注視しながらの通話はユーザが通話に集中するのを妨げてしまうので、問題がある。
【０００７】
一方、テレビ会議等で、全ての参加者の顔画像を画面上に表示すると、携帯端末装置の小さい表示画面上では各画像が小さくなり、見え難くなるといった欠点がある。
【０００８】
また、テレビ会議等では、全話者の映像情報が全ての端末に配信されるが、携帯端末装置のように通信帯域が限られている場合には、ＰｏＣサービス等を使い、話者だけの映像情報を各端末に配信し、それ以外の発言していない参加者の映像情報を送らないようにする等といった方式も存在する。しかし、このようなサービスでは、逆に発言者の情報だけが表示され、その他の参加者を把握する手段が存在しない。また、単純に話者だけが画面上に表示されるシステムでは、例えば、話者が変更になったり、参加者が退席したりした場合にユーザが明確にそれらの状況を認識できない。
【０００９】
本発明の目的とするところは、発言者をリアルタイムで迅速に特定することで、円滑な複数人通話を実現することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の観点によれば、パケットデータを受信し、当該パケットデータに含まれる符号化された音声データ、ユーザ識別情報及びユーザ位置情報を少なくとも転送するデータ受信手段と、上記ユーザ識別情報と上記ユーザ位置情報を対応付けて管理するユーザ位置管理手段と、上記符号化された音声データを復号する音声復号手段と、上記ユーザ位置管理部を参照し、ユーザ識別情報及びユーザ位置情報に基づいて、ユーザの音声の方向を割り振り、当該方向の情報に基づいて指向性を加味して復号後の音声データを加工する音声加工手段と、上記加工後の音声データを再生出力する音声再生手段と、を具備することを特徴とする携帯端末装置が提供される。
【００１１】
本発明の第２の観点によれば、パケットデータを受信し、当該パケットデータに含まれる符号化された映像データ、ユーザ識別情報を少なくとも転送するデータ受信手段と、上記ユーザ識別情報とユーザ状態情報を対応付けて管理するユーザ状態管理手段と、上記符号化された映像データを復号する映像復号手段と、上記ユーザ状態管理手段からユーザ状態情報を受けて、当該ユーザ状態情報に基づいて復号後の映像データを加工する映像加工手段と、上記加工後の映像データを再生する映像再生手段と、を具備し、上記映像加工手段による加工とは、映像の表示領域及び表示サイズの少なくともいずれかの調整を含む、ことを特徴とする携帯端末装置が提供される。  
【発明の効果】
【００１２】
本発明によれば、発言者をリアルタイムで迅速に特定することで、円滑な複数人通話を実現する携帯端末装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１４】
（第１の実施の形態）
本発明の第１の実施の形態に係る携帯端末装置は、複数人で通話している場合に、音声だけで誰が発言しているかをリアルタイムで特定できる仕組みを提供するものである。即ち、より詳細には、通話している各ユーザの携帯端末装置に対して、音声の方向を割り振り、発言者に割り振った方向から音声が聞こえてくるように指向性を加味して音声を加工し、再生するものである。以下、これをふまえて詳述する。
【００１５】
図１には本発明の第１の実施の形態に係る携帯端末装置の構成を示し説明する。
【００１６】
この図１に示されるように、この実施の形態に係る携帯端末装置は、複数人で通話している場合において、各ユーザの携帯端末装置に対して、音声の方向を割り振り、受信した音声データに対して指向性を加味した加工を加えて再生するものであり、そのための構成要素としては、データ受信部１、ユーザ識別部２、ユーザ位置判定部３、ユーザ位置管理部４、選択部５、音声復号部６、音声加工部７、そして音声再生部８を有している。
【００１７】
尚、この図１の構成では、ユーザ位置情報が通信元の携帯端末装置より転送される例を示したが、図２に示されるように、携帯端末装置のユーザ位置判定部３自身が、ユーザ位置情報を判定し、その結果をユーザ位置管理部４に格納してもよい。また、ユーザ位置判定部３が、ユーザ位置情報と自装置との相対的な位置関係を判定し、当該相対的な位置関係に係る情報をユーザ位置情報に換えてユーザ位置管理部４に転送してもよい。
【００１８】
以下、図３のフローチャートを参照して、本発明の第１の実施の形態に係る携帯端末装置による音声データに指向性を付加し出力する処理手順を詳細に説明する。
【００１９】
データ受信部１がパケットデータを受信すると（ステップＳ１）、データ受信部１は、当該パケットデータを分析し、そのボディ部に含まれるユーザ識別情報をユーザ識別部２に転送し、ユーザ位置情報をユーザ位置判定部３に転送し、符号化された音声データを音声復号部６に転送する。なお、このユーザ位置情報とは、相手の携帯端末装置がＧＰＳ機能を利用して取得した位置情報や、相手の携帯端末装置が接続している基地局の位置情報などである。ユーザ識別部２は、ユーザ識別情報をユーザ位置管理部４に転送する（ステップＳ２）。ユーザ識別部２は、転送されてきた情報が送信元のユーザの携帯端末装置の送信元アドレスである場合には、不図示のアドレス帳などを参照することで当該送信元アドレスに対応するユーザを特定し、ユーザ識別情報として転送する。
【００２０】
ユーザ位置判定部３は、ユーザ位置情報をユーザ位置管理部４に転送する（ステップＳ３）。或いは、ユーザ位置判定部３は、転送されてきたユーザ位置情報と自装置との相対的な位置関係を判定し、当該判定結果をユーザ位置情報として転送してもよい。
【００２１】
ユーザ位置管理部４では、ユーザ識別情報とユーザ位置情報を対応付けて管理する（ステップＳ４）。音声復号部６は、符号化された音声データを復号する（ステップＳ５）。そして、音声化後部７は、ユーザ位置管理部４を参照し、ユーザの音声の方向を割り振り当該方向の情報に基づいて指向性を加味して音声復号部６による復号後の音声データを加工する（ステップＳ６）。尚、選択部５による操作入力があった場合、上記加工に際して当該操作入力による指示に従う。こうして、音声再生部８は、この加工後の音声データを再生出力し（ステップＳ７）、一連の処理を終了することとなる。
【００２２】
ここで、上記音声加工部７で、音声データに指向性を付加する処理のバリエーションについて更に詳細に説明する。このバリエーションには、例えば、以下のものがある。
【００２３】
（１）  全参加者に対し、参加順、乱数によりユーザの音声の方向を割り振る。
【００２４】
その場合には、３６０度の全方位で割り振る方法と、１８０度などの一部の角度だけで割り振る方法とが考えられる。後者は、後方から音声が聞こえてくることに対してユーザが違和感を覚える場合などに対処するものである。尚、音声に対する指向性の付加は、水平方向以外にも、垂直方向など、全周囲の方向で付加することも可能である。これらは音声加工部７が、参加順、乱数に基づいてユーザの音声の方向を割り振り、指向性を加味した加工を行なうことで実現される。例えば、音声再生部８がステレオ出力対応である場合には、一の音声出力を遅延回路により遅延させる、或いは減衰器などで減衰させる等することで、指向性を加味した加工が実現される。但し、これには限定されない。
【００２５】
（２）  ユーザの携帯端末装置で各参加者の位置を指定する。
【００２６】
セッション開始の都度指定する場合もあるが、事前にユーザの音声に方向を割り振ることで、同じグループで複数人通話する場合には、いつも同じユーザの声が同じ方向から聞こえてくるようにすることが可能である。この指定については、選択部５による操作入力をすることで簡易に行なうことができ、当該操作入力によって入力された指定位置情報は、ユーザ識別情報およびユーザ位置情報と対応付けられてユーザ位置管理部４に記憶される。尚、指定位置情報とは、指向性を加味した音声加工を行なうための情報をいう。従って、音声加工部７が、復号された音声の加工時に、当該ユーザ位置管理部４に問合せ、上記指定位置情報を読み出し、当該指定位置情報に基づいて加工を行えばよい。
【００２７】
（３）  各参加者のユーザ位置情報から割り当てる。
【００２８】
セッション開始時等に、各ユーザの携帯端末装置がグループ内の他のユーザにユーザ位置情報を送信する。このユーザ位置情報と、自身のユーザ位置情報との相対的な関係から各参加者の方向を決め、これに基づいて、音声に指向性を付加する。
【００２９】
ここで、例えば、SIP INVITEのリクエスト或いはレスポンスメッセージ中に、以下のような位置情報を記述することで、他者に対し位置情報の提供を可能とする。
【００３０】
User/Location: sign_of_latitude=”North”, latitude=”35.40”
Longitude=”139.46”,direction_of_altitude=”height，altitude=”0”
このSIP INVITEを用いて通知ができない場合は、ACK、PRACK中に記述することも可能である。さらに、これらのメッセージも利用できない場合、OPTIONSを用いて位置情報を通信相手に自発的に通知することも可能である。
【００３１】
或いは、ユーザと各参加者の距離情報を利用することで、距離が遠い場合には、音を少し小さくしたり、遅延を付加したり、ノイズを重畳したりすることで臨場感を付加することも可能である。この距離情報の他に、位置情報と地図情報や移動速度等の情報から、都市部又は寒村部、屋外又は屋内、地上又は地下、歩行中又は電車や車での移動中、といった判定を行い、これらの判定結果に基づき、音声に対し指向性や加工(ノイズ、背景音、効果音等)を行うこととしてもよい。さらに、位置情報を最初だけ取得し方向の決定に利用する場合だけでなく、位置情報の時間変化により方向や加工を変化させてもよい。
【００３２】
（４）  非常に多くの人数で会話するときは、ある一部の参加者にだけ、指向性を加味する。多人数で会話する場合、全ての参加者に対し均等に方位を割り振ると、参加者間で方向が近接してしまい、識別が難しくなる場合が考えられる。その場合には、ある特定の参加者のみに対し、指向性を付加し、その他の参加者については、指向性を付加しないまたはその他の参加者全員を同じ方向に割り当てる等の処理をすることで対応する。
【００３３】
このような特定の参加者の選択設定は、選択部５を操作することで簡易に行うことが可能である。この選択部５の操作による他、特定の参加者を選別する方式として、通話の回数が多いユーザを自動的に割り振る、過去の通話で発言が多かったユーザに対し割り振るなどの選定方法が挙げられる。また、最初は全員指向性を加味せずに通話し、会話の中で発言が多いユーザに対し、指向性を付加していくなどの動的な対応も考えられる。
【００３４】
（５）  携帯端末装置側で方向の決定、音声への指向性やその他の加工の重畳だけでなく、不図示のサーバ側や相手側端末装置での処理を行なう。この場合には、ステレオ音声で伝送できる場合などは、指向性の付加なども可能であり、モノラルの場合、音量の大小やノイズや効果音の付加などは可能である。
【００３５】
以上説明したように、本発明の第１の実施の形態によれば、複数人で通話を行う場合に現在の発言者が誰であるのかを分かり易くすることができ、迅速な話者の特定によりスムーズな通話が可能な状況を提供することが可能となる。
【００３６】
尚、ユーザが条件を指定して、再生音声を変更できるようにすることも可能である。例えば、距離が遠い場合は、音量を小さく、距離が近い場合は、再生音量を大きくするといった設定をユーザが予め設定しておくことも可能である。
【００３７】
また、再生装置としては、指向性を持った音の再生の場合、基本的には複数のスピーカーやイヤホンによる擬似ステレオ再生で行うことを想定する。この他に、擬似サラウンドを実現するスピーカーやイヤホンなどによる再生で対応することも可能である。その際はスピーカーやイヤホンの数は複数である必要はない場合がある。
【００３８】
（第２の実施の形態）
本発明の第２の実施の形態に係る携帯端末装置は、再生時点でデータを取得できていない参加者に対しては、それ以前に取得できた該参加者の映像データを使い表示を行うものである。その際、現時点の発言者に対し、表示領域を小さくする、モノクロ映像にする等の加工を加えることで、発言者との区別を明確にする。以下、詳述する。
【００３９】
図４には本発明の第２の実施の形態に係る携帯端末装置の構成を示し説明する。
【００４０】
この図４に示されるように、この実施の形態に係る携帯端末装置は、複数人で通話している場合に、各ユーザの表示を工夫して行うことで、現在の発言者が誰かを明確化し、円滑な複数人通話を実現するものであり、その構成要素としては、データ受信部１１、ユーザ識別部１２、ユーザ状態管理部１３、ユーザ情報格納部１４、映像復号部１５、映像加工部１６、そして映像再生部１７を有している。
【００４１】
上記パケットデータにユーザ位置情報が含まれている場合には、上記映像加工部１６は当該ユーザ位置情報に基づいて映像の表示領域を調整する。
【００４２】
このような構成による表示の様子は図５（ａ）乃至（ｃ）に示される通りである。
【００４３】
図５（ａ）は通常の表示を示しており、図５（ｂ）は現在の発言者を拡大表示することで強調して表示した例を示しており、図５（ｃ）は現在の発言者（複数人：ここでは２名を想定）を拡大表示することで強調して表示した例を示している。
【００４４】
以下、図６のフローチャートを参照して、本発明の第２の実施の形態に係る携帯端末装置による音声データに指向性を付加し出力する処理手順を詳細に説明する。
【００４５】
データ受信部１がパケットデータを受信すると（ステップＳ１１）、当該パケットデータのボディ部に含まれるユーザ識別情報は、ユーザ識別部１２に転送される。ユーザ識別部２は、ユーザ識別情報をユーザ状態管理部１３に転送する（ステップＳ１２）。
【００４６】
続いて、ユーザ状態管理部１３は、ユーザの状態（発言中であるかなど）を判断し、その判断結果をユーザ状態情報とし、ユーザ識別情報とユーザ状態情報とを対応付けてユーザ情報格納部１４に格納し、適宜読み出すことで、このユーザ識別情報とユーザ状態情報とをユーザ情報として管理する（ステップＳ１３，Ｓ１４）。一方、映像復号部１５は、符号化された映像データを復号する（ステップＳ１５）。そして、映像加工部１６は、ユーザ状態管理部１３からユーザ状態情報を受けて、当該ユーザ状態情報に基づいて復号後の映像データを加工する（ステップＳ１６）。こうして、映像再生部１７は、この加工後の映像データを再生出力し（ステップＳ１７）、一連の処理を終了することとなる。
【００４７】
上記ユーザ状態情報は、あるタイミングにおいて発言をしているか否かなどの情報であり、時系列的な流れの中で適宜更新される。各タイミングでの映像データは、映像加工部１６内の不図示のバッファに格納されているので、上記ユーザ状態情報に対応する過去の映像データは、適宜読み出し、加工し、再生することができるようになっている。
【００４８】
ここで、上記音声加工部１６のユーザ状態情報に基づいて映像データを加工する処理のバリエーションについて説明する。このバリエーションには、以下のものがある。
【００４９】
（１）  非発言者の表示は蓄積されたユーザ状態情報に基づいて行う。
【００５０】
即ち、各参加者に対し過去のユーザ状態情報をユーザ情報格納部１４に一定期間保有することで、話者以外の非話者についても、過去に取得したユーザ状態情報を用いて対応するバッファされた映像データを読み出し、適宜表示することができる。この表示は、静止画、当該静止画の時系列的な束としての動画像の表示を含む。さらに、静止画を用いる場合には、最後にバッファに保持した映像データを利用する方式と、途中の映像を用いる方式とがである。後者の途中の映像を利用する場合、人物が正面で撮影されている画像、口を閉じている画像、目を開いている画像など種々の条件により適宜選択を行うことで、違和感の無い映像を自動選択し、表示する方式を用いることができる。このほか、セッション参加時に各参加者が自分の表示用の映像データを伝送することで無発言時にデフォルトで当該表示用の映像データに基づき画像を表示することもできる。
【００５１】
（２）  発言者を感覚的に把握するため、発言者に応じて表示位置を変更する。
【００５２】
即ち、発言者の映像の画面内での表示位置を参加者毎に設定する。例えば、Ａさんは画面左上、Ｂさんは画面右上等如くである。これにより、Ａさんが、発言した場合には、必ず左上の位置に表示するようにすることで、内容を見なくても、画面の現れた位置だけでＡさんが発言していることをユーザが認識できるようにする。
【００５３】
さらに、ＰｏＣのように、ただ１人だけが同時に通話するアプリケーションの場合であっても表示位置を変える方式をとる事が可能である。そして、このＰｏＣのようなアプリケーションの場合には、他の参加者の映像は（１）で示したように過去の映像を表示しておくようにすれば、画面上に空き領域ができないようにすることもできる。
【００５４】
また、表示位置だけでなく、画像の出現方法や消失方法等にエフェクトをかけることで更に明確に発言者の出現、変更、退席等をユーザに通知することもできる。例えば、Ａさんは左からスライドインし、Ｂさんは右からスライドインする等の如くである。その他には、話者が変更しただけでまだセッションに参加している間は、過去の映像が白黒で表示され、セッションから退席する際には、音や、スライドアウトしたり、チェッカーボードのようなエフェクトで画像が消えたり等の対応が可能である。
【００５５】
（３）  発言者以外の特定の人物に対しても、上記のような映像の表示方法を割り当てる。即ち、ユーザの知人や指定をした人物の映像を他者に比べ大きく表示したり、映す位置を指定ユーザに対し固定したり、加工を施し表示する。この指定方法としては、電話帳に登録されている参加者や、事前にユーザが登録していた参加者、ＴＶ会議中にユーザが明示的に指定した参加者、発言の多い参加者、発言したことのある参加者、等の条件に基づいて映像加工部１６が判断することが考えられる。或いは、外部のサーバや送信者側で指定することも可能である。例えば、サーバ側で予めある特定の参加者については、映像の大きさや映像の表示位置、加工方法を指定して、端末側に指示をしてもよい。
【００５６】
その他、サーバ側で事前に該参加者に適した加工を施した映像を再構築し、それを再符号化したデータを端末側に伝送する等も可能である。
【００５７】
（４）  カメラで取得された映像以外にも、アバターなどのキャラクタに対し同様の加工を施す。即ち、ユーザの映像の代わりにキャラクタが表示されている場合も同様に映像の大きさや表示位置等を固定したり、加工を施したりして表示する。
【００５８】
以上説明したように、本発明の第２の実施の形態に係る携帯端末装置によれば、テレビ会議などで複数人による通話を行う場合に、現在の発言者が誰かを分かり易くすることができ、迅速な話者の特定によりスムーズな通話が可能な状況を作ることができる。
【００５９】
尚、位置情報と連動し、自分の位置を画面上の特定位置に設定し(例えば、画面中央や画面下部)、通信相手を自分との相対な位置関係が明確となるように表示することも可能である。この場合には、第１の実施の形態で説明したようなユーザ位置判定部３を備えることになる。また、相手の位置の変化に応じ、近づいてくる場合は自分の位置に徐々に近づいてくるように表示位置を変更し、あるいは映像の表示サイズを近いほど大きく遠いほど小さく表示する等の変化をつけることで視覚的に距離感を出すことも可能である。また、表示位置や表示サイズの他に、画像に対しノイズを重畳したり、ぼかしなどのフィルタ処理を加えたり、モノクロ化したりといった加工を付加することも可能である。
【００６０】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施の形態に係る携帯端末装置の構成図である。
【図２】本発明の第１に実施の形態に係る携帯端末装置の改良図である。
【図３】本発明の第１の実施の形態に係る携帯端末装置の処理手順を示すフローチャートである。
【図４】本発明の第２の実施の形態に係る携帯端末装置の構成図である。
【図５】（ａ）乃至（ｃ）は、画面表示例を示す概念図である。
【図６】本発明の第２の実施の形態に係る携帯端末装置の処理手順を示すフローチャートである。
【符号の説明】
【００６２】
１…データ受信部、２…ユーザ識別部、３…ユーザ位置判定部、４…ユーザ位置管理部、５…選択部、６…音声復号部、７…音声加工部、８…音声再生部、１１…データ受信部、１２…ユーザ識別部、１３…ユーザ状態管理部、１４…ユーザ情報格納部、１５…音声復号部、１６…映像加工部、１７…映像再生部。
【図１】
2008067078.tif 000003
【図２】
2008067078.tif 000004
【図３】
2008067078.tif 000005
【図４】
2008067078.tif 000006
【図５】
2008067078.tif 000007
【図６】
2008067078.tif 000008