(57)【要約】  【構成】  サブカメラ２４ａおよびメインカメラ２４ｂは、内側に位置する話者および外側に位置する話者にそれぞれ割り当てられる。スピーカ２０ａおよびスピーカ２０ｂもまた、内側に位置する話者および外側に位置する話者にそれぞれ割り当てられる。ＣＰＵ３２は、マイク２２ａおよびマイク２２ｂの各々によって捉えられた音声に基づいて、内側に位置する話者および外側に位置する話者の中から発話者を特定する。無線回路３８は、特定された発話者に割り当てられたカメラによって撮影された画像信号を、通話相手に送信する。  【効果】３者間での快適に通話を行うことができる。【選択図】  図２
2006140596.tif 000002
【特許請求の範囲】
【請求項１】
複数の話者にそれぞれ割り当てられる複数のカメラ、
前記複数の話者にそれぞれ割り当てられる複数のマイク、
前記複数のマイクの各々によって捉えられた音声に基づいて前記複数の話者の中から発話者を特定する特定手段、および
前記複数のカメラのうち前記特定手段によって特定された発話者に割り当てられたカメラによって撮影された画像を通話相手に送信する送信手段を備える、通信端末。
【請求項２】
前記複数のカメラはお互いに異なる解像度を有し、
前記複数のカメラの各々によって撮影された被写界像の間の解像度のずれを抑制する抑制手段をさらに備える、請求項１記載の通信端末。
【請求項３】
筐体をさらに備え、
前記複数のカメラは前記筐体の一方主面に設けられる第１のカメラ、および前記筐体の他方主面に設けられる第２のカメラを含み、
前記複数のマイクは、前記筐体の一方主面に設けられる第１のマイク、および前記筐体の他方主面に設けられる第２のマイクを含む、請求項１または２記載の通信端末。
【請求項４】
前記通話相手の画像を表示するべく前期筐体の一方主面に設けられる第１の表示手段、および
前記通話相手の画像を表示するべく前記筐体の他方主面に設けられる第２の表示手段をさらに備える、請求項１ないし３のいずれかに記載の通信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、通信端末に関し、特にたとえば、ＴＶ電話機能を有する、通信端末に関する。
【背景技術】
【０００２】
従来のこの種の通信端末の一例が、特許文献１に開示されている。この従来技術は、通信状態の悪化によって低速のデータ通信速度しか得られない場合に、画像通信を停止して音声通信のみを行おうとするものである。
【特許文献１】特開２００４−１８０１０７号公報［H04N 5/225, H04M 1/02, 1/21］
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来技術では、話者を撮影するカメラは１つしか設けられていない。このため、３人以上で通話を行う場合に、１つのカメラを複数人の話者で共有する必要があり、快適な通話を妨げる可能性がある。
【０００４】
それゆえに、この発明の主たる目的は、ＴＶ電話機能を利用して３人以上の話者で快適に通話を行うことができる、通信端末を提供することである。
【課題を解決するための手段】
【０００５】
請求項１の発明に従う通信端末は、複数の話者にそれぞれ割り当てられる複数のカメラ、複数の話者にそれぞれ割り当てられる複数のマイク、複数のマイクの各々によって捉えられた音声に基づいて複数の話者の中から発話者を特定する特定手段、および複数のカメラのうち特定手段によって特定された発話者に割り当てられたカメラによって撮影された画像を通話相手に送信する送信手段を備える。
【０００６】
複数のカメラは、複数の話者にそれぞれ割り当てられる。複数のマイクもまた、複数の話者にそれぞれ割り当てられる。特定手段は、複数のマイクの各々によって捉えられた音声に基づいて、複数の話者の中から発話者を特定する。送信手段は、特定された発話者に割り当てられたカメラによって撮影された画像を、通話相手に送信する。
【０００７】
これによって、複数の話者のうち今回声を発した発話者の映像が、通話相手に送信される。したがって、３人以上の話者で快適に通話を行うことができる。
【０００８】
請求項２の発明に従う通信端末は、請求項１に従属し、複数のカメラはお互いに異なる解像度を有し、複数のカメラの各々によって撮影された被写界像の間の解像度のずれを抑制する抑制手段をさらに備える。これによって、相手方の通信端末に同程度の解像度の映像を送ることができる。
【０００９】
請求項３の発明に従う通信端末は、請求項１または２に従属し、筐体の一方主面に設けられる第１のカメラ、および筐体の他方主面に設けられる第２のカメラを含み、複数のマイクは、筐体の一方主面に設けられる第１のマイク、および筐体の他方主面に設けられる第２のマイクを含む。これによって、判別の精度が向上し、容易に対話者を捉えることができる。
【００１０】
請求項４の発明に従う通信端末は、請求項１ないし３に従属し、通話相手の画像を表示するべく筐体の一方主面に設けられる第１の表示手段、および通話相手の画像を表示するべく筐体の他方主面に設けられる第２の表示手段をさらに備える。これによって、通信端末の一方主面と異なる方角に位置する話者にも、映像を表示することができる。この結果、携帯端末の利便性が向上する。
【発明の効果】
【００１１】
この発明によれば、複数の話者のうち今回声を発した発話者の映像が、通話相手に送信される。したがって、３人以上の話者で快適に通話を行うことができる。
【００１２】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１３】
図１（Ａ）および図１（Ｂ）を参照して、この発明の一実施例である通信端末１０は、上部筐体１２および下部筐体１４を含む。上部筐体１２および下部筐体１４はヒンジ機構１６によって互いに連結され、開閉動作が可能である。なお、図１（Ａ）および図（Ｂ）は開状態を示し、図２（Ａ）および図２（Ｂ）は閉状態を示す。
【００１４】
通信端末１０を開いたときに露出する面つまり内面に注目すると、上部筐体１２にスピーカ２０ａ，サブカメラ２４ａおよびメインＬＣＤ２６ａが設けられ、下部筐体１４にマイク２２ａおよびキー操作部２８が設けられる。通信端末１０の開閉にかかわらず露出する面つまり外面に注目すると、上部筐体１２にマイク２２ｂ，メインカメラ２４ｂおよびサブＬＣＤ２６ｂが設けられ、下部筐体１４にスピーカ２０ｂが設けられる。
【００１５】
通信端末１０の内部構成を図３に示す。操作キー２８によってＴＶ電話のための発呼操作が行われると、ＣＰＵ３２は、信号処理回路４０，無線回路３８およびアンテナ１８を通して発呼信号を相手方の通信端末に送信する。これに対して、相手が着呼操作を行うと、ＴＶ電話可能状態になる。ＴＶ電話可能状態になると、ＣＰＵ３２は、スピーカ２０ｂ，マイク２２ｂ，メインカメラ２４ｂ，サブカメラ２４ａおよびサブＬＣＤ２６ｂを起動させる。なお、相手方の通信端末もＴＶ電話機能を有する。
【００１６】
ＴＶ電話可能状態となった後にマイク２２ａに音声が入力されると、この音声は、マイク２２ａによってアナログ信号である音声信号に変換される。変換された音声信号は、アンプ４６によって増幅され、ＡＤ／ＤＡ変換回路４２によってディジタル信号である音声データに変換される。変換された音声データは、信号処理回路４０によって符号化処理を施され、さらに無線回路３８によって変調処理を施される。無線回路３８によって生成された変調音声データは、アンテナ１８から発信される。また、マイク２２ｂに音声が入力されると、この音声は、マイク２２ｂによってアナログ信号である音声信号に変換される。変換された音声信号は、アンプ４４によって増幅され、ＡＤ／ＤＡ変換回路４２によってディジタル信号である音声データに変換される。変換された音声データは、信号処理回路４０によって符号化処理を施され、さらに無線回路３８によって変調処理を施される。無線回路３８によって生成された変調音声データは、アンテナ１８から発信される。
【００１７】
一方、相手方の通信端末から送られてきた変調音声データは、アンテナ１８によって受信され、無線回路３８によって復調処理を施されるとともに、信号処理４０によって復号処理を施される。信号処理回路４０によって復号された音声データは、ＡＤ／ＤＡ変換回路４２によってアナログ信号である音声信号に変換され、変換された音声信号は、アンプ４６を介して、スピーカ２０ａおよびスピーカ２０ｂから出力される。
【００１８】
ＣＰＵ３２によって起動されたサブカメラ２４ａは、図４（Ａ）に示す被写界像Ｘを撮影する。被写界像Ｘは、カメラ処理回路３４ａによってディジタル信号である動画像データに変換される。変換された動画像データは、ＣＰＵ３２を介してＬＣＤドライバ３６ａおよび無線回路３８に送られる。無線回路３８は、送られてきた動画像データに変調処理を施し、変調動画像データをアンテナ１８を介して相手方の通信端末に送信する。ＬＣＤドライバ３６ａは、送られてきた動画像データをＮＴＳＣ方式に従うコンポジットビデオ信号に変換する。変換されたコンポジット信号はメインＬＣＤ２６ａに与えられ、この結果、被写界のリアルタイム動画像（スルー画像）が子画面に表示される。
【００１９】
また、ＣＰＵ３２によって起動されたメインカメラ２４ｂは、図４（Ｂ）に示す被写界像Ｙを撮影する。被写界像Ｙは、カメラ処理回路３４ｂによってディジタル信号である動画像データに変換される。変換された動画像データは、ＣＰＵ３２を介してＬＣＤドライバ３６ｂおよび無線回路３８にそれぞれ送られる。無線回路３８は、送られてきた動画像データに変調処理を施し、変調動画像データをアンテナ１８を介して相手方の通信端末に送信する。ＬＣＤドライバ３６ｂは、送られてきた動画像データをＮＴＳＣ方式に従うコンポジットビデオ信号に変換する。変換されたコンポジット信号はサブＬＣＤ２６ｂに与えられ、この結果、被写界のリアルタイム動画像（スルー画像）が子画面に表示される。
【００２０】
一方、相手方の通信端末から送られてきた動画像データは、アンテナ１８によって受信され、無線回路３８によって復調処理を施される。復調処理を施された動画像データは、ＬＣＤドライバ３６ａおよびＬＣＤドライバ３６ｂの各々によってＮＴＳＣ方式に従うコンポジットビデオ信号に変換される。ＬＣＤドライバ３６ａによって変換されたコンポジット信号はメインＬＣＤ２６ａに与えられ、この結果、図４（Ａ）に示す被写界像ＺがメインＬＣＤ２６ａの親画面に表示される。また、ＬＣＤドライバ３６ｂによって変換されたコンポジット信号はサブＬＣＤ２６ｂに与えられ、この結果、図４（Ｂ）に示す被写界像ＺがサブＬＣＤ２６ｂの親画面に表示される。
【００２１】
なお、高解像度のメインカメラ２４ｂによって撮像された被写界の動画像データは、カメラ処理回路３４ｂによって間引き処理される。カメラ処理回路３４ｂは、間引き処理によってサブカメラ２４ａの解像度まで落とすことができる。この結果、メインＬＣＤ２６ａに表示される親画面および子画面とサブＬＣＤ２６ｂに表示される親画面と子画面とは、映像を均一に表示することができる。さらに、相手方に送られる映像の各々も、均一に表示することができる。これによって、話者の切り換わりに伴って変わる相手方の通信端末は、相手方に負担をかけない映像を表示することができる。
【００２２】
図５は、話者Ｐ１および話者Ｐ２が通信端末１０を利用して、通信端末を持つ話者Ｐ３とＴＶ電話をしている状態を示している。通信端末１０の外面から話者Ｐ２が通信端末１０に向かって話しかけると、話者Ｐ３の通信端末から出力される映像は、内側のサブカメラ２４ａから外側のメインカメラ２４ｂに切り換わる。また、通信端末１０の内面から話者Ｐ１側が通信端末１０に向かって話しかけると、話者Ｐ３の通信端末から出力される映像は、外側のメインカメラ２４ｂから内側のサブカメラ２４ａに切り換わる。なお、このようなカメラ切り換え動作は、後述するＣＰＵ３２のＴＶ電話タスクで詳しく説明する。
【００２３】
図４（Ａ）は、メインＬＣＤ２６ａに表示される映像を示している。メインＬＣＤ２６ａは、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、相手方の通信端末によって撮像された被写界像Ｚが表示され、子画面には、サブカメラ２４ａによって撮像された被写界像Ｘが表示される。なお、発話者が話者Ｐ１から話者Ｐ２に切り換わっても、メインＬＣＤ２６ａは、相手方の通信端末のカメラおよびサブカメラ２４ａによって撮影された映像を表示する。つまり、これまで撮像していた映像の対象は、話者の切り換わりによって切り換わることはない。
【００２４】
また、図４（Ｂ）は、サブＬＣＤ２６ｂに表示される映像を示している。サブＬＣＤ２６ｂもまた、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、相手方の通信端末によって撮像された被写界像Ｚが表示され、子画面には、サブカメラ２４ａによって撮像された被写界像Ｙが表示される。なお、発話者が話者Ｐ２から話者Ｐ１に切り換わっても、サブＬＣＤ２６ｂは、相手方の通信端末のカメラおよびサブカメラ２４ａによって撮影された映像をそれぞれ表示する。つまり、これまで撮像していた映像の対象は、話者の切り換わりによって切り換わることはない。
【００２５】
一方、図６（Ａ）は、発話者が話者Ｐ１のとき、相手方の通信端末の液晶モニタに表示される映像を示している。相手方の通信端末の液晶モニタもまた、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、携帯端末１０のサブカメラ２４ａによって撮像された被写界像Ｘが表示され、子画面には、相手方の通信端末のカメラによって撮像された被写界像Ｚが表示される。なお、発話者が話者Ｐ１から話者Ｐ２に切り換わった場合、親画面は、図６（Ａ）に示す被写界像Ｘから図６（Ｂ）に示す被写界像Ｙに切り換わる。
【００２６】
また、図６（Ｂ）は、発話者が話者Ｐ２のとき、相手方の通信端末の液晶モニタに表示される映像を示している。親画面には、携帯端末１０のメインカメラ２４ｂによって撮像された被写界像Ｙが表示され、子画面には、相手方の通信端末のカメラによって撮像された被写界像Ｚが表示される。なお、発話者が話者Ｐ２から話者Ｐ１に切り換わった場合、親画面は、図６（Ａ）に示す被写界像Ｘから図６（Ｂ）に示す被写界像Ｙに切り換わる。
【００２７】
このようにして相手方との間でＴＶ電話が行われている最中に、操作キー２８によってＴＶ電話終了操作が行われると、ＣＰＵ３２はＴＶ電話処理を終了する。先に相手方からＴＶ電話終了信号を受信した場合も、ＣＰＵ３２はＴＶ電話処理を終了する。
【００２８】
ＣＰＵ３２は、図７に示すＴＶ電話タスクを実行する。ＣＰＵ３２はμＩＴＲＯＮのようなマルチタスクＯＳの制御の下で、図示しない複数のタスクと並列してＴＶ電話タスクを実行する。なお、このようなタスクに対応する制御プログラムは、フラッシュメモリ３０に記憶される。
【００２９】
図７を参照して、ステップＳ１ではマイク２２ａに取り込まれる音声信号のレベルとマイク２２ｂに取り込まれる音声信号のレベルとを比較する。マイク２２ａの音声信号のレベルがマイク２２ｂの音声信号のレベル以上のき、ステップＳ３に進む。ステップＳ３では、相手方に送る被写界像を撮影するカメラとしてサブカメラ２４ａを選択する。ステップＳ３でサブカメラ２４ａへの切り換えが終了すると、ステップＳ７に進む。一方、マイク２２ｂの音声信号のレベルがマイク２２ａの音声信号のレベルより大きいとき、ステップＳ５に進む。ステップＳ５では、相手方に送る被写界像を撮影するカメラとしてメインカメラ２４ｂを選択する。ステップＳ５でメインカメラ２４ｂへの切り換えが終了すると、ステップＳ７に進む。
【００３０】
ステップＳ７では、ステップＳ３およびステップＳ５で選択されたカメラの映像を相手方にそれぞれ送信する。ステップＳ９では、操作キー２８によって、終了操作が選択されたか否か判断する。終了操作が行わなければ、ステップＳ１に戻る。終了操作が実行されると、ＴＶ電話処理を終了させる。
【００３１】
以上の説明から分かるように、サブカメラ２４ａおよびメインカメラ２４ｂは、話者Ｐ１および話者Ｐ２にそれぞれ割り当てられる。スピーカ２０ａおよびスピーカ２０ｂもまた、話者Ｐ１および話者Ｐ２にそれぞれ割り当てられる。ＣＰＵ３２は、マイク２２ａおよびマイク２２ｂの各々によって捉えられた音声に基づいて、話者Ｐ１および話者Ｐ２の中から発話者を特定する。無線回路３８は、特定された発話者に割り当てられたカメラによって撮影された画像信号を、話者Ｐ３に送信する。
【００３２】
これによって、話者Ｐ１および話者Ｐ２のうち今回声を発した発話者の映像が、話者Ｐ３に送信される。したがって、３人の話者で快適に通話を行うことができる。
【００３３】
なお、この実施例では、相手方の通信端末の液晶モニタが発信者側の画像を切り換えて親画面に表示し、相手方を常に子画面に表示する方法を示しているが、親画面および子画面に発信者側の話者Ｐ１および発信者側の話者Ｐ２をそれぞれ表示する方法に切り換えることも可能である。
【００３４】
また、この実施例では、話者Ｐ１と話者Ｐ２がそれぞれ交互に通信端末１０に話しかけることとしているが、両者が同時に話しかけた場合、ＣＰＵ３２は声量の大きい方を採用する方法を採ることも可能である。また、声量のみならず外音なども判断基準に用いることができる。
【００３５】
さらに、この実施例では、通信端末に構成される複数のカメラは、内面と外面とに位置しているが、内面に複数個もしくは外面に複数個設ける形体を採用してもよい。
【００３６】
また、この実施例では、通信端末にカメラ，スピーカ，ＬＣＤおよびマイクがそれぞれ構成されているが、通信端末に外部接続可能なそれぞれの機能を保持するサブカメラ，スピーカ，サブＬＣＤおよびサブマイクなどを設ける方法を採用してもよい。
【００３７】
さらに、この実施例では、メインＬＣＤ２６ａおよびサブＬＣＤ２６ｂに映像を映し続ける仕組みであるが、キー操作２８によるモード選択によって、内面のみ映像を表示する方法もしくは外面のみ映像を表示する方法を選択することも可能である。
【００３８】
また、この実施例では、ＴＶ電話機能を備える通信端末を想定しているが、通信機能の有するゲーム機，パーソナルコンピュータ，ＰＤＡ（Personal Digital Assistant）などもこの発明の通信端末の概念に含まれると言える。
【００３９】
さらに、この実施例では、それぞれの話者に向けて複数のマイクを設けているが、それぞれの話者が話しやすい通信端末の位置にマイクを設置する方法を採用してもよい。
【００４０】
また、この実施例では、通信端末１０の筐体を上部筐体１２および下部筐体１４と明記しているが、これに限らず、通信端末は１ないし２以上の筐体からなる構造を採用してもよい。
【００４１】
さらに、この実施例では、相手方に送信する映像をスピーカから聞こえる音声信号のレベルが大きい側に切り換える方法を採用しているが、これにかかわらず、相手方に送信する映像を固定する手段も有する。
【図面の簡単な説明】
【００４２】
【図１】（Ａ）はこの発明の一実施例の開状態を示す正面図であり、（Ｂ）はこの発明の一実施例の開状態を示す背面図である。
【図２】（Ａ）はこの発明の一実施例の閉状態を示す斜視図であり、（Ｂ）はこの発明の一実施例の閉状態を示す他の斜視図である。
【図３】図１実施例の内部構成の一例を示すブロック図である。
【図４】（Ａ）はこの発明の一実施例の動作の一部を示す図解図であり、（Ｂ）はこの発明の一実施例の動作の他の一部を示す図解図である。
【図５】図１実施例の使用状態の一例を示す図解図である。
【図６】（Ａ）はこの発明の一実施例の動作のその他の一部を示す図解図であり、（Ｂ）はこの発明の一実施例の動作のさらにその他の一部を示す図解図である。
【図７】図１実施例の動作の一部を示すフロー図である。
【符号の説明】
【００４３】
１０  …通信端末
１８  …アンテナ
２０ａ，２０ｂ  …スピーカ
２２ａ，２２ｂ  …マイク
２４ａ  …サブカメラ
２４ｂ  …メインカメラ
２６ａ  …メインＬＣＤ
２６ｂ  …サブＬＣＤ
３０  …フラッシュメモリ
３２  …ＣＰＵ
３４ａ，３４ｂ  …カメラ処理回路
３６ａ，３６ｂ  …ＬＣＤドライバ
３８  …無線回路
４０  …信号処理回路
【図１】
2006140596.tif 000003
【図２】
2006140596.tif 000004
【図３】
2006140596.tif 000005
【図４】
2006140596.tif 000006
【図５】
2006140596.tif 000007
【図６】
2006140596.tif 000008
【図７】
2006140596.tif 000009