(57)【要約】【課題】  無線リソースの効率利用が可能で、しかもユーザ体感通信品質も良好なＴＶ電話対応通信端末、ＴＶ電話対応通信システム及びＴＶ電話対応通信方法を提供する。【解決手段】  映像データを第１及び第２映像データに分割する分割手段１３と、第１映像データを第１通信回線を介して送信する第１送信手段１５と、第２映像データを第２通信回線を介して送信する第２送信手段１６を備える。第１通信回線を介して第１映像データを受信する第１受信手段２５と、第２通信回線を介して第２映像データを受信する第２受信手段と、受信した第１映像データ及び第２映像データを結合する結合手段２３を備える。【選択図】    図１
2005218000.tif 000002
【特許請求の範囲】
【請求項１】
映像データを送信する送信部と、映像データを受信する受信部と、を備えるＴＶ電話対応携帯端末において、
前記送信部は、
映像データを第１及び第２映像データに分割可能な分割手段と、
前記第１映像データを、通信レートが一定の第１通信回線を介して送信する第１送信手段と、
前記第２映像データを、送信されるデータ量に応じて通信レートが可変の第２通信回線を介して送信する第２送信手段と、
を備えて構成されている一方で、
前記受信部は、
前記第１通信回線を介して前記第１映像データを受信する第１受信手段と、
前記第２通信回線を介して前記第２映像データを受信する第２受信手段と、
前記第１受信手段により受信された第１映像データと、前記第２受信手段により受信された第２映像データと、を結合可能な結合手段と、
を備えて構成されていることを特徴とするＴＶ電話対応携帯端末。
【請求項２】
前記第１通信回線は、各ユーザに割り当てられる回線であり、
前記第２通信回線は、複数のユーザで共有される回線であることを特徴とする請求項１に記載のＴＶ電話対応携帯端末。
【請求項３】
前記分割手段は、映像データを第１及び第２映像データに分割するに際し、該第１及び第２映像データに対し、双方の照合に用いられる照合用データを付加する一方で、
前記結合手段は、前記照合用データを用いて、対応する第１及び第２映像データを判別し、該対応する第１及び第２映像データを相互に結合することを特徴とする請求項１又は２に記載のＴＶ電話対応携帯端末。
【請求項４】
前記照合用データは、タイムスタンプであり、
前記分割手段は、分割される第１及び第２映像データに対し、同一のタイムスタンプを付加し、
前記結合手段は、同一のタイムスタンプが付加された第１及び第２映像データを結合することを特徴とする請求項３に記載のＴＶ電話対応携帯端末。
【請求項５】
前記送信部は、映像データをエンコードする送信映像処理手段を更に備え、前記分割手段は、前記送信映像処理手段によりエンコードされた映像データを前記第１及び第２映像データに分割する一方で、
前記受信部は、前記結合手段により結合された映像データをデコードする受信映像処理手段を更に備えることを特徴とする請求項１乃至４のいずれか一項に記載のＴＶ電話対応携帯端末。
【請求項６】
前記送信部は、音声データを前記第１映像データと多重化して音声映像多重化データとする多重化処理手段を更に備え、前記第１送信手段は、前記多重化処理手段により多重化された音声映像多重化データを送信する一方で、
前記第１受信手段は、前記音声映像多重化データを受信し、前記受信部は、前記第１受信手段により受信された音声映像多重化データを逆多重化して音声データと前記第１映像データに分ける逆多重化処理手段を更に備えることを特徴とする請求項１乃至４のいずれか一項に記載のＴＶ電話対応携帯端末。
【請求項７】
前記送信部は、音声データをエンコードする送信音声処理手段と、映像データをエンコードする送信映像処理手段と、を更に備え、
前記分割手段は、前記送信映像処理手段によりエンコードされた映像データを前記第１及び第２映像データに分割し、
前記多重化処理手段は、前記第１映像データと、前記送信音声処理手段によりエンコードされた音声データと、を多重化して前記音声映像多重化データとする一方で、
前記受信部は、前記逆多重化処理手段による逆多重化によって分けられた音声データをデコードする受信音声処理手段と、
前記結合手段により結合された映像データをデコードする受信映像処理手段と、を更に備えることを特徴とする請求項６に記載のＴＶ電話対応携帯端末。
【請求項８】
前記分割手段は、映像データのデータ量が所定の閾値を越える場合に、該閾値に相当するデータ量の映像データは前記第１映像データとなり、残りの映像データは前記第２映像データとなるように、映像データの分割を行うことを特徴とする請求項１乃至７のいずれか一項に記載のＴＶ電話対応携帯端末。
【請求項９】
前記第２映像データのデータ量が所定の第１閾値を越える場合に、前記第２通信回線の通信レートを増大させる処理を行う通信レート増大手段を更に備えることを特徴とする請求項１乃至８のいずれか一項に記載のＴＶ電話対応携帯端末。
【請求項１０】
前記第２映像データのデータ量が所定の第２閾値に満たない場合に、前記第２通信回線の通信レートを減少させる処理を行う通信レート減少手段を更に備えることを特徴とする請求項１乃至９のいずれか一項に記載のＴＶ電話対応携帯端末。
【請求項１１】
前記送信映像処理部は、送信される映像データを、映像内に含まれるオブジェクト毎のデータに分割するとともに、該オブジェクト毎データの各々に表示優先順位を設定し、
前記分割手段は、前記オブジェクト毎データのうち、表示優先順位の高いオブジェクト毎データは前記第１映像データに含まれ、表示優先順位の低いオブジェクト毎データは前記第２映像データに含まれるように、映像データの分割を行うことを特徴とする請求項１乃至１０のいずれか一項に記載のＴＶ電話対応携帯端末。
【請求項１２】
請求項１乃至１１のいずれか一項に記載のＴＶ電話対応携帯端末による通信を可能とさせる通信システムであって、
前記第１通信回線と前記第２通信回線とを備えることを特徴とするＴＶ電話対応通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＴＶ電話対応携帯端末及び通信システムに関する。
【背景技術】
【０００２】
近年では、ＴＶ電話機能を備えた携帯電話機或いはその他の携帯端末がある（例えば、特許文献１参照）。このように携帯端末にＴＶ電話機能が付加されたことによって、音声だけでなく映像も用いた通話が可能になった。
【０００３】
ＴＶ電話通信の場合、音声情報に加えて映像情報も処理する必要があるため、従来の音声のみの通信に比べると、単位時間当たりの通信データ量が格段に大きい。
【０００４】
なお、ＴＶ電話通信における動画像は、前映像からの動きの差分の映像データを送信することにより実現している。このため差分データのデータ量は、動きの大きい場合には大きく、動きが小さい場合には小さくなる。
【０００５】
このため、ＴＶ電話中において通信されるデータ量は、常に一定という訳ではなく、被写体等の動きや音声の有無によって絶えずデータ量は変化する
【特許文献１】特開２００３−１２５４５１号公報（第２頁）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、現在の携帯端末におけるＴＶ電話通信では、無線回線として、各ユーザ個別の回線（例えばＵＤＩベアラを用いた無線回線などがある）が使用されている。
【０００７】
ＵＤＩベアラのようなユーザ個別無線回線は、ユーザ固有に割り与えられるため回線品質が安定している反面、ユーザ数に比例して無線リソースが減少する。
【０００８】
従って、大きな回線容量を必要とするＴＶ電話通信の需要が今後ますます高まるにつれ、無線システム容量が飽和し、無線リソースが枯渇してしまうことが予想される。
【０００９】
また、上述のＵＤＩベアラのようなユーザ個別無線回線を使用したＴＶ電話通信では、通常は通信品質を確保するために、通信データ量の変化には無関係な固定レートの伝送を行っている。
【００１０】
しかし、上述のようにＴＶ電話中の通信データ量は絶えず変化するため、通信データ量が小さいときには無線リソースを無駄に消費していることになり、非効率である。
【００１１】
さらに、無線回線が通信レート可変であった場合でも、通信レート変更時にデータの欠損或いは遅延が発生することにより通信（特に音声）が途切れてしまい、ユーザ体感通信品質に影響を与えてしまうなどの問題が懸念される。
【００１２】
つまり、従来は、ＴＶ電話通信において各ユーザが共通の回線は使用できず、各ユーザに個別かつ一定通信レートの回線を使用していたため、無線リソースの効率利用ができず、しかも、ユーザ体感通信品質も好ましくなかった。
【００１３】
本発明は、上記のような問題点を解決するためになされたもので、無線リソースの効率利用が可能で、しかもユーザ体感通信品質も良好なＴＶ電話対応通信端末及びＴＶ電話対応通信システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明のＴＶ電話対応携帯端末は、映像データを送信する送信部と、映像データを受信する受信部と、を備えるＴＶ電話対応携帯端末において、前記送信部は、映像データを第１及び第２映像データに分割可能な分割手段と、前記第１映像データを、通信レートが一定の第１通信回線を介して送信する第１送信手段と、前記第２映像データを、送信されるデータ量に応じて通信レートが可変の第２通信回線を介して送信する第２送信手段と、を備えて構成されている一方で、前記受信部は、前記第１通信回線を介して前記第１映像データを受信する第１受信手段と、前記第２通信回線を介して前記第２映像データを受信する第２受信手段と、前記第１受信手段により受信された第１映像データと、前記第２受信手段により受信された第２映像データと、を結合可能な結合手段と、を備えて構成されていることを特徴としている。
【００１５】
本発明のＴＶ電話対応携帯端末においては、前記第１通信回線は、各ユーザに割り当てられる回線であり、前記第２通信回線は、複数のユーザで共有される回線であることが好ましい。
【００１６】
本発明のＴＶ電話対応携帯端末においては、記分割部は、映像データを第１及び第２映像データに分割するに際し、該第１及び第２映像データに対し、双方の照合に用いられる照合用データを付加する一方で、前記結合手段は、前記照合用データを用いて、対応する第１及び第２映像データを判別し、該対応する第１及び第２映像データを相互に結合することが好ましい。
【００１７】
この場合、前記照合用データは、タイムスタンプであり、前記分割手段は、分割される第１及び第２映像データに対し、同一のタイムスタンプを付加し、前記結合手段は、同一のタイムスタンプが付加された第１及び第２映像データを結合することが好ましい。
【００１８】
本発明のＴＶ電話対応携帯端末においては、前記送信部は、映像データをエンコードする送信映像処理手段を更に備え、前記分割手段は、前記送信映像処理手段によりエンコードされた映像データを前記第１及び第２映像データに分割する一方で、前記受信部は、前記結合手段により結合された映像データをデコードする受信映像処理手段を更に備えることが好ましい。
【００１９】
本発明のＴＶ電話対応携帯端末においては、前記送信部は、音声データを前記第１映像データと多重化して音声映像多重化データとする多重化処理手段を更に備え、前記第１送信手段は、前記多重化処理手段により多重化された音声映像多重化データを送信する一方で、前記第１受信手段は、前記音声映像多重化データを受信し、前記受信部は、前記第１受信手段により受信された音声映像多重化データを逆多重化して音声データと前記第１映像データに分ける逆多重化処理手段を更に備えることが好ましい。
【００２０】
本発明のＴＶ電話対応携帯端末においては、前記送信部は、音声データをエンコードする送信音声処理手段と、映像データをエンコードする送信映像処理手段と、を更に備え、前記分割手段は、前記送信映像処理手段によりエンコードされた映像データを前記第１及び第２映像データに分割し、前記多重化処理手段は、前記第１映像データと、前記送信音声処理手段によりエンコードされた音声データと、を多重化して前記音声映像多重化データとする一方で、前記受信部は、前記逆多重化処理手段による逆多重化によって分けられた音声データをデコードする受信音声処理手段と、前記結合手段により結合された映像データをデコードする受信映像処理手段と、を更に備えることが好ましい。
【００２１】
本発明のＴＶ電話対応携帯端末においては、前記分割手段は、映像データのデータ量が所定の閾値を越える場合に、該閾値に相当するデータ量の映像データは前記第１映像データとなり、残りの映像データは前記第２映像データとなるように、映像データの分割を行うことが好ましい。
【００２２】
本発明のＴＶ電話対応携帯端末においては、前記第２映像データのデータ量が所定の第１閾値を越える場合に、前記第２通信回線の通信レートを増大させる処理を行う通信レート増大手段を更に備えることが好ましい。
【００２３】
本発明のＴＶ電話対応携帯端末においては、前記第２映像データのデータ量が所定の第２閾値に満たない場合に、前記第２通信回線の通信レートを減少させる処理を行う通信レート減少手段を更に備えることが好ましい。
【００２４】
本発明のＴＶ電話対応携帯端末においては、前記送信映像処理部は、送信される映像データを、映像内に含まれるオブジェクト毎のデータに分割するとともに、該オブジェクト毎データの各々に表示優先順位を設定し、前記分割手段は、前記オブジェクト毎データのうち、表示優先順位の高いオブジェクト毎データは前記第１映像データに含まれ、表示優先順位の低いオブジェクト毎データは前記第２映像データに含まれるように、映像データの分割を行うことが好ましい。
【００２５】
本発明のＴＶ電話対応通信システムは、本発明のＴＶ電話対応携帯端末による通信を可能とさせる通信システムであって、前記第１通信回線と前記第２通信回線とを備えることを特徴としている。
【発明の効果】
【００２６】
本発明によれば、映像データを第１及び第２映像データに分割し、このうち第１映像データは通信レートが一定の第１通信回線を介して通信する一方で、第２映像データは、送信されるデータ量に応じて通信レートが可変の第２通信回線を介して通信するので、第１通信回線により一定水準のＴＶ電話通信品質を保ちつつ、第２通信回線により必要に応じた通信レート変更を行うことができる。
【００２７】
これにより、ある程度のユーザ体感通信品質は確保できるとともに、無線リソースを効率よく利用でき、無線システム容量の拡大を防ぐことが可能になる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して、本発明に係る実施形態について説明する。
【００２９】
本実施形態では、本発明に係る携帯端末装置の好適な一例としての携帯電話機について説明する。
【００３０】
〔第１の実施形態〕
図１は第１の実施形態に係る携帯電話機（携帯端末）１００の主要なブロック構成を示す図である。
【００３１】
携帯電話機１００は、ＴＶ電話機能を備え、図１に示すように、データの送信に関する処理を行う送信部１１０と、データの受信に関する処理を行う受信部１２０と、これら送信部１１０及び受信部１２０を統括的に制御する制御部１と、送信部１１０による送信処理及び受信部１２０による受信処理に兼用されるアンテナ部２及びアンテナ３と、を備えて構成されている。
【００３２】
先ず、このうち送信部１１０について説明する。
【００３３】
図１に示すように、送信部１１０は、集音手段としてのマイク４、送信音声処理部（送信音声処理手段）１１、撮像手段としてのカメラ５、送信映像処理部（送信映像処理手段）１２、分割部（分割手段）１３、多重化処理部（多重化処理手段）１４、第１回線送信部（第１送信手段）１５、第２回線送信部（第２送信手段）１６及び送信処理部１７を備えて構成されている。
【００３４】
このうちマイク４は、入力される音声を音声データへとＡ／Ｄ変換し、該音声データを送信音声処理部１１に送信する。
【００３５】
送信音声処理部（Ａｕｄｉｏ  ｃｏｄｅｃ）１１は、マイク４より入力される音声データをエンコード処理し、該エンコード処理後の音声データを多重化処理部１４に送信する。
【００３６】
また、カメラ５は、入力される映像（画像）を映像データへとＡ／Ｄ変換し、該映像データを送信映像処理部１２に送信する。
【００３７】
送信映像処理部（Ｖｉｄｅｏ  ｃｏｄｅｃ）１２は、カメラ５より入力される映像データをエンコード処理し、該エンコード処理後の映像データを分割部１３に送信する。なお、ここでエンコード処理され分割部１３に送信される映像データは、例えば前映像からの動きの差分の映像データであり、例えば映像が静止している場合には、分割部１３に映像データが送信されない。
【００３８】
分割部１３は、送信映像処理部１２から送信されるエンコード処理後の映像データを２つの映像データに分割し、該分割された双方の映像データに同一のラベル（タイムスタンプ；照合用データ）を付ける。更に、分割部１３は、このうち一方の映像データ（以下、第１映像データ）は多重化処理部１４に送信し、他方の映像データ（以下、第２映像データ）は第２回線送信部１６に送信する。
【００３９】
なお、後述するように、分割部１３に入力される映像データのデータ量が所定の閾値ＴＨを越えない場合には、分割部１３は映像データを分割せずに多重化処理部１４に送信する。従って、この場合は第２映像データは存在しないことになる。
【００４０】
多重化処理部１４は、エンコードされた映像データと音声データとの多重化処理を行い、該処理後のデータを第１回線送信部１５に送信する。すなわち、多重化処理部１４は、分割部１３から送信される第１映像データ（或いは分割がなされなかった場合の映像データ）と、送信音声処理部１１から送信される音声データと、を多重化する処理を行い、該処理後のデータ（以下、音声映像多重化データ）を第１回線送信部１５に送信する。
【００４１】
第１回線送信部１５は、多重化処理部１４から送信される音声映像多重化データを、主たる回線（主回線）である第１回線ベアラ（第１通信回線）を介した送信処理に供する。
【００４２】
ここで、第１回線ベアラは、各ユーザ毎に個別に割り当てられ、送信されるデータ量に拘わらず通信レートが固定（固定レート）の無線回線（例えばＵＤＩベアラ）である。
【００４３】
また、第２回線送信部１６は、分割部１３から送信される第２映像データを、副回線である第２回線ベアラ（第２通信回線）を介した送信処理に供する。
【００４４】
ここで、第２回線ベアラは、複数のユーザで共有され、送信されるデータ量に応じて通信レートが可変の無線回線（例えばＰａｃｋｅｔベアラ）である。すなわち、詳細は後述するように、送信されるデータ量が多く、しかも回線に空き容量がある場合には、通信レートを増大する処理がなされる一方で、送信されるデータ量が少ない場合、或いは回線が混み合った場合には、通信レートを減少させる処理がなされる。
【００４５】
送信処理部１７は、第１回線送信部１５及び第２回線送信部１６から入力される相互に異なる２種の送信データ、すなわち音声映像多重化データ及び第２映像データを、多重化及び変調処理し、送信周波数に変換してアンテナ部２に送信する。
【００４６】
アンテナ部２は、送信処理部１７から入力される送信データをアンテナ３を介して送信する。
【００４７】
これにより、音声映像多重化データは通信網（ネットワーク）の第２通信回線を介して通信相手の携帯端末（例えば携帯電話機１００と同種の携帯電話機）に送信される一方で、第２映像データは通信網の第２通信回線を介して通信相手の携帯端末に送信される。
【００４８】
次に、受信部１２０について説明する。
【００４９】
図１に示すように、受信部１２０は、受信処理部２７、第１回線受信部（第１受信手段）２５、第２回線受信部（第２受信手段）２６、逆多重化処理部（逆多重化処理手段）２４、結合部（結合手段）２３、受信映像処理部（受信映像処理手段）２２、受信音声処理部（受信音声処理手段）２１、表示手段としてのディスプレイ６及び発音手段としてのスピーカ７を備えて構成されている。
【００５０】
このうち受信処理部２７は、アンテナ３及びアンテナ部２により受信される受信電波を増幅し、該増幅後の電波の周波数同調検波及び復調処理を行い、該復調処理後の受信データを第１回線受信部２５及び第２回線受信部２６に送信する。
【００５１】
第２回線受信部２６は、受信処理部２７より送信される受信データから、第２映像データを抽出する処理を行い、該抽出した第２映像データを結合部２３に送信する。
【００５２】
第１回線受信部２５は、受信処理部２７より送信される受信データから、音声映像多重化データを抽出する処理を行い、該抽出した音声映像多重化データを逆多重化処理部２４に送信する。
【００５３】
逆多重化処理部２４は、第１回線受信部２５からの音声映像多重化データに逆多重化処理を施すことにより多重を解いて、第１映像データ（或いは分割されなかった場合における映像データ）と音声データに分ける。更に、逆多重化処理部２４は、このうち音声データは受信音声処理部２１に送信し、第１映像データ（或いは映像データ）は結合部２３に送信する。
【００５４】
結合部２３は、ラベルを用いて結合すべき第１映像データ及び第２映像データを判別して、結合すべきと判別した第１及び第２映像データを相互に結合して元の映像データとし、受信映像処理部２２に送信する。或いは、結合すべき第２映像データが存在しなかった場合には、第１映像データ（或いは映像データ）をそのまま受信映像処理部２２に送信する。
【００５５】
受信映像処理部２２は、結合部２３より送信される映像データをデコードし、該デコード処理後の映像データをディスプレイ６に送信する。
【００５６】
ディスプレイ６は、受信映像処理部２２より送信される映像データをＤ／Ａ変換し、映像出力を行う。
【００５７】
受信音声処理部２１は、逆多重化処理部２４より送信される音声データをデコードし、該デコード処理後の音声データをスピーカ７に送信する。
【００５８】
スピーカは、受信音声処理部２１より入力される音声データをＤ／Ａ変換し、音声として出力する。
【００５９】
また、制御部１は、例えば、ＣＰＵ、ＲＯＭ及びＲＡＭ等により構成され、送信音声処理部１１、送信映像処理部１２、分割部１３、第１回線送信部１５、第２回線送信部１６、受信音声処理部２１、受信映像処理部２２、結合部２３、第１受信部２５及び第２回線受信部２６にそれぞれ接続され、これらを統括制御する。
【００６０】
また、アンテナ部２は送信波及び受信波のスイッチングを行い、アンテナ３は送受信を行う。
【００６１】
第１の実施形態に係る携帯電話機１００は、以上のように構成されている。
【００６２】
次に、動作を説明する。
【００６３】
先ず、送信部１１０の動作フローを説明する。
【００６４】
マイク４に入力される音声は、該マイク４によりＡ／Ｄ変換された後、デジタルデータ（音声データ）として送信音声処理部１１に送信される。
【００６５】
送信音声処理部１１は、マイク４からの音声データにエンコード処理を施して、該処理後の音声データを多重化処理部１４に送信する。
【００６６】
また、カメラ５に入力される映像は、該カメラ５によりＡ／Ｄ変換された後、デジタルデータ（映像データ）として送信映像処理部１２に送信される。
【００６７】
送信映像処理部１２は、カメラ５からの映像データにエンコード処理を施して、該処理後の映像データを分割部１３に送信する。
【００６８】
分割部１３は、制御部１の制御下で動作し、送信映像処理部１２から送信される映像データ（エンコード処理後）の分割処理及びラベル付けの処理を行う。
【００６９】
すなわち、分割部１３は、映像データを第１及び第２の映像データに分割し、該第１及び第２の映像データの双方に、例えば同一のラベル、具体的には例えばタイムスタンプを付加する。
【００７０】
なお、本実施形態の場合、音声データの分割は行わないものとする。その理由の１つは、ＴＶ電話データにおける音声データはレート固定及びレート可変の何れの場合にも映像データと比べて低レートであることであり、もう１つは、音声データに分割処理を施して一方の分割データの欠落が発生した場合、映像データの場合とは異なり、通信者相互間での情報伝達が致命的に損なわれる虞があるためである。このため、音声データは、優先的に通信がなされる第１通信回線を介して通信を行う。
【００７１】
ここで、図２を参照して、分割部１３のより具体的な動作について説明する。なお、図２の処理は、エンコード処理後の映像データが分割部１３に入力された場合に、該分割部１３が実行する処理である。
【００７２】
分割部１３は、エンコード処理後の映像データが分割部１３に入力されると、先ず、その映像データのデータ量が閾値ＴＨを越えるか否かの判定を行う（ステップＳ１）。
【００７３】
ここで、閾値ＴＨのデータは、制御部１にて、第１通信回線の通信レートから音声データのレート及びタイムスタンプのデータ量を差し引くことにより演算されて、分割部１３に与えられる。すなわち、第１通信回線の通信レートをＴＲ１、音声データのレートをＯＲ、タイムスタンプのデータ量をＴＳとすると、閾値ＴＨ＝ＴＲ１−ＯＲ−ＴＳとなる。
【００７４】
映像データが閾値ＴＨを越えないと判定した場合には（ステップＳ１のＮＯ）、映像データを分割せずに多重化処理部１４に送信する（ステップＳ２）。
【００７５】
他方、映像データが閾値ＴＨを越えると判定した場合には（ステップＳ２のＹＥＳ）、分割処理を行う。
【００７６】
すなわち、映像データを、閾値ＴＨ非超過分の第１映像データと、閾値ＴＨ超過分の第２映像データと、に分割する（ステップＳ３）。つまり、第１映像データのデータ量はＴＨとなり、残りの映像データが第２映像データとなる。
【００７７】
更に、第１映像データと第２映像データとに、双方の紐付けのための同一のタイムスタンプ（ラベル）を付加する（ステップＳ４）。
【００７８】
次に、閾値ＴＨ非超過分の第１映像データは多重化処理部１４に送信する一方で、閾値ＴＨ超過分の第２映像データは第２回線送信部１６に送信する。
【００７９】
なお、この際に分割部１３は、第２映像データのデータ量の情報を制御部１に通知する。
【００８０】
また、分割部１３から多重化処理部１４に送信される映像データ、すなわち分割処理がなされた場合における第１映像データであるか、又は、分割処理がなされなかった場合における映像データ（つまり、何れの場合にも閾値非超過分の映像データ）は、多重化処理部１４にて音声データと多重化されて、第１回線送信部１５に送信される。
【００８１】
第１回線送信部１５は、多重化処理部１４から送信される音声映像多重化データに対し、第１回線ベアラを介したデータ送信処理を行う。なお、第１回線ベアラ及びその通信レートの設定は制御部１により制御される。
【００８２】
また、第２回線送信部１６は、分割部１３から送信される第２映像データ（つまり閾値超過分の映像データ）に対し、第２回線ベアラを介したデータ送信処理を行う。なお、第２回線ベアラの設定及びその通信レートの設定・変更は制御部１により制御される。
【００８３】
ここで、図３を参照して、第２回線ベアラがＰａｃｋｅｔベアラ（Ｐａｃｋｅｔ回線）である場合の通信レート変更例について説明する。なお、図３の処理は、データ送信の際に制御部１が実行する処理である。
【００８４】
制御部１は、先ず、分割部１３から通知された第２映像データのデータ量の情報に基づき、該データ量が第１閾値（＞第２閾値）を越えるか否かの判定を行う（ステップＳ１１）。
【００８５】
第２映像データのデータ量が第１閾値を越えると判定した場合（ステップＳ１１のＹＥＳ）、送信に必要な通信データ量の情報及び通信レート変更要求（シフトアップ要求）をネットワークに通知し（ステップＳ１２）、ネットワークからの返答を待つ。
【００８６】
続いて、ネットワークから通信レートのシフトアップが可能である旨の返答が有ったか否かを判定し（ステップＳ１３）、シフトアップ可能の旨の返答があった場合（ステップＳ１３のＹＥＳ）、通信レートを増やす処理（シフトアップ処理）を行い（ステップＳ１４）、該シフトアップ後の通信レートを第２回線送信部１６に設定する。
【００８７】
すなわち、ステップＳ１１〜Ｓ１４において、制御部１は通信レート増大手段として機能する。
【００８８】
他方、シフトアップ不可能の旨の返答があった場合（ステップＳ１３のＮＯ）、それまでの通信レートを維持する（ステップＳ１５）。
【００８９】
また、第２映像データのデータ量が第１閾値を越えないと判定した場合（ステップＳ１１のＮＯ）、該データ量が第２閾値（＜第１閾値）以下であるか否かを判定する（ステップＳ１６）。
【００９０】
第２映像データのデータ量が第２閾値以下であると判定した場合（ステップＳ１６のＹＥＳ）、送信に必要な通信データ量の情報及び通信レートを変更（シフトダウン）する旨をネットワークに通知する（ステップＳ１７）。ここで、第２映像データのデータ量が第２閾値以下であると判定する場合には、第２映像データが存在しない場合も含まれる。
【００９１】
ステップＳ１７に続いては、通信レートを減らす処理（シフトダウン処理）を行い（ステップＳ１８）、該シフトダウン後の通信レートを第２回線送信部１６に設定する。
【００９２】
すなわち、ステップＳ１６〜Ｓ１８において、制御部１は通信レート減少手段として機能する。
【００９３】
また、第２映像データのデータ量が第２閾値以下ではないと判定した場合（ステップＳ１６のＮＯ）、ネットワーク主導のシフトダウン処理が行われる旨の通知があったか否かを判定し（ステップＳ１９）、行われる場合には通信レートを減らす処理（シフトダウン処理）を行い（ステップＳ１８）、行われない場合には通信レートを維持する（ステップＳ２０）。
【００９４】
なお、図３に示すようなＰａｃｋｅｔ回線の通信レート変更に関しては、現行の無線通信システムにより容易に実現可能である。
【００９５】
上記のように、第２映像データ（閾値超過分の映像データ）が存在しない場合もしくは第２映像データのデータ量が第２閾値以下である場合（ステップＳ１６のＹＥＳ）、第２映像データは最も低い通信レートで送信される。
【００９６】
ここで最も低い通信レートとは、ユーザ個別無線Ｐａｃｋｅｔ回線の最低通信レートのことを指すが、例えばＷ−ＣＤＭＡ方式において、各ユーザが共通のチャネルを使用し、スクランブルコードにより各ユーザのデータを識別する共通チャネルと呼ばれる無線Ｐａｃｋｅｔ回線等の使用が可能であれば、最低通信レートとして使用する。
【００９７】
また、第２映像データが第１閾値を越える場合（ステップＳ１１のＹＥＳ）、制御部１は送信データ量（通信レート変更）をネットワークに通知することにより、ネットワーク主導で通信レートのシフトアップ処理、もしくは共通チャネルＰａｃｋｅｔ回線から各ユーザ個別ＰＡＣＫＥＴ回線へのシフトアップ処理を行い、該シフトアップ後の通信レートを第２回線送信部１６に設定する。
【００９８】
また第２映像データが第２閾値以下の場合（ステップＳ１６のＹＥＳ）、制御部１は送信データ量（通信レート変更）をネットワークに通知することにより、ネットワーク主導で通信レートのシフトダウン処理が行われるか、もしくは各ユーザ個別のＰＡＣＫＥＴ回線から共通チャネルＰａｃｋｅｔ回線へのシフトダウン処理が行われ、該シフトダウン処理後の通信レートを第２回線送信部１６に設定する。
【００９９】
また、シフトダウン処理に関しては、第２映像データが第２閾値と第１閾値との中間値であり（ステップＳ１６のＮＯ）、制御部１からネットワークへの送信データ量通知がない場合でも、ネットワーク主導により行われる場合がある。その場合、制御部１はネットワークにより指定された通信レートを第２回線送信部１６に設定する。
【０１００】
なお、第２回線送信部１６は、制御部１により通信レートが設定された後は、その後再び通信レートが変更されるまでの間は、該設定された通信レートで送信処理を行う。
【０１０１】
このように、各通信レートを有するユーザ個別のチャネル（第１通信回線）に加えて、各ユーザで共有されるチャネル（第２通信回線）を必要に応じて適宜の通信レートに設定して用いることにより、ＰＡＣＫＥＴ回線にてレート可変な通信が実現できる。
【０１０２】
また、上記の処理の後、送信処理部１７は、第１回線送信部１５及び第２回線送信部１６からの相互に異なる２種の送信データ、すなわち音声映像多重化データ及び第２映像データを、多重化及び変調処理し、送信周波数に変換してアンテナ部２に送信する。
【０１０３】
アンテナ部２は、送信処理部１７から送信される送信データをアンテナ３を介して送信する。
【０１０４】
これにより、音声映像多重化データはネットワークの第１通信回線を介して通信相手の携帯端末（例えば携帯電話機１００と同種の携帯電話機）に送信される。また、第２映像データは通信網の第２通信回線を介して通信相手の携帯端末に送信される。
【０１０５】
次に、受信部１２０の動作フローを説明する。
【０１０６】
先ず、アンテナ３で受信した受信電波はアンテナ部２を介して受信処理部２７に送られる。
【０１０７】
受信処理部２７は、アンテナ部２からの受信電波の増幅、周波数同調検波及び復調処理を行い、第１通信回線を介して受信されたデータ（以下、第１回線データ）と第２通信回線を介して受信されたデータ（以下、第２回線データ）とをそれぞれ第１回線受信部２５及び第２回線受信部２６に送信する。
【０１０８】
ここで、受信処理部２７での復調及び回線データの振り分けは、第１回線受信部２５及び第２回線受信部２６を介して制御部１から設定される。その際に制御部１は、第１回線受信部２５及び第２回線受信部２６にそれぞれの通信ベアラ及び通信レートを設定する。
【０１０９】
また、第１回線受信部２５では、受信処理部２７から送信される第１回線データから音声映像多重化データを抽出する処理を行い、該抽出処理後の音声映像多重化データを逆多重化処理部２４に送信する。
【０１１０】
第２回線受信部２６では、受信処理部２７から送信される第２回線データから第２映像データ（未だエンコードされた状態）を抽出する処理を行い、該抽出処理後の第２映像データを結合部２３に送信する。なお、第２回線受信部２６にて第２映像データが抽出されるのは、該第２映像データが存在する場合に限られる。
【０１１１】
第１回線受信部２５からの音声映像多重化データは、逆多重化処理部２４にて逆多重化処理が施され、音声データと第１映像データ（或いは分割がなされなかった場合の映像データ）に分けられる。なお、これら音声データ及び映像データは、未だエンコードされた状態である。このうち音声データは受信音声処理部２１に送信されてデコード処理され、該デコード処理後の音声データは受信音声処理部２１からスピーカ７に送信される。
【０１１２】
スピーカ７では、受信音声処理部２１からの音声データにＤ／Ａ変換処理を施して、音声出力を行う。
【０１１３】
また、逆多重化処理後の第１映像データは、結合部２３において、タイムスタンプが相互に一致する第２映像データと結合され（該一致する第２映像データが存在する場合のみ）、受信映像処理部２２に送信される。
【０１１４】
なお、タイムスタンプが一致する第２映像データが存在しない場合は、逆多重化処理後の第１映像データ（或いは分割されなかった場合の映像データ）がそのまま結合部２３から受信映像処理部２２に送信される。
【０１１５】
受信映像処理部２２では、結合部２３から送信される映像データにデコード処理を施し、該デコード処理後の映像データをディスプレイ６に送信する。
【０１１６】
ディスプレイ６では、受信映像処理部２２からの映像データをＤ／Ａ変換し、映像出力する。
【０１１７】
次に、図４を参照して、結合部２３のより具体的な動作について説明する。なお、図４の処理は、逆多重化処理後の映像データが結合部２３に入力された場合に、該結合部２３が実行する処理である。
【０１１８】
結合部２３は、先ず、逆多重化処理後の映像データ（第１映像データ又は分割処理がなされなかった場合の映像データ）のタイムスタンプの有無を判定することにより、結合処理を行うか否かの判定を行う（ステップＳ３１）。
【０１１９】
逆多重化処理後の映像データにタイムスタンプがない（付加されていない）場合（ステップＳ３１のＮＯ）、該映像データと結合すべき第２映像データはそもそも存在しないため、逆多重化処理後の映像データを、結合処理を施さずに受信映像処理部２２に送信する（ステップＳ３２）。
【０１２０】
他方、逆多重化処理後の映像データにタイムスタンプがある（付加されている）場合（ステップＳ３１のＹＥＳ）、同一のタイムスタンプを有する第２映像データの有無を判別する（ステップＳ３３）。
【０１２１】
ここで、第２映像データは、対応する（結合される）第１映像データよりも先に結合部２３に入力された場合、該結合部２３内のバッファに格納（記憶保持）されて、待機するようになっている。
【０１２２】
従って、第２映像データの方が先に結合部２３に入力されていた場合には、上記ステップＳ３３の判定の結果はＹＥＳとなり、ステップＳ３７に移行する。
【０１２３】
ステップＳ３７では、相互に対応する第１及び第２映像データ、すなわち同一のタイムスタンプを有する第１及び第２映像データを相互に結合し（結合処理を行い）、分割前の映像データにする。更に、この結合処理後の映像データを受信映像処理部２２に送信する。
【０１２４】
なお、上記ステップＳ３３の判定の際に、該判定対象の映像データよりも過去に付加されたタイムスタンプを有する第２映像データがバッファに格納されていた場合には、該第２映像データをバッファ内から消去する。
【０１２５】
また、上記ステップＳ３３の判定の結果、同一のタイムスタンプを有する第２映像データが無いと判定された場合（ステップＳ３３のＮＯ）、所定時間の経過を計時するタイマＴを起動し（ステップＳ３４）、該タイマＴが満了するまでの期間は、同一のタイムスタンプを有する第２映像データの入力を監視する（ステップＳ３５〜ステップＳ３６）。
【０１２６】
その後、タイマＴ満了前に同一のタイムスタンプを有する第２映像データが入力された場合（ステップＳ３５のＹＥＳ）は、ステップＳ３７に移行して上述の結合処理を行い、該結合処理後の映像データを受信映像処理部２２に送信する。
【０１２７】
他方、同一のタイムスタンプを有する第２映像データが入力されないままタイマＴが満了してしまった場合（ステップＳ３６のＹＥＳ）、結合処理は行わずに逆多重化処理後の映像データを受信映像処理部２２に送信する（ステップＳ３２）。更に、この際に、結合部２３のバッファ内に、上記ステップＳ３５での判定対象の映像データよりも過去に付加されたタイムスタンプを有する第２映像データが格納されていた場合には、該第２映像データをバッファ内から消去する。
【０１２８】
また、結合部２３は、結合処理の状況を制御部１に通知する。制御部１は、結合部２３からの通知を受け、受信音声処理部２１及び受信映像処理部２２から出力される音声データ及び映像データのタイミングを制御する。
【０１２９】
これにより、リアルタイムで音声及び映像による通話を行うことができる。
【０１３０】
以上のように、第１の実施形態によれば、映像データを第１及び第２映像データに分割し、このうち第１映像データは通信レートが一定の第１通信回線（例えばＵＤＩベアラ）を介して通信する一方で、第２映像データは、送信されるデータ量に応じて通信レートが可変の第２通信回線（例えばＰＡＣＫＥＴ回線）を介して通信する。
【０１３１】
第１通信回線には従来の固定レート回線を使用するため、音声途切れや映像の損失等のない一定水準のＴＶ電話通信品質を保つことができるので、ある程度のユーザ体感通信品質は確保できる。しかも、第２通信回線により状況（データ量や無線環境）に応じた通信レート変更を行うことができる。
【０１３２】
このように第１通信回線に加えて第２通信回線を用いることにより、固定レートの第１通信回線の通信レートを従来の通信レートよりも低く設定することが可能となる。これにより無線リソースを効率よく利用でき、無線システム容量の拡大を防ぐことが可能になる。
【０１３３】
〔第２の実施形態〕
第２の実施形態に係る携帯電話機１００は、上記の第１の実施形態に係る携帯電話機１００と比べて、以下に説明する点でのみ異なり、その他の点では同様であるため、同様の構成要素には同一の符号を付し、その説明を省略する。
【０１３４】
第２の実施形態の場合、送信映像処理部１２は、映像データにエンコード処理を施すに際して、該映像データを、映像（該映像データを用いた表示映像）内に含まれるオブジェクト毎のデータ（オブジェクト毎データ）に分割する。
【０１３５】
更に、送信映像処理部１２は、各オブジェクト毎データに表示優先順位を設定する。具体的には、例えば、映像データを、人物映像の表示データである第１オブジェクト毎データと、背景映像の表示データである第２オブジェクト毎データと、に分割し、第１オブジェクト毎データ（人物）の表示優先順位は「１」、第２オブジェクト毎データ（背景）の表示優先順位は「２」とする。
【０１３６】
そして、このように設定した表示優先順位を制御部１に通知する。
【０１３７】
制御部１では、送信映像処理部１２から通知された表示優先順位と分割の閾値ＴＨとを用いて、分割部１３による映像データの最適な分割態様を判断し、該判断した分割態様での分割処理を分割部１３に指示する（制御指令を送信する）。
【０１３８】
具体的には、例えば、表示優先順位が「１」の第１オブジェクト毎データのデータ量が閾値ＴＨを越えない場合には、該第１オブジェクト毎データを第１通信回線を介して送信可能である。このため、この場合には、分割部１３に対し、第１オブジェクト毎データを第１通信回線（つまり第１映像データ）に振り分けさせる。
【０１３９】
更に、第１及び第２オブジェクト毎データの合計のデータ量も閾値ＴＨを越えない場合には、双方とも第１通信回線を介して送信可能であるため、分割部１３に対し、第１及び第２オブジェクト毎データを第１通信回線に振り分けさせる。
【０１４０】
対して、第１及び第２オブジェクト毎データの合計のデータ量は閾値ＴＨを越える場合には、第２オブジェクト毎データだけは第２通信回線（つまり第２映像データ）に振り分けさせる。
【０１４１】
このように、分割部１３は、制御部１の制御下で、表示優先順位が高い映像データ（例えば人物）を第１通信回線、表示優先順位が低い映像データ（例えば背景）を第２通信回線に振り分ける。
【０１４２】
なお、第１オブジェクト毎データのデータ量だけで閾値ＴＨを越える場合には、該第１オブジェクト毎データを更に分割することになるが、この場合にも第１オブジェクト毎データは優先的に第１通信回線を介して送信される。
【０１４３】
以上のような第２の実施形態によれば、送信映像処理部１は、送信される映像データを、映像内に含まれるオブジェクト毎のデータに分割するとともに、該オブジェクト毎データの各々に表示優先順位を設定し、分割部１３は、各オブジェクト毎データのうち、表示優先順位の高いオブジェクト毎データは第１映像データに含まれ、表示優先順位の低いオブジェクト毎データは第２映像データに含まれるように、映像データの分割を行うので、表示優先順位の高いオブジェクト毎データ（例えば人物映像のデータ）を優先的に送信することができ、受信側では該表示優先順位の高いオブジェクト毎データに基づく映像出力を優先的に行うことができる。
【０１４４】
なお、上記の各実施形態では、本発明に係るＴＶ電話対応携帯端末の適例として携帯電話機についてのみ説明を行ったが、本発明はこの例に限らず、例えば、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ  Ｐｈｏｎｅ  Ｓｙｓｔｅｍ）やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）或いはその他の携帯情報端末装置にも同様に適用可能である。
【０１４５】
また、上記の各実施形態では、映像データ及び音声データを共に送受信する構成を例示したが、例えば、映像データのみを送受信する構成としても良い。
【図面の簡単な説明】
【０１４６】
【図１】本発明の実施形態に係る携帯電話機の主要なブロック構成を示す図である。
【図２】図１の携帯電話機の分割部が行う処理を示すフローチャートである。
【図３】図１の携帯電話機の制御部が行う通信レート変更処理を示すフローチャートである。
【図４】図１の携帯電話機の結合部が行う処理を示すフローチャートである。
【符号の説明】
【０１４７】
１００    携帯電話機（ＴＶ電話対応携帯端末）
１１０    送信部
１１      送信音声処理部（送信音声処理手段）
１２      送信映像処理部（送信映像処理手段）
１３      分割部（分割手段）
１４      多重化処理部（多重化処理手段）
１５      第１回線送信部（第１送信手段）
１６      第２回線送信部（第２送信手段）
１２０    受信部
２１      受信映像処理部（受信映像処理手段）
２２      受信音声処理部（受信音声処理手段）
２３      結合部（結合手段）
２４      逆多重化処理部（逆多重化処理手段）
２６      第１回線受信部（第１受信手段）
２５      第２回線受信部（第２受信手段）
１        制御部（通信レート増大手段、通信レート減少手段）
【図１】
2005218000.tif 000003
【図２】
2005218000.tif 000004
【図３】
2005218000.tif 000005
【図４】
2005218000.tif 000006