(57)【要約】【課題】  音声信号用及びデータ用無線リンク全体を有効に利用でき、携帯電話端末の処理負荷が少なくて済むようなシステム等を提供する。【解決手段】  音声網及びデータ網に接続された携帯電話端末と、音声網及びデータ網に接続された仮想端末装置と、該仮想端末装置に接続された相手通信装置とを有し、仮想端末装置は、相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分けるアプリケーション処理部と、画像信号を仮想画面に展開する仮想画面部と、音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する同期処理部とを有し、携帯電話端末は、音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させる同期処理部と、音声信号を発声する音声デバイス部と、画像信号を表示する画像デバイス部とを有する。【選択図】  図２
2005277654.tif 000002
【特許請求の範囲】
【請求項１】
音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、前記音声網及び前記データ網に接続された仮想端末装置と、該仮想端末装置に接続された相手通信装置とを有し、
前記仮想端末装置は、前記相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分けるアプリケーション処理手段と、前記画像信号を仮想画面に展開する仮想画面手段と、前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する同期処理手段とを有し、
前記携帯電話端末は、前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを同期させる同期処理手段と、前記音声信号を発声する音声デバイス手段と、前記画像信号を表示する画像デバイス手段とを有する
ことを特徴とする携帯電話通信システム。
【請求項２】
前記携帯電話端末は、利用者の操作内容を取得する入力デバイス手段と、該操作内容を入力信号として前記データ網へ送信する入力処理手段とを更に有し、
前記仮想端末装置は、前記入力信号から得られる前記操作内容を前記アプリケーション処理手段へ通知する入力処理手段を更に有し、該アプリケーション処理手段は、前記操作内容を解釈して前記相手通信装置へユーザデータを要求するように構成されていることを特徴とする請求項１に記載の携帯電話通信システム。
【請求項３】
音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、前記音声網及び前記データ網に接続された仮想端末装置と、前記仮想端末装置に接続された相手通信装置とを有し、
前記携帯電話端末は、音声信号を取得する音声デバイス手段と、画像信号を取得する画像デバイス手段と、前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する同期処理手段とを有し、
前記仮想端末装置は、前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを同期させる同期処理手段と、同期された前記音声信号及び前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信するアプリケーション処理手段とを有する
ことを特徴とする携帯電話通信システム。
【請求項４】
前記仮想端末装置は、前記アプリケーション処理手段の結果に基づいて前記携帯電話端末を制御する指示信号を生成し、該指示信号を前記携帯電話端末へ送信する、及び前記携帯電話端末からの指示信号を受信し、仮想制御装置の仮想画面を制御する指示処理手段を更に有し、
前記携帯電話端末は、前記仮想端末装置から受信した指示信号に基づいて前記音声デバイス手段及び前記画像デバイス手段を制御する、及び前記仮想端末装置の仮想画面と同期を取るために指示信号を生成し、該指示信号を前記仮想端末装置へ送信する指示処理手段を更に有する
ことを特徴とする請求項３に記載の携帯電話通信システム。
【請求項５】
音声網及びデータ網に接続された仮想端末装置であって、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、前記音声網から受信された前記音声信号及び前記データ網から受信された前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
前記画像信号を仮想画面に展開する仮想画面手段と、
前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能と、前記音声網を介して受信した前記音声信号と前記データ網を介して受信した前記画像信号とを同期させる機能とを有する同期処理手段と
を有することを特徴とする仮想端末装置。
【請求項６】
音声網及びデータ網に接続された携帯電話端末であって、
前記音声信号を発声し且つ取得する音声デバイス手段と、
前記画像信号を表示し且つ取得する画像デバイス手段と、
前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを同期させ、前記音声信号を前記音声デバイスへ通知し、前記画像信号を前記画像デバイス手段へ通知する機能と、前記音声デバイスから通知された前記音声信号と前記画像デバイス手段から通知された前記画像信号とに同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能とを有する同期処理手段と、
を有することを特徴とする携帯電話端末。
【請求項７】
音声網及びデータ網に接続された仮想端末プログラムであって、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、前記音声網から受信された前記音声信号及び前記データ網から受信された前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
前記画像信号を仮想画面に展開する仮想画面手段と、
前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能と、前記音声網を介して受信した前記音声信号と前記データ網を介して受信した前記画像信号とを同期させる機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする仮想端末プログラム。
【請求項８】
音声網及びデータ網に接続された携帯電話端末プログラムであって、
前記音声信号を発声し且つ取得する音声デバイス手段と、
前記画像信号を表示し且つ取得する画像デバイス手段と、
前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを同期させ、前記音声信号を前記音声デバイスへ通知し、前記画像信号を前記画像デバイス手段へ通知する機能と、前記音声デバイスから通知された前記音声信号と前記画像デバイス手段から通知された前記画像信号とに同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする携帯電話端末プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラムに関する。特に、仮想端末ソフトウェアを応用したシステム等に関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータのような端末の間で、仮想的に、一方の端末をサーバとし、他方の端末をクライアントとして構成するソフトウェアがある（例えば非特許文献１及び２参照）。これは、サーバとなる第１の端末に「仮想端末サーバプログラム」を起動させ、クライアントとなる第２の端末に「仮想端末クライアントプログラム」を起動させる。第１の端末は、第２の端末からの要求に対して画像信号を第２の端末へ送信し、第２の端末は、その画像信号をディスプレイに表示し、ユーザの要求となる入力を待つ。第２の端末は、ユーザによって入力されたキーボード等の情報を第１の端末へ送信し、その第１の端末からの更なる画像信号を受信する。
【０００３】
このような仮想端末ソフトウェアによれば、第１の端末から第２の端末に対して、画像信号しか送信されないために、その処理に伴う様々なプログラムを送信する場合と比較して、狭い通信帯域しか必要としない。特に、画像情報は、データ圧縮及び差分転送等の技術を用いることにより、更に狭い通信帯域で送信することが可能となる。また、クライアントとなる第２の端末は、画像信号を表示するだけであり、その処理に伴う様々なプログラムを実行する必要がない。そのプログラムの実行は、サーバとなる第１の端末で行われるので、第２の端末は、比較的小さいＣＰＵの能力で実現できる。
【０００４】
図１は、従来の携帯電話通信システムの構成図である。
【０００５】
図１によれば、携帯電話事業者設備１と、設備１と無線リンクで接続された携帯電話端末２と、設備１と電話網５を介して接続され且つ音声信号を送受信する電話機３と、設備１とインターネット６を介して接続され且つデータを送受信するサーバ４及びクライアント７とから構成されている。携帯電話事業者設備１は、音声信号を転送する音声網１１と、データを転送するデータ網１２と、携帯電話端末２と無線リンクで接続する基地局１３とを有する。携帯電話端末２と基地局１３との間は、音声信号用無線リンクと、データ用無線リンクとによって接続されている。音声信号用無線リンクは音声網１１と接続され、データ用無線リンクはデータ網１２と接続されている。
【０００６】
携帯電話端末２は、音声信号用無線リンクから受信した音声信号をスピーカから発声し、データ用無線リンクから受信したデータを解釈して、その画像のディスプレイへの表示や、音声のスピーカからの発声を行う。
【０００７】
携帯電話端末２は、無線送受信部２１と、アプリケーション処理部２２と、音声デバイス部２３と、入力デバイス部２４と、画像デバイス部２５とを有する。音声デバイス部２３は、無線送受信部２１から通知された音声信号についてデジタルからアナログへ変換してスピーカから発声し、マイクから取得された音声信号についてアナログからデジタルに変換して無線送受信部２１へ通知する。画像デバイス部２５は、アプリケーション処理部２２から通知された画像信号をディスプレイに表示し、カメラから取得された画像信号をアプリケーション処理部２５へ通知する。入力デバイス部２４は、キーパッドから、ユーザの操作であるキー入力データを取得する。
【０００８】
無線送受信部２１は、音声信号用無線リンクと音声デバイス部２３との間で音声信号を送受信し、データ用無線リンクとアプリケーション処理部２２との間でデータ信号を送受信する。
【０００９】
アプリケーション処理部２２は、例えばＷｅｂブラウザと同様の機能を有し、データ用無線リンクを介して受信されたＨＴＭＬ(Hypertext Markup Language）データを解釈する。要求されたＷｅｂページが動画像データを含むものであれば、画像信号及び音声信号が取得され、画像信号は画像デバイス部２５へ通知され、音声信号は音声デバイス部２３へ通知される。一方、アプリケーション処理部２２は、画像デバイス部２５から受信した画像信号を、インターネットで送受信可能な形式に変換し、ＩＰパケット化して、無線送受信部２１を介して、データ用無線リンクに送信する。また、アプリケーション処理部２２は、入力デバイス部２４から取得した入力信号をアプリケーションで処理した後、処理した内容について、無線送受信部２１を介して、データ用無線リンクに送信する。
【００１０】
【非特許文献１】仮想端末ソフトウェア”ＶＮＣ”、[online]、[平成１６年３月１２日検索]、インターネット<URL:http://www.realvnc.com>
【非特許文献２】ＷｉｎｄｏｗｓＸＰ”リモートデスクトップ”、[online]、[平成１６年３月１２日検索]、インターネット<http://www.atmarkit.co.jp/fwin2k/xp_feature/012remotedesktop/remotedesktop_01.html>
【非特許文献３】３ＧＰＰ２ ３Ｇ−３２４Ｍ（３ＧＰＰ ＴＲ２６．９１１ Version５．１０）、[online]、[平成１６年３月１２日検索]、インターネット<http://www.3gpp.org/ftp/Specs/html-info/26911.htm>
【非特許文献４】マイクロソフト、「Windows Messengerにおける通信の仕組み」の「音声とビデオ」、[online]、[平成１６年３月１２日検索]、インターネット<URL:http://www.microsoft.com/japan/technet/treeview/default.asp?url=/japan/technet/prodtechnol/winxppro/evaluate/insid01.asp>
【発明の開示】
【発明が解決しようとする課題】
【００１１】
前述したような「仮想端末クライアントプログラム」は、画像信号のみを対象としている。これに対し、インターネットにおいて送受信されるユーザデータには、文字データ又は画像データだけでなく、ＶｏＩＰのような音声データ又はＭＰＥＧのような動画データも含まれる。このようなデータは、画像信号（文字データと動画像データの画像信号とを含む）と、音声信号（動画像データの音声データも含む）とに大きく区別される。従って、携帯電話端末との間でデータ網を介して送受信されるユーザデータにも、音声信号の成分が含まれることになる。このような場合に従来の「仮想端末クライアントプログラム」をそのまま適用した場合、音声信号が扱えないという問題が生じる。
【００１２】
図１に示すようなネットワークを介して、サーバからのユーザデータを受信する場合、ユーザデータに音声データが含まれていても、ユーザデータは全てデータ用無線リンクを介して受信することになる。従って、音声データであるにもかかわらず、データ用無線リンクだけが使用される。そのため、音声信号用無線リンク及びデータ用無線リンクの全体を有効に利用することができない。
【００１３】
また、携帯電話端末は、受信したデータを解釈し、画像信号や音声信号に復元しなければならないために、ユーザデータに含まれるデータ種別が高度になるほど、より高性能なＣＰＵ又は周辺装置が携帯電話端末に必要になる。このようなＣＰＵ等の高性能化は、消費電力の増大、即ち携帯電話端末の待ち受け時間の短縮にもつながる。
【００１４】
従って、本発明は、音声信号用及びデータ用の無線リンク全体を有効に利用することができ、携帯電話端末における処理負荷が少なくて済むようなシステム、装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の携帯電話通信システムによれば、
音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、音声網及びデータ網に接続された仮想端末装置と、該仮想端末装置に接続された相手通信装置とを有し、
仮想端末装置は、相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分けるアプリケーション処理手段と、画像信号を仮想画面に展開する仮想画面手段と、音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する同期処理手段とを有し、
携帯電話端末は、音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させる同期処理手段と、音声信号を発声する音声デバイス手段と、画像信号を表示する画像デバイス手段とを有することを特徴とする。
【００１６】
また、本発明の携帯電話通信システムにおける他の実施形態よれば、
携帯電話端末は、利用者の操作内容を取得する入力デバイス手段と、該操作内容を入力信号としてデータ網へ送信する入力処理手段とを更に有し、
仮想端末装置は、入力信号から得られる操作内容をアプリケーション処理手段へ通知する入力処理手段を更に有し、該アプリケーション処理手段は、操作内容を解釈して相手通信装置へユーザデータを要求するように構成されていることも好ましい。
【００１７】
また、本発明の携帯電話通信システムによれば、
音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、音声網及びデータ網に接続された仮想端末装置と、仮想端末装置に接続された相手通信装置とを有し、
携帯電話端末は、音声信号を取得する音声デバイス手段と、画像信号を取得する画像デバイス手段と、音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する同期処理手段とを有し、
仮想端末装置は、音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させる同期処理手段と、同期された音声信号及び画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信するアプリケーション処理手段とを有することを特徴とする。
【００１８】
また、本発明の携帯電話通信システムにおける他の実施形態によれば、
仮想端末装置は、アプリケーション処理手段の結果に基づいて携帯電話端末を制御する指示信号を生成し、該指示信号を携帯電話端末へ送信する、及び携帯電話端末からの指示信号を受信し、仮想制御装置の仮想画面を制御する指示処理手段を更に有し、
携帯電話端末は、仮想端末装置から受信した指示信号に基づいて音声デバイス手段及び画像デバイス手段を制御する、及び仮想端末装置の仮想画面と同期を取るために指示信号を生成し、該指示信号を仮想端末装置へ送信する指示処理手段を更に有することも好ましい。
【００１９】
本発明の仮想端末装置によれば、
音声網及びデータ網に接続されており、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、音声網から受信された音声信号及びデータ網から受信された画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
画像信号を仮想画面に展開する仮想画面手段と、
音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能と、音声網を介して受信した音声信号とデータ網を介して受信した画像信号とを同期させる機能とを有する同期処理手段とを有することを特徴とする。
【００２０】
本発明の携帯電話端末によれば、
音声網及びデータ網に接続されており、
音声信号を発声し且つ取得する音声デバイス手段と、
画像信号を表示し且つ取得する画像デバイス手段と、
音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させ、音声信号を音声デバイスへ通知し、画像信号を画像デバイス手段へ通知する機能と、音声デバイスから通知された音声信号と画像デバイス手段から通知された画像信号とに同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能とを有する同期処理手段と、
を有することを特徴とする。
【００２１】
本発明の仮想端末プログラムによれば、
音声網及びデータ網に接続されており、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、音声網から受信された音声信号及びデータ網から受信された画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
画像信号を仮想画面に展開する仮想画面手段と、
音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能と、音声網を介して受信した音声信号とデータ網を介して受信した画像信号とを同期させる機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする。
【００２２】
本発明の携帯電話端末プログラムによれば、
音声網及びデータ網に接続されており、
音声信号を発声し且つ取得する音声デバイス手段と、
画像信号を表示し且つ取得する画像デバイス手段と、
音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させ、音声信号を音声デバイスへ通知し、画像信号を画像デバイス手段へ通知する機能と、音声デバイスから通知された音声信号と画像デバイス手段から通知された画像信号とに同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする。
【発明の効果】
【００２３】
本発明の仮想端末装置及びネットワークシステムによれば、音声データに対しては音声網及び音声用無線リンクが用いられるために、無線リンク全体を有効に利用することができる。また、携帯電話端末に搭載されるＣＰＵは、単純な音声／画像信号のみを処理すればよく、携帯電話端末がユーザデータを解釈する必要がない。従って、高性能なＣＰＵ等が不要となり、消費電力の消費も比較的少なく済み、携帯電話端末の待ち受け時間の延長につながる。
【００２４】
更に、携帯電話端末の表示能力の表示画面サイズは一定であるので、画像信号を転送するデータ用無線リンクの通信帯域を一定にすることができる。また、仮想端末の方式を採用することにより、ユーザデータの全てを転送する必要がないため、無線リンクで必要となる帯域を抑制することができる。
【００２５】
更に、携帯電話端末は、音声デバイス部によって取得された音声信号と、画像デバイス部によって取得された画像信号とをアプリケーション処理することなく別々に仮想端末装置へ送信することができるので、この点においても、携帯電話端末の処理負荷の軽減となる。
【発明を実施するための最良の形態】
【００２６】
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
【００２７】
図２は、本発明における携帯電話通信システムの構成図である。
【００２８】
図２によれば、図１と比較して、インターネット６とデータ網１２との間に仮想端末装置１０を備えている点が相違する。仮想端末装置１０は、データ網１２と音声網１１とに接続されている。図１の従来技術によれば、携帯電話端末２がアプリケーション処理部２２を有するのに対し、図２の本発明によれば、仮想携帯端末装置１０が、携帯電話端末のアプリケーション処理部を有することに特徴がある。本発明による携帯電話端末は、仮想端末装置１０との間で、音声網を介して音声信号を送受信し、データ網を介して画像信号（その他データを含む）を送受信する。
【００２９】
仮想端末装置１０は、アプリケーション処理部１０１と、仮想画面部１０２と、入力処理部１０３と、指示処理部１０４と、同期処理部１０５とを有する。勿論、これら機能部は、プログラムとして実現可能である。
【００３０】
アプリケーション処理部１０１は、既存の携帯電話端末に搭載されるアプリケーション処理の機能を有する。この機能は、インターネット６を介して受信されたＩＰパケットのデータの内容を解釈するものである。例えばＷｅｂページを受信した場合、既存の携帯電話端末に搭載されているブラウザ機能と同じ処理を行う。Ｗｅｂページが例えばＨＴＭＬ(HyperText Markup Language)データと動画像データとを含む場合、ディスプレイに表示するための画像信号と、音声デバイス部に出力するための音声信号とを取り出すことができる。アプリケーション処理結果から画像信号や音声信号を取り出す方式は、既存の方式（例えば非特許文献３参照）を用いる。
【００３１】
また、アプリケーション処理部１０１は、音声網１１及びデータ網１２を介して受信された音声信号及び画像信号から、アプリケーション処理によって統合データを生成する機能を有する（例えば非特許文献４参照）。例えば、音声信号及び画像信号から動画像データのストリームデータを生成することができ、ＨＴＴＰ(HyperText Transfer Protocol)によってインターネット６を介して相手通信端末へ送信される。
【００３２】
更に、アプリケーション処理部１０１は、携帯電話端末２に対して指示信号を送信する機能も有する。指示信号とは、携帯電話端末２の音声デバイス部２３及び画像デバイス部２５を制御させるための信号である。これは、アプリケーションの処理によって携帯電話端末２を制御するために用いられる。
【００３３】
仮想画面部１０２は、アプリケーション処理部１０１から出力された画像信号を、仮想画面に描画する機能を有する。これにより、現在、携帯電話端末の画面上に描画されている内容を把握することができる。あくまで、仮想的に画面描画するものであり、実際にディスプレイに表示するものではない。
【００３４】
入力処理部１０３は、携帯電話端末２から受信した入力信号を解釈し、利用者が入力した内容、例えばキーパッドからの入力の内容を、アプリケーション処理部１０１へ通知する。
【００３５】
指示処理部１０４は、アプリケーション処理部１０１の処理結果に基づいて、携帯電話端末２のカメラを起動するような制御、又は、無線状況によって携帯電話端末のディスプレイと仮想端末装置の仮想画面との内容を同期させるような制御のための指示信号を生成し、データ網１２へ送信する。加えて、携帯電話端末２への指示に対する応答、又は、携帯電話端末２から送信される仮想画面同期制御のための指示信号をデータ網から受信する。
【００３６】
同期処理部１０５は、動画像データのように画像信号と同期信号とを同期させなくてはならない場合に、画像信号及び音声信号に同期信号を埋め込んで携帯電話端末２へ送信する機能を有する。また、携帯電話端末２から受信した画像信号及び音声信号について同期をとってアプリケーション処理部１０１へ通知する機能も有する。
【００３７】
音声信号及び画像信号に付加される同期信号は、タイムスタンプのようなものであって、それぞれの信号について時間的に同じ部分は、同じ値が入ることになる。同期信号は、音声信号及び画像信号のヘッダ部分に付加される。携帯電話網では、音声信号もデジタル化されているために、このようなヘッダを付けることは容易である。
【００３８】
例えば、同期処理部１０５は、データ網から画像信号は受信されているけれども、音声網から音声信号が受信されていない場合（又はその逆）、同一の同期信号を有する音声信号（又は画像信号）が到着するまで、画像信号（又は音声信号）を蓄積する機能も有する。これにより、同一の同期信号を有する音声信号（又は画像信号）信号が到着しだい、同一タイミングで、画像信号及び音声信号をアプリケーション処理部１０１へ通知する。
【００３９】
加えて、同期処理部１０５は、アプリケーション処理部１０１から通知された音声信号と、画像信号とが動画像データのようなものであって、同期をとる必要がある場合には、音声信号及び画像信号に同期信号を埋め込んで、音声網１１とデータ網１２に送信する機能も有する。尚、音声信号と画像信号とについて同期を取る必要がなければ、それぞれの信号を単独に送信する。
【００４０】
また、電波状況の悪化によって通信できない場合に、携帯電話端末２に反映された情報と、仮想端末装置１０の情報とを同期させる機能を有する。本機能は、通信が可能になった場合、携帯電話端末の画像情報から、仮想画面を再構築するためのものである。
【００４１】
本発明による携帯電話端末２は、無線送受信部２１と、音声デバイス部２３と、入力デバイス部２４と、画像デバイス部２５と、同期処理部２６と、入力処理部２７と、指示処理部２８とを有する。無線送受信部２１と、音声デバイス部２３と、入力デバイス部２４と、画像デバイス部２５とは、図１の説明と同様である。
【００４２】
同期処理部２６は、動画像データのように画像信号及び音声信号を同期させなくてはならない場合、音声網１１から受信した音声信号とデータ網１２から受信した画像信号とに埋め込まれている同期信号を用いて、これら信号を同期させる。同期させた音声信号は音声デバイス部２３へ通知され、画像信号は画像デバイス部２５へ通知される。
【００４３】
例えば、同期処理部２６は、データ網から画像信号は受信されているけれども、音声網から音声信号が受信されていない場合（又はその逆）、同一の同期信号を有する音声信号（又は画像信号）が到着するまで、画像信号（又は音声信号）を蓄積する機能も有する。これにより、同一の同期信号を有する音声信号（又は画像信号）信号が到着しだい、同一タイミングで、音声信号を音声デバイス部２３へ通知し、画像信号を画像デバイス部２５へ通知する。
【００４４】
加えて、同期処理部２６は、音声デバイス部２３から受信した音声信号と、入力デバイス部２４から受信した画像信号とが動画像データのようなものであって、同期をとる必要がある場合には、音声信号及び画像信号に同期信号を埋め込んで無線送受信部２１へ通知する機能も有する。尚、音声信号と画像信号とについて同期をとる必要がなければ、それぞれの信号を単独に送信する。
【００４５】
入力処理部２７は、例えばキーパッドのような入力デバイス部２４から入力の内容を受信する。そして、入力の内容に基づく入力信号を同期処理部２６へ通知する。これにより、入力信号は、データ用無線リンクを介して仮想端末装置１０へ送信される。また、入力された内容を、画像デバイス部２５へ通知し、ディスプレイにその内容を表示させる。
【００４６】
また、入力処理部２７は、入力されたデータを保持し、利用者のアクション（送信ボタン等の押下）により、仮想端末装置１０へ送信するようにすることができる。携帯電話通信システムは、基本的に往復遅延が大きいために、最終的な結果のみを仮想端末装置へ送信することにより、遅延対策又は帯域節約を行う。
【００４７】
指示処理部２８は、仮想端末装置１０から受信した指示信号に基づいて、音声デバイス部２３と、入力デバイス部２４と、画像デバイス部２５とを制御する。例えば、指示信号に基づいて画像デバイス部２５のカメラを起動させたり、音声デバイス部２３のマイクを起動させることができる。加えて、仮想端末装置１０からの指示信号への応答や、仮想端末装置１０へ仮想画面同期制御のための指示信号を生成し、送信することができる。指示信号は、データ用無線リンクを介して仮想端末装置１０と送受信される。
【００４８】
図３は、サーバから携帯電話端末へＷｅｂページを送信するシーケンス図である。
【００４９】
（Ｓ３０１）携帯電話端末２を操作するユーザが、サーバ４に、動画像データを有するＷｅｂページ（例えばＭＰＥＧ形式及び文字から構成）を要求する。このページ要求は、ユーザが携帯電話端末２を操作して、所定のボタンを押下したことがトリガとなる。このユーザの操作は、入力デバイス部２４が検出する。
（Ｓ３０２）入力デバイス部２４は、ユーザが携帯電話端末２に入力した情報を入力処理部２７へ通知し、入力処理部２７は入力信号を生成する。その入力信号は、データ用無線リンクとデータ網１２とを介して、仮想端末装置１０へ送信される。その後、入力信号は、仮想端末装置１０の入力処理部１０３へ通知され、入力された内容（画面上の位置及びボタンが押下されたこと）が、アプリケーション処理部１０１へ通知される。
（Ｓ３０３）アプリケーション処理部１０１は、入力された内容に基づいて、ユーザが当該Ｗｅｂページを要求をしていることを把握する。これは、既存の携帯電話端末におけるハイパーリンクのクリックと同様の処理である。
（Ｓ３０４）仮想端末装置１０は、当該Ｗｅｂページを要求する。サーバ４と仮想端末装置１０との間は、既存の携帯電話端末と同様に、ＨＴＴＰによって実現される。従って、Ｗｅｂページの要求は、HTTP Requestによって行われる。
（Ｓ３０５）サーバ４は、Ｗｅｂページのデータ（ＨＴＭＬデータ＋動画像）を返信する。
（Ｓ３０６）仮想端末装置１０のアプリケーション処理部１０１は、受信したデータの内容を解釈する。この解釈処理は、既存の携帯電話端末に搭載されているブラウザが行う処理と同じである。解釈の結果、取得したＷｅｂページには、ＨＴＭＬデータと動画とが含まれていることを把握する。そして、アプリケーション処理部１０１は、ＨＴＭＬデータ及び動画像から、ディスプレイに表示するための画像信号と、スピーカから出力するための音声信号とに振り分ける。
（Ｓ３０７）アプリケーション処理部１０１は、Ｓ３０６で生成された画像信号を、仮想画面部１０２へ通知する。
（Ｓ３０８）仮想画面部１０２は、Ｓ３０６で生成された画像信号を、仮想端末装置の仮想画面上に描画する。これは、仮想端末装置内で携帯電話端末の画面表示を把握するために行われる。
（Ｓ３０９）仮想画面部１０２は、画像信号を同期処理部１０５へ通知する。
（Ｓ３１０）アプリケーション処理部１０１は、Ｓ３０６で生成された音声信号を、同期処理部１０５へ通知する。
（Ｓ３１１）同期処理部１０５は、Ｓ３０９及びＳ３１０で通知された画像信号及び音声信号に対して、同期信号を付加する。
（Ｓ３１２）同期処理部１０５は、画像信号をデータ網１２へ送信する。
（Ｓ３１３）同期処理部１０５は、音声信号を音声網１１へ送信する。
（Ｓ３１４）携帯電話端末２は、データ用無線リンクを介して画像信号を受信し、音声信号用無線リンクを介して音声信号を受信する。同期処理部２６は、受信された画像信号及び音声信号について同期信号の同期をとり、同期がずれている場合は、同一タイミングの同期信号を有する信号が来るまで一旦蓄積する。
（Ｓ３１５）同期処理部２６は、同期がとられた画像信号を、画像デバイス部２５へ通知する。
（Ｓ３１６）同期処理部２６は、同期がとられた音声信号を、音声デバイス部２３へ通知する。
（Ｓ３１７）画像デバイス部２５は、通知された画像信号をディスプレイに表示する。また、音声デバイス部２３は、通知された音声信号をスピーカから発声させる。
【００５０】
図４は、携帯電話端末２からクライアント７へ動画像データを送信するシーケンス図である。
【００５１】
（Ｓ４０１）携帯電話端末２を所持しているユーザが、クライアント７へ動画像データ（画像信号＋音声信号）を送信したいとする。この送信は、ユーザが携帯電話端末２を操作して、所定のボタンを押下したことがトリガとなる。このユーザの操作は、入力デバイス部２４が検出する。
（Ｓ４０２）入力デバイス部２４は、ユーザが携帯電話端末２に入力した情報（ボタンの押下）を入力処理部２７へ通知し、入力処理部２７は、入力信号を生成する。その入力信号は、データ用無線リンクとデータ網１２とを介して、仮想端末装置１０へ送信される。その後、入力信号は、仮想端末装置１０の入力処理部１０３へ通知され、入力された内容（画面上の位置及びボタンが押下されたこと）が、アプリケーション処理部１０１へ通知される。
（Ｓ４０３）アプリケーション処理部１０１は、入力された内容に基づいて、ユーザがクライアント７へ動画像データを送信したいことを把握する。
（Ｓ４０４）アプリケーション処理部１０１は、受信先となるクライアント７へ動画像送信待機要求を送信する。尚、Ｓ４０４及びＳ４０５の処理は、既存のストリーミングデータ送信方式（例えば非特許文献４参照）を用いて行われる。
（Ｓ４０５）サーバ４は、動画像を受信する準備ができた場合、動画像受信待機応答を仮想端末装置１０へ返信する。
（Ｓ４０６）仮想端末装置１０のアプリケーション処理部１０１は、携帯電話端末２のカメラ又はマイクを起動して動画像データの送信を開始すべきことを、指示処理部１０４へ通知する。指示処理部１０４は、その旨の指示信号を生成し、携帯電話端末２へ送信する。携帯電話端末２の指示処理部２８は、受信した指示信号に基づいて、画像デバイス部２５へカメラを起動することと、音声デバイス部２３へマイクを起動することとを通知する。
（Ｓ４０７）画像デバイス部２５はカメラを起動し、音声デバイス部はマイクを起動する。
（Ｓ４０８）画像デバイス部２５は、カメラによって取得された画像信号を同期処理部２６へ通知する。
（Ｓ４０９）音声デバイス部２３は、マイクによって取得された音声をデジタル化した音声信号を、同期処理部２６へ通知する。音声信号には、データとして送信することを示す情報をヘッダ部分に付加する。
（Ｓ４１０）同期処理部２６は、Ｓ４０８及びＳ４１０で通知された画像信号及び音声信号に対して、同期信号を付加する。
（Ｓ４１１）携帯電話端末２は、画像信号をデータ網１２を介して送信する。
（Ｓ４１２）携帯電話端末２は、音声信号を音声網１１を介して送信する。
（Ｓ４１３）仮想端末装置１０は、データ網を介して画像信号を受信し、音声網を介して音声信号を受信する。同期処理部１０５は、受信された画像信号及び音声信号について同期信号の同期をとり、同期がずれている場合は、同一タイミングの同期信号を有する信号が来るまで一旦蓄積する。
（Ｓ４１４）同期処理部１０５は、画像信号をアプリケーション処理部１０１へ通知する。
（Ｓ４１５）音声信号にはデータとして処理することを示すフラグが立っているので、同期処理部１０５は、その音声信号をアプリケーション処理部１０１へ通知する。
（Ｓ４１６）アプリケーション処理部１０１は、受信した画像信号を仮想画面部１０２へ通知し、携帯電話端末上の画面との同期をとる。
（Ｓ４１７）アプリケーション処理部１０１は、画像信号及び音声信号から、例えばストリーミングデータのような動画像データを作成する（例えば非特許文献４参照）。
（Ｓ４１８）アプリケーション処理部１０１は、作成した動画像データを、例えばインターネット６を介してクライアント７へ送信する。
（Ｓ４１９）クライアント７は、受信した動画データを解釈し、表示／発声を行う。
【００５２】
図５は、本発明の仮想端末装置における携帯電話端末への送信のフローチャートである。
【００５３】
（Ｓ５０１）サーバ４から受信したユーザデータの内容を解釈する。前述したように、既存の携帯電話端末におけるアプリケーション処理である。
（Ｓ５０２）ユーザデータに含まれている信号種別を判断する。音声＋画像信号であれば、ユーザデータを仮想画面に描画し、画像信号と音声信号とを取得し、それら信号に必要であれば同期信号を付加する。画像信号のみであれば、ユーザデータを仮想画面に描画し、画像信号を取得する。更に、音声信号が含まれていれば、音声網へ送信するために、フラグ「音声信号送信」＝１にし、画像信号が含まれていれば、データ網へ送信するために、フラグ「画像信号送信」＝１にする。
（Ｓ５０３）送信すべき指示信号があれば、データ網へ送信するために、フラグ「画像信号送信」＝１にする。
（Ｓ５０４）フラグ「画像信号送信」＝１ならば、携帯電話端末２へ、データ網を介して画像信号又は指示信号を送信する。
（Ｓ５０５）フラグ「音声信号送信」＝１ならば、携帯電話端末２へ、音声網を介して音声信号を送信する。
【００５４】
図６は、本発明の仮想端末装置における携帯電話端末からの受信のフローチャートである。
【００５５】
（Ｓ６０１）携帯電話端末から指示信号を受信している場合、アプリケーション処理部で指示内容を処理する。例えば、携帯電話端末と仮想端末装置の仮想画面の内容を同期する必要がある場合に用いられる。
（Ｓ６０２）受信されたユーザデータに含まれている信号種別を判断する。音声信号が含まれていれば、フラグ「音声信号受信」＝１にし、画像信号が含まれていればフラグ「画像信号受信」＝１にする。
（Ｓ６０３）携帯電話端末から受信した音声信号及び画像信号のそれぞれに同期信号が含まれていれば、両信号の同期をとる。このとき、タイミングがずれていれば、同期をとるために、一方の信号を同期信号処理部で一時的に蓄積する。
（Ｓ６０４）音声信号があれば、アプリケーション処理部へ通知する。
（Ｓ６０５）画像信号があれば、アプリケーション処理部へ通知する。また、入力信号がある場合、入力信号を入力処理部で入力データとし、それをアプリケーション処理部に通知する。
（Ｓ６０６）音声信号又は画像信号があれば、アプリケーション処理部でＩＰパケットを生成し、相手通信装置へ送信する。また、画像信号があれば、その画像信号は仮想画面部へ通知される。
【００５６】
図７は、本発明の携帯電話端末における仮想端末装置からの受信のフローチャートである。
【００５７】
（Ｓ７０１）仮想端末装置から指示信号を受信している場合、指示処理部で指示内容を把握し、音声デバイス部及び画像デバイス部を制御する。
（Ｓ７０２）受信した信号の種別を判断する。音声信号であればフラグ「音声信号受信」＝１にし、画像信号であればフラグ「画像信号受信」＝１にする。
（Ｓ７０３）同期信号が受信した信号に含まれていれば、画像信号及び音声信号を同期させる。このとき、タイミングがずれていれば、同期をとるために、一方の信号を同期信号処理部で一時的に蓄積する。
（Ｓ７０４）音声信号があれば、音声デバイス部へ通知する。
（Ｓ７０５）画像信号があれば、画像デバイス部へ通知する。
【００５８】
図８は、本発明の携帯電話端末における仮想端末装置への送信のフローチャートである。
【００５９】
（Ｓ８０１）仮想端末装置から受信した信号の種別を判断する。音声信号であればフラグ「音声信号送信」＝１にし、画像信号であればフラグ「画像信号送信」＝１にする。また、入力信号であればフラグ「画像信号送信」＝１にする。音声信号及び画像信号を受信しており同期処理が必要であれば、それぞれの信号に同期信号を付加する。
（Ｓ８０２）送信すべき音声信号があり、その音声信号が電話網向けのものでなければ、その音声信号にデータ用である旨の情報を付加する。そして、その音声信号を音声網へ送信する。
（Ｓ８０３）送信すべき入力信号があるならば、必要に応じて入力信号を画像信号化して表示デバイスに通知し、入力内容を入力信号化する。また、入力された画像信号があるならば、表示デバイスに通知する。その後、入力／画像信号についてデータ網を通して送信する。
【００６０】
前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【００６１】
【図１】従来の携帯電話通信システムの構成図である。
【図２】本発明における携帯電話通信システムの構成図である。
【図３】サーバから携帯電話端末へＷｅｂページを送信するシーケンス図である。
【図４】携帯電話端末からクライアントへ動画像データを送信するシーケンス図である。
【図５】本発明の仮想端末装置における携帯電話端末への送信のフローチャートである。
【図６】本発明の仮想端末装置における携帯電話端末からの受信のフローチャートである。
【図７】本発明の携帯電話端末における仮想端末装置からの受信のフローチャートである。
【図８】本発明の携帯電話端末における仮想端末装置への送信のフローチャートである。
【符号の説明】
【００６２】
１  携帯電話事業者設備
１０  仮想端末装置
１０１  アプリケーション処理部
１０２  仮想画面部
１０３  入力処理部
１０４  指示処理部
１０５  同期処理部
１１  音声網
１２  データ網
１３  基地局
２  携帯電話端末
２１  無線送受信部
２２  アプリケーション処理部
２３  音声デバイス部
２４  入力デバイス部
２５  画像デバイス部
２６  同期処理部
２７  入力処理部
２８  指示処理部
３  電話機
４  サーバ
５  電話網
６  インターネット
７  クライアント
【図１】
2005277654.tif 000003
【図２】
2005277654.tif 000004
【図３】
2005277654.tif 000005
【図４】
2005277654.tif 000006
【図５】
2005277654.tif 000007
【図６】
2005277654.tif 000008
【図７】
2005277654.tif 000009
【図８】
2005277654.tif 000010