(57)【要約】【課題】  音声等の音響を処理する音響処理部と動画像を処理する動画像処理部とが異なる制御部によって制御されていても、音声等の音響と動画像との同期を取ることが可能な携帯電話端末および携帯電話端末の同期制御方法を提供する。【解決手段】  同期制御部１２は、音声処理用ＣＰＵ７と、動画像処理用ＣＰＵ１７との間で伝送される信号の伝送時間を計算する。同期制御部１２は、音声処理の開始を指示する音声処理開始信号を、動画像処理用ＣＰＵ１７を介して音声処理用ＣＰＵ７に伝送し、音響処理開始信号の伝送から、先に計算した伝送時間が経過したタイミングで動画像処理の開始を指示する動画像処理開始指示信号を動画像処理用ＣＰＵ１７に伝送する。【選択図】      図１
2005057430.tif 000002
【特許請求の範囲】
【請求項１】
音響を示す音響情報を処理する音響処理部および前記音響処理部による音響処理を制御する音響処理制御部とを含む音響処理ブロックを用いて音響処理を行う携帯電話端末において、
動画像を示す動画像情報を処理する動画像処理部と、
前記動画像処理部による動画像処理を制御する動画像処理制御部と、
前記音響処理ブロックと前記動画像処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行い、その後、前記伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御部とを含むことを特徴とする携帯電話端末。
【請求項２】
請求項１に記載の携帯電話端末において、
前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、
前記音響処理ブロックは、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、
前記同期制御部は、前記同期処理として、前記動画像処理制御部を介して前記音響処理カウンタのカウント値を取得し、取得した音響処理カウンタのカウント値と該音響処理カウンタのカウント値を取得した際の前記動画像処理カウンタのカウント値と所望のタイミングでの前記動画像処理カウンタのカウント値と前記伝送時間計算処理で計算した伝送時間とに基づき前記所望のタイミングでの音響処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの音響処理カウンタのカウント値と前記所望のタイミングでの動画像処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御することを特徴とする携帯電話端末。
【請求項３】
請求項１または２に記載の携帯電話端末において、前記同期制御部は、前記伝送時間計算処理および前記同期処理を間欠的に行うことを特徴とする携帯電話端末。
【請求項４】
請求項１に記載の携帯電話端末において、前記同期制御部は、前記同期処理として、前記音響処理の開始を指示する音響処理開始信号を、前記動画像処理制御部を介して前記音響処理ブロックに伝送し、前記音響処理開始信号の伝送から、前記伝送時間計算処理で計算した伝送時間が経過したタイミングで前記動画像処理の開始を指示する動画像処理開始指示信号を前記動画像処理制御部に伝送することを特徴とする携帯電話端末。
【請求項５】
請求項１ないし４のいずれかに記載の携帯電話端末において、前記音響処理ブロックをさらに含むことを特徴とする携帯電話端末。
【請求項６】
請求項５に記載の携帯電話端末において、前記音響処理ブロックは、前記音響処理部の出力を外部に出力する音響処理信号出力部をさらに含み、前記音響処理信号出力部は、無線または有線により外部の音響出力機器と接続されることを特徴とする携帯電話端末。
【請求項７】
請求項１ないし４のいずれかに記載の携帯電話端末において、前記音響処理ブロックは、外部の音響処理端末に含まれ、前記動画像処理制御部は、無線または有線により前記音響処理ブロックと接続されることを特徴とする携帯電話端末。
【請求項８】
請求項１ないし４のいずれかに記載の携帯電話端末において、
前記音響処理ブロックは、携帯電話システムを経由して複数の前記動画像処理制御部と接続可能な外部の音響処理端末に含まれ、
前記同期制御部は、前記動画像処理制御部を介して前記動画像処理部を制御することによって、前記音響処理に対して前記動画像処理の同期を行うことを特徴とする携帯電話端末。
【請求項９】
動画像を示す動画像情報を処理する動画像処理部および前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む動画像処理ブロックを用いて動画像処理を行う携帯電話端末において、
音響を示す音響情報を処理する音響処理部と、
前記音響処理部による前記音響処理を制御する音響処理制御部と、
前記動画像処理ブロックと前記音響処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行い、その後、前記伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理とを行う同期制御部とを含むことを特徴とする携帯電話端末。
【請求項１０】
請求項９に記載の携帯電話端末において、
前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、
前記動画像処理ブロックは、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、
前記同期制御部は、前記同期処理として、前記音響処理制御部を介して前記動画像処理カウンタのカウント値を取得し、取得した動画像処理カウンタのカウント値と該動画像処理カウンタのカウント値を取得した際の前記音響処理カウンタのカウント値と所望のタイミングでの前記音響処理カウンタのカウント値と前記伝送時間計算処理で計算した伝送時間とに基づき前記所望のタイミングでの動画像処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの動画像処理カウンタのカウント値と前記所望のタイミングでの音響処理カウンタのカウント値との差が小さくなるように、前記音響処理制御部を介して前記音響処理部の処理速度を制御することを特徴とする携帯電話端末。
【請求項１１】
請求項９または１０に記載の携帯電話端末において、前記同期制御部は、前記伝送時間計算処理および前記同期処理を間欠的に行うことを特徴とする携帯電話端末。
【請求項１２】
請求項９に記載の携帯電話端末において、前記同期制御部は、前記同期処理として、前記動画像処理の開始を指示する動画像処理開始信号を、前記音響処理制御部を介して前記動画像処理ブロックに伝送し、前記動画像処理開始信号の伝送から、前記伝送時間計算処理で計算した伝送時間が経過したタイミングで前記音響処理の開始を指示する音響開始指示信号を前記音響処理制御部に伝送することを特徴とする携帯電話端末。
【請求項１３】
請求項９ないし１２のいずれかに記載の携帯電話端末において、前記動画像処理ブロックをさらに含むことを特徴とする携帯電話端末。
【請求項１４】
請求項１３に記載の携帯電話端末において、前記動画像処理ブロックは、前記動画像処理部の出力を外部に出力する動画像処理信号出力部をさらに含み、前記動画像処理出力部は、無線または有線により外部の表示機器と接続されることを特徴とする携帯電話端末。
【請求項１５】
請求項９ないし１２のいずれかに記載の携帯電話端末において、前記動画像処理ブロックは、外部の動画処理端末に含まれ、前記音響処理制御部は、無線または有線により前記動画像処理ブロックと接続されることを特徴とする携帯電話端末。
【請求項１６】
請求項９ないし１２のいずれかに記載の携帯電話端末において、
前記動画像処理ブロックは、携帯電話システムを経由して複数の前記音響処理制御部と接続可能な外部の動画処理端末に含まれ、
前記同期制御部は、前記音響処理制御部を介して前記音響処理部を制御することによって、前記動画像処理に対して前記音響処理の同期を行うことを特徴とする携帯電話端末。
【請求項１７】
音響を示す音響情報を処理する音響処理部および前記音響処理部による音響処理を制御する音響処理制御部とを含む音響処理ブロックを用いて音響処理を行い、動画像を示す動画像情報を処理する動画像処理部と、前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む携帯電話端末が行う同期制御方法であって、
前記音響処理ブロックと前記動画像処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算ステップと、
前記伝送時間計算ステップで計算した信号の伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御ステップとを含むことを特徴とする携帯電話端末の同期制御方法。
【請求項１８】
請求項１７に記載の携帯電話端末の同期制御方法において、
前記携帯電話端末は、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記音響処理ブロックは、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、
前記同期制御ステップは、前記同期処理として、前記動画像処理制御部を介して前記音響処理カウンタのカウント値を取得し、取得した音響処理カウンタのカウント値と該音響処理カウンタのカウント値を取得した際の前記動画像処理カウンタのカウント値と所望のタイミングでの前記動画像処理カウンタのカウント値と前記伝送時間計算ステップで計算した伝送時間とに基づき前記所望のタイミングでの音響処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの音響処理カウンタのカウント値と前記所望のタイミングでの動画像処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御することを特徴とする携帯電話端末の同期制御方法。
【請求項１９】
請求項１７または１８に記載の携帯電話端末の同期制御方法において、前記伝送時間計算ステップと前記同期制御ステップとは、間欠的に実行されることを特徴とする携帯電話端末の同期制御方法。
【請求項２０】
請求項１７に記載の携帯電話端末の同期制御方法において、前記同期制御ステップは、前記同期処理として、前記音響処理の開始を指示する音響処理開始信号を、前記動画像処理制御部を介して前記音響処理ブロックに伝送し、前記音響処理開始信号の伝送から、前記伝送時間計算ステップで計算した伝送時間が経過したタイミングで前記動画像処理の開始を指示する動画像処理開始指示信号を前記動画像処理制御部に伝送することを特徴とする携帯電話端末の同期制御方法。
【請求項２１】
動画像を示す動画像情報を処理する動画像処理部および前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む動画像処理ブロックを用いて動画像処理を行い、音響を示す音響情報を処理する音響処理部と、前記音響処理部による前記音響処理を制御する音響処理制御部とを含む携帯電話端末が行う同期制御方法であって、
前記動画像処理ブロックと前記音響処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算ステップと、
前記伝送時間計算ステップで計算した伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御ステップとを含むことを特徴とする携帯電話端末の同期制御方法。
【請求項２２】
請求項２１に記載の携帯電話端末の同期制御方法において、
前記携帯電話端末は、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記動画像処理ブロックは、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、
前記同期制御ステップは、前記同期処理として、前記音響処理制御部を介して前記動画像処理カウンタのカウント値を取得し、取得した動画像処理カウンタのカウント値と該動画像処理カウンタのカウント値を取得した際の前記音響処理カウンタのカウント値と所望のタイミングでの前記音響処理カウンタのカウント値と前記伝送時間計算ステップで計算した伝送時間とに基づき前記所望のタイミングでの動画像処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの動画像処理カウンタのカウント値と前記所望のタイミングでの音響処理カウンタのカウント値との差が小さくなるように、前記音響処理制御部を介して前記音響処理部の処理速度を制御することを特徴とする携帯電話端末の同期制御方法。
【請求項２３】
請求項２１または２２に記載の携帯電話端末の同期制御方法において、前記伝送時間計算ステップと前記同期制御ステップとは、間欠的に実行されることを特徴とする携帯電話端末の同期制御方法。
【請求項２４】
請求項２１に記載の携帯電話端末の同期制御方法において、前記同期制御ステップは、前記同期処理として、前記動画像処理の開始を指示する動画像処理開始信号を、前記音響処理制御部を介して前記動画像処理ブロックに伝送し、前記動画像処理開始信号の伝送から、前記伝送時間計算ステップで計算した伝送時間が経過したタイミングで前記音響処理の開始を指示する音響開始指示信号を前記音響処理制御部に伝送することを特徴とする携帯電話端末の同期制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話端末および携帯電話端末の同期制御方法に関し、特には、音声等の音響を処理する音響処理部と動画像を処理する動画像処理部とが互いに異なる制御部によって制御されていても、音声等の音響と動画像との同期を取ることが可能な携帯電話端末および携帯電話端末の同期制御方法に関する。
【背景技術】
【０００２】
従来、音声と動画像とを処理することができる携帯電話端末がある（特許文献１（特開２００２−１１８６３８号公報）参照）。
【０００３】
動画像処理としては、ISO14496にて規定されているMPEG4-VisualおよびTV電話システム用規格であるH.263などがある。また、音声処理としては、MPEG4-Audioおよび携帯電話におけるAMR(Adaptive Multi Rate) Codecがある。また、携帯電話においても第三世代用として3GPP（The 3rd Generation Partnership Project）規格で、上記動画像処理と上記音声処理とが採用されている。
【０００４】
従来、音声の録音および再生と、動画像の録画および再生とを実行することが可能な携帯電話端末においては、録画録音時に動画像と音声とを同期できるよう、また再生時にも動画像と音声とを同期できるよう、動画像処理を行う動画像処理部と音声処理を行う音声処理部とが、共通のＣＰＵ（ＤＳＰを含む。）より制御されている。
【０００５】
図１４は、音声の録音および再生と、動画像の録画および再生とを実行することが可能な従来の携帯電話端末の一例を示したブロック図である。
【０００６】
以下、図１４を参照して、音声の録音および再生と、動画像の録画および再生とを実行することが可能な従来の携帯電話端末を説明する。
【０００７】
図１４において、携帯電話端末１０１は、送受信ANT（アンテナ）８と、携帯電話用無線部９と、システム処理部１０と、音声入力部５と、音声出力部６と、動画像入力部１４と、動画像出力部１５と、音声動画像処理ブロック１０２とを含む。
【０００８】
送受信ANT（アンテナ）８は、携帯電話システムの無線信号を送受信する。携帯電話用無線部９は、携帯電話システムの無線信号の変復調を行う。システム処理部１０は、携帯電話信号の処理を行う。音声入力部５は、例えばマイクであり、音声などの音響を入力する。音声出力部６は、例えばスピーカであり、音声などの音響を出力する。動画像入力部１４は、例えばカメラであり、動画像を入力する。動画像出力部１５は、例えば表示部であり、動画像を出力する。音声動画像処理ブロック１０２は、音声（音響）の処理および動画像の処理を行う。
【０００９】
音声動画像処理ブロック１０２は、音声処理部１０３と、動画像処理部１０４と、音声動画像処理用ＣＰＵ１０５とを含む。
【００１０】
音声処理部１０３は、音声などの音響を示す音響情報の処理を行う。動画像処理部１０４は、動画像を示す動画像情報の処理を行う。音声動画像処理用ＣＰＵ１０５は、音声処理部１０３の動作および動画像処理部１０４の動作とを制御する。
【００１１】
図１４に示したように、従来の携帯電話端末では、音声動画像処理用ＣＰＵ１０５が、音声処理部１０３および動画像処理部１０４とを制御することにより、音声と動画像とが同期する。
【００１２】
特許文献２（特開２００３−４４６２１号公報）には、１つのシステムＣＰＵが動画像処理と音声処理とを制御する携帯電話端末において、動画像と音声とを同期させて再生するために、画像シーケンスデータの再生用のタイマと、音声シーケンスデータの再生用のタイマとが同時にスタートされる技術が記載されている。
【００１３】
なお、特許文献２には、画像シーケンスデータの再生用のタイマと、音声シーケンスデータの再生用のタイマとを同時にスタートさせるための具体的な手法は、記載されていない。
【特許文献１】特開２００２−１１８６３８号公報
【特許文献２】特開２００３−４４６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
特許文献２に記載されたような従来の携帯電話端末では、１つのＣＰＵ（ＤＳＰを含む）が、動画像の処理を行う動画像処理部と音声の処理を行う音声処理部とを制御するので、ＣＰＵの負荷が大きくなるという問題が生じる。
【００１５】
ＣＰＵの負荷が大きくなるという問題を解決するために、動画像処理部を制御する動画像ＣＰＵ（ＤＳＰを含む）と、音声処理部を制御する音声ＣＰＵ（ＤＳＰを含む）とを別々に設けることが考えられるが、この場合、動画像処理部と音声処理部とが異なるＣＰＵで制御されるため、動画像が音声と同期しなくなってしまう可能性が生じるという問題が生じてしまう。
【００１６】
動画像処理部と音声処理部とが異なるＣＰＵで制御される場合に、動画像が音声と同期しなくなってしまう可能性が生じるという問題が発生する原因の１つとして、動画像ＣＰＵと音声ＣＰＵとの間で伝送される信号の伝送時間に起因する、動画像処理と音声処理との間の同期誤差があげられる。
【００１７】
例えば、動画像ＣＰＵが、動画像と音声とを同期させるために用いる信号を、音声ＣＰＵに伝送する場合、動画像と音声とを同期させるために用いる信号は、動画像ＣＰＵから出力されてから、所定の伝送時間を経過した後に、音声ＣＰＵに供給される。
【００１８】
よって、音声ＣＰＵが動画像と音声とを同期させるために用いる信号を受け取るタイミングは、動画像ＣＰＵが動画像と音声とを同期させるために用いる信号を出力したタイミングよりも、その信号の伝送時間だけ遅れてしまい、このタイミングの遅れが、動画像と音声とが同期しなくなる原因となる。
【００１９】
したがって、仮に、音声ＣＰＵに制御された音声処理部の音声処理速度と、動画像ＣＰＵに制御された動画像処理部の動画像処理速度とが等しい場合でも、動画像ＣＰＵと音声ＣＰＵとの間で伝送される信号の伝送時間に起因する、動画像処理と音声処理との間の同期誤差が生じてしまう。
【００２０】
さらに、音声ＣＰＵに制御された音声処理部の音声処理速度と、動画像ＣＰＵに制御された動画像処理部の動画像処理速度とが異なる場合には、動画像ＣＰＵと音声ＣＰＵとの間で伝送される信号の伝送時間に起因する同期誤差に加えて、音声処理速度と動画像処理速度との間の処理速度の違いに基づく同期ずれも生じる。
【００２１】
なお、動画像と音声とが同期しなくなる可能性が生じるという問題は、動画像処理部と音声処理部とが異なるＣＰＵ（ＤＳＰを含む。）により制御される際に発生する問題であり、この問題は、動画像処理部と音声処理部とが異なるＣＰＵにより制御される場合であれば、動画像処理部と音声処理部とが１つの携帯電話端末内に配設されている場合に限らず、いずれか一方のみが携帯電話端末内に配設されている場合にも生じる問題である。
【００２２】
例えば、携帯電話端末が有する動画像処理部の処理速度と異なる処理速度を有する外部の音声処理装置を携帯電話端末に接続して、動画像を携帯電話端末で処理し、音声を外部の音声処理装置で処理しようとすると、動画像と音声との同期が取れなくなってしまうという問題が生じる。
【００２３】
また、例えば、携帯電話端末が有する音声処理部の処理速度と異なる処理速度を有する外部の動画像処理装置を携帯電話端末に接続して、音声を携帯電話端末で処理し、動画像を外部の動画像処理装置で処理しようとすると、動画像と音声との同期が取れなくなってしまうという問題が生じる。
【００２４】
また、携帯電話端末が、リアルタイム伝送が保証されていない無線区間経由で、外部の音声処理装置または外部の動画像処理装置と接続されている場合も、携帯電話端末側の処理と外部装置（外部の音声処理装置または外部の動画像処理装置）の処理の同期が取れなくなってしまうという問題が生じる。
【００２５】
このように、携帯電話端末に対して、外部の音声処理装置または外部の動画像処理装置といった周辺機器を接続する場合にも、音声と動画像との同期が取れなくなる可能性が生じるという問題が生じる。
【００２６】
本発明の目的は、音声等の音響を処理する音響処理部と動画像を処理する動画像処理部とが異なる制御部によって制御されていても、音声等の音響と動画像との同期を取ることが可能な携帯電話端末および携帯電話端末の同期制御方法を提供することである。
【課題を解決するための手段】
【００２７】
上記目的を達成するために、本発明の携帯電話端末は、音響を示す音響情報を処理する音響処理部および前記音響処理部による音響処理を制御する音響処理制御部とを含む音響処理ブロックを用いて音響処理を行う携帯電話端末において、動画像を示す動画像情報を処理する動画像処理部と、前記動画像処理部による動画像処理を制御する動画像処理制御部と、前記音響処理ブロックと前記動画像処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行い、その後、前記伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御部とを含むことを特徴とする。
【００２８】
上記の発明によれば、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間を計算し、計算した伝送時間に基づき、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因する、動画像処理と音響処理との間の同期誤差を補償することによって、動画像処理部による動画像処理と音響処理部による音響処理とを同期させる同期処理を行うので、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因して発生する、動画像と音声との同期ずれを解消することが可能となる。したがって、動画像処理制御部と音響処理制御部とを異なる制御部としても、動画像と音声との同期ずれを解消することが可能となる。
【００２９】
また、本発明の携帯電話端末は、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記音響処理ブロックは、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記同期制御部は、前記同期処理として、前記動画像処理制御部を介して前記音響処理カウンタのカウント値を取得し、取得した音響処理カウンタのカウント値と該音響処理カウンタのカウント値を取得した際の前記動画像処理カウンタのカウント値と所望のタイミングでの前記動画像処理カウンタのカウント値と前記伝送時間計算処理で計算した伝送時間とに基づき前記所望のタイミングでの音響処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの音響処理カウンタのカウント値と前記所望のタイミングでの動画像処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御することを特徴とする。
【００３０】
上記の発明によれば、音響処理カウンタのカウント値と動画像処理カウンタのカウント値とに基づき、動画像と音響との同期を取ることが可能となる。
【００３１】
また、本発明の携帯電話端末は、前記同期制御部が、前記伝送時間計算処理および前記同期処理を間欠的に行うことを特徴とする。
【００３２】
上記の発明によれば、伝送時間計算処理および同期処理を間欠的に行うので、音響処理制御部に制御された音響処理部の音響処理速度と、動画像制御部に制御された動画像処理部の動画像処理速度とが異なる場合にも、動画像と音響との同期を間欠的に取ることが可能となる。
【００３３】
また、本発明の携帯電話端末は、前記同期制御部が、前記同期処理として、前記音響処理の開始を指示する音響処理開始信号を、前記動画像処理制御部を介して前記音響処理ブロックに伝送し、前記音響処理開始信号の伝送から、前記伝送時間計算処理で計算した伝送時間が経過したタイミングで前記動画像処理の開始を指示する動画像処理開始指示信号を前記動画像処理制御部に伝送することを特徴とする。
【００３４】
上記の発明によれば、音響処理の開始タイミングと動画像処理の開始タイミングを同期させることが可能となる。
【００３５】
また、本発明の携帯電話端末は前記音響処理ブロックを含むことが望ましい。
【００３６】
また、本発明の携帯電話端末は、前記音響処理ブロックが、前記音響処理部の出力を外部に出力する音響処理信号出力部をさらに含み、前記音響処理出力部は、無線または有線により外部の音響出力機器と接続されることが望ましい。
【００３７】
また、本発明の携帯電話端末は、前記音響処理ブロックが、外部の音響処理端末に含まれ、前記動画像処理制御部は、無線または有線により前記音響処理ブロックと接続されることが望ましい。
【００３８】
また、本発明の携帯電話端末は、前記音響処理ブロックが、携帯電話システムを経由して複数の前記動画像処理制御部と接続可能な外部の音響処理端末に含まれ、前記同期制御部は、前記動画像処理制御部を介して前記動画像処理部を制御することによって、前記音響処理に対して前記動画像処理の同期を行うことを特徴とする。
【００３９】
上記の発明によれば、外部の音響処理端末から出力される音響と同期した動画像を複数の携帯電話端末で再生することが可能となる。
【００４０】
また、本発明の携帯電話端末は、動画像を示す動画像情報を処理する動画像処理部および前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む動画像処理ブロックを用いて動画像処理を行う携帯電話端末において、音響を示す音響情報を処理する音響処理部と、前記音響処理部による前記音響処理を制御する音響処理制御部と、前記動画像処理ブロックと前記音響処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行い、その後、前記伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理とを行う同期制御部とを含むことを特徴とする。
【００４１】
上記の発明によれば、動画像処理ブロックと音響処理制御部との間で伝送される信号の伝送時間を計算し、計算した伝送時間に基づき、動画像処理ブロックと音響処理制御部との間で伝送される信号の伝送時間に起因する、動画像処理と音響処理との間の同期誤差を補償することによって、動画像処理部による動画像処理と音響処理部による音響処理とを同期させる同期処理を行うので、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因して発生する、動画像と音声との同期ずれを解消することが可能となる。したがって、動画像処理制御部と音響処理制御部とを異なる制御部としても、動画像と音声との同期ずれを解消することが可能となる。
【００４２】
また、本発明の携帯電話端末は、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記動画像処理ブロックは、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記同期制御部は、前記同期処理として、前記音響処理制御部を介して前記動画像処理カウンタのカウント値を取得し、取得した動画像処理カウンタのカウント値と該動画像処理カウンタのカウント値を取得した際の前記音響処理カウンタのカウント値と所望のタイミングでの前記音響処理カウンタのカウント値と前記伝送時間計算処理で計算した伝送時間とに基づき前記所望のタイミングでの動画像処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの動画像処理カウンタのカウント値と前記所望のタイミングでの音響処理カウンタのカウント値との差が小さくなるように、前記音響処理制御部を介して前記音響処理部の処理速度を制御することを特徴とする。
【００４３】
上記の発明によれば、音響処理カウンタのカウント値と動画像処理カウンタのカウント値とに基づき、動画像と音響との同期を取ることが可能となる。
【００４４】
また、本発明の携帯電話端末は、前記同期制御部が、前記伝送時間計算処理および前記同期処理を間欠的に行うことを特徴とする。
【００４５】
上記の発明によれば、伝送時間計算処理および同期処理を間欠的に行うので、音響処理制御部に制御された音響処理部の音響処理速度と、動画像制御部に制御された動画像処理部の動画像処理速度とが異なる場合にも、動画像と音響との同期を間欠的に取ることが可能となる。
【００４６】
また、本発明の携帯電話端末は、前記同期制御部が、前記同期処理として、前記動画像処理の開始を指示する動画像処理開始信号を、前記音響処理制御部を介して前記動画像処理ブロックに伝送し、前記動画像処理開始信号の伝送から、前記伝送時間計算処理で計算した伝送時間が経過したタイミングで前記音響処理の開始を指示する音響開始指示信号を前記音響処理制御部に伝送することを特徴とする。
【００４７】
上記の発明によれば、音響処理の開始タイミングと動画像処理の開始タイミングを同期させることが可能となる。
【００４８】
また、本発明の携帯電話端末は、前記動画像処理ブロックを含むことが望ましい。
【００４９】
また、本発明の携帯電話端末は、前記動画像処理ブロックが、前記動画像処理部の出力を外部に出力する動画像処理信号出力部をさらに含み、前記動画像処理出力部は、無線または有線により外部の表示機器と接続されることが望ましい。
【００５０】
また、本発明の携帯電話端末は、前記動画像処理ブロックが、外部の動画処理端末に含まれ、前記音響処理制御部は、無線または有線により前記動画像処理ブロックと接続されることが望ましい。
【００５１】
また、本発明の携帯電話端末は、前記動画像処理ブロックが、携帯電話システムを経由して複数の前記音響処理制御部と接続可能な外部の動画処理端末に含まれ、前記同期制御部は、前記音響処理制御部を介して前記音響処理部を制御することによって、前記動画像処理に対して前記音響処理の同期を行うことを特徴とする。
【００５２】
上記の発明によれば、外部の動画処理端末から出力される動画像と同期した音響を複数の携帯電話端末で再生することが可能となる。
【００５３】
また、本発明の携帯電話端末の同期制御方法は、音響を示す音響情報を処理する音響処理部および前記音響処理部による音響処理を制御する音響処理制御部とを含む音響処理ブロックを用いて音響処理を行い、動画像を示す動画像情報を処理する動画像処理部と、前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む携帯電話端末が行う同期制御方法であって、前記音響処理ブロックと前記動画像処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算ステップと、前記伝送時間計算ステップで計算した信号の伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御ステップとを含むことを特徴とする。
【００５４】
上記の発明によれば、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因して発生する、動画像と音声との同期ずれを解消することが可能となる。したがって、動画像処理制御部と音響処理制御部とを異なる制御部としても、動画像と音声との同期ずれを解消することが可能となる。
【００５５】
また、本発明の携帯電話端末の同期制御方法は、前記携帯電話端末が、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記音響処理ブロックは、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記同期制御ステップは、前記同期処理として、前記動画像処理制御部を介して前記音響処理カウンタのカウント値を取得し、取得した音響処理カウンタのカウント値と該音響処理カウンタのカウント値を取得した際の前記動画像処理カウンタのカウント値と所望のタイミングでの前記動画像処理カウンタのカウント値と前記伝送時間計算ステップで計算した伝送時間とに基づき前記所望のタイミングでの音響処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの音響処理カウンタのカウント値と前記所望のタイミングでの動画像処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御することを特徴とする。
【００５６】
上記の発明によれば、音響処理カウンタのカウント値と動画像処理カウンタのカウント値とに基づき、動画像と音響との同期を取ることが可能となる。
【００５７】
また、本発明の携帯電話端末の同期制御方法は、前記伝送時間計算ステップと前記同期制御ステップとは、間欠的に実行されることを特徴とする。
【００５８】
上記の発明によれば、伝送時間計算ステップと同期制御ステップとが間欠的に実行されるので、音響処理制御部に制御された音響処理部の音響処理速度と、動画像制御部に制御された動画像処理部の動画像処理速度とが異なる場合にも、動画像と音響との同期を間欠的に取ることが可能となる。
【００５９】
また、本発明の携帯電話端末の同期制御方法は、前記同期制御ステップは、前記同期処理として、前記音響処理の開始を指示する音響処理開始信号を、前記動画像処理制御部を介して前記音響処理ブロックに伝送し、前記音響処理開始信号の伝送から、前記伝送時間計算ステップで計算した伝送時間が経過したタイミングで前記動画像処理の開始を指示する動画像処理開始指示信号を前記動画像処理制御部に伝送することを特徴とする。
【００６０】
上記の発明によれば、音響処理の開始タイミングと動画像処理の開始タイミングを同期させることが可能となる。
【００６１】
また、本発明の携帯電話端末の同期制御方法は、動画像を示す動画像情報を処理する動画像処理部および前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む動画像処理ブロックを用いて動画像処理を行い、音響を示す音響情報を処理する音響処理部と、前記音響処理部による前記音響処理を制御する音響処理制御部とを含む携帯電話端末が行う同期制御方法であって、前記動画像処理ブロックと前記音響処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算ステップと、前記伝送時間計算ステップで計算した伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御ステップとを含むことを特徴とする。
【００６２】
上記の発明によれば、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因して発生する、動画像と音声との同期ずれを解消することが可能となる。したがって、動画像処理制御部と音響処理制御部とを異なる制御部としても、動画像と音声との同期ずれを解消することが可能となる。
【００６３】
また、本発明の携帯電話端末の同期制御方法は、前記携帯電話端末は、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記動画像処理ブロックは、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記同期制御ステップは、前記同期処理として、前記音響処理制御部を介して前記動画像処理カウンタのカウント値を取得し、取得した動画像処理カウンタのカウント値と該動画像処理カウンタのカウント値を取得した際の前記音響処理カウンタのカウント値と所望のタイミングでの前記音響処理カウンタのカウント値と前記伝送時間計算ステップで計算した伝送時間とに基づき前記所望のタイミングでの動画像処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの動画像処理カウンタのカウント値と前記所望のタイミングでの音響処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御する、または前記音響処理制御部を介して前記音響処理部の処理速度を制御することを特徴とする。
【００６４】
上記の発明によれば、音響処理カウンタのカウント値と動画像処理カウンタのカウント値とに基づき、動画像と音響との同期を取ることが可能となる。
【００６５】
また、本発明の携帯電話端末の同期制御方法は、前記伝送時間計算ステップと前記同期制御ステップとは、間欠的に実行されることを特徴とする。
【００６６】
上記の発明によれば、伝送時間計算ステップと同期制御ステップとを間欠的に行うので、音響処理制御部に制御された音響処理部の音響処理速度と、動画像制御部に制御された動画像処理部の動画像処理速度とが異なる場合にも、動画像と音響との同期を間欠的に取ることが可能となる。
【００６７】
また、本発明の携帯電話端末の同期制御方法は、前記同期制御ステップは、前記同期処理として、前記動画像処理の開始を指示する動画像処理開始信号を、前記音響処理制御部を介して前記動画像処理ブロックに伝送し、前記動画像処理開始信号の伝送から、前記伝送時間計算ステップで計算した伝送時間が経過したタイミングで前記音響処理の開始を指示する音響開始指示信号を前記音響処理制御部に伝送することを特徴とする。
【００６８】
上記の発明によれば、音響処理の開始タイミングと動画像処理の開始タイミングを同期させることが可能となる。
【発明の効果】
【００６９】
以上説明したように、本発明においては、以下に記載するような効果を提供する。
【００７０】
第１の効果は、音響処理部を制御する音響処理制御部を、動画像処理部を制御する動画像処理制御部と異なるものとしても、音響と動画像との同期が取れる点である。これにより、各制御部の負荷を小さくできる。
【００７１】
第２の効果は、音響処理ブロックを携帯電話端末の外部に配置しても、音響と動画像とが同期した状態にすることができるようになることである。よって、携帯電話端末の外部に配置した音響処理ブロックを他の携帯電話端末と共有すれば、例えば、音響処理ブロックとして音響効果の優れた音響システムを使ったり、リモートスピーカを使ったりして、複数の携帯電話端末で同時に動画像再生を行うことができるようになる。
【００７２】
第３の効果は、動画像処理ブロックを携帯電話端末の外部に配置しても、音響と動画像とが同期した状態にすることができるようになることである。よって、携帯電話端末の外部に配置した動画像処理ブロックを他の携帯電話端末と共有すれば、例えば、動画像処理ブロックとしての表示スクリーンにて動画像を表示して、複数の携帯電話端末で同時に音響再生を行う映画館のような機能を実現できるようになる。
【発明を実施するための最良の形態】
【００７３】
以下、本発明の一実施例を、図面を参照して説明する。
【００７４】
図１は、本発明の一実施例の携帯電話端末を示したブロック図である。
【００７５】
図１において、携帯電話端末１は、音声処理ブロック２と、音声入力部５と、音声出力部６と、送受信ANT（アンテナ）８と、携帯電話用無線部９と、システム処理部１０と、動画像処理ブロック１１と、動画像入力部１４と、動画像出力部１５と、ＣＰＵ間通信路１８とを含む。なお、図１において、図１４と同一構成のものには、同一符号を附してある。
【００７６】
携帯電話端末１は、音声処理ブロック２を用いて音響処理を行う。
【００７７】
音響処理ブロックとしての音声処理ブロック２は、音声処理カウンタ３と、音声処理部４と、音声処理用ＣＰＵ７とを含む。
【００７８】
音響処理カウンタとしての音声処理カウンタ３は、音声処理の進行状況を管理する。具体的には、音声処理カウンタ３は、音声処理部４による音声処理の進度をカウント値で示し、音声処理の処理速度に応じてカウントスピードが変動する。以下、音声処理カウンタ３のカウント値を「CountAOut値」と称する。
【００７９】
音響処理部としての音声処理部４は、音声等の音響を示す音響情報としての音声情報を処理する。
【００８０】
音響処理制御部としての音声処理用ＣＰＵ７は、音声処理部４による音声処理と音声処理カウンタ３のカウント動作とを制御する。
【００８１】
送受信ANT（アンテナ）８は、携帯電話システムの無線信号を送受信する。携帯電話用無線部９は、携帯電話システムの無線信号の変復調を行う。システム処理部１０は、携帯電話信号の処理を行う。
【００８２】
動画像処理ブロック１１は、同期制御部１２と、動画像処理カウンタ１３と、動画像処理部１６と、動画像処理用ＣＰＵ１７とを含む。
【００８３】
動画像処理カウンタ１３は、動画像処理の進行状況を管理する。具体的には、動画像処理カウンタ１３は、動画像処理部１６による動画像処理の進度をカウント値で示し、動画像処理の処理速度に応じて、カウントスピードが変動する。以下、動画像処理カウンタ１３のカウント値を「CountVOut値」と称する。
【００８４】
動画像処理部１６は、動画像を示す動画像情報を処理する。
【００８５】
動画像処理制御部としての動画像処理用ＣＰＵ１７は、動画像処理カウンタ１３のカウント動作と動画像処理部１６による動画像処理とを制御する。
【００８６】
また、動画像処理用ＣＰＵ１７は、ＣＰＵ間通信路１８を介して音声処理用ＣＰＵ７と接続している。
【００８７】
同期制御部１２は、音声処理ブロック２、具体的には音声処理用ＣＰＵ７と、動画像処理用ＣＰＵ１７との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行う。なお、同期制御部１２が伝送時間計算処理を実行するという技術的事項は、、同期制御部１２が、動画像処理用ＣＰＵ１７を制御して、動画像処理用ＣＰＵ１７に伝送時間計算処理を実行させるという技術的事項を含む。
【００８８】
また、同期制御部１２は、計算した伝送時間に基づき、動画像処理部１６による動画像処理と音声処理部４による音声処理とを同期させる同期処理を行う。なお、同期制御部１２が同期処理を実行するという技術的事項は、、同期制御部１２が、動画像処理用ＣＰＵ１７を制御して、動画像処理用ＣＰＵ１７に同期処理を実行させるという技術的事項を含む。
【００８９】
以下に、同期制御部１２が行う同期処理の一例を示す。
【００９０】
同期制御部１２は、動画像処理用ＣＰＵ１７を介して音声処理カウンタ３のカウント値を取得する。
【００９１】
続いて、同期制御部１２は、取得した音声処理カウンタ３のカウント値と該音声処理カウンタ３のカウント値を取得した際の動画像処理カウンタ１３のカウント値と所望のタイミングでの動画像処理カウンタ１３のカウント値と計算した伝送時間とに基づき所望のタイミングでの音声処理カウンタ３のカウント値を計算する。
【００９２】
続いて、同期制御部１２は、計算した所望のタイミングでの音声処理カウンタ３のカウント値と所望のタイミングでの動画像処理カウンタ１３のカウント値との差が小さくなるように、動画像処理用ＣＰＵ１７を介して動画像処理部１６の処理速度を制御する。
【００９３】
以下に、同期制御部１２が行う同期処理の他の例を示す。
【００９４】
同期制御部１２は、音声処理の開始を指示する音声処理開始信号（例えば、音声再生要求信号または音声録音要求信号）を、動画像処理用ＣＰＵ１７を介して音声処理ブロック、具体的には音声処理用ＣＰＵ７に伝送し、音響処理開始信号の伝送から、先に計算した伝送時間が経過したタイミングで動画像処理の開始を指示する動画像処理開始指示信号（例えば、動画像再生開始信号または動画像録画開始信号）を動画像処理用ＣＰＵ１７に伝送する。
【００９５】
音声処理用ＣＰＵ７は、音声処理開始信号を受け取ると、受け取った音声処理開始信号に応じた音声処理を音声処理部４に実行させる。また、動画像処理用ＣＰＵ１７は、動画像処理開始指示信号を受け取ると、受け取った動画像処理開始指示信号に応じた動画像処理を動画像処理部１６に実行させる。
【００９６】
なお、本実施例において、同期制御部１２は、動画像処理用ＣＰＵ１７を制御して、上記同期処理を行う場合、同期制御部１２と動画像処理用ＣＰＵ１７とで、本発明の同期制御部を構成する。
【００９７】
次に、動作を説明する。
【００９８】
図２は、図１に示した携帯電話端末１の動作を説明するためのフローチャートである。以下、図２を参照して、図１に示した携帯電話端末１の動作を説明する。
【００９９】
例えば、ユーザが不図示のキーを操作することにより、音声付動画像の再生または記録が指定されると（ステップＳ１）、同期制御部１２は、動画像処理用ＣＰＵ１７を制御し、初期化動作として、動画像処理カウンタ１３のカウント（CountVOut）をスタートさせる。また、同期制御部１２は、動画像処理用ＣＰＵ１７を制御し、同期処理開始タイミングを示すTSync値に、動画像処理カウンタ１３のカウント値（CountVOut値）を代入する（ステップＳ２）。
【０１００】
なお、TSync値は、動画像処理用ＣＰＵ１７に格納される。また、ステップＳ２によって動画像処理カウンタ１３のカウントがスタートするが、この時点では、動画像処理部１６が動画像処理を実行しない。
【０１０１】
次に、同期制御部１２は、音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）と、動画像処理用ＣＰＵ１７との間で伝送される信号の伝送時間（時間誤差推定）を計算する（ステップＳ３）。
【０１０２】
図３は、図２に示したステップＳ３の処理を説明するためのシーケンス図である。
【０１０３】
以下、図３を参照して、ステップＳ３の伝送時間の計算処理（時間誤差推定）を説明する。
【０１０４】
動画像処理ブロック１１内の動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、変数tv1に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＤ１）、ステップＤ１とほぼ同時に音声処理ブロック２、具体的には音声処理用ＣＰＵ７に対し同期要求を送信する（ステップＤ２）。なお、ステップＤ２で実行する同期要求には、変数tv1を引数として添付する。
【０１０５】
ステップＤ２で実行された同期要求を受信した音声処理ブロック２、具体的には音声処理用ＣＰＵ７は、変数ta1に音声処理カウンタ３のカウント値であるCountAOut値を代入する（ステップＤ３）。なお、ステップＤ３は、省略してもよい。
【０１０６】
ステップＤ２で実行された同期要求を受信した音声処理ブロック２、具体的には音声処理用ＣＰＵ７は、動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７に対して同期応答を送信する（ステップＤ４）。ステップＤ４で実行する同期応答には、変数tv1と変数ta1とを引数として添付してもよい。なお、ステップＤ３を省略した場合は、ステップＤ４で実行する同期応答に、変数tv1のみを引数として添付してもよい。
【０１０７】
ステップＤ４で実行された同期応答を受信した動画像処理ブロック１１、具体的には動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、変数tv2に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＤ５）、ステップＤ５とほぼ同時に音声処理ブロック２、具体的には音声処理用ＣＰＵ７に対して同期確認を送信する（ステップＤ６）。なお、ステップＤ６で実行する同期確認には、少なくとも変数tv2を引数として添付してもよい。
【０１０８】
ステップＤ６で実行された同期確認を受信した音声処理ブロック２は、変数ta2に音声処理カウンタ３のカウント値であるCountAOut値を代入する（ステップＤ９）。なお、ステップＤ９は省略してもよい。
【０１０９】
動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像処理ブロック１１と音声処理ブロック２との間の通信時間誤差を推定する。
【０１１０】
本実施例では、通信時間誤差として、動画像処理用ＣＰＵ１７が音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）へ信号を送信してから、その信号が音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）に入力されるまでの時間と、音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）が動画像処理用ＣＰＵ１７へ信号を送信してから、その信号が動画像処理用ＣＰＵ１７に入力されるまでの時間とを推定する。
【０１１１】
具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２の制御に基づき、通信時間誤差Tvaを、Tva＝（tv2−tv1）／2の式に基づき算出する（ステップＤ７）。なお、通信時間誤差Tvaの算出は、同期制御部１２が行ってもよい。
【０１１２】
なお、この値Tvaは、動画像処理ブロック１１から音声処理ブロック２への伝送路の推定伝送速度と、音声処理ブロック２から動画像処理ブロック１１への伝送路の推定伝送速度との比率を示すTVAratioにより、Tva=f(tv2, tv1, TVAratio)の式で示される。例えば、Tva=(tv2-tv1)×TVAratioで示される。
【０１１３】
図２に戻って、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、音声処理の開始を指示する音声処理開始信号（例えば、音声再生要求信号または音声録音要求信号）を、動画像処理用ＣＰＵ１７を介して音声処理ブロック２、具体的には音声処理用ＣＰＵ７に伝送する（ステップＳ４）。
【０１１４】
音声処理用ＣＰＵ７は、音声処理開始信号を受け取ると、受け取った音声処理開始信号に応じた音声処理（再生または録音）を音声処理部４に実行させるとともに、音声処理カウンタ３をリセットし、音声処理カウンタ３を動作させる。
【０１１５】
動画像処理用ＣＰＵ１７は、音響処理開始信号の伝送から先に計算した伝送時間（値Tva）が経過したタイミングで（ステップＳ５）、動画像処理の開始を指示する動画像処理開始指示信号（例えば、動画像再生開始信号または動画像録画開始信号）を同期制御部１２から受け取る。
【０１１６】
動画像処理用ＣＰＵ１７は、動画像処理開始指示信号を受け取ると、受け取った動画像処理開始指示信号に応じた動画像処理（再生または録画）を動画像処理部１８に実行させるとともに、動画像処理カウンタ１３をリセットし、動画像処理カウンタ１３を動作させる。
【０１１７】
ステップＳ４からステップＳ６を実行することにより、動画像処理ブロック１１と音声処理ブロックとの間で伝送される信号の伝送時間に起因する同期タイミング誤差が解消され、動画像処理と音声処理とが同じタイミングでスタートする。また、動画像処理カウンタ１３と音声処理カウンタ３とが同じタイミングでカウント動作を開始する。
【０１１８】
よって、音声等の音響を処理する音声処理部と動画像を処理する動画像処理部とが異なる制御部（例えば、ＣＰＵ）によって制御されていても、音声等の音響と動画像との同期を取ることが可能となる。
【０１１９】
続いて、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、動画像処理カウンタ１３のカウント値であるCountVOut値とTSync値の差が、再同期判断値TLimitよりも大きくなったか否か判断する（ステップＳ７）。
【０１２０】
ステップＳ７で、動画像処理カウンタ１３のカウント値であるCountVOut値とTSync値の差が、再同期判断値TLimitよりも大きくないと、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、再度ステップＳ７を実行する。
【０１２１】
ステップＳ７で、動画像処理カウンタ１３のカウント値であるCountVOut値とTSync値の差が、再同期判断値TLimitよりも大きい場合、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、TSync値に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＳ８）、音声処理カウンタ３のカウント値であるCountAOut値を推定する（ステップＳ９）。
【０１２２】
図４は、ステップＳ９の一例を説明するためのシーケンス図である。なお、図４において、図３と同一の処理には、同一符号を附してある。以下、図４を参照して、ステップＳ９の一例を説明する。
【０１２３】
動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、変数tv1に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＤ１）、ステップＤ１とほぼ同時に音声処理ブロック２、具体的には音声処理用ＣＰＵ７に対し同期要求を送信する（ステップＤ２）。なお、ステップＤ２で実行する同期要求には、変数tv1を引数として添付する。
【０１２４】
ステップＤ２で実行された同期要求を受信した音声処理ブロック２、具体的には音声処理用ＣＰＵ７は、変数ta1に音声処理カウンタ３のカウント値であるCountAOut値を代入する（ステップＤ３）。
【０１２５】
ステップＤ２で実行された同期要求を受信した音声処理ブロック２、具体的には音声処理用ＣＰＵ７は、動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７に対して同期応答を送信する（ステップＤ４）。ステップＤ４で実行する同期応答には、変数tv1と変数ta1とを引数として添付してもよい。
【０１２６】
ステップＤ４で実行された同期応答を受信した動画像処理ブロック１１、具体的には動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、変数tv2に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＤ５）、ステップＤ５とほぼ同時に音声処理ブロック２、具体的には音声処理用ＣＰＵ７に対して同期確認を送信する（ステップＤ６）。なお、ステップＤ６で実行する同期確認には、少なくとも変数tv2を引数として添付してもよい。
【０１２７】
ステップＤ６で実行された同期確認を受信した音声処理ブロック２は、変数ta2に音声処理カウンタ３のカウント値であるCountAOut値を代入する（ステップＤ９）。なお、ステップＤ９は省略してもよい。
【０１２８】
動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像処理ブロック１１と音声処理ブロック２との間の通信時間誤差を推定する（ステップＤ７）。具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２の制御に基づき、通信時間誤差Tvaを、Tva＝（tv2−tv1）／2の式に基づき算出する（ステップＤ７）。なお、通信時間誤差Tvaの算出は、同期制御部１２が行ってもよい。
【０１２９】
続いて、動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値に対応する音声処理カウンタ３のカウント値CountAOut値を推定する（ステップＤ８）。なお、音声処理カウンタ３のカウント値CountAOut値を推定するための推定式は、例えば、以下に示すものを用いる。
推定CountAOut=(CountVOut-tv2)+ta1+(tv2-tv1)/2。
【０１３０】
なお、推定CountAOutの算出は、同期制御部１２が行ってもよい。
【０１３１】
図２に戻って、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値と、前記所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値とが、異なっているか否か判断する（ステップＳ１０）。
【０１３２】
ステップＳ１０で、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値と、前記所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値とが異なっていないと、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像と音声との同期が取れていると判断し、ステップＳ７に戻る。
【０１３３】
ステップＳ１０で、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値と、前記所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値とが異なっていると、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像と音声との同期が取れていないと判断し、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値が所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値より大きいか判断する（ステップＳ１１）。
【０１３４】
ステップＳ１１で、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値が所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値より大きいと、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像処理が音声より遅れていると判断して、該推定CountAOut値から該CountVOut値を差し引いた時間分だけ、動画像処理を進めるスキップ処理を行う（ステップＳ１２）。
【０１３５】
ステップＳ１２において、動画像処理を進める動作は、動画像処理の高速動作（早回し）としてもよい。
【０１３６】
動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、ステップＳ１２が終了すると、ステップＳ７に戻る。
【０１３７】
ステップＳ１１で、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値が所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値より大きくないと、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像処理が音声より進んでいると判断して、該CountVOutから値該推定CountAOut値を差し引いた時間だけ、動画像処理を停止する（ステップＳ１３）。
【０１３８】
ステップＳ１３において、動画像処理を停止する動作は、動画像処理の低速動作（スロー）で行ってもよい。
【０１３９】
動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、ステップＳ１３が終了すると、ステップＳ７に戻る。
【０１４０】
なお、図２に示した動作は、同期制御部１２が行ってもよい。
【０１４１】
本実施例では、音声処理カウンタのカウント値を、動画像処理ブロック１１と音声処理ブロックとの間で伝送される信号の伝送時間に起因するタイミング誤差を考慮して推定しているので、音声処理カウンタ３のカウント値と動画像処理カウンタ１３のカウント値とに基づき、動画像と音響との同期を取ることが可能となる。
【０１４２】
また、本実施例によれば、音声処理部４を制御する音声処理用ＣＰＵを、動画像処理部１６を制御する動画像処理用ＣＰＵ１７と異なるものとしても、音声と動画像との同期を取ることが可能となる。これにより、例えば、外部の音響処理ブロックを利用しても、音響と動画像とが同期した状態にすることができるようになる。
【０１４３】
また、本実施例は、間欠的に、ステップＳ８以降の動作を実行するので、音声処理用ＣＰＵ７に制御された音声処理部４の音声処理速度と、動画像処理用ＣＰＵ１７に制御された動画像処理部１６の動画像処理速度とが異なる場合にも、動画像と音声との同期を間欠的に取ることが可能となる。
【０１４４】
図５は、本発明の他の実施例の携帯電話端末を示したブロック図である。なお、図５において、図１と同一構成のものには同一符号を附してある。
【０１４５】
図５において、携帯電話端末１９は、動画像処理部１６の出力を外部に出力する動画像処理信号出力部１９ａを介して外部の表示機器２０と無線または有線により接続され、表示機器２０の中に設けてある表示部としての動画像出力部２１により動画像が表示される。なお、図５に示した携帯電話端末１９の動作は、図１に示した携帯電話端末１と同様である。
【０１４６】
図６は、本発明の他の実施例の携帯電話端末を示したブロック図である。なお、図６において、図１と同一構成のものには同一符号を附してある。
【０１４７】
図６において、携帯電話端末２２は、音声処理部４の出力を外部に出力する音響信号出力部２２ａを介して外部の音声（音響）出力機器２３と無線または有線により接続され、音声出力機器２３の中に設けてあるスピーカ等の音声出力部２４により音声が出力される。なお、図６に示した携帯電話端末２２の動作は、図１に示した携帯電話端末１と同様である。
【０１４８】
図７は、本発明の他の実施例の携帯電話端末の一使用形態を示したブロック図である。
【０１４９】
図７において、携帯電話端末２５は、伝送遅延保証ができないインターネット網２７および携帯電話網（携帯電話システム）２６を介して、音声処理を行う音声処理端末２８と接続されている。
【０１５０】
図８は、図７に示した携帯電話端末２５と音声処理端末２８の一構成例を示すブロック図である。なお、図８において、図１と同一構成のものには同一符号を附してある。
【０１５１】
携帯電話端末２５は、送受信ANT（アンテナ）８と、携帯電話用無線部９と、システム処理部１０と、動画像入力部１４と、動画像出力部１５と、動画像処理ブロック１１と、通信部２９とを含む。
【０１５２】
通信部２９は、携帯電話網２６およびインターネット網２７を介して、音声処理端末２８と接続して通信することができる。なお、通信部２９は、ケーブル等を介して、有線で音声処理端末２８と接続して通信するようにしてもよい。
【０１５３】
また、音声処理端末２８は、音声入力部５と、音声出力部６と、音声処理ブロック２と、通信部３０とを含む。音声処理用ＣＰＵ７は、通信部３０とインターネット網２７と携帯電話網２６と通信部２９とを介して、動画像処理用ＣＰＵ１７と接続されている。なお、通信部２９と通信部３０とが、ケーブル等を介して有線で接続されてもよい。なお、図８に示した携帯電話端末２５の動作は、図１に示した携帯電話端末１と同様である。
【０１５４】
本実施例では、音声処理を担当する音声処理ブロックを携帯電話端末の外部に配置することができる。携帯電話端末の外に配置した音声処理ブロックが、複数の携帯電話端末と有線または無線で接続可能である場合には、音声処理ブロックを複数の携帯電話端末が共有することが可能となるので、例えば、音声処理ブロック（音声処理端末）として音響効果の優れた音響システムを使ったり、リモートスピーカを使ったりすることにより、複数の携帯電話端末で同時に動画像の再生を行うことができるようになる。
【０１５５】
なお、上記の各実施例では、同期制御部を動画像処理ブロック側に設ける例を示したが、同期制御部を音声処理ブロック側に設けるようにしてもよい。
【０１５６】
図９は、本発明の他の実施例の携帯電話端末の一使用形態を示したブロック図である。なお、図９において、図７と同一構成のものには、同一符号を附してある。
【０１５７】
図９において、携帯電話端末３１は、伝送遅延保証ができないインターネット網２７および携帯電話網２６を介して、動画像処理を行う動画像処理端末３２と接続されている。
【０１５８】
図１０は、図９に示した携帯電話端末３１と動画像処理端末３２の一構成例を示すブロック図である。なお、図１０において、図１と同一構成のものには同一符号を附してある。
【０１５９】
図１０において、携帯電話端末３１は、送受信ANT（アンテナ）８と、携帯電話用無線部９と、システム処理部１０と、音声入力部５と、音声出力部６と、音声処理ブロック３３と、通信部３５とを含む。
【０１６０】
携帯電話端末３１は、動画像処理ブロック３６を用いて動画像処理を行う。
【０１６１】
音声処理ブロック３３は、音声処理カウンタ３と、音声処理部４と、音声処理用ＣＰＵ７、音声処理ブロック３３と動画像処理端末３２内の動画像処理ブロック３６との同期制御を行う同期制御部３４とを含む。
【０１６２】
また、動画像処理端末３２は、動画像入力部１４と、動画像出力部１５と、動画像処理ブロック３６と、通信部３７とを含む。
【０１６３】
動画像処理ブロック３６は、動画像処理部１６と、動画像処理カウンタ１３と、動画像処理用ＣＰＵ１７とを含む。
【０１６４】
音声処理用ＣＰＵ７と動画像処理用ＣＰＵ１７とは、通信部３５と携帯電話網２６とインターネット網２７および通信部３７とを介して接続されている。なお、通信部３５と通信部３７とは、ケーブル等を介して有線で接続されてもよい。
【０１６５】
同期制御部３４は、音声処理ブロック３３、具体的には音声処理用ＣＰＵ７と、動画像処理用ＣＰＵ１７との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行う。なお、同期制御部３４が伝送時間計算処理を実行するという技術的事項は、、同期制御部３４が、音声処理用ＣＰＵ７を制御して、音声処理用ＣＰＵ７に伝送時間計算処理を実行させるという技術的事項を含む。
【０１６６】
また、同期制御部３４は、計算した伝送時間に基づき、動画像処理部１６による動画像処理と音声処理部４による音声処理とを同期させる同期処理を行う。なお、同期制御部３４が同期処理を実行するという技術的事項は、、同期制御部３４が、音声処理用ＣＰＵ７を制御して、音声処理用ＣＰＵ７に同期処理を実行させるという技術的事項を含む。
【０１６７】
以下に、同期制御部３４が行う同期処理の一例を示す。
【０１６８】
同期制御部３４は、音声処理用ＣＰＵ７を介して動画像処理カウンタ１３のカウント値を取得する。
【０１６９】
続いて、同期制御部３４は、取得した動画像処理カウンタ１３のカウント値と該動画像処理カウンタ１３のカウント値を取得した際の音声処理カウンタ３のカウント値と所望のタイミングでの音声処理カウンタ３のカウント値と計算した伝送時間とに基づき所望のタイミングでの動画像処理カウンタ１３のカウント値を計算する。
【０１７０】
続いて、同期制御部３４は、計算した所望のタイミングでの動画像処理カウンタ１３のカウント値と所望のタイミングでの音声処理カウンタ３のカウント値との差が小さくなるように、音声処理用ＣＰＵ７を介して音声処理部４の処理速度を制御する。
【０１７１】
以下に、同期制御部３４が行う同期処理の他の例を示す。
【０１７２】
同期制御部３４は、動画像処理の開始を指示する動画像処理開始指示信号（例えば、動画像再生開始信号または動画像録画開始信号）を、音声処理用ＣＰＵ７を介して動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に伝送し、動画像処理開始指示信号の伝送から、先に計算した伝送時間が経過したタイミングで音声処理の開始を指示する音声処理開始信号（例えば、音声再生要求信号または音声録音要求信号）を音声処理用ＣＰＵ７に伝送する。
【０１７３】
動画像処理用ＣＰＵ１７は、動画像処理開始指示信号を受け取ると、受け取った動画像処理開始指示信号に応じた動画像処理を動画像処理部１６に実行させる。また、音声処理用ＣＰＵ７は、音声処理開始信号を受け取ると、受け取った音声処理開始信号に応じた音声処理を音声処理部４に実行させる。
【０１７４】
なお、本実施例において、同期制御部３４は、音声処理用ＣＰＵ７を制御して、上記同期処理を行う場合、同期制御部３４と音声処理用ＣＰＵ７とで、本発明の同期制御部を構成する。
【０１７５】
次に、動作を説明する。
【０１７６】
図１１は、図１０に示した携帯電話端末３１の動作を説明するためのフローチャートである。以下、図１１を参照して、図１０に示した携帯電話端末３１の動作を説明する。
【０１７７】
例えば、ユーザが不図示のキーを操作することにより、音声付動画像の再生または記録が指定されると（ステップＳ１０１）、同期制御部３４は、音声処理用ＣＰＵ７を制御し、初期化動作として、音声処理カウンタ３のカウント（CountAOut）をスタートさせる。また、同期制御部３４は、音声処理用ＣＰＵ７を制御し、同期処理開始タイミングを示すTSync値に、音声処理カウンタ３のカウント値（CountAOut値）を代入する（ステップＳ１０２）。
【０１７８】
なお、TSync値は、音声処理用ＣＰＵ７に格納される。また、ステップＳ１０２によって音声処理カウンタ３のカウントがスタートするが、この時点では、音声処理部４は音声処理を実行しない。
【０１７９】
次に、同期制御部３４は、音声処理ブロック３３（具体的には、音声処理用ＣＰＵ７）と、動画像処理ブロック３６（具体的には、動画像処理用ＣＰＵ１７）との間で伝送される信号の伝送時間（時間誤差推定）を計算する（ステップＳ１０３）。
【０１８０】
図１２は、図１１に示したステップＳ１０３の処理を説明するためのシーケンス図である。
【０１８１】
以下、図１２を参照して、ステップＳ３の伝送時間の計算処理（時間誤差推定）を説明する。
【０１８２】
音声処理ブロック３３内の音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、変数ta1に音声処理カウンタ３のカウント値であるCounAVOut値を代入し（ステップＤ１０）、ステップＤ１０とほぼ同時に動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に対し同期要求を送信する（ステップＤ１１）。なお、ステップＤ１１で実行する同期要求には、変数ta1を引数として添付する。
【０１８３】
ステップＤ１１で実行された同期要求を受信した動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７は、変数tv1に動画像処理カウンタ１３のカウント値であるCountVOut値を代入する（ステップＤ１２）。なお、ステップＤ１２は、省略してもよい。
【０１８４】
ステップＤ１１で実行された同期要求を受信した動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７は、音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７に対して同期応答を送信する（ステップＤ１３）。ステップＤ１３で実行する同期応答には、変数tv1と変数ta1とを引数として添付してもよい。なお、ステップＤ１２を省略した場合は、ステップＤ１３で実行する同期応答に、変数ta1のみを引数として添付してもよい。
【０１８５】
ステップＤ１３で実行された同期応答を受信した音声処理ブロック３３、具体的には音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、変数ta2に音声処理カウンタ３のカウント値であるCountAOut値を代入し（ステップＤ１４）、ステップＤ１４とほぼ同時に動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に対して同期確認を送信する（ステップＤ１５）。なお、ステップＤ１５で実行する同期確認には、少なくとも変数ta2を引数として添付してもよい。
【０１８６】
ステップＤ１５で実行された同期確認を受信した動画像処理ブロック３６は、変数tv2に動画像処理カウンタ１３のカウント値であるCountVOut値を代入する（ステップＤ１８）。なお、ステップＤ１８は省略してもよい。
【０１８７】
音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、動画像処理ブロック３６と音声処理ブロック３３との間の通信時間誤差を推定する。
【０１８８】
本実施例では、通信時間誤差として、動画像処理ブロック（具体的には、動画像処理用ＣＰＵ１７）が音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）へ信号を送信してから、その信号が音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）に入力されるまでの時間と、音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）が動画像処理ブロック（具体的には、動画像処理用ＣＰＵ１７）へ信号を送信してから、その信号が動画像処理ブロック（具体的には、動画像処理用ＣＰＵ１７）に入力されるまでの時間とを推定する。
【０１８９】
具体的には、音声処理用ＣＰＵ７は、同期制御部３４の制御に基づき、通信時間誤差Tavを、Tav＝（ta2−ta1）／2の式に基づき算出する（ステップＤ１６）。なお、通信時間誤差Tavの算出は、同期制御部３４が行ってもよい。
【０１９０】
なお、この値Tavは、音声処理ブロック３３から動画像処理ブロック３６への伝送路の推定伝送速度と、動画像処理ブロック３６から音声処理ブロック３３への伝送路の推定伝送速度との比率TAVratioにより、Tav=f(ta2, ta1, TAVratio)の式で示される。例えば、Tav=(ta2-ta1)×TAVratioで示される。
【０１９１】
図１１に戻って、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、動画像処理の開始を指示する動画像処理開始指示信号（例えば、動画像再生開始信号または動画像録画開始信号）を、音声処理用ＣＰＵ７を介して動画像処理ブロック３６、具体的には動画像処理ＣＰＵ１７に伝送する（ステップＳ１０４）。
【０１９２】
動画像処理用ＣＰＵ１７は、動画像処理開始指示信号を受け取ると、受け取った動画像処理開始指示信号に応じた動画像処理（再生または録画）を動画像処理部１８に実行させるとともに、動画像処理カウンタ１３をリセットし、動画像処理カウンタ１３を動作させる。
【０１９３】
音声処理用ＣＰＵ７は、動画像処理開始指示信号の伝送から先に計算した伝送時間（値Tav）が経過したタイミングで（ステップＳ１０５）、音声処理の開始を指示する音声処理開始信号（例えば、音声再生要求信号または音声録音要求信号）を同期制御部３４から受け取る。
【０１９４】
音声処理用ＣＰＵ７は、音声処理開始信号を受け取ると、受け取った音声処理開始信号に応じた音声処理（再生または録音）を音声処理部４に実行させるとともに、音声処理カウンタ３をリセットし、音声処理カウンタ３を動作させる。
【０１９５】
ステップＳ１０４からステップＳ１０６を実行することにより、動画像処理ブロック３６と音声処理ブロック３３との間で伝送される信号の伝送時間に起因する同期タイミング誤差が解消され、動画像処理と音声処理とが同じタイミングでスタートする。また、動画像処理カウンタ１３と音声処理カウンタ３とが同じタイミングでカウント動作を開始する。
【０１９６】
よって、音声等の音響を処理する音声処理部と動画像を処理する動画像処理部とが異なる制御部（例えば、ＣＰＵ）によって制御されていても、音声等の音響と動画像との同期を取ることが可能となる。
【０１９７】
続いて、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、音声処理カウンタ３のカウント値であるCountAOut値とTSync値の差が、再同期判断値TLimitよりも大きくなったか否か判断する（ステップＳ１０７）。
【０１９８】
ステップＳ１０７で、音声処理カウンタ３のカウント値であるCountAOut値とTSync値の差が、再同期判断値TLimitよりも大きくないと、音声処理用ＣＰＵ１７は、同期制御部３４による制御に基づき、再度ステップＳ１０７を実行する。
【０１９９】
ステップＳ１０７で、音声処理カウンタ３のカウント値であるCountAOut値とTSync値の差が、再同期判断値TLimitよりも大きい場合、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、TSync値に音声処理カウンタ３のカウント値であるCountAOut値を代入し（ステップＳ１０８）、動画像処理カウンタ１３のカウント値であるCountVOut値を推定する（ステップＳ１０９）。
【０２００】
図１３は、ステップＳ１０９の一例を説明するためのシーケンス図である。なお、図１３において、図１２と同一の処理には、同一符号を附してある。以下、図１３を参照して、ステップＳ１０９の一例を説明する。
【０２０１】
音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、変数ta1に音声処理カウンタ３のカウント値であるCountAOut値を代入し（ステップＤ１０）、ステップＤ１０とほぼ同時に動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に対し同期要求を送信する（ステップＤ１１）。なお、ステップＤ１１で実行する同期要求には、変数ta1を引数として添付する。
【０２０２】
ステップＤ１１で実行された同期要求を受信した動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７は、変数tv1に動画像処理カウンタ１３のカウント値であるCountVOut値を代入する（ステップＤ１２）。
【０２０３】
ステップＤ１１で実行された同期要求を受信した動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７は、音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７に対して同期応答を送信する（ステップＤ１３）。ステップＤ１３で実行する同期応答には、変数tv1と変数ta1とを引数として添付してもよい。
【０２０４】
ステップＤ１３で実行された同期応答を受信した音声処理ブロック３３、具体的には音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、変数ta2に音声処理カウンタ３のカウント値であるCountAOut値を代入し（ステップＤ１４）、ステップＤ１４とほぼ同時に動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に対して同期確認を送信する（ステップＤ１５）。なお、ステップＤ１５で実行する同期確認には、少なくとも変数ta2を引数として添付してもよい。
【０２０５】
ステップＤ１５で実行された同期確認を受信した動画像処理ブロック３６は、変数tv2に動画像処理カウンタ１３のカウント値であるCountVOut値を代入する（ステップＤ１８）。なお、ステップＤ１８は省略してもよい。
【０２０６】
音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、動画像処理ブロック３６と音声処理ブロック３３との間の通信時間誤差を推定する（ステップＤ１６）。具体的には、音声処理用ＣＰＵ７は、同期制御部３４の制御に基づき、通信時間誤差Tavを、Tav＝（ta2−ta1）／2の式に基づき算出する（ステップＤ１６）。なお、通信時間誤差Tavの算出は、同期制御部３４が行ってもよい。
【０２０７】
続いて、音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値に対応する動画像処理カウンタ１３のカウント値CountVOut値を推定する（ステップＤ１７）。なお、動画像処理カウンタ１３のカウント値CountVOut値を推定するための推定式は、例えば、以下に示すものを用いる。
推定CountVOut=(CountAOut-ta2)+tv1+(ta2-ta1)/2。
【０２０８】
なお、推定CountVOutの算出は、同期制御部３４が行ってもよい。
【０２０９】
図１１に戻って、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値と、前記所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値とが、異なっているか否か判断する（ステップＳ１１０）。
【０２１０】
ステップＳ１１０で、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値と、前記所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値とが異なっていないと、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、動画像と音声との同期が取れていると判断し、ステップＳ１０７に戻る。
【０２１１】
ステップＳ１１０で、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値と、前記所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値とが異なっていると、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、動画像と音声との同期が取れていないと判断し、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値が所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値より大きいか判断する（ステップＳ１１１）。
【０２１２】
ステップＳ１１１で、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値が所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値より大きいと、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、音声処理が動画像処理より遅れていると判断して、該推定CountVOut値から該CountAOut値を差し引いた時間分だけ、音声処理を進めるスキップ処理を行う（ステップＳ１１２）。
【０２１３】
ステップＳ１１２において、音声処理を進める動作は、音声処理の高速動作（早回し）としてもよい。
【０２１４】
音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、ステップＳ１１２が終了すると、ステップＳ１０７に戻る。
【０２１５】
ステップＳ１１１で、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値が所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値より大きくないと、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、音声処理が動画像処理より進んでいると判断して、該CountAOutから値該推定CountVOut値を差し引いた時間だけ、音声処理を停止する（ステップＳ１１３）。
【０２１６】
ステップＳ１１３において、音声処理を停止する動作は、音声処理の低速動作（スロー）で行ってもよい。
【０２１７】
音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、ステップＳ１１３が終了すると、ステップＳ１０７に戻る。
【０２１８】
なお、図１１に示した動作は、同期制御部３４が行ってもよい。
【０２１９】
本実施例では、動画像処理カウンタ１３のカウント値を、動画像処理ブロック３６と音声処理ブロック３３との間で伝送される信号の伝送時間に起因するタイミング誤差を考慮して推定しているので、音声処理カウンタ３のカウント値と動画像処理カウンタ１３のカウント値とに基づき、動画像と音響との同期を取ることが可能となる。
【０２２０】
また、本実施例によれば、音声処理部４を制御する音声処理用ＣＰＵを、動画像処理部１６を制御する動画像処理用ＣＰＵ１７と異なるものとしても、音声と動画像との同期を取ることが可能となる。これにより、例えば、外部の動画像処理ブロックを利用しても、音響と動画像とが同期した状態にすることができるようになる。
【０２２１】
また、本実施例は、間欠的に、ステップＳ１０８以降の動作を実行するので、音声処理用ＣＰＵ７に制御された音声処理部４の音声処理速度と、動画像処理用ＣＰＵ１７に制御された動画像処理部１６の動画像処理速度とが異なる場合にも、動画像と音声との同期を間欠的に取ることが可能となる。
【０２２２】
また、携帯電話端末の外に配置した動画像処理ブロックが、複数の携帯電話端末と接続可能である場合には、動画像処理ブロックを複数の携帯電話端末が共有することが可能となるので、例えば、動画像処理ブロック（動画像処理端末）としての表示スクリーンにて動画像を表示して、複数の携帯電話端末で同時に音声録音・再生を行う映画館のような機能を実現できるようになる。
【０２２３】
また、図１０において、動画像処理端末３２を、携帯電話端末３１内に配置するようにしてもよい。
【０２２４】
さらに、動画像処理端末３２を、携帯電話端末３１内に配置した場合に、動画像出力部１５または音声出力部６を、携帯電話端末３１の外部の設けるようにしてもよい。なお、動画像出力部１５を、携帯電話端末３１の外部に設ける場合、携帯電話端末３１に、動画像処理部１６の出力を外部に出力する動画像処理信号出力部をさらに設け、この動画像処理出力部が、無線または有線により外部の表示機器としての動画像出力部１５と接続されるようにしてもよい。
【０２２５】
以上説明した各実施例において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【図面の簡単な説明】
【０２２６】
【図１】本発明の一実施例の携帯電話端末を示したブロック図である。
【図２】図１に示した携帯電話端末の動作を説明するためのフローチャートである。
【図３】図２に示したステップＳ３の一例を説明するためのシーケンス図である。
【図４】図２に示したステップＳ９の一例を説明するためのシーケンス図である。
【図５】本発明の他の実施例の携帯電話端末を示したブロック図である。
【図６】本発明の他の実施例の携帯電話端末を示したブロック図である。
【図７】本発明の他の実施例の携帯電話端末の使用形態の一例を示したブロック図である。
【図８】本発明の他の実施例の携帯電話端末を示したブロック図である。
【図９】本発明の他の実施例の携帯電話端末の使用形態の一例を示したブロック図である。
【図１０】本発明の他の実施例の携帯電話端末を示したブロック図である。
【図１１】図１０に示した携帯電話端末の動作を説明するためのフローチャートである。
【図１２】図１１に示したステップＳ１０３の一例を説明するためのシーケンス図である。
【図１３】図１１に示したステップＳ１０９の一例を説明するためのシーケンス図である。
【図１４】従来の携帯電話端末を示したブロック図である。
【符号の説明】
【０２２７】
１      携帯電話端末
２      音声処理ブロック
３      音声処理カウンタ
４      音声処理部
５      音声入力部
６      音声出力部
７      音声処理用ＣＰＵ
８      送受信アンテナ
９      携帯電話用無線部
１０      システム処理部
１１      動画像処理ブロック
１２      同期制御部
１３      動画像処理カウンタ
１４      動画像入力部
１５      動画像出力部
１６      動画像処理部
１７      動画像処理用ＣＰＵ
１８      ＣＰＵ通信路
１９      携帯電話端末
１９ａ    動画像処理信号出力部
２０      表示機器
２１      動画像出力部
２２      携帯電話端末
２２ａ    音響信号出力部
２３      音声出力機器
２４      音声出力部
２５      携帯電話端末
２６      携帯電話網
２７      インターネット網
２８      音声処理端末
２９      通信部
３０      通信部
３１      携帯電話端末
３２      動画像処理端末
３３      音声処理ブロック
３４      同期制御部
３５      通信部
３６      動画像処理ブロック
３７      通信部
【図１】
2005057430.tif 000003
【図２】
2005057430.tif 000004
【図３】
2005057430.tif 000005
【図４】
2005057430.tif 000006
【図５】
2005057430.tif 000007
【図６】
2005057430.tif 000008
【図７】
2005057430.tif 000009
【図８】
2005057430.tif 000010
【図９】
2005057430.tif 000011
【図１０】
2005057430.tif 000012
【図１１】
2005057430.tif 000013
【図１２】
2005057430.tif 000014
【図１３】
2005057430.tif 000015
【図１４】
2005057430.tif 000016