(57)【要約】【課題】受信側のクロック速度が送信側のクロック速度より遅い場合にも、送受間のクロック同期ずれをコンテンツデータの再生品質を良好に保ちつつ補正できるようにする。【解決手段】携帯端末ＭＳ１〜ＭＳｍにおいて、バッファメモリにおける映像及び音声のＲＴＰパケットのバッファリング時間量がしきい値を超えた場合に、それ以後に受信される映像ＲＴＰパケット及び音声ＲＴＰパケットの中から、Ｉフレームの直前に位置しかつフレームサイズがしきい値以下の映像フレームと、当該映像フレームと再生時刻が対応する無音の音声フレームを含むパケットを検出する。そして、これらの条件を満たす映像ＲＴＰパケット及び音声ＲＴＰパケットが選択された場合に、これらのパケットをバッファメモリから破棄する。またそれと共に、後続の映像ＲＴＰパケット及び音声ＲＴＰパケットのタイムスタンプを順次繰り上げるように付け替え処理を行う。【選択図】      図２
2008099209.tif 000002
【特許請求の範囲】
【請求項１】
送信側装置からパケット化されて伝送される映像フレーム及び音声フレームの少なくとも一方を含むコンテンツデータを受信して再生するコンテンツ再生装置において、
前記受信された映像フレーム又は音声フレームの再生タイミングの基準値に対する遅延時間を検出する手段と、
前記検出された遅延時間が予め設定された値を超えた場合に、それ以後に受信される映像フレーム又は音声フレームの中から、フレーム内符号化されたフレームの直前に位置しかつ情報量がしきい値以下の映像フレーム又は音声フレームを調整用フレームとして検出する調整用フレーム検出手段と、
前記調整用フレームが検出された場合に、当該調整用フレームを破棄すると共に後続のフレームの再生時刻を早める処理を行う再生タイミング調整手段と
を具備することを特徴とするコンテンツ再生装置。
【請求項２】
前記コンテンツデータが、再生時刻が相互に対応する映像フレーム及び音声フレームを含む場合に、
前記調整用フレーム検出手段は、前記検出された遅延時間が予め設定された値を超えた場合に、それ以後に受信される映像フレーム及び音声フレームの中から、フレーム内符号化されたフレームの直前に位置しかつ情報量がしきい値以下の映像フレームと、当該映像フレームと再生時刻が対応しかつ無音の音声フレームの両方を調整用フレームとして検出することを特徴とする請求項１記載のコンテンツ再生装置。
【請求項３】
前記調整用フレーム検出手段は、前記遅延時間の増加に応じて前記しきい値を増加させる手段を備えることを特徴とする請求項１又は２記載のコンテンツ再生装置。
【請求項４】
送信側装置からパケット化されて伝送される映像フレーム及び音声フレームの少なくとも一方を含むコンテンツデータを受信して再生するコンテンツ再生装置の再生タイミング同期方法であって、
前記送信側装置において、前記コンテンツデータを生成する際に、情報量がしきい値以下の映像フレーム又は音声フレームを、フレーム内符号化されたフレームの直前に定期的に挿入する過程と、
前記コンテンツ再生装置において、前記送信側装置から送信されたコンテンツデータに含まれる映像フレーム又は音声フレームの中から、フレーム内符号化されたフレームの直前に位置しかつ情報量がしきい値以下の映像フレーム又は音声フレームを調整用フレームとして検出する過程と、
前記コンテンツ再生装置において、前記調整用フレームが検出された場合に当該調整用フレームを破棄すると共に後続のフレームの再生時刻を早める処理を行う過程と
を具備することを特徴とする再生タイミング同期方法。
【請求項５】
前記送信側装置は、前記コンテンツデータを生成する際に、情報量がしきい値以下の映像フレームを、映像ストリーム中のフレーム内符号化されたフレームの直前に定期的に挿入すると共に、当該映像フレームと再生時刻が対応する無音の音声フレームを音声ストリーム中に挿入することを特徴とする請求項４記載の再生タイミング同期方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばコンテンツサーバからパケット化されて伝送される映像フレーム及び音声フレームの少なくとも一方を含むコンテンツデータを受信して再生するコンテンツ再生装置とその再生タイミング同期方法に関する。
【背景技術】
【０００２】
近年、通信技術の目覚ましい発展により、コンテンツサーバから映像データ及び音声データを含むコンテンツデータを、通信ネットワークを介してコンテンツ再生装置に配信するサービスが提供されている。このようなサービスを利用することで、ユーザは自身のパーソナル・コンピュータや携帯端末等を使用して、映画や監視データ等の所望のコンテンツを受信し再生することが可能となる。
【０００３】
ところで、ユーザがコンテンツ再生装置として使用する上記パーソナル・コンピュータや携帯端末は一般に独自のクロックにより動作するため、送信側のコンテンツサーバとは同期がとれているとは限らない。このため、コンテンツ再生装置においてコンテンツを長時間再生すると、送信側と受信側との間のクロックの位相ずれが大きくなり、その結果映像フレーム及び音声フレームのバッファリング量が増減して再生遅延の増大やバッファアンダフローを招くおそれがある。
【０００４】
一方、従来ではデータパケットの受信タイミングに揺らぎが生じることによって複数のコンテンツデータ間、例えば映像データと音声データとの間の同期がずれた場合に、一方のデータを遅延させることにより両者間の再同期をとる手段が提案されている（例えば、特許文献１を参照。）。
【特許文献１】特開２００３−２０４４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、前記従来の提案では、映像データと音声データとの間の同期ずれを再同期することはできるが、送信側装置におけるコンテンツデータの送信タイミングと、受信側のコンテンツ再生装置における当該コンテンツデータの再生タイミングとの間のずれを補正することができない。また、再同期手段としてデータの一方を遅延する手法が示されているが、この手法では受信側装置のクロック速度が送信側装置のクロック速度より速い場合には再同期が可能であるが、反対に受信側装置のクロック速度が送信側装置のクロック速度より遅い場合には再同期が困難である。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、受信側装置のクロック速度が送信側装置のクロック速度より遅い場合にも、送受間のクロック同期ずれをコンテンツデータの再生品質を良好に保ちつつ補正できるようにしたコンテンツ再生装置とその再生タイミング同期方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の一観点は、送信側装置からパケット化されて伝送される映像フレーム及び音声フレームの少なくとも一方を含むコンテンツデータを受信して再生するコンテンツ再生装置において、上記受信された映像フレーム又は音声フレームの再生タイミングの基準値に対する遅延時間を検出する。そして、この検出された遅延時間が予め設定された値を超えた場合に、それ以後に受信される映像フレーム又は音声フレームの中から、フレーム内符号化されたフレームの直前に位置しかつ情報量がしきい値以下の映像フレーム又は音声フレームを調整用フレームとして検出し、この調整用フレームが検出された場合に当該調整用フレームを破棄すると共に後続のフレームの再生時刻を早める処理を行うようにしたものである。
【発明の効果】
【０００８】
したがって、受信側のコンテンツ再生装置のクロック速度が送信側装置のクロック速度より遅い場合に、受信側における映像フレーム又は音声フレームの再生タイミングの基準値に対する遅延時間が予め設定された値を超えると、それ以後に受信される映像フレーム又は音声フレームの中から調整用フレームが選択されて、この調整用フレームが破棄されると共に後続のフレームの再生時刻が早められる。このため、コンテンツ再生装置のクロック遅れによる再生遅延は軽減される。
【０００９】
また、調整用フレームとして、フレーム内符号化されたフレームの直前に位置しかつ情報量がしきい値以下の映像フレーム又は音声フレームを選択するようにしている。このため、調整用フレームを破棄してもそれによる再生映像又は再生音声の途切れや不自然な変化等の不連続の発生は低く抑えられ、これにより再生品質の低下は防止される。
【００１０】
すなわちこの発明によれば、受信側装置のクロック速度が送信側装置のクロック速度より遅い場合にも、送受間のクロック同期ずれをコンテンツデータの再生品質を良好に保ちつつ補正できるようにしたコンテンツ再生装置とその再生タイミング同期方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照してこの発明の実施形態を説明する。  
（第１の実施形態）  
この発明の第１の実施形態は、コンテンツ再生装置としての携帯端末において、受信された映像ＲＴＰパケット及び音声ＲＴＰパケット中から、フレーム内符号化されたキーフレームの直前に位置しかつフレームサイズがしきい値以下の映像フレームと、当該映像フレームと再生時刻が対応する無音の音声フレームを含むパケットを検出し、この検出されたパケットを破棄すると共に後続の映像ＲＴＰパケット及び音声ＲＴＰパケットのタイムスタンプを順次繰り上げるようにしたものである。
【００１２】
図１は、この発明の第１の実施形態に係わるコンテンツ再生装置を使用した移動通信システムの概略構成図である。このシステムは、移動通信交換機能を有する通信ネットワークＮＷと、サービスエリアに分散配置された複数の基地局ＢＳ１〜ＢＳｎとを備える。そして、コンテンツ再生装置としての携帯端末ＭＳ１〜ＭＳｍを上記基地局ＢＳ１〜ＢＳｎ及び通信ネットワークＮＷを介してコンテンツサーバＳＶに接続することにより、コンテンツサーバＳＶが配信するコンテンツデータを携帯端末ＭＳ１〜ＭＳｍで受信し再生可能としたものである。コンテンツサーバＳＶから携帯端末ＭＳ１〜ＭＳｍへコンテンツデータを配信する際に使用される通信プロトコルとしては、例えばＲＴＰ（Real-time Transport Protocol）が用いられる。ＲＴＰについては、マスタリングＴＣＰ／ＩＰ  ＲＴＰ編  Colin Perkins著  小川晃通  監訳  オーム社に詳しく述べられている。
【００１３】
ところで、上記携帯端末ＭＳ１〜ＭＳｍは次のように構成される。図２はその機能構成を示すブロック図である。すなわち携帯端末ＭＳ１〜ＭＳｍは、無線ユニット１と、ベースバンドユニット２と、ユーザインタフェースユニット３と、電源ユニット４とを備えている。
【００１４】
同図において、基地局ＢＳ１〜ＢＳｎから無線チャネルを介して到来した無線信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば直交復調方式と拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンドユニット２に設けられた制御モジュール２１から指示される。
【００１５】
上記受信回路１３の復調器から出力された復調信号は、ベースバンドユニット２に入力される。この復調信号は、多重分離部２２において制御パケットとデータパケットとに分離される。そして、このうちデータパケットはパケット逆変換部２８に入力される。なお、制御パケットには例えば発信元番号や、自端末及び相手通信端末の位置情報などが含まれ、これらは制御モジュール２１において接続制御等を行うために使用される。
【００１６】
パケット逆変換部２８は、上記入力されたデータパケットから映像データとオーディオデータとを分離抽出し、これらのデータをそれぞれ復号処理が可能な情報形式に変換してオーディオデコーダ２６及びビデオデコーダ２５に入力する。オーディオデコーダ２６は、上記入力されたオーディオデータを指定された音声符号化方式に対応する復号方式により復号し、この復号されたオーディオ信号をユーザインタフェースユニット３のスピーカ３４から拡声出力する。音声符号化方式としては、例えばＡＭＲ（Adaptive Multi-Rate）を採用する。ＡＭＲは符号化された音声が無音であることを示すサイズの小さいデータを有音とは別に規定しているため、符号化後の音声のサイズから有音と無音を区別することができる。なお、ＡＭＲの代わりにＡＡＣ（Advanced Audio Coder）やＭＰ３（MPEG-1 Audio Layer3）を採用することも可能であるが、この場合は無音であるかもしくは無音に相当する程度に音量が小さいことを、符号化後の音声データのサイズではなくデータの内容から検出する必要がある。ビデオデコーダ２５は、上記入力された映像データを例えばＭＰＥＧ４（Moving Picture Coding Experts Group 4）方式に従い復号処理し、この復号された映像信号を図示しない表示制御部を介して液晶表示器（ＬＣＤ）３３に供給し表示させる。
【００１７】
なお、ユーザインタフェースユニット３のカメラ（ＣＡＭ）３１とマイクロホン３２、及びベースバンドユニット２のビデオエンコーダ２３とオーディオエンコーダ２４は、携帯端末ＭＳ１〜ＭＳｍ同士でテレビジョン電話通信を行う場合に用いられる。また、無線ユニット１の送信回路（ＴＸ）１５は、ベースバンドユニット２で生成された送信パケットを無線信号に変換してアンテナ１１から基地局ＢＳ１〜ＢＳｎに向けて送信する。変調方式としては、ＱＰＳＫ（Quadriphase Phase Shift Keying）方式又はＱＡＭ（Quadrature Amplitude Modulation）方式と、拡散符号を使用するスペクトラム拡散方式が用いられる。
【００１８】
電源ユニット４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を商用電源出力（ＡＣ１００Ｖ）をもとに充電するための充電回路４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００１９】
ところで、上記ベースバンドユニット２は、端末全体の動作を統括的に制御する制御モジュール２１と、例えばＮＡＮＤ型フラッシュメモリを使用したメモリ（ＭＥＭ）２９とを備えている。メモリ２９には、送受信メールや留守録データ等の送受信データ、電話帳データ、発着信履歴及び各種制御データ等の管理用データがそれぞれ記憶され、さらにコンテンツサーバＳＶから配信されたコンテンツデータも記憶される。
【００２０】
制御モジュール２１は、マイクロプロセッサを使用したＣＰＵ（Central Processing Unit）と、アプリケーション・プログラムを記憶したＲＯＭと、送受信パケットを一時保持するバッファメモリとを備える。そして、この発明に係わる制御機能として、遅延時間検出機能２１１と、調整用フレーム選択機能２１２と、再生タイミング調整機能２１３とを備えている。これらの機能はいずれも、アプリケーション・プログラムをＣＰＵに実行させることにより実現される。
【００２１】
遅延時間検出機能２１１は、受信された映像フレーム及び音声フレームの再生タイミングの基準値に対する遅延時間を検出する。具体的には、制御モジュール２１内のバッファメモリにおける映像パケット及び音声パケットの基準値に対するバッファリング時間量を検出する。
【００２２】
調整用フレーム選択機能２１２は、上記遅延時間検出機能２１１により検出された基準値に対する遅延時間（バッファリング時間量）が予め設定されたしきい値を超えた場合に、それ以後に受信される映像ＲＴＰパケット及び音声ＲＴＰパケットの中から、フレーム内符号化された映像フレーム（キーフレーム（Ｉフレーム））の直前に位置しかつフレームサイズがしきい値以下の映像フレームと、当該映像フレームと再生時刻が対応する無音の音声フレームを含むパケットを検出する。そして、これらの条件を満たす映像ＲＴＰパケット及び音声ＲＴＰパケットが検出された場合に、これらのパケットに含まれる映像フレーム及び音声フレームを再生タイミングの調整用フレームとして選択する。
【００２３】
再生タイミング調整機能２１３は、上記調整用フレーム選択機能２１２により調整用フレームが選択された場合に、当該調整用フレームを含むパケットをバッファメモリから破棄する。またそれと共に、後続の映像ＲＴＰパケット及び音声ＲＴＰパケットのタイムスタンプ（ＰＴＳ）を順次繰り上げるように付け替え処理を行う。
【００２４】
次に、以上のように構成された携帯端末ＭＳ１〜ＭＳｍによるコンテンツ再生動作を説明する。図３はその制御手順と制御内容を示すフローチャートである。なお、ここでは携帯端末ＭＳ１がコンテンツサーバＳＶから配信される映像データ及び音声データを含むコンテンツデータを受信し再生する場合を例にとって説明する。
【００２５】
携帯端末ＭＳ１において、無線ユニット１で受信復調された映像ＲＴＰパケット及び音声ＲＴＰパケットは、ベースバンドユニット２内においてバッファメモリに一旦蓄積される。そして、時間調整された適切なタイミングで読み出されたのち、パケット逆変換部２８によりデパケットされ、さらにビデオデコーダ２５及びオーディオデコーダ２６によりそれぞれ復号されて、ＬＣＤ３３及びスピーカ３５において再生出力される。
【００２６】
ところで、携帯端末ＭＳ１のクロック速度がコンテンツサーバＳＶのクロック速度より遅いと、上記バッファメモリにおけるバッファリング時間量が例えば図４に示すように基準値から徐々に増加して、再生遅延が許容値を超えてしまう。そこで、制御モジュール２１は図３に示すようにステップＳ３１で上記映像ＲＴＰパケット及び音声ＲＴＰパケットを受信するための制御を行いながら、上記バッファメモリにおけるバッファリング時間量を監視する。そして、バッファリング時間量がしきい値以上に増加したか否かをステップＳ３２で判定する。この判定の結果、バッファリング時間量がしきい値に達していなければ、制御モジュール２１はステップＳ３７及びステップＳ３８において、ビデオデコーダ２５及びオーディオデコーダ２６に対し映像ＲＴＰパケット及び音声ＲＴＰパケットの復号再生処理を行わせる。
【００２７】
そして、一つの映像ＲＴＰパケット及び音声ＲＴＰパケットの復号再生処理が終了するごとに、制御モジュール２１はステップＳ３９において受信済のＲＴＰパケットの再生がすべて終了したか否かを判定する。そして、未再生のＲＴＰパケットが残っている場合にはステップＳ３１に戻り、以上述べたステップＳ３１〜ステップＳ３８によるＲＴＰパケットの受信・再生制御を繰り返し実行する。  
したがって以上の状態では、受信された映像ＲＴＰパケット及び音声ＲＴＰパケットがそのタイムスタンプに示されるタイミングに従い受信順に復号再生される。
【００２８】
一方、上記バッファリング時間量がしきい値以上に増加したとする。そうすると制御モジュール２１は、ステップＳ３３に移行して調整用フレームの検出処理を次のように行う。すなわち、それ以後映像ＲＴＰパケット及び音声ＲＴＰパケットが受信されるごとに、当該パケットに挿入されている映像フレーム及び音声フレームを分析し、当該フレームが調整用フレームとしての条件を備えているか否かを判定する。
【００２９】
このとき、条件としては、  
(1) 受信された映像フレームが、フレーム内符号化されたいわゆるキーフレーム（Ｉフレーム）の直前に位置し、かつフレームサイズがしきい値以下であること。なお、このしきい値は、例えば、色成分が殆どないとみなせる値を設定すればよい。  
(2) 当該映像フレームと再生時刻が対応する音声フレームが無音フレームであること。  
の２つがある。
【００３０】
制御モジュール２１は、上記２つの条件を両方とも満たす映像フレーム及び音声フレームが検出されると、ステップＳ３４からステップＳ３５に移行して上記検出された映像フレーム及び音声フレームを調整用フレームとしてこれを破棄する。またそれと共に、ステップＳ３６において、後続の映像ＲＴＰパケット及び音声ＲＴＰパケットのタイムスタンプ（ＰＴＳ）を順次繰り上げるように付け替え処理を行う。
【００３１】
例えば、いま図５（ｂ）に示す映像ＲＴＰパケットＶ３に含まれる映像フレームがＩフレームであり、その直前の映像ＲＴＰパケットＶ２に含まれる映像フレームのフレームサイズが一定値以下だったとする。また、図５（ａ）に示すように、上記映像ＲＴＰパケットＶ２と時間的に対応する音声ＲＴＰパケットＡ３，Ａ４，Ａ５に含まれる音声フレームがいずれも無音フレームだったとする。そうすると制御モジュール２１は、この映像ＲＴＰパケットＶ２と音声ＲＴＰパケットＡ３，Ａ４，Ａ５に含まれる映像フレーム及び音声フレームを調整対象フレームとして選択し、これらをバッファメモリから破棄する。そして、バッファメモリ上において、図５（ｂ）に示すように後続の映像ＲＴＰパケットＶ３，Ｖ４，…のタイムスタンプｔV3，ｔV4，…を順次ｔV2，ｔV3，…に繰り上げる。またそれと共に、図５（ａ）に示すように後続の音声ＲＴＰパケットＡ６，Ａ７，Ａ８のタイムスタンプｔA6，ｔA7，ｔA8をそれぞれｔA3，ｔA4，ｔA5に繰り上げる。
【００３２】
そうして調整用フレームの破棄及びタイムスタンプの付け替え処理が終了すると、制御モジュール２１はステップＳ３７，Ｓ３８に移行して、上記再生タイミング調整後の映像フレーム及び音声フレームの復号再生制御を行う。したがって、映像フレーム及び音声フレームの再生タイミングは早められ、この結果映像及び音声の再生遅延の発生は防止される。
【００３３】
なお、上記破棄された映像ＲＴＰパケットＶ２の直後に位置する映像ＲＴＰパケットＶ３と、同じく破棄された上記音声ＲＴＰパケットＡ３，Ａ４，Ａ５の直後に位置する音声ＲＴＰパケットＡ６との間に、図５に示すように時間差ΔＴが発生する場合がある。この場合、パケットを破棄して単に再生時刻を前に詰めると、再生タイミング調整前に映像ＲＴＰパケットＶ３が音声ＲＴＰパケットＡ６より前に再生される予定であるのが、調整後では後に再生されてしまう。
【００３４】
そこで制御モジュール２１は、上記映像ＲＴＰパケットＶ３に含まれる映像フレーム及び音声ＲＴＰパケットＡ６に含まれる音声フレームを復号再生させる際に、両フレームの再生開始タイミングの差を元の再生開始タイミングと一致させるべく、例えば図５（ｃ）に示すように音声ＲＴＰパケットＡ６に含まれる音声フレームの再生タイミングを、再生タイミング調整後の映像ＲＴＰパケットＶ３の再生タイミングｔV3よりΔＴだけ遅延させて、タイミングｔ′A3とする。同様に、音声ＲＴＰパケットＡ７以降の各音声フレームについても、その再生タイミングを順次ΔＴ遅延させ、図５（ｃ）に示すようにｔ′A4，ｔ′A5とする。このようにすることで、映像フレームと音声フレームとの間の同期ずれが補正されて、映像及び音声のより一層高品質な再生が可能となる。
【００３５】
なお、上記ステップＳ３４において２つの条件を両方とも満たす映像フレーム及び音声フレームが検出されるまでの期間では、制御モジュール２１はステップＳ３７，Ｓ３８に移行して、バッファメモリに蓄積された映像ＲＴＰパケット及び音声ＲＴＰパケットを受信順に復号再生させる。
【００３６】
以上説明したように第１の実施形態では、携帯端末ＭＳ１〜ＭＳｍにおいて、バッファメモリにおける映像及び音声のＲＴＰパケットのバッファリング時間量がしきい値を超えた場合に、それ以後に受信される映像ＲＴＰパケット及び音声ＲＴＰパケットの中から、Ｉフレームの直前に位置しかつフレームサイズがしきい値以下の映像フレームと、当該映像フレームと再生時刻が対応する無音の音声フレームを含むパケットを検出する。そして、これらの条件を満たす映像ＲＴＰパケット及び音声ＲＴＰパケットが選択された場合に、これらのパケットをバッファメモリから破棄する。またそれと共に、後続の映像ＲＴＰパケット及び音声ＲＴＰパケットのタイムスタンプを順次繰り上げるように付け替え処理を行うようにしている。
【００３７】
したがって、受信側の携帯端末ＭＳ１〜ＭＳｍのクロック速度が送信側のコンテンツサーバＳＶのクロック速度よりも遅く、受信された映像フレーム及び音声フレームの再生遅延が発生するおそれがある場合でも、上記パケットの破棄とタイムスタンプの繰り上げ処理により上記再生遅延の発生を未然に防止することができる。
【００３８】
しかも、再生タイミングの調整用フレームとしては、Ｉフレームの直前に位置しかつフレームサイズがしきい値以下の映像フレームと無音の音声フレームが選択される。このため、調整用フレームを破棄しても、再生映像及び再生音声の途切れや不自然な変化は抑えられ、これにより連続性のある高品質の映像及び音声の再生を維持することができる。
【００３９】
（第２の実施形態）  
この発明の第２の実施形態は、送信側のコンテンツサーバにおいて、映像ＲＴＰパケットのストリーム中にＩフレームとその直前にフレームサイズが一定値以下の再生タイミング調整用の映像フレームを定期的に挿入すると共に、音声ＲＴＰパケットのストリーム中の上記調整用の映像フレームと時間的に対応する位置に無音の音声フレームを挿入する。そして、受信側の携帯端末においては、受信された映像ＲＴＰパケット及び音声ＲＴＰパケットのストリーム中から上記調整用の映像フレーム及び無音の音声フレームを含むパケットを検出し、この検出されたパケットを破棄すると共に後続の映像ＲＴＰパケット及び音声ＲＴＰパケットのタイムスタンプを順次繰り上げるようにしたものである。
【００４０】
図６は、この発明の第２の実施形態に係わる再生タイミング同期方法を実現する機能を備えたコンテンツサーバＳＶの構成を示すブロック図である。  
このコンテンツサーバＳＶは、中央処理ユニット（ＣＰＵ）５１を備える。そして、このＣＰＵ５１には、バス５２を介してプログラムメモリ５３及びコンテンツサーバ５４が接続され、さらにエンコーダ５５、通信インタフェース（通信Ｉ／Ｆ）５６、入力インタフェース（入力Ｉ／Ｆ）５７がそれぞれ接続されている。
【００４１】
エンコーダ５５は、ＣＰＵ５１の制御の下で配信対象の映像データ及び音声データの符号化処理を行う。通信Ｉ／Ｆ５６は、上記ＣＰＵ５１の制御の下で、映像ＲＴＰパケット及び音声ＲＴＰパケットを配信先の携帯端末ＭＳ１〜ＭＳｍに向けて通信ネットワークＮＷへ送信する。入力Ｉ／Ｆ５７には、カメラ５８及びマイクロホン５９が接続される。入力Ｉ／Ｆ５７は、ＣＰＵ５１の制御の下で上記カメラ５８から映像信号を取り込むと共にマイクロホン５９から音声信号を取り込む。
【００４２】
コンテンツメモリ５４は、図示しないコンテンツ作成元の端末から転送されたコンテンツデータや図示しない記憶媒体から読み込んだコンテンツデータを記憶する。また、必要に応じて、上記入力Ｉ／Ｆ５７により取り込まれた映像信号及び音声信号の符号化データをコンテンツデータとして記憶する。
【００４３】
プログラムメモリ５３には、この発明に係わる機能を実現するための制御プログラムとして、コンテンツ配信制御プログラム５３１と、調整用フレーム挿入制御プログラム５３２が格納されている。  
コンテンツ配信制御プログラム５３１は、上記入力Ｉ／Ｆ５７により取り込まれた映像信号及び音声信号をエンコーダ５５に符号化処理させ、さらにこの符号化処理により生成された映像フレーム及び音声フレームをＲＴＰパケットに変換したのち、通信Ｉ／Ｆ５６から配信先の携帯端末ＭＳ１〜ＭＳｍに向け送信させる制御を、上記ＣＰＵ５１に実行させる。また、コンテンツメモリ５４に記憶されたコンテンツデータを読み出し、このコンテンツデータをＲＴＰパケットに変換して送信させる制御を、上記ＣＰＵ５１に実行させる。
【００４４】
調整用フレーム挿入制御プログラム５３２は、以下のような処理を上記ＣＰＵ５１に実行させる。すなわち、上記映像ＲＴＰパケット及び音声ＲＴＰパケットを生成する際に、映像パケットのストリーム中に、フレーム内符号化されたＩフレームを一定の時間間隔で挿入すると共に、当該Ｉフレームの直前にフレームサイズが一定サイズ以下の再生タイミング調整用の映像フレームを挿入する。また、音声パケットのストリーム中の上記調整用の映像フレームと時間的に対応する位置に、無音の音声フレームを挿入する。
【００４５】
なお、一般に無音を挿入できる箇所はストリームの内容によって決まるため、上記時間間隔において上記条件を満たす映像フレームおよび音声フレームを挿入できない場合がある。その場合には、無音の音声フレームの再生タイミングを検出し、そのタイミングを基にフレーム内符号化されたＩフレームを上記時間間隔に関わらず適宜挿入してもよい。
【００４６】
なお、携帯端末ＭＳ１〜ＭＳｍにおけるクロックの精度は５０ppm程度である。このため、例えば１フレームが２０msecの音声フレームであれば、１フレーム分の同期ずれが発生するまでに４００sec（約７分）かかり、また１フレームが６６msecの映像フレームであれば、１フレーム分の同期ずれが発生するまでに約２２分かかる。したがって、上記Ｔcは上記７分又は２２分程度に設定すればよい。
【００４７】
このような構成であるから、コンテンツサーバＳＶでは、コンテンツデータを配信する際に、例えば図７に示すように、映像ＲＴＰパケットのストリーム中にＩフレームＶ２，Ｖｉ，Ｖｊ，…が一定の時間間隔Ｔcで挿入され、さらにこれらのＩフレームＶ２，Ｖｉ，Ｖｊ，…の直前にフレームサイズが一定サイズ以下の調整用の映像フレームＶ１，Ｖi-1，Ｖj-1，…がそれぞれ挿入される。また、音声ＲＴＰパケットのストリーム中の上記調整用の映像フレームＶ１，Ｖi-1，Ｖj-1，…と時間的に対応する位置に、無音の音声フレームＡ１，Ａ２，Ａ３、Ａm-3，Ａm-2，Ａm-1、Ａn-3，Ａn-2，Ａn-1がそれぞれ挿入される。
【００４８】
一方、携帯端末ＭＳ１〜ＭＳｍでは、映像ＲＴＰパケット及び音声ＲＴＰパケットの受信再生中にバッファリング時間量がしきい値以上に増加したか否かが監視される。そして、バッファリング時間量がしきい値以上に増加すると、その後受信される映像ＲＴＰパケット及び音声ＲＴＰパケットのストリーム中からそれぞれ、Ｉフレームの直前に位置する調整用の映像フレーム及び無音の音声フレームを含むパケットが検出される。そして、この検出されたパケットを破棄する処理と、後続の映像ＲＴＰパケット及び音声ＲＴＰパケットのタイムスタンプを順次繰り上げる処理が行われる。なお、この携帯端末ＭＳ１〜ＭＳｍによるコンテンツ同期再生制御の手順と内容は、第１の実施形態において図３に示したものと同じである。
【００４９】
以上述べたように第２の実施形態では、送信側のコンテンツサーバＳＶにおいて、映像ＲＴＰパケットのストリーム中にＩフレームとその直前にフレームサイズが一定値以下の再生タイミング調整用の映像フレームを一定の時間間隔Ｔcで挿入すると共に、音声ＲＴＰパケットのストリーム中の上記調整用の映像フレームと時間的に対応する位置に無音の音声フレームを挿入して送信する。そして、受信側の携帯端末ＭＳ１〜ＭＳｍにおいては、受信された映像ＲＴＰパケット及び音声ＲＴＰパケットのストリーム中から上記調整用の映像フレーム及び無音の音声フレームを含むパケットを検出し、この検出されたパケットを破棄すると共に、後続の映像ＲＴＰパケット及び音声ＲＴＰパケットのタイムスタンプを順次繰り上げたのち、復号再生するようにしている。
【００５０】
このため、受信側の携帯端末ＭＳ１〜ＭＳｍでは、バッファリング時間量がしきい値以上に増加した場合、最長でも上記時間間隔Ｔc以内に調整用パケットの破棄とタイムスタンプの繰り上げによる同期処理が行われる。このため、許容量を超えた再生遅延を起こすことなく、より安定な再生タイミング同期制御を行うことができる。
【００５１】
（その他の実施形態）  
前記第１の実施形態では、バッファリング時間量の増加を判定するためのしきい値を固定値としたが、バッファリング時間量と基準値との差が大きくなるに従い増加させるようにしてもよい。すなわち、ストリームによっては、バッファリング時間量と基準値との差が大きいにも関わらず、上記しきい値を下回るサイズの映像フレームと無音の音声フレームが出現しない場合がある。このような場合には、バッファリング時間量と基準値との差が大きくなるに従いしきい値を高める。このようにすると、映像フレームのサイズがしきい値を超える確率を高めることができ、これにより再生タイミングを調整する頻度を高めることができる。なお、しきい値を増加させるアルゴリズムとしては、パケット網における輻輳回避のためのパケット破棄方法を適用することが可能である。
【００５２】
その他、送信側のコンテンツサーバの構成や調整用フレーム挿入制御の手順と内容、コンテンツ再生装置の種類やその構成、再生タイミング同期制御の手順と内容、バッファリング時間量の増加を判定するためのしきい値の具体的な値、送信側装置で調整フレームを挿入するための周期Ｔcの具体的な値等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００５３】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００５４】
【図１】この発明の第１の実施形態に係わるコンテンツ再生装置を使用した移動通信システムの構成を示す図である。
【図２】この発明の第１の実施形態に係わるコンテンツ再生装置の構成を示すブロック図である。
【図３】図２に示したコンテンツ再生装置によるコンテテンツ再生制御の手順と内容を示すフローチャートである。
【図４】図２に示したコンテンツ再生装置におけるバッファリング量の時間変化の一例を示す図である。
【図５】図３に示したコンテンツ再生制御の動作説明に使用するタイミング図である。
【図６】この発明の第２の実施形態に係わる再生タイミング同期方法を実施する機能を備えたコンテンツサーバの構成を示すブロック図である。
【図７】この発明の第２の実施形態に係わる再生タイミング同期方法を説明するためのタイミング図である。
【符号の説明】
【００５５】
ＭＳ１〜ＭＳｍ…携帯端末、ＮＷ…通信ネットワーク、ＢＳ１〜ＢＳｎ…基地局、ＳＶ…コンテンツサーバ、１…無線ユニット、２…ベースバンドユニット、３…ユーザインタフェースユニット、４…電源ユニット、１１…アンテナ、１２…アンテナ共用器（ＤＵＰ）、１３…受信回路（ＲＸ）、１４…周波数シンセサイザ（ＳＹＮ）、１５…送信回路（ＴＸ）、２１…制御モジュール、２１１…遅延時間検出機能、２１２…調整用フレーム選択機能、２１３…再生タイミング調整機能、２２…多重分離部、２３…ビデオエンコーダ、２４…オーディオエンコーダ、２５…ビデオデコーダ、２６…オーディオデコーダ、２７…パケット変換部、２８…パケット逆変換部、２９…メモリ（ＭＥＭ）、３１…カメラ（ＣＡＭ）、３２…マイクロホン、３３…液晶表示器（ＬＣＤ）、３４…スピーカ、３５…入力デバイス、４１…バッテリ、４２…充電回路（ＣＨＧ）、４３…電圧生成回路（ＰＳ）、５１…ＣＰＵ、５２…バス、５３…プログラムメモリ、５３１…コンテンツ配信制御プログラム、５３２…調整用フレーム挿入制御プログラム、５４…コンテンツメモリ、５５…エンコーダ、５６…通信インタフェース、５７…入力インタフェース、５８…カメラ、５９…マイクロホン。
【図１】
2008099209.tif 000003
【図２】
2008099209.tif 000004
【図３】
2008099209.tif 000005
【図４】
2008099209.tif 000006
【図５】
2008099209.tif 000007
【図６】
2008099209.tif 000008
【図７】
2008099209.tif 000009