(57)【要約】【課題】音声信号の復号が遅れていると判断された場合、映像信号の再生表示処理を削減する。【解決手段】音声出力制御部５４ｆは、音声復号部５４ｄによって復号され、復号音声バッファ５４ｅに記憶された音声信号を読み出して、Ｄ／Ａ変換部２５に送ることによってスピーカから出力させると共に、復号音声バッファ５４ｅに記憶された音声信号の量を監視する。そして、その量が所定の閾値より少ない場合、映像復号部５４ｂに指示して、映像復号部５４ｂによって復号された映像フレームを間引いて復号映像バッファ５４ｃに記憶させる。これによって、アプリケーション部５３が復号映像バッファ５４ｃに記憶された映像フレームを処理して表示用ＲＡＭ２２に書き込む処理が削減される。【選択図】図３
2010239575.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも符号化された映像フレームと符号化された音声信号とを含むコンテンツを再生するコンテンツ再生装置であって、
前記符号化された映像フレームを復号する映像復号手段と、
前記映像復号手段によって復号された映像フレームを表示手段に表示させるアプリケーション手段と、
前記符号化された音声信号を復号する音声復号手段と、
前記音声復号手段によって復号された音声信号を記憶する復号音声記憶手段と、
前記復号音声記憶手段に記憶された復号された音声信号をスピーカから出力させる音声出力制御手段とを有し、
前記復号音声記憶手段に記憶された復号された音声信号の量が所定の閾値より少ない場合、前記映像復号手段は、前記符号化された映像フレームを間引いて復号し、及び／又は、前記アプリケーション手段は、前記映像復号手段によって復号された映像フレームを間引いて前記表示手段に表示させる
ことを特徴とするコンテンツ再生装置。
【請求項２】
前記音声出力制御手段は、前記復号音声記憶手段に記憶された復号された音声信号の量が所定の閾値より少ない場合、前記映像復号手段に一部の前記復号された映像フレームを前記アプリケーション手段に提供させる
ことを特徴とする請求項１に記載のコンテンツ再生装置。
【請求項３】
前記アプリケーション手段は、前記映像復号手段によって復号された映像フレームの大きさを変更して前記表示手段に表示させる
ことを特徴とする請求項１に記載のコンテンツ再生装置。
【請求項４】
前記アプリケーション手段は、前記映像復号手段によって復号された映像フレームと、前記コンテンツに含まれる静止画像とを合成して前記表示手段に表示させる
ことを特徴とする請求項１に記載のコンテンツ再生装置。
【請求項５】
前記アプリケーション手段は、前記映像復号手段によって復号された映像フレームと、前記コンテンツに含まれる文字とを合成して前記表示手段に表示させる
ことを特徴とする請求項１に記載のコンテンツ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ再生装置に係り、特に、再生される音声の音切れ抑制に関する。
【背景技術】
【０００２】
符号化されたコンテンツの再生にあたり、復号などの処理を専用のＤＳＰ（Digital Signal Processor）によることなく、汎用のＣＰＵ（Central Processing Unit）によって行うことが知られている。ここで、コンテンツは、少なくとも映像と、音声とを含む。汎用のＣＰＵは、この復号以外の処理も行うため、高負荷にあっては復号を充分な速度で行なうことができず、再生が途切れる恐れがある。特に、音声信号の復号が遅れて音切れが発生すると、コンテンツの視聴者は違和感を覚え易く、音切れの抑制が望まれる。
【０００３】
そこで、再生が必要な速度で行われているか否かを監視し、再生の速度が遅いと判断された場合、例えば、映像の再生を中止し、又は、複数の画質の映像が得られる場合、低画質の映像の再生に変更する処理が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３４６１３９号公報（第２、７頁、図４）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示されている方法では、映像の再生を中止する場合、視聴者が違和感を覚える問題点があり、また、複数の画質の映像が得られない場合、低画質の映像の再生に変更できない問題点があった。
【０００６】
本発明は上記問題点を解決するためになされたもので、音声信号の復号が遅れていると判断された場合、映像信号の再生表示処理を削減するコンテンツ再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明のコンテンツ再生装置は、少なくとも符号化された映像フレームと符号化された音声信号とを含むコンテンツを再生するコンテンツ再生装置であって、前記符号化された映像フレームを復号する映像復号手段と、前記映像復号手段によって復号された映像フレームを表示手段に表示させるアプリケーション手段と、前記符号化された音声信号を復号する音声復号手段と、前記音声復号手段によって復号された音声信号を記憶する復号音声記憶手段と、前記復号音声記憶手段に記憶された復号された音声信号をスピーカから出力させる音声出力制御手段とを有し、前記復号音声記憶手段に記憶された復号された音声信号の量が所定の閾値より少ない場合、前記映像復号手段は、前記符号化された映像フレームを間引いて復号し、及び／又は、前記アプリケーション手段は、前記映像復号手段によって復号された映像フレームを間引いて前記表示手段に表示させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、音声信号の復号が遅れていると判断された場合、映像信号の再生表示処理を削減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る移動通信装置のハードウェア構成を示すブロック図。
【図２】本発明の実施形態に係る移動通信装置のソフトウェア構成を示すブロック図。
【図３】本発明の実施形態に係るコンテンツ復号部の詳細な構成を示すブロック図。
【図４】本発明の実施形態に係るアプリケーション部によるコンテンツ再生出力動作のフローチャート。
【図５】本発明の実施形態に係る音声出力制御部による映像信号の処理を削減させる動作のフローチャート。
【図６】本発明の実施形態に係る映像信号の処理の削減の状況を示す図。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施形態に係るコンテンツ再生装置が適用された移動通信装置の実施の形態を、図面を参照して説明する。図１は、本発明の実施形態に係る移動通信装置のハードウェア構成を示すブロック図である。
【００１１】
この移動通信装置は、ベースバンドグループに属する移動通信網通信部１１と、移動通信網の基地局（図示せず）との間で電波の送受信を行うアンテナ１１ａと、通話用のスピーカ１１ｂと、通話用のマイクロフォン１１ｃと、ベースバンドＣＰＵ１２と、アプリケーショングループに属する近距離通信部２１と、近距離通信網のアクセスポイント（図示せず）との間で電波の送受信を行うアンテナ２１ａと、表示用ＲＡＭ（Random Access Memory）２２と、表示部２３と、入力部２４と、Ｄ／Ａ（Digital/Analog）変換部２５と、コンテンツ再生用のスピーカ２６と、アプリケーションＣＰＵ２７と、２つのグループの各部によってアクセスされる１次記憶部３１と、２次記憶部３２とからなる。
【００１２】
なお、このブロック図では、各部は、全てが共通のバスによって接続されているように図示したが、これは、理解を容易にするためで、これに限らない。ベースバンドグループに属する各部を接続するバス、アプリケーショングループに属する各部を接続するバス、これらのバスを接続するバスとを有する構成であっても良い。
【００１３】
また、１次記憶部３１と、２次記憶部３２とは、２つのグループの各部によってアクセスされるとしたが、これは、理解を容易にするためで、これに限らない。これに代えて、又は、加えて、各グループ専用の１次記憶部と、２次記憶部とを有する構成であっても良い。
【００１４】
上記のように構成された、本発明の実施形態に係る情報処理装置のハードウェアの各部の動作を、図１を参照して説明する。
【００１５】
移動通信網通信部１１は、移動通信網の基地局（図示せず）から送信され、アンテナ１１ａが受信した高周波信号を増幅、周波数変換及び復調し、それによって得られたデジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ１１ｂに送る。また、得られた制御信号をベースバンド制御部に送る。ここで、ベースバンド制御部は、ベースバンドＣＰＵ１２を利用するソフトウェアであり、ベースバンドグループに属する各部の制御を行う。
【００１６】
また、移動通信網通信部１１は、マイクロフォン１１ｃから出力されるアナログ音声信号を増幅し、それを変換したデジタル音声信号と、ベースバンド制御部から出力される制御信号とを変調、周波数変換及び増幅し、高周波信号を得てアンテナ１１ａより送信する。
【００１７】
ベースバンドＣＰＵ１２は、ベースバンド制御部を含む、ベースバンドグループに属する各部に係るソフトウェアによって利用され、１次記憶部３１と、２次記憶部３２とを参照して動作する。
【００１８】
近距離通信部２１は、無線ＬＡＮ（Local Area Network）通信を行う。即ち、インターネット網のアクセスポイント（図示せず）から送信され、アンテナ２１ａが受信した高周波信号を増幅、周波数変換及び復調し、それによって得られた制御信号をアプリケーション制御部に送る。アプリケーション制御部は、アプリケーションＣＰＵ２７を利用するソフトウェアであり、アプリケーショングループに属する各部の制御を行う。また、近距離通信部２１は、得られたデジタルコンテンツ信号をアプリケーショングループ内のコンテンツバッファに記憶させる。
【００１９】
なお、コンテンツバッファを含む、全てのバッファは、１次記憶部３１及び／又は２次記憶部３２内に設定された記憶領域である。その記憶領域の管理方法は、ファイルシステムであるか、サイクリック方式、即ち、記憶領域に情報が順次記憶され、全ての領域に情報が記憶された場合、最も古く記憶された情報が記憶されていた領域に新たに情報を記憶させる方式であるか、変数に割り当てられ、何ら構造を持たない方式であるかなどを問わない。
【００２０】
近距離通信部２１は、更に、アプリケーション制御部から出力される制御信号を変調、周波数変換及び増幅し、高周波信号を得てアンテナ２１ａより送信する。
【００２１】
表示用ＲＡＭ２２は、アプリケーション制御部の指示に従ったアプリケーションＣＰＵ２７を利用するソフトウェアによって書き込まれた、表示部２３に表示される画像イメージを記憶する。この画像イメージは、任意の静止画像であって、コンテンツの映像、カーソルを含む文字・数字などを含む。
【００２２】
表示部２３は、例えば、バックライト付きのＬＣＤ（Liquid Crystal Display）であり、アプリケーション制御部の制御に従って、表示用ＲＡＭ２２に記憶された画像イメージを表示し、又は、表示を停止する。
【００２３】
入力部２４は、通信相手の電話番号などを指定し、また、トグル式の入力方式によってひらがな文字、アルファベット文字及び記号文字を入力するための数字キーと、カーソル移動キーやスクロールキーを含む複数の機能キーとを含むキーからなる。そして、入力部２４のキーが押下されると、そのキーの識別子をアプリケーション制御部に通知する。
【００２４】
Ｄ／Ａ変換部２５は、アプリケーション制御部の指示に従ったアプリケーションＣＰＵ２７を利用するソフトウェアによって送信されたＰＣＭ（Pulse Code Modulation）信号であるデジタル音声信号をアナログ音声信号に変換し、変換されたアナログ音声信号をスピーカ２６から発生させる。
【００２５】
アプリケーションＣＰＵ２７は、アプリケーション制御部を含む、アプリケーショングループに属する各部に係るソフトウェアによって利用され、１次記憶部３１と、２次記憶部３２とを参照して動作する。
【００２６】
図２は、本発明の実施形態に係る移動通信装置のソフトウェア構成を示すブロック図であって、記憶構成を併せて示す。この移動通信装置は、ベースバンドグループに属するベースバンド制御部４１と、アプリケーショングループに属するアプリケーション制御部５１と、近距離通信部２１によって受信されたコンテンツが記憶されるコンテンツバッファ５２と、アプリケーション部５３と、コンテンツ復号部５４と、画像編集ライブラリ５５とからなる。
【００２７】
ベースバンドグループ全体の制御を行うベースバンド制御部４１と、アプリケーショングループ全体の制御を行うアプリケーション制御部５１とは、接続されている。この接続によって、異なるグループに属する部分同士であっても情報の送受が可能であり、本実施の形態において、情報の送受に関し、ベースバンド制御部４１及びアプリケーション制御部５１を経由することを省略して説明している。
【００２８】
図３は、コンテンツ復号部５４の詳細な構成を示すブロック図であり、アプリケーション部５３によってコンテンツバッファ５２に記憶されたコンテンツが再生されるまでのコンテンツの流れを併せて示す。ここで、矢印は、コンテンツの流れを示す。
【００２９】
コンテンツ復号部５４は、コンテンツバッファ５２と接続される分離部５４ａと、映像復号部５４ｂと、アプリケーション部５３と接続され、映像復号部５４ｂによって復号された映像信号が記憶される復号映像バッファ５４ｃと、音声復号部５４ｄと、音声復号部５４ｄによって復号された音声信号が記憶される復号音声バッファ５４ｅと、Ｄ／Ａ変換部２５と接続される音声出力制御部５４ｆとからなる。
【００３０】
上記のように構成された、本発明の実施形態に係る情報処理装置のソフトウェアの各部の動作を、図２及び図３を参照して説明する。
【００３１】
アプリケーション部５３は、例えば、ブラウザであって、近距離通信部２１に指示してコンテンツを受信させる。そして、その受信によってコンテンツバッファ５２に記憶された、又は、記憶されつつあるコンテンツを、表示部２３に表示させ、また、スピーカ２６から発生させる。ここで、上記コンテンツの中で、Ｈ．２６３方式、ＭＰ３方式などによって符号化された映像及び音声コンテンツは、コンテンツ復号部５４に復号させ、復号された音声信号はコンテンツ復号部５４に指示してスピーカ２６から発生させる。一方、アプリケーション部５３は、復号された映像信号と、コンテンツ復号部５４の復号を要さない画像とから表示される画像を作成して表示部２３に表示させる。
【００３２】
コンテンツ復号部５４の各部の動作を説明する。コンテンツ復号部５４の各部は、アプリケーション部５３の指示に従って動作する。分離部５４ａは、コンテンツバッファ５２に記憶され、アプリケーション部５３によって指定されたＨ．２６３方式、ＭＰ３方式などによって符号化された映像及び音声コンテンツを読み出す。そして、そのコンテンツを映像信号と、音声信号とに分離し、映像信号を映像復号部５４ｂに、音声信号を音声復号部５４ｄに送る。
【００３３】
映像復号部５４ｂは、受信された符号化された映像信号を復号する。ここで、符号化された映像信号は、所定の時間間隔で切り出された静止画像（以後、映像フレームと称する。）が符号化された信号である。そこで、映像フレーム毎に復号する。そして、アプリケーション部５３から復号された映像フレームの要求があると、映像フレームと、その映像フレームが符号化されていた際に付されていたタイムスタンプと共に復号映像バッファ５４ｃに記憶させ、アプリケーション部５３に提供する。
【００３４】
なお、映像復号部５４ｂは、復号された映像フレームの全てをアプリケーション部５３に提供するとは限らない。音声出力制御部５４ｆの指示に従って、その一部を提供しない、即ち、間引くことがある。この間引かれる映像フレームの復号は、行われる必要はない。例えば、映像フレームの１つがフレーム内符号化され、その映像フレームに続く所定個数の映像フレームが直前の映像フレームを参照するフレーム間符号化されている場合、フレーム内符号化された直前のフレーム間符号化された映像フレームが間引かれるなら、そのフレームを復号する必要はない。しかしながら、間引かれる映像フレームを参照するフレーム間符号化された映像フレームを提供する場合、間引かれる映像フレームの復号を行なう。
【００３５】
音声復号部５４ｄは、受信された符号化された音声信号を復号する。ここで、符号化された音声信号は、所定の時間幅で切り出された音声信号が符号化された信号である。そこで、その切り出された音声信号毎に復号し、得られたＰＣＭ信号であるデジタル音声信号を復号音声バッファ５４ｅに記憶させる。符号化された音声信号の一部には、タイムスタンプが付されている。そこで、そのタイムスタンプは、復号された音声信号と共に、復号音声バッファ５４ｅに記憶させる。
【００３６】
音声出力制御部５４ｆは、復号音声バッファ５４ｅに記憶されたタイムスタンプを参照しつつ、そこに記憶された復号された音声信号をＤ／Ａ変換部２５に送ることによって、スピーカ２６から発生させる。音声出力制御部５４ｆは、発生された音声信号を復号音声バッファ５４ｅから削除する。
【００３７】
また、音声出力制御部５４ｆは、復号音声バッファ５４ｅに記憶された復号された音声信号の量を監視する。この量が所定の量より少ない場合、音声復号部５４ｄの処理が遅れている、即ち、アプリケーションＣＰＵ２７の負荷が過度に高いと判断し、映像復号部５４ｂに、符号化された映像フレームの全てをアプリケーション部５３に提供することなく、その一部を提供しない指示をする。
【００３８】
画像編集ライブラリ５５は、静止画像の編集を行うソフトウェアパッケージである。即ち、与えられた静止画像の合成や、色調の変更や、大きさの変更を行う。ここで、大きさの変更は、縮小、拡大、一部分の切り出しを含む。縮小や、拡大は、表示部２３の画面解像度に従って、静止画像を表す画素数の変更を伴うことがある。また、静止画像には、画像とされて表示される文字を含む。
【００３９】
以下、本発明の実施形態に係わる移動通信装置による音声信号の復号が遅れていると判断された場合、映像信号の再生表示処理を削減する動作を説明する。
【００４０】
（アプリケーション部５３によるコンテンツの再生出力動作）
図４は、アプリケーション部５３によるコンテンツの再生出力動作のフローチャートを示す。アプリケーション部５３は、入力部２４の所定のキー操作によってコンテンツの再生出力動作を開始し（ステップＳ１０１）、そのキー操作によって指定されたコンテンツを近距離通信部２１に指示して受信開始させる（ステップＳ１０２）。
【００４１】
このコンテンツは、Ｈ．２６３方式によって符号化された映像及びＭＰ３方式によって符号化された音声コンテンツを含み、アプリケーション部５３は、そのＨ．２６３方式及びＭＰ３方式によって符号化されたコンテンツを復号させると共に、復号された音声信号をスピーカ２６から発生させることを、コンテンツ復号部５４の各部に指示する（ステップＳ１０３）。
【００４２】
そして、表示部２３に表示されていない映像フレームの有無を判断する（ステップＳ１０４）。この判断は、Ｈ．２６３方式によって符号化されたコンテンツの冒頭に含まれるコンテンツを再生するために必要な時間と、映像フレームに付加されたタイムスタンプによって判断可能である。また、アプリケーション部５３は、映像復号部５４ｂに提供されていない映像フレームの有無を照会することによって判断しても良い。
【００４３】
表示されていない映像フレームがある場合、アプリケーション部５３は、次に表示すべき映像フレームを映像復号部５４ｂに要求し、復号映像バッファ５４ｃからその映像フレームを取得する（ステップＳ１０５）。そして、その映像フレームと、近距離通信部２１によって受信されたコンテンツの中で、コンテンツ復号部５４に復号を要求しない情報、例えば、静止画像や、文字とを組み合わせて、表示部２３のアプリケーション部５３に割り当てられたウィンドウに表示される画像を、画像編集ライブラリ５５を用いて作成する（ステップＳ１０６）。この表示される画像は、例えば、Ｗｅｂページ中に指定されたページ内の配置に従った画像である。
【００４４】
作成された表示される画像を、ステップＳ１０５で取得された映像フレームに付加されたタイムスタンプが示す時刻に、表示用ＲＡＭ２２に記憶させることによって表示部２３に表示させ（ステップＳ１０７）、ステップＳ１０４の判断動作に移る。なお、このように、タイムスタンプを参照して表示用ＲＡＭ２２に記憶させることによって、ステップＳ１０７の動作によって表示される映像と、コンテンツ復号部５４によって出力される音声との同期が取られる。
【００４５】
なお、ステップＳ１０４〜ステップＳ１０７のループの動作の間に、アプリケーション部５３に割り当てられたウィンドウの大きさの変更、スクロール要求などが入力部２４の所定のキー操作によって行われた場合、アプリケーション部５３は、ステップＳ１０６で、併せてその要求に従った画像を、画像編集ライブラリ５５を用いて作成する。また、ステップＳ１０５で、映像フレームを取得することができない場合、表示されていない映像フレームがないと判断する（図示せず）。
【００４６】
一方、ステップＳ１０４で、表示されていない映像フレームがない場合、アプリケーション部５３は、コンテンツの再生出力動作を終了する（ステップＳ１０８）。ここで、近距離通信部２１及びコンテンツ復号部５４の各部の動作を停止させる。なお、表示用ＲＡＭ２２に記憶された画像に変更を加えないので、表示部２３の表示は、消去されることはない。
【００４７】
（音声出力制御部５４ｆによる映像信号の再生表示処理を削減させる動作）
図５は、音声出力制御部５４ｆによる映像信号の再生表示処理を削減させる動作のフローチャートを示す。音声出力制御部５４ｆは、アプリケーション部５３の指示に従って動作を開始し（ステップＳ２０１）、復号音声バッファ５４ｅから復号された音声信号を読み出してＤ／Ａ変換部２５へ送って、スピーカ２６から発生させ、読み出された音声信号を復号音声バッファ５４ｅから削除する（ステップＳ２０２）。ここで、読み出す音声信号の量は、１回又は複数回に渡って復号された音声信号であるが、例えば、音声出力制御部５４ｆが備える記憶領域の大きさに依存した量である。
【００４８】
そして、音声出力制御部５４ｆは、復号音声バッファ５４ｅに記憶された音声信号のデータ量を第１の閾値Ａと比較する（ステップＳ２０３）。第１の閾値Ａ以上である場合、復号音声バッファ５４ｅに記憶された音声信号のデータ量を、第１の閾値Ａを超える第２の閾値Ｂと比較する（ステップＳ２０４）。第２の閾値Ｂ以上である場合、アプリケーションＣＰＵ２７の負荷を調べる（ステップＳ２０５）。この負荷は、アプリケーション制御部５１のＯＳ機能に問い合わせることによって調べることができる。
【００４９】
アプリケーションＣＰＵ２７の負荷が所定の閾値以下の場合、音声出力制御部５４ｆは、映像復号部５４ｂに対し、全ての映像フレームをアプリケーション部５３に提供する旨を指示して（ステップＳ２０６）、映像信号の再生表示処理を削減させる動作を終了する（ステップＳ２０７）。
【００５０】
ステップＳ２０４で閾値Ｂ未満の場合、及び、ステップＳ２０５で所定の閾値を超える場合、音声出力制御部５４ｆは、映像信号の再生表示処理を削減させる動作を終了する（ステップＳ２０７）。なお、ステップＳ２０３で第１の閾値Ａ以上である場合、直前の映像復号部５４ｂに対する指示が一部の映像フレームをアプリケーション部５３に提供する旨でなければ、音声出力制御部５４ｆは、直ちにステップＳ２０７へ移って、映像信号の再生表示処理を削減させる動作を終了することと同じ動作となる。
【００５１】
ステップＳ２０３で、第１の閾値Ａ未満である場合、音声出力制御部５４ｆは、一部の映像フレームをアプリケーション部５３に提供する旨を指示して（ステップＳ２０８）、映像信号の再生表示処理を削減させる動作を終了する（ステップＳ２０７）。
【００５２】
なお、ステップＳ２０８の動作にあたり、直前の映像復号部５４ｂに対する指示が全部の映像フレームをアプリケーション部５３に提供する旨でなければ、音声出力制御部５４ｆは、直ちにステップＳ２０７へ移って、映像信号の再生表示処理を削減させる動作を終了することと同じ動作となる。ここで、音声出力制御部５４ｆが動作を開始した際、直前の映像復号部５４ｂに対する指示は、全部の映像フレームをアプリケーション部５３に提供する旨であるとみなす。
【００５３】
復号音声バッファ５４ｅに記憶された音声信号のデータ量を２つの閾値、即ち、第１の閾値Ａと、第２の閾値Ｂと比較することは、周知の手法である。即ち、１つの閾値と比較すると、そのデータ量がその閾値以上と、その閾値未満との間を頻繁に上下する場合、ステップＳ２０６の全ての映像フレームを提供させる指示と、ステップＳ２０８の一部の映像フレームを提供させる指示とが無用に頻繁に行われる可能性がある。２つの閾値と比較すれば、この頻繁な指示がされることがない。
【００５４】
（映像復号部５４ｂによる復号された映像フレームの全部又は一部を提供する動作）
映像復号部５４ｂは、全部の映像フレームをアプリケーション部５３に提供する旨の指示を音声出力制御部５４ｆから受けた場合、及び、映像復号部５４ｂが動作を開始した際、アプリケーション部５３からの映像フレームの要求に応じて、復号された映像フレームで、次に表示部２３に表示されるべき１つの映像フレームを復号映像バッファ５４ｃに記憶させて、アプリケーション部５３に提供する。ここで、映像フレームには、その映像フレームが表示部２３に表示されるべき時刻を示すタイムスタンプを付す。
【００５５】
映像復号部５４ｂは、一部の映像フレームをアプリケーション部５３に提供する旨の指示を音声出力制御部５４ｆから受けた場合、アプリケーション部５３からの映像フレーム要求に応じて、復号された映像フレームの中の所定の割合の映像フレーム、例えば、タイムスタンプ順で、２つに１つの映像フレームを選択し、選択された映像フレームで、次に表示部２３に表示されるべき１つの映像フレームを復号映像バッファ５４ｃに記憶させて、アプリケーション部５３に提供する。
【００５６】
なお、映像復号部５４ｂは、タイムスタンプを参照することにより、既に表示部２３に表示する時刻が過ぎたと判断される映像フレームを検出し、その検出されたフレームを提供することはない。このため、映像復号部５４ｂからの指示によらず、一部の映像フレームを破棄することがある。
【００５７】
以上説明したように、映像復号部５４ｂは、音声出力制御部５４ｆからの指示に従って、直ちにアプリケーション部５３に提供する映像フレームの数を変化させ、最少の遅れ時間によってアプリケーションＣＰＵ２７の負荷を変化させることができる。このために、復号映像バッファ５４ｃには、１つの映像フレームを記憶させることが有効であって、復号映像バッファ５４ｃに記憶された映像フレームをアプリケーション部５３に提供することなく削除するなどの記憶管理をする必要がない。
【００５８】
このバッファには、映像復号部５４ｂと、アプリケーション部５３との２つの処理部がアクセスするのであるから、上記記憶管理は、排他制御を含む、複雑な処理となる。一方、本実施形態によれば、復号映像バッファ５４ｃに記憶されるまで、復号された映像フレームは、映像復号部５４ｂ内に記憶されるので、映像復号部５４ｂによって容易に管理される。
【００５９】
以上説明した、映像信号の再生表示を削減する動作によって、アプリケーション部５３に提供される映像フレームが如何に削減されるかを、図６を参照して説明する。ここで、横軸は時刻であり、映像フレームを表示されるタイムスタンプに至ったか否かを判断するために参照される時計が示す時刻である。
【００６０】
図６（ａ）は、復号が充分な速度で行われ、全ての映像フレームの再生表示処理が行われている場合の、アプリケーション部５３からの映像フレームの要求と、その要求に応じて映像復号部５４ｂによって提供される映像フレームとを示す。アプリケーション部５３から要求１が送信されると、その要求に応じて、映像復号部５４ｂは、映像フレーム１を適切な時刻に、即ち、そのフレームが表示される時刻Ｔ１より充分前に提供することによって、アプリケーション部５３は、その映像フレームを表示させる。
【００６１】
以後、アプリケーション部５３から要求ｉが送信されると、その要求に応じて、映像復号部５４ｂは、映像フレームｉを適切な時刻に提供することによって、アプリケーション部５３は、その映像フレームを表示させる状況を、自然数ｉが１から６まで示した（１≦ｉ≦６）。
【００６２】
図６（ｂ）は、映像フレーム１が適切な時刻に提供された後、音声出力制御部５４ｆから映像復号部５４ｂに、映像フレームの半分を提供する指示があった場合の状況を示す。アプリケーション部５３から続いて要求２が送信されると、その要求に応じて、映像復号部５４ｂは、映像フレーム２を提供することなく、映像フレーム３を適切な時刻に、即ち、そのフレームが表示される時刻Ｔ３より充分前に提供することによって、アプリケーション部５３は、その映像フレームを表示させる。
【００６３】
なお、映像フレーム３が提供される時刻は、重要な意味を持たない。例えば、そのフレームが時刻Ｔ２より充分前に提供されたとしても、その映像フレームと共に提供されるタイムスタンプによって、その映像フレームは、時刻Ｔ３に表示される。
【００６４】
続いて、アプリケーション部５３から要求３が送信されると（この送信は、既に提供された映像フレーム３を表示させた時刻Ｔ３より後になる。）、その要求に応じて、映像復号部５４ｂは、映像フレーム４を提供することなく、映像フレーム５を適切な時刻に提供する。このように、映像フレーム２及び映像フレーム４は、提供されることがない。
【００６５】
図６（ｃ）は、映像フレーム１が適切な時刻に提供された後、アプリケーション部５３が充分な速度で処理されず、映像復号部５４ｂに映像フレームを要求する処理が遅れた場合の状況を示す。アプリケーション部５３から続いて要求２が送信されるが、その要求は、映像フレーム２が表示される時刻Ｔ２後に送信された。そこで、映像復号部５４ｂは、映像フレーム２を提供することなく、映像フレーム３を適切な時刻に、即ち、そのフレームが表示される時刻Ｔ３より充分前に提供することによって、アプリケーション部５３は、その映像フレームを表示させる。
【００６６】
続いて、アプリケーション部５３から要求３が送信されるが、その要求は、タイムスタンプによれば、既に表示された映像フレーム３の次に表示される映像フレーム４が表示される時刻Ｔ４後に送信された。そこで、映像復号部５４ｂは、映像フレーム４を提供することなく、映像フレーム５を適切な時刻に、即ち、そのフレームが表示される時刻Ｔ５より充分前に提供する。次に、アプリケーション部５３から要求４が送信されるが、その要求は、映像フレーム６が表示される時刻Ｔ６より充分前に送信された。そこで、映像復号部５４ｂは、映像フレーム６を適切な時刻に提供した。
【００６７】
この状況によれば、アプリケーション部５３に提供されない映像フレームに規則性、例えば、連続して表示される２つの中の１つが提供されないなどはないが、アプリケーションＣＰＵ２７が高負荷の場合、アプリケーション部５３が再生表示する映像フレームを減らすことによって、その高負荷を緩和することができる。
【００６８】
（実施形態の変形例）
以上の説明で、音声出力制御部５４ｆは、映像復号部５４ｂに対して、全部の映像フレームか、一部の映像フレームかをアプリケーション部５３に提供するように指示をするとしたが、これに限るものではない。提供する映像フレームの全映像フレームに対する割合を３段階以上の段階を伴って、更には、浮動小数点数によって指示しても良い。当然に、復号音声バッファ５４ｅに記憶されたデータ量が少なければ少ない程、少しの映像フレームを提供するように指示する。
【００６９】
以上の説明で、復号音声バッファ５４ｅに記憶されたデータ量を監視するのは、音声出力制御部５４ｆであるとした。音声出力制御部５４ｆは、概ね所定の時間間隔で復号音声バッファ５４ｅに記憶された音声信号を読み出すので、記憶された信号の量の監視には適している。しかし、この限りではなく、そのバッファへアクセスする音声復号部５４ｄが監視しても良い。また、音声出力制御部５４ｆによる指示を受けるとした映像復号部５４ｂが監視しても良い。
【００７０】
更には、アプリケーション部５３が監視し、監視結果に基づいて、映像復号部５４ｂに映像フレームを要求する時間間隔を変更しても良い。この場合、アプリケーション部５３の動作に、装置依存の部分が生じる恐れがある。しかし、映像フレームを間引いてもアプリケーション部５３による表示によって視聴者が違和感を覚える可能性が小さい場合、大きく間引くなど、アプリケーション部５３が行うアプリケーションに依存した適切な処理が可能となる。
【００７１】
以上の説明で、コンテンツ復号部５４が復号するコンテンツは、１つの映像と、１つの音声を含むとしたが、これに限るものではない。それぞれ、複数であっても良い。映像復号部５４ｂや、音声復号部５４ｄは、アプリケーションＣＰＵ２７を利用するソフトウェアであり、複数のタスクを生成することによって、何ら支障なく復号させることができる。
【００７２】
ここで、複数の映像を含む場合、映像フレームをアプリケーション部５３に提供するに当たり、全ての映像の映像フレームについて、上記説明した、再生表示処理を削減する動作がされることが適切である。また、この動作が適用される映像を限定し、又は、適用される順を指定し、ある映像に適用することによって復号音声バッファ５４ｅに記憶されたデータ量が増えた、又は、減らない場合、その他の映像には適用しないとしても良い。また、複数の音声を含む場合、音声出力制御部５４ｆによって、その中の１つが選択される。又は、Ｄ／Ａ変換部２５によって複数の音声が加えられる。
【００７３】
以上の説明で、近距離通信部２１は、無線ＬＡＮ通信を行うとしたが、これに限るものではない。例えば、ケーブルを介してインターネットに接続されたハブと接続されることによって、インターネットに接続された装置と通信しても良い。更に、ブルートゥース（登録商標。Bluetooth）方式の通信を行っても良い。
【００７４】
以上の説明で、アプリケーション部５３によって再生されるコンテンツは、近距離通信部２１によって受信されたコンテンツであるとした。近距離通信部２１は、アプリケーショングループに属しているため、近距離通信部２１による通信が不安定であり、再送が頻繁に発生する場合、通信状況をアプリケーション制御部５１に通知するための割り込みが頻発する場合など、アプリケーションＣＰＵ２７の負荷の変動が大きい際、この発明の効果は大きい。
【００７５】
しかしながら、この再生されるコンテンツは、近距離通信部２１によって受信されたコンテンツに限るものではない。移動通信網通信部１１によって受信されたコンテンツである場合、２次記憶部３２に記憶されたコンテンツである場合、外部記憶媒体接続部（図示せず）に接続された取り外し可能の外部記憶媒体に記憶されたコンテンツである場合など、いずれにも適用される。また、外部記憶媒体接続部がアプリケーショングループに属する場合、適用による効果は大きい。
【００７６】
以上の説明で、アプリケーション部５３によって再生されるコンテンツは、Ｈ．２６３方式及びＭＰ３方式によって符号化されているとしたが、これは一例である。その他の方式、例えば、Ｈ．２６４方式によって符号化されていても、本発明は、何ら変わることなく適用可能である。
【００７７】
以上の説明で、移動通信装置は、２つのＣＰＵを備えるとしたが、これに限るものではない。ＣＰＵの個数には、何ら制限はなく、コンテンツ再生を行うＣＰＵの高負荷に起因する音切れを抑制する効果が得られる。
【００７８】
以上の説明は、本発明を移動通信装置に適用した形態を例にとって行ったが、これに限るものではない。本発明は、固定型であるか携帯型であるかを問わず、あらゆるコンテンツを再生する装置に当然に適用可能である。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。
【符号の説明】
【００７９】
１１  移動通信網通信部
１２  ベースバンドＣＰＵ
２１  近距離通信部
２２  表示用ＲＡＭ
２３  表示部
２４  入力部
２５  Ｄ／Ａ変換部
２６  スピーカ
２７  アプリケーションＣＰＵ
４１  ベースバンド制御部
５１  アプリケーション制御部
５２  コンテンツバッファ
５３  アプリケーション部
５４  コンテンツ復号部
５４ａ  分離部
５４ｂ  映像復号部
５４ｃ  復号映像バッファ
５４ｄ  音声復号部
５４ｅ  復号音声バッファ
５４ｆ  音声出力制御部
５５  画像編集ライブラリ
【図１】
2010239575.tif 000003
【図２】
2010239575.tif 000004
【図３】
2010239575.tif 000005
【図４】
2010239575.tif 000006
【図５】
2010239575.tif 000007
【図６】
2010239575.tif 000008