(57)【要約】【課題】フレームを復号するために要する時間を内部的に監視し、復号処理に要した実際の時間に基づいて、復号処理が時間的に破綻したことや復号処理に余裕があることを判定する。【解決手段】所定のフレーム数を時間監視の範囲（以下、累算範囲）として、累算範囲における各フレームの復号処理時間と垂直同期信号Ｖｓｙｎｃの間隔の差分を累算して累算遅延を算出する。累算遅延は、垂直同期信号Ｖｓｙｎｃの間隔に対する復号処理時間の余裕の程度を示す。フレームの復号処理が進むとともに累算範囲内の監視対象のフレームをスライドさせる。累算遅延が復号処理の破綻を示す破綻累算閾値ＶＴＨより大きいとき、時間的な遅れが蓄積したため、復号処理は破綻したと判定される。一方、累算遅延が復号処理に余裕があることを示す余裕累算閾値ＳＴＨより小さいとき、復号部の処理に余裕があり、アイドル時間が生じていると判定される。【選択図】図３
2009017014.tif 000002
【特許請求の範囲】
【請求項１】
新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔との差である復号遅延を算出し、当該新たなフレームと当該新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、当該新たなフレームの復号遅延と当該所定の数の連続するフレームの復号遅延を加算して累算遅延を求める累算遅延算出部と、
前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて所定の復号処理条件を選択する選択部と
を含む制御部と、
前記所定の復号処理条件で映像を復号する復号部と
を有する映像復号装置。
【請求項２】
前記制御部が、前のフレームの復号が完了してから次のフレームの復号が開始されるまでの復号間隔と所定の間隔閾値を比較し、当該復号間隔が当該間隔閾値より大きいとき、前記累算遅延に関する内部情報を初期化し、前記累算遅延算出部に当該次のフレームから累算遅延を算出させる累算遅延初期化部を含む
請求項１に記載の映像復号装置。
【請求項３】
周波数指示信号に応じた周波数のクロックを前記復号部に供給するクロック供給部を有し、
前記選択部が、前記復号処理条件として、前記復号部に供給すべきクロックの周波数を選択し、当該選択された周波数に応じたクロックを供給するように、前記周波数指示信号を前記クロック供給部に出力する
請求項２に記載の映像復号装置。
【請求項４】
前記選択部は、前記累算遅延が前記所定の累算閾値より大きいとき、前記復号部に供給されるクロックの周波数が増加するように、前記周波数指示信号を前記クロック供給部に出力する
請求項３に記載の映像復号装置。
【請求項５】
前記選択部は、前記累算遅延が前記所定の累算閾値より小さいとき、前記復号部に供給されるクロックの周波数が減少するように、前記周波数指示信号を前記クロック供給部に出力する
請求項３に記載の映像復号装置。
【請求項６】
前記選択部は、
前記累算遅延が第１の累算閾値より小さいとき、前記復号部に供給されるクロックの周波数が減少するように、前記周波数指示信号を前記クロック供給部に出力し、
前記累算遅延が前記第１の累算閾値以上であり、かつ第２の累算閾値以下であるとき、前記復号部に供給されるクロックの周波数が維持されるように、前記周波数指示信号を前記クロック供給部に出力し、
前記累算遅延が前記第２の累算閾値より大きいとき、前記復号部に供給されるクロックの周波数が増加するように、前記周波数指示信号を前記クロック供給部に出力する
請求項３に記載の映像復号装置。
【請求項７】
前記選択部が、前記累算遅延が前記所定の累算閾値より大きいとき、前記復号処理条件として、符号化されるとき他のフレームの情報を参照しないフレームを復号することを選択する
請求項２に記載の映像復号装置。
【請求項８】
前記選択部が、省電力モードが設定されると、前記復号処理条件として、符号化されるとき他のフレームの情報を参照しないフレームを復号することを選択する
請求項２に記載の映像復号装置。
【請求項９】
垂直同期信号が発生し、または当該垂直同期信号が入力すると、前記制御部に入力される前記所定の割り込み信号を生成し、前記所定の割り込み信号によって前記制御部に前記垂直同期信号が発生または入力したことを通知する垂直同期信号部を有し、
前記制御部が、前記復号処理時間と、前記所定の割り込み信号の入力間隔と、前記復号間隔を測定するタイマを含む
請求項２に記載の映像復号装置。
【請求項１０】
映像を復号する復号部を含む映像復号装置における映像復号方法であって、
新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔との差である復号遅延を算出するステップと、
前記新たなフレームと前記新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、前記新たなフレームの復号遅延と前記所定の数の連続するフレームの復号遅延を加算して累算遅延を求めるステップと、
前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて所定の復号処理条件を選択するステップと、
前記復号部が、前記所定の復号処理条件で復号処理を行うステップと
を有する映像復号方法。
【請求項１１】
映像を復号する処理をコンピュータに実行させる映像復号プログラムであって、
新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔との差である復号遅延を算出するステップと、
前記新たなフレームと前記新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、前記新たなフレームの復号遅延と前記所定の数の連続するフレームの復号遅延を加算して累算遅延を求めるステップと、
前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて所定の復号処理条件を選択するステップと、
前記所定の復号処理条件で復号処理を行うステップと
をコンピュータに実行させる映像復号プログラム。
【請求項１２】
入力ストリームを含む放送信号を受信する受信部と、
前記入力ストリームから符号化された映像を分離する分離部と、
所定の復号処理条件を選択する制御部と、
前記所定の復号処理条件で映像を復号する復号部と
を有し、
前記制御部が、
新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔との差である復号遅延を算出し、当該新たなフレームと当該新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、当該新たなフレームの復号遅延と当該所定の数の連続するフレームの復号遅延を加算して累算遅延を求める累算遅延算出部と、
前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて前記所定の復号処理条件を選択する選択部と
を含む
放送信号受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像復号装置、映像復号方法、映像復号プログラム、および放送信号受信装置に関する。
【背景技術】
【０００２】
圧縮された映像信号の性質によっては復号処理に時間を要する場合があり、垂直同期信号までに復号処理を終了できないため、映像の表示を垂直同期信号に同期させて行うことができず、映像表示の遅れやフレーム落ちなど、見た目でも認識できる不具合を発生することがある。
すなわち、情報量が多いフレームの復号処理が頻発すると、復号処理の時間的な遅れが連続して発生することになり、復号処理全体としての時間的な遅れが蓄積し、システム全体として時間的な破綻が発生する可能性がある。
【０００３】
また、映像の復号処理でエラーが発生すると、場合によっては、そのエラー復帰処理の負荷がかかり、処理の遅れが更に増加する。
【０００４】
このような破綻を回避するために、圧縮された映像が含まれる入力ストリームのビットレートを測定し、測定されたビットレートと所定の閾値を比較して、復号するフレームの間引きを行い、映像表示の遅れ等の破綻を防ぐ方法が考えられている（例えば、特許文献１の段落［００５９］と［００６０］参照）。しかし、この場合、フレームの復号処理に要した実時間での破綻判定では無いので、正確に破綻を判定できる技術とは言えない。
【０００５】
一方、入力ストリームの情報量が小さく、それに伴って、符号化された各フレームの情報量も小さいような状況が頻発すると、復号処理に要する時間が非常に短くなり、垂直同期信号の期間に比べて復号処理に要する時間に余裕が生じることが予想される。
【特許文献１】特開平１１−２７５５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
フレームを復号するために要する時間を内部的に監視し、時間的に復号処理が破綻したことを判定できれば、動作周波数を上げて、フレームを復号するために要する時間の短縮を図る、または全てのフレームの復号処理を行うのではなく、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｅｒ  Ｒｅｆｒｅｓｈ）ピクチャのみを復号処理（間引き処理）する、のいずれかの対処方法を取ることができる。
【０００７】
また、携帯機器では、消費電力を抑えることも重要である。しかし、復号処理の破綻を正確に判定することができなければ、システムの動作周波数を動的に変更することが容易では無く、復号処理の負荷が軽い場合であっても、消費電力を抑えることが困難である。フレームを復号するために要する時間を内部的に監視し、復号処理に余裕があることを判定できれば、動作周波数を下げて消費電力を抑えることが可能となる。
【０００８】
以上から、フレームを復号するために要する時間を内部的に監視し、復号処理に要した実際の時間に基づいて、復号処理が時間的に破綻したことや復号処理に余裕があることを判定し、判定結果に応じた条件で映像を復号することができる映像復号装置、映像復号方法、映像復号プログラム、および放送信号受信装置が要望されている。
【課題を解決するための手段】
【０００９】
本発明の映像復号装置は、新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔との差である復号遅延を算出し、当該新たなフレームと当該新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、当該新たなフレームの復号遅延と当該所定の数の連続するフレームの復号遅延を加算して累算遅延を求める累算遅延算出部と、前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて所定の復号処理条件を選択する選択部とを含む制御部と、前記所定の復号処理条件で映像を復号する復号部とを有する。
【００１０】
好ましくは、本発明の映像復号装置は、前記制御部が、前のフレームの復号が完了してから次のフレームの復号が開始されるまでの復号間隔と所定の間隔閾値を比較し、当該復号間隔が当該間隔閾値より大きいとき、前記累算遅延に関する内部情報を初期化し、前記累算遅延算出部に当該次のフレームから累算遅延を算出させる累算遅延初期化部を含む。
【００１１】
好ましくは、本発明の映像復号装置は、周波数指示信号に応じた周波数のクロックを前記復号部に供給するクロック供給部を有し、前記選択部が、前記復号処理条件として、前記復号部に供給すべきクロックの周波数を選択し、当該選択された周波数に応じたクロックを供給するように、前記周波数指示信号を前記クロック供給部に出力する。
【００１２】
好ましくは、本発明の映像復号装置は、前記選択部は、前記累算遅延が前記所定の累算閾値より大きいとき、前記復号部に供給されるクロックの周波数が増加するように、前記周波数指示信号を前記クロック供給部に出力する。
【００１３】
好ましくは、本発明の映像復号装置は、前記選択部は、前記累算遅延が前記所定の累算閾値より小さいとき、前記復号部に供給されるクロックの周波数が減少するように、前記周波数指示信号を前記クロック供給部に出力する。
【００１４】
好ましくは、本発明の映像復号装置は、前記選択部は、前記累算遅延が第１の累算閾値より小さいとき、前記復号部に供給されるクロックの周波数が減少するように、前記周波数指示信号を前記クロック供給部に出力し、前記累算遅延が前記第１の累算閾値以上であり、かつ第２の累算閾値以下であるとき、前記復号部に供給されるクロックの周波数が維持されるように、前記周波数指示信号を前記クロック供給部に出力し、前記累算遅延が前記第２の累算閾値より大きいとき、前記復号部に供給されるクロックの周波数が増加するように、前記周波数指示信号を前記クロック供給部に出力する。
【００１５】
好ましくは、本発明の映像復号装置は、前記選択部が、前記累算遅延が前記所定の累算閾値より大きいとき、前記復号処理条件として、符号化されるとき他のフレームの情報を参照しないフレームを復号することを選択する。
【００１６】
好ましくは、本発明の映像復号装置は、前記選択部が、省電力モードが設定されると、前記復号処理条件として、符号化されるとき他のフレームの情報を参照しないフレームを復号することを選択する。
【００１７】
好ましくは、本発明の映像復号装置は、垂直同期信号が発生し、または当該垂直同期信号が入力すると、前記制御部に入力される前記所定の割り込み信号を生成し、前記所定の割り込み信号によって前記制御部に前記垂直同期信号が発生または入力したことを通知する垂直同期信号部を有し、前記制御部が、前記復号処理時間と、前記所定の割り込み信号の入力間隔と、前記復号間隔を測定するタイマを含む。
【００１８】
また、本発明の映像復号方法は、映像を復号する復号部を含む映像復号装置における映像復号方法であって、新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔との差である復号遅延を算出するステップと、前記新たなフレームと前記新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、前記新たなフレームの復号遅延と前記所定の数の連続するフレームの復号遅延を加算して累算遅延を求めるステップと、前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて所定の復号処理条件を選択するステップと、前記復号部が、前記所定の復号処理条件で復号処理を行うステップとを有する。
【００１９】
また、本発明の映像復号プログラムは、映像を復号する処理をコンピュータに実行させる映像復号プログラムであって、新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔との差である復号遅延を算出するステップと、前記新たなフレームと前記新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、前記新たなフレームの復号遅延と前記所定の数の連続するフレームの復号遅延を加算して累算遅延を求めるステップと、前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて所定の復号処理条件を選択するステップと、前記所定の復号処理条件で復号処理を行うステップとをコンピュータに実行させる。
【００２０】
また、本発明の放送信号受信装置は、入力ストリームを含む放送信号を受信する受信部と、前記入力ストリームから符号化された映像を分離する分離部と、所定の復号処理条件を選択する制御部と、前記所定の復号処理条件で映像を復号する復号部とを有し、前記制御部が、新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔との差である復号遅延を算出し、当該新たなフレームと当該新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、当該新たなフレームの復号遅延と当該所定の数の連続するフレームの復号遅延を加算して累算遅延を求める累算遅延算出部と、前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて前記所定の復号処理条件を選択する選択部とを含む。
【００２１】
本発明によれば、累算遅延算出部は、新たなフレームが復号されるごとに、当該新たなフレームを復号するために要した復号処理時間と所定の割り込み信号の入力間隔（垂直同期信号の間隔）との差である復号遅延を算出し、当該新たなフレームと当該新たなフレームが復号される前に復号された所定の数の連続するフレームを含む累算範囲について、当該新たなフレームの復号遅延と当該所定の数の連続するフレームの復号遅延を加算して累算遅延を求める。このように、フレームの復号処理が進むとともに、累算範囲はそのままにして累算範囲内に含まれる監視対象のフレームをスライドさせる。累算遅延は、累算範囲に含まれる複数のフレームをひとまとまりとして、垂直同期信号の間隔に対する復号処理に要する時間の余裕の程度を表す。
そして、選択部が、前記累算遅延を所定の累算閾値と比較し、当該比較結果に応じて所定の復号処理条件を選択し、復号部は前記所定の復号処理条件で映像を復号する。
このため、フレームを復号するために要する時間を累算遅延によって内部的に監視し、累算遅延に基づいて復号処理が時間的に破綻したことや復号処理に余裕があることを判定し、判定結果に応じた条件で映像を復号することができる。
【発明の効果】
【００２２】
以上のように、本発明によれば、フレームを復号するために要する時間を内部的に監視し、復号処理に要した実際の時間に基づいて、復号処理が時間的に破綻したことや復号処理に余裕があることを判定し、判定結果に応じた条件で映像を復号することができる。
【発明を実施するための最良の形態】
【００２３】
図１は、本発明の一実施形態に係る１セグ放送受信装置の構成の一例を示すブロック図である。
１セグ放送受信装置１０は、チューナ部２０と、ホスト部３０と、ビデオ部４０と、クロック供給部５０と、メモリ６０とを有している。
１セグ放送（１セグメント放送）は、地上デジタル放送の電波を利用して、携帯端末向けに番組（簡易動画）を放送するものである。１セグ放送の映像は、映像符号化の標準規格であるＨ．２６４で符号化されており、１秒当たり１５フレーム含まれる。
【００２４】
チューナ部２０は、入力ストリームを含む１セグ放送信号を受信する。チューナ部２０は、バッファメモリを含んでおり、入力ストリームを蓄積する。ホスト部３０から入力ストリームの入力要求ｃ１があると、チューナ部２０はバッファメモリに蓄積されている入力ストリームをホスト部３０に出力する。
【００２５】
ホスト部３０は、ホスト制御部３１と、Ｄｅｍｕｘ（Ｄｅｍｕｌｔｉｐｌｅｘｅｒ）３２とを含む。ホスト制御部３１は、Ｄｅｍｕｘ３２のモード設定と、分離された音声と映像をメモリ６０へライトするアドレス等の指示ｃ２を行う。ホスト制御部３１は、ＣＰＵとメモリ等を含む。Ｄｅｍｕｘ３２は、音声と映像を分離し、分離された音声と映像をメモリ６０へライトする。Ｄｅｍｕｘ３２は、音声と映像の分離が完了すると、ホスト制御部３１へ割り込み信号ｉ１で通知する。
【００２６】
ビデオ部４０は、復号部４１と、ビデオ制御部４２と、垂直同期信号部４３と、ビデオＩ／Ｆ（ビデオインタフェース）４４とを含む。ビデオ部４０とホスト部３０は、相互に割り込み信号ｉ２によって映像の復号処理に関する通信を行う。
【００２７】
復号部４１は、メモリ６０から符号化された映像を読み出し、復号する。復号部４１は、映像の復号が完了すると、ビデオ制御部４２へ割り込み信号ｉ３で通知する。
【００２８】
ビデオ制御部４２は、ＣＰＵとメモリとタイマ４２１を含む。
ビデオ制御部４２は、復号部４１に対し、後述する復号処理条件等のモード設定を行い、メモリ６０に記憶されている映像データのアドレスやサイズ等の指示ｃ３を行う。復号処理条件の設定については後で詳細に説明する。
また、ビデオ制御部４２は、復号部４１に供給されるクロックの周波数を指示する周波数指示信号ｃ５をクロック供給部５０に出力する。
更に、ビデオ制御部４２は、ビデオＩ／Ｆ４４のモード設定やスケーリング等の指示ｃ４を行う。
【００２９】
垂直同期信号部４３は、割り込み信号ｉ４によってビデオ制御部４２に垂直同期信号Ｖｓｙｎｃの発生を通知する。垂直同期信号部４３は、内部で垂直同期信号Ｖｓｙｎｃを周期的に発生すものであっても良いし、１セグ放送受信装置１０の外部から垂直同期信号Ｖｓｙｎｃが入力されるものであっても良い。
【００３０】
ビデオＩ／Ｆ４４は、復号部４１から復号された映像を受け取り、表示装置に対するモード設定等を行って、表示装置に映像を出力する。
【００３１】
クロック供給部５０は、クロック生成回路５１と、分周器５２と、周波数レジスタ５３とを含む。
クロック生成回路５１は、ＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）を含み、外部クロックを整数倍して内部クロックを生成する。生成された内部クロックは、チューナ部２０と、ホスト部３０と、ビデオ部４０に供給される。なお、ビデオ部４０等の各ブロックごとに分周器を設け、各ブロックの必要に応じて内部クロックを分周し、周波数を変更して各ブロックに供給しても良い。また、１セグ放送受信装置１０の外部から十分に高い周波数の外部クロックを供給できる場合には、クロック生成回路５１を省き、外部クロックを直接内部クロックとしても良い。
【００３２】
生成された内部クロックは、分周器５２によって分周され、復号部４１にも供給される。
分周器５２は、クロック生成回路５１から供給される内部クロックを周波数レジスタ５３に記憶されている分周比で分周し、内部クロックの周波数を変更する。
周波数レジスタ５３は、ビデオ制御部４２が出力する周波数指示信号ｃ５によって分周比が設定される。なお、周波数レジスタ５３には復号部４１の動作周波数を設定し、設定された動作周波数を分周比に変換して分周器５２に与えても良い。
【００３３】
チューナ部２０は本発明の受信部の例であり、Ｄｅｍｕｘ３２は本発明の分離部の例であり、ビデオ制御部４２は本発明の制御部の例であり、復号部４１は本発明の復号部の例であり、クロック供給部５０は本発明のクロック供給部の例であり、垂直同期信号部４３は本発明の垂直同期信号部の例であり、タイマ４２１は本発明のタイマの例であり、周波数指示信号ｃ５は本発明の周波数指示信号の例であり、垂直同期信号Ｖｓｙｎｃは本発明の所定の割り込み信号の例である。
【００３４】
図２は、１セグ放送信号の受信から映像出力までの映像信号の変化の一例を示す図である。
チューナ部２０は、１セグ放送信号を受信する。１セグ放送信号は、ＭＰＥＧ−２システムのトランスポート・ストリームを含んでいる。
トランスポート・ストリームはＴＳ（トランスポート・ストリーム）パケットと呼ばれる１８８バイトの固定長のパケットが並べられたものである。ＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ、番組統合テーブル）、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ、番組対応テーブル）、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ、プログラム基準参照値）、および音声と映像のビット・ストリーム等がＴＳパケットによって伝送される。
音声や映像のビット・ストリームはＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットに多重化され、さらにＴＳパケットに多重化される。
【００３５】
Ｄｅｍｕｘ３２は、ＴＳパケットから音声と映像のビット・ストリームをアクセス・ユニット（ＡＵ）単位で分離し、メモリ６０のデータ保持領域にライトする。
【００３６】
ホスト制御部３１は、各アクセス・ユニットの情報を事前に解析し、アクセス・ユニットのヘッダ情報と復号すべき映像データのメモリ６０上のアドレスを取得する。アドレスＡＤＲ１と、アドレスＡＤＲ２と、アドレスＡＤＲ３は復号すべき映像データの先頭アドレスの例である。これらのアクセス・ユニットのヘッダ情報と復号すべき映像データのアドレスは割り込みｉ２ベースの通信を用いてビデオ部４０に通知される。なお、ＡＵデリミタはアクセス・ユニットの開始を示し、ＥＯＳ（Ｅｎｄ  Ｏｆ  Ｓｅｑｕｅｎｃｅ）はひとつのシーケンスの終端を示す。
【００３７】
復号部４１は、メモリ６０上の復号すべき映像データのアドレスがビデオ制御部４２を介して通知され、メモリ６０から復号すべき映像データを読み出して各フレームを復号する。図２では、メモリ６０のアドレスＡＤＲ１から読み出された映像データからフレームＦＲ１が復号され、メモリ６０のアドレスＡＤＲ２とアドレスＡＤＲ３から読み出された映像データからそれぞれフレームＦＲ２とフレームＦＲ３が復号される。
【００３８】
図３は、本発明の一実施形態に係る映像の復号処理に要する実際の時間に基づいて復号処理が破綻していないと判定される例を示す図である。
所定のフレーム数（例えば、５フレーム分）を時間監視の範囲（以下、累算範囲）として、累算範囲における各フレームの復号処理時間と垂直同期信号Ｖｓｙｎｃの間隔の差分である復号遅延を累算して累算遅延を算出する。すなわち、フレームの復号処理が進むとともに、累算範囲（例えば、５フレーム分）はそのままにして累算範囲内に含まれる監視対象のフレームをスライドさせる。累算遅延は、累算範囲に含まれる複数のフレームをひとまとまりとして、垂直同期信号Ｖｓｙｎｃの間隔に対する復号処理に要する時間の余裕の程度を示す。
累算遅延が復号処理の破綻を示す破綻累算閾値ＶＴＨより大きいとき、復号処理は時間的な遅れが蓄積した結果、破綻したと判定される。一方、累算遅延が復号処理に余裕があることを示す余裕累算閾値ＳＴＨより小さいとき、復号部の処理に余裕があり、アイドル時間が生じていると判定される。
【００３９】
図３は、フレームＦＲ１〜フレームＦＲ７の復号処理において破綻が発生しない場合を示す。図３では、累算範囲は５フレームであり、最初に判定を行う累算範囲ＲＮＧ１にはフレームＦＲ１〜フレームＦＲ５が含まれる。累算範囲ＲＮＧ１に含まれる「各フレームの復号処理の時間」と「垂直同期信号Ｖｓｙｎｃの間隔」との差である復号遅延の累計が累算遅延ＤＬＹ１であり、累算遅延ＤＬＹ１が破綻累算閾値ＶＴＨより大きいか否かで破綻の判定が行われる。次に、新たにフレームＦＲ６が復号されると、累算範囲の対象フレームは一つ更新される。つまり、累算範囲ＲＮＧ２としてはフレームＦＲ２〜フレームＦＲ６が対象となり、差分累計は累算遅延ＤＬＹ２となる。同様に、フレームＦＲ７が復号されると、累算範囲の対象フレームはさらに更新され、累算範囲ＲＮＧ３としてはフレームＦＲ３〜フレームＦＲ７が対象となり、差分累計は累算遅延ＤＬＹ３となる。
【００４０】
１セグ放送では、垂直同期信号Ｖｓｙｎｃの間隔は６６ｍｓである。図３において、例えば、破綻累算閾値ＶＴＨを１６５ｍｓとし、フレームＦＲ１、フレームＦＲ２、フレームＦＲ３、フレームＦＲ４、フレームＦＲ５、フレームＦＲ６、フレームＦＲ７の復号に要する時間をそれぞれ１９８ｍｓ、６６ｍｓ、９９ｍｓ、３３ｍｓ、３３ｍｓ、３３ｍｓ、１６５ｍｓとする。このとき、フレームＦＲ１〜フレームＦＲ７の復号遅延はそれぞれ、１３２ｍｓ、０ｍｓ、３３ｍｓ、−３３ｍｓ、−３３ｍｓ、−３３ｍｓ、９９ｍｓであり、累算遅延ＤＬＹ１、累算遅延ＤＬＹ２、および累算遅延ＤＬＹ３はそれぞれ９９ｍｓ、−６６ｍｓ、および３３ｍｓとなる。従って、累算遅延ＤＬＹ１、累算遅延ＤＬＹ２、および累算遅延ＤＬＹ３は全て破綻累算閾値ＶＴＨよりも小さいため、累算範囲ＲＮＧ１と累算範囲ＲＮＧ２と累算範囲ＲＮＧ３において破綻は発生していないと判定される。
【００４１】
図４は、本発明の一実施形態に係る映像の復号処理に要する実際の時間に基づいて復号処理が破綻したと判定される例を示す図である。累算範囲ＲＮＧ１１に含まれるフレームＦＲ１１〜フレームＦＲ１５において破綻したと判定される。図４において、例えば、破綻累算閾値ＶＴＨを１６５ｍｓとし、フレームＦＲ１０、フレームＦＲ１１、フレームＦＲ１２、フレームＦＲ１３、フレームＦＲ１４、フレームＦＲ１５の復号に要する時間をそれぞれ９９ｍｓ、１９８ｍｓ、３３ｍｓ、６６ｍｓ、３３ｍｓ、１９８ｍｓとする。このとき、フレームＦＲ１０〜フレームＦＲ１５の復号遅延はそれぞれ、３３ｍｓ、１３２ｍｓ、−３３ｍｓ、０ｍｓ、−３３ｍｓ、１３２ｍｓであり、累算遅延ＤＬＹ１０と累算遅延ＤＬＹ１１はそれぞれ９９ｍｓと１９８ｍｓとなる。従って、累算遅延ＤＬＹ１０は破綻累算閾値ＶＴＨよりも小さいため、累算範囲ＲＮＧ１０に含まれるフレームＦＲ１０〜フレームＦＲ１４の復号処理において破綻は発生していないと判定される。一方、累算遅延ＤＬＹ１１は破綻累算閾値ＶＴＨよりも大きいため、累算範囲ＲＮＧ１１に含まれるフレームＦＲ１１〜フレームＦＲ１５の復号処理において破綻が発生したと判定される。
【００４２】
図５は、本発明の一実施形態に係る復号部の動作周波数を変更する処理のフローチャートを示す図である。
ビデオ制御部４２は、フレームの復号を受け付ける（ステップＳＴ１）。このとき、受け付けたフレームについて復号処理はまだ実行されていない。
次に、受け付けたフレームの復号開始時間を取得し（ステップＳＴ２）、そのフレームを復号する（ステップＳＴ３）。復号開始時間はビデオ制御部４２に含まれるタイマ４２１のカウント値を読むことによって取得される。
次に、そのフレームの復号完了時間を取得し（ステップＳＴ４）、復号完了時間から復号開始時間を減算することによりそのフレームの復号処理時間を算出する（ステップＳＴ５）。復号完了時間はビデオ制御部４２に含まれるタイマ４２１のカウント値を読むことによって取得される。
次に、そのフレームの復号処理時間と垂直同期信号Ｖｓｙｎｃの間隔との差である復号遅延を算出し（ステップＳＴ６）、累算範囲を更新して累算遅延を算出する（ステップＳＴ７）。
【００４３】
次に、算出された累算遅延と破綻累算閾値ＶＴＨを比較する（ステップＳＴ８）。累算遅延が破綻累算閾値ＶＴＨより大きいとき、復号処理において時間的な破綻が発生していると判定し、エラー復帰処理を行う（ステップＳＴ９）。エラー復帰処理としては累算遅延に関する内部情報を初期化することや時間的に最も近いＩＤＲピクチャまで復号処理をスキップすること等が考えられる。また、場合によっては復号部４１でのエラーコンシール処理も発生する。
エラー復帰処理の後、復号部４１に供給されるクロックの周波数が増加するように、周波数指示信号ｃ５をクロック供給部５０に出力し、復号部４１の動作周波数を増加させる（ステップＳＴ１０）。これにより、復号処理時間が短縮されるので再度時間的な破綻が発生することが防止される。
【００４４】
なお、ステップＳＴ１０では、復号部４１の動作周波数を上げる代わりに、全てのフレームの復号処理を行うのではなく、ＩＤＲピクチャのみを復号処理（間引き処理）するとしても良い。この方法によっても再度時間的な破綻が発生することを防止することができる。
【００４５】
ステップＳＴ８において、累算遅延が破綻累算閾値ＶＴＨ以下であるとき、累算遅延を余裕累算閾値ＳＴＨと比較する（ステップＳＴ１１）。累算遅延が余裕累算閾値ＳＴＨより小さいとき、復号部４１に供給されるクロックの周波数が減少するように、周波数指示信号ｃ５をクロック供給部５０に出力し、復号部４１の動作周波数を減少させる（ステップＳＴ１２）。余裕累算閾値ＳＴＨは、例えば負の値であり、累算遅延が余裕累算閾値ＳＴＨより小さいとき、復号部４１の復号処理に余裕があり、復号部４１にアイドル時間が生じていることを示す。このとき、動作周波数を下げることで復号部４１の消費電力を低減することができる。
【００４６】
累算範囲と破綻累算閾値ＶＴＨは、１セグ放送の内容や復号部４１の性能に応じて調整される。例えば、受信する放送に含まれる映像をある程度の時間復号し、その映像における適切な累算範囲と破綻累算閾値ＶＴＨが決定される。例えば、放送に含まれる映像が複雑であって復号処理に時間を要するフレームが多数含まれる場合には、累算範囲のフレーム数を増加させるか、または破綻累算閾値ＶＴＨが小さくされる。
【００４７】
なお、ステップＳＴ１〜ステップＳＴ７は、本発明の累算遅延算出部で行われる処理の例であり、ステップＳＴ８〜ステップＳＴ１２は、本発明の選択部で行われる処理の例であり、ＩＤＲピクチャは本発明の符号化されるとき他のフレームの情報を参照しないフレームの例である。
また、破綻累算閾値ＶＴＨは本発明の所定の累算閾値と第２の累算閾値の例であり、余裕累算閾値ＳＴＨは本発明の所定の累算閾値と第１の累算閾値の例である。
【００４８】
図６は、本発明の一実施形態に係るフレームの復号間隔に応じた初期化処理の一例を示す図である。
図６では、フレームＦＲ２０〜フレームＦＲ２３が復号される。フレームＦＲ２０の復号開始時刻と復号完了時刻はそれぞれＴ０とＴ１である。また、フレームＦＲ２１の復号開始時刻と復号完了時刻はそれぞれＴ２とＴ３であり、フレームＦＲ２２の復号開始時刻と復号完了時刻はそれぞれＴ４とＴ５であり、フレームＦＲ２３の復号開始時刻と復号完了時刻はそれぞれＴ６とＴ７である。
フレームＦＲ２０の復号完了時刻Ｔ１とフレームＦＲ２１の復号開始時刻Ｔ２の差分（Ｔ２−Ｔ１）がフレームＦＲ２０とフレームＦＲ２１の復号間隔であり、３０ｍｓである。同様に、フレームＦＲ２１とフレームＦＲ２２の復号間隔（Ｔ４−Ｔ３）は１００ｍｓであり、フレームＦＲ２２とフレームＦＲ２３の復号間隔（Ｔ６−Ｔ５）は４０ｍｓである。
【００４９】
１セグ放送を受信しているとき、電波の遮断物の存在や電波の反射等の影響によって電波を受信できず、入力ストリームが途切れる場合がある。この場合、図６に示すように、フレームの復号処理の復号間隔が空く。このため、１セグ放送受信装置１０では、通常、入力ストリームの途切れ許容時間が規定されている。
【００５０】
そこで、累算範囲を用いて映像の復号処理に要する時間の監視を行うとき、フレームの復号処理の復号間隔が長くなった場合には累算遅延に関する内部情報を初期化し、復号を開始するフレームから累算遅延を算出し直す。これは、フレームの復号処理の間隔が十分に空いていれば、それまでに複雑なフレームの復号処理が頻発し、時間的な破綻が生じようとしていたとしても、この復号間隔の時間により時間的な破綻が避けられるという考え方に基づく。
【００５１】
すなわち、直前のフレームの復号処理が完了した時点から、現在のフレームの復号処理を開始する時点までの時間間隔を監視し、間隔閾値ＩＴＨを越えていないかどうかを判定する。この間隔閾値ＩＴＨは入力ストリームの途切れ許容時間により決定される。
フレームの復号処理の間隔が間隔閾値ＩＴＨよりも長い場合、仮に累算遅延が破綻累算閾値ＶＴＨを越えそうな値になっていたとしても、累算遅延に関する内部情報を初期化し、復号を開始しようとしているフレームから累算遅延を算出し直す。
【００５２】
図６では、間隔閾値ＩＴＨを５０ｍｓとすると、フレームＦＲ２１とフレームＦＲ２２の復号の復号間隔（Ｔ４−Ｔ３）は１００ｍｓであり、間隔閾値ＩＴＨよりも長い。このため、フレームＦＲ２２の復号を開始するとき、累算遅延に関する内部情報は初期化され、フレームＦＲ２２から新たに累算遅延が算出される。
【００５３】
図７は、本発明の一実施形態に係るフレームの復号間隔に応じた初期化処理のフローチャートを示す図である。
ビデオ制御部４２は、最初のフレームの復号を受け付ける（ステップＳＴ２０）。このとき、受け付けたフレームについて復号処理はまだ実行されていない。
次に、受け付けたフレームを復号し（ステップＳＴ２１）、そのフレームの復号完了時間を取得する（ステップＳＴ２２）。復号完了時間はビデオ制御部４２に含まれるタイマ４２１のカウント値を読むことによって取得される。
次に、次のフレームの復号を受け付ける（ステップＳＴ２３）。このとき、受け付けたフレームについて復号処理はまだ実行されていない。
次に、受け付けたフレームの復号開始時間を取得し（ステップＳＴ２４）、現在のフレームの復号開始時間から前のフレームの復号完了時間を減算することによりフレームの復号処理の復号間隔を算出する（ステップＳＴ２５）。
【００５４】
次に、算出された復号間隔と間隔閾値ＩＴＨを比較する（ステップＳＴ２６）。復号間隔が間隔閾値ＩＴＨより大きいとき、累算遅延に関する内部情報を初期化し（ステップＳＴ２７）、現在のフレームから累算遅延を算出し直す。
ステップＳＴ２６において、復号間隔が間隔閾値ＩＴＨ以下であるとき、これまでの累算遅延に関する内部情報を保持する。
【００５５】
また、映像の復号処理に要する実際の時間を監視して復号処理の破綻を検出するとともに、省電力モードを設けることも考えられる。例えば、ユーザーによって省電力モードが設定されると、累算遅延とは関係なく、強制的に動作周波数を減少させる。
ただし、動作周波数を下げたことによって復号処理能力が低下し、時間的な破綻が発生することを回避する必要がある。そこで、省電力モードが設定されると、通常行われるような全てのフレームを復号する方法から、ＩＤＲピクチャのみを復号する方法に切り替える。
【００５６】
ＩＤＲピクチャのみを復号する場合でも、時間的な破綻が発生する可能性がある。このため、映像の復号処理に要する実際の時間を監視して復号処理の破綻を検出する方法を省電力モードと併用することもできる。具体的には、省電力モードでの動作中に復号処理の時間的な破綻を検出した場合、復号部４１の動作周波数を増加させる。このとき、モードの再遷移（省電力モードから通常モードへ）に伴い、全フレームを復号するか、または、ある程度の処理時間の把握ができるまではＩＤＲピクチャのみを復号するかを選択できるようにしても良い。
【００５７】
なお、ステップＳＴ２５〜ステップＳＴ２７は、本発明の累算遅延初期化部における処理の例である。また、間隔閾値ＩＴＨは本発明の所定の間隔閾値の例である。
【００５８】
図８は、本発明の一実施形態に係るビデオ部の構成の一例を示すブロック図である。
ビデオ部４０は、復号部４１と、ビデオ制御部４２と、垂直同期信号部４３と、ビデオＩ／Ｆ４４とを含む。図１と図８における同一の符号は同一の構成要素を示す。
【００５９】
垂直同期信号部４３と、ビデオＩ／Ｆ４４はハードウェア（ＨＷ）で実現される。復号部４１は、図８ではハードウェアで実現されるとしたが、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）で実現しても良いし、ＣＰＵ上のソフトウェアとして実現しても良い。
【００６０】
ビデオ制御部４２は、ハードウェアとしてＣＰＵとメモリとタイマ４２１を含む。ビデオ制御部４２に含まれる累算遅延算出部４２２と、累算遅延初期化部４２３と、選択部４２４はソフトウェア（ＳＷ）として実現される。
【００６１】
累算遅延算出部４２２は、新たなフレームが復号されるごとに、このフレームを復号するために要した復号処理時間と垂直同期信号Ｖｓｙｎｃの間隔との差である復号遅延を算出し、この新たなフレームとこの新たなフレームが復号される前に復号された所定の数のフレームを含む累算範囲について復号遅延を加算して累算遅延を求める。
【００６２】
累算遅延初期化部４２３は、前のフレームの復号が完了してから次のフレームの復号が開始されるまでの復号間隔と間隔閾値ＩＴＨを比較し、復号間隔が間隔閾値ＩＴＨより大きいとき、累算遅延に関する内部情報を初期化し、次のフレームから累算遅延を算出する。
【００６３】
選択部４２４は、累算遅延を破綻累算閾値ＶＴＨまたは余裕累算閾値ＳＴＨと比較し、その比較結果に応じて復号処理条件を選択する。復号処理条件は、例えば、復号部４１の動作周波数や、全てのフレームを復号するかＩＤＲピクチャのみを復号するかの選択等である。
また、選択部４２４は、省電力モードが設定されると、ＩＤＲピクチャのみを復号する。省電力モードで動作しているときも、累算遅延算出部４２２と累算遅延初期化部４２３は動作しており、復号処理の時間的な破綻を検出すると、選択部４２４は復号部４１の動作周波数を増加させる。
【００６４】
なお、累算遅延算出部４２２は本発明の累算遅延算出部の例であり、累算遅延初期化部４２３は本発明の累算遅延初期化部の例であり、選択部４２４は本発明の選択部の例である。
【００６５】
また、１セグ放送信号には音声も含まれるが、上述した映像の復号処理条件の変更は音声の復号には影響しないので、音声を復号する部分について初期化等の処理は必要ない。
【００６６】
以上説明したように、本発明によれば、映像の復号処理時間を内部的に監視し、復号処理に要した実際の時間に基づいて、復号処理が時間的に破綻したことや復号処理に余裕があることを判定し、判定結果に応じた条件で映像を復号することができる。このため、復号されるフレームの複雑さに応じて復号部４１の動作周波数を動的に変更したり、全てのフレームを復号するかＩＤＲピクチャのみを復号するかを選択することが可能となる。
【００６７】
なお、上記では１セグ放送受信装置を例として説明したが、本発明は移動体向け衛星放送やＩＰ（インターネット・プロトコル）方式によるネットワークを経由する放送の受信装置等にも適用することができる。
【００６８】
以上、本発明の実施形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれると理解されるべきである。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態に係る１セグ放送受信装置の構成の一例を示すブロック図である。
【図２】１セグ放送信号の受信から映像出力までの映像信号の変化の一例を示す図である。
【図３】本発明の一実施形態に係る映像の復号処理に要する実際の時間に基づいて復号処理が破綻していないと判定される例を示す図である。
【図４】本発明の一実施形態に係る映像の復号処理に要する実際の時間に基づいて復号処理が破綻したと判定される例を示す図である。
【図５】本発明の一実施形態に係る復号部の動作周波数を変更する処理のフローチャートを示す図である。
【図６】本発明の一実施形態に係るフレームの復号間隔に応じた初期化処理の一例を示す図である。
【図７】本発明の一実施形態に係るフレームの復号間隔に応じた初期化処理のフローチャートを示す図である。
【図８】本発明の一実施形態に係るビデオ部の構成の一例を示すブロック図である。
【符号の説明】
【００７０】
２０…チューナ部、３２…Ｄｅｍｕｘ、４１…復号部、４２…ビデオ制御部、４２１…タイマ、４２２…累算遅延算出部、４２３…累算遅延初期化部、４２４…選択部、４３…垂直同期信号部、５０…クロック供給部
【図１】
2009017014.tif 000003
【図２】
2009017014.tif 000004
【図３】
2009017014.tif 000005
【図４】
2009017014.tif 000006
【図５】
2009017014.tif 000007
【図６】
2009017014.tif 000008
【図７】
2009017014.tif 000009
【図８】
2009017014.tif 000010