(57)【要約】【課題】復号装置のレベルを上回るフレームレートの画像データが入力された場合でも、簡易表示することが可能な画像復号装置を提供する。【解決手段】画面ごとに復号処理にかかる時間、表示処理にかかる時間を、画面の処理ブロック数、表示のための後処理時間などから推定し、その結果、所望の表示タイミングまでにこれらの処理ができないと判定された場合には、当該画面の表示を行わないように制御するものである。【選択図】図２
2006311587.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、
各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、
現在の時刻を求める手段と、
符号化データの処理を行う第１乃至第３の符合化データ処理手段と、
前記第１乃至第３の符合化データ処理手段を選択する選択手段とを備え、
前記選択手段は、前記現在の時刻と前記フレーム表示時刻との差分に応じて前記第１乃至第３の符合化データ処理手段のいずれか１つを選択し、
前記第１の符合化データ処理手段は、フレームの復号処理と表示変換処理を行い、
前記第２の符合化データ処理手段は、フレームの表示変換処理を行うことなく復号処理を行い、
前記第３の符合化データ処理手段は、フレームの復号処理と表示変換処理を行うことなく、フレーム間予測によるに符合化データを含まないフレームが現れるまで符号化データを破棄することを特徴とする画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム内予測およびフレーム間予測により符号化された動画像を復号して表示する画像復号装置に関するものである。
【背景技術】
【０００２】
動画像の符号化方式は、国際標準化機関により、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の規格が制定されている。これらは、いずれも動き補償付きフレーム間予測とＤＣＴによりフレーム内予測を組み合わせたハイブリッド符号化になっている。
【０００３】
これらのＭＰＥＧ規格においては、復号に必用な技術の集合であるプロファイルと、フレーム画像の大きさやビットレートなどの復号器が備えなければならない能力の集合であるレベルが規定されている。復号器の能力は、このプロファイルとレベルの組み合わせにより規定される。
【０００４】
図４は従来の画像復号装置の概略構成を示すブロック図である。図４において、４０１は復号処理部であり、入力されたビットストリームをフレーム単位で復号して復号フレーム画像に変換し、復号画像格納メモリ４０２へ格納する。
【０００５】
復号画像格納メモリ４０２に格納されたフレーム画像は、復号処理部４０１において次のフレームの復号時にフレーム間予測にも使用される。４０３は表示変換処理部であり、復号画像格納メモリ４０２に格納された復号画像を表示のためのデータへ変換し、表示フレームメモリ４０４へ格納する。
【０００６】
４０５は表示回路であり、表示フレームメモリ４０４に格納されている画像を表示走査のタイミングで読み出して、表示信号に変換し出力する。表示回路４０５による表示メモリの走査による読み出しは、通常表示変換処理部４０３によるフレームメモリの書き換え処理が見えないように行う必要があるため、表示メモリの走査の開始を示す垂直同期信号に同期して表示用フレームメモリを更新する必要がある。
【０００７】
また、表示変換処理部４０３による表示変換処理が、表示回路４０５が画像表示用フレームメモリ４０４を走査するより遅い場合には、表示用フレームメモリ４０４は２フレーム分のメモリを用意し、一方のフレームメモリを表示している間に、もう一方のフレームメモリの書き換えを行い、書き換えが完了したら、表示用のフレームメモリと書き換え用のフレームメモリを入れ替えるデュアルバッファ構成にする必要がある。
【０００８】
この場合、復号および表示変換のための処理の過程において、表示の垂直同期に対し同期を取る必要があるが、入力データが復号装置のレベルを満たしている場合には、復号処理と表示変換処理にかかる合計の時間は、所定時間以下を保証できるため、符号化の開始を表示時間の所定時間前の垂直同期に同期して開始すれば、正常な表示が可能となる。
【０００９】
４０６は制御部であり、復号装置の処理の状態やユーザー操作等の復号装置の動作に必要な信号を監視し、各回路を制御する。表示変換処理部４０３では、表示用回路が対応する画素アスペクトレシオと異なる復号画像を表示回路の対応するアスペクトレシオへの変換や、表示装置が対応しない画像サイズの復号画像を表示装置対応する画像サイズへの変換、復号画像からブロックノイズなど符号化に特有の視覚上の妨害を軽減するためのフィルタ処理などを行う。
【００１０】
図５は従来の復号装置において復号可能なデータが入力された場合の動作を示すタイミングチャートである。また、図６は従来の復号装置において復号可能なレベルを上回る符号データが入力された場合の復号処理および表示変換処理の様子を示すタイミングチャートである。それぞれのタイミングチャートにおける各欄の意味について以下説明を行う。
【００１１】
垂直同期の欄は、縦線が垂直同期信号のタイミングを示す。表示回路４０５はこの同期信号にしたがってフレームの表示処理を行う。本来の表示フレームは、入力された符号データに指定されているフレームデータの表示タイミングを示す。
【００１２】
復号処理の欄は、それぞれのフレームの復号動作が行われているタイミングを示す。表示変換処理の欄は、表示変換処理部４０３で処理が行われているタイミングと処理を行っているフレームを示す。実際の表示フレームの欄は、実際に表示回路４０５で表示されるフレームと表示されるタイミングを示す。
【００１３】
図５においては、復号処理と表示変換処理との合計時間が復号装置の想定している最大の処理時間である２フレームを下回っているため、正常にデコードおよび表示が行われている。
【００１４】
一方、図６においては、復号処理と表示変換処理との合計時間が復号装置の想定している最大の処理時間である２フレーム期間を上回る時間がかかっているため、復号を開始してから表示フレームの切り替えタイミングである２フレーム期間を過ぎてしまい、実際に表示が切り替わるのは、符号化開始から３フレーム期間過ぎた時点になる。
【００１５】
次の垂直同期のタイミングで表示を切り替えた時点で次の画像の復号を開始するため、画像の表示されるタイミングが符号で指定されたタイミングに対し実際の表示がどんどん遅れていく現象が起きる。この結果、音声と画像との同期がずれていったり、また、符号化時に想定しているタイミングで符号データが消費されないため、符号バッファがあふれる等の現象が生じ、再生に破綻をきたす。
【００１６】
したがって、復号開始以前に入力の符号データのプロファイル及びレベル等をチェックし、復号装置の想定しているレベルを超える符号データは復号を開始しないといった処理を行っている。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
上述した従来の画像復号装置では、レベルの規定を上回る画像符号が入力された場合、正常な画像を出力できない。しかしながら、レベルを上回る符号を入力された場合でも、完全な表示はできなくても画像の内容の確認が可能な程度の簡易再生でも良いから画像を表示したいという要求がある。
【００１８】
本発明は、上記課題に鑑みてなされたものであり、復号装置のレベルを上回るフレームレートの画像データが入力された場合でも、簡易表示することが可能な画像復号装置を提供するものである。
【課題を解決するための手段】
【００１９】
本願の第１の発明は、フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、現在の時刻を求める手段と、符号化データの処理を行う第１乃至第３の符合化データ処理手段と、前記第１乃至第３の符合化データ処理手段を選択する選択手段とを備え、前記選択手段は、前記現在の時刻と前記フレーム表示時刻との差分に応じて前記第１乃至第３の符合化データ処理手段のいずれか１つを選択し、前記第１の符合化データ処理手段は、フレームの復号処理と表示変換処理を行い、
前記第２の符合化データ処理手段は、フレームの表示変換処理を行うことなく復号処理を行い、前記第３の符合化データ処理手段は、フレームの復号処理と表示変換処理を行うことなく、フレーム間予測によるに符合化データを含まないフレームが現れるまで符号化データを破棄することを特徴とする。
【発明の効果】
【００２０】
本発明の画像復号装置は、上記のような構成としているので、入力されたビットストリームがレベルにより規定された上限を超える入力であった場合でも、すべてのフレームが表示されるわけではないが、一応の表示が可能となり、画像の内容の確認が可能になる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の一実施形態を、図１乃至図３とともに詳細に説明する。
図１は本実施形態における概略構成を示すプロック図である。図１において、図４と同じ符号を付したブロックは、上述の従来例と同一動作を行う部分であるため、その詳細な説明は省略する。本実施形態の画像復号装置は、制御部４０６に代えて制御部５０６を備えたものである。
【００２２】
図２は本実施形態におけるレベルを超えた画像が入力された場合の復号処理及び表示変換処理のシーケンスを示すタイミングチャートである。各欄の意味は上述の従来例で示したタイミングチャートと同一であるので、その説明は省略する。
【００２３】
すなわち、図６とともに上述した従来例における動作との違いは、図１における制御部５０６と図４における制御部４０６との動作の違いによるものである。
【００２４】
図３は制御部５０６の動作を示すフローチャートである。以下では、制御部５０６の状態遷移とそれぞれの状態における復号処理及び表示変換処理の制御に関する制御部５０６の動作について、図３のフローチャートにより説明する。
【００２５】
（１）状態Ｓ１フレーム１の復号処理開始時点において、１フレーム分の復号時間の予測値Ｔ１と、１フレーム分の表示変換処理時間の予測値Ｔ２とを、ビットレートや復号画像の画像サイズおよび表示変換処理の処理画素数や処理内容を元にそれぞれ求める（Ｓ６０１）。
【００２６】
求めたそれぞれの処理時間と、符号データから求めたそのフレームを表示しなければならない時間であるｔｄ、および、フレームの復号開始時点の時間ｔ１とすると、復号処理および表示変換処理に使用できる時間であるｔｄ−ｔ１を求めＴｔｈとする（Ｓ６０２）。
【００２７】
Ｔ１＋Ｔ２  ＜  Ｔｔｈであれば、状態Ｓ２に遷移する。Ｔ１  ＜  Ｔｔｈ  ＜  Ｔ１＋Ｔ２であれば、状態Ｓ３へ遷移する。Ｔ１  ＞  Ｔｔｈであれば、状態Ｓ４に移行する。
【００２８】
（２）状態Ｓ２制御部５０６は、復号処理と表示処理の両方が可能であると判断し、復号処理部４０１へ復号処理の開始するよう制御する（Ｓ６０３）。復号処理部４０１は復号処理が終了したら、それを制御部５０６へ通知する。復号処理の終了の通知を受けて制御部５０６は次に表示変換処理部４０３へ変換処理の開始するよう制御する（Ｓ６０４）。
【００２９】
表示変換処理部４０３は変換処理が終了したら制御部５０６へ通知する。制御部５０６はそのフレームの表示タイミングに一番近い垂直同期信号まで待って表示の切り替えを行い（Ｓ６０５）、状態Ｓ１へ遷移する。
【００３０】
（３）状態Ｓ３制御部５０６は、復号処理部４０１へ復号の開始を行うように制御し、復号処理の終了が復号処理部１から通知されるのを待つ（Ｓ６０６）。復号処理部４０１は復号が終了したら、それを制御部５０６へ通知する。制御部５０６は復号の終了の通知により状態Ｓ１へ移行する。
【００３１】
（４）状態Ｓ４制御部５０６は、復号処理部４０１に対し、次のフレーム内予測フレームまで、符号データを破棄する動作になるよう制御する（Ｓ６０７）。次のフレーム内予測フレームが見つかったら、状態Ｓ１へ遷移する。
【００３２】
制御部５０６は、上記のような状態遷移を繰り返すことにより、図２のタイミングチャートに示すような動作を行う。従って、表示がスキップされる画面数を減らし、効率的な処理を行うことが可能であり、簡易表示ではあるが、画像の内容を確認することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態に係る画像復号装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態において、レベルを上回るフレームレートの符号データが入力された場合の、復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【図３】本発明の一実施形態における制御部５０６の動作を示すフローチャートである。
【図４】従来の画像復号装置の概略構成を示すブロック図である。
【図５】従来の画像復号装置において、レベル内の符号データを入力した場合の復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【図６】従来の画像復号装置において、レベルを上回るフレームレートの符号データが入力された場合の復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【符号の説明】
【００３４】
４０１  復号処理部
４０２  復号画像格納メモリ
４０３  表示変換処理部
４０４  表示フレームメモリ
４０５  表示回路
５０６  制御部
【図１】
2006311587.tif 000003
【図２】
2006311587.tif 000004
【図３】
2006311587.tif 000005
【図４】
2006311587.tif 000006
【図５】
2006311587.tif 000007
【図６】
2006311587.tif 000008
【手続補正書】
【提出日】平成18年6月9日(2006.6.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、
各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、
現在の時刻を求める手段と、
符号化データの処理を行う第１乃至第３の符号化データ処理手段と、
前記第１乃至第３の符号化データ処理手段を選択する選択手段とを備え、
前記選択手段は、前記現在の時刻と前記フレーム表示時刻との差分に応じて前記第１乃至第３の符号化データ処理手段のいずれか１つを選択し、
前記第１の符号化データ処理手段は、フレームの復号処理と表示変換処理を行い、
前記第２の符号化データ処理手段は、フレームの表示変換処理を行うことなく復号処理を行い、
前記第３の符号化データ処理手段は、フレームの復号処理と表示変換処理を行うことなく、フレーム間予測によるに符号化データを含まないフレームが現れるまで符号化データを破棄することを特徴とする画像復号装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本願の第１の発明は、フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、現在の時刻を求める手段と、符号化データの処理を行う第１乃至第３の符号化データ処理手段と、前記第１乃至第３の符号化データ処理手段を選択する選択手段とを備え、前記選択手段は、前記現在の時刻と前記フレーム表示時刻との差分に応じて前記第１乃至第３の符号化データ処理手段のいずれか１つを選択し、前記第１の符号化データ処理手段は、フレームの復号処理と表示変換処理を行い、
前記第２の符号化データ処理手段は、フレームの表示変換処理を行うことなく復号処理を行い、前記第３の符号化データ処理手段は、フレームの復号処理と表示変換処理を行うことなく、フレーム間予測によるに符号化データを含まないフレームが現れるまで符号化データを破棄することを特徴とする。