(57)【要約】【課題】  映像復号出力装置において、復元プロセッサによる復号処理の演算量が変化する場合、フィルタ処理の演算量を可変とし、演算資源を十分活用することでリアルタイム性を保証すること。【解決手段】  映像同期信号生成手段７００によって垂直同期信号、および水平同期信号、さらに水平同期信号に同期した時間情報である、水平同期信号の立ち下りでカウントアップし、垂直同期信号が２回立ち下がるたびに0に初期化される信号V-Counter７０３の値から、画像符号列復号手段３００の復号処理にかかる負荷状態を検知し、画像符号列復号手段３００の負荷が低いときには、フィルター処理手段５００のフィルタータップ数を多く設定してフィルター処理手段５００の演算量を増加させ、画像符号列復号手段３００の負荷が大きいときには、フィルター処理手段５００のフィルタータップ数を少なく設定する。【選択図】  図１
2005033724.tif 000002
【特許請求の範囲】
【請求項１】
画像の圧縮データである画像符号列の復号処理を行う画像符号列復号処理手段と、
前記画像符号列復号処理手段によって復号された画像を蓄積するメモリ手段と、
そのタップ係数が可変であり、前記メモリ手段に蓄積された画像に対してフィルター処理を行うフィルター処理手段と、
映像同期信号、および該映像同期信号に同期した時間情報を生成する映像同期信号生成手段と、
前記フィルター処理手段によって処理され前記メモリ手段に蓄積された画像を、前記映像同期信号生成手段によって生成された映像同期信号に多重して映像信号出力する映像信号出力手段と、
前記映像同期信号生成手段の生成する時間情報を用いて前記画像符号列復号処理手段の処理負荷を検出する復号処理負荷検出手段と、
外部入力信号を受け、前記復号処理負荷検出手段の出力、および前記外部入力信号として付与された情報に基づいて、前記フィルター処理手段に対してそのタップ数を動的に変更指示する制御手段と、
を備えたことを特徴とする映像復号出力装置。
【請求項２】
請求項１記載の映像復号出力装置において、
前記復号処理負荷検出手段は、
前記映像同期信号生成手段の生成する時間情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出する、
ことを特徴とする映像復号出力装置。
【請求項３】
請求項１記載の映像復号出力装置において、
前記復号処理負荷検出手段は、
前記画像符号列に埋め込まれた解像度情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出する、
ことを特徴とする映像復号出力装置。
【請求項４】
請求項１記載の映像復号出力装置において、
前記復号処理負荷検出手段は、
前記フィルター処理手段の進行状況を示す進行状況情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出する、
ことを特徴とする映像復号出力装置。
【請求項５】
請求項２または４記載の映像復号出力装置において、
前記制御手段は、
前記復号処理負荷検出手段の出力、および前記外部入力信号として付与された情報に加えて、前記画像符号列の輝度及び色差に基づいて、前記フィルター処理手段に対してそのタップ数を動的に変更指示する、
ことを特徴とする映像復号出力装置。
【請求項６】
請求項１記載の映像復号出力装置において、
前記外部入力信号によって、画像符号列の復号処理を行う際の、拡大／縮小処理、ノイズ低減処理の有無の切替処理、インターレース／プログレッシブ変換処理、を行う情報を付与する、
ことを特徴とする映像復号出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像の圧縮データである画像符号列の復号処理・フィルター処理・映像復号処理をリアルタイムに行う映像復号出力装置に関し、特に、復号化処理の効率の向上を図ったものに関するものである。
【背景技術】
【０００２】
近年、DVD、デジタルテレビ等の普及により、マルチメディア技術への関心が高まっている。ＭＰＥＧ技術により符号化された画像符号列を復号・再生する装置において、より低コスト化が求められている。
【０００３】
従来、符号化された画像符号列を復号・フィルター処理を行う装置において、例えば、特開平０９−１７２６３５号公報（特許文献１）に記載するような方法が考えられた。
【特許文献１】特開平０９−１７２６３５号公報
【０００４】
図１７において、アンテナ１７から入力されチューナ１８（２４）で所望のチャンネルが選択されたデジタル画像データに対して、その伝送方式に対応したデコード処理を施すデコード処理手段であるＮＴＳＣデコーダ１９（２５）と、前記デジタル画像データに表示サイズに応じた圧縮または伸張処理を施す処理手段であるＣＰＵ２２と、前記デジタル画像データに対して、その圧縮または伸張処理に伴なう画質の劣化を補正するためのフィルタリング処理を施すフィルタ２１（２７）とからなる再生経路を複数個（ここでは２つ）備え、各再生経路のフィルタ２１，２７から得られるデジタル画像データに基づいて多画面表示を行なう画像表示システムにおいて、ディスク再生装置３０より再生され、直交変換、及び量子化処理により圧縮符号化されたデジタル画像データに復号化処理を施す復号化手段であるＭＰＥＧ２デコーダ３１と、この復号化手段（ＭＰＥＧ２デコーダ３１）で復号化されたデジタル画像データを、前記デコード処理手段（ＮＴＳＣデコーダ２５）から出力されるデジタル画像データに代えて、前記フィルタ２７に導く導出手段であるセレクタ２６と、この導出手段（セレクタ２６）でデジタル画像データが導かれた前記フィルタ２７に対して、前記圧縮または伸張処理に伴なう画質の劣化と、前記復号化処理に基づくブロック歪みとを補正するフィルタリング処理を実行させるためのフィルタ係数を与える制御手段であるＣＰＵ２２とを具備してなるものである。
【０００５】
そして、前記制御手段（ＣＰＵ２２）は、前記圧縮符号化されたデジタル画像データの動きベクトルまたはビットレートに基づいて、前記フィルタ２７に与えるフィルタ係数を生成する。
【０００６】
この構成により、同一画面上に異なる２つのチャンネルの画像、もしくは、１つのチャンネルの画像と、ディスク再生装置３０から再生された画像を、任意の大きさで１つの画面に同時に分割表示することが可能となっている。
【０００７】
上記の装置では、チューナ２４で受信したデジタル画像データのフィルタリングと、ディスク再生装置３０より出力されたデジタル符号化データのフィルタリング処理を、従来から存在するフィルタ２７を兼用利用して行うようにすることで、回路規模を増大させることなく、しかも、ブロック歪みを低減させることのできる良好なデジタル画像復号化装置を提供することができるものである。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の映像復号出力装置は以上のように構成されており、回路規模を増大することなく良好なデジタル画像復号化処理を行うことができるものであったが、画像符号列復号処理とフィルタ処理を行う装置において、復元プロセッサによる復号処理の演算量が変化する場合でもフィルタ処理の演算量は一定であり、演算資源が十分活用されていないという問題点があった。
【０００９】
この発明は以上のような問題点を解消するためになされたもので、復元プロセッサによる復号処理の演算量が変化する場合、フィルタ処理の演算量を可変とし、演算資源を十分活用することのできる映像復号出力装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の請求項１にかかる映像復号出力装置は、画像の圧縮データである画像符号列の復号処理を行う画像符号列復号処理手段と、前記画像符号列復号処理手段によって復号された画像を蓄積するメモリ手段と、そのタップ係数が可変であり、前記メモリ手段に蓄積された画像に対してフィルター処理を行うフィルター処理手段と、映像同期信号、および該映像同期信号に同期した時間情報を生成する映像同期信号生成手段と、前記フィルター処理手段によって処理され前記メモリ手段に蓄積された画像を、前記映像同期信号生成手段によって生成された映像同期信号に多重して映像信号出力する映像信号出力手段と、前記映像同期信号生成手段の生成する時間情報を用いて前記画像符号列復号処理手段の処理負荷を検出する復号処理負荷検出手段と、外部入力信号を受け、前記復号処理負荷検出手段の出力、および前記外部入力信号として付与された情報に基づいて、前記フィルター処理手段に対してそのタップ数を動的に変更指示する制御手段と、を備えたものである。
【００１１】
本発明の請求項２にかかる映像復号出力装置は、請求項１記載の映像復号出力装置において、前記復号処理負荷検出手段は、前記映像同期信号生成手段の生成する時間情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出するものである。
【００１２】
本発明の請求項３にかかる映像復号出力装置は、請求項１記載の映像復号出力装置において、前記復号処理負荷検出手段は、前記画像符号列に埋め込まれた解像度情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出するものである。
【００１３】
本発明の請求項４にかかる映像復号出力装置は、請求項１記載の映像復号出力装置において、前記復号処理負荷検出手段は、前記フィルター処理手段の進行状況を示す進行状況情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出するものである。
【００１４】
本発明の請求項５にかかる映像復号出力装置は、請求項２または４記載の映像復号出力装置において、前記制御手段は、前記復号処理負荷検出手段の出力、および前記外部入力信号として付与された情報に加えて、前記画像符号列の輝度及び色差に基づいて、前記フィルター処理手段に対してそのタップ数を動的に変更指示するものである。
【００１５】
本発明の請求項６にかかる映像復号出力装置は、請求項１記載の映像復号出力装置において、前記外部入力信号によって、画像符号列の復号処理を行う際の、拡大／縮小処理、ノイズ低減処理の有無の切替処理、インターレース／プログレッシブ変換処理、を行う情報を付与するものである。
【発明の効果】
【００１６】
本発明（請求項１）にかかる映像復号出力装置によれば、画像の圧縮データである画像符号列の復号処理を行う画像符号列復号処理手段と、前記画像符号列復号処理手段によって復号された画像を蓄積するメモリ手段と、そのタップ係数が可変であり、前記メモリ手段に蓄積された画像に対してフィルター処理を行うフィルター処理手段と、映像同期信号、および該映像同期信号に同期した時間情報を生成する映像同期信号生成手段と、前記フィルター処理手段によって処理され前記メモリ手段に蓄積された画像を、前記映像同期信号生成手段によって生成された映像同期信号に多重して映像信号出力する映像信号出力手段と、前記映像同期信号生成手段の生成する時間情報を用いて前記画像符号列復号処理手段の処理負荷を検出する復号処理負荷検出手段と、外部入力信号を受け、前記復号処理負荷検出手段の出力、および前記外部入力信号として付与された情報に基づいて、前記フィルター処理手段に対してそのタップ数を動的に変更指示する制御手段と、を備えたものとしたので、画像符号列復号手段の負荷が低いときには、フィルター処理手段のフィルタータップ数を多く設定してフィルター処理手段の演算量を増加させることで画質の劣化を低減し、画像符号列復号手段の負荷が大きいときには、フィルター処理手段のフィルタータップ数を少なく設定してフィルター処理手段の演算量を減少させることで、画像符号列復号処理の量が多いことによって後段のフィルター処理が演算量オーバーとなるのを防止することができ、ひいては演算資源を十分活用することができる効果がある。
【００１７】
また、本発明（請求項２）にかかる映像復号出力装置によれば、請求項１記載の映像復号出力装置において、前記復号処理負荷検出手段は、前記映像同期信号生成手段の生成する時間情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出するものとしたので、画像符号列復号手段の負荷が低いときには、フィルター処理手段のフィルタータップ数を多く設定してフィルター処理手段の演算量を増加させることで画質の劣化を低減し、画像符号列復号手段の負荷が大きいときには、フィルター処理手段のフィルタータップ数を少なく設定してフィルター処理手段の演算量を減少させることで、画像符号列復号処理の量が多いことによって後段のフィルター処理が演算量オーバーとなるのを防止することができ、ひいては演算資源を十分活用することができる効果がある。
【００１８】
また、本発明（請求項３）にかかる映像復号出力装置によれば、請求項１記載の映像復号出力装置において、前記復号処理負荷検出手段は、前記画像符号列に埋め込まれた解像度情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出するものとしたので、画像符号列復号処理の負荷が低いときには画像符号列復号フィルター処理手段のフィルタータップ数を多く設定して画像符号列復号フィルター処理手段の演算量を増加させて画質の劣化を低減し、画像の解像度が高く、画像符号列復号フィルター処理手段の負荷が大きいときには画像符号列復号フィルター処理手段のフィルタータップ数を少なく設定して画像符号列復号フィルター処理手段の演算量を減少させ、画像符号列復号処理の量が多いときに画像符号列復号フィルター処理手段のフィルター処理が演算量オーバーとなるのを防止することができ、ひいては演算資源を十分活用することができる効果がある。
【００１９】
また、本発明（請求項４）にかかる映像復号出力装置によれば、請求項１記載の映像復号出力装置において、前記復号処理負荷検出手段は、前記フィルター処理手段の進行状況を示す進行状況情報に基づいて、前記画像符号列復号処理手段が所定の単位の符号列を復号化する処理に要する時間から、前記画像符号列復号処理手段の処理負荷量を検出するものとしたので、フィルター処理残時間から画像符号列復号手段の復号処理にかかる負荷状態を検知し、フィルター処理残時間が少なく画像符号列復号手段の負荷が低いときにはフィルター処理手段のフィルタータップ数を多く設定してフィルター処理手段の演算量を増加させて画質の劣化を低減し、フィルター処理残時間が少なく画像符号列復号手段の負荷が大きいときにはフィルター処理手段のフィルタータップ数を少なく設定してフィルター処理手段の演算量を減少させ、画像符号列復号処理の量が多いことによって後段のフィルター処理が演算量オーバーとなるのを防止することができ、ひいては演算資源を十分活用することができる効果がある。
【００２０】
また、本発明（請求項５）にかかる映像復号出力装置によれば、請求項２または４記載の映像復号出力装置において、前記制御手段は、前記復号処理負荷検出手段の出力、および前記外部入力信号として付与された情報に加えて、前記画像符号列の輝度及び色差に基づいて、前記フィルター処理手段に対してそのタップ数を動的に変更指示するものとしたので、人間の視覚効果を考慮して、輝度と式差についても加味することで、フィルター処理による効果の高い画像を得ることができる効果がある。
【００２１】
また、本発明（請求項６）にかかる映像復号出力装置によれば、請求項１記載の映像復号出力装置において、前記外部入力信号によって、画像符号列の復号処理を行う際の、拡大／縮小処理、ノイズ低減処理の有無の切替処理、インターレース／プログレッシブ変換処理、を行う情報を付与するものとしたので、演算資源を十分活用することができるとともに、拡大／縮小処理、ノイズ低減処理の有無の切替処理、インターレース／プログレッシブ変換処理を行うことができる効果がある。
【発明を実施するための最良の形態】
【００２２】
（実施の形態１）
以下、本発明の実施の形態１にかかる映像復号出力装置について、図面を参照しながら説明する。図１は本発明の実施の形態１における映像復号処理装置の構成を示す図である。図１において、１００は画像符号列の復号処理・フィルター処理・映像出力処理をリアルタイムに行う映像復号出力装置、２００は画像の圧縮データであるＭＰＥＧ１，ＭＰＥＧ２規格によって符号化された画像符号列、３００はＭＰＥＧ１，ＭＰＥＧ２規格の画像符号列の復号処理を行う画像符号列復号処理手段、５００は拡大／縮小処理とノイズリダクション処理とインターレース/プログレッシブ処理を行うフィルター処理手段、６００は画像符号列復号処理手段３００、およびフィルター処理手段５００によって処理された画像が格納されるメモリ手段、７００は垂直同期信号および水平同期信号、水平同期信号に同期した時間情報の生成を行う映像同期信号生成手段、８００はメモリ手段６００に格納されている画像を垂直同期信号および水平同期信号に多重して映像信号出力を行う映像信号出力手段、９００は画像符号列復号処理手段３００とフィルター処理手段５００の制御を行う制御手段、１０００は制御手段に対して拡大率情報やノイズリダクション情報を付与する入力手段である。以上の構成において、制御手段９００が、信号処理負荷検出手段を実現するものとなっている。
【００２３】
次に以上のように構成された映像復号出力装置１００について、以下にその動作を説明する。まず、映像同期信号生成手段７００の動作について説明する。図２は映像同期信号生成手段７００によって生成される信号の波形図を示している。映像同期信号生成手段７００は、ＮＴＳＣインタレース映像出力の場合、図２（a）に示すように、垂直同期信号、および水平同期信号、さらに水平同期信号に同期した時間情報である、水平同期信号の立ち下りでカウントアップし、垂直同期信号が２回立ち下がるたびに0に初期化される信号V-Counter７０３の生成を行う。また、信号V-Counter７０３の値が３９３をカウントしたとき、制御手段開始（起動）割り込み命令を制御手段９００に対して発行する。
【００２４】
また、映像同期信号生成手段７００は、プログレッシブ映像出力時には図２（b）に示すように、水平同期信号は60×525（Hz）、信号V-Counterが７８６をカウントしたとき、映像同期信号生成手段７００は制御手段開始（起動）割り込み命令を制御手段９００に対して発行する。
【００２５】
図３は上記制御手段９００の動作フローチャートを示す図である。制御手段９００は、上記映像同期信号生成手段７００が発行する制御手段開始割り込み命令を受け（ステップＳ９０１）、画像符号列復号処理手段３００を動作させるために必要な設定を行う復号前処理（ステップＳ９０２）を開始し、復号前処理が終わると画像符号列復号処理手段３００からの復号完了割り込み待ち状態（ステップＳ９０３）となり、復号完了割り込みを受け付けると、フィルター処理手段５００を動作させるために必要な設定を行うフィルター前処理（ステップＳ９０４）を行い、フィルター前処理が終わると再び映像同期信号生成手段７００からの制御手段開始割り込み命令の待ち状態（ステップＳ９０１）となり、上記内容を繰り返す。制御手段９００による復号前処理（ステップＳ９０２）の処理内容について説明する。
【００２６】
図４は復号前処理のフローチャートを示す図である。まず、制御手段９００は入力手段１０００によって付与された情報の取得（ステップＳ９０６）を行う。取得する情報は、任意拡大/縮小率情報、ノイズリダクションON／OFF情報、インターレース/プログレッシブ映像信号出力選択情報である。
【００２７】
次に、画像符号列復号処理手段３００に１フレームの復号処理を行わせるために、制御手段９００は復号開始割り込み命令を画像符号列復号処理手段３００に対して発行し（ステップＳ９０７）、復号前処理を終了する。
【００２８】
次にフィルター前処理（ステップＳ９０４）の処理内容の詳細について図５を用いて説明する。まず、制御手段９００はフィルタータップ数の設定（ステップＳ９０８）を行い、次に入力手段１０００によって付与された情報の取得（ステップＳ９０６）によって得られた拡大／縮小率情報、ノイズリダクションON／OFF情報、インターレース/プログレッシブ出力選択情報をフィルター処理手段５００に設定する（ステップＳ９０９〜Ｓ９１１）。
【００２９】
次に、フィルター処理手段５００に１フレームのフィルター処理を行わせるために、フィルター開始割り込み命令をフィルター処理手段５００に対して発行し（ステップＳ９１３）、フィルター前処理を終了する。
【００３０】
次にフィルタータップ数設定（ステップＳ９０８）の処理内容について図６を用いて詳細に説明する。まず、復号処理時間情報（信号V-Counter７０３の値）によるフィルタータップ数変更（ステップＳ９１４）について説明する。制御手段９００はフィルター前処理（ステップＳ９０４）開始直後に信号V-Counter７０３の値を読み込み、その値によって画像符号列復号手段３００が１フレームの復号にかかった時間を知ることができる。表１はフィルタータップ数の最大値をNとした時の信号V-Counter７０３と復号処理時間の関係を表し、復号処理時間が多いほどフィルタータップ数を少なく設定している。
【表１】
2005033724.tif 000003
【００３１】
次に入力手段１０００によって付与された情報がノイズリダクションONであった場合、フィルタータップ数を減少させる（ステップＳ９１５）。
次に入力手段１０００によって付与された情報がプログレッシブ映像出力であった場合、フィルタータップ数をさらに減少させる（ステップＳ９１６）。
【００３２】
以上のフィルタータップ数変更が終わると、フィルター処理手段５００に対し、フィルタータップ数の設定を行い（ステップＳ９１７）、処理を終える。
図７は以上の映像復号出力装置１００の動作を踏まえて、フィルタータップ数変更による効果の例をタイミングチャートで表した図である。図７（a）について説明する。映像同期信号生成手段７００は、信号V-Counter７０３の値が３９３となったとき、制御手段９００に対して制御手段開始割り込み命令１１０１を発行する。
【００３３】
割り込み命令を受け、制御手段９００は復号前処理１１０２を行う。制御手段９００は復号前処理１１０２で入力手段１０００によって付与された情報の取得を行い、本例では垂直拡大率３／４倍・ノイズリダクションON・インターレース出力を取得する。
【００３４】
次に画像符号列復号処理手段３００に対して復号開始割り込み命令１１０３を発行する。画像復号処理手段３００は１フレーム復号処理１１０４完了後、制御手段９００に対して復号完了割り込み命令１１０５を発行する。制御手段９００は割り込みを受け、フィルター前処理１１０６を行う。
【００３５】
制御手段９００はフィルター前処理１１０６開始直後に信号V-Counter７０３の値を読み込み、本例ではこの値が１２０であるとし、表１の条件に従ってフィルタータップ数を７−１=６とし、復号前処理１１０２で取得したノイズリダクションONにより、本例では６−１＝５とし、５タップをフィルター処理手段５００に対して設定する。次に制御手段９００はフィルター処理手段５００に対してフィルター開始割り込み命令１１０７を発行する。フィルター処理手段５００は、５タップのフィルター処理１１０８を行う。
【００３６】
次に図７（b）について説明する。動作概要は図７（a）と同様であり、制御手段９００はフィルター前処理１１０６開始直後に信号V-Counter７０３の値を読み込み、本例ではこの値が図７（a）に示した場合よりも大きく、１フレームの復号にかかる時間が長い２５０であるとし、表１の条件に従ってフィルタータップ数を７−２＝５とし、復号前処理１１０２で取得したノイズリダクションONにより、本例では５−１=４とし、４タップをフィルター処理手段５００に対して設定する。フィルター処理手段５００は、４タップでフィルター処理１１０８を行う。
【００３７】
以上のように、図７（a）に示した場合のように、画像符号列復号手段３００による復号処理時間が少ないときには、フィルター処理手段５００の演算時間に余裕があることから、フィルタータップ数を多く設定してフィルター処理手段５００の演算量を増加させることにより、画質の劣化を低減させ、逆に図７（b）に示したように、画像符号列復号手段３００による復号処理時間が多いときには、フィルタータップ数を少なく設定し、フィルター処理手段５００の演算量を減少させ、画像符号列復号処理からフィルター処理の演算量オーバーの防止を行っている。
【００３８】
このように本実施の形態１によれば、映像同期信号生成手段７００によって垂直同期信号、および水平同期信号、さらに水平同期信号に同期した時間情報である、水平同期信号の立ち下りでカウントアップし、垂直同期信号が２回立ち下がるたびに0に初期化される信号V-Counter７０３の生成を行い、信号V-Counter７０３の値から画像符号列復号手段３００の復号処理にかかる負荷状態を検知し、画像符号列復号手段３００の負荷が低いときには、フィルター処理手段５００のフィルタータップ数を多く設定してフィルター処理手段５００の演算量を増加させることで画質の劣化を低減し、画像符号列復号手段３００の負荷が大きいときには、フィルター処理手段５００のフィルタータップ数を少なく設定してフィルター処理手段５００の演算量を減少させることで、画像符号列復号処理の量が多いことによって後段のフィルター処理が演算量オーバーとなるのを防止することができ、ひいては演算資源を十分活用することができる。
【００３９】
（実施の形態２）
以下、本発明の実施の形態２にかかる映像復号出力装置について、図面を参照しながら説明する。図８は本実施の形態２における映像復号処理装置の構成を示す図である。図８において、２０００は画像符号列の復号処理・フィルター処理・映像出力処理をリアルタイムに行う映像復号出力装置、２１００は画像の圧縮データであるＭＰＥＧ１，ＭＰＥＧ２規格によって符号化された画像符号列、２２００はＭＰＥＧ１，ＭＰＥＧ２規格の画像符号列の復号処理を行い、復号処理後の画像に対してフィルター処理を行うとともに、画像符号列に埋め込まれている解像度情報の取得を行う画像符号列復号フィルター処理手段、２３００は画像符号列復号フィルター処理手段２２００によって処理された画像が格納されるメモリ手段、２４００は垂直同期信号および水平同期信号および水平同期信号に同期したカウンタの生成を行う映像同期信号生成手段、２５００はメモリ手段２３００に格納されている画像を垂直同期信号および水平同期信号に多重して映像信号出力を行う映像信号出力手段、２６００は画像符号列復号フィルター処理手段２２００の制御を行う制御手段、２７００は制御手段に対して拡大率情報やノイズリダクション情報を付与する入力手段である。
【００４０】
次に、以上のように構成された映像復号出力装置２０００について、以下にその動作を説明する。まず、映像同期信号生成手段２４００について説明する。図２は映像同期信号生成手段２４００によって生成される信号を示している。映像同期信号生成手段２４００は、図２（a）に示すように、垂直同期信号と、水平同期信号の生成を行う。また、水平同期信号の立ち下りでカウントアップし、垂直同期信号が２回立ち下がるたびに0に初期化される信号V-Counter７０３の生成を行う。また、信号V-Counter７０３の値が３９３をカウントしたとき、制御手段開始割り込み命令を制御手段２６００に対して発行する。図２（b）はプログレッシブ映像出力時の映像同期信号生成を表し、水平同期信号は60×525（Hz）、信号V-Counter７０３が７８６をカウントしたとき、復号開始割り込み命令を制御手段２６００に対して発行する。
【００４１】
図９は制御手段２６００の動作フローチャートである。制御手段２６００は、映像同期信号生成手段２４００が発行する制御手段開始割り込み命令を受け（ステップＳ２６０１）、画像符号列復号フィルター処理手段２２００動作させるために必要な設定を行う復号前処理（ステップＳ２６０２）を開始し、復号前処理が終わると再び映像同期信号生成手段２４００からの制御手段開始割り込み待ち状態（ステップＳ２６０１）となり、上記内容を繰り返す。
【００４２】
復号前処理（ステップＳ２６０２）の詳細な処理内容について図１０を用いて説明する。
まず、入力手段２７００によって付与された情報の取得（ステップＳ２６０３）を行う。取得する情報は、拡大／縮小率情報、ノイズリダクションON／OFF情報、インターレース／プログレッシブ出力選択情報である。
【００４３】
次に入力手段２７００によって付与された情報である拡大縮小率、ノイズリダクション、インターレース／プログレッシブ出力選択情報を、画像符号化復号フィルター処理手段２２００に設定する（ステップＳ２６０４、ステップＳ２６０５、ステップＳ２６０６）。
【００４４】
次にフィルタータップ数の設定を行い（ステップＳ２６０７）、次に１フレームの復号処理およびフィルター処理を開始させるために画像符号列復号フィルター処理手段２２００に対して復号フィルター開始割り込み命令を発行して（ステップＳ２６０８）処理を終える。
【００４５】
次に上記フィルタータップ数設定（ステップＳ２６０７）の処理内容について図１１を用いて説明する。まず、入力手段２７００によって付与された情報がノイズリダクションONである場合、フィルタータップ数を減少させる（ステップＳ２６０９）。
【００４６】
次に入力手段２７００によって付与された情報がプログレッシブ映像出力である場合、フィルタータップ数を減少させる（ステップＳ２６１０）。
【００４７】
以上のフィルタータップ数変更が終わると、画像符号列復号フィルター処理手段２２００に対し、フィルタータップ数の設定を行い（ステップＳ２６１１）、処理を終える。
【００４８】
以上が制御手段２６００に関連する処理である。
次に上記画像符号列復号フィルター処理手段２２００の処理内容について図１２を用いて説明する。
【００４９】
画像符号列復号フィルター処理手段２２００は、制御手段２６００からの復号フィルター開始割り込み命令を受け付けると（ステップＳ２２０１）処理を開始し、まず画像符号列の読み込みを行い（ステップＳ２２０２）、画像符号列に埋め込まれている解像度情報の取得を行う（ステップＳ２２０３）。解像度の情報によって、画像符号列復号フィルター処理手段２３００が１フレームの復号にかかる時間を予測することができる。表２は現在のフィルタータップ数設定値をNとした時の、解像度と復号処理予測時間との関係を表し、解像度が大きいほどフィルタータップ数を少なく設定している。
【表２】
2005033724.tif 000004
【００５０】
表２に示す解像度情報により、フィルタータップ数の変更を行う（ステップＳ２２０４）。
【００５１】
次にフィルタータップ数を設定する（ステップＳ２２０５）。次に１フレーム復号処理を行い（ステップＳ２２０６）、次に指定されたフィルタータップ数によるフィルター処理（ステップＳ２２０７）を終える。
【００５２】
図１３は以上の実施の形態２における映像復号出力装置２０００の動作を踏まえて、フィルタータップ数変更による効果の例をタイミングチャートで表した図である。図１３（a）について説明する。映像同期信号生成手段７００は、信号V-Counter７０３の値が３９３となったとき、制御手段２６００に対して制御手段開始割り込み２８００を発行する。割り込みを受け、制御手段２６００は復号前処理２８０１を行う。制御手段２６００は入力手段２７００によって付与された情報の取得を行い、本例では水平拡大率２倍・垂直拡大率２倍・ノイズリダクションON・インターレース出力を取得する。また、画像符号列フィルター処理手段２２００に対し、ノイズリダクション情報によるフィルタータップ数変更や、インターレース/プログレッシブ出力選択情報によるフィルタータップ数変更を行う。
【００５３】
次に制御手段２６００は画像符号列復号フィルター処理手段２２００に対して復号開始割り込み２８０２を発行する。画像符号列復号フィルター処理手段２２００はこれを受け、画像符号列に埋め込まれた解像度情報を抽出してフィルタータップ数を変更し、設定する。
【００５４】
本例では、解像度が水平サイズ=352、垂直サイズ=240とすると、表２に基づきフィルタータップ数を７−２＝５とし、５タップを設定する。画像符号列復号フィルター処理手段２２００のフィルター処理は、１フレーム復号処理２８０３と５タップでフィルター処理２８０５を行う。
【００５５】
次に図１３（b）に示した解像度の画像を処理する場合について説明する。動作概要は図１３（a）と同様であり、画像符号列復号フィルター処理手段２２００は画像符号列に埋め込まれた解像度情報を抽出してフィルタータップ数を変更し、設定する。本例では、解像度が水平サイズ=544、垂直サイズ=480とすると、表２に基づきフィルタータップ数を７−３＝４とし、４タップを設定する。画像符号列復号フィルター処理手段２２００のフィルター処理は、４タップでフィルター処理２８０５を行う。
【００５６】
以上のように、画像符号列復号フィルター処理手段２２００による復号処理時間が少ないと予測されるときに、フィルター処理の演算時間に余裕があることから、フィルタータップ数を多く設定してフィルター処理の演算量を増加させることにより画質の劣化を低減させ、画像符号列復号フィルター処理手段２２００による復号処理時間が多いと予測されるときにフィルタータップ数を少なく設定し、フィルター処理手段２２００の演算量を減少させ、画像符号列復号処理からフィルター処理の演算量オーバーの防止を行っている。
【００５７】
このように本実施の形態２によれば、画像符号列復号フィルター処理手段２２００によって上記画像符号列に埋め込まれた解像度情報に基づいて復号処理にかかる負荷状態を検知し、画像符号列復号処理の負荷が低いときには画像符号列復号フィルター処理手段２２００のフィルタータップ数を多く設定して画像符号列復号フィルター処理手段２２００の演算量を増加させて画質の劣化を低減し、画像の解像度が高く、画像符号列復号フィルター処理手段２２００の負荷が大きいときには画像符号列復号フィルター処理手段２２００のフィルタータップ数を少なく設定して画像符号列復号フィルター処理手段２２００の演算量を減少させ、画像符号列復号処理の量が多いときに画像符号列復号フィルター処理手段２２００のフィルター処理が演算量オーバーとなるのを防止することができ、ひいては演算資源を十分活用することができる。
【００５８】
（実施の形態３）
次に本発明の実施の形態３にかかる映像復号出力装置について、図面を参照しながら説明する。本実施の形態３にかかる映像復号出力装置はすでに説明した実施の形態１、２と基本的な構成は同様であり、フィルター処理手段５００または画像符号列復号処理手段２２００のフィルター処理の動作が異なることを特徴としている。また、図１８に示すように、フィルター進行情報であるFLINE生成手段１１００、２８００を備えている点が異なる。図１８（ａ）は実施の形態１を基本構成とした映像復号出力装置、図１８（ｂ）は実施の形態２を基本構成とした映像復号出力装置を示す。
【００５９】
以下、実施の形態１をもとにして構成された図１８（ａ）に基づいて動作を説明する。
図１４はフィルター処理手段５００の動作フローチャートを示す図である。フィルター処理手段５００は制御手段９００から発行されるフィルター開始割り込みを受け、処理を開始する（ステップＳ３０００）。次に画像の１ラインフィルター処理を行う（ステップＳ３００１）。
【００６０】
次にフィルター進行情報であるFLINEをインクリメントする（ステップＳ３００２）。次にFLINEが画像の7/8ラインまでに達していない場合（ステップＳ３００３）、FLINEが画像の7/8ラインまでに達するまで上記ステップＳ３００１、ステップＳ３００２に戻って処理を繰り返す。一方、ステップS３００３においてFLINEが画像の7/8ラインに達した時には、ステップS３００４に進んでフィルタータップ数変更を行う。
【００６１】
フィルタータップ数変更では、まず信号V-Counter７０３の値を読み込む。信号V-Counter７０３の値によりフィルター処理残時間を知ることができる。表３は信号V-Counter７０３とフィルター処理残時間との関係を表している。
【表３】
2005033724.tif 000005
表３に示すように、フィルター処理残時間が少ないほどフィルタータップ数を減少させて設定する。
【００６２】
次に変更されたフィルタータップ数で残りのフィルター処理を行う（ステップＳ３００５）。処理最後にFLINE=0とし（ステップＳ３００６）処理を終える。
図１５はフィルター処理によるフィルタータップ数変更による効果の例をタイミングチャートで表した図である。
【００６３】
映像同期信号生成手段７００によって生成される信号V-Counter７０３の値が３９３となったとき、映像同期信号生成手段７００は制御手段９００に対して制御手段開始割り込み３１０１を発行する。
【００６４】
割り込みを受け、制御手段９００は復号前処理３１０２を行う。復号前処理３１０２で入力手段１０００によって付与された情報の取得を行い、本例では水平3/4倍・ノイズリダクションOFF・インターレース出力を取得する。
【００６５】
次に制御手段９００は画像符号列復号処理手段３００に対して復号開始割り込み３１０３を発行する。画像復号処理手段３００は１フレーム復号処理３１０４完了後、制御手段９００に対して復号完了割り込み３１０５を発行する。制御手段９００は割り込みを受け、フィルター前処理３１０６を行う。フィルター処理手段５００はフィルター前処理３１０６開始直後に信号V-Counter７０３の値を読み込み、本例ではこの値が１２０であるとし、表１の条件に従って、フィルタータップ数を7−１=6とし、6タップをフィルター処理手段５００に対して設定する。
【００６６】
次にフィルター処理手段５００に対してフィルター開始割り込み３１０７を発行する。フィルター処理手段５００は、６タップのフィルター処理３１０８を行う。ここで画像の垂直サイズ=480とし、FLINE=480*7/8=420となったところで、信号V-Counter７０３の値によりフィルター残時間をチェックする。本例ではこの値が２６０であるとし、表３により、フィルタータップ数６−２＝４とし、フィルタータップ数を設定する。フィルター処理手段５００は、フィルタータップ数４として残りのフィルター処理を行う。
【００６７】
図１５が示すように、フィルター処理中に、フィルター残時間を調べ、フィルタータップ数を減らすことにより、フィルター処理の演算量オーバーの防止を行い、リアルタイム性を保証することができる。
【００６８】
このように本実施の形態３によれば、映像同期信号生成手段７００によって垂直同期信号、および水平同期信号、さらに水平同期信号に同期した時間情報、さらには水平同期信号の立ち下りでカウントアップし、垂直同期信号が２回立ち下がるたびに0に初期化される信号V-Counter７０３の生成を行い、フィルター進行情報であるＦＬＩＮＥが所定の値（７／８ライン）まで達した場合に、信号V-Counter７０３の値に基づいてフィルター残り時間を調べ、フィルター処理残時間から画像符号列復号手段３００の復号処理にかかる負荷状態を検知し、フィルター処理残時間が少なく画像符号列復号手段３００の負荷が低いときにはフィルター処理手段５００のフィルタータップ数を多く設定してフィルター処理手段５００の演算量を増加させて画質の劣化を低減し、フィルター処理残時間が少なく画像符号列復号手段３００の負荷が大きいときにはフィルター処理手段５００のフィルタータップ数を少なく設定してフィルター処理手段５００の演算量を減少させ、画像符号列復号処理の量が多いことによって後段のフィルター処理が演算量オーバーとなるのを防止することができ、ひいては演算資源を十分活用することができる。
【００６９】
（実施の形態４）
次に本発明の実施の形態４にかかる映像復号出力装置について、図面を参照しながら説明する。本実施の形態４の映像復号出力装置の基本的な構成は、上述した実施の形態１、及び２と同様であり、フィルター処理手段５００または画像符号列復号フィルター処理手段２２００のフィルター処理が異なることを特徴とする。以下、実施の形態１に基づいてその動作を説明する。
【００７０】
図１６はフィルター処理手段５００の動作フローチャートを示す図である。フィルター処理手段５００は制御手段９００からのフィルター処理開始割り込みを受け付けると（ステップＳ４０００）、まず、フィルタータップ数Nの取得を行う（ステップＳ４００１）。
【００７１】
次に輝度に対してフィルタータップ数を増加させるため、N+１を輝度のフィルタータップ数として設定する（ステップＳ４００２）。次に色差に対してフィルタータップ数を減少させるため、N−１を色差のフィルタータップ数として設定する（ステップＳ４００３）。
【００７２】
次に輝度と色差で異なるフィルタータップ数による１フレームフィルター処理を行い（ステップＳ４００４）、処理を終える。
【００７３】
以上のように、人間の目に感知しにくい色差に対してフィルタータップ数を減少させ、人間の目に感知しやすい輝度に対してフィルタータップ数を増加させることにより、フィルター処理による効果の高い画像を得ることができる。
【００７４】
このように本実施の形態４によれば、フィルターのタップ係数の設定を行う際に、画像符号列復号手段３００（画像符号列復号フィルター処理手段２２００）の復号処理にかかる負荷状態を加味するだけでなく、人間の視覚効果を考慮して、輝度と色差についても加味するようにしたので、フィルター処理による効果の高い画像を得ることができる。
【００７５】
なお、上記各実施の形態において行ったフィルタータップ数増減の値は、上記各実施の形態で例で説明した限りではない。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施の形態１に係る映像復号出力装置の構成を示すブロック図である。
【図２】上記映像復号出力装置を構成する映像同期信号生成手段の信号生成タイミングを示す図である。
【図３】上記記映像復号出力装置を構成する制御手段の動作フローチャートを示す図である。
【図４】上記映像復号出力装置の復号前処理中の復号前処理の動作フローチャートを示す図である。
【図５】上記映像復号出力装置を構成する制御手段中のフィルター前処理の動作フローチャートを示す図である。
【図６】上記映像復号出力装置のフィルター前処理中のフィルタータップ数設定の動作フローチャートを示す図である。
【図７】上記映像復号出力装置の効果を示すためのタイミング図である。
【図８】本発明の実施の形態２に係る映像復号出力装置の構成を示すブロック図である。
【図９】上記実施の形態２に係る映像復号出力装置を構成する制御手段の動作フローチャートを示す図である。
【図１０】上記実施の形態２に係る映像復号出力装置の復号前処理の動作フローチャートを示す図である。
【図１１】上記実施の形態２に係る映像復号出力装置の復号前処理中のフィルタータップ数設定の動作フローチャートを示す図である。
【図１２】上記実施の形態２に係る映像復号出力装置を構成する画像符号列フィルター処理手段の動作フローチャートを示す図である。
【図１３】上記実施の形態２の映像復号出力装置の効果を示すためのタイミング図である。
【図１４】本発明の実施の形態３に係る映像復号出力装置を構成するフィルター処理手段のタイミング図である。
【図１５】上記実施の形態３の映像復号出力装置の効果を示すためのタイミング図である。
【図１６】本発明の実施の形態４に係る映像復号出力装置を構成するフィルター処理手段のタイミング図である。
【図１７】従来の映像復号出力装置の構成を示すブロック図である。
【図１８】本発明の実施の形態３にかかる映像復号出力装置の構成を示すブロック図である。
【符号の説明】
【００７７】
１００  映像復号出力装置
２００  画像符号列
３００  画像符号列復号処理手段
４００  第１のメモリ手段
５００  フィルター処理手段
６００  第２のメモリ手段
７００  映像同期信号生成手段
８００  映像信号出力手段
９００  制御手段
１０００  入力手段
２０００  映像復号出力装置
２１００  画像符号列
２２００  画像符号列復号フィルター処理手段
２３００  第１のメモリ手段
２４００  映像同期信号生成手段
２５００  映像信号出力手段
２６００  制御手段
２７００  入力手段
【図１】
2005033724.tif 000006
【図２】
2005033724.tif 000007
【図３】
2005033724.tif 000008
【図４】
2005033724.tif 000009
【図５】
2005033724.tif 000010
【図６】
2005033724.tif 000011
【図７】
2005033724.tif 000012
【図８】
2005033724.tif 000013
【図９】
2005033724.tif 000014
【図１０】
2005033724.tif 000015
【図１１】
2005033724.tif 000016
【図１２】
2005033724.tif 000017
【図１３】
2005033724.tif 000018
【図１４】
2005033724.tif 000019
【図１５】
2005033724.tif 000020
【図１６】
2005033724.tif 000021
【図１７】
2005033724.tif 000022
【図１８】
2005033724.tif 000023