(57)【要約】【課題】画像の復号時にエラーが生じた場合に、復号画像から表示画像を生成する際のＲＧＢ変換演算量を低減させること。【解決手段】画像信号復号部１０２は外部から入力される符号化された画像データのビットストリームを復号してフレームメモリ１０１に格納する際に、エラーが生じた領域をフレームメモリ１０１に存在する過去の復号画像信号を用いて補完して隠蔽処理を行う。表示画像生成部１０４は画像信号復号部１０２がフレームメモリ１０１に格納した復号画像信号から表示画像を生成してフレームメモリ１０１に格納する際に、エラー通知部１０３からエラー情報が入力されたときは、フレームメモリ１０１に過去に格納した前記隠蔽処理を行った領域に対応する領域に存在する表示画像信号を今回生成する表示画像として利用する。【選択図】      図１
2004320252.tif 000002
【特許請求の範囲】
【請求項１】
復号画像信号を格納する第１記憶手段及び表示画像信号を格納する第２記憶手段と、
符号化された画像データを復号して前記第１記憶手段に格納する際に、エラーが生じた領域を前記第１記憶手段に存在する過去の復号画像信号を用いて補完して隠蔽処理を行う画像信号復号手段と、
前記画像信号復号手段がエラー隠蔽を行った領域を示すエラー情報を発生するエラー通知手段と、
前記画像信号復号手段が前記第１記憶手段に格納した復号画像信号から表示画像信号を生成して前記第２記憶手段に格納する際に、前記エラー情報が入力されたときは、前記第２記憶手段に過去に格納した前記隠蔽処理を行った領域に対応する領域に存在する表示画像信号を今回生成する表示画像信号として利用する表示画像生成手段と、
を具備することを特徴とする画像再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化された画像信号を復号して元の画像を再生する画像再生装置に関する。
【０００２】
【従来の技術】
図４は、従来の画像再生装置で実施されている復号処理と表示画像生成処理を説明する図である。画像の符号化方式としては、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が知られているが、画像符号化の要素技術の一つに、ＲＧＢ信号で表される画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）とに分離する分離符号化がある。
【０００３】
つまり、画像再生装置では、図４に示すように、まず、ＭＰＥＧに準拠した圧縮符号化が行われている画像データを復号する復号処理４０１を行い、その後、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）とから赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色信号（ＲＧＢ）への変換処理である表示画像生成処理４０２が行われる。
【０００４】
復号処理４０１では、各フレームを順々に復号していくが、エラーが生じた画像データは正常に復号できないので正常に復号可能な位置まで読み飛ばし、読み飛ばした部分の画像は、過去の復号画像前フレーム（図４（ａ））における同じ空間的位置の画像、つまり本来の画像に似た画像で置き換えて復号画像現フレーム（図４（ｂ））とし、エラーの隠蔽を行い目立たなくする方法が採用されている。
【０００５】
また、表示画像生成処理４０２では、原色信号（ＲＧＢ）への変換処理を次式に従って実施している。
【０００６】
Ｒ＝１．１６４（Ｙ−１６）＋１．５９６（Ｃｒ−１２８）
Ｇ＝１．１６４（Ｙ−１６）−０．３９１（Ｃｂ−１２８）−０．８１３（Ｃｒ−１２８）
Ｂ＝１．１６４（Ｙ−１６）＋２．０１８（Ｃｂ−１２８）
なお、各式における数値は、規格値に基づいて定められる定数である。
【０００７】
ここで、従来の画像再生装置では、復号した画像である復号画像現フレーム（図４（ｂ））の全領域に対し、画素毎に上記演算を行って表示画像前フレーム（図４（ｃ））を生成し、それを表示画像現フレーム（図４（ｄ））として用いていたので、ＲＧＢ変換に係る演算時間が画像再生処理の高速化を図る場合に制約の１つを与えていた。
【０００８】
そこで、例えば特許文献１では、ＲＧＢ変換に係る演算を省略し、高速な画像再生処理を可能とする画像再生装置が提案されている。以下、その概要を図５を参照して説明する。なお、図５は、特許文献１にて開示されている画像再生処理の手順を説明するフローチャートである。
【０００９】
図５において、輝度信号と色差信号から構成される画像信号をＲＧＢ変換する際に、過去の画像データとの差分が存在するか否かを判断し（ステップＳＴ５０１）、また復号すべき画像信号が存在するか否かを判断する（ステップＳＴ５０２）。過去の画像データとの差分が存在する場合（ステップＳＴ５０１：Ｎｏ）、復号すべき画像信号が存在する場合（ステップＳＴ５０２：Ｎｏ）は、その差分が存在する領域やその復号すべき画像信号が存在する領域において上記の演算式によるＲＧＢ変換処理を実行する（ステップＳＴ５０３）。
【００１０】
一方、過去の画像データとの差分が存在しない場合（ステップＳＴ５０１：Ｙｅｓ）、復号すべき画像信号が存在しない場合（ステップＳＴ５０２：Ｙｅｓ）は、その差分が存在しない領域やその復号すべき画像信号が存在しない領域では上記の演算式によるＲＧＢ変換処理を実行せず、ＲＧＢ変換済みの過去のデータから該当する画像部分を直接読み出す（ステップＳＴ５０４）。以上の動作がフレームの全領域について繰り返し実行され、ＲＧＢ変換された表示画像が得られる（ステップＳＴ５０５）。
【００１１】
【特許文献１】
特開２０００−３１６１５７号公報（図３）
【００１２】
【発明が解決しようとする課題】
しかしながら、上記特許文献１にて開示される従来の画像再生装置では、画像復号処理時にエラーが生じた場合のことは一切考慮されていない。つまり、エラーの隠蔽を行った領域は、前フレームの同じ空間的位置の画像で置き換えているので過去の画像データとは差分が無いにもかかわらず、復号すべき画像信号が存在することからＲＧＢ変換を行ってしまい、冗長な演算処理が行われる。その結果、画像の再生に時間がかかり、遅延が生じるという問題があった。
【００１３】
本発明は、かかる点に鑑みてなされたものであり、画像の復号時にエラーが生じた場合に、復号画像から表示画像を生成する際のＲＧＢ変換演算量を低減させることのできる画像再生装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る画像再生装置は、復号画像信号を格納する第１記憶手段及び表示画像信号を格納する第２記憶手段と、符号化された画像データを復号して前記第１記憶手段に格納する際に、エラーが生じた領域を前記第１記憶手段に存在する過去の復号画像信号を用いて補完して隠蔽処理を行う画像信号復号手段と、前記画像信号復号手段がエラー隠蔽を行った領域を示すエラー情報を発生するエラー通知手段と、前記画像信号復号手段が前記第１記憶手段に格納した復号画像信号から表示画像信号を生成して前記第２記憶手段に格納する際に、前記エラー情報が入力されたときは、前記第２記憶手段に過去に格納した前記隠蔽処理を行った領域に対応する領域に存在する表示画像信号を今回生成する表示画像信号として利用する表示画像生成手段とを具備する構成を採る。
【００１５】
この構成によれば、復号時にエラーが生じた領域は過去に生成を行った表示画像のデータを現在生成を行っている表示画像のデータとして利用することができるので、表示画像生成に係る演算を効果的に省略することができ、再生に必要な処理負荷が一層小さくなる。その結果、一層高速な画像再生が可能となる。
【００１６】
【発明の実施の形態】
本発明の骨子は、復号処理時にエラー隠蔽を行った領域が表示画像の生成時に認識できるようにし、ＲＧＢ変換に係る演算を効果的に省略できるようにすることである。
【００１７】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
【００１８】
図１は、本発明の一実施の形態に係る画像再生装置の構成を示すブロック図である。図１に示す本実施の形態に係る画像再生装置は、復号画像信号を格納する復号画像領域と表示画像信号を格納する表示画像格納領域とを有するフレームメモリ１０１と、外部から入力される符号化された画像データのビットストリームを復号してフレームメモリ１０１内の復号画像領域に格納する際に、エラーが生じた領域を前記復号画像領域に存在する過去の復号画像信号を用いて補完して隠蔽処理を行う画像信号復号部１０２と、画像信号復号部１０２がエラー隠蔽を行った領域を示すエラー情報を発生するエラー通知部１０３と、画像信号復号部１０２が前記復号画像領域に格納した復号画像信号から表示画像を生成してフレームメモリ１０１内の表示画像格納領域に格納する際に、前記エラー情報が入力されたときは、前記表示画像領域に過去に格納した前記隠蔽処理を行った領域に対応する領域に存在する表示画像信号を今回生成する表示画像として前記表示画像格納領域に格納する表示画像生成部１０４と、フレームメモリ１０１内の表示画像格納領域に格納された表示画像信号を読み出し、画像をＣＲＴやＬＣＤ等に表示する画像表示部１０５とを備えている。
【００１９】
次に、図１〜図３を参照して、以上のように構成される本実施の形態に係る画像再生装置の動作を説明する。なお、図２は、図１に示す画像再生装置にて実施される復号処理と表示画像生成処理を説明する図である。図３は、図１に示す画像再生装置にて実施される画像再生処理の手順を説明するフローチャートである。
【００２０】
図１と図２において、本実施の形態に係る画像再生装置では、まず、画像信号復号部１０２にて、圧縮符号化された画像データを復号する復号処理２０１が行われ、その後、画像信号復号部１０２にて、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）とから赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色信号（ＲＧＢ）に変換するＹＵＶ−ＲＧＢ変換処理である表示画像生成処理２０２が行われる。以下、この順に説明する。
【００２１】
画像信号復号部１０２では、外部から送られてくるビットストリームの復号処理において、エラーが生じない状態で復号できる場合には、各フレームを順々に復号していき、復号画像前フレーム（図２（ａ））としてフレームメモリ１０１内の復号画像領域に格納する。そして、その復号画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）により構成される復号画像信号とした復号画像現フレーム（図２（ｂ））を生成し、フレームメモリ１０１内の復号画像領域に格納する。
【００２２】
一方、画像信号復号部１０２では、ビットストリームにエラーが生じて復号不可能になった場合、正常に復号可能な位置までビットストリームを読み飛ばし、読み飛ばした領域範囲をエラー通知部１０３に通知する。同時に、読み飛ばした部分の画像は、過去の復号画像前フレーム（図２（ａ））における同じ空間的位置の画像、つまり本来の画像に似た画像で置き換えるエラー隠蔽を行って今回の復号画像前フレーム（図２（ａ））としてフレームメモリ１０１内の復号画像領域に格納する。そして、その復号画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）により構成される復号画像信号とした復号画像現フレーム（図２（ｂ））を生成し、フレームメモリ１０１内の復号画像領域に格納する。
【００２３】
エラー通知部１０３は、画像信号復号部１０２から読み飛ばした領域範囲の通知を受け取ると、当該領域範囲を示すエラー情報を表示画像生成部１０４に通知する。
【００２４】
次に、表示画像生成部１０４は、エラー通知部１０３からエラー情報が入力されない場合は、フレームメモリ１０１内の復号画像領域に格納された復号画像現フレーム（図２（ｂ））において、復号画像信号から輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）を読み出し、全画面に対し、画素毎にＹＵＶ−ＲＧＢ変換を行って表示画像前フレーム（図２（ｃ））、表示画像現フレーム（図２（ｄ））を順々に生成し、フレームメモリ１０１内の表示画像領域に格納する。
【００２５】
ここで、画像信号復号部１０２がエラーの隠蔽を行った領域の輝度信号と色差信号は、前フレームの同じ空間的位置の画像で置き換えられており、現フレームでの該当領域の画像データとは差分が無いので、ＹＵＶ−ＲＧＢ変換を行った結果の原色画像も前フレームの原色画像と同一となる。
【００２６】
そこで、表示画像生成部１０４では、エラー通知部１０３からエラー情報が入力された場合は、そのエラー情報が示す領域に対しては、ＹＵＶ−ＲＧＢ変換を行わない。代わりに、フレームメモリ１０１内の表示画像領域に格納された過去の表示画像前フレーム（図２（ｃ））の該当領域におけるＲＧＢ変換済みの表示画像信号を取り出し、それをそのまま表示画像現フレーム（図２（ｄ））としてフレームメモリ１０１内の表示画像領域に格納する。
【００２７】
要するに、表示画像生成部１０４は、図３に示す手順で表示画像の生成を実施している。図３において、表示画像生成部１０４は、表示画像生成を実行する場合、まず、復号処理においてエラーが発生したか否かを判定する（ステップＳＴ３０１）。そして、エラーの発生がなく正常に復号処理が行われた場合には（ステップＳＴ３０１：Ｎｏ）、復号画像現フレーム（図２（ｂ））の正常復号領域について、通常の手順による表示画像生成処理（ＲＧＢ変換処理）の実行を開始し（ステップＳＴ３０２）、正常復号領域についての表示画像前フレーム（図２（ｃ））、表示画像現フレーム（図２（ｄ））を順々に生成し、ステップＳＴ３０４に進む。
【００２８】
その過程で、エラーが発生し正常に復号処理が行われなかった領域の通知があった場合には（ステップＳＴ３０１：Ｙｅｓ）、通知された領域については通常の手順による表示画像生成処理を実行せず、過去の表示画像前フレーム（図２（ｃ））の該当領域に存在する表示画像信号を表示画像現フレーム（図２（ｄ））の該当領域の表示画像信号として利用し（ステップＳＴ３０３）、ステップＳＴ３０４に進む。
【００２９】
表示画像生成部１０４は、以上の動作を１フレームの全領域の画素毎に実行し（ステップＳＴ３０４：Ｎｏ）、全領域に対する表示画像生成を終了すると（ステップＳＴ３０４：Ｙｅｓ）、次のフレーム生成に移行する。
【００３０】
そして、画像表示部１０５は、以上のように表示画像生成部１０４が生成した表示画像現フレーム（図２（ｄ））の表示画像信号をフレームメモリ１０１内の表示画像領域から取り出し、ＣＲＴやＬＣＤなどに画像表示を行う。
【００３１】
このように、本実施の形態によれば、復号時にエラーが生じた領域は、過去にＲＧＢ変換を行った原色画像信号のデータを現在変換を行っているフレームメモリのデータとして利用するようにしたので、ＲＧＢ変換に係る演算を効果的に省略することができ、再生に必要な処理負荷が一層小さくなる。したがって、従来例よりも高速な画像再生が可能となる。
【００３２】
なお、本発明は、上述した実施の形態に限定されるものではなく、例えば表示画像生成処理としてデブロックフィルタ処理やモスキートノイズ除去フィルタ処理等のポスト処理を行う際にも、エラーの発生した領域に対しては本処理を省略し、過去に処理を行った画像のデータを利用するというように本発明を適用することができる。
【００３３】
【発明の効果】
以上説明したように、本発明によれば、画像の復号時にエラーが生じた場合に、復号画像から表示画像を生成する際のＲＧＢ変換演算量を低減させることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像再生装置の構成を示すブロック図
【図２】図１に示す画像再生装置にて実施される復号処理と表示画像生成処理を説明する図
【図３】図１に示す画像再生装置において実施される画像再生処理の手順を説明するフローチャート
【図４】従来の画像再生装置で実施されている復号処理と表示画像生成処理を説明する図
【図５】特許文献１にて開示されている画像再生処理の手順を説明するフローチャート
【符号の説明】
１０１  フレームメモリ
１０２  画像信号復号部
１０３  エラー通知部
１０４  表示画像生成部
１０５  画像表示部
【図１】
2004320252.tif 000003
【図２】
2004320252.tif 000004
【図３】
2004320252.tif 000005
【図４】
2004320252.tif 000006
【図５】
2004320252.tif 000007