(57)【要約】【課題】デブロックフィルタを施された符号化データを再符号化する際、画質の劣化を防止すると共に処理時間を短縮すること。【解決手段】復号部１００では、デブロックフィルタが施された符号化データを復号して、デブロックフィルタ前復号画像と、デブロックフィルタ後復号画像とを復号画像切り替え部２００へ出力する。復号画像切り替え部２００では、再符号化方式信号に基づいて再符号化の際にデブロックフィルタを施すと判断した場合、デブロックフィルタ前復号画像を再符号化部３００へ出力する一方、再符号化の際にデブロックフィルタを施さない場合には、デブロックフィルタ後復号画像を再符号化部３００へ出力して、再符号化部３００は、デブロックフィルタ前復号画像が入力した場合のみデブロックフィルタを施して再符号化する。【選択図】図１
2007110376.tif 000002
【特許請求の範囲】
【請求項１】
デブロックフィルタが施された符号化データを復号し、その符号化データと同一符号化方式または他の符号化方式で再符号化する動画像再符号化装置であって、
デブロックフィルタ手段を有し、前記符号化データの復号の際、前記デブロックフィルタによってデブロックフィルタが施された復号画像、および前記デブロックフィルタ手段によって前記デブロックフィルタが施される前の復号画像を出力する復号部と、
前記復号部の後段に接続され、前記復号部から出力された復号データを、前記符号化データと同一符号化方式または他の符号化方式で再符号化する再符号化する再符号化部と、
前記復号部と前記再符号化部との間に設けられ、前記再符号化方式がデブロックフィルタを施す再符号化方式の場合には、前記復号部から前記デブロックフィルタ手段によって前記デブロックフィルタが施される前の復号画像を前記再符号化部へ出力する一方、前記再符号化方式がデブロックフィルタを施さない再符号化方式の場合には、前記復号部から前記デブロックフィルタ手段によって前記デブロックフィルタが施された復号画像を前記再符号化部へ出力する復号画像切り替え部と、
を有することを特徴とする動画像再符号化装置。
【請求項２】
請求項１記載の動画像再符号化装置において、
前記再符号化部における再符号化方式は、
外部から入力される再符号化方式信号に基づいて、前記復号部から前記デブロックフィルタが施される前あるいは前記デブロックフィルタが施された後の復号画像を前記再符号化部へ出力する、
ことを特徴とする動画像再符号化装置。
【請求項３】
請求項１記載の動画像再符号化装置において、
前記復号画像切り替え部は、
前記再符号化部から入力される当該再符号化部の符号化方式に基づいて前記復号部から前記デブロックフィルタが施される前あるいは前記デブロックフィルタが施された後の復号画像を前記再符号化部へ出力する、
ことを特徴とする動画像再符号化装置。
【請求項４】
デブロックフィルタが施された符号化データを復号し、その符号化データと同一符号化方式または他の符号化方式で再符号化する動画像再符号化方法であって、
前記符号化データの復号の際、デブロックフィルタが施された復号画像、およびデブロックフィルタが施される前の復号画像を生成し、
前記復号画像を再符号化する際、デブロックフィルタを施す再符号化方式の場合には、前記デブロックフィルタが施される前の復号画像を再符号化する一方、デブロックフィルタを施さない再符号化方式の場合には、前記デブロックフィルタが施された復号画像を再符号化する、
ことを特徴とする動画像再符号化方法。
【請求項５】
コンピュータに、デブロックフィルタが施された符号化データを復号し、その符号化データと同一符号化方式または他の符号化方式で再符号化することを実行させるための動画像再符号化用プログラムであって、
コンピュータに、
前記符号化データの復号の際、デブロックフィルタが施された復号画像、およびデブロックフィルタが施される前の復号画像を生成し、
前記復号画像を再符号化する際、デブロックフィルタを施す再符号化方式の場合には、前記デブロックフィルタが施される前の復号画像を再符号化する一方、デブロックフィルタを施さない再符号化方式の場合には、前記デブロックフィルタが施された復号画像を再符号化する、
ことを実行させることを特徴とする動画像再符号化用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル動画像の再符号化に係り、特に再符号化の際に画質劣化を抑制する動画像再符号化装置、動画像符号化方法および動画像再符号化プログラムに関する。
【背景技術】
【０００２】
デジタル動画像符号化では、画像をブロックに分割して符号化を行なうため、ビットレートが低くなると、ブロック境界に不連続が生じ、ブロックノイズが発生する。そこで、MPEG-4／AVCに代表される符号化では、動き補償の予測ループ内にブロックノイズを除去するデブロックフィルタ（デブロッキング・フィルタともいう。以下、デブロックフィルタの語を統一して使用する。）を搭載することで、動き補償の予測効率と主観画質とを向上させている。
【０００３】
しかし、ブロックノイズを除去するデブロックフィルタには、画像のエッジ成分などを除去してしまうことや、画像の解像感が低下してしまう問題がある。そのため、デブロックフィルタは、符号化でブロックノイズが発生した場合にのみかけるのが望ましい。
【０００４】
一方、さまざまな高圧縮符号化方式が登場するにつれ、動画像符号化データを同一符号化方式で符号量をさらに圧縮することや、他の符号化方式に変換するという動画像再符号化が注目されている。
【０００５】
一般に、動画像再符号化とは、符号化データを一度復号化し、再度符号化するものである。従来の動画像再符号化装置では、再符号化対象画像として、復号化された画像を用いていた（例えば、特許文献１参照）。
【特許文献１】特開２００２−３４４９７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述の従来の動画像再符号化装置では、デブロックフィルタを搭載したMPEG-4／AVC符号化方式における再符号化については何ら触れられてなく、復号および再符号化の際の双方に２回デブロックフィルタを施してしまうと、再符号化前に画像エッジ成分などが除去されてしまい、画像の解像感が低下し、再符号化で画像エッジ成分や画像の解像感を再現できず、結果として再符号化の際に画質が劣化する、という問題があった。
【０００７】
また、デブロックフィルタの処理量は膨大で、デブロックフィルタ２回を施すことになると、非常に処理時間がかかる、という問題もある。
【０００８】
そこで、本発明は、デブロックフィルタを施された符号化データを再符号化する際、画質の劣化を防止すると共に処理時間を短縮することができる、動画像再符号化装置、動画像符号化方法および動画像再符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明では、符号化データを復号した復号画像を再符号化する際、デブロックフィルタを施す再符号化方式の場合には、デブロックフィルタが施される前の復号画像を再符号化する一方、デブロックフィルタを施さない再符号化方式の場合には、デブロックフィルタが施された復号画像を再符号化する、ものである。
【発明の効果】
【００１０】
本発明によれは、符号化データを復号した復号画像を再符号化する際、デブロックフィルタを施す再符号化方式の場合には、デブロックフィルタが施される前の復号画像を再符号化する一方、デブロックフィルタを施さない再符号化方式の場合には、デブロックフィルタが施された復号画像を再符号化するようにしたので、符号化データを復号して再符号化する際、デブロックフィルタを施す回数を１回にすることができ、画質の劣化を防止することができると共に、処理時間を短縮することができる。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
図１は、本発明に係る動画像再符号化装置の実施の形態１の構成を示すブロック図である。
【００１３】
本実施の形態１の動画像再符号化装置は、図１に示すように、復号部１００と、復号画像切り替え部２００と、再符号化部３００と、から構成されている。なお、この構成例は、一例で、その他、復号画像切り替え部２００が復号部１００の中に設けられていたり、あるいは再符号化部３００の中に設けられていたり、さらには、復号部１００と復号画像切り替え部２００と再符号化部３００とが一つにまとめて構成されていても勿論よい。
【００１４】
復号部１００は、エントロピー復号化手段１０１と、逆量子化・逆直交変換手段１０２と、デブロックフィルタ手段１０３と、画像メモリ１０４と、動き補償手段１０５と、加算器１０６と、を有している。
【００１５】
再符号化部３００は、再符号化対象画像をMPEG-4／AVC符号化方式等によりデブロックフィルタを施して再符号化を行うデブロックフィルタ搭載再符号化部３１０と、MPEG-4やMPEG-２等のデブロックフィルタを施さない再符号化を行うデブロックフィルタ非搭載再符号化部３２０とを有している。
【００１６】
次に、フローチャートを参照して動作を説明する。
【００１７】
図２は、図１は、本発明に係る動画像再符号化装置の動作を示すフローチャートである。
【００１８】
まず、エントロピー復号化手段１０１では、MPEG-4／AVC符号化方式によりデブロックフィルタを施して符号化された動画像の符号化データが入力されると、エントロピー復号化手段１０１がその符号化データや動きベクトル信号等の符号化パラメータをエントロピー復号化して（ステップＳ１０）、エントロピー復号化された画像信号を逆量子化・逆直交変換手段１０２に供給する一方、エントロピー復号化された動きベクトル信号を動き補償手段１０５に供給する。
【００１９】
逆量子化・逆直交変換手段１０２は、入力された画像信号を逆量子化・逆直交変換して、加算器１０６へ出力する（ステップＳ２０）。
【００２０】
動き補償手段１０５は、エントロピー復号化手段１０１から入力された動きベクトル信号に基づき画像メモリ１０４に保存された参照画像を用いて動き補償を行い動き補償画像を求め、加算器１０６へ出力する。
【００２１】
加算器１０６では、逆量子化・逆直交変換手段１０２からの逆量子化・逆直交変換された画像信号が予測符号化されたものであれば、動き補償手段１０５からの動き補償画像と加算し復号画像として、あるいは逆量子化・逆直交変換された画像信号が予測符号化されたものでなければ、そのまま復号画像としてデブロックフィルタ手段１０３へ出力すると共に、デブロックフィルタ手段１０３を経由せず、直接、復号画像切り替え部２００へ出力する。
【００２２】
デブロックフィルタ手段１０３では、加算器１０６を介した復号画像に対して、デブロックフィルタを施して、デブロックフィルタを施した復号画像を画像メモリ１０４および復号画像切り替え部２００へ出力する（ステップＳ３０）。
【００２３】
画像メモリ１０４では、デブロックフィルタ手段１０３によるデブロックフィルタが施されたデブロックフィルタ後復号画像を、動き補償手段１０５による動き補償のために参照画像として記憶する（ステップＳ４０）。
【００２４】
よって、復号部１００から復号画像切り替え部２００へは、デブロックフィルタが施されたデブロックフィルタ後復号画像と、デブロックフィルタが施されないデブロックフィルタ前復号画像とが出力されることになる。
【００２５】
復号画像切り替え部２００では、再符号化部３００にて再符号化をする際、デブロックフィルタを施すか否かを判断する（ステップＳ５０）。
【００２６】
ここで、本実施の形態１の場合、復号画像切り替え部２００は、再符号化の際デブロックフィルタを施すか否かを、ユーザの操作や他の外部装置から送信され、外部から入力する再符号化方式信号に基づいて判断する。
【００２７】
そして、外部から入力する再符号化方式信号に基づいて再符号化の際にデブロックフィルタを施すと判断した場合（ステップＳ５０“ＹＥＳ”）、復号画像切り替え部２００は、デブロックフィルタ前復号画像を再符号化部３００へ出力する一方（ステップＳ６０）、再符号化の際にデブロックフィルタを施さないと判断した場合には（ステップＳ５０“ＮＯ”）、デブロックフィルタ後復号画像を再符号化部３００へ出力する（ステップＳ７０）。
【００２８】
つまり、本実施の形態１の復号画像切り替え部２００では、外部から入力する再符号化方式信号に基づいて、デブロックフィルタ搭載再符号化部３１０へはデブロックフィルタ前復号画像を出力されるように接続を切り替える一方、デブロックフィルタ非搭載再符号化部３２０へはデブロックフィルタ後復号画像が出力されるように復号画像の出力を切り替える。
【００２９】
再符号化部３００では、復号画像切り替え部２００からデブロックフィルタが施されないデブロックフィルタ前復号画像が入力された場合には、デブロックフィルタ搭載再符号化部３１０は、そのデブロックフィルタ前復号画像を、デブロックフィルタを施す再符号化方式により再符号化し、再符号化データとして外部へ出力する（ステップＳ８０）。ここで、デブロックフィルタを施す再符号化方式とは、例えば、MPEG-4／AVCなどの符号化方式である。
【００３０】
その一方、復号画像切り替え部２００からデブロックフィルタが施されたデブロックフィルタ後復号画像が入力された場合には、デブロックフィルタ非搭載再符号化部３２０が、そのデブロックフィルタ後復号画像を、デブロックフィルタを施さない再符号化方式により再符号化し、再符号化データとして外部に出力する（ステップＳ８０）。ここで、デブロックフィルタを施さない再符号化方式とは、例えば、ＭＰＥＧ−２や、ＭＰＥＧ−４Main  Profileなどの符号化方式である。
【００３１】
従って、本実施の形態１の動画像再符号化装置によれば、デブロックフィルタが施された符号化データを復号して再符号化する際、再符号化方式としてデブロックフィルタを施す再符号化方式あるいは施さない再符号化方式を採用するに関わらず、デブロックフィルタを施す回数を１度にしたので、再符号化の際の画質劣化を抑制することができると共に、処理時間を短縮化することができる。
【００３２】
特に、デブロックフィルタ前復号画像は、デブロックフィルタ後復号画像よりも早く生成できるため、再符号化部３００に画像を入力するタイミングを早くすることができ、復号部１００におけるデブロックフィルタ手段１０３でのデブロックフィルタをかける処理と、再符号化部３００のデブロックフィルタ搭載再符号化部３１０におけるデブロックフィルタ前復号画像を再符号化する処理とを同時に行なうことも可能となる。
実施の形態２．
実施の形態１では、図１に示すように、再符号化部３００に、デブロックフィルタ搭載再符号化部３１０と、デブロックフィルタ非搭載再符号化部３２０との両方が搭載されている例を説明したが、本実施の形態２では、再符号化部３００には、デブロックフィルタ搭載再符号化部３１０、またはデブロックフィルタ非搭載再符号化部３２０の一方を搭載している。
【００３３】
図３は、本発明に係る動画像再符号化装置の実施の形態２の構成を示すブロック図で、再符号化部３００にデブロックフィルタ搭載再符号化部３１０のみが搭載されている構成例を示している。
【００３４】
図３に示す場合、実施の形態１のように、外部から復号画像切り替え部２００に再符号化方式信号が入力されるようにしても勿論良いが、ここでは、デブロックフィルタ搭載再符号化部３１０から復号画像切り替え部２００に対し、その符号化方式、すなわちデブロックフィルタを施す再符号化方式を示す信号が入力されるようにしている。
【００３５】
これにより、本実施の形態２の復号画像切り替え部２００では、外部から入力される再符号化方式信号がなくても、再符号化部３００が接続された際等に再符号化部３００のデブロックフィルタ搭載再符号化部３１０から入力される再符号化方式信号に基づいてデブロックフィルタ前復号画像を再符号化部３００のデブロックフィルタ搭載再符号化部３１０へ出力することになる。
【００３６】
図４は、本発明に係る動画像再符号化装置の実施の形態２の他の構成例を示すブロック図で、再符号化部３００にデブロックフィルタ非搭載再符号化部３２０のみが搭載されている構成例を示している。
【００３７】
図４に示す場合も、実施の形態１のように、ユーザの入力等により外部から復号画像切り替え部２００に再符号化方式信号が入力されるようにしても勿論良いが、ここでは、デブロックフィルタ非搭載再符号化部３２０から復号画像切り替え部２００に対し、その符号化方式、すなわちデブロックフィルタを施さない再符号化方式を示す信号が入力されるようにしている。
【００３８】
これにより、本実施の形態２の復号画像切り替え部２００では、外部から入力される再符号化方式信号がなくても、再符号化部３００が接続された際等に再符号化部３００のデブロックフィルタ非搭載再符号化部３２０から入力される、再符号化方式信号に基づいてデブロックフィルタ後復号画像を再符号化部３００のデブロックフィルタ非搭載再符号化部３２０へ出力することになる。
【００３９】
従って、本実施の形態２によれば、上記実施の形態１と同様の効果が得られると共に、再符号化部３００が接続された際等に再符号化部３００のデブロックフィルタ搭載再符号化部３１０あるいはデブロックフィルタ非搭載再符号化部３２０から入力される、再符号化方式信号に基づいてデブロックフィルタ前復号画像あるいはデブロックフィルタ後復号画像を再符号化部３００へ出力するので、外部から入力される再符号化方式信号がなくても、再符号化部３００として接続されるデブロックフィルタ搭載再符号化部３１０あるいはデブロックフィルタ非搭載再符号化部３２０に応じて自動的に復号画像切り替え部２００からの復号画像の出力を切り替えることができる。
実施の形態３．
実施の形態１では、図１に示すように、外部から復号画像切り替え部２００にのみ再符号化方式信号が入力されて、復号画像切り替え部２００から再符号化部３００へのデブロックフィルタ前復号画像と、デブロックフィルタ後復号画像との出力の切り替えを行うように説明したが、本実施の形態３は、その再符号化方式信号が再符号化部４００へも入力されるようにしたものである。
【００４０】
図５は、本発明に係る動画像再符号化装置の実施の形態３の構成を示すブロック図である。
【００４１】
図１に示す実施の形態１の動画像再符号化装置と異なる点は、復号画像切り替え部２００へ入力されている再符号化方式信号が再符号化部３００へも入力されるようにした点と、再符号化部３００が、その再符号化方式信号に基づいて、適応的にデブロックフィルタを施した再符号化と、デブロックフィルタを施さない再符号化とを切り替えるようにした点である。
【００４２】
なお、この場合、本実施の形態３の再符号化部３００は、図１に示す実施の形態１の再符号化部３００のように、デブロックフィルタ搭載再符号化部３１０とデブロックフィルタ搭載再符号化部３２０とを搭載していて再符号化方式信号に基づいて一方をオン等して適応的に切り替えるようにしても良いし、あるいはデブロックフィルタを施さないMPEG-4Main  Profile等の再符号化と、デブロックフィルタを施すMPEG-4/AVCの再符号化との両符号化を切り替えて実行可能なデブロックフィルタ搭載再符号化部を１台設け、その１台のデブロックフィルタ搭載再符号化部３１０が再符号化方式信号に基づいて復号画像信号に対するデブロックフィルタのオン／オフを切り替えて両符号化方式により再符号化するようにしても勿論良い。
【００４３】
このようにすれば、本実施の形態３の再符号化部３００では、復号画像切り替え部２００にも入力されている再符号化方式信号を入力し、その再符号化方式信号に基づいて、再符号化方式信号が再符号化の際にデブロックフィルタを施すことを示している場合には、実施の形態１の場合と同様に、デブロックフィルタ前復号画像に対しデブロックフィルタを施して再符号化する一方、その再符号化方式信号が再符号化の際にデブロックフィルタを施さないことを示している場合には、デブロックフィルタ後復号画像に対しデブロックフィルタを施さずに再符号化することになる。
【００４４】
従って、本実施の形態３の動画像再符号化装置によれば、上記実施の形態１と同様の効果が得られると共に、再符号化方式信号が再符号化部４００へも入力されるので、再符号化部４００は、その再符号化方式信号に基づいてデブロックフィルタを施す再符号化方式と施さない再符号化方式とを切り替えあるいは選択して適用することが可能となる。
【００４５】
なお、本実施の形態１〜３では、図１、図３〜図５に示すようにハードウエア的に構成して説明したが、本発明では、これに限定されるものではなく、上記動画像再符号化装置の機能をコンピュータに実現させるための動画像符号化プログラムを、記録媒体から読み取ったり、インターネット等の通信ネットワークを介してダウンロードして、メモリやＨＤＤ等に格納し、ＣＰＵがそのプログラムを実行して、上記動画像符号化装置および動画像復号装置の機能を達成するようにしても勿論よい。
【図面の簡単な説明】
【００４６】
【図１】本発明の動画像再符号化装置の実施の形態１の構成を示すブロック図である。
【図２】本発明の動画像再符号化装置の実施の形態１の動作を示すフローチャートである。
【図３】本発明に係る動画像再符号化装置の実施の形態２の構成を示すブロック図で、再符号化部にデブロックフィルタ搭載再符号化部のみが搭載されている構成例を示す図である。
【図４】本発明に係る動画像再符号化装置の実施の形態２の他の構成例を示すブロック図で、再符号化部にデブロックフィルタ非搭載再符号化部のみが搭載されている構成例を示す図である。
【図５】本発明の動画像再符号化装置の実施の形態３の構成を示すブロック図である。
【符号の説明】
【００４７】
１００  復号部
１０１  エントロピー復号化手段
１０２  逆量子化・逆直交変換手段
１０３  デブロックフィルタ手段
１０４  画像メモリ
１０５  動き補償手段
１０６  加算器
２００  復号画像切り替え部
３００  再符号化部
３１０  デブロックフィルタ搭載再符号化部
３２０  デブロックフィルタ非搭載再符号化部
【図１】
2007110376.tif 000003
【図２】
2007110376.tif 000004
【図３】
2007110376.tif 000005
【図４】
2007110376.tif 000006
【図５】
2007110376.tif 000007