(57)【要約】【課題】画質を落とすことなく、エンコーダが出力する符号量を低減することができる画像処理装置を得る。【解決手段】第１の変換部３は、入力画像を入力画像よりも解像度が低い低解像度画像に変換する。第１の再変換部４は、低解像度画像を入力画像と同じ解像度に再変換して第１の再変換画像を生成する。差分部５は、入力画像と第１の再変換画像の差分である差分画像を生成する。第１及び第２の符号化部６，７は、低解像度画像と差分画像を符号化してそれぞれ第１及び第２の符号化データを生成する。第１及び第２の復号部８，９は、第１及び第２の符号化データをそれぞれ復号する。第２の再変換部１０は、復号された低解像度画像を入力画像と同じ解像度に再変換して第２の再変換画像を生成する。合成部１１は、復号された差分画像と第２の再変換画像を合成する。【選択図】図１
2013168702.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化するエンコーダと、
符号化されたデータを復号するデコーダとを備え、
前記エンコーダは、
前記入力画像を前記入力画像よりも解像度が低い低解像度画像に変換する第１の変換部と、
前記低解像度画像を前記入力画像と同じ解像度に再変換して第１の再変換画像を生成する第１の再変換部と、
前記入力画像と前記第１の再変換画像の差分である差分画像を生成する差分部と、
前記低解像度画像と前記差分画像を符号化してそれぞれ第１及び第２の符号化データを生成する第１及び第２の符号化部とを有し、
前記デコーダは、
前記第１及び第２の符号化データをそれぞれ復号する第１及び第２の復号部と、
復号された前記低解像度画像を前記入力画像と同じ解像度に再変換して第２の再変換画像を生成する第２の再変換部と、
復号された前記差分画像と前記第２の再変換画像を合成する合成部とを有することを特徴とする画像処理装置。
【請求項２】
前記エンコーダは、前記第１の符号データを復号する第３の復号部を更に有し、
前記第１の再変換部は、前記第３の復号部により復号された前記低解像度画像を再変換して前記第１の再変換画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エンコーダは、前記差分画像を複数個に分割する分割部を更に有し、
前記第２の符号化部は、分割された前記差分画像をそれぞれ符号化する複数の符号化部を有し、
前記デコーダが有する前記第２の復号部は、前記複数の符号化部により符号化されたデータを復号する複数の復号部を有し、
前記デコーダは、前記複数の復号部により復号されたデータを結合して、復号された前記差分画像を生成する結合部を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記エンコーダは、前記差分画像を前記入力画像よりも解像度が低い画像に変換する第２の変換部を更に有し、
前記第２の符号化部は、前記第２の変換部により変換された前記差分画像を符号化して前記第２の符号化データを生成し、
前記デコーダは、前記第２の復号部により復号された画像を前記入力画像と同じ解像度に再変換して、復号された前記差分画像を生成する第３の再変換部を更に有することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像を符号化するエンコーダと、符号化されたデータを復号するデコーダとを備える画像処理装置に関する。
【背景技術】
【０００２】
近年、フルハイビジョン以上の画素数を持った動画像、例えばフルハイビジョンの４倍の画素数（４０９６×２０４８画素）を持った４Ｋ２Ｋや、フルハイビジョンの１６倍の画素数（７６８０×４３２０画素）を持ったスーパーハイビジョンが用いられている。
【０００３】
このような画像の高解像度化により、画像を処理・保存する際に演算量が非常に大きくなり、データレートも大きくなるという問題があった。この問題を解決するために、画面分割する画像処理装置が提案されている（例えば、特許文献１参照）。これにより、分割画面ごとの演算量は全体の演算量に比べて少なくて済む。また、分割した画面データの伝送をシリアル化すればデータレートも削減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−０５９７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画面分割する従来の装置では、分割境界が目立って画質が落ちるという問題があった。また、エンコーダが出力する符号量が莫大という問題は依然として残されたままであった。
【０００６】
本発明は、上述のような課題を解決するためになされたもので、その目的は画質を落とすことなく、エンコーダが出力する符号量を低減することができる画像処理装置を得るものである。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、入力画像を符号化するエンコーダと、符号化されたデータを復号するデコーダとを備え、前記エンコーダは、前記入力画像を前記入力画像よりも解像度が低い低解像度画像に変換する第１の変換部と、前記低解像度画像を前記入力画像と同じ解像度に再変換して第１の再変換画像を生成する第１の再変換部と、前記入力画像と前記第１の再変換画像の差分である差分画像を生成する差分部と、前記低解像度画像と前記差分画像を符号化してそれぞれ第１及び第２の符号化データを生成する第１及び第２の符号化部とを有し、前記デコーダは、前記第１及び第２の符号化データをそれぞれ復号する第１及び第２の復号部と、復号された前記低解像度画像を前記入力画像と同じ解像度に再変換して第２の再変換画像を生成する第２の再変換部と、復号された前記差分画像と前記第２の再変換画像を合成する合成部とを有することを特徴とする。
【発明の効果】
【０００８】
本発明により、画質を落とすことなく、エンコーダが出力する符号量を低減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る画像処理装置を示す断面図である。
【図２】本発明の実施の形態２に係る画像処理装置を示す断面図である。
【図３】本発明の実施の形態３に係る画像処理装置を示す断面図である。
【図４】本発明の実施の形態４に係る画像処理装置を示す断面図である。
【図５】エンコーダが出力する符号量を比較した図である。
【発明を実施するための形態】
【００１０】
本発明の実施の形態に係る画像処理装置について図面を参照して説明する。同じ又は対応する構成要素には同じ符号を付し、説明の繰り返しを省略する場合がある。
【００１１】
実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置を示す断面図である。この画像処理装置は、入力画像を符号化するエンコーダ１と、符号化されたデータを復号するデコーダ２とを備える。エンコーダ１は、第１の変換部３と、第１の再変換部４と、差分部５と、第１及び第２の符号化部６，７とを有する。デコーダ２は、第１及び第２の復号部８，９と、第２の再変換部１０と、合成部１１とを有する。
【００１２】
エンコーダ１において、第１の変換部３は、入力画像を入力画像よりも解像度が低い低解像度画像に変換する。第１の再変換部４は、超解像技術により、低解像度画像を入力画像と同じ解像度に再変換して第１の再変換画像を生成する。ここで、超解像技術とは、ノイズ除去、スケーリング、画像鮮明化技術などで構成される技術を指す。
【００１３】
差分部５は、入力画像と第１の再変換画像の差分である差分画像を生成する。ここで、８ビット表現の場合、各画素の値は０〜２５５の範囲になるため、差分は−２５５から＋２５５になる。従って、差分画像の表現方法として以下の２つが考えられる。第１の方法では、−１２８から＋１２８の範囲はそのまま採用し、それより外れる分は−１２８又は＋１２８に丸める。第２の方法では、−２５５から＋２５５の値に１／２を乗じた値を採用する。これら２つの方法を混用してもよい。具体的には、差分が−１２８から＋１２８の範囲の場合は第１の方法を採用し、それより外れる場合は第２の方法を採用する。なお、ここでは代表的な２つの方法を提示したが、差分値を８ビットで表現する方法は適宜決めることができる。また、８ビット表現を例として挙げたが、他のビット数の表現の場合にも同様の考え方を適用することができる。
【００１４】
第１及び第２の符号化部６，７は、低解像度画像と差分画像を符号化してそれぞれ第１及び第２の符号化データを生成する。エンコーダ１は、第１及び第２の符号化データを出力する。なお、これら２種の符号化データは多重化して送ってもよいし、どちらかのストリーム内にユーザデータとして入れてもよいし、補助データとして送ってもよい。どの伝送方法でも同様の効果が得られることは自明である。この場合にデコーダ２は対応する分離処理をすればよい。
【００１５】
デコーダ２は、第１及び第２の符号化データを入力する。第１及び第２の復号部８，９は、第１及び第２の符号化データをそれぞれ復号する。第２の再変換部１０は、超解像技術により、復号された低解像度画像を入力画像と同じ解像度に再変換して第２の再変換画像を生成する。合成部１１は、復号された差分画像と第２の再変換画像を合成する。デコーダ２は、この合成された画像を出力画像として出力する。
【００１６】
以上説明したように、エンコーダ１は入力画像を低解像度画像に変換して符号化して出力するため、エンコーダが出力する符号量を低減することができる。また、低解像度画像から入力画像に再変換した際の差分を差分画像で補うことにより、画質が落ちるのを防ぐことができる。
【００１７】
実施の形態２．
図２は、本発明の実施の形態２に係る画像処理装置を示す断面図である。エンコーダ１は、第１の符号データを復号する第３の復号部１２を更に有する。第１の再変換部４は、超解像技術により、第３の復号部１２により復号された低解像度画像を再変換して第１の再変換画像を生成する。
【００１８】
これにより、第１の符号化部６による符号化での劣化分を差分画像に反映することができるため、画質を向上させることができる。なお、通常、エンコーダでは符号化と同時に復号もできるようになっているため、ハード増にはならない。デコーダ２の構成は実施の形態１と同様である。
【００１９】
実施の形態３．
図３は、本発明の実施の形態３に係る画像処理装置を示す断面図である。実施の形態２の構成に加えて、エンコーダ１は、差分画像を４分割する分割部１３を更に有する。第２の符号化部７は、分割された差分画像をそれぞれ符号化する４つの符号化部を有する。デコーダ２が有する第２の復号部９は、４つの符号化部により符号化されたデータを復号する４つの復号部を有する。デコーダ２は、４つの復号部により復号されたデータを結合して、復号された差分画像を生成する結合部１４を更に有する。なお、ここでは分割数を４としたが、分割数は適宜決めることができる。
【００２０】
このように差分画像を４分割して符号化・復号化することにより、差分画像に関する符号化・復号化の演算量を減らすことができる。分割したデータの伝送をシリアル化すればデータレートも削減することができる。
【００２１】
実施の形態４．
図４は、本発明の実施の形態４に係る画像処理装置を示す断面図である。実施の形態２の構成に加えて、エンコーダ１は、差分画像を入力画像よりも解像度が低い画像に変換する第２の変換部１５を更に有する。第２の符号化部７は、第２の変換部１５により変換された差分画像を符号化して第２の符号化データを生成する。デコーダ２は、超解像技術により、第２の復号部９により復号された画像を入力画像と同じ解像度に再変換して、復号された差分画像を生成する第３の再変換部１６を更に有する。
【００２２】
このように差分画像についてエンコーダ１側で低解像度画像に変換して符号化してデコーダ側で再変換を行うことより、差分画像の符号量を減らすことができる。ただし、画質が劣化する可能性がある。
【００２３】
図５は、エンコーダが出力する符号量を比較した図である。この図から分かるように、実施の形態１〜４では、エンコーダが出力する符号量を従来技術に比べて低減することができる。
【００２４】
なお、上記の実施の形態において、差分画像に対してフィルタ処理を行う構成や、デコーダ２の出力画像に対してフィルタ処理を行う構成を追加してもよい。また、低解像度画像を入力画像と同じ解像度に変換する場合に超解像技術を用いない構成とすることもできる。
【００２５】
第１の再変換画像には、「第１の変換部で生成された低解像度画像を第１の再変換部で変換したもの」、「第３の復号部で生成された低解像度画像を第１の再変換部で変換したもの」の２種類がある。また、第２の符号化部には、「差分部で生成された差分画像を符号化するもの」、「分割部で分割された差分画像を４つの符号化部で符号化するもの」、「第２の変換部で変換された差分画像を符号化するもの」の３種類がある。ただし、これらの任意の組み合わせでも同様の効果が得られることは自明である。
【符号の説明】
【００２６】
１  エンコーダ、２  デコーダ、３  第１の変換部、４  第１の再変換部、５  差分部、６  第１の符号化部、７  第２の符号化部、８  第１の復号部、９  第２の復号部、１０  第２の再変換部、１１  合成部、１２  第３の復号部、１３  分割部、１４  結合部、１５  第２の変換部、１６  第３の再変換部
【図１】
2013168702.tif 000003
【図２】
2013168702.tif 000004
【図３】
2013168702.tif 000005
【図４】
2013168702.tif 000006
【図５】
2013168702.tif 000007