(57)【要約】【課題】ブロック単位で画像を符号化し又は復号する場合に、ブロックノイズを可能な限りユーザに知覚されにくくすること。【解決手段】矩形のブロック単位で符号化処理される画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるブロック配置部と、前記ブロック配置部により配置されるブロック単位で、前記画像を符号化する符号化部と、を備える画像処理装置が提供される。前記画像処理装置により符号化された画像を復号する装置もまた提供され得る。【選択図】図１
2012238997.tif 000002
【特許請求の範囲】
【請求項１】
矩形のブロック単位で符号化処理される画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるブロック配置部と、
前記ブロック配置部により配置されるブロック単位で、前記画像を符号化する符号化部と、
を備える画像処理装置。
【請求項２】
前記ブロック配置部は、各処理ライン内のブロックの配置を当該処理ラインの位置に応じて決定する、請求項１に記載の画像処理装置。
【請求項３】
前記ブロック配置部は、前記画像に含まれる処理ラインのうち第１グループに属する処理ライン内のブロック境界と第２グループに属する処理ライン内のブロック境界とが一直線に並ばないように、各処理ライン内のブロックの配置を変化させる、請求項１に記載の画像処理装置。
【請求項４】
前記ブロック配置部は、少なくとも１つのグループに属する各処理ラインのブロックの配置を、当該処理ラインの両端にダミー画素を付加することにより変化させる、請求項３に記載の画像処理装置。
【請求項５】
各処理ラインの両端に付加される前記ダミー画素の数は、合計で１ブロック分に等しい、請求項４に記載の画像処理装置。
【請求項６】
前記ダミー画素の画素値は、隣接する画素の画素値と等しく又は固定値である、請求項４に記載の画像処理装置。
【請求項７】
前記ダミー画素の画素値は、対応する処理ラインの画素値から予測される、請求項４に記載の画像処理装置。
【請求項８】
前記画像は、動画を構成する一連のフレームの各々であり、
前記ブロック配置部は、同じ位置の処理ライン内のブロックの配置をフレームごとに変化させる、
請求項１に記載の画像処理装置。
【請求項９】
前記画像は、動画を構成する一連のフレームの各々であり、
前記動画の第１のフレームの前記処理ラインは、前記画像の水平方向に沿ったラインであり、
前記動画の第２のフレームの前記処理ラインは、前記画像の垂直方向に沿ったラインである、
請求項１に記載の画像処理装置。
【請求項１０】
前記符号化部は、ブロックの配置が処理ラインごとに変化することを示すパラメータを、前記画像の符号化データのヘッダに挿入する、請求項１に記載の画像処理装置。
【請求項１１】
矩形のブロック単位で符号化処理された画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるブロック配置部と、
前記ブロック配置部により配置されるブロック単位で、前記画像を復号する復号部と、
を備える画像処理装置。
【請求項１２】
前記ブロック配置部は、各処理ライン内のブロックの配置を当該処理ラインの位置に応じて決定する、請求項１１に記載の画像処理装置。
【請求項１３】
前記ブロック配置部は、前記画像に含まれる処理ラインのうち第１グループに属する処理ライン内のブロック境界と第２グループに属する処理ライン内のブロック境界とが一直線に並ばないように、各処理ライン内のブロックの配置を変化させる、請求項１１に記載の画像処理装置。
【請求項１４】
前記画像処理装置は、
少なくとも１つのグループに属する各処理ラインの両端に付加されたダミー画素を前記復号部により復号された前記画像から削除する削除部、
をさらに備える、請求項１３に記載の画像処理装置。
【請求項１５】
各処理ラインの両端から削除される前記ダミー画素の数は、合計で１ブロック分に等しい、請求項１４に記載の画像処理装置。
【請求項１６】
前記画像は、動画を構成する一連のフレームの各々であり、
前記ブロック配置部は、同じ位置の処理ライン内のブロックの配置をフレームごとに変化させる、
請求項１１に記載の画像処理装置。
【請求項１７】
前記画像は、動画を構成する一連のフレームの各々であり、
前記動画の第１のフレームの前記処理ラインは、前記画像の水平方向に沿ったラインであり、
前記動画の第２のフレームの前記処理ラインは、前記画像の垂直方向に沿ったラインである、
請求項１１に記載の画像処理装置。
【請求項１８】
前記ブロック配置部は、ブロックの配置が処理ラインごとに変化することを示すパラメータが前記画像の符号化データのヘッダに含まれている場合に、前記画像の処理ラインごとに各処理ライン内のブロックの配置を変化させる、請求項１１に記載の画像処理装置。
【請求項１９】
矩形のブロック単位で符号化処理される画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるステップと、
各処理ライン内に配置されるブロック単位で、前記画像を符号化するステップと、
を含む画像処理方法。
【請求項２０】
矩形のブロック単位で符号化処理された画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるステップと、
各処理ライン内に配置されるブロック単位で、前記画像を復号するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
静止画又は動画を符号化するための多くの符号化方式において、入力画像を複数のブロックに分割し、ブロックごとに符号化処理を行う手法が利用されている。例えば、ＪＰＥＧ（Joint  Photographic  Experts  Group）方式では、入力される静止画が８×８画素、１６×８画素又は１６×１６画素などのサイズを有するＭＣＵ（Minimum  Coded  Unit）に分割され、ＭＣＵごとに直交変換、量子化及びエントロピー符号化といった処理が行われる。また、Ｈ．２６４／ＡＶＣ方式では、動画に含まれる各フレームが４×４画素又は８×８画素などのサイズを有するマクロブロックに分割され、マクロブロックごとにイントラ／インター予測、直交変換、量子化及びエントロピー符号化といった処理が行われる。次世代の動画圧縮のための符号化方式であるＨＥＶＣ（High  Efficiency  Video  Coding）方式では、符号化処理の単位は符号化単位（ＣＵ：Coding  Unit）と呼ばれ、符号化単位のサイズは最小で４×４画素、最大で３２×３２画素である。
【０００３】
下記特許文献１は、静止画の符号化に際してのブロック単位の符号化処理の一例を開示している。下記特許文献２は、動画の符号化に際してのブロック単位の符号化処理の一例を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２７３４２６号公報
【特許文献２】特開２００９−１７７８５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ブロック単位で画像を圧縮符号化すると、ブロック境界において画素値の連続性が失われ、いわゆるブロックノイズが生じ得る。ブロックノイズは、特に高い圧縮率を達成しようとする場合に顕著となり易い。ブロックノイズが複数のブロックにわたって生じると、ユーザにはブロックノイズが一続きの境界線のように知覚され得るため、主観的な画質の劣化が目立つ結果となる。例えば、Ｈ．２６４／ＡＶＣでは、復号される画像にデブロックフィルタを適用することによりブロックノイズの低減を図っているが、デブロックフィルタによりブロックノイズを完全に除去することは困難である。
【０００６】
従って、ブロック単位で画像を符号化し又は復号する場合に、ブロックノイズを可能な限りユーザに知覚されにくくすることのできる手法が提供されることが望ましい。
【課題を解決するための手段】
【０００７】
本開示によれば、矩形のブロック単位で符号化処理される画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるブロック配置部と、前記ブロック配置部により配置されるブロック単位で、前記画像を符号化する符号化部と、を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、矩形のブロック単位で符号化処理された画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるブロック配置部と、前記ブロック配置部により配置されるブロック単位で、前記画像を復号する復号部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、矩形のブロック単位で符号化処理される画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるステップと、各処理ライン内に配置されるブロック単位で、前記画像を符号化するステップと、を含む画像処理方法が提供される。
【００１０】
また、本開示によれば、矩形のブロック単位で符号化処理された画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるステップと、各処理ライン内に配置されるブロック単位で、前記画像を復号するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００１１】
以上説明したように、本開示によれば、ブロック単位で画像を符号化し又は復号する場合に、ブロックノイズを可能な限りユーザに知覚されにくくすることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】格子状のブロック配置について説明するための説明図である。
【図３】ブロック配置の第１の例における処理ラインごとのダミー画素の付加について説明するための説明図である。
【図４】処理ラインごとに異なるブロック配置の第１の例について説明するための説明図である。
【図５】ブロック配置の第１の例におけるブロックノイズの発生位置について説明するための説明図である。
【図６】処理ラインごとに異なるブロック配置の第２の例について説明するための説明図である。
【図７Ａ】処理ラインごとに異なるブロック配置の第３の例について説明するための第１の説明図である。
【図７Ｂ】処理ラインごとに異なるブロック配置の第３の例について説明するための第２の説明図である。
【図８】第１の実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図９】ブロック配置の第１の例におけるダミー画素の削除について説明するための説明図である。
【図１０】符号化時の処理の流れの一例を示すフローチャートである。
【図１１】復号時の処理の流れの一例を示すフローチャートである。
【図１２】第２の実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図１３】第２の実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図１４】フレームごとのブロック配置の変化の第１の例について説明するための説明図である。
【図１５】フレームごとのブロック配置の変化の第２の例について説明するための説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下の順序で説明を行う。
１．第１の実施形態
１−１．符号化装置の構成例
１−２．復号装置の構成例
１−３．符号化時の処理の流れ
１−４．復号時の処理の流れ
２．第２の実施形態
２−１．符号化装置の構成例
２−２．復号装置の構成例
２−３．処理の流れ
２−４．変形例
３．まとめ
【００１５】
＜１．第１の実施形態＞
［１−１．符号化装置の構成例］
第１の実施形態では、静止画の符号化及び復号について説明する。本項で説明する画像処理装置１００は、静止画である入力画像を本開示に係る技術に従って符号化する符号化装置である。画像処理装置１００による符号化処理は、入力画像内に設定される矩形のブロック単位で行われる。画像処理装置１００により符号化される画像は、撮像画像であってもよく、又はＣＧ（Computer  Graphics）画像などの非撮像画像であってもよい。画像処理装置１００は、例えば、デジタルスチルカメラ、スマートフォン、ＰＣ（Personal  Computer）又はイメージスキャナなどの任意の種類の装置であってよい。また、画像処理装置１００は、上述した装置に搭載される画像符号化モジュールであってもよい。
【００１６】
図１は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図１を参照すると、画像処理装置１００は、画像取得部１１０、ブロック配置部１２０、直交変換部１４０、量子化部１５０、符号化部１６０及び画像記録部１７０を備える。直交変換部１４０、量子化部１５０及び符号化部１６０は、後に説明する拡張ブロックセクション１３０を構成する。なお、ここでは説明の簡明さのために静止画の符号化に関連する構成要素のみを示している。しかしながら、画像処理装置１００は、図１に示した構成要素以外の構成要素を有していてもよい。
【００１７】
画像取得部１１０は、符号化の対象となる入力画像を取得する。画像取得部１１０は、例えば、撮像モジュール（図示せず）により撮像される画像を入力画像として取得してもよい。その代わりに、画像取得部１１０は、記録媒体（図示せず）により記録されている画像を入力画像として取得してもよい。本実施形態において、画像取得部１１０により取得される入力画像は、静止画である。
【００１８】
ブロック配置部１２０は、画像取得部１１０により取得される入力画像内に、符号化処理の処理単位となるブロックを配置する。ブロック配置部１２０により入力画像内に配置されるブロックは、入力画像よりも小さい矩形のブロックである。後に説明する符号化処理では、ブロック配置部１２０により配置される各ブロックが、ラスタスキャンの順にそれぞれ処理される。本明細書では、ラスタスキャンの順に処理される１行又は１列のブロック群を処理ラインという。処理ラインは、水平方向に沿って並ぶブロックの行、又は垂直方向に沿って並ぶブロックの列である。
【００１９】
一般的な符号化方式では、入力画像内に格子状にブロック（例えば、ＪＰＥＧ方式のＭＣＵ）が配置される。ブロックの配置は、処理ラインによっては変化しない。例えば、図２は、既存の符号化方式における格子状のブロック配置の一例を示している。図２を参照すると、入力画像Ｉｍ０は８個の処理ライン＃１〜＃８を含み、各処理ラインに８個のブロックがそれぞれ配置されている。各処理ライン内のブロックの配置は共通している。
【００２０】
これに対し、本実施形態では、ブロック配置部１２０は、符号化処理の処理ラインごとに、各処理ライン内のブロックの配置を変化させる。ブロックの配置は、処理ラインの位置に応じて決定される。より具体的には、ブロック配置部１２０は、入力画像に含まれる複数の処理ラインを処理ラインの位置に応じて２つ以上のグループ（以下、ライングループという）にグループ化する。そして、ブロック配置部１２０は、互いに異なるライングループに属する処理ライン内のブロック境界が一直線に並ばないように、各処理ライン内のブロックの配置を変化させる。処理ライン内のブロック境界とは、当該処理ライン内で互いに隣接するブロック間の境界をいう。処理ラインが水平方向に沿って並ぶブロックの行である場合には、処理ライン内のブロック境界は垂直境界である。一方、処理ラインが垂直方向に沿って並ぶブロックの列である場合には、処理ライン内のブロック境界は水平境界である。一例として、第１のライングループは画像内の処理ラインのうち奇数番目の処理ライン、第２のライングループは偶数番目の処理ライン（又はその逆）であってよい。その代わりに、ブロック配置部１２０は、入力画像に含まれる複数の処理ラインを３つ以上のライングループにグループ化してもよい。
【００２１】
ブロック配置部１２０は、ブロックの配置を変化させるにあたり、少なくとも１つのグループに属する処理ラインの各々の両端にダミー画素を付加する。各処理ラインの両端に付加されるダミー画素の数は、典型的には、合計で１ブロック分に等しい。
【００２２】
図３を参照すると、入力画像Ｉｍ１に含まれる８個の処理ライン＃１〜＃８が、２つのライングループＬＧ１及びＬＧ２にグループ化されている。ライングループＬＧ１には、奇数番目の処理ライン＃１、＃３、＃５及び＃７が属する。ライングループＬＧ２には、偶数番目の処理ライン＃２、＃４、＃６及び＃８が属する。ブロック配置部１２０は、例えば、このうちライングループＬＧ２に属する処理ライン＃２、＃４、＃６及び＃８の各々の両端にダミー画素を付加する。図３の例では、処理ライン＃２の左端及び右端にダミー画素群Ｄ２Ｌ及びＤ２Ｒが付加されている。各ダミー画素群Ｄ２Ｌ、Ｄ２Ｒに含まれる画素数は１ブロック分の半分に等しく、ダミー画素群Ｄ２Ｌ及びＤ２Ｒを合わせると符号化処理の単位である１ブロックが形成され得る。同様に、処理ライン＃４の左端及び右端にはダミー画素群Ｄ４Ｌ及びＤ４Ｒ、処理ライン＃６の左端及び右端にはダミー画素群Ｄ６Ｌ及びＤ６Ｒ、処理ライン＃８の左端及び右端にはダミー画素群Ｄ８Ｌ及びＤ８Ｒ、がそれぞれ付加される。
【００２３】
ブロック配置部１２０は、少なくとも１つのグループ（図３の例ではライングループＬＧ２）に属する処理ラインの各々の両端にダミー画素を付加した後、各処理ラインにブロックを配置する。
【００２４】
図４を参照すると、図３に例示した入力画像Ｉｍ１に含まれる各処理ラインにブロックが配置された様子が示されている。例えば、ライングループＬＧ１に属するライン＃１には、８個のブロックＢ１１〜Ｂ１８が配置されている。ライン＃１におけるブロックの配置は、図２に例示した既存の手法における格子状のブロックの配置と同じである。同様に、ライングループＬＧ１に属するライン＃３、＃５及び＃９にもそれぞれ８個のブロックが配置されている。一方、ライングループＬＧ２に属するライン＃２には、９個のブロックＢ２１〜Ｂ２９が配置されている。ブロックＢ２１は、図３に示したダミー画素群Ｄ２Ｌを含む。ブロックＢ２９は、図３に示したダミー画素群Ｄ２Ｒを含む。同様に、ライングループＬＧ２に属するライン＃４、＃６及び＃８にもそれぞれ９個のブロックが配置されている。このように、ライングループＬＧ２の各処理ラインの両端に合計で１ブロック分のダミー画素を付加してブロックを各処理ラインの左端から並べることにより、ライングループＬＧ２に属する処理ライン内のブロック境界を、ライングループＬＧ１に属する処理ライン内のブロック境界と一直線に並ばないように配置することができる。図５には、各処理ライン内の垂直方向のブロック境界が、隣接する処理ラインの間（例えば、ライングループＬＧ１に属する処理ライン＃１とライングループＬＧ２に属する処理ライン＃２との間）で一直線に並ばないように配置されている様子が示されている。
【００２５】
図６は、ブロック配置部１２０によるブロックの配置の他の例を示している。図６を参照すると、入力画像Ｉｍ２に含まれる８個の処理ライン＃１〜＃８が、４つのライングループＬＧ１、ＬＧ２、ＬＧ３及びＬＧ４にグループ化されている。ライングループＬＧ１には、処理ライン＃１及び＃５が属する。ライングループＬＧ２には、処理ライン＃２及び＃６が属する。ライングループＬＧ３には、処理ライン＃３及び＃７が属する。ライングループＬＧ４には、処理ライン＃４及び＃８が属する。ブロック配置部１２０は、例えば、このうちライングループＬＧ２、ＬＧ３及びＬＧ４に属する処理ラインの各々の両端にダミー画素を付加する。但し、各処理ラインの左端（及び右端）に付加されるダミー画素の幅は、当該処理ラインがいずれのグループに属するかによって異なる。例えば、図６の例のように、処理ライン＃２の左端には、１ブロックの半分に相当するダミー画素群Ｄ２Ｌが付加される。これに応じて、処理ライン＃２の右端にも、１ブロックの半分に相当するダミー画素群Ｄ２Ｒが付加される。処理ライン＃３の左端には、１ブロックの４分の１に相当するダミー画素群Ｄ３Ｌが付加される。これに応じて、処理ライン＃３の右端には、１ブロックの４分の３に相当するダミー画素群Ｄ３Ｒが付加される。処理ライン＃４の左端には、１ブロックの４分の３に相当するダミー画素群Ｄ４Ｌが付加される。これに応じて、処理ライン＃４の右端には、１ブロックの４分の１に相当するダミー画素群Ｄ４Ｒが付加される。このように各処理ラインの両端にダミー画素を付加してブロックを各処理ラインの左端から並べることにより、異なるライングループに属する処理ライン内のブロック境界が一直線に並ばないようにブロックを配置することができる。
【００２６】
図７Ａ及び図７Ｂは、ブロック配置部１２０によるブロックの配置の他の例を示している。図７Ａ及び図７Ｂの例では、入力画像Ｉｍ３内に、水平方向ではなく垂直方向に沿って処理ラインが設定されている。入力画像Ｉｍ３に含まれる８個の処理ライン＃１〜＃８は、２つのライングループＬＧ１及びＬＧ２にグループ化されている。ライングループＬＧ１には、奇数番目の処理ライン＃１、＃３、＃５及び＃７が属する。ライングループＬＧ２には、偶数番目の処理ライン＃２、＃４、＃６及び＃８が属する。ブロック配置部１２０は、例えば、このうちライングループＬＧ２に属する処理ライン＃２、＃４、＃６及び＃８の各々の両端にダミー画素を付加する。これら図の例では、処理ライン＃２の上端及び下端にダミー画素群Ｄ２Ｔ及びＤ２Ｂがそれぞれ付加されている。同様に、処理ライン＃４の上端及び下端にダミー画素群Ｄ４Ｔ及びＤ４Ｂ、処理ライン＃６の上端及び下端にダミー画素群Ｄ６Ｔ及びＤ６Ｂ、処理ライン＃８の上端及び下端にダミー画素群Ｄ８Ｔ及びＤ８Ｂがそれぞれ付加されている。ブロック配置部は、これら各処理ラインについて上端からブロックを並べて配置する。それにより、ライングループＬＧ２に属する処理ライン内のブロック境界を、ライングループＬＧ１に属する処理ライン内のブロック境界と一直線に並ばないように配置することができる。なお、このような配置において、ブロックのスキャンは、図７Ａの例のように垂直方向に沿った処理ラインごとに行われてもよく、又は図７Ｂの例のように水平方向に沿って非直線状に並ぶブロック群ごとに行われてもよい。
【００２７】
ブロック配置部１２０は、ダミー画素の画素値として、所定の固定値を設定してもよく、又は各処理ラインの端部の画素値の所謂ゼロ次ホールドを設定してもよい。ゼロ次ホールドの場合、ダミー画素の画素値は、隣接する画素の画素値と等しくなる。これらの場合には、ブロック配置部１２０は、追加的な計算処理を要することなく、ダミー画素の画素値を簡易に決定することができる（即ち、実装が容易である）。
【００２８】
その代わりに、ブロック配置部１２０は、ダミー画素の画素値として、対応する処理ラインの画素値から予測される値を設定してもよい。例えば、ダミー画素の予測画素値は、対応する処理ラインに含まれる正規の（非ダミーの）画素値から線型外挿によって計算されてもよい。また、ダミー画素の予測画素値は、ダミー画素群と正規の画素群との境界を対称軸とした正規の画素値の鏡像として計算されてもよい。これらの場合には、ダミー画素の画素値がより自然な値となるため、後に説明するブロックごとの符号化処理による画質の低下を抑制することができる。
【００２９】
図１に戻り、本実施形態に係る画像処理装置１００の構成の説明を継続する。
【００３０】
拡張ブロックセクション１３０に含まれる直交変換部１４０、量子化部１５０及び符号化部１６０は、ブロック配置部１２０により非格子状に配置され得るブロックの各々について、以下に説明する処理を行う。
【００３１】
直交変換部１４０は、ブロック配置部１２０により配置される各ブロックについて２次元の直交変換を行い、直流（ＤＣ：Direct  Current）及び交流（ＡＣ：Alternate  Current）の変換係数を導出する。直交変換部１４０による直交変換は、典型的には、離散コサイン変換（ＤＣＴ：Discrete  Cosine  Transform）であってよい。その代わりに、直交変換部１４０による直交変換は、カルーネン・レーベ変換又はアダマール変換などであってもよい。そして、直交変換部１４０は、各ブロックについて導出した変換係数を表す変換係数データを量子化部１５０へ出力する。
【００３２】
量子化部１５０は、各ブロックについて、直交変換部１４０から入力される変換係数データを量子化する。量子化部１５０における量子化スケールは、例えば、より高次の変換係数がより粗く量子化されるように設定され得る。そして、量子化部１５０は、量子化後の変換係数データを符号化部１６０へ出力する。
【００３３】
符号化部１６０は、各ブロックについて、量子化部１５０による量子化後の変換係数データを符号化する。符号化部１６０による符号化は、例えばハフマン符号又はゴロム符号などに基づく可変長符号化（ＶＬＣ：Variable  Length  Coding）あるいはエントロピー符号化であってよい。そして、符号化部１６０は、符号化した変換係数データにヘッダ情報を付加し、符号化ストリームを生成する。符号化部１６０により付加されるヘッダ情報は、符号化方式の識別子、画像サイズ及びサンプリングレートなどを含み得る。
【００３４】
さらに、符号化部１６０は、ブロックの配置が処理ラインごとに変化することを示すパラメータを、符号化ストリームのヘッダに挿入してもよい。かかる構成によれば、画像処理装置１００により符号化された画像を復号しようとする装置が、当該パラメータを参照することで、既存の手法に従って画像を復号するか本開示に係る技術に従って画像を復号するかを切り替えることが可能となる。また、符号化部１６０は、ブロックの配置のパターン（例えば、どの処理ラインにどのようにダミー画素が付加されたか）を示すパラメータを符号化ストリームのヘッダに挿入してもよい。
【００３５】
画像記録部１７０は、符号化部１６０から入力される一連のブロックについての符号化ストリームを、符号化された画像データとして記録媒体に記録する。
【００３６】
［１−２．復号装置の構成例］
本項で説明する画像処理装置２００は、上述した画像処理装置１００により符号化された画像データを復号する装置である。画像処理装置２００による復号処理もまた、画像内に設定される矩形のブロック単位で行われる。画像処理装置２００は、画像処理装置１００と同一の装置であってもよく、又は画像処理装置１００とは異なる装置であってもよい。画像処理装置２００は、例えば、デジタルスチルカメラ、スマートフォン、ＰＣ、プリンタ又はデジタルフォトフレームなどの任意の種類の装置であってよい。また、画像処理装置２００は、上述した装置に搭載される画像復号モジュールであってもよい。
【００３７】
図８は、本実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。図８を参照すると、画像処理装置２００は、画像取得部２１０、ブロック配置部２２０、復号部２４０、逆量子化部２５０、逆直交変換部２６０、画素削除部２７０及び画像出力部２８０を備える。復号部２４０、逆量子化部２５０及び逆直交変換部２６０は、拡張ブロックセクション２３０を構成する。なお、ここでは説明の簡明さのために静止画の復号に関連する構成要素のみを示している。しかしながら、画像処理装置２００は、図８に示した構成要素以外の構成要素を有していてもよい。
【００３８】
画像取得部２１０は、復号の対象となる符号化された画像データを取得する。画像取得部２１０は、例えば、画像処理装置２００に内蔵され又は外付けされる記録媒体から、符号化された画像データを取得してもよい。その代わりに、画像取得部２１０は、通信部（図示せず）を介して他の装置から受信される画像データを取得してもよい。
【００３９】
ブロック配置部２２０は、画像取得部２１０により取得される符号化された画像データについて画像の各処理ラインを認識し、各処理ライン内に復号処理の処理単位となる矩形のブロックを配置する。後に説明する復号処理では、ブロック配置部２２０により配置される各ブロックが、ラスタスキャンの順にそれぞれ処理される。
【００４０】
図２に例示したように、一般的な符号化方式では、格子状のブロックの配置が利用される。格子状のブロックの配置に関しては、各処理ライン内のブロックの配置は共通している。これに対し、本実施形態では、ブロック配置部２２０は、処理ラインごとにブロックの配置を変化させる。ブロックの配置は、処理ラインの位置に応じて決定される。より具体的には、ブロック配置部２２０は、画像処理装置１００のブロック配置部１２０と同様、互いに異なるライングループに属する処理ライン内のブロック境界が一直線に並ばないように、各処理ライン内のブロックの配置を変化させる。
【００４１】
ブロック配置部２２０によるブロックの配置のパターンは、画像取得部２１０により取得される画像データの符号化の際に使用されたブロックの配置のパターンに等しい。ブロック配置部２２０は、予め定義されるパターンに従って各処理ライン内にブロックを配置してもよい。その代わりに、ブロック配置部２２０は、画像データのヘッダ情報に含まれるパラメータにより示されるパターンに従って、各処理ライン内にブロックを配置してもよい。また、ブロック配置部２２０は、ブロックの配置が処理ラインごとに変化することを示すパラメータが画像データのヘッダ情報に含まれる場合にのみ、処理ラインごとにブロックの配置を変化させてもよい。
【００４２】
拡張ブロックセクション２３０に含まれる復号部２４０、逆量子化部２５０及び逆直交変換部２６０は、ブロック配置部２２０により非格子状に配置され得るブロックの各々について、以下に説明する処理を行う。
【００４３】
復号部２４０は、各ブロックについて、画像の符号化の際に使用された符号化方式に従い、符号化された画像データを量子化された変換係数データに復号する。そして、復号部２４０は、量子化された変換係数データを逆量子化部２５０へ出力する。
【００４４】
逆量子化部２５０は、各ブロックについて、画像の符号化の際に使用された量子化スケールを用いて、復号部２４０から入力される変換係数データを逆量子化する。そして、逆量子化部２５０は、逆量子化後の変換係数データを逆直交変換部２６０へ出力する。
【００４５】
逆直交変換部２６０は、各ブロックについて、画像の符号化の際に使用された直交変換方式に従い、変換係数データからブロック内の各画素の画素値を導出する。逆直交変換部２６０により導出される画素値は、画像の符号化の際に画像に付加されたダミー画素の画素値を含み得る。そして、逆直交変換部２６０は、各ブロックの画素値を画素削除部２７０へ出力する。
【００４６】
画素削除部２７０は、復号される画像にダミー画素が付加されている場合に、付加されているダミー画素を削除する。ダミー画素は、上述したように、少なくとも１つのライングループに属する処理ラインの各々の両端に付加されている。
【００４７】
図９を参照すると、入力画像Ｉｍ１に含まれる８個の処理ライン＃１〜＃８の２つのライングループＬＧ１及びＬＧ２のうちライングループＬＧ２に属する処理ライン＃２、＃４、＃６及び＃８に、それぞれダミー画素が付加されている。画素削除部２７０は、画像内の処理ラインの位置及び画素位置に基づいてこれらダミー画素を認識し、認識したダミー画素を削除する。図９の例では、処理ライン＃２のダミー画素群Ｄ２Ｌ及びＤ２Ｒ、処理ライン＃４のダミー画素群Ｄ４Ｌ及びＤ４Ｒ、処理ライン＃６のダミー画素群Ｄ６Ｌ及びＤ６Ｒ、並びに処理ライン＃８のダミー画素群Ｄ８Ｌ及びＤ８Ｒがそれぞれ削除され得る。
【００４８】
画像出力部２８０は、画素削除部２７０から入力されるダミー画素削除後の画像を、出力画像として（図示しない表示装置、記録装置又はさらなる処理装置などへ）出力する。
【００４９】
［１−３．符号化時の処理の流れ］
図１０は、本実施形態に係る画像処理装置１００による画像の符号化の際の処理の流れの一例を示すフローチャートである。
【００５０】
図１０を参照すると、まず、画像取得部１１０は、符号化の対象となる入力画像を取得する（ステップＳ１１０）。画像取得部１１０は、取得した入力画像をブロック配置部１２０へ出力する。
【００５１】
次に、ブロック配置部１２０は、入力画像の最初の（次回以降の繰り返し処理では次の）処理ラインを注目ラインに設定する（ステップＳ１２０）。次に、ブロック配置部１２０は、注目ラインの位置に応じて、注目ラインにダミー画素を付加すべきか否かを判定する（ステップＳ１３０）。例えば、図３の例において、注目ラインが奇数番目の処理ラインであれば、当該注目ラインはライングループＬＧ１に属することから、注目ラインにダミー画素は付加されない。一方、注目ラインが偶数番目の処理ラインであれば、当該注目ラインはライングループＬＧ２に属することから、注目ラインにダミー画素が付加される。ここで、注目ラインにダミー画素を付加すべきである場合には、処理はステップＳ１４０へ進む。一方、注目ラインにダミー画素を付加すべきでない場合には、処理はステップＳ１６０へ進む。
【００５２】
ステップＳ１４０では、ブロック配置部１２０は、注目ラインの両端にダミー画素を付加する（ステップＳ１４０）。ここで付加されるダミー画素の数は、両端で合計１ブロック分に等しい。但し、注目ラインの２つの端部の一方に付加されるダミー画素の数は、注目ラインの位置に応じて異なってよい（図６の例参照）。次に、ブロック配置部１２０は、ダミー画素が付加された注目ラインのブロックの配置を調整する（ステップＳ１５０）。より具体的には、ブロック配置部１２０は、例えば、ダミー画素が付加された注目ラインの左端又は上端から所定のサイズのブロックを並べて配置する。その結果、既存の手法においてＮ個のブロックが配置される注目ラインに、より多くの（典型的にはＮ＋１個の）ブロックが配置され得る。
【００５３】
次に、ブロック配置部１２０は、注目ラインの最初の（次回以降の繰り返し処理では次の）ブロックを注目ブロックに設定する（ステップＳ１６０）。そして、注目ブロックを対象としてブロック単位の処理が実行される（ステップＳ１７０）。ここでのブロック単位の処理とは、典型的には、図１に示した画像処理装置１００の拡張ブロックセクション１３０内の処理である。即ち、直交変換部１４０による画素値の直交変換、量子化部１５０による変換係数データの量子化、及び量子化後の変換係数データの符号化部１６０による符号化が、ブロック配置部１２０により配置されるブロックの各々について行われる。
【００５４】
その後、注目ブロックが注目ライン内の最後のブロックであるか否かが判定される（ステップＳ１８０）。ここで、注目ブロックが注目ライン内の最後のブロックでない場合には、処理はステップＳ１６０に戻り、次のブロックを注目ブロックとしてブロック単位の処理が繰り返される。一方、注目ブロックが注目ライン内の最後のブロックである場合には、処理はステップＳ１９０へ進む。
【００５５】
ステップＳ１９０では、注目ラインが入力画像内の最後の処理ラインであるか否かが判定される（ステップＳ１９０）。ここで、注目ラインが入力画像内の最後の処理ラインでない場合には、処理はステップＳ１２０に戻り、次の処理ラインを注目ラインとしてブロックの配置及びブロック単位の処理が繰り返される。一方、注目ラインが入力画像内の最後の処理ラインである場合には、図１０に示した処理は終了する。
【００５６】
［１−４．復号時の処理の流れ］
図１１は、本実施形態に係る画像処理装置２００による画像の復号の際の処理の流れの一例を示すフローチャートである。
【００５７】
図１１を参照すると、まず、画像取得部２１０は、復号の対象となる符号化された画像データを取得する（ステップＳ２１０）。画像取得部２１０は、取得した画像データをブロック配置部２２０へ出力する。
【００５８】
次に、ブロック配置部２２０は、入力画像の最初の（次回以降の繰り返し処理では次の）処理ラインを注目ラインに設定する（ステップＳ２２０）。次に、ブロック配置部２２０は、注目ラインの最初の（次回以降の繰り返し処理では次の）ブロックを注目ブロックに設定する（ステップＳ２３０）。そして、注目ブロックを対象としてブロック単位の処理が実行される（ステップＳ２４０）。ここでのブロック単位の処理とは、典型的には、図８に示した画像処理装置２００の拡張ブロックセクション２３０内の処理である。即ち、復号部２４０による変換係数データの復号、逆量子化部２５０による逆量子化、及び逆直交変換部２６０による変換係数データから画素値への逆直交変換が、ブロック配置部２２０により配置されるブロックの各々について行われる。
【００５９】
次に、注目ブロックが注目ライン内の最後のブロックであるか否かが判定される（ステップＳ２５０）。ここで、注目ブロックが注目ライン内の最後のブロックでない場合には、処理はステップＳ２３０に戻り、次のブロックを注目ブロックとしてブロック単位の処理が繰り返される。一方、注目ブロックが注目ライン内の最後のブロックである場合には、処理はステップＳ２６０へ進む。
【００６０】
ステップＳ２６０では、画素削除部２７０は、注目ラインの位置に応じて、注目ラインにダミー画素が含まれるか否かを判定する（ステップＳ２６０）。例えば、図３の例において、注目ラインが奇数番目の処理ラインであれば、当該注目ラインにはダミー画素は含まれない。一方、注目ラインが偶数番目の処理ラインであれば、当該注目ラインにはダミー画素が含まれる。ここで、注目ラインにダミー画素が含まれる場合には、画素削除部２７０は、注目ラインに含まれるダミー画素を削除する（ステップＳ２７０）。ここで削除されるダミー画素の数は、両端で合計１ブロック分に等しい。但し、注目ラインの２つの端部からそれぞれ削除されるダミー画素の数は、注目ラインの位置に応じて異なってよい（図６の例参照）。一方、注目ラインにダミー画素が含まれない場合には、ステップＳ２７０の処理はスキップされる。
【００６１】
次に、注目ラインが復号される画像内の最後の処理ラインであるか否かが判定される（ステップＳ２８０）。ここで、注目ラインが画像内の最後の処理ラインでない場合には、処理はステップＳ２２０に戻り、次の処理ラインを注目ラインとしてブロックの配置、ブロック単位の処理及びダミー画素の削除が繰り返される。一方、注目ラインが画像内の最後の処理ラインである場合には、図１１に示した処理は終了する。
【００６２】
本節で説明した第１の実施形態によれば、処理ラインごとにブロックの配置が変化することで、ブロックノイズが発生し得る場所が画像内で分散する。そのため、復号される静止画を視るユーザにより主観的に知覚され得るブロックノイズを低減することができる。
【００６３】
＜２．第２の実施形態＞
［２−１．符号化装置の構成例］
第２の実施形態では、動画の符号化及び復号について説明する。本項で説明する画像処理装置３００は、動画を構成する一連のフレームの各々を本開示に係る技術に従って符号化する符号化装置である。画像処理装置３００による符号化処理は、各フレーム内に設定される矩形のブロック単位で行われる。画像処理装置３００は、例えば、デジタルビデオカメラ、スマートフォン、ＰＣ又はＡＶレコーダなどの任意の種類の装置であってよい。また、画像処理装置３００は、上述した装置に搭載される映像符号化モジュールであってもよい。
【００６４】
図１２は、本実施形態に係る画像処理装置３００の構成の一例を示すブロック図である。図１２を参照すると、画像処理装置３００は、画像取得部３１０、減算部３１５、ブロック配置部３２０、直交変換／量子化部３３０、符号化部３３５、蓄積バッファ３４０、レート制御部３４５、逆量子化／逆直交変換部３５０、画素削除部３５５、加算部３６０、フレームメモリ３６５、ブロック配置部３７０、イントラ／インター予測部３８０、補償部３８５及び画素削除部３９０を備える。直交変換／量子化部３３０、符号化部３３５、蓄積バッファ３４０、レート制御部３４５及び逆量子化／逆直交変換部３５０は、拡張ブロックセクション３２５を構成する。また、イントラ／インター予測部３８０及び補償部３８５は、拡張ブロックセクション３７５を構成する。なお、ここでは説明の簡明さのために動画の符号化に関連する構成要素のみを示している。しかしながら、画像処理装置３００は、図１２に示した構成要素以外の構成要素を有していてもよい。
【００６５】
画像取得部３１０は、符号化の対象となる動画を構成する一連のフレームを取得する。画像取得部３１０は、例えば、取得されるフレームを一時的にバッファリングし、ＧＯＰ（Group  of  Pictures）構造に応じてフレームを並び替えてもよい。画像取得部３１０は、並び替え後の各フレームを入力画像として減算部３１５及びブロック配置部３７０へ順次出力する。
【００６６】
減算部３１５には、画像取得部３１０からの入力画像及び後に説明する画素削除部３９０からの予測画像が供給される。減算部３１５は、画像取得部３１０からの入力画像と画素削除部３９０からの予測画像との差分である（予測誤差に相当する）差分画像を算出し、算出した差分画像をブロック配置部３２０へ出力する。
【００６７】
ブロック配置部３２０は、減算部３１５から入力される差分画像内に、符号化処理の処理単位となるブロックを配置する。ブロック配置部３２０により配置されるブロックは、入力画像よりも小さい矩形のブロックである。後に説明する符号化処理では、ブロック配置部３２０により配置される各ブロックが、ラスタスキャンの順にそれぞれ処理される。
【００６８】
動画の符号化においても、一般的な符号化方式では、図２に例示したような格子状のブロックの配置が利用される。格子状のブロックの配置に関しては、各処理ライン内のブロックの配置は共通している。これに対し、本実施形態では、ブロック配置部３２０は、処理ラインごとにブロックの配置を変化させる。ブロックの配置は、処理ラインの位置に応じて決定される。より具体的には、ブロック配置部３２０は、第１の実施形態に係る画像処理装置１００のブロック配置部１２０と同様、互いに異なるライングループに属する処理ライン内のブロック境界が一直線に並ばないように、少なくとも１つのライングループに属する処理ラインの各々の両端にダミー画素を付加する。
【００６９】
ブロック配置部３２０によるブロックの配置のパターンは、例えば、図４、図６又は図７Ａ及び図７Ｂに例示したパターンであってよい（他のパターンであってもよい）。ブロック配置部３２０は、予め定義されるパターンに従って各処理ライン内にブロックを配置してもよい。その代わりに、ブロック配置部３２０は、より高い符号化効率又はより高い画質を達成可能なブロックの配置のパターンを適応的に選択してもよい。
【００７０】
拡張ブロックセクション３２５に含まれる直交変換／量子化部３３０、符号化部３３５、蓄積バッファ３４０、レート制御部３４５及び逆量子化／逆直交変換部３５０は、ブロック配置部３２０により非格子状に配置され得るブロックの各々について、以下に説明する処理を行う。
【００７１】
直交変換／量子化部３３０は、減算部３１５により算出される差分画像の各ブロックについて、２次元の直交変換を行い、直流及び交流の変換係数を導出する。直交変換／量子化部３３０による直交変換は、離散コサイン変換、カルーネン・レーベ変換又はアダマール変換などであってよい。また、直交変換／量子化部３３０は、直交変換により導出した変換係数データを量子化する。直交変換／量子化部３３０における量子化スケールは、後述するレート制御部３４５により制御され得る。そして、直交変換／量子化部３３０は、量子化後の変換係数データを符号化部３３５及び逆量子化／逆直交変換部３５０へ出力する。
【００７２】
符号化部３３５は、各ブロックについて、直交変換／量子化部３３０から入力される量子化後の変換係数データを符号化する。符号化部３３５による符号化は、上述した可変長符号化あるいはエントロピー符号化であってよい。そして、符号化部３３５は、符号化した変換係数データにヘッダ情報を付加し、符号化ストリームを生成する。符号化部３３５により付加されるヘッダ情報は、符号化方式の識別子、画像サイズ、サンプリングレート、及び後述するイントラ予測又はインター予測に関する予測関連情報などを含み得る。そして、符号化部３３５は、生成した符号化ストリームを蓄積バッファ３４０へ出力する。
【００７３】
蓄積バッファ３４０は、符号化部３３５から入力される符号化ストリームを記録媒体を用いて一時的に蓄積する。そして、蓄積バッファ３４０は、蓄積した符号化ストリームを符号化された画像データとして伝送路の帯域に応じたレートで出力する。
【００７４】
レート制御部３４５は、蓄積バッファ３４０の空き容量を監視し、蓄積バッファ３４０の空き容量に応じて直交変換／量子化部３３０における量子化スケールを制御する。例えば、レート制御部３４５は、蓄積バッファ３４０の空き容量が少ない時には、量子化スケールを増加させ、符号化ストリームのビットレートを低下させ得る。また、レート制御部３４５は、蓄積バッファ３４０の空き容量が多い時には、量子化スケールを減少させ、符号化ストリームのビットレートを増大させ得る。
【００７５】
逆量子化／逆直交変換部３５０は、各ブロックについて、直交変換／量子化部３３０から入力される量子化後の変換係数データを逆量子化する。また、逆量子化／逆直交変換部３５０は、逆量子化した変換係数データから各画素の画素値を導出する。逆量子化／逆直交変換部３５０により導出される画素値は、ブロック配置部３２０により差分画像に付加されたダミー画素の画素値を含み得る。そして、逆量子化／逆直交変換部３５０は、各ブロックの画素値を画素削除部３５５へ出力する。
【００７６】
画素削除部３５５は、ブロック配置部３２０により付加されたダミー画素を削除することにより、予測誤差に相当する差分画像を復元する。ダミー画素は、上述したように、少なくとも１つのライングループに属する処理ラインの各々の両端に付加されている。そして、画素削除部３５５は、復元した差分画像を加算部３６０へ出力する。
【００７７】
加算部３６０は、画素削除部３５５から入力される復元された差分画像と後述する画素削除部３９０から入力される予測画像とを加算することにより、復号画像を生成する。そして、加算部３６０は、生成した復号画像をフレームメモリ３６５へ出力する。
【００７８】
フレームメモリ３６５は、加算部３６０から入力される復号画像を記録媒体を用いて一時的に保持する。フレームメモリ３６５により保持される復号画像は、後述するイントラ／インター予測部３８０及び補償部３８５により参照画像として使用される。
【００７９】
ブロック配置部３７０は、画像取得部３１０から入力される入力画像内に、イントラ／インター予測処理の処理単位となるブロックを配置する。ブロック配置部３７０によるブロックの配置のパターンは、ブロック配置部３２０による上述したブロックの配置のパターンと等しい。後に説明するイントラ／インター予測処理では、ブロック配置部３７０により配置される各ブロックが、ラスタスキャンの順にそれぞれ処理される。
【００８０】
拡張ブロックセクション３７５に含まれるイントラ／インター予測部３８０及び補償部３８５は、ブロック配置部３７０により非格子状に配置され得るブロックの各々について、以下に説明する処理を行う。
【００８１】
イントラ／インター予測部３８０は、画像取得部３１０により取得される入力画像の各ブロックについて、イントラ予測（空間予測）処理を行う。また、イントラ／インター予測部３８０は、入力画像の各ブロックについて、フレームメモリ３６５により保持されている参照画像を用いて、インター予測（動き予測）処理を行う。次に、イントラ／インター予測部３８０は、各予測モードにおける予測結果を所定のコスト関数を用いて評価し、最適な予測モードを決定する。そして、イントラ／インター予測部３８０は、決定した予測モード及び参照画像の識別子などを表す予測関連情報を補償部３８５へ出力する。なお、予測関連情報は、符号化部３３５へも出力され、符号化ストリームのヘッダ内に挿入され得る。
【００８２】
補償部３８５は、イントラ／インター予測部３８０により決定された予測モードに従って、各ブロックについての予測画像を生成する。補償部３８５により生成される予測画像は、ブロック配置部３７０により付加されたダミー画素についての予測画素値を含み得る。そして、補償部３８５は、生成した予測画像を画素削除部３９０へ出力する。
【００８３】
画素削除部３９０は、ブロック配置部３７０により付加されたダミー画素を予測画像から削除する。ダミー画素は、上述したように、少なくとも１つのライングループに属する処理ラインの各々の両端に付加されている。そして、画素削除部３９０は、ダミー画素の削除された予測画像を、減算部３１５及び加算部３６０へ出力する。
【００８４】
［２−２．復号装置の構成例］
本項で説明する画像処理装置４００は、上述した画像処理装置３００により符号化された画像データを復号する装置である。画像処理装置４００による復号処理もまた、画像内に設定される矩形のブロック単位で行われる。画像処理装置４００は、画像処理装置３００と同一の装置であってもよく、又は画像処理装置３００とは異なる装置であってもよい。画像処理装置４００は、例えば、デジタルビデオカメラ、スマートフォン、ＰＣ、デジタルテレビジョン装置又はＡＶプレーヤなどの任意の種類の装置であってよい。また、画像処理装置４００は、上述した装置に搭載される映像復号モジュールであってもよい。
【００８５】
図１３は、本実施形態に係る画像処理装置４００の構成の一例を示すブロック図である。図１３を参照すると、画像処理装置４００は、画像取得部４１０、ブロック配置部４１５、復号部４２５、逆量子化／逆直交変換部４３０、補償部４３５、加算部４４０、画素削除部４４５、フレームメモリ４５０及び画像出力部４５５を備える。復号部４２５、逆量子化／逆直交変換部４３０、補償部４３５及び加算部４４０は、拡張ブロックセクション４２０を構成する。なお、ここでは説明の簡明さのために動画の復号に関連する構成要素のみを示している。しかしながら、画像処理装置４００は、図１３に示した構成要素以外の構成要素を有していてもよい。
【００８６】
画像取得部４１０は、復号の対象となる符号化された画像データを取得する。本実施形態において、画像取得部４１０により取得される画像データは、動画を構成する一連のフレームについての符号化されたデータである。画像取得部４１０は、例えば、画像処理装置４００に内蔵され又は外付けされる記録媒体から、符号化された画像データを取得してもよい。その代わりに、画像取得部４１０は、通信部（図示せず）を介して他の装置から受信される画像データを取得してもよい。
【００８７】
ブロック配置部４１５は、画像取得部４１０により取得される符号化された画像データの各フレームについて処理ラインを認識し、各処理ライン内に復号処理の処理単位となる矩形のブロックを配置する。後に説明する復号処理では、ブロック配置部４１５により配置される各ブロックが、ラスタスキャンの順にそれぞれ処理される。
【００８８】
より具体的には、ブロック配置部４１５は、画像処理装置３００のブロック配置部３２０と同様、互いに異なるライングループに属する処理ライン内のブロック境界が一直線に並ばないように、各処理ライン内のブロックの配置を変化させる。ブロックの配置は、処理ラインの位置に応じて決定される。
【００８９】
ブロック配置部４１５によるブロックの配置のパターンは、画像取得部４１０により取得される画像データの符号化の際に使用されたブロックの配置のパターンに等しい。ブロック配置部４１５は、予め定義されるパターンに従って各処理ライン内にブロックを配置してもよい。その代わりに、ブロック配置部４１５は、画像データのヘッダ情報に含まれるパラメータにより示されるパターンに従って、各処理ライン内にブロックを配置してもよい。また、ブロック配置部４１５は、ブロックの配置が処理ラインごとに変化することを示すパラメータが画像データのヘッダ情報に含まれる場合にのみ、処理ラインごとにブロックの配置を変化させてもよい。
【００９０】
拡張ブロックセクション４２０に含まれる復号部４２５、逆量子化／逆直交変換部４３０、補償部４３５及び加算部４４０は、ブロック配置部４１５により非格子状に配置され得るブロックの各々について、以下に説明する処理を行う。
【００９１】
復号部４２５は、各ブロックについて、画像の符号化の際に使用された符号化方式に従い、符号化された画像データを量子化された変換係数データに復号する。そして、復号部４２５は、量子化された変換係数データを逆量子化／逆直交変換部４３０へ出力する。
【００９２】
逆量子化／逆直交変換部４３０は、各ブロックについて、画像の符号化の際に使用された量子化スケールを用いて、復号部４２５から入力される変換係数データを逆量子化する。また、逆量子化／逆直交変換部４３０は、画像の符号化の際に使用された直交変換方式に従い、変換係数データからブロック内の（予測誤差に相当する）差分画像の画素値を導出する。逆量子化／逆直交変換部４３０により導出される画素値は、画像の符号化の際に画像に付加されたダミー画素についての差分画素値を含み得る。そして、逆量子化／逆直交変換部４３０は、各ブロックの差分画素値を加算部４４０へ出力する。
【００９３】
補償部４３５は、各ブロックについて、符号化ストリームのヘッダ情報に含まれる予測関連情報に従って、イントラ予測又はインター予測に基づく予測画素値を生成する。補償部４３５により生成される予測画素値は、画像の符号化の際に画像に付加されたダミー画素についての予測画素値を含み得る。そして、補償部４３５は、生成した各ブロックの予測画素値を、加算部４４０へ出力する。
【００９４】
加算部４４０は、各ブロックについて、逆量子化／逆直交変換部４３０から入力される差分画素値と補償部４３５から入力される予測画素値とを加算することにより、復号画像の画素値を算出する。そして、加算部４４０は、算出した画素値により構成される復号画像を画素削除部４４５へ出力する。
【００９５】
画素削除部４４５は、復号される画像にダミー画素が付加されている場合に、付加されているダミー画素を削除する。ダミー画素は、上述したように、少なくとも１つのライングループに属する処理ラインの各々の両端に付加されている。画素削除部４４５は、ダミー画素削除後の復号画像を、フレームメモリ４５０及び画像出力部４５５へ出力する。
【００９６】
フレームメモリ４５０は、画素削除部４４５から入力される復号画像を記録媒体を用いて一時的に保持する。フレームメモリ４５０により保持される復号画像は、上述した補償部４３５によるインター予測の際の参照画像として使用され得る。
【００９７】
画像出力部４５５は、画素削除部４４５から順次入力されるダミー画素削除後の復号画像から時系列の一連の出力フレームを形成し、一連の出力フレームを出力画像として（図示しない表示装置、記録装置又はさらなる処理装置などへ）出力する。
【００９８】
なお、いくつかの符号化方式では、復号される画像に現れるブロックノイズを低減するために、ブロックノイズが現れているブロック境界にデブロックフィルタが適用される。本実施形態においても、画像処理装置３００におけるインター予測処理の際に参照される参照画像及び画像処理装置４００において生成される復号画像に、デブロックフィルタが適用されてよい。デブロックフィルタが適用されるブロック境界の位置は、既存の符号化方式と異なり、処理ラインごとに変化するブロックの配置に応じた位置となる。
【００９９】
［２−３．処理の流れ］
本実施形態に係る画像処理装置３００による画像の符号化の際には、入力される動画を構成する各フレームについて、図１０に示したような処理が繰り返し行われる。拡張ブロックセクション３２５におけるブロック単位での処理と、拡張ブロックセクション３７５におけるブロック単位での処理とは、並列的に行われてもよい。なお、各処理ライン内のブロック単位での処理が行われた後、図１１のステップＳ２６０及び２７０のようなダミー画素の削除が、画素削除部３５５及び画素削除部３９０により行われ得る。
【０１００】
本実施形態に係る画像処理装置４００による画像の復号の際には、復号の対象となる画像データの各フレームについて、図１１に示したような処理が繰り返し行われる。
【０１０１】
本節で説明した第２の実施形態によれば、処理ラインごとにブロックの配置が変化することで、ブロックノイズが発生し得る場所が画像内で分散する。そのため、復号される動画を視るユーザにより主観的に知覚され得るブロックノイズを低減することができる。
【０１０２】
［２−４．変形例］
上述したように、第２の実施形態に係る画像処理装置３００及び４００は、動画を構成する各フレーム内の処理ラインの空間的な位置に応じて、ブロックの配置を変化させる。それに加えて、画像処理装置３００及び４００は、各フレームの時間的な位置に応じてブロックの配置のパターンを変化させてもよい。図１４及び図１５は、そのような第２の実施形態の変形例をそれぞれ示している。
【０１０３】
（１）第１の変形例
図１４を参照すると、時系列に並ぶ４つの入力フレームＦ１、Ｆ２、Ｆ３及びＦ４が示されている。画像処理装置３００のブロック配置部３２０及び３７０並びに画像処理装置４００のブロック配置部４１５により、入力フレームＦ１について使用されるブロック配置パターンは、パターンＰ１である。例えば、パターンＰ１は、図４に例示したようなパターンであってよい。これに対し、入力フレームＦ１に続く入力フレームＦ２について使用されるブロック配置パターンは、パターンＰ１とは異なるパターンＰ２である。パターンＰ２では、同じ位置の処理ライン内のブロックの配置が、パターンＰ１とは異なるように決定される。その後、例えば奇数番目の入力フレームについてはパターンＰ１、偶数番目の入力フレームについてはパターンＰ２が使用される。なお、ここでの入力フレームの順序は、例えば画像処理装置３００の画像取得部３１０によりＧＯＰ構造に応じて並び替えられる前の順序である。このように、同じ位置の処理ライン内のブロックの配置をフレームごとに変化させることで、特に処理ラインと交差する方向に沿ったブロックノイズの発生場所が複数のフレームにわたって固定化することを避けることができる。従って、ユーザにより主観的に知覚され得るブロックノイズをより効果的に低減することができる。
【０１０４】
（２）第２の変形例
図１５を参照すると、時系列に並ぶ４つの入力フレームＦ１、Ｆ２、Ｆ３及びＦ４が再び示されている。画像処理装置３００のブロック配置部３２０及び３７０並びに画像処理装置４００のブロック配置部４１５により、入力フレームＦ１について使用されるブロック配置パターンは、パターンＰ１である。入力フレームＦ１に続く入力フレームＦ２について使用されるブロック配置パターンは、パターンＰ３である。パターンＰ１は図４に例示したようなブロック配置パターンであり、処理ラインは入力フレームの水平方向に沿って設定される。これに対し、パターンＰ３は図７Ａ及び図７Ｂに例示したようなブロック配置パターンであり、処理ラインは入力フレームの垂直方向に沿って設定される。その後、例えば奇数番目の入力フレームについてはパターンＰ１、偶数番目の入力フレームについてはパターンＰ３が使用される。ここでの入力フレームの順序もまた、例えば画像処理装置３００の画像取得部３１０によりＧＯＰ構造に応じて並び替えられる前の順序である。このように、動画を構成するフレームごとに処理ラインの方向を変化させることで、垂直方向及び水平方向の双方についてブロックノイズの発生場所を画像内で分散させ、ユーザにより主観的に知覚され得る画質をさらに高めることができる。
【０１０５】
＜４．まとめ＞
ここまで、図１〜図１５を用いて、本開示に係る技術の２つの実施形態及びその変形例について詳細に説明した。上述した実施形態によれば、画像（静止画若しくは動画）の符号化又は復号の際、矩形のブロック単位で処理される画像の処理ラインごとにブロックの配置が変化する。従って、複数のブロックにわたって生じるブロックノイズが、特に処理ラインと交差する方向において一続きの境界線のように知覚されることが回避される。その結果、復号される動画を視るユーザにより主観的に知覚され得るブロックノイズを低減することができる。
【０１０６】
また、上述した実施形態によれば、画像内の複数の処理ラインのうち少なくとも１つのグループに属する処理ラインの各々の両端にダミー画素が付加されることで、当該処理ラインのブロックの配置が変化する。各処理ラインの両端に付加されるダミー画素の数は、合計で１ブロック分に等しい。従って、既存の手法におけるブロックサイズ及びブロックの形状を変えることなく、処理ラインごとにブロック境界をずらすようにブロックを配置することができる。かかる構成によれば、既存の手法におけるブロック単位の符号化処理及び復号処理を大きく修正しなくてよいため、本開示に係る技術の導入に伴うコストを抑制することができる。
【０１０７】
また、上述した変形例のように、動画を構成するフレームごとにブロックの配置のパターンを変化させることで、ブロックノイズの発生場所が複数のフレームにわたって固定化することを避けることができる。この場合には、動画において知覚され得るブロックノイズを効果的に低減することができる。
【０１０８】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられるコンピュータ読取可能な記録媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵ（Central  Processing  Unit）などのプロセッサにより実行される。
【０１０９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
矩形のブロック単位で符号化処理される画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるブロック配置部と、
前記ブロック配置部により配置されるブロック単位で、前記画像を符号化する符号化部と、
を備える画像処理装置。
（２）
前記ブロック配置部は、各処理ライン内のブロックの配置を当該処理ラインの位置に応じて決定する、前記（１）に記載の画像処理装置。
（３）
前記ブロック配置部は、前記画像に含まれる処理ラインのうち第１グループに属する処理ライン内のブロック境界と第２グループに属する処理ライン内のブロック境界とが一直線に並ばないように、各処理ライン内のブロックの配置を変化させる、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記ブロック配置部は、少なくとも１つのグループに属する各処理ラインのブロックの配置を、当該処理ラインの両端にダミー画素を付加することにより変化させる、前記（３）に記載の画像処理装置。
（５）
各処理ラインの両端に付加される前記ダミー画素の数は、合計で１ブロック分に等しい、前記（４）に記載の画像処理装置。
（６）
前記ダミー画素の画素値は、隣接する画素の画素値と等しく又は固定値である、前記（４）又は前記（５）に記載の画像処理装置。
（７）
前記ダミー画素の画素値は、対応する処理ラインの画素値から予測される、前記（４）又は前記（５）に記載の画像処理装置。
（８）
前記画像は、動画を構成する一連のフレームの各々であり、
前記ブロック配置部は、同じ位置の処理ライン内のブロックの配置をフレームごとに変化させる、
前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記画像は、動画を構成する一連のフレームの各々であり、
前記動画の第１のフレームの前記処理ラインは、前記画像の水平方向に沿ったラインであり、
前記動画の第２のフレームの前記処理ラインは、前記画像の垂直方向に沿ったラインである、
前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（１０）
前記符号化部は、ブロックの配置が処理ラインごとに変化することを示すパラメータを、前記画像の符号化データのヘッダに挿入する、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
矩形のブロック単位で符号化処理された画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるブロック配置部と、
前記ブロック配置部により配置されるブロック単位で、前記画像を復号する復号部と、
を備える画像処理装置。
（１２）
前記ブロック配置部は、各処理ライン内のブロックの配置を当該処理ラインの位置に応じて決定する、前記（１１）に記載の画像処理装置。
（１３）
前記ブロック配置部は、前記画像に含まれる処理ラインのうち第１グループに属する処理ライン内のブロック境界と第２グループに属する処理ライン内のブロック境界とが一直線に並ばないように、各処理ライン内のブロックの配置を変化させる、前記（１１）又は前記（１２）に記載の画像処理装置。
（１４）
前記画像処理装置は、
少なくとも１つのグループに属する各処理ラインの両端に付加されたダミー画素を前記復号部により復号された前記画像から削除する削除部、
をさらに備える、前記（１３）に記載の画像処理装置。
（１５）
各処理ラインの両端から削除される前記ダミー画素の数は、合計で１ブロック分に等しい、前記（１４）に記載の画像処理装置。
（１６）
前記画像は、動画を構成する一連のフレームの各々であり、
前記ブロック配置部は、同じ位置の処理ライン内のブロックの配置をフレームごとに変化させる、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記画像は、動画を構成する一連のフレームの各々であり、
前記動画の第１のフレームの前記処理ラインは、前記画像の水平方向に沿ったラインであり、
前記動画の第２のフレームの前記処理ラインは、前記画像の垂直方向に沿ったラインである、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１８）
前記ブロック配置部は、ブロックの配置が処理ラインごとに変化することを示すパラメータが前記画像の符号化データのヘッダに含まれている場合に、前記画像の処理ラインごとに各処理ライン内のブロックの配置を変化させる、前記（１１）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
矩形のブロック単位で符号化処理される画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるステップと、
各処理ライン内に配置されるブロック単位で、前記画像を符号化するステップと、
を含む画像処理方法。
（２０）
矩形のブロック単位で符号化処理された画像の処理ラインごとに、各処理ライン内のブロックの配置を変化させるステップと、
各処理ライン内に配置されるブロック単位で、前記画像を復号するステップと、
を含む画像処理方法。
【符号の説明】
【０１１１】
１００，３００          画像処理装置（画像符号化装置）
１２０，３２０，３７０  ブロック配置部
１６０，３３５          符号化部
２００，４００          画像処理装置（画像復号装置）
２２０，４１５          ブロック配置部
２４０，４２５          復号部
２７０，４４５          画素削除部
【図１】
2012238997.tif 000003
【図２】
2012238997.tif 000004
【図３】
2012238997.tif 000005
【図４】
2012238997.tif 000006
【図５】
2012238997.tif 000007
【図６】
2012238997.tif 000008
【図７Ａ】
2012238997.tif 000009
【図７Ｂ】
2012238997.tif 000010
【図８】
2012238997.tif 000011
【図９】
2012238997.tif 000012
【図１０】
2012238997.tif 000013
【図１１】
2012238997.tif 000014
【図１２】
2012238997.tif 000015
【図１３】
2012238997.tif 000016
【図１４】
2012238997.tif 000017
【図１５】
2012238997.tif 000018