(57)【要約】【課題】隣接する複数のブロックの中から相関度の高いブロックを特定するには演算が必要となる。【解決手段】画面を複数のブロックに分割し、各ブロックの少なくとも主要成分を画面内予測符号化する符号化装置において、位置特定部３０は、対象ブロックの画面内における位置を特定する。予測方向決定部３２は、対象ブロックと、それに隣接する複数のブロックとの相関度を評価し、その評価結果に応じて、対象ブロックが参照すべきブロックの方向を特定する。予測値取得部３４は、特定された方向に位置するブロックの主要成分を予測値として取得する。差分データ生成部３８は、取得された予測値と、対象ブロックの主要成分との差分データを生成する。予測方向決定部３２は、特定された対象ブロックの位置が画面内の所定の位置である場合、相関度を評価せず、その対象ブロックが参照すべきブロックの方向をあらかじめ設定された方向に特定する。【選択図】図４
2009055192.tif 000002
【特許請求の範囲】
【請求項１】
画面を複数のブロックに分割し、各ブロックの少なくとも主要成分を画面内予測符号化する符号化装置であって、
対象ブロックの画面内における位置を特定する位置特定部と、
前記対象ブロックと、それに隣接する複数のブロックとの相関度を評価し、その評価結果に応じて、前記対象ブロックが参照すべきブロックの方向を特定する予測方向決定部と、
前記予測方向決定部により特定された方向に位置するブロックの主要成分を予測値として取得する予測値取得部と、
前記予測値取得部により取得された予測値と、前記対象ブロックの主要成分との差分データを生成する差分データ生成部と、を備え、
前記予測方向決定部は、前記位置特定部により特定された対象ブロックの位置が前記画面内の所定の位置である場合、前記相関度を評価せず、その対象ブロックが参照すべきブロックの方向をあらかじめ設定された方向に特定することを特徴とする符号化装置。
【請求項２】
前記位置特定部により特定された対象ブロックの位置が前記画面内の所定の位置である場合、その対象ブロックの主要成分の予測値として、前記予測方向決定部により特定された方向に位置するブロックの主要成分を用いず、所定の設定値を前記差分データ生成部に付与する予測値付与部をさらに備え、
前記差分データ生成部は、前記予測値付与部により前記設定値が付与されたとき、その設定値と、前記対象ブロックの主要成分との差分データを生成することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記予測方向決定部は、
前記位置特定部により特定された対象ブロックの位置が、前記画面内の左上端を除く上端列である場合、前記対象ブロックが参照すべきブロックの方向を左方向に特定し、
前記位置特定部により特定された対象ブロックの位置が、前記画面内の左上端を除く左端列である場合、前記対象ブロックが参照すべきブロックの方向を上方向に特定することを特徴とする請求項１または２に記載の符号化装置。
【請求項４】
前記位置特定部は、前記対象ブロックの前記画面内における符号化順番に応じて、前記対象ブロックの位置を特定することを特徴とする請求項１から３のいずれかに記載の符号化装置。
【請求項５】
画像を取得する撮像部と、
前記撮像部により取得された画像を符合化する請求項１から４のいずれかに記載の符号化装置と、
を備えることを特徴とする撮像装置。
【請求項６】
画面を複数のブロックに分割し、少なくとも各ブロックの主要成分を画面内予測符号化する符号化方法であって、
前記複数のブロックは、前記画面内における位置に応じて前記主要成分の予測値決定プロセスがそれぞれ異なる、第１タイプのブロックと、第２タイプのブロックと、第３タイプのブロックと、を含み、
前記第１タイプのブロックの予測値決定プロセスは、対象ブロックと、それに隣接する複数のブロックとの相関度を評価し、その評価結果に応じて、前記対象ブロックが参照すべきブロックの方向を特定し、その方向に位置するブロックの主要成分を前記予測値とするものであり、
前記第２タイプのブロックの予測値決定プロセスは、そのブロックに対してあらかじめ設定された方向に位置するブロックの主要成分を前記予測値とするものであり、
前記第３タイプのブロックの予測値決定プロセスは、所定の設定値を前記予測値とするものであることを特徴とする符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面内予測符号化を行う符号化装置、それを搭載した撮像装置、および符号化方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルムービーカメラが広く普及してきている。このようなカメラで撮像された動画像は、ＭＰＥＧ（Moving Picture Experts Group）−４やＨ．２６４／ＡＶＣなどの形式で圧縮符号化されることが多い。近年、フルＨＤ（High Definition）画質で撮像可能なカメラも実用化されており、圧縮率の向上が益々求められている。ＭＰＥＧシリーズでは様々な圧縮技術が採用されているが、その一つに、Ｉピクチャに対する画面内予測符号化技術がある。
【０００３】
非特許文献１は、ＭＰＥＧ−４において、イントラ・ブロックの量子化されたＤＣ成分の予測値を、対象となるブロックの周辺に隣接するブロック間の水平と垂直におけるＤＣ成分の勾配によって適応的に選択する技術を開示する。
【非特許文献１】「ＭＰＥＧ−４のすべて」、工業調査会  三木弼一編著、１９９８年、ｐ．４２
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画面内予測符号化において、圧縮率を向上させるためには、相関度が高いブロック内から予測値を選択することが有効である。しかしながら、隣接する複数のブロックの中から相関度の高いブロックを特定するには演算が必要となる。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、画面内予測符号化する際、圧縮率を向上させつつ、演算量を低減することができる符号化装置、それを搭載した撮像装置、および符号化方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様の符号化装置は、画面を複数のブロックに分割し、各ブロックの少なくとも主要成分を画面内予測符号化する符号化装置であって、対象ブロックの画面内における位置を特定する位置特定部と、対象ブロックと、それに隣接する複数のブロックとの相関度を評価し、その評価結果に応じて、対象ブロックが参照すべきブロックの方向を特定する予測方向決定部と、予測方向決定部により特定された方向に位置するブロックの主要成分を予測値として取得する予測値取得部と、予測値取得部により取得された予測値と、対象ブロックの主要成分との差分データを生成する差分データ生成部と、を備え、予測方向決定部は、位置特定部により特定された対象ブロックの位置が画面内の所定の位置である場合、相関度を評価せず、その対象ブロックが参照すべきブロックの方向をあらかじめ設定された方向に特定する。
【０００７】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、画面内予測符号化する際、圧縮率を向上させつつ、演算量を低減することができる。
【発明を実施するための最良の形態】
【０００９】
図１は、実施の形態に係る画面内予測符号化部１００を含む画像処理装置２００を搭載した撮像装置３００の構成を示す図である。撮像装置３００は、撮像部１０および画像処理装置２００を備える。画像処理装置２００は、直交変換部２２、量子化部２４、画面内予測符号化部１００、画面間予測符号化部２６、および可変長符号化部２８を備える。
【００１０】
撮像部１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの図示しない撮像素子、およびその素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。
【００１１】
画像処理装置２００は、撮像部１０からフレーム単位で画像を受け取り、所定の規格にしたがい、その画像を圧縮符号化する。以下、本実施の形態では、ＭＰＥＧ−４にしたがい圧縮符号化する。ＭＰＥＧシリーズの規格では、フレーム内符号化を行う画像フレームをＩ（Intra）フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをＰ（Predictive）フレーム、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをＢフレームという。なお、本明細書では、フレームとピクチャを同じ意味で用いており、Ｉフレーム、Ｐフレーム、Ｂフレームは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャとも呼ばれる。なお、ＭＰＥＧ−４では、ＶＯＰ（Video Object Plane）単位で符号化される。
【００１２】
直交変換部２２は、画像フレームをマクロブロック単位で直交変換する。ＭＰＥＧシリーズでは、輝度信号Ｙおよび色差信号Ｃｒ、ＣｂをＤＣＴ（Discrete Cosine Transform）変換し、ＤＣＴ係数を生成する。ここで、ＭＰＥＧ−４では、各マクロブロックは、六つのブロック、すなわち四つの輝度信号Ｙブロックと二つの色差信号Ｃｒ、Ｃｂブロックで構成される。各ブロックは８×８画素の矩形領域で構成される。二つの色差信号Ｃｒ、Ｃｂブロックは、縦および横の画素数が１／２にそれぞれ縮小される。
【００１３】
量子化部２４は、直交変換部２２で生成されたＤＣＴ係数を、所定の量子化テーブルを参照して量子化する。量子化部２４の出力信号は、Ｉフレームの場合、画面内予測符号化部１００に供給され、Ｐ、Ｂフレームの場合、画面間予測符号化部２６に供給される。
【００１４】
画面内予測符号化部１００は、ＩフレームのＤＣＴ係数を画面内予測符号化する。この詳細は後述する。画面間予測符号化部２６は、Ｐ、ＢフレームのＤＣＴ係数を画面間予測符号化する。ＭＰＥＧシリーズでは、画面間予測符号化する際、動き補償技術を用いることができる。本明細書では、画面間予測符号化について注目しないため、その詳細を省略する。
【００１５】
可変長符号化部２８は、画面内予測符号化部１００および画面間予測符号化部２６により生成された、ＤＣＴ係数、予測誤差信号、動きベクトル、およびその他のパラメータをエントロピー符号化する。このようにして、撮像部１０で取得された動画像は、圧縮符号化され、符号化ストリームＣＳに変換される。
【００１６】
図２は、実施の形態に係る画面内予測符号化部１００により予測符号化する際の予測方向を説明するための図である。図２は、画像フレームが複数のブロックに分割された後の、隣接する四ブロックを抜き出して描いたものである。各ブロック内の最も左上に位置する値がＤＣ成分である。図２では、このＤＣ成分を黒塗りで描かれている。画面内予測符号化処理では、まず、このＤＣ成分を予測符号化する。
【００１７】
対象ブロックＸのＤＣ成分を予測符号化する際、そのＤＣ成分との誤差を算出する際の基礎とすべき予測値を特定しなければならない。その予測値は、対象のＤＣ成分との誤差が小さいことが要求され、その要求を満たすのは、対象ブロックに隣接するブロックのＤＣ成分である。ＭＰＥＧ−４では、対象ブロックＸに対し、左方向に隣接するブロックＡ、左上方向に隣接するブロックＢ、および上方向に隣接するブロックＣのＤＣ成分の中から、最適なＤＣ成分を予測値に決定する。なお、この予測値の決定プロセス例については後述する。
【００１８】
図３は、実施の形態に係る画面内予測符号化部１００により予測符号化すべき画面を示す図である。図３に示す画面は、ｍ×ｎ（ｍ、ｎは自然数）のブロックに分割されたものである。画面内予測符号化部１００は、各ブロックの主要成分を予測符号化する。ここで、主要成分とは、ＤＣ成分であってもよいし、ＤＣ成分に隣接する低周波数のＡＣ成分であってもよい。
【００１９】
画面内予測符号化の対象とすべき画面を構成する複数のブロックは、三タイプに分類される。この分類は、主要成分の予測値決定プロセスに着目した分類である。図３では、この三タイプの分類に応じて、各ブロック内に「１」、「２ａ or ２ｂ」、「３」と記載している。後述するように、第２タイプのブロックには二種類ある。
【００２０】
第１タイプのブロック１は第１予測値決定プロセスが適用される。第１予測値決定プロセスは、対象ブロック１と、それに隣接する複数のブロックとの相関度を評価し、その評価結果に応じて、対象ブロック１が参照すべきブロックの方向を特定し、その方向に位置するブロックの主要成分を予測値とするものである。より具体的には、対象ブロック１に隣接する複数のブロックにそれぞれ含まれる主要成分間に所定の演算を施し、その結果を参照して、それら隣接するブロックの中から一つを特定し、そのブロックの主要成分を予測値とするものである。詳細は後述する。
【００２１】
第２タイプのブロック２ａ、２ｂは第２予測値決定プロセスが適用される。第２予測値決定プロセスは、対象ブロック２ａ、２ｂに対してあらかじめ設定された方向に位置するブロックの主要成分を予測値とするものである。二種類の第２タイプのブロック２ａ、２ｂのうち、一方のブロック２ａは、画面内の左上端に位置するブロックを除き、上端列に位置する。この場合、あらかじめ設定される方向は、対象ブロックの左方向である。他方のブロック２ｂは、画面内の左上端に位置するブロックを除き、左端列に位置する。この場合、あらかじめ設定される方向は、対象ブロックの上方向である。
【００２２】
第３タイプのブロック３の予測値決定プロセスは、所定の設定値を予測値とするものである。第３タイプのブロック３は、画面内の左上端に位置する。所定の設定値については後述する。
【００２３】
画面内の上端列および左端列以外に位置するブロックは、第１タイプのブロック１である。このように、画面内の各ブロックは、第１タイプ、第２タイプおよび第３タイプのいずれに属するか、画面内における位置に応じてあらかじめ設定されている。
【００２４】
図４は、実施の形態に係る画面内予測符号化部１００の構成を示す図である。画面内予測符号化部１００は、位置特定部３０、予測方向決定部３２、予測値取得部３４、予測値付与部３６、および差分データ生成部３８を備える。これらの構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２５】
位置特定部３０は、符号化すべき対象ブロックの画面内における位置を特定する。
予測方向決定部３２は、対象ブロックと、それに隣接する複数のブロックとの相関度を評価し、その評価結果に応じて、前記対象ブロックが参照すべきブロックの方向を特定する。この相関度を評価する処理の詳細は後述する。
【００２６】
予測方向決定部３２は、例外処理として、位置特定部３０により特定された対象ブロックの位置が画面内の所定の位置である場合、上記相関度を評価せず、その対象ブロックが参照すべきブロックの方向をあらかじめ設定された方向に特定する。本実施の形態では、特定された対象ブロックの位置が、画面内の左上端を除く上端列である場合、すなわち第２タイプのブロック２ａの場合、その対象ブロックが参照すべきブロックの方向を左方向に特定する。また、特定された対象ブロックの位置が、画面内の左上端を除く左端列である場合、すなわち第２タイプのブロック２ｂの場合、その対象ブロックが参照すべきブロックの方向を上方向に特定する。
【００２７】
予測値取得部３４は、予測方向決定部３２により特定された方向に位置するブロックの主要成分を予測値として取得する。なお、特定された方向に位置するブロックは、対象ブロックに隣接するブロックであってもよいし、対象ブロックから一ブロック以上離れたブロックであってもよい。
【００２８】
予測値付与部３６は、位置特定部３０により特定された対象ブロックの位置が画面内の所定の位置である場合、その対象ブロックの主要成分の予測値として、予測方向決定部３２により特定された方向に位置するブロックの主要成分を用いず、所定の設定値を差分データ生成部３８に付与する。
【００２９】
本実施の形態では、予測値付与部３６は、特定された対象ブロックの位置が画面内の左上端である場合、すなわち第３タイプのブロック３の場合、上記予測値として上記設定値を付与する。この設定値には、２Ｎ＋２（Ｎは画素の表現ビット数）を用いることができる。たとえば、各画素を８ビットで表現している場合、上記設定値は１０２４となる。この設定値は、各画面の最初の予測値となるリセット値であり、設計しやすい数値であれば、２Ｎ＋２以外の値でもよい。
【００３０】
差分データ生成部３８は、予測値取得部３４により取得された予測値と、対象ブロックの主要成分との差分データを予測誤差信号として生成する。また、差分データ生成部３８は、予測値付与部３６により設定値が付与されたとき、その設定値と、対象ブロックの主要成分との差分データを予測誤差信号として生成する。
【００３１】
図５は、実施の形態に係る画面内予測符号化部１００に含まれる予測方向決定部３２による予測方向決定処理を示すフローチャートである。この予測方向決定処理は、対象ブロックとそれに隣接する複数のブロックとの相関度を評価して、参照すべきブロックの方向を決定するものである。以下、図２を参照しながら、対象ブロックＸに対し、左方向に隣接するブロックＡ、左上方向に隣接するブロックＢ、および上方向に隣接するブロックＣのＤＣ成分の中から、最適なＤＣ成分を予測値に決定する例を説明する。
【００３２】
図５にて、δａはブロックＡの逆量子化されたＤＣ成分、δｂはブロックＡの逆量子化されたＤＣ成分、δｃはブロックＣの逆量子化されたＤＣ成分、Ｖは垂直方向における勾配、Ｈは水平方向における勾配、およびδｐは決定された予測値をそれぞれ表す。
【００３３】
まず、予測方向決定部３２は、対象ブロックＸに隣接するブロックＡ、Ｂ間の垂直方向におけるＤＣ成分の勾配Ｖを求める（Ｓ１０）。この勾配Ｖは、ブロックＡの逆量子化されたＤＣ成分δａと、ブロックＡの逆量子化されたＤＣ成分δｂとの絶対値差分で表される。
【００３４】
それと共に、予測方向決定部３２は、対象ブロックＸに隣接するブロックＢ、Ｃ間の水平方向におけるＤＣ成分の勾配Ｈを求める（Ｓ１２）。この勾配Ｈは、ブロックＢの逆量子化されたＤＣ成分δｂと、ブロックＣの逆量子化されたＤＣ成分δｃとの絶対値差分で表される。
【００３５】
予測方向決定部３２は、垂直方向における勾配Ｖと水平方向における勾配Ｈとの大小関係を判定する（Ｓ１４）。垂直方向における勾配Ｖが水平方向における勾配Ｈより小さい場合（Ｓ１４のＹ）、ブロックＣの逆量子化されたＤＣ成分δｃを予測値δｐに決定する（Ｓ１６）。垂直方向における勾配Ｖが水平方向における勾配Ｈ以上の場合（Ｓ１４のＮ）、ブロックＡの逆量子化されたＤＣ成分δａを予測値δｐに決定する（Ｓ１８）。
【００３６】
すなわち、垂直方向における勾配Ｖが水平方向における勾配Ｈより小さい場合、垂直方向に相関度が高く、上方向に隣接するブロックＣのＤＣ成分δｃとの予測誤差が小さくなると推測することができる。一方、水平方向における勾配Ｈが垂直方向における勾配Ｖより小さい場合、水平方向に相関度が高く、左方向に隣接するブロックＡのＤＣ成分δａとの予測誤差が小さくなると推測することができる。
【００３７】
以上に示したＤＣ成分の予測符号化は、マクロブロックを構成する六つのブロックのそれぞれについて実行される。すなわち、輝度信号Ｙだけでなく、二種類の色差信号Ｃｒ、Ｃｂについてもそれぞれ実行される。また、各ブロックのＡＣ成分についても、ＤＣ成分の予測符号化処理で決定された予測方向を基礎に、ブロック間の予測符号化処理を実行することができる。なお、ＡＣ成分については予測符号化しない処理も可能である。
【００３８】
以上説明したように本実施の形態によれば、画面内予測符号化する際、予測値決定プロセスを適宜変更することにより、圧縮率を向上させつつ、演算量を低減することができる。すなわち、図２および図５に示したように、隣接する複数のブロックから演算により予測誤差が小さいと推測できるブロックを特定することができる。また、その演算の基礎とすべき、隣接するブロックが存在しないブロックでは、あらかじめ決定された方向に位置するブロックまたはあらかじめ設定された値を用いることにより、上記演算を省略することができる。
【００３９】
従来、予測方向を決定するための演算の基礎とすべき、隣接するブロックが存在しないブロックでは、その存在しないブロックが存在すると仮定し、何らかの設定値を代入して、上記演算を実行していた。これに対し、本実施の形態では、画面の対象ブロックの位置に応じて、予測値決定プロセスを変更するため、不必要な演算を省略することができる。
【００４０】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４１】
実施の形態では、位置特定部３０は、対象ブロックの位置を、各ブロックに付された座標を参照して特定した。この点、対象ブロックの画面内における符号化順番に応じて、対象ブロックの位置を特定してもよい。図３を参照して説明すると、第３タイプのブロック３は、座標（１，１）に位置し、第２タイプの一方のブロック２ａは、座標（２〜ｍ，１）に位置し、第２タイプの他方のブロック２ｂは、座標（１，２〜ｎ）に位置する。
【００４２】
ここで、符号化順を、一行目を左から右に符号化し、つぎに、二行目を左から右に符号化するといった順番で、座標（１，１）から座標（ｍ，ｎ）に向かって符号化する場合を想定する。この符号化順では、一番目が第３タイプとなり、二番目からｍ番目が第２タイプａとなる。ｍ＋１番目、２ｍ＋１番目、・・・（ｎ−１）ｍ＋１番目が第２タイプｂとなる。それ以外の順番が第１タイプとなる。このように、位置特定部３０は、対象ブロックの位置を、画面内における符号化順番に応じて特定することができる。これにより、対象ブロックの座標を参照しなくても、対象ブロックのタイプを特定することができ、処理量を低減することができる。
【図面の簡単な説明】
【００４３】
【図１】実施の形態に係る画面内符号化部を含む画像処理装置を搭載した撮像装置の構成を示す図である。
【図２】実施の形態に係る画面内予測符号化部により予測符号化する際の予測方向を説明するための図である。
【図３】実施の形態に係る画面内予測符号化部により予測符号化すべき画面を示す図である。
【図４】実施の形態に係る画面内符号化部の構成を示す図である。
【図５】実施の形態に係る画面内予測符号化部に含まれる予測方向決定部による予測方向決定処理を示すフローチャートである。
【符号の説明】
【００４４】
１０  撮像部、  ２２  直交変換部、  ２４  量子化部、  ２６  画面間予測符号化部、  ２８  可変長符号化部、  ３０  位置特定部、  ３２  予測方向決定部、  ３４  予測値取得部、  ３６  予測値付与部、  ３８  差分データ生成部、  １００  画面内予測符号化部、  ２００  画像処理装置、  ３００  撮像装置。
【図１】
2009055192.tif 000003
【図２】
2009055192.tif 000004
【図３】
2009055192.tif 000005
【図４】
2009055192.tif 000006
【図５】
2009055192.tif 000007