(57)【要約】  内挿画素生成のためのｎタップフィルタ処理を、隣接画素の画素値の差の項と和の項から成り立つ形式の演算に変換し、隣接画素の画素値の差がゼロとなる場合に、その項に関する演算を省略することにより、内挿画素生成の処理量を削減する。画素内挿方法のフローチャートのループ処理において、参照画素の画素値は、１度のループ処理に１画素分だけ読込まれ、一つ前のループ処理で読み込まれた隣接参照画素との間で、画素値の差と和を求め、連続する複数の内挿画素の画素値の内挿演算を行い、冗長な画素値の読み出しを回避している。その結果、内挿画素生成処理を、消費電力を削減しつつ、高速化する。
2008532335.tif 000002
【特許請求の範囲】
【請求項１】
タップフィルタ処理による画素内挿方法であって、
２つの参照画素からなる隣接画素対の画素値の和を求める加算ステップと、
前記隣接画素対の画素値の差を求める減算ステップと、
前記画素値の差の絶対値が特定値以下であるかを判定する判定ステップと、
前記画素値の和の値に第１の係数を掛けて第１の積を求める第１の乗算ステップとを含み、
前記判定ステップにおいて、前記画素値の差の絶対値が特定値を超えると判定された場合は、
前記画素値の差の値に複数の第２の係数を掛けて複数の第２の積を求める第２の乗算ステップと、
連続する複数の内挿画素のそれぞれに対応して設けられた、複数のレジスタのそれぞれの値に対して、前記第１の積と前記複数の第２の積とを加算または減算して、前記複数の内挿画素のそれぞれの内挿画素値となる値を累積加算する第１の加減算ステップをさらに含み、
前記判定ステップにおいて、前記画素値の差の絶対値が特定値以下であると判定された場合は、
前記複数のレジスタのうちの対応するレジスタの値に対して、前記第１の積を加算または減算して、前記複数の内挿画素のそれぞれの内挿画素値となる値を累積加算する第２の加減算ステップをさらに含む、画素内挿方法。
【請求項２】
前記加算ステップと、前記減算ステップと、前記判定ステップと、前記第１の乗算ステップと、前記第２の乗算ステップと、前記第１の加減算ステップと、前記第２の加減算ステップとを、前記隣接画素対と異なる複数の隣接画素対に対して繰返し実行し、前記複数の内挿画素のそれぞれの内挿画素値を得る、請求の範囲第１項記載の画素内挿方法。
【請求項３】
前記特定値は、前記隣接画素対のそれぞれの画素値を２進表示した時の最下位ビットが示す値以下である請求の範囲第１項記載の画素内挿方法。
【請求項４】
前記第１の係数と前記複数の第２の係数は２の冪乗の係数であって、
前記第１の乗算ステップでは、前記画素値の和の値を前記第１の係数の冪指数分だけビットシフトし、
前記第２の乗算ステップでは、前記画素値の差の値を前記複数の第２の係数のそれぞれの冪指数分だけビットシフトする、請求の範囲第１項記載の画素内挿方法。
【請求項５】
前記タップフィルタ処理におけるタップ係数は、｛１、−５、２０、２０、−５、１｝で与えられ、前記タップ係数による演算を、
ｂ［ｋ］＝（（ａ［ｋ−２］−ａ［ｋ−１］）−４＊（ａ［ｋ−１］−ａ［ｋ］）＋１６＊（ａ［ｋ］＋ａ［ｋ＋１］）＋４＊（ａ［ｋ＋１］−ａ［ｋ＋２］）−（ａ［ｋ＋２］−ａ［ｋ＋３］））／３２
の式（ただし、ａ［ｋ］は、複数の参照画素のｋ番目の位置にある画素の画素値、ｂ［ｋ］は、前記連続する複数の内挿画素のｋ番目の位置にある画素の内挿画素値を示し、引数「ｋ」は、ある基準の画素からの位置を示す整数）に基づいて行う、請求の範囲第１項記載の画素内挿方法。
【請求項６】
前記画素値ａ［ｋ］を読み出す第１のステップと、
前記画素値ａ［ｋ］と第１のレジスタに記憶されている隣接画素の画素値ａ［ｋ−１］との差と和を求め、前記差の値を第２のレジスタへ格納し、前記和の値を４ビット左シフトして第３のレジスタへ格納する第２のステップと、
前記差の絶対値が特定値以下であるかを判定する第３のステップとを含み、
前記第３のステップにおいて、前記差の絶対値が特定値を超えると判定された場合は、
第４のレジスタの値から前記第２のレジスタの値を減じる第４のステップと、
前記第２のレジスタの値を２ビット左シフトし、その値を第５のレジスタに加え、第６のレジスタから減じる第５のステップと、
前記ｋ番目の位置の画素の内挿画素値として、前記第４のレジスタの値を読み出し、前記画素値ａ［ｋ］を前記第１のレジスタへ格納する第６のステップとをさらに含むループ処理を行い、
前記第３のステップにおいて、前記差の絶対値が特定値以下であると判定された場合は、
前記ｋ番目の位置の画素の内挿画素値として、前記第４のレジスタの値を読み出し、前記画素値ａ［ｋ］を前記第１のレジスタへ格納する前記第６のステップとをさらに含むループ処理を行う、請求の範囲第５項記載の画素内挿方法。
【請求項７】
前記特定値は、前記画素値ａ［ｋ］を２進表示した時の最下位ビットが示す値以下である請求の範囲第６項記載の画素内挿方法。
【請求項８】
２つの画素からなる隣接画素対の画素値の和を求める加算部と、
前記隣接画素対の画素値の差を求める減算部と、
前記画素値の差の絶対値が特定値以下であるかを判定する判定部と、
複数のレジスタと、
前記画素値の和の値に所定の係数を掛ける第１の乗算部と、
前記画素値の差の値に所定の係数を掛ける第２の乗算部と、
前記減算部が求めた前記画素値の差の値または前記第１の乗算部と前記第２の乗算部が求めた乗算結果を、前記複数のレジスタのそれぞれのレジスタの値に対して、加算または減算して、前記それぞれのレジスタの後段のレジスタへ渡す、複数の加減算部を備え、
前記判定部が、前記画素値の差の絶対値が特定値以下であると判定した場合は、
前記判定部は、画素値の差の絶対値が特定値以下であると判定された隣接画素対に係る演算を実行しないように、前記第２の乗算部と前記複数の加減算部を制御する、画素内挿装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像の内挿画素値を求めるタップフィルタ処理に関するものであり、特に、ピクチャ間予測符号化による動画像符号化処理・復号処理に用いられる画素内挿方法に関するものである。
【背景技術】
【０００２】
動画像の高能率圧縮符号化において、ピクチャ間の相関を利用するピクチャ間予測符号化が用いられ、ＭＰＥＧ−２、ＭＰＥＧ−４（パート２）、Ｈ．２６４｜ＭＰＥＧ−４（パート１０）ＡＶＣ（以下、単に、Ｈ．２６４と参照する）等の符号化規格に組み込まれている。これらの符号化規格では、現ピクチャは、複数の画素からなる矩形の画素ブロックに分割され、そのブロック毎に処理が行われる。ピクチャ間予測符号化は、現ピクチャ上のブロックと参照対象となる参照ピクチャ上のブロックとの間の動きを示す動きベクトルと、その参照ピクチャ上のブロックを基に動き補償された予測ブロックとを生成し、予測ブロックと現ピクチャ上のブロックとの画素値の差分に対して符号化を行う。
【０００３】
上述の動き補償により生成される予測ピクチャの精度を増して符号化効率を高めるために、動きベクトルの各成分は、整数精度の画素より細分された単位（１／２精度、１／４精度など）で表される。この様な動き補償においては、参照ピクチャより予測ピクチャを生成するに当たり、画素の内挿処理が必要であり、その算出方法は各符号化規格に定められている。
【０００４】
符号化標準の一つであるＨ．２６４では、上述した画素の内挿処理の方法として、６タップフィルタ処理が文献１（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ  （ＪＶＴ）  ｏｆ  ＩＳＯ／ＩＥＣ  ＭＰＥＧ  ＆  ＩＴＵ−Ｔ  ＶＣＥＧ；  ”Ｄｒａｆｔ  ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  ａｎｄ  Ｆｉｎａｌ  Ｄｒａｆｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ｏｆ  Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  （ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０  ＡＶＣ）”、８．４．２．２節参照）に規定されている。
【０００５】
これについて簡単に説明すると、この６タップフィルタは、タップ係数｛１、−５、２０、２０、−５、１｝を持ち、参照ピクチャ上の水平または垂直方向のあるライン上に並ぶ画素について、ｉ番目（ｉ：整数）の位置における画素の画素値がａ［ｉ］と表されるとき、（ｋ＋１／２）番目（ｋ：整数）の位置にある内挿画素の画素値を次のように求める。先ず、（数１）に従って、内挿画素の中間画素値「ｂ」を求め、さらに、（数２）に従って規格化と飽和処理を行い、内挿画素の最終的な画素値として、画素値「ｃ」を求める。
【０００６】
【数１】
2008532335.tif 000003
【０００７】
【数２】
2008532335.tif 000004
【０００８】
図８は、参照ピクチャの画素、即ち整数精度の画素、１／２精度の内挿画素、及び、１／４精度の内挿画素の位置関係を示す図である（文献１：Ｆｉｇｕｒｅ  ８−４）。同図において、円で囲まれた画素Ａ〜Ｕは、整数精度の画素であり、四角で囲まれた画素ｂ、ｈ、ｊ、ｍ、ｓ、ａａ〜ｈｈは、１／２精度の画素であり、残りの四角で囲まれた画素ａ、ｃ、ｄ、ｅ、ｆ、ｇ、ｉ、ｋ、ｎ、ｐ、ｑ、ｒは、１／４精度の画素である。
【０００９】
このとき、画素ｂ、ｓの画素値は、それぞれの画素が位置する水平方向のライン上に並ぶ画素の画素値に対して、上述した６タップフィルタ処理を行うことで求められる。画素ｈ、ｍの画素値は、それぞれの画素が位置する垂直方向のライン上に並ぶ画素の画素値に対して、上述した６タップフィルタ処理を行うことで求められる。また、画素ｊの画素値は、水平方向の６タップフィルタ処理により求められた６個の画素ａａ、ｂｂ、ｂ、ｓ、ｇｇ、ｈｈの画素値に対して、垂直方向の６タップフィルタ処理を行うことで求められる。または、画素ｊの画素値は、フィルタ方向の順序を逆にして、垂直方向の６タップフィルタ処理により求められた６個の画素ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆの画素値に対して、水平方向の６タップフィルタを行うことでも求めることができる。
【００１０】
１／４精度の画素の画素値は、隣接する１／２精度の画素或いは整数精度の画素の２つの画素値の平均より定められる。例として、画素ａの画素値は、整数精度の画素Ｇの画素値と１／２精度の画素ｂの画素値との平均で求められ、画素ｅの画素値は、１／２精度の画素ｂの画素値と１／２精度の画素ｈの画素値との平均で求められ、画素ｆの画素値は、１／２精度の画素ｂの画素値と１／２精度の画素ｊの画素値との平均により求められる。
【００１１】
上述したような６タップフィルタによる内挿処理によって予測ピクチャを生成する場合、ある一つの内挿画素の画素値を求めるために、相当量の処理を必要とする。例えば、内挿画素が画素ｆ、ｉ、ｊ、ｋ、ｑの何れかであると、３６個の整数精度の画素の画素値を対象に演算が行われる。そして、このような内挿処理は、予測ブロックに含まれる画素数分だけ必要であり、更にピクチャ間予測を行うブロック全てが対象となるため、この動き補償処理は、動画像の符号化処理または復号処理において膨大な演算量となる。
【００１２】
図９は、上述した６タップフィルタによって内挿画素の画素値を求める従来の画素内挿方法の一例を示すフローチャートである。以下、図９に示す従来の画素内挿方法について説明する。
【００１３】
ステップＳ０において画素内挿処理が開始されると、ステップＳ１において、変数「ｍ」と変数「ｋ」に初期値が与えられる。ここで、変数「ｋ」は、参照ピクチャを構成する画素の画素値を格納した配列変数ａから、対称となる参照画素の画素値を読み出すためのインデックスである。上述の図８との対応では、例えば、内挿画素ｂの画素値を求める場合については、変数「ｋ」は、整数精度の画素Ｊを示している。変数「ｍ」は、求める内挿画素の予測ブロック内の位置を示すインデックスである。変数「ｉ」は、参照画素の画素値を読出す基準点を示すインデックスである。そして、それは、始めに求める内挿画素の左上に位置する整数画素を示し、図８上では、画素Ｇを示す。
【００１４】
ステップＳ２において、参照範囲の端から５個の参照画素の画素値を読み出す。この処理は、始めの内挿画素の画素値を求める準備段階である。
【００１５】
ステップＳ３において、変数「ｋ」に位置する参照画素の画素値を読み出す。
【００１６】
ステップＳ４において、（数１）の演算を行い、内挿画素の中間画素値「ｂ」を求める。
【００１７】
ステップＳ５において、（数２）に従って、中間画素値「ｂ」の規格化と飽和処理を行ない、内挿画素の画素値「ｃ」を求める。規格化は、（数１）で求まった中間画素値「ｂ」を値「３２」で割る。関数Ｃｌｉｐ（ｘ）は、変数「ｘ」が０〜２５５の範囲を超えた場合に、０〜２５５の範囲に抑える（クリップする）関数である。
【００１８】
ステップＳ６において、ステップＳ５において求まった内挿画素の画素値「ｂ」を出力する。
【００１９】
ステップＳ７において、次のループに備え、変数「ｍ」と変数「ｋ」をそれぞれ値「１」だけ増分する。
【００２０】
ステップＳ８において、生成された内挿画素の個数が規定の数「Ｎ」に達したかを判定する。判定結果が「Ｎｏ」（規定の数「Ｎ」に達していない）の場合は、制御をステップＳ３に戻し、ステップＳ３〜ステップＳ８を繰り返す。判定結果が「Ｙｅｓ」（規定の数「Ｎ」に達している）の場合は、制御をステップＳ９に移し、一連の画素内挿処理を終了する。
【００２１】
上述の通り、図９のステップＳ３〜ステップＳ８から成るループ処理を１回処理する毎に１つの内挿画素の画素値が求められる。
【００２２】
図１０は、従来の、６タップフィルタによる画素内挿装置のブロック図を示す。図１０は、文献２（日本国特開平７−１５７３４号公報）が開示するタップフィルタの構成を基に、上述した内挿処理に用いる６タップフィルタを構成したものである。図１０に示すように、従来の画素内挿装置は、レジスタ（図中では、「Ｒ」と略記）１〜６、乗算部（同じく、「Ｍ」と略記）７〜１０、加算部（同じく、「＋」と略記）１１、１２、及び、クリッパー１３を備える。レジスタ１〜６は、入力参照画素の画素値「ａ［ｋ］」を入力とするシフトレジスタを構成している。
【００２３】
図１０に示す従来の画素内挿装置の動作を以下に説明する。
【００２４】
レジスタ１〜６より成るシフトレジスタは、図中に示されないシフト制御信号によりシフト操作が行われ、入力される参照画素の画素値「ａ［ｋ］」が順に受け渡されることで、各レジスタに連続する６個の参照画素の画素値が保持される。乗算部７〜１０は、レジスタ２〜５に格納されている夫々の参照画素の画素値と、図中に示した所定の係数（乗算部７と乗算部１０は、係数「−５」、乗算部８と乗算部９は、係数「２０」）との乗算を行い、それぞれの積を求める。加算部１１は、レジスタ１の値と、レジスタ６の値と、乗算部７〜１０の積の値との加算を行い、総和を求める。加算部１２は、加算部１１で求めた総和に定数「１６」を加算し、クリッパー１３は、加算結果に対して、飽和処理を行い、内挿画素の画素値「ｃ」を出力する。これにより、シフト制御信号に従って順々に参照画素の画素値が入力されることにより、連続する内挿画素の画素値「ｃ」が、上述した（数１）と（数２）で示される６タップフィルタ処理によって求められる。
【００２５】
ここで、乗算部７から１０は、乗数が所定の定数であることから、ビットシフト、加算、及び、符号反転で構成することができ、通常の乗算器よりも回路規模を小さくしている。
【００２６】
以上説明した、従来の画素内挿方法を適用した画素内挿装置においては、その演算量は、参照画素の画素値に係らず一定であり、画素値を考慮した演算量削減は行っておらず、ソフトウェア処理においての処理の高速化、画素内挿装置においての消費電力削減について一定の限界が存在していた。
【００２７】
また、高速化の手法として、文献３（日本国特開２０００−１９０９４８号公報）が開示するように、乗算結果を保持するルックアップテーブルを用いることにより、演算負荷を低減する試みも成されているが、この手法では、ルックアップテーブルを設けることにより、回路規模が増大するという課題が存在する。
【００２８】
以上説明したように、従来の画素内挿方法及び画素内挿装置においては、次の課題に対して十分に対応できない。
【００２９】
すなわち、動画像の高画質化のための、高精細化およびフレームレート増加の要求に答えるためには、単位時間当たりに処理する画素数を増さなければならないが、従来技術では、処理速度に一定の限界があり、動き補償の高速化が困難である。
【００３０】
また、このような画素内挿処理を伴う動画像の符号化・復号技術が、携帯電話などの携帯機器に利用される場合においては、容量の限られた電池より電源供給を受けるため、消費電力の低減も重要な課題である。
【特許文献１】特開平７−１５７３４号公報
【特許文献２】特開２０００−１９０９４８号公報
【非特許文献１】Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ  （ＪＶＴ）  ｏｆ  ＩＳＯ／ＩＥＣ  ＭＰＥＧ  ＆  ＩＴＵ−Ｔ  ＶＣＥＧ；  ”Ｄｒａｆｔ  ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  ａｎｄ  Ｆｉｎａｌ  Ｄｒａｆｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ｏｆ  Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  （ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０  ＡＶＣ）”、８．４．２．２節
【発明の開示】
【発明が解決しようとする課題】
【００３１】
そこで本発明は、画素内挿処理の高速化、及び、低消費電力化を可能とする画像内挿方法及び画素内挿装置を提供することを目的とする。
【課題を解決するための手段】
【００３２】
請求項１記載の画素内挿方法は、タップフィルタ処理による画素内挿方法であって、２つの参照画素からなる隣接画素対の画素値の和を求める加算ステップと、隣接画素対の画素値の差を求める減算ステップと、画素値の差の絶対値が特定値以下であるかを判定する判定ステップと、画素値の和の値に第１の係数を掛けて第１の積を求める第１の乗算ステップとを含む。判定ステップにおいて、画素値の差の絶対値が特定値を超えると判定された場合は、画素値の差の値に複数の第２の係数を掛けて複数の第２の積を求める第２の乗算ステップと、連続する複数の内挿画素のそれぞれに対応して設けられた、複数のレジスタのそれぞれの値に対して、第１の積と複数の第２の積とを加算または減算して、複数の内挿画素のそれぞれの内挿画素値となる値を累積加算する第１の加減算ステップをさらに含む。判定ステップにおいて、画素値の差の絶対値が特定値以下であると判定された場合は、複数のレジスタのうちの対応するレジスタの値に対して、第１の積を加算または減算して、複数の内挿画素のそれぞれの内挿画素値となる値を累積加算する第２の加減算ステップをさらに含む。
【００３３】
この構成によれば、隣接画素対の画素値の差の絶対値がある特定値以下である場合は、これらの隣接画素の画素値の差に関係する第２の乗算ステップの処理と、レジスタに対する第２の積の加算または減算の処理を省略する、画素内挿方法を提供できる。従って、画素内挿処理を、省略した処理の分だけ高速に実行できる。
【００３４】
請求項２記載の画素内挿方法では、加算ステップと、減算ステップと、判定ステップと、第１の乗算ステップと、第２の乗算ステップと、第１の加減算ステップと、第２の加減算ステップとを、隣接画素対と異なる複数の隣接画素対に対して繰返し実行し、複数の内挿画素のそれぞれの内挿画素値を得る。
【００３５】
この構成によれば、ブロック内の複数の内挿画素に対して、それぞれの画素値を一連の処理によって求めることができる。
【００３６】
請求項３記載の画素内挿方法では、特定値は、隣接画素対のそれぞれの画素値を２進表示した時の最下位ビットが示す値以下である。
【００３７】
この構成によれば、隣接画素対の画素値の差の絶対値が、値「０」あるいは、画素値を２進表示した時の最下位ビットが示す値以下の時に、これらの隣接画素の画素値の差に関係する第２の乗算ステップの処理と、レジスタに対する第２の積の加算または減算の処理を省略する、画素内挿方法を提供できる。
【００３８】
請求項４記載の画素内挿方法では、第１の係数と複数の第２の係数は２の冪乗の係数であって、第１の乗算ステップでは、画素値の和の値を第１の係数の冪指数分だけビットシフトし、第２の乗算ステップでは、画素値の差の値を複数の第２の係数のそれぞれの冪指数分だけビットシフトする。
【００３９】
この構成によれば、通常の乗算器よりも高速に乗算演算を実行できる。
【００４０】
請求項５記載の画素内挿方法では、タップフィルタ処理におけるタップ係数は、｛１、−５、２０、２０、−５、１｝で与えられ、タップ係数による演算を、
ｂ［ｋ］＝（（ａ［ｋ−２］−ａ［ｋ−１］）−４＊（ａ［ｋ−１］−ａ［ｋ］）＋１６＊（ａ［ｋ］＋ａ［ｋ＋１］）＋４＊（ａ［ｋ＋１］−ａ［ｋ＋２］）−（ａ［ｋ＋２］−ａ［ｋ＋３］））／３２
の式に基づいて行う。
【００４１】
この構成によれば、Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣに準拠した画素内挿処理を実行できる。
【００４２】
請求項６記載の画素内挿方法では、画素値ａ［ｋ］を読み出す第１のステップと、画素値ａ［ｋ］と第１のレジスタに記憶されている隣接画素の画素値ａ［ｋ−１］との差と和を求め、差の値を第２のレジスタへ格納し、和の値を４ビット左シフトして第３のレジスタへ格納する第２のステップと、差の絶対値が特定値以下であるかを判定する第３のステップとを含み、第３のステップにおいて、差の絶対値が特定値を超えると判定された場合は、第４のレジスタの値から第２のレジスタの値を減じる第４のステップと、第２のレジスタの値を２ビット左シフトし、その値を第５のレジスタに加え、第６のレジスタから減じる第５のステップと、ｋ番目の位置の画素の内挿画素値として、第４のレジスタの値を読み出し、画素値ａ［ｋ］を第１のレジスタへ格納する第６のステップとをさらに含むループ処理を行い、第３のステップにおいて、差の絶対値が特定値以下であると判定された場合は、ｋ番目の位置の画素の内挿画素値として、第４のレジスタの値を読み出し、画素値ａ［ｋ］を第１のレジスタへ格納する第６のステップとをさらに含むループ処理を行う。
【００４３】
この構成によれば、Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣに準拠し、タップ係数が、｛１、−５、２０、２０、−５、１｝で与えられた画素内挿処理を効率よく、かつ簡単に実行できる。
【００４４】
請求項８記載の画素内挿装置は、２つの画素からなる隣接画素対の画素値の和を求める加算部と、隣接画素対の画素値の差を求める減算部と、画素値の差の絶対値が特定値以下であるかを判定する判定部と、複数のレジスタと、画素値の和の値に所定の係数を掛ける第１の乗算部と、画素値の差の値に所定の係数を掛ける第２の乗算部と、減算部が求めた画素値の差の値または第１の乗算部と第２の乗算部が求めた乗算結果を、複数のレジスタのそれぞれのレジスタの値に対して、加算または減算して、それぞれのレジスタの後段のレジスタへ渡す、複数の加減算部を備える。判定部が、画素値の差の絶対値が特定値以下であると判定した場合は、判定部は、画素値の差の絶対値が特定値以下であると判定された隣接画素対に係る演算を実行しないように、第２の乗算部と複数の加減算部を制御する。
【００４５】
この構成によれば、隣接画素対の画素値の差の絶対値がある特定値以下である場合は、これらの隣接画素の画素値の差に関係する第２の乗算部の乗算処理、及び、複数の加減算部の加減算処理を省略する、画素内挿装置を提供できる。従って、この構成による画素内挿装置を用いれば、演算量の削減に伴い、消費電力を低く抑えつつ、動き補償における予測ピクチャの生成の高速化に行える。
【発明の効果】
【００４６】
本発明によれば、電力消費を低減しつつ、処理速度の向上を図った画素内挿方法及び画素内挿装置を実現でき、この画素内挿装置は、動画像の予測符号化における動き補償等の用途、あるいは、画像の拡大または縮小時の画素生成等の用途にも応用できる。
【発明を実施するための最良の形態】
【００４７】
次に、図面を参照しながら、本発明の実施の形態を説明する。
【００４８】
（実施の形態１）
図１は、本発明の実施の形態１における画素内挿方法のフローチャートである。
図１に示すフローチャートは、本形態の画素内挿方法の一例である。図２は、本発明の実施の形態１における画素内挿方法を説明する説明図である。
【００４９】
先ず、本発明者が本形態の画素内挿方法を考案するに至った、基本的事項を説明する。
【００５０】
本形態の画素内挿方法によって求められる内挿画素の画素値は、参照ピクチャの画素の画素値に対して、タップ係数｛１、−５、２０、２０、−５、１｝を有する６タップフィルタによるフィルタ処理を行うことによって求められる。これは、参照ピクチャの水平方向あるいは垂直方向のある一つのライン上の画素について、ｋ番目の位置にある整数精度の画素の画素値をａ［ｋ］としたとき、（ｋ）番目の画素と（ｋ＋１）番目の画素の間の位置（ｋ＋１／２）にある１／２精度の内挿画素の画素値「ｃ」は、（数１）によって中間画素値「ｂ」を求め、その値を（数２）にしたがって、規格化と飽和処理することによって求められることを示している。
【００５１】
（数１）の右辺は、（数３）に示すように、隣接する参照画素の画素値の差である、（ａ［ｋ−２］−ａ［ｋ−１］）、（ａ［ｋ−１］−ａ［ｋ］）、（ａ［ｋ＋１］−ａ［ｋ＋２］）、（ａ［ｋ＋２］−ａ［ｋ＋３］）と、隣接する参照画素の画素値の和である（ａ［ｋ］＋ａ［ｋ＋１］）を持つ項の和の形式に置き換えることができる。
【００５２】
【数３】
2008532335.tif 000005
【００５３】
さらに、（数３）の形式に置き換えたことで、隣接画素の画素値の差に対する乗算の係数は、それぞれ、係数「１」、「−４」、「４」、「−１」となり、隣接画素の画素値の和に対する乗算の係数は、係数「１６」となる。この結果、係数「４」、「１６」による乗算は、それぞれが２の２乗、２の４乗であることから、それぞれ２ビットと４ビットの左ビットシフト演算に置き換えることができる。従って、（数３）は、（数４）に書き換えられる。
【００５４】
【数４】
2008532335.tif 000006
【００５５】
ここで、演算子「＜＜」は、左ビットシフト演算を示している。
【００５６】
さらに、（数２）の式中の値「３２」による除算は、値「３２」が２の５乗であることから、５ビットの右ビットシフト演算に置き換えることができる。従って、（数２）は、（数５）ように書き換えられる。
【００５７】
【数５】
2008532335.tif 000007
【００５８】
ここで、演算子「＞＞」は、右ビットシフト演算を示している。
【００５９】
この結果、（数４）で求まった中間画素値「ｂ」を用いて、（数５）により、内挿画素の画素値「ｃ」が求まる。
【００６０】
このように、内挿画素の画素値を求める（数１）と（数２）を、（数４）と（数５）の形式に変換することにより、係数による乗算部分と除算部分が、それぞれビットシフト演算１回で済むことから、演算を軽くすることが可能である。
【００６１】
以上の考察の結果、本形態の画素内挿方法では、演算項が隣接画素の画素値の差と和から成る（数４）の形式に基づいて、画素内挿の処理が進められる。
【００６２】
以下、図１と図２を参照して、本形態の画素内挿方法を説明する。
【００６３】
図２に示す表において、表中の値は（数３）の右辺の各項の係数を表し、行は参照する隣接画素の画素値の組みを表し、列は求める内挿画素の中間画素値を表している。
【００６４】
内挿画素の画素値の計算は、求める内挿画素の画素値の属する列に沿って行われる。先ず、表中の係数「１６」の演算の場合は、その係数と同じ行に属する隣接画素の２つの画素値の和との積を求める。係数「１６」以外の係数「１」、「−４」、「４」、「−１」の演算の場合は、それぞれの係数と同じ行に属する隣接画素の２つの画素値の差との積を求める。続いて、これらの積を列方向に積算することで、内挿画素の中間画素値「ｂ」が求められる。
【００６５】
一例を挙げると、内挿画素の中間画素値ｂ［ｍ＋３］について、列を上から順番に見て行き、初めの係数「１」の演算では、値「ａ［ｋ−２］−ａ［ｋ−１］」が与えられ、次の係数「−４」の演算では、値「−４＊（ａ［ｋ−１］−ａ［ｋ］）」が加算され、係数「１６」の演算では、値「１６＊（ａ［ｋ］＋ａ［ｋ＋１］）」が加算され、係数「４」の演算では、値「４＊（ａ［ｋ＋１］−ａ［ｋ＋２］）」が加算され、係数「−１」の演算では、値「−（ａ［ｋ＋２］−ａ［ｋ＋３］）」が加算される。以上の演算から求められる結果は、（数３）と同一になる。
【００６６】
図１に示す本形態の画素内挿方法のフローチャートにおいて、フローは、ステップＳ１３からステップＳ２４までを一連の処理とするループ構造を有し、このループ一回の処理が、図２に示す表の一行分の処理に相当している。
【００６７】
例えば、図２の表において、隣接画素対をなす２つの画素、すなわち、位置「ｋ−１」の画素の画素値ａ［ｋ−１］と位置「ｋ」の画素の画素値ａ［ｋ］が属する行（表中の破線で囲まれた行）の処理を例に説明すると、以下のようになる。すなわち、位置「ｋ」の画素の画素値ａ［ｋ］を読み出し、すでに読み出している位置「ｋ−１」の画素の画素値ａ［ｋ−１］との差分（ａ［ｋ−１］−ａ［ｋ］）を求め、中間画素値ｂ［ｍ］に対してこの差分を減じ、中間画素値ｂ［ｍ＋１］に対してこの差分の４倍の値を加え、中間画素値ｂ［ｍ＋２］に対して位置「ｋ−１」の画素と位置「ｋ」の画素の両画素値の和（ａ［ｋ−１］＋ａ［ｋ］）の１６倍の値を加え、中間画素値ｂ［ｍ＋３］に対して上記の差分の４倍の値を減じ、中間画素値ｂ［ｍ＋４］に対して上記の差分を加える。
【００６８】
以上説明した処理を、図１を参照して、さらに詳しく述べる。
【００６９】
図１のステップＳ１０において、画素内挿処理が始まる。
【００７０】
ステップＳ１１において、変数「ｋ」と変数「ｍ」に初期値が与えられる。
【００７１】
ステップＳ１２において、プロローグ処理としてループ処理開始前の処理を行う。
【００７２】
ステップＳ１３において、位置「ｋ」の画素の画素値ａ［ｋ］を読み出す。ここで、位置「ｋ」の画素に隣接する位置「ｋ−１」の画素の画素値ａ［ｋ−１］は、前ループの処理で既に読み出されており、その値が保持されている。或いは、この処理が第１回目のループ処理の場合には、画素値ａ［ｋ−１］は、ステップＳ１２のプロローグ処理で既に読み出されており、その値が保持されている。
【００７３】
ステップＳ１４において、画素値ａ［ｋ−１］と画素値ａ［ｋ］の和を４ビット左シフトした値（即ち、１６倍した値）を中間画素値ｂ［ｍ＋２］に加える。これは、図２に示す表中の破線で囲まれた行の係数「１６」に関する処理に相当する。
【００７４】
ステップＳ１５において、画素値ａ［ｋ−１］と画素値ａ［ｋ］の差（ａ［ｋ−１］−ａ［ｋ］）を求め、中間画素値ｂ［ｍ＋４］を置換する。これは、図２に示す表中の破線で囲まれた行の係数「１」に関する処理に相当する。
【００７５】
ステップＳ１６において、隣接画素の画素値の差の絶対値（｜ａ［ｋ−１］−ａ［ｋ］｜）（すなわち、｜ｂ［ｍ＋４］｜）が特定値「ｂ０」以下であるかどうかを判定する。
【００７６】
ステップＳ１６の判定結果が、「Ｙｅｓ」（差は特定値以下）の場合は、ステップＳ１７からステップＳ２０の処理をスキップして、制御をステップＳ２１に移す。判定結果が、「Ｎｏ」（差は特定値を超える）の場合は、制御をステップＳ１７に移す。
【００７７】
ステップＳ１７において、中間画素値ｂ［ｍ］から隣接画素の画素値の差（ａ［ｋ−１］−ａ［ｋ］）（すなわち、ｂ［ｍ＋４］）を減じ、これにより内挿画素の中間画素値ｂ［ｍ］が定まる。これは、図２に示す表中の破線で囲まれた行の係数「−１」に関する処理に相当する。
【００７８】
ステップＳ１８において、レジスタｒに隣接画素の画素値の差を２ビット左シフトした値、即ち４倍した値を格納する。
【００７９】
ステップＳ１９において、中間画素値ｂ［ｍ＋１］へレジスタｒの値を加える。これは、図２に示す表中の破線で囲まれた行の係数「４」に関する処理に相当する。
【００８０】
ステップＳ２０において、中間画素値ｂ［ｍ＋３］からレジスタｒの値を減じる。これは、図２に示す表中の破線で囲まれた行の係数「−４」に関する処理に相当する。
【００８１】
以上のステップＳ１３からステップＳ２０の処理により、図２に示す表中の破線で囲まれた行に属する処理が行われたことになる。
【００８２】
ステップＳ２１において、中間画素値ｂ［ｍ］の規格化処理と、飽和処理を行い、画素値ｃ［ｍ］を得る。
【００８３】
ステップＳ２２において、画素値ｃ［ｍ］を出力する。
【００８４】
ステップＳ２３において、次のループに備え、変数「ｍ」と変数「ｋ」をそれぞれ値「１」だけ増分する。
【００８５】
ステップＳ２４において、一連のループ処理が終了したかどうかを判定する。判定結果が「Ｎｏ」（ループ処理が未終了）の場合は、制御をステップＳ１３に戻し、ステップＳ１３からステップＳ２４までのループ処理を繰り返す。判定結果が「Ｙｅｓ」（ループ処理が終了）の場合は、制御をステップ２５に進める。
【００８６】
ステップＳ２５において、エピローグ処理として、残された処理を行い、ステップＳ２６に移って、一連の画素内挿処理を終了する。
【００８７】
以上説明したように、本形態の画素内挿方法では、隣接画素の画素値の差分の絶対値がある特定値以下である場合は、この差分に関する項の演算が行われないように、図１のステップＳ１７からステップＳ２０の処理をスキップする。この結果、画素内挿処理に必用な演算量が削減され、画素内挿処理の高速化が可能となる。更に、演算量が削減されることにより演算に要する電力が低減される効果も期待される。
【００８８】
特定値「ｂ０」は、例えば、処理する画素の画素値を２進表示した時の最下位ビットが示す値とする。あるいは、ゼロに近い値、すなわち、ノイズレベルの値を特定値「ｂ０」として設定すればよい。
【００８９】
あるいは、簡単に、特定値ｂ０＝０として、ステップＳ１６において、差（ａ［ｋ−１］−ａ［ｋ］）がゼロかどうかを判定しても良い。
【００９０】
本形態の画素内挿方法を動画像圧縮符号化に適用した場合、動画像圧縮符号化の性質上、低いビットレートにおいては、画像の高周波成分が除かれるため隣接画素の画素値の差分がゼロになる隣接画素の組合せが多く発生し、上述したスキップ処理の効果がより顕著になることが期待できる。
【００９１】
さらに、本形態の画素内挿方法では、内挿画素の画素値を求めるにあたって、１回のループ処理によって、一つの画素の画素値を読出し、一つの隣接画素の画素値との差と和を求め、その差と和に関する演算を行う。そして、ループ処理を繰り返すことによって、連続した内挿画素の画素値を、重複した演算を行うことなく、効率的に求めている。従って、本形態の画素内挿方法は、内挿画素の画素値を求めるために、（数３）あるいは（数４）を毎回計算する従来技術の場合と比較して、重複した計算を回避しているために、きわめて効率的であり、その結果、画素内挿処理の高速化を実現できる。
【００９２】
ここで、特に注意を喚起したいことは、上述した本形態の画素内挿方法の効果は、単に、（数１）を（数３）あるいは（数４）の形に変換しただけで得られるものではなく、図１のフローチャートに従って実施される、本形態の画素内挿方法による画素内挿処理の構成によって、初めて得られるものであるという点である。
【００９３】
また、（数３）の各項の係数は２の冪乗であり、各乗算は、（数４）に示されるように、ビットシフト演算に置き換えて処理できることも、本形態の画素内挿方法が高速化処理を実現していることに、寄与している。
【００９４】
なお、図１に示したフローチャートは、本発明の実施における一例であり、フローの制御構造や各処理ステップの順序などは、図１に限定されるものでなく、（数３）あるいは（数４）に基づいた処理に従って、適宜変更されてもよい。
【００９５】
（実施の形態２）
図３は、本発明の実施の形態２における画素内挿装置のブロック図である。本形態の画素内挿装置は、本発明の実施の形態１で述べた本発明の画素内挿方法を具体的に実行する。
【００９６】
図３に示すように、本形態の画素内挿装置は、レジスタ１１〜１６、加算器２１〜２７、ビットシフタ３１〜３３、セレクタ４１〜４３、比較器５１、クリッパー６１、及び、定数部７１〜７２を備える。なお、図３においては、レジスタは記号「Ｒ」、加算器は記号「＋」、ビットシフタは記号「ＢＳ」、セレクタは記号「ＳＥＬ」、比較器は記号「Ｃ」と略記している。
【００９７】
以下に、本形態の画素内挿装置の動作を説明する。
【００９８】
図３において、レジスタ１１〜１６は、図中に示されていない制御信号により、データの取り込みが制御さる。複数の参照画素の内、位置「ｋ」にある画素の画素値ａ［ｋ］も、制御信号に合わせ、レジスタ１１に入力される。すなわち、レジスタ１１には、参照画素の配列の順に従って、制御信号のサイクル毎に一画素ずつ、それぞれの画素値が、画素値ａ［ｋ−５］、ａ［ｋ−４］、ａ［ｋ−３］、ａ［ｋ−２］・・・の順に入力される。したがって、レジスタ１１とレジスタ１２には、隣接する画素の画素値が、それぞれ格納されており、加算器２１によって、隣接画素の画素値の差が求められ、加算器２２によって、隣接画素の画素値の和が求められる。（加算器２１は、減算器として機能している。加算器２３、加算器２６についても同様である。）
以下、制御信号のあるサイクルで、レジスタ１１に画素値ａ［ｋ＋３］が保持されている場合について説明する。
【００９９】
この時、レジスタ１１とレジスタ１２には、画素値ａ［ｋ＋３］とａ［ｋ＋２］がそれぞれ格納されている。加算器２１から、隣接画素の画素値の差（ａ［ｋ＋２］−ａ［ｋ＋３］）が出力され、加算器２２から、隣接画素の画素値の和（ａ［ｋ＋２］＋ａ［ｋ＋３］）が出力される。
【０１００】
比較器５１は、加算器２１から出力された画素値の差の絶対値（｜ａ［ｋ＋２］−ａ［ｋ＋３］｜）を、定数部７１に設定されている定数「ｂ０」と比較し、差の絶対値が定数「ｂ０」以下であるかどうかを示す信号を出力している。比較器５１が出力している信号が、差の絶対値が定数「ｂ０」を超えていることを示している時は、セレクタ４１、４２、４３は、それぞれ、加算器２３、２５、２６の出力を選択している。
【０１０１】
ビットシフタ３１は、加算器２１から出力された画素値の差を左２ビットシフト（即ち４倍）し、ビットシフタ３２は、加算器２２から出力された画素値の和を左４ビットシフト（即ち１６倍）して出力している。
【０１０２】
レジスタ１３には、１サイクル前の隣接画素の画素値の差（ａ［ｋ＋１］−ａ［ｋ＋２］）が格納されており、この値からビットシフタ３１の出力を加算器２３で減算することで、（数６）が求められ、セレクタ４１から出力される。
【０１０３】
【数６】
2008532335.tif 000008
【０１０４】
レジスタ１４には、１サイクル前の加算器２３の出力（数７）が格納されており、
【０１０５】
【数７】
2008532335.tif 000009
【０１０６】
この値とビットシフタ３２の出力とを加算器２４で加算することで、（数８）が求められる。
【０１０７】
【数８】
2008532335.tif 000010
【０１０８】
レジスタ１５には、１サイクル前の加算器２４の出力（数９）が格納されており、
【０１０９】
【数９】
2008532335.tif 000011
【０１１０】
この値とビットシフタ３１の出力とを加算器２５で加算することで、（数１０）が求められれ、セレクタ４２から出力される。
【０１１１】
【数１０】
2008532335.tif 000012
【０１１２】
レジスタ１６には、１サイクル前のセレクタ４２の出力（数１１）が格納されており、
【０１１３】
【数１１】
2008532335.tif 000013
【０１１４】
この値から加算器２１が出力している画素値の差を加算器２６で減算することで、（数１２）が求められる。これは（数３）の右辺と一致しており、内挿画素の中間画素値ｂ［ｍ］としてセレクタ４３から出力される。
【０１１５】
【数１２】
2008532335.tif 000014
【０１１６】
セレクタ４３から出力された中間画素値ｂ［ｍ］に定数部７２に設定されている定数「１６」を加算器２７で加算し、その結果をビットシフタ３３で５ビット右シフトし（すなわち、定数「１６」で割り）、さらにその結果を、クリッパー６１で飽和処理して、内挿画素の画素値ｃ［ｍ］（（数５）の値）が求められる。
【０１１７】
以上の一連の処理において、比較器５１が出力している信号が、隣接画素の画素値の差の絶対値が定数「ｂ０」以下であることを示している時は、セレクタ４１、４２、４３は、それぞれ、レジスタ１３、１５、１６の出力を選択し、加算器２３、２５、２６と、ビットシフタ３１は、演算を行わない。
【０１１８】
以上説明したように、本形態の画素内挿装置は、隣接画素の画素値の差分の絶対値が特定値「ｂ０」以下であったとき、加算器２３、２５、２６と、ビットシフタ３１における演算を行わないため、これらの演算器での演算に伴う電力消費を削減できる。
【０１１９】
また、画素値の内挿のための６タップフィルタ処理を（数３）の形式にすることにより、（数３）の各項の係数が２の冪乗である係数「４」、「１６」となり、乗算演算をそれぞれ左２ビット、左４ビットのビットシフタ一つで実行することが可能となる。さらに、内挿画素の中間画素値の規格化においても、除算の分母が２の冪乗である係数「３２」であるため、除算演算を右５ビットのビットシフタ一つで実行することが可能となる。このように、本形態の画素内挿装置では、乗算演算と除算演算をビットシフタで実行できるため、画素内挿装置の回路規模の削減が可能となっている。
【０１２０】
（実施の形態３）
図４は、本発明の実施の形態３における画素内挿装置のブロック図である。本形態の画素内挿装置は、８ビット構成の画素値が２個パックされた、１６ビット構成の画像データを一度に処理する画素内挿装置である。
【０１２１】
本形態の画素内挿装置は、基本的には、図３に示した本発明の実施の形態２の画素内挿装置を並列に配置し、共通する部分を割愛した構成となっている。すなわち、本形態の画素内挿装置は、奇数番目の内挿画素の画素値を求める上部と、偶数番目の内挿画素の画素値を求める下部と、その他の共通部分を含む。上部は、レジスタ１１、１４ａ、１６ａ、加算器２１ａ〜２７ａ、ビットシフタ３１ａ〜３３ａ、セレクタ４１ａ〜４３ａ、比較器５１ａ、クリッパー６１ａ、及び、定数部７２ａを備え、下部は、レジスタ１３ｂ、１５ｂ、加算器２１ｂ〜２７ｂ、ビットシフタ３１ｂ〜３３ｂ、セレクタ４１ｂ〜４３ｂ、比較器５１ｂ、クリッパー６１ｂ、及び、定数部７２ｂを備え、共通部分は、定数部７１を備える。
【０１２２】
なお、図４においては、レジスタは記号「Ｒ」、加算器は記号「＋」、ビットシフタは記号「ＢＳ」、セレクタは記号「ＳＥＬ」、比較器は記号「Ｃ」と略記している。
【０１２３】
図５は、本発明の実施の形態３におけるパックされた２つの画素値の配置図で
ある。図５に例示した１６ビット構成の画像データは、その上位８ビットに偶数番目の画素の画素値ａ＿ｅｖｅｎを格納し、下位８ビットに奇数番目の画素の画素値ａ＿ｏｄｄを格納している。なお、パックされた２つの画素値の配置は、図５と異なっていても良い。
【０１２４】
図４を参照して、本形態の画素内挿装置の動作の概略を、以下に説明する。
【０１２５】
入力端子９１ａには、図５に示す画像データの上位画素データである画素値ａ［２ｋ］が入力され、入力端子９１ｂには、画像データの下位画素データである画素値ａ［２ｋ＋１］が入力される。出力端子９９ａには、奇数番目の内挿画素の画素値ｃ［２ｍ＋１］が出力され、出力端子９９ｂには、偶数番目の内挿画素の画素値ｃ［２ｍ］が出力される。
【０１２６】
本形態の画素内挿装置では、制御信号のサイクル毎に２画素値をパックした１６ビットの画像データが１個ずつ入力される。すなわち、サイクル毎に、入力端子９１ａには、奇数番目の画素値が、画素値ａ［２ｋ−３］、ａ［２ｋ−１］、ａ［２ｋ＋１］、ａ［２ｋ＋３］・・・の順に入力され、入力端子９１ｂには、偶数番目の画素値が、画素値ａ［２ｋ−２］、ａ［２ｋ］、ａ［２ｋ＋２］、ａ［２ｋ＋４］・・・の順に入力される。
【０１２７】
以下、制御信号のあるサイクルで、入力端子９１ａに画素値ａ［２ｋ＋２］が入力され、入力端子９１ｂに画素値ａ［２ｋ＋３］が入力され、レジスタ１１に１サイクル前の画素値ａ［２ｋ＋１］が保持されている場合について説明する。
【０１２８】
この時、加算器２１ａによって、隣接画素の画素値の差（ａ［２ｋ＋１］−ａ［２ｋ＋２］）が求められ、加算器２２ａによって、隣接画素の画素値の和（ａ［２ｋ＋１］＋ａ［２ｋ＋２］）が求められ、加算器２１ｂによって、隣接画素の画素値の差（ａ［２ｋ＋２］−ａ［２ｋ＋３］）が求められ、加算器２２ｂによって、隣接画素の画素値の和（ａ［２ｋ＋２］＋ａ［２ｋ＋３］）が求められる。
【０１２９】
加算器２１ａ、２１ｂ、２２ａ、２２ｂより後段に位置する、ビットシフタ、加算器、レジスタ、クリッパーは、本発明の実施の形態２の画素内挿装置と、ほぼ同様の動作をする。したがって、それらの動作の説明は省略する。
【０１３０】
この結果、セレクタ４３ａは、奇数番目の内挿画素の中間画素値ｂ［２ｍ＋１］として、（数１３）の値を出力し、セレクタ４３ｂは、偶数番目の内挿画素の中間画素値ｂ［２ｍ］として、（数１４）の値を出力する。
【０１３１】
【数１３】
2008532335.tif 000015
【０１３２】
【数１４】
2008532335.tif 000016
【０１３３】
セレクタ４３ａから出力された（数１３）の中間画素値と、セレクタ４３ｂから出力された（数１４）の中間画素値は、それぞれの後段で、（数５）に従った、規格化処理と飽和処理が施される。最終的に、出力端子９９ａには、奇数番目の内挿画素の画素値ｃ［２ｍ＋１］が出力され、出力端子９９ｂには、偶数番目の内挿画素の画素値ｃ［２ｍ］が出力される。
【０１３４】
上述した一連の処理において、比較器５１ａが出力している信号が、隣接画素の画素値の差の絶対値が定数「ｂ０」超であることを示している時は、セレクタ４１ｂは加算器２３ｂの出力を選択し、セレクタ４２ｂは加算器２５ｂの出力を選択し、セレクタ４３ａは加算器２６ａの出力を選択する。また、比較器５１ｂが出力している信号が、隣接画素の画素値の差の絶対値が定数「ｂ０」超であることを示している時は、セレクタ４１ａは加算器２３ａの出力を選択し、セレクタ４２ａは加算器２５ａの出力を選択し、セレクタ４３ｂは加算器２６ｂの出力を選択する。
【０１３５】
一方、比較器５１ａが出力している信号が、隣接画素の画素値の差の絶対値が定数「ｂ０」以下であることを示している時は、セレクタ４１ｂはレジスタ１３ｂの出力を選択し、セレクタ４２ｂはレジスタ１５ｂの出力を選択し、セレクタ４３ａはレジスタ１６ａの出力を選択する。そして、ビットシフタ３１ａ、加算器２３ｂ、加算器２５ｂ、及び、加算器２６ａは、演算を行わない。
【０１３６】
また、比較器５１ｂが出力している信号が、隣接画素の画素値の差の絶対値が定数「ｂ０」以下であることを示している時は、セレクタ４１ａは加算器２１ａの出力を選択し、セレクタ４２ａは加算器２４ａの出力を選択し、セレクタ４３ｂはセレクタ４２ｂの出力を選択する。そして、ビットシフタ３１ｂ、加算器２３ａ、加算器２５ａ、及び、加算器２６ｂは、演算を行わない。
【０１３７】
以上説明したように、本形態の画素内挿装置は、隣接画素の画素値の差の絶対値が特定値「ｂ０」以下であったとき、その差の演算に関係する演算器の演算を行わないため、それらの演算に伴う電力消費を削減できる。
【０１３８】
本形態の画素内挿装置が、本発明の実施の形態２の画素内挿装置が享受する特徴を、等しく享受できることは、以上の説明から明らかであろう。
【０１３９】
また、本形態の画素内挿装置を２並列構造から４並列構造に拡張すれば、８ビット構成の画素値が４個パックされた、３２ビット構成の画動データを入力して、４個の内挿画素に対する画素内挿処理を一度に処理できる画素内挿装置を容易に実現できる。
【０１４０】
なお、上述した本発明の実施の形態１〜実施の形態３においては、Ｈ．２６４符号化規格の６タップフィルタによる内挿画素の生成に沿って説明を行ったが、本発明は、Ｈ．２６４符号化規格の内挿画素の生成に限るものでなく、他のタップフィルタ処理による内挿画素の生成、動き補償に対しても適応可能であり、上述した効果を等しく有するものである。
【０１４１】
（実施の形態４）
図６は、本発明の実施の形態４における動画像符号化装置のブロック図である。図６に示す本形態の動画像符号化装置１００は、減算器１１０、直交変換・量子化部１２０、可変長符号化部１３０、逆量子化・逆直交変換部１４０、加算器１５０、ループ内フィルタ１６０、フレームバッファ１７０、及び、動き補償器１８０を備え、動き補償器１８０は、予測画像生成器１８１と画素内挿部１８２を有する。
【０１４２】
ただし、図６においては、本形態の動画像符号化装置１００のピクチャ間予測符号化に関する処理ブロックのみを示し、ピクチャ内予測符号化に関する処理ブロックなどは示していない。
【０１４３】
本形態の動画像符号化装置１００が備える画素内挿部１８２は、本発明の実施の形態２の画素内挿装置または実施の形態３の画素内挿装置である。
【０１４４】
以下に、本形態の動画像符号化装置１００の動作を説明する。
【０１４５】
入力端子１０１から入力された原画像は、減算器１１０により、動き補償器１８０から出力された予測画像との差が演算され、残差が直交変換・量子化部１２０に出力される。
【０１４６】
直交変換・量子化部１２０は、減算器１１０が出力した残差に対して、直交変換（例えば、離散コサイン変換）を行い、得られた係数を量子化し、量子化変換係数を出力する。
【０１４７】
可変長符号化部１３０は、直交変換・量子化部１２０が出力した量子化変換係数を可変長符号化し、符号化画像データとして、出力端子１０９に出力する。
【０１４８】
同時に、逆量子化・逆直交変換部１４０は、量子化変換係数を逆量子化・逆直交変換して、復元された残差を得る。加算器１５０は、復元された残差を動き補償器１８０から出力された予測画像に加算し、再構成画像を復元する。
【０１４９】
再構成画像は、ループ内フィルタ１６０でブロックノイズが除去されフレームバッファ１７０に復号画像として格納される。
【０１５０】
動き補償器１８０は、フレームバッファ１７０より、参照画像として復号済みの画像を読み出し、図示していない動きベクトルの情報に基づき、画素内挿部１８２での演算を行い、内挿画素を求め、予測画像生成器１８１で、動き補償された予測画像を生成する。
【０１５１】
本形態の動画像符号化装置１００では、入力された原画像を可変長符号化して符号化画像データを出力するまでの処理において、動き補償器１８０における処理、なかんずく、画素内挿部１８２における画素内挿処理が、全体に占める割合が大きい。したがって、画素内挿部１８２に、本発明の実施の形態２の画素内挿装置または実施の形態３の画素内挿装置を用いることにより、高速の画素内挿処理が可能となり、動き補償器１８０の動き補償処理を高速に行えるようになる。その結果、高速処理可能な、動画像符号化装置１００を実現できる。さらに、この動画像符号化装置１００は、画素内挿部１８２が無駄な演算を行わないように構成されているため、消費電力が少ないという特徴を有することになる。
【０１５２】
本形態の動画像符号化装置１００は、入力された原画像を、Ｈ．２６４に準拠して、可変長符号化画像データに、効率よく符号化できる。
【０１５３】
なお、本形態の動画像符号化装置１００は、Ｈ．２６４符号化規格の可変長符号化に限るものでなく、他のタップフィルタ処理を用いることにより、他の符号化規格に準拠する可変長符号化に対しても適応可能である。
【０１５４】
（実施の形態５）
図７は、本発明の実施の形態５における動画像復号装置のブロック図である。図７において、 図６と同様な構成要素については、同一の符号を付すことにより、説明を省略する。
【０１５５】
図７に示す本形態の動画像復号装置２００は、可変長復号部２１０、逆量子化・逆直交変換部１４０、加算器１５０、ループ内フィルタ１６０、フレームバッファ１７０、及び、動き補償器１８０を備え、動き補償器１８０は、予測画像生成器１８１と画素内挿部１８２を有する。
【０１５６】
ただし、図７においては、本形態の動画像復号装置２００の処理ブロックの内、ピクチャ間予測符号化された画像データの復号に関する処理ブロックのみを示し、ピクチャ内予測符号化された画像データの復号に関する処理ブロックなどは示していない。
【０１５７】
本形態の動画像復号装置２００が備える画素内挿部１８２は、本発明の実施の形態２の画素内挿装置または実施の形態３の画素内挿装置である。
【０１５８】
以下に、本形態の動画像復号装置２００の動作を説明する。
【０１５９】
入力端子２０１に入力された可変長符号化画像データは、可変長復号部２１０によって、量子化変換係数に復号され、逆量子化・逆直交変換部１４０に出力される。
【０１６０】
逆量子化・逆直交変換部１４０は、可変長復号部２１０が復号した量子化変換係数を、逆量子化・逆直交変換処理して、残差を得る。
【０１６１】
加算器１５０は、この残差と動き補償器１８０が出力した予測画像とを加算して、再構成画像を得る。
【０１６２】
再構成画像は、ループ内フィルタ１６０により、ブロックノイズ除去が施され、復号画像としてフレームバッファ１７０に一旦格納され、出力端子２０９に出力される。
【０１６３】
動き補償器１８０は、フレームバッファ１７０より、参照画像として、復号済み画像を読み出し、図示しいていない動きベクトル情報に基づき、画素内挿部１８２での演算を行い、内挿画素を求め、予測画像生成器１８１で、動き補償された予測画像を生成する。
【０１６４】
本形態の動画像復号装置２００では、入力された可変長符号化画像データを復号して復号画像を出力するまでの処理において、動き補償器１８０における処理、なかんずく、画素内挿部１８２における画素内挿処理が、全体に占める割合が大きい。したがって、画素内挿部１８２に、本発明の実施の形態２の画素内挿装置または実施の形態３の画素内挿装置を用いることにより、高速の画素内挿処理が可能となり、動き補償器１８０の動き補償処理を高速に行えるようになる。その結果、高速処理可能な、動画像復号装置２００を実現できる。さらに、この動画像復号装置２００は、画素内挿部１８２が無駄な演算を行わないように構成されているため、消費電力が少ないという特徴を有することになる。
【０１６５】
本形態の動画像復号装置２００は、Ｈ．２６４に準拠して符号化された、可変長符号化画像データを、効率よく復号できる。
【０１６６】
なお、本形態の動画像復号装置２００は、Ｈ．２６４符号化規格の可変長符号化画像データの復号に限るものでなく、他のタップフィルタ処理を用いることにより、他の符号化規格に準拠して可変長符号化された画像データの復号に対しても適応可能である。
【産業上の利用可能性】
【０１６７】
本発明に係わる画素内挿方法は、例えば、カメラつき携帯電話等、動画像の高速処理が要求される動画像処理装置とその応用分野において利用できる。
【図面の簡単な説明】
【０１６８】
【図１】図１は、本発明の実施の形態１における画素内挿方法のフローチャートである。
【図２】本発明の実施の形態１における画素内挿方法を説明する説明図である。
【図３】本発明の実施の形態２における画素内挿装置のブロック図である。
【図４】本発明の実施の形態３における画素内挿装置のブロック図である。
【図５】本発明の実施の形態３におけるパックされた２つの画素値の配置図である。
【図６】本発明の実施の形態４における動画像符号化装置のブロック図である。
【図７】本発明の実施の形態５における動画像復号装置のブロック図である。
【図８】整数精度の画素、１／２精度の内挿画素、及び、１／４精度の内挿画素の位置関係を示す図である。
【図９】６タップフィルタによって内挿画素の画素値を求める従来の画素内挿方法の一例を示すフローチャートである。
【図１０】従来の、６タップフィルタによる画素内挿装置のブロック図である。
【図１】
2008532335.tif 000017
【図２】
2008532335.tif 000018
【図３】
2008532335.tif 000019
【図４】
2008532335.tif 000020
【図５】
2008532335.tif 000021
【図６】
2008532335.tif 000022
【図７】
2008532335.tif 000023
【図８】
2008532335.tif 000024
【図９】
2008532335.tif 000025
【図１０】
2008532335.tif 000026
【国際調査報告】
2008532335.tif 000027
2008532335.tif 000028
2008532335.tif 000029