(57)【要約】【課題】低ビットレート時の動画像符号化方式のイントラ・インター判定において、残像ノイズが発生するブロックのみにイントラモードを適用することによって、動画像の符号化における符号量の増加を抑止しつつ、画質劣化を防ぐ動画像符号化方法を提供する。【解決手段】符号化対象ブロックの第１の差分情報と周辺ブロックの第２の差分情報とを算出し、第１の差分情報と第２の差分情報との差分を算出し、当該差分が所定の閾値より大きい場合はイントラモードを選択し、当該差分が所定の閾値よりも小さい場合はインターモードを選択することによって、残像ノイズが発生するブロックのみにイントラモードを適用する。【選択図】図１
2009182623.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化方法であって、
符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出ステップと、
前記符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと前記参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出ステップと、
前記第１の差分情報と前記第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較する、イントラ・インター判定ステップと、
前記差分のいずれかが前記所定の閾値より大きい場合、前記符号化対象ブロックの符号化モードに前記イントラモードを適用する、イントラモード適用ステップと、
前記差分のすべてが前記所定の閾値より小さい場合、前記符号化対象ブロックの符号化モードに前記インターモードを適用する、インターモード適用ステップとを実行する、画像符号化方法。
【請求項２】
前記第１の差分情報をメモリに保存する、差分情報保存ステップを、さらに実行し、
前記周辺ブロック差分情報算出ステップは、前記周辺ブロックが符号化対象ブロックとなる場合、前記メモリに保存された前記第１の差分情報を前記第２の差分情報として用いることを特徴とする、請求項１に記載の画像符号化方法。
【請求項３】
前記第１の差分情報は、前記符号化対象ブロックと前記参照画像との差分絶対値和であり、
前記第２の差分情報は、前記周辺ブロックと前記参照画像との差分絶対値和であることを特徴とする、請求項１〜２のいずれかに記載の画像符号化方法。
【請求項４】
前記周辺ブロックは、前記符号化対象ブロックの左に隣接する左隣接ブロックと、上に隣接する上隣接ブロックとであることを特徴とする、請求項１〜３のいずれかに記載の画像符号化方法。
【請求項５】
フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化方法であって、
符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出ステップと、
前記符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと前記参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出ステップと、
前記第１の差分情報と前記第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較する、イントラ・インター判定ステップと、
前記差分のすべてが前記所定の閾値より小さい場合、前記符号化対象ブロックの複雑度を示すアクティビティ情報を算出し、前記アクティビティ情報と前記第１の差分情報とを比較する、アクティビティ情報判定ステップと、
前記差分のいずれかが前記所定の閾値より大きい場合、または、前記差分のすべてが前記所定の閾値より小さい場合であって、かつ前記アクティビティ情報が前記第１の差分情報より小さい場合、前記符号化対象ブロックの符号化モードに前記イントラモードを適用する、イントラモード適用ステップと、
前記差分のすべてが前記所定の閾値より小さい場合であって、かつ、前記アクティビティ情報が前記第１の差分情報より大きい場合、前記符号化対象ブロックの符号化モードに前記インターモードを適用する、インターモード適用ステップとを実行する、画像符号化方法。
【請求項６】
前記アクティビティ情報は、前記符号化対象ブロックの分散に基づいて求められ、
前記第１の差分情報は、前記符号化対象ブロックと前記参照画像との差分画像の分散に基づいて求められることを特徴とする、請求項５に記載の画像符号化方法。
【請求項７】
フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化方法であって、
符号化対象ブロックの動きベクトルを算出する、符号化対象ブロック動きベクトル算出ステップと、
前記符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出ステップと、
前記符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと前記参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出ステップと、
前記第１の差分情報と前記第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較し、前記動きベクトルと所定の動きベクトル閾値とを比較する、イントラ・インター判定ステップと、
前記差分のいずれかが前記所定の閾値より大きい場合であって、かつ、前記動きベクトルの大きさが前記所定の動きベクトル閾値より大きい、かつ、前記動きベクトルの方向が前記参照画像における前記周辺ブロックの位置する方向である、残像ノイズ発生条件の場合、前記符号化対象ブロックの符号化モードに前記イントラモードを適用する、イントラモード適用ステップと、
前記残像ノイズ発生条件以外の場合、前記符号化対象ブロックの符号化モードに前記インターモードを適用する、インターモード適用ステップとを実行する、画像符号化方法。
【請求項８】
前記第１の差分情報をメモリに保存する、差分情報保存ステップを、さらに実行し、
前記周辺ブロック差分情報算出ステップは、前記周辺ブロックが符号化対象ブロックとなる場合、前記メモリに保存された前記第１の差分情報を前記第２の差分情報として用いることを特徴とする、請求項７に記載の画像符号化方法。
【請求項９】
前記所定の閾値は、量子化パラメータの大きさに基づいて、適応的に変化させることを特徴とする、請求項７〜８のいずれかに記載の画像符号化方法。
【請求項１０】
前記所定の閾値は、前記動きベクトルの大きさに基づいて、適応的に変化させることを特徴とする、請求項７〜８のいずれかに記載の画像符号化方法。
【請求項１１】
フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化装置であって、
符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出部と、
前記符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと前記参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出部と、
前記第１の差分情報と前記第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較する、イントラ・インター判定部と、
前記差分のいずれかが前記所定の閾値より大きい場合、前記符号化対象ブロックの符号化モードに前記イントラモードを適用する、イントラモード適用部と、
前記差分のすべてが前記所定の閾値より小さい場合、前記符号化対象ブロックの符号化モードに前記インターモードを適用する、インターモード適用部とを備える、画像符号化装置。
【請求項１２】
前記第１の差分情報をメモリに保存する、差分情報保存部を、さらに備え、
前記周辺ブロック差分情報算出部は、前記周辺ブロックが符号化対象ブロックとなる場合、前記メモリに保存された前記第１の差分情報を前記第２の差分情報として用いることを特徴とする、請求項１１に記載の画像符号化装置。
【請求項１３】
前記第１の差分情報は、前記符号化対象ブロックと前記参照画像との差分絶対値和であり、
前記第２の差分情報は、前記周辺ブロックと前記参照画像との差分絶対値和であることを特徴とする、請求項１１〜１２のいずれかに記載の画像符号化装置。
【請求項１４】
前記周辺ブロックは、前記符号化対象ブロックの左に隣接する左隣接ブロックと、上に隣接する上隣接ブロックとであることを特徴とする、請求項１１〜１３のいずれかに記載の画像符号化装置。
【請求項１５】
前記所定の閾値は、量子化パラメータの大きさに基づいて、適応的に変化させることを特徴とする、請求項１１〜１４のいずれかに記載の画像符号化装置。
【請求項１６】
フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化装置に用いる集積回路であって、
符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出部と、
前記符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと前記参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出部と、
前記第１の差分情報と前記第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較する、イントラ・インター判定部と、
前記差分のいずれかが前記所定の閾値より大きい場合、前記符号化対象ブロックの符号化モードに前記イントラモードを適用する、イントラモード適用部と、
前記差分のすべてが前記所定の閾値より小さい場合、前記符号化対象ブロックの符号化モードに前記インターモードを適用する、インターモード適用部として機能する回路を集積する、画像符号化装置に用いる集積回路。
【請求項１７】
フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化方法を用いる撮影システムであって、
入射した画像光を結像する光学系と、
前記結像された画像光を画像信号に変換するセンサーと、
前記画像信号を画像処理する画像処理回路とを備え、
前記画像処理回路は、請求項１〜１０のいずれかに記載の画像符号化方法を実行することを特徴とする、撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化を行う画像符号化方法に関し、より特定的には、フレーム内符号化とフレーム間符号化とを適応的に切り替えて動画像の符号化を行う画像符号化方法に関する。
【背景技術】
【０００２】
動画像データを符号化する方法として、対象フレームの情報だけを使用して符号化するフレーム内符号化と、現在のフレームと過去のフレームとの差分や動き情報を符号化するフレーム間符号化とがある。フレーム内符号化は、１つのフレーム内のデータの空間的冗長性を取り除いて、動画圧縮を行うものであり、イントラ符号化とも呼ばれる。フレーム間符号化は、２つのあるいは複数のフレーム間の時間的冗長性を取り除いて、動画圧縮を行うものであり、インター符号化とも呼ばれる。
【０００３】
動画像符号化方式のＭＰＥＧ−２やＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）では、処理単位であるマクロブロック毎にフレーム内符号化とフレーム間符号化とを適応的に切り替えることができる。その際、どちらの符号化方式を使う方が効率的であるかを判定する必要がある。この判定を、イントラ・インター判定という。
【０００４】
イントラ・インター判定には、様々な方法が提案されている。代表的な判定方法として、非特許文献１には、符号化対象ブロックにおける入力画像の分散と、符号化対象ブロックにおける動き補償後のフレーム間の差分画像の分散とを求め、それらの値を比較する方法が説明されている。図８は、従来技術におけるイントラ・インター判定のフローチャートである。
【０００５】
図８におけるイントラ・インター判定方法は、先ず、ステップＳ８０１において、符号化対象ブロックにおける入力画像の分散を算出する。次に、ステップＳ８０２において、符号化対象ブロックにおける動き補償後のフレーム間の差分画像の分散を算出する。ここで、ステップＳ８０１で算出した入力画像の分散をｙとし、ステップＳ８０２で算出した差分画像の分散をｘとした場合、ｘ、ｙは、（数１）のように計算される。
【数１】
2009182623.tif 000003
【０００６】
ステップＳ８０３では、（数１）で算出されたｘ、ｙの大きさを比較し、イントラ・インター判定を行う。差分画像の分散ｘが入力画像の分散ｙより大きい場合は、当該符号化対象ブロックの符号化モードにイントラモードを適用し（ステップＳ８０４、ＭＢＴｙｐｅ＝ＩＮＴＲＡ）、差分画像の分散ｘが入力画像の分散ｙより小さい場合は、当該符号化対象ブロックの符号化モードにインターモードを適用する（ステップＳ８０５、ＭＢＴｙｐｅ＝ＩＮＴＥＲ）。ただし、ｘ、ｙの差が小さい場合は、当該符号化対象ブロックの符号化モードにインターモードを適用した方が発生符号量が小さくなるため、ｘ、ｙの大きさの比較結果に関わらず、インターモードを適用する。図９は、ｘとｙとの関係に基づくイントラモードとインターモードとの適用範囲を示す図である。ｘ＞ｙの場合は、イントラモード（ＭＢＴｙｐｅ＝ＩＮＴＲＡ）を適用し、ｘ≦ｙの場合は、インターモード（ＭＢＴｙｐｅ＝ＩＮＴＥＲ）を適用する。ただし、ｘ≦６４の場合は、上述したｘ、ｙの差が小さい場合として、ｘとｙとの大小関係に関わらず、インターモード（ＭＢＴｙｐｅ＝ＩＮＴＥＲ）を適用する。ここでは、ｘ、ｙの差が小さい場合の一例として、ｘ≦６４の場合と設定したが、これに限られるものではない。
【０００７】
さらに、特許文献１ではイントラ・インター判定での演算量を削減するために、動き補償後のフレーム間の差分絶対値和を用いる方法が開示されている。この方法は、上述したイントラモードおよびインターモードに加えて、差分絶対値和の値によって差分画像の符号化を行わないスキップモードを選択する方法である。図１０は、特許文献１におけるイントラ・インター判定のフローチャートである。
【０００８】
図１０におけるイントラ・インター判定方法は、先ず、ステップＳ１００１において、符号化対象ブロックにおける動き補償後のフレーム間の差分絶対値和（ＣｕｒｒＳＡＤ）を算出する。次に、ステップＳ１００２およびステップＳ１００３において、ＣｕｒｒＳＡＤと、所定の第１の閾値Ｔｈｒ１および第２の閾値Ｔｈｒ２とを比較し、差分大、差分中、差分小を判定する（ただし、０＜Ｔｈｒ２＜Ｔｈｒ１）。差分大と判定した場合、つまり、ＣｕｒｒＳＡＤが所定の第１の閾値Ｔｈｒ１より大きい場合は、イントラモードを適用する（ステップＳ１００６、ＭＢＴｙｐｅ＝ＩＮＴＲＡ）。差分中と判定した場合、つまり、ＣｕｒｒＳＡＤが、所定の第１の閾値Ｔｈｒ１以下、かつ所定の第２の閾値Ｔｈｒ２より大きい場合は、インターモードを適用する（ステップＳ１００５、ＭＢＴｙｐｅ＝ＩＮＴＥＲ）。差分小と判定した場合、つまり、ＣｕｒｒＳＡＤが、所定の第２の閾値Ｔｈｒ２以下の場合は、スキップモードを適用する（ステップＳ１００４、ＭＢＴｙｐｅ＝ＳＫＩＰ）。図１１は、ＣｕｒｒＳＡＤと、所定の第１の閾値Ｔｈｒ１および第２の閾値Ｔｈｒ２との関係に基づくイントラモードとインターモードとスキップモードとの適用範囲を示す図である。ＣｕｒｒＳＡＤが所定の第１の閾値Ｔｈｒ１より大きい場合は、イントラモード（ＭＢＴｙｐｅ＝ＩＮＴＲＡ）を適用し、ＣｕｒｒＳＡＤが、所定の第１の閾値Ｔｈｒ１以下、かつ所定の第２の閾値Ｔｈｒ２より大きい場合は、インターモード（ＭＢＴｙｐｅ＝ＩＮＴＥＲ）を適用し、ＣｕｒｒＳＡＤが、所定の第２の閾値Ｔｈｒ２以下の場合は、スキップモード（ＭＢＴｙｐｅ＝ＳＫＩＰ）を適用する。
【０００９】
このように、特許文献１に開示されているイントラ・インター判定方法では、イントラ・インター判定に差分絶対値和しか使用しないため演算量の削減が図れる。
【００１０】
なお、上述したような非特許文献１および特許文献１の動画像符号化方式は、低ビットレートが求められるネットワークカメラにも適用される。しかし、低ビットレートでは、各ブロックの差分画像に割り当てるビット量に余裕がないため、動きのある領域でインターモードが選択された場合に残像のような画質劣化（以下、残像ノイズと称す）が発生することがある。図１２は、残像ノイズの発生しているフレームを示す図である。図１２において、フレーム１２０１内で、破線で示す移動前画像１２０２が、実線で示す移動後画像１２０３の位置に移動している。ここで、動きのない静止した領域の中（図１２の移動前画像１２０２における左側部分）に、残像ノイズが発生すると主観的には大きな画質劣化と感じてしまうため、残像ノイズの発生を防ぐ必要がある。残像ノイズの発生を防ぐため、例えば、特許文献１のイントラ・インター判定においては、イントラモードが選択されやすいように所定の第１の閾値Ｔｈｒ１および第２の閾値Ｔｈｒ２を設定する。このように、残像ノイズが発生するようなブロックにイントラモードを適用することによって、残像ノイズの発生を防ぐことはできる。
【特許文献１】特開２００４−２６６７２０号公報
【非特許文献１】小野文孝、渡辺裕共著、「国際標準画像符号化の基礎技術」、コロナ社、ｐ．２２３−２２４
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、イントラモードが選択されやすくすると、非特許文献１の方法においては、残像ノイズではなく、動きがあるために分散が大きくなっているブロックに対してイントラモードが選択されてしまい、符号量が増加するという問題がある。図１３は、分散が大きくなっているブロックの符号化にイントラモードを選択した場合を示す図である。図１３において、フレーム１２０１を８列５行のブロックに分割し、第Ａ列〜第Ｈ列および第１行〜第５行とする。ドット模様で示したＤ２〜Ｄ４、Ｅ２〜Ｅ４、およびＦ２〜Ｆ４は、イントラモードを適用するイントラブロックであり、その他の部分は、インターモードを適用するインターブロックである。また、特許文献１の方法においても、残像ノイズを防ぐために、イントラモードが選択されやすいように第１の閾値および第２の閾値を設定してしまうと、動いている物体自体が存在しているため実際には残像ノイズによる画像劣化が目立たない領域（Ｅ２〜Ｅ４、およびＦ２〜Ｆ４）にまで、イントラモードが選択されてしまい、符号量が増加してしまうという問題がある。
【００１２】
それ故に、本発明の目的は、低ビットレート時の動画像符号化方式のイントラ・インター判定において、残像ノイズが発生するブロックのみにイントラモードを適用することによって、動画像の符号化における符号量の増加を抑止しつつ、画質劣化を防ぐ動画像符号化方法を提供することである。
【課題を解決するための手段】
【００１３】
上記目的を達成させるために、本発明の第１の画像符号化方法は、フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化方法であって、符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出ステップと、符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出ステップと、第１の差分情報と第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較する、イントラ・インター判定ステップと、差分のいずれかが所定の閾値より大きい場合、符号化対象ブロックの符号化モードにイントラモードを適用する、イントラモード適用ステップと、差分のすべてが所定の閾値より小さい場合、符号化対象ブロックの符号化モードにインターモードを適用する、インターモード適用ステップとを実行する。
【００１４】
さらに、好ましい本発明の第１の画像符号化方法は、第１の差分情報をメモリに保存する、差分情報保存ステップを、さらに実行し、周辺ブロック差分情報算出ステップは、周辺ブロックが符号化対象ブロックとなる場合、メモリに保存された第１の差分情報を第２の差分情報として用いることを特徴とする。
【００１５】
好ましい第１の差分情報は、符号化対象ブロックと参照画像との差分絶対値和であり、第２の差分情報は、周辺ブロックと参照画像との差分絶対値和であることを特徴とする。
好ましい周辺ブロックは、符号化対象ブロックの左に隣接する左隣接ブロックと、上に隣接する上隣接ブロックとであることを特徴とする。
【００１６】
上記目的を達成させるために、本発明の第２の画像符号化方法は、フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化方法であって、符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出ステップと、符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出ステップと、第１の差分情報と第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較する、イントラ・インター判定ステップと、差分のすべてが所定の閾値より小さい場合、符号化対象ブロックの複雑度を示すアクティビティ情報を算出し、アクティビティ情報と第１の差分情報とを比較する、アクティビティ情報判定ステップと、差分のいずれかが所定の閾値より大きい場合、または、差分のすべてが所定の閾値より小さい場合であって、かつアクティビティ情報が第１の差分情報より小さい場合、符号化対象ブロックの符号化モードにイントラモードを適用する、イントラモード適用ステップと、差分のすべてが所定の閾値より小さい場合であって、かつ、アクティビティ情報が第１の差分情報より大きい場合、符号化対象ブロックの符号化モードにインターモードを適用する、インターモード適用ステップとを実行する。
【００１７】
好ましいアクティビティ情報は、符号化対象ブロックの分散に基づいて求められ、第１の差分情報は、符号化対象ブロックと参照画像との差分画像の分散に基づいて求められることを特徴とする。
【００１８】
上記目的を達成させるために、本発明の第３の画像符号化方法は、フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化方法であって、符号化対象ブロックの動きベクトルを算出する、符号化対象ブロック動きベクトル算出ステップと、符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出ステップと、符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出ステップと、第１の差分情報と第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較し、動きベクトルと所定の動きベクトル閾値とを比較する、イントラ・インター判定ステップと、差分のいずれかが所定の閾値より大きい場合であって、かつ、動きベクトルの大きさが所定の動きベクトル閾値より大きい、かつ、動きベクトルの方向が参照画像における周辺ブロックの位置する方向である、残像ノイズ発生条件の場合、符号化対象ブロックの符号化モードにイントラモードを適用する、イントラモード適用ステップと、残像ノイズ発生条件以外の場合、符号化対象ブロックの符号化モードにインターモードを適用する、インターモード適用ステップとを実行する。
【００１９】
さらに、好ましい本発明の第３の画像符号化方法は、第１の差分情報をメモリに保存する、差分情報保存ステップを、さらに実行し、周辺ブロック差分情報算出ステップは、周辺ブロックが符号化対象ブロックとなる場合、メモリに保存された第１の差分情報を第２の差分情報として用いることを特徴とする。
【００２０】
好ましい所定の閾値は、量子化パラメータの大きさに基づいて、適応的に変化させることを特徴とする。
また、好ましい所定の閾値は、動きベクトルの大きさに基づいて、適応的に変化させることを特徴とする。
【００２１】
上記目的を達成させるために、本発明の画像符号化装置は、フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化装置であって、符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出部と、符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出部と、第１の差分情報と第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較する、イントラ・インター判定部と、差分のいずれかが所定の閾値より大きい場合、符号化対象ブロックの符号化モードにイントラモードを適用する、イントラモード適用部と、差分のすべてが所定の閾値より小さい場合、符号化対象ブロックの符号化モードにインターモードを適用する、インターモード適用部とを備える。
【００２２】
さらに、好ましい本発明の画像符号化装置は、第１の差分情報をメモリに保存する、差分情報保存部を、さらに備え、周辺ブロック差分情報算出部は、周辺ブロックが符号化対象ブロックとなる場合、メモリに保存された第１の差分情報を第２の差分情報として用いることを特徴とする。
【００２３】
好ましい第１の差分情報は、符号化対象ブロックと参照画像との差分絶対値和であり、第２の差分情報は、周辺ブロックと参照画像との差分絶対値和であることを特徴とする。
好ましい周辺ブロックは、符号化対象ブロックの左に隣接する左隣接ブロックと、上に隣接する上隣接ブロックとであることを特徴とする。
好ましい所定の閾値は、量子化パラメータの大きさに基づいて、適応的に変化させることを特徴とする。
【００２４】
上記目的を達成させるために、本発明の画像符号化装置に用いる集積回路は、フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化装置に用いる集積回路であって、符号化対象ブロックと参照画像とに基づいて第１の差分情報を算出する、符号化対象ブロック差分情報算出部と、符号化対象ブロックに隣接する８つの周辺ブロックのうち、少なくとも１つ以上の周辺ブロックと参照画像とに基づいて、少なくとも１つ以上の第２の差分情報を算出する、周辺ブロック差分情報算出部と、第１の差分情報と第２の差分情報との少なくとも１つ以上の差分を算出し、当該差分と所定の閾値とを比較する、イントラ・インター判定部と、差分のいずれかが所定の閾値より大きい場合、符号化対象ブロックの符号化モードにイントラモードを適用する、イントラモード適用部と、差分のすべてが所定の閾値より小さい場合、符号化対象ブロックの符号化モードにインターモードを適用する、インターモード適用部として機能する回路を集積する。
【００２５】
上記目的を達成させるために、本発明の撮影システムは、フレーム内符号化であるイントラモードとフレーム間符号化であるインターモードとを適応的に選択して、所定のブロック画像を順次符号化する画像符号化方法を用いる撮影システムであって、入射した画像光を結像する光学系と、結像された画像光を画像信号に変換するセンサーと、画像信号を画像処理する画像処理回路とを備え、画像処理回路は、上述した本発明の画像符号化方法を実行することを特徴とする。
【発明の効果】
【００２６】
上述のように、本発明によれば、低ビットレート時の動画像符号化方式のイントラ・インター判定において、残像ノイズが発生するブロックのみにイントラモードを適用することによって、動画像の符号化における符号量の増加を抑止しつつ、画質劣化を防ぐ動画像符号化方法を実現することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態におけるイントラ・インター判定のフローチャートである。本発明の第１の実施形態におけるイントラ・インター判定方法は、符号化対象ブロック差分絶対値和算出ステップＳ１０１と、周辺ブロック差分絶対値和取得ステップＳ１０２と、イントラ・インター判定ステップＳ１０３と、イントラモード適用ステップＳ１０４と、インターモード適用ステップＳ１０５と、差分絶対値和保存ステップＳ１０６とから構成される。
【００２８】
符号化対象ブロック差分絶対値和算出ステップＳ１０１では、動き補償で得られた予測画像と符号化対象ブロックとの差分画像の差分絶対値和（ＣｕｒｒＳＡＤ）を算出する。
【００２９】
周辺ブロック差分絶対値和取得ステップＳ１０２では、差分情報メモリ１００から符号化対象ブロックの周辺ブロックの差分絶対値和（ＳＡＤ）を取得する。このとき、符号化対象ブロックの上に隣接するブロックと左に隣接するブロックとを周辺ブロックとする。図２は、符号化対象ブロックと周辺ブロックとの位置を示す図である。符号化対象ブロック２００の左に左隣接ブロック２０１、上に上隣接ブロック２０２が隣接している。また、左隣接ブロック２０１のＳＡＤをＳ１、上隣接ブロック２０２のＳＡＤをＳ２とする。
【００３０】
イントラ・インター判定ステップＳ１０３では、符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と周辺ブロックの差分絶対値和（ＳＡＤ）との差分絶対値と、所定の閾値とを比較する。残像ノイズが主観的に目立つ場合は、画像が静止している領域に残像ノイズが発生している場合である。画像が静止している領域では、当該画像と参照画像との予測誤差が少ないため差分絶対値和は小さい。一方、残像ノイズが発生するブロックでは、当該画像と参照画像との予測誤差が多いため、差分絶対値和は大きくなる。従って、符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と周辺ブロックの差分絶対値和（ＳＡＤ）とを比較することによって、残像ノイズが発生しているブロックであることが判定できる。例えば、以下の（数２）に示すように、ＣｕｒｒＳＡＤとＳ１およびＳ２との差分絶対値と、所定の閾値Ｔｈｒ３とを比較する。
（ＣｕｒｒＳＡＤ−Ｓ１）＞Ｔｈｒ３  または、（ＣｕｒｒＳＡＤ−Ｓ２）＞Ｔｈｒ３・・・（数２）
【００３１】
イントラモード適用ステップＳ１０４では、差分絶対値が所定の閾値より大きい場合、符号化対象ブロックの符号化モードにイントラモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＲＡ）。具体的には、イントラモード適用ステップＳ１０４では、イントラ・インター判定ステップＳ１０３で示した（数２）の条件を満たす場合は、符号化対象ブロックの符号化モードにイントラモードを適用する。
【００３２】
インターモード適用ステップＳ１０５では、差分絶対値が所定の閾値より小さい場合、符号化対象ブロックの符号化モードにインターモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＥＲ）。具体的には、インターモード適用ステップＳ１０５では、イントラ・インター判定ステップＳ１０３で示した（数２）の条件を満たさない場合は、符号化対象ブロックの符号化モードにインターモードを適用する。
【００３３】
差分絶対値和保存ステップＳ１０６では、符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）を差分情報メモリ１００に保存する。これは、その後符号化対象ブロックとなるブロックのイントラ・インター判定時に、当該符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）が、その後符号化対象ブロックとなるブロックの周辺ブロックの差分絶対値和（ＳＡＤ）として用いられるためである。
【００３４】
このように、上述したようにイントラ・インター判定を行うことによって、残像ノイズが発生するブロックのみにイントラモードを適用するができる。図３は、本発明の第１の実施形態におけるイントラ・インター判定によって、ブロックの符号化モードの選択を示す図である。図３において、フレーム３０１内で、破線で示す移動前画像３０２が、実線で示す移動後画像３０３の位置に移動している。フレーム３０１を８列５行のブロックに分割し、第Ａ列〜第Ｈ列および第１行〜第５行とする。ドット模様で示したＤ２〜Ｄ４は、イントラモードを適用するイントラブロックであり、その他の部分は、インターモードを適用するインターブロックである。本発明の第１の実施形態におけるイントラ・インター判定では、図１３に示した従来技術におけるイントラ・インター判定と比較して、動いている物体自体が存在しているため実際には残像ノイズによる画像劣化が目立たない領域（Ｅ２〜Ｅ４、およびＦ２〜Ｆ４）には、イントラモードでなく、インターモードが適用される。
【００３５】
以上のように、本発明の第１の実施形態におけるイントラ・インター判定によれば、低ビットレート時の動画像符号化方式のイントラ・インター判定において、残像ノイズが発生するブロックのみにイントラモードを適用することによって、動画像の符号化における符号量の増加を抑止しつつ、画質劣化を防ぐ動画像符号化方法を実現することができる。
【００３６】
なお、本実施形態では、符号化対象ブロックの周辺ブロックの差分絶対値和（ＳＡＤ）を算出する方法として、周辺ブロック差分絶対値和取得ステップＳ１０２において、差分情報メモリ１００からＳＡＤを取得していたが、これに限るものではない。例えば、差分絶対値和保存ステップＳ１０６および差分情報メモリ１００を備えず、周辺ブロック差分絶対値和取得ステップＳ１０２においても、符号化対象ブロック差分絶対値和算出ステップＳ１０１と同様に、参照画像と周辺ブロックとに基づいて、差分絶対値和（ＳＡＤ）を算出しても構わない。
【００３７】
なお、本実施形態では、符号化対象ブロックの周辺ブロックとして左隣接ブロックと上隣接ブロックとの場合を説明したが、これに限るものではない。例えば、符号化対象ブロックの左上や右上に隣接するブロックを、符号化対象ブロックの周辺ブロックとしても構わない。
【００３８】
なお、図１に示したイントラ・インター判定ステップＳ１０３において、差分絶対値が所定の閾値より小さいと判断された場合、さらに、符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と、入力画像の複雑度を示すアクティビティ情報とを比較する。アクティビティ情報は、具体的には、入力画像の分散などから求められる。アクティビティ情報がＣｕｒｒＳＡＤより小さい場合、当該ブロックが単純であり、イントラモードでの符号化効率が高いと考えられるため、イントラモードを適用する。逆に、アクティビティ情報がＣｕｒｒＳＡＤより大きい場合、当該ブロックが複雑であり、インターモードでの符号化効率が高いと考えられるため、インターモードを適用する。
【００３９】
（第２の実施形態）
図４は、本発明の第２の実施形態におけるイントラ・インター判定のフローチャートである。本発明の第２の実施形態におけるイントラ・インター判定方法は、符号化対象ブロック動きベクトル算出ステップＳ４０１と、符号化対象ブロック差分絶対値和算出ステップＳ１０１と、周辺ブロック差分絶対値和取得ステップＳ４０２と、イントラ・インター判定ステップＳ４０３と、イントラモード適用ステップＳ１０４と、インターモード適用ステップＳ１０５と、差分絶対値和保存ステップＳ１０６とから構成される。ここで、イントラ・インター判定ステップＳ４０３は、第１〜第３の差分絶対値和比較ステップＳ４０１１〜Ｓ４０１３と、第１〜第３の動きベクトル比較ステップＳ４０２１〜Ｓ４０２３とから構成される。なお、図４において、図１に示したステップと同様のステップについては、同様の参照符号を付して、説明を省略する。
【００４０】
符号化対象ブロック動きベクトル算出ステップＳ４０１では、動き探索により、参照画像に基づいて、符号化対象ブロックの動きベクトル（ＣｕｒｒＭＶ）が算出される。動き探索方法については、例えば、一般的に用いられるブロックマッチング法などで構わない。
【００４１】
周辺ブロック差分絶対値和取得ステップＳ４０２では、差分情報メモリ１００から周辺ブロックの差分絶対値和（ＳＡＤ）を取得する。このとき、本発明の第１の実施形態で示した符号化対象ブロックの左に隣接するブロックと上に隣接するブロックとだけでなく、符号化対象ブロックの右上に隣接するブロックも周辺ブロックとする。図５は、符号化対象ブロックと周辺ブロックとの位置を示す図である。符号化対象ブロック５００の左に左隣接ブロック５０１、上に上隣接ブロック５０２、および右上に右上隣接ブロック５０３が隣接している。また、左隣接ブロック５０１の差分絶対値和（ＳＡＤ）をＳ１、上隣接ブロック５０２の差分絶対値和（ＳＡＤ）をＳ２、および右上隣接ブロック５０３の差分絶対値和（ＳＡＤ）をＳ３とする。
【００４２】
イントラ・インター判定ステップＳ４０３では、符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と周辺ブロックの差分絶対値和（ＳＡＤ）との差分絶対値と、所定の閾値とを比較する。さらに、イントラ・インター判定ステップＳ４０３では、符号化対象ブロックの動きベクトル（ＣｕｒｒＭＶ）と、所定の動きベクトル閾値とを比較する。イントラ・インター判定ステップＳ４０３は、第１〜第３の差分絶対値和比較ステップＳ４０１１〜Ｓ４０１３と、第１〜第３の動きベクトル比較ステップＳ４０２１〜Ｓ４０２３とから構成されており、以下に詳細を説明する。
【００４３】
第１の差分絶対値和比較ステップＳ４０１１では、符号化対象ブロック差分絶対値和算出ステップＳ１０１で算出した符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と、周辺ブロック差分絶対値和取得ステップＳ４０２で取得した左隣接ブロック５０１の差分絶対値和Ｓ１との差分絶対値を求め、当該差分絶対値と所定の閾値Ｔｈｒ３との比較を行う。当該差分絶対値が、所定の閾値Ｔｈｒ３より大きい場合（（ＣｕｒｒＳＡＤ−Ｓ１）＞Ｔｈｒ３）は、第１の動きベクトル比較ステップＳ４０２１に進み、それ以外の場合は、第２の差分絶対値和比較ステップＳ４０１２に進む。
【００４４】
第１の動きベクトル比較ステップＳ４０２１では、符号化対象ブロックの動きベクトル（ＣｕｒｒＭＶ）の水平成分ＭＶｘと所定の動きベクトル閾値（−ＭＶＴｈｒ）とを比較し、符号化対象ブロックと物体との移動方向を判定する。ＭＶｘが−ＭＶＴｈｒより小さい場合（ＭＶｘ＜−ＭＶＴｈｒ）は、物体が右方向に移動していると考えられる。ここで、第１の差分絶対値和比較ステップＳ４０１１における（ＣｕｒｒＳＡＤ−Ｓ１）＞Ｔｈｒ３の判定により、符号化対象ブロックにおいて、ＣｕｒｒＳＡＤは、左隣接ブロックのＳ１から大きくなっていることが分かる。従って、ＭＶｘが−ＭＶＴｈｒより小さい場合（ＭＶｘ＜−ＭＶＴｈｒ）は、物体が右方向に移動した場合に物体の左側に残像ノイズが発生していると判断する。この場合、イントラモード適用ステップＳ１０４に進み、符号化対象ブロックの符号化モードにイントラモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＲＡ）。
【００４５】
一方、ＭＶｘが−ＭＶＴｈｒ以上の場合は、左隣接ブロック５０１のＳ１とＣｕｒｒＳＡＤとの変化の方向と物体の移動方向が異なるため、残像ノイズが発生していないと判断する。この場合、インターモード適用ステップＳ１０５に進み、符号化対象ブロックの符号化モードにインターモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＥＲ）。
【００４６】
第２の差分絶対値和比較ステップＳ４０１２では、符号化対象ブロック差分絶対値和算出ステップＳ１０１で算出した符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と、周辺ブロック差分絶対値和取得ステップＳ４０２で取得した右上隣接ブロック５０３の差分絶対値和Ｓ３との差分絶対値を求め、当該差分絶対値と所定の閾値Ｔｈｒ３との比較を行う。当該差分絶対値が、所定の閾値Ｔｈｒ３より大きい場合（（ＣｕｒｒＳＡＤ−Ｓ３）＞Ｔｈｒ３）は、第２の動きベクトル比較ステップＳ４０２２に進み、それ以外の場合は、第３の差分絶対値和比較ステップＳ４０１３に進む。
【００４７】
第２の動きベクトル比較ステップＳ４０２２では、符号化対象ブロックの動きベクトル（ＣｕｒｒＭＶ）の水平成分ＭＶｘと所定の動きベクトル閾値（ＭＶＴｈｒ）とを比較し、符号化対象ブロックと物体との移動方向を判定する。ＭＶｘがＭＶＴｈｒより大きい場合（ＭＶｘ＞ＭＶＴｈｒ）は、物体が左方向に移動していると考えられる。ここで、第２の差分絶対値和比較ステップＳ４０１２における（ＣｕｒｒＳＡＤ−Ｓ３）＞Ｔｈｒ３の判定により、符号化対象ブロックにおいて、ＣｕｒｒＳＡＤは、右上隣接ブロックのＳ３から大きくなっていることが分かる。従って、ＭＶｘがＭＶＴｈｒより大きい場合（ＭＶｘ＞ＭＶＴｈｒ）は、物体が左方向に移動した場合に物体の右側に残像ノイズが発生していると判断する。この場合、イントラモード適用ステップＳ１０４に進み、符号化対象ブロックの符号化モードにイントラモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＲＡ）。
【００４８】
また、第２の動きベクトル比較ステップＳ４０２２では、符号化対象ブロックの動きベクトル（ＣｕｒｒＭＶ）の鉛直成分ＭＶｙと所定の動きベクトル閾値（−ＭＶＴｈｒ）とを比較し、符号化対象ブロックと物体との移動方向を判定する。ＭＶｙが−ＭＶＴｈｒより小さい場合（ＭＶｙ＜−ＭＶＴｈｒ）は、物体が下方向に移動していると考えられる。ここで、第２の差分絶対値和比較ステップＳ４０１２における（ＣｕｒｒＳＡＤ−Ｓ３）＞Ｔｈｒ３の判定により、符号化対象ブロックにおいて、ＣｕｒｒＳＡＤは、右上隣接ブロックのＳ３から大きくなっていることが分かる。従って、ＭＶｙが−ＭＶＴｈｒより小さい場合（ＭＶｙ＜−ＭＶＴｈｒ）は、物体が下方向に移動した場合に物体の上側に残像ノイズが発生していると判断する。この場合、イントラモード適用ステップＳ１０４に進み、符号化対象ブロックの符号化モードにイントラモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＲＡ）。
【００４９】
一方、ＭＶｘがＭＶＴｈｒ以下の場合は、水平方向に関して、右上隣接ブロック５０３のＳ３とＣｕｒｒＳＡＤとの変化の方向と物体の移動方向が異なるため、残像ノイズが発生していないと判断する。また、ＭＶｙが−ＭＶＴｈｒ以上の場合は、鉛直方向に関して、右上隣接ブロック５０３のＳ３とＣｕｒｒＳＡＤとの変化の方向と物体の移動方向が異なるため、残像ノイズが発生していないと判断する。このように、水平方向および鉛直方向の両方に関して、残像ノイズの発生がないと判断された場合は、インターモード適用ステップＳ１０５に進み、符号化対象ブロックの符号化モードにインターモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＥＲ）。
【００５０】
第３の差分絶対値和比較ステップＳ４０１３では、符号化対象ブロック差分絶対値和算出ステップＳ１０１で算出した符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と、周辺ブロック差分絶対値和取得ステップＳ４０２で取得した上隣接ブロック５０２の差分絶対値和Ｓ２との差分絶対値を求め、当該差分絶対値と所定の閾値Ｔｈｒ３との比較を行う。当該差分絶対値が、所定の閾値Ｔｈｒ３より大きい場合（（ＣｕｒｒＳＡＤ−Ｓ２）＞Ｔｈｒ３）は、第３の動きベクトル比較ステップＳ４０２３に進み、それ以外の場合は、残像ノイズの発生がないと判断し、インターモード適用ステップＳ１０５に進み、符号化対象ブロックの符号化モードにインターモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＥＲ）。
【００５１】
第３の動きベクトル比較ステップＳ４０２３では、符号化対象ブロックの動きベクトル（ＣｕｒｒＭＶ）の鉛直成分ＭＶｙと所定の動きベクトル閾値（−ＭＶＴｈｒ）とを比較し、符号化対象ブロックと物体との移動方向を判定する。ＭＶｙが−ＭＶＴｈｒより小さい場合（ＭＶｙ＜−ＭＶＴｈｒ）は、物体が下方向に移動していると考えられる。ここで、第３の差分絶対値和比較ステップＳ４０１３における（ＣｕｒｒＳＡＤ−Ｓ２）＞Ｔｈｒ３の判定により、符号化対象ブロックにおいて、ＣｕｒｒＳＡＤは、上隣接ブロックのＳ２から大きくなっていることが分かる。従って、ＭＶｙが−ＭＶＴｈｒより小さい場合（ＭＶｙ＜−ＭＶＴｈｒ）は、物体が下方向に移動した場合に物体の上側に残像ノイズが発生していると判断する。この場合、イントラモード適用ステップＳ１０４に進み、符号化対象ブロックの符号化モードにイントラモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＲＡ）。
【００５２】
一方、ＭＶｙが−ＭＶＴｈｒ以上の場合は、上隣接ブロック５０２のＳ２とＣｕｒｒＳＡＤとの変化の方向と物体の移動方向が異なるため、残像ノイズが発生していないと判断する。この場合、インターモード適用ステップＳ１０５に進み、符号化対象ブロックの符号化モードにインターモードを適用する（ＭＢＴｙｐｅ＝ＩＮＴＥＲ）。
【００５３】
本発明の第１の実施形態では、符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と、符号化対象ブロックの上に隣接するブロックと左に隣接するブロックのそれぞれの差分絶対値和Ｓ１、Ｓ２との差分絶対値をイントラ・インター判定に用いていた。しかし、この場合、動いている物体の移動方向が右または下方向の場合に発生する残像ノイズに対しては効果があるが、動いている物体の移動方向が左や上方向の場合には、残像ノイズが物体の右側または下側に発生するため、適切に判定することができない。そこで、本発明の第２の実施形態では、動きベクトルの方向に合わせ、イントラ・インター判定に使用する周辺ブロックの位置を変更することによって、動いている物体の移動方向が左や上方向であっても残像ノイズの発生による画質劣化を防ぐことができるようにしている。
【００５４】
このように、上述したイントラ・インター判定を行うことによって、物体の移動方向が右や下方向以外の場合においても、残像ノイズの発生するブロックのみを適切にイントラモードにすることができる。
【００５５】
以上のように、本発明の第２の実施形態におけるイントラ・インター判定によれば、低ビットレート時の動画像符号化方式のイントラ・インター判定において、動きベクトルの方向に合わせ、イントラ・インター判定に使用する周辺ブロックの位置を変更することによって、動いている物体の移動方向が一定方向に限定されず、いずれの移動方向であっても、残像ノイズの発生を防ぐことができる。従って、本発明の第２の実施形態におけるイントラ・インター判定によれば、本発明の第１の実施形態におけるイントラ・インター判定と比較して、さらに動画像の符号化における符号量の増加を抑止しつつ、画質劣化を防ぐ動画像符号化方法を実現することができる。
【００５６】
なお、本実施形態において、符号化対象ブロックの周辺ブロックの差分絶対値和（ＳＡＤ）を算出する方法として、例えば、差分絶対値和保存ステップＳ１０６および差分情報メモリ１００を備えず、周辺ブロック差分絶対値和取得ステップＳ１０２において、参照画像と周辺ブロックとに基づいて、差分絶対値和（ＳＡＤ）を算出しても同様の効果が得られることは、言うまでもない。
【００５７】
なお、本実施形態では、周辺ブロックとして左隣接ブロック、上隣接ブロック、および右上隣接ブロックの場合を説明したが、これに限るものではない。例えば、符号化対象ブロックの左上、右、および下側に隣接するブロックの差分絶対値和（ＳＡＤ）を使っても良い。符号化対象ブロックの８方向全ての周辺ブロックと動きベクトルの方向をイントラ・インター判定に用いることで、物体の移動方向がいずれの場合も残像ノイズの発生を防ぐことができる。この場合、符号化対象ブロックの右や下側のＳＡＤが必要になるため、符号化対象ブロックのイントラ・インター判定の前に右や下側のブロックのＳＡＤを求めておくことが必要になる。
【００５８】
また、本発明の第１および第２の実施形態の説明では、差分絶対値和の差分と比較する閾値を所定の値として説明していたが、これに限るものではない。例えば、量子化パラメータや動きベクトルの値によって閾値を変化させても構わない。量子化パラメータの値が小さく、細かな量子化をする場合は、インターモードを選択した時でも差分画像により残像ノイズを消すことができるため、閾値を大きくし、イントラモードが選択されにくくしても問題ない。例えば、量子化パラメータの値が小さい時は大きな閾値が選択され、量子化パラメータが大きい時は小さな閾値が選択されるようなテーブル等を用いる方法が考えられる。また、関数を用いて差分絶対値和の差分と比較する閾値を求めることもできる。
【００５９】
さらに、動きベクトルの大きさが大きいときは移動量が大きく残像ノイズが発生しやすいと考えられるため、差分絶対値和の差分と比較する閾値を小さくし、イントラモードが選択されやすくすることもできる。例えば、動きベクトルの大きさが小さいときは差分絶対値和の差分と比較する閾値を大きくし、動きベクトルの大きさが大きいときは差分絶対値和の差分を比較する閾値を小さくするようなテーブル等を用いる方法が考えられる。また、関数を用いて差分絶対値和の差分と比較する閾値を求めることもできる。
【００６０】
また、本発明の第１および第２の実施形態の説明では、符号化対象ブロックの差分絶対値和（ＣｕｒｒＳＡＤ）と周辺ブロックの差分絶対値和（ＳＡＤ）との差分の比較、または動きベクトル（ＣｕｒｒＭＶ）の比較との組み合わせでイントラ・インター判定を行っていたが、イントラ・インター判定はこれに限るものではない。例えば、本発明の第１および第２の実施形態におけるイントラ・インター判定と従来のイントラ・インター判定とを組み合わせても良い。本発明の第１および第２の実施形態におけるイントラ・インター判定においては、残像ノイズが発生するブロックにイントラモードを適用し、その他のブロックにインターモードを適用する。一方、従来のイントラ・インター判定は、符号化効率を考慮してイントラ・インター判定を行っている。本発明の第１および第２の実施形態におけるイントラ・インター判定において、インターモードと判定されたブロックにおいても、イントラモードを適用した方が符号化効率が良い場合が考えられる。この場合、当該ブロックにおいてイントラモードを適用する。このように、本発明の第１および第２の実施形態におけるイントラ・インター判定に従来のイントラ・インター判定を追加することによって、符号化効率の向上を図ることができる。
【００６１】
（第３の実施形態）
図６は、本発明の第３の実施形態における画像符号化装置６００の構成を示す図である。画像符号化装置６００は、ブロック分割部６０１と、直交変換部６０２と、量子化部６０３と、エントロピー符号化部６０４と、逆量子化部６０５と、逆直交変換部６０６と、ループフィルタ６０７と、第１フレームメモリ６０８と、イントラ予測部６０９と、第２フレームメモリ６１０と、インター予測部６１１と、セレクタ６１２と、イントラ・インター判定部６１３と、差分情報メモリ６１４とから構成される。
【００６２】
画像符号化装置６００における画像処理について、以下に説明する。ブロック分割部６０１は、画像符号化装置６００に入力された入力画像に対してブロック毎に分割を行う。ブロック分割部６０１によって分割された入力画像と後述する予測画像との差分画像が、直交変換部６０２によって直交変換され、さらに量子化部６０３よって量子化される。量子化部６０３で得られた量子化係数は、エントロピー符号化部６０４によって符号化され、ビットストリームとして出力されるが、一方で、逆量子化部６０５によって逆量子化され、さらに逆直交変換部６０６によって逆直交変換される。
【００６３】
逆直交変換部６０６で得られた画像と後述する予測画像とが加算され、当該生成された画像は、第１フレームメモリ６０８およびループフィルタ６０７に入力される。第１フレームメモリ６０８に記憶されたフレーム内の画像は、イントラ予測部６０９によって、フレーム内予測され、イントラ・インター判定部に入力される。
【００６４】
一方、ループフィルタ６０７は、入力されたフレーム内の画像に対してデブロッキングフィルタをかける。ループフィルタ６０７でデブロッキングフィルタをかけられた画像は、第２フレームメモリ６１０によって記憶され、さらにインター予測部６１１によってフレーム間予測され、イントラ・インター判定部６１３に入力される。また、インター予測部６１１で得られた差分情報は、順次処理する処理ブロックの周辺ブロックの差分情報として用いるため、差分情報メモリ６１４によって記憶される。
【００６５】
イントラ・インター判定部６１３は、イントラ予測部６０９で得られたアクティビティ情報と、インター予測部６１１で得られた差分情報と、差分情報メモリ６１４から得られる周辺ブロックの差分情報とからイントラ・インター判定を行う。ここで、イントラ・インター判定部６１３は、本発明の第１の実施形態や第２の実施形態のイントラ・インター判定方法により、イントラ・インター判定を行う。
【００６６】
セレクタ６１２は、イントラ・インター判定部６１３で得られた判定結果に基づいて、イントラ予測部６０９で得られた予測画像と、インター予測部６１１で得られた予測画像とのいずれかを選択し、ブロック分割部６０１から出力される入力画像と、逆直交変換部６０６から出力される画像とに加算される。
【００６７】
以上のように、本発明の第３の実施形態における画像符号化装置によれば、イントラ・インター判定部において、本発明の第１および第２の実施形態で示した動画像符号化方法を用いることによって、残像ノイズの発生するブロックのみにイントラモードを適用することができ、低ビットレート時の動画像の符号化における符号量の増加を抑止しつつ、画質劣化を防ぐ画像符号化装置を実現することができる。
【００６８】
なお、画像符号化装置６００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【００６９】
（第４の実施形態）
本発明の第４の実施形態では、本発明の第１および第２の実施形態で説明した動画像符号化方法を利用した、例えば、デジタルスチルカメラやネットワークカメラ等の撮像システム（映像システム）の一例について説明する。図７は、本発明の第４の実施形態における撮影システム７００の構成を示す図である。撮影システム７００は、光学系７０１と、センサー７０２と、Ａ／Ｄ変換回路７０３と、画像処理回路７０４と、記録系／転送系７０５と、再生系７０６と、タイミング制御回路７０７と、システム制御回路７０８とから構成される。
【００７０】
撮像システム７００における画像処理について、以下に説明する。光学系７０１を通って入射した画像光は、センサー７０２上に結像され、光電変換される。光電変換によって得られた電気信号は、Ａ／Ｄ変換回路７０３によってデジタル信号に変換され、画像処理回路７０４に入力される。画像処理回路７０４は、例えば、本発明の第１の実施形態に示した画像符号化方法を実行する画像符号化部７０９を備える。画像処理回路７０４においては、Ｙ／Ｃ処理、エッジ処理、および画像の拡大縮小等の処理が行われる。画像処理回路７０４においては、さらに、ＪＰＥＧやＭＰＥＧ等の画像圧縮／伸張処理、および画像圧縮されたストリームの制御等も行われる。画像処理回路７０４によって、画像処理された信号は、記録系／転送系７０５において、メディアへ記録され、またはインターネット等を介して伝送される。記録系／転送系７０５によって、記録または転送された信号は再生系７０６により再生される。ここで、センサー７０２および画像処理回路７０４は、タイミング制御回路７０７により制御され、光学系７０１、記録系／転送系７０５、再生系７０６、およびタイミング制御回路７０７は、システム制御回路７０８により制御されている。
【００７１】
以上のように、本発明の第４の実施形態における撮影システムによれば、画像処理回路において、本発明の第１および第２の実施形態で示した動画像符号化方法を用いることによって、残像ノイズの発生するブロックのみにイントラモードを適用することができ、低ビットレート時の動画像の符号化における符号量の増加を抑止しつつ、画質劣化を防ぐ撮影システムを実現することができる。
【００７２】
なお、図７に示した撮像システム７００では、光学系７０１からの画像光をセンサー７０２で光電変換して、Ａ／Ｄ変換回路７０３に入力したカメラ機器等について説明したが、本発明における撮影システムは、これに限定されるものではない。その他、テレビ等のＡＶ機器のアナログ映像入力を、直接、Ａ／Ｄ変換回路７０３に入力しても良いことは言うまでもない。
【産業上の利用可能性】
【００７３】
本発明における画像符号化方法は、残像ノイズが発生するブロックのみにイントラモードを適用することによって、動画像の符号化における符号量の増加を最小限に抑えつつ、残像ノイズを防ぐことができるため、低ビットレート時の画質性能が求められるネットワークカメラや監視カメラ向けの画像符号化装置等として有用である。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１の実施形態におけるイントラ・インター判定のフローチャート
【図２】本発明の第１の実施形態における符号化対象ブロックと周辺ブロックとの位置を示す図
【図３】本発明の第１の実施形態におけるイントラ・インター判定によって、ブロックの符号化モードの選択を示す図
【図４】本発明の第２の実施形態におけるイントラ・インター判定のフローチャート
【図５】本発明の第２の実施形態における符号化対象ブロックと周辺ブロックとの位置を示す図
【図６】本発明の第３の実施形態における画像符号化装置６００の構成を示す図
【図７】本発明の第４の実施形態における撮影システム７００の構成を示す図
【図８】従来技術におけるイントラ・インター判定のフローチャート
【図９】イントラモードとインターモードとの適用範囲を示す図
【図１０】従来技術におけるイントラ・インター判定のフローチャート
【図１１】イントラモードとインターモードとスキップモードとの適用範囲を示す図
【図１２】残像ノイズの発生しているフレームを示す図
【図１３】分散が大きくなっているブロックの符号化にイントラモードを選択した場合を示す図
【符号の説明】
【００７５】
１００    差分情報メモリ
２００、５００    符号化対象ブロック
２０１、５０１    左隣接ブロック
２０２、５０２    上隣接ブロック
５０３    右上隣接ブロック
３０１、１２０１    フレーム
３０２、１２０２    移動前画像
３０３、１２０３    移動後画像
６００    画像符号化装置
６０１    ブロック分割部
６０２    直交変換部
６０３    量子化部
６０４    エントロピー符号化部
６０５    逆量子化部
６０６    逆直交変換部
６０７    ループフィルタ
６０８    第１フレームメモリ
６０９    イントラ予測部
６１０    第２フレームメモリ
６１１    インター予測部
６１２    セレクタ
６１３    イントラ・インター判定部
６１４    差分情報メモリ
７００    撮影システム
７０１    光学系
７０２    センサー
７０３    Ａ／Ｄ変換回路
７０４    画像処理回路
７０５    記録系／転送系
７０６    再生系
７０７    タイミング制御回路
７０８    システム制御回路
Ｓ１０１    符号化対象ブロック差分絶対値和算出ステップ
Ｓ１０２    周辺ブロック差分絶対値和取得ステップ
Ｓ１０３    イントラ・インター判定ステップ
Ｓ１０４    イントラモード適用ステップ
Ｓ１０５    インターモード適用ステップ
Ｓ１０６    差分絶対値和保存ステップ
Ｓ４０１    符号化対象ブロック動きベクトル算出ステップ
Ｓ４０２    周辺ブロック差分絶対値和取得ステップ
Ｓ４０３    イントラ・インター判定ステップ
Ｓ４０１１〜Ｓ４０１３    差分絶対値和比較ステップ
Ｓ４０２１〜Ｓ４０２３    動きベクトル比較ステップ
Ｓ８０１〜Ｓ８０５、Ｓ１００１〜Ｓ１００６    イントラ・インター判定における各ステップ
【図１】
2009182623.tif 000004
【図２】
2009182623.tif 000005
【図３】
2009182623.tif 000006
【図４】
2009182623.tif 000007
【図５】
2009182623.tif 000008
【図６】
2009182623.tif 000009
【図７】
2009182623.tif 000010
【図８】
2009182623.tif 000011
【図９】
2009182623.tif 000012
【図１０】
2009182623.tif 000013
【図１１】
2009182623.tif 000014
【図１２】
2009182623.tif 000015
【図１３】
2009182623.tif 000016