(57)【要約】【課題】ＭＰＥＧ２方式やＨ．２６４／ＡＶＣ方式では、入力画像の帯域を制限しても予測画像は帯域制限されていないため、残差画像には高域成分が残っている場合がある。この場合には入力画像の帯域制限では十分な情報量削減効果が得られない。【解決手段】入力された画像を圧縮符号化する画像符号化装置１０１であって、符号化対象の画像を予測し、予測画像を作成する予測画像作成手段１１３と、入力された画像と予測画像との差分をとり、残差画像を作成する残差画像作成手段１０４と、入力された画像について、画素毎に帯域制限を行うか否かを判断するエッジ検出手段１０５と、残差画像に対して、エッジ検出手段１０５の判定結果に基づき、フィルタ処理を行うフィルタ手段１０６と、を備える。【選択図】図１
2011120128.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像を圧縮符号化する画像符号化装置であって、
符号化対象の画像を予測し、予測画像を作成する予測画像作成手段と、
前記入力された画像と前記予測画像との差分をとり、残差画像を作成する残差画像作成手段と、
前記残差画像に対して、画素毎にフィルタ処理を行うフィルタ手段と、
を備える画像符号化装置。
【請求項２】
前記入力された画像について、画素毎に帯域制限の強さを判断する画素判定手段をさらに備え、
前記フィルタ手段は、
前記残差画像に対して、前記画素判定手段の判定結果に基づき、画素毎にフィルタ処理を行う
請求項１に記載の画像符号化装置。
【請求項３】
前記フィルタ手段は、
画素毎に適応的にフィルタ係数を変更する
請求項１又は２に記載の画像符号化装置。
【請求項４】
入力された画像を圧縮符号化する画像符号化装置であって、
符号化対象の画像を予測し、予測画像を作成する予測画像作成手段と、
前記入力された画像に対して、画素毎にフィルタ処理を行う第１のフィルタ手段と、
前記予測画像に対して、画素毎にフィルタ処理を行う第２のフィルタ手段と、
前記第１のフィルタ手段の出力と前記第２のフィルタ手段の出力との差分をとり、残差画像を作成する残差画像作成手段と、
を備える画像符号化装置。
【請求項５】
前記入力された画像について、画素毎に帯域制限の強さを判断する画素判定手段をさらに備え、
前記第１のフィルタ手段は、
前記入力された画像に対して、前記画素判定手段の判定結果に基づき、画素毎にフィルタ処理を行い、
前記第２のフィルタ手段は、
前記予測画像に対して、前記画素判定手段の判定結果に基づき、画素毎にフィルタ処理を行う
請求項４に記載の画像符号化装置。
【請求項６】
前記第１のフィルタ手段及び前記第２のフィルタ手段は、
画素毎に適応的にフィルタ係数を変更する
請求項４又は５に記載の画像符号化装置。
【請求項７】
前記予測画像作成手段は、
画面内予測を使って予測画像を作成する
請求項１から６の何れかに記載の画像符号化装置。
【請求項８】
符号化方式がＨ．２６４である
請求項１から７の何れかに記載の画像符号化装置。
【請求項９】
入力された画像を圧縮符号化する画像符号化方法であって、
符号化対象の画像を予測し、予測画像を作成する予測画像作成ステップと、
前記入力された画像と前記予測画像との差分をとり、残差画像を作成する残差画像作成ステップと、
前記残差画像に対して、画素毎にフィルタ処理を行うフィルタステップと、
を含む画像符号化方法。
【請求項１０】
前記入力された画像について、画素毎に帯域制限の強さを判断する画素判定ステップをさらに含み、
前記フィルタステップは、
前記残差画像に対して、前記画素判定ステップの判定結果に基づき、画素毎にフィルタ処理を行う
請求項９に記載の画像符号化方法。
【請求項１１】
前記フィルタステップは、
画素毎に適応的にフィルタ係数を変更する
請求項９又は１０に記載の画像符号化方法。
【請求項１２】
入力された画像を圧縮符号化する画像符号化方法であって、
符号化対象の画像を予測し、予測画像を作成する予測画像作成ステップと、
前記入力された画像に対して、画素毎にフィルタ処理を行う第１のフィルタステップと、
前記予測画像に対して、画素毎にフィルタ処理を行う第２のフィルタステップと、
前記第１のフィルタステップの出力と前記第２のフィルタステップの出力との残差をとり、残差画像を作成する残差画像作成ステップと、
を含む画像符号化方法。
【請求項１３】
前記入力された画像について、画素毎に帯域制限の強さを判断する画素判定ステップをさらに含み、
前記第１のフィルタステップは、
前記入力された画像に対して、前記画素判定ステップの判定結果に基づき、画素毎にフィルタ処理を行い、
前記第２のフィルタステップは、
前記予測画像に対して、前記画素判定ステップの判定結果に基づき、画素毎にフィルタ処理を行う
請求項１２に記載の画像符号化方法。
【請求項１４】
前記第１のフィルタステップ及び前記第２のフィルタステップは、
画素毎に適応的にフィルタ係数を変更する
請求項１２又は１３に記載の画像符号化装置。
【請求項１５】
前記予測画像作成ステップは、
画面内予測を使って予測画素を作成する
請求項９から１４の何れかに記載の画像符号化方法。
【請求項１６】
符号化方式がＨ．２６４である
請求項９から１５の何れかに記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非圧縮デジタル画像を圧縮する画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
従来のＭＰＥＧ２方式やＨ．２６４／ＡＶＣ方式などを用いた画像符号化装置に関して、限られたビットレートでより高画質な符号化を行うための様々な装置が提案されている。
【０００３】
例えば特許文献１及び２では、入力画像に対して帯域制限を行うことで、予め入力画像の情報量を減らしてから符号化処理を行う装置が開示されている。また特許文献３では、符号化処理の過程において、直交変換後の係数に対して帯域制限を行い、伝送する係数を削減する装置が開示されている。これらの装置を使うことで主観的な画質を落とすことなく、低いビットレートで符号化することが可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平３−２６１２８９号公報
【特許文献２】特開２００３−２９９０８５号公報
【特許文献３】特開平６−７０２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながらＭＰＥＧ２方式やＨ．２６４／ＡＶＣ方式では、入力画像と、符号化済みの画素から予測した予測画像との差分を残差画像として圧縮・伝送する。従って、入力画像の帯域を制限していても予測画像は帯域制限されていないため、残差画像には高域成分が残っている場合がある。この場合には十分な情報量削減効果が得られない。
【０００６】
また一方で、直交変換後の係数に対して帯域制限をする手法では、帯域制限を画素毎に制御することが出来ず、符号化ブロック単位でしか制御することができない。従って、ブロック内に主観画質に影響のある画素と主観画質に影響の無い画素が共存していた場合、帯域制限することで主観画質が劣化することがある。
【０００７】
本発明は上記問題を解決すべくなされたものであり、その目的とするところは主観的な画質を損なうことなく伝送する情報量を減らし、より主観画質の高い画像圧縮が可能な画像符号化装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記問題を解決するために、入力された画像を圧縮符号化する画像符号化装置であって、符号化対象の画像を予測し、予測画像を作成する予測画像作成手段と、前記入力された画像と前記予測画像との差分をとり、残差画像を作成する残差画像作成手段と、前記残差画像に対して、画素毎にフィルタ処理を行うフィルタ手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、ＭＰＥＧ２やＨ．２６４／ＡＶＣ規格に準拠しながら、圧縮・伝送する情報量を減らして符号化できる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における画像符号化装置の構成を示すブロック図
【図２】実施の形態１におけるフィルタ手段で用いる３×３のガウシアンフィルタを示す図
【図３】実施の形態１の一変形例における画像符号化装置の構成を示すブロック図
【発明を実施するための形態】
【００１１】
（実施の形態１）
本実施の形態１にかかる画像符号化装置は、非圧縮のデジタル画像を入力とし、例えばＨ．２６４のような符号化方式で圧縮されたバイトストリームを出力する。図１は本実施の形態における画像符号化装置の構成を示すブロック図である。
【００１２】
画像符号化装置１０１には、入力端子１０２から非圧縮のデジタル画像がブロック毎に入力され、出力端子１０３からは圧縮ストリームが出力される。残差画像作成手段１０４は、入力画像と後述する予測画像作成手段１１３から出力された予測画像との差分をとり、残差画像として出力する。エッジ検出手段１０５は、入力信号に対し、エッジか非エッジかを画素毎に検出して出力する。フィルタ手段１０６は、残差画像作成手段１０４が出力した残差画像と、エッジ検出手段１０５が出力した画素毎のエッジ検出結果とが入力され、残差画像に対して画素毎に帯域制限を行い、帯域制限済みの残差画像として出力する。この時の帯域制限は、エッジ検出手段１０５からの入力を基に画素毎に適応的に行う。直交変換手段１０７は、フィルタ手段１０６が出力した帯域制限済みの残差画像に対して直交変換を行い、残差画像の空間周波数領域での係数を出力する。量子化手段１０８は、直交変換手段１０７が出力した係数を量子化して出力する。算術符号化手段１０９は、量子化手段１０８が出力した量子化済みの係数を算術符号化し、圧縮ストリームとして出力する。
【００１３】
遅延手段１１０は、次に符号化されるブロックと後述する予測画像作成手段１１３の出力とが残差画像作成手段１０４に同時に入力されるように、量子化後の係数を遅延させて出力する。逆量子化手段１１１は、遅延手段１１０が出力した量子化済みの係数を逆量子化し、残差画像の空間周波数領域での係数を出力する。逆直交変換手段１１２は、逆量子化手段１１１が出力した係数を逆直交変換し、空間領域での残差画像を出力する。予測画像作成手段１１３は、逆直交変換手段１１２が出力した残差画像から入力画像に対する予測画像を作成して出力する。
【００１４】
まず、入力端子１０２から入力された最初のブロックは、残差画像作成手段１０４によってグレーのベタ画像との差分が計算され、残差画像として出力される。また、エッジ検出手段１０５は入力信号の各画素に対して、例えばＲｏｂｅｒｔｓのエッジ検出オペレータを用いたエッジ検出を行い、画素毎にエッジ・非エッジの判定結果を出力する。フィルタ手段１０６は、エッジ検出手段１０５から入力されたエッジ情報を基に、残差画像作成手段１０４から入力された残差画像に対して適応的に帯域制限を行う。フィルタ手段１０６は、残差画像の中でエッジと検出された画素の位置に相当する残差画素に対しては何もせず、非エッジと検出された画素の位置に相当する残差画素に対しては、例えば図２に示すような３×３のガウシアンフィルタをかけて帯域制限を行う。
【００１５】
フィルタ手段１０６は、その結果を帯域制限済みの残差画像として出力する。直交変換手段１０７は、入力された帯域制限済みの残差画像に対してＨ．２６４の規格に従った直交変換を行い、残差画像の空間周波数領域での係数を出力する。量子化手段１０８は、入力された係数に対して、予め決められた量子化係数でＨ．２６４の規格に従った量子化を行い、量子化後の係数を出力する。算術符号化手段１０９は、入力された量子化後の係数に対してＨ．２６４の規格に従った算術符号化を行い、圧縮ストリームを出力する。
【００１６】
遅延手段１１０は、次に符号化されるブロックと予測画像作成手段１１３の出力とが残差画像作成手段１０４に同時に入力されるように、量子化後の係数を遅延させて出力する。逆量子化手段１１１は、入力された量子化後の係数に対して量子化手段１０８と同じ量子化係数を用いて逆量子化を行い、残差画像の空間周波数領域での係数を出力する。逆直交変換手段１１２は、入力された係数に対して逆直交変換を行い、空間領域での残差画像を出力する。予測画像作成手段１１３は入力された残差画像と予め決められた予測モードを用いて、Ｈ．２６４の規格に従った予測画像を作成し、出力する。予測画像作成手段１１３は、例えば、画面内予測を使って予測画像を作成する。続いて残差画像作成手段１０４には、２番目に符号化されるブロックが入力端子１０２から入力されると同時に予測画像作成手段１１３から予測画像が入力される。残差画像作成手段１０４は２つの入力画像の差分を計算し、残差画像として出力する。
【００１７】
以降同様にして、１フレーム分のブロックが符号化されるまで繰り返す。
【００１８】
以上のように、画像符号化装置１０１は、残差画像作成手段１０４が出力する残差画像に対して帯域制限を行うことにより、入力画像や予測画像に依らずに情報量を削減できる。
【００１９】
また、画像符号化装置１０１は、エッジ検出手段１０５で、入力信号に対し、エッジか非エッジかを画素毎に検出し、フィルタ手段１０６で、残差画像の中で非エッジ部と検出された画素の位置に相当する残差画素に対しては帯域制限を行い、残差画像の中でエッジ部と検出された画素の位置に相当する残差画素に対しては何もしないことにより、帯域制限される画素は、入力画像上の非エッジ部に限られ、主観的な画質の劣化を抑えた情報量の削減が可能となる。
【００２０】
尚、本実施の形態では、予測画像作成手段１１３は符号化対象ブロックの直前のブロックのみを用いて予測画像の作成を行っているが、遅延手段１１０が遅延させる時間を変化させることで予測に使用するブロックを変えることが出来る。また、遅延手段を複数備えることで、予測に使用するブロックの数を変えることも出来る。これにより、フレーム間予測を用いた場合でも残差画像に対して帯域制限することが出来る。
【００２１】
尚、本実施の形態では、フィルタ手段１０６はエッジ検出手段１０５が検出した入力画像のエッジ情報に従って適応的に帯域制限を行っているが、適応制御に用いる情報はこれに限らない。例えば、画像符号化装置は、顔検出手段を備え、入力画像中で検出した顔に相当する画素部分に対しては帯域制限を行わず、それ以外の画素の部分に対しては帯域制限を行う形態であってもよい。
【００２２】
尚、本実施の形態では、フィルタ手段１０６は残差画像に対して帯域制限を行っているが、これは入力画像と予測画像双方とに帯域制限を行うことと数学的に等価である。本実施の形態の変形例として、入力画像と予測画像双方に対して帯域制限を行う画像符号化装置の構成を図３に示す。図３において、図１と同じ構成要素に関しては同一の名前を付与し、説明を省略する。画像符号化装置３０１は、エッジ検出手段３０５で、入力信号に対して画素毎にエッジか非エッジかを検出し、フィルタ手段３０６で、非エッジ部と検出された画素の位置に相当する入力画像に対してフィルタ処理を行い、フィルタ手段３１６で、非エッジ部と検出された画素の位置に相当する予測画像に対してフィルタ処理を行い、残差画像作成手段３０４で、フィルタ手段３０６の出力とフィルタ手段３１６の出力との差分を取って残差画像を作成し、作成した残差画像に対して符号化を行う。これにより、画像符号化装置３０１は、図１に示す画像符号化装置１０１と同様の効果を得ることができる。
【００２３】
尚、本実施の形態では、算術符号化手段１０９を用いているが、符号化の方法はこれに限らない。
【産業上の利用可能性】
【００２４】
本実施の形態の画像符号化装置によれば、圧縮・伝送される残差画像に対して帯域制限するため、入力画像や予測画像に依存せずに情報量を削減することが出来る。また、適応的な帯域制限を画素毎に行うため、主観画質を損なうことなく情報量を削減することも出来る。
【符号の説明】
【００２５】
１０１、３０１  画像符号化装置
１０２、３０２  入力端子
１０３、３０３  出力端子
１０４、３０４  残差画像作成手段
１０５、３０５  エッジ検出手段
１０６、３０６、３１６  フィルタ手段
１０７、３０７  直交変換手段
１０８、３０８  量子化手段
１０９、３０９  算術符号化手段
１１０、３１０  遅延手段
１１１、３１１  逆量子化手段
１１２、３１２  逆直交変換手段
１１３、３１３  予測画像作成手段
【図１】
2011120128.tif 000003
【図２】
2011120128.tif 000004
【図３】
2011120128.tif 000005