(57)【要約】  画像を圧縮符号化し伝送、記録する際、画質向上と符号化効率向上とを両立させること。画像圧縮装置１００は、入力画像である第１フレームと、すでに圧縮符号化時に作成された参照画像との間で動き検出を行う動き探索部１４，１５と、動き検出の結果に基づき、入力画像とは異なる第２フレームを用いて第１フレームのテンポラルフィルタ処理を行うテンポラルフィルタ１６と、テンポラルフィルタ処理を行った画像に対して、圧縮符号化を行う圧縮符号化部１８〜２２と、を備える。テンポラルフィルタ１６は、圧縮符号化部が用いる符号化パラメータに基づき、参照画像の位置とフィルタ特性を決定する。
2017060951.tif 000002
【特許請求の範囲】
【請求項１】
画像の圧縮符号化を行う画像圧縮装置であって、
入力画像である第１フレームと、すでに圧縮符号化時に作成された参照画像との間で画像内の小領域毎に動き検出を行う動き探索部と
前記動き検出の結果に基づき、前記入力画像とは異なる第２フレームを用いて前記第１フレームのテンポラルフィルタ処理を行うテンポラルフィルタと、
前記テンポラルフィルタ処理を行った画像に対して、予測画像との差分演算、周波数変換、量子化、可変長符号化を行う圧縮符号化部と、
前記圧縮符号化部における符号化パラメータを制御する符号化パラメータ制御部と、を備え、
前記テンポラルフィルタは、前記符号化パラメータ制御部が選択した符号化パラメータに基づき、前記参照画像の位置とフィルタ特性を決定することを特徴とする画像圧縮装置。
【請求項２】
請求項１に記載の画像圧縮装置であって、
前記第２のフレームは、前記圧縮符号化部の動き補償に用いる前記参照画像であることを特徴とする画像圧縮装置。
【請求項３】
請求項１に記載の画像圧縮装置であって、
前記第２フレームは、前記入力画像に対し前記テンポラルフィルタ処理を行った画像であることを特徴とする画像圧縮装置。
【請求項４】
請求項１に記載の画像圧縮装置であって、
前記符号化パラメータ制御部は、予測モードとして選択したイントラ予測またはインター予測に基づき、前記テンポラルフィルタのフィルタ特性を動的に制御することを特徴とする画像圧縮装置。
【請求項５】
請求項１に記載の画像圧縮装置であって、
前記符号化パラメータ制御部は、前記動き探索部の検出した動きベクトルの大きさに応じて、前記テンポラルフィルタ処理における前記第１フレームと前記第２フレームの合成比を制御することを特徴とする画像圧縮装置。
【請求項６】
請求項１に記載の画像圧縮装置であって、
前記符号化パラメータ制御部は、予め設定された注目領域情報に応じて、前記テンポラルフィルタ処理における前記第１フレームと前記第２フレームの合成比を制御することを特徴とする画像圧縮装置。
【請求項７】
請求項１に記載の画像圧縮装置であって、
前記テンポラルフィルタは、第１テンポラルフィルタ処理と第２テンポラルフィルタ処理を行い、
前記動き探索部は、動き粗探索と動き密探索を行うものであって、
前記第１テンポラルフィルタ処理は、前記動き粗探索にて検出された動きベクトルが指し示す前記参照画像の位置との間で施され、
前記動き密探索は、前記第１テンポラルフィルタ処理後の画像を用いて最終的な動きベクトルを検出することを特徴とする画像圧縮装置。
【請求項８】
請求項１に記載の画像圧縮装置であって、
前記テンポラルフィルタ処理は、前記第１フレーム内のマクロブロックがイントラ予測を行う場合にも適用することを特徴とする画像圧縮装置。
【請求項９】
請求項１に記載の画像圧縮装置であって、
前記テンポラルフィルタ処理は、前記第１フレーム内のマクロブロックがイントラ予測を行う場合には適用しないことを特徴とする画像圧縮装置。
【請求項１０】
圧縮符号化された画像の復号処理を行う画像復号装置であって、
テンポラルフィルタ処理が施され圧縮符号化されたストリームを入力し、
前記ストリームを伸長復号する伸長復号部と、
前記伸長復号された画像に対し、前記テンポラルフィルタ処理の逆変換を行うテンポラルフィルタ復元部と、を備え、
前記テンポラルフィルタ復元部は、前記伸長復号部による伸長復号時に求められた符号化パラメータにより、前記テンポラルフィルタ処理の逆変換のための参照画像位置とフィルタ特性を決定し、前記テンポラルフィルタ処理前の画像を復元させることを特徴とする画像復号装置。
【請求項１１】
請求項１０に記載の画像復号装置であって、
前記テンポラルフィルタ復元部で用いる参照画像は、前記伸長復号部による伸長復号時に復号された参照画像であることを特徴とする画像復号装置。
【請求項１２】
請求項６に記載の画像圧縮装置を用いるネットワークカメラであって、
外部の光情報を画像データに変換するカメラ部と、
前記カメラ部の撮影方向を制御するカメラ制御部と、
前記カメラ制御部の制御情報から現在の撮影領域と予め設定された注目領域との位置関係を判定する注目領域制御部、
前記注目領域制御部からの注目領域に関する情報を受け、前記画像圧縮装置を用いて、前記画像データに前記テンポラルフィルタ処理を施し画像の圧縮符号化を行う圧縮符号化部と、を備え、
ネットワークに圧縮したストリームデータを送信することを特徴とするネットワークカメラ。
【請求項１３】
請求項１２に記載のネットワークカメラと、前記ネットワークカメラから送信された圧縮符号化されたストリームを入力し、画像の復号処理を行う画像復号装置を備える画像処理システムであって、
前記画像復号装置は、
前記ストリームを伸長復号する伸長復号部と、
前記伸長復号された画像に対し、前記テンポラルフィルタ処理の逆変換を行うテンポラルフィルタ復元部と、を備え、
前記テンポラルフィルタ復元部は、前記伸長復号部による伸長復号時に求められた符号化パラメータにより、前記テンポラルフィルタ処理の逆変換のための参照画像位置とフィルタ特性を決定し、前記テンポラルフィルタ処理前の画像を復元させることを特徴とする画像処理システム。
【請求項１４】
請求項１に記載の画像圧縮装置と、前記画像圧縮装置から送信された符号化ストリームを記録および再生する記録媒体と、前記記録媒体から再生した前記符号化ストリームから画像の復号処理を行う画像復号装置を備える画像記録再生システムであって、
前記画像復号装置は、
前記記録媒体から再生した前記ストリームを伸長復号する伸長復号部と、
前記伸長復号された画像に対し、前記テンポラルフィルタ処理の逆変換を行うテンポラルフィルタ復元部と、を備え、
前記テンポラルフィルタ復元部は、前記伸長復号部による伸長復号時に求められた符号化パラメータにより、前記テンポラルフィルタ処理の逆変換のための参照画像位置とフィルタ特性を決定し、前記テンポラルフィルタ処理前の画像を復元させることを特徴とする画像記録再生システム。
【請求項１５】
画像の圧縮符号化処理と該圧縮符号化された画像の復号処理を行う画像処理方法であって、
前記圧縮符号化処理では、
入力画像である第１フレームと、すでに圧縮符号化時に作成された参照画像との間で画像内の小領域毎に動き検出を行う動き探索ステップと
前記動き検出の結果に基づき、前記入力画像とは異なる第２フレームを用いて前記第１フレームのテンポラルフィルタ処理を行うフィルタ処理ステップと、
前記テンポラルフィルタ処理を行った画像に対して、予測画像との差分演算、周波数変換、量子化、可変長符号化を行う圧縮符号化ステップと、を備え、
前記フィルタ処理ステップでは、前記圧縮符号化ステップにて選択した符号化パラメータに基づき、前記参照画像の位置とフィルタ特性を決定するものとし、
前記復号処理では、
前記テンポラルフィルタ処理が施され圧縮符号化されたストリームを伸長復号する伸長復号ステップと、
前記伸長復号された画像に対し、前記テンポラルフィルタ処理の逆変換を行うフィルタ復元ステップと、を備え、
前記フィルタ復元ステップでは、前記伸長復号ステップにて求められた符号化パラメータにより、前記テンポラルフィルタ処理の逆変換のための参照画像位置とフィルタ特性を決定し、前記テンポラルフィルタ処理前の画像を復元させることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を伝送もしくは記録する際に、画像を効率良く圧縮伸長し、使用する伝送帯域を削減する技術に関する。
【背景技術】
【０００２】
デジタル画像データの記録やネットワークを介した伝送においては、データレートを抑えるために、一般にＨ．２６４／ＡＶＣに代表される画像圧縮規格に則って圧縮符号化することが行われている。この圧縮符号化では、各画像フレームを複数のブロックに分割された画像小領域毎に、予め格納された参照画像と呼ばれる他の参照フレームのデータを用いて動き補償し、参照フレームとの画素差分情報（残差情報）が用いられる。この際、できるだけ上記画素毎の差分情報を小さくするため、高精度のブロックマッチング動き予測が用いられる。そのための回路は、高い精度でブロック毎の動きベクトル検出を実現するために、広い探索範囲が求められ、且つ画素単位以下（サブピクセル精度）での動き予測が要求され、一般的に大きな回路規模を有するものとなる。【０００３】
一方、圧縮符号化を行う対象入力画像において大きなノイズ成分が存在する場合には、上記動き予測の精度に大きな影響を与える。例えば、暗所で撮影を行う動画撮影カメラの場合には、撮像センサにて感度を上げる（電気的にゲインを上げる）ため、ノイズも増幅され、被写体の信号レベルに比して非常に大きなホワイトノイズが発生する。このため、動き予測時に、フレーム間で本来同一の被写体の部位を動きベクトルが指し示すように動き予測を行うべきところを、偶発的に、ノイズ同士の画素差分のエネルギーが小さくなる箇所を動きベクトルが指し示すことが生じてしまう。その結果、本来高画質に維持したい被写体の画像データが大きな差分を持ち、そのノイズ成分を除去するために動き補償のための符号化情報が割かれて符号化効率が下がることになる。【０００４】
上記したホワイトノイズを抑制するために、テンポラルフィルタ、もしくは３次元ノイズフィルタと呼ばれる時間方向のフィルタ処理が知られている。テンポラルフィルタは、複数のフレーム間で同一の絵柄を有する箇所を動きベクトルとして検知し、該当する箇所間で画素値を平均化するフィルタ処理を施し、さらに次フレーム以降へと巡回させるものである。これにより、本来の入力画像の絵柄を維持し、ランダムに発生するノイズのみをキャンセルする効果がある。このテンポラルフィルタにおいても動きベクトルを求めるために動き予測を行うため、回路規模が大きくなり、例えばＬＳＩ化する際のチップ面積の占有率が高いことが実装上の課題となる。【０００５】
これに関し特許文献１には、算出した動きベクトルを共通に用いてノイズ除去処理と符号化処理を行う技術が提案されている。特許文献１には、「この技術の第１の側面は、入力画像を用いて動き検出を行い動きベクトルを算出する動き検出部と、前記動き検出部で算出された動きベクトルを用いて前記入力画像のノイズ除去処理を行い、ノイズ除去画像を生成するノイズ除去処理部と、前記動き検出部で算出された動きベクトルを用いて、前記ノイズ除去処理部で生成されたノイズ除去画像の符号化処理を行う符号化処理部とを備える画像処理装置にある。」と記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−２２３００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、テンポラルフィルタ処理を行うノイズ除去処理部とノイズ除去画像の符号化処理を行う符号化処理部にそれぞれ動き検出部を設ける必要がないことから回路規模を小さくできることを効果として挙げている。【０００８】
しかしながら従来のテンポラルフィルタは、ノイズの低減を主目的にしており、画質向上よりも画像圧縮時の符号化効率向上を目的に使用する場合、圧縮効率を低下させる箇所に直接テンポラルフィルタ処理を施すことが困難であった。また、圧縮効率を上げるために画面内の特定の場所の画質を制御したい場合に、上記テンポラルフィルタを適用する上で使い勝手が悪いという課題があった。さらに、一度テンポラルフィルタ処理を施した画像は、その処理前の原画に近い画像を復号側で再生することができないという課題があった。これらの課題については、前記特許文献１を始め従来技術では考慮されていない。【０００９】
本発明では、上記課題を解決し、画像圧縮符号化し伝送、記録する際、画質向上と符号化効率向上を両立し、使い勝手の良い画像圧縮装置および画像復号装置を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の、画像圧縮装置は、入力画像である第１フレームと、すでに圧縮符号化時に作成された参照画像との間で画像内の小領域毎に動き検出を行う動き探索部と、前記動き検出の結果に基づき、前記入力画像とは異なる第２フレームを用いて前記第１フレームのテンポラルフィルタ処理を行うテンポラルフィルタと、前記テンポラルフィルタ処理を行った画像に対して、予測画像との差分演算、周波数変換、量子化、可変長符号化を行う圧縮符号化部と、前記圧縮符号化部における符号化パラメータを制御する符号化パラメータ制御部と、を備え、前記テンポラルフィルタは、前記符号化パラメータ制御部が選択した符号化パラメータに基づき、前記参照画像の位置とフィルタ特性を決定する構成とする。【００１１】
また、本発明の画像復号装置は、テンポラルフィルタ処理が施され圧縮符号化されたストリームを入力し、前記ストリームを伸長復号する伸長復号部と、前記伸長復号された画像に対し、前記テンポラルフィルタ処理の逆変換を行うテンポラルフィルタ復元部と、を備え、前記テンポラルフィルタ復元部は、前記伸長復号部による伸長復号時に求められた符号化パラメータにより、前記テンポラルフィルタ処理の逆変換のための参照画像位置とフィルタ特性を決定し、前記テンポラルフィルタ処理前の画像を復元させる構成とする。
【発明の効果】
【００１２】
本発明によれば、画像圧縮符号化し伝送、記録する際、画質向上と符号化効率向上を両立し、使い勝手の良い画像圧縮装置および画像復号装置を実現することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】実施例１に係る画像圧縮装置のブロック構成を示す図。
【図２】入力するフレーム間の参照関係の例を示す図。
【図３】画像内のホワイトノイズの除去の例を説明する図。
【図４】動き予測処理を画像イメージを用いて説明する図。
【図５】参照画像のノイズ削減効果を示す図。
【図６】テンポラルフィルタを含む符号化処理のフローを示す図。
【図７】実施例２に係るフレーム間の参照関係の例を示す図。
【図８】テンポラルフィルタを含む符号化処理のフローを示す図。
【図９】実施例３に係るネットワークカメラの外観構成を示す図。
【図１０】画像処理システムのブロック構成を示す図。
【図１１】注目領域の設定の例を説明する図。
【図１２】注目度βとフィルタ処理時の係数αとの関係を示す図。
【図１３】テンポラルフィルタを含む符号化処理のフローを示す図。
【図１４】実施例４に係る画像圧縮装置のブロック構成を示す図。
【図１５】実施例５に係る画像処理システムのブロック構成を示す図。
【図１６】テンポラルフィルタを含む符号化処理のフローを示す図。
【図１７】テンポラルフィルタ復元を含む復号処理のフローを示す図。
【図１８】実施例６に係る画像記録再生システムのブロック構成を示す図。
【図１９】実施例７に係る画像圧縮装置のブロック構成を示す図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を、図面を用いて説明する。
【実施例１】
【００１５】
実施例１では、デジタル画像を入力とし、リアルタイムで圧縮符号化を行い、画像ビットストリームを出力する画像圧縮装置を説明する。なお、本実施例では、Ｈ．２６４／ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）の規格に則った画像圧縮を想定する。【００１６】
図１は、実施例１に係る画像圧縮装置のブロック構成を示す図である。まず、画像圧縮装置１００の概要を説明する。【００１７】
画像入力端子１１から入力した画像は原画メモリ１２に格納され、動き粗探索部１４と動き密探索部１５に転送されるとともに、テンポラルフィルタ１６に転送される。参照画像メモリ１３には、画像圧縮処理で求められた参照画像が格納され、動き粗探索部１４と動き密探索部１５ではこの参照画像を用いて動き予測を行う。テンポラルフィルタ１６では、原画メモリ１２からの原画と動き密探索部１５からの参照画像を用いてホワイトノイズ（ランダムノイズ）を削減するテンポラルフィルタ処理を行う。符号化パラメータ制御部２８には、ブロック分割モードや動きベクトルなどの符号化パラメータが入力され、これらを用いてテンポラルフィルタ処理や画像圧縮処理を制御する。【００１８】
画像圧縮処理では、テンポラルフィルタ処理を施した画像に対して、イントラ予測部１７によるイントラ予測と、予測画切替部１８によるインターフレーム予測の切り替えを行う。その後、差分部１９による予測画像の差分演算、周波数変換部２０による周波数変換処理、量子化部２１による量子化処理が行われ、可変長符号化部２２による可変長符号化処理が行われる。最終結果の画像ビットストリームは、ビットストリーム出力端子２３から外部に出力される。【００１９】
なお、途中の予測モードや動きベクトルなどは、符号化パラメータ制御部２８から可変長符号化部２２に渡され、圧縮規格に基づいて適宜符号化される。このとき符号化パラメータ制御部２８は、量子化部２１における量子化の粗さ（量子化ステップ）を決定し、最終的なビットレートがターゲットのビットレートになるようにコントロールする。端子２９は、後述する実施例３で使用するもので注目領域に関する情報が入力する。【００２０】
量子化部２１で量子化されたデータについては、逆量子化部２４による逆量子化処理、逆周波数変換部２５による逆周波数変換処理、加算部２６により予測画像との加算演算が行われる。その後、デブロックフィルタなどのループ内フィルタ２７による処理が行われ、参照画像メモリ１３に参照画像として格納される。【００２１】
このように、画像の圧縮符号化では各フレームを圧縮符号化し、さらに画像圧縮装置１００内で伸長し復号画像を求める。その後、符号化するフレームについて、上記復号画像を参照画像として利用し動き補償を行う構成としている。またテンポラルフィルタ１６で用いる参照画像として、テンポラルフィルタ処理を施した画像を圧縮符号化し、これを復号化（ローカルデコード）した画像をループバックして利用する構成となっている。【００２２】
以下、各機能ブロッの動作について、適宜図面を用いて説明する。なお、各ブロックのうち画像圧縮のための一般的な処理ブロックについては詳細な説明を省略する。【００２３】
画像入力端子１１からは、例えばＦｕｌｌＨＤ解像度（１９２０ｘ１０８０）相当の画像がフレームレート６０Ｈｚで入力される。各入力画像は、フレームデータとして一旦原画メモリ１２に格納される。【００２４】
図２は、入力するフレーム間の参照関係の例を示す図である。符号３０００〜３００５は入力順の各画像フレームを示す。各フレームは、画面内のみの復号画像を用いて符号化を行うＩｎｔｒａピクチャ（以下、Ｉピクチャ）と、参照画像からの動き補償を行うＰｒｅｄｉｃｔｉｖｅピクチャ（以下、Ｐピクチャ）のいずれかで構成される。【００２５】
各フレームには、Ｉピクチャ、Ｐピクチャのいずれかを示す記号と、符号化の順序を示す数字を付記する。例えば、Ｉ４は、０起点で４番目に符号化されるＩピクチャであり、Ｐ３は０起点で３番目に符号化されるＰピクチャである。また、各フレーム間の破線矢印は、矢印の始点が参照フレームであり、終点がそのフレームを参照して動き補償を行うフレームであることを示す。例えば、Ｐ２からＰ３への破線矢印は、Ｐ３は、Ｐ２を参照し動き補償を行うことで、符号化を行うことを示している。【００２６】
テンポラルフィルタ１６ではホワイトノイズの除去を行うが、このホワイトノイズの概要について説明する。
図３は、画像内のホワイトノイズの除去の例を説明する図である。ノイズ除去の効果を説明する上で、特に低照度時にセンサのゲインアップのために発生し易いホワイトノイズの除去が分かり易い例である。【００２７】
画像３０は、被写体画像が良好に撮影された場合の例であり、画像３１は、ホワイトノイズが多く発生した場合の例を示す。ホワイトノイズは、周波数領域ではほぼ全空間周波数に分布するノイズになり、画像フレーム内に水平、垂直の２次元方向にかけるフィルタ類、例えばローパスフィルタ、ハイパスフィルタ、バンドパスフィルタなどでは除去が困難である。【００２８】
動き粗探索部１４と動き密探索部１５では入力画像の動き予測を行う。動き予測のために、参照画像メモリ１３には、予め圧縮符号化時に求められた参照画像が格納されている。参照画像は、入力フレームとの動き補償のために、動き粗探索部１４に転送される。動き粗探索部１４と動き密探索部１５では、Ｈ．２６４／ＡＶＣで規定された原画側の単位ブロック（１６ｘ１６画素、８ｘ８画素、４ｘ４画素等）毎に、参照画像中の相関の高い位置を求め、ブロック位置の差分を動きベクトルとして求める。これらを動き予測と呼ぶ。【００２９】
一般的な動き予測では、２次元でのブロックマッチング処理を行い、画像間の絶対値差分和（ＳＡＤ：Sum of Absolute Differences）を求めて、それが最小値となる動きベクトルを求める。その際、フレーム間のブロックマッチング処理は、莫大な演算処理量を必要とするため、広範囲に動きベクトルを求める処理については、例えば元の画像を１／２の解像度にダウンサンプリングした画像ついて求めることで、演算量を減らす。これを粗探索と呼ぶ。その後、粗探索によって求められた動きベクトルが指し示す領域近傍について、１／４画素精度のサブピクセル単位まで厳密に動き予測をする密探索が行われる。【００３０】
上記処理のため、動き粗探索部１４では、原画データと参照画像データを各々原画メモリ１２、参照画像メモリ１３から受け取り、一時的に両者の解像度をダウンサンプリングにより下げてから動きベクトルを求める。その後、動き粗探索部１４から動き密探索部１５に原画データと、動きベクトルによって示される一近傍の参照画像が転送される。動き密探索部１５では詳細な動き予測が行われ、最終的な動きベクトルが求められる。【００３１】
図４は、動き予測処理を画像イメージを用いて説明する図である。ここでは、フレーム３０００を参照画像とし、フレーム３００１の原画が入力されたときに、動き粗探索部１４と動き密探索部１５における処理について述べる。画面３０１０は、フレーム３０００と３００１の主要な絵柄を同一フレーム上に便宜上重ね合わせたものである。ここでは、フレーム３０００における被写体（自動車の例）３０１１と、フレーム３００１における被写体（自動車の例）３０１２が特徴的な絵柄である。なお、便宜上、ホワイトノイズは図示していないが、計算上はノイズが存在する状態で画像データを扱う。【００３２】
ここで、フレーム３００１内のブロック３０１３（ここでは１６ｘ１６画素サイズとする）の原画が原画メモリ１２から入力されたとする。このとき動き粗探索部１４では、まずブロック３０１３の中心から特定範囲近傍の画像領域３０１４（ここでは、水平方向±４０画素、垂直方向±１６画素）について、原画と参照画をダウンサンプルして動き検出を行う。【００３３】
粗探索の結果、最も相関の高かった参照画像上のブロック位置が３０１５であり、ブロック３０１３からブロック３０１５へ向かう動きベクトル３０１６が、粗探索部１４の算出結果として密探索部１５へ転送される。また、ブロック３０１５の中心から特定範囲近傍の画像領域３０１７（水平方向±２画素、垂直方向±２画素）と、ブロック３０１３についてダウンサンプル前の画像が、粗探索部１４から密探索部１５へ転送される。【００３４】
次に動き密探索部１５では、画像領域３０１７についてブロック３０１３とのブロックマッチングを行う。本例では、ブロック３０１８がＳＡＤが最小値になる位置とすると、ブロック３０１３からブロック３０１８へ向かう動きベクトル３０１９が、密探索部１４の算出結果として符号化パラメータ制御部２８へ、後の符号化のために転送される。【００３５】
また、本例では図示していないが、実際には１６ｘ１６の固定ブロックサイズではなく、Ｈ．２６４／ＡＶＣの規格上使用可能な動き予測単位のブロック（例：４ｘ４、８ｘ８など）についても、該当する１６ｘ１６のマクロブロック内で分割する。そして、動き予測およびＳＡＤの合計を算出し、動きベクトルの符号量も加味し、最も符号化効率が高いと予測されるブロック分割モードと動きベクトルが、符号化パラメータ制御部２８へ転送される。【００３６】
また、動き予測結果の参照画像部分は、その後の動き補償のための参照画像として、予測画切替部１８へ転送されるとともに、テンポラルフィルタ１６に転送される。【００３７】
次に、本実施例の特徴である原画と動き予測後の参照画像とを用いたテンポラルフィルタ処理について説明する。テンポラルフィルタ１６は、符号化パラメータ制御部２８を介して動き予測のブロック分割モードおよびそれに対応する動きベクトルを受け取り、また動き密探索部１５からブロック分割モードとそれに対応した参照画像を受け取り、原画と参照画像との間でテンポラルフィルタ処理を行う。【００３８】
テンポラルフィルタ１６の具体的な処理内容について説明する。
典型的なテンポラルフィルタ処理を式（１）に示す。なお、以下の各式において、（ｘ，ｙ）はそのブロック内の水平、垂直画像位置である。
Ｉmod（ｘ，ｙ）＝αＩorg（ｘ，ｙ）＋（１−α）Ｉref（ｘ，ｙ）      （１）
ただし、
Ｉorg（ｘ，ｙ）：該当ブロックの原画データ、
Ｉref（ｘ，ｙ）：該当ブロックに対応する参照データ、
Ｉmod（ｘ，ｙ）：該当ブロックに対応するテンポラルフィルタ後の原画データ、
α：合成のための重み付け係数（０＜α≦１）、である。【００３９】
テンポラルフィルタ１６が各原画像のマクロブロック毎に処理することにより、本来解像度を残したい被写体の絵柄については、Ｉorg（ｘ，ｙ）とＩref（ｘ，ｙ）が近似の値になると考えられ、Ｉmod（ｘ，ｙ）はＩorgに近い値となり、画質の劣化はほとんど生じない。【００４０】
また、原画にランダムノイズが乗っている画素の場合で、動き予測が十分に精度を保っている場合には、式（１）は式（２）のように変形することができる。
Ｉmod（ｘ，ｙ）
＝α（Ｉｓ（ｘ，ｙ）＋Ｉｎ（ｘ，ｙ））＋（１−α）Ｉref（ｘ，ｙ）
＝α（Ｉｓ（ｘ，ｙ）＋Ｉｎ（ｘ，ｙ））＋（１−α）Ｉｓ（ｘ，ｙ）
＝Ｉｓ（ｘ，ｙ）＋αＩｎ（ｘ，ｙ）                         （２）
ただし、
Ｉｓ（ｘ，ｙ）：原画中の本来被写体を撮影したい画素値、
Ｉｎ（ｘ，ｙ）：原画中のランダムノイズ成分、である。
従って、αが１より小さい場合、ノイズ成分を抑制する効果が生まれる。【００４１】
逆に、参照画像にランダムノイズが乗っていて、原画のノイズが小さい場合には、式（３）となる。
Ｉmod（ｘ，ｙ）
＝α（Ｉｓ（ｘ，ｙ））＋（１−α）（Ｉrs（ｘ，ｙ）＋Ｉrn（ｘ，ｙ））
＝（αＩｓ（ｘ，ｙ）＋（１−α）Ｉrs（ｘ，ｙ））＋（１−α）Ｉrn（ｘ，ｙ）
≒Ｉｓ（ｘ，ｙ）＋（１−α）Ｉrn（ｘ，ｙ）                  （３）
ただし、
Ｉrs（ｘ，ｙ）：参照画像中の本来被写体をノイズなく表現したい画素値（≒Ｉｓ（ｘ，ｙ）；動き予測の精度が高い場合）、
Ｉrn（ｘ，ｙ）：参照画像中のランダムノイズ成分、である。【００４２】
また、参照画像Ｉref（ｘ，ｙ）は、上記のようにＩmod（ｘ，ｙ）を圧縮符号化し、ローカルデコードした結果がループバックされるため、上記式（２）（３）で示した２項目のＩｎ（ｘ，ｙ）もしくはＩrn（ｘ，ｙ）を小さくする係数の効果が累積する。その結果、参照画像は符号化の繰り返しに伴ってノイズは削減される。【００４３】
図５は、参照画像のノイズ削減効果を示す図である。原画が３０００〜３００２へと符号化が進むにつれ、それに対応する参照画像は３０５０〜３０５２へと徐々にノイズが削減される効果が得られる。以下、その理由を説明する。【００４４】
従来技術では、ランダムノイズ除去のためにテンポラルフィルタ（３次元ノイズフィルタ）が用いられてきたが、参照画像として用いる画像は、本実施例のように画像圧縮時のローカルデコードが施された画像ではなく、それまでに入力された原画メモリ内の画像同士での動き予測および重み付け合成によるものであった。このため、ある程度のノイズ除去の効果は見込めるが、以下のような観点で、本実施例での特徴となる効果を得ることは難しかった。【００４５】
その１つには、式（１）のように原画と参照画像の合成フィルタを行う際、対象フレームは、すでに入力されたそれより前に存在する原画との合成処理である。このため、画像圧縮時に行う参照画像との差分をとって量子化を行う際、間接的に細部の情報を落とす処理を行うため、さらに画像劣化を生じることになる。【００４６】
これに対し本実施例の方法では、フィルタ処理については、圧縮符号化に用いる参照画との合成を行うため、その後の差分部１９での演算は式（４）となる。
Ｉmod−Ｉref
＝αＩorg＋（１−α）Ｉref−Ｉref
＝α（Ｉorg−Ｉref）                                      （４）
このように、差分値は、従来画像圧縮に用いられている差分値（Ｉorg−Ｉref）よりも係数α（≦１）分だけ小さくすることが可能となる。【００４７】
ここに、係数αを１未満にしたときには、圧縮効率を上げる方向に働く。これは、テンポラルフィルタ１６に用いる参照画像を、圧縮符号化に用いる参照画像と同一にした本実施例の特徴によりもたらされる効果である。すなわち本実施例では、高画質化のためのノイズ除去の効果と、予測誤差後の差分値を小さくし符号化効率を高めるという効果を生み出すために、直接的にテンポラルフィルタを活用することが可能となる。【００４８】
さらに、係数αを適用するフレーム種別や動きベクトルに応じて可変に制御することも可能である。
図６は、テンポラルフィルタを含む符号化処理のフローを示す図で、αに関する最適設定を含めている。
Ｓ６０１では、マクロブロック（ＭＢ）より上位レイヤの符号化処理を行い、Ｓ６０２では、各ＭＢについての処理を右側に示すループ内で行う。【００４９】
Ｓ６１１ではフレーム種別が判別され、Ｉピクチャの場合、本実施例ではテンポラルフィルタ処理を行わないので、Ｓ６１２でα＝１と設定される。一方、Ｉピクチャ以外の場合には、Ｓ６１３で動き予測が行われる。その後、Ｓ６１４でのイントラ予測の見積りと、Ｓ６１５での予測結果の判別が行われる。イントラ予測のＭＢと判定された場合には、Ｓ６１６でα＝１と設定される。インター予測のＭＢと判定された場合には、Ｓ６１７にて動きベクトルより係数αの可変制御が行われる。【００５０】
Ｓ６１７において、ＭＢの動きベクトルが大きいときには、その原画像と参照画像の相関は低くなるため係数αを大きく設定し、動きベクトルが小さいときには、参照画像との相関は高いため係数αを小さく設定する。この場合、αを小さくしてもＩｓ（ｘ，ｙ）の成分を損なわずに、ノイズを効率良く削減することが可能となる。【００５１】
Ｓ６１８では、上記式（１）に示したようなテンポラルフィルタ処理が施され、Ｓ６１９では、Ｈ．２６４／ＡＶＣに準拠した圧縮符号化処理が行われ、Ｓ６２０では、フレーム内の全ＭＢの処理が終了するまでループ処理される。【００５２】
また、本実施例の別の効果として、画像読出し回数の削減が挙げられる。従来、テンポラルフィルタの処理のため外部メモリの読出しとして、原画の読出しの１回と、動き予測のために参照画像の読出しの１回とで、合計２回読み出す必要があった。これに対し本実施例では、参照画像の読出しの１回だけで良い。一般に参照画像は大容量のＤＤＲ−ＳＤＲＡＭメモリなどに格納され、そのメモリへのアクセスが集中するという課題がある。本実施例により、参照画像読出し回数を削減することが可能となり、メモリバンド幅の使用効率が良くなる。このため、システム全体の周波数を下げることができ、ＬＳＩやプロセッサで実行するプログラムを用いて実装する場合に、低速なデバイスを選ぶことができコスト削減につながる。【００５３】
なお、本実施例では、画像圧縮としてＨ．２６４／ＡＶＣの規格を前提としたが、Ｈ．２６５／ＨＥＶＣ等、その他動き補償を用いた圧縮規格であっても構わない。テンポラルフィルタ処理を行う動き予測の位置を動き補償の位置に対応させること、さらに動き補償に用いる参照画像をテンポラルフィルタ処理の参照画像として用いることにより、同様の作用効果が得られることは明らかである。【００５４】
また、本実施例のテンポラルフィルタ処理では、原画と参照画像を式（１）で示すように合成にしたがこれに限定されない。原画と参照画像の両データを入力とし、参照画像との差分を削減する方向に働くフィルタ処理であれば、本実施例で意図する技術の範囲であることは明らかである。
【実施例２】
【００５５】
実施例２では、双方向予測を行うＢピクチャを用いた圧縮符号化の場合を説明する。画像圧縮装置の構成は図１と同様である。【００５６】
図７は、実施例２に係るフレーム間の参照関係の例を示す図である。入力されるフレーム３１００〜３１０６に対して、Ｉピクチャ、Ｐピクチャ以外に、双方向予測を行うBidirectionally Predictive ピクチャ（以下、Ｂピクチャ）を使用する。各フレーム間の破線矢印は動き補償時の参照関係を示す。Ｂピクチャの符号化の際には、符号化すべきフレームより後に入力される画像を先にＩピクチャ、もしくはＰピクチャとして符号化し、その参照結果を用いて遡った入力画像の動き補償を行う。例えば、フレーム３１０１（Ｂ２フレーム）では、Ｉ０とＰ１の２枚のフレーム画像を参照画像として用いる。動き補償に２枚用いる場合は、両方の画像を用いて平均化するか、あるいは片方の画像を参照するか、のいずれとするかを、符号化規格で準備されたフレームの選択方法に基づいて選択することができる。【００５７】
本実施例におけるテンポラルフィルタ１６によるフィルタ処理では、Ｂピクチャの符号化のために作成した複数枚の参照画像を用いて、実施例１の演算式と同様に計算する。本手法により、符号化のための参照画像と同一の参照画像を用いてテンポラルフィルタ処理を行うことが可能であり、実施例１に示した全ての効果がＢピクチャにおいても得られる。また、従来手法では、このように参照画像を複数用いる方法は開示されていないため、特にＢピクチャに対してホワイトノイズを除去する効果は、本手法により大きく改善される。【００５８】
さらに本実施例では、図７においてフレームＰ１からＩ４に実線の矢印を示しているが、これは、テンポラルフィルタ処理の場合のみの参照関係を示している。すなわち、Ｉピクチャ（Ｉ４）については従来の圧縮符号化の通りインター予測は行わないが、テンポラルフィルタ処理を行うため動き粗探索部１４と動き密探索部１５を動作させ、直前のフレームＰ１を参照画像としてテンポラルフィルタ処理のみを行うことを意味している。これにより、Ｉピクチャのみがテンポラルフィルタ処理が行われないために生じる急激な画質の変化を抑制し、Ｉ，Ｐ，Ｂピクチャが一様の画質を提供することが可能となる。【００５９】
図８は、テンポラルフィルタを含む符号化処理のフローを示す図である。実施例１の図６と同じ処理には同じステップ符号を付与している。本実施例では、Ｉピクチャ内の各ＭＢにおいても、Ｓ６２３からＳ６２５に示すように、動き予測とイントラ予測を行い、その動き情報に基づいて係数αを設定する。また、Ｉピクチャ内のＭＢ同様に、Ｐ，Ｂピクチャにおいてもイントラ予測を用いる結果になった場合には、Ｓ６２２に示すように動き予測時の動きベクトルの大きさに応じてαの値を設定する。Ｓ６１８では、これらの動きベクトルと係数αを用いてテンポラルフィルタ処理を行う。【００６０】
また、本実施例のテンポラルフィルタ処理においては、原画と参照画像のフレーム間隔が異なる。例えば、ＩピクチャとＰピクチャの間隔は２フレーム、ＢピクチャとＰピクチャの間隔は、１または２フレームとなる。このため、原画と参照画像の相関度が変化する。これを考慮し、フレーム間隔が大きいほど、テンポンポラルフィルタの合成時の重み係数αを小さくすることにより、フィルタの特性をＩ，Ｐ，Ｂピクチャで一様にすることが可能である。【００６１】
なお、図７で示したＩ，Ｐ，Ｂの順序や、各タイプのピクチャのフレーム間隔は一例であり、上記説明した処理は任意のピクチャ列に適用できることは言うまでもない。
【実施例３】
【００６２】
実施例３では、本発明の画像圧縮処理を適用したネットワークカメラと、それに接続され画像伸長および出力を行うコントローラからなる画像処理システムについて説明する。この画像処理システムでは、実施例１，２で述べたホワイトノイズの除去だけでなく、撮影時の注目領域の解像度を保持しつつ、画像圧縮率を効率的に向上させるための機能を有している。【００６３】
図９は、実施例３に係るネットワークカメラの外観構成を示す図である。ネットワークカメラ４０００（以下、単にカメラと呼ぶ）はカメラ支持柱４００３により回転台４００１に取り付けられ、内蔵する２つのモータにより２つの回転軸４００２，４００４を中心に回転可能となっている。カメラ４０００の撮影方向は、ネットワークケーブル４００５に接続された図示外のコントローラから指示される。カメラ４０００で撮影された画像は、後述する画像処理を施されネットワークケーブル４００５を介してコントローラへ送信される。このようなカメラを、例えば小売店舗内に監視用として設置し、定期的にカメラを回転させて撮影することにより、１台のカメラで複数のポイントを監視することができる。【００６４】
図１０は、画像処理システムのブロック構成を示す図である。図９のネットワークカメラ４０００における信号処理は信号処理システム１０００で行なわれ、ネットワークケーブル４００５で構築されたＬＡＮ１０３を介して画像伸長装置／コントローラ２０００と接続されている。【００６５】
信号処理システム１０００において、カメラ部９５では、レンズ部９６から取り込まれた外部の光情報は、センサ９７で光電効果によりデジタルデータ化され、撮像処理部９８によりセンサの画素配列から輝度、色差などで表現される画像データになる。画像処理部９９では、フレーム内における解像度強調や、ゲイン補正、フレーム内の２次元フィルタによるノイズ除去などを行う。圧縮符号化部１００’は実施例１，２で説明した画像圧縮装置１００に相当し、ノイズ除去や圧縮符号化処理を行う。その後ネットワーク制御１０１で、イーサネット（登録商標）で伝送可能なパケット化処理を行い、端子１０２より外部に圧縮したストリームデータを出力する。【００６６】
カメラ制御部１０５は、図９の回転台４００１と支持柱４００３内のモータ１０６を制御し、現在のカメラ部９５の撮影方向の情報を注目領域制御部１０４に通知する。この情報には、回転軸４００２，４００４の基準方向に対する旋回角と仰角が含まれる。またカメラ制御部１０５は、レンズ部９６にズーム倍率を制御するための信号を伝送するとともに、そのズーム情報を注目領域制御部１０４に通知する。【００６７】
注目領域制御部１０４では、カメラ制御部１０５から受けた旋回角、仰角、およびズーム情報から現在の撮影中のシーンがどのような状態か、すなわち予めコントローラ２０００から設定された注目領域との位置関係を判定する。【００６８】
図１１は、注目領域の設定の例を説明する図である。ある店舗の天井にカメラ４０００が取り付けられ、カメラ４０００は設定された旋回角、仰角、さらにズーム倍率で店舗内を撮影する。そのとき、例えば店舗内の陳列ケースの領域４０１０を注目領域として設定する。設定の方法は、カメラの起動時などにユーザがコントローラ２０００を操作して、旋回角、仰角、ズーム倍率をインデックスとして、注目領域４０１０の左上座標と右下座標となるように調整し、またその領域の注目度を登録する。【００６９】
これらの注目領域に関する情報は、注目領域制御部１０４から毎フレームの画像圧縮開始前に圧縮符号化部１００’に転送される。圧縮符号化部１００’では、図１の端子２９より注目領域に関する情報を受け取り、符号化パラメータ制御部２８に格納する。【００７０】
符号化パラメータ制御部２８では、実施例１で示した符号化制御をマクロブロック（ＭＢ）毎に処理していく際、各ＭＢが上記注目領域４０１０に入っているかの領域内外判定を行う。これは、注目領域４０１０に設定した矩形領域内に、ＭＢの一部の座標が存在するかどうかで判断する。注目領域４０１０に属していれば画像の解像度を優先する処理を行う。注目領域４０１０に属さない領域では、圧縮効率を優先する処理を行う。【００７１】
さらに符号化パラメータ制御部２８は、動き密探索部１５から転送される動きベクトルにより、各ＭＢの注目度を判定する。例えば、動きが大きい領域は、フレーム毎に異なる絵柄に更新されている可能性があり、監視カメラとしては、その後の画像確認で注目度が上がることが予想される。このため、動きベクトルが大きいほど注目度を高く設定し、同様に画像の解像度を優先する処理を行う。このように、動きベクトルの大きさに応じて注目度を設定することで、例えば図１１に示すように店舗内を移動中の人物を含む領域４０１１の解像度を上げることが可能となる。【００７２】
このように符号化パラメータ制御部２８では、上記の注目領域に属するか否かと、動きベクトルの大きさから各々のＭＢの注目度をβ０、β１として求め、各ＭＢの総合の注目度βを式（５）で計算する。なお、β０、β１の値は注目度が高いほど大きい値とする。
β＝β０・β１（ただし、０≦β０，β１≦１）             （５）
このように算出した注目度βは、実施例１で述べたテンポラルフィルタ処理における重み付け係数αに反映させる。【００７３】
図１２は、注目度βとフィルタ処理時の係数αとの関係を示す図である。実施例１のテンポラルフィルタの式（１）の重み付け係数αを、注目度βの値に応じて、α＝ｆ（β）に示す関数に従って決定する。注目度βが大きいほど係数αを大きくし、原画の合成比を上げて解像度を向上させる。注目度βが小さい場合は係数αを小さくし、参照画の合成比を上げて符号化効率を向上させる。【００７４】
具体的には、ｆ（β）に示す関数に従った数値テーブルを作成し、βの値（０〜１）を例えば１２８段階に分け、各β値に対応する係数α値をテーブルから読み取るようにしてもよい。【００７５】
さらに符号化パラメータ制御部２８は、各ＭＢの発生符号量の状態に応じて適用する関数α＝ｆ（β）の勾配を切り替える。現在の発生符号量は、可変長符号化部２２より符号化パラメータ制御部２８は逐次転送され、この発生符号量を逐次累計することにより実際のビットレートを算出し、ターゲットビットレートと比較する。もしターゲットビットレートに対して発生符号量が過剰気味であれば、発生符号量を抑制するために、関数ｆ（β）の代わりに勾配の急峻なｆ１（β）を用いる。これにより係数αを小さくし、参照画像の合成比を高める。その結果、式（４）で示した参照画像と原画の差分値をより小さくでき、発生符号量を抑制することが可能となる。【００７６】
逆に、ターゲットビットレートよりも発生符号量が低い場合には、勾配の緩やかな関数ｆ２（β）に切り替えることで係数αを大きくし、原画の合成比を高める。その結果、合成画像の解像度が向上し、ビットレートを増やすことが可能となる。【００７７】
図１３は、テンポラルフィルタを含む符号化処理のフローを示す図で、前記した実施例と異なる特徴的な処理について説明を行う。
Ｓ６００１において、カメラ制御部１０５はコントローラ２０００から注目領域に関するカメラ制御情報を取得し、Ｓ６００２で関数ｆ（β）を初期化する。
Ｓ６０１０において、圧縮符号化部１００’は、フレーム毎のカメラ制御情報より注目領域を割り出すことで、各ＭＢに対応する注目度β０を決定する。【００７８】
Ｓ６１７０、Ｓ６２２０、Ｓ６２５０において、圧縮符号化部１００’は、算出された各ＭＢの動きベクトルを用いて注目度β１を決定する。
Ｓ６１８１において、式（５）により総合の注目度βを算出し、関数ｆ（β）を用いてこれに対する係数αを決定する。Ｓ６１８では、この係数αを用いてテンポラルフィルタ処理を行う。【００７９】
Ｓ６２００では、現在の発生符号量をターゲットビットレートと比較し、Ｓ６１８１で用いる関数ｆ（β）を図１２のように切り替える。【００８０】
以上のように本実施例によれば、注目領域と動きベクトル、さらには発生符号量に応じてテンポラルフィルタ処理における係数を切り替えることにより、注目度に応じた画質を保持しつつ、圧縮符号化効率を向上する画像処理システムを実現できる。
【実施例４】
【００８１】
実施例４では、２つのテンポラルフィルタを有する画像圧縮装置について説明する。
図１４は、実施例４に係る画像圧縮装置のブロック構成を示す図である。実施例１（図１）と同じ要素には同じ符号を付与し、その説明を省略する。テンポラルフィルタ処理を２段階で行うため、第１、第２のテンポラルフィルタ１６１，１６２を備える。【００８２】
第１のテンポラルフィルタ１６１では、動き粗探索部１４により求めた動きベクトルを用いて原画と参照画像間の仮のテンポラルフィルタ処理を行う。その後、動き密探索部１５では、仮のテンポラルフィルタ処理を行った画像について、最終的な動きベクトルを求める。第２のテンポラルフィルタ１６２では、この最終的な動きベクトルを用いて、再度原画と参照画像間のテンポラルフィルタ処理を行う。【００８３】
すなわち、実施例１の動き密探索部１５は、原画メモリ１２からの原画Ｉorgに対して動き予測を行っていたが、本実施例の動き密探索部１５は、第１のテンポラルフィルタ１６１による処理後の画像Ｉorg’に対して動き予測を行うようにしている。これにより、実施例１と比較し、ホワイトノイズなどの差分が少なくなった画像に対して動き密探索を行うことができ、ノイズが大きい画像に対し動き予測の精度を上げられるという効果がある。
【実施例５】
【００８４】
実施例５では、画像圧縮時にテンポラルフィルタ処理を施した画像に対しフィルタ処理の逆変換を施して原画像を復元する復号処理について説明する。【００８５】
前記の実施例１〜４においては、原画にテンポラルフィルタ処理を施し、さらに圧縮符号化効率の向上を図るものであった。共通の特徴として、テンポラルフィルタ処理における参照画像との合成比を決める係数αは、圧縮データを受け取りこれを復号する側では、各画素におけるα値を、デコード側で特定し再現できる要素のみを用いて可変制御するように拡張することができる。【００８６】
既に実施例１〜４において、イントラ予測のマクロブロック以外は、実施例１、４では、係数αはビットストリーム上に存在する画像圧縮符号化の動きベクトルから決定される。実施例２では、αは画像圧縮符号化の動きベクトルとＩＰＢのピクチャの順序から決定される。実施例３では、注目領域と動きベクトルの大きさと発生符号量とターゲットビットレートからαを決定している。このことは、画像圧縮してデータ転送する場合には、圧縮符号化効率を高めるためテンポラルフィルタを強めに施し、その影響として解像度が失われた部分に対して、復号側で復元する方向に逆変換できるということを意味し、これにより新しい画像伝送システムを構築できる。【００８７】
実施例１〜４のいずれかを用いてこのような画像伝送システムを構築する場合、イントラ予測が行われた画像について、従来では動きベクトルが転送されない。よって、拡張仕様では、イントラ予測においても動き補償と同様に、テンポラルフィルタに用いる参照画像位置を特定する情報を転送する。あるいは、テンポラルフィルタを行わないようにモードを限定する、すなわち式（１）においてα＝１と等価の処理することで対応可能である。また、実施例３における注目領域についても、各フレームの注目領域に関する情報β０を圧縮符号化側から復号側に転送すればよい。これにより、各ＭＢにおけるテンポラルフィルタの強度情報である注目度β＝β０・β１を算出でき、復号側で各ＭＢの符号量を符号化側と同様に算出すること、およびαを決める関数ｆ（β）の切り替えを再現することも可能となる。【００８８】
本実施例では、上記の機能を有する画像処理システムとして、実施例３に示したネットワークカメラとテンポラルフィルタ復元手段を有する画像復号装置とを組み合わせて画像伝送を行う画像処理システムを例に取り上げる。【００８９】
図１５は、実施例５に係る画像処理システムのブロック構成を示す図である。画像圧縮装置１０００’は、図１０における信号処理システム１０００に相当するが、カメラの制御に関する一部のブロックは図示を省略している。画像圧縮装置１０００’で生成された撮影画像の符号化データは、ネットワーク（ＬＡＮ）１０３を伝送し画像復号装置２０００’に入力する。画像復号装置２０００’は、図１０における画像伸長装置／コントローラ２０００に相当し、伝送された符号化データを圧縮符号化規格に則って復号し、復号画像をディスプレイ２０７等の表示装置に出力する。【００９０】
次に、画像復号装置２０００’の構成と動作を説明する。ネットワーム接続端子２００から入力したビットストリームは、ネットワーク制御部２０１において、ネットワークに関するパケットヘッダ情報等が除去され、画像符号化データのみが取り出され、伸長復号部２０２に渡される。伸長復号部２０２では、画像圧縮装置１０００’で圧縮した規格に則って、従来の画像復号処理を行う。このとき、各参照画像は参照画像メモリ２０３に入力される。復号された画像は、テンポラルフィルタ復元部２０４にて以下に述べるテンポラルフィルタ処理の逆変換処理を施され、画像出力部２０５と出力端子２０６を介してディスプレイ２０７へ出力される。【００９１】
テンポラルフィルタ復元部２０４の動作について詳細に説明する。まず、画像圧縮装置１０００’におけるテンポラルフィルタ処理後の画素データＩmod（ｘ，ｙ）は画像圧縮時の量子化および周波数変換を受けているため、画像圧縮による誤差を含んでいる。よって伸長復号部２０２の復号後には、Ｉmod（ｘ，ｙ）はＩmod’（ｘ，ｙ）になっている。【００９２】
復号された画像はテンポラルフィルタ復元部２０４に転送される。ここでは、画像圧縮装置１０００’の圧縮符号化部１００内で行われたテンポラルフィルタ処理の逆変換を行う。すなわち、式（１）の逆変換演算を行う。復元される画像Ｉorg’（ｘ，ｙ）は式（６）で求められる。
Ｉorg’（ｘ，ｙ）＝（Ｉmod’（ｘ，ｙ）−（１−α）Ｉref（ｘ，ｙ））／α （６）
ただし、α＝０の場合には、Ｉorg’（ｘ，ｙ）＝Ｉref（ｘ，ｙ）とする。【００９３】
Ｉref（ｘ，ｙ）は、通常の復号処理と同様に、圧縮時に参照した画像データと全く同一の復号データが参照画像メモリ２０３に存在するため、これを用いる。また、テンポラルフィルタ処理のための参照画像の参照位置については、動き補償時のために指定された情報を、符号化ストリームと圧縮復号ルール（本実施例の場合は、Ｈ．２６４／ＡＶＣ）に則って特定する。【００９４】
なお、Ｈ．２６４／ＡＶＣで規定されないパラメータについては以下のように扱えばよい。係数αを決定するために必要な実施例３で述べた注目領域に関す情報は、ネットワーク１０３を介して、画像復号装置２０００’側から画像圧縮装置１０００’側に転送する。例えばフレーム毎のユーザ領域に、注目領域と注目度β０、β１の情報をパケットに多重化して送信することで、注目領域に関する情報を共有し係数αを決定することができる。【００９５】
また、動きベクトルの大きさは、インター予測画像についてはストリーム中の動きベクトル情報から特定できる。Ｉピクチャに属するＭＢや、Ｐ，Ｂピクチャにおけるイントラ予測時は、画像圧縮装置１０００’側でテンポラルフィルタを行わない仕様とすることで、画像復号装置２０００’側では、α＝１としてＩorg’（ｘ，ｙ）を計算できる。あるいは、動き予測を行ってテンポラルフィルタ処理を行う場合には、画像圧縮装置１０００’と画像復号装置２０００’で共通のルールを共有する。もしくは、Ｈ．２６４／ＡＶＣの規格上は存在しないが、イントラ画像においてもテンポラルフィルタを定義する動きベクトル情報を別途定義して、送信することで共用することも可能である。この処理は、Ｐ，Ｂピクチャで送信する動き補償のための動きベクトルや参照フレームを送信する符号化規格で行われている通常の方法により、定義することができる。【００９６】
テンポラルフィルタ復元処理によれば、例えば、原画にテンポラルフィルタ処理を行った結果、画像圧縮効率は大きく向上したものの原画の状態から異なる画像となった場合に、原画が持っていた情報を復元する方向に画像を変換することが可能となる。なお、式（１）と式（６）では実数演算を行うため、演算精度による誤差は避けられず、本手法は原画の完全なる復元を意味するものではない。しかし、従来の復元処理のなされていない復号画像をディスプレイ２０７で表示する場合に比べれば、明らかに原画に近づける方向に画像を復元する効果がある。【００９７】
また、上記実施例では、イントラ予測時にはテンポラルフィルタ処理を行わない仕様にしたが、ストリームの符号化ルールを新たに設定し、符号化側と復号側で共通のルールを用い、イントラ予測時にテンポラルフィルタのための参照フレーム情報と動きベクトルを転送すれば、α値とＩref（ｘ，ｙ）を関数ｆ（β）から復元することが可能である。【００９８】
以下、本実施例の処理フローを符号化処理と復号処理に分けて説明する。
図１６は、画像圧縮装置１０００’によるテンポラルフィルタを含む符号化処理のフローを示す図である。この中で、特徴的な処理について説明する。
Ｓ６０１１において、画像圧縮装置１０００’は画像復号装置２０００’に、カメラの位置情報が確定しβ０が算出された段階でフレーム毎の注目度β０のデータを送信する。【００９９】
Ｓ６１９３とＳ６１９４において、画像圧縮装置１０００’は画像復号装置２０００’に、Ｉピクチャ時、ないしはイントラ予測を行うＭＢにテンポラルフィルタ処理（Ｓ６１８）に用いたパラメータとして、テンポラルフィルタ用参照フレームの情報と、テンポラルフィルタ用動きベクトルの情報を送信する。これにより、画像復号装置２０００’のテンポラルフィルタ復元部２０４では、イントラフレームについてもテンポラルフィルタ復元処理が可能となる。なお、Ｉピクチャ時、イントラ予測ＭＢ時にテンポラルフィルタ処理を行わない場合には、これらの付加情報を送信する必要はない。【０１００】
図１７は、画像復号装置２０００’におけるテンポラルフィルタ復元を含む復号処理のフローを示す図である。
動作開始時のＳ７０１では、画像復号装置２０００’は画像圧縮装置１０００’へ、注目領域とカメラ制御情報との対応を送信し、Ｓ７０２では、符号化処理の場合と同様に関数ｆ（β）を初期化する。各フレームの処理を開始する毎に、Ｓ７０４では画像圧縮装置１０００’から送信されるβ０情報を受信し、Ｓ７０５のＭＢ処理のループに入る。【０１０１】
各ＭＢ処理においては、Ｓ７０８ではＨ．２６４の規格に則ったイントラ予測ＭＢ、インター予測ＭＢの共通情報の復号処理を行う。
Ｉピクチャもしくはイントラ予測ＭＢの場合には、Ｓ７１０にて規格準拠のイントラ予測に関する情報を復号したのち、Ｓ７１１とＳ７１２にてテンポラルフィルタ処理に用いた参照フレーム情報と動きベクトル情報を取得する。Ｓ７１３は規格に準拠した処理で、イントラ予測による参照画像を作成し復号処理を行う。一方、インター予測ＭＢの場合は、Ｓ７１４にて通常のＨ．２６４の規格に則ったインター予測に関する情報取得を行い、Ｓ７１５にて復号処理を行う。【０１０２】
イントラ予測またはインター予測が行われた後、Ｓ７１６では、画像圧縮装置１０００’から送られてきた符号化情報ないしは暗黙のルールによって、各ＭＢにおけるβ１を決定し、さらにフレーム開始時のＳ７０４で受信したβ０と合わせて、係数α＝ｆ（β）を決定する。Ｓ７１７では、動きベクトル情報と決定されたαを用いて、符号化時と逆にテンポラルフィルタの逆変換処理を行う。この後Ｓ７１８で、画像圧縮装置１０００’と同じルールに従って関数ｆ（β）を切り替えることで、符号化側とのα算出規則の整合性が保たれる。【０１０３】
本実施例によれば、復号側においてテンポラルフィルタ復元処理を行うことで、テンポラルフィルタ処理により原画の情報の一部が失われた場合に、これを復元することが可能となる。
【実施例６】
【０１０４】
実施例６では、実施例５の画像処理システムを画像記録再生システムに適用した場合について説明する。【０１０５】
図１８は、実施例６に係る画像記録再生システムのブロック構成を示す図である。図１５におけるネットワーク１０３を記録媒体３００で置き換えている。
本実施例では、圧縮符号化された画像データは記録媒体３００に格納されるが、圧縮符号化時のテンポラルフィルタ処理の効果により従来よりも圧縮効率が高く、その結果、従来と同容量の記録媒体に対してより長時間のデータを記録させることができる。
また、再生時には、テンポラルフィルタ復元処理の効果により、テンポラルフィルタ処理により失った解像度を復元し、必要な画像の確認作業を向上させることが可能となる。
【実施例７】
【０１０６】
実施例７では、実施例１の画像圧縮装置の変形として、テンポラルフィルタ処理に用いる参照画像を変更した構成について説明する。【０１０７】
図１９は、実施例７に係る画像圧縮装置のブロック構成を示す図である。実施例１（図１）と同じ要素には同じ符号を付与し、その説明を省略する。実施例１では、テンポラルフィルタ１６にて参照する参照画像は、画像圧縮符号時の動き補償で用いる参照画像であったが、本実施例のテンポラルフィルタ１６では、原画像Ｉorgに一旦テンポラルフィルタ処理をした画像を参照画像Ｉref’として用いる構成とした。【０１０８】
ただし、原画メモリ１２からの原画像と、それ以前までの原画像とのテンポラルフィルタ結果に対して行なうのではなく、本実施例の特徴であるところの、動き探索、ブロック分割モードの設定、サブピクセル精度など符号化パラメータ制御部２８の動作を反映し、あくまでも圧縮符号化時の参照画像を用いて行う。さらに、イントラ予測時には、テンポラルフィルタ１６をオフにする機能を有する。また、テンポラルフィルタ１６の合成時の重み付け係数αは、符号化パラメータ制御２８からの指示に従って、圧縮効率と注目度βを考慮して決定する。【０１０９】
本手法を用いることにより、画像ビットストリームを受け取った画像復号装置側では、符号化データを復号することで得られる情報と、符号化パラメータ制御部２８で計算するパラメータ決定手順を復号側でも同様に保有することで、各画素の係数αと動きベクトルを一意に求めることが可能となる。【０１１０】
このとき、実施例１示したテンポラルフィルタ演算式（１）の参照画像Ｉref（ｘ，ｙ）は、圧縮符号化時に用いるフレームに対応する画像で、既に演算済のテンポラルフィルタ処理結果を原画メモリ１２に格納している。例えば、図７のようなフレーム間参照関係を画像圧縮の動き補償で用いる場合には、フレーム３１００〜３１０６に該当するテンポラルフィルタ処理後のフレーム画像を、原画メモリ１２に保有する。【０１１１】
本実施例では、画像圧縮に用いる参照画像に対応した分の原画像を新たに持つ必要があり、また、テンポラルフィルタ処理時の参照画像として、以前に作成した原画像の参照画像を新たにメモリから読み込む必要がある。このため、システム構成は実施例１よりも複雑になる。しかし、原画同士を用いてノイズ除去を行うことから、原画の参照画像としての解像度劣化は低減されており、ノイズ除去の効果は実施例１よりも高くなる。【０１１２】
合わせて、画像圧縮効率の向上という観点では、動き予測時の差分をとる参照画像のフレームおよび画素位置が完全に一致するため、圧縮効率を向上させるためのフィルタ制御が行い易いという効果は維持される。【０１１３】
さらに、本実施例の構成を実施例５（図１５）の画像処理システムに適用すれば、画像復号装置２０００’に示したように、伸長復号側のテンポラルフィルタ復元部２０４において、伸長復号時の参照メモリ２０３をＩref（ｘ，ｙ）として参照することで、圧縮符号化側の原画参照画像と同等に扱うことができるので、原画の復元効果を維持することが可能となる。【０１１４】
これは、復号側において、ストリーム中の符号化パラメータおよびそれより特定できる情報により、動き補償を行う参照フレームとその座標を特定できるテンポラルフィルタ復元処理を原画に施すことにより得られる効果である。本実施例によれば、ビットレートが低い画像において、画像圧縮符号化に用いる参照画像の劣化が激しい場合であっても、実施例５よりも原画に忠実な画像の復元が可能となる。【０１１５】
上記した各実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。
【符号の説明】
【０１１６】
１２：原画メモリ、
１３：参照画像メモリ、
１４：動き粗探索部、
１５：動き密探索部、
１６，１６１，１６２：テンポラルフィルタ、
１７：イントラ予測部、
１８：予測画切替部、
１９：差分部、
２０：周波数変換部、
２１：量子化部、
２２：可変長符号化部、
２４：逆量子化部、
２５：逆周波数変換部、
２６：加算部、
２７：ループ内フィルタ、
２８：符号化パラメータ制御部、
２９：注目領域入力端子、
９５：カメラ部、
９８：撮像処理部、
９９：画像処理部、
１００：画像圧縮装置、
１０１：ネットワーク制御部、
１０３：ネットワーク、
１０４：注目領域制御部、
１０５：カメラ制御部、
２０１：ネットワーク制御部、
２０２：伸長復号部、
２０３：参照画像メモリ、
２０４：テンポラルフィルタ復元部、
２０５：画像出力部、
２０７：ディスプレイ、
３００：記録媒体、
１０００：信号処理システム、
１０００’：画像圧縮装置、
２０００：画像伸長装置／コントローラ、
２０００’：画像復号装置、
４０００：ネットワークカメラ、
４０１０：注目領域。
【図１】
2017060951.tif 000003
【図２】
2017060951.tif 000004
【図３】
2017060951.tif 000005
【図４】
2017060951.tif 000006
【図５】
2017060951.tif 000007
【図６】
2017060951.tif 000008
【図７】
2017060951.tif 000009
【図８】
2017060951.tif 000010
【図９】
2017060951.tif 000011
【図１０】
2017060951.tif 000012
【図１１】
2017060951.tif 000013
【図１２】
2017060951.tif 000014
【図１３】
2017060951.tif 000015
【図１４】
2017060951.tif 000016
【図１５】
2017060951.tif 000017
【図１６】
2017060951.tif 000018
【図１７】
2017060951.tif 000019
【図１８】
2017060951.tif 000020
【図１９】
2017060951.tif 000021
【手続補正書】
【提出日】平成30年2月8日(2018.2.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
次に動き密探索部１５では、画像領域３０１７についてブロック３０１３とのブロックマッチングを行う。本例では、ブロック３０１８がＳＡＤが最小値になる位置とすると、ブロック３０１３からブロック３０１８へ向かう動きベクトル３０１９が、動き密探索部１５の算出結果として符号化パラメータ制御部２８へ、後の符号化のために転送される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
Ｓ６１７０、Ｓ６２２０、Ｓ６２５０において、圧縮符号化部１００’は、算出された各ＭＢの動きベクトルを用いて注目度β１を決定する。
Ｓ６１８１において、式（５）により総合の注目度βを算出し、関数ｆ（β）を用いてこれに対する係数αを決定する。Ｓ６１８１では、この係数αを用いてテンポラルフィルタ処理を行う。
【国際調査報告】
2017060951.tif 000022
2017060951.tif 000023
2017060951.tif 000024
2017060951.tif 000025