(57)【要約】  ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に示されたようなデブロックフィルタを効果的に制御し、圧縮歪みの増大を防止しながら、解像度やディテールを保存して高画質の動画像の圧縮を実現する。  本発明による動画像圧縮装置は、光学系を介して被写体の動画像を撮影し、動画像データを出力する撮像部と、撮像時の光学系および撮像部の少なくとも一方の動作を制御するための制御情報を出力するカメラ制御部と、動画像を構成する被圧縮画像と参照画像との相関性を利用して動画像データを圧縮する動画圧縮部であって、設定されたデブロックフィルタ強度条件にしたがって参照画像のブロック歪みを緩和するデブロックフィルタを有する動画圧縮部と、制御情報に基づいて、デブロックフィルタ強度条件を設定するデブロックフィルタ制御部と、デブロックフィルタ強度条件を圧縮後の出力データに埋め込むストリーム生成部とを備えている。
2009093472.tif 000002
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系を介して被写体の動画像を撮影し、動画像データを出力する撮像部と、
撮像時の前記光学系および前記撮像部の少なくとも一方の動作を制御するための制御情報を出力するカメラ制御部と、
前記動画像を構成する被圧縮画像と参照画像との相関性を利用して前記動画像データを圧縮する動画圧縮部であって、設定されたデブロックフィルタ強度条件にしたがって前記参照画像のブロック歪みを緩和するデブロックフィルタを有する動画圧縮部と、
前記制御情報に基づいて、前記デブロックフィルタ強度条件を設定するデブロックフィルタ制御部と、
前記デブロックフィルタ強度条件を圧縮後の出力データに埋め込むストリーム生成部と
を備えた動画像圧縮装置。
【請求項２】
前記カメラ制御部は、前記制御情報として、ズーム倍率を制御するためのズーム動作制御情報を出力する、請求項１記載の動画像圧縮装置。
【請求項３】
前記カメラ制御部は、電子ズームおよび光学ズームの少なくとも一方に関するズーム倍率を制御するためのズーム動作制御情報を出力する、請求項２に記載の動画像圧縮装置。
【請求項４】
前記カメラ制御部は、前記制御情報として、露出を制御するための露出情報を出力する、請求項１記載の動画像圧縮装置。
【請求項５】
前記カメラ制御部は、複数種類の制御情報を出力し、
前記デブロックフィルタ制御部は、前記複数種類の制御情報の各々に対応する前記デブロックフィルタ強度条件を求め、求めた複数種類のデブロックフィルタ強度条件のうちデブロックフィルタ効果を最も強く与えるデブロックフィルタ強度条件を設定する、請求項１から請求項４のいずれかに記載の動画像圧縮装置。
【請求項６】
前記デブロックフィルタ制御部は、前記制御情報の変化速度に応じて、前記デブロックフィルタ強度条件を求める、請求項２から請求項５のいずれかに記載の動画像圧縮装置。
【請求項７】
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、
前記デブロックフィルタ制御部は、前記変化速度が増加しているときは、前記変化速度に略比例したデブロックフィルタ強度条件を求める、請求項６に記載の動画像圧縮装置。
【請求項８】
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、
前記デブロックフィルタ制御部は、前記変化速度が減少しているときは、前記変化速度が減少を開始する前に求めた前記デブロックフィルタ強度条件を設定し、その後、前記デブロックフィルタ強度条件を緩和させる、請求項２から請求項５のいずれかに記載の動画像圧縮装置。
【請求項９】
前記デブロックフィルタ制御部は、前記デブロックフィルタ強度条件を段階的または徐々に緩和させる、請求項８に記載の動画像圧縮装置。
【請求項１０】
前記カメラ制御部は、前記制御情報として、前記撮像部において撮影された前記動画像の信号振幅を増幅させるためのゲイン情報を出力する、請求項１記載の動画像圧縮装置。
【請求項１１】
前記被圧縮画像がイントラスライスの場合には、前記デブロックフィルタ制御部は、前記ゲイン情報のみに基づいて前記デブロックフィルタ強度条件を設定する、請求項１０に記載の動画像圧縮装置。
【請求項１２】
前記被圧縮画像の特徴に基づいて、前記動画像データの圧縮に関する難易度を検出する難易度検出部をさらに備え、
前記デブロックフィルタ制御部は、前記難易度に基づいて決定される基本値と、前記制御情報から求めたデブロックフィルタ強度条件とに基づいて、前記デブロックフィルタ強度条件を設定する、請求項１に記載の動画像圧縮装置。
【請求項１３】
前記難易度検出部は、前記被圧縮画像の各画素値の分散の総和に応じて前記基本値を求め、前記制御情報から求めたデブロックフィルタ強度条件と加算して、前記デブロックフィルタ強度条件を設定する、請求項１２に記載の動画像圧縮装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のデータを圧縮する、ビデオカメラ等の動画像圧縮装置に関する。より具体的には、本発明は、動画像のデータを圧縮する際に、デブロックフィルタを利用する動画像圧縮装置に関する。
【背景技術】
【０００２】
近年、動画像圧縮方式として、ＭＰＥＧ２（ＩＴＵ−Ｔ  Ｈ．２６２）など、フレーム間相関を用いた高効率の動画像圧縮方式の発達が著しい。これらの動画像圧縮方式は、ビデオカメラの分野においても用いられるようになってきている。【０００３】
ビデオカメラに用いられる動画像圧縮技術では、動画像の圧縮状態を適切に制御するため、カメラの動作状態情報を圧縮する際に利用する。たとえば特許文献１は、そのような技術を開示している。特許文献１の他にも、その関連技術は数多く検討、提案されている。それらの多くは、画質改善のため、あるいは符号量削減のためにフィルタを制御するという構成の共通点をもっている。その基本的な構成を従来例として以下に説明する。【０００４】
図９は、従来例の動画像圧縮装置の構成を示す。光学系を含むカメラ部１０１から出力された動画像データは前処理フィルタ１０２を経由して動画圧縮部１０３に送られて、圧縮された動画ストリームが出力される。また、カメラ部１０１から別途出力されるカメラ制御情報はフィルタ制御部１０４に送られる。フィルタ制御部１０４は、フィルタ処理指令を前処理フィルタ１０２に供給する。【０００５】
以下、図９に示す従来例による動画像圧縮装置の動作を説明する。【０００６】
カメラ部１０１は、光学系を介して撮像された動画像の信号をディジタル信号処理し、ディジタル映像データである動画像データとして出力する。またこのときカメラ部１０１はフォーカス制御やズーム制御、絞りやシャッター速度のＥＶ制御、手ぶれ補正制御など多くの光学系制御とディジタル信号処理制御を実行し、その制御状態をカメラ制御情報として出力する。【０００７】
前処理フィルタ１０２が動画像データを帯域制限した後、動画圧縮部１０３はＭＰＥＧ２規格に基づいて動画像データを圧縮処理し、動画ストリームとして出力する。一方、フィルタ制御部１０４は、カメラ制御情報を用いて、現在の動画像の特性がＭＰＥＧ２方式の圧縮処理には厳しく、圧縮歪みが比較的多く発生するか否かを判断する。圧縮歪みが多く発生すると判断した場合には、フィルタ制御部１０４は、フィルタの帯域をより制限するようにフィルタ処理指令を発行する。前処理フィルタ１０２はフィルタ制御指令を受けるとフィルタ処理する動画像データの高域成分をより減衰させるようにフィルタ処理を実行する。その結果、その動画像データの情報量は削減されるため圧縮歪みの増加を防止することができる。
【特許文献１】特表平１１−５０９７０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来の動画像圧縮装置によれば、カメラ情報を利用して圧縮歪みの増加を防止できる効果を有するものの、再生映像は解像度やディテールを失ってしまい画質が大きく劣化してしまうという課題があった。それは、前処理フィルタ１０２にて画面全体を帯域制限して被圧縮画像の映像データとしての情報量を削減したためである。しかも、前処理フィルタ１０２は被圧縮画像全体（画面全体）を一律にフィルタ処理している。これも、画質が大きく劣化する要因であった。【０００９】
近年広がりを見せているＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格では、ブロック歪みを除去するデブロックフィルタが圧縮機構に組み込まれた。この規格は、圧縮処理中の参照画像のブロック歪みも緩和するというＭＰＥＧ２とは異なる新たな特徴を有している。しかしながら、規格上はデブロックフィルタを設けることが定められたのみであり、どのように適用するか（どのように制御するか）については規定されていない。現時点では、効果的な制御方法はまだ提案されていない。【００１０】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に示されたようなデブロックフィルタを効果的に制御し、圧縮歪みの増大を防止しながら、解像度やディテールを保存して高画質の動画像の圧縮を実現することにある。
【課題を解決するための手段】
【００１１】
本発明による動画像圧縮装置は、光学系と、前記光学系を介して被写体の動画像を撮影し、動画像データを出力する撮像部と、撮像時の前記光学系および前記撮像部の少なくとも一方の動作を制御するための制御情報を出力するカメラ制御部と、前記動画像を構成する被圧縮画像と参照画像との相関性を利用して前記動画像データを圧縮する動画圧縮部であって、設定されたデブロックフィルタ強度条件にしたがって前記参照画像のブロック歪みを緩和するデブロックフィルタを有する動画圧縮部と、前記制御情報に基づいて、前記デブロックフィルタ強度条件を設定するデブロックフィルタ制御部と、前記デブロックフィルタ強度条件を圧縮後の出力データに埋め込むストリーム生成部とを備えている。【００１２】
前記カメラ制御部は、前記制御情報として、ズーム倍率を制御するためのズーム動作制御情報を出力してもよい。【００１３】
前記カメラ制御部は、電子ズームおよび光学ズームの少なくとも一方に関するズーム倍率を制御するためのズーム動作制御情報を出力してもよい。【００１４】
前記カメラ制御部は、前記制御情報として、露出を制御するための露出情報を出力してもよい。【００１５】
前記カメラ制御部は、複数種類の制御情報を出力し、前記デブロックフィルタ制御部は、前記複数種類の制御情報の各々に対応する前記デブロックフィルタ強度条件を求め、求めた複数種類のデブロックフィルタ強度条件のうちデブロックフィルタ効果を最も強く与えるデブロックフィルタ強度条件を設定してもよい。【００１６】
前記デブロックフィルタ制御部は、前記制御情報の変化速度に応じて、前記デブロックフィルタ強度条件を求めてもよい。【００１７】
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、前記デブロックフィルタ制御部は、前記変化速度が増加しているときは、前記変化速度に略比例したデブロックフィルタ強度条件を求めてもよい。【００１８】
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、前記デブロックフィルタ制御部は、前記変化速度が減少しているときは、前記変化速度が減少を開始する前に求めた前記デブロックフィルタ強度条件を設定し、その後、前記デブロックフィルタ強度条件を緩和させてもよい。【００１９】
前記デブロックフィルタ制御部は、前記デブロックフィルタ強度条件を段階的に緩和させてもよい。【００２０】
前記カメラ制御部は、前記制御情報として、前記撮像部において撮影された前記動画像の信号振幅を増幅させるためのゲイン情報を出力してもよい。【００２１】
前記被圧縮画像がイントラスライスの場合には、前記デブロックフィルタ制御部は、前記ゲイン情報のみに基づいて前記デブロックフィルタ強度条件を設定してもよい。【００２２】
前記動画像圧縮装置は、前記被圧縮画像の特徴に基づいて、前記動画像データの圧縮に関する難易度を検出する難易度検出部をさらに備え、前記デブロックフィルタ制御部は、前記難易度に基づいて決定される基本値と、前記制御情報から求めたデブロックフィルタ強度条件とに基づいて、前記デブロックフィルタ強度条件を設定してもよい。【００２３】
前記難易度検出部は、前記被圧縮画像の各画素値の分散の総和に応じて前記基本値を求め、前記制御情報から求めたデブロックフィルタ強度条件と加算して、前記デブロックフィルタ強度条件を設定してもよい。
【発明の効果】
【００２４】
本発明の動画像圧縮装置は、ブロック歪みの発生が予見される映像に対してデブロックフィルタの強度条件を適切に設定することからブロック歪みの発生を防止し、また過剰にデブロックフィルタ強度条件を上げることを防止できるため、再生映像の解像度やディテールを損なうこともなく、高画質の動画像圧縮を実現することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態による動画像圧縮装置１００の構成を示す図である。
【図２】復号処理部１２から出力された復号画像の、あるブロック境界を含む水平８画素の配置を示す図である。
【図３Ａ】パラメータｉｎｄｅｘＡとパラメータαの関係を示すグラフである。
【図３Ｂ】パラメータｉｎｄｅｘＢとパラメータβの関係を示すグラフである。
【図４】ワイド端からテレ端へのズーム動作中のズーム倍率の時間変化を示すグラフである。
【図５】ズーム倍率変化速度とズーム動作によるフィルタ強度オフセットの関係を示すグラフである。
【図６】ＥＶ情報の時間変化の一例を示すグラフである。
【図７】ＥＶ情報変化速度（絶対値）および露出情報によるフィルタ強度オフセットの関係を示すグラフである。
【図８】デブロックフィルタ強度要件の決定則を示すフローチャートである。
【図９】従来例の動画像圧縮装置の構成を示す図である。
【符号の説明】
【００２６】
１    光学系
２    絞り
３    レンズ
４    撮像素子
５    撮像部
６    アンプ
７    信号処理部
８    カメラ制御部
９    動画圧縮部
１０    動き補償処理部
１１    圧縮符号化処理部
１２    復号処理部
１３    デブロックフィルタ
１４、１５    参照画像メモリ
１６    ストリーム生成部
１７    難易度検出部
１８    デブロックフィルタ制御部
１００  動画像圧縮装置
【発明を実施するための最良の形態】
【００２７】
以下、添付の図面を参照しながら、本発明による動画像圧縮装置の実施形態を説明する。【００２８】
図１は、本実施形態による動画像圧縮装置１００の構成を示す。【００２９】
動画像圧縮装置１００は、光学系１と、撮像部５と、カメラ制御部８と、動画圧縮部９と、ストリーム生成部１６と、難易度検出部１７と、デブロックフィルタ制御部１８とを備えている。以下、各構成要素を詳細に説明し、その後、動画像圧縮装置１００において行われる処理を説明する。【００３０】
光学系１は、絞り２とズーム可能なレンズ群３とを含む。光学系１は、被写体からの光を、絞り２およびレンズ群３により、次に説明する撮像部５の撮像素子４上に結像するように構成されている。【００３１】
撮像部５は、撮像素子４と、増幅器（アンプ）６と、信号処理部７とを含む。撮像部５は、入射した光を受けて被写体を撮影し、その被写体の動画像データを出力する。撮像素子４のアナログ出力がアンプ６によって増幅されて信号処理部７に供給される。信号処理部７は、受け取ったアナログ信号に基づいて動画像データを生成して出力する。動画像データは、動画圧縮部９および難易度検出部１７に入力される。【００３２】
カメラ制御部８は、複数種類のカメラ制御情報を生成して、各制御対象に指示する。「複数種類のカメラ制御情報」は、例えば、絞り２を制御対象とする開口率設定値、レンズ群３を制御対象とする光学ズーム設定値、撮像素子４を制御対象とするシャッター速度設定値、アンプ６を制御対象とするＡＧＣ（Auto Gain Control）設定値、信号処理部７を制御対象とする電子ズーム設定値である。【００３３】
カメラ制御部８から開口率設定値が絞り２に、光学ズーム設定値がレンズ群３に、シャッター速度設定値が撮像素子４に、ＡＧＣ設定値がアンプ６に、電子ズーム設定値が信号処理部７にそれぞれ供給されている。さらに、これらカメラ制御情報は、後述するデブロックフィルタ制御部１８にも供給される。デブロックフィルタ制御部１８の動作の詳細は後述する。【００３４】
動画圧縮部９は、外部から動画像データを受け取り、圧縮符号化して出力する。動画圧縮部９は、動き補償処理部１０と、圧縮符号化処理部１１と、復号処理部１２と、デブロックフィルタ１３と、参照画像メモリ１４および１５とを備えている。【００３５】
動き補償処理部１０は、動画像データおよび、参照画像メモリ１４および１５から参照画像データを受け取り、その差分である残差データを出力する。【００３６】
圧縮符号化処理部１１は、動画像データおよび残差データに基づいて、圧縮符号化されたデータ（圧縮データ）を出力する。この圧縮データは、例えば、動画像を構成する１枚のピクチャーのデータを圧縮符号化して得られる。【００３７】
復号処理部１２は、圧縮データを受け取り、いったん復号化して出力する。【００３８】
デブロックフィルタ１３には、デブロックフィルタ強度条件および復号された画像データが入力される。デブロックフィルタ１３は、デブロックフィルタ強度条件に従って、復号された画像データのブロック歪み除去処理を行う。【００３９】
参照画像メモリ１４および１５は、参照画像の画像データを一時的に格納する。【００４０】
次に、ストリーム生成部１６は、各ピクチャーの圧縮データを受け取り、複数のピクチャーの圧縮データを含んだ圧縮ストリームを生成して出力する。【００４１】
難易度検出部１７は、動画像データを受け取り、デブロックフィルタ強度条件基本値を出力する。【００４２】
デブロックフィルタ制御部１８は、デブロックフィルタ強度条件基本値、カメラ制御情報を受け取り、デブロックフィルタ強度条件を出力する。デブロックフィルタ強度条件は、デブロックフィルタ１３およびストリーム生成部１６に入力される。【００４３】
以下、本実施形態による動画像圧縮装置１００の動作を説明する。まず、撮像から圧縮ストリーム生成までの基本動作を説明し、次にデブロックフィルタの処理を説明し、最後に本発明の主要な特徴のひとつである、カメラ制御情報を用いたデブロックフィルタ制御部１８の動作を説明する。【００４４】
まず、動画像圧縮装置１００の基本動作は以下のとおりである。【００４５】
撮像素子４は、光学系１により撮像素子４に結像された映像を撮影する。アンプ６が撮像素子４からのアナログ出力を増幅したのち、信号処理部７がその信号に対してＡＤ変換とディジタル処理を施し、ディジタルデータである動画像データとして出力する。【００４６】
このときカメラ制御部８は、光学ズーム設定信号を用いてレンズ群３の光学ズーム状態の制御と、電子ズーム設定信号を用いて信号処理部７の電子ズーム倍率の制御とからなるズーム制御を実行する。また、カメラ制御部８は開口率設定信号を用いて絞り２を設定し、シャッター速度設定信号を用いて撮像素子４のシャッター速度を設定して総合的に撮像素子４の露光量を調節する露光指数（exposure value；ＥＶ）制御も実行している。カメラ制御部８は、ＥＶ制御で開口率を充分に大きくかつシャッター速度を充分遅くしても露出が不足して撮像素子４のアナログ出力の振幅が小さいと判断した場合には、ＡＧＣ設定信号を用いてアンプ６の利得（ゲイン）を上げて動画像信号の振幅を補うＡＧＣ制御も担っている。カメラ制御部８により常に適切な状態に制御された光学系１と撮像部５から得られた動画像データは動画圧縮部９に供給され、動画圧縮部９が圧縮符号化の処理を実行する。【００４７】
動画圧縮部９は入力画像と参照画像との相関性を利用可能な動画像圧縮を行う動画圧機構を持っており、ここではＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に従って動作しているものとする。【００４８】
なお、この本実施形態では説明の簡単化のため動画圧縮処理が動画像を構成する画像（ピクチャー）単位で行われるとする。そして、データの圧縮の対象とされる画像（被圧縮画像）をＩピクチャー、Ｐピクチャー、Ｂピクチャー、参照Ｂピクチャーとして扱うものとし、参照画像は最大２枚とする。Ｉピクチャー、Ｐピクチャー、Ｂピクチャーは、それぞれ以下のように定義される。
Ｉピクチャー：１枚のピクチャーのデータのみを用いて圧縮符号化されたピクチャー。Ｉピクチャーは、そのデータのみで１枚のピクチャーを復号化可能である。すなわち、被圧縮画像の全ての構成ブロックの圧縮は、被圧縮画像の範囲内で完結しており、イントラスライスとも呼ばれる。
Ｐピクチャー：過去のピクチャーから一方向のピクチャー間予測が行われて、差分値が符号化されたピクチャー。Ｐピクチャーは、時間的に前に表示されるＩピクチャーまたは他のＰピクチャーのいずれか１つのピクチャーを参照して圧縮符号化されている。したがって、Ｐピクチャーは参照ピクチャーであるＩピクチャーまたは他のＰピクチャーを参照して復号化が可能である。
Ｂピクチャー：過去および未来のピクチャーから二方向のピクチャー間予測が行われて、差分値が符号化されたピクチャー。Ｂピクチャーは、時間的に前に表示されるピクチャーおよび時間的に後に表示されるピクチャーの少なくとも２つのピクチャーを参照して圧縮符号化される。参照されるピクチャーは、Ｉピクチャー、Ｐピクチャーまたは過去のＢピクチャーである。特にＢピクチャーからの参照を許されるＢピクチャーを参照Ｂピクチャーと呼ぶ。【００４９】
また、動画圧縮部９は、被圧縮画像を処理順に並べ替えるリオーダリング処理も行っている。しかし、これは本件発明の本質的に無関係であるから図１の構成からは省略した。動画圧縮部９には圧縮処理順に動画像データが入力されているものと仮定して説明する。【００５０】
まず、Ｉピクチャーとなるべき動画像データが動画圧縮部９に入力されたとき、動き補償処理部１０は休止して圧縮符号化処理部１１のみが被圧縮映像としてその動画像データを受け取る。【００５１】
圧縮符号化処理部１１は動画像データに対してＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に従って直交変換、量子化、高効率符号化などの処理を実行して、圧縮データを出力する。圧縮データは復号処理部１２が復号し、復号画像データとしてデブロックフィルタ１３に供給する。デブロックフィルタ１３はデブロックフィルタ制御部１８から与えられたデブロックフィルタ強度条件に従って復号画像データのブロック歪み除去処理を行い、その結果得られる参照画像データを参照画像メモリ１４または参照画像メモリ１５に記憶させる。【００５２】
ストリーム生成部１６は圧縮データを入力としてヘッダ付与やデブロックフィルタ強度条件をはじめとする各種付加情報を埋め込み、規格に従った圧縮ストリームを出力する。たとえば一例としてＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格を挙げると、ストリームはＮＡＬユニット単位に構成され、各種付加情報はその内容に応じてピクチャーパラメータセットや各種ＳＥＩと呼ばれるＮＡＬユニットに格納され、あるいは各スライスの圧縮データの先頭部分に付与するスライスヘッダ内に直接埋め込まれる。デブロックフィルタ強度条件はスライス単位にスライスヘッダの内部に埋め込まれる。【００５３】
Ｐピクチャー、Ｂピクチャーあるいは参照Ｂピクチャーとなるべき動画像のデータが動画圧縮部９に入力されたとき、動き補償処理部１０は入力された被圧縮画像データと参照画像メモリ１４および参照画像メモリ１５が記憶する参照画像データを用いて動きベクトル探索を実行し、予測画像を生成して被圧縮画像との差分を求め、その残差データを圧縮符号化処理部１１に伝送する。残差データに対する圧縮符号化処理部１１、ストリーム生成部１６、復号処理部１２、デブロックフィルタ１３の動作は上述したＩピクチャーの場合と同様であるが、Ｂピクチャーの場合のみ参照画像とはならないため、復号処理部１２とデブロックフィルタ１３が動作を休止している。【００５４】
以上のようにして撮像から圧縮ストリーム生成までの基本動作が実行される。【００５５】
次にデブロックフィルタ１３の処理を説明する。【００５６】
デブロックフィルタ１３は圧縮符号化処理部１１の圧縮処理により発生したブロック歪みを除去する為に導入されたフィルタである。その処理内容はＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に詳細に場合分けして定義されており、本実施形態のデブロックフィルタ１３もその定義に従って動作する。【００５７】
ここで、ブロック歪みを除去するための具体的な処理を説明する。【００５８】
図２は、復号処理部１２から出力された復号画像の、あるブロック境界を含む水平８画素の配置を示す。画素ｐ３〜ｐ０がブロックＰに属し、画素ｑ０〜ｑ３がブロックＱに属し、画素ｐ０と画素ｑ０の境界がブロック境界である。ブロック歪みはこのブロック境界の段差として現れる。ここでいう「段差」とは、画素値（たとえば輝度の値、色の値）の差を意味する。特に人間の視覚によって感知し得る程度の差が存在すれば、人間は「ブロック歪み」の存在を感じることになる。【００５９】
デブロックフィルタ１３は最大この８画素の範囲内を処理する。デブロックフィルタ１３はブロック境界ごとにデブロック処理の内容を決定するため、まずパラメータαとパラメータβを求める。【００６０】
後に数３に関連して詳述するように、パラメータαおよびβは、ブロック境界に対してデブロック処理を適用するか否かを決定する基準として利用される。また、数４〜数６に関連して詳述するように、パラメータαおよびβは、デブロック処理の具体的な内容を決定する基準としても利用される。【００６１】
本願発明者らは、デブロック処理に関連する重要なパラメータαおよびβを決定する条件の一つとして「デブロックフィルタ強度条件」を採用し、この「デブロックフィルタ強度条件」を、たとえばカメラの制御情報を利用して決定することとした。以下、具体的に説明する。【００６２】
いまブロックＰの量子化指標ｑＰと、ブロックＱの量子化指標ｑＰの平均値をｑＰａｖとし、デブロックフィルタ強度条件をパラメータＦｉｌｔｅｒＯｆｆｓｅｔＡと表記したとき、（数１）に示すようにパラメータｉｎｄｅｘＡを求める。
（数１）
ｉｎｄｅｘＡ  ＝  ｑＰａｖ  ＋  ＦｉｌｔｅｒＯｆｆｓｅｔＡ【００６３】
図３ＡはパラメータｉｎｄｅｘＡとパラメータαの関係を示すグラフである。デブロックフィルタ１３は、図３Ａのグラフに従ってパラメータｉｎｄｅｘＡからパラメータαを求める。【００６４】
パラメータβについても同様である。デブロックフィルタ１３は、パラメータβについても同様にｑＰａｖとデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＢから（数２）に従ってパラメータｉｎｄｅｘＢを求める。
（数２）
ｉｎｄｅｘＢ  ＝  ｑＰａｖ  ＋  ＦｉｌｔｅｒＯｆｆｓｅｔＢ【００６５】
図３ＢはパラメータｉｎｄｅｘＢとパラメータβの関係を示すグラフである。デブロックフィルタ１３は、図３Ｂのグラフに従ってパラメータｉｎｄｅｘＢからパラメータβを求める。【００６６】
そしてデブロックフィルタ１３は、求めたパラメータαおよびβを下記（数３）に適用し、（数３）が成立するか否かを判断する。
（数３）
｜ｐ０−ｑ０｜＜α    かつ    ｜ｐ１−ｐ０｜＜β    かつ    ｜ｑ１−ｑ０｜＜β【００６７】
上述の（数１）および（数２）における、パラメータＦｉｌｔｅｒＯｆｆｓｅｔＡおよびＦｉｌｔｅｒＯｆｆｓｅｔＢは、たとえば−６から＋６までの１３個の整数のうちのいずれかとして、それぞれ与えられる。なお、両パラメータは、同じ数値であるとして説明している。【００６８】
（数１）によれば、このパラメータＦｉｌｔｅｒＯｆｆｓｅｔＡの大きさ如何によりパラメータｉｎｄｅｘＡの大きさが変化することが理解される。そして図３Ａから明らかなように、パラメータｉｎｄｅｘＡの大きさに応じてパラメータαの大きさも変化する。【００６９】
求めたパラメータαとパラメータβ及び図２の各画素の値が、もし（数３）の条件式を満足しない場合デブロックフィルタ１３は図２の８画素に対するデブロック処理を実施しない。一方、（数３）を満足する場合にはデブロックフィルタ１３はデブロック処理を実施する。【００７０】
デブロック処理が実施される場合、デブロック処理の具体的内容は更に詳細に場合分けされた条件判断に進み、やはりパラメータα、パラメータβ、図２の各画素の値を判断材料として、使用するフィルタの係数や処理する画素の範囲を決定することとなる。【００７１】
ここで、詳細に場合分けされた条件判断の一例を説明する。【００７２】
以下では、ある条件において、画素ｐ0、ｐ1、ｐ2の画素値（便宜的に画素値をｐ0、ｐ1、ｐ2として説明する。）がデブロックフィルタ処理によってｐ’0、ｐ’1、ｐ’2に更新されるとして説明する。【００７３】
まず、パラメータαおよびβを用いて（数４）による条件判定を行う。
（数４）
｜ｐ2−ｐ0｜  ＜  β  かつ  ｜ｐ0−ｑ0｜  ＜  （（α／４）＋２）【００７４】
（数４）の条件を満たした場合、画素値ｐ’0、ｐ’1、ｐ’2は、画素値ｐ0、ｐ1、ｐ2、ｐ3、ｑ0、ｑ1に基づく（数５）によるフィルタ処理によって算出される。
（数５）
ｐ’0  ＝  （ｐ2＋２×ｐ1＋２×ｐ0＋２×ｑ0＋ｑ1＋４）  ／  ８
ｐ’1  ＝  （ｐ2＋ｐ1＋ｐ0＋ｑ0＋２）  ／  ４
ｐ’2  ＝  （２×ｐ3＋３×ｐ2＋ｐ1＋ｐ0＋ｑ0＋４）  ／  ８【００７５】
一方、（数４）の条件を満たさなかった場合、画素値ｐ’0、ｐ’1、ｐ’2は、画素値ｐ0、ｐ1、ｐ2、ｑ1に基づく（数６）によるフィルタ処理によって算出される。
（数６）
ｐ’0  ＝  （２×ｐ1＋ｐ0＋ｑ1＋２）  ／  ４
ｐ’1  ＝  ｐ1
ｐ’2  ＝  ｐ2【００７６】
（数５）と（数６）とを比較してみると、（数５）の方が算出対象とする画素以外の画素の値を多く用いて計算しており、より周辺画素の影響を強く受けるフィルタ処理となっている。また（数６）はｐ’0以外は元の画素の値がそのまま使用され更新されていないが、（数５）はｐ’0だけでなくｐ’1、ｐ’2も値の更新が行われる処理となっている。【００７７】
つまり、αおよびβの値が大きいとより多くのブロック境界で（数４）を満たすこととなり、その結果、（数５）によってより強度の強い広範囲のわたるフィルタ処理が適用されることとなる。【００７８】
（数３）ではパラメータαおよびパラメータβの値が大きいほど、容易にデブロックフィルタの処理がかかることを示している。そして、更に詳細に場合分けされた条件判断においても（数４）から明らかなとおり、パラメータα、βの値が大きいほど、より広範囲により強度の強いフィルタが採用されるように定義されている。【００７９】
いま、（数１）において、デブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡがゼロに固定されていると仮定する。このとき、図３Ａの横軸は平均ｑＰを示すことになる。図３Ａは平均ｑＰが大きいほどパラメータαの値が大きくなることを示している。量子化パラメータｑＰが大きい場合は一般にブロック歪みが大きく発生するが、このとき同時にパラメータα（およびパラメータβ）の値も自動的に大きくなり、より強度の強いデブロックフィルタ処理が採用されることとなる。量子化パラメータｑＰが大きく、ブロック歪みが大きく発生する場合、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に従うデブロックフィルタ１３は、自動的にデブロック処理をきつく掛けブロック歪みを除去するという基本特性をもっている。【００８０】
（数１）および（数２）によれば、デブロックフィルタ１３の外部からデブロックフィルタ１３に対して与えられるデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢはデブロック処理の強度調節をオフセットすることが可能である。【００８１】
再び図１を参照する。難易度検出部１７は動画像データを入力して動画圧縮部９が処理しようとする被圧縮画像の特徴を抽出し、その特徴から動画圧縮部９の圧縮処理の困難の程度を判断する。そして難易度検出部１７は、発生するブロック歪みの量を推定してデブロックフィルタ強度条件基本値をデブロックフィルタ制御部１８に与える。これにより、たとえば、カメラ制御動作に依存して発生するブロック歪みと相乗的に発生する映像固有の特徴によるブロック歪みに対してデブロックフィルタ強度条件をよりきつく設定することが可能になる。【００８２】
圧縮動作の困難の程度の判断方法として、本実施形態では被圧縮画像の各画素値をもとに分散の総和を求め、その値に応じて−６から０の値をデブロックフィルタ強度条件基本値として採用する。【００８３】
なお、圧縮動作の困難の程度の判断方法としては数々の方法が提案実用化されているが、本実施形態においては、そのいずれの方法を用いてもよい。具体的方法は、本実施形態の説明とは特に大きな関連はないため、その説明は省略する。また難易度検出部１７はデブロックフィルタ強度条件基本値として常に固定値を出力してもよい。【００８４】
次に、デブロックフィルタ制御部１８が、カメラ制御情報をどのように利用してデブロックフィルタ強度条件を決定するかを説明する。【００８５】
デブロックフィルタ制御部１８はカメラ制御部８から伝送されたカメラ制御情報と、デブロックフィルタ強度条件基本値とを用いてデブロックフィルタ強度条件を決定する。カメラ制御情報として、本実施形態では、ズーム情報、ＥＶ情報およびＡＧＣ情報の少なくとも１つを利用する例を説明する。いずれの情報も、数値として表現されているとする。各情報を用いた処理を以下順に説明する。【００８６】
まずズーム情報を用いた処理を説明する。【００８７】
カメラ制御情報に含まれるズーム情報には毎フレームのズーム倍率が示されている。図４はワイド端からテレ端へのズーム動作中のズーム倍率の時間変化を示すグラフである。図４は、カメラ制御部８が光学ズームから電子ズームへと制御を継続させ最終的に２０倍ズームで停止した状態を示している。デブロックフィルタ制御部１８はズーム倍率の変化速度ＶＺＯＯＭを求め、ＶＺＯＯＭの値をもとにデブロックフィルタ強度条件に寄与させる程度としてフィルタ強度オフセットＯｆｆｓｅｔＺＯＯＭを決定する。なお、ズーム倍率の変化速度ＶＺＯＯＭは、倍率変化量／時間変化量によって定義される。【００８８】
図５はズーム倍率変化速度とズーム動作によるフィルタ強度オフセットの関係を示すグラフである。デブロックフィルタ制御部１８は、ＶＺＯＯＭの立ち上がり期間中、つまり加速中はＶＺＯＯＭにほぼ比例するようにＯｆｆｓｅｔＺＯＯＭの値を決定する。なおＯｆｆｓｅｔＺＯＯＭのグラフが階段状であるのは０から４の整数値としているからである。【００８９】
一方、デブロックフィルタ制御部１８は、ＶＺＯＯＭの立ち下がり期間中、つまり減速に転じるとその前のＯｆｆｓｅｔＺＯＯＭの値を一定期間保持し、その後、徐々に、たとえば段階的に減少するようにＯｆｆｓｅｔＺＯＯＭの値を決定する。【００９０】
ズーム動作中は一般に映像の情報量は減少するものの、動き補償で適正な予測を実現することが難しく、結果として量子化パラメータｑＰはやや高くなる。そのため、上述したようにデブロックフィルタ１３を自動的に少しきつく適用し、ブロック歪みを除去するように作用させる。【００９１】
しかしながら、ズーム中は映像が見かけ上放射方向へ移動するのに対して、ブロック歪みは被写体の動きとは無関係に画面上の同じ位置に発生している。したがって、ブロック歪みが視覚的に非常に目立ちやすく、デブロックフィルタ１３の自動的な強度調節だけではフィルタ強度が不足する。ブロック歪みが視覚的に非常に目立ちやすい理由をより詳しく説明する。ブロック歪みを発生するのはブロックの境界である。画面全体の中でブロックの位置は固定されているため、ブロック境界も画面の中で常に同じ位置に存在する。映像（被写体）がどのように動いても１画面内のブロック境界位置は変化しない。したがって、ズーム中は映像が見かけ上放射方向へ移動するにもかかわらず、ブロック歪みは被写体とともに動くことはないため、ブロック歪みが視覚的に非常に目立ちやすくなる。【００９２】
本実施形態においては、デブロックフィルタ制御部１８がＯｆｆｓｅｔＺＯＯＭの値を決定することによって、不足するデブロックフィルタ強度を適切に補うことが可能になる。またズーム動作完了直後は映像の状態が急激に変化するため大きなブロック歪みを発生する場合が多い。特にズーム速度が速い場合に顕著に発生する。【００９３】
本実施形態では、ズーム動作完了直後にもデブロックフィルタ制御部１８がズーム速度に応じたＯｆｆｓｅｔＺＯＯＭの値を保持する。したがって、ブロック歪みを適切に除去することができる。なお、デブロックフィルタ強度を急激に変化させた場合、オートフォーカス機構が振動を起こしたような不安定な映像に見えることがある。しかし、そのような場合であっても、デブロックフィルタ制御部１８がＯｆｆｓｅｔＺＯＯＭの値を徐々に減少させることにより、不安定な映像に見える弊害も防止できている。【００９４】
なお、図４および図５ではワイド端からテレ端へのズーム動作を説明したが、テレ端からワイド端へのズーム動作についてもズーム倍率変化速度が絶対値であるから全く同じ処理である。よって、その説明は省略する。【００９５】
なお、本実施形態ではデブロックフィルタ制御部１８がズーム倍率からズーム倍率変化速度を求める処理とした。しかしながら、カメラ制御部８がズーム情報としてズーム期間を示すフラグを出力し、デブロックフィルタ制御部１８がそのフラグで示された期間中は一律かつ一定のＯｆｆｓｅｔＺＯＯＭの値を採用してもよい。これは、ズーム速度が遅い場合には充分な効果を発揮することができる。また図４，図５に示したズーム倍率及びズーム倍率変化速度は光学ズームと電子ズームを総合したズーム倍率に対して処理するとして説明した。しかしながら、光学ズーム倍率のみを使用する構成として電子ズーム中は光学ズーム動作中のＯｆｆｓｅｔＺＯＯＭの値を保持するとしてもよい。電子ズーム中には、光学ズーム中よりもブロック歪みの発生が大きくなるということはないので、電子ズーム中の処理を簡易化しても効果が得られる。【００９６】
次に、ＥＶ情報を用いた処理を説明する。【００９７】
本実施形態のカメラ制御情報に含まれるＥＶ情報とは、絞り２（図１）のＦ値とシャッター速度とから求められるＥＶ値におよそ比例する、０から２５４の整数で表現された数値情報である。ＥＶ情報は、フレームごとにカメラ制御部８から伝送されるとする。【００９８】
図６は、ＥＶ情報の時間変化の一例を示すグラフである。図６は、被写体の照度が上がるなどして露出過剰になったときに絞り２を絞ることにより、ＥＶ情報の数値が増加したことを示している。【００９９】
デブロックフィルタ制御部１８はＥＶ情報の変化速度ＶＥＶを求め、ＶＥＶの値に基づいてデブロックフィルタ強度条件に寄与させるべき程度としてフィルタ強度オフセットＯｆｆｓｅｔＥＶを決定する。【０１００】
図７は、ＥＶ情報変化速度（絶対値）および露出情報によるフィルタ強度オフセットの関係を示すグラフである。デブロックフィルタ制御部１８の、ＶＥＶに対するＯｆｆｓｅｔＥＶの決定方法は図５に示したズーム動作の場合と全く同じ方法であり、ＯｆｆｓｅｔＥＶの数値が異なっているのみである。【０１０１】
自動露出制御あるいは操作者による絞り操作などにより露光量が変化した場合、動き補償で適正な予測を実現することが難しく、ブロック歪みが発生する。しかしながら、自動的なデブロックフィルタ１３のフィルタ強度調節のみではフィルタ強度が不足する。【０１０２】
本実施形態においては、ＥＶ情報の変化速度を用いてデブロックフィルタ制御部１８がＯｆｆｓｅｔＥＶの値を決定することによって、不足するデブロックフィルタ強度を適切に補うことができる。なお、露出制御の動作直後のブロック歪みやデブロックフィルタ強度を急激に変化させた場合の影響を防止する効果を発揮することも上述したズーム動作の場合と全く同じである。【０１０３】
ＥＶ情報の代用として、例えば難易度検出部１７で被圧縮画像の平均輝度を求めるという方法も考えられる。しかしながら、自動露出制御により露光量が調節された後の映像で露出状態を推定することになるため、適切な制御実現は非常に困難である。特に被写体の明るさが変わらないままゆっくりパンするなどして画面内の明暗比率が変化する場合などは、画像データから露出状態を正しく求めることは不可能であり、デブロックフィルタ強度条件を適切に制御することは出来ない。本実施形態では露出情報を直接使用することで映像データからは制御困難なデブロックフィルタ強度設定を容易にかつ適切に実現している。【０１０４】
なお、本実施形態ではデブロックフィルタ制御部１８がＥＶ情報からＯｆｆｓｅｔＥＶ値を決定するとしたが、自動露出制御がシャッター速度制御優先で動作するよう設定されている等の理由により、通常絞り２があまり変化しない場合は、シャッター速度情報のみでＯｆｆｓｅｔＥＶ値を決定してもよい。逆に、絞り制御優先であったり絞り制御が操作者のマニュアル操作である場合などは、絞り２の開口率設定情報あるいはＦ値情報のみを用いてＯｆｆｓｅｔＥＶ値を決定してもよい。いずれも、先に述べた効果と同様の効果が得られる。またＥＶ値の定義に必然性はなく、異なる定義の露出状態を表現するパラメータを用いてもよく、やはり同様の効果を得ることができる。【０１０５】
次にＡＧＣ情報を用いた処理を説明する。【０１０６】
本実施形態のカメラ制御情報に含まれるＡＧＣ情報とは、アンプ６（図１）に対する設定利得を意味し、３ｄＢ単位の数値で表現された数値情報である。ＡＧＣ情報は、フレームごとにカメラ制御部８から伝送されるとする。【０１０７】
表１はＡＧＣ情報とフィルタ強度オフセットＯｆｆｓｅｔＡＧＣの対応関係を示す。デブロックフィルタ制御部１８は、表１に従ってデブロックフィルタ強度条件に寄与させるべき程度として、ＡＧＣ制御によるフィルタ強度オフセットＯｆｆｓｅｔＡＧＣを決定する。【０１０８】
【表１】
2009093472.tif 000003
【０１０９】
カメラ制御部８がアンプ６に撮像素子４のアナログ出力を増幅するよう利得を増加させるとき、動画像データは既にＳ／Ｎ比が悪化してノイズが目立つ映像となっており、ブロック歪みは発生するものの比較的目立ちにくくなっている。従って、上述したＥＶ情報の場合とは異なり、ＡＧＣ情報の変化速度を求めＯｆｆｓｅｔＡＧＣを求めても効果が小さい。【０１１０】
しかしながら、ＡＧＣ情報の値がある程度以上大きくなるとやはりブロック歪みが目立つようになる。そこで、表１に示すようにＡＧＣ情報の値が大きい場合にのみ不足するデブロックフィルタ強度を補うことで適切なブロック歪み除去効果を得ることができる。【０１１１】
なお、ＡＧＣ情報とＯｆｆｓｅｔＡＧＣとの関係を示した表１は例である。たとえば、表形式ではなく、ＡＧＣ情報の値を代入すると、ＯｆｆｓｅｔＡＧＣが特定されるよう、関数形式で表現してもよい。また、ＡＧＣ情報は３ｄＢ単位の数値で表現されるとしたが、この単位も例である。３ｄＢ単位より小さくてもよい。【０１１２】
最後に、デブロックフィルタ強度条件の決定方法を説明する。【０１１３】
デブロックフィルタ制御部１８（図１）は決定した３種類のフィルタ強度オフセットの値と、難易度検出部１７から与えられたデブロックフィルタ強度条件基本値とから、デブロックフィルタ１３に供給するデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡおよびＦｉｌｔｅｒＯｆｆｓｅｔＢを決定する。【０１１４】
図８は、デブロックフィルタ強度要件の決定則を示すフローチャートである。まずステップＳ１において、ＯｆｆｓｅｔＺＯＯＭの値、ＯｆｆｓｅｔＥＶの値、ＯｆｆｓｅｔＡＧＣの値が特定される。ステップＳ２において、被圧縮画像がＩピクチャーの場合には、デブロックフィルタ制御部１８は、ＯｆｆｓｅｔＺＯＯＭおよびＯｆｆｓｅｔＥＶの値を０とする。ステップＳ３において、デブロックフィルタ制御部１８は、ＯｆｆｓｅｔＺＯＯＭの値、ＯｆｆｓｅｔＥＶの値、ＯｆｆｓｅｔＡＧＣの値を比較し、そのうちの最大値を選択する。【０１１５】
ステップＳ４において、デブロックフィルタ制御部１８は、選択した値に対して別途特定されたデブロックフィルタ強度条件基本値を加算し、ステップＳ５において、加算結果をデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢの値として決定する。【０１１６】
カメラ制御情報より求めた３つのオフセット値はいずれも動き補償処理部１０の動き補償処理の困難の程度に起因するブロック歪みを補正しようとするものである。しかし、動き補償の困難の程度はこれら３つの要因が加算的に影響するのではなく最も影響の大きい要素の影響が支配的になる傾向が強い。従って３つのオフセット値の最大値を採用することで適切なブロック歪み除去が実現できる。【０１１７】
またこれらは動き補償に起因するブロック歪みに関する歪みの低減処理であるが、被圧縮映像がＩピクチャーの場合は動き補償処理が行われない。３つのオフセット値の中でＯｆｆｓｅｔＡＧＣの値は動き補償に起因するブロック歪だけではなく圧縮符号化処理部１１の困難の程度に起因するブロック歪にも影響する。従ってＩピクチャーの場合はＯｆｆｓｅｔＡＧＣの値のみを残し、ＯｆｆｓｅｔＺＯＯＭの値とＯｆｆｓｅｔＥＶの値とを０に変更することで過度のデブロック処理がかかってしまう副作用を防止することができる。【０１１８】
一方、難易度検出部１７が求めたデブロックフィルタ強度条件基本値は、被圧縮映像のもつ情報量の程度など圧縮符号化処理部１１の困難の程度に起因して発生するブロック歪みを除去しようとするものである。これはカメラ制御の状態や動き補償処理の困難の程度とは関係が薄く、どちらかが支配的になるのではなく、ブロック歪みに対して加算的影響をもつものである。従ってカメラ情報より選択決定したオフセット値にデブロックフィルタ強度条件基本値を加算することで適切なブロック歪み除去を実現することができるものである。【０１１９】
なお、被圧縮映像がＢピクチャーである場合、デブロックフィルタ１３は上述したように休止しているが、デブロックフィルタ強度条件を再生時に使用できるようにするため、デブロックフィルタ制御部１３はＢピクチャーの場合にも上記デブロックフィルタ強度条件を決定してストリーム生成部１６に供給している。【０１２０】
また、図８でデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢは同じ値を採用するとしたが異なる値を採用しても良い。ＦｉｌｔｅｒＯｆｆｓｅｔＢを小さくするとブロック内部の情報量が多い場合にデブロックフィルタ１３の処理がかかりにくくなる。従ってＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢの具体的数値の設定、比率の設定を調節することで光学系１や撮像部５のＳ／Ｎ比や解像度などの装置固有の性能に適合させることができる。【０１２１】
なお、図１に示した本実施形態の動作では、カメラ制御情報としてズーム情報とＥＶ情報とＡＧＣ情報との３種類を用いてその動作を説明したが、合焦動作の情報など他のカメラ情報を利用する構成としても良い。【０１２２】
本実施形態ではデブロックフィルタ制御部が、図３Ａおよび図３Ｂに示した自動的なデブロックフィルタの強度調節ではデブロック強度が不足する場合に、その補強としてカメラ制御情報からＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢを設定して不足分を補う動作を説明した。逆に自動的なデブロックフィルタの強度調節ではデブロック効果が効きすぎる場合にその抑制として作用させても良い。【０１２３】
以上のように本実施形態によれば、カメラ制御により参照画像に発生するブロック歪みを的確かつ大幅に除去することができる。【０１２４】
また、デブロックフィルタ制御部１８がズーム動作制御情報を用いてデブロックフィルタ１３を制御することにより、ズーム動作の場合に発生する特に顕著なブロック歪みを確実に除去することができる。【０１２５】
また、露出情報（露光指数ＥＶ）を用いることにより、露出状態が変化する場合に発生する特に顕著なブロック歪みを確実に除去できる。【０１２６】
なおかつカメラ制御情報の複数の要素それぞれから求めたブロックフィルタ強度条件の最大値を採用する構成によりデブロックフィルタ１３の強度を過剰に効かせすぎて参照画像の解像度やディテールを損ねることがない。【０１２７】
また、デブロックフィルタ１３の強度の程度を適切な値に設定し、光学系制御の終了直後に発生するブロック歪みまで除去できる。被圧縮画像がイントラスライスの場合は、デブロックフィルタ制御部１８は、カメラ制御情報のうちズーム動作制御情報と露出情報とを用いずにデブロックフィルタ強度条件を設定する。これによりカメラ制御の影響を受けにくいＩピクチャーに過度のデブロックフィルタを掛けて解像度を損ねる副作用も防止できる。また、これにより特に大きなブロック歪みを発生しやすいズーム速度が速い場合や露光量変化速度が速い場合に、よりデブロックフィルタをきつく掛けるように制御することが可能になる。つまりカメラ制御動作に依存するブロック歪みの発生が特に顕著である参照画像との相関による動画圧縮の場合に限定してデブロックフィルタ強度条件を制御することが可能になる。【０１２８】
また本発明によれば、カメラ制御とは無関係の映像条件により発生するブロック歪みの除去も効果的に組み合わせて実現することも出来る。そのためデブロック処理の強度が不足してブロック歪みが目立つことが無く、逆に過剰になって解像度、ディテールを失うこともなく、常に適正なブロック歪み除去を実現して、参照画像の画質を大幅に改善できる。そして、参照画像の画質改善により動き補償処理部１０の残差データが減少して量子化指標ｑＰが改善されるから総合的に圧縮映像の画質を大きく改善できる。また、本実施形態で最適に制御されたデブロックフィルタ強度条件はストリーム生成部１６で圧縮ストリームに埋め込まれているから、再生時にも記録時の最適なデブロック処理が再現でき高画質が実現できる。
【産業上の利用可能性】
【０１２９】
本発明にかかる動画像圧縮装置は、カメラ制御情報を利用して参照画像にかかるデブロックフィルタ処理の強度を制御して常に適切なブロック歪み除去を実現するものであるから、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格など、参照画像にブロック歪み除去を行う機構を有する動画像圧縮を行う装置に適応できる。
【図１】
2009093472.tif 000004
【図２】
2009093472.tif 000005
【図３Ａ】
2009093472.tif 000006
【図３Ｂ】
2009093472.tif 000007
【図４】
2009093472.tif 000008
【図５】
2009093472.tif 000009
【図６】
2009093472.tif 000010
【図７】
2009093472.tif 000011
【図８】
2009093472.tif 000012
【図９】
2009093472.tif 000013
【手続補正書】
【提出日】平成22年6月7日(2010.6.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のデータを圧縮する、ビデオカメラ等の動画像圧縮装置に関する。より具体的には、本発明は、動画像のデータを圧縮する際に、デブロックフィルタを利用する動画像圧縮装置に関する。
【背景技術】
【０００２】
近年、動画像圧縮方式として、ＭＰＥＧ２（ＩＴＵ−Ｔ  Ｈ．２６２）など、フレーム間相関を用いた高効率の動画像圧縮方式の発達が著しい。これらの動画像圧縮方式は、ビデオカメラの分野においても用いられるようになってきている。
【０００３】
ビデオカメラに用いられる動画像圧縮技術では、動画像の圧縮状態を適切に制御するため、カメラの動作状態情報を圧縮する際に利用する。たとえば特許文献１は、そのような技術を開示している。特許文献１の他にも、その関連技術は数多く検討、提案されている。それらの多くは、画質改善のため、あるいは符号量削減のためにフィルタを制御するという構成の共通点をもっている。その基本的な構成を従来例として以下に説明する。
【０００４】
図９は、従来例の動画像圧縮装置の構成を示す。光学系を含むカメラ部１０１から出力された動画像データは前処理フィルタ１０２を経由して動画圧縮部１０３に送られて、圧縮された動画ストリームが出力される。また、カメラ部１０１から別途出力されるカメラ制御情報はフィルタ制御部１０４に送られる。フィルタ制御部１０４は、フィルタ処理指令を前処理フィルタ１０２に供給する。
【０００５】
以下、図９に示す従来例による動画像圧縮装置の動作を説明する。
【０００６】
カメラ部１０１は、光学系を介して撮像された動画像の信号をディジタル信号処理し、ディジタル映像データである動画像データとして出力する。またこのときカメラ部１０１はフォーカス制御やズーム制御、絞りやシャッター速度のＥＶ制御、手ぶれ補正制御など多くの光学系制御とディジタル信号処理制御を実行し、その制御状態をカメラ制御情報として出力する。
【０００７】
前処理フィルタ１０２が動画像データを帯域制限した後、動画圧縮部１０３はＭＰＥＧ２規格に基づいて動画像データを圧縮処理し、動画ストリームとして出力する。一方、フィルタ制御部１０４は、カメラ制御情報を用いて、現在の動画像の特性がＭＰＥＧ２方式の圧縮処理には厳しく、圧縮歪みが比較的多く発生するか否かを判断する。圧縮歪みが多く発生すると判断した場合には、フィルタ制御部１０４は、フィルタの帯域をより制限するようにフィルタ処理指令を発行する。前処理フィルタ１０２はフィルタ制御指令を受けるとフィルタ処理する動画像データの高域成分をより減衰させるようにフィルタ処理を実行する。その結果、その動画像データの情報量は削減されるため圧縮歪みの増加を防止することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表平１１−５０９７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来の動画像圧縮装置によれば、カメラ情報を利用して圧縮歪みの増加を防止できる効果を有するものの、再生映像は解像度やディテールを失ってしまい画質が大きく劣化してしまうという課題があった。それは、前処理フィルタ１０２にて画面全体を帯域制限して被圧縮画像の映像データとしての情報量を削減したためである。しかも、前処理フィルタ１０２は被圧縮画像全体（画面全体）を一律にフィルタ処理している。これも、画質が大きく劣化する要因であった。
【００１０】
近年広がりを見せているＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格では、ブロック歪みを除去するデブロックフィルタが圧縮機構に組み込まれた。この規格は、圧縮処理中の参照画像のブロック歪みも緩和するというＭＰＥＧ２とは異なる新たな特徴を有している。しかしながら、規格上はデブロックフィルタを設けることが定められたのみであり、どのように適用するか（どのように制御するか）については規定されていない。現時点では、効果的な制御方法はまだ提案されていない。
【００１１】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に示されたようなデブロックフィルタを効果的に制御し、圧縮歪みの増大を防止しながら、解像度やディテールを保存して高画質の動画像の圧縮を実現することにある。
【課題を解決するための手段】
【００１２】
本発明による動画像圧縮装置は、光学系と、前記光学系を介して被写体の動画像を撮影し、動画像データを出力する撮像部と、撮像時の前記光学系および前記撮像部の少なくとも一方の動作を制御するための制御情報を出力するカメラ制御部と、前記動画像を構成する被圧縮画像と参照画像との相関性を利用して前記動画像データを圧縮する動画圧縮部であって、設定されたデブロックフィルタ強度条件にしたがって前記参照画像のブロック歪みを緩和するデブロックフィルタを有する動画圧縮部と、前記制御情報に基づいて、前記デブロックフィルタ強度条件を設定するデブロックフィルタ制御部と、前記デブロックフィルタ強度条件を圧縮後の出力データに埋め込むストリーム生成部とを備えている。
【００１３】
前記カメラ制御部は、前記制御情報として、ズーム倍率を制御するためのズーム動作制御情報を出力してもよい。
【００１４】
前記カメラ制御部は、電子ズームおよび光学ズームの少なくとも一方に関するズーム倍率を制御するためのズーム動作制御情報を出力してもよい。
【００１５】
前記カメラ制御部は、前記制御情報として、露出を制御するための露出情報を出力してもよい。
【００１６】
前記カメラ制御部は、複数種類の制御情報を出力し、前記デブロックフィルタ制御部は、前記複数種類の制御情報の各々に対応する前記デブロックフィルタ強度条件を求め、求めた複数種類のデブロックフィルタ強度条件のうちデブロックフィルタ効果を最も強く与えるデブロックフィルタ強度条件を設定してもよい。
【００１７】
前記デブロックフィルタ制御部は、前記制御情報の変化速度に応じて、前記デブロックフィルタ強度条件を求めてもよい。
【００１８】
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、前記デブロックフィルタ制御部は、前記変化速度が増加しているときは、前記変化速度に略比例したデブロックフィルタ強度条件を求めてもよい。
【００１９】
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、前記デブロックフィルタ制御部は、前記変化速度が減少しているときは、前記変化速度が減少を開始する前に求めた前記デブロックフィルタ強度条件を設定し、その後、前記デブロックフィルタ強度条件を緩和させてもよい。
【００２０】
前記デブロックフィルタ制御部は、前記デブロックフィルタ強度条件を段階的に緩和させてもよい。
【００２１】
前記カメラ制御部は、前記制御情報として、前記撮像部において撮影された前記動画像の信号振幅を増幅させるためのゲイン情報を出力してもよい。
【００２２】
前記被圧縮画像がイントラスライスの場合には、前記デブロックフィルタ制御部は、前記ゲイン情報のみに基づいて前記デブロックフィルタ強度条件を設定してもよい。
【００２３】
前記動画像圧縮装置は、前記被圧縮画像の特徴に基づいて、前記動画像データの圧縮に関する難易度を検出する難易度検出部をさらに備え、前記デブロックフィルタ制御部は、前記難易度に基づいて決定される基本値と、前記制御情報から求めたデブロックフィルタ強度条件とに基づいて、前記デブロックフィルタ強度条件を設定してもよい。
【００２４】
前記難易度検出部は、前記被圧縮画像の各画素値の分散の総和に応じて前記基本値を求め、前記制御情報から求めたデブロックフィルタ強度条件と加算して、前記デブロックフィルタ強度条件を設定してもよい。
【発明の効果】
【００２５】
本発明の動画像圧縮装置は、ブロック歪みの発生が予見される映像に対してデブロックフィルタの強度条件を適切に設定することからブロック歪みの発生を防止し、また過剰にデブロックフィルタ強度条件を上げることを防止できるため、再生映像の解像度やディテールを損なうこともなく、高画質の動画像圧縮を実現することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態による動画像圧縮装置１００の構成を示す図である。
【図２】復号処理部１２から出力された復号画像の、あるブロック境界を含む水平８画素の配置を示す図である。
【図３Ａ】パラメータｉｎｄｅｘＡとパラメータαの関係を示すグラフである。
【図３Ｂ】パラメータｉｎｄｅｘＢとパラメータβの関係を示すグラフである。
【図４】ワイド端からテレ端へのズーム動作中のズーム倍率の時間変化を示すグラフである。
【図５】ズーム倍率変化速度とズーム動作によるフィルタ強度オフセットの関係を示すグラフである。
【図６】ＥＶ情報の時間変化の一例を示すグラフである。
【図７】ＥＶ情報変化速度（絶対値）および露出情報によるフィルタ強度オフセットの関係を示すグラフである。
【図８】デブロックフィルタ強度要件の決定則を示すフローチャートである。
【図９】従来例の動画像圧縮装置の構成を示す図である。
【発明を実施するための形態】
【００２７】
以下、添付の図面を参照しながら、本発明による動画像圧縮装置の実施形態を説明する。
【００２８】
図１は、本実施形態による動画像圧縮装置１００の構成を示す。
【００２９】
動画像圧縮装置１００は、光学系１と、撮像部５と、カメラ制御部８と、動画圧縮部９と、ストリーム生成部１６と、難易度検出部１７と、デブロックフィルタ制御部１８とを備えている。以下、各構成要素を詳細に説明し、その後、動画像圧縮装置１００において行われる処理を説明する。
【００３０】
光学系１は、絞り２とズーム可能なレンズ群３とを含む。光学系１は、被写体からの光を、絞り２およびレンズ群３により、次に説明する撮像部５の撮像素子４上に結像するように構成されている。
【００３１】
撮像部５は、撮像素子４と、増幅器（アンプ）６と、信号処理部７とを含む。撮像部５は、入射した光を受けて被写体を撮影し、その被写体の動画像データを出力する。撮像素子４のアナログ出力がアンプ６によって増幅されて信号処理部７に供給される。信号処理部７は、受け取ったアナログ信号に基づいて動画像データを生成して出力する。動画像データは、動画圧縮部９および難易度検出部１７に入力される。
【００３２】
カメラ制御部８は、複数種類のカメラ制御情報を生成して、各制御対象に指示する。「複数種類のカメラ制御情報」は、例えば、絞り２を制御対象とする開口率設定値、レンズ群３を制御対象とする光学ズーム設定値、撮像素子４を制御対象とするシャッター速度設定値、アンプ６を制御対象とするＡＧＣ（Auto Gain Control）設定値、信号処理部７を制御対象とする電子ズーム設定値である。
【００３３】
カメラ制御部８から開口率設定値が絞り２に、光学ズーム設定値がレンズ群３に、シャッター速度設定値が撮像素子４に、ＡＧＣ設定値がアンプ６に、電子ズーム設定値が信号処理部７にそれぞれ供給されている。さらに、これらカメラ制御情報は、後述するデブロックフィルタ制御部１８にも供給される。デブロックフィルタ制御部１８の動作の詳細は後述する。
【００３４】
動画圧縮部９は、外部から動画像データを受け取り、圧縮符号化して出力する。動画圧縮部９は、動き補償処理部１０と、圧縮符号化処理部１１と、復号処理部１２と、デブロックフィルタ１３と、参照画像メモリ１４および１５とを備えている。
【００３５】
動き補償処理部１０は、動画像データおよび、参照画像メモリ１４および１５から参照画像データを受け取り、その差分である残差データを出力する。
【００３６】
圧縮符号化処理部１１は、動画像データおよび残差データに基づいて、圧縮符号化されたデータ（圧縮データ）を出力する。この圧縮データは、例えば、動画像を構成する１枚のピクチャーのデータを圧縮符号化して得られる。
【００３７】
復号処理部１２は、圧縮データを受け取り、いったん復号化して出力する。
【００３８】
デブロックフィルタ１３には、デブロックフィルタ強度条件および復号された画像データが入力される。デブロックフィルタ１３は、デブロックフィルタ強度条件に従って、復号された画像データのブロック歪み除去処理を行う。
【００３９】
参照画像メモリ１４および１５は、参照画像の画像データを一時的に格納する。
【００４０】
次に、ストリーム生成部１６は、各ピクチャーの圧縮データを受け取り、複数のピクチャーの圧縮データを含んだ圧縮ストリームを生成して出力する。
【００４１】
難易度検出部１７は、動画像データを受け取り、デブロックフィルタ強度条件基本値を出力する。
【００４２】
デブロックフィルタ制御部１８は、デブロックフィルタ強度条件基本値、カメラ制御情報を受け取り、デブロックフィルタ強度条件を出力する。デブロックフィルタ強度条件は、デブロックフィルタ１３およびストリーム生成部１６に入力される。
【００４３】
以下、本実施形態による動画像圧縮装置１００の動作を説明する。まず、撮像から圧縮ストリーム生成までの基本動作を説明し、次にデブロックフィルタの処理を説明し、最後に本発明の主要な特徴のひとつである、カメラ制御情報を用いたデブロックフィルタ制御部１８の動作を説明する。
【００４４】
まず、動画像圧縮装置１００の基本動作は以下のとおりである。
【００４５】
撮像素子４は、光学系１により撮像素子４に結像された映像を撮影する。アンプ６が撮像素子４からのアナログ出力を増幅したのち、信号処理部７がその信号に対してＡＤ変換とディジタル処理を施し、ディジタルデータである動画像データとして出力する。
【００４６】
このときカメラ制御部８は、光学ズーム設定信号を用いてレンズ群３の光学ズーム状態の制御と、電子ズーム設定信号を用いて信号処理部７の電子ズーム倍率の制御とからなるズーム制御を実行する。また、カメラ制御部８は開口率設定信号を用いて絞り２を設定し、シャッター速度設定信号を用いて撮像素子４のシャッター速度を設定して総合的に撮像素子４の露光量を調節する露光指数（exposure value；ＥＶ）制御も実行している。カメラ制御部８は、ＥＶ制御で開口率を充分に大きくかつシャッター速度を充分遅くしても露出が不足して撮像素子４のアナログ出力の振幅が小さいと判断した場合には、ＡＧＣ設定信号を用いてアンプ６の利得（ゲイン）を上げて動画像信号の振幅を補うＡＧＣ制御も担っている。カメラ制御部８により常に適切な状態に制御された光学系１と撮像部５から得られた動画像データは動画圧縮部９に供給され、動画圧縮部９が圧縮符号化の処理を実行する。
【００４７】
動画圧縮部９は入力画像と参照画像との相関性を利用可能な動画像圧縮を行う動画圧機構を持っており、ここではＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に従って動作しているものとする。
【００４８】
なお、この本実施形態では説明の簡単化のため動画圧縮処理が動画像を構成する画像（ピクチャー）単位で行われるとする。そして、データの圧縮の対象とされる画像（被圧縮画像）をＩピクチャー、Ｐピクチャー、Ｂピクチャー、参照Ｂピクチャーとして扱うものとし、参照画像は最大２枚とする。Ｉピクチャー、Ｐピクチャー、Ｂピクチャーは、それぞれ以下のように定義される。
Ｉピクチャー：１枚のピクチャーのデータのみを用いて圧縮符号化されたピクチャー。Ｉピクチャーは、そのデータのみで１枚のピクチャーを復号化可能である。すなわち、被圧縮画像の全ての構成ブロックの圧縮は、被圧縮画像の範囲内で完結しており、イントラスライスとも呼ばれる。
Ｐピクチャー：過去のピクチャーから一方向のピクチャー間予測が行われて、差分値が符号化されたピクチャー。Ｐピクチャーは、時間的に前に表示されるＩピクチャーまたは他のＰピクチャーのいずれか１つのピクチャーを参照して圧縮符号化されている。したがって、Ｐピクチャーは参照ピクチャーであるＩピクチャーまたは他のＰピクチャーを参照して復号化が可能である。
Ｂピクチャー：過去および未来のピクチャーから二方向のピクチャー間予測が行われて、差分値が符号化されたピクチャー。Ｂピクチャーは、時間的に前に表示されるピクチャーおよび時間的に後に表示されるピクチャーの少なくとも２つのピクチャーを参照して圧縮符号化される。参照されるピクチャーは、Ｉピクチャー、Ｐピクチャーまたは過去のＢピクチャーである。特にＢピクチャーからの参照を許されるＢピクチャーを参照Ｂピクチャーと呼ぶ。
【００４９】
また、動画圧縮部９は、被圧縮画像を処理順に並べ替えるリオーダリング処理も行っている。しかし、これは本件発明の本質的に無関係であるから図１の構成からは省略した。動画圧縮部９には圧縮処理順に動画像データが入力されているものと仮定して説明する。
【００５０】
まず、Ｉピクチャーとなるべき動画像データが動画圧縮部９に入力されたとき、動き補償処理部１０は休止して圧縮符号化処理部１１のみが被圧縮映像としてその動画像データを受け取る。
【００５１】
圧縮符号化処理部１１は動画像データに対してＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に従って直交変換、量子化、高効率符号化などの処理を実行して、圧縮データを出力する。圧縮データは復号処理部１２が復号し、復号画像データとしてデブロックフィルタ１３に供給する。デブロックフィルタ１３はデブロックフィルタ制御部１８から与えられたデブロックフィルタ強度条件に従って復号画像データのブロック歪み除去処理を行い、その結果得られる参照画像データを参照画像メモリ１４または参照画像メモリ１５に記憶させる。
【００５２】
ストリーム生成部１６は圧縮データを入力としてヘッダ付与やデブロックフィルタ強度条件をはじめとする各種付加情報を埋め込み、規格に従った圧縮ストリームを出力する。たとえば一例としてＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格を挙げると、ストリームはＮＡＬユニット単位に構成され、各種付加情報はその内容に応じてピクチャーパラメータセットや各種ＳＥＩと呼ばれるＮＡＬユニットに格納され、あるいは各スライスの圧縮データの先頭部分に付与するスライスヘッダ内に直接埋め込まれる。デブロックフィルタ強度条件はスライス単位にスライスヘッダの内部に埋め込まれる。
【００５３】
Ｐピクチャー、Ｂピクチャーあるいは参照Ｂピクチャーとなるべき動画像のデータが動画圧縮部９に入力されたとき、動き補償処理部１０は入力された被圧縮画像データと参照画像メモリ１４および参照画像メモリ１５が記憶する参照画像データを用いて動きベクトル探索を実行し、予測画像を生成して被圧縮画像との差分を求め、その残差データを圧縮符号化処理部１１に伝送する。残差データに対する圧縮符号化処理部１１、ストリーム生成部１６、復号処理部１２、デブロックフィルタ１３の動作は上述したＩピクチャーの場合と同様であるが、Ｂピクチャーの場合のみ参照画像とはならないため、復号処理部１２とデブロックフィルタ１３が動作を休止している。
【００５４】
以上のようにして撮像から圧縮ストリーム生成までの基本動作が実行される。
【００５５】
次にデブロックフィルタ１３の処理を説明する。
【００５６】
デブロックフィルタ１３は圧縮符号化処理部１１の圧縮処理により発生したブロック歪みを除去する為に導入されたフィルタである。その処理内容はＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に詳細に場合分けして定義されており、本実施形態のデブロックフィルタ１３もその定義に従って動作する。
【００５７】
ここで、ブロック歪みを除去するための具体的な処理を説明する。
【００５８】
図２は、復号処理部１２から出力された復号画像の、あるブロック境界を含む水平８画素の配置を示す。画素ｐ３〜ｐ０がブロックＰに属し、画素ｑ０〜ｑ３がブロックＱに属し、画素ｐ０と画素ｑ０の境界がブロック境界である。ブロック歪みはこのブロック境界の段差として現れる。ここでいう「段差」とは、画素値（たとえば輝度の値、色の値）の差を意味する。特に人間の視覚によって感知し得る程度の差が存在すれば、人間は「ブロック歪み」の存在を感じることになる。
【００５９】
デブロックフィルタ１３は最大この８画素の範囲内を処理する。デブロックフィルタ１３はブロック境界ごとにデブロック処理の内容を決定するため、まずパラメータαとパラメータβを求める。
【００６０】
後に数３に関連して詳述するように、パラメータαおよびβは、ブロック境界に対してデブロック処理を適用するか否かを決定する基準として利用される。また、数４〜数６に関連して詳述するように、パラメータαおよびβは、デブロック処理の具体的な内容を決定する基準としても利用される。
【００６１】
本願発明者らは、デブロック処理に関連する重要なパラメータαおよびβを決定する条件の一つとして「デブロックフィルタ強度条件」を採用し、この「デブロックフィルタ強度条件」を、たとえばカメラの制御情報を利用して決定することとした。以下、具体的に説明する。
【００６２】
いまブロックＰの量子化指標ｑＰと、ブロックＱの量子化指標ｑＰの平均値をｑＰａｖとし、デブロックフィルタ強度条件をパラメータＦｉｌｔｅｒＯｆｆｓｅｔＡと表記したとき、（数１）に示すようにパラメータｉｎｄｅｘＡを求める。
（数１）
ｉｎｄｅｘＡ  ＝  ｑＰａｖ  ＋  ＦｉｌｔｅｒＯｆｆｓｅｔＡ
【００６３】
図３ＡはパラメータｉｎｄｅｘＡとパラメータαの関係を示すグラフである。デブロックフィルタ１３は、図３Ａのグラフに従ってパラメータｉｎｄｅｘＡからパラメータαを求める。
【００６４】
パラメータβについても同様である。デブロックフィルタ１３は、パラメータβについても同様にｑＰａｖとデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＢから（数２）に従ってパラメータｉｎｄｅｘＢを求める。
（数２）
ｉｎｄｅｘＢ  ＝  ｑＰａｖ  ＋  ＦｉｌｔｅｒＯｆｆｓｅｔＢ
【００６５】
図３ＢはパラメータｉｎｄｅｘＢとパラメータβの関係を示すグラフである。デブロックフィルタ１３は、図３Ｂのグラフに従ってパラメータｉｎｄｅｘＢからパラメータβを求める。
【００６６】
そしてデブロックフィルタ１３は、求めたパラメータαおよびβを下記（数３）に適用し、（数３）が成立するか否かを判断する。
（数３）
｜ｐ０−ｑ０｜＜α    かつ    ｜ｐ１−ｐ０｜＜β    かつ    ｜ｑ１−ｑ０｜＜β
【００６７】
上述の（数１）および（数２）における、パラメータＦｉｌｔｅｒＯｆｆｓｅｔＡおよびＦｉｌｔｅｒＯｆｆｓｅｔＢは、たとえば−６から＋６までの１３個の整数のうちのいずれかとして、それぞれ与えられる。なお、両パラメータは、同じ数値であるとして説明している。
【００６８】
（数１）によれば、このパラメータＦｉｌｔｅｒＯｆｆｓｅｔＡの大きさ如何によりパラメータｉｎｄｅｘＡの大きさが変化することが理解される。そして図３Ａから明らかなように、パラメータｉｎｄｅｘＡの大きさに応じてパラメータαの大きさも変化する。
【００６９】
求めたパラメータαとパラメータβ及び図２の各画素の値が、もし（数３）の条件式を満足しない場合デブロックフィルタ１３は図２の８画素に対するデブロック処理を実施しない。一方、（数３）を満足する場合にはデブロックフィルタ１３はデブロック処理を実施する。
【００７０】
デブロック処理が実施される場合、デブロック処理の具体的内容は更に詳細に場合分けされた条件判断に進み、やはりパラメータα、パラメータβ、図２の各画素の値を判断材料として、使用するフィルタの係数や処理する画素の範囲を決定することとなる。
【００７１】
ここで、詳細に場合分けされた条件判断の一例を説明する。
【００７２】
以下では、ある条件において、画素ｐ0、ｐ1、ｐ2の画素値（便宜的に画素値をｐ0、ｐ1、ｐ2として説明する。）がデブロックフィルタ処理によってｐ’0、ｐ’1、ｐ’2に更新されるとして説明する。
【００７３】
まず、パラメータαおよびβを用いて（数４）による条件判定を行う。
（数４）
｜ｐ2−ｐ0｜  ＜  β  かつ  ｜ｐ0−ｑ0｜  ＜  （（α／４）＋２）
【００７４】
（数４）の条件を満たした場合、画素値ｐ’0、ｐ’1、ｐ’2は、画素値ｐ0、ｐ1、ｐ2、ｐ3、ｑ0、ｑ1に基づく（数５）によるフィルタ処理によって算出される。
（数５）
ｐ’0  ＝  （ｐ2＋２×ｐ1＋２×ｐ0＋２×ｑ0＋ｑ1＋４）  ／  ８
ｐ’1  ＝  （ｐ2＋ｐ1＋ｐ0＋ｑ0＋２）  ／  ４
ｐ’2  ＝  （２×ｐ3＋３×ｐ2＋ｐ1＋ｐ0＋ｑ0＋４）  ／  ８
【００７５】
一方、（数４）の条件を満たさなかった場合、画素値ｐ’0、ｐ’1、ｐ’2は、画素値ｐ0、ｐ1、ｐ2、ｑ1に基づく（数６）によるフィルタ処理によって算出される。
（数６）
ｐ’0  ＝  （２×ｐ1＋ｐ0＋ｑ1＋２）  ／  ４
ｐ’1  ＝  ｐ1
ｐ’2  ＝  ｐ2
【００７６】
（数５）と（数６）とを比較してみると、（数５）の方が算出対象とする画素以外の画素の値を多く用いて計算しており、より周辺画素の影響を強く受けるフィルタ処理となっている。また（数６）はｐ’0以外は元の画素の値がそのまま使用され更新されていないが、（数５）はｐ’0だけでなくｐ’1、ｐ’2も値の更新が行われる処理となっている。
【００７７】
つまり、αおよびβの値が大きいとより多くのブロック境界で（数４）を満たすこととなり、その結果、（数５）によってより強度の強い広範囲のわたるフィルタ処理が適用されることとなる。
【００７８】
（数３）ではパラメータαおよびパラメータβの値が大きいほど、容易にデブロックフィルタの処理がかかることを示している。そして、更に詳細に場合分けされた条件判断においても（数４）から明らかなとおり、パラメータα、βの値が大きいほど、より広範囲により強度の強いフィルタが採用されるように定義されている。
【００７９】
いま、（数１）において、デブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡがゼロに固定されていると仮定する。このとき、図３Ａの横軸は平均ｑＰを示すことになる。図３Ａは平均ｑＰが大きいほどパラメータαの値が大きくなることを示している。量子化パラメータｑＰが大きい場合は一般にブロック歪みが大きく発生するが、このとき同時にパラメータα（およびパラメータβ）の値も自動的に大きくなり、より強度の強いデブロックフィルタ処理が採用されることとなる。量子化パラメータｑＰが大きく、ブロック歪みが大きく発生する場合、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に従うデブロックフィルタ１３は、自動的にデブロック処理をきつく掛けブロック歪みを除去するという基本特性をもっている。
【００８０】
（数１）および（数２）によれば、デブロックフィルタ１３の外部からデブロックフィルタ１３に対して与えられるデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢはデブロック処理の強度調節をオフセットすることが可能である。
【００８１】
再び図１を参照する。難易度検出部１７は動画像データを入力して動画圧縮部９が処理しようとする被圧縮画像の特徴を抽出し、その特徴から動画圧縮部９の圧縮処理の困難の程度を判断する。そして難易度検出部１７は、発生するブロック歪みの量を推定してデブロックフィルタ強度条件基本値をデブロックフィルタ制御部１８に与える。これにより、たとえば、カメラ制御動作に依存して発生するブロック歪みと相乗的に発生する映像固有の特徴によるブロック歪みに対してデブロックフィルタ強度条件をよりきつく設定することが可能になる。
【００８２】
圧縮動作の困難の程度の判断方法として、本実施形態では被圧縮画像の各画素値をもとに分散の総和を求め、その値に応じて−６から０の値をデブロックフィルタ強度条件基本値として採用する。
【００８３】
なお、圧縮動作の困難の程度の判断方法としては数々の方法が提案実用化されているが、本実施形態においては、そのいずれの方法を用いてもよい。具体的方法は、本実施形態の説明とは特に大きな関連はないため、その説明は省略する。また難易度検出部１７はデブロックフィルタ強度条件基本値として常に固定値を出力してもよい。
【００８４】
次に、デブロックフィルタ制御部１８が、カメラ制御情報をどのように利用してデブロックフィルタ強度条件を決定するかを説明する。
【００８５】
デブロックフィルタ制御部１８はカメラ制御部８から伝送されたカメラ制御情報と、デブロックフィルタ強度条件基本値とを用いてデブロックフィルタ強度条件を決定する。カメラ制御情報として、本実施形態では、ズーム情報、ＥＶ情報およびＡＧＣ情報の少なくとも１つを利用する例を説明する。いずれの情報も、数値として表現されているとする。各情報を用いた処理を以下順に説明する。
【００８６】
まずズーム情報を用いた処理を説明する。
【００８７】
カメラ制御情報に含まれるズーム情報には毎フレームのズーム倍率が示されている。図４はワイド端からテレ端へのズーム動作中のズーム倍率の時間変化を示すグラフである。図４は、カメラ制御部８が光学ズームから電子ズームへと制御を継続させ最終的に２０倍ズームで停止した状態を示している。デブロックフィルタ制御部１８はズーム倍率の変化速度ＶＺＯＯＭを求め、ＶＺＯＯＭの値をもとにデブロックフィルタ強度条件に寄与させる程度としてフィルタ強度オフセットＯｆｆｓｅｔＺＯＯＭを決定する。なお、ズーム倍率の変化速度ＶＺＯＯＭは、倍率変化量／時間変化量によって定義される。
【００８８】
図５はズーム倍率変化速度とズーム動作によるフィルタ強度オフセットの関係を示すグラフである。デブロックフィルタ制御部１８は、ＶＺＯＯＭの立ち上がり期間中、つまり加速中はＶＺＯＯＭにほぼ比例するようにＯｆｆｓｅｔＺＯＯＭの値を決定する。なおＯｆｆｓｅｔＺＯＯＭのグラフが階段状であるのは０から４の整数値としているからである。
【００８９】
一方、デブロックフィルタ制御部１８は、ＶＺＯＯＭの立ち下がり期間中、つまり減速に転じるとその前のＯｆｆｓｅｔＺＯＯＭの値を一定期間保持し、その後、徐々に、たとえば段階的に減少するようにＯｆｆｓｅｔＺＯＯＭの値を決定する。
【００９０】
ズーム動作中は一般に映像の情報量は減少するものの、動き補償で適正な予測を実現することが難しく、結果として量子化パラメータｑＰはやや高くなる。そのため、上述したようにデブロックフィルタ１３を自動的に少しきつく適用し、ブロック歪みを除去するように作用させる。
【００９１】
しかしながら、ズーム中は映像が見かけ上放射方向へ移動するのに対して、ブロック歪みは被写体の動きとは無関係に画面上の同じ位置に発生している。したがって、ブロック歪みが視覚的に非常に目立ちやすく、デブロックフィルタ１３の自動的な強度調節だけではフィルタ強度が不足する。ブロック歪みが視覚的に非常に目立ちやすい理由をより詳しく説明する。ブロック歪みを発生するのはブロックの境界である。画面全体の中でブロックの位置は固定されているため、ブロック境界も画面の中で常に同じ位置に存在する。映像（被写体）がどのように動いても１画面内のブロック境界位置は変化しない。したがって、ズーム中は映像が見かけ上放射方向へ移動するにもかかわらず、ブロック歪みは被写体とともに動くことはないため、ブロック歪みが視覚的に非常に目立ちやすくなる。
【００９２】
本実施形態においては、デブロックフィルタ制御部１８がＯｆｆｓｅｔＺＯＯＭの値を決定することによって、不足するデブロックフィルタ強度を適切に補うことが可能になる。またズーム動作完了直後は映像の状態が急激に変化するため大きなブロック歪みを発生する場合が多い。特にズーム速度が速い場合に顕著に発生する。
【００９３】
本実施形態では、ズーム動作完了直後にもデブロックフィルタ制御部１８がズーム速度に応じたＯｆｆｓｅｔＺＯＯＭの値を保持する。したがって、ブロック歪みを適切に除去することができる。なお、デブロックフィルタ強度を急激に変化させた場合、オートフォーカス機構が振動を起こしたような不安定な映像に見えることがある。しかし、そのような場合であっても、デブロックフィルタ制御部１８がＯｆｆｓｅｔＺＯＯＭの値を徐々に減少させることにより、不安定な映像に見える弊害も防止できている。
【００９４】
なお、図４および図５ではワイド端からテレ端へのズーム動作を説明したが、テレ端からワイド端へのズーム動作についてもズーム倍率変化速度が絶対値であるから全く同じ処理である。よって、その説明は省略する。
【００９５】
なお、本実施形態ではデブロックフィルタ制御部１８がズーム倍率からズーム倍率変化速度を求める処理とした。しかしながら、カメラ制御部８がズーム情報としてズーム期間を示すフラグを出力し、デブロックフィルタ制御部１８がそのフラグで示された期間中は一律かつ一定のＯｆｆｓｅｔＺＯＯＭの値を採用してもよい。これは、ズーム速度が遅い場合には充分な効果を発揮することができる。また図４，図５に示したズーム倍率及びズーム倍率変化速度は光学ズームと電子ズームを総合したズーム倍率に対して処理するとして説明した。しかしながら、光学ズーム倍率のみを使用する構成として電子ズーム中は光学ズーム動作中のＯｆｆｓｅｔＺＯＯＭの値を保持するとしてもよい。電子ズーム中には、光学ズーム中よりもブロック歪みの発生が大きくなるということはないので、電子ズーム中の処理を簡易化しても効果が得られる。
【００９６】
次に、ＥＶ情報を用いた処理を説明する。
【００９７】
本実施形態のカメラ制御情報に含まれるＥＶ情報とは、絞り２（図１）のＦ値とシャッター速度とから求められるＥＶ値におよそ比例する、０から２５４の整数で表現された数値情報である。ＥＶ情報は、フレームごとにカメラ制御部８から伝送されるとする。
【００９８】
図６は、ＥＶ情報の時間変化の一例を示すグラフである。図６は、被写体の照度が上がるなどして露出過剰になったときに絞り２を絞ることにより、ＥＶ情報の数値が増加したことを示している。
【００９９】
デブロックフィルタ制御部１８はＥＶ情報の変化速度ＶＥＶを求め、ＶＥＶの値に基づいてデブロックフィルタ強度条件に寄与させるべき程度としてフィルタ強度オフセットＯｆｆｓｅｔＥＶを決定する。
【０１００】
図７は、ＥＶ情報変化速度（絶対値）および露出情報によるフィルタ強度オフセットの関係を示すグラフである。デブロックフィルタ制御部１８の、ＶＥＶに対するＯｆｆｓｅｔＥＶの決定方法は図５に示したズーム動作の場合と全く同じ方法であり、ＯｆｆｓｅｔＥＶの数値が異なっているのみである。
【０１０１】
自動露出制御あるいは操作者による絞り操作などにより露光量が変化した場合、動き補償で適正な予測を実現することが難しく、ブロック歪みが発生する。しかしながら、自動的なデブロックフィルタ１３のフィルタ強度調節のみではフィルタ強度が不足する。
【０１０２】
本実施形態においては、ＥＶ情報の変化速度を用いてデブロックフィルタ制御部１８がＯｆｆｓｅｔＥＶの値を決定することによって、不足するデブロックフィルタ強度を適切に補うことができる。なお、露出制御の動作直後のブロック歪みやデブロックフィルタ強度を急激に変化させた場合の影響を防止する効果を発揮することも上述したズーム動作の場合と全く同じである。
【０１０３】
ＥＶ情報の代用として、例えば難易度検出部１７で被圧縮画像の平均輝度を求めるという方法も考えられる。しかしながら、自動露出制御により露光量が調節された後の映像で露出状態を推定することになるため、適切な制御実現は非常に困難である。特に被写体の明るさが変わらないままゆっくりパンするなどして画面内の明暗比率が変化する場合などは、画像データから露出状態を正しく求めることは不可能であり、デブロックフィルタ強度条件を適切に制御することは出来ない。本実施形態では露出情報を直接使用することで映像データからは制御困難なデブロックフィルタ強度設定を容易にかつ適切に実現している。
【０１０４】
なお、本実施形態ではデブロックフィルタ制御部１８がＥＶ情報からＯｆｆｓｅｔＥＶ値を決定するとしたが、自動露出制御がシャッター速度制御優先で動作するよう設定されている等の理由により、通常絞り２があまり変化しない場合は、シャッター速度情報のみでＯｆｆｓｅｔＥＶ値を決定してもよい。逆に、絞り制御優先であったり絞り制御が操作者のマニュアル操作である場合などは、絞り２の開口率設定情報あるいはＦ値情報のみを用いてＯｆｆｓｅｔＥＶ値を決定してもよい。いずれも、先に述べた効果と同様の効果が得られる。またＥＶ値の定義に必然性はなく、異なる定義の露出状態を表現するパラメータを用いてもよく、やはり同様の効果を得ることができる。
【０１０５】
次にＡＧＣ情報を用いた処理を説明する。
【０１０６】
本実施形態のカメラ制御情報に含まれるＡＧＣ情報とは、アンプ６（図１）に対する設定利得を意味し、３ｄＢ単位の数値で表現された数値情報である。ＡＧＣ情報は、フレームごとにカメラ制御部８から伝送されるとする。
【０１０７】
表１はＡＧＣ情報とフィルタ強度オフセットＯｆｆｓｅｔＡＧＣの対応関係を示す。デブロックフィルタ制御部１８は、表１に従ってデブロックフィルタ強度条件に寄与させるべき程度として、ＡＧＣ制御によるフィルタ強度オフセットＯｆｆｓｅｔＡＧＣを決定する。
【０１０８】
【表１】
2009093472.tif 000014
【０１０９】
カメラ制御部８がアンプ６に撮像素子４のアナログ出力を増幅するよう利得を増加させるとき、動画像データは既にＳ／Ｎ比が悪化してノイズが目立つ映像となっており、ブロック歪みは発生するものの比較的目立ちにくくなっている。従って、上述したＥＶ情報の場合とは異なり、ＡＧＣ情報の変化速度を求めＯｆｆｓｅｔＡＧＣを求めても効果が小さい。
【０１１０】
しかしながら、ＡＧＣ情報の値がある程度以上大きくなるとやはりブロック歪みが目立つようになる。そこで、表１に示すようにＡＧＣ情報の値が大きい場合にのみ不足するデブロックフィルタ強度を補うことで適切なブロック歪み除去効果を得ることができる。
【０１１１】
なお、ＡＧＣ情報とＯｆｆｓｅｔＡＧＣとの関係を示した表１は例である。たとえば、表形式ではなく、ＡＧＣ情報の値を代入すると、ＯｆｆｓｅｔＡＧＣが特定されるよう、関数形式で表現してもよい。また、ＡＧＣ情報は３ｄＢ単位の数値で表現されるとしたが、この単位も例である。３ｄＢ単位より小さくてもよい。
【０１１２】
最後に、デブロックフィルタ強度条件の決定方法を説明する。
【０１１３】
デブロックフィルタ制御部１８（図１）は決定した３種類のフィルタ強度オフセットの値と、難易度検出部１７から与えられたデブロックフィルタ強度条件基本値とから、デブロックフィルタ１３に供給するデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡおよびＦｉｌｔｅｒＯｆｆｓｅｔＢを決定する。
【０１１４】
図８は、デブロックフィルタ強度要件の決定則を示すフローチャートである。まずステップＳ１において、ＯｆｆｓｅｔＺＯＯＭの値、ＯｆｆｓｅｔＥＶの値、ＯｆｆｓｅｔＡＧＣの値が特定される。ステップＳ２において、被圧縮画像がＩピクチャーの場合には、デブロックフィルタ制御部１８は、ＯｆｆｓｅｔＺＯＯＭおよびＯｆｆｓｅｔＥＶの値を０とする。ステップＳ３において、デブロックフィルタ制御部１８は、ＯｆｆｓｅｔＺＯＯＭの値、ＯｆｆｓｅｔＥＶの値、ＯｆｆｓｅｔＡＧＣの値を比較し、そのうちの最大値を選択する。
【０１１５】
ステップＳ４において、デブロックフィルタ制御部１８は、選択した値に対して別途特定されたデブロックフィルタ強度条件基本値を加算し、ステップＳ５において、加算結果をデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢの値として決定する。
【０１１６】
カメラ制御情報より求めた３つのオフセット値はいずれも動き補償処理部１０の動き補償処理の困難の程度に起因するブロック歪みを補正しようとするものである。しかし、動き補償の困難の程度はこれら３つの要因が加算的に影響するのではなく最も影響の大きい要素の影響が支配的になる傾向が強い。従って３つのオフセット値の最大値を採用することで適切なブロック歪み除去が実現できる。
【０１１７】
またこれらは動き補償に起因するブロック歪みに関する歪みの低減処理であるが、被圧縮映像がＩピクチャーの場合は動き補償処理が行われない。３つのオフセット値の中でＯｆｆｓｅｔＡＧＣの値は動き補償に起因するブロック歪だけではなく圧縮符号化処理部１１の困難の程度に起因するブロック歪にも影響する。従ってＩピクチャーの場合はＯｆｆｓｅｔＡＧＣの値のみを残し、ＯｆｆｓｅｔＺＯＯＭの値とＯｆｆｓｅｔＥＶの値とを０に変更することで過度のデブロック処理がかかってしまう副作用を防止することができる。
【０１１８】
一方、難易度検出部１７が求めたデブロックフィルタ強度条件基本値は、被圧縮映像のもつ情報量の程度など圧縮符号化処理部１１の困難の程度に起因して発生するブロック歪みを除去しようとするものである。これはカメラ制御の状態や動き補償処理の困難の程度とは関係が薄く、どちらかが支配的になるのではなく、ブロック歪みに対して加算的影響をもつものである。従ってカメラ情報より選択決定したオフセット値にデブロックフィルタ強度条件基本値を加算することで適切なブロック歪み除去を実現することができるものである。
【０１１９】
なお、被圧縮映像がＢピクチャーである場合、デブロックフィルタ１３は上述したように休止しているが、デブロックフィルタ強度条件を再生時に使用できるようにするため、デブロックフィルタ制御部１３はＢピクチャーの場合にも上記デブロックフィルタ強度条件を決定してストリーム生成部１６に供給している。
【０１２０】
また、図８でデブロックフィルタ強度条件ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢは同じ値を採用するとしたが異なる値を採用しても良い。ＦｉｌｔｅｒＯｆｆｓｅｔＢを小さくするとブロック内部の情報量が多い場合にデブロックフィルタ１３の処理がかかりにくくなる。従ってＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢの具体的数値の設定、比率の設定を調節することで光学系１や撮像部５のＳ／Ｎ比や解像度などの装置固有の性能に適合させることができる。
【０１２１】
なお、図１に示した本実施形態の動作では、カメラ制御情報としてズーム情報とＥＶ情報とＡＧＣ情報との３種類を用いてその動作を説明したが、合焦動作の情報など他のカメラ情報を利用する構成としても良い。
【０１２２】
本実施形態ではデブロックフィルタ制御部が、図３Ａおよび図３Ｂに示した自動的なデブロックフィルタの強度調節ではデブロック強度が不足する場合に、その補強としてカメラ制御情報からＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢを設定して不足分を補う動作を説明した。逆に自動的なデブロックフィルタの強度調節ではデブロック効果が効きすぎる場合にその抑制として作用させても良い。
【０１２３】
以上のように本実施形態によれば、カメラ制御により参照画像に発生するブロック歪みを的確かつ大幅に除去することができる。
【０１２４】
また、デブロックフィルタ制御部１８がズーム動作制御情報を用いてデブロックフィルタ１３を制御することにより、ズーム動作の場合に発生する特に顕著なブロック歪みを確実に除去することができる。
【０１２５】
また、露出情報（露光指数ＥＶ）を用いることにより、露出状態が変化する場合に発生する特に顕著なブロック歪みを確実に除去できる。
【０１２６】
なおかつカメラ制御情報の複数の要素それぞれから求めたブロックフィルタ強度条件の最大値を採用する構成によりデブロックフィルタ１３の強度を過剰に効かせすぎて参照画像の解像度やディテールを損ねることがない。
【０１２７】
また、デブロックフィルタ１３の強度の程度を適切な値に設定し、光学系制御の終了直後に発生するブロック歪みまで除去できる。被圧縮画像がイントラスライスの場合は、デブロックフィルタ制御部１８は、カメラ制御情報のうちズーム動作制御情報と露出情報とを用いずにデブロックフィルタ強度条件を設定する。これによりカメラ制御の影響を受けにくいＩピクチャーに過度のデブロックフィルタを掛けて解像度を損ねる副作用も防止できる。また、これにより特に大きなブロック歪みを発生しやすいズーム速度が速い場合や露光量変化速度が速い場合に、よりデブロックフィルタをきつく掛けるように制御することが可能になる。つまりカメラ制御動作に依存するブロック歪みの発生が特に顕著である参照画像との相関による動画圧縮の場合に限定してデブロックフィルタ強度条件を制御することが可能になる。
【０１２８】
また本発明によれば、カメラ制御とは無関係の映像条件により発生するブロック歪みの除去も効果的に組み合わせて実現することも出来る。そのためデブロック処理の強度が不足してブロック歪みが目立つことが無く、逆に過剰になって解像度、ディテールを失うこともなく、常に適正なブロック歪み除去を実現して、参照画像の画質を大幅に改善できる。そして、参照画像の画質改善により動き補償処理部１０の残差データが減少して量子化指標ｑＰが改善されるから総合的に圧縮映像の画質を大きく改善できる。また、本実施形態で最適に制御されたデブロックフィルタ強度条件はストリーム生成部１６で圧縮ストリームに埋め込まれているから、再生時にも記録時の最適なデブロック処理が再現でき高画質が実現できる。
【産業上の利用可能性】
【０１２９】
本発明にかかる動画像圧縮装置は、カメラ制御情報を利用して参照画像にかかるデブロックフィルタ処理の強度を制御して常に適切なブロック歪み除去を実現するものであるから、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格など、参照画像にブロック歪み除去を行う機構を有する動画像圧縮を行う装置に適応できる。
【符号の説明】
【０１３０】
１    光学系
２    絞り
３    レンズ
４    撮像素子
５    撮像部
６    アンプ
７    信号処理部
８    カメラ制御部
９    動画圧縮部
１０    動き補償処理部
１１    圧縮符号化処理部
１２    復号処理部
１３    デブロックフィルタ
１４、１５    参照画像メモリ
１６    ストリーム生成部
１７    難易度検出部
１８    デブロックフィルタ制御部
１００  動画像圧縮装置
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系を介して被写体の動画像を撮影し、動画像データを出力する撮像部と、
撮像時の前記光学系および前記撮像部の少なくとも一方の動作を制御するための制御情報を出力するカメラ制御部と、
前記動画像を構成する被圧縮画像と参照画像との相関性を利用して前記動画像データを圧縮する動画圧縮部であって、設定されたデブロックフィルタ強度条件にしたがって前記参照画像のブロック歪みを緩和するデブロックフィルタを有する動画圧縮部と、
前記制御情報に基づいて、前記デブロックフィルタ強度条件を設定するデブロックフィルタ制御部と、
前記デブロックフィルタ強度条件を圧縮後の出力データに埋め込むストリーム生成部と
を備えた動画像圧縮装置。
【請求項２】
前記カメラ制御部は、前記制御情報として、ズーム倍率を制御するためのズーム動作制御情報を出力する、請求項１記載の動画像圧縮装置。
【請求項３】
前記カメラ制御部は、電子ズームおよび光学ズームの少なくとも一方に関するズーム倍率を制御するためのズーム動作制御情報を出力する、請求項２に記載の動画像圧縮装置。
【請求項４】
前記カメラ制御部は、前記制御情報として、露出を制御するための露出情報を出力する、請求項１記載の動画像圧縮装置。
【請求項５】
前記カメラ制御部は、複数種類の制御情報を出力し、
前記デブロックフィルタ制御部は、前記複数種類の制御情報の各々に対応する前記デブロックフィルタ強度条件を求め、求めた複数種類のデブロックフィルタ強度条件のうちデブロックフィルタ効果を最も強く与えるデブロックフィルタ強度条件を設定する、請求項１から請求項４のいずれかに記載の動画像圧縮装置。
【請求項６】
前記デブロックフィルタ制御部は、前記制御情報の変化速度に応じて、前記デブロックフィルタ強度条件を求める、請求項２から請求項５のいずれかに記載の動画像圧縮装置。
【請求項７】
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、
前記デブロックフィルタ制御部は、前記変化速度が増加しているときは、前記変化速度に略比例したデブロックフィルタ強度条件を求める、請求項６に記載の動画像圧縮装置。
【請求項８】
前記制御情報の変化速度がズーム倍率の変化速度であるときにおいて、
前記デブロックフィルタ制御部は、前記変化速度が減少しているときは、前記変化速度が減少を開始する前に求めた前記デブロックフィルタ強度条件を設定し、その後、前記デブロックフィルタ強度条件を緩和させる、請求項２から請求項５のいずれかに記載の動画像圧縮装置。
【請求項９】
前記デブロックフィルタ制御部は、前記デブロックフィルタ強度条件を段階的または徐々に緩和させる、請求項８に記載の動画像圧縮装置。
【請求項１０】
前記カメラ制御部は、前記制御情報として、前記撮像部において撮影された前記動画像の信号振幅を増幅させるためのゲイン情報を出力する、請求項１記載の動画像圧縮装置。
【請求項１１】
前記被圧縮画像がイントラスライスの場合には、前記デブロックフィルタ制御部は、前記ゲイン情報のみに基づいて前記デブロックフィルタ強度条件を設定する、請求項１０に記載の動画像圧縮装置。
【請求項１２】
前記被圧縮画像の特徴に基づいて、前記動画像データの圧縮に関する難易度を検出する難易度検出部をさらに備え、
前記デブロックフィルタ制御部は、前記難易度に基づいて決定される基本値と、前記制御情報から求めたデブロックフィルタ強度条件とに基づいて、前記デブロックフィルタ強度条件を設定する、請求項１に記載の動画像圧縮装置。
【請求項１３】
前記難易度検出部は、前記被圧縮画像の各画素値の分散の総和に応じて前記基本値を求め、前記制御情報から求めたデブロックフィルタ強度条件と加算して、前記デブロックフィルタ強度条件を設定する、請求項１２に記載の動画像圧縮装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009093472.tif 000015
【図２】
2009093472.tif 000016
【図３Ａ】
2009093472.tif 000017
【図３Ｂ】
2009093472.tif 000018
【図４】
2009093472.tif 000019
【図５】
2009093472.tif 000020
【図６】
2009093472.tif 000021
【図７】
2009093472.tif 000022
【図８】
2009093472.tif 000023
【図９】
2009093472.tif 000024
【国際調査報告】
2009093472.tif 000025
2009093472.tif 000026
2009093472.tif 000027
2009093472.tif 000028