(57)【要約】【課題】ループフィルタを有する画像符号化方式において、フィルタの強度特性の制御を、急激な入力画像の変化に即座に対応可能とする。【解決手段】撮像装置により得られた撮像画像の画像データは量子化され、量子化後の撮像画像の画像データを局所復号した局所復号画像が、ループフィルタに供給される。フィルタ強度設定部とフィルタ制御部は、撮像装置から取得された撮像制御情報に基づいて、ループフィルタのフィルタ強度を設定する。ループフィルタは、生成された局所復号画像を、設定されたフィルタ強度でフィルタ処理する。この開示の技術は、例えば、ループフィルタを有する画像符号化装置に適用できる。【選択図】図１
2012231302.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により得られた撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得する取得部と、
量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成する局所復号画像生成部と、
生成された前記局所復号画像を所定のフィルタ強度でフィルタ処理するフィルタ部と、
取得された前記撮像制御情報に基づいて、前記フィルタ部の前記フィルタ強度を設定するフィルタ強度設定部と
を備える画像符号化装置。
【請求項２】
前記撮像制御情報は、前記撮像部におけるズーム速度の情報である
請求項１に記載の画像符号化装置。
【請求項３】
前記撮像制御情報は、前記撮像部におけるパン・チルト速度の情報である
請求項１に記載の画像符号化装置。
【請求項４】
前記撮像制御情報は、前記撮像部における露出情報変化率の情報である
請求項１に記載の画像符号化装置。
【請求項５】
前記撮像制御情報は、前記撮像部におけるフォーカス情報変化率の情報である
請求項１に記載の画像符号化装置。
【請求項６】
前記フィルタ強度設定部は、前記撮像制御情報に応じて複数の異なるフィルタ強度制御関数を有し、取得された前記撮像制御情報に基づいて、所定のフィルタ強度制御関数を決定し、決定された前記フィルタ強度制御関数に、取得された前記撮像制御情報を適用して、前記フィルタ部の前記フィルタ強度を設定する
請求項１に記載の画像符号化装置。
【請求項７】
前記撮像部をさらに備える
請求項１に記載の画像符号化装置。
【請求項８】
撮像部により得られた撮像画像を符号化する画像符号化装置の、
取得部が、前記撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得し、
局所復号画像生成部が、量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成し、
フィルタ強度設定部が、取得された前記撮像制御情報に基づいて、フィルタ部のフィルタ強度を設定し、
前記フィルタ部が、前記局所復号画像を、設定された前記フィルタ強度でフィルタ処理する
ステップを含む画像符号化方法。
【請求項９】
コンピュータを、
撮像部により得られた撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得する取得部と、
量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成する局所復号画像生成部と、
生成された前記局所復号画像を所定のフィルタ強度でフィルタ処理するフィルタ部と、
取得された前記撮像制御情報に基づいて、前記フィルタ部の前記フィルタ強度を設定するフィルタ強度設定部
として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像符号化装置、画像符号化方法、プログラム、および記録媒体に関し、特に、ループフィルタを有する画像符号化方式において、フィルタの強度特性の制御を、急激な入力画像の変化に即座に対応可能とする画像符号化装置、画像符号化方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
ループフィルタを有する画像符号化方式の一つに、例えば、H.264/MPEG4 part10 (以下 H.264という。）がある（例えば、特許文献１，２参照）。従来、ループフィルタを有する画像符号化方式において、フィルタの強度特性の制御に、量子化パラメータ等の符号化時に得られるパラメータを用いたものがあった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８７９１６号公報
【特許文献２】特開２００６−２５４３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、符号化の困難さに対する量子化パラメータ等の変化は、入力画像の変化と比較すると緩やかである。従って、例えば、カメラが急激にズームしたような場合に、ズームによる急激な入力画像の変化に、量子化パラメータ等の符号化時に得られるパラメータが追随できず、結果として、動き補償で予測しきれず残差が多くなり、ひいては画質が劣化することがあった。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、ループフィルタを有する画像符号化方式において、フィルタの強度特性の制御を、急激な入力画像の変化に即座に対応可能とするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像符号化装置は、撮像部が被写体を撮像して得られた撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得する取得部と、量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成する局所復号画像生成部と、生成された前記局所復号画像を所定のフィルタ強度でフィルタ処理するフィルタ部と、取得された前記撮像制御情報に基づいて、前記フィルタ部の前記フィルタ強度を設定するフィルタ強度設定部とを備える。
【０００７】
本技術の一側面の画像符号化方法は、撮像部が被写体を撮像して得られた撮像画像を符号化する画像符号化装置の、取得部が、前記撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得し、局所復号画像生成部が、量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成し、フィルタ強度設定部が、取得された前記撮像制御情報に基づいて、フィルタ部のフィルタ強度を設定し、前記フィルタ部が、前記局所復号画像を、設定された前記フィルタ強度でフィルタ処理するステップを含む。
【０００８】
本技術の一側面のプログラムは、コンピュータを、撮像部が被写体を撮像して得られた撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得する取得部と、量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成する局所復号画像生成部と、生成された前記局所復号画像を所定のフィルタ強度でフィルタ処理するフィルタ部と、取得された前記撮像制御情報に基づいて、前記フィルタ部の前記フィルタ強度を設定するフィルタ強度設定部として機能させるためのものである。
【０００９】
本技術の一側面の記録媒体は、コンピュータを、撮像部が被写体を撮像して得られた撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得する取得部と、量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成する局所復号画像生成部と、生成された前記局所復号画像を所定のフィルタ強度でフィルタ処理するフィルタ部と、取得された前記撮像制御情報に基づいて、前記フィルタ部の前記フィルタ強度を設定するフィルタ強度設定部として機能させるためのものである。
【００１０】
本技術の一側面においては、撮像部が被写体を撮像して得られた撮像画像の画像データと、撮像部における撮像時の制御情報である撮像制御情報とが取得され、量子化後の撮像画像の画像データを局所復号した局所復号画像が生成され、取得された撮像制御情報に基づいて、フィルタ部のフィルタ強度が設定され、局所復号画像が、設定されたフィルタ強度でフィルタ処理される。
【００１１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１２】
画像符号化装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本技術の一側面によれば、ループフィルタを有する画像符号化方式において、フィルタの強度特性の制御を、急激な入力画像の変化に即座に対応可能とする。
【図面の簡単な説明】
【００１４】
【図１】本技術が適用された画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】図１の撮像装置の構成例を示すブロック図である。
【図３】符号化処理を説明するフローチャートである。
【図４】図３のステップＳ１１４のフィルタ処理の詳細なフローチャートである。
【図５】フィルタ強度制御パラメータの第１の設定例を示す図である。
【図６】フィルタ強度制御パラメータの第２の設定例を示す図である。
【図７】フィルタ強度制御パラメータの第３の設定例を示す図である。
【図８】フィルタ強度制御パラメータの第４の設定例を示す図である。
【図９】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００１６】
［画像処理システムの構成例］
図１は、本技術が適用された画像処理システムの一実施の形態の構成例を示している。
【００１７】
図１の画像処理システムは、撮像装置１と画像符号化装置２とで構成される。
【００１８】
撮像装置１は、被写体を撮像し、その結果得られる動画像の画像データと、撮像時の制御情報である撮像制御情報を出力する。画像符号化装置２は、撮像装置１で撮影された動画像の画像データを、H.264の符号化方式で符号化し、その結果得られる符号化データを出力する。画像符号化装置２は、動画像としての撮像画像の符号化に際して、撮像装置１から入力される撮像制御情報を用いた符号化を行う。
【００１９】
なお、本実施の形態では、撮像装置１と画像符号化装置２は別個の装置であり、接続ケーブル等を介して画像データ等が画像符号化装置２に供給されるものとするが、撮像装置１と画像符号化装置２は、いずれか一方が他方を構成の一部として組み込まれているものでもよい。例えば、撮像装置１が画像符号化装置２を含む構成としてもよい。
【００２０】
撮像装置１から出力される撮像画像の画像データは、画像符号化装置２の入力端子Inを介して入力バッファ１０に供給され、撮像制御情報は、画像符号化装置２の入力端子Inを介してフィルタ強度設定部２３に供給される。
【００２１】
入力バッファ１０は、撮像装置１からの撮像画像を取得して一時的に記憶し、記憶した表示の順番の撮像画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替える。入力バッファ１０は、符号化のための並び替え後の撮像画像を、順次、加算器１１に出力する。なお、入力バッファ１０の前段には、撮像画像の画像データをA/D変換するA/D変換部が必要に応じて配置される。
【００２２】
加算器１１は、入力バッファ１０の出力である撮像画像から、スイッチ２２の出力である予測画像を減算し、減算結果である差分データを直交変換部１２に出力する。直交変換部１２は、差分データを直交変換し、直交変換後の周波数成分を量子化部１３に出力する。
【００２３】
量子化部１３は、レート制御部１４にて決定された量子化パラメータQpに応じて周波数成分を量子化し、その結果得られる量子化データをエントロピー符号化部１５と逆量子化部１７に出力する。エントロピー符号化部１５は、量子化データをエントロピー符号化し、エントロピー符号化データを多重化部１６に出力する。
【００２４】
多重化部１６は、フィルタ強度設定部２３から出力されるフィルタ強度制御パラメータと、エントロピー符号化部１５から出力されるエントロピー符号化データを多重化し、その結果を、符号化データとして出力端子Outから外部の装置に出力する。
【００２５】
レート制御部１４は、多重化部１６により出力された符号化データに基づいて量子化パラメータQpを決定し、決定した量子化パラメータQpを、量子化部１３、逆量子化部１７、およびフィルタ制御部２４に出力する。
【００２６】
逆量子化部１７は、量子化パラメータQpに基づいて、量子化データを逆量子化し、その結果得られる逆量子化データを逆直交変換部１８に出力する。逆直交変換部１８は、逆量子化データを逆直交変換し、逆直交変換したデータを加算器１９に出力する。
【００２７】
加算器１９は、逆直交変換したデータと、スイッチ２２の出力である予測画像とを加算して局所復号画像を生成し、ブロックメモリ２０とループフィルタ２５に出力する。即ち、加算器１９は、量子化後の撮像画像を局所復号した局所復号画像を生成する局所符号画像生成部として機能する。
【００２８】
ブロックメモリ２０は、加算器１９から出力される局所復号画像を記憶する。イントラ予測部２１は、ブロックメモリ２０に記憶されている局所復号画像を読み出し、イントラ予測画像を生成してスイッチ２２に出力する。
【００２９】
フィルタ強度設定部２３は、撮像装置１から出力される撮像制御情報に基づいてフィルタ強度制御パラメータを設定して、フィルタ制御部２４に出力する。フィルタ制御部２４は、予め与えられたフィルタ強度特性に基づいて、レート制御部１４からの量子化パラメータQpに応じて決定されるフィルタ強度に、フィルタ強度制御パラメータをオフセットし、最終的なフィルタ強度を設定する。
【００３０】
ループフィルタ２５は、フィルタ制御部２４により設定されたフィルタ強度に基づいて局所復号画像をフィルタ処理し、フィルタ処理済み局所復号画像をフレームメモリ２６に出力する。フレームメモリ２６は、ループフィルタ２５から出力されるフィルタ処理済み局所復号画像を記憶する。インター予測部２７は、フレームメモリ２６に記憶されているフィルタ処理済み局所復号画像を読み出し、インター予測画像を生成してスイッチ２２に出力する。
【００３１】
スイッチ２２は、イントラ予測画像またはインター予測画像の一方を選択し、予測画像として加算器１１と加算器１９に出力する。
【００３２】
H.264では、マクロブロックと呼ばれる矩形ブロックを一つの処理単位として撮像画像が符号化され、複数のマクロブロックから構成されるスライス単位で、ループフィルタ２５の有効／無効と適用範囲、フィルタ強度特性を制御することができる。具体的には、disable_deblocking_filter_idcにより、ループフィルタの有効／無効と、有効の場合はスライス境界にフィルタを適用するか否かを切替えることができる。
【００３３】
また、フィルタ強度は、量子化パラメータQpに応じて予め与えられたフィルタ強度特性に従って変化するが、２つのフィルタ強度制御パラメータ（slice_alpht_c0_offset_div2,slice_beta_offset_div2）により、予め与えられたフィルタ強度特性を変更できる。画像符号化装置２は、撮像装置１から取得した撮像制御情報に従い、フィルタ強度制御パラメータを設定し、フィルタ強度特性を変更する。
【００３４】
［撮像装置１の詳細構成例］
図２は、撮像装置１の詳細構成例を示すブロック図である。
【００３５】
図２において、被写体の光学像は、バリアングルプリズム（以下、VAPと記す。）５１によって、ユーザ（撮影者）の手ぶれによる振動が光学的に補正された像となる。ズームレンズ５２はズームやフォーカスの調整を行い、絞り５３は光量を調節する。そして、VAP５１、ズームレンズ５２、絞り５３を通過した被写体の光が、CCD５４に結像される。
【００３６】
CCD５４は、タイミングジェネレータ（以下、TGと記す。）５５にて所定のシャッタ速度で駆動される。CCD５４の出力信号はA/D変換部５６に供給され、A/D変換部５６は、CCD５４の出力信号に対し、２重相関サンプリング（CDS）、ゲインコントロール（AGC）、およびA/D変換を行う。レンズ制御回路５７は、VAP５１、ズームレンズ５２、および絞り５３をそれぞれ駆動する。
【００３７】
信号処理部５８は、制御CPU６１の制御に従い、A/D変換部５６から出力される画像データに対して、色補間処理、γ補正や各色信号のレベル調整等の処理を行い、処理後の画像データを出力する。信号処理部５８における処理前または処理後の画像データは、必要に応じて制御CPU６１に出力される。
【００３８】
操作部５９は、撮像のオン、オフ、ズーム、フォーカス等の各種の操作を受け付け、受け付けた操作に対応する操作信号を制御CPU６１に出力する。ジャイロセンサ６０は、地面と平行なXY平面の軸となるX軸とY軸、および、XY平面に垂直なZ軸の３軸それぞれの角速度または角加速度を検出する。
【００３９】
制御CPU６１は、撮像装置１全体を制御する。制御CPU６１は、機能的に、ズーム制御部６１ａ、パン・チルト制御部６１ｂ、露出制御部６１ｃ、およびフォーカス制御部６１ｄを少なくとも有する。
【００４０】
ズーム制御部６１ａは、操作部５９におけるユーザのズーム操作に基づいて、ズームレンズ５２のズーム倍率を制御するズーム制御信号をレンズ制御回路５７に出力する。パン・チルト制御部６１ｂは、ジャイロセンサ６０から出力される角速度または角加速度に基づいて、撮像装置１のパン・チルト状態を検出する。
【００４１】
露出制御部６１ｃは、A/D変換部５６から出力される画像データの輝度値が所定の輝度値となるように、露出値（EV(Exposure Value)値）を制御する。露出制御部６１ｃは、決定した露出値となるように、レンズ制御回路５７およびTG５５を介して、絞り５３の絞り値およびCCD５４のシャッタ速度、並びに、A/D変換部５６のゲインを制御する。
【００４２】
フォーカス制御部６１ｄは、フォーカス調整やズーム調整を行うレンズ制御信号をレンズ制御回路５７に対して出力し、ズームレンズ５２を制御する。また、フォーカス制御部６１ｄは、ズームレンズ５２の焦点距離ｆをレンズ制御回路５７から取得する。
【００４３】
ズーム制御部６１ａ、パン・チルト制御部６１ｂ、露出制御部６１ｃ、およびフォーカス制御部６１ｄが行った制御（の状態）を示す各種の制御情報が、撮像制御情報として、画像符号化装置２に出力される。
【００４４】
［符号化処理］
次に、図１の画像処理システムにより実行される符号化処理の流れについて、図３のフローチャートを参照して説明する。
【００４５】
ステップＳ１０１において、撮像装置１は、被写体を撮像し、その結果得られた画像データと、そのときの撮像制御情報を、画像符号化装置２に出力する。画像符号化装置２は、撮像装置１から出力された画像データと撮像制御情報を取得する。
【００４６】
ステップＳ１０２において、画像符号化装置２の入力バッファ１０は、撮像装置１からから入力された撮像画像の画像データを記憶し、表示する順番から符号化する順番へ撮像画像（ピクチャ）の並べ替えを行う。並べ替え後の撮像画像が、入力バッファ１０から加算器１１に供給される。
【００４７】
ステップＳ１０３において、イントラ予測部２１およびインター予測部２７は、それぞれ画像の予測処理を行う。すなわち、ステップＳ１０３において、イントラ予測部２１は、イントラ予測モードのイントラ予測処理を行い、イントラ予測画像を生成する。インター予測部２７は、インター予測モードの動き予測補償処理を行い、インター予測画像を生成する。
【００４８】
ステップＳ１０４において、スイッチ２２は、イントラ予測部２１およびインター予測部２７で算出された各コスト関数値に基づいて、最適予測モードを決定する。つまり、スイッチ２２は、イントラ予測部２１により生成された予測画像（イントラ予測画像）と、インター予測部２７により生成された予測画像（インター予測画像）のいずれか一方を選択し、加算器１１と加算器１９に出力する。
【００４９】
また、予測画像としてイントラ予測画像とインター予測画像のどちらを選択したかを示す選択情報は、選択された予測画像に対応するイントラ予測部２１またはインター予測部２７に供給される。イントラ予測画像が選択された場合には、イントラ予測部２１は、イントラ予測モードを示す情報（イントラ予測モード情報）を、エントロピー符号化部１５に供給する。
【００５０】
一方、インター予測画像が選択された場合には、インター予測部２７は、インター予測モードを示す情報（インター予測モード情報）をエントロピー符号化部１５に出力する。また、動きベクトル情報やフラグ情報、参照フレーム情報なども、必要に応じて、インター予測部２７からエントロピー符号化部１５に出力される。
【００５１】
ステップＳ１０５において、加算器１１は、ステップＳ１０２で並び替えられて出力された撮像画像から、ステップＳ１０４で選択された予測画像を減算し、減算結果である差分データを直交変換部１２に出力する。
【００５２】
差分データは元の画像データに較べてデータ量が低減される。したがって、撮像画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【００５３】
ステップＳ１０６において、直交変換部１２は、差分データを直交変換し、直交変換後の周波数成分を量子化部１３に出力する。
【００５４】
ステップＳ１０７において、量子化部１３は、レート制御部１４にて決定された量子化パラメータQpに応じて周波数成分を量子化し、その結果得られる量子化データをエントロピー符号化部１５と逆量子化部１７に出力する。
【００５５】
ステップＳ１０８において、エントロピー符号化部１５は、量子化データをエントロピー符号化し、エントロピー符号化データを多重化部１６に出力する。
【００５６】
なお、エントロピー符号化部１５は、ステップＳ１０４の処理により選択された予測画像の予測モードに関する情報を符号化し、差分データを符号化して得られる符号化データのヘッダ情報に付加する。つまり、エントロピー符号化部１５は、イントラ予測部２１から供給されるイントラ予測モード情報や、インター予測部２７から供給されるインター予測モード情報なども符号化し、ヘッダ情報に付加する。
【００５７】
ステップＳ１０９において、多重化部１６は、フィルタ強度設定部２３から出力されるフィルタ強度制御パラメータと、エントロピー符号化部１５から出力されるエントロピー符号化データを多重化し、その結果得られる符号化データを出力端子Outから出力する。出力された符号化データは、例えば、伝送路を介して復号側に伝送される。
【００５８】
ステップＳ１１０において、レート制御部１４は、多重化部１６により出力された符号化データに基づいて量子化パラメータQpを決定し、決定した量子化パラメータQpを、量子化部１３、逆量子化部１７、およびフィルタ制御部２４に出力する。即ち、レート制御部１４は、出力される符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１３の量子化動作のレートを制御する。
【００５９】
ステップＳ１０７の処理により量子化された差分データは、上述したように、符号化データとして出力されるとともに、以下のように局部的に復号される。すなわち、ステップＳ１１１において、逆量子化部１７は量子化部１３により量子化された周波数成分を量子化部１３の特性に対応する特性で逆量子化する。ステップＳ１１２において、逆直交変換部１８は、逆量子化部１７により逆量子化された周波数成分を直交変換部１２の特性に対応する特性で逆直交変換する。
【００６０】
ステップＳ１１３において、加算器１９は、逆直交変換したデータと、スイッチ２２から出力された予測画像とを加算して局所復号画像を生成し、ブロックメモリ２０とループフィルタ２５に出力する。
【００６１】
ステップＳ１１４において、ループフィルタ２５は、加算器１９から出力された局所復号画像を、所定のフィルタ強度でフィルタリングするフィルタ処理を行う。このフィルタ処理の詳細は、図４を参照して後述するが、これにより、ブロック歪みを除去することができる。
【００６２】
ステップＳ１１５において、フレームメモリ２６は、フィルタ処理済み局所復号画像を記憶して、処理を終了する。
【００６３】
図４は、上述したステップＳ１１４として実行されるフィルタ処理のフローチャートである。
【００６４】
この処理では、初めに、ステップＳ１２１において、フィルタ強度設定部２３は、撮像装置１から供給された撮像制御情報に基づいて所定のフィルタ強度制御関数を決定する。
【００６５】
ステップＳ１２２において、フィルタ強度設定部２３は、決定したフィルタ強度制御関数に基づいて、撮像制御情報に対応するフィルタ強度制御パラメータを設定し、フィルタ制御部２４に出力する。
【００６６】
ステップＳ１２３において、フィルタ制御部２４は、レート制御部１４からの量子化パラメータQpと、フィルタ強度制御パラメータとから、最終的なフィルタ強度を設定する。即ち、フィルタ制御部２４は、量子化パラメータQpに応じて決定されるフィルタ強度に、フィルタ強度制御パラメータをオフセットし、最終的なフィルタ強度とする。
【００６７】
ステップＳ１２４において、ループフィルタ２５は、フィルタ制御部２４により設定されたフィルタ強度に基づいて局所復号画像をフィルタ処理し、フィルタ処理済み局所復号画像をフレームメモリ２６に出力して、処理を図３に戻す。
【００６８】
図１の画像処理システムでは、撮像装置１で得られた撮像画像に対して、以上のように符号化処理が実行され、撮像画像の符号化データが、画像符号化装置２から出力される。
【００６９】
［フィルタ強度制御パラメータの第１の設定例］
画像符号化装置２のフィルタ処理では、図４を参照して説明したように、撮像装置１から供給される撮像制御情報に基づいてフィルタ強度制御パラメータが設定される。以下では、画像符号化装置２のフィルタ処理において実行される、撮像制御情報に基づくフィルタ強度制御パラメータの設定方法について説明する。
【００７０】
図５は、フィルタ強度設定部２３によるフィルタ強度制御パラメータの第１の設定例を示す図である。
【００７１】
図５Aは、フィルタ強度設定部２３によるフィルタ強度制御パラメータの第１の設定例として適用されるフィルタ強度制御関数を示したグラフであり、図５Bは、図５Aのグラフを表形式で示した図である。
【００７２】
フィルタ強度設定部２３によるフィルタ強度制御パラメータの第１の設定では、撮像制御情報として撮像装置１から供給されるズーム速度Zに基づいて、フィルタ強度が調整される。ここで、ズーム速度Zは、例えば、現在と一定時間前とのズーム倍率または画角（撮像範囲）の変化率である。なお、撮像装置１からは、現在のズーム倍率または画角が撮像制御情報として供給され、フィルタ強度設定部２３が、一定時間前との変化率を計算し、ズーム速度Zとしてもよい。
【００７３】
なお、図５Aにおいて、＋６，＋５，・・・，０，・・・，−５，−６として細線で示す曲線は、H.264で予め定められている量子化パラメータQpに対するフィルタ強度特性を示している。
【００７４】
一方、図５Aにおいて、太線で示す折れ線は、フィルタ強度設定部２３のフィルタ強度制御関数STR(Z)を示しており、撮像装置１から供給されるズーム速度Zに基づいて、フィルタ強度制御関数STR0(Z)乃至STRn(Z)のいずれかが適用されている。
【００７５】
従って、図５Aの横軸は、細線のフィルタ強度特性については量子化パラメータQpを示し、太線のフィルタ強度制御関数STR(Z)についてはズーム速度Zを示す。
【００７６】
フィルタ強度設定部２３は、撮像装置１から供給されるズーム速度Zに応じて複数の異なるフィルタ強度制御関数STR0(Z)乃至STRn(Z)を有している。そして、フィルタ強度設定部２３は、取得されたズーム速度Zに基づいて、所定のフィルタ強度制御関数STRx(Z)（x＝0，・・・，n）を決定し、決定されたフィルタ強度制御関数STRx(Z)に、取得されたズーム速度Zを適用して、フィルタ制御パラメータを設定する。
【００７７】
より具体的には、フィルタ強度設定部２３は、図５Bに示すように、撮像装置１から供給されたズーム速度Zが閾値THa(0)未満である場合、フィルタ強度制御関数STR0(Z)を適用する。そして、フィルタ強度設定部２３は、適用したフィルタ強度制御関数STR0(Z)を用いて算出される、ズーム速度Zに対応するフィルタ強度制御パラメータを設定する。
【００７８】
また、フィルタ強度設定部２３は、撮像装置１から供給されたズーム速度Zが閾値THa(0)以上閾値THa(1)未満である場合、フィルタ強度制御関数STR1(Z)を適用する。そして、フィルタ強度設定部２３は、適用したフィルタ強度制御関数STR1(Z)を用いて算出される、ズーム速度Zに対応するフィルタ強度制御パラメータを設定する。
【００７９】
以下同様に、ズーム速度Zに応じたフィルタ強度制御関数STRx(Z)が適用され、撮像装置１から供給されたズーム速度Zが閾値THa(n-1)以上である場合には、フィルタ強度制御関数STRn(Z)が適用される。
【００８０】
なお、図５Aに示したフィルタ強度制御関数STR(Z)は、あくまで一つの例であり、フィルタ強度制御関数STR(Z)は、基本的に、ズーム速度Zが大きくなるほど、フィルタ強度制御関数STR(Z)から算出される値も大きくなるように設定される。
【００８１】
また、閾値THa(0)乃至THa(n-1)のそれぞれ（nは１以上の整数）は、予め決定され、フィルタ強度制御関数STR0(Z)乃至STRn(Z)とともに、フィルタ強度設定部２３内に記憶されている。
【００８２】
図４を参照して説明したように、フィルタ強度設定部２３は、撮像装置１から供給されたズーム速度Zに基づいて、即座にフィルタ強度制御関数STRx(Z)を決定し、ズーム速度Zに対応するフィルタ強度制御パラメータを設定することができる。
【００８３】
一般的に、ズーム操作が無い場合に、符号化難易度は比較的小さくなり、また、ズーム操作があり、ズーム速度Zが速くなるに従い、符号化難易度が大きくなる傾向がある。従って、フィルタ強度設定部２３のフィルタ強度制御パラメータの第１の設定例によれば、撮像装置１から取得したズーム速度Zに応じてフィルタ強度制御パラメータを即座に設定することができる。
【００８４】
これにより、急激な入力画像（撮像画像）の変化に対してフィルタ強度特性を即座に変更できるようになり、出力する符号化データの画質を向上させることができる。
【００８５】
［フィルタ強度制御パラメータの第２の設定例］
次に、フィルタ強度制御パラメータの第２の設定例について説明する。なお、以下の図６乃至図８においては、図５と同様の部分についての説明は適宜省略し、図５と異なる部分についてのみ説明する。
【００８６】
図６は、フィルタ強度設定部２３によるフィルタ強度制御パラメータの第２の設定例を示す図である。
【００８７】
フィルタ強度設定部２３によるフィルタ強度制御パラメータの第２の設定では、フィルタ強度設定部２３は、第１の設定例のズーム速度Zに代えて、撮像制御情報として撮像装置１から供給されるパン・チルト速度Pに基づいて、フィルタ強度を調整する。そして、フィルタ強度制御関数STR(Z)は、基本的に、パン・チルト速度Pが大きくなるほど、フィルタ強度制御関数STR(Z)から算出される値も大きくなるように設定される。ここで、パン・チルト速度Pは、例えば、撮像装置１のジャイロセンサ６０で検出される角速度または角加速度である。
【００８８】
この場合、フィルタ強度設定部２３は、撮像装置１から供給されたパン・チルト速度Pに基づいて、即座にフィルタ強度制御関数STRx(Z)を決定し、ズーム速度Zに対応するフィルタ強度制御パラメータを設定することができる。
【００８９】
一般的に、パン・チルト操作が無い場合に、符号化難易度は比較的小さくなり、また、パン・チルト操作があり、パン・チルト速度Pが速くなるに従い、符号化難易度が大きくなる傾向がある。従って、フィルタ強度設定部２３のフィルタ強度制御パラメータの第２の設定例によれば、撮像装置１から取得したパン・チルト速度Pに応じてフィルタ強度制御パラメータを即座に設定することができる。
【００９０】
これにより、急激な入力画像の変化に対してフィルタ強度特性を即座に変更できるようになり、出力する符号化データの画質を向上させることができる。
【００９１】
［フィルタ強度制御パラメータの第３の設定例］
次に、フィルタ強度制御パラメータの第３の設定例について説明する。
【００９２】
図７は、フィルタ強度設定部２３によるフィルタ強度制御パラメータの第３の設定例を示す図である。
【００９３】
フィルタ強度設定部２３によるフィルタ強度制御パラメータの第３の設定では、フィルタ強度設定部２３は、第１の設定例のズーム速度Zに代えて、撮像制御情報として撮像装置１から供給される露出情報変化率Eに基づいて、フィルタ強度を調整する。そして、フィルタ強度制御関数STR(Z)は、基本的に、露出情報変化率Eが大きくなるほど、フィルタ強度制御関数STR(Z)から算出される値も大きくなるように設定される。ここで、露出情報変化率Eは、受光量の変化率を表すものであり、例えば、撮像装置１の露出値の変化率である。
【００９４】
この場合、フィルタ強度設定部２３は、撮像装置１から供給された露出情報変化率Eに基づいて、即座にフィルタ強度制御関数STRx(Z)を決定し、露出情報変化率Eに対応するフィルタ強度制御パラメータを設定することができる。
【００９５】
一般的に、露出レベルが不安定であるほど、符号化難易度が大きくなる傾向にある。従って、フィルタ強度設定部２３のフィルタ強度制御パラメータの第３の設定例によれば、撮像装置１から取得した露出情報変化率Eに応じてフィルタ強度制御パラメータを即座に設定することができる。
【００９６】
これにより、急激な入力画像の変化に対してフィルタ強度特性を即座に変更できるようになり、出力する符号化データの画質を向上させることができる。
【００９７】
［フィルタ強度制御パラメータの第４の設定例］
次に、フィルタ強度制御パラメータの第４の設定例について説明する。
【００９８】
図８は、フィルタ強度設定部２３によるフィルタ強度制御パラメータの第４の設定例を示す図である。
【００９９】
フィルタ強度設定部２３によるフィルタ強度制御パラメータの第４の設定では、フィルタ強度設定部２３は、第１の設定例のズーム速度Zに代えて、撮像制御情報として撮像装置１から供給されるフォーカス情報変化率Fに基づいて、フィルタ強度を調整する。そして、フィルタ強度制御関数STR(Z)は、基本的に、フォーカス情報変化率Fが大きくなるほど、フィルタ強度制御関数STR(Z)から算出される値も大きくなるように設定される。ここで、フォーカス情報変化率Fは、焦点距離に関する情報の変化率を表すものであり、例えば、焦点距離ｆの変化率である。
【０１００】
この場合、フィルタ強度設定部２３は、撮像装置１から供給されたフォーカス情報変化率Fに基づいて、即座にフィルタ強度制御関数STRx(Z)を決定し、フォーカス情報変化率Fに対応するフィルタ強度制御パラメータを設定することができる。
【０１０１】
一般的に、フォーカスが定まらず不安定であるほど、符号化難易度が大きくなる傾向にある。従って、フィルタ強度設定部２３のフィルタ強度制御パラメータの第４の設定例によれば、撮像装置１から取得したフォーカス情報変化率Fに応じてフィルタ強度制御パラメータを即座に設定することができる。
【０１０２】
これにより、急激な入力画像の変化に対してフィルタ強度特性を即座に変更できるようになり、出力する符号化データの画質を向上させることができる。
【０１０３】
以上のように、画像符号化装置２は、撮像装置１から撮像制御情報として供給される、ズーム速度Z、パン・チルト速度P、露出情報変化率E、またはフォーカス情報変化率Fに基づいて、フィルタ強度制御パラメータを設定し、フィルタ処理を実行する。
【０１０４】
ズーム速度Z、パン・チルト速度P、露出情報変化率E、またはフォーカス情報変化率Fのいずれを採用するかは、予め決定するか、または、ユーザに選択させることができる。
【０１０５】
撮像装置１には、ズーム速度Z、パン・チルト速度P、露出情報変化率E、またはフォーカス情報変化率Fのうち、フィルタ強度設定部２３が処理に必要な一つを指定し、出力させることができる。あるいは、撮像装置１には、ズーム速度Z、パン・チルト速度P、露出情報変化率E、またはフォーカス情報変化率Fの全てを出力させ、フィルタ強度設定部２３が処理に必要な一つのみを使用するようにしてもよい。
【０１０６】
上述した実施の形態では、画像符号化装置２は、多重化部１６で生成される符号化データは外部の装置に出力すると説明したが、装置内に設けられる、ハードディスク等の記録媒体に記録するようにしてもよい。換言すれば、画像符号化装置２は、画像およびそれに対応する音声を所定の記録媒体に記録する画像記録装置であってもよい。
【０１０７】
また、上述した実施の形態では、画像符号化装置２は、撮像装置１で撮影された画像の画像データをH.264の符号化方式で符号化するとして説明したが、本技術は、H.264の符号化方式以外のループフィルタを有する画像符号化方式に適用することができる。
【０１０８】
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０９】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１０】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１１１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１１２】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１１３】
撮像部１１２は、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）センサ等の撮像素子により構成される。撮像部１１２は、被写体を撮像し、撮像した被写体の画像データを、入出力インタフェース１０５を介してCPU１０１等に供給する。
【０１１４】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１５】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１１６】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１１７】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１８】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１９】
なお、本技術は以下のような構成も取ることができる。
（１）
撮像部により得られた撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得する取得部と、
量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成する局所復号画像生成部と、
生成された前記局所復号画像を所定のフィルタ強度でフィルタ処理するフィルタ部と、
取得された前記撮像制御情報に基づいて、前記フィルタ部の前記フィルタ強度を設定するフィルタ強度設定部と
を備える画像符号化装置。
（２）
前記撮像制御情報は、前記撮像部におけるズーム速度の情報である
前記（１）に記載の画像符号化装置。
（３）
前記撮像制御情報は、前記撮像部におけるパン・チルト速度の情報である
前記（１）または（２）に記載の画像符号化装置。
（４）
前記撮像制御情報は、前記撮像部における露出情報変化率の情報である
前記（１）乃至（３）のいずれかに記載の画像符号化装置。
（５）
前記撮像制御情報は、前記撮像部におけるフォーカス情報変化率の情報である
前記（１）乃至（４）のいずれかに記載の画像符号化装置。
（６）
前記フィルタ強度設定部は、前記撮像制御情報に応じて複数の異なるフィルタ強度制御関数を有し、取得された前記撮像制御情報に基づいて、所定のフィルタ強度制御関数を決定し、決定された前記フィルタ強度制御関数に、取得された前記撮像制御情報を適用して、前記フィルタ部の前記フィルタ強度を設定する
前記（１）乃至（５）のいずれかに記載の画像符号化装置。
（７）
前記撮像部をさらに備える
前記（１）乃至（６）のいずれかに記載の画像符号化装置。
（８）
撮像部により得られた撮像画像を符号化する画像符号化装置の、
取得部が、前記撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得し、
局所復号画像生成部が、量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成し、
フィルタ強度設定部が、取得された前記撮像制御情報に基づいて、フィルタ部のフィルタ強度を設定し、
前記フィルタ部が、前記局所復号画像を、設定された前記フィルタ強度でフィルタ処理する
ステップを含む画像符号化方法。
（９）
コンピュータを、
撮像部により得られた撮像画像の画像データと、前記撮像部における撮像時の制御情報である撮像制御情報とを取得する取得部と、
量子化後の前記撮像画像の画像データを局所復号した局所復号画像を生成する局所復号画像生成部と、
生成された前記局所復号画像を所定のフィルタ強度でフィルタ処理するフィルタ部と、
取得された前記撮像制御情報に基づいて、前記フィルタ部の前記フィルタ強度を設定するフィルタ強度設定部
として機能させるためのプログラム。
（１０）
前記（９）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１２０】
１  撮像装置，  ２  画像符号化装置，  In  入力端子，  １１  加算器，  １２  直交変換部，  １３  量子化部，  １４  レート制御部，  １５  エントロピー符号化部，  １６  多重化部，  １７  逆量子化部，  １８  逆直交変換部，  １９  加算器，  ２１  イントラ予測部，  ２３  フィルタ強度設定部，  ２４  フィルタ制御部，  ２５  ループフィルタ，  ２７  インター予測部
【図１】
2012231302.tif 000003
【図２】
2012231302.tif 000004
【図３】
2012231302.tif 000005
【図４】
2012231302.tif 000006
【図５】
2012231302.tif 000007
【図６】
2012231302.tif 000008
【図７】
2012231302.tif 000009
【図８】
2012231302.tif 000010
【図９】
2012231302.tif 000011