(57)【要約】【課題】  ＲＯＩ符号化の特長を維持したまま、背景領域全体の画質低下を緩和できる符号化装置が望まれている。【解決手段】  本発明は、入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、背景領域の情報量を削減するための前処理を注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、所定の画像符号化方式を用いて、符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前処理部は、前処理ピクチャタイプを決定し出力する前処理ピクチャタイプ制御部と、前処理ピクチャタイプがキーピクチャである場合には注目領域付与画像を、非キーピクチャである場合には注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、符号化前画像として出力するＤＲＣフィルタ部と、前処理バッファとを有することを特徴とする。【選択図】      図１
2019057900.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化する符号化装置において、
前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
前記前処理部は、
前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部と、
前記ＤＲＣフィルタ部用のバッファである前処理バッファとを有し、
前記ＤＲＣフィルタ部は、キーピクチャと判定されている前記注目領域付与画像を前処理用蓄積ピクチャとして出力することで前記前処理バッファに蓄積し、非キーピクチャと判定されている前記注目領域付与画像を、キーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を前処理用参照ピクチャとして前記前処理バッファから抽出する
ことを特徴とする符号化装置。
【請求項２】
入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部と、
前記ＩＤＲＣフィルタ部用のバッファである後処理バッファとを有し、
前記ＩＤＲＣフィルタ部は、キーピクチャと判定されている前記復号画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
ことを特徴とする複号装置。
【請求項３】
入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として請求項１に記載の符号化装置を適用し、前記復号装置として請求項２に記載の復号装置を適用したことを特徴とする画像処理システム。
【請求項４】
前記ＤＲＣフィルタ部は、前記背景領域の画素値のダイナミックレンジを、前記前処理用参照ピクチャの画素値を中心に、情報量の削減量を操作するための係数でダイナミックレンジの圧縮率にあたる０．０〜１．０の実数Ｒｅを用いて、圧縮することで、情報量を削減し、
前記ＩＤＲＣフィルタ部は、前記背景領域の画素値のダイナミックレンジを、後処理用参照ピクチャの画素値を中心に、前記Ｒｅの逆数を用いて、伸長する
ことを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記符号化部は、キーピクチャと判定されている前記符号化前画像をイントラピクチャとして符号化し、非キーピクチャと判定されている前記符号化前画像をインターピクチャとして符号化するように制御することを特徴とする請求項３又は４に記載の画像処理システム。
【請求項６】
前記ＤＲＣフィルタ部は、前記背景領域の画素値のダイナミックレンジを圧縮した後、その中心値を所定の画素値に移すか、又は前記背景領域の画素値の定義域が０〜Ｍまでとすると、前記背景領域の画素値のダイナミックレンジを圧縮した後、その中心値をＭ／２に移し、
前記ＩＤＲＣフィルタ部は、前記ＤＲＣフィルタ部が前記符号化前画像の中心値として使用した当該中心値を中心に、前記背景領域の画素値のダイナミックレンジを伸長する
ことを特徴とする請求項４又は５に記載の画像処理システム。
【請求項７】
前記ＤＲＣフィルタ部は、前記注目領域付与画像の画素値と前記前処理用参照ピクチャの画素値の差分値に対して、前記背景領域の画素値のダイナミックレンジを半分にする演算を行い、
前記ＩＤＲＣフィルタ部は、前記背景領域の画素値のダイナミックレンジを、前記半分にする演算の逆演算を行う
ことを特徴とする請求項４〜６のいずれかに記載の画像処理システム。
【請求項８】
前記ＤＲＣフィルタ部は、前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施すときに、抽出可能な前処理用参照ピクチャが前記前処理バッファに存在しない場合には、予め定めた固定の中心値を仮想的なキーピクチャの画素値として使用し、
前記ＩＤＲＣフィルタ部は、前記復号画像に対してキーピクチャを参照するフィルタリングを施すときに、抽出可能な前記後処理用参照ピクチャが前記後処理バッファに存在しない場合は、前記固定の中心値を仮想的なキーピクチャの画素値として使用する
ことを特徴とする請求項４〜７のいずれかに記載の画像処理システム。
【請求項９】
入力画像を符号化する符号化装置に搭載されるコンピュータを、
前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、
前記前処理部は、
前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部と、
前記ＤＲＣフィルタ部用のバッファである前処理バッファとを有し、
前記ＤＲＣフィルタ部は、キーピクチャと判定されている前記注目領域付与画像を前処理用蓄積ピクチャとして出力することで前記前処理バッファに蓄積し、非キーピクチャと判定されている前記注目領域付与画像を、キーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を前処理用参照ピクチャとして前記前処理バッファから抽出する
ことを特徴とする符号化プログラム。
【請求項１０】
コンピュータを、
入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部と、
前記ＩＤＲＣフィルタ部用のバッファである後処理バッファとして機能させ、
前記ＩＤＲＣフィルタ部は、キーピクチャと判定されている前記復号画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
ことを特徴とする複号プログラム。
【請求項１１】
入力画像を符号化する符号化装置において、
前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
前記前処理部は、
前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有する
ことを特徴とする符号化装置。
【請求項１２】
入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、
前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、
前記再構成部用のバッファである後処理バッファとを有し、
前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
ことを特徴とする復号装置。
【請求項１３】
入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として請求項１１に記載の符号化装置を適用し、前記復号装置として請求項１２に記載の復号装置を適用したことを特徴とする画像処理システム。
【請求項１４】
前記再構成部は、前記再構成前画像の画素値と任意の存在区間の大きさから前記出力画像の画素値の存在区間を求め、サイドインフォメーションが前記存在区間に含まれる場合には、前記サイドインフォメーションを前記出力画像の画素値として適用し、前記サイドインフォメーションが前記存在区間の外にある場合には、前記サイドインフォメーションが存在する側の境界値を前記出力画像の画素値として適用することを特徴とする請求項１３に記載の画像処理システム。
【請求項１５】
前記再構成部は、前記再構成前画像の画素値と任意の存在区間の大きさから前記出力画像の画素値の存在区間を求め、注目する色成分に加えて、空間的に同位置、又は近傍位置に位置する注目する色成分以外の色成分でもサイドインフォメーションが存在区間内に収まっているとき、前記サイドインフォメーションを前記出力画像の画素値として適用し、前記サイドインフォメーションの注目する色成分が前記存在区間の外にある場合には、前記サイドインフォメーションが存在する側の境界値を前記出力画像の画素値として適用し、前記サイドインフォメーションの注目する色成分が前記存在区間の内に収まっているにも関わらず、前記注目する色成分以外の色成分が前記存在区間の外にある場合には、前記存在区間の中間値にあたる再構成前画像の画素値を前記出力画像の画素値として適用することを特徴とする請求項１３に記載の画像処理システム。
【請求項１６】
前記再構成部は、前記再構成前画像の画素値と任意の存在区間の大きさから前記出力画像の画素値の存在区間を求め、注目する色成分に加えて、空間的に同位置又は近傍位置に位置する注目する色成分以外の色成分でもサイドインフォメーションが存在区間の内に収まっているとき、前記サイドインフォメーションを前記出力画像の画素値として適用し、前記サイドインフォメーションの注目する色成分が前記存在区間の外にある場合で、注目する色成分以外の色成分でもサイドインフォメーションが同じ側で存在区間の外にある場合には、前記注目する色成分のサイドインフォメーションがある側の境界値を前記出力画像の画素値として適用し、それ以外の場合、前記存在区間の中間値にあたる再構成前画像の画素値を前記出力画像の画素値として適用することを特徴とする請求項１３に記載の画像処理システム。
【請求項１７】
前記サイドインフォメーションは、後処理用参照ピクチャ、若しくは直前に前記画像復号装置より出力された前記出力画像、又は前記再構成前画像及び前記出力画像に基づいて生成された予測画像の画素値であることを特徴とする請求項１４〜１６のいずれかに記載の画像処理システム。
【請求項１８】
前記再構成部は、予め設定しておくことや、前記符号化部が使用する品質パラメータからの算出によって求められる前記符号化部で発生する量子化ステップ又はその近似値と前記ＤＲＣフィルタ部で使用する前記背景領域の画素値のダイナミックレンジの圧縮率の逆数を乗算したものを前記存在区間の大きさとすることを特徴とする請求項１４〜１７のいずれかに記載の画像処理システム。
【請求項１９】
前記再構成部は、前記サイドインフォメーションのダイナミックレンジを前記復号画像の背景領域の画素値のダイナミックレンジと同じ圧縮率で圧縮してから圧縮後の前記サイドインフォメーションが前記存在区間の内に存在するかを比較することを特徴とする請求項１４〜１８のいずれかに記載の画像処理システム。
【請求項２０】
入力画像を符号化する符号化装置に搭載されるコンピュータを、
前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、
前記前処理部は、
前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有する
ことを特徴とする符号化プログラム。
【請求項２１】
コンピュータを、
入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、
前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、
前記再構成部用のバッファである後処理バッファとして機能させ、
前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
ことを特徴とする復号プログラム。
【請求項２２】
入力画像を符号化する符号化装置において、
前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記背景領域には粗い量子化を、注目領域には細かい量子化をおこなうように誘導する符号化用品質パラメータに基づき前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
前記前処理部は、
前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、内部画像として出力するＤＲＣフィルタ部と
前記前処理ピクチャタイプが非キーピクチャである場合には、前記内部画像に注目領域の位置や大きさを表す注目領域情報に基づき前記符号化用品質パラメータを付与した上で、前記符号化前画像として出力する品質パラメータ制御部とを有する
ことを特徴とする符号化装置。
【請求項２３】
入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として請求項２２に記載の符号化装置を適用し、前記復号装置として請求項１２に記載の復号装置を適用したことを特徴とする画像処理システム。
【請求項２４】
前記再構成部は、前記再構成前画像の背景領域ごとに、割り振られている前記品質パラメータに基づき前記符号化部で発生する量子化ステップ又はその近似値を求めて使用することを特徴とする請求項２３に記載の画像処理システム。
【請求項２５】
入力画像を符号化する符号化装置に搭載されるコンピュータを、
前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、
前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記背景領域には粗い量子化を、注目領域には細かい量子化をおこなうように誘導する符号化用品質パラメータに基づき前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、
前記前処理部は、
前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、内部画像として出力するＤＲＣフィルタ部と
前記前処理ピクチャタイプが非キーピクチャである場合には、前記内部画像に注目領域の位置や大きさを表す注目領域情報に基づき前記符号化用品質パラメータを付与した上で、前記符号化前画像として出力する品質パラメータ制御部とを有する
ことを特徴とする符号化プログラム。
【請求項２６】
入力画像を符号化する符号化装置において、
前記入力画像の情報量を削減するための前処理を施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
前記前処理部は、
前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、
前記前処理ピクチャタイプがキーピクチャである場合には前記入力画像を、非キーピクチャである場合には前記入力画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有する
ことを特徴とする符号化装置。
【請求項２７】
入力画像の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、
前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、
前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、
前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、
前記再構成部用のバッファである後処理バッファとを有し、
前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出する
ことを特徴とする復号装置。
【請求項２８】
入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、
前記符号化装置として請求項２６に記載の符号化装置を適用し、前記復号装置として請求項２７に記載の復号装置を適用したことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムに関し、例えば、映像を圧縮するシステムに適用可能である。
【背景技術】
【０００２】
近年、監視カメラの普及が進み、さらなる高解像度化、高フレームレート化、及び多視点化も望まれている。しかし、高解像度化、高フレームレート化、及び多視点化は、動画像の符号量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。
【０００３】
そこで、この問題を緩和するため、動画像より注目領域を検出し、注目領域に多くのビット数を配分する方式が提案されている。注目領域とは、例えば、顔領域である。なお、以下では、注目領域のことをＲｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔの略である「ＲＯＩ」と呼ぶものとする。また、注目領域に多くのビット数を配分する方式を「ＲＯＩ符号化」と呼ぶものとする。
【０００４】
特許文献１では、符号量と映像、品質を制御するパラメータをブロックごとに与えられるというエンコーダの機能を利用して、エンコーダに与えるパラメータをブロックごとに制御することで、ＲＯＩ以外の領域である非注目領域の情報量をＲＯＩの情報量よりも削減するシステム構成を提案している。なお、以下、この明細書では、非注目領域のことを「背景領域」と呼ぶものとする。また、背景領域は必ずしも静止状態とは限られないものとする。
【０００５】
このようにエンコーダが提供する機能を用いて情報量を削減すれば、効率よく確実に符号量を削減することが可能である。Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、「ＡＶＣ」とも呼ぶ）やＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」とも呼ぶ）のような主要な規格は、領域ごとに品質を制御する機能を備えているため、この機能を利用することは、ＲＯＩに多くのビット数を配分する代表的な方式と言える。
【０００６】
一方、例えば、コストや互換性などの諸事情により、映像品質制御パラメータをブロックごとに与える機能を有していないエンコーダの利用が不可避の場合、前述の方式を採用することはできない。このような場合でも、エンコーダに依存せず、領域ごとに映像品質を制御可能な技術として特許文献２に記載の技術が提案されている。
【０００７】
特許文献２では、エンコーダに依存せずに背景領域の情報量を削減するために、背景領域に低域通過フィルタによる前処理をおこない、高周波成分の情報を取り除くことで背景領域の情報量を抑圧することを提案するものである。
【０００８】
図１５は、特許文献２に代表される従来の画像符号化装置を、画像処理システムの一部として組み込んだ場合の構成例を示す図である。
【０００９】
図１５において、画像処理システムＺは、入力された入力画像の内、背景領域に属する画素をＲＯＩの情報よりも少ないビット数で圧縮し、ビットストリームとして出力する画像符号化装置Ｘ１と、入力されたビットストリームを、復号し、出力画像を出力する画像復号装置Ｘ２とから構成される。
【００１０】
画像符号化装置Ｘ１は、入力画像にＲＯＩを付与し、ＲＯＩ付与画像を出力するＲＯＩ設定部４０２と、背景領域の情報量を削減するための前処理をＲＯＩ付与画像に施し、符号化前画像として出力する前処理部Ｕ１と、ＡＶＣ等の画像符号化方式を用いて符号化前画像を圧縮し、ビットストリームを出力するエンコーダ部４０６とを有する。ここで、前処理とは、例えばガウシアンフィルタを畳み込むことで、高周波成分を抑圧する処理などがある。
【００１１】
ＲＯＩ設定部４０２は、入力画像にＲＯＩを付与する機能であるが、ＲＯＩの特定手段に関しては特定されない。例えば、ＲＯＩの特定手段として、入力画像に対して顔検出アルゴリズムや人物検出アルゴリズム、ナンバープレート検出アルゴリズム、車体検出アルゴリズム等を適用することで入力画像の中からＲＯＩの位置と大きさを検出することで特定するという方法が考えられる。また、ＲＯＩ補助情報として、例えば手動で入力されたＲＯＩの位置と座標によって特定するという方法も考えられるし、図示しないユーザインタフェースを介して入力されたＲＯＩの位置と座標によって特定するものでも良い。さらに、ＲＯＩ補助情報として、たとえば入力画像に対応する赤外線カメラ画像や深度センサ画像を利用してＲＯＩを特定するという方法でも良い。
【００１２】
ＲＯＩ設定部４０２は、特定されたＲＯＩの座標や大きさ等を含む情報をＲＯＩ情報として出力しても良い。出力されたＲＯＩ情報は、例えば付加情報パケットという形態でビットストリームに多重化されても良いし、画像に情報を埋め込むことでビットストリームに埋め込まれても良い。図１５では、例えば前述の方法でＲＯＩ情報をビットストリームに挿入する役割をエンコーダ部４０６が担っている。
【００１３】
画像復号装置Ｘ２は、入力されたビットストリームデータをエンコーダ部４０６に対応する方式で復号し、復号画像（出力画像）として出力するデコーダ部４０７を有する。
【００１４】
なお、図１５では、画像符号化装置Ｘ１が前処理によって背景領域の情報量をＲＯＩの情報量よりも削減する例を示しているが、画像符号化装置Ｘ１のエンコーダ部４０６をエンコーダが備える領域ごとに品質を制御する機能を利用してＲＯＩに多くのビット数を配分するものにすることで、特許文献１に代表される映像符号化システムを組み込んだ構成例となる。
【００１５】
この場合、前処理部Ｕ１は、品質パラメータを制御する機能を担当すると考えれば良い。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００９−４９９７９号公報
【特許文献２】特開平０４−２１９０８９号公報
【非特許文献】
【００１７】
【非特許文献１】Ｊ．Ａｓｃｅｎｓｏ，  Ｃ．Ｂｒｉｔｅｓ，  ａｎｄ  Ｆ．Ｐｅｒｅｉｒａ．  Ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｅｄ  ｒｅｆｉｎｅｍｅｎｔ  ｆｏｒ  ｌｏｗ  ｃｏｍｐｌｅｘｉｔｙ  ｐｉｘｅｌ  ｂａｓｅｄ  ｄｉｓｔｒｉｂｕｔｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ．  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  ａｎｄ  Ｓｉｇｎａｌ  Ｂａｓｅｄ  Ｓｕｒｖｅｉｌｌａｎｃｅ，  ２００５．，  ｐａｇｅｓ５９３−５９８．  ＩＥＥＥ，  ２００５
【非特許文献２】Ｙｕｒｉ  Ｖａｔｉｓ，  Ｓｖｅｎ  Ｋｌｏｍｐ，ａｎｄ  Ｊｏｒｎ  Ｏｓｔｅｒｍａｎｎ．  Ｅｎｈａｎｃｅｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｏｆ  ｔｈｅ  Ｑｕａｎｔｉｓｅｄ  Ｔｒａｎｓｆｏｒｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ  ｆｏｒ  ＷＹＮＥＲ−ＺＩＶ  Ｃｏｄｉｎｇ．  Ｉｎ  Ｍｕｌｔｉｍｅｄｉａ  ａｎｄ  Ｅｘｐｏ，  ２００７  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  ｎｕｍｂｅｒ  Ｆｉｇｕｒｅ  ２，  ｐａｇｅｓ  １７２−１７５．  ＩＥＥＥ，  ｊｕ１  ２００７．
【非特許文献３】Ｄｅｎｉｓ  Ｋｕｂａｓｏｖ，  Ｊａｙａｎｔｈ  Ｎａｙａｋ  ａｎｄ  Ｃｈｒｉｓｔｉｎｅ  Ｇｕｉ１１ｅｍｏｔ．  Ｏｐｔｉｍａ１  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎｉｎ  Ｗｙｎｅｒ−Ｚｉｖ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｗｉｔｈ  Ｍｕ１ｔｉｐ１ｅ  Ｓｉｄｅ  Ｉｎｆｏｒｍａｔｉｏｎ．  Ｉｎ  ２００７  ＩＥＥＥ  ９ｔｈ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｍｕ１ｔｉｍｅｄｉａ  Ｓｉｇｎａ１  Ｐｒｏｃｅｓｓｉｎｇ，  ｐａｇｅｓ１８３−１８６，  ＩＥＥＥ，  ２００７．
【発明の概要】
【発明が解決しようとする課題】
【００１８】
以上のように、前処理部Ｕ１を利用することで、ＲＯＩに多くのビット数を配分することは可能である。
【００１９】
しかしながら、その原理上、背景領域全体の画質低下は避けられない。
【００２０】
そのため、映像の伝送コストや蓄積コストを下げられるというＲＯＩ符号化の特長を維持したまま、背景領域全体の画質低下を緩和できる符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムが望まれている。
【課題を解決するための手段】
【００２１】
第１の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部と、（６）前記ＤＲＣフィルタ部用のバッファである前処理バッファとを有し、（７）前記ＤＲＣフィルタ部は、キーピクチャと判定されている前記注目領域付与画像を前処理用蓄積ピクチャとして出力することで前記前処理バッファに蓄積し、非キーピクチャと判定されている前記注目領域付与画像を、キーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を前処理用参照ピクチャとして前記前処理バッファから抽出することを特徴とする。
【００２２】
第２の本発明の複号装置は、（１）入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部と、（４）前記ＩＤＲＣフィルタ部用のバッファである後処理バッファとを有し、（５）前記ＩＤＲＣフィルタ部は、キーピクチャと判定されている前記復号画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。
【００２３】
第３の本発明の画像処理システムは、入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として第１の本発明の符号化装置を適用し、前記復号装置として第２の本発明の復号装置を適用したことを特徴とする。
【００２４】
第４の本発明の符号化プログラムは、入力画像を符号化する符号化装置に搭載されるコンピュータを、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対してキーピクチャを参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部と、（６）前記ＤＲＣフィルタ部用のバッファである前処理バッファとを有し、（７）前記ＤＲＣフィルタ部は、キーピクチャと判定されている前記注目領域付与画像を前処理用蓄積ピクチャとして出力することで前記前処理バッファに蓄積し、非キーピクチャと判定されている前記注目領域付与画像を、キーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を前処理用参照ピクチャとして前記前処理バッファから抽出することを特徴とする。
【００２５】
第５の本発明の複号プログラムは、コンピュータを、（１）入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部と、（４）前記ＩＤＲＣフィルタ部用のバッファである後処理バッファとして機能させ、（５）前記ＩＤＲＣフィルタ部は、キーピクチャと判定されている前記復号画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。
【００２６】
第６の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有することを特徴とする。
【００２７】
第７の本発明の複号装置は、（１）入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、（４）前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、（５）前記再構成部用のバッファである後処理バッファとを有し、（６）前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。
【００２８】
第８の本発明の画像処理システムは、入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として第６の本発明の符号化装置を適用し、前記復号装置として第７の本発明の復号装置を適用したことを特徴とする。
【００２９】
第９の本発明の符号化プログラムは、入力画像を符号化する符号化装置に搭載されるコンピュータを、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有することを特徴とする。
【００３０】
第１０の本発明の復号プログラムは、コンピュータを、（１）入力画像に注目領域が付与され、注目領域が付与された入力画像の内、背景領域の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、（４）前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、（５）前記再構成部用のバッファである後処理バッファとして機能させ、（６）前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。
【００３１】
第１１の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像に注目領域を付与し、注目領域付与画像として出力する注目領域設定部と、（２）前記注目領域付与画像の内、背景領域の情報量を削減するための前処理を前記注目領域付与画像に対して施し、符号化前画像として出力する前処理部と、（３）所定の画像符号化方式を用いて、前記背景領域には粗い量子化を、注目領域には細かい量子化をおこなうように誘導する符号化用品質パラメータに基づき前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記前処理部は、（４）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（５）前記前処理ピクチャタイプがキーピクチャである場合には前記注目領域付与画像を、非キーピクチャである場合には前記注目領域付与画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、内部画像として出力するＤＲＣフィルタ部と（６）前記前処理ピクチャタイプが非キーピクチャである場合には、前記内部画像に注目領域の位置や大きさを表す注目領域情報に基づき前記符号化用品質パラメータを付与した上で、前記符号化前画像として出力する品質パラメータ制御部とを有することを特徴とする。
【００３２】
第１２の本発明の画像処理システムは、入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として第１１の本発明の符号化装置を適用し、前記復号装置として第７の本発明の復号装置を適用したことを特徴とする。
【００３３】
第１３の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像の情報量を削減するための前処理を施し、符号化前画像として出力する前処理部と、（２）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記前処理部は、（３）前記入力画像がキーピクチャ又は非キーピクチャかを示す前処理ピクチャタイプを決定し、決定した前記前処理ピクチャタイプを出力する前処理ピクチャタイプ制御部と、（４）前記前処理ピクチャタイプがキーピクチャである場合には前記入力画像を、非キーピクチャである場合には前記入力画像に対して仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、前記符号化前画像として出力するＤＲＣフィルタ部とを有することを特徴とする。
【００３４】
第１４の本発明は、（１）入力画像の情報量を削減するための前処理が行われた符号化前画像に対して、符号化処理が施された符号化データを復号して復号画像を出力する復号部と、（２）前記復号画像がキーピクチャ又は非キーピクチャかを示す後処理ピクチャタイプを決定し、決定した前記後処理ピクチャタイプを出力する後処理ピクチャタイプ制御部と、（３）前記後処理ピクチャタイプが、キーピクチャである場合には前記復号画像を、非キーピクチャである場合には当該復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部と、（４）前記後処理ピクチャタイプが、キーピクチャである場合には前記再構成前画像を、非キーピクチャである場合には前記再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部と、（５）前記再構成部用のバッファである後処理バッファとを有し、（６）前記再構成部は、キーピクチャと判定されている前記再構成前画像を後処理用蓄積ピクチャとして出力することで当該後処理バッファに蓄積し、非キーピクチャと判定されている前記再構成前画像を、キーピクチャの情報を用いて再構成処理するために、キーピクチャの情報を後処理用参照ピクチャとして前記後処理バッファから抽出することを特徴とする。
【００３５】
第１５の本発明の画像処理システムは、入力画像を符号化して符号化データを生成する符号化装置と、前記符号化装置が生成した前記符号化データを復号して復号画像を生成する復号装置とを備える画像処理システムにおいて、前記符号化装置として第１３の本発明の符号化装置を適用し、前記復号装置として第１４の本発明の復号装置を適用したことを特徴とする。
【発明の効果】
【００３６】
本発明によれば、映像の伝送コストや蓄積コストを下げられるというＲＯＩ符号化の特長を維持したまま、背景領域全体の画質低下を緩和できる。
【図面の簡単な説明】
【００３７】
【図１】第１の実施形態に係る画像処理システムの構成について示すブロック図である。
【図２】第１の実施形態に係る画像処理システムの動作を示すフローチャートである。
【図３】第１の実施形態に係る特定されたＲＯＩの補正例を示す図である。
【図４】第１の実施形態に係る非キーピクチャに対して行うフィルタリングの一例を示すフローチャート（その１）である。
【図５】第１の実施形態に係る非キーピクチャに対して行うフィルタリングの一例を示すフローチャート（その２）である。
【図６】第１の実施形態に係る非キーピクチャに対して行うフィルタリングの一例を示すフローチャート（その３）である。
【図７】第２の実施形態に係る画像処理システムの構成について示すブロック図である。
【図８】第２の実施形態に係る画像処理システムの動作を示すフローチャートである。
【図９】第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その１）である。
【図１０】第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その２）である。
【図１１】第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その３）である。
【図１２】第２の実施形態に係るルックアップテーブルの一例を示す図である。
【図１３】第３の実施形態に係る画像処理システムの構成について示すブロック図である。
【図１４】第３の実施形態に係る画像処理システムの動作を示すフローチャートである。
【図１５】特許文献２に代表される従来の画像符号化装置を、画像処理システムの一部として組み込んだ場合の構成例について示すブロック図である。
【発明を実施するための形態】
【００３８】
（Ａ）第１の実施形態
以下、本発明による符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムの第１の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。
【００３９】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る画像処理システム１の構成について示すブロック図である。なお、図１において、実線の矢印は、この実施形態における必須の処理（及び情報）の流れを示しているが、破線の矢印は必ずしもこの実施形態の効果を奏するために必須の処理（及び情報）では無い。以下、破線の矢印に係る処理（及び情報）については、適宜補足的に説明するものとする。
【００４０】
画像処理システム１は、入力画像を符号化してストリーム（ビット列）を出力する画像符号化装置１０と、画像符号化装置１０で符号化されたストリーム（ビットストリーム）を復号して復号画像を出力する画像復号装置２０とを有している。
【００４１】
画像符号化装置１０から出力されたストリームを画像復号装置２０に入力する媒体は限定されないものである。例えば、画像符号化装置１０から出力されたストリームを、通信（例えば、インターネット等）により画像復号装置２０に送信するようにしても良いし、画像符号化装置１０から出力されたストリームのデータをデータ記録媒体（例えば、ＤＶＤやＨＤＤ等の媒体）に記録してオフラインで画像復号装置２０に入力するようにしても良い。
【００４２】
この実施形態では、画像符号化装置１０は入力画像ごとの符号化を行うものとして説明するが、画像符号化装置１０に連続して複数の入力画像を処理させることで動画像の符号化処理に適用するようにしても良い。また、画像復号装置２０についても同様に、連続して複数の符号化データのストリームを復号処理させることにより、動画像の復号処理に適用するようにしても良い。
【００４３】
次に、画像符号化装置１０の内部構成について説明する。図１は、第１の実施形態に係る画像符号化装置１０の機能的構成について示すブロック図でもある。画像符号化装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。
【００４４】
画像符号化装置１０は、ＲＯＩ設定部４０２、前処理部２００、及びエンコーダ部４０６を有している。ＲＯＩ設定部４０２及びエンコーダ部４０６の機能は前述の図１５で説明したものと同様の機能を有する。
【００４５】
前処理部２００は、入力画像について、「キーピクチャ」か「非キーピクチャ」か何れか一方を指し示す「前処理ピクチャタイプ」を決定し出力する前処理ピクチャタイプ制御部１０１と、前処理ピクチャタイプを参照し、キーピクチャである場合にはＲＯＩ付与画像を、非キーピクチャである場合にはＲＯＩ付与画像にキーピクチャを参照するフィルタリングを施した画像を、符号化前画像として出力するＤＲＣフィルタ部１０３と、ＤＲＣフィルタ部１０３用のバッファである前処理バッファ１０４とを有する。
【００４６】
また、ＤＲＣフィルタ部１０３は、キーピクチャと判定されているＲＯＩ付与画像を前処理用蓄積ピクチャとして出力することで前処理バッファ１０４に蓄積し、非キーピクチャと判定されているＲＯＩ付与画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャを前処理用参照ピクチャとして前処理バッファ１０４から取り出すものでもある。
【００４７】
前処理ピクチャタイプ制御部１０１が、どのようにピクチャタイプを判定するかについては種々の方法を適用することができる。具体的な方法例は後述するが、例えば入力画像やＲＯＩ付与画像に基づき決定する方法もあるため、図１では入力画像やＲＯＩ付与画像を前処理ピクチャタイプ制御部１０１に入力する例も点線で示している。
【００４８】
ＲＯＩ設定部４０２は、前述の図１５で説明した機能に加えて、動作条件を付与することもできる。具体的な方法例は後述するが、例えば前処理ピクチャタイプ（図１では点線で示す通り、前処理ピクチャタイプ制御部１０１から入力される）に応じて動作条件を決定する。
【００４９】
エンコーダ部４０６は、前述の図１５で説明した機能に加えて、ＲＯＩ情報を伝送する場合と同じように、付加情報パケットや画像への埋め込みによって、前処理ピクチャタイプ（図１では点線で示す通り、前処理ピクチャタイプ制御部１０１から入力される）をビットストリームに挿入しても良い。また、ピクチャタイプの決定方法は、後述する後処理ピクチャタイプ制御部１０８と手動設定や伝送によって共有する必要があるが、付加情報パケットや画像への埋め込みによって、ピクチャタイプの決定方法をビットストリームに挿入しても良い。
【００５０】
次に、画像復号装置２０の内部構成について説明する。図１は、第１の実施形態に係る画像復号装置２０の機能的構成について示すブロック図でもある。画像符号化装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。
【００５１】
画像復号装置２０は、デコーダ部４０７と復号画像を入力し、出力画像を出力する後処理部３００とを有している。
【００５２】
後処理部３００は、後処理ピクチャタイプを決定し出力する後処理ピクチャタイプ制御部１０８と、後処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合には復号画像を、非キーピクチャであることを指し示している場合には復号画像にキーピクチャを参照するフィルタリングを施した画像を、出力画像として出力するＩＤＲＣフィルタ部１０９と、ＩＤＲＣフィルタ部１０９用のバッファである後処理バッファ１１０とを有している。
【００５３】
また、ＩＤＲＣフィルタ部１０９は、キーピクチャと判定されている復号画像を後処理用蓄積ピクチャとして出力することで後処理バッファ１１０に蓄積し、非キーピクチャと判定されている復号画像をキーピクチャの情報を用いてフィルタリングするために、キーピクチャを後処理用参照ピクチャとして後処理バッファ１１０から取り出すものでもある。
【００５４】
後処理ピクチャタイプ制御部１０８がどのようにピクチャタイプを判定するかについては種々の方法を適用することができる。具体的な方法例は後述するが、例えばビットストリームに埋め込まれた情報や復号画像に基づき決定する方法もあるため、図１ではピクチャタイプ補助情報を後処理ピクチャタイプ制御部１０８に入力する例も点線で示している。ピクチャタイプ補助情報とは、例えばピクチャタイプ自体や復号画像、ピクチャタイプの決定方法などである。
【００５５】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る画像処理システム１の動作を、図面を参照しながら詳細に説明する。図２は、第１の実施形態に係る画像処理システムの動作を示すフローチャートである。以下では、画像符号化装置１０及び画像復号装置２０の動作を各々分けて説明する。
【００５６】
（Ａ−２−１）画像符号化装置１０の動作
図２（Ａ）は、第１の実施形態に係る画像符号化装置の動作を示すフローチャートである。
【００５７】
まず、前処理ピクチャタイプ制御部１０１は、入力画像のピクチャタイプを決定し、前処理ピクチャタイプとして出力する（Ｓ１１）。なお、ピクチャタイプの決定方法には幾通りもの方法が考えられるが、例えば、以下の（１）〜（３）の方法が考えられる。
【００５８】
（１）予め定められたキーピクチャ間隔に基づき周期的に決定する方法
例えば、前処理ピクチャタイプ制御部１０１は、キーピクチャ間隔を２に設定した場合、１枚ごとにキーピクチャと非キーピクチャを切り替える。具体的には、Ｔ枚目をキーピクチャとした場合、（Ｔ＋１）枚目を非キーピクチャとして、（Ｔ＋２）枚目を再びキーピクチャにする。同様に、前処理ピクチャタイプ制御部１０１は、キーピクチャ間隔を３に設定した場合、Ｔ枚目をキーピクチャとした場合、（Ｔ＋１）枚目と（Ｔ＋２）枚目を非キーピクチャとして、（Ｔ＋３）枚目を再びキーピクチャにする。
【００５９】
（２）入力画像の性質に応じて決定する方法
前処理ピクチャタイプ制御部１０１は、画像の性質、例えば動きがあるかなどを既存のコンピュータビジョンの手法を利用して解析し、例えば入力画像の中に動きのある領域が無いと判定されたとき、当該入力画像をキーピクチャにして、それ以外の入力画像を非キーピクチャにする。
【００６０】
より具体的には、例えば、処理対象の入カ画像とその直前に入力された入力画像とを用いて画素ごと若しくは１個以上の画素の集合であるブロックごと、又は画像全体で動きベクトルを推定し、予め定めた閾値以上の大きさを持つ動きベクトルが存在しなかった場合や１個以上の動きベクトルの平均動きベクトルを計算し、平均動きベクトルの大きさが予め定めた閾値より小さい場合に、当該処理対象の入力画像をキーピクチャとする。
【００６１】
また、過去Ｎ個の入力画像分のピクチャタイプ判定結果を遡り、そのなかにキーピクチャと判定された入力画像が存在しない場合に限り、画像全体で動きが無いと判定された入力画像をキーピクチャにして、それ以外の入力画像を非キーピクチャにするのも有効である。
【００６２】
（３）ＲＯＩの有無に応じて決定する方法
例えば、前処理ピクチャタイプ制御部１０１は、ＲＯＩ付与画像にＲＯＩが存在しない場合にキーピクチャと判定し、ＲＯＩが存在する場合に非キーピクチャと判定する。これは、ＲＯＩが存在しないとき、画像全体に動きはないだろうという仮定の下での判定とも言える（言い換えれば、前述の（２）の手法の特例とも言える）。
【００６３】
前述の（２）の手法と同様に、過去Ｎ個の入力画像分のピクチャタイプ判定結果を遡り、そのなかにキーピクチャと判定された入力画像が存在しない場合に限り、ＲＯＩが存在しない入力画像をキーピクチャにして、それ以外の入力画像を非キーピクチャにするのも有効である。また、前述の（１）〜（３）の方法を組み合わせるという方法も考えられる。
【００６４】
なお、決定したピクチャタイプは、エンコーダ部４０６を介して画像復号装置２０側に伝送しても良い。また、ピクチャタイプの決定方法は、エンコーダ部４０６を介して画像復号装置２０側に伝送しても良いし、手動設定により後処理ピクチャタイプ制御部１０８と共有しても良い。
【００６５】
次に、ＲＯＩ設定部４０２において、入カ画像にＲＯＩを付与し、ＲＯＩ付与画像をＤＲＣフィルタ部１０３に出力する（Ｓ１２）。
【００６６】
ここで、ＲＯＩ設定部４０２は、全ての入力画像にＲＯＩを付与しても良いし、例えば、前処理ピクチャタイプが非キーピクチャであることを指している場合にのみＲＯＩを付与しても良い。ＲＯＩを付与するピクチャを非キーピクチャのみに限定することで、演算量を削減できるという効果が得られる。なぜならば、この実施形態では、非キーピクチャの背景領域に対してフィルタリングが適用されるため、この実施形態に限定すれば、ＲＯＩを特定する理由は非キーピクチャにしかないためである。ＲＯＩを特定し情報を付与するのにも一定の演算量が必要となるため、不必要なＲＯＩ設定部４０２の動作を止めることで演算量を削減できる。
【００６７】
また、特定されたＲＯＩは、例えば以下の（１）〜（３）のいずれかの補正を経たものでも良い。（１）予め定められた大きさのブロックに属する画素のうち１画素でもＲＯＩに含まれているならば、当該ブロックに含まれる画素は、全てＲＯＩに属するとする。（２）予め定められた大きさのブロックに属する画素のうち半数以上がＲＯＩに含まれているならば、当該ブロックに含まれる画素はすべてＲＯＩに属するとする。（３）予め定められた大きさのブロックに属するすべての画素がＲＯＩに含まれているときのみ、当該ブロックに含まれる画素はＲＯＩに属するとしたりする。
【００６８】
図３は、第１の実施形態に係る特定されたＲＯＩの補正例を示す図である。図３は、前述の方法例のうち（２）の方法で補正する場合をイメージ化したものである。図３では、各ブロック（Ｂ１〜Ｂ３）のサイズを幅４画素、高さ４画素としている。例えば、ブロックＢ３はＲＯＩに含まれる画素が９であるため（つまり、半分以上であるため）に、当該ブロックに含まれる画素はＲＯＩに属するとする。エンコーダ部４０６で採用され得る多くの画像符号化方式では、特定の大きさのブロックごとに予測したり変換したりすることで情報量を削減するため、ＲＯＩと背景領域の境界も、画像符号化方式が採用するブロックの境界と一致していることが望ましい。本補正は、ＲＯＩと背景領域の境界と、画像符号化方式が採用するブロックの境界とを一致させるための処理である。
【００６９】
次に、ＤＲＣフィルタ部１０３は、前処理ピクチャタイプを参照し、ＲＯＩ付与画像がキーピクチャであれば、ＲＯＩ付与画像を前処理用参照ピクチャ及び符号化前画像として出力する（Ｓ１３）。一方、ＤＲＣフィルタ部１０３は、ＲＯＩ付与画像が非キーピクチャであれば、前処理バッファ１０４から前処理用参照ピクチャを取り出し、ＲＯＩ付与画像のうち背景領域に分類される画素にフィルタリングを施し、符号化前画像として出力する。
【００７０】
図４（Ａ）は、ＤＲＣフィルタ部１０３が非キーピクチャに対して行うフィルタリングの一例を示すフローチャートである。
【００７１】
図４において、ｐｉはＲＯＩ付与画像のｉ番目の画素値、ｒｉはキーピクチャのｉ番目の画素値である。また、Ｒｅは情報量の削減量を操作するための係数でダイナミックレンジの圧縮率にあたる０．０〜１．０のパラメータである。ｐ０が符号化前画像のｉ番目の画素値であり、ｘ１やｘ２、ｘ３は中間値である。
【００７２】
例えば、図４（Ａ）のフローチャートが示す画像処理を背景領域に属する画素に対して適用する。本手法では、ＲＯＩに属する画素については、ｐｉを無加工でｐ０とする。背景領域の画素値ｐｉのダイナミックレンジを、キーピクチャの画素値ｒｉを中心に圧縮することで、情報量を削減する（Ｓ１０１〜Ｓ１０３）。なお、ステップＳ１０３では、ダイナミックレンジを圧縮する際に四捨五入する場合の例を示しているが、四捨五入を行う場合にのみ本実施形態の効果が出るわけではない為、四捨五入以外の切り捨てや切り上げをおこなう形態でも一定の効果は存在する。
【００７３】
ステップＳ１０１〜Ｓ１０３の処理により、ダイナミックレンジを圧縮した後、圧縮した中間値ｘ３に１２８を加算する（Ｓ１０４）。ダイナミックレンジを圧縮した後に、その中心値を１２８に移しているのは、非キーピクチャの情報量を確実に削減するためである。もし、中心値をｒｉのまま維持すると、非キーピクチャ自体はキーピクチャと同じような画素値分布の情報量を持つことになり、非キーピクチャの情報量がほとんど削減されないという結果になる場合があるためである。具体的には、エンコーダ部４０６において、イントラピクチャとして符号化するかインターピクチャとして符号化するかを指定できない場合で、非キーピクチャがイントラピクチャとして符号化されたときに、情報量がほとんど削減されないという結果になる。なぜならば、前述のとおり非キーピクチャ自体はキーピクチャと同じような画素値分布を持ち、つまりエントロピー（圧縮限界）がほとんど変わらないためである。なお、中心値をｒｉ以外の値にするときに、本例では差分値のダイナミックレンジを正負で同等に確保するため中心値を１２８に移しているが、中心値を１２８以外の値としても一定の効果は存在する。
【００７４】
エンコーダ部４０６において、キーピクチャと判定されている符号化前画像をイントラピクチャとして符号化し、非キーピクチャと判定されている符号化前画像をインターピクチャとして符号化すると指定できる場合には、中心値をｒｉのまま維持しても、ピクチャ間の差分が小さくなるため符号量の削減効果は得られる。そのため、エンコーダ部４０６がキーピクチャと判定されている符号化前画像をイントラピクチャとして符号化し、非キーピクチャと判定されている符号化前画像をインターピクチャとして符号化するように制御することと、例えば、図５（ステップＳ３０１の処理）のように中心値をｒｉのまま維持することも本発明の実施例の一つとする。
【００７５】
なお、本実施例（ステップＳ１０２の処理）において、ＲＯＩ付与画像の画素値とキーピクチャの画素値の差分値ｘ１に対してダイナミックレンジを半分にする演算、具体的にはｘ２＝ｘ１÷２を実行しているが、これはｘ１のダイナミックレンジが減算によってｐ１のダイナミックレンジの２倍になっているためである。ダイナミックレンジを等倍に揃えなければ、ｐ０がアンダーフロー又はオーバーフローする可能性があり、たとえ、アンダーフロー及びオーパーフロー対策としてクリッピング処理を入れたとしても画質の低下が発生しうる。そこで、ダイナミックレンジを等倍に揃えるためにｘ２＝ｘ１÷２を実行している。ただし、本処理には差分値の精度低下に繋がるという副作用もあるため、ピクチャ間の変動が小さいことが予め分かっているビデオを入力する場合は、ダイナミックレンジを等倍に揃えないほうが高品質に符号化できる。そのため、ダイナミックレンジを等倍に揃えない構成も実施例の一つである。この場合、代わりに最後にｐ０をその定義域（例えば０〜２５５）でクリッピングしても良い。
【００７６】
また、仮に非キーピクチャをフィルタリングするときに、取り出し可能なキーピクチャが前処理バッファ１０４に存在しない場合には、図６のように、予め定めた固定の中心値（図６では、例として１２８を採用）を仮想的なキーピクチャの画素値ｒｉとして使用しても良い。また、図６の例では、出力時の中心値を１２８にしているが、前述のとおり、出力時に中心値を１２８としても良いし、１２８以外の画素値を中心値としても一定の効果は存在する。図６の例では、前述のとおり１２８を中心にダイナミックレンジを圧縮し（Ｓ５０１、Ｓ５０２）、出力時の中心値も１２８としているため（Ｓ５０３）、前述のアンダーフローやオーバーフローが発生する可能性はない。そのため、図６では前述のダイナミックレンジを等倍に揃える処理を行わない場合の例を示している。もちろん、図６の例の派生として、ダイナミックレンジを等倍に揃える例も考えられる。
【００７７】
なお、この明細書でしばしば述べた「１２８」は画素値が８ビット整数値であることを想定したものであり、画素値の表現範囲に応じて適宜変更して良い。例えば、画素値が０からＭまでの値を取り得る画像である場合、つまり画素値の定義域が０からＭまでの場合、１２８の代わりにＭ／２を用いても良い。
【００７８】
さらに、フィルタリングに用いるキーピクチャは、時系列に並んだ画像のうち、つまりタイムスタンプ順に並んだ画像のうち、フィルタリングの対象である非キーピクチャの直前に位置するキーピクチャとするのが最も単純な方法であるが、最寄りのキーピクチャ、つまり非キーピクチャのタイムスタンプに最も近いタイムスタンプを持つ直前または直後に位置するキーピクチャとしても良い。
【００７９】
そして、エンコーダ部４０６では、ＡＶＣ等の画像符号化方式を用いて、符号化前画像を圧縮し、ビットストリームを出力する（Ｓ１４）。
【００８０】
（Ａ−２−２）画像復号装置２０の動作
図２（Ｂ）は、第１の実施形態に係る画像復号装置２０の動作を示すフローチャートである。
【００８１】
まず、デコーダ部４０７は、画像符号化装置１０からビットストリームを受け取り、ＡＶＣ等の画像符号化方式を用いて復号し、復号画像を出力する（Ｓ２１）。
【００８２】
後処理ピクチャタイプ制御部１０８は、復号画像のピクチャタイプを決定し、後処理ピクチャタイプとして出力する（Ｓ２２）。なお、ピクチャタイプの決定方法には種々様々な方法を適用することができるが、例えば、以下の方法を挙げることができる。
【００８３】
（１）予め定められたキーピクチャ間隔に基づき周期的に決定する方法
例えば、キーピクチャ間隔を２に設定した場合、１枚ごとにキーピクチャと非キーピクチャを切り替える。具体的には、Ｔ枚目をキーピクチャとした場合、（Ｔ＋１）枚目を非キーピクチャとして、（Ｔ＋２）枚目を再びキーピクチャにする。同様に、キーピクチャ間隔を３に設定した場合、Ｔ枚目をキーピクチャとした場合、（Ｔ＋１）枚目と（Ｔ＋２）枚目を非キーピクチャとして、（Ｔ＋３）枚目を再びキーピクチャにする。
【００８４】
（２）復号画像をピクチャタイプ補助情報として扱い、復号画像の性質に応じて決定する方法
復号画像の性質、例えば動きがあるかなどを既存のコンピュータビジョンの手法を利用して解析し、例えば復号画像の中に動きのある領域が無いと判定されたとき、当該復号画像をキーピクチャにして、それ以外の復号画像を非キーピクチャにする。より具体的には、例えば処理対象の復号画像とその直前に入力された復号画像とを用いて画素ごと若しくは１個以上の画素の集合であるブロックごと、又は画像全体で動きベクトルを推定し、予め定めた閾値以上の大きさを持つ動きベクトルが存在しなかった場合や１個以上の動きベクトルの平均動きベクトルを計算し、平均動きベクトルの大きさが予め定めた閾値より小さい場合に、当該処理対象の復号画像をキーピクチャとする。
【００８５】
過去Ｎ個の復号画像分のピクチャタイプ判定結果を遡り、そのなかにキーピクチャと判定された復号画像が存在しない場合に限り、画像全体で動きが無いと判定された復号画像をキーピクチャにして、それ以外の復号画像を非キーピクチャにするのも有効である。
【００８６】
（３）復号画像をピクチャタイプ補助情報として扱い、ＲＯＩの有無に応じて決定する方法
例えば、復号画像にＲＯＩが存在しない場合にキーピクチャと判定し、ＲＯＩが存在する場合に非キーピクチャと判定する。ＲＯＩが存在しないとき、画像全体に動きはないだろうという仮定の下での判定とも言える。前述の（２）の特例とも言える。
【００８７】
また、前述の（２）と同様に、過去Ｎ個の復号画像分のピクチャタイプ判定結果を遡り、そのなかにキーピクチャと判定された復号画像が存在しない場合に限り、ＲＯＩが存在しない復号画像をキーピクチャにして、それ以外の復号画像を非キーピクチャにするのも有効である。
【００８８】
（４）前処理ピクチャタイプ制御部１０１の決定をピクチャタイプ補助情報として扱い当該情報に応じて決定する方法
前述のとおり、前処理ピクチャタイプ制御部１０１で判定されたピクチャタイプは、付加情報パケットや画像への埋め込みによって、ビットストリームに挿入しても良い。仮にビットストリームにピクチャタイプに関する情報が埋め込まれている場合、当該情報を持ってピクチャタイプを判定する。
【００８９】
また、後処理ピクチャタイプ制御部１０８は前述の（１）〜（４）の方法を組み合わせる方法を採用しても良い。どのような方法で決定するかは、予め決めておいても良いし、ピクチャタイプ補助情報より取得しても良い。
【００９０】
ＩＤＲＣフィルタ部１０９は、後処理ピクチャタイプを参照し、復号画像がキーピクチャであれば、復号画像を後処理用参照ピクチャおよび出力画像として出力し、復号画像が非キーピクチャであれば、後処理バッファ１１０から後処理用参照ピクチャを取り出し、復号画像のうち背景領域に分類される画素にフィルタリングを施し、出力画像として出力する。
【００９１】
ＩＤＲＣフィルタ部１０９が非キーピクチャに対しておこなうフィルタリングの具体的な方法例を、図４（Ｂ）（変形例として、図５（Ｂ）、図６（Ｂ））に示す。
【００９２】
図４（Ｂ）において、ｑｉは復号画像のｑ番目の画素値、ｒ’ｉはキーピクチャのｉ番目の画素値、Ｒｄはダイナミックレンジの圧縮率Ｒｅの逆数でＲｄ＝１／Ｒｅ、ｑ０が出力画像のｉ番目の画素値であり、ｙ１やｙ２、ｙ３は中間値である。Ｒｅは、手動設定や伝送によってＤＲＣフィルタ部１０３とＩＤＲＣフィルタ部１０９とで共有されているものとする。
【００９３】
本フローチャートが示す画像処理を背景領域に属する画素に対して適用する。本手法では、ＲＯＩに属する画素については、ｑｉを無加工でｑ０とする。背景領域の画素値ｑｉのダイナミックレンジを、キーピクチャの画素値ｒ’ｉを中心に拡大することで、ダイナミックレンジの伸長をおこなう。なお、ＤＲＣフィルタの動作について説明している段落でも述べたとおり、本例では、ダイナミックレンジを圧縮する際に四捨五入する場合の例を示しているが、四捨五入を行う場合にのみ本発明の効果が出るわけではない為、四捨五入以外の切り捨てや切り上げをおこなう形態でも一定の効果は存在する。
【００９４】
ＩＤＲＣフィルタ部１０９の機能（図４（Ｂ）〜図６（Ｂ）の処理を含む）は、ＤＲＣフィルタ部１０３の機能の逆演算に相当するため、詳細な説明は省略する（Ｓ２３）。
【００９５】
なお、符号化前画像の画素値の中心値をｒｉ以外の値にする場合に、本例では差分値のダイナミックレンジを正負で同等に確保するため当該中心値を１２８に移しているが、ＤＲＣフィルタ部１０３の動作の項でも説明の通り中心値を１２８以外の値としても一定の効果は存在する。この場合、ＩＤＲＣフィルタ部１０９は、ＤＲＣフィルタ部１０３が符号化前画像の中心値として使用した中心値を中心にダイナミックレンジを伸長するようにする。具体的には、図４（Ｂ）や図６（Ｂ）のＩＤＲＣフィルタ部１０９の動作において、初めにｑｉより１２８を差し引くのではなく、ＤＲＣフィルタ部１０３で使用した中心値で差し引くようにする。中心値は、手動設定や伝送によってＤＲＣフィルタ部１０３とＩＤＲＣフィルタ部１０９とで共有されているものとする。
【００９６】
また、ＤＲＣフィルタ部１０３で、ダイナミックレンジを等倍に揃えない場合、ＩＤＲＣフィルタ部１０９においてもダイナミックレンジを等倍に揃える演算の逆演算にあたるｙ３＝ｙ２×２の実行（ステップＳ２０３の処理）は不要である。ダイナミックレンジを等倍に揃える演算の有無については、手動設定や伝送によってＤＲＣフィルタ部１０３とＩＤＲＣフィルタ部１０９とで共有されているものとする。
【００９７】
もし、非キーピクチャをフィルタリングするときに、取り出し可能なキーピクチャが後処理バッファ１１０にない場合には、図６のように、たとえば仮想的なキーピクチャの画素値１２８をｒ’ｉとして使用しても良いことも同じである。仮想的なキーピクチャの画素値は、手動設定や伝送によってＤＲＣフィルタ部１０３とＩＤＲＣフィルタ部１０９とで共有されているものとする。
【００９８】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００９９】
画像処理システム１では、入力画像をキーピクチャと非キーピクチャに分け、キーピクチャは無加工で符号化し、非キーピクチャはキーピクチャを用いてダイナミックレンジを圧縮してから符号化していることで、エンコーダの仕様および実装に手を加えることなしに、映像の伝送コストや蓄積コストを削減することができており、又キーピクチャを使用してダイナミックレンジの伸長も行っていることで、変化の小さい領域に関しては画質も維持されている。言い換えると、第１の実施形態の画像処理システム１は、ＲＯＩの品質は保証しつつ、画像全体の高画質化と符号量削減を両立できている。
【０１００】
（Ｂ）第２の実施形態
以下、本発明による符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムの第２の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。
【０１０１】
（Ｂ−１）第２の実施形態の構成
図７は、第２の実施形態に係る画像処理システム１Ａの構成について示すブロック図である。なお、図７おいて、実線の矢印は、この実施形態における必須の処理（及び情報）の流れを示しているが、破線の矢印は必ずしもこの実施形態の効果を奏するために必須の処理（及び情報）では無い。以下、破線の矢印に係る処理（及び情報）については、適宜補足的に説明するものとする。
【０１０２】
画像処理システム１Ａでは、図１の画像符号化装置１０と画像復号装置２０が、画像符号化装置１０Ａと画像復号装置２０Ｂに置き換わっている点で第１の実施形態と異なっている。以下では、第２の実施形態について第１の実施形態との差異を中心に説明する。
【０１０３】
第２の実施形態の画像符号化装置１０Ａにおいて、前処理部２００Ａは、前処理ピクチャタイプ制御部１０１と、前処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合にはＲＯＩ付与画像を、非キーピクチャであることを指し示している場合にはＲＯＩ付与画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、符号化前画像として出力するＤＲＣフィルタ部１０３とを有している。
【０１０４】
第２の実施形態の画像復号装置２０Ａにおいて、後処理部３００Ａは、後処理ピクチャタイプ制御部１０８と、後処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合には復号画像を、非キーピクチャであることを指し示している場合には復号画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、再構成前画像として出力するＩＤＲＣフィルタ部１０９と、後処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合には再構成前画像を、非キーピクチャであることを指し示している場合には再構成前画像にキーピクチャを用いた再構成処理を施した画像を、出力画像として出力する再構成部２１１と、再構成部２１１用のバッファである後処理バッファ１１０とを有している。
【０１０５】
再構成部２１１は、キーピクチャと判定されている再構成前画像を後処理用蓄積ピクチャとして出力することで後処理バッファ１１０に蓄積し、非キーピクチャと判定されている再構成前画像をキーピクチャの情報を用いて再構成処理するために、キーピクチャを後処理用参照ピクチャとして後処理バッファ１１０から取り出すという機能も備える。
【０１０６】
詳細は後述するが、再構成部２１１は、エンコーダ部４０６が使用した品質パラメータ（例えば量子化パラメータ）に応じた再構成をおこなうこともできるため、図３では品質パラメータを再構成部２１１に入力する例も点線で示している。
【０１０７】
（Ｂ−２）第２の実施形態の動作
図８は、第２の実施形態に係る画像処理システムの動作を示すフローチャートである。図８と前述の図２の内、同一符号の処理は同様の処理であるので、以下では、第２の実施形態の画像処理システム１Ａの特有の処理のみついて述べる。
【０１０８】
（Ｂ−２−１）画像符号化装置１０Ａの動作
図８（Ａ）は、第２の実施形態に係る画像符号化装置１０Ａの動作を示すフローチャートである。
【０１０９】
前述のステップＳ１２の後、ＤＲＣフィルタ部１０３は、前処理ピクチャタイプを参照し、ＲＯＩ付与画像がキーピクチャであれば、ＲＯＩ付与画像を符号化前画像として出力し、ＲＯＩ付与画像が非キーピクチャであれば、ＲＯＩ付与画像のうち背景領域に分類される画素に仮想的なキーピクチャの画素値を用いたフィルタリングを施し、符号化前画像として出力する（Ｓ３１）。
【０１１０】
（Ｂ−２−２）画像復号装置２０Ａの動作
図８（Ｂ）は、第２の実施形態に係る画像復号装置２０Ａの動作を示すフローチャートである。
【０１１１】
前述のステップＳ２２の後、ＩＤＲＣフィルタ部１０９は、後処理ピクチャタイプを参照し、復号画像がキーピクチャであれば、復号画像を再構成前画像として出力し、復号画像が非キーピクチャであれば、復号画像のうち背景領域に分類される画素に仮想的なキーピクチャの画素値を用いたフィルタリングを施し、再構成前画像として出力する（Ｓ４１）。
【０１１２】
ここで、ＤＲＣフィルタ部１０３やＩＤＲＣフィルタ部１０９で使用するフィルタリングは、キーピクチャを使用しないもの存在する。従って、前述の図６で示したアルゴリズムを用いて、ダイナミックレンジを圧縮したり伸長したりする。具体的には、例えば１２８を仮想的なキーピクチャの画素値としてダイナミックレンジを圧縮したり伸長したりする。図６に関する詳細な説明は第１の実施形態で説明した通りである。
【０１１３】
なお、第２の実施形態では、ＤＲＣフィルタ部１０３がキーピクチャに基づくフィルタリングを行っていないため、背景領域はダイナミックレンジが圧縮されているのみで、つまり画素値信号の振幅が抑圧されているだけで、映像として人間が認識可能なものとなっている。そのため、第２の実施形態では仮に後処理部３００Ａが存在しなくても一定の効果は得られる。同様に、ＩＤＲＣフィルタ部１０９は利用可能で、再構成部２１１が存在しない場合でも一定の効果は得られる。この場合は、抑圧されていた振幅が限定的な精度で復元された映像を視聴することが可能になる。
【０１１４】
次に、再構成部２１１は、後処理ピクチャタイプを参照し、再構成前画像がキーピクチャであれば、再構成前画像を後処理用参照ピクチャおよび出力画像として出力し、再構成前画像が非キーピクチャであれば、後処理バッファ１１０から後処理用参照ピクチャを取り出し、再構成前画像のうち背景領域に分類される画素に再構成処理を施し、出力画像として出力する（Ｓ４２）。
【０１１５】
以下では、再構成部２１１で再構成をおこなうための具体的なアルゴリズム例を図９〜図１１を挙げてそれぞれ説明する。
【０１１６】
図９は第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その１）である。
【０１１７】
図９において、ｓｉはキーピクチャのｉ番目の画素値、Ｌｉは出力画像のｉ番目の画素値の存在区間の下限値、Ｕｉは出力画像のｉ番目の画素値の存在区間の上限値、ｚ０は出力画像のｉ番目の画素値を示している。
【０１１８】
再構成部２１１は、ｓｉがＬｉより小さいか否か判定を行い（Ｓ７０１）、ｓｉがＬｉより小さい場合には、ｚ０をＬｉとする（Ｓ７０２）。また、再構成部２１１は、ｓｉがＬｉ以上の場合には、ｓｉがＵｉより大きいか否か判定を行う（Ｓ７０３）。再構成部２１１は、ｓｉがＵｉより大きい場合にはｚ０をＵｉとし（Ｓ７０４）、それ以外の場合にはｚ０をｓｉとする（Ｓ７０５）。
【０１１９】
つまり、ステップＳ７０１〜Ｓ７０５の処理は、キーピクチャの画素値ｓｉが存在区間に含まれる場合はｓｉを出力画像の画素値ｚ０として採用し、ｓｉが存在区間の外にある場合は、ｓｉがある側の境界値をｚ０として採用するアプローチである。
【０１２０】
ＬｉとＵｉは、再構成前画像のｉ番目の画素値ｖｉを用いて、以下の(１)及び(２)式により求める。
【数１】
2019057900.tif 000003
【０１２１】
上記(１)及び(２)式において、ｗは出力画像の存在区間の大きさを表している。なお、ｗ／２は切り捨てを基本とするが、切り上げても四捨五入でも一定の効果は存在する。ｗは、例えば、以下の（３）式により求める。
【数２】
2019057900.tif 000004
【０１２２】
上記（３）式において、ＷＱはエンコーダ部４０６で発生する量子化ステップで、エンコーダ部４０６がロスレスエンコーダである場合は１．０である。Ｒｄは前述のとおりダイナミックレンジの圧縮率Ｒｅの逆数Ｒｄ＝１／Ｒｅで、ＤＲＣフィルタ部１０３で発生する存在区間の大きさとも解釈できるので、この実施形態では符号化全体で発生する存在区間の大きさｗを、ＲｄにＷＱを乗じることで求めている。なお、Ｒｄは、手動設定や伝送によってＩＤＲＣフィルタ部１０９と再構成部２１１とで共有されているものとする。
【０１２３】
なお、Ｒｄが偶数の場合、Ｕｉを計算する際に１で減算しても良い。つまり、以下の（４）式としても良い。
【数３】
2019057900.tif 000005
【０１２４】
１を減算する理由は、前述の図４〜図６において、ダイナミックレンジを圧縮する際に四捨五入することを基本として想定しており（前述のとおり、ＤＲＣフィルタやＩＤＲＣフィルタにおいて、四捨五入する場合のみ本発明の効果が出るわけではない為、四捨五入以外の切り捨てや切り上げをおこなう形態でも一定の効果は存在する）、四捨五入には正のバイアスが発生しうるという性質があるためである。例えば、１の位で四捨五入すると１０になる整数は５から１４であるが、１０より小さい数は５から９の５個あるのに対し、１０より大きい数は１１から１４の４個しかない。この影響を考慮し、存在区間を求める際にｖｉよりも大きい数の候補を、ｖｉよりも小さい数の候補より１個減らすことを考えたものが、前述の（４）式である。
【０１２５】
エンコーダ部４０６がＡＶＣで圧縮する場合、ＷＱはビデオエンコーダに与えられるパラメータである量子化パラメータｑＰ（図７中の品質パラメータの一例が量子化パラメータｑＰである）を用いて、例えば、以下の（５）、（６）式により求められる。
【数４】
2019057900.tif 000006
【０１２６】
上記（６）式において、関数Ｌは、例えば、図１２に示すルックアップテーブルＴである。（６）式は、ＡＶＣで定義されているＤＣ成分に対する量子化ステップＷｓの計算式である。Ｗｓは、トランスフォームドメインで定義される量子化ステップであるため、Ｗｓを４で割ることでトランスフォームドメインの量子化ステップＷｓをピクセルドメインの量子化ステップＷＱに変換している。なお、ビデオエンコーダが周波数ドメインで量子化する以上、ピクセルドメインにおける厳密な存在区間を求めることはできない。そのため、ｗはあくまで近似された存在区間とみなさなければならない。
【０１２７】
なお、ここで挙げたｗやＷＱの求め方は、あくまで一例であり、例えば品質パラメータに応じたｗやＷＱをルックアップテーブルや任意の関数の形で予め決めておくという方法でも良い。
【０１２８】
図１０は第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その２）である。
【０１２９】
図９の方法が注目する（出力画像の画素値をこれから求める）色成分のみに基づき出力画像の画素値を決めていたのに対し、図１０の方法は、他色（本実施形態では注目する色成分も含めて合計３色）の色成分を用いて出力画像の画素値を決める手法である。図１０において、Ｓｉは注目する色成分のキーピクチャのｉ番目の画素値であり、ｓｉｃ１，ｓｉｃ2は他色成分のキーピクチャのｉ番目の画素値である。例えば、色空間が動画像符号化で一般的なＹＵＶ（輝度成分（Ｙ）及び色差成分（Ｕ，Ｖ））の場合、ｓｉがＹ成分のキーピクチャの画素値であるとすると、ｓｉｃ１，ｓｉｃ2はそれぞれＵ成分およびＶ成分のキーピクチャの画素値であり、ｓｉがＵ成分のキーピクチャの画素値であるとすると、ｓｉｃ１，ｓｉｃ2はそれぞれＹ成分およびＶ成分のキーピクチャの画素値であり、ｓｉがＶ成分のキーピクチャの画素値であるとすると、ｓｉｃ１，ｓｉｃ2はそれぞれＹ成分およびＵ成分のキーピクチャの画素値である。
【０１３０】
なお、動画像符号化では、色差成分（Ｕ成分とＶ成分）の縦または横またはその両方の解像度が、輝度成分（Ｙ成分）の半分の解像度で圧縮されることも多い。この場合、ｓｉがＹ成分の画素値である場合、ｓｉｃ１，ｓｉｃ2はｓｉを空間的に内包する位置のＵ成分およびＶ成分の画素値とし、ｓｉがＵ成分の画素値である場合、ｓｉｃ１，ｓｉｃ2はｓｉが空間的に内包する空間内の何れかの画素値（例えば、それぞれ左上のＹ成分の画素値と空間的に同じ位置のＶ成分の画素値）とし、ｓｉがＶ成分の画素値である場合、ｓｉｃ１，ｓｉｃ2はｓｉが空間的に内包する空間内の何れかの画素値（例えば、それぞれ左上のＹ成分の画素値と空間的に同じ位置のＵ成分の画素値）とする。
【０１３１】
Ｌｉは出力画像のｉ番目の画素値の存在区間の下限値、Ｕｉは出力画像のｉ番目の画素値の存在区間の上限値で、Ｌｉｃ１，Ｌｉｃ2，Ｕｉｃ１，Ｕｉｃ2は下記（７）〜（１０）式によって求められる他色の出力画像の画素値の存在区間の下限と上限である。
【数５】
2019057900.tif 000007
【０１３２】
上記各式において、ｖｉｃ１，ｖｉｃ2は、ｓｉｃ１，ｓｉｃ2に対応する再構成前画像の他色成分で、ＩＤＲＣフィルタ部１０９によって生成された画素値である。ｗの意味は前述の図９で示した方法と同じである。
【０１３３】
また、図１０において、ｚ０は出力画像のｉ番目の画素値を示している。なお、ｗ／２は切り捨てを基本とするが、切り上げても四捨五入でも一定の効果は存在する。
【０１３４】
再構成部２１１は、ｓｉがＬｉ以上Ｕｉ以下、ｓｉｃ１がＬｉｃ１以上Ｕｉｃ１以下、ｓｉｃ2がＬｉｃ2以上Ｕｉｃ2以下か否かの判定を行い（Ｓ８０１）、条件に合致する場合には、ｚ０をｓｉとする（Ｓ８０２）。条件に合致しない場合の処理（Ｓ７０１〜７０５）は図９の場合と同様である。
【０１３５】
図１０では、注目する色成分に加えて、空間的に同位置または近傍位置に位置する注目する色成分以外の色成分でもキーピクチャの画素値が存在区間内に収まっているとき、キーピクチャは正しい可能性が高いと信じてｓｉをｚ０として採用する。一方、ｓｉが存在区間の外にある場合は、ｓｉがある側の境界値をｚ０して採用する。ｓｉが存在区間内に収まっているにも関わらず、ｓｉｃ１，ｓｉｃ2が存在区間外にある場合、キーピクチャを信じることはできないため、存在区間の中間値にあたる再構成前画像のｉ番目の画素値にあたるｖｉをｚ０とする。
【０１３６】
なお、Ｒｄが偶数の場合、Ｕｉ，Ｕｉｃ１，Ｕｉｃ2を計算する際に１で減算しても良い。つまり、以下の（１１）〜（１３）式としても良い。
【数６】
2019057900.tif 000008
【０１３７】
１を減算する理由は、図４〜図６の処理において、ダイナミックレンジを圧縮する際に四捨五入することを基本として想定しており（前述のとおり、ＤＲＣフィルタやＩＤＲＣフィルタにおいて、四捨五入する場合のみ本発明の効果が出るわけではない為、四捨五入以外の切り捨てや切り上げをおこなう形態でも一定の効果は存在する）、四捨五入には正のバイアスが発生しうるという性質があるためである。例えば、１の位で四捨五入すると１０になる整数は５から１４であるが、１０より小さい数は５から９の５個あるのに対し、１０より大きい数は１１から１４の４個しかない。この影響を考慮し、存在区間を求める際にｖｉよりも大きい数の候補を、ｖｉよりも小さい数の候補より１個減らすことを考えたものが前述の（１１）〜（１３）式である。
【０１３８】
図１１は第２の実施形態に係る再構成部の再構成処理を示すフローチャート（その３）である。
【０１３９】
図１１の方法は図１０の方法の派生方法である。再構成部２１１は、前述のステップＳ８０１の条件に合致しない場合には、ｓｉがＬｉ未満、ｓｉｃ１がＬｉｃ１未満、ｓｉｃ2がＬｉｃ2未満か否かの判定を行い（Ｓ９０１）、条件に合致する場合には、ｚ０をＬｉとする（Ｓ９０２）。一方、再構成部２１１は、前述のステップＳ９０１の条件に合致しない場合には、ｓｉがＵｉ以上、ｓｉｃ１がＵｉｃ１以上、ｓｉｃ2がＵｉｃ2以上か否かの判定を行い（Ｓ９０３）、条件に合致する場合には、ｚ０をＵｉとし（Ｓ９０４）、条件に合致しない場合には、ｚ０をｖｉとする（Ｓ９０５）。
【０１４０】
つまり、図１１の方法は、注目する色成分に加えて、空間的に同位置または近傍位置に位置する注目する色成分以外の色成分でもキーピクチャの画素値が存在区間内に収まっているとき、キーピクチャは正しい可能性が高いと信じてｓｉをｚ０として採用する。ｓｉが存在区間の外にある場合で、ｓｉｃ１，ｓｉｃ2もまた同じ側で存在区間の外にある場合、ｓｉがある側の境界値をｚ０として採用する。それ以外の場合では、キーピクチャを信じることはできないため、存在区間の中間値にあたる再構成前画像のｉ番目の画素値にあたるｖｉをｚ０とする。
【０１４１】
なお、前述の図９〜図１１の方法は、キーピクチャの画素値のスケール（つまり、ダイナミックレンジを圧縮していない入力画像オリジナルのスケール）で閾値判定する例であるが、逆に復号画像の非キーピクチャの背景領域の画素値のスケール（つまり、ダイナミックレンジが圧縮された状態のスケール）で閾値判定しても良い。復号画像の背景領域の画素値のスケールで閾値判定する場合には、キーピクチャの背景領域の画素値のダイナミックレンジを復号画像の非キーピクチャの背景領域の画素値のダイナミックレンジと同じ圧縮率で圧縮してからキーピクチャの背景領域の画素値が存在区間内にあるかを比較すれば良い。この場合、ｗはｗ＝ＷＱで求めればよく、つまりＲｄ＝１．０とみなして存在区間を求めれば良い。どちらのスケールで比較したとしても、違いは比較するスケールにあるだけであり意味的な違いはなく、同様の効果を発揮する。
【０１４２】
なお、図９〜図１１の方法のいずれの方法も、再構成前画像の画素値とＤＲＣフィルタ部１０３のパラメータとエンコーダ部４０６のパラメータとから出力画像の画素値の存在区間を求め、キーピクチャの画素値をサイドインフォメーションとして使って当該存在区間のなかから適切そうな出力画像の画素値を推定しているという意味では共通した方法である。
【０１４３】
また、存在区間とサイドインフォメーションに基づき、確率的に画素値を決定する方法として、例えば、非特許文献１〜非特許文献３が提案されているが、これらの文献が示すような出力画像の画素値の決定方法としても良い。図１２〜図１４の方法は、いずれも、存在区間とサイドインフォメーションに基づき、確率的に画素値を決定する方法のうち、もっとも基本なものである。
【０１４４】
また、本実施形態ではサイドインフォメーションｓｉをキーピクチャの画素値としているが、非特許文献１〜非特許文献３に示されている通り、サイドインフォメーションｓｉはキーピクチャの画素値と規定されている訳ではない。そのため、キーピクチャの画素値は、例えば直前に画像復号装置２０Ａより出力された出力画像の画素値としても良いし、再構成前画像と参照画像（キーピクチャや直前に画像復号装置２０Ａより出力された出力画像）とを用いて画素ごと又は１個以上の画素の集合であるブロックごとに動きベクトルを推定し、当該動きベクトルを使用して動き補償予測した予測画像の画素値としても良い。この場合、後処理バッファ１１０には、キーピクチャに限らずサイドインフォメーションを生成するのに必要な画像情報を格納するものとする。
【０１４５】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。
【０１４６】
画像処理システム１Ａは、入力画像をキーピクチャと非キーピクチャに分け、キーピクチャは無加工で符号化し、非キーピクチャはダイナミックレンジを圧縮してから符号化していることで、エンコーダの仕様および実装に手を加えることなしに、映像の伝送コストや蓄積コストを削減することができており、ダイナミックレンジの伸長やキーピクチャを使用した再構成も行っていることで、変化の小さい領域に関しては画質も維持されている。言い換えると、画像処理システム１Ａは、ＲＯＩの品質は保証しつつ、画像全体の高画質化と符号量削減を両立できている。
【０１４７】
また、第１の実施形態と異なり、第２の実施形態の画像符号化装置１０Ａは、キーピクチャをバッファリングすることなしに（つまり参照することなしに）ダイナミックレンジを圧縮しているため、画像符号化装置のメモリ消費量が削減されている。
【０１４８】
さらに、第２の実施形態では、背景領域はダイナミックレンジが圧縮されているのみで、つまり画素値信号の振幅が抑圧されているだけで、映像として人間が認識可能なものとなっている。そのため、後処理部が存在しなくても意味のある映像が視聴できるという効果がある。同様に、ＩＤＲＣフィルタ部は利用可能で、再構成部が存在しない場合でも意味のある映像を視聴できるという効果がある。この場合は、抑圧されていた振幅が限定的な精度で復元された映像を視聴することが可能になる。したがって、たとえば演算量の問題で後処理部や再構成部が使用できなくても意味のある映像の再生をおこなうことができる。このように第２の実施形態には復号側の演算量にスケーラビリティを持たせられるという効果もある。
【０１４９】
（Ｃ）第３の実施形態
以下、本発明による符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システムの第３の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。
【０１５０】
（Ｃ−１）第３の実施形態の構成
図１３は、第３の実施形態に係る画像処理システム１Ｂの構成について示すブロック図である。なお、図１３おいて、実線の矢印は、この実施形態における必須の処理（及び情報）の流れを示しているが、破線の矢印は必ずしもこの実施形態の効果を奏するために必須の処理（及び情報）では無い。以下、破線の矢印に係る処理（及び情報）については、適宜補足的に説明するものとする。
【０１５１】
画像処理システム１Ｂでは、図１（図７）の画像符号化装置１０（１０Ａ）と画像復号装置２０（２０Ａ）が、画像符号化装置１０Ｂと画像復号装置２０Ｂに置き換わっている点で第１及び第２の実施形態と異なっている。以下では、第３の実施形態について第１及び第２の実施形態との差異を中心に説明する。
【０１５２】
第３の実施形態の画像符号化装置１０Ｂにおいて、前処理部２００Ｂは、前処理ピクチャタイプ制御部１０１と、前処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合にはＲＯＩ付与画像を、非キーピクチャであることを指し示している場合にはＲＯＩ付与画像に仮想的なキーピクチャの画素値を参照するフィルタリングを施した画像を、内部画像として出力するＤＲＣフィルタ部１０３と、前処理ピクチャタイプが非キーピクチャを指している場合には、内部画像にＲＯＩ情報（ＲＯＩの位置や大きさ）に基づき符号化用品質パラメータを付与して、符号化前画像として出力する品質パラメータ制御部３０５とを有する。
【０１５３】
エンコーダ部４０６は、ＡＶＣ等の画像符号化方式を用いて、符号化前画像に付与されている符号化用品質パラメータに基づき符号化前画像を圧縮し、ビットストリームを出力する。
【０１５４】
画像復号装置２０Ｂにおいて、再構成部２１１は、後処理ピクチャタイプを参照し、キーピクチャであることを指し示している場合には再構成前画像を、非キーピクチャであることを指し示している場合には再構成前画像に再構成処理を施した画像を、出力画像として出力し、再構成処理の過程で品質パラメータを使用するときには該当する背景領域の品質パラメータを使用する。
【０１５５】
（Ｃ−２）第３の実施形態の動作
図１４は、第３の実施形態に係る画像処理システムの動作を示すフローチャートである。図１４と図２（及び図８）の内、同一符号の処理は同様の処理であるので、以下では、第３の実施形態の画像処理システム１Ｂの特有の処理のみついて述べる。
【０１５６】
（Ｃ−２−１）画像符号化装置１０Ｂの動作
図１４（Ａ）は、第３の実施形態に係る画像符号化装置１０Ｂの動作を示すフローチャートである。
【０１５７】
前述のステップＳ１２の後、ＤＲＣフィルタ部１０３は、前処理ピクチャタイプを参照し、ＲＯＩ付与画像がキーピクチャであれば、ＲＯＩ付与画像を内部画像として出力し、ＲＯＩ付与画像が非キーピクチャであれば、ＲＯＩ付与画像のうち背景領域に分類される画素に仮想的なキーピクチャの画素値を用いたフィルタリングを施し、内部画像として出力する（Ｓ５１）。
【０１５８】
品質パラメータ制御部３０５は、前処理ピクチャタイプを参照し、内部画像がキーピクチャであれば、内部画像の画像全体に一様な符号化用品質パラメータを付与して符号化前画像として出力し、内部画像が非キーピクチャであれば、内部画像に付与されたＲＯＩ情報に基づき非一様な符号化用品質パラメータを付与して符号化前画像として出力する（Ｓ５２）。具体的には、背景領域には粗い量子化（画質が低くなる）を、ＲＯＩには細かい量子化（画質が高くなる）をおこなうように誘導する符号化用品質パラメータを付与する。
【０１５９】
なお、この実施形態で述べる一様な符号化用品質パラメータとは、必ずしもすべての領域で量子化パラメータが同一であることを指すものでは無い。動画像符号化の分野には、画像の特長に応じて量子化パラメータを画面内で割り振る方式も存在するが、このような方式も一様な符号化用品質パラメータの一種とみなす。一様な符号化用品質パラメータと非一様な符号化用品質パラメータの違いは、ＲＯＩ情報に基づき領域によって品質パラメータが差別化されているか否かにある。
【０１６０】
エンコーダ部４０６は、ＡＶＣ等の画像符号化方式を用いて、符号化前画像を圧縮し、ビットストリームを出力する（Ｓ５３）。符号化する際の品質パラメータには、符号化前画像に付与されたものを使用する。
【０１６１】
（Ｃ−２−２）画像復号装置２０Ｂの動作
前述のステップＳ４１の後、再構成部２１１は、後処理ピクチャタイプを参照し、再構成前画像がキーピクチャであれば、再構成前画像を後処理用参照ピクチャおよび出力画像として出カし、再構成前画像が非キーピクチャであれば、後処理バッファ１１０から後処理用参照ピクチャを取り出し、再構成前画像のうち背景領域に分類される画素に再構成処理を施し、出力画像として出力する（Ｓ６１）。
【０１６２】
第２の実施形態でも説明したの通り、再構成部２１１は品質パラメータに基づき再構成を行う動作も考えられる。具体的には、品質パラメータを用いて、ｗを決定するという動作例が存在する。品質パラメータを用いた再構成をおこなうときには、各再構成する背景領域ごとに、割り振られている品質パラメータ（品質パラメータ制御部３０５によって割り振られた値）に基づき、エンコーダ部４０６で発生する量子化ステップまたはその近似値を求めて使用する。
【０１６３】
なお、この実施形態では、第１の実施形態や第２の実施形態のように前処理部２００（２００Ａ）において、ＤＲＣフィルタ部１０３を用いてダイナミックレンジの圧縮もおこなっているが、本実施形態では品質パラメータ制御部３０５によってＲＯＩと背景領域の品質に差がつけられるため、Ｒｅ＝１．０の場合でも、つまりＲＯＩ付与画像が内部画像として品質パラメータ制御部３０５に入力される構成でも一定の効果は得られる。この場合、Ｒｄ＝１．０なので、復号画像が再構成前画像として再構成部２１１に入力される構成でも一定の効果は得られる。
【０１６４】
（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、以下のような効果を奏することができる。
【０１６５】
画像処理システム１Ｂは、画像をキーピクチャと非キーピクチャに分け、キーピクチャは無加工かつ画像全体が一様な品質パラメータで符号化し、非キーピクチャはダイナミックレンジを圧縮しつつ非一様な品質パラメータを割り振ってから符号化していることで、映像の伝送コストや蓄積コストを削減することができており、キーピクチャを使用して再構成をおこなっていることで、変化の小さい領域に関しては画質も維持されている。言い換えると、画像処理システム１Ｂは、ＲＯＩの品質は保証しつつ、画像全体の高画質化と符号量削減を両立できている。後処理部や再構成部が使用できなくても意味のある映像を視聴可能であるという効果は第２の実施形態と同様である。
【０１６６】
（Ｄ）他の実施形態
前述した第１〜第３の実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【０１６７】
（Ｄ−１）前述した第１〜第３の実施形態において、上記では説明を簡単にするために、画像全体がＲＯＩと背景領域の２種類に区別される例を示しているが、背景領域にも重要度の段階があっても良い。例えば、ＲＯＩの設定に歩行者検出アルゴリズムと顔検出アルゴリズムを使用し、顔検出アルゴリズムによって検出されたＲＯＩは顔領域として、歩行者検出アルゴリズムによって検出された歩行者領域は相対的に重要な背景領域とし、顔でも歩行者でもない領域は相対的に重要ではない背景領域としても良い。この場合、背景領域の重要度に応じてダイナミックレンジの圧縮率Ｒｅや符号化用品質パラメータに異なる値を割り振って良く、例えば、相対的に重要な背景領域には弱いフィルタリング（相対的に高画質になるフィルタリング）を行い、相対的に重要ではない背景領域には強いフィルタリング（相対的に低画質になるフィルタリング）を行うという構成でも良い。割り振りは、例えば予め設定あるいは作成しておいた背景領域の重要度とフィルタ強度のルックアップテーブルに基づいておこなえば良い。また、上記では説明を簡単にするためにＲＯＩにはフィルタリングを適用しない例を示しているが、ＲＯＩに背景領域よりも弱いフィルタリングをかける構成であっても良い。
【０１６８】
（Ｄ−２）前述した第１〜第３の実施形態において、例えば顔領域をＲＯＩとしたときの背景領域を劣化させデータ量を削減する例を示しているが、顔領域のようにしばしばＲＯＩとして選ばれる領域を劣化させても良い。この場合、本明細書における言葉の定義上は、非顔領域がＲＯＩであり、顔領域が背景領域である。非顔領域をＲＯＩとすることで、たとえばプライバシーを守ることができるなどの効果も得られる。
【０１６９】
（Ｄ−３）前述した第１〜第３の実施形態において、機能ブロック間のデータの受け渡しを画像単位でおこなっているように記述しているが、画素値信号のデータの意味を明らかにするためであり、実装等では画素単位にデータを受け渡ししても良い。
【０１７０】
（Ｄ−４）前述した第１〜第３の実施形態において、ＲＯＩとは主に画像空間の一部の限定された領域のように記載しているが、画像全体がＲＯＩであったり画像全体が背景領域であったりする画像が存在しても良い。
【０１７１】
（Ｄ−５）前述した第１〜第３の実施形態において、画像符号化装置１０（１０Ａ、１０Ｂ）内の各機能や画像復号装置２０（２０Ａ、２０Ｂ）内の各機能は単一の装置のなかに実装されているように記述しているが、これらは実装例の一つであり、各機能が別の装置で実装されていたとしても、各信号が各構成図（図１、図７、図１３）のように入出力がなされていれば本発明の効果は得られる。つまり、画像符号化装置１０（１０Ａ、１０Ｂ）や画像復号装置２０（２０Ａ、２０Ｂ）が１個以上の装置から構成され、それぞれの機能が分散して実装されていたとしても本発明の効果は存在する。
【０１７２】
（Ｄ−６）特に第２の実施形態や第３の実施形態において、すべての色成分で同じダイナミックレンジの圧縮率Ｒｅを使用しているように記述しているが、全ての実施形態において色成分ごとにダイナミックレンジの圧縮率Ｒｅは異なる物であっても良い。
【０１７３】
（Ｄ−７）前述した第２及び第３の実施形態において、画像符号化装置１０Ａ、１０Ｂは、ＲＯＩ設定部４０２を有する例を示したが、変形例として画像符号化装置１０Ａ、１０Ｂは、ＲＯＩ設定部４０２を有しなくても良い。この場合、変形例の符号化装置１０Ａ、１０Ｂは、ＲＯＩ設定部４０２が入力画像には興味領域（ＲＯＩ）が存在しないと判定された場合と同様の動作となる。つまり、図７及び図１３で示されるＲＯＩ付与画像は、実際にはＲＯＩの存在しない入力画像となる（後段のＤＲＣフィルタ部１０３に入力画像がそのまま入力される）。変形例の符号化の処理、及び画像復号装置２０Ａ、２０Ｂの復号処理については前述の第２及び第３の実施形態で述べた処理をそのまま適用することができる。
【符号の説明】
【０１７４】
１、１Ａ、１Ｂ…画像処理システム、１０、１０Ａ、１０Ｂ…画像符号化装置、２０、２０Ａ、２０Ｂ…画像復号装置、１０１…前処理ピクチャタイプ制御部、１０３…ＤＲＣフィルタ部、１０４…前処理バッファ、１０８…後処理ピクチャタイプ制御部、１０９…ＩＤＲＣフィルタ部、１１０…後処理バッファ、２００、２００Ａ、２００Ｂ…前処理部、２１１…再構成部、３００、３００Ａ、３００Ｂ…後処理部、３０５…品質パラメータ制御部、４０２…ＲＯＩ設定部、４０６…エンコーダ部、４０７…デコーダ部。
【図１】
2019057900.tif 000009
【図２】
2019057900.tif 000010
【図３】
2019057900.tif 000011
【図４】
2019057900.tif 000012
【図５】
2019057900.tif 000013
【図６】
2019057900.tif 000014
【図７】
2019057900.tif 000015
【図８】
2019057900.tif 000016
【図９】
2019057900.tif 000017
【図１０】
2019057900.tif 000018
【図１１】
2019057900.tif 000019
【図１２】
2019057900.tif 000020
【図１３】
2019057900.tif 000021
【図１４】
2019057900.tif 000022
【図１５】
2019057900.tif 000023