(57)【要約】【課題】  背景領域と注目領域の境界領域で画素間の相互作用による画質低下を緩和できる符号化装置を提供する。【解決手段】  本発明は、入力画像を符号化する符号化装置において、前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有することを特徴とする。【選択図】      図１
2019087883.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化する符号化装置において、
前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、
前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、
前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部と
を有することを特徴とする符号化装置。
【請求項２】
前記注目領域座標補正部は、前記注目領域情報に基づき、前記注目領域を、Ｎ（Ｎは１以上の整数）画素だけ周辺方向に拡大する注目領域拡大部を有し、
前記注目領域座標補正部は、前記注目領域拡大部を用いて拡大した拡大注目領域情報を前記補正済み注目領域情報として出力する
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記注目領域座標補正部は、前記拡大注目領域情報を、前記背景領域と前記注目領域の境界がブロック境界に揃うように正規化する注目領域座標正規化部を有し、
前記注目領域座標補正部は、前記注目領域座標正規化部を用いて正規化した前記拡大注目領域情報を前記補正済み注目領域情報として出力する
ことを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記注目領域座標正規化部は、所定の大きさのブロックに属する画素の内、１画素でも前記注目領域に含まれているならば、前記ブロックに含まれる画素は全て前記注目領域に属するとみなすことで正規化を行うことを特徴とする請求項３に記載の符号化装置。
【請求項５】
前記所定の画像符号化方式は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、又はＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣであり、
前記Ｎは１若しくは２又は３である
ことを特徴とする請求項２〜４のいずれかに記載の符号化装置。
【請求項６】
前記入力画像は、前記背景領域に属する画素の内、前記注目領域を囲むＭ（Ｍは１以上の整数）重の画素の集合である境界領域と、前記背景領域に属する画素の内、前記境界領域以外の画素の集合である外部領域とを含み、
前記前処理部は、
前記補正済み注目領域情報に基づき、前記入力画像の内、前記外部領域に属する画素を特定し、特定した前記外部領域に属する画素にダイナミックレンジを限定するフィルタリングを施す外部領域用前処理部と、
前記補正済み注目領域情報に基づき、前記入力画像の内、前記境界領域に属する画素を特定し、特定した前記境界領域に属する画素にダイナミックレンジを限定するフィルタリングを施す境界領域用前処理部とを有する
ことを特徴とする請求項１〜５のいずれかに記載の符号化装置。
【請求項７】
前記境界領域に属する画素のダイナミックレンジを、前記外部領域に属する画素向けのダイナミックレンジよりも広いダイナミックレンジに限定することを特徴とする請求項６に記載の符号化装置。
【請求項８】
前記境界領域が２重以上になっている場合、Ｙ（Ｙは１以上の整数）重目の前記境界領域のダイナミックレンジが、Ｙ＋１重目の前記境界領域のダイナミックレンジ以上の大きさのダイナミックレンジとすることを特徴とする請求項６又は７に記載の符号化装置。
【請求項９】
前記所定の画像符号化方式は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、又はＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣであり、
前記Ｍは１若しくは２又は３である
ことを特徴とする請求項６〜８のいずれかに記載の符号化装置。
【請求項１０】
前記注目領域座標補正部は、前記注目領域拡大部を備えず、前記注目領域情報が前記拡大注目領域情報として前記注目領域座標正規化部に入力されることを特徴とする請求項６〜９のいずれかに記載の符号化装置。
【請求項１１】
当該符号化装置は、前記注目領域座標補正部を備えず、前記注目領域情報が直接前記補正済み注目領域情報として前記前処理部に入力されることを特徴とする請求項６〜９のいずれかに記載の符号化装置。
【請求項１２】
符号化装置と復号装置とが対向する画僧処理システムにおいて、
前記符号化装置として、請求項１〜１１のいずれかに記載の符号化装置を適用したことを特徴とする画僧処理システム。
【請求項１３】
前記復号装置は、
入力された前記符号化データを、前記符号化部で使用した前記所定の画像符号化方式に対応する方式で復号し、復号画像として出力する復号部と、
前記注目領域情報に基づき、前記復号画像の内、前記背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを回復するフィルタリングを施し、出力画像として出力する後処理部とを有する
ことを特徴とする請求項１２に記載の画僧処理システム。
【請求項１４】
符号化装置と復号装置とが対向する画僧処理システムにおいて、
前記符号化装置として、請求項６〜１１のいずれかに記載の符号化装置を適用し、
前記復号装置は、
入力された前記符号化データを、前記符号化部で使用した前記所定の画像符号化方式に対応する方式で復号し、復号画像として出力する復号部と、
前記補正済み注目領域情報に基づき、前記復号画像の内、前記外部領域に属する画素を特定し、特定した前記外部領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施す外部領域用後処理部と、
前記補正済み注目領域情報に基づき、前記復号画像の内、前記境界領域に属する画素を特定し、特定した前記該境界領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施す境界領域用後処理部とを有する
ことを特徴とする画僧処理システム。
【請求項１５】
入力画像を符号化する符号化装置に搭載されるコンピュータを、
前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、
前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、
前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、
所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部と
して機能させることを特徴とする符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置及びプログラム、並びに、画像処理システムに関し、例えば、画像又は映像を圧縮するシステムに適用可能である。
【背景技術】
【０００２】
近年、監視カメラの普及が進み、さらなる高解像度化、高フレームレート化、及び多視点化も望まれている。しかし、高解像度化、高フレームレート化、及び多視点化は、動画像の符号量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。
【０００３】
そこで、この問題を緩和するため、動画像より注目領域を検出し、注目領域に多くのビット数を配分する方式が提案されている。注目領域とは、例えば、顔領域である。なお、以下では、注目領域のことをＲｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔの略である「ＲＯＩ」と呼ぶものとする。また、注目領域に多くのビット数を配分する方式を「ＲＯＩ符号化」と呼ぶものとする。
【０００４】
例えば、特許文献１では、符号量と映像品質を制御するパラメータをブロックごとに与えられるというエンコーダの機能を利用して、エンコーダに与えるパラメータをブロックごとに制御することで、ＲＯＩ以外の領域である非注目領域の情報量をＲＯＩの情報量よりも削減するシステム構成を提案している。なお、以下、この明細書では、非注目領域のことを「背景領域」と呼ぶものとする。また、背景領域は必ずしも静止状態とは限られないものとする。
【０００５】
このようにエンコーダが提供する機能を用いて情報量を削減すれば、効率よく確実に符号量を削減することが可能である。Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、「ＡＶＣ」とも呼ぶ）やＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」とも呼ぶ）のような主要な規格は、領域ごとに品質を制御する機能を備えているため、この機能を利用することは、ＲＯＩに多くのビット数を配分する代表的な方式と言える。
【０００６】
一方、例えば、コストや互換性などの諸事情により、映像品質制御パラメータをブロックごとに与える機能を有していないエンコーダの利用が不可避の場合、前述の方式を採用することはできない。このような場合でも、エンコーダに依存せず、領域ごとに映像品質を制御可能な技術として、例えば、特許文献２、又は非特許文献１に記載の技術が提案されている。
【０００７】
特許文献２は、エンコーダに依存せずに背景領域の情報量を削減するために、背景領域に低域通過フィルタによる前処理を行い、高周波成分の情報を取り除くことで背景領域の情報量を抑圧することを提案するものである。
【０００８】
一方、非特許文献１は、エンコーダに依存せずに背景領域の情報量を削減するために、背景領域の画素信号のダイナミックレンジを制限する前処理を行うことで背景領域の情報量を抑圧することを提案するものである。
【０００９】
図８は、非特許文献１に代表される従来の画像処理システムの構成例を示す図である。
【００１０】
図８において、画像処理システムＺは、入力された入力画像の内、背景領域に属する画素をＲＯＩの情報よりも少ないビット数で圧縮し、ビットストリームとして出力する画像符号化装置Ｘ１と、入力されたビットストリームを、復号し、出力画像を出力する画像復号装置Ｘ２とから構成される。
【００１１】
画像符号化装置Ｘ１は、入力画像に対応するＲＯＩを設定し、ＲＯＩ情報を出力するＲＯＩ設定部３０１と、ＲＯＩ情報に基づき背景領域に属する画素を特定し、入力画像のうちの背景領域に属する画素にダイナミックレンジを限定（抑圧）するためのフィルタリングを施し、符号化前画像として出力する前処理部Ｕ１と、ＡＶＣ等の画像符号化方式を用いて符号化前画像を圧縮し、ビットストリームを出力するエンコーダ部３０６とを有する。ここで、前処理とは、画素信号のダイナミックレンジを制限する処理で、画素信号を１２８などの固定値に限定してしまう場合等も含む。なお、画素信号を固定値にするとは、ダイナミックレンジを１にすることと等価である。
【００１２】
ＲＯＩ設定部３０１は、入力画像に対応するＲＯＩを設定する機能であるが、ＲＯＩの特定手段に関しては特に限定されない。例えば、ＲＯＩ補助情報として入力画像が与えられ、入力画像に対して顔検出アルゴリズムや人物検出アルゴリズム、ナンバープレート検出アルゴリズム、車体検出アルゴリズム等を適用することで入力画像の中からＲＯＩの位置と大きさを検出することで特定するという方法が考えられる。また、ＲＯＩ補助情報として、例えば予め手動で入力されたＲＯＩの位置と大きさによって特定するという方法も考えられるし、ユーザインタフェースを通して入力されたＲＯＩの位置と大きさによって特定するものでも良い。さらに、ＲＯＩ補助情報として、例えば入力画像に対応する赤外線カメラ画像や深度センサ画像を利用してＲＯＩを特定するという方法でも良い。
【００１３】
画像復号装置Ｘ２は、入力されたビットストリームデータをエンコーダ部３０６に対応する方式で復号し、復号画像（出力画像）として出力するデコーダ部３０７と、ＲＯＩ情報に基づき背景領域に属する画素を特定し、復号画像のうちの背景領域に属する画素にダイナミックレンジを回復するフィルタリング（信号の振幅の増幅に相当）を施し、出力画像として出力する後処理部Ｕ２とを有する。なお、前処理部Ｕ１と後処理部Ｕ２は、情報の多重化手段を用いてネットワーク等を介して通信するなど、任意の手段を用いて画像に対応するＲＯＩ情報を共有しているものとする。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００９−４９９７９号公報
【特許文献２】特許第３０４６３７９号
【非特許文献】
【００１５】
【非特許文献１】「Ｆｉｌｔｅｒｉｎｇ  Ｓｃｈｅｍｅ  ｆｏｒ  ＲＯＩ  Ｃｏｄｉｎｇ  ｂｙ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ  ａｎｄ  Ｕｐｄａｔｉｎｇ  Ｓｏｕｒｃｅ  Ｐｉｃｔｕｒｅ  Ｆｉｌｔｅｒ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ４ｔｈ  ＩＩＡＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  ２０１６」
【発明の概要】
【発明が解決しようとする課題】
【００１６】
以上のように、前処理部Ｕ１を利用し、背景領域とＲＯＩのダイナミックレンジを変えることで、ＲＯＩに多くのビット数を配分することは可能である。
【００１７】
しかしながら、前処理部Ｕ１を利用して背景領域とＲＯＩのダイナミックレンジを変えると、符号化前画像において、背景領域とＲＯＩの質感は大きく異なることになる。例えば、入力画像の一部で画素値が「２００  ２１０  ２２０  ２４０」と並んでいたとして、２１０と２２０の間を境に背景領域とＲＯＩに分かれていたとする。このとき、ダイナミックレンジの圧縮率を０．５（ダイナミックレンジを半分にする）とし、画素値０を中心にダイナミックレンジを圧縮する、符号化前画像の画素値は「１００  １０５  ２２０  ２４０」と並んでいることになる。２１０と２２０の差に比ベて、１０５と２２０の差は当然大きく、この差を質感が大きく異なると表現している。
【００１８】
一方、近年の動画像符号化はＤｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ等の変換と量子化に基づく符号化のように近隣の画素間が影響し合って圧縮するものが大半であり、背景領域とＲＯＩの境界領域で画素間の相互作用が起きる。ここで、背景領域とＲＯＩの境界領域で起きる画素間の相互作用とは、背景領域の画素値がＲＯＩの画素値に影響し、逆にＲＯＩの画素値が背景領域の画素値に影響する（画素値が領域外に染み出す）ことである。また、ＡＶＣが採用しているデブロッキングフィルタのようなインループフィルタもまた背景領域とＲＯＩの境界領域で画素間の相互作用が起きる原因になる。
【００１９】
前処理部Ｕ１を利用して背景領域とＲＯＩのダイナミックレンジを変えるようなシステムにおいて、背景領域とＲＯＩの境界領域で画素間の相互作用が起きると、異なる質感の画素値が互いに染み出すことになる。特にＲＯＩは高い品質を保証したい領域であるにも関わらず、フィルタを通過した低品質な背景領域の画素値の影響を受けて画質が低下してしまうことになる。
【００２０】
そのため、背景領域とＲＯＩの境界領域で画素間の相互作用による画質低下を緩和できる符号化装置及びプログラム、並びに、画像処理システムが望まれている。
【課題を解決するための手段】
【００２１】
第１の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、（２）前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、（３）前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、（４）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有することを特徴とする。
【００２２】
第２の本発明は、符号化装置と復号装置とが対向する画僧処理システムにおいて、前記符号化装置として、第１の本発明の符号化装置を適用したことを特徴とする。
【００２３】
第３の本発明は、符号化装置と復号装置とが対向する画僧処理システムにおいて、前記符号化装置として、第１の本発明の符号化装置を適用し、（１−１）前記符号化装置の前記入力画像は、前記背景領域に属する画素の内、前記注目領域を囲むＭ（Ｍは１以上の整数）重の画素の集合である境界領域と、前記背景領域に属する画素の内、前記境界領域以外の画素の集合である外部領域とを含み、前記符号化装置の前記前処理部は、（１−２）前記補正済み注目領域情報に基づき、前記入力画像の内、前記外部領域に属する画素を特定し、特定した前記外部領域に属する画素にダイナミックレンジを限定するフィルタリングを施す外部領域用前処理部と、（１−３）前記補正済み注目領域情報に基づき、前記入力画像の内、前記境界領域に属する画素を特定し、特定した前記境界領域に属する画素にダイナミックレンジを限定するフィルタリングを施す境界領域用前処理部とを有し、前記復号装置は、（２−１）入力された前記符号化データを、前記符号化部で使用した前記所定の画像符号化方式に対応する方式で復号し、復号画像として出力する復号部と、（２−２）前記補正済み注目領域情報に基づき、前記復号画像の内、前記外部領域に属する画素を特定し、特定した前記外部領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施す外部領域用後処理部と、（２−３）前記補正済み注目領域情報に基づき、前記復号画像の内、前記境界領域に属する画素を特定し、特定した前記該境界領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施す境界領域用後処理部とを有することを特徴とする。
【００２４】
第４の本発明の符号化プログラムは、入力画像を符号化する符号化装置に搭載されるコンピュータを、（１）前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、（２）前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、（３）前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、（４）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、背景領域とＲＯＩの境界領域で画素間の相互作用による画質低下を緩和できる。
【図面の簡単な説明】
【００２６】
【図１】第１の実施形態に係る画像処理システムの構成について示すブロック図である。
【図２】第１の実施形態に係る画像処理システムの動作を示すフローチャートである。
【図３】第１の実施形態に係るＲＯＩの大きさを拡大する処理の例を示す図である。
【図４】第１の実施形態に係るブロックにおけるＲＯＩの正規化例を示す図である。
【図５】第２の実施形態に係る画像処理システムの構成について示すブロック図である。
【図６】第２の実施形態に係る画像処理システムの動作を示すフローチャートである。
【図７】第２の実施形態に係る２重の境界領域を求めた場合の例を示す図である。
【図８】非特許文献１に代表される従来の画像処理システムの構成例を示す図である。
【発明を実施するための形態】
【００２７】
（Ａ）第１の実施形態
以下、本発明による符号化装置及びプログラム、並びに、画像処理システムの第１の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。
【００２８】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る画像処理システム１の構成について示すブロック図である。
【００２９】
画像処理システム１は、入力画像を符号化してストリーム（ビット列）を出力する画像符号化装置１０と、画像符号化装置１０で符号化されたストリーム（ビットストリーム）を復号して復号画像を出力する画像復号装置２０とを有している。
【００３０】
画像符号化装置１０から出力されたストリームを画像復号装置２０に入力する媒体は限定されないものである。例えば、画像符号化装置１０から出力されたストリームを、通信（例えば、インターネット等）により画像復号装置２０に送信するようにしても良いし、画像符号化装置１０から出力されたストリームのデータをデータ記録媒体（例えば、ＤＶＤやＨＤＤ等の媒体）に記録してオフラインで画像復号装置２０に入力するようにしても良い。
【００３１】
この実施形態では、画像符号化装置１０は入力画像ごとの符号化を行うものとして説明するが、画像符号化装置１０に連続して複数の入力画像を処理させることで動画像の符号化処理に適用するようにしても良い。また、画像復号装置２０についても同様に、連続して複数の符号化データのストリームを復号処理させることにより、動画像の復号処理に適用するようにしても良い。
【００３２】
次に、画像符号化装置１０の内部構成について説明する。図１は、第１の実施形態に係る画像符号化装置１０の機能的構成について示すブロック図でもある。画像符号化装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。
【００３３】
画像処理システム１では、図８の画像符号化装置Ｘ１が、画像符号化装置１０に置き換わっている点で従来の構成（画像処理システムＺ）と異なっている。以下では、第１の実施形態について従来との差異を中心に説明する。
【００３４】
画像符号化装置１０は、入力画像に対応するＲＯＩを設定し、ＲＯＩ情報を出力するＲＯＩ設定部３０１、ＲＯＩ情報を補正し、補正済みＲＯＩ情報を出力するＲＯＩ座標補正部Ｕ３と、補正済みＲＯＩ情報に基づき背景領域に属する画素を特定し、入力画像のうちの背景領域に属する画素にダイナミックレンジを削減するフィルタリングを施し、符号化前画像として出力する前処理部Ｕ１、及びエンコーダ部３０６を有している。なお、エンコーダ部３０６の機能は前述の図８で説明したものと同様の機能を有する。
【００３５】
ＲＯＩ座標補正部Ｕ３は、ＲＯＩ情報に基づきＲＯＩの領域を拡大し、拡大ＲＯＩ情報として出力するＲＯＩ拡大部１０２と、拡大ＲＯＩ情報を正規化し、補正済みＲＯＩ情報として出力するＲＯＩ座標正規化部３０３とを有する。
【００３６】
ＲＯＩ拡大部１０２やＲＯＩ座標正規化部３０３の機能や目的については動作の項で詳述する。
【００３７】
また、後述のとおり、ＲＯＩ座標正規化部３０３の機能は、符号化効率を改善する目的の機能であるため、ＲＯＩ座標補正部Ｕ３がＲＯＩ拡大部１０２の機能のみを有し、ＲＯＩ拡大部１０２の出力が補正済みＲＯＩ情報となる構成であっても一定の効果は存在する。
【００３８】
なお、前処理部Ｕ１と後処理部Ｕ２は、情報の多重化手段を用いてネットワーク等を介して通信するなど、任意の手段を用いて画像に対応する補正済みＲＯＩ情報を共有してことを前提とする。
【００３９】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る画像処理システム１の動作を、図面を参照しながら詳細に説明する。図２は、第１の実施形態に係る画像処理システムの動作を示すフローチャートである。以下では、画像符号化装置１０及び画像復号装置２０の動作を各々分けて説明する。
【００４０】
（Ａ−２−１）画像符号化装置１０の動作
図２（Ａ）は、第１の実施形態に係る画像符号化装置の動作を示すフローチャートである。
【００４１】
ＲＯＩ設定部３０１は、ＲＯＩ補助情報に基づき、ＲＯＩの初期値を決定し、ＲＯＩ情報として出力する（Ｓ１１）。
【００４２】
次に、ＲＯＩ拡大部１０２は、ＲＯＩの大きさをＮ画素だけ周辺方向に大きくし、拡大ＲＯＩ情報として出力する（Ｓ１２）。
【００４３】
図３は、第１の実施形態に係るＲＯＩの大きさを拡大する処理の例を示す図である。図３では、入力されたＲＯＩ部分（斜線部分）に対して、周辺方向に２画素分、ＲＯＩの大きさを拡大（膨張）させている例が示されている。膨張したＲＯＩの部分における各数字は、ＲＯＩ部分から拡大（膨張）した多重構造を示している（例えば、ＲＯＩ部分に直接接する領域は「１」と示されている）。拡大の方法には様々な方法があると考えられるが、典型的な例は、画像処理でしばしば使用される膨張（ｄｉｌａｔｉｏｎ）である。
【００４４】
Ｎの値は任意であり、エンコーダ部３０６およびデコーダ部３０７において、何画素分の近隣の画素間が影響を与え合うかによって最適な値は変化する。
【００４５】
この実施形態においてＮの値は限定されないものであるが、多くのコーデックでは、４×４画素で形成されるブロックや８×８画素で形成されるブロックごとに圧縮を行うことが多いため、１≦Ｎ≦４か大きくても１≦Ｎ≦８とすることで良好な結果となることが期待できる。また、エンコーダ部３０６が十分に小さな量子化ステップ幅で圧縮する場合、変換および量子化に伴う相互作用は無視しても良い。前述のどおり、十分に小さな量子化ステップ幅で圧縮され、インループフィルタによる相互作用のみを考慮すれば良い場合で、なおかつ、ＡＶＣやＨＥＶＣを使用する場合は、これらの動画像符号化方式のインループフィルタは近隣２画素の画素値が染み出すので、Ｎ＝２またはその前後が好ましい値であると言える。
【００４６】
Ｎが大きすぎると、むやみに符号量を多く割く領域を増やすことに繋がるため、使用するエンコーダ部３０６およびデコーダ部３０７に応じて適切な値とする必要がある。
【００４７】
この処理の目的は、ＲＯＩの範囲を広げることで、フィルタを通過した低品質な背景領域の画素値の影響を受けてＲＯＩの画質が低下してしまうことを防ぐことである。ＲＯＩに多くの符号量を割く画像処理システム１において、ＲＯＩは特に高い品質を保証したい領域であることが多いため、ＲＯＩを膨張することでＲＯＩの品質を保証する。
【００４８】
特にＲＯＩ設定部３０１において、ズームされた領域がＲＯＩとして設定されるようなアプリケーションの場合、ＲＯＩは拡大して表示されることになる。ここで、背景領域の染み出しによってＲＯＩが劣化していると、視聴者に顕著なアーティファクトを見せることになる。この実施形態の画像処理システム１を用いることで、このようなシーンでも品質の保証されたＲＯＩを視聴者に提供できる。
【００４９】
次に、ＲＯＩ座標正規化部３０３は、背景領域とＲＯＩの境界がコーデックによる圧縮時のブロック境界に揃うように正規化し、補正済みＲＯＩ情報として出力する（Ｓ１３）。
【００５０】
正規化は、例えば、以下の（１）〜（３）の何れかの基準で行う。
【００５１】
（１）予め定められた大きさのブロックに属する画素のうち１画素でもＲＯＩに含まれているならば、当該ブロックに含まれる画素はすべてＲＯＩに属するとする。
【００５２】
（２）予め定められた大きさのブロックに属する画素のうち半数以上がＲＯＩに含まれているならば、当該ブロックに含まれる画素はすべてＲＯＩに属するとする。
【００５３】
（３）予め定められた大きさのブロックに属するすべての画素がＲＯＩに含まれているときのみ、当該ブロックに含まれる画素はＲＯＩに属するとする。
【００５４】
図４は、第１の実施形態に係るブロックにおけるＲＯＩの正規化例を示す図である。図４は、前述の基準例のうち（１）の基準で正規化する場合をイメージ化したものである。
【００５５】
図４では、各ブロック（Ｂ１〜Ｂ３）のサイズを幅４画素、高さ４画素としている。例えば、ブロックＢ２は正規化前にＲＯＩに含まれる画素が４であるため（つまり、１以上であるため）に、当該ブロックに含まれる画素はＲＯＩに属するとする。
【００５６】
エンコーダ部３０６で採用されうる多くの画像符号化方式では、特定の大きさのブロックごとに予測したり変換したりすることで情報量を削減する。仮に、ブロック内に鋭いエッジが発生していると、多くのＡＣ成分が発生し、符号量増加の原因となる。つまり、ブロック内に不要なエッジを発生させないことが望ましく、そのために正規化によって背景領域とＲＯＩの境界を、画像符号化方式が採用するブロックの境界と一致させる。
【００５７】
前述のとおり、正規化には種々の方法が考えられ、全て一定の効果は備えるが、ＲＯＩ拡大部１０２の機能および目的と照らし合わせると、ＲＯＩに選ばれた画素が背景領域として処理されてしまうことは背景領域の画素値が本来のＲＯＩに染み出す可能性を生じさせるため好ましくなく、この観点では前述３つの基準のうち、（１）の基準が最も望ましい。
【００５８】
次に、前処理部Ｕ１は、補正済みＲＯＩ情報に基づき背景領域に属する画素を特定し、入力画像のうちの背景領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、符号化前画像として出力する（Ｓ１４）。ダイナミックレンジを限定するフィルタリングは、例えば、非特許文献１に記載の技術を適用できる。ただし、この実施形態においては、ダイナミックレンジを限定する際の中心画素値については特に制約はなく、またダイナミックレンジを１にすることでもこの本発明は一定の効果を奏する。
【００５９】
次に、エンコーダ部３０６は、ＡＶＣ等の画像符号化方式を用いて、符号化前画像を圧縮し、ビットストリームを出力する（Ｓ１５）。
【００６０】
（Ａ−２−２）画像復号装置Ｘ２の動作
図２（Ｂ）は、第１の実施形態に係る画像復号装置Ｘ２の動作を示すフローチャートである。
【００６１】
まず、デコーダ部３０７は、画像符号化装置１０からビットストリームを受け取り、ＡＶＣ等の画像符号化方式を用いて復号し、復号画像を出力する（Ｓ２１）。
【００６２】
後処理部Ｕ２は、補正済みＲＯＩ情報に基づき背景領域に属する画素を特定し、復号画像のうちの背景領域に属する画素にダイナミックレンジを回復するフィルタリングを施し、出力画像として出力する（Ｓ２２）。なお、ダイナミックレンジを回復するフィルタリングは、前処理部Ｕ１と同様に非特許文献１に記載の技術を適用できるが、ダイナミックレンジを回復するフィルタであれば、非特許文献１の方法に限定されない。
【００６３】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、ＲＯＩ拡大部１０２において、ＲＯＩの大きさをＮ画素だけ周辺方向に大きく拡大していることで、フィルタを通過した低品質な背景領域の画素値の影響を受けて本来のＲＯＩの画質が低下してしまうことを防止することができる。
【００６４】
（Ｂ）第２の実施形態
以下、本発明による符号化装置及びプログラム、並びに、画像処理システムの第２の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。
【００６５】
（Ｂ−１）第２の実施形態の構成
図５は、第２の実施形態に係る画像処理システム１Ａの構成について示すブロック図である。
【００６６】
画像処理システム１Ａでは、図１の画像符号化装置１０と画像復号装置Ｘ２が、画像符号化装置１０Ａと画像復号装置２０に置き換わっている点で第１の実施形態と異なっている。以下では、第２の実施形態について第１の実施形態との差異を中心に説明する。
【００６７】
第２の実施形態の画像符号化装置１０Ａにおいて、前処理部Ｕ４は、補正済みＲＯＩ情報に基づき外部領域に属する画素を特定し、入力画像のうちの外部領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、前処理中間画像として出力する外部領域用前処理部３０４と、補正済みＲＯＩ情報に基づき境界領域に属する画素を特定し、前処理中間画像のうちの境界領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、符号化前画像として出力する境界領域用前処理部２０５とを有している。
【００６８】
また、境界領域とは、背景領域に属する画素のうちのＲＯＩを囲むＭ重の画素の集合であり、外部領域とは、背景領域に属する画素のうちの境界領域以外の画素の集合である。なお、外部領域用前処理部３０４や境界領域用前処理部２０５の詳細については動作の項で述べる。
【００６９】
この実施形態では、外部領域用前処理部３０４が境界領域用前処理部２０５よりも先に適用されるような構成としているが、外部領域用前処理部３０４が処理対象とする画素と境界領域用前処理部２０５が処理対象とする画素は異なるため、境界領域用前処理部２０５が外部領域用前処理部３０４よりも先に適用されても良く、外部領域用前処理部３０４と境界領域用前処理部２０５が同時に適用されても良い。つまり、前処理部Ｕ４が外部領域用前処理部３０４と境界領域用前処理部２０５の機能により構成されていることに意味を有する。
【００７０】
第２の実施形態の画像復号装置２０において、後処理部Ｕ５は、補正済みＲＯＩ情報に基づき外部領域に属する画素を特定し、復号画像のうちの外部領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施し、後処理中間画像として出力する外部領域用後処理部３０８と、補正済みＲＯＩ情報に基づき境界領域に属する画素を特定し、後処理中間画像のうちの境界領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施し、出力画像として出力する境界領域用後処理部２０９とを有している。なお、外部領域用後処理部３０８や境界領域用後処理部２０９の詳細については動作の項で述べる。
【００７１】
この実施形態では、外部領域用後処理部３０８が境界領域用後処理部２０９よりも先に適用されるような構成としているが、外部領域用後処理部３０８が処理対象とする画素と境界領域用後処理部２０９が処理対象とする画素は異なるため、境界領域用後処理部２０９が外部領域用後処理部３０８よりも先に適用されても良く、外部領域用後処理部３０８と境界領域用後処理部２０９が同時に適用されても良い。つまり、後処理部Ｕ５が外部領域用後処理部３０８と境界領域用後処理部２０９の機能により構成されていることに意味を有する。
【００７２】
なお、前処理部Ｕ４と後処理部Ｕ５は、情報の多重化手段を用いてネットワーク等を介して通信するなど、任意の手段を用いて画像に対応する補正済みＲＯＩ情報を共有しているものとする。
【００７３】
なお、後述する通り、外部領域用前処理部３０４と境界領域用前処理部２０５の組み合わせ及び外部領域用後処理部３０８と境界領域用後処理部２０９の組み合わせを導入する目的の一つは、ＲＯＩ座標正規化部３０３のより良い代替手段を提供することにある。そのため、ＲＯＩ座標補正部Ｕ３がＲＯＩ座標正規化部３０３の機能を備えず、拡大ＲＯＩ情報が補正済みＲＯＩ情報として出力する構成であっても、本発明は一定の効果を奏する。
【００７４】
また、外部領域用前処理部３０４と境界領域用前処理部２０５の組み合わせ及び外部領域用後処理部３０８と境界領域用後処理部２０９の組み合わせを導入する目的は、ＲＯＩ座標正規化部３０３のより良い代替手段を提供すること以外にもあるので、第１の実施形態のようにＲＯＩ座標補正部Ｕ３がＲＯＩ拡大部１０２の機能とＲＯＩ座標正規化部３０３の機能とを備える場合であっても、本発明は一定の効果を奏する。
【００７５】
また、後述する通り、外部領域用前処理部３０４と境界領域用前処理部２０５の組み合わせ及び外部領域用後処理部３０８と境界領域用後処理部２０９の組み合わせを導入することで、たとえＲＯＩ座標補正部Ｕ３がＲＯＩ拡大部１０２の機能や、ＲＯＩ拡大部１０２の機能とＲＯＩ座標正規化部３０３の両方の機能を備えなかったとしても、背景領域とＲＯＩの境界に鋭いエッジが発生しなくなるため（エッジの変化量が緩くなるため）、背景領域とＲＯＩの境界領域で発生する画素間の相互作用による染み出しによる背景領域やＲＯＩの品質劣化は抑えられる。そのため、ＲＯＩ座標補正部Ｕ３がＲＯＩ拡大部１０２の機能や、ＲＯＩ拡大部１０２の機能とＲＯＩ座標正規化部３０３の両方の機能を備えなかったとしても、本発明は一定の効果を発揮する。
【００７６】
（Ｂ−２）第２の実施形態の動作
図６は、第２の実施形態に係る画像処理システムの動作を示すフローチャートである。図６と前述の図２の内、同一符号の処理は同様の処理であるので、以下では、第２の実施形態の画像処理システム１Ａの特有の処理のみついて述べる。
【００７７】
（Ｂ−２−１）画像符号化装置１０Ａの動作
図６（Ａ）は、第２の実施形態に係る画像符号化装置１０Ａの動作を示すフローチャートである。
【００７８】
前述のステップＳ１３の後、外部領域用前処理部３０４は、補正済みＲＯＩ情報に基づき外部領域に属する画素を特定し、入力画像のうちの外部領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、前処理中間画像として出力する（Ｓ３１）。このステップＳ３１の処理は、第１の実施形態における前処理部Ｕ１に相当する機能を担っている。外部領域用前処理部３０４は、外部領域に属する画素のダイナミックレンジを、外部領域に属する画素向けのダイナミックレンジ（以下、「Ｒ０」で示す）に限定する。
【００７９】
次に、境界領域用前処理部２０５は、補正済みＲＯＩ情報に基づき境界領域に属する画素を特定し、前処理中間画像のうちの境界領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、符号化前画像として出力する（Ｓ３２）。
【００８０】
ここで境界領域とは前述のとおり、背景領域に属する画素のうちのＲＯＩを囲むＭ重の画素の集合である。ＲＯＩを囲む画素の集合は、例えば、画像処理でしばしば使用される膨張（ｄｉｌａｔｉｏｎ）を使用すると求められる。ＲＯＩに対して１度膨張を適用し、新たに広がった領域が１重目の境界領域である。さらにもう１度膨張を適用し、新たに広がった領域が２重目の境界領域である。図７は、第２の実施形態に係る２重の境界領域を求めた場合の例を示す図である。
【００８１】
なお、境界領域用前処理部２０５は、境界領域に属する画素のダイナミックレンジを、外部領域に属する画素向けのダイナミックレンジＲ０よりも広いダイナミックレンジに限定する（即ち、外部領域よりも高画質に圧縮する）ことを特徴とする。つまり、境界領域は、ＲＯＩと外部領域の質感のギャップの緩衝帯であると言える。境界領域が２重以上になっている場合、ｘ重目の境界領域とｘ＋１重目の境界領域では、それぞれダイナミックレンジが異なっていても良く、この場合、ＲＯＩ側に位置する境界領域のダイナミックレンジＲｘは、その外側に位置する境界領域のダイナミックレンジＲｘ＋１以上の大きさのダイナミックレンジとする。
【００８２】
つまり、ＲＯＩのダイナミックレンジをＲｒとすると、下記の（１）式の関係を満たすようにする。
Ｒ０＜．．．≦Ｒｘ＋１≦Ｒｘ≦．．．、≦Ｒ１＜Ｒｒ        …（１）
【００８３】
図７において各画素内に記載している数値は、画素のダイナミックレンジの例であり、ＲＯＩのダイナミックレンジを最も大きくＲｒ＝２５６に、１重目の境界領域のダイナミックレンジをＲ１＝１２８に、２重目の境界領域のダイナミックレンジをＲ２＝６４に、外部領域のダイナミックレンジをＲ０＝３２にしている場合を示している。なお、何重目にどれくらいのダイナミックレンジを与えるかは、線形な変化や非線形な変化など種々考えられるが、いずれにしても、例えば、予め決めておくものとし、前処理部Ｕ４と後処理部Ｕ５で共有できているものとする。
【００８４】
第２の実施形態において、境界領域を設けている理由は、主に以下の通りである。
【００８５】
第１の実施形態では、ブロック内で背景領域とＲＯＩの境界に起因するエッジが入ることによる符号量の増加を問題視し、その解決策としてＲＯＩ座標正規化部３０３を使用した。しかしながら、この解決策は、問題の緩和に寄与するものの、ＲＯＩ相当の符号量を割かなければならない画素の数を増やし、不必要な符号量を発生させている点では未だ効率向上の余地を残している。第２の実施形態では、外部領域とＲＯＩを、境界領域を介して滑らかに接続することで、ＲＯＩ相当の符号量を割かなければならない画素の増加を最小限に留めつつ、ブロック内で背景領域とＲＯＩの境界に起因するエッジが入ることによる符号量の増加も阻止する。
【００８６】
また、エンコーダ部３０６とデコーダ部３０７にデブロッキングフィルタ等のインループフィルタを使用するコーデックを用いる場合、たとえ背景領域とＲＯＩの境界をブロック境界に揃えたとしても、インループフィルタが背景領域とＲＯＩの境界領域で画素間の相互作用を発生させる。ＲＯＩ拡大部１０２が存在すれば、ＲＯＩの品質が損なわれることはないが、背景領域にはＲＯＩの画素値が染み出すことになる。背景領域の画素にとっては、質感の異なるＲＯＩの画素値はノイズになってしまう。さらに、後処理部Ｕ２を施すと、後処理部Ｕ２は振幅の増幅処理に相当するため、ＲＯＩの近隣の背景領域ではＲＯＩの画素値の染み出しによるノイズを増幅することになる。結果として、背景領域の品質が必要以上に損なわれることになる。インループフィルタは、隣接する画素値間のギャップが大きいほど強くかかるため、第２の実施形態では、外部領域とＲＯＩを、境界領域を介して滑らかに接続することで、本問題の緩和を行う。
【００８７】
そして、外部領域とＲＯＩを、境界領域を介して滑らかに接続することで、背景領域と隣接しているＲＯＩのブロック、またはＲＯＩと隣接している背景領域のブロックがイントラブロックモード（ＡＶＣやＨＥＶＣ等で定義されているモード）で符号化されるときに、イントラ予測が効きやすくなり、符号化効率が改善する。
【００８８】
なお、Ｍの大きさについては任意であるが、前処理部Ｕ４と後処理部Ｕ５では共有されているものとする。また、第１の実施形態におけるＮの値と同様に、エンコーダ部３０６およびデコーダ部３０７において、何画素分の近隣の画素間が影響を与え合うか（つまりインループフィルタのカーネルサイズ）によって最適な値は変化する。多くのコーデックでは、４×４画素で形成されるブロックや８×８画素で形成されるブロックごとに圧縮を行うことが多いため、１≦Ｍ≦４か大きくても１≦Ｍ≦８とすることで良好な結果となることが期待できる。また、ＨＡＶＣやＨＥＶＣのインループフィルタでは、近隣２画素の画素値が染み出すので、Ｍ＝２またはその前後が最も好ましい値であると言える。
【００８９】
Ｎと同様に、Ｍが大きすぎると、むやみに符号量を多く割く領域を増やすことに繋がるため、使用するエンコーダ部３０６およびデコーダ部３０７に応じて適切な値とする必要がある。
【００９０】
（Ｂ−２−２）画像復号装置２０の動作
図６（Ｂ）は、第２の実施形態に係る画像復号装置２０の動作を示すフローチャートである。
【００９１】
前述のステップＳ２１の後、外部領域用後処理部３０８は、補正済みＲＯＩ情報に基づき外部領域に属する画素を特定し、復号画像のうちの外部領域に属する画素にダイナミックレンジを回復するフィルタリングを施し、後処理中間画像として出力する（Ｓ４１）。なお、このステップＳ４１の処理は、外部領域用前処理部３０４の逆演算に相当し、第１の実施形態における後処理部Ｕ２に相当する機能を担っている。
【００９２】
境界領域用後処理部２０９は、補正済みＲＯＩ情報に基づき境界領域に属する画素を特定し、後処理中間画像のうちの境界領域に属する画素にダイナミックレンジを回復するフィルタリングを施し、出力画像として出力する（Ｓ４２）。なお、このステップＳ４２の処理は、境界領域用前処理部２０５の逆演算に相当する機能を担っている。
【００９３】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、前述の第１の実施形態の効果に加えて、以下の効果を奏する。
【００９４】
背景領域を外部領域と境界領域に分け、それぞれの信号を異なるダイナミックレンジに限定するフィルタを適用していることで、ＲＯＩ座標補正部Ｕ３でＲＯＩ座標正規化部３０３の機能を有効にする場合に比べて、ＲＯＩ相当の符号量を割かなければならない画素の増加を最小限に留めつつ、ブロック内で背景領域とＲＯＩの境界に起因するエッジが入ることによる符号量の増加も阻止できる。
【００９５】
さらに、ＲＯＩと背景領域の境界が滑らかに変化するようになり、背景領域の品質が必要以上に損なわれるという問題が緩和されたり、背景領域と隣接しているＲＯＩのブロック、またはＲＯＩと隣接している背景領域のブロックがイントラブロックモードで符号化されるときに、イントラ予測が効きやすくなって符号化効率が改善できる。
【００９６】
（Ｃ）他の実施形態
前述した第１及び第２の実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【００９７】
（Ｃ−１）前述した第１及び第２の実施形態において、上記では説明を簡単にするために、画像全体がＲＯＩと背景領域の２種類に区別される例を示しているが、背景領域にも重要度の段階があっても良い。例えば、ＲＯＩの設定に歩行者検出アルゴリズムと顔検出アルゴリズムを使用し、顔検出アルゴリズムによって検出されたＲＯＩは顔領域として、歩行者検出アルゴリズムによって検出された歩行者領域は相対的に重要な背景領域とし、顔でも歩行者でもない領域は相対的に重要ではない背景領域としても良い。この場合、背景領域の重要度に応じて異なるダイナミックレンジに異なる値を割り振って良く、例えば、相対的に重要な背景領域には広いダイナミックレンジで圧縮を行い、相対的に重要ではない背景領域には狭いダイナミックレンジで圧縮を行うという構成でも良い。割り振りは、例えば予め設定あるいは作成しておいた背景領域の重要度とフィルタ強度のルックアップテーブルに基づいて行えば良い。また、上記では説明を簡単にするためにＲＯＩにはフィルタリングを適用しない例を示しているが、ＲＯＩに背景領域よりも弱いフィルタリングをかける構成であっても良い。
【００９８】
（Ｃ−２）前述した第１及び第２の実施形態において、例えば、顔領域をＲＯＩとしたときの背景領域を劣化させデータ量を削減する例を示しているが、顔領域のようにＲＯＩとして選ばれる領域を劣化させても良い。この場合、本明細書における言葉の定義上は、非顔領域がＲＯＩであり、顔領域が背景領域である。非顔領域をＲＯＩとすることで、例えばプライバシーを守ることができるなどの効果も得られる。
【００９９】
（Ｃ−３）前述した第１及び第２の実施形態において、上記では機能ブロック間のデータの受け渡しを画像単位でおこなっているように記述しているが、画素値信号のデータの意味を明らかにするためであり、実装等では画素単位にデータを受け渡ししても良い。
【０１００】
（Ｃ−４）前述した第１及び第２の実施形態において、ＲＯＩとは主に画像空間の一部の限定された領域のように記載しているが、画像全体がＲＯＩであったり画像全体が背景領域であったりする画像が存在しても良い。
【０１０１】
（Ｃ−５）前述した第１及び第２の実施形態において、画像符号化装置１０（１０、１０Ａ）内の各機能や画像復号装置Ｘ２、２０内の各機能は単一の装置のなかに実装されているように記述しているが、これらは実装例の一つであり、各機能が別の装置で実装されていたとしても、各信号が各構成図（図１、図５）のように入出力がなされていれば本発明の効果は得られる。つまり、画像符号化装置１０（１０、１０Ａ）や画像復号装置Ｘ２、２０が１個以上の装置から構成され、それぞれの機能が分散して実装されていたとしても本発明の効果は存在する。
【０１０２】
（Ｃ−６）前述した第１及び第２の実施形態において、色成分ごとの処理の違いについては特別に触れていないが、各実施形態において、色成分ごとに同じダイナミックレンジを使用しても良いし、異なるダイナミックレンジを使用しても良い。
【０１０３】
（Ｃ−７）前述した第１及び第２の実施形態において、画像処理システム１、１Ａは、画像復号装置Ｘ２、２０を備えている例を示しているが、画像処理システム１、１Ａが画像符号化装置１０（１０、１０Ａ）のみを備える場合であっても本発明は一定程度の効果を有する。
【０１０４】
非特許文献１でも述べられている通り、前処理によりダイナミックレンジを限定することでＲＯＩ符号化を行う、画像処理システム１、１Ａでは、画像符号化装置１０（１０、１０Ａ）で行う前処理に対応する後処理を画像復号装置Ｘ２、２０において実施することで、背景領域の画質を一定程度回復する。しかし、非特許文献１でも述べられている通り、後処理を伴わない通例の画像復号装置（画像符号化装置１０（１０、１０Ａ）で前処理によるＲＯＩ符号化を行っていることを知らない画像復号装置）で復号したとしても、色合いがＲＯＩと背景領域とで異なるだけで、一定の意味を人間が汲み取れる画像になる。そして、この構成でも、背景領域の画素値がＲＯＩに染み出したり、ＲＯＩの画素値が背景領域に染み出したりという本発明が対象としている課題は発生し、本発明を導入することで課題を解決することができる。そのため、画像処理システム１、１Ａが画像符号化装置１０（１０、１０Ａ）のみを備える場合であっても本発明は一定程度の効果を有する。
【符号の説明】
【０１０５】
１、１Ａ、Ｚ…画像処理システム、１０、１０Ａ、Ｘ１…画像符号化装置、２０、Ｘ２…画像復号装置、１０２…ＲＯＩ拡大部、２０５…境界領域用前処理部、２０９…境界領域用後処理部、３０１…ＲＯＩ設定部、３０３…ＲＯＩ座標正規化部、３０４…外部領域用前処理部、３０６…エンコーダ部、３０７…デコーダ部、３０８…外部領域用後処理部、Ｕ１…前処理部、Ｕ２…後処理部、Ｕ３…ＲＯＩ座標補正部、Ｕ４…前処理部、Ｕ５…後処理部。
【図１】
2019087883.tif 000003
【図２】
2019087883.tif 000004
【図３】
2019087883.tif 000005
【図４】
2019087883.tif 000006
【図５】
2019087883.tif 000007
【図６】
2019087883.tif 000008
【図７】
2019087883.tif 000009
【図８】
2019087883.tif 000010