(57)【要約】【課題】  復号化後の画像に対して光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上されるような、非可逆符号化を行う。【解決手段】  画像符号化装置１００の撮像部１０１は、画像を取得し、符号化制御部１０３は、撮像部１０１が取得した画像内の光散乱領域を特定し、特定した領域の符号量が、特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定し、符号化部１０４は、符号化制御部１０３が決定したパラメータを用いて、撮像部１０１が取得した画像を非可逆符号化する。【選択図】  図１
2017098919.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
前記取得手段が取得した画像内の光散乱領域を特定する特定手段と、
前記特定手段が特定した領域の符号量が、前記特定手段により特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定手段と、
前記決定手段が決定したパラメータを用いて、前記取得手段が取得した画像を非可逆符号化する符号化手段とを有することを特徴とする画像符号化装置。
【請求項２】
前記取得手段が取得した画像内の複数の処理対象画素それぞれに対して、当該処理対象画素における複数の色成分の値と当該処理対象画素の明るさとの少なくとも何れかに基づく評価値を決定する第２決定手段を有し、
前記特定手段は、前記第２決定手段が決定した評価値に基づいて前記光散乱領域を特定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記第２決定手段は、処理対象画素の評価値を、当該処理対象画素から所定範囲内に存在する画素におけるＲ値、Ｇ値及びＢ値のうちの最小値に応じて決定することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記第２決定手段は、処理対象画素の評価値を、当該処理対象画素から所定範囲内に存在する画素の輝度に応じて決定することを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記特定手段は、前記取得手段が取得した画像を分割した複数の分割領域のうち、前記第２決定手段が決定した評価値が閾値以上である画素を所定数以上含む分割領域を、前記光散乱領域と特定することを特徴とする請求項３又は４に記載の画像符号化装置。
【請求項６】
前記特定手段は、前記取得手段が取得した画像を分割した分割領域であって、当該分割領域内の画素における前記第２決定手段が決定した評価値の平均が所定値以上である分割領域を、前記光散乱領域と特定することを特徴とする請求項３又は４に記載の画像符号化装置。
【請求項７】
前記光散乱領域は、大気中の霧、煙、及び浮遊物の少なくとも何れかによる光の散乱の影響、又は水中における光の散乱の影響が表れている領域であることを特徴とする請求項１乃至６の何れか１項に記載の画像符号化装置。
【請求項８】
前記決定手段は、前記特定手段が特定した領域の符号化における量子化ステップサイズが、前記特定手段により特定されない場合の当該領域の符号化における量子化ステップサイズよりも小さくなるように、非可逆符号化に用いる量子化パラメータを決定することを特徴とする請求項１乃至７の何れか１項に記載の画像符号化装置。
【請求項９】
前記取得手段により取得される画像内の所定領域を、ユーザーによる入力、外部の装置からの入力、及び前記取得手段が取得した画像に対する分析の結果の少なくとも何れかに基づいて特定する第２特定手段を有し、
前記特定手段は、前記第２特定手段が特定した前記所定領域内の前記光散乱領域を特定することを特徴とする請求項１乃至８の何れか１項に記載の画像符号化装置。
【請求項１０】
前記取得手段が取得した画像に対する分析の結果は、当該画像内の所定のオブジェクトを検知する検知処理の結果であることを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
画像を撮像する撮像手段と、
前記符号化手段が符号化した画像を外部の装置に送信する送信手段とを有し、
前記取得手段は、前記撮像手段が撮像した画像を取得することを特徴とする請求項１乃至１０の何れか１項に記載の画像符号化装置。
【請求項１２】
画像を取得する取得工程と、
前記取得工程において取得された画像内の光散乱領域を特定する特定工程と、
前記特定工程において特定された領域の符号量が、前記特定工程において特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定工程と、
前記決定工程において決定されたパラメータを用いて、前記取得工程において取得された画像を非可逆符号化する符号化工程とを有することを特徴とする画像符号化方法。
【請求項１３】
前記取得工程において取得された画像内の複数の処理対象画素それぞれに対して、当該処理対象画素における複数の色成分の値と当該処理対象画素の明るさとの少なくとも何れかに基づく評価値を決定する第２決定工程を有し、
前記特定工程は、前記第２決定工程において決定された評価値に基づいて前記光散乱領域を特定することを特徴とする請求項１２に記載の画像符号化方法。
【請求項１４】
コンピュータを、請求項１乃至１１の何れか１項に記載の画像符号化装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化において符号量を制御する技術に関する。
【背景技術】
【０００２】
撮像装置によって屋外を撮影する場合に、大気中の霧や煙や浮遊物などによって光が散乱する影響で、撮像された画像の明瞭さが損なわれてしまうことがある。特許文献１には、画像内における光の散乱の影響を画像処理によって軽減する技術が記載されている。
【０００３】
一方、動画像の圧縮記録やネットワークを介した配信に用いられる符号化方式として、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下Ｈ．２６４）が知られている。Ｈ．２６４においては、画像をマクロブロックと呼ばれるブロック単位で符号化するが、そのマクロブロック毎に量子化パラメータが可変であり、量子化パラメータを変更することで量子化ステップサイズを制御できる。特許文献２には、量子化ステップサイズを制御することによって、マクロブロックに割り当てる符号量を変えて画質を制御することが記載されている。
【０００４】
具体的には、特許文献２に記載の符号化制御方法では、符号化する画像の各マクロブロックの輝度平均値、色差の平均値、輝度の分散値、及び動きベクトル量の平均値等の評価値を乗算して符号化難易度を計算し、各マクロブロックに符号量を割り当てる。そしてその割り当てた符号量に応じて量子化ステップサイズを制御し、非可逆符号化を行う。この方法では、色差の平均値、輝度の分散値、及び動きベクトル量の平均値が仮に同じだとすると、輝度平均値が高いマクロブロックほど割り当てる符号量を少なくする。これは、人間の目が高輝度領域での符号化ノイズを認識しにくいためである。よって、例えば画像内に霧や煙や浮遊物などによる光の散乱の影響を受けた高輝度の光散乱領域が存在する場合、これらの領域に割り当てられる符号量は少なくなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第８３４０４６１号明細書
【特許文献２】特開平９−１８８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非可逆符号化された画像を復号化した後に光の散乱の影響を軽減する画像処理を行った場合に、処理画像内の光散乱領域において十分な画質が得られない場合がある。例えば、特許文献２に記載の方法で非可逆符号化された画像を復号化し、特許文献１に記載の画像処理を行った場合に、処理画像内の光散乱領域において非可逆符号化によるブロックノイズや偽色が目立ってしまうことがある。
【０００７】
本発明は上記課題に鑑みてなされたものであり、復号化後の画像に対して光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上されるような、非可逆符号化を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の画像符号化装置は、例えば以下の構成を備える。すなわち、画像を取得する取得手段と、前記取得手段が取得した画像内の光散乱領域を特定する特定手段と、前記特定手段が特定した領域の符号量が、前記特定手段により特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定手段と、前記決定手段が決定したパラメータを用いて、前記取得手段が取得した画像を非可逆符号化する符号化手段とを有する。
【発明の効果】
【０００９】
本発明によれば、復号化後の画像に対して光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上されるような、非可逆符号化を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る、画像符号化装置１００の構成を示すブロック図である。
【図２】実施形態に係る、画像符号化装置１００の動作を説明するためのフローチャートである。
【図３】実施形態に係る、重要領域を特定する場合の画像符号化装置１００の構成を示すブロック図である。
【図４】実施形態に係る、重要領域を特定する場合の画像符号化装置１００の動作を説明するためのフローチャートである。
【図５】実施形態に係る、入力画像と重要領域との関係を説明するための図である。
【図６】実施形態に係る、コンピュータプログラムを実行する場合の画像符号化装置１００のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものではなく、また、以下の実施形態で説明する特徴の組み合わせの全てが本発明に必須のものとは限らない。
【００１２】
図１は、本実施形態に係る、画像符号化装置１００の構成を示すブロック図である。図１に示すように画像符号化装置１００は、撮像部１０１、参照画像生成部１０２（以下、生成部１０２）、符号化制御部１０３、符号化部１０４、及びビットレート設定部１０５を備える。図１の各処理部は１つの物理的な回路によって構成されていてもよいし、複数の回路で構成されていてもよい。なお、画像符号化装置１００が上記の構成要素の全てを備えることは必須でない。
【００１３】
撮像部１０１によって撮像された画像は生成部１０２及び符号化部１０４に入力される。生成部１０２は撮像部１０１で撮像された画像を元に符号化制御用の参照画像を生成し、符号化制御部１０３に出力する。生成部１０２が生成する参照画像は、例えば霧や煙や浮遊物の濃度を示す画像といった、光の散乱の度合いを表す画像などである。符号化制御部１０３は入力された参照画像を参照し、量子化パラメータを決定する。符号化部１０４は符号化制御部１０３が決定した量子化パラメータに基づいて、撮像部１０１から入力された画像を非可逆符号化する。符号化部１０４から出力される符号化済み画像データ（符号化ストリーム）はネットワークを介して送信されるか又は種々の記憶媒体に記憶される。ビットレート設定部１０５は、ネットワークもしくはビットレート設定部１０５が備えるユーザーインタフェースを介して、符号化部１０４から出力される符号化ストリームのビットレートの上限を設定する。ビットレート設定部１０５は設定した上限ビットレートを符号化制御部１０３に通知し、符号化制御部１０３は通知された上限ビットレートに応じて符号化部１０４を制御する。
【００１４】
本実施形態における画像符号化装置１００は、ネットワークカメラとして構成される。ここで、画像符号化装置１００が撮像した画像に光散乱領域が含まれる場合を考える。本実施形態における光散乱領域は、大気中の霧や煙や浮遊物などによる光の散乱の影響、又は水中における光の散乱の影響が表れている領域である。画像内の光散乱領域には、例えばコントラストの低下や解像感の減少などの画質の劣化が生じる。このような画像内における光の散乱の影響を軽減する画像処理を、本実施形態では光散乱除去と呼ぶ。
【００１５】
仮に画像符号化装置１００が撮像画像に対して光散乱除去を行ってから符号化し、符号化された画像を他の受信装置に送信することができれば、受信装置は受信した画像を復号化することで、光の散乱の影響が軽減された画像を取得することができる。しかしながら、画像の撮像、光散乱除去、符号化及び送信処理の全てを画像符号化装置１００が行うと、画像符号化装置１００の処理量が多くなってしまう。また、画像符号化装置１００が光散乱除去の機能を備えていない場合もある。
【００１６】
一方、画像符号化装置１００が撮像画像をそのまま非可逆符号化して送信し、受信装置がそれを受信して復号化した後に光散乱除去を行う場合、光散乱領域におけるブロックノイズや偽色が目立ってしまい十分な画質を得られない場合がある。そこで本実施形態の画像符号化装置１００は、受信装置が復号化後の画像に対して光散乱除去を行った場合の光散乱領域の画質が向上されるように、撮像画像を十分な符号量で符号化して受信装置に送信する。ただし、画像符号化装置１００はネットワークカメラに限定されるものではない。例えば、画像符号化装置１００は撮像部１０１を備えず、外部の装置からネットワークを介して取得した画像に対して符号化処理を行ってもよい。
【００１７】
以下、本実施形態の画像符号化装置１００の動作を詳細に説明する。図２は、画像符号化装置１００の動作を説明するためのフローチャートである。図２の処理は、画像符号化装置１００に対して撮像を開始するための指示が行われたタイミングで開始される。ただし、図２の処理の開始タイミングは上記タイミングに限定されない。
【００１８】
Ｓ２０１では、撮像部１０１が撮像により画像を取得する。本実施形態において撮像部１０１は動画を撮像するものとし、以後、撮像部１０１で撮像された動画の各フレームを入力画像と呼ぶ。ただしこれに限らず、撮像部１０１は静止画を撮像するものとしてもよく、その場合は撮像部１０１が撮像した静止画が入力画像となる。撮像により取得される入力画像は、例えばＲＧＢやＹＵＶなどの形式のカラー画像でもよいし、モノクロームの画像でもよい。
【００１９】
Ｓ２０２では、生成部１０２が、撮像部１０１が取得した入力画像から参照画像を生成する。本実施形態において生成部１０２は、撮像部１０１が取得した入力画像内の複数の処理対象画素それぞれに対して、その処理対象画素における複数の色成分の値とその処理対象画素の明るさとの少なくとも何れに基づく評価値を決定する。そして生成部１０２は、決定した評価値を画素値とする参照画像を生成する。
【００２０】
例えば、生成部１０２は、入力画像内の処理対象画素の評価値を、その処理対象画素から所定範囲内に存在する画素におけるＲ値、Ｇ値及びＢ値のうちの最小値に応じて決定する。この方法で決定された評価値を画素値とする参照画像を、ダークチャネル画像と呼ぶ。ダークチャネル画像内の画素値が大きい画素に対応する入力画像内の画素（評価値が大きい画素）は、近傍画素におけるＲ値、Ｇ値及びＢ値の全てが大きく、光の散乱の影響が表れている可能性が高い。また例えば、生成部１０２は、入力画像内の処理対象画素の評価値を、その処理対象画素から所定範囲内に存在する画素の輝度に応じて決定する。この方法で決定された評価値を画素値とする参照画像を、輝度画像と呼ぶ。輝度画像内の画素値が大きい画素に対応する入力画像内の画素は、近傍画素における輝度が大きく、光の散乱の影響が表れている可能性が高い。上記の所定範囲は、１辺が複数の画素で構成される矩形の範囲であってもよいし、その他の形状であってもよい。例えば、処理対象画素から所定範囲内に存在する画素が、処理対象画素のみであってもよい。
【００２１】
なお、参照画像はこれらに限らず、例えばダークチャネル画像の画素値と環境光の強度とに基づいて定まる画素値を有する、透過画像と呼ばれる画像であってもよいし、Ｒ値、Ｇ値及びＢ値の差など他の評価値に基づく画素値を有する画像であってもよい。また、本実施形態において参照画像はモノクローム画像であるものとするが、これに限定されない。例えば、参照画像の各画素が、ダークチャネル画像に対応する成分と環境光の強度に対応する成分との両方を含んでいてもよい。また、本実施形態において参照画像は入力画像と同じ解像度であるものとして説明するが、入力画像と参照画像の解像度が異なっていてもよい。
【００２２】
Ｓ２０３では、符号化制御部１０３が、生成部１０２が決定した評価値に基づく参照画像をもとに、撮像部１０１が取得した入力画像内の光散乱領域を特定する。本実施形態において画像符号化装置１００は、撮像部１０１が取得した入力画像を複数の分割領域（マクロブロック）に分割し、分割領域毎に符号化を行う。そのため光散乱領域の特定には、入力画像内の各マクロブロックの位置に対応する、参照画像内の１６×１６画素の画素値を利用する。なお、本実施形態では各分割領域を１６×１６画素のマクロブロックとするが、分割領域のサイズはこれに限定されるものではなく、例えば８×８画素や３２×３２画素でもよく、３２×１６画素のように非対称でもよい。また参照画像が入力画像より小さい解像度の場合は適宜対応をとる。例えば、参照画像が入力画像の１／２の解像度の場合は、参照画像内の８×８画素が入力画像内の１６×１６画素のマクロブロックに対応する。
【００２３】
符号化制御部１０３は、入力画像の処理対象マクロブロックに対応する参照画像の１６×１６画素の一つ一つの画素値を閾値Ｔ１と大小比較し、比較結果が条件を満たす画素の数をカウントする。条件の内容は参照画像の生成方法によって異なる。１６×１６画素の全ての画素において閾値Ｔ１との比較が完了した時点でのカウント値を値Ｓ１とする。さらに符号化制御部１０３は、値Ｓ１と閾値Ｔ２との大小比較を行う。閾値Ｔ２との比較結果が条件を満たす場合、当該マクロブロックは光散乱領域に含まれると判定される。
【００２４】
例えば参照画像がダークチャネル画像又は輝度画像である場合を考える。このとき符号化制御部１０３は、撮像部１０１が取得した入力画像を分割した複数の分割領域（マクロブロック）のうち、生成部１０２が決定した評価値が閾値Ｔ１以上である画素を所定数（閾値Ｔ２）以上含む分割領域を、光散乱領域と特定する。すなわち、ダークチャネル画像又は輝度画像において画素値が閾値以上の画素には光の散乱の影響が表れている可能性が高いため、このような画素を所定数以上含む１６×１６画素に対応するマクロブロックを光散乱領域とする。ただしこれに限らず、評価値の決定方法によっては、参照画像において画素値が閾値Ｔ１以下であるような画素の数を値Ｓ１としてもよいし、値Ｓ１が閾値Ｔ２以下であるようなマクロブロックを光散乱領域としてもよい。
【００２５】
なお、光散乱領域の特定方法はこれに限定されるものではない。例えば符号化制御部１０３は、分割領域内（マクロブロック内）の画素における評価値の平均や分散などの統計値を、その分割領域に対応する値Ｓ１としてもよい。そして例えばＳ１を平均値とした場合、Ｓ１が所定値以上（閾値Ｔ２以上）である分割領域を、光散乱領域と特定してもよい。この方法によれば、局所的に光の散乱の影響が強く表れている領域も特定することができる。また、参照画像の画素値と閾値Ｔ１との大小比較の結果に上記の統計値を組み合わせた値や、複数の統計値から求めた値を、値Ｓ１としてもよい。その他にも、符号化制御部１０３は、上記の参照画像を用いずに、入力画像の周波数特性などに基づいて光散乱領域を特定してもよい。
【００２６】
Ｓ２０４では、符号化制御部１０３が、光散乱領域の特定結果に基づいて、マクロブロックの非可逆符号化に用いる量子化パラメータを決定する。ここで符号化制御部１０３は、光散乱領域であると特定された領域の符号化における量子化ステップサイズが、光散乱領域であると特定されない場合の同一領域の符号化における量子化ステップサイズよりも小さくなるように、量子化パラメータを決定する。これにより、光散乱領域であると特定された領域の符号量は、光散乱領域であると特定されない場合の同一領域の符号量よりも多くなる。符号量が多く割り当てられた領域の画像は、非可逆符号化による情報の欠落が少ないため、復号化された場合に符号化ノイズの少ない高品質な画像となる。
【００２７】
具体的な量子化パラメータの決定方法としては、例えば符号化制御部１０３が、光散乱領域である場合と違う場合のそれぞれに対応する値をルックアップテーブルに保存しておき、マクロブロックごとにテーブルを参照して量子化パラメータを決定してもよい。また、マクロブロックが光散乱領域に含まれるか否かの二値判定に基づいて量子化パラメータを決定する方法に限らず、ルックアップテーブルに複数の値を保存しておき、Ｓ２０３で求めた値Ｓ１に応じてそのテーブルを参照し量子化パラメータを決定してもよい。この方法によって、光散乱の影響の大きさを複数段階に区分けして量子化パラメータを決定することで、より詳細に符号量を制御することができる。さらに、ルックアップテーブルを用いずに量子化パラメータを算出する方法など、その他の方法により量子化パラメータが決定されてもよい。なお、本実施形態では符号化制御部１０３がマクロブロック単位で量子化パラメータを制御する場合を中心に説明するが、符号化制御部１０３は複数のマクロブロックをまとめたブロックに対する量子化パラメータを制御してもよい。
また、符号化制御部１０３が決定するパラメータは量子化パラメータに限らず、非可逆符号化に用いられて符号量を制御できるパラメータであればよい。例えば、符号化制御部１０３は、量子化テーブルの値を光散乱領域の特定結果に基づいて決定してもよい。また例えば、符号化制御部１０３は周波数の範囲に関するパラメータを決定し、符号化部１０４は画像の持つ情報のうちそのパラメータが示す範囲内の周波数成分に関する情報を除去して符号化を行ってもよい。
【００２８】
Ｓ２０５では、符号化部１０４が、符号化制御部１０３が決定した量子化パラメータを用いて、撮像部１０１が取得した入力画像を非可逆符号化する。そして符号化部１０４は、符号化した画像（符号化ストリーム）を外部の装置又は記憶媒体に送信する。本実施形態において符号化部１０４は符号化方式としてＨ．２６４を使用するものとするが、符号化方式はこれに限らず、非可逆符号化が行える方式であればよい。
【００２９】
なお、ビットレート設定部１０５から符号化制御部１０３に上限ビットレートの通知があってもよい。このとき符号化制御部１０３は、符号化部１０４が出力する符号化ストリームのビットレートが通知された上限ビットレート内に収まるように符号化部１０４を制御する。この制御は、Ｓ２０４において決定される量子化パラメータをマクロブロックごとに調整することによって行われる。ただしこれに限らず、量子化パラメータの決定に用いるルックアップテーブルを上限ビットレートに応じて動画のフレームごとに再計算することによって、制御が行われてもよい。
【００３０】
以上説明したように、本実施形態における画像符号化装置１００は、画像を取得し、取得した画像内の光散乱領域を特定する。さらに画像符号化装置１００は、光散乱領域として特定した領域の符号量が、光散乱領域として特定されない場合の同一領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する。そして画像符号化装置１００は、決定したパラメータを用いて、取得した画像を非可逆符号化する。これにより、霧領域や煙領域などの光散乱領域に対して非可逆符号化時に多くの符号量が割り当てられる。その結果、画像の復号化後に光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上される。
【００３１】
なお、画像符号化装置１００は入力画像内の重要領域を特定し、その特定結果に基づいて符号化における符号量を制御してもよい。以下、この場合の画像符号化装置１００の構成及び動作について説明する。図３は、本実施形態に係る、重要領域を特定する場合の画像符号化装置１００の構成を示すブロック図である。図１と同様の機能を持つブロックには同一の符号を付している。図１との違いは、画像符号化装置１００が重要領域特定部３０１（以下、特定部３０１）を備えることである。
【００３２】
特定部３０１は、撮像部１０１が取得する入力画像内の重要領域を特定する。重要領域は、例えば注目領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）や、画像内の位置毎の重要度を表すマップによって定まる領域などである。以下では、特定部３０１が入力画像内の注目領域を特定するものとして説明をする。
【００３３】
注目領域は、例えば特定部３０１が入力画像に対して行う分析の結果に基づいて特定される。この分析の結果の内容は、例えば入力画像内の動体や人物などの所定のオブジェクトを検知する検知処理の結果である。動体や人物などの所定のオブジェクトが検知された領域は、復号化及び光散乱除去後に高画質であることが望まれる場合がある。そのため特定部３０１は、これらの領域を注目領域と特定する。ただし、分析結果の内容はこれらに限らない。また、特定部３０１は、画像符号化装置１００上の設定機能を介したユーザーによる入力や、ネットワークを介した外部の装置からの入力に基づいて注目領域を特定してもよい。
【００３４】
次に図４のフローチャートを用いて、重要領域を特定する場合の画像符号化装置１００の動作を説明する。図４の処理の開始タイミングは図２の処理と同様である。図２と同様の処理を行うステップには同一の符号を付している。以下、図２の処理との差異を中心に説明する。
【００３５】
Ｓ２０１では撮像部１０１が入力画像を取得する。Ｓ２０２では生成部１０２が参照画像を生成し、Ｓ２０３では符号化制御部１０３が入力画像内の光散乱領域を特定する。Ｓ４０１では、特定部３０１が入力画像内の注目領域を特定する。そして符号化制御部１０３が、特定部が特定した注目領域に基づいて、Ｓ２０３での光散乱領域の特定結果を補正する。なお、注目領域の特定は光散乱領域の特定よりも前に行われてもよいし、並行して行われてもよい。
【００３６】
特定結果の補正方法について図５を用いて説明する。図５では、符号化対象の入力画像５００の内部に、複数のマクロブロック５０１と、注目領域５０２が示されている。符号化制御部１０３は、特定部３０１が特定した注目領域に基づいて、各マクロブロックが注目領域内に位置するかどうかを判定する。このとき符号化制御部１０３は、注目領域５０２内に位置するマクロブロックに関してはＳ２０３での特定結果を変更しない。一方、注目領域５０２内に位置しないマクロブロックに関しては、そのマクロブロックがＳ２０３で特定された光散乱領域に含まれていた場合、特定結果を補正し、そのマクロブロックは光散乱領域に含まれないものとして扱う。つまり、特定結果の補正を行った結果、符号化制御部１０３は、特定部３０１が特定した注目領域内の光散乱領域を特定することとなる。
【００３７】
なお、特定結果の補正方法はこれに限らない。例えば、符号化制御部１０３は、マクロブロックが注目領域５０２内か否かに応じてそれぞれ異なる係数Ｗ１とＷ２の何れかを選択し、Ｓ２０３で求めた値Ｓ１をその係数を用いて補正してもよい。この場合符号化制御部１０３は、補正した値Ｓ１を用いてそのマクロブロックが光散乱領域に含まれるか否かを判定し直す。図５では注目領域が一つの場合を図示しているが、注目領域は複数でもよく、その場合は注目領域ごとに異なる係数を補正に用いてもよい。
【００３８】
また、符号化制御部１０３は、光散乱領域を特定した結果を後で補正するのではなく、注目領域内のマクロブロックに対してだけＳ２０３の処理を行って、注目領域内の光散乱領域を特定してもよい。なお本実施形態においては、マクロブロック内の全ての画素が注目領域内に位置する場合にそのマクロブロックが注目領域内に位置すると判定するが、これに限らない。例えば、マクロブロック内の所定数の画素が注目領域内に位置する場合にそのマクロブロックが注目領域内に位置すると判定してもよい。
【００３９】
Ｓ２０４では符号化制御部１０３が、Ｓ４０１で補正された光散乱領域の特定結果に基づいてマクロブロックの量子化パラメータを生成する。Ｓ２０５では符号化部１０４が、入力画像のマクロブロックの符号化を行い、符号化ストリームを送信する。
【００４０】
以上説明したように、本実施形態における画像符号化装置１００は、入力画像内の所定領域（注目領域）を特定し、その所定領域内の光散乱領域の符号量が多くなるように非可逆符号化に用いるパラメータを決定し、符号化を行ってもよい。これにより、画像全体の符号量が増大するのを抑制しつつ、重要な領域内の光散乱領域には符号量を多く割り当てて、復号化後の画像に光散乱の影響を軽減する画像処理を行った処理画像における重要領域の高画質化を実現することができる。
【００４１】
なお本実施形態では、入力画像内の各マクロブロックに対応する量子化パラメータを符号化制御部１０３が全て決定した後に、符号化部１０４が入力画像の符号化を始める場合を中心に説明したが、これに限らない。例えば、符号化制御部１０３は参照画像に基づいて、一つの処理対象マクロブロックが光散乱領域に該当するか否かを判定し、その判定結果に基づいて量子化パラメータを決定する。符号化部１０４はその量子化パラメータを用いて処理対象マクロブロックを符号化する。そして画像符号化装置１００は、処理対象マクロブロックを変えながら上記の処理を繰り返すという方法をとってもよい。この方法によれば、符号化制御部１０３と符号化部１０４とが並行して処理を行うことができる場合、符号化に係る遅延を短縮することができる。
【００４２】
また本実施形態では、符号化制御部１０３がマクロブロック内の全ての画素の評価値に基づいて、そのマクロブロックが光散乱領域に含まれるか否かを判定したが、これに限らず、マクロブロック内の特定の画素の評価値に基づいて判定を行ってもよい。また、符号化制御部１０３は、入力画像内の全てのマクロブロックではなく、特定のマクロブロックについて光散乱領域に含まれるか否かを判定してもよい。また本実施形態では、撮像部が撮像した動画の各フレームに対して図２又は図４の処理を行う場合を中心に説明したが、これに限らない。例えば、画像符号化装置１００は所定数のフレームごとに量子化パラメータを決定し、その間の所定数のフレームは全て同じ量子化パラメータを使用して符号化してもよい。これらにより、画像符号化装置１００の処理負荷を低減することができる。
【００４３】
上述の実施形態において、図１及び図３に示した各処理部は、ハードウェアで構成されているものとして説明した。しかし画像符号化装置１００は、これらの図に示した一部または全部の処理部で行う図２及び図４に示した処理を、コンピュータプログラムを実行することで実現しても良い。以下、この場合の画像符号化装置１００のハードウェアの構成例を、図６を用いて説明する。
【００４４】
ＣＰＵ６０１は、ＲＡＭ６０２やＲＯＭ６０３に格納されているコンピュータプログラムやデータを用いて装置全体の制御を行うと共に、上述の実施形態における画像符号化装置１００が行う各処理を実行する。即ち、ＣＰＵ６０１は、図１及び図３に示した各処理部として機能する。
【００４５】
ＲＡＭ６０２は、外部記憶装置６０６からロードされたコンピュータプログラムやデータ、及びＩ／Ｆ（インターフェース）６０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ６０２は、ＣＰＵ６０１が各種の処理を実行する際に用いるワークエリアを有する。例えば、ＲＡＭ６０２は、画像を保存するピクチャメモリとして用いられる。
【００４６】
ＲＯＭ６０３には、画像符号化装置１００の設定データや、ブートプログラムなどが格納されている。操作部６０４は、キーボードやマウスなどにより構成されており、ユーザーによる操作を受けて、各種の指示をＣＰＵ６０１に対して入力する。出力部６０５は、ＣＰＵ６０１による処理結果を出力表示する。なお、出力部６０５は、例えば液晶ディスプレイ等の表示部で構成される。
【００４７】
外部記憶装置６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ６０１による制御に従って、適宜ＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理対象となる。Ｉ／Ｆ６０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、画像符号化装置１００はこのＩ／Ｆ６０７を介して様々な情報を取得したり、送出したりすることができる。バス６０８は、上述の各部を繋いで情報を伝達する。
【００４８】
画像符号化装置１００が図６のように構成されている場合、図２及び図４で説明した処理は、ＣＰＵ６０１がＲＯＭ６０３に記憶されている制御プログラムを実行し、情報の演算及び加工、並びに各ハードウェアの制御を実行することにより実現される。  
【００４９】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００５０】
１００  画像符号化装置
１０１  撮像部
１０３  符号化制御部
１０４  符号化部
【図１】
2017098919.tif 000003
【図２】
2017098919.tif 000004
【図３】
2017098919.tif 000005
【図４】
2017098919.tif 000006
【図５】
2017098919.tif 000007
【図６】
2017098919.tif 000008