(57)【要約】      （修正有）【課題】入力された画像について圧縮符号化処理を行なう画像処理装置において、視認性や判別性を向上させたい領域の量子化精度が低かった場合が多く含まれていても、鮮鋭化された復号化画像を提供する。【解決手段】画像処理装置２０は、入力画像を予め設定された判断基準に基づいて解析し重要領域情報を生成する画像解析部２１０と、重要領域情報に基づいて入力画像から重要領域画像を抽出する画像抽出部２２０と、重要領域画像について高解像度化処理を行なって重要領域超解像画像を生成する超解像拡大処理部２３０と、入力画像について単純拡大処理を行なって単純拡大画像を生成する単純拡大処理部２４０と、重要領域情報に基づいて重要領域超解像画像と単純拡大画像とを合成する画像合成部２５０と、画像合成部で合成された画像について符号化処理を行なう符号化部２６０とを備えた。【選択図】図１
2016116095.tif 000002
【特許請求の範囲】
【請求項１】
入力された入力画像を予め設定された判断基準に基づいて解析し重要領域情報を生成する画像解析部と、
前記重要領域情報に基づいて前記入力画像から重要領域画像を抽出する画像抽出部と、
前記重要領域画像について高解像度化処理を行なって重要領域超解像画像を生成する超解像拡大処理部と、
前記入力画像について単純拡大処理を行なって単純拡大画像を生成する単純拡大処理部と、
前記重要領域情報に基づいて前記重要領域超解像画像と前記単純拡大画像とを合成する画像合成部と、
前記画像合成部で合成された画像について符号化処理を行なう符号化部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記符号化部は、前記重要領域情報に基づいて符号化精度を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力された入力画像を予め設定された判断基準に基づいて解析し重要領域情報を生成する画像解析部と、
前記重要領域情報に基づいて前記入力画像から重要領域画像を抽出する画像抽出部と、
前記重要領域画像について高解像度化処理を行なって重要領域超解像画像を生成する超解像拡大処理部と、
前記入力画像について単純拡大処理を行なって単純拡大画像を生成する単純拡大処理部と、
前記重要領域超解像画像について符号化処理を行なって重要領域強調符号化画像を生成する第２の符号化部と、
前記入力画像について符号化処理を行なって全体符号化画像を生成する第３の符号化部と、
前記重要領域強調符号化画像及び前記全体符号化画像を出力する符号化画像出力部と
を備えることを特徴とする画像処理装置。
【請求項４】
前記第２の符号化部は、前記重要領域情報に基づいて符号化精度を設定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記符号化画像出力部からの前記重要領域強調符号化画像を復号して重要領域圧縮画像を生成する第１の復号化部と、
前記符号化画像出力部からの前記全体符号化画像を復号して全体復号画像を生成し量子化精度情報を生成する第２の復号化部と、
前記量子化精度情報に基づいて超解像処理制御情報を生成する超解像制御部と、
前記全体復号画像を前記超解像処理制御情報に基づいて超解像処理を行ない高解像度圧縮画像を生成するレコーダ超解像拡大処理部とをさらに備える
ことを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記画像解析部は、予め設定された画像識別情報に基づいて前記入力画像のうち前記画像識別情報に該当する領域を重要領域と判断して前記重要領域情報を生成する
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像解析部は、前記入力画像の色情報から前記人の肌の色が集まる画像領域を重要領域と判断する
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像解析部は、前記入力画像から画像内の平坦領域を判別して平坦領域でないとする領域を重要領域と判断して前記重要領域情報を生成する
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
入力された入力画像を予め設定された判断基準に基づいて解析し重要領域情報を生成する画像解析ステップと、
前記重要領域情報に基づいて前記入力画像から重要領域画像を抽出する画像抽出ステップと、
前記重要領域画像について高解像度化処理を行なって重要領域超解像画像を生成する超解像拡大処理ステップと、
前記入力画像について単純拡大処理を行なって単純拡大画像を生成する単純拡大処理ステップと、
前記重要領域情報に基づいて前記重要領域超解像画像と前記単純拡大画像とを合成する画像合成ステップと、
前記画像合成ステップで合成された画像について符号化処理を行なう符号化ステップと
を備えることを特徴とする画像処理方法。
【請求項１０】
入力された入力画像を解析して重要領域情報を生成する画像解析ステップと、
前記重要領域情報に基づいて前記入力画像から重要領域画像を抽出する画像抽出ステップと、
前記重要領域画像について高解像度化処理を行なって重要領域超解像画像を生成する超解像拡大処理ステップと、
前記入力画像について単純拡大処理を行なって単純拡大画像を生成する単純拡大処理ステップと、
前記重要領域超解像画像について符号化処理を行なって重要領域強調符号化画像を生成する第２の符号化ステップと、
前記入力画像について符号化処理を行なって全体符号化画像を生成する第３の符号化ステップと、
前記重要領域強調符号化画像及び前記全体符号化画像を出力する符号化画像出力ステップと
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力された画像について圧縮符号化処理を行なう画像処理装置に関する。
【背景技術】
【０００２】
カメラなど撮像部から入力された画像を記録する装置において、記録するデータ量を削減するために入力された画像を圧縮符号化することが一般的である。この場合、圧縮符号化された画像を復号化した画像は、入力された画像よりも画質は劣化することになり、視認性や判別性が悪くなる。
【０００３】
一方、記録された画像から所望の範囲の画像を拡大して表示することが求められる場合がある。この場合、記録された画像が圧縮符号化された画像であれば、撮像部から入力された画像よりも画質が劣化した画像から拡大することになり、圧縮符号化したときの符号化歪が要因となる画質劣化がさらに生じるという問題があった。
【０００４】
そこで、符号化画像を生成する際の量子化の精度を示す量子化情報を取得するとともに、復号化した復号化画像に鮮鋭化処理を行ない、量子化情報における量子化の精度の低下にともなって鮮鋭化処理の効果を抑制することで所望の範囲の画像を拡大して表示する場合に圧縮符号化したときの符号化歪による画質劣化を抑える方法があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１９９３９９号公報（第４−１４頁、第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１は視認性や判別性を向上させたい領域の量子化精度が低かった場合が多く含まれていた場合、鮮鋭化処理を行うことができないという問題があった。
【０００７】
この発明は、上述のような課題を解決するためになされたもので、視認性や判別性を向上させたい領域の量子化精度が低かった場合が多く含まれていた場合においても、鮮鋭化された復号化画像を提供する画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像処理装置においては、入力された入力画像を予め設定された判断基準に基づいて解析し重要領域情報を生成する画像解析部と、前記重要領域情報に基づいて前記入力画像から重要領域画像を抽出する画像抽出部と、前記重要領域画像について高解像度化処理を行なって重要領域超解像画像を生成する超解像拡大処理部と、前記入力画像について単純拡大処理を行なって単純拡大画像を生成する単純拡大処理部と、前記重要領域情報に基づいて前記重要領域超解像画像と前記単純拡大画像とを合成する画像合成部と、前記画像合成部で合成された画像について符号化処理を行なう符号化部とを備えたことを特徴とするものである。
【発明の効果】
【０００９】
この発明は、入力された入力画像を予め設定された判断基準に基づいて解析し生成した重要領域情報に基づいて、前記入力画像から重要領域画像を抽出して高解像度化処理を行ない、前記入力画像を単純拡大した単純拡大画像と合成し、合成された画像について符号化処理を行なうことにより、復号化したときの画像について視認性や判別性を向上させたい領域が量子化精度によらず鮮鋭化された画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１にかかる画像処理装置を含む撮像システムの構成図である。
【図２】実施の形態１にかかる画像解析部を説明する為の模式図である。
【図３】実施の形態１にかかる画像抽出部を説明する為の模式図である。
【図４】実施の形態１にかかるカメラ超解像拡大処理部を説明する為の模式図である。
【図５】再構成型超解像処理を用いたカメラ超解像拡大処理部を説明する為の模式図である。
【図６】実施の形態１にかかる撮像システムの第２の構成図である。
【図７】実施の形態１にかかる画像処理方法のフロー図である。
【図８】実施の形態２にかかる画像処理装置を含む撮像システムの構成図である。
【図９】画像解析部２１１の重要領域判定方法を説明する為の模式図である。
【図１０】平坦判定処理方法を説明する為の模式図である。
【図１１】実施の形態３にかかる画像処理装置の構成例を示すブロック図である。
【図１２】実施の形態３にかかる画像処理方法のフロー図である。
【図１３】実施の形態４にかかる画像処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１にかかる画像処理装置２０を含む撮像システムの構成例を示すブロック図である。画像処理装置２０は、カメラなど撮像部１０が撮像した画像データＤＩＮを入力し、圧縮符号化処理した符号化データＤＯＵＴを蓄積処理部３０に出力する。蓄積処理部３０は、符号化データＤＯＵＴを記憶する。また蓄積処理部３０は、記憶した符号化データＤＯＵＴのうち要求に応じて該当する符号化データを復号処理部４０に出力する。復号処理部４０は入力された復号処理部４０を復号化した画像データをディスプレイ（表示装置）５０に出力する。表示装置５０は、入力した画像データを表示する。
【００１２】
画像処理装置２０は、入力画像データＤＩＮを予め設定された判断基準に基づいて解析し重要領域情報Ｄ１を生成する画像解析部２１０と、重要領域情報Ｄ１に基づいて入力画像データＤＩＮから重要領域画像Ｄ２を抽出する画像抽出部２２０と、重要領域画像Ｄ２について高解像度化処理を行なって重要領域超解像画像Ｄ３を生成する超解像拡大処理部２３０と、入力画像データＤＩＮについて単純拡大処理を行なって単純拡大画像Ｄ４を生成する単純拡大処理部Ｄ２４０と、重要領域情報Ｄ１に基づいて重要領域超解像画像Ｄ３と単純拡大画像Ｄ４とを合成する画像合成部２５０と、画像合成部２５０で合成された画像Ｄ５について符号化処理を行なう符号化部２６０とを備える。
【００１３】
次に、画像処理装置２０の各構成要素について説明する。画像解析部２１０は撮像部１０が撮像した入力画像データＤＩＮから、予め設定した重要領域に該当すると判断された画像領域を検出し、重要領域情報Ｄ１として出力する。予め設定する重要領域としては、例えば監視カメラ用途であれば、文字、ナンバープレート、人物、及び顔などが挙げられる。
【００１４】
ここで画像データＤＩＮの中で、解像度の高い画像領域であれば、超解像拡大処理部２３０で高解像度化せずにそのまま圧縮符号化されても、後段で復号化した画像を表示したときにユーザーが認識し得る（例えば、文字や顔、テクスチャなどが充分に判別できる）可能性が高くなる。一方、解像度が低く、高解像度化対象の特徴が画像内で失われているようであれば、高解像度化による判別性の向上効果を得ることは容易ではない。
【００１５】
ここで、本発明で説明する解像度は、画像内の画素密度を示すものではなく、画像の高周波成分の再現性を表すものとして示す。つまり解像度が高ければ細かい部分もきちんと描写されているということを示す。例えばピントの合っている画像領域とピントの合っていない画像領域では、同じ画像領域サイズの同じ文字であっても、ピントの合っている方の画像領域の方がピントの合っていない画像領域よりも文字周辺の画素のコントラストが高く文字が判別可能になる。
【００１６】
解像度は、例えば、画像データにおける周波数特性を求めて高周波成分の多い領域を数値化することで解像度を判断する。
【００１７】
このため、重要領域情報Ｄ１から重要領域画像Ｄ２へ集約する対象は、画像解析部１にて認識された対象のうち、ある基準閾値サイズＴｈＳを下回る領域のみとする（基準閾値サイズは例えば、文字サイズや顔サイズ、瞳孔距離（ＰＤ：Ｐｕｐｉｌ  Ｄｉｓｔａｎｃｅ）などを用いる）。基準閾値サイズＴｈＳの設定はレンズのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）特性やモーションブラー、デフォーカスブラーを考慮した画像の解像度により判断し設定する。
【００１８】
画像解析部２１０における重要領域に該当すると判断する解析と画像抽出部２２０における抽出の手法として、物体認識技術やセグメンテーション技術、サリエンシーディテクション（顕著性抽出）が用いられる。
【００１９】
図２は、画像解析部を説明する為の模式図の一例である。図２では、Ｈａａｒ−Ｌｉｋｅ特徴量を用いた物体（人物）認識技術を行なう。図２のＨＬ１はＨａａｒ−Ｌｉｋｅ特徴１のパターンを示し、図２のＨＬ２はＨａａｒ−Ｌｉｋｅ特徴２のパターンを示す。Ｈａａｒ−Ｌｉｋｅ特徴量１は、ＨＬ１のパターンを置いた場合のＨＬ１における黒領域にあたる画素の画素値を合計したものと、ＨＬ１における白領域にあたる画素の画素値を合計したものとの差分である。同様にＨａａｒ−Ｌｉｋｅ特徴量２は、ＨＬ２のパターンを置いた場合のＨＬ２における黒領域にあたる画素の画素値を合計したものと、ＨＬ２における白領域にあたる画素の画素値を合計したものとの差分である。
【００２０】
画像解析部２１０は、画像データＤＩＮについて各領域でＨＬ１の検索窓をおいた場合のＨａａｒ−Ｌｉｋｅ特徴量１とＨＬ２の検索窓をおいた場合のＨａａｒ−Ｌｉｋｅ特徴量２とを求めてその該当領域付近に顔があるか否かを判断する。図２（Ａ）は画像データＤＩＮの画像領域Ｄ１ＣについてＨＬ１の検索窓をおいた場合を示し、図２（Ｂ）は画像データＤＩＮの画像領域Ｄ１ＣについてＨＬ２の検索窓をおいた場合を示す。
【００２１】
ＨＬ１の検索窓をおいた場合の黒領域にあたる画素の画素値を合計したものから白領域にあたる画素の画素値を合計したものを引いたＨａａｒ−Ｌｉｋｅ特徴量１が正の値であればその領域には顔の特に目元が存在する候補とする。同様に、ＨＬ２の検索窓をおいた場合の黒領域にあたる画素の画素値を合計したものから白領域にあたる画素の画素値を合計したものを引いたＨａａｒ−Ｌｉｋｅ特徴量２が正の値であればその領域には顔の特に目元が存在する候補とする。Ｈａａｒ−Ｌｉｋｅ特徴量１とＨａａｒ−Ｌｉｋｅ特徴量２とが共に正の値であればその画像領域に顔があると判断する。
【００２２】
このように複数のＨａａｒ−Ｌｉｋｅ特徴のパターンから求めたＨａａｒ−Ｌｉｋｅ特徴量を用いてその画像領域に顔があるとする確からしさを上げて判断する。
【００２３】
画像抽出部２２０は、画像解析部２１０から得られた重要領域情報Ｄ１に基づいて入力画像データＤＩＮから重要領域画像Ｄ２を抽出する。例えば、重要領域情報Ｄ１は、入力画像データＤＩＮを予め設定された判断基準に基づいて画像領域と判断した画像領域のそれぞれの２次元の座標の情報を含む。
【００２４】
本実施の形態では、画像解析部２１０が、重要領域情報Ｄ１から重要領域画像Ｄ２へ集約する対象を判断して重要領域情報Ｄ１を生成するとしているが、画像解析部２１０は予め設定した重要領域に該当すると判断された画像領域を全て抽出し、画像抽出部２２０が重要領域情報Ｄ１に含まれる画像領域のうちから重要領域画像Ｄ２へ集約する対象を判断しても良いことは自明である。
【００２５】
次に、図３を用いて画像データＤＩＮから重要領域画像Ｄ２を抽出する処理について説明する。図３は、画像抽出部２２０を説明する為の模式図である。図３（Ａ）は、画像データＤＩＮを示す。図３（Ｂ）は、画像抽出部２２０が抽出して生成した重要領域画像Ｄ２を示す。図３（Ｃ）は、画像抽出部２２０が抽出して生成した重要領域画像Ｄ２ｂの例を示す。
【００２６】
画像解析部２１０は、画像データＤＩＮに対して、人物の顔として画像領域Ｄ１Ａ、Ｄ１Ｂ、及びＤ１Ｃを認識する。また、車のナンバープレートとして画像領域Ｄ１Ｄを認識する。
【００２７】
ここで、Ｄ１Ｃについては、超解像拡大処理部２３０で高解像度化せずにそのまま圧縮符号化されても、後段で復号化した画像を表示したときにユーザーが認識し得るだけの解像感の高さがあると判断し、画像解析部２１０から画像抽出部２２０へ出力する重要領域情報Ｄ１からは外して出力する。つまり、この場合の重要領域情報Ｄ１は、画像領域Ｄ１Ａ、Ｄ１Ｂ、及びＤ１Ｄが重要領域画像Ｄ２として抽出する画像領域であることを示す情報を出力する。
【００２８】
画像抽出部２２０は、画像データＤＩＮのうち、入力された重要領域情報Ｄ１に含まれる画像領域Ｄ１Ａ、Ｄ１Ｂ、及びＤ１Ｄについて画像データを抽出して集約したＤ２を生成する。
【００２９】
また、画像抽出部２２０の処理は、図３（Ｃ）に示すように、重要領域情報Ｄ１に該当しない領域に対してマスキング処理を行った重要領域画像Ｄ２ｂを出力するような実現方法でもよい。
【００３０】
さらに、複数の重要領域を含む画像領域をまとめて一つの重要領域画像としても構わない。例えば、複数の重要領域が密集している場合は、複数の重要領域を一つにまとめることで後段の高解像度化処理にかかる処理を簡易にする効果がある。
【００３１】
カメラ超解像拡大処理部２３０は、重要領域画像Ｄ２に対して高解像度化処理を行うことで重要領域超解像画像Ｄ３を出力する。
【００３２】
図４は、カメラ超解像拡大処理部２３０を説明する為の模式図である。高解像度化処理は、例えば超解像処理であって、１枚の画像フレームを用いたデータベースによる処理の他に、複数のフレームを用いて合成する再構成型超解像処理などを用いることができる。
【００３３】
図５を用いて、３×３画素からなる４フレーム分の画像データから６×６画素からなる超解像画像を生成する処理について説明する。ここで、３×３画素とは３行３列の画素から構成された１フレームの画像を示す。図５（Ａ）は、３×３画素からなる画素フレームが時系列に４フレーム分並んでいる様子を示す。ここではフレーム１の画素データを白抜き四角（□）で示し、フレーム２の画素データを白抜き丸（○）で示し、フレーム３の画素データを白抜き三角（△）で示し、そしてフレーム４の画素データを白抜き菱形（◇）で示している。
【００３４】
カメラ超解像拡大処理部２３０は、図５（Ａ）のフレーム１からフレーム４までの３×３画素からなる画素フレームに対して位置合わせ処理を行なう。この位置合わせ処理では、各フレームの画素データから、３×３画素における１画素領域を４分割に分けてそれぞれの４分割された領域に適当な画素データを割り当てる。図５（Ｂ）では、それぞれの３×３画素における１画素領域に対して、４分割に分けた左下の領域にフレーム１の画素データ（□）、左上の領域にフレーム２の画素データ（○）、右上の領域にフレーム３の画素データ（△）、そして右下の領域にフレーム４の画素データ（◇）が割り当てられた場合の様子を示している。
【００３５】
これにより図５（Ｃ）のような６×６画素からなる超解像画像を生成することができる。
【００３６】
カメラ超解像拡大処理部２３０の超解像処理は重要領域画像Ｄ２に対して一種類の処理である必要はなく、抽出された重要領域ごとに別々の処理を行ってもよい。
【００３７】
単純拡大処理部２４０は、画像データＤＩＮに対して、バイリニア法又はバイキュービック法などの線形フィルタ演算により画素間を補間し拡大し、単純拡大画像Ｄ４を出力する。拡大倍率はカメラ超解像拡大処理部２３０が行った超解像処理と同じ拡大倍率を用いる。
【００３８】
画像合成部２５０は、重要領域超解像画像Ｄ３と単純拡大画像Ｄ４を合成し、重要領域は高精細に高解像度化され、他の領域はブラー（ｂｌｕｒ）を含む状態で拡大された重要領域強調拡大画像Ｄ５を得る。
【００３９】
図３の例で説明すれば、重要画像領域Ｄ１Ａ、Ｄ１Ｂ、及びＤ１Ｄの画像領域については、重要領域超解像画像Ｄ３における該当の画像領域が高解像度化された画像を選択し、他の領域は単純拡大画像Ｄ４を選択する合成を行なう。また、重要領域超解像画像Ｄ３と単純拡大画像Ｄ４との境界付近については合成比を調整して合成することで、境界が目立たない重要領域強調拡大画像Ｄ５を得ることが可能になる。
【００４０】
符号化部２６０は、重要領域強調拡大画像Ｄ５に対して符号化処理を行い、重要領域強調符号化画像ＤＯＵＴ１を出力する。ここで符号化処理では重要領域強調拡大画像Ｄ５から超解像処理を行った領域に対しては符号化精度の高い処理を行い、重要領域以外の領域に対しては符号化精度の低い処理を行なうことで、超解像処理の効果が低減するのを抑えることができる。この場合は、重要領域情報Ｄ１を符号化部２６０に入力して重要領域情報Ｄ１から重要領域の領域についての情報を得ることで実現できる。
【００４１】
図６に、本発明にかかる撮像システムの第２の構成例を示す。図６のように、図１における画像処理装置２０、蓄積処理部３０、及び復号処理部４０は、メモリ３に記憶されたプログラムを実行するＣＰＵまたはシステムＬＳＩなどのプロセッサ２により実行することにより実現することも可能である。また、複数のプロセッサが連携して上記機能を実行してもよい。
【００４２】
図７は、上述の実施の形態のフローチャート図である。まず、ステップＳ１において、入力画像データＤＩＮを予め設定された判断基準に基づいて解析し重要領域情報Ｄ１を生成する。
【００４３】
次に、ステップＳ２において、ステップＳ１で生成された重要領域情報Ｄ１に基づいて入力画像データＤＩＮから重要領域画像Ｄ２を抽出する。
【００４４】
次に、ステップＳ３において、ステップＳ２で抽出された重要領域画像Ｄ２について高解像度化処理を行なって重要領域超解像画像Ｄ３を生成する。
【００４５】
ステップＳ４は、ステップＳ１、ステップＳ２、及びステップＳ３とは並行して、入力画像データＤＩＮについて単純拡大処理を行なって単純拡大画像Ｄ４を生成する。図７ではステップＳ４は、ステップＳ１からステップＳ３までの処理と並列処理する方法で示すが、処理の開始から次のステップＳ５までのいずれかに逐次処理で行なっても構わない。
【００４６】
ステップＳ５は、ステップＳ３の処理及びステップＳ５の処理の後に、重要領域情報Ｄ１に基づいて重要領域超解像画像Ｄ３と単純拡大画像Ｄ４とを合成する。
【００４７】
ステップＳ６は、ステップ５で合成された画像について圧縮符号化処理を行なう。
【００４８】
このように、入力された画像データＤＩＮから、予め設定された判断基準に基づいて重要領域を抽出し、重要領域の画像（Ｄ２）について画像データＤＩＮの解像度よりも高い解像度の画像（Ｄ３）になるように高解像度化処理を行なった上で、重要領域以外の画像領域と合わせて圧縮符号化することによって、生成された符号化データＤＯＵＴを復号化して得られた画像は、重要領域については解像度の高い画像を得ることが可能となる。これにより、重要領域の画像について表示側で視認性を高くできる。
【００４９】
また撮像画像中で高解像度化したい領域を画像解析部２１０によって抽出し、抽出した重要領域の符号化精度を高い水準に保つことで、カメラ超解像拡大処理部２３０の視認性、判別性向上効果を最大化することができる。この高解像度化したい領域は概して狭い領域であることが多いため、メモリに対する負荷が小さく、多くの処理対象を重要領域として保有することができる。さらにデータ量を抑えるために量子化精度を低く設定しなければならない場合でも、画像データＤＩＮの中で占める割合が小さい画像領域であれば、量子化精度の向上がデータ量の増加に与える影響が少なくなるので、重要領域の量子化精度を高い水準に保つことは容易となる。
【００５０】
実施の形態２．
実施の形態１に係る画像処理装置では、画像解析部２１０及び画像抽出部２２０として、物体認識技術やセグメンテーション技術、サリエンシーディテクションを用いて重要領域に該当すると判断する手法を適用していたが、実施の形態２では、画像の色情報から肌色を抽出し人物存在領域とみなす肌色検出処理などを用いて、入力画像データＤＩＮのうち超解像処理を行うべき領域を判別することで重要領域であるかを判断する手法を適用する。ここでは超解像処理判定手法と呼ぶ。
【００５１】
図８は本実施の形態にかかる画像処理装置２１を含む撮像システムの構成例を示すブロック図である。画像処理装置２１は、カメラなど撮像部１０が撮像した画像データＤＩＮを入力し、圧縮符号化処理した符号化データＤＯＵＴを蓄積処理部３０に出力する。蓄積処理部３０は、符号化データＤＯＵＴを記憶する。また蓄積処理部３０は、記憶した符号化データＤＯＵＴのうち要求に応じて該当する符号化データを復号処理部４０に出力する。復号処理部４０は入力された復号処理部４０を復号化した画像データをディスプレイ（表示装置）５０に出力する。表示装置５０は、入力した画像データを表示する。
【００５２】
画像処理装置２１は、入力画像データＤＩＮを予め設定された判断基準に基づいて解析し重要領域情報Ｄ１を生成する画像解析部２１１と、重要領域情報Ｄ１に基づいて入力画像データＤＩＮから重要領域画像Ｄ２を抽出する画像抽出部２２０と、重要領域画像Ｄ２について高解像度化処理を行なって重要領域超解像画像Ｄ３を生成する超解像拡大処理部２３０と、入力画像データＤＩＮについて単純拡大処理を行なって単純拡大画像Ｄ４を生成する単純拡大処理部Ｄ２４０と、重要領域情報Ｄ１に基づいて重要領域超解像画像Ｄ３と単純拡大画像Ｄ４とを合成する画像合成部２５０と、画像合成部２５０で合成された画像Ｄ５について圧縮符号化処理を行なう符号化部２６０とを備える。
【００５３】
画像処理装置２１における画像解析部２１１以外の構成要素の詳細な作用については、実施の形態１と同様である。
【００５４】
図９は、画像解析部２１１の超解像処理判定手法を用いた重要領域判定方法を説明する為の模式図である。図１０は、平坦判定処理方法を説明する為の模式図である。図１０（Ａ）は画像解析部２１１に入力される画像データＤＩＮを示し、図１０（Ｂ）はエッジ強度マップを示す。
【００５５】
超解像処理判定手法の一つとして平坦判定処理を用いる場合は、画像データＤＩＮについてハイパスフィルタ（例えばラプラシアンフィルタ）処理を行ない、隣接した画素領域の輝度差からエッジ強度マップを取得する。得られたエッジ強度マップから小領域を抽出し、各小領域が平坦領域かまたは非平坦領域かを判定する。
【００５６】
平坦領域かまたは非平坦領域かの判定は、図１０（Ｂ）に示すようにエッジ強度マップを小領域ごとに分割し、分割された小領域ごとに強度平均値が平坦判定閾値を超える場合には領域を非平坦領域と判定し、平坦判定閾値を超えない場合には領域を平坦領域と判定する。図１０（Ｂ）の例では、エッジ強度マップを分割して抽出された小領域ａ（抽出領域ａともいう）は平坦判定閾値を超えないことから平坦領域と判定され、小領域ｂ（抽出領域ｂ）は平坦判定閾値を超えることから非平坦領域と判定される。
【００５７】
また、超解像処理判定手法の一つとして肌色検出処理を用いる場合は、図９（Ａ）の画像データＤＩＮについて、画像の各画素のＲＧＢ値が予めＲＧＢ空間上で設定された肌色領域に存在するかどうかで、画像の肌色領域を検出する。
【００５８】
超解像処理判定手法で得られた重要領域情報が矩形でない場合は、その重要領域を含む矩形領域にしたものを重要領域情報Ｄ１として生成することで、後段の画像抽出部２２０における画像抽出または超解像拡大処理部２３０における高解像度化などの処理を簡易にすることができる。
【００５９】
さらに、図９（Ｃ）のように、複数の重要領域（Ｄ１Ａ、Ｄ１Ｂ、及びＤ１Ｃ）を含む画像領域をまとめて一つの重要領域画像（Ｄ２ｂ）としても構わない。例えば、複数の重要領域が密集している場合は、複数の重要領域を一つにまとめることで後段の高解像度化処理にかかる処理を簡易にする効果がある。
【００６０】
本実施の形態にかかる画像処理装置２１を備える撮像システムにおいても、図６のようにメモリ３に記憶されたプログラムを実行するＣＰＵまたはシステムＬＳＩなどのプロセッサ２により実行することにより実現することも可能である。また、複数のプロセッサが連携して上記機能を実行してもよい。
【００６１】
また、フロー処理の流れは図７のフロー図と同様である。
【００６２】
このように、本実施の形態で説明した画像解析部２１１を用いた画像処理装置２１であっても、実施の形態１と同様に所期の目的を達成し得る。
【００６３】
実施の形態３．
上述の実施の形態に係る画像処理装置では、画像データＤＩＮに対して生成した重要領域超解像画像Ｄ３と単純拡大画像Ｄ４とを合成して圧縮符号化を行なって出力をしていたが、実施の形態３では、合成をすることなく重要領域超解像画像Ｄ３と画像データＤＩＮとをそれぞれ圧縮符号化を行なって出力をする。
【００６４】
図１１は本実施の形態にかかる画像処理装置２２を含む撮像システムの構成例を示すブロック図である。画像処理装置２２は、カメラなど撮像部１０が撮像した画像データＤＩＮを入力し、生成した重要領域超解像画像Ｄ３を圧縮符号化処理した符号化データＤＯＵＴ２及び画像データＤＩＮを圧縮符号化処理した符号化データＤＯＵＴ３を蓄積処理部３１に出力する。蓄積処理部３１は、符号化データＤＯＵＴ２及び符号化データＤＯＵＴ３を記憶する。また蓄積処理部３１は、記憶した符号化データＤＯＵＴ２及び符号化データＤＯＵＴ３のうち要求に応じて該当する符号化データを復号処理部４０に出力する。復号処理部４０は入力された復号処理部４０を復号化した画像データをディスプレイ（表示装置）５０に出力する。表示装置５０は、入力した画像データを表示する。
【００６５】
画像処理装置２２は、入力画像データＤＩＮを予め設定された判断基準に基づいて解析し重要領域情報Ｄ１を生成する画像解析部２１０と、重要領域情報Ｄ１に基づいて入力画像データＤＩＮから重要領域画像Ｄ２を抽出する画像抽出部２２０と、重要領域画像Ｄ２について高解像度化処理を行なって重要領域超解像画像Ｄ３を生成する超解像拡大処理部２３０と、重要領域超解像画像Ｄ３について圧縮符号化処理を行なう第２の符号化部２６１と、入力画像データＤＩＮについて圧縮符号化処理を行なう第３の符号化部２６２とを備える。
【００６６】
画像処理装置２２における第２の符号化部２６１及び第３の符号化部２６２以外の構成要素の詳細な作用については、実施の形態１と同様である。
【００６７】
第２の符号化部２６１は、超解像拡大処理部２３０が生成した重要領域超解像画像Ｄ３について圧縮符号化処理を行なう。
【００６８】
第２の符号化部２６１は、超解像拡大処理部２３０が生成した重要領域超解像画像Ｄ３に対して圧縮符号化処理を行い、重要領域強調符号化画像ＤＯＵＴ２を出力する。ここで、第２の符号化部２６１における符号化処理は超解像処理を行った画像であり第３の符号化部２６２の符号化精度よりも高い符号化精度で処理を行う。
【００６９】
第３の符号化部２６２は、入力画像データＤＩＮに対して圧縮符号化処理を行い、全体符号化画像ＤＯＵＴ３を出力する。
【００７０】
本実施の形態にかかる画像処理装置２２は、第２の符号化部２６１が生成した重要領域強調符号化画像ＤＯＵＴ２と第３の符号化部２６２が生成した全体符号化画像ＤＯＵＴ３とを別のストリームとして分類可能な状態で出力する。
【００７１】
本実施の形態にかかる画像処理装置２２を備える撮像システムにおいても、図６のようにメモリ３に記憶されたプログラムを実行するＣＰＵまたはシステムＬＳＩなどのプロセッサ２により実行することにより実現することも可能である。また、複数のプロセッサが連携して上記機能を実行してもよい。
【００７２】
図１２は、本実施の形態のフローチャート図である。まず、ステップＳ１において、入力画像データＤＩＮを予め設定された判断基準に基づいて解析し重要領域情報Ｄ１を生成する。
【００７３】
次に、ステップＳ２において、ステップＳ１で生成された重要領域情報Ｄ１に基づいて入力画像データＤＩＮから重要領域画像Ｄ２を抽出する。
【００７４】
次に、ステップＳ３において、ステップＳ２で抽出された重要領域画像Ｄ２について高解像度化処理を行なって重要領域超解像画像Ｄ３を生成する。
【００７５】
ステップＳ６１は、ステップ３で生成された重要領域超解像画像Ｄ３について第２の圧縮符号化処理を行なって重要領域強調符号化画像ＤＯＵＴ２を出力する。
【００７６】
ステップＳ６２は、ステップＳ１、ステップＳ２、ステップＳ３、及びステップＳ６１とは並行して、入力画像データＤＩＮについて第３の圧縮符号化処理を行なって全体符号化画像ＤＯＵＴ３を出力する。図１２ではステップＳ６２は、ステップＳ１からステップＳ６１までの処理と並列処理する方法で示すが、処理の開始から終了までのいずれかに逐次処理で行なっても構わない。
【００７７】
ステップＳ６１での第２の圧縮符号化処理はステップＳ６２での第３の圧縮符号化処理と比較して、符号化精度を高い水準に保つ必要がある。これにより圧縮後の画像内重要領域の解像度を保存することが可能である。
【００７８】
これにより、重要領域については入力画像データＤＩＮよりも高解像度化した上での圧縮符号化された画像を重要領域強調符号化画像ＤＯＵＴ２から得ることが可能となると共に、入力画像データＤＩＮを単純拡大した上での圧縮符号化したデータ量よりも入力画像データＤＩＮをそのまま圧縮符号化したデータ量の方が小さくなるので、伝送するデータ量を抑えることができる。
【００７９】
なお、本実施の形態の画像解析部が実施の形態２にかかる画像処理装置２１が備える画像解析部２１１であっても同様の効果を奏することはいうまでもない。
【００８０】
実施の形態４．
図１３は実施の形態４にかかる画像処理装置２３を含む撮像システムの構成例を示すブロック図である。画像処理装置２３は、カメラなど撮像部１０が撮像した画像データＤＩＮを入力し、生成した重要領域超解像画像Ｄ３を圧縮符号化処理した符号化データＤ６１について復号化したデータＤＯＵＴ５を表示装置５１に出力する。また、画像データＤＩＮを圧縮符号化処理した符号化データＤ６２について復号化したデータＤ７２を高解像度化して生成した画像データＤＯＵＴ６を表示装置５２に出力する。表示装置５１及び表示装置５２は、入力した画像データを表示する。
【００８１】
画像処理装置２３は、入力画像データＤＩＮを予め設定された判断基準に基づいて解析し重要領域情報Ｄ１を生成する画像解析部２１０と、重要領域情報Ｄ１に基づいて入力画像データＤＩＮから重要領域画像Ｄ２を抽出する画像抽出部２２０と、重要領域画像Ｄ２について高解像度化処理を行なって重要領域超解像画像Ｄ３を生成する超解像拡大処理部２３０と、重要領域超解像画像Ｄ３について圧縮符号化処理を行なう第２の符号化部２６１と、入力画像データＤＩＮについて圧縮符号化処理を行なう第３の符号化部２６２と、第２の符号化部２６１で生成した圧縮符号化画像Ｄ６１について復号化処理を行なう第１の復号化部２７１と、第３の符号化部２６２で生成した圧縮符号化画像Ｄ６２について復号化処理を行なう第２の復号化部２７２と、第２の復号化部２７２から得られた量子化精度情報に基づいて超解像制御情報Ｄ８を生成する超解像制御部２８０と、第２の復号化部２７２で生成された復号化画像データＤ７について高解像度化処理を行なう第２の超解像拡大処理部２９０とを備える。
【００８２】
画像処理装置２３における画像解析部２１０、画像抽出部２２０、超解像拡大処理部２３０、第２の符号化部２６１、及び第３の符号化部２６２の構成要素の詳細な作用については、実施の形態１または実施の形態３と同様である。
【００８３】
第１の復号化部２７１は、第２の符号化部２６１から出力された重要領域符号化画像Ｄ６１について復号化処理を行ない、重要領域復号画像ＤＯＵＴ５を生成する。復号化処理の方法は一般的なものであり、第２の符号化部２６１が用いた符号化方式に基づいて復号化処理を行なう。
【００８４】
第２の復号化部２７２は、第３の符号化部２６２から出力された全体符号化画像Ｄ６２について復号化処理を行ない、全体復号画像Ｄ７２を生成する。復号化処理の方法は一般的なものであり、第２の符号化部２６１が用いた符号化方式に基づいて復号化処理を行なう。また、第３の符号化部２６２は、復号化処理時に得られる全体符号化映像の量子化精度情報Ｄ７２ｂも取得し、超解像制御部２８０へ出力する。
【００８５】
超解像制御部２８０は、第３の符号化部２６２から得られた量子化精度情報Ｄ７２ｂに基づいて超解像処理制御情報Ｄ８を生成し、出力する。超解像処理制御情報Ｄ８は例えば超解像パラメータや超解像処理方式である。
【００８６】
超解像パラメータとは、例えば、超解像処理の強度や、単純拡大画像とのブレンド比率などが挙げられる。全体符号化映像Ｄ６１のうち量子化精度の低い領域に対しては、超解像処理の強度パラメータを下げる制御や、単純拡大画像とのブレンド比率を高める制御を行うことで、低い量子化精度による符号化歪の影響が超解像処理によって増幅するのを防ぐことができる。
【００８７】
第２の超解像拡大処理部２９０は、第２の復号化部２７２から出力された全体復号映像Ｄ７２を、超解像処理制御情報Ｄ８に基づいて超解像処理を行ない、高解像度圧縮映像ＤＯＵＴ６を得る。
【００８８】
第２の超解像拡大処理部２９０の超解像処理の実現方法は超解像拡大処理部２３０の超解像処理と同様であっても構わないが、例えば１枚の画像フレームを用いたデータベースによる処理の他に、複数のフレームを用いて合成する再構成処理などを用いることで実現する。
【００８９】
複数フレームの再構成処理を用いた超解像処理は、一般的に反復計算を要し、カメラ側でのリアルタイム処理では反復計算回数に制限が生じることから充分な解像度向上効果が見込めない場合がある。対して一度蓄積されたデータに対してオフライン処理を行う場合であれば、処理時間に対する制約は少なく、より多くの反復計算により、高い解像度向上効果が見込まれる。そのため、第２の超解像拡大処理部２９０を含む実施の形態４では、上述した実施の形態１から実施の形態３より、更なる高い解像度向上効果が見込める。
【００９０】
同様に、第２の超解像拡大処理部２９０が１枚の画像フレームを用いた超解像処理であっても、オフライン処理であれば時間的な制約が少ないため、リアルタイム処理と比較してより計算コストの高いアルゴリズムを使用することが可能であり、より高い解像度向上効果が見込める。
【００９１】
以上により、本実施の形態にかかる画像処理装置２３によって、撮像画像の入力から符号化までの間に重要領域について超解像処理を行なうのみならず、復号化処理側においても超解像処理を行なうことにより、重要領域について更にユーザーの視認性が高い画像を表示することが可能となる。特に、オフライン処理で重要領域について確認する場合においては好条件時の高周波成分再現精度の高い画像を提供することが可能となる。
【符号の説明】
【００９２】
２０、２１、２２、２３    画像処理装置
２１０、２１１  画像解析部
２２０  画像抽出部
２３０  超解像拡大処理部
２４０  単純拡大処理部
２５０  画像合成部
２６０  符号化部
２６１  第２の符号化部
２６２  第３の符号化部
２７１  第１の復号化部
２２２  第２の復号化部
【図１】
2016116095.tif 000003
【図２】
2016116095.tif 000004
【図３】
2016116095.tif 000005
【図４】
2016116095.tif 000006
【図５】
2016116095.tif 000007
【図６】
2016116095.tif 000008
【図７】
2016116095.tif 000009
【図８】
2016116095.tif 000010
【図９】
2016116095.tif 000011
【図１０】
2016116095.tif 000012
【図１１】
2016116095.tif 000013
【図１２】
2016116095.tif 000014
【図１３】
2016116095.tif 000015