(57)【要約】【課題】解像度の大きい画像の信号処理を行う場合の処理時間および消費電力の増大などを抑制または防止でき、実用性に奏でた画像処理装置を提供すること。【解決手段】  この画像処理装置は、入力された画像の周波数成分を解析して当該画像を特徴付ける複数の画素を複数の特徴点として抽出する特徴点抽出部と、抽出された複数の特徴点にそれぞれ対応する複数の画素に対して信号処理を行うとともに、信号処理の結果を補間値として特徴点以外の１以上の画素の値を前記補間値で書き換える信号処理部とを具備する。【選択図】図１
2012247897.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像の周波数成分を解析して当該画像を特徴付ける複数の画素を複数の特徴点として抽出する特徴点抽出部と、
前記抽出された複数の特徴点にそれぞれ対応する複数の画素に対して信号処理を行うとともに、信号処理の結果をもとに補間値を生成して前記特徴点以外の１以上の画素の値を前記補間値で書き換える信号処理部と
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記特徴点抽出部は、前記入力された画像において互いに隣り合う画素間の差分が閾値以内に収まる領域を１つの画素グループとして、当該画素グループ毎に少なくとも１つの画素を前記特徴点として抽出し、
前記信号処理部は、前記画素グループ毎に、当該画素グループに属する特徴点に対応する画素に対する信号処理の結果をもとに補間値を生成して、当該画素グループ内の当該特徴点以外の画素の値を前記補間値で書き換える
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記信号処理部が、複数の信号処理を行い、
前記特徴点抽出部は、前記信号処理毎に当該信号処理の種類に合わせて予め選出された閾値を用いて前記特徴点を抽出する
画像処理装置。
【請求項４】
入力された画像を縦横２×２画素のグループに分割し、グループ毎に互いに隣り合う画素間の差分をもとに当該グループ毎に少なくとも１つの画素を特徴点として抽出し、抽出された特徴点を高レベル特徴点と低レベル特徴点とに分類する特徴点抽出部と、
前記低レベル特徴点として判定された画素を対象にウェーブレット変換によりウェーブレット変換画像を生成するとともに、前記高レベル特徴点として判定された画素を含む画素グループを４象限に分割して前記ウェーブレット変換画像の低周波成分と３つの高周波成分に分配することによって中間ウェーブレット画像を生成する周波数分解部と、
前記中間ウェーブレット画像中の低周波成分と高レベル特徴点の画素を対象に当該画素の見え方を変化させるための信号処理を行う信号処理部と、
前記信号処理が施された中間ウェーブレット画像中の高レベル特徴点の画素を対象に前記ウェーブレット変換を行うファイナライズ処理部と
を具備する画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記信号処理部は、信号処理の対象である画素に対して周辺の１以上の画素の値を用いて信号処理を行い、
前記特徴点抽出部は、前記周辺の１以上の画素のうち一部または全てが特徴点以外の画素である場合には、同じグループ内の前記特徴点の画素の値に基づく補間値を当該特徴点以外の画素に与えて当該画素を特徴点に格上げする
画像処理装置。
【請求項６】
請求項４に記載の画像処理装置であって、
前記周波数分解部は、前記中間ウェーブレット画像の生成前に、信号処理のために参照される必要のある周辺の画素を含む画素グループのうち、高レベル特徴点が存在する１以上の画素グループを対象に特定の信号処理を施す前段信号処理部を有する
画像処理装置。
【請求項７】
入力された画像の周波数成分を解析して当該画像を特徴付ける複数の画素を複数の特徴点として抽出し、
前記抽出された複数の特徴点にそれぞれ対応する複数の画素に対して信号処理を行うとともに、信号処理の結果をもとに補間値を生成して、前記特徴点以外の１以上の画素の値を前記補間値で書き換える
画像処理方法。
【請求項８】
入力された画像を縦横２×２画素のグループに分割し、グループ毎に互いに隣り合う画素間の差分をもとに当該グループ毎に少なくとも１つの画素を前記特徴点として抽出し、抽出された特徴点を高レベル特徴点と低レベル特徴点とに分類し、
前記低レベル特徴点として判定された画素を対象にウェーブレット変換によりウェーブレット変換画像を生成するとともに、前記高レベル特徴点として判定された画素を含む画素グループを４象限に分割して前記ウェーブレット変換画像の低周波成分と３つの高周波成分に分配することによって中間ウェーブレット画像を生成し、
前記中間ウェーブレット画像中の低周波成分と高レベル特徴点の画素を対象に信号処理を行い、
前記信号処理が施された中間ウェーブレット画像中の高レベル特徴点の画素を対象に前記ウェーブレット変換を行う
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、デジタル画像の処理を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
デジタル画像のホワイトバランス処理、ブラックレベル調整、ガンマ補正、ＫＮＥＥ補正など、画像の見え方を変化させることを目的とした信号処理は、撮像で得られた生の画像データに対して行われることが一般的である。
例えば、特許文献１には、生の画像データであるＲａｗ画像データに対するホワイトバランス調整に関する技術が記載されている。
【０００３】
一方、近年地上デジタル放送への移行に伴いデジタルハイビジョン放送が急速に普及しつつある。現在のハイビジョンデータは１９２０×１０８０画素の画像として規定されているが、さらに高解像度の約４０００×２０００画素からなる４Ｋ画像や約８０００×４０００画素からなる８Ｋ画像などの超高解像度ハイビジョン映像など、画像の解像度は今後益々増大することが予測される。
【０００４】
このように画像の解像度が増大してくると、ホワイトバランス処理、ブラックレベル調整、ガンマ補正、ＫＮＥＥ補正などの信号処理のためのトータルの演算量も膨大になり、処理時間の増大および演算処理を行う機器の消費電力の増大を招く。
【０００５】
なお、特許文献２には、画像において変化の大きい点を特徴点として検出するための方法が記載されている。例えば、隣接する信号相互間に相関を有する信号の特徴点を抽出するように分析して分析値を算出し、該分析値の最大値を検出して、該最大値に対応する所定の値を閾値として算出し、該閾値と該分析値とを比較して、該閾値以上の分析値を特徴点として検出することが記載されている。分析には信号の微分処理が採用される。しかしながら、特許文献２には、特徴点として検出された画像に対して信号処理を行う点、その信号処理の結果を補間値として、特徴点以外の１以上の画素の値を補間値で書き換える点は記載されていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−０３３３８５号号公報
【特許文献２】特開平０７−１２９７６９号公報（段落［０００５］）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のような事情に鑑み、本技術は、解像度の大きい画像の信号処理を行う場合の処理時間および消費電力の増大などを抑制または防止でき、実用性に奏でた画像処理装置および画像処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本技術に係る第１の側面の画像処理装置は、入力された画像の周波数成分を解析して当該画像を特徴付ける複数の画素を複数の特徴点として抽出する特徴点抽出部と、前記抽出された複数の特徴点にそれぞれ対応する複数の画素に対して信号処理を行うとともに、信号処理の結果をもとに補間値を生成して、前記特徴点以外の１以上の画素の値を前記補間値で書き換える信号処理部とを具備する。
【０００９】
本技術の画像処理装置では、信号処理部が、特徴点抽出部により抽出された複数の特徴点にそれぞれ対応する複数の画素に対して信号処理を行い、信号処理の結果をもとに補間値を生成して特徴点以外の１以上の画素の値を補間値で書き換える。これにより、画像のすべての画素に対して信号処理を行わなくても、全画素に対して信号処理を行った結果と略同じ画像が得られるとともに、信号処理の回数を大幅に低減でき、処理の高速化および消費電力の抑制を図れる。
【００１０】
前記特徴点抽出部は、前記入力された画像において互いに隣り合う画素間の差分が閾値以内に収まる領域を１つの画素グループとして、当該画素グループ毎に少なくとも１つの画素を前記特徴点として抽出する。前記信号処理部は、前記画素グループ毎に、当該画素グループに属する特徴点に対応する画素に対する信号処理の結果を補間値として、当該画素グループ内の当該特徴点以外の画素の値を前記補間値で書き換えるものであってもよい。
【００１１】
前記信号処理部が、複数の信号処理を行い、前記特徴点抽出部は、前記信号処理毎に当該信号処理の種類に合わせて予め選出された閾値を用いて前記特徴点を抽出するようにしてもよい。これにより、信号処理の種類に応じて特徴点をずらすことができるなど、フレキシブルな調整が可能になる。
【００１２】
本技術に係る第２の側面の画像処理装置は、入力された画像を縦横２×２画素のグループに分割し、グループ毎に互いに隣り合う画素間の差分をもとに当該グループ毎に少なくとも１つの画素を前記特徴点として抽出し、抽出された特徴点を高レベル特徴点と低レベル特徴点とに分類する特徴点抽出部と、前記低レベル特徴点として判定された画素を対象にウェーブレット変換によりウェーブレット変換画像を生成するとともに、前記高レベル特徴点として判定された画素を含む画素グループを４象限に分割して前記ウェーブレット変換画像の低周波成分と３つの高周波成分にそれぞれ分配することによって中間ウェーブレット画像を生成する周波数分解部と、前記中間ウェーブレット画像中の低周波成分と高レベル特徴点の画素を対象に信号処理を行う信号処理部と、前記信号処理が施された中間ウェーブレット画像中の高レベル特徴点の画素を対象に前記ウェーブレット変換を行うファイナライズ処理部とを具備する。
【００１３】
本技術の画像処理装置によっても、画像のすべての画素に対して信号処理を行わなくても、全画素に対して信号処理を行った結果と略同じ画像が得られるとともに、信号処理の回数を大幅に低減でき、処理の高速化および消費電力の抑制を図れる。
【００１４】
前記信号処理部は、信号処理の対象である画素に対して周辺の１以上の画素の値を用いて信号処理を行い、前記特徴点抽出部は、前記周辺の１以上の画素のうち一部または全てが特徴点以外の画素である場合には、同じグループ内の前記特徴点の画素の値に基づく補間値を当該特徴点以外の画素に与えて当該画素を特徴点に格上げするようにしてもよい。これにより、例えば、ディテイル処理やバイキュービック補間など、周辺の複数の画素の値を用いる必要のある信号処理に対応することができる。
【００１５】
また、前記周波数分解部は、前記中間ウェーブレット画像の生成前に、信号処理のために参照される必要のある周辺の画素を含む画素グループのうち、高レベル特徴点が存在する１以上の画素グループを対象に特定の信号処理を施す前段信号処理部を有するものであってもよい。これにより、周辺の複数の画素の値を要する信号処理を行う場合であっても、伝送画像において特徴点が占める割合が増大することがなく、圧縮効果の低下を抑えることができる。
【００１６】
本技術に係る第３の側面の画像処理方法は、入力された画像の周波数成分を解析して当該画像を特徴付ける複数の画素を複数の特徴点として抽出し、前記抽出された複数の特徴点にそれぞれ対応する複数の画素に対して信号処理を行うとともに、信号処理の結果をもとに補間値を生成して、前記特徴点以外の１以上の画素の値を前記補間値で書き換えることを特徴とする。
【００１７】
本技術に係る第４の側面の画像処理方法は、入力された画像を縦横２×２画素のグループに分割し、グループ毎に互いに隣り合う画素間の差分をもとに当該グループ毎に少なくとも１つの画素を前記特徴点として抽出し、抽出された特徴点を高レベル特徴点と低レベル特徴点とに分類し、周波数分解部が、前記低レベル特徴点として判定された画素を対象にウェーブレット変換によりウェーブレット変換画像を生成するとともに、前記高レベル特徴点として判定された画素を含む画素グループを４象限に分割して前記ウェーブレット変換画像の低周波成分と３つの高周波成分に分配することによって中間ウェーブレット画像を生成し、前記中間ウェーブレット画像中の低周波成分と高レベル特徴点の画素を対象に信号処理を行い、前記信号処理が施された中間ウェーブレット画像中の高レベル特徴点の画素を対象に前記ウェーブレット変換を行うことを特徴とするものである。
【発明の効果】
【００１８】
以上のように、本技術によれば、解像度の大きい画像の信号処理を行う場合の処理時間および消費電力の増大などを抑制または防止でき、実用性に奏でた画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本技術に係る第１の実施形態の画像処理装置の構成を示すブロック図である。
【図２】特徴点の抽出方法を説明するための図である。
【図３】他の特徴点の抽出方法を説明するための図である。
【図４】さらに他の特徴点の抽出方法を説明するための図である。
【図５】本技術に係る第２の実施形態の画像処理装置の構成を示すブロック図である。
【図６】第２の実施形態の画像処理装置の動作の手順を示すフローチャートである。
【図７】本技術に係る第３の実施形態の画像処理装置の構成を示すブロック図である。
【図８】第３の実施形態の画像処理装置の動作の手順を示すフローチャートである。
【図９】本技術に係る第４の実施形態の画像処理装置の構成を示すブロック図である。
【図１０】第４の実施形態の画像処理装置の動作の手順を示すフローチャートである。
【図１１】第３の実施形態の画像処理装置の動作を説明するための図である。
【図１２】第４の実施形態の画像処理装置の動作を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本技術に係る第１の実施形態の画像処理装置の構成を示すブロック図である。
この画像処理装置１０は、画像解析部１１（特徴点抽出部）と、信号処理部１３と、フラグテーブル保持部１５と、伝送部１７とを有する。
【００２１】
画像解析部１１は、入力された画像の周波数成分を解析して画像を特徴付ける１以上の画素の位置を示す１以上の特徴点を抽出する。
フラグテーブル保持部は、特徴点として判定された画素の位置情報を保持する。
信号処理部は、画像解析部により特徴点として抽出された１以上の画素に対して信号処理を行い、その信号処理の結果を補間値として、特徴点以外の画素の値を補間値により書き換える。
伝送部は、信号処理部によって得られた画像を出力画像として伝送する。
【００２２】
［特徴点の抽出方法］
図２ないし図４は画像の周波数成分を解析して特徴点を抽出する方法を説明する図である。
特徴点の抽出方法には例えば以下がある。
Ａ．画像解析部１１は、画像を水平方向（または垂直方向）に走査して、走査方向に隣り合う画素間の差分が閾値以内に収まる領域を１つの画素グループとし、画素グループ毎に１つの画素を特徴点とする（図２参照）。ここで、閾値は信号処理の種類に応じて適宜選定される値である。
Ｂ．画像解析部１１は、水平および垂直方向に隣り合う画素間の差分が閾値以内に収まる矩形領域を１つのグループとし、矩形領域（グループ）毎に１つの画素を特徴点とする（図３参照）。
Ｃ．画像解析部１１は、例えば、２×２画素の領域毎、および４×４画素の領域毎にウェーブレット変換によって低周波成分と高周波成分とに分解する。２×２画素の領域および４×４画素の領域に対するウェーブレット変換によって得られた縦方向、横方向、斜め方向の差分の値（例えば、平均値、最大値など）が閾値以内に収まる最大画素数の領域を１つのグループとし、そのグループから１以上の画素を特徴点として判定する。また、２×２画素の領域に対するウェーブレット変換によって得られた縦方向、横方向、斜め方向の差分の値（例えば、平均値、最大値など）が閾値以内に収まらない場合、画像解析部１１は、その２×２画素を全て特徴点とする（図４参照）。なお、図４では、２×２画素の領域と４×４画素の領域のウェーブレット変換までを行うこととしたが、さらに多くの画素数の領域毎にウェーブレット変換を行って特徴点の抽出を行ってもよい。
【００２３】
本実施形態の以下の説明においては、上記のＡの方法を採用して特徴点の抽出を行う場合について詳述するが、他の抽出方法の場合も同様である。
【００２４】
図２の例において、画像解析部１１は、入力された２次元画像において走査方向に隣り合う画素間の差分をＰ１−Ｐ２間、Ｐ２−Ｐ３間、Ｐ３−Ｐ４間、・・・の順に求めて行く。図２の２次元画像において、１つの四角形は１つの画素に対応しており、四角形内の模様が同一であることは走査方向に隣り合う画素間の差分が第１の閾値以内に収まることを意味する。また、走査方向に連続して同一の模様を有する１以上の画素は１つの画素グループを形成することを意味する。例えば、Ｐ１からＰ５までの画素列は画素グループＧ１を形成し、Ｐ６は画素グループＧ２を形成し、Ｐ７からＰ１３までの画素列は画素グループＧ３を形成する。本例では、計１２個の画素グループＧ１−Ｇ１２が画像解析部によって判定される。
【００２５】
画像解析部１１は、画素グループ毎にいずれか１つの画素を特徴点として判定する。例えば、図２は、画素グループ毎に走査方向において先頭の画素を特徴点Ｃ１−Ｃ１２とする場合を示している。本技術はこれに限定されるものではない。例えば、最後尾の画素、中央の画素でもよい。以上のようにして画像解析部１１は、画像の特徴点を抽出し、この特徴点である画素の位置をフラグテーブル保持部１５に保持されたフラグテーブルに登録する。
【００２６】
信号処理部１３は、フラグテーブルをもとに画像中の特徴点である画素を判定し、この画素の値に対して信号処理を行い、この信号処理の結果をもとに補間値を作成して、特徴点以外の画素の値を補間値で書き換える。例えば、特徴点の信号処理の結果を用いて、当該特徴点が属する画素グループ内の特徴点以外の画素の値を補間する方法などがある。補間方法としては、特徴点の信号処理の結果をそのまま特徴点以外の画素に与えるコピー方法等があるが、本技術はこれに限定されない。
【００２７】
伝送部１７は、信号処理部１３によって得られた画像を出力画像として伝送する。また、２チャンネル以上の伝送路を用いることが可能な環境である場合、伝送部１７は、画像をウェーブレット変換などにより低周波成分と高周波成分とに分割し、その一方もしくは両方をエントロピー符号化により圧縮したものを、別々のチャンネルで伝送してもよい。また、低周波成分を未圧縮状態で伝送するようにした場合には、伝送先の機器で画像をそのまま（エントロピー逆符号化することなく）モニタリングすることができるという利点がある。
【００２８】
以上、本実施形態では、入力された画像の周波数成分を解析して画像を特徴付ける画素を特徴点として抽出し、この特徴点である画素に対して信号処理を実行し、この信号処理の結果を用いて特徴点以外の画素の値を補間する。これにより、画像のすべての画素に対して信号処理を行わなくても、画像全体に信号処理が施された画像とほぼ同じ画像を得ることができるとともに、画像全体の画素を信号処理する場合と比較して信号処理量を減らすことができるので処理速度の向上を図ることができる。
【００２９】
また、本実施形態では、特徴点を抽出するために用いられる閾値次第では、高周波成分の信号処理結果の元画像との違いが大きくなる可能性がある。しかし、人間の視覚の性質上、周波数が高い部分ほど元画像との違いが感知される程度は小さくなるので、実用上問題は無いものと考えられる。
【００３０】
本実施形態の画像処理装置１０は、ホワイトバランス処理、ブラックレベル補正のように、元の画素の値が同じであれば同じ結果が得られる信号処理に特に好適である。
【００３１】
＜第２の実施形態＞
図５は、本技術に係る第２の実施形態の画像処理装置の構成を示すブロック図である。
この画像処理装置は、画像解析部２１と、信号処理を行う複数の信号処理部（第１の信号処理部２３Ａ、第２の信号処理部２３Ｂ、第３の信号処理部２３Ｃ）と、それぞれの信号処理部２３Ａ、２３Ｂ、２３Ｃに対応する複数の補間処理部２４Ａ、２４Ｂ、２４Ｃと、フラグテーブル保持部２５と、伝送部２７とを有する。なお、信号処理部の数は複数であればよい。
【００３２】
画像解析部２１は、入力された画像の周波数成分を解析し、信号処理の種類に応じて選定された閾値を用いて、画素のグループ化を行い、特徴点の判定を行う。グループと特徴点の位置情報はフラグテーブルに登録される。すなわち、本実施形態においてフラグテーブルには、画像の個々の画素がどのグループに属し、どの画素が特徴点であるかを示す情報が登録される。
【００３３】
信号処理部２３Ａ、２３Ｂ、２３Ｃは、フラグテーブルをもとに画像中の特徴点である画素を判定し、この画素の値に対して所定の信号処理を行う。なお、本実施形態の３つの信号処理部２３Ａ、２３Ｂ、２３Ｃによる信号処理の内容は、全て異なっていてもよいし、全て同一あるいは２つが同一であってもよい。
【００３４】
補間処理部２４Ａ、２４Ｂ、２４Ｃは、対応する信号処理部２３Ａ、２３Ｂ、２３Ｃから取得した特徴点に対する信号処理の結果を用いて特徴点以外の画素の値を補間する。
【００３５】
なお、第１の実施形態では、信号処理部１３が特徴点の信号処理と特徴点以外の画素の値の補間処理の両方を行うものであったのに対し、第２の実施形態では、信号処理と補間処理とが別々の回路で実行される。これにより、処理効率の向上を期待できる。
【００３６】
次に、本実施形態の画像処理装置２０の動作を説明する。
図６は本実施形態の画像処理装置２０の動作の手順を示すフローチャートである。
なお、ここで説明する動作において、３つの信号処理部２３Ａ、２３Ｂ、２３Ｃによる信号処理の内容は互いに異なることとする。
【００３７】
まず、画像処理装置２０内の各部のレジスタおよびメモリの初期化など、画像処理装置２０の初期化処理が行われる（ステップＳ１０１）。
【００３８】
この後、画像処理装置２０に画像が入力される。入力された画像は、まず画像解析部２１にて周波数成分の解析が行われる。本実施形態では、それぞれ種類の異なる信号処理を行う３つの信号処理部２３Ａ、２３Ｂ、２３Ｃが設けられており、３種類の信号処理は第１の信号処理部２３Ａによる第１の信号処理、第２の信号処理部２３Ｂによる第２の信号処理、第３の信号処理部２３Ｃによる第３の信号処理の順で行われることとする。それぞれの信号処理には、それぞれの信号処理に合わせて選定された画像解析用の閾値が予め用意されている。ここで、第１の信号処理部２３Ａによる信号処理に合わせて選定された画像解析用の閾値を「第１の閾値」、第２の信号処理部２３Ｂによる信号処理に合わせて選定された画像解析用の閾値を「第２の閾値」、第３の信号処理部２３Ｃによる信号処理に合わせて選定された画像解析用の閾値を「第３の閾値」と呼ぶ。なお、これらの閾値は必ずしも異なっていることを必須としない。例えば、その中の２種類が同じあったりする場合もある。このような場合には、グループ化と特徴点の抽出のための画像解析は、その２種類の信号処理の直前に１回行えばよい。但し、ここでは第１の閾値、第２の閾値、第３の閾値が全て異なる場合を想定して説明を説明する。
【００３９】
まず、画像解析部２１による画像の解析による画素のグループ化と特徴点の抽出が、最初に行われる第１の信号処理に合わせて選定された第１の閾値を用いて行われる（ステップＳ１０２）。画像解析部２１による画素のグループ化と特徴点の抽出は、前述したＡ、Ｂ、Ｃのいずれかの方法によって行ってもよい。画像解析部２１は画素のグループ化と特徴点の抽出を完了すると、そのグループと特徴点の位置情報をフラグテーブルに登録する（ステップＳ１０３）。
【００４０】
第１の信号処理部２３Ａは、フラグテーブルをもとに画像中の特徴点であるそれぞれの画素の位置を判定し、これらの画素の値に対して第１の信号処理をそれぞれ行う（ステップＳ１０４）。それぞれの特徴点に対する第１の信号処理の結果は第１の補間処理部２４Ａに供給される。第１の補間処理部２４Ａは、それぞれの特徴点に対する第１の信号処理の結果を取得すると、フラグテーブルを参照して特徴点が属するグループ内の特徴点以外の各画素を判定し、これらの画素に当該特徴点に対する第１の信号処理の結果を補間結果として与える（ステップＳ１０５）。第１の補間処理部２４Ａは、各画素に与えられた補間結果を第１の信号処理部２３Ａに供給する。これにより、特徴点に対する信号処理を行うだけで、画像全体に対する第１の信号処理の結果が得られる。
【００４１】
第１の信号処理部２３Ａは、特徴点に対する第１の信号処理の結果と特徴点以外の画素に与えられた補間結果からなる画像全体の第１の信号処理結果を第２の信号処理部２３Ｂに供給する。
【００４２】
次に、画像解析部２１による画像の解析による画素のグループ化と特徴点の抽出が、第２の信号処理の種類に合わせて予め選定された第２の閾値を用いて再度行われ（ステップＳ１０７、Ｓ１０２）、そのグループと特徴点の位置情報でフラグテーブルが更新される（ステップＳ１０３）。
【００４３】
この後、第１の信号処理と同様に、第２の信号処理部２３Ｂは、フラグテーブルをもとに画像中の特徴点であるそれぞれの画素の位置を判定し、これらの画素の値に対して第２の信号処理をそれぞれ行う（ステップＳ１０４）。それぞれの特徴点に対する第２の信号処理の結果は第２の補間処理部２４Ｂに供給される。第２の補間処理部２４Ｂは、それぞれの特徴点に対する第２の信号処理の結果を取得すると、フラグテーブルを参照して特徴点が属するグループ内の特徴点以外の各画素を判定し、これらの画素に当該特徴点に対する第２の信号処理の結果を補間結果として与える（ステップＳ１０５）。第２の補間処理部２４Ｂは、各画素に与えられた補間結果を第２の信号処理部２３Ｂに供給する。これにより、特徴点に対する信号処理を行うだけで、画像全体に対する第２の信号処理の結果が得られる。
【００４４】
第２の信号処理部２３Ｂは、特徴点に対する第２の信号処理の結果と特徴点以外の画素に与えられた補間結果からなる画像全体の第２の信号処理結果を第３の信号処理部２３Ｃに供給する。
【００４５】
次に、画像解析部２１による画像の解析による画素のグループ化と特徴点の抽出が、第３の信号処理の種類に合わせて予め選定された第３の閾値を用いて再度行われ（ステップＳ１０７、Ｓ１０２）、そのグループと特徴点の位置情報でフラグテーブルが更新される（ステップＳ１０３）。以降の動作は第１の信号処理および第２の信号処理のときと同様である。
【００４６】
以上、第１の信号処理、第２の信号、第３の信号処理が施された画像は、伝送部によって出力画像として伝送される（ステップＳ１０８）。
【００４７】
このように本実施形態によると、画像に複数の種類の信号処理を順次施す場合の全体の信号処理の回数を減らすことができ、信号処理の速度の向上を図ることができる。
【００４８】
＜第３の実施形態＞
図７は、本技術に係る第３の実施形態の画像処理装置の構成を示すブロック図である。
この画像処理装置３０は、画像解析部３１（特徴点抽出部）、周波数分解部３２、信号処理部３３、ファイナライズ処理部３４、フラグテーブル保持部３５、伝送部３７を有する。すなわち、第３の実施形態の画像処理装置３０は、第１の実施形態および第２の実施形態に比較して、周波数分解部３２とファイナライズ処理部３４を有している点で異なる。
【００４９】
画像解析部３１は、画像を２×２画素のグループに分割し、画素グループ毎に縦、横、斜め２方向に隣り合う画素間の差分を算出する。画像解析部３１は、算出された各差分がすべて高周波成分判定用の閾値以下の場合、その画素グループは同等レベルの画素群で構成されるものとしてその中から１つの画素を特徴点として選出する。また、画像解析部３１は、算出された４つの差分のうち１つの差分が高周波成分判定用の閾値より大きい場合、その差分を生成する２つの画素を特徴点として選出する。
【００５０】
周波数分解部３２は、画像解析部３１によって抽出された特徴点を、その値の大きさによって高レベル特徴点と低レベル特徴点とに分類し、低レベル特徴点として判定された画素を対象にウェーブレット変換を行うとともに、高レベル特徴点として判定された画素を含む画素グループを４象限に分割してウェーブレット変換画像の低周波成分と３つの高周波成分（Ｘ方向高周波成分、Ｙ方向高周波成分、Ｘ方向高周波成分）に分配することによって中間ウェーブレット画像を生成する。
【００５１】
信号処理部３３は、中間ウェーブレット画像中の低周波成分と高レベル特徴点に対して信号処理を行う。ここで行われる信号処理は、ホワイトバランス処理、ブラックレベル調整など、画素単位で処理が完結する種類のものである。
【００５２】
ファイナライズ処理部３４は、信号処理が施された中間ウェーブレット画像中の高レベル特徴点の画素を対象に、周波数分解部３２と同じ方式のウェーブレット変換を行うことによって標準のウェーブレット変換画像、つまりウェーブレット逆変換によって元の画像を復元可能なウェーブレット変換画像を生成する。
【００５３】
伝送部３７は、ファイナライズ処理部３４によって得られた標準のウェーブレット変換画像を出力画像として伝送する。
【００５４】
次に、本実施形態の画像処理装置３０の動作を説明する。
図８は、本実施形態の画像処理装置３０の動作の手順を示すフローチャートである。
まず、画像処理装置３０内の各部のレジスタおよびメモリの初期化など、画像処理装置２０の初期化処理が行われる（ステップＳ２０１）。
【００５５】
この後、画像処理装置３０に画像が入力される。画像解析部３１は、入力された画像を２×２画素の画素グループに分割し、画素グループ内で縦方向に隣り合う画素間の差分、縦方向に隣り合う画素間の差分、斜め方向に隣り合う画素間の差分の計４つの差分を算出して、それぞれの差分と高周波成分判定用の閾値とを比較する。画像解析部３１は、算出された各差分がすべて閾値以下である場合、その画素グループは同等レベルの画素群で構成されるものとしてその中から１つの画素を特徴点として選出する。また、画像解析部３１は、算出された４つの差分のうち１つの差分が閾値より大きい場合、その差分を生成する２つの画素を特徴点として選出する（ステップＳ２０２）。そして画像解析部３１は、特徴点として選出された各画素の画像内での位置情報をフラグテーブルに登録する（ステップＳ２０３）。
【００５６】
次に、周波数分解部３２は、フラグテーブルを参照して、特徴点として判定されたそれぞれの画素について、その画素の値と高レベル特徴点判定用の閾値と比較する。周波数分解部３２は、画素の値が高レベル特徴点判定用の閾値より大きい特徴点を「高レベル特徴点」として判定し、画素の値が高レベル特徴点判定用の閾値以下の特徴点を「低レベル特徴点」として判定し、判定結果をフラグテーブルに登録する。
【００５７】
図１１は、以降の処理を説明するための図である。
周波数分解部３２は、低レベル特徴点として判定された画素を対象にウェーブレット変換を行うとともに、高レベル特徴点として判定された画素を含む画素グループを４象限に分割してウェーブレット変換画像の低周波成分７２と３つの高周波成分７３，７４，７５に分配することによって中間ウェーブレット画像７１（図１１参照）を生成する（ステップＳ２０４）。すなわち、中間ウェーブレット画像７１は、低レベル特徴点の画素を対象にウェーブレット変換によって得られたウェーブレット画像と、４象限に分割された高レベル特徴点の画素とが混在した画像である。
【００５８】
次に、信号処理部３３は、周波数分解部３２を通して得られた中間ウェーブレット画像７１中の低周波成分７２と高レベル特徴点の画素を対象に信号処理を行う（ステップＳ２０５）。
【００５９】
次に、ファイナライズ処理部３４は、信号処理が施された中間ウェーブレット画像中で周波数分解されていない高レベル特徴点の画素をフラグテーブルをもとに特定し、これらの高レベル特徴点の画素を対象にウェーブレット変換を行う（ステップＳ２０６）。これによって、標準的なウェーブレット画像つまり入力された元画像のすべての画素を対象に周波数分解が行われたウェーブレット画像７６（図１１参照）が得られる。
【００６０】
そして伝送部３７は、ファイナライズ処理部３４によって得られたウェーブレット画像７６を出力画像として伝送する（ステップＳ２０７）。また、伝送部３７は、中間ウェーブレット画像の状態で出力画像として伝送してもよい。この場合、中間ウェーブレット画像を低周波領域と高周波領域とに分割し、その一方、もしくは両方をエントロピー符号化により圧縮したものを伝送するようにしてもよい。低周波領域を未圧縮の状態で伝送することで、伝送先の機器で画像をそのまま（デコードすることなく）モニタリングすることができ、効率的である。
【００６１】
以上のようにして得られたウェーブレット画像は、伝送先の機器においてウェーブレット逆変換が行われることで、全体に信号処理が施された画像となる。
【００６２】
このように本実施形態の画像処理装置３０では、画像のすべての画素に対して信号処理を行わなくても、画像全体に信号処理が施された画像とほぼ同じ画像を得ることができる。したがって、信号処理量を低減することができ、４Ｋハイビジョン、８Ｋハイビジョンといったスーパーハイビジョンの画像に対して効率的に信号処理を施すことができる。
【００６３】
ところで、信号処理の種類によっては、信号処理の対象である画素の値だけによる計算では信号処理結果が得られないものがある。例えば、ディテイル補正等のディテイル処理やバイキュービック補間などの信号処理においては、信号処理の対象である画素の周辺にある複数の画素の値を用いる必要がある。以降、このような信号処理を「周辺画素利用の信号処理」と呼ぶ。信号処理部３３は、この周辺画素利用の信号処理を行う場合には、次のような動作を行う。
【００６４】
１．画像解析部３１は、周辺画素利用の信号処理のために参照される必要のある周辺の１以上の画素のうち一部または全てが特徴点以外の画素である場合には、同じグループ内の特徴点の画素の値に基づく補間値を当該特徴点以外の画素に与えて、当該画素を特徴点に格上げする。
２．画像解析部３１は、特徴点として格上げされた画素の位置情報をフラグテーブルに登録する。
３．以降の動作は同じである。すなわち、周波数分解部３２によって、特徴点が高レベル特徴点であるか低レベル特徴点であるかの判定が行われた後、中間ウェーブレット画像が作成され、信号処理部３３によって、中間ウェーブレット画像中の低周波成分と高レベル特徴点の画素を対象に共通の信号処理が行われ、その後、ファイナライズ処理、伝送処理が行われる。
【００６５】
＜第４の実施形態＞
第３の実施形態では、周辺画素利用の信号処理を行う場合に、同じグループ内の特徴点の画素の値に基づく補間値を特徴点以外の画素に与えて、当該画素を特徴点に格上げすることとした。しかし、この方式では、伝送画像において特徴点が占める割合が増大することによって圧縮効果が大きく低下する可能性がある。
【００６６】
第４の実施形態は、周波数分解部４２が、中間ウェーブレット画像の生成前に、周辺画素利用の信号処理を行うために参照される必要のある周辺の画素を含む画素グループのうち、高レベル特徴点が存在する１以上の画素グループを対象に周辺画素利用の信号処理を行うことによって上記の課題を解決するものである。以下、本実施形態の画像処理装置の詳細を説明する。
【００６７】
図９は、本技術に係る第４の実施形態の画像処理装置の構成を示すブロック図である。
この画像処理装置４０は、画像解析部４１、周波数分解部４２、信号処理部４３、ファイナライズ処理部４４、フラグテーブル保持部４５、伝送部４７を有する。周波数分解部４２は前段信号処理部４２ａを有する。その他の構成は第３の実施形態と同様である。
【００６８】
図１０は、この画像処理装置の動作の手順を示すフローチャートである。
まず、画像解析部４１に画像が入力される（ステップＳ３０１）。
この後、画像処理装置４０に画像が入力される。画像解析部４１は、入力された画像を２×２画素の画素グループに分割し、画素グループ内で縦方向に隣り合う画素同士の値の差分、縦方向に隣り合う画素同士の値の差分、斜め方向に隣り合う画素同士の値の２つの差分の計４つの差分を算出する。画像解析部４１は、算出された各差分がすべて高周波成分判定用の閾値以下である場合には、その画素グループは同等レベルの画素群で構成されるものとしてその中から１つの画素を特徴点として選出する。また、画像解析部４１は、算出された４つの差分のうち１つの差分が高周波成分判定用の閾値より大きい場合には、その差分を生成する２つの画素を特徴点として選出する（ステップＳ３０２）。そして画像解析部３１は、特徴点として選出された各画素の画像内での位置情報をフラグテーブルに登録する（ステップＳ３０３）。
【００６９】
次に、周波数分解部４２は、フラグテーブルを参照して、すべての特徴点の画素を判定し、特徴点として判定されたそれぞれの特徴点について、その画素の値と高レベル特徴点判定用の閾値とを比較する。周波数分解部４２は、画素の値が高レベル特徴点判定用の閾値より大きい特徴点を「高レベル特徴点」として判定し、判定結果をフラグテーブルに登録する。
【００７０】
図１２は、以降の処理を説明するための図である。
次に、周波数分解部４２内の前段信号処理部４２ａは、フラグテーブルを参照して、周辺画素利用の信号処理を行うために参照される必要のある周辺の画素を含む画素グループのうち、高レベル特徴点が存在する１以上の画素グループを判定する。前段信号処理部４２ａは、判定した各画素グループに対して周辺画素利用の信号処理を行う（ステップＳ３０４）。これにより、前段の信号処理の結果８０（図１２参照）が得られる。
【００７１】
次に、周波数分解部４２は、再度、フラグテーブルを参照して、すべての特徴点の画素を判定し、特徴点として判定されたそれぞれの画素について、その画素の値と高レベル特徴点判定用の閾値と比較する。周波数分解部４２は、画素の値が高レベル特徴点判定用の閾値より大きい特徴点を「高レベル特徴点」として判定し、画素の値が高レベル特徴点判定用の閾値以下の特徴点を「低レベル特徴点」として判定して、判定結果でフラグテーブルを更新する。
【００７２】
周波数分解部４２は、フラグテーブルを参照して、低レベル特徴点として判定された画素を対象にウェーブレット変換を行うとともに、高レベル特徴点として判定された画素を含む画素グループを４象限に分割してウェーブレット変換画像の低周波成分８２と３つの高周波成分８３，８４，８５に分配することによって中間ウェーブレット画像８１（図１２参照）を生成する（ステップＳ３０５）。
【００７３】
次に、信号処理部４３は、中間ウェーブレット画像中の低周波成分と高レベル特徴点の画素を対象に、例えば、ホワイトバランス処理、ブラックレベル補正など、画素単位で信号処理が完結する種類の信号処理を行う（ステップＳ３０６）。
【００７４】
次に、ファイナライズ処理部４４は、中間ウェーブレット画像中で周波数分解されていない高レベル特徴点の画素をフラグテーブルをもとに特定し、これらの高レベル特徴点の画素を対象にウェーブレット変換を行う（ステップＳ３０７）。これによって、標準的なウェーブレット画像つまり入力された元画像のすべての画素を対象に周波数分解が行われたウェーブレット画像８６（図１２参照）が得られる。
【００７５】
そして伝送部４７は、ファイナライズ処理部４４によって得られたウェーブレット画像８６を出力画像として伝送する（ステップＳ３０８）。また、伝送部４７は、中間ウェーブレット画像の状態で出力画像として伝送してもよい。この場合、中間ウェーブレット画像を低周波領域と高周波領域とに分割し、その一方、もしくは両方をエントロピー符号化により圧縮したものを伝送するようにしてもよい。
【００７６】
以上のようにして得られたウェーブレット画像は、伝送先の機器においてウェーブレット逆変換が行われることで、全体に信号処理が施された画像となる。
【００７７】
このように本実施形態の画像処理装置４０では、画像のすべての画素に対して信号処理を行わなくても、画像全体に信号処理が施された画像を得ることができる。したがって、信号処理量を低減することができ、４Ｋハイビジョン、８Ｋハイビジョンといったスーパーハイビジョンの画像に対して効率的に信号処理を施すことができる。また、本実施形態の画像処理装置４０では、周辺の複数の画素の値を要する信号処理を行う場合であっても、伝送画像において特徴点が占める割合が増大することがないことから、圧縮効果の低下を抑えることができる。
【００７８】
なお、本技術は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【００７９】
１０…画像処理装置
１１…画像解析部
１３…信号処理部
１５…フラグテーブル保持部
１７…伝送部
２０…画像処理装置
２１…画像解析部
２３Ａ…第１の信号処理部
２３Ｂ…第２の信号処理部
２３Ｃ…第３の信号処理部
２５…フラグテーブル保持部
２７…伝送部
３０…画像処理装置
３１…画像解析部
３２…周波数分解部
３３…信号処理部
３４…ファイナライズ処理部
３５…フラグテーブル保持部
３７…伝送部
４０…画像処理装置
４１…画像解析部
４２…周波数分解部
４２ａ…前段信号処理部
４３…信号処理部
４４…ファイナライズ処理部
４５…フラグテーブル保持部
４７…伝送部
【図１】
2012247897.tif 000003
【図２】
2012247897.tif 000004
【図３】
2012247897.tif 000005
【図４】
2012247897.tif 000006
【図５】
2012247897.tif 000007
【図６】
2012247897.tif 000008
【図７】
2012247897.tif 000009
【図８】
2012247897.tif 000010
【図９】
2012247897.tif 000011
【図１０】
2012247897.tif 000012
【図１１】
2012247897.tif 000013
【図１２】
2012247897.tif 000014