(57)【要約】【課題】  記憶する画像データの量を削減することができ、画像処理の高速化を図ることができる画像処理装置及び画像処理方法を提供する。【解決手段】  画像処理装置は、対象の動画像データ１の注目度を、各フレームを形成する複数の領域毎に判定する判定部と、判定部の判定に基づき、動画像データから注目度が相対的に高いと判定された領域を選択し、選択した領域の画像データを記憶媒体に記憶させる選択部と、を備える。【選択図】図１
2012060529.tif 000002
【特許請求の範囲】
【請求項１】
対象の動画像データの注目度を、各フレームを形成する複数の領域毎に判定する判定部と、
前記判定部の判定に基づき、前記動画像データから前記注目度が相対的に高いと判定された領域を選択し、前記選択した領域の画像データを記憶媒体に記憶させる選択部と、を備える画像処理装置。
【請求項２】
前記記憶媒体に記憶された前記画像データをテーブル又はリストで管理する管理部をさらに備えている請求項１に記載の画像処理装置。
【請求項３】
前記記憶媒体に記憶される前記画像データにコードを埋め込み、前記記憶媒体に埋め込みコードにより前記画像データを管理させる管理部をさらに備えている請求項１に記載の画像処理装置。
【請求項４】
前記選択部は、前記選択した領域の画像データのサイズに応じて前記動画像データのフレーム間における前記記憶媒体の使用領域を調整する請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記判定部の判定が不正であった場合、前記判定部は、前記選択部で選択された領域の前記注目度を相対的に下げて判定する請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記判定部の判定が有効であった場合、前記判定部は、前記選択部で選択された領域の前記注目度を相対的に上げて判定する請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項７】
前記選択部が前記各フレームに共通して一定期間選択しない領域がある場合、前記判定部は、前記選択部で一定期間選択しなかった領域の前記注目度を相対的に上げ、前記注目度を相対的に上げた領域を前記選択部に強制的に選択させる請求項５又は６に記載の画像処理装置。
【請求項８】
前記判定部は、外部から入力されるデータに基づいて前記注目度を調整可能である請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項９】
前記選択した領域間における前記注目度にばらつきがある場合、前記選択部は、前記画像データを、前記注目度が低くなるにつれて解像度を段階的に低く変更しつつ前記記憶媒体に重複して記憶させる請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項１０】
前記選択した領域間における前記注目度にばらつきがある場合、前記選択部は、前記画像データを、前記領域毎に前記注目度に応じた解像度に設定して前記記憶媒体に記憶させる請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項１１】
前記選択した領域間における前記注目度にばらつきがある場合、前記選択部は、前記画像データを、前記注目度が低くなるにつれて色情報を段階的に少なくし前記記憶媒体に記憶させる請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項１２】
前記選択した領域間における前記注目度にばらつきがある場合、前記選択部は、前記画像データを、前記注目度が低くなるにつれて階調度を段階的に低くし前記記憶媒体に記憶させる請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項１３】
入力される前記動画像データに前記記憶媒体に記憶された前記画像データを反映させ、前記動画像データを再構成する再構成部をさらに備えている請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項１４】
対象の動画像データの注目度を、各フレームを形成する複数の領域毎に判定し、
前記判定に基づき、前記動画像データから前記注目度が相対的に高いと判定された領域を選択し、前記選択した領域の画像データを記憶媒体に記憶させる、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像処理装置は、監視システム等に導入されている。画像処理装置において、入力される動画像データの高解像度化に伴い、メモリの処理速度や容量が不足する問題が出てきている。フレーム間の相関関係を利用した画像処理アルゴリズムの実行を行う場合、フレーム全体をメモリに一時的に記憶させて処理を行っているために、画素数分だけのメモリ容量が必要となる。フルＨＤ画像（1920×1080画素）の場合における１フレームあたりのバイト数は、1920×1080×3＝6220800（バイト/フレーム）である。
【０００３】
また、最低でも１フレーム期間内にリードとライトアクセスを完了させる速度が必要とされている。フルＨＤ画像でフレームレートが30ｆｐｓの場合における１秒あたりのバイト数は、6220800×30×2≒373（Ｍバイト/秒）である。しかしながら、そのような性能を満たすハードウェアは非常に高価であり、装置の大型化や、消費電力の増大にもつながる。そのために、従来からさまざまな対策が採られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１１８２２６号公報
【特許文献２】特開２００３−１５３２８２号公報
【特許文献３】特開２００４−２６０２５１号公報
【非特許文献】
【０００５】
【非特許文献１】杉山賢二著、「実践  映像信号処理」コロナ社出版、pp.109-110
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、メモリへのライト前にビット圧縮を行ってデータ量を削減し、リード後にビット復元を行うことでメモリのデータ量の削減を行っている。しかし、圧縮と復元処理のため画質に劣化が生じ、画像処理結果への影響が発生し、メモリアクセス速度が低下するという問題がある。
【０００７】
特許文献２及び３、並びに非特許文献１は、符号化用の動きベクトルを求める回路についての例である。メモリへライトする画素データの間引きを行ってメモリのデータ量の削減を行っている。この場合、間引いたデータに真の動きベクトルが含まれる場合、処理結果に誤りが生じる可能性がある。また、参照画像の解像度変更時のメモリ内容入れ替え処理コストが増大し効果が減少してしまう。
【０００８】
この発明は以上の点に鑑みなされたもので、その目的は、記憶する画像データの量を削減することができ、画像処理の高速化を図ることができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
一実施形態に係る画像処理装置は、
対象の動画像データの注目度を、各フレームを形成する複数の領域毎に判定する判定部と、
前記判定部の判定に基づき、前記動画像データから前記注目度が相対的に高いと判定された領域を選択し、前記選択した領域の画像データを記憶媒体に記憶させる選択部と、を備える。
【００１０】
また、一実施形態に係る画像処理方法は、
対象の動画像データの注目度を、各フレームを形成する複数の領域毎に判定し、
前記判定に基づき、前記動画像データから前記注目度が相対的に高いと判定された領域を選択し、前記選択した領域の画像データを記憶媒体に記憶させる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置を示すブロック図である。
【図２】図１に示した管理部がテーブルを用いて画像データ管理している例を示す概略図である。
【図３】図１に示した管理部が埋め込みコードを用いて画像データを管理させている例を示す概略図である。
【図４】図１に示した記憶領域選択部がフレーム間におけるメモリの使用領域を調整している例を示す概略図である。
【図５】図１に示した動画像データの一フレームに注目度が高レベルの第１及び第２領域、注目度が中レベルの第３領域、並びに注目度が低レベルの第４領域が存在する例を示す概略図である。
【図６】図１に示した動画像データの一フレームに注目度が高レベルの第１及び第２領域、注目度が中レベルの第３領域、並びに注目度が低レベルの第４領域が存在する別の例を示す概略図である。
【図７】第２の実施形態に係る画像処理装置を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら第１の実施形態に係る画像処理装置及び画像処理方法について詳細に説明する。  
図１に示すように、画像処理装置は、特徴量検出部３と、判定部としての記憶領域判定部４と、選択部としての記憶領域選択部５と、記憶媒体としてのメモリ６と、画像処理部７とを備えている。
【００１３】
特徴量検出部３には、動画像データ１が入力される。動画像データ１は、例えばビデオカメラ等を具備した撮像装置により取得することができる。特徴量検出部３は、入力される動画像データ１の特徴量を検出及び解析し、重要度合を算出する。重要度の算出基準は、画像処理部７での処理に重要な部分であるのかどうかという基準で行われる。
【００１４】
例えば、画像処理部７で行う処理が動きベクトル検出処理ならば、特徴量検出部３は、領域の分散計算結果を使用し、各フレームを形成する複数の領域毎に重要度合を算出することができる。なお、画像処理部７で行う処理が例えばノイズ除去処理であっても、特徴量検出部３は、同様に上記重要度合を算出することができる。また、特徴量検出部３は、分散計算結果の替わりにエッジ検出結果を使用しても、同様に上記重要度合を算出することができる。
【００１５】
ここで、重要度が高いということは、注目度が高いことを意味している。このため、特徴量検出部３は、入力される動画像データ１の注目度を、各フレームを形成する複数の領域毎に算出すると言い替えることができる。例えば、特徴量を輝度レベルとした場合、輝度レベルの高い領域ほど、注目度の高い領域となる。
【００１６】
なお、画像処理部７が出力する処理データ８としては、（１）動きベクトル、（２）ノイズ除去処理済の一部の画像、（３）文字認識結果、（４）人物判定結果、（５）動き追跡結果などを挙げることができる。上記（１）、（２）の場合、特徴量検出部３は、分散計算結果を使用することが好ましく、上記（３）の場合、特徴量検出部３は、エッジ検出結果を使用することが好ましい。  
各フレームを形成する複数の領域の形状は、簡単に矩形状としている。但し、上記領域の形状は、矩形状以外の任意の形状であってもよい。上記領域のサイズ（単位）も、特に限定されるものではない。上記領域は、それぞれ行方向及び列方向に隣り合う複数の画素に重なっていればよい。
【００１７】
記憶領域判定部４には、特徴量検出部３が算出した結果の情報が与えられる。記憶領域判定部４は、対象の動画像データ１の注目度を、各フレームを形成する複数の領域毎に判定する。
【００１８】
また、記憶領域判定部４は、外部から入力されるデータに基づいて注目度を調整可能である。例えば、画像処理部７が出力する処理データ８をユーザに提示するシステムを、画像処理装置が構築している場合、ユーザに注目すべき領域を指定させるインターフェースを与え、指定した領域の注目度を上げるなどの調整が可能となる。これにより、注目度を上げた領域の画像データを優先してメモリ６に記憶することも可能となる。このため、記憶領域判定部４は、ユーザ操作（ユーザのパラメータ指定）により、注目度を高くする領域を指定するための入力データ２が入力されるよう形成されている。
【００１９】
入力データ２は、例えばユーザが注目領域を選択可能なＧＵＩ（graphical user interface）を介して記憶領域判定部４に入力される。入力データ２は、ユーザ以外に、他の画像処理装置（背景差分やステレオアルゴリズム）によって得られた情報でもよく、この場合、外部インターフェースを介して入力することができる。
【００２０】
記憶領域選択部５には、記憶領域判定部４が判定した結果の情報、及び動画像データ１が与えられる。記憶領域選択部５は、記憶領域判定部４の判定に基づき、動画像データ１から注目度が相対的に高いと判定された領域を選択し、選択した領域の画像データ（部分画像データ）をメモリ６に記憶させる（書き込む）。このため、動画像データ１の全てをメモリ６に書き込む必要はない。そして、記憶領域選択部５は、メモリ６の容量に空きが無くなるまでメモリ６に画像データを順に記憶させる。
【００２１】
画像処理装置は、管理部１０を備えている。この実施形態において、管理部１０は、メモリ６の一部の領域に割当てられている。管理部１０は、メモリ６に記憶された画像データを管理するものである。
【００２２】
画像処理部７は、メモリ６に記憶された画像データを読出し、読み出した画像データを処理し、処理した処理データ８を出力する。なお、特徴量検出部３、記憶領域判定部４及び記憶領域選択部５は、画像処理部７で処理を行うための前処理を行うものである。画像処理部７は、処理が成功したか、処理が効果を発揮したか等の実績情報を記憶領域判定部４にフィードバックすることが可能である。このため、画像処理部７は、処理実績をフィードバックするためのデータ９を記憶領域判定部４に入力できるよう形成されている。
【００２３】
画像処理部７での処理が不正、すなわち記憶領域判定部４の判定が不正であった場合、記憶領域判定部４は、記憶領域選択部５で選択された領域の注目度を相対的に下げて判定する。これにより、以降、注目度を下げた領域の画像データを記憶領域選択部５で選択されにくくすることができる。
【００２４】
また、画像処理部７での処理が有効、すなわち記憶領域判定部４の判定が有効であった場合、記憶領域判定部４は、記憶領域選択部５で選択された領域の注目度を相対的に上げて判定する。これにより、以降、注目度を上げた領域の画像データを記憶領域選択部５で選択され易くすることができる。
【００２５】
例えば、動きベクトルをブロックマッチングで求める処理ならば、マッチングの計算結果のピークが先鋭ならばマッチ度が高く、平坦で類似度合いが低い結果ならばマッチ度が低いことになる。この場合、マッチ度を記憶領域判定部４にフィードバックすることにより、次にメモリ６へ書き込むべき領域を判定する際の決定材料に使うことができる。
【００２６】
その他、画像処理部７が超解像を使った高精細化装置の動きベクトル検出処理ならば、動きベクトルが正常に計算できないことが判明した場合は、次回から該当領域のメモリ６への保存をとりやめる判断を記憶領域判定部４が行なう。
【００２７】
結果として、その部分の動きベクトルを求めないが、超解像による高解像度化処理では、不正確な動きベクトルは不要であるために問題とならない。多くの場合は、動きベクトルが正常に計算できない場所は平坦な絵柄であり、高解像度化する意味がないばかりか、強制的に処理するとアーティファクトと呼ばれる人工的なノイズとなって現れることになる。
【００２８】
さらに、記憶領域選択部５が各フレームに共通して一定期間選択しない領域がある場合、記憶領域判定部４は、記憶領域選択部５で一定期間選択しなかった領域の注目度を相対的に上げ、注目度を相対的に上げた領域を記憶領域選択部５に強制的に選択させることができる。例えば、上記のように注目度を下げると、注目度を下げた領域の画像データが永久に処理されず、注目度が上昇しない恐れがあるが、一定期間選択されなかった領域を見つけて注目度を一時的に上げることにより、複数のフレームに亘って全領域の画像データが定期的に選択されるようにすることができる。
【００２９】
次に、管理部１０について詳細に説明する。  
管理部１０は、メモリ６に記憶された画像データをテーブル又はリストで管理することができる。管理部１０は、画像データとは別の領域に設けられている。画像データはメモリ６に記憶されるが、画像データの所在に関する空間的、時間的情報のテーブルデータは、管理部１０に記憶されることになる。管理部１０が連結リスト形式として管理することにより、画像データの追加と削除を容易に扱うことが可能となる。
【００３０】
図２には、動画像データ１の１番目のフレームＦ１において、選択された複数の領域からなる２つのブロックＢ１、Ｂ２の画素データを管理部１０がテーブルを用いて管理している例を示している。メモリ６には予めアドレスが設定されているものである。管理部１０は、ブロックＢ１、Ｂ２の画素データを管理するため、上記画素データの先頭のアドレス、フレーム番号、画素で示す左上座標、及びサイズをそれぞれ記憶している。
【００３１】
その他、管理部１０は、メモリ６に記憶される画像データにコードを埋め込み、メモリ６に埋め込みコードにより画像データを管理させることができる。  
図３には、動画像データ１の１番目のフレームＦ１において、選択された複数の領域からなる２つのブロックＢ１、Ｂ２の画素データを管理部１０がメモリ６に埋め込みコードを用いて管理させる例を示している。管理部１０は、ブロックＢ１、Ｂ２の画素データをメモリ６に管理させるため、コード（画素データのサイズ、画素で示す左上座標、及びフレーム番号）を画素データの先頭に付与した状態でメモリ６に記憶している。
【００３２】
次に、記憶領域選択部５について詳細に説明する。  
記憶領域選択部５は、フレーム毎に均等に割り当てを行う通常の方法を使用し、メモリ６の容量に空きが無くなるまで注目度が高い領域順に画像データをメモリ６に書き込むことができる。その他、記憶領域選択部５は、注目度の高い領域の量がフレーム間でばらついている場合や、一定間隔毎に割当量の多いフレームを挿入する方法を使用する（一定間隔毎に注目度の高い領域の量が多くなるフレームが存在する）場合等、上記通常の方法以外の方法を使用することもできる。
【００３３】
このため、記憶領域選択部５は、選択した領域の画像データのサイズに応じて動画像データ１のフレーム間におけるメモリ６の使用領域を調整することができる。  
図４には、動画像データ１の１番目のフレームＦ１及び４番目のフレームＦ４の画像データの方が、２番目のフレームＦ２及び３番目のフレームＦ３の画像データより量が多い（サイズが大きい）場合に、フレーム毎に均等に割り当てを行わずに、フレームＦ２、Ｆ３よりフレームＦ１、Ｆ４の方が多く割り当てられるよう記憶領域選択部５がメモリ６に書き込んでいる例を示している。このため、フレームＦ２のメモリ領域６ｂ及びフレームＦ３のメモリ領域６ｃより、フレームＦ１のメモリ領域６ａ及びフレームＦ４のメモリ領域６ｄの方が大きい。この例は、動的なメモリ割り当て調整の例である。
【００３４】
さらに、記憶領域選択部５は、選択した領域間における注目度にばらつきがある場合、画像データを、注目度が低くなるにつれて解像度を段階的に低く変更しつつメモリ６に重複して記憶させることもできる。
【００３５】
図５には、動画像データ１の一フレームＦに注目度が高レベルの第１領域Ｒ１及び第２領域Ｒ２、注目度が中レベルの第３領域Ｒ３、並びに注目度が低レベルの第４領域Ｒ４が存在する例を示している。この例は、階層的な解像度変更方法を示すものである。第１乃至第４領域Ｒ１乃至Ｒ４は、それぞれ特徴量検出部３が注目度を算出するための最小の単位である複数の領域に重なっている。
【００３６】
記憶領域選択部５は、注目度が高レベルの第１領域Ｒ１及び第２領域Ｒ２の画像データを高解像度でメモリ６に記憶し、注目度が中レベル以上の第１領域Ｒ１、第２領域Ｒ２及び第３領域Ｒ３の画像データを低解像度で別途メモリ６に記憶し、注目度が低レベルの第４領域Ｒ４の画像データは記憶しない。このため、第１領域Ｒ１及び第２領域Ｒ２の画像データは重複してメモリ６に記憶されるものの、一画像データは複数の解像度を持っていため、一画像データが複数の解像度を持っている場合に解像度変換が必要となって処理が複雑化してしまうのを防ぐことができる。
【００３７】
また、記憶領域選択部５は、選択した領域間における注目度にばらつきがある場合、画像データを、領域毎に注目度に応じた解像度に設定してメモリ６に記憶させることもできる。
【００３８】
図６には、動画像データ１の一フレームＦに注目度が高レベルの第１領域Ｒ１及び第２領域Ｒ２、注目度が中レベルの第３領域Ｒ３、並びに注目度が低レベルの第４領域Ｒ４が存在する例を示している。第１乃至第４領域Ｒ１乃至Ｒ４は、それぞれ特徴量検出部３が注目度を算出するための最小の単位である複数の領域に重なっている。
【００３９】
記憶領域選択部５は、注目度が高レベルの第１領域Ｒ１及び第２領域Ｒ２の画像データを高解像度でメモリ６に記憶し、注目度が中レベルの第３領域Ｒ３の画像データを低解像度で別途メモリ６に記憶し、注目度が低レベルの第４領域Ｒ４の画像データは記憶しない。画像データを一ブロックとして取り扱わなくとも、画像処理部７での処理に支障がない場合、上記のような手法を採ることができる。
【００４０】
またさらに、記憶領域選択部５は、選択した領域間における注目度にばらつきがある場合、画像データを、注目度が低くなるにつれて色情報を段階的に少なくしメモリ６に記憶させることもできる。
【００４１】
動画像データ１は、輝度と、２つの色情報として処理されることがある。最も色情報が豊富なのは「４：４：４形式」と呼ばれ、輝度と色情報の比率は１：１である。次に色情報が豊富なのは「４：２：２形式」と呼ばれ上記比率は２：１であり、その次に色情報が豊富なのは「４：２：０形式」と呼ばれ上記比率は４：１であり、色がなくなるとモノクロとなる。３原色による動画像データ１（映像信号）はこのように単純に色情報を減少させる事ができないが、色毎に空間的、時間的にサブサンプリングしても画像処理部７への入力条件として許される限り、色情報を段階的に少なくすることができる。
【００４２】
さらにまた、記憶領域選択部５は、選択した領域間における注目度にばらつきがある場合、画像データを、注目度が低くなるにつれて階調度を段階的に低くしてメモリ６に記憶させることもできる。業務機器では１０bit、コンシューマ機器では８bitの製品が多い。ここでは、画像処理部７への入力条件として許される限り最大１bitまで、記憶領域選択部５は、階調度（ビット深度）を低くすることが可能である。
【００４３】
上記のように構成された第１の実施形態に係る画像処理装置及び画像処理方法によれば、画像処理装置は、記憶領域判定部４と、記憶領域選択部５と、を備えている。記憶領域判定部４は、対象の動画像データ１の注目度を、各フレームを形成する複数の領域毎に判定することができる。記憶領域選択部５は、記憶領域判定部４の判定に基づき、動画像データ１から注目度が相対的に高いと判定された領域を選択し、選択した領域の画像データをメモリ６に記憶させることができる。
【００４４】
従来技術では、画像処理対象をフレーム全体とすることを前提としている。そのようなアプリケーションとして、映像符号化処理（ＭＰＥＧ）、フレーム補間処理(液晶表示パネルのホールドぼけ低減のためのフレームレート倍速化)がある。一方、フレームの一部領域のみを画像処理対照とすればよいアプリケーションも存在し、それには画像先鋭化処理(例として複数フレームを使った超解像処理)、ノイズ低減処理などがある。後者の場合は、画面の平坦部分やノイズの存在しない部分は、効果が得られないために処理する必要がない。従来は、フレームの一部領域しか処理を行わない場合でも全領域をメモリへ保存していたため、画像処理を行っても効果がないデータが記憶されたメモリ領域が無駄となっている。
【００４５】
これに対し、上記実施形態では、フレームの全体処理が必ずしも必要でない場合に、前処理によって注目領域を決定して、その領域のみメモリ６へ記憶している。これにより、メモリ６に記憶する画像データの量を削減することができ、画像処理の高速化を図ることができる。
【００４６】
また、メモリ６に記憶する画像データの量を削減するため、画像データを圧縮する必要はなく、画像データを圧縮する圧縮部、及び圧縮したデータを復元する復元部無しに画像処理装置を形成することができる。このため、簡単な回路構成で画像処理装置を形成することができる。
【００４７】
その他、読出し／書込みを高速処理するためのハードウェア無しに画像処理装置を形成することができるため、画像処理装置を安価に製造することができ、さらに画像処理装置の小型化及び低消費電力化を図ることができる。
【００４８】
管理部１０は、メモリ６に記憶された画像データをテーブル又はリストで管理することができる。その他、管理部１０は、メモリ６に記憶される画像データにコードを埋め込み、メモリ６に埋め込みコードにより画像データを管理させることができる。上記のように管理部１０が機能することにより、メモリ６に記憶する画像データの量を一層削減することができる。
【００４９】
記憶領域選択部５は、選択した領域の画像データのサイズに応じて動画像データ１のフレーム間におけるメモリ６の使用領域を調整することができる。メモリ６の未使用領域の低減等を図ることができるため、メモリ６の効率的な利用に寄与することができる。
【００５０】
記憶領域判定部４は、記憶領域判定部４の判定が不正であった場合、（１）記憶領域選択部５で選択された領域の注目度を相対的に下げて判定することができ、（２）記憶領域選択部５で選択された領域の注目度を相対的に上げて判定することができる。画像処理部７が画像処理結果を記憶領域判定部４にフィードバックすることにより、記憶領域判定部４のより正確な判定と、メモリ６の効率的な利用と、に寄与することができる。
【００５１】
記憶領域判定部４は、記憶領域選択部５が各フレームに共通して一定期間選択しない領域がある場合、記憶領域選択部５で一定期間選択しなかった領域の注目度を相対的に上げ、注目度を相対的に上げた領域を記憶領域選択部５に強制的に選択させることができる。これにより、注目度を下げた領域の画像データが永久に処理されず、注目度が上昇しなくなることを防止することができる。
【００５２】
記憶領域判定部４は、外部から入力される入力データ２に基づいて注目度を調整することが可能である。このため、例えばユーザが注目する領域の画像データのみを画像処理部７が処理し、処理データ８として出力させることができるため、ユーザの要求を反映することができる。
【００５３】
記憶領域選択部５は、選択した領域間における前記注目度にばらつきがある場合、（１）画像データを、注目度が低くなるにつれて解像度を段階的に低く変更しつつメモリ６に重複して記憶させることができ、（２）画像データを、領域毎に注目度に応じた解像度に設定してメモリ６に記憶させることができ、（３）画像データを、注目度が低くなるにつれて色情報を段階的に少なくしメモリ６に記憶させることができ、（４）画像データを、注目度が低くなるにつれて階調度を段階的に低くしメモリ６に記憶させることができる。メモリ６に記憶する画像データの量を段階的に削減することができるためメモリ６の使用量の低減を図ることができる。  
上記したことから、記憶する画像データの量を削減することができ、画像処理の高速化を図ることができる画像処理装置及び画像処理方法を得ることができる。
【００５４】
次に、第２の実施形態に係る画像処理装置及び画像処理方法について説明する。なお、この実施の形態において、他の構成は上述した第１の実施形態と同一であり、同一の部分には同一の符号を付してその詳細な説明を省略する。
【００５５】
図７に示すように、画像処理装置は、再構成部としての再構成処理部１１を備えている。再構成処理部１１は、入力される動画像データ１にメモリ６に記憶された画像データを反映させ、動画像データ１を再構成するものである。すなわち、再構成処理部１１は、入力される処理データ８を、同じく入力される動画像データ１に適用し、各フレームの全体の画像を再構成し、再構成したデータ１２を出力するものである。
【００５６】
例えば、画像処理部７で行う処理が動きベクトル検出処理ならば、再構成処理部１１は、超解像の再構成アルゴリズムを使ってフレーム全体（画面全体）を再構成することができる。動きベクトルを使う再構成アルゴリズムには、ＰＯＣＳ(Projection onto Convex Sets)法や、ＭＡＰ(Maximum a Posterior)法があり、この実施形態ではそのような一般的手法を用いることができる。
【００５７】
上記のように構成された第２の実施形態に係る画像処理装置及び画像処理方法によれば、画像処理装置は、記憶領域判定部４と、記憶領域選択部５と、を備えている。記憶領域判定部４は、対象の動画像データ１の注目度を、各フレームを形成する複数の領域毎に判定することができる。記憶領域選択部５は、記憶領域判定部４の判定に基づき、動画像データ１から注目度が相対的に高いと判定された領域を選択し、選択した領域の画像データをメモリ６に記憶させることができる。このため、上記第１の実施形態と同様の効果を得ることができる。
【００５８】
再構成処理部１１は、入力される動画像データ１にメモリ６に記憶された画像データを反映させ、動画像データ１を再構成することができる。このため、メモリ６に記憶された画像データの情報だけではなく、動画像データ１の情報もデータ１２に含めたい場合に有効である。  
上記したことから、記憶する画像データの量を削減することができ、画像処理の高速化を図ることができる画像処理装置及び画像処理方法を得ることができる。
【００５９】
なお、この発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化可能である。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００６０】
上記特徴量は、輝度レベルや色味に限定されるものではなく種々変形可能であり、オーディオ等、動画像データが持つ識別可能な情報であればよい。
【符号の説明】
【００６１】
１…動画像データ、２…入力データ、３…特徴量検出部、４…記憶領域判定部、５…記憶領域選択部、６…メモリ、７…画像処理部、８…処理データ、９…データ、１０…管理部、１１…再構成処理部、１２…データ、Ｆ，Ｆ１，Ｆ２，Ｆ３，Ｆ４…フレーム。
【図１】
2012060529.tif 000003
【図２】
2012060529.tif 000004
【図３】
2012060529.tif 000005
【図４】
2012060529.tif 000006
【図５】
2012060529.tif 000007
【図６】
2012060529.tif 000008
【図７】
2012060529.tif 000009