(57)【要約】【課題】  コストを抑えつつ高精細な合成画像を得ることが可能な画像処理装置および画像処理方法を提供する。【解決手段】  高精細画像作成部２００において，画像格納部２１０は，内蔵するバッファに，カメラ１０から連続的に送られて来る撮影フレーム（Ｆ０，Ｆ１，Ｆ２，……，Ｆｎ）に含まれる注目画像（Ｒ０，Ｒ１，Ｒ２，……，Ｒｎ）を順次格納する。合成枚数算出部２２０は，注目領域のサイズに基づいて合成枚数を算出する。画像変化量検出部２４０は，合成枚数分の注目画像を画像格納部２１０から受け取り，注目画像の変化量を求め，この変化量を用いて注目画像同士を合成していく。この結果，高精細画像（動画）が生成される。【選択図】  図１
2006092450.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を格納する画像格納部と，
前記画像のサイズに応じて合成枚数を算出する合成枚数算出部と，
前記合成枚数分の画像を前記画像格納部から被合成画像として取得し，各被合成画像間の変化量を検出する画像変化量検出部と，
前記変化量に基づいて前記各被合成画像を合成する画像合成部と，
を備えたことを特徴とする，画像処理装置。
【請求項２】
複数の画像を格納する画像格納部と，
前記画像のサイズに応じて合成枚数を算出する合成枚数算出部と，
前記合成枚数分の画像を前記画像格納部から取得し，取得した各画像間の変化量を検出する画像変化量検出部と，
前記画像変化量検出部が取得した複数の画像のうち，前記変化量が所定値よりも大きい画像を被合成画像とする被合成画像判定部と，
前記変化量に基づいて前記各被合成画像を合成する画像合成部と，
を備えたことを特徴とする，画像処理装置。
【請求項３】
前記画像合成部は，前記各被合成画像を所定倍率に拡大して合成することを特徴とする，請求項１または２に記載の画像処理装置。
【請求項４】
前記画像格納部に格納される各画像は，複数のベース画像の全領域中に設定された特定領域に属する画像であることを特徴とする，請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
複数の画像を格納する画像格納部と，
前記各画像の全領域中に特定領域を設定する特定領域設定部と，
前記特定領域のサイズに応じて合成枚数を算出する合成枚数算出部と，
前記合成枚数分の画像を前記画像格納部から取得し，取得した各画像の特定領域に属する被合成画像間の変化量を検出する画像変化量検出部と，
前記変化量に基づいて前記各被合成画像を合成する画像合成部と，
を備えたことを特徴とする，画像処理装置。
【請求項６】
複数の画像を格納する画像格納部と，
前記各画像の全領域中に特定領域を設定する特定領域設定部と，
前記特定領域のサイズに応じて合成枚数を算出する合成枚数算出部と，
前記合成枚数分の画像を前記画像格納部から取得し，取得した各画像の特定領域に属する画像部分間の変化量を検出する画像変化量検出部と，
前記画像変化量検出部が取得した複数の画像に含まれる画像部分のうち，前記変化量が所定値よりも大きい画像部分を被合成画像とする被合成画像判定部と，
前記変化量に基づいて前記被合成画像を合成する画像合成部と，
を備えたことを特徴とする，画像処理装置。
【請求項７】
前記画像合成部は，前記各被合成画像を所定倍率に拡大して合成することを特徴とする，請求項５または６に記載の画像処理装置。
【請求項８】
複数の画像を画像格納部に格納する工程と，
前記各画像の全領域中の特定領域のサイズに応じて取得画像枚数を算出する工程と，
前記取得画像枚数分の画像を前記画像格納部から取得し，取得した各画像の特定領域に属する画像部分間の変化量を検出する工程と，
前記画像格納部から取得した複数の画像に含まれる画像部分のうち，前記変化量が所定値よりも大きい画像部分を被合成画像に設定する工程と，
前記変化量に基づいて前記被合成画像を合成する工程と，
を含むことを特徴とする，画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像処置装置および画像処理方法に関する。
【背景技術】
【０００２】
最近では，インターネットやイントラネットに単体で接続可能なネットワークカメラやＰＣ（パーソナルコンピュータ）を介して接続されるＰＣカメラの低価格化が進み，これらのカメラによる監視システムが個人レベルでも広く使用されるようになってきた。ただし，一般的に価格と機能は相関関係を有しており，低価格のカメラを監視システムに採用した場合，監視用として十分なレベルの画質が得られず，監視画像の中に動く物体が確認できたとしても，それが人なのか物なのか，あるいは人であれば何者なのかまで判別することは困難となる。つまり，監視対象の視認性が低くなってしまうおそれがあった。
【０００３】
例えば，カメラに光学ズーム機能を備えて所定の対象をズームアップすれば，監視対象の視認性を向上させることができる。しかし，高倍率の光学ズーム機能をカメラに追加すればコストアップに繋がってしまう。
【０００４】
下記特許文献１には，光学ズームに代えて，または低倍率の光学ズームと組み合わせてカメラに搭載可能な電子ズーム機構や画素ずらし技術が開示されている。
【０００５】
【特許文献１】特開２００２−２３８０５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし，電子ズームは画像を単純拡大するだけで解像度が高まることはない。したがって，必ずしも視認性が向上するとは限らない。また，画素ずらし技術を用いれば，解像度を向上させることは可能となる。ただし，撮像素子を微少に動かす機構あるいは光学透過ガラスの厚さを変化させる特殊な機構をカメラに設ける必要がある。この結果，カメラの価格を抑えることが難しくなる。
【０００７】
本発明は，このような問題に鑑みてなされたもので，その目的は，コストを抑えつつ高精細な合成画像を得ることが可能な新規かつ改良された画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために，本発明の第１の観点によれば，複数の画像を格納する画像格納部と，画像のサイズに応じて合成枚数を算出する合成枚数算出部と，合成枚数分の画像を画像格納部から被合成画像として取得し，各被合成画像間の変化量を検出する画像変化量検出部と，変化量に基づいて各被合成画像を合成する画像合成部とを備えたことを特徴とする画像処理装置が提供される。この構成によれば，画像のサイズに応じて被合成画像の枚数が増減する。したがって，画像のサイズが大きければ被合成画像の枚数を少なくして画像合成処理の軽減を図り，逆に画像のサイズが小さければ被合成画像の枚数を多くして，より精細な合成画像を生成することが可能となる。
【０００９】
上記課題を解決するために，本発明の第２の観点によれば，複数の画像を格納する画像格納部と，画像のサイズに応じて合成枚数を算出する合成枚数算出部と，合成枚数分の画像を画像格納部から取得し，取得した各画像間の変化量を検出する画像変化量検出部と，画像変化量検出部が取得した複数の画像のうち，変化量が所定値よりも大きい画像を被合成画像とする被合成画像判定部と，変化量に基づいて各被合成画像を合成する画像合成部とを備えたことを特徴とする画像処理装置が提供される。この構成によれば，画像のサイズに応じて被合成画像の枚数が増減する。しかも，変化量の小さい画像は合成処理に用いられない。変化量の小さい画像を合成しても合成の効果が得にくいためである。したがって，無駄なリソースを消費することなく高精細な合成画像を得ることができる。
【００１０】
また，各画像の全領域中に特定領域を設定して，特定領域に属する画像部分を被合成画像として合成するようにしてもよい。これによって合成される画像サイズが小さくなるため，より合成処理の軽減が図られる。
【００１１】
画像合成部は，各被合成画像を所定倍率に拡大して合成することが好ましい。この結果，所定倍率に拡大された合成画像が得られ，合成画像の視認性が向上する。
【００１２】
ネットワークを経由して複数の画像（ベース画像）を画像処理装置に入力するようにしてもよい。この場合，複数の画像は，例えばネットワークに接続されているネットワークカメラ等の撮像装置／撮像部によって生成される。そして，撮像装置／撮像部は，光学ズーム機能を有していることが好ましい。光学ズームによって拡大された画像が画像処理装置において拡大合成されるため，より高精細な合成画像が得られる。
【００１３】
上記課題を解決するために，本発明の第３の観点によれば，複数の画像を画像格納部に格納する工程と，各画像の全領域中の特定領域のサイズに応じて取得画像枚数を算出する工程と，取得画像枚数分の画像を画像格納部から取得し，取得した各画像の特定領域に属する画像部分間の変化量を検出する工程と，画像格納部から取得した複数の画像に含まれる画像部分のうち，変化量が所定値よりも大きい画像部分を被合成画像に設定する工程と，変化量に基づいて被合成画像を合成する工程と，を含むことを特徴とする画像処理方法が提供される。ここで，特定領域は，画像の全領域の一部であってもよいし，画像の全領域と一致していてもよい。同様に，画像部分は，特定領域の一部であってもよいし，特定領域に一致していてもよい。この方法によれば，画像のサイズに応じて被合成画像の枚数が増減する。したがって，画像のサイズが大きければ被合成画像の枚数を少なくして画像合成処理の軽減を図り，逆に画像のサイズが小さければ被合成画像の枚数を多くしてより精細な合成画像を生成することが可能となる。また，この方法によれば，変化量の小さい画像は合成処理に用いられなくなる。変化量の小さい画像を合成してもその効果が低い。したがって，無駄なリソースを消費することなく高精細な合成画像を得ることができる。なお，所定値を適宜設定することによって，全ての画像部分を合成することも可能である。
【発明の効果】
【００１４】
本発明によれば，より小さいリソースで高精細な合成画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書および図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００１６】
〈第１の実施の形態〉
図１は，本発明の第１の実施の形態にかかる画像処理装置１００の構成を概略的に示すブロック図である。同図に示すように，画像処理装置１００は，ネットワーク２０を介してカメラ１０（撮像装置，撮像部）に接続されている。
【００１７】
画像処理装置１００は，制御部１１０，画像解凍部１２０，画像表示部１３０，注目領域指定部１４０（特定領域設定部），倍率指定部１５０，録画部１９０，および高精細画像作成部２００から構成されている。
【００１８】
制御部１１０は，画像処理装置１００の各種機能部の動作を制御する。画像解凍部１２０は，カメラ１０から送られて来る圧縮された複数の撮影フレーム（ベース画像，動画ストリームまたは連続する複数の静止画像）を解凍（展開／伸長）して，これら複数の撮影フレームを未圧縮状態の静止画像に変換する機能を有している。画像表示部１３０は，カメラ１０から送られて来る撮影フレームおよび高精細画像作成部２００によって作成された高精細画像を表示する。注目領域指定部１４０は，撮影フレームの一部を注目領域（特定領域）として指定する機能を有している。倍率指定部１５０は，注目領域指定部１４０によって指定された注目領域のズーム倍率を指定する機能を有している。録画部１９０は，撮影フレームおよび高精細画像を録画する機能を有している。高精細画像作成部２００は，複数の撮影フレームに基づいて高精細画像を作成する機能を有しており，画像格納部２１０，合成枚数算出部２２０，画像変化量検出部２４０，および画像合成部２５０から構成されている。
【００１９】
画像格納部２１０は，注目領域指定部１４０によって指定された注目領域の画像を格納する機能を有している。合成枚数算出部２２０は，注目領域のサイズに応じて，高精細画像を作成するために必要な画像の合成枚数を検出する機能を有している。画像変化量検出部２４０は，画像間の変化量を検出する。画像合成部２５０は，画像間の変化量を利用して各画像を合成する機能を有している。
【００２０】
以上のように構成された本実施の形態にかかる画像処理装置１００の動作について説明する。
【００２１】
カメラ１０は監視対象に向けてセットされており，現地の動画映像を逐次ネットワーク２０を通じてリアルタイムに画像処理装置１００に送信する。このときカメラ１０は，データ転送速度を確保するために，画像データを圧縮してストリーム送信する。
【００２２】
画像処理装置１００は，ユーザ（監視者）が監視作業を行う環境にセットされている。画像処理装置１００において，まず，制御部１１０は，ストリームデータ（圧縮された動画像データ）を受信し，これを画像解凍部１２０に送る。画像解凍部１２０は，動画像データを解凍する。これによって，カメラ１０によって撮影された動画像が複数の撮影フレームとして抽出される。
【００２３】
次に，制御部１１０は，抽出された撮影フレームを画像表示部１３０に送る。画像表示部１３０は，撮影フレームを画像処理装置１００に内蔵されたまたは外部接続されたディスプレイ装置（図示せず）の画面に表示する。図２は，このディスプレイ装置の全体画面領域Ａ１００を示している。一般に表示画面のサイズはネットワークカメラなどで撮影される撮影フレームの画像サイズより大きい。したがって，画像表示部１３０は，全体画面領域Ａ１００の中の第１サブ領域Ａ１１０に撮影フレームを等倍で表示することが可能である。
【００２４】
ユーザは，第１サブ領域Ａ１１０に表示されている画像（撮影フレーム）を見ながら所定の対象を監視することができる。しかし，撮影フレームのサイズが小さい（画像が粗い）場合，監視対象を確実に視認できなくなるおそれがある。この点，本実施の形態にかかる画像処理装置１００は，ユーザが特に注目する領域（すなわち監視対象が含まれている画像領域）を高解像度化して第２サブ領域Ａ１２０の中の高精細画像表示領域Ａ１２１に拡大表示することができる。
【００２５】
例えばユーザは，画像処理装置１００に接続されているマウス（図示せず）を用いて，第１サブ領域Ａ１１０の中から監視対象が含まれる領域を画定する。この画定定情報は注目領域指定部１４０に入力される。注目領域指定部１４０は，この画定情報に基づいて，ユーザが画定した画像領域を注目領域Ａ１１１に指定する。そして，注目領域指定部１４０は，この注目領域Ａ１１１のサイズとその位置に関する情報（以下，「サイズ・位置情報」という）を制御部１１０に送信する。以下，注目領域Ａ１１１は矩形である場合に即して本実施の形態について説明する。
【００２６】
注目領域指定部１４０は，注目領域Ａ１１１の位置をその左上隅の座標で定義する。ここで用いられる座標系の原点は，例えば第１サブ領域Ａ１１０の左上隅とされる。また，注目領域指定部１４０は，注目領域Ａ１１１のサイズを縦方向と横方向の各画素数で定義する。
【００２７】
ユーザは，例えば全体画面領域Ａ１００の中の第３サブ領域Ａ１３０に表示されるスライダＳを用いて，注目領域Ａ１１１に表示されている画像（以下，「注目画像」という）を高精細画像表示領域Ａ１２１に表示させる際の拡大倍率を調整することが可能である。倍率指定部１５０は，ユーザによって調整された倍率を制御部１１０に通知する。本実施の形態では，倍率を１倍からｎ倍まで１０分の１単位で調整できるものとする。なお，ユーザが倍率を調整しない場合，倍率指定部１５０は，予め定められているデフォルト倍率（例えば，２倍）を制御部１１０に通知する。
【００２８】
制御部１１０は，カメラ１０から受信した撮影フレームとともに，注目領域指定部１４０から取得したサイズ・位置情報，および，倍率指定部１５０から取得した倍率情報を高精細画像作成部２００に送信する。
【００２９】
高精細画像作成部２００は，超解像処理（複数の画像の変化量を求め高解像度の画像を合成する処理）を行い，注目画像（画像部分）を高精細化する。一般に，超解像処理において，なるべく多くの画像を利用した方がより高い精細化の効果が得られる。ただし，多くの画像を用いて高精細画像をリアルタイムで作成するには，相応のリソースが必要となる。このため高精細画像作成部２００の画像処理能力に応じて利用する画像の数が決定される。また，本実施の形態によれば，高精細化される対象は注目画像である。したがって，高精細画像作成部２００が超解像処理に利用できる画像の数は注目領域Ａ１１１の大きさにも依存する。すなわち，注目領域Ａ１１１が大きければ１画像毎の処理量が大きくなるため，利用できる画像の数は少なくなるが，注目領域Ａ１１１が小さければ１画像毎の処理量が小さくなるため，利用できる画像の数は多くなる。
【００３０】
この点，本実施の形態にかかる高精細画像作成部２００は，注目領域Ａ１１１のサイズに応じて，適切な画像の数を決定し超解像処理を実行する。この結果，注目画像は，リアルタイムに，かつ極めて高い精細度で高精細画像表示領域Ａ１２１に拡大表示される。以下，高精細画像作成部２００による画像処理の内容を詳細に説明する。
【００３１】
まず，高精細画像作成部２００において，画像格納部２１０は，内蔵するバッファに，カメラ１０から連続的に送られて来る撮影フレーム（Ｆ０，Ｆ１，Ｆ２，……，Ｆｎ）に含まれる注目画像（Ｒ０，Ｒ１，Ｒ２，……，Ｒｎ）を順次格納する。このバッファには十分な容量が割り当てられているが，もし容量が足りなくなった場合は最も古い撮影フレームの注目画像を消去するものとする。
【００３２】
次に，合成枚数算出部２２０は，制御部１１０から注目領域Ａ１１１のサイズを受け取り，下記の（式１）に基づいて超解像処理に利用する画像の数（以下，「合成枚数」という）ＳＮを決定する。
【００３３】
ＳＮ＝（ＰＰ／（Ｗ×Ｈ））×Ｎ  …（式１）
【００３４】
Ｗ：注目領域Ａ１１１の横画素数，
Ｈ：注目領域Ａ１１１の縦画素数，
ＰＰ：高精細画像作成部２００の超解像処理能力（プロセッサのクロック周波数ＭＨｚ），
Ｎ：換算定数
【００３５】
例えば，高精細画像作成部２００が備える超解像処理プロセッサのクロック周波数が１ＧＨｚの場合，ＰＰ＝１０００となる。なお，本実施の形態においては，Ｎ＝１００とする。
【００３６】
注目領域Ａ１１１の横画素数Ｗおよび注目領域Ａ１１１の縦画素数Ｈは，注目領域指定部１４０から合成枚数算出部２２０に与えられる。また，高精細画像作成部２００の超解像処理能力ＰＰおよび換算定数Ｎは，予め合成枚数算出部２２０に登録される。
【００３７】
例えば，Ｗ＝１６０，Ｈ＝１２０，ＰＰ＝１０００の場合，式１からＳＮ＝５．２０８３３３…が得られる。小数点以下を四捨五入して，合成枚数は５枚と決定される。このように，合成枚数は注目領域Ａ１１１のサイズに応じて決定されることが好ましく，その決定方法については上記の式１を用いた方法に限定されるものではない。
【００３８】
合成枚数算出部２２０は，算出した合成枚数（ここでは，“５”）を画像変化量検出部２４０に通知する。
【００３９】
画像変化量検出部２４０は，合成枚数算出部２２０から通知された合成枚数分の注目画像を画像格納部２１０から受け取る。このとき画像変化量検出部２４０は，撮影時刻が新しい注目画像を優先的に取得する。ここでは，合成枚数は“５”であるため，画像変化量検出部２４０は，注目画像（Ｒ０），注目画像（Ｒ１），注目画像（Ｒ２），注目画像（Ｒ３），および注目画像（Ｒ４）を取得する。
【００４０】
続いて，画像変化量検出部２４０は，取得した注目画像の変化量を求める。ここの動作について図３を参照しながら説明する。
【００４１】
画像変化量検出部２４０は，注目画像Ｒ０を基準注目画像に設定し，この注目画像Ｒ０内の一つの画素ＰＸ０に着目する。さらに，画像変化量検出部２４０は，例えばオプティカルフロー法を用いて，注目画像Ｒ１内の全画素の中から，注目画像Ｒ０内の画素ＰＸ０に対応する画素ＰＸ１を抽出する。そして，画像変化量検出部２４０は，注目画像Ｒ０内の画素ＰＸ０と注目画像Ｒ１内の画素ＰＸ１との間の変化量を算出する。
【００４２】
例えば，注目画像Ｒ０のｘ−ｙ座標系において画素ＰＸ０の位置座標が（１０，３０）であり，注目画像Ｒ１のｘ−ｙ座標系において画素ＰＸ１の位置座標が（７．５，３０．５）である場合，画素ＰＸ０から画素ＰＸ１への変化量はΔｘ（ｘ方向に関する変化量）＝−２．５，Δｙ（ｙ方向に関する変化量）＝０．５となる。
【００４３】
画像変化量検出部２４０は，注目画像Ｒ１内の全ての画素について同様に変化量を算出し，求めたすべての画素の変化量を「Ｒ０−Ｒ１注目画像間変化量」と定義する。さらに，画像変化量検出部２４０は，注目画像Ｒ０と注目画像Ｒ２，注目画像Ｒ０と注目画像Ｒ３，注目画像Ｒ０と注目画像Ｒ４についても同様の演算を行う。この結果，「Ｒ０−Ｒ２注目画像間変化量」，「Ｒ０−Ｒ３注目画像間変化量」，および「Ｒ０−Ｒ４注目画像間変化量」が求まる。
【００４４】
次いで，画像合成部２５０は，画像変化量検出部２４０から４つの注目画像間変化量（「Ｒ０−Ｒ１注目画像間変化量」，「Ｒ０−Ｒ２注目画像間変化量」，「Ｒ０−Ｒ３注目画像間変化量」，および「Ｒ０−Ｒ４注目画像間変化量」）と５つの注目画像（Ｒ０）〜（Ｒ４）を受け取り，５つの注目画像を指定された倍率になるように１枚の画像に合成する。この合成処理について，図４を参照しながら説明する。
【００４５】
まず，画像合成部２５０は，線形拡大方式（例えば，バイリニア方式）を用いて，基準とした注目画像Ｒ０を，倍率指定部１５０によって指定された倍率ｎになるように拡大する。これによって拡大注目画像Ｒ０ｅｘが得られる。なお，このように注目画像Ｒ０がｎ倍に拡大されることによって，注目画像Ｒ０に属する画素ＰＸ０は，拡大注目画像Ｒ０ｅｘに属する画素（ＰＸ０ｅｘ）およびその周辺画素（図示せず）に対応することになる。
【００４６】
次に，画像合成部２５０は，Ｒ０−Ｒ１注目画像間変化量を用いて，注目画像（Ｒ１）を構成する各画素を拡大注目画像Ｒ０ｅｘに合成（内挿）する。例えば，注目画像Ｒ１に属する画素ＰＸ１（図３参照）は，次のようにして拡大注目画像Ｒ０ｅｘに合成される。
【００４７】
上述のように，画素ＰＸ１は，注目画像Ｒ０に属する画素ＰＸ０に対応しており，その変化量はΔｘ＝−２．５，Δｙ＝０．５である。また，注目画像Ｒ０に属する画素ＰＸ０の位置座標は，（１０，３０）であるため，拡大注目画像Ｒ０ｅｘに属する画素（ＰＸ０ｅｘ）の位置座標はｎ倍の（１０ｎ，３０ｎ）で表される。したがって，画素ＰＸ１は，ｎ倍に拡大されて座標（１０ｎ−２．５ｎ，３０ｎ＋０．５ｎ）の位置に合成される。
【００４８】
画像合成部２５０は，注目画像（Ｒ１）を構成する各画素を拡大注目画像Ｒ０ｅｘに合成した後，順次同様に，注目画像（Ｒ２）〜（Ｒ４）を構成する各画素を拡大注目画像Ｒ０ｅｘに合成していく。画像合成部２５０は，以上のような合成処理を繰り返してｎ倍に拡大された高精細画像（動画）を作成する。そして，画像合成部２５０は，作成した高精細画像を制御部１１０に渡す。
【００４９】
画像表示部１３０は，制御部１１０から高精細画像を受け取り，これをディスプレイ装置の画面の高精細画像表示領域Ａ１２１（図２参照）に表示する。
【００５０】
録画部１９０は，制御部１１０から撮影フレームと高精細画像の両方またはいずれか一方を受け取り録画する。なお，録画部１９０が録画する対象については，ユーザが指定できるように構成してもよく，また固定化してもよい。
【００５１】
以上の処理を撮影フレームすべてにおいて逐次行うことによって，高精細な動画像をリアルタイムに表示および録画することができる。
【００５２】
ここまで説明したように，本実施の形態によれば，大きなリソースを用いることなく，高精細画像をリアルタイムに作成することが可能となる。したがって，カメラ１０に光学ズーム機能が装備されていない場合であっても，監視対象が含まれる画像は，ユーザの所望する倍率に拡大された状態で表示・録画される。この結果として，監視対象の視認性が極めて高くなる。
【００５３】
〈第２の実施の形態〉
図５は，本発明の第２の実施の形態にかかる画像処理装置１０１の構成を概略的に示すブロック図である。
【００５４】
この画像処理装置１０１は，第１の実施の形態にかかる画像処理装置１００に対して，高精細画像作成部２００が高精細画像作成部２０１に置き換えられた構成を有している。すなわち，画像処理装置１００は，制御部１１０，画像解凍部１２０，画像表示部１３０，注目領域指定部１４０，倍率指定部１５０，録画部１９０，および高精細画像作成部２０１から構成されている。
【００５５】
高精細画像作成部２０１は，第１の実施の形態にかかる高精細画像作成部２００に対して，被合成画像判定部２６０が追加された構成を有している。すなわち，高精細画像作成部２０１は，複数の撮影フレームに基づいて高精細画像を作成する機能を有しており，画像格納部２１０，合成枚数算出部２２０，画像変化量検出部２４０，画像合成部２５０，および被合成画像判定部２６０から構成されている。
【００５６】
被合成画像判定部２６０は，画像変化量検出部２４０によって検出された変化量に基づいて，各画像を合成処理に用いるか否かを判定する機能を有している。
【００５７】
以上のように構成された本実施の形態にかかる画像処理装置１０１の動作について説明する。
【００５８】
画像処理装置１０１において，制御部１１０，画像解凍部１２０，画像表示部１３０，注目領域指定部１４０，倍率指定部１５０，録画部１９０，画像格納部２１０，および合成枚数算出部２２０の各動作については，上述の第１の実施の形態にかかる画像処理装置１００と同様である。
【００５９】
本実施の形態にかかる画像処理装置１０１は，特に，撮影フレーム間の変化量が少ない場合に顕著な効果をもたらす。例えば，カメラ１０から送られて来る撮影フレームが高レート（例えば，３０ｆｐｓ）である場合，あるいは監視対象が非常にゆっくりと動いている場合には，撮影フレーム間の変化量が微少となる。超解像処理は，様々な位置（座標）で取得された画素を合成することによって高精細画像を得る技術である。しかし，変化量が極端に微少な画素を合成した場合，演算量に対して得られる効果が小さくなる可能性がある。
【００６０】
この点，本実施の形態においては，基準注目画像とある注目画像の変化量が十分に小さい場合には，その注目画像は画像合成処理に用いられず，基準注目画像に対してより時間方向に離れた他の注目画像が画像合成処理に採用される。以下，本実施の形態にかかる画像処理装置１０１の特徴を詳細に説明する。
【００６１】
ここでは，第１の実施の形態と同様に，合成枚数を“５”とする。画像変化量検出部２４０は，基準注目画像である注目画像（Ｒ０）に最も時間的に近い注目画像（Ｒ１）を画像格納部２１０から受け取り，第１の実施の形態と同様の手法を用いてＲ０−Ｒ１注目画像間変化量を算出する。そして，画像変化量検出部２４０は，算出したＲ０−Ｒ１注目画像間変化量を被合成画像判定部２６０に通知する。
【００６２】
被合成画像判定部２６０は，Ｒ０−Ｒ１注目画像間変化量に基づいて，注目画像（Ｒ１）に属する全画素の中から変化量が“０”でない画素を抽出する。そして，被合成画像判定部２６０は，この抽出した各画素が有する変化量の平均値（以下，「平均変化量」という）を求める。
【００６３】
ここで被合成画像判定部２６０が平均変化量を算出するにあたり，変化量が“０”である画素を除外する理由は次の通りである。
【００６４】
変化量が“０”でない画素は，フレーム間で位置が変化する動体に対応しており，逆に，変化量が”０”の画素は，フレーム間で位置が変化しない静体（例えば，背景）に対応している。静止した環境の中に存在する微小な動体を撮影し，この撮影画像を構成する各画素の変化量の平均を求めると，動体の運動量が大きくても“０”に近い値が得られる。このように，各画素の変化量の平均値は，画像における静体領域と動体領域の割合に影響される。そこで，被合成画像判定部２６０は，動体に対応する画素の変化量を正確に把握するために，平均変化量を求める演算から変化量が“０”である画素を除外する。
【００６５】
被合成画像判定部２６０は，平均変化量が所定の判定しきい値より小さい場合，注目画像（Ｒ１）は基準注目画像（Ｒ０）に対する変化量が小さく，注目画像（Ｒ１）を基準注目画像（Ｒ０）に合成しても高精細化の効果が小さいと判断し，注目画像（Ｒ１）を用いた合成処理を実行しないように画像合成部２５０に対して指示する。
【００６６】
その後，画像変化量検出部２４０は，次の撮影フレームに属する注目画像（Ｒ２）を画像格納部２１０から受け取り，Ｒ０−Ｒ２注目画像間変化量を算出する。被合成画像判定部２６０は，このＲ０−Ｒ２注目画像間変化量に基づいて注目画像（Ｒ２）の平均変化量を算出する。判定しきい値以上の平均変化量が算出されたときには，被合成画像判定部２６０は，注目画像（Ｒ２）を用いた合成処理を実行するように画像合成部２５０に対して指示する。
【００６７】
以降，画像変化量検出部２４０と被合成画像判定部２６０は，同様の処理を合成枚数分の注目画像全て（ここでは，注目画像（Ｒ３），注目画像（Ｒ４））に対して順次実行する。
【００６８】
以上のように，本実施の形態によれば，第１の実施の形態と同様の効果が得られる。しかも，本実施の形態によれば，フレーム間で変化の少ない注目画像については画像合成処理が実行されないため，高精細画像を作成するために必要なリソースをより小さくすることができる。また，画像合成処理にかかる時間を短縮できるため，高精細画像の再生のリアルタイム性が向上する。さらに，高精細画像を滑らかに再生・録画できることから，監視対象の視認性もより改善される。
【００６９】
〈第３の実施の形態〉
図３は，本発明の第３の実施の形態にかかる画像処理装置１０２の構成を概略的に示すブロック図である。
【００７０】
この画像処理装置１０２は，第１の実施の形態にかかる画像処理装置１００に対して，表示領域指定部１６０が追加され，注目領域指定部１４０と倍率指定部１５０が省略され，高精細画像作成部２００が高精細画像作成部２０２に置き換えられた構成を有している。すなわち，画像処理装置１０２は，制御部１１０，画像解凍部１２０，画像表示部１３０，表示領域指定部１６０，録画部１９０，および高精細画像作成部２０２から構成されている。
【００７１】
表示領域指定部１６０は，画像処理装置１０２に内蔵されたまたは外部接続されたディスプレイ装置（図示せず）の画面の全体領域の中から高精細画像の表示領域を指定する機能を有している。
【００７２】
高精細画像作成部２０２は，第１の実施の形態にかかる高精細画像作成部２００に対して，画像格納部２１０が画像格納部２１２に置き換えられ，合成枚数算出部２２０が合成枚数算出部２２２に置き換えられ，注目領域設定部２７０が追加された構成を有している。すなわち，高精細画像作成部２０２は，複数の撮影フレームに基づいて高精細画像を作成する機能を有しており，画像格納部２１２，合成枚数算出部２２２，画像変化量検出部２４０，画像合成部２５０，および注目領域設定部２７０から構成されている。
【００７３】
画像格納部２１２は，カメラ１０から送られて来る撮影フレームを格納する機能を有している。注目領域設定部２７０は，画像変化量検出部２４０によって検出された変化量に応じて注目領域を設定する機能を有している。合成枚数算出部２２２は，注目領域設定部２７０によって設定された注目領域のサイズに応じて，高精細画像を作成するために必要な画像の合成枚数を算出する機能を有している。
【００７４】
以上のように構成された本実施の形態にかかる画像処理装置１０２の動作について説明する。
【００７５】
画像処理装置１０２において，制御部１１０，画像解凍部１２０，および録画部１９０の各動作については，上述の第１の実施の形態にかかる画像処理装置１００と同様である。
【００７６】
画像表示部１３０は，カメラ１０から送られて来る撮影フレームを画像処理装置１０２に内蔵されたまたは外部接続されたディスプレイ装置の画面に表示する。図７は，このディスプレイ装置の全体画面領域Ｂ１００を示している。一般に表示画面のサイズはネットワークカメラなどで撮影される撮影フレームの画像サイズより大きい。したがって，画像表示部１３０は，全体画面領域Ｂ１００の中の第１サブ領域Ｂ１１０に撮影フレームを等倍で表示することが可能である。
【００７７】
ユーザは，第１サブ領域Ｂ１１０に表示されている画像（撮影フレーム）を見ながら，所定の対象（例えば，不審人物や不審車などの動体）を監視することができる。しかし，撮影フレームのサイズが小さい（画像が粗い）場合，監視対象を確実に視認できなくなるおそれがある。この点，本実施の形態にかかる画像処理装置１０２によれば，全体画面領域Ｂ１００の中に高精細画像を表示するための第２サブ領域Ｂ１２０が確保される。ユーザは，第２サブ領域Ｂ１２０の中に高精細画像表示領域Ｂ１２１を指定することができる。そして，第１サブ領域Ｂ１１０に表示されている画像の中の動体とその周辺部は，高精細画像表示領域Ｂ１２１に拡大表示される。
【００７８】
例えばユーザは，画像処理装置１０２に接続されているマウス（図示せず）を用いて，拡大高精細画像を表示させる画像領域を第２サブ領域Ｂ１２０の中に画定する。この画定情報は表示領域指定部１６０に入力される。表示領域指定部１６０は，この画定情報に基づいて，ユーザが画定した画像領域を高精細画像表示領域Ｂ１２１に指定する。そして，表示領域指定部１６０は，この高精細画像表示領域Ｂ１２１のサイズとその位置に関する情報（以下，「サイズ・位置情報」という）を制御部１１０に送信する。以下，高精細画像表示領域Ｂ１２１は矩形である場合に即して本実施の形態について説明する。
【００７９】
表示領域指定部１６０は，高精細画像表示領域Ｂ１２１の位置をその左上隅の座標で定義する。ここで用いられる座標系の原点は，例えば第２サブ領域Ｂ１２０の左上隅とされる。また，表示領域指定部１６０は，高精細画像表示領域Ｂ１２１のサイズを縦方向と横方向の各画素数で定義する。
【００８０】
制御部１１０は，カメラ１０から受信した撮影フレームとともに，表示領域指定部１６０から取得したサイズ・位置情報を高精細画像作成部２０２に送信する。
【００８１】
高精細画像作成部２０２は，第１の実施の形態にかかる高精細画像作成部２００と同様に，超解像処理技術を用いて高精細画像を作成する。ただし，主に次の二つの点において，両者の動作が異なる。
【００８２】
第１に，注目画像の特定に関する動作が異なる。第１の実施の形態によれば，撮影フレーム中の注目領域はユーザによって指定される。これに対して，本実施の形態によれば，画像処理装置１０２が撮影フレーム中の動体を自動検出して，この物体を含む領域を注目領域に指定する。そして，この注目領域の画像が高解像度化され拡大表示される。
【００８３】
第２に，注目領域の画像を拡大する際の倍率の指定に関する動作が異なる。第１の実施の形態によれば，この拡大倍率はユーザによって調整される。これに対して，本実施の形態によれば，画像処理装置１０２が注目領域のサイズと高精細画像表示領域Ｂ１２１のサイズを比較して拡大倍率を決定する。
【００８４】
以下，高精細画像作成部２０２による画像処理の内容を詳細に説明する。
【００８５】
まず，高精細画像作成部２０２において，画像格納部２１２は，内蔵するバッファに，カメラ１０から連続的に送られて来る撮影フレーム（Ｆ０，Ｆ１，Ｆ２，……，Ｆｎ）を順次格納する。このバッファには十分な容量が割り当てられているが，もし容量が足りなくなった場合は最も古い撮影フレームを消去するものとする。
【００８６】
次に，画像変化量検出部２４０は，画像格納部２１０から撮影フレーム（Ｆ０）と撮影フレーム（Ｆ１）を受け取る。そして，画像変化量検出部２４０は，撮影フレーム（Ｆ１）内の全ての画素について，撮影フレーム（Ｆ０）内の対応する画素との変化量を算出し，求めた全ての画素の変化量を「Ｆ０−Ｆ１撮影フレーム間変化量」と定義する。画像変化量検出部２４０は，このＦ０−Ｆ１撮影フレーム間変化量を注目領域設定部２７０に送る。
【００８７】
注目領域設定部２７０は，画像変化量検出部２４０から取得したＦ０−Ｆ１撮影フレーム間変化量に基づいて，第１サブ領域Ｂ１１０に表示されている画像の中から動体を検出し，この動体が完全に含まれる最小の大きさの領域を注目領域に設定する。このとき，注目領域設定部２７０は，制御部１１０から高精細画像表示領域Ｂ１２１のサイズ・位置情報を取得し，注目領域と高精細画像表示領域Ｂ１２１の形状が相似となるように（縦横の比率が同じ矩形となるように）注目領域のサイズを調整する。
【００８８】
ところで，第１サブ領域Ｂ１１０に表示されている画像の中から動体を検出するためには，各画素の変化量を参照することが好ましい。つまり，変化量が“０”でない画素は動体の画像の一部を構成している判断できる。
【００８９】
ここで，注目領域設定部２７０による注目領域の設定動作について，図８を参照しながら具体的に説明する。
【００９０】
撮影フレーム（Ｆ０）と撮影フレーム（Ｆ１）に歩行者（動体）Ｐが含まれている場合，注目領域設定部２７０は，歩行者Ｐの全体を含む最小の矩形領域を動体領域Ｃ１００に設定する。上で説明したように，歩行者Ｐに対応する画素の変化量は“０”以外であり，歩行者Ｐの背景に対応する画素の変化量は“０”である。注目領域設定部２７０は，各画素の変化量に基づいて動体領域Ｃ１００を確実に抽出することができる。
【００９１】
次に，注目領域設定部２７０は，動体領域Ｃ１００が完全に含まれる最小の大きさの領域を注目領域Ｃ２００に設定する。ただし，注目領域設定部２７０は，注目領域Ｃ２００と高精細画像表示領域Ｂ１２１の形状が相似となるように（縦横の比率が同じ矩形となるように）注目領域Ｃ２００のサイズを調整する。さらに，注目領域設定部２７０は，注目領域Ｃ２００と高精細画像表示領域Ｂ１２１のサイズ（例えば，縦方向の画素数，または，横方向の画素数）を比較して，注目領域Ｃ２００の画像の拡大倍率を決定する。
【００９２】
注目領域設定部２７０は，設定した注目領域Ｃ２００のサイズ情報を合成枚数算出部２２２に送る。
【００９３】
合成枚数算出部２２２は，第１の実施の形態と同様に，注目領域Ｃ２００のサイズとプロセッサの能力に基づいて，リアルタイムに超解像処理可能な画像の合成枚数を算出する。
【００９４】
画像合成部２５０は，注目領域設定部２７０によって設定された注目領域Ｃ２００の画像の拡大倍率，および，合成枚数算出部２２２によって算出された画像の合成枚数に基づいて，第１の実施の形態と同様に，注目領域Ｃ２００の画像を拡大して高精細画像を作成し，これを制御部１１０に送る。
【００９５】
画像表示部１３０は，制御部１１０から高精細画像を受け取り，図７に示したように，高精細画像表示領域Ｂ１２１に動体の高精細画像を表示する。
【００９６】
以上のように，本実施の形態によれば，第１の実施の形態と同様の効果が得られる。しかも，本実施の形態によれば，撮影フレームに含まれる動体を，ユーザが所望する領域（高精細画像表示領域Ｂ１２１）に自動的に拡大表示できる。
【００９７】
〈第４の実施の形態〉
図９は，本発明の第４の実施の形態にかかる画像処理装置１０３の構成を概略的に示すブロック図である。
【００９８】
この画像処理装置１０３は，第１の実施の形態にかかる画像処理装置１００に対して，注目領域指定部１４０が省略され，高精細画像作成部２００が高精細画像作成部２０３に置き換えられた構成を有している。すなわち，画像処理装置１０３は，制御部１１０，画像解凍部１２０，画像表示部１３０，倍率指定部１５０，録画部１９０，および高精細画像作成部２０３から構成されている。
【００９９】
高精細画像作成部２０３は，第１の実施の形態にかかる高精細画像作成部２００に対して，注目領域抽出部２８０が追加された構成を有している。すなわち，高精細画像作成部２０３は，複数の撮影フレームに基づいて高精細画像を作成する機能を有しており，画像格納部２１０，合成枚数算出部２２０，画像変化量検出部２４０，画像合成部２５０，および注目領域抽出部２８０から構成されている。
【０１００】
注目領域抽出部２８０は，撮影フレームの中から注目領域を抽出する機能を有している。
【０１０１】
以上のように構成された本実施の形態にかかる画像処理装置１０３の動作について説明する。
【０１０２】
画像処理装置１０３において，制御部１１０，画像解凍部１２０，倍率指定部１５０，録画部１９０，画像格納部２１０，合成枚数算出部２２０，画像変化量検出部２４０，および画像合成部２５０の各動作については，上述の第１の実施の形態にかかる画像処理装置１００と同様である。
【０１０３】
カメラ１５は監視対象に向けてセットされており，現地の動画映像を逐次ネットワーク２０を通じてリアルタイムに画像処理装置１０３に送信する。このときカメラ１５は，データ転送速度を確保するために画像データを圧縮してストリーム送信する。また，カメラ１５は，光学ズーム機能を備えており，画像処理装置１０３からのズーム指示および拡大倍率指定に応じて光学ズーム動作を行う。
【０１０４】
画像表示部１３０は，撮影フレームを画像処理装置１０３に内蔵されたまたは外部接続されたディスプレイ装置（図示せず）の画面に表示する。図１０は，このディスプレイ装置の全体画面領域Ｄ１００を示している。この全体画面領域Ｄ１００には，第１サブ領域Ｄ１１０と第２サブ領域Ｄ１２０が確保されている。撮影フレームのサイズは，第１サブ領域Ｄ１１０のサイズに合わせて調整されている。また，第２サブ領域Ｄ１２０にはスライダＳが表示されている。
【０１０５】
ユーザは，第２サブ領域Ｄ１２０に表示されるスライダＳを用いて，撮影フレームを第１サブ領域Ｄ１１０に表示させる際の拡大倍率を調整することが可能である。このように第２サブ領域Ｄ１２０に表示されるスライダＳは，一般的なビデオカメラに搭載されているズーム用のスライドスイッチと同様に機能する。倍率指定部１５０は，ユーザによって調整された撮影フレームの拡大倍率を制御部１１０に通知する。本実施の形態では，倍率を１倍からｎ倍まで１０分の１単位で調整できるものとする。なお，ユーザが倍率を調整しない場合，倍率指定部１５０は，予め設定されているデフォルト倍率（例えば，１倍）を制御部１１０に通知する。
【０１０６】
ここで，第２サブ領域Ｄ１２０に表示されるスライダＳの位置と第１サブ領域Ｄ１１０に表示される撮影フレームの拡大倍率との関係について説明する。
【０１０７】
図１０に示すように，スライダＳが左端にあるときには，拡大倍率は“１（デフォルト）”に調整される。スライダＳが左端から中央の範囲に調整された場合，撮影フレームは，カメラ１０が備える光学ズーム機能によって拡大される。このときの倍率は，スライダＳの位置に応じて変化する。図１１に示すように，スライダＳの位置が中央に達したとき，撮影フレームはカメラ１０が備える光学ズーム機能によって最大限に拡大される。
【０１０８】
スライダＳが中央から右端の範囲に調整された場合，高精細画像作成部２０３が撮影フレームに対して超解像処理を施し拡大高精細画像を作成する。そしてこの拡大高精細画像が第１サブ領域Ｄ１１０に表示され，また録画部１９０によって録画される。
【０１０９】
以下，カメラ１５が備える光学ズーム機能による撮影フレームの拡大処理と，高精細画像作成部２０３による撮影フレームの超解像処理についてより詳細に説明する。
【０１１０】
上述のように，倍率指定部１５０は，ユーザによって調整された倍率を制御部１１０に通知する。このときスライダＳの位置が左端から中央の範囲であれば，制御部１１０は，倍率指定部１５０から得た倍率指定情報を，ネットワーク２０を介してカメラ１５に与える。カメラ１５は，倍率指定情報に従って光学ズーム機能を動作させる。これによって，撮影フレームの中心付近の画像がディスプレイ装置の画面の第１サブ領域Ｄ１１０に拡大表示される。
【０１１１】
スライダＳの位置が中央（図１１参照）より右になったとき，制御部１１０は，撮影フレームと倍率指定部１５０から得た倍率指定情報を高精細画像作成部２０３に送る。このとき高精細画像作成部２０３に送られる撮影フレームは，カメラ１５の光学ズーム機能によって最大限に拡大されて撮影されている。以下，カメラ１５が備える光学ズーム機能によって最大限に拡大された撮影フレームをさらにｍ倍に拡大する場合に即して本実施の形態を説明する。なお，ここでの「ｍ倍拡大」とは，画像の縦横それぞれをｍ倍に伸張させることを意味する。
【０１１２】
高精細画像作成部２０３において，まず，注目領域抽出部２８０は，倍率指定情報（ｍ倍拡大）に基づいて，撮影フレームの中から注目領域を抽出する。例えば，注目領域抽出部２８０は，図１２に示すように，幅，高さ共に撮影フレームＥ１００のｍ分の１である矩形領域を設定し，この矩形領域の中心を撮影フレームＥ１００の中心に一致させる。注目領域抽出部２８０は，この矩形領域を撮影フレームＥ１００の注目領域Ｅ２００として確定する。
【０１１３】
合成枚数算出部２２０は，注目領域抽出部２８０から注目領域Ｅ２００のサイズを受け取り，超解像処理に利用する画像の数すなわち合成枚数を決定する。また，画像格納部２１０は，内蔵するバッファに，カメラ１５から連続的に送られて来る撮影フレームに含まれる注目領域Ｅ２００の画像（注目画像）を順次格納する。そして，画像変化量検出部２４０と画像合成部２５０が第１の実施の形態と同様に動作し，高精細画像が制御部１１０に送られる。
【０１１４】
画像表示部１３０は，制御部１１０から高精細画像を受け取り，図１３に示すように，これをディスプレイ装置の画面の第１サブ領域Ｄ１１０に表示する。
【０１１５】
以上のように本実施の形態によれば，カメラ１５が有する光学ズーム機能に，超解像処理による高精細画像作成機能が組み合わせられる。この結果，カメラ１５が有する光学ズーム機能以上の高い倍率で監視対象を表示し，録画することができ，監視対象の視認性がより高められる。
【０１１６】
〈第５の実施の形態〉
図１４は，本発明の第５の実施の形態にかかるカメラ装置３００の構成を概略的に示すブロック図である。
【０１１７】
このカメラ装置３００は，センサ部３１０，ズーム部３２０，および第４の実施の形態にかかる画像処理装置１０３から構成されている。なお，撮影フレームはカメラ装置３００の内部において帯域の広い回路を経由して画像処理装置１０３に伝送されるため，撮影フレームに対する圧縮処理は省略可能である。この場合，画像処理装置１０３に画像解凍部１２０を備える必要はない。
【０１１８】
センサ部３１０は，外部から光信号を取り込み，これを電気信号（デジタルデータ）に変換する光電変換機能を有している。ズーム部１８０は，カメラ装置３００が備える光学機構（図示せず）のズーム動作を制御する機能部である。
【０１１９】
以上のように構成された本実施の形態にかかるカメラ装置３００の動作について説明する。
【０１２０】
センサ部１７０の光電変換動作によって撮影フレームが生成される。そして，この撮影フレームは制御部１１０を経由して画像表示部１３０に送られる。
【０１２１】
画像表示部１３０は，カメラ装置３００に搭載されている液晶ファインダ（図示せず）に撮影フレームを表示する。また，画像表示部１３０は，高精細画像作成部２０３から高精細画像が送られてきた場合には，当該高精細画像を液晶ファインダに表示する。
【０１２２】
倍率指定部１５０は，カメラ装置３００に搭載されている例えばスライドスイッチの動作に応じて，撮影フレームの拡大倍率を指定する。ズーム部３２０は，倍率指定部１５０が指定した倍率に従って，カメラ装置３００が備える光学機構のズーム動作を制御する。ただし，倍率指定部１５０が指定した倍率が光学ズームの限界値を超えている場合には，ズーム部３２０は，光学ズームが最大となる状態を維持するように光学機構を制御する。
【０１２３】
そして，高精細画像作成部２０３は，倍率指定部１５０が指定した倍率が光学ズームの限界値を超えている場合には，上述の第４の実施の形態と同様に超解像処理による拡大高精細化画像の作成動作を実行する。
【０１２４】
以上のように，本実施の形態によれば，カメラ装置３００に超解像処理が可能な画像処理装置１０３が組み込まれているため，光学ズームが低倍率であったとしても，撮影フレームを高いズーム倍率に拡大することができる。しかも，本実施の形態においては，単なるデジタルズームではなく，超解像処理によって撮影フレームが拡大されるため，これによって得られる画像は極めて高い精細度を有することになる。
【０１２５】
以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２６】
例えば，画像処理装置１００〜１０３をソフトウェアによって構成することも可能である。
【産業上の利用可能性】
【０１２７】
本発明は，例えばカメラ監視システムに適用可能である。
【図面の簡単な説明】
【０１２８】
【図１】本発明の第１の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図２】図１の画像処理装置が備えるディスプレイ装置の全体画面領域を示す説明図である。
【図３】図１の画像処理装置が備える画像変化量検出部の動作説明図である。
【図４】図１の画像処理装置が備える画像合成部の動作説明図である。
【図５】本発明の第２の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図６】本発明の第３の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図７】図６の画像処理装置が備えるディスプレイ装置の全体画面領域を示す説明図である。
【図８】図６の画像処理装置が備える注目領域設定部の動作説明図である。
【図９】本発明の第４の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図１０】図９の画像処理装置が備えるディスプレイ装置の全体画面領域を示す説明図（その１）である。
【図１１】図９の画像処理装置が備えるディスプレイ装置の全体画面領域を示す説明図（その２）である。
【図１２】図９の画像処理装置が備える注目領域抽出部の動作説明図である。
【図１３】図９の画像処理装置が備えるディスプレイ装置の全体画面領域を示す説明図（その３）である。
【図１４】本発明の第５の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【符号の説明】
【０１２９】
１０，１５      カメラ
２０      ネットワーク
１００〜１０３      画像処理装置
１１０      制御部
１２０      画像解凍部
１３０      画像表示部
１４０      注目領域指定部
１５０      倍率指定部
１６０      表示領域指定部
１９０      録画部
２００      高精細画像作成部
２１０，２１２      画像格納部
２２０，２２２      合成枚数算出部
２４０      画像変化量検出部
２５０      画像合成部
２６０      被合成画像判定部
２７０      注目領域設定部
２８０      注目領域抽出部
３００      カメラ装置
３１０      センサ部
３２０      ズーム部
【図１】
2006092450.tif 000003
【図２】
2006092450.tif 000004
【図３】
2006092450.tif 000005
【図４】
2006092450.tif 000006
【図５】
2006092450.tif 000007
【図６】
2006092450.tif 000008
【図７】
2006092450.tif 000009
【図８】
2006092450.tif 000010
【図９】
2006092450.tif 000011
【図１０】
2006092450.tif 000012
【図１１】
2006092450.tif 000013
【図１２】
2006092450.tif 000014
【図１３】
2006092450.tif 000015
【図１４】
2006092450.tif 000016