(57)【要約】【課題】  暗部を明るく補正する覆い焼き処理は、撮像部によって得た画像中に含まれるノイズ成分を目立たせてしまう場合がある。【解決手段】  グレイ画像作成部302は画像の輝度成分Yを抽出し、ぼけ画像作成部303は輝度成分Yに基づきぼけ画像Lを作成し、補正係数算出部304はぼけ画像Lに応じて画像の明暗差を補正する補正係数gを算出し、補正部305は補正係数gに応じて覆い焼き処理を行い、ノイズ除去部203は補正係数gに応じて画像にノイズ除去を施す。【選択図】  図4
2006065676.tif 000002
【特許請求の範囲】
【請求項１】
画像の輝度成分を抽出する抽出手段と、
前記輝度成分に基づきぼけ画像を作成する作成手段と、
前記ぼけ画像に応じて前記画像の明暗差を補正する補正手段と、
前記明暗差の補正量に応じて、前記補正された画像にノイズ除去を施す除去手段とを有することを特徴とする画像処理装置。
【請求項２】
前記除去手段は、画素ごとに、前記補正量に応じて前記ノイズ除去の寄与率を変更することを特徴とする請求項1に記載された画像処理装置。
【請求項３】
前記除去手段は、前記補正量が所定量を超える場合に前記ノイズ除去を有効にし、前記所定量未満の場合は前記ノイズ除去を無効にすることを特徴とする請求項1に記載された画像処理装置。
【請求項４】
前記除去手段はメディアンフィルタまたはローパスフィルタであることを特徴とする請求項1から請求項3の何れかに記載された画像処理装置。
【請求項５】
さらに、前記ノイズ除去後の画像を映像としてモニタに表示する表示手段を有することを特徴とする請求項1から請求項4の何れかに記載された画像処理装置。
【請求項６】
さらに、画像を撮影する撮影手段を有することを特徴とする請求項1から請求項4の何れかに記載された画像処理装置。
【請求項７】
さらに、前記撮影手段の画角を制御する制御手段を有することを特徴とする請求項6に記載された画像処理装置。
【請求項８】
前記除去手段は、前記画角の制御中は前記ノイズ除去を無効にすることを特徴とする請求項7に記載された画像処理装置。
【請求項９】
画像の輝度成分を抽出し、
前記輝度成分に基づきぼけ画像を作成し、
前記ぼけ画像に応じて前記画像を補正し、
前記補正された画像に対して、ノイズ除去処理を行うことを特徴とする画像処理方法。
【請求項１０】
画像の輝度成分に基づく補正を行う補正工程と、
前記補正された画像に対してノイズ除去処理を行うノイズ除去処理工程とを有し、
前記画像の輝度成分に基づき作成されるぼけ画像に基づき、前記補正工程の補正条件および前記ノイズ除去処理工程の処理条件を制御することを特徴とする画像処理方法。
【請求項１１】
前記画像は動画像のフレーム画像であり、前記ノイズ除去処理は、処理対象のフレーム画像を含む複数のフレーム画像を用いて行うことを特徴とする請求項9または請求項10に記載された画像処理方法。
【請求項１２】
画像処理装置を制御して、請求項9から請求項11の何れかに記載された画像処理を実現することを特徴とするプログラム。
【請求項１３】
請求項12に記載されたプログラムが記録されたことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその方法に関し、例えば、画像の明暗差を補正する画像処理に関する。
【背景技術】
【０００２】
同一画角内に、極めて明るい被写体と暗い被写体が同時に存在する場合、両者を明瞭に動画撮影することができるダイナミックレンジの広いカメラ、いわゆるワイドダイナミックレンジカメラが注目されている。
【０００３】
一方、静止画の分野においても、銀塩写真の場合は暗室内で行われる覆い焼き処理に対応するディジタル画像処理により、明暗差のある被写体、とくに逆光の被写体を補正する技術がある。例えば、Jobson 他「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」（IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997）は、ディジタル画像を対数変換した成分と、その対数変換成分の低周波成分の差分処理を行うことで、ディジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るく処理して、画像を改善しようとするものである。
【０００４】
また、Reinhard 他「Photographic Tone Reproduction for Digital Images」（acm Transactions on Graphics, JULY 2002, Vol. 21, No. 3）においても、ディジタル画像の輝度成分とその低周波成分を用いることにより、ディジタル画像処理において覆い焼きのような効果を得る方法が提案されている。
【０００５】
また、近年カメラをネットワークに接続して、専用または汎用ビューワを用いて遠隔地の映像を観る、いわゆるネットワークカメラが注目されている（特開平10-040185号公報）。このようなネットワークカメラに覆い焼き処理を適用すれば、ワイドダイナミックレンジカメラと同様の効果を与えることができる。
【０００６】
しかし、静止画における覆い焼き処理は、暗部を明るく補正する処理であるから、電荷結合素子(CCD)などで構成される撮像部によって得た画像中に含まれるノイズ成分を目立たせてしまう場合があり、暗部を明るくする補正量が多くなればなるほど、画像中の暗部に埋もれていたノイズ成分を目立たせる。従って、覆い焼き処理を監視カメラやネットワークカメラをはじめとする動画カメラで撮影した動画像に適用すれば、覆い焼きによって目立つようになったノイズに、さらに時間的な揺らぎが加わってフレームごとにちらつくノイズとなり、非常に目立つランダムノイズとして観察される。
【０００７】
将来、撮像部の性能が向上してノイズがほとんどなくなれば、こうした問題が解消されることもあり得るが、現時点では、埋もれている潜在ノイズが存在するため、覆い焼き処理によってノイズが目立つ場合が多い。
【０００８】
【特許文献１】特開平10040185号公報
【非特許文献１】Jobson 他「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」（IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997）
【非特許文献２】Reinhard 他「Photographic Tone Reproduction for Digital Images」（acm Transactions on Graphics, JULY 2002, Vol. 21, No. 3）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上述の問題を個々にまたはまとめて解決するもので、ネットワークカメラ等で撮影した明暗差の大きな画像の明暗差を補正することを目的とする。さらに、明暗差の補正において、ノイズを低減した見易い画像にすることも目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１１】
本発明は、画像の輝度成分を抽出し、輝度成分に基づきぼけ画像を作成し、ぼけ画像に応じて画像の明暗差を補正し、明暗差の補正量に応じて、補正した画像にノイズ除去を施すことを特徴とする。
【００１２】
また、画像の輝度成分を抽出し、輝度成分に基づきぼけ画像を作成し、ぼけ画像に応じて画像を補正し、補正された画像に対して、ノイズ除去処理を行うことを特徴とする。
【００１３】
また、画像の輝度成分に基づく補正を行う補正工程と、補正された画像に対してノイズ除去処理を行うノイズ除去処理工程とを有し、画像の輝度成分に基づき作成されるぼけ画像に基づき、補正工程の補正条件およびノイズ除去処理工程の処理条件を制御することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、明暗差の大きな画像の明暗差を補正するとともに、ノイズを低減した見易い画像にすることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明にかかる実施形態の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００１６】
［概要］
実施例1では、画像処理にノイズ低減処理を含む覆い焼き処理を組み込んだ監視カメラやネットワークカメラなどの動画撮影用のカメラを説明する。
【００１７】
詳細は後述するが、このノイズ除去を含む覆い焼き処理によって、フレーム内の明部と暗部の輝度差（明暗差）が大きい画像に対してノイズを低減しつつ、明暗差を低減して、みやすい動画像を得ることができる。その際、明暗差の補正量に応じたノイズ除去により、ノイズ除去が必要な画像部分のみをフィルタ処理することになり、ノイズ除去が不要な画像部分においてはノイズ除去処理による画質劣化（例えば被写体画像のエッジの鈍りなど）を避けることができる。勿論、必要な画像部分のみのノイズ除去処理により、カメラの画像処理部に加わる負荷を軽減することもできる。
【００１８】
このように、カメラの画像処理部においてノイズ除去を含む覆い焼き処理を動画像に施すことで、ワイドダイナミックレンジカメラと同様の効果をもつ動画撮影用のカメラを構成することが可能になる。
【００１９】
［システム構成］
図1は実施例1のカメラが接続されるネットワークカメラシステムの構成例を示すブロック図である。
【００２０】
カメラ11は、インターネットやローカルエリアネットワーク(LAN)のようなネットワーク14を介して端末装置12および13に接続されている。カメラ11は、端末装置12または13の要求に応じて、ネットワーク14を通じて、撮影した映像を端末装置12または13（あるいは指定のネットワークアドレス）に配信する。端末装置12または13は、カメラ11から配信される映像をモニタに表示することで、カメラ11で撮影された映像をほぼリアルタイムに再現する。また、端末装置12または13は、カメラ制御要求をネットワーク14を介してカメラ11に送ることでパン、チルト、ズームなどのカメラ制御が可能である。
【００２１】
カメラ11にはネットワーク14を介して複数台の端末装置（図1に示す二台以外にも）を接続可能で、複数の端末装置が同時にカメラ11にアクセスして映像の配信を受けることができる。なお、複数台の端末装置がある場合、カメラ11は、特定の端末装置のカメラ制御要求を受け付ける。あるいは、複数台の端末装置からのカメラ制御要求を同時に受け付けることはなく、端末装置の何れかが最初に発行したカメラ制御要求を受け付け、その端末装置からのカメラ制御が継続する期間は、他の端末装置のカメラ制御要求を受け付けない。そして、一台の端末装置からの継続的なカメラ制御が途絶え、所定期間が経過すると、再び、端末装置の何れかが最初に発行したカメラ制御要求を受け付ける。
【００２２】
また、ネットワーク14に接続可能な本実施例を構成するカメラは一台に限らず、複数台のカメラを接続することができる。そして、複数台のカメラおよび複数台の端末装置がネットワーク14を介して接続されたネットワークカメラシステムの場合、カメラと端末装置の組み合わせ（つまり、映像を配信するカメラと配信を受ける端末装置の組み合わせ、カメラとカメラ制御を行う端末装置の組み合わせなど）はネットワークアドレスの指定により自由に設定可能である。
【００２３】
また、ネットワーク14は、後述するデータ圧縮した映像データおよびカメラ制御データを通すのに充分な帯域があるディジタルネットワークであればとくに制限はないが、以下の説明では、ネットワーク14はTCP/IPパケットを伝送可能なネットワークとし、ネットワークアドレスとしてIPアドレスを用いることにする。従って、カメラ、端末装置、後述する映像記録装置にはそれぞれ異なるIPアドレスが割り当てられている。
【００２４】
図2はカメラ11および端末装置12（または13）の詳細な構成例を示すブロック図である。
【００２５】
カメラ11において、撮像部201は、レンズ、絞り、CCD、自動露光(AE)制御部、フレームメモリ201aなどを有し、撮像した映像をディジタル映像信号として出力する。覆い焼き処理部202は、映像信号に覆い焼き処理に相当する画像処理を施す。ノイズ除去部203は覆い焼き処理された映像信号にノイズ除去処理を施す。覆い焼き処理およびノイズ除去処理が不要な場合、スイッチ209により、映像信号は覆い焼き処理部202およびノイズ除去部203をバイパスする。
【００２６】
映像圧縮部204は、映像信号をJPEG (Joint Photographic Image Coding Experts Group)、MPEG (Moving Picture Image Coding Experts Group)、H.264などのロッシー圧縮方式でデータ圧縮する。通信制御部205は、ネットワーク14とインタフェイスして、端末装置12へ圧縮された映像信号を配信したり、端末装置12からカメラ制御要求を受信する。
【００２７】
制御部207は、スイッチ209を制御するとともに、通信制御部205から受信したカメラ制御要求に基づき、雲台部206を制御して撮像部201のパンおよびチルト角度を調整し、撮影部201のレンズを制御してズーム倍率を調整する。
【００２８】
また、端末装置12（または13）の通信制御部211は、ネットワーク14を介して配信される映像信号を受信する。伸長部212は、受信された映像信号を必要に応じて伸長し、表示部213は、伸長された映像をモニタに表示する。また、操作部214は、ユーザが指定するカメラから配信される映像を受信するように通信制御部211を制御する。
【００２９】
なお、このようなネットワーク14を介して配信される映像の受信、伸長および表示は、通常、専用または汎用のビューワプログラムをパーソナルコンピュータなどの端末装置のCPUが実行することで実現される。
【００３０】
［カメラの動作］
図3はカメラ11の動作を説明するフローチャートである。
【００３１】
まず、撮像部201によって1フレームの映像を取得し(S1)、スイッチ209が非バイパス側に設定されている覆い焼き処理がオンの状態においては(S2)、覆い焼き処理部202によって覆い焼き処理を実行し(S3)、フレーム中の暗い部分を明るく補正する。
【００３２】
次に、カメラ制御中でなければ(S4)、ノイズ除去部203により、明暗差の補正量に応じた時間ノイズフィルタ処理(S5)、空間ノイズフィルタ処理(S6)および画像合成処理(S7)をフレームに施し、映像圧縮部204により例えばMotion-JPEG圧縮し(S8)、通信制御部205により、圧縮したフレームを配信を要求する端末装置12などに送信する(S9)。以上の処理をフレームごとに繰り返して、映像を端末装置に配信する。
【００３３】
また、スイッチ209がバイパス側に設定されている覆い焼き処理がオフの状態においては(S2)、覆い焼き処理部202およびノイズ除去部203をバイパスして、フレームをMotion-JPEG圧縮し(S8)、送信する(S9)。また、カメラ制御中(S4)は、映像を表示した際にノイズが目立ち難いので、ノイズ除去部203をバイパスする。
【００３４】
なお、映像信号の圧縮方法は、Motion-JPEGに限らず、MPEG4やH.264などの圧縮形式でもよい。また、ネットワーク14が充分に広帯域、または、画面サイズやフレームレートが充分に小さい映像信号ならばロスレス圧縮するか、さらには、データ圧縮しなくてもよい場合がある。
【００３５】
覆い焼き処理が必要になるのは、逆光時や、同一画角内に日向の被写体と日陰の被写体があるなど、極めて明るい被写体と暗い被写体が同時に存在する場合である。従って、被写体の撮影状況によって、覆い焼き処理は必ずしも必要ない。従って、制御部207は、覆い焼き処理を通常はオフにするが、端末装置などから覆い焼き処理の要求があった場合や、撮像部201の自動露光制御部が検出した画角内の明暗差などに応じて、スイッチ209により覆い焼き処理をオンオフする。なお、以下の説明では、覆い焼き処理のオンオフ、および、後述する覆い焼き処理のパラメータは、端末装置から指示されるものとする。
【００３６】
また、制御部207は、撮像部201で得られるフレーム内の明暗差が所定値以上の場合に限り、自動的に、覆い焼き処理をオンにする構成にしてもよい。
【００３７】
［覆い焼き処理］
覆い焼き処理の基本は、フレーム内で大域的に暗い部分（輝度の低い部分）を明るくする補正処理である。従って、フレームの部位に応じて補正パラメータが異なるが、大域的に暗い部分は補正量を大きくし、明るい部分は補正量を小さくすればよい。大域的な明暗の判断にはぼけ画像を使用する。
【００３８】
図4は覆い焼き処理部202の構成例を示すブロック図である。
【００３９】
グレイ画像作成部302は、撮像部201から出力されるRGB形式、ビット深さは各色8ビットのフレーム301を入力し、入力フレーム301のRGB成分から輝度成分Yを計算してグレイスケール画像を作成する。輝度成分Yの計算方法は、RGBからYCbCrへの変換式、RGBからHSVへの変換式など各種あるが、それらに拘る必要はなく、何れかの方法で輝度成分Yを求めればよい。そして、輝度成分Yの集合であるグレイスケール画像Y(x, y)を作成する。ただし、(x, y)は画素位置を表し、入力フレーム301のサイズをN×M画素とすると1≦x≦N、1≦y≦Mになる。
【００４０】
図5はぼけ画像作成部303の構成例を示すブロック図である。
【００４１】
ぼけ画像作成部303は、グレイ画像Y(x, y)を入力し、縮小部314（縮小率1/Nr1）および縮小部317（縮小率1/Nr2）で縮小したグレイ画像、および、非縮小グレイ画像をガウシアンフィルタなどのローパスフィルタ(LFP)312、315、318でフィルタ処理する。そして、縮小画像を拡大部316（拡大率Nr1）および拡大部319（拡大率Nr2）で拡大した縮小拡大画像、および、非縮小拡大画像を加重平均合成部313で合成して複数の低周波成分を加重平均した画像を得る。低周波成分の加重平均画像は、ある程度大局的な、ぼけ画像L(x, y)である。式(1)はぼけ画像を示す式である。
L(x, y) = ΣnWnMn[Fn(x, y)＊Rn{Y(x,y)}]    …(1)
ここで、nは異なるサイズの画像の数（図5では3）
Wnは重み
Mnは拡大率（図5では1、Nr1、Nr2）
Fnはローパスフィルタの特性
Rnは縮小率（図5では1、1/Nr1、1/Nr2）
＊は積和演算を示す
【００４２】
なお、ローパスフィルタのフィルタサイズは、所望するぼけ具合に応じて、式(1)に示すnごとに適切なサイズを選択すればよい。なお、ぼけ画像の作成方法は、上記に限らず、覆い焼きマスクとして使える、大局的な明暗を示すグレイ画像が作成できればよい。また、ぼけ画像L(x, y)は、入力フレーム301と同一のサイズ（N×M画素）、ビット深さ（8ビット）にする。
【００４３】
補正係数算出部304は、ぼけ画像L(x, y)を入力して、式(2)により補正係数g(x, y)を算出する。なお、暗い部分（輝度が低い部分）ほど、Lは小さくなり、補正係数gは大きくなる。
g(x, y) = 1/L(x, y)      …(2)
【００４４】
補正部305は、式(3)に示すように、入力フレーム301の各色成分に補正係数gを掛け、補正パラメータをべき乗する補正処理を行う。
Ir'(x, y) = g(x, y)×Ir(x, y)-p
Ig'(x, y) = g(x, y)×Ig(x, y)-p      …(3)
Ib'(x, y) = g(x, y)×Ib(x, y)-p
ここで、Ir(x, y)、Ig(x, y)、Ib(x, y)は入力フレーム301の画画素のRGB成分
Ir'(x, y)、Ig'(x, y)、Ib'(x, y)は出力フレーム308の各画素のRGB成分
pは補正量の強さを決定する補正パラメータ（p≧1.0）
【００４５】
式(3)に示すように、補正パラメータpが大きいほど補正量は大きくなる。式(3)の演算を高速化するために、LUT作成部307は、補正パラメータpが与えられると図6に示すような変換特性のルックアップテーブル(LUT)を作成し、作成したテーブルを補正部305に設定する。なお、図6に示すLUTは、入力フレーム301の各画素の色成分Ir、IgまたはIb（8ビット）と、補正係数g（8ビット）を結合した16ビットのデータIinを入力して、8ビットのデータIout（出力フレーム308の各色成分に対応する）を出力する。
【００４６】
上記では、入力フレーム301がRGB形式であると説明したが、これに限らず、YCbCrやHSV形式などの他の形式であってもよい。その場合、YまたはH信号を参照することで、グレイ画像作成部302は不要になり、補正部305の補正係数gの乗算および補正パラメータpのべき乗は、RGB形式の場合と同様である。また、補正パラメータpは、端末装置の利用者が適切と考える値をネットワーク14経由で指定するものとする。
【００４７】
［ノイズ除去処理］
図7および図8はノイズ除去部203の構成例を示すブロック図で、二通りの構成を説明するが、何れも、覆い焼き処理部202から入力される補正係数g(x, y)に応じて、画素ごとに、フィルタ処理の程度（寄与率）を決定する構成である。まず単純な図7の構成から説明する。
【００４８】
セレクタ402は、画素ごとに、補正係数g(x, y)と所定の閾値Gthを比較して、g＞Gthの画素、つまり補正係数が大きい画素はノイズが目立つ画像領域（暗部）に存在するのでフィルタ処理に送り、g≦Gthの画素はノイズが目立たない画像領域（明部）に存在するのでフィルタ処理をバイパスする。フィルタ処理を施された画素およびバイパスされた画素は合成器405で合成されてフレームが復元される。
【００４９】
時間ノイズフィルタ403は、撮像部201のフレームメモリ201aを参照して、注目画素ごとに、数フレーム分の画素値の加重平均値またはメディアン値（中央値）を出力する。式(4)はKフレーム分の加重平均をとる場合の出力画素値I'(t, x, y)を示す。
I'(t, x, y) = Σk=0k=K-1Wk×I(t-k, x, y)      …(4)
ここで、I(t, x, y)は現フレームtにおける注目画素の値
i(t-k, x, y)はフレームメモリに格納されたkフレーム前の注目画素の値
Wkはフレームに応じた重み
【００５０】
式(5)はKフレーム分のメディアン値をとる場合の出力画素値I'(t, x, y)を示す。
I'(t, x, y) = Med[I(t, x, y), I(t-1, x, y), …, I(t-K-1, x, y)]      …(5)
ここで、Med[ ]は引数を昇順に並べた場合の中央値を取る演算
【００５１】
空間ノイズフィルタ404は、フレームメモリ201aに保存された現フレームの注目画素および周辺画素（例えば3×3画素または5×5画素）の値を参照するメディアンフィルタやローパスフィルタである。
【００５２】
このように、フレームメモリ201aに保存されたフレームを参照することで、時間フィルタ処理および空間フィルタ処理が可能である。なお、空間ノイズフィルタ404を省略して時間ノイズフィルタ403だけの構成にしてもよいし、逆に、時間ノイズフィルタ403を省略して空間ノイズフィルタ404だけの構成にしてもよい。
【００５３】
次に、図8の構成について説明する。図8の構成は、補正係数g(x, y)に応じてフィルタ処理の重みを変えることで寄与率を調整する。具体的には、例えば図8に示すように重み付け部414および416でフィルタ処理した画像をh(G=g(x, y))を重み付けし、未処理の画像に1-h(G=g(x, y))を重み付けして、それらの加重平均をとる。この重みは、例えば式(6)に示す単純なリニア値にすればよい。
h(G) = g/gmax      …(6)
ここで、gmaxは補正係数g(x, y)の取り得る最大値
【００５４】
式(6)の重みを利用すれば、補正係数g(x, y)が大きいときはフィルタ処理した画像が支配的になり、補正係数g(x, y)が小さいときは未処理の画像が支配的になる。なお、補正係数g(x, y)に応じて重みを変える以外に、補正係数g(x, y)に応じてフィルタの強さを変えるようにしても構わない。すなわち、補正係数g(x ,y)が大きいときはフィルタを強く掛け、補正係数g(x, y)が小さいときはフィルタを弱く掛けるようにする。フィルタの強さの変更は、例えばガウシアンフィルタであれば、補正係数g(x, y)に応じてフィルタパラメータを全体的に1/p倍すればよい。なお、p(≧1.0)は、前述したように、補正量の強さを決定する補正パラメータである。
【００５５】
このように、ネットワークカメラシステムのカメラ11において、明暗差の大きな画像にノイズ除去を含む覆い焼き処理を施すことによって、ノイズを低減した見易い映像を提供することができ、ワイドダイナミックレンジカメラと同様の効果をもつカメラ11を構成することができる。また、補正量（上述した補正係数g(x, y)）に応じたノイズ除去処理を行うので、ノイズ成分の多いノイズ除去が必要な部分を重点的にフィルタ処理することになり、ノイズ除去が不要な部分はノイズ除去処理に起因する画質劣化を避けることができる。勿論、フレーム中の必要な部分だけのフィルタ処理により、カメラ11の処理負荷を軽減する効果もある。さらに、ノイズが目立ち難いカメラ制御中はノイズ除去しないので、この点でも、カメラ11の処理負荷を軽減することができる。
【実施例２】
【００５６】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５７】
実施例1ではカメラ11が覆い焼き処理を行う例を説明したが、実施例2では端末12、13で覆い焼き処理を行う例を説明する。
【００５８】
図9は実施例2のネットワークカメラシステムの構成例を示すブロック図である。
【００５９】
実施例1と同様の覆い焼き機能を有するカメラ11のほかに、覆い焼き機能のないカメラ62がネットワーク14に接続されている。そして、実施例1と同様の覆い焼き機能のない端末装置12（または13）のほかに、覆い焼き機能を有する端末装置64がネットワーク14に接続されている。なお、端末装置64において、操作部646が提供するユーザインタフェイスにより、その覆い焼き機能のオンオフが可能である、また、端末装置64が取得する画像の明暗差が所定値より大きな場合に自動的に覆い焼き機能がオンになるように設定することもできる。
【００６０】
図10は、覆い焼き機能を有する端末装置64が覆い焼き機能のないカメラ62に接続する場合の処理例を示すフローチャートである。
【００６１】
まず、受信部641によりカメラ62から映像を受信し(S21)、受信した映像が圧縮されている場合は伸長部642によりデータ伸長し(S22)、覆い焼き処理がオンか否かを判定し(S23)、覆い焼き処理がオフの場合は覆い焼き処理部643およびノイズ除去部644をバイパスして、表示部645によりモニタに映像を表示する(S29)。
【００６２】
一方、覆い焼き処理がオンの場合は覆い焼き処理部643により、上述した覆い焼き処理を行い(S24)、カメラ制御中か否かを判定し(S25)、制御中でなければノイズ除去部644により、上述した時間ノイズフィルタ処理(S26)および空間ノイズフィルタ処理(S27)を行う。もし、自装置（端末装置64）がカメラ制御中、あるいは、カメラ62から映像とともに受信したステータス情報がカメラ制御中を示す、または、フレームにカメラ制御中を示す情報がスーパインポーズされている場合などはノイズ除去部644をバイパスし、表示部645により、上述した画像合成処理を行い(S28)、画像合成処理後の映像をモニタに表示する(S29)。
【００６３】
なお、覆い焼き処理を行う際、上述したユーザインタフェイスによって設定された覆い焼きの強さを表す補正パラメータpを読み込み、図4において説明した補正パラメータpと同様に扱う。
【００６４】
ところで、端末装置64で覆い焼き処理を有効にし、例えばJPEGやMPEG系の圧縮が施された、データ圧縮率の高い映像の場合は、圧縮時に生じるブロック歪みによるノイズ（以下「ブロックノイズ」という）が暗部で強調される場合がある。ブロックノイズは、通常のランダムノイズと同様に扱うことができるので、ランダムノイズと同様に補正係数g(x, y)に応じてブロックノイズを軽減するためのフィルタを施すことができる。
【００６５】
また、ブロックノイズを軽減する他の方法として、覆い焼き機能を有する端末装置64から覆い焼き機能を有するカメラ11に接続した場合は、端末装置64の追い焼き機能をオフにして、カメラ11の覆い焼き機能を優先する方法がある。このためには、図10に示す処理を開始する前に、接続先のカメラが覆い焼き機能を有すか否かを接続ネゴシエーションのフェーズで確認し、覆い焼き機能を有するカメラの場合は、覆い焼き処理のオンオフに関係なく、覆い焼き処理部643およびノイズ除去部644をバイパスすればよい。
【００６６】
このように、覆い焼き機能がないカメラ62に対しては端末装置64で覆い焼き処理を施すことにより、通常のカメラ62の映像を、ワイドダイナミックレンジカメラと同等の映像として端末装置64において観察することができる。すなわち、明暗差の大きなフレームに対して、ノイズを低減した見易い映像を提供することができる。さらに、接続先のカメラが覆い焼き機能を有すれば、カメラの覆い焼き機能を優先することで、ブロックノイズが目立つのを防ぐことができる。
【００６７】
［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６８】
また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００６９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００７０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７１】
【図１】実施例1のカメラが接続されるネットワークカメラシステムの構成例を示すブロック図、
【図２】カメラおよび端末装置の詳細な構成例を示すブロック図、
【図３】カメラの動作を説明するフローチャート、
【図４】覆い焼き処理部の構成例を示すブロック図、
【図５】ぼけ画像作成部の構成例を示すブロック図、
【図６】LUT作成部が作成するルックアップテーブルを説明する図、
【図７】ノイズ除去部の構成例を示すブロック図、
【図８】ノイズ除去部の第二例を示すブロック図、
【図９】実施例2のネットワークカメラシステムの構成例を示すブロック図、
【図１０】覆い焼き機能を有する端末装置が覆い焼き機能のないカメラに接続する場合の処理例を示すフローチャートである。
【図１】
2006065676.tif 000003
【図２】
2006065676.tif 000004
【図３】
2006065676.tif 000005
【図４】
2006065676.tif 000006
【図５】
2006065676.tif 000007
【図６】
2006065676.tif 000008
【図７】
2006065676.tif 000009
【図８】
2006065676.tif 000010
【図９】
2006065676.tif 000011
【図１０】
2006065676.tif 000012