(57)【要約】【課題】低照度においても、画面全体にわたって画像の変化を精度よく検知する。【解決手段】信号処理部１０７は、撮像素子１０２より出力された画像データに対して増幅処理を実行する。画像変化検知系１０８は、信号処理部１０７より出力された画像データの輝度差から画像の変化を検知する。ここで、画像変化検知系１０８のために分岐して供給される画像データに対して増幅処理を実行し、表示系１０６のために分岐して供給される画像データに対しては増幅処理を実行しない。【選択図】図１
2012010093.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段より出力された画像データに対して増幅処理を実行する処理手段と、
前記処理手段より出力された画像データの輝度差に基づいて画像の変化を検知する検知手段と、
前記撮像手段より出力された画像データを前記検知手段と表示手段とに分岐して供給するための分岐手段とを有し、
前記処理手段は、前記分岐手段により前記検知手段に分岐して供給される画像データに対して増幅処理を実行し、前記表示手段に分岐して供給される画像データに対しては増幅処理を実行しないことを特徴とする撮像装置。
【請求項２】
前記処理手段は、画像データに対して増幅処理を実行した後、増幅処理後の画像データに対してノイズリダクションを実行することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理手段は、画像データに対して輝度差が強調されるようなガンマ補正を実行することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像手段より出力された画像データの輝度を算出する算出手段を更に有し、
前記処理手段は、前記算出手段により算出された輝度が所定の輝度範囲である場合、画像データに対する増幅処理における増幅量として当該輝度に応じた増幅量を決定することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記処理手段は、前記算出手段により算出された輝度が前記所定の輝度範囲より低い輝度である場合、画像データに対する増幅処理における増幅量として一定の増幅量を決定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記処理手段は、前記算出手段により算出された輝度が前記所定の輝度範囲より高い輝度である場合、画像データに対して増幅処理を実行しないことを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
前記処理手段は、前記検知手段がフレーム間差分によって画像の変化を検知する場合には、巡回フィルタに所定の最大値を設定することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記ガンマ補正は、画面全体の平均輝度を基準輝度とする所定の輝度範囲において出力に対する傾きが最大となるようなガンマ特性を有することを特徴とする請求項３に記載の撮像装置。
【請求項９】
撮像手段を有する撮像装置の制御方法であって、
前記撮像手段より出力された画像データに対して増幅処理を実行する処理ステップと、
前記処理ステップより出力された画像データの輝度差に基づいて画像の変化を検知する検知ステップとを含み、
前記処理ステップは、前記検知のために分岐して供給される画像データに対して増幅処理を実行し、表示のために分岐して供給される画像データに対しては増幅処理を実行しないことを特徴とする撮像装置の制御方法。
【請求項１０】
撮像手段を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記撮像手段より出力された画像データに対して増幅処理を実行する処理ステップと、
前記処理ステップより出力された画像データの輝度差に基づいて画像の変化を検知する検知ステップとをコンピュータに実行させ、
前記処理ステップは、前記検知のために分岐して供給される画像データに対して増幅処理を実行し、表示のために分岐して供給される画像データに対しては増幅処理を実行しないことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の変化を精度よく検知するための技術に関するものである。
【背景技術】
【０００２】
従来、監視目的で人の出入りを監視するため、或いは、被写体の動きを検知して撮影制御を変更する等のために画像変化検知技術が提案されている。画像変化検知技術は、主として、フレーム間差分方式と背景差分方式とが知られている。フレーム間差分方式は、時間的に隣り合った二つの画像同士を比較し、輝度の差分をとる。その輝度の差分が一定値以上となった時に被写体に変化があったことを検知する方法である。一方で、背景差分方式は、予め背景を記憶しておき、その背景に対して一定値以上の輝度差が発生したときに、被写体に変化があったことを検知する方法である。両方式ともに、被写体の輝度差から被写体の変化を検知している。そのため、低照度においては、輝度差が小さくなっているために精度の良い検知が難しかった。このような課題を解決するための動き検知装置が例えば特許文献に開示されている。
【０００３】
特許文献１に開示される動き検知装置は、画面の変化を検知する輝度差と動き検出パラメータの比較で動きを判定しており、さらに自動露出又はゲインに応じて、画面変化の検出のための輝度差の閾値を制御するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３１１４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される動き検知装置では、カメラの制御情報を使用しているため、自動露出の注目点等では検出精度はよいが、画面全体が最適になっていないため、周辺等では検出精度が落ちてしまう場合がある。一方、検出処理に影響されることなく低照度の被写体を表示手段で確認したい要望もある。
【０００６】
そこで、本発明の目的は、低照度においても、表示手段での被写体の確認を可能としながら、画面全体にわたって画像の変化を精度よく検知することにある。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像手段と、前記撮像手段より出力された画像データに対して増幅処理を実行する処理手段と、前記処理手段より出力された画像データの輝度差に基づいて画像の変化を検知する検知手段と、前記撮像手段より出力された画像データを前記検知手段と表示手段とに分岐して供給するための分岐手段とを有し、前記処理手段は、前記分岐手段により前記検知手段に分岐して供給される画像データに対して増幅処理を実行し、前記表示手段に分岐して供給される画像データに対しては増幅処理を実行しないことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、低照度においても、画面全体にわたって画像の変化を精度よく検知することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る撮像装置の処理を示すフローチャートである。
【図３】図２のステップＳ２０５において付加される増幅度と画面の輝度との関係をグラフで示した図である。
【図４】図２のステップＳ２０５の詳細を示すフローチャートである。
【図５】本発明の第２の実施形態に係る撮像装置の構成を示す図である。
【図６】本発明の第２の実施形態に係る撮像装置の処理を示すフローチャートである。
【図７】画像変化検知系に供給される画像データと表示系に供給される画像データとの間で設定されるＮＲ処理の強さの最大値の違いを示す図である。
【図８】図６のステップＳ６０６の詳細を示すフローチャートである。
【図９】ガンマカーブの決定方法について説明するための図である。
【図１０】図６のステップＳ６０７の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１に示すように、本実施形態に係る撮像装置は、レンズ１０１、撮像素子１０２、ＡＦＥ１０３、画像輝度算出部１０４、画像処理部１０５、表示系１０６、信号処理部１０７及び画像変化検知部１０８により構成される。但し、信号処理部１０７は、画像変化検知系１０８に分岐して供給された画像データを増幅する信号増幅器１０７ａを備える。
【００１２】
被写体像は、数枚のレンズから構成されるレンズ１０１を通してＣＣＤ、ＣＭＯＳ等の撮像素子１０２に結像され、電気信号に変換されて出力される。撮像素子１０２から出力された電気信号は、相関二重サンプリング処理（ＣＤＳ）、アナログゲインコントロール（ＡＧＣ）、アナログデジタル変換器（ＡＤＣ）等からなるアナログフロントエンド（ＡＦＥ）１０３により、種々の信号処理が施され、デジタル信号形式の画像データとして出力される。ＡＦＥ１０３より出力された画像データは、画素毎の輝度を取得し、その平均値を算出する画像輝度算出部１０４に入力され、上記画像データの輝度が算出される。
【００１３】
画像輝度算出部１０４より出力された画像データは、表示系１０６と画像変化検知系１０８とに分岐して供給される。なお、分岐して供給される画像データは、表示系１０６と画像変化検知系１０８との間で同一である。表示系１０６へ供給される画像データは、画像信号処理部１０５に入力される。画像信号処理部１０５は、デジタルシグナルプロセッサ（ＤＳＰ）等から構成され、所定の画像処理を行う。画像信号処理部１０５において画像処理が施された画像データは、表示系１０６においてディスプレイ等に表示される。
【００１４】
一方、画像変化検知系１０８へ供給される画像データは、信号処理部１０７へ入力され、信号増幅器１０７ａによって増幅される。信号増幅器１０７ａにより増幅された画像データは画像変化検知系１０８に入力され、ここで画像の変化が検知される。画像変化検知系１０８は、例えば輝度差によって被写体の変化を検知し、フレーム間差分方式又は背景差分方式、或いはその両方式に対応したものとする。
【００１５】
図２は、本発明の第１の実施形態に係る撮像装置の処理を示すフローチャートである。以下、図２を用いて本実施形態に係る撮像装置の処理について説明する。
【００１６】
ステップＳ２０１において、画像輝度算出部１０４は、レンズ１０１、撮像素子１０２、ＡＦＥ１０３を介して、被写体像の画像データを取得する。ステップＳ２０２において、画像輝度算出部１０４は、取得した画像データの輝度を算出する。ここで算出される輝度は画面全体の平均輝度とする。ステップＳ２０３において、画像輝度算出部１０４は、取得した画像データを表示系１０６と画像変化検知系１０８とに分岐して供給する。
【００１７】
本実施形態においては、表示系１０６に分岐して供給される画像データと画像変化検知系１０８に分岐して供給される画像データとの間で異なる画像処理が実行される。表示系１０６に分岐して供給される画像データについては、ステップＳ２０４において、画像処理部１０５は、色変換、ＡＥ処理、ＷＢ処理、ガンマ処理、信号増幅、ノイズ低減、輪郭強調等の画像処理を実行する。その結果、視覚的に適した画像データとなり、ディスプレイ等の表示系１０６へ出力される。
【００１８】
一方、画像変化検知系１０８に分岐して供給される画像データについては、ステップＳ２０５において、信号増幅器１０７ａが画像データの増幅処理を実行する。ここで、画像データの増幅度は、低照度において、表示系１０６に分岐して供給される画像データの増幅度よりも相当量大きな値となっているため、被写体の輝度差が十分に強調される。この増幅処理によって得られる画像データが視覚的に適している必要は特になく、本増幅処理は輝度差を広げる目的で行っている。従って、本実施形態によれば、低照度においても、画面全体にわたって画像の変化を精度よく検知することが可能となる。
【００１９】
ここで、画像データの増幅方法の一例を、図３及び図４を用いて説明する。図３は、図２のステップＳ２０５において付加される増幅度と画面の輝度との関係をグラフで示した図である。図４は、図２のステップＳ２０５の詳細を示すフローチャートである。図３において、画面の輝度により、十分照度領域、低照度領域、ノイズ飽和領域の３つに分けられている。それぞれの境界は予め定められた所定の輝度値とする。ステップＳ４０１において、信号増幅器１０７ａは、ステップＳ２０２で算出された輝度が十分照度領域に属するか否かを判定する。輝度が十分照度領域に属する場合、そもそも画像データに十分な輝度差がある。従って、処理はステップＳ４０２に移行し、画像データの増幅処理は実行されない。一方、輝度が十分照度領域に属しない場合、ステップＳ４０３において、信号増幅器１０７ａは、輝度が低照度領域に属するか否かを判定する。輝度が低照度領域に属する場合、信号増幅器１０７ａは、輝度に応じた画像データの増幅処理を実行する。一方、輝度が低照度領域に属しない場合、画像データの状態がノイズ飽和領域に属し、画像データ内の被写体像がノイズに埋もれてしまっている。そのため、これ以上増幅を行っても画像データの輝度差が大きくならない。従って、ステップＳ４０５において、信号処理部１０７は、ノイズ飽和領域直前の増幅度のまま一定とし、それ以上輝度が低くなっても増幅度は一定値とする。ステップＳ２０６において、画像変化検知系１０８は、輝度差を測定し、輝度差に変化があったところを画像変化として検知する。なお、画像変化検知方法は、フレーム間差分方式でも背景差分方式でも、又はそれ以外の方式であっても、輝度差によって画像の変化を検知するものであればかまわない。その後、撮像装置は、画像変化の検知結果に基づいて、表示系１０６での警告の表示や撮像装置の処理変更等の所定の処理を実行する。
【００２０】
次に、本発明の第２の実施形態について説明する。本実施形態に係る撮像装置は、画像変化検知系に分岐して供給される画像データに対して増幅を行う第１の実施形態に加えて、ノイズリダクション（ＮＲ）処理及びガンマ補正処理を行うものである。第１の実施形態においては、画像変化検知系１０８に分岐して供給された画像データに対して増幅を行う処理まで説明したので、ここでは増幅処理までの説明は省略し、以降のＮＲ処理及びガンマ補正処理について説明を行うものとする。
【００２１】
図５は、本発明の第２の実施形態に係る撮像装置の構成を示す図である。図５に示すように、本実施形態に係る撮像装置は、レンズ１０１、撮像素子１０２、ＡＦＥ１０３、画像輝度算出部１０４、画像処理部１０５、表示系１０６、信号処理部５０７、画像変化検知系１０８を備える。但し、信号処理部５０７は、画像変化検知系１０８に分岐して供給された画像データを増幅する信号増幅器１０７ａ、増幅された画像データに対して例えばローパスフィルタ等をかけることでＮＲを行うＮＲ処理部５０７ｂ、及び、画像データの入出力関係を表したガンマ補正を行うガンマ補正処理部５０７ｃから構成される。なお、図５の１０１〜１０６、１０７ａ、１０８は、図１の１０１〜１０６、１０７ａ、１０８と夫々同様の構成である。
【００２２】
図６は、本実施形態に係る撮像装置の制御処理を示すフローチャートである。以下、図６を用いて本実施形態に係る撮像装置の処理について説明する。なお、図６のステップＳ２０１〜Ｓ２０５は、図２のＳ２０１〜Ｓ２０５と同様の処理である。
【００２３】
ここでの前提として、信号増幅器１０７ａで増幅された画像データはその増幅分だけノイズが増加する。従って、本実施形態においては、ステップＳ６０６において、ＮＲ処理部５０７ｂが増幅された画像データに対してＮＲ処理を行ってノイズ成分を抑圧することにより、ノイズによって引き起こされる画像変化の誤検知をなくすようにしている。その際、画像変化検知系１０８は表示系１０６に比べて画像の画質に制限がないため、図７に示すように、画像変化検知系１０８でのＮＲ処理の強さの最大値を表示系１０６でのＮＲ処理の強さの最大値より大きくして、画像変化検知系１０８側ではよりノイズを抑圧するようにしている。
【００２４】
ここで、ＮＲ処理の一例として、ＮＲ処理が巡回フィルタと空間フィルタとによってなされている場合について図８を用いて説明する。図８は、図６のステップＳ６０６の詳細を示すフローチャートである。
【００２５】
ステップＳ８０１において、ＮＲ処理部５０７ｂは、画像変化検知系１０８が、直前のフレームと現フレームとの比較であるフレーム間差分で画像変化を検知しているか否かを判定する。フレーム間差分により画像変化の検知が実行されている場合、ステップＳ８０２において、ＮＲ処理部５０７ｂは、巡回フィルタに所定の最大値を設ける。これにより、残像等の影響を少なくできる。一方、フレーム間差分により画像変化の検知が実行されていない場合、ＮＲ処理部５０７ｂは巡回フィルタに所定の最大値は設けない。
【００２６】
ステップＳ８０３において、ＮＲ処理部５０７ｂは、表示系１０６に比べてＮＲの強さの最大値を上昇させて設定する。ＮＲ処理部５０７ｂによってＮＲ処理された画像データはガンマ補正処理部５０７ｃに供給される。ステップＳ６０７において、ガンマ補正処理部５０７ｃは画像データの輝度差をより強調するためにガンマ補正処理を行う。ここで、ガンマ補正処理の一例として、ガンマカーブの決定方法について、図９及び図１０を用いて説明する。
【００２７】
ガンマカーブは、図９に示すように、信号増幅を行ったために上昇した黒レベルを抑えるべく、入力が低レベルのときは傾きをゆるく設定し、高レベルにおいても傾きをゆるく設定する。これにより、中間レベルにおいて輝度差を大きくすることができる。
【００２８】
図１０は、図６のステップＳ６０７の詳細を示すフローチャートである。ステップＳ１００１において、ガンマ補正処理部５０７ｃは、画面全体の輝度の平均値を図９に示す基準輝度に設定する。この画面全体の輝度の平均値は、画像輝度算出部５０４で算出された輝度に対して信号増幅器１０７ａ及びＮＲ処理部５０７ｂで施された処理分だけ変化した輝度の平均値であって、ガンマ補正処理部５０９に入力される直前の画像データの輝度の平均値とする。また、基準輝度を基準にして図９に示す正負に幅aの輝度範囲を注目輝度部とする。ステップＳ１００２において、ガンマ補正処理部５０７ｃは、この注目輝度部において傾きが急になるようにガンマカーブを設定する。ここで示したａは、任意に決められるものである。aの値を大きくすれば、出力に対する傾きが小さくなるために、広範な輝度範囲で変化検知可能になるが、輝度差が少なく検知できないものも出てくる。一方、aの値を小さくすれば、検知可能な輝度範囲は少なくなるが、注目輝度部においては検知精度の向上が期待できる。
【００２９】
ステップＳ２０６において、画像変化検知系１０８は、輝度差を測定し、輝度差に変化があったところを画像変化として検知する。
【００３０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００３１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３２】
１０４：画像輝度算出部、１０７：信号処理部、１０７ａ：信号増幅器、１０８：画像変化検知系、５０７ｂ：ＮＲ処理部、５０７ｃ：ガンマ補正処理部
【図１】
2012010093.tif 000003
【図２】
2012010093.tif 000004
【図３】
2012010093.tif 000005
【図４】
2012010093.tif 000006
【図５】
2012010093.tif 000007
【図６】
2012010093.tif 000008
【図７】
2012010093.tif 000009
【図８】
2012010093.tif 000010
【図９】
2012010093.tif 000011
【図１０】
2012010093.tif 000012