(57)【要約】【課題】撮像される単位画像毎に焦点ぼけをユーザに通知し、また単位画像毎に焦点ぼけの高精度な検出を可能としつつ、さらに所望の被写体に対して焦点距離の自動調整を可能とする。【解決手段】複数の単位画像から構成されるパノラマ画像を所定の時間間隔で生成し、生成したパノラマ画像を構成する各単位画像を切り出し、切り出した単位画像毎にそれぞれ複数の画素からなる１以上の画像領域を抽出し、抽出した画像領域を構成する画素の輝度成分に基づき単位画像毎に単位画像毎に焦点ぼけの度合を示す鮮鋭度を識別し、識別した鮮鋭度を単位画像毎にユーザに通知する。【選択図】  図７
2004266669.tif 000002
【特許請求の範囲】
【請求項１】
撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する監視カメラにおいて、
複数の単位画像から構成されるパノラマ画像を所定の時間間隔で生成する撮像手段と、
上記生成されたパノラマ画像を構成する各単位画像を切り出し、切り出した単位画像毎にそれぞれ複数の画素からなる１以上の画像領域を抽出し、抽出した画像領域を構成する画素の輝度成分に基づき上記単位画像毎に鮮鋭度を識別する識別手段と、
上記識別手段により識別された鮮鋭度を上記単位画像毎にユーザに通知する通知手段とを備えること
を特徴とする監視カメラ。
【請求項２】
上記識別手段は、抽出した画像領域を構成する画素の輝度成分に基づき、当該画像領域の空間周波数を求め、求めた空間周波数に応じて上記単位画像毎に鮮鋭度を識別すること
を特徴とする請求項１記載の監視カメラ。
【請求項３】
上記識別手段は、上記抽出した画像領域を構成する各画素につき、当該画素の周囲にある他の画素との間で輝度成分の微分値を順次算出し、算出した微分値に基づき上記鮮鋭度を識別すること
を特徴とする請求項１記載の監視カメラ。
【請求項４】
上記抽出する画像領域を上記単位画像毎に選択するための選択手段をさらに備えること
を特徴とする請求項１記載の監視カメラ。
【請求項５】
上記撮像手段は、上記識別手段により上記単位画像毎に識別された鮮鋭度に応じて、各撮影方向における焦点距離を制御すること
を特徴とする請求項１記載の監視カメラ。
【請求項６】
他の端末装置からアクセス可能な記録媒体と、
上記生成されたパノラマ画像を記録媒体へ記録する記録手段とをさらに備えること
を特徴とする請求項１記載の監視カメラ。
【請求項７】
上記撮像手段は、最初の撮像前に、上記撮影範囲内にある少なくとも一の被写体に対して予め焦点距離を制御すること
を特徴とする請求項１記載の監視カメラ。
【請求項８】
撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する撮像方法において、
複数の単位画像から構成されるパノラマ画像を所定の時間間隔で生成し、上記生成したパノラマ画像を構成する各単位画像を切り出し、
切り出した単位画像毎にそれぞれ複数の画素からなる１以上の画像領域を抽出し、抽出した画像領域を構成する画素の輝度成分に基づき上記単位画像毎に鮮鋭度を識別し、
上記識別した鮮鋭度を上記単位画像毎にユーザに通知すること
を特徴とする撮像方法。
【請求項９】
上記抽出した画像領域を構成する画素の輝度成分に基づき、当該画像領域の空間周波数を求め、求めた空間周波数に応じて上記単位画像毎に鮮鋭度を識別すること
を特徴とする請求項８記載の撮像方法。
【請求項１０】
上記抽出した画像領域を構成する各画素につき、当該画素の周囲にある他の画素との間で輝度成分の微分値を順次算出し、算出した微分値に基づき上記鮮鋭度を識別すること
を特徴とする請求項８記載の撮像方法。
【請求項１１】
上記抽出する画像領域を上記単位画像毎に選択すること
を特徴とする請求項８記載の撮像方法。
【請求項１２】
上記単位画像毎に識別された鮮鋭度に応じて、各撮影方向における焦点距離を制御すること
を特徴とする請求項８記載の撮像方法。
【請求項１３】
上記生成されたパノラマ画像を他の端末装置からアクセス可能な記録媒体へ記録すること
を特徴とする請求項８記載の撮像方法。
【請求項１４】
最初の撮像前に、上記撮影範囲内にある少なくとも一の被写体に対して予め焦点距離を制御すること
を特徴とする請求項８記載の撮像方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する監視カメラ並びに撮像方法に関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
ところで、このような監視カメラにより撮像される単位画像につき、オートフォーカス機構の実装が望まれる場合もある。通常のオートフォーカス機構では、単位画像の中心位置にある被写体に対して、焦点距離が制御される。このため、ユーザは、撮影を望む所望の被写体がビューファインダーの画面中央にくるように撮影方向を合わせ込むことにより、焦点距離の調整された精細な画像を得ることができる。
【０００６】
しかしながら、上述した監視カメラでは、撮影方向を機械的にシフトさせて単位画像を撮像するため、所望の被写体が必ずしも画面中央に存在するとは限らない。このため、各撮影方向につきオートフォーカスにより撮像を実行した場合に、得られるパノラマ画像を構成する各単位画像は、中心位置にある被写体に対して鮮鋭化された画像が得られる一方で、他の被写体の画像がぼけて画質が劣化してしまうという問題点もある。
【０００７】
そこで、本発明は上述した問題点に鑑みて案出されたものであり、その目的とするところは、撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する監視カメラ並びに撮像方法において、特に撮像される単位画像毎に焦点ぼけをユーザに通知し、また単位画像毎に焦点ぼけの高精度な検出を可能としつつ、さらに所望の被写体に対して焦点距離の自動調整を可能とした監視カメラ並びに撮像方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明者は、上述した課題を解決するために、単位画像毎に焦点ぼけの度合を示す鮮鋭度を、抽出した画像領域を構成する画素の輝度成分に基づき識別して、これをユーザに通知する監視カメラ並びに撮像方法を発明した。
【０００９】
即ち、本発明を適用した監視カメラは、撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する監視カメラにおいて、複数の単位画像から構成されるパノラマ画像を所定の時間間隔で生成する撮像手段と、生成されたパノラマ画像を構成する各単位画像を切り出し、切り出した単位画像毎にそれぞれ複数の画素からなる１以上の画像領域を抽出し、抽出した画像領域を構成する画素の輝度成分に基づき単位画像毎に鮮鋭度を識別する識別手段と、識別手段により識別された鮮鋭度を単位画像毎にユーザに通知する通知手段とを備える。
【００１０】
また、本発明を適用した撮像方法は、撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する撮像方法において、複数の単位画像から構成されるパノラマ画像を所定の時間間隔で生成し、生成したパノラマ画像を構成する各単位画像を切り出し、切り出した単位画像毎にそれぞれ複数の画素からなる１以上の画像領域を抽出し、抽出した画像領域を構成する画素の輝度成分に基づき単位画像毎に鮮鋭度を識別し、識別した鮮鋭度を単位画像毎にユーザに通知する。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明に係る監視カメラが実装される監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、カメラユニット２により生成された画像信号が伝送される監視装置５と、監視装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するための端末装置９と、監視装置５と各端末装置９との間で情報を送受信するためのネットワーク８と、端末装置９に接続される端末ディスプレイ１０と、ネットワーク８に接続されるネットワークサーバ１１とを備えている。ちなみに、本発明に係る監視カメラは、例えばこのカメラユニット２及び監視装置５に適用される。
【００１２】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１３】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、監視装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、監視装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。また、このカメラ部４は、監視装置５による制御に応じて、被写体に対する焦点合わせを行う。このカメラ部４を一の監視装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることも可能となる。
【００１４】
監視装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの監視装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この監視装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像を送信する。
【００１５】
ネットワーク８は、例えば監視装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。
【００１６】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して監視装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、監視装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを監視装置５に対して送信する。なお端末装置９のブロック構成については、後述する監視装置５の構成を引用し、説明を省略する。
【００１７】
ネットワークサーバ１１は、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００１８】
次に、本発明に係る監視カメラを適用したカメラユニット２，監視装置５の構成について詳細に説明する。
【００１９】
図２は、カメラユニット２，監視装置５の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに監視装置５の各構成要素が接続されている。
【００２０】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角や焦点距離を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を監視装置５へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２１】
また監視装置５は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２と、エンコーダ５２から出力される画像を蓄積するサーバ５３と、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続され、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０と、さらにこのＩ／Ｏポート５８に接続されるメモリカード６１並びに時計６２とを備えている。
【００２２】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２３】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して、或いは焦点距離を順次調整して、被写体を撮像することも可能となる。
【００２４】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００２５】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００２６】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００２７】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号をネットワークサーバ１１に記録するように制御することにより、サーバ５３をネットワークサーバ１１に代替することも可能となる。
【００２８】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００２９】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、監視装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。またこのＣＰＵ５６は、撮像した画像から、画像のぼけ具合を示す、いわゆる鮮鋭度を識別する。またこのＣＰＵ５６は、上述のグラフィックコントローラ５５を制御することにより、識別した鮮鋭度に関する情報をディスプレイ６上に表示させる。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている画像から最適なものを選択し、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３０】
次に本発明を適用した監視システム１における撮像動作について説明をする。
【００３１】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３２】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００３３】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００３４】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。また、この撮像動作を例えば、朝から昼に１回、夕から夜に１回行うことにより、異なる撮影条件で撮像した全体画像が、換言すれば当該全体画像を構成する各単位画像がサーバ５３に記録されている状態となる。
【００３５】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように圧縮される。この圧縮された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００３６】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像（パノラマ画像）を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この監視装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。
【００３７】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。
【００３８】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像に基づく撮影方向につき、再び焦点合わせを実行して撮像を実行するための再取得ボタン８１が表示される。またこの再取得ボタンを押圧入力することにより撮像された単位画像を表示するための再取得画像表示部７３が設けられ、さらに取得した画像を記憶するためのＳＡＶＥボタン８２、全体画像表示部７０や再取得画像表示部７２に表示されている画像の調整を手動で行うための調整ボタン８３が表示されてなる。
【００３９】
また、この表示画面４５には初期フォーカスボタン８４が表示される。この初期フォーカスボタン８４を、最初の撮像前に押圧入力することにより、撮影範囲内にある少なくとも一の被写体に対して予め焦点合わせを実行することができる。これにより、少なくとも全体画像の一部については、精細な画像を得ることができ、全体的に画像がぼけて表示されることを防止することができる。
【００４０】
次に本発明を適用した監視システム１により、各単位画像の鮮鋭度を識別する方法について説明をする。
【００４１】
単位画像のぼけ具合を示す鮮鋭度は、少なくとも、単位画像のエッジ部分の境界にある画素ａの輝度成分と、この画素ａに隣接する画素ｂの輝度成分に基づき識別することができる。例えば図５（ａ）に示すように、ぼけ具合の少ない精細なエッジは、画素ａと画素ｂの輝度成分の差が大きく、エッジの濃度勾配が急峻になる結果、その部分のコントラストが強調される。一方、図５（ｂ）に示すように、ぼけ具合の大きいエッジは、画素ａと画素ｂの輝度成分の差が小さく、エッジの濃度勾配が緩やかになる結果、その部分のコントラストが低くなる。即ち、この濃度勾配は、画素ａ及び画素ｂの各輝度成分の微分値に支配されるため、係る微分値を求めることにより、上記鮮鋭度を一義的に得ることができる。また、この濃度勾配は、複数の画素からなる画像領域の空間周波数にも支配されるため、求めた空間周波数から上記鮮鋭度を得ることも可能となる。
即ち、本発明を適用した監視システム１では、この単位画像毎の鮮鋭度を求める場合において、各単位画像からそれぞれ複数の画素からなる１以上の画像領域を抽出する。そして、この抽出した各画像領域を構成する画素の輝度成分を識別してエッジ等の濃度勾配を求め、抽出した画像領域を含む単位画像全体の鮮鋭度を識別する。
【００４２】
ちなみに、この単位画像から抽出する画像領域は、単位画像毎に１箇所以上であればよく、例えば図６（ａ）に示すように、単位画像の中央付近から１箇所のみ抽出してもよいし、また図６（ｂ）に示すように、画像領域を５箇所から抽出してもよい。また、この抽出する画像領域の位置、大きさ、数については、各単位画像間で互いに同一となるように設定してもよいし、また互いに相違するように設定してもよい。
【００４３】
この監視システム１において、画素の輝度成分の微分値に基づいて単位画像の鮮鋭度を、鮮鋭か否かの２段階で示す手順につき図７を用いて説明をする。
【００４４】
先ずステップＳ１１において、ＣＰＵ５６は、エンコーダ５２により圧縮符号化されて生成された一の単位画像に着目する。ちなみにエンコーダ５２により圧縮符号化された各単位画像を互いに貼り合わせることにより、一枚の全体画像を作り出すこともできるため、このエンコーダ５２により出力された段階で全体画像が構成されていると考えることもできるが、かかる場合には、この構成された全体画像から一の単位画像を切り出す処理を実行する。ＣＰＵ５６は、このステップＳ１１において、切り出した単位画像から１以上の画像領域を抽出する。
【００４５】
次にステップＳ１２へ移行し、ＣＰＵ５６は、抽出した画像領域を構成する画素の輝度成分を識別する。
【００４６】
次にステップＳ１３へ移行し、ＣＰＵ５６は、図８に示すように、その画像領域を構成する各画素から、微分値を求める画素（以下、基準画素という）を特定する。またＣＰＵ５６は、この基準画素に隣接する最大８箇所の第１の周辺画素を特定する。さらにこの第１の周辺画素に外接する最大１６箇所の第２の周辺画素を特定する。
【００４７】
次にステップＳ１４へ移行し、ＣＰＵ５６は、先ず基準画素と、第１の周辺画素との輝度成分に基づき、微分値を算出する。即ち、相互に隣接する基準画素と第１の周辺画素は、１画素分しか離れていないため、互いの輝度成分の差分値がそのまま微分値となる。ＣＰＵ５６は、特定した全ての第１の周辺画素につき、基準画素との間で微分値を順次求めてゆく。
【００４８】
次にステップＳ１５へ移行し、ＣＰＵ５６は、基準画素と第２の周辺画素との輝度成分に基づき、微分値を求める。即ち、基準画素と第２の周辺画素は、２画素分離れているため、互いの輝度成分の差分値を２で割ることにより微分値を求めることができる。ちなみに、この２画素分離れた第２の周辺画素についても微分値を求める理由は、基準画素に隣接する第１の周辺画素において輝度成分の差が明確に現れない場合もあるため、１画素分の余裕を持たせるためである。ＣＰＵ５６は、特定した全ての第２の周辺画素につき、基準画素との間で微分値を順次求めてゆく。即ち、このステップＳ１５の終了時には、基準画素と、特定した全て第１の周辺画素並びに第２の周辺画素との間で微分値が求められている状態となる。
【００４９】
ステップＳ１６において、ＣＰＵ５６は、基準画素と第１の周辺画素との間で求めた各微分値、並びに基準画素と第２の周辺画素との間で求めた各微分値を比較する。そして、比較した微分値の中から最大となる微分値を特定する。以下、この特定された微分値を最大微分値という。即ち、このステップＳ１５では、一の基準画素に対して、一の最大微分値がそれぞれ割り当てられることになる。ちなみに、このステップＳ１６において求められる最大微分値が大きいほど、エッジの濃度勾配が急峻になり、被写体に対して焦点距離が調整された精細な画像が得られていることを示している。
【００５０】
次にステップＳ１７へ移行し、ＣＰＵ５６は、抽出した画像領域内にある全ての画素につき、それぞれ最大微分値が割り当てられているか否か判別する。その結果、抽出した画像領域内にある全ての画素につき最大微分値が割り当てられている場合には、ステップＳ１８へ移行する。一方、抽出した画像領域内において未だ最大微分値が割り当てられていない画素が存在する場合には、再びステップＳ１３へ移行し、当該画素を基準画素として特定する。即ち、このステップＳ１３〜ステップＳ１６における処理において、ＣＰＵ５６は、抽出した画像領域を構成する全ての画素につき、それぞれ基準画素として特定して、最大微分値を割り当てる。
【００５１】
ステップＳ１８に移行した場合に、ＣＰＵ５６は、画素毎に割り当てられている最大微分値と、第１の閾値とを比較する。第１の閾値は、画像が鮮鋭か否かにつき判別するための値であり、仮に割り当てられた最大微分値が第１の閾値より大きい場合は画像のぼけが少なく、また割り当てられた最大微分値が第１の閾値以下の場合は画像のぼけが多いことが示される。即ち、この第１の閾値をより高く設定すると、基準画素と周辺画素との濃度勾配が相当急峻でなければ鮮鋭な画像として識別されないが、第１の閾値を低く設定すると、基準画素と周辺画素との濃度勾配がある程度緩やかであっても鮮鋭な画像として認められることになる。なお、この第１の閾値は、撮影環境や被写体の性質に応じて事後的に変更することができる。
【００５２】
ＣＰＵ５６は、このステップＳ１８において、画像領域を構成する各画素から、最大微分値が第１の閾値を超える画素を特定する。そしてＣＰＵ５６は、このステップＳ１８において特定した各画素に割り当てられている最大微分値に対し、第１の閾値の差分を順次求め、この求めた差分の総和を算出する。以下、この算出された総和を積分値という。
【００５３】
ちなみにＣＰＵ５６は、この積分値を算出する場合において、実際に各画素に割り当てられている最大微分値に対する第１の閾値の差分値を積分することにより算出してもよい。また最大微分値が第１の閾値を超える画素の総数をこの積分値としてもよい。
【００５４】
次にステップＳ１９へ移行し、ＣＰＵ５６は、この算出した積分値と第２の閾値とを比較する。この第２の閾値は、切り出した単位画像が鮮鋭か否かの２段階で鮮鋭度を表す場合のいわゆる境界となる値であり、撮影環境や被写体の性質に応じて自在に設定することができる値である。このステップＳ１９において、上記積分値が第２の閾値を超える場合は、単位画像が鮮鋭であることを意味し、ステップＳ２０へ移行する。一方、算出した積分値が第２の閾値以下の場合には、単位画像が鮮鋭でないことを意味し、ステップＳ２１へ移行する。
【００５５】
ステップＳ２０へ移行した場合において、ＣＰＵ５６は、この切り出した単位画像につき特段の処理を施すことなく終了する。一方、ステップＳ２１へ移行した場合において、ＣＰＵ５６は、この切り出した単位画像が鮮鋭でない旨をユーザに通知する。ＣＰＵ５６は、この通知する単位画像につき、例えば図９に示すように全体画像表示部７０において色付きの枠で表示するようにしてもよい。
【００５６】
ＣＰＵ５６は、この図７に示すような処理に基づき、全体画像を構成する全ての単位画像の鮮鋭度を識別してこれを２段階に分類し、全体画像表示部７０を介してユーザに通知する。これにより、ユーザはかかる全体画像表示部７０において色付きの枠で表示されている単位画像が鮮鋭でない旨を容易に判別することができる。
【００５７】
即ち、本発明を適用した監視システム１では、撮影方向を順次変化させて撮影範囲を撮像することにより生成した全体画像を監視する場合においても、この全体画像を構成する単位画像毎に焦点ぼけの度合を示す鮮鋭度を、抽出した画像領域を構成する画素の輝度成分に基づき識別して、これをユーザに通知する。これにより、ユーザは、鮮鋭度の低い単位画像を容易に認識することができる。
【００５８】
また、この全体画像表示部７０において色付きの枠で表示されている単位画像がマウス６０等を介してユーザにより指定された場合に、ＣＰＵ５６は、かかる単位画像を拡大して拡大画像表示部７１へ表示するように制御する。これにより、ユーザは、この拡大画像表示部７１に表示されている単位画像を視認することにより、焦点ぼけしている被写体を容易に特定することが可能となる。
【００５９】
またユーザにより、再取得ボタンが押圧入力された場合には、監視装置５による制御の下、カメラ部４は、かかる拡大画像表示部７１に表示されている単位画像を再び撮像するために撮影方向を制御し、被写体に対する焦点合わせを実行する。またカメラ部４は、当該単位画像を再び撮像して、これを再取得画像表示部７３へ表示する。即ち、この再取得画像表示部７３には、全体画像表示部７２に表示されている単位画像と同一撮影方向で、かつ焦点距離の制御されたより鮮鋭な単位画像を表示させることができる。
【００６０】
ユーザは、この全体画像表示部７２と、再取得画像表示部７３とに表示されている単位画像を比較し、画像のぼけ具合が改善されて鮮鋭度の向上を確認した場合には、ＳＡＶＥボタン８２を押圧入力することにより、全体画像表示部７１に表示されている単位画像にこれを上書きして表示させることができる。一方、ユーザは、画像のぼけ具合が改善されていない場合には、調整ボタン８３を押圧入力することにより、焦点合わせを手動で行うようにしてもよい。
【００６１】
ちなみに、この全体画像表示部７２に表示される全体画像は、サーバ５３に対しても記録されているため、鮮鋭度を向上させた単位画像からなる全体画像についても逐一サーバ５３に記録される。ＣＰＵ５６は、他の端末装置９からの要求に応じて、このサーバ５３に記録されている高精細な全体画像や単位画像を送信することもできる。
【００６２】
なお、再取得画像表示部７３に表示されて単位画像の鮮鋭度が向上した場合には、ＣＰＵ５６かかる当該単位画像を撮像したときの焦点距離を図示しないメモリ等に記憶させておき、再び当該単位画像を撮像する場合に、この記憶させておいた焦点距離になるようにカメラ部４を制御してもよい。これにより、所定の時間間隔で被写体を撮像する場合においても、各単位画像につき、図示しないメモリに記憶した焦点距離に基づき撮像を行うことができるため、その都度焦点合わせを行う必要性がなくなり、撮像時間の短縮を図ることが可能となる。
【００６３】
なお、本発明は上述した実施の形態に限定されるものではない。例えば図１０に示すように、ステップＳ１１において抽出する画像領域について、単位画像毎にユーザが自由に設定するようにしてもよい。例えば、単位画像において画像領域Ｃを設定する場合には、所望の大きさになるように、マウス６０により始点と終点をクリックするようにしてもよい。設定された画像領域Ｃは、ディスプレイ６上においてラバーバンドで表示されることになる。
【００６４】
また、この設定した画像領域Ｃを移動させる場合においても、マウス６０によりかかる画像領域Ｃを左クリックしつつ、ポインタを動かすことにより容易に実現することができる。
【００６５】
即ち、本発明では、エッジ等の濃度勾配に基づき鮮鋭度を識別するが、広範囲にわたる撮影範囲につき撮影方向を順次移動させて全体画像を取得するため、かかる全体画像を構成する各単位画像に表示される被写体は単位画像間で異なり、かかるエッジ等が存在する位置や大きさ等も単位画像間で異なる。このため、単位画像毎に、抽出する画像領域の位置や大きさ等をユーザが自由に選択できるようにすることで、各単位画像につきより精度よく鮮鋭度を求めることができ、ぼけ具合の大きい単位画像を高精度に検出することが可能となる。また単位画像に表示されている被写体の中から、ユーザ所望の被写体を選択することにより、少なくとも係る所望の被写体については、鮮鋭な画像を得ることができる。
【００６６】
また複数の画像領域を抽出するようにすることで、特定の被写体に追従させて合焦する構成を用いない本発明において、鮮鋭度を精度よく求めることが可能となる。特に撮像した単位画像につき、単位画像全体に焦点が合っていないのか、単位画像の一部のみに焦点があっているのか、単位画像全体に焦点が合っているのかを精度よく識別することができる。
【００６７】
また本発明では、最初の撮像前において、常に撮影範囲内にある少なくとも一の被写体に対して予め焦点合わせを実行するようにしてもよい。即ち、最初の撮像前において、ユーザにより初期フォーカスボタン８４が押圧入力されたのと同様の動作が実行されることになる。即ち、常に最初の撮像により得られる全体画像全てがぼけていると、上述の如く鮮鋭度を識別することができず、再度単位画像の撮像を実行するという余計な処理を省略することも可能となる。
【００６８】
また、本発明では、鮮鋭度を２段階で表示する場合を例にとり説明をしたが、かかる場合に限定されるものではなく、第２の閾値を数段に亘って設定することにより３段階以上で表示するようにしてもよい。
【００６９】
また、第１の周辺画素や第２の周辺画素の特定についても、上述した例に限定されるものではなく、基準画素の周囲に存在するいかなる画素を特定してもよい。
【００７０】
さらに、抽出した画像領域を構成する画素毎に最大微分値を割り当てることなく、基準画素と第１の周辺画素との間で求めた各微分値、或いは基準画素と第２の周辺画素との間で求めた各微分値に基づき、各単位画像に対して鮮鋭度を求めてもよいことは勿論である。
【００７１】
【発明の効果】
以上詳細に説明したように、本発明を適用した監視カメラ並びに撮像方法は、撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する場合においても、このパノラマ画像を構成する単位画像毎に焦点ぼけの度合を示す鮮鋭度を、抽出した画像領域を構成する画素の輝度成分に基づき識別して、これをユーザに通知する。
【００７２】
これにより、本発明を適用した監視カメラ並びに撮像方法は、ユーザに対して鮮鋭度の低い単位画像を容易に認識させることができ、またかかる単位画像における焦点合わせの実行を促すことにより、単位画像のぼけを改善してパノラマ画像全体の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明を適用した監視システムの構成を示す図である。
【図２】カメラユニット，監視装置のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】単位画像のぼけ具合を示す鮮鋭度について説明するための図である。
【図６】この単位画像から抽出する画像領域について説明するための図である。
【図７】画素の輝度成分の微分値に基づいて単位画像の鮮鋭度を、鮮鋭か否かの２段階で示すフローチャートである。
【図８】基準画素に対して特定する第１の周辺画素並びに第２の周辺画素につき説明するための図である。
【図９】鮮鋭でない単位画像をユーザに通知する方法につき説明するための図である。
【図１０】抽出する画像領域についてユーザが設定する方法につき説明するための図である。
【符号の説明】
１  監視システム、２  カメラユニット、３  パンチルタ部、４  カメラ部、５  監視装置、６  ディスプレイ、８  ネットワーク、９  ユーザ端末、１０  端末ディスプレイ、１１  ネットワークサーバ、２１  コントローラバス、２２レンズ部、２３  レンズ制御部、２４  撮像部、２５  ＩＥＥＥ１３９４インターフェース、２８  ＧＰＳ受信部、２９  メタデータ生成部、５１  バッファメモリ、５２  エンコーダ、５３  サーバ、５４  画像圧縮部、５５    グラフィックコントローラ、５６  ＣＰＵ、５８  Ｉ／Ｏポート、５９  キーボード、６０  マウス、６１  メモリカード、６２  時計
【図１】
2004266669.tif 000003
【図２】
2004266669.tif 000004
【図３】
2004266669.tif 000005
【図４】
2004266669.tif 000006
【図５】
2004266669.tif 000007
【図６】
2004266669.tif 000008
【図７】
2004266669.tif 000009
【図８】
2004266669.tif 000010
【図９】
2004266669.tif 000011
【図１０】
2004266669.tif 000012