(57)【特許請求の範囲】
【請求項１】
撮影装置の撮影方向に関するプリセット撮影位置として未設定の撮影方向に対応する監視対象範囲を撮影した撮影画像を取得する取得手段と、
前記取得手段で取得した撮影画像を解析して当該撮影画像から監視対象を検出し、前記監視対象範囲内の複数の領域のそれぞれにおける前記監視対象の検出結果を解析結果とする解析手段と、
前記解析手段による解析結果に基づいて、前記監視対象範囲の少なくとも一部を撮影範囲とするプリセット撮影位置を、前記撮影装置のプリセット撮影位置として決定する決定手段と、を備え、
前記決定手段は、
前記監視対象範囲内の複数の領域のそれぞれについて、前記解析手段による解析結果に応じたスコアを設定する設定手段と、
前記設定手段で設定したスコアが予め設定した閾値以上である前記監視対象範囲内の領域を選択する選択手段と、を備え、
前記選択手段で選択した領域が、前記撮影装置により撮影されるように前記プリセット撮影位置を決定し、
前記選択手段で選択した領域で前記解析手段が検出した前記監視対象のサイズの平均値、当該監視対象のサイズの中央値、及び当該監視対象のサイズの最頻値の少なくとも１つに応じて、前記プリセット撮影位置に関する情報であるズーム倍率を決定することを特徴とする画像処理装置。
【請求項２】
撮影装置の撮影方向に関するプリセット撮影位置として未設定の撮影方向に対応する監視対象範囲を撮影した撮影画像を取得する取得手段と、
前記取得手段で取得した撮影画像を解析して当該撮影画像から監視対象を検出し、前記監視対象範囲内の複数の領域のそれぞれにおける前記監視対象の検出結果を解析結果とする解析手段と、
前記解析手段による解析結果に基づいて、前記監視対象範囲の少なくとも一部を撮影範囲とするプリセット撮影位置を、前記撮影装置のプリセット撮影位置として決定する決定手段と、を備え、
前記決定手段は、
前記監視対象範囲内の複数の領域のそれぞれについて、前記解析手段による解析結果に応じたスコアを設定する設定手段と、
前記設定手段で設定したスコアが高いものから、前記監視対象範囲内の領域を所定数選択する選択手段と、を備え、
前記選択手段で選択した各領域が、それぞれ前記撮影装置により撮影されるように複数の前記プリセット撮影位置を決定し、
前記選択手段で選択した領域で前記解析手段が検出した前記監視対象のサイズの平均値、当該監視対象のサイズの中央値、及び当該監視対象のサイズの最頻値の少なくとも１つに応じて、前記プリセット撮影位置に関する情報であるズーム倍率を決定することを特徴とする画像処理装置。
【請求項３】
前記設定手段は、
前記監視対象の検出頻度が高い領域ほど前記スコアを高く設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記設定手段は、
前記監視対象の検出頻度が低い領域ほど前記スコアを高く設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記設定手段は、
前記監視対象が検出された前記撮影画像内における領域、前記監視対象のサイズ、及び前記監視対象の検出尤度の少なくとも１つに基づいて重み付けした前記スコアを設定することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記決定手段は、
前記プリセット撮影位置に関する情報として、前記撮影装置が複数のプリセット撮影位置を巡回する際の、各プリセット撮影位置での撮影時間を決定するものであって、
前記選択手段で選択した領域のスコアが高いほど、当該領域に対応するプリセット撮影位置での前記撮影時間を長く設定することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、
前記プリセット撮影位置に関する情報として、前記撮影装置が複数のプリセット撮影位置を巡回する際の、プリセット撮影位置の切替順序を決定するものであって、
前記選択手段で選択した領域のうち、スコアが高い順に、当該領域に対応するプリセット撮影位置を巡回するよう前記切替順序を決定することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記監視対象は、移動体、人物および人物の顔の少なくとも１つを含むことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記決定手段は、
前記取得手段で取得した撮像画像の撮影時間帯ごとに前記プリセット撮影位置を決定することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記決定手段で決定したプリセット撮影位置に基づいて、前記撮影装置の撮影画角を制御する制御手段をさらに備えることを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記決定手段で決定したプリセット撮影位置の表示を行わせる表示制御手段をさらに備えることを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
監視対象範囲の少なくとも一部を撮影可能な撮影装置と、
前記請求項１〜１１のいずれか１項に記載の画像処理装置と、を備えることを特徴とする画像処理システム。
【請求項１３】
撮影装置の撮影方向に関するプリセット撮影位置として未設定の撮影方向に対応する監視対象範囲を撮影した撮影画像を取得するステップと、
取得した撮影画像を解析して当該撮影画像から監視対象を検出し、前記監視対象範囲内の複数の領域のそれぞれにおける前記監視対象の検出結果を解析結果とするステップと、
前記撮影画像を解析した結果に基づいて、前記監視対象範囲の少なくとも一部を撮影範囲とするプリセット撮影位置を、前記撮影装置のプリセット撮影位置として決定するステップと、を含み、
前記決定するステップでは、
前記監視対象範囲内の複数の領域のそれぞれについて、前記解析結果に応じたスコアを設定し、
設定したスコアが予め設定した閾値以上である前記監視対象範囲内の領域を選択し、
選択した領域が、前記撮影装置により撮影されるように前記プリセット撮影位置を決定し、
選択した領域で検出した前記監視対象のサイズの平均値、当該監視対象のサイズの中央値、及び当該監視対象のサイズの最頻値の少なくとも１つに応じて、前記プリセット撮影位置に関する情報であるズーム倍率を決定することを特徴とする画像処理方法。
【請求項１４】
撮影装置の撮影方向に関するプリセット撮影位置として未設定の撮影方向に対応する監視対象範囲を撮影した撮影画像を取得するステップと、
取得した撮影画像を解析して当該撮影画像から監視対象を検出し、前記監視対象範囲内の複数の領域のそれぞれにおける前記監視対象の検出結果を解析結果とするステップと、
前記撮影画像を解析した結果に基づいて、前記監視対象範囲の少なくとも一部を撮影範囲とするプリセット撮影位置を、前記撮影装置のプリセット撮影位置として決定するステップと、を含み、
前記決定するステップでは、
前記監視対象範囲内の複数の領域のそれぞれについて、前記解析結果に応じたスコアを設定し、
設定したスコアが高いものから、前記監視対象範囲内の領域を所定数選択し、
選択した各領域が、それぞれ前記撮影装置により撮影されるように複数の前記プリセット撮影位置を決定し、
選択した領域で検出した前記監視対象のサイズの平均値、当該監視対象のサイズの中央値、及び当該監視対象のサイズの最頻値の少なくとも１つに応じて、前記プリセット撮影位置に関する情報であるズーム倍率を決定することを特徴とする画像処理方法。
【請求項１５】
コンピュータを、前記請求項１〜１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１６】
前記請求項１５に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析結果に基づいてカメラ等の撮像手段のプリセット情報を決定する画像処理装置、画像処理方法及び画像処理システムに関する。
【背景技術】
【０００２】
近年、ネットワークに接続して使用でき、コンピュータからの制御が可能なカメラとして、カメラの撮影画角を変更してより広範囲を映すことが可能なカメラがある。このようなカメラとしては、例えば、雲台を備え、パン角度、チルト角度、ズーム倍率の変更が可能なＰＴＺカメラや、魚眼レンズを搭載し広範囲の撮影を一度に行うことが可能な魚眼カメラがある。また、複数のレンズや撮像素子を1つの機体に備え、パノラマ画像を内部で合成した後、任意画角の画像を切り出して配信が可能な多眼カメラもある。
【０００３】
これらのカメラは、事前にユーザにより設定されたプリセット情報（撮影画角、撮影時間、撮影順序等）に基づいて、プリセット撮影位置（画角）を順に切り替えて撮影を行う、所謂プリセット巡回機能を備えている。この機能を用いることで、１台のカメラで撮影、記録ができる範囲をより広くでき、監視の効率化が図れる。
プリセット巡回撮影を行うカメラシステムとして、特許文献１に記載の技術がある。この技術は、プリセット巡回中に人物の顔を検出した場合、その位置を向く画角を新たなプリセット撮影位置として追加するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１８８２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術にあっては、プリセット巡回の初期設定はユーザによって手動で行われる。そのため、ユーザの思い込み等により、監視や画像解析に適していない画角がプリセット撮影位置として設定されて運用が開始される場合がある。例えば、あまり人が通らない通路を映していたり、カメラの画角が下向きに急すぎて人物の認識が精度良くできなかったりすることがある。
【０００６】
また、上記特許文献１に記載の技術では、プリセット巡回で映らない画角は新しいプリセット撮影位置として登録することができない。そのため、事前に設定したプリセット撮影位置が適切なものでないと、プリセット撮影位置が適切に更新されず、監視対象範囲内にいる監視対象を適切に監視することはできない。
そこで、本発明は、カメラ等の撮影装置のプリセット情報をより簡単に設定することができる画像処理装置、画像処理方法及び画像処理システムを提供することを課題としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像処理装置の一態様は、撮影装置の撮影方向に関するプリセット撮影位置として未設定の撮影方向に対応する監視対象範囲を撮影した撮影画像を取得する取得手段と、前記取得手段で取得した撮影画像を解析して当該撮影画像から監視対象を検出し、前記監視対象範囲内の複数の領域のそれぞれにおける前記監視対象の検出結果を解析結果とする解析手段と、前記解析手段による解析結果に基づいて、前記監視対象範囲の少なくとも一部を撮影範囲とするプリセット撮影位置を、前記撮影装置のプリセット撮影位置として決定する決定手段と、を備える。前記決定手段は、前記監視対象範囲内の複数の領域のそれぞれについて、前記解析手段による解析結果に応じたスコアを設定する設定手段と、前記設定手段で設定したスコアが予め設定した閾値以上である前記監視対象範囲内の領域を選択する選択手段と、を備え、前記選択手段で選択した領域が、前記撮影装置により撮影されるように前記プリセット撮影位置を決定し、前記選択手段で選択した領域で前記解析手段が検出した前記監視対象のサイズの平均値、当該監視対象のサイズの中央値、及び当該監視対象のサイズの最頻値の少なくとも１つに応じて、前記プリセット撮影位置に関する情報であるズーム倍率を決定する。
【発明の効果】
【０００８】
本発明によれば、カメラ等の撮影装置のプリセット情報をより簡単に設定できる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの一例を示すネットワーク接続構成図である。
【図２】各装置の機能ブロック図である。
【図３】サーバ装置のハードウェア構成の一例を示す図である。
【図４】動体検出処理及び人体検出処理の検出結果例、出力結果例を示す図である。
【図５】第一のカメラ姿勢を示す図である。
【図６】第二のカメラ姿勢を示す図である。
【図７】第三のカメラ姿勢を示す図である。
【図８】カメラで実行する事前解析処理手順を示すフローチャートである。
【図９】画像解析結果の一例を示す図である。
【図１０】サーバ装置で実行する画像解析処理手順を示すフローチャートである。
【図１１】第一のカメラ姿勢での画像解析結果をもとに算出したスコア情報例である。
【図１２】第二のカメラ姿勢での画像解析結果をもとに算出したスコア情報例である。
【図１３】第三のカメラ姿勢での画像解析結果をもとに算出したスコア情報例である。
【図１４】スコア集計結果の一例を示す図である。
【図１５】ネットワークカメラシステムの一例を示すネットワーク接続構成図である。
【図１６】カメラの配置例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図１は、本実施形態における画像処理システムの動作環境の一例を示したネットワーク接続構成図である。本実施形態では、画像処理システムをネットワークカメラシステムに適用する。
【００１１】
ネットワークカメラシステム１０は、ネットワークカメラ（以下、単に「カメラ」ともいう）２０と、ストレージ装置３０と、画像解析サーバ装置（以下、単に「サーバ装置」ともいう）４０と、画像表示装置５０とを備える。カメラ２０、ストレージ装置３０、サーバ装置４０及び画像表示装置５０は、ネットワーク回線であるＬＡＮ（Local Area Network）６０によって接続されている。なお、ネットワーク回線はＬＡＮに限定されるものではなく、インターネットやＷＡＮ（Wide Area Network）などであってもよい。
カメラ２０は、パン機構、チルト機構およびズーム機構を有するＰＴＺカメラである。また、カメラ２０は、プリセット情報に従い、所定のプリセット撮影位置から、所定の順番で監視対象範囲内を巡回撮影する、所謂プリセット巡回機能を有する。
【００１２】
ここで、プリセット情報とは、プリセット巡回機能に関連する設定（プリセット巡回の設定項目）であり、プリセット撮影位置に関する情報とプリセット巡回に関する情報とを含む。具体的には、プリセット撮影位置に関する情報とは、撮影画角（パン位置、チルト位置、ズーム位置）を示す情報であり、プリセット巡回に関する情報とは、複数のプリセット撮影位置を巡回撮影する際の各プリセット撮影位置での撮影時間や、プリセット撮影位置の切替順序（撮影順序）を示す情報である。すなわち、プリセット撮影位置の情報には、カメラ２０の撮影方向に関する情報が含まれる。
【００１３】
カメラ２０は、複数のプリセット撮影位置を巡回しながら被写体を撮影すると同時に、撮影した画像データを、ＬＡＮ６０を介してストレージ装置３０に送信する。また、カメラ２０は、撮影した画像データをもとに画像解析処理を実施し、その画像解析結果を、ＬＡＮ６０を介してストレージ装置３０に送信可能である。
さらに、カメラ２０は、外部からの通信に応じてフォーカスなどのカメラ撮像設定やカメラ画角を変更する機能を有する。
なお、カメラ２０は、ＰＴＺカメラに限定されるものではなく、魚眼カメラや多眼カメラ等であってもよい。
【００１４】
ストレージ装置３０は記録装置であり、カメラ２０から送信される画像データや画像解析結果が書き込まれる書込領域を備える。ストレージ装置３０は、ＬＡＮ６０を介してカメラ２０から画像データや画像解析結果を読み込む。
サーバ装置４０は、ストレージ装置３０に記録された画像データや画像解析結果をＬＡＮ６０経由で読み込む。そして、サーバ装置４０は、収集されたデータを利用し、プリセット情報の自動設定および更新を行うプリセット設定処理を実施する。当該プリセット設定処理では、監視対象範囲内に存在する監視対象の監視に適したプリセット情報を決定するものとし、例えば、監視対象範囲内を通行する人物が映る可能性が高い画角をプリセット撮影位置として設定する。このプリセット設定処理については後で詳述する。
【００１５】
画像表示装置５０は、例えばパーソナルコンピューター（ＰＣ）により構成されており、ユーザ（例えば、監視員）が操作可能となっている。この画像表示装置５０は、カメラ２０から配信される画像データの再生や表示を行う機能を有する。また、画像表示装置５０は、カメラ画角操作やプリセット巡回機能といったカメラ設定などの諸操作を行うための入力手段の機能も有する。
なお、ＬＡＮ６０への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、ストレージ装置３０や画像表示装置５０がＬＡＮ６０に接続される数は、図１に示す数に限定されるものではなく、アドレスなどで識別できれば多数存在してもよい。
また、監視対象は、移動体、人物、及び人物の顔の少なくとも１つであればよく、上記の動きのある人物の他に、例えば車両等の任意の移動体オブジェクトであってもよい。
【００１６】
次に、ネットワークカメラシステム１０を構成する各装置の具体的構成について説明する。
図２は、上記の各装置の機能ブロック図である。
カメラ２０は、画像取得部１２１と、符号化部１２２と、画像解析部１２３と、通信部１２４と、カメラ制御部１２５と、画角制御部１２６と、を備える。
画像取得部１２１は、後述する撮像部の撮像面に結像された光像を光電変換によりデジタル電気信号に変換し、当該デジタル電気信号に対して現像処理を施す。現像処理として、先ず画像取得部１２１は、デジタル電気信号に対して、所定の画素補間や色変換処理を行い、ＲＧＢあるいはＹＵＶなどのデジタル映像を生成する。次に画像処理部１２１は、現像を施した後のデジタル映像を用いて所定の演算処理を行ない、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像補正処理を行う。
【００１７】
画像取得部１２１は、上記処理を施したデジタル画像信号（画像データ）を符号化部１２２及び画像解析部１２３に出力する。
符号化部１２２は、画像取得部１２１を通じて入力されるデジタル映像信号に対して、ネットワーク配信用に圧縮、フレームレート設定などを施し、符号化する。ここでの配信用の圧縮方式は、所定の例えば、ＭＰＥＧ４（Moving Picture Experts Group phase4）、Ｈ．２６４、ＭＪＰＥＧ（Motion-JPEG）またはＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づく。
画像解析部１２３は、画像内で動く動体の検出（動体検出）、画像内で動く人体の検出（人体検出）、顔認識といった画像解析処理を行い、画像内の監視対象を検出する。
【００１８】
図３は、動体検出及び人体検出の検出結果と出力結果との例を示す図である。
動体を検出する方法としては、例えば、前後のフレーム画像を比較し、一定以上の差分がみられたところを動体と判断する方法や、画像に対応する背景画像をあらかじめ用意し、背景画像と現在の画像とを比較して一定以上の差分がみられたところを動体と判断する方法などを用いることができる。
【００１９】
動体の検出結果としては、例えば画像を固定サイズのブロック（図３の例では、縦横８×１０のブロック）に分割して処理を行った場合、ブロックごとに背景領域であるか、動体領域であるかの判定結果が得られる。例えば、図３に示すように、画像内に動く人体１００が存在する場合、動きのある領域が動体領域１０１となり、動きのない領域が背景領域１０２となる。なお、これらをマージして矩形情報として取得してもよい。
この動体検出の出力結果は、例えば、図３に示すように、各ブロックについて動体領域１０１であるか背景領域１０２であるかを示す二値情報の形式で得られる。ここでは、動体領域１０１を“１”、背景領域１０２を“０”としている。
【００２０】
人体を検出する方法としては、例えば、既定の画像パターンが存在するかどうかを調べる方法(テンプレートマッチング)や、局所画像の特徴を、機械学習手法を組み合わせて統計的に判断する方法などを用いることができる。
人体の検出結果としては、例えば、図３に示すように、人体１００の足元から頭まで(または上半身のみ)が含まれる矩形領域１０３を取得することができる。
この人体検出の出力結果は、例えば、図３に示すように、矩形領域１０３の中心の画像内座標（ｘ，ｙ）と、矩形領域１０３の大きさ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）とで示す矩形情報の形式で得られる。
【００２１】
また、顔認識については、あらかじめ登録されている複数の画像に対して、どの画像に類似しているかを尤度と合わせて取得することができる。
これらの画像解析結果は、解析を行ったカメラ情報、撮像時のカメラ姿勢(パン、チルト、ズーム、展開位置など)、画像フレーム番号、および時刻情報と関連付けた状態で通信部１２４に送信される。
通信部１２４は、ＬＡＮ６０を介して、ストレージ装置３０の通信部１３１、サーバ装置４０の通信部１４１及び画像表示装置５０の通信部５０と通信する。通信部１２４は、符号化部１２２から出力される画像データと、画像解析部１２３から出力される画像解析結果とをストレージ装置３０へ送信する。
【００２２】
また、通信部１２４は、ＬＡＮ６０を介して撮影画像サイズ、フレームレート、及びフォーカスの変更指示といったカメラ操作命令を受け取り、これをカメラ制御部１２５へ送信する。さらに、通信部１２４は、ＬＡＮ６０を介してパン・チルト位置の更新、魚眼カメラにおける表示画像領域の更新といったカメラの画角制御命令を受け取り、これを画角制御部１２６に送信する。
カメラ制御部１２５は、上記のカメラ操作命令に従って、撮影画像サイズ、フレームレート、フォーカスを制御する。画角制御部１２６は、上記の画角制御命令に従って、カメラ２０の画角やカメラ２０の姿勢を制御する。
【００２３】
ストレージ装置３０は、通信部１３１と、記録部１３２と、を備える。
通信部１３１は、カメラ２０から送信される画像データ及び画像解析結果を受信し、記録部１３２に送信する。
記録部１３２は、通信部１３１から送信された画像データ及び画像解析結果をメモリ等に記録する。
サーバ装置４０は、通信部１４１と、座標変換部１４２と、スコア算出部１４３と、プリセット設定決定部１４４と、を備える。
通信部１４１は、ストレージ装置３０に記録されたカメラ２０からの画像データファイルを、ＬＡＮ６０を介して受信し、これを座標変換部１４２に送信する。また、通信部１４１は、ＬＡＮ６０を介して、後述するプリセット設定処理で設定したプリセット情報をカメラ２０へ送信する。
【００２４】
座標変換部１４２は、通信部１４１から画像解析結果を受信し、集計用に座標変換を行う。具体的には、画像解析結果の座標情報を、カメラ２０の撮像範囲全体における位置情報へ変換する。
スコア算出部１４３は、座標変換部１４２で変換された情報をもとにスコアを算出する。ここで、スコアとは、カメラ２０の撮像範囲内の複数の領域のそれぞれにおける監視対象の検出結果（例えば、検出頻度）に応じた情報である。
プリセット設定決定部１４４は、スコア算出部１４３で算出したスコアをもとに、プリセット情報を設定するプリセット設定処理を実施する。
【００２５】
本実施形態では、プリセット設定処理は、例えば、初期セットアップ時に実施する。すなわち、初期セットアップとして、画像表示装置５０を通じてユーザからプリセット設定開始指示が入力されると、カメラ２０がこれを受け取り、一定時間、上記の画像解析処理を実施する。そして、サーバ装置４０がその画像解析結果を受け取り、プリセット設定処理を実施する。
このように、カメラ２０は、プリセット情報の自動決定・更新処理であるプリセット設定処理を開始する前に、画像解析処理を実行する。この事前解析処理では、カメラ２０は、カメラ画角（カメラ姿勢）を変更しながら監視対象範囲内の撮影と画像解析処理とを繰り返す。カメラ画角の変更は、カメラ２０がＰＴＺカメラであれば、パン、チルト、ズームを更新することで可能である。また、カメラ２０が魚眼カメラや多眼カメラである場合には、展開する領域を変更することでカメラ画角を変更することができる。
【００２６】
なお、プリセット設定処理を実行するタイミングは上記に限定されるものではなく、例えば、通常のプリセット巡回中（カメラ２０が撮影、記録動作している最中）に定期的に実行してもよい。また、プリセット設定処理は、監視対象（動体や人体）の検出が一定時間ないことをトリガとして、不定期に実行してもよい。
画像表示装置５０は、通信部１５１と、表示制御部１５２と、を備える。
通信部１５１は、ストレージ装置３０に記録されたカメラ２０からの画像データファイルを、ＬＡＮ６０を介して受信し、これを表示制御部１５２に送信する。
表示制御部１５２は、通信部１５１から受信した画像データ及び画像解析結果を画面に表示する。
【００２７】
（ハードウェア構成）
図４は、サーバ装置４０のハードウェア構成の一例を示す図である。
サーバ装置４０は、ＣＰＵ４１と、ＲＯＭ４２と、ＲＡＭ４３と、外部メモリ４４と、通信Ｉ／Ｆ４５と、システムバス４６とを備える。
ＣＰＵ４１は、サーバ装置４０における動作を統括的に制御するものであり、システムバス４６を介して、各構成部（４２〜４５）を制御する。
ＲＯＭ４２は、ＣＰＵ４１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ４４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
【００２８】
ＲＡＭ４３は、ＣＰＵ４１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ４１は、処理の実行に際してＲＯＭ４２から必要なプログラム等をＲＡＭ４３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ４４は、例えば、ＣＰＵ４１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ４４には、例えば、ＣＰＵ４１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
【００２９】
通信Ｉ／Ｆ４５は、外部装置（ここでは、ストレージ装置３０及び画像表示装置５０）と通信するためのインターフェースである。通信Ｉ／Ｆ４５は、例えばＬＡＮインターフェースである。
システムバス４６は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、外部メモリ４４及び通信Ｉ／Ｆ４５を通信可能に接続する。
図２に示すサーバ装置４０の各部の機能は、ＣＰＵ４１がＲＯＭ４２もしくは外部メモリ４４に記憶されたプログラムを実行することで実現される。
【００３０】
なお、カメラ２０の場合には、図３に示す各部に相当する構成の他に、撮像部等のハードウェア構成を具備する。当該撮像部は、被写体の撮像を行うためのものであり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子を含んで構成される。
さらに、画像表示装置５０の場合には、図３に示す各部に相当する構成の他に、入力部や表示部等のハードウェア構成を具備する。ここで、入力部は、キーボードやマウス等のポインティングデバイスで構成され、画像表示装置５０のユーザが画像表示装置５０に対して指示を与えることができるものである。また、表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成されるものである。
【００３１】
（カメラ２０における事前解析処理手順）
次に、カメラ２０で実行する事前解析処理について、具体的に説明する。
事前解析処理では、監視対象範囲全体がカバーされるような複数のカメラ姿勢を設定し、各カメラ姿勢について画像解析を行う。このとき、一定時間（例えば５分）おきにカメラ姿勢を変更し、画像を解析する。なお、監視対象範囲は、ユーザが指定することも可能であるし、パン、チルト、ズームの可動範囲に基づいて特定されるようにしてもよい。また、本実施形態では、事前解析処理において、監視対象範囲全体を撮像して画像解析が行われるが、例えば、パン、チルト、ズームの可動範囲から求まる監視対象範囲全体のうち、ユーザによって指定された一部の領域に対して撮像して画像解析を行なうようにしてもよい。
【００３２】
例えば、監視対象範囲が図５の平面ＡＢＣＤであり、この監視対象範囲内を人物１００が第一地点Ｐ１から第二地点Ｐ２を経由して第三地点Ｐ３へ移動可能であるものとする。このとき、例えば、図５に示す右向きのカメラ姿勢（ＰＴＺ＝（４５，０，５０））を第一のカメラ姿勢、図６に示す中央のカメラ姿勢（ＰＴＺ＝（０，０，５０））を第二のカメラ姿勢、図７に示す左向きのカメラ姿勢（ＰＴＺ＝（−４５，０，５０））を第三のカメラ姿勢として設定する。
【００３３】
ここで、上記のＰＴＺの各数値は、パン位置、チルト位置、ズーム位置を表す数値であり、それぞれカメラ中心からの角度で示している。これらの数値は、パンの右向き、チルトの下向きをそれぞれ正に取っている。また、ズームの値はカメラの水平画角である。
事前解析処理では、第一のカメラ姿勢から開始して、第二のカメラ姿勢、第三のカメラ姿勢の順にカメラ姿勢を変更し、それぞれの撮影範囲を撮影する。
図８は、事前解析処理手順を示すフローチャートである。
この事前解析処理は、カメラ２０を構成するＣＰＵが、図８のフローチャートに対応する処理の実行のために必要なプログラムを実行することにより、実現される。
【００３４】
先ずステップＳ１で、カメラ２０は、カメラ姿勢を予め設定した第一のカメラ姿勢へ変更し、ステップＳ２に移行する。
ステップＳ２では、カメラ２０は撮影範囲内を撮影し、ステップＳ３に移行する。
ステップＳ３では、カメラ２０は、ステップＳ２で撮影した画像を解析し、図３に示すような出力結果を得る。
【００３５】
次にステップＳ４で、カメラ２０は、同じカメラ姿勢で予め設定した一定時間（例えば５分）撮影及び画像解析を行ったか否かを判定し、一定時間が経過していない場合には、ステップＳ２に戻ってそのまま撮影及び画像解析を継続し、一定時間が経過するとステップＳ５に移行する。
ステップＳ５では、カメラ２０は、カメラ姿勢を変更して監視対象範囲をすべて撮影したか否かを判定する。そして、監視対象範囲内で撮影していない領域が存在する場合、すなわち予め設定した複数のカメラ姿勢のうち、撮影及び画像解析を行っていないカメラ姿勢が存在する場合には、ステップＳ６に移行する。
ステップＳ６では、カメラ２０は、カメラ姿勢を、撮影及び画像解析を行っていないカメラ姿勢へ変更し、ステップＳ２に移行する。
【００３６】
一方、上記のステップＳ５で、監視対象範囲をすべて撮影したと判断した場合には、ステップＳ７に移行し、カメラ２０は、各カメラ姿勢で取得した画像解析結果を出力する。
図９は、画像解析結果の一例を示す図である。
この図９に示す例では、１０時０分０秒をフレーム番号０とし、１秒間に１０枚の画像を解析し、１秒間に１回、画像解析結果（人体検出結果）を記録している。また、カメラ姿勢は、５分おきに切り替えている。
【００３７】
図９に示す例では、カメラ姿勢が右向き（ＰＴＺ＝（４５，０，５０））、及び左向き（ＰＴＺ＝（４５，０，５０））のときは人体検出結果が少なく、カメラが正面を向いているとき（ＰＴＺ＝（０，０，５０））は毎秒人体検出結果が得られている。したがって、この結果から、右向き及び左向きのカメラ姿勢は、画像解析に不向きな画角であり、カメラが正面を向いているカメラ姿勢は、画像解析に適した画角、サイズであり、記録に向いていることが読み取れる。
そこで、サーバ装置４０では、カメラ２０から得られた画像解析結果に基づいて、監視対象範囲内の人体検出頻度マップ（監視対象範囲内のどの領域で人体検出頻度が高いかを示すマップ）を作成し、その人体検出頻度マップをもとに、監視や画像解析に適したプリセット情報を設定する。
【００３８】
（サーバ装置４０におけるプリセット設定処理手順）
図１０は、プリセット設定処理手順を示すフローチャートである。
このプリセット設定処理は、図４に示すＣＰＵ４１が、図１０のフローチャートに対応する処理の実行のために必要なプログラムを実行することにより、実現される。
先ずステップＳ１１で、サーバ装置４０は、カメラ２０が事前解析処理で得た画像解析結果を読み込み、ステップＳ１２に移行する。
ステップＳ１２では、サーバ装置４０は、ステップＳ１１で読み込んだ画像解析結果の座標情報を、監視対象範囲における位置情報へ変換する。すなわち、画像内座標を第２の座標である監視対象範囲内座標へ変換する。
【００３９】
座標変換の方法には、いくつかやり方が考えられる。簡単な方法としては、カメラ姿勢毎に画像上の任意の点と実際の座標情報とを４点ほど関連づけて記憶し、この情報を元に射影変換を行う方法がある。また、より高い精度で座標変換を行う方法としては、カメラを事前にキャリブレーションしておき、設置高さ、パン、チルト、ズームの情報を元に撮影画像から世界座標系に変換する行列式を用意する方法がある。
【００４０】
次にステップＳ１３で、サーバ装置４０は、ステップＳ１２で第２の座標へ変換した後の画像解析結果をもとに、カメラ姿勢毎のスコアを算出する。ここで、スコアとは、例えば、監視対象範囲内の複数の領域のそれぞれにおける人体検出数とする。
スコア情報は、例えば図１１〜図１３に示すように、人体検出数を表す数字を、監視対象範囲を示す平面ＡＢＣＤに対してマッピングした形で表すことができる。図１１は、第一のカメラ姿勢（ＰＴＺ＝（４５，０，５０））での画像解析結果をもとに算出したスコア情報、図１２は、第二のカメラ姿勢（ＰＴＺ＝（０，０，５０））での画像解析結果をもとに算出したスコア情報、図１３は、第三のカメラ姿勢（ＰＴＺ＝（−４５，０，５０））での画像解析結果をもとに算出したスコア情報である。
なお、ここではスコアとして人体検出数を用いているが、動体検出数や顔認識数を用いることもできる。
【００４１】
次にステップＳ１４では、サーバ装置４０は、ステップＳ１３で算出した各カメラ姿勢でのスコアを集計し、ステップＳ１５に移行する。例えば、図１１〜図１３に示す各カメラ姿勢でのスコアを集計すると、図１４に示すようになる。このように、各カメラ姿勢でのスコアをマージすることで、監視対象範囲内の人体検出頻度マップを作成することができ、監視対象範囲全体で人体検出数が多い領域（人が多く映る領域）を判別することができる。
【００４２】
ステップＳ１５では、サーバ装置４０は、ステップＳ１４のスコア集計結果をもとに、プリセット巡回の設定項目の一つである撮影画角を決定する。ここでは、スコアが所定の閾値よりも高い位置（領域）を選択し、その位置が撮影中心となるよう画角を設定する。ただし、選択された位置を厳密に撮影中心としなくても、選択された位置が撮影中心から所定範囲内の領域となるように画角を設定すればよい。
例えば、閾値が３である場合、図１４の左上（Ａ地点）から右に５ブロック、下に４ブロックの位置Ｐ４がこれに該当する。この場合、位置Ｐ４が中心に映る画角を計算し、新規のプリセット撮影位置とする。もし候補が複数ある場合は、それらのすべてを新規のプリセット撮影位置としてもよいし、スコア順に上位から所定の数を選択してもよい。
【００４３】
画角を決定する要因の一つであるズーム倍率は、例えば、選択された領域だけが映るように十分にズームして撮影するように設定してもよいし、図１４に示すように、選択領域の周辺にも動体検出、人体検出の結果があれば、これらの領域も映るように設定してもよい。他には、領域によらない決定方法として、選択された画角領域で検出された人体や動体サイズの平均値、当該サイズの中央値、または最も検出された人体や動体のサイズ（最頻値）に合わせてズーム倍率を決定してもよい。
【００４４】
次にステップＳ１６で、サーバ装置４０は、ステップＳ１４のスコア集計結果をもとに、プリセット巡回の設定項目の一つである撮影時間を決定する。
撮影時間は、スコア情報に基づき、人体検出頻度が高いほど長い時間映すように設定する。このように、スコア（人体検出頻度）が高い領域の撮影時間を長くすることで、人物が映っている時間を最大化することができる。なお、撮影時間は、固定の時間であってもよい。
【００４５】
次にステップＳ１７で、サーバ装置４０は、ステップＳ１４のスコア集計結果をもとに、プリセット巡回の設定項目の一つである撮影順序を決定する。撮影順序は、スコアが高い順に撮影していくように設定する。なお、撮影順序は、予め登録された順序であってもよい。
次にステップＳ１８で、サーバ装置４０は、ステップＳ１５〜Ｓ１７で決定したプリセット巡回設定項目を、そのままプリセット巡回での新しい設定値としてカメラ２０へ出力する。
なお、プリセット巡回設定項目は、画像表示装置５０へ出力してもよい。この場合、画像表示装置５０でプリセット巡回設定の候補としてユーザへ提示し、ユーザの確認操作を仰いでもよい。
【００４６】
また、上記ステップＳ１４のスコア集計時において、単純に各カメラ姿勢でのスコアをマージする場合について説明したが、例えば、スコア集計時に所定のサイズよりも小さい画像解析結果や、所定の尤度よりも低い顔認識結果は集計から除外するようにしてもよい。これにより、画像解析結果の誤りによる影響を減らすことができる。また、監視対象の撮影画像内位置、サイズ、検出尤度といった情報を重み付けし、これらを組み合わせてスコアを算出してもよい。
さらに、スコアの算出方法は、監視カメラを設置する目的に応じて切り替えてもよい。例えば、人数を数えたり混雑度を確認したりする目的であれば、人が多く映る可能性の高い領域を優先して撮影することが望ましい。したがって、この場合には、多くの人が映っていると考えられる、画像解析結果が多く得られた領域（検出頻度が高い領域）のスコアが高くなるよう、スコアの計算式を与えればよい。
【００４７】
また、店内の防犯目的の場合は、万引き行為が行われ易い場所を優先して撮影することが望ましい。万引き行為は人気の少ない場所で行われると考えられるため、このような場合は、画像解析結果が少ない領域（検出頻度が低い領域）が高いスコアとなるよう、スコアの計算式を与えればよい。
カメラの設置目的以外にも、監視対象範囲内において、画像解析結果がどれだけ得られたかによってスコアの算出方法を切り替えてもよい。例えば、監視対象範囲内で画像解析結果が多く得られ、全体的に人が多く写っていると考えられる場合に、人が少ない領域（検出頻度が低い領域）のスコアが高くなるよう計算式を与え、プリセット巡回の対象に選ばれやすくしてもよい。この場合、混雑した店舗や公共施設において、人気の少ない場所で行動している人を積極的に撮影するようなプリセット巡回の設定が可能となる。
【００４８】
また、逆に、監視対象範囲内に画像解析結果が少なく、全体的に人が少ないと考えられる場合に、人が多い領域（検出頻度が高い領域）のスコアが高くなるように計算式を与えてもよい。この場合、営業時間外の店舗や人気のない駐車場において、侵入者や不審者を積極的に撮影するようなプリセット巡回の設定が可能となる。
さらに、画像解析に用いた撮影画像の撮影時間帯（朝、昼、夕など）ごとにプリセット情報を決定してもよい。この場合、巡回撮影を行う時間帯に応じて、参照するプリセット情報を切り替えてプリセット巡回を行う。これにより、時間帯によって監視対象範囲内における被写体の存在確率が偏る場合でも、柔軟に撮影画角を変更し、適切な巡回撮影が可能となる。また、上記の時間帯の他にも、例えば、天気、日付、曜日、季節、気温などの外的要因に応じてプリセット情報を決定してもよい。
【００４９】
なお、図８において、ステップＳ１及びＳ６の処理が画角制御部１２６の処理に対応し、ステップＳ２が画像取得部１２１の処理に対応し、ステップＳ３〜Ｓ５が画像解析部１２３の処理に対応している。また、ステップＳ７の処理が通信部１２４の処理に対応している。
また、図１０において、ステップＳ１１及びＳ１８の処理が通信部１４１の処理に対応し、ステップＳ１２の処理が座標変換部１４２の処理に対応し、ステップＳ１３及びＳ１４の処理がスコア算出部１４３の処理に対応している。さらに、ステップＳ１５〜Ｓ１７の処理がプリセット設定決定部１４４の処理に対応している。
【００５０】
以上のように、本実施形態では、監視対象範囲全体を撮影した撮影画像を解析し、その解析結果に基づいてプリセット情報を決定する。このように、事前の画像解析結果に基づいてプリセット情報を決定するため、監視対象範囲内の監視に適したプリセット情報を決定することができる。
プリセット巡回の設定は、設置業者、またはユーザ自身が各カメラに対して個別に行う必要がある。ユーザによっては設定の仕方が分からなかったり、そもそもプリセット巡回機能の存在を知らなかったりするため、広範囲を撮影できるカメラを設置しているにもかかわらず、一定の範囲のみを撮影する固定カメラとして運用しているケースも多い。本実施形態では、プリセット情報を自動的に決定・更新することができるので、ユーザに設定の手間をかけさせずにプリセット巡回の設定を行うことができ、１台のカメラで広範囲の撮影を実現できる。
【００５１】
また、監視対象範囲内の複数の領域のそれぞれについて監視対象の検出の有無を解析するので、監視対象範囲内で監視対象が検出されやすい（監視対象が映る可能性が高い）領域や、監視対象が検出されにくい（監視対象が映る可能性が低い）領域等を考慮したプリセット情報の決定が可能となる。
ここで、監視対象を移動体、人物および人物の顔の少なくとも１つとすることで、車両等の移動物体や、動きのある人物、特定の人物など、目的に応じた適切な監視が可能となる。
【００５２】
さらに、監視対象範囲内の複数の領域のそれぞれについて、画像解析結果に応じたスコアを設定し、当該スコアが閾値以上である領域が撮影中心となるようにプリセット撮影位置を決定する。したがって、積極的に巡回撮影したい状況となり得る領域のスコアが高くなるようにスコア計算式を与えれば、所期のプリセット情報を適切に決定することができる。
例えば、監視対象の検出頻度が高い領域ほどスコアが高くなるように設定すれば、監視対象（例えば人物）がよく通る通路等を巡回撮影するようなプリセット情報が決定される。これにより、混雑度の確認や不審者の行動の監視等を適切に行うことができる。また、逆に、監視対象の検出頻度が低い領域ほどスコアが高くなるように設定すれば、人気のない場所等を巡回撮影するようなプリセット情報が決定される。これにより、店内での万引き行為等を適切に監視することができる。
【００５３】
また、このとき、監視対象が検出された撮影画像内における領域や、監視対象のサイズ、監視対象の検出尤度などに基づいて重み付けしたスコアを設定することで、より適切なプリセット情報を決定することができる。
さらに、スコアが高いものから所定数選択し、選択したスコアに対応する領域がそれぞれ撮影中心となるようにプリセット撮影位置を決定すれば、優先度の高い位置を巡回撮影することができる。また、所定数に制限することで、大量のプリセット撮影位置が登録されて実用に堪えなくなることを防止することができる。
【００５４】
また、監視対象のサイズ（平均値、中央値、最頻値）に応じてズーム倍率を決定するので、監視対象を確実に撮影することができる。
さらに、スコアが高いほど、そのプリセット撮影位置でのプリセット巡回における撮影時間を長く設定するので、積極的に巡回撮影したい状況となり得る領域を集中的に監視することができる。
また、プリセット巡回において、スコアが高い順にプリセット撮影位置が切り替わるように切替順序（撮影順序）を決定するので、積極的に巡回撮影したい状況となり得る領域を優先的に監視することができる。
【００５５】
以上のように、事前の画像解析結果に基づいてプリセット情報（画角、撮影時間、撮影順序）決定する。そのため、上記のとおり決定したプリセット情報を参照し、各プリセット撮影位置を巡回するようにカメラの撮影画角を制御することで、カメラの撮影範囲よりも広い監視対象範囲内を効率良く巡回撮影し、適切な監視が可能となる。
また、画像解析に用いる撮像画像の撮影時間帯ごとにプリセット情報を決定することで、プリセット巡回を行う時間帯に応じて参照するプリセット情報を切り替えることができる。これにより、時間帯によって監視対象範囲内における被写体の存在確率が偏る場合でも、柔軟に撮影画角を変更することができ、より適切な巡回撮影が可能となる。
【００５６】
さらに、画像解析結果に基づいて決定したプリセット情報をユーザ（例えば、監視員）に提示し、ユーザに確認操作を仰ぐようにすれば、不要なプリセット情報が登録されるのを防止することができ、より適切な監視が可能となる。
なお、上記の実施形態では、カメラ２０が１台である場合を中心に説明したが、複数台のカメラ２０を備えるシステムにおいても本発明は実施可能である。
図１５は、複数のカメラ２０を備えた場合におけるネットワークカメラシステムの動作環境の一例を示したネットワーク接続構成図である。この図１５に示すように、複数台（ここでは３台）のカメラ２０Ａ〜２０Ｃを備える。
ここで、カメラ２０Ａは、上述したカメラ２０と同様の構成を有する。すなわち、カメラ２０Ａは、ＰＴＺの変更機能を持ち、画角の変更が可能なカメラである。
【００５７】
一方、カメラ２０Ｂ及び２０Ｃは、画角変更機能を持たない、固定のカメラである。すなわち、カメラ２０Ｂ及び２０Ｃは、図２における画角制御部１２６を備えていないことを除いては、カメラ２０と同様の構成を有する。
図１６は、カメラ２０Ａ〜２０Ｃの配置例を示す図である。
この図１６に示すように、カメラ２０Ａ〜２０Ｃは、平面ＡＢＣＤで構成される同じ監視対象範囲内を監視している。
このとき、カメラ２０Ａだけでなく、カメラ２０Ｂ及び２０Ｃも、画像解析結果をストレージ装置３０に送信する。これにより、サーバ装置４０は、プリセット設定処理の実行時に、カメラ２０Ａによる画像解析結果に加えて、カメラ２０Ｂ及び２０Ｃによる画像解析結果を使用することができる。
【００５８】
以上のように、複数台のカメラ構成とし、複数台のカメラによる画像解析結果を用いてプリセット情報を決定する。このように、複数台のカメラを組み合わせて使用することで、初期セットアップや更新に必要な時間を短縮することができる。
なお、カメラの台数は図１５に示す台数に限定されるものではなく、画角変更が可能なカメラが少なくとも１台設置されていればよい。すなわち、２台目以降のカメラは、画角変更が可能なカメラであっても、画角変更機能を持たないカメラであってもよい。
【００５９】
（変形例）
上記実施形態においては、画像解析処理をカメラ（撮像装置）側で行う場合について説明したが、サーバ装置４０で実行してもよい。すなわち、図２の画像解析部１２３は、サーバ装置４０が備えていてもよい。
さらに、上記実施形態においてサーバ装置４０で実行しているプリセット設定処理は、カメラ２０や画像表示装置５０で実行するようにしてもよい。また、カメラ２０からの画像データファイルをストレージ装置３０に記憶する場合について説明したが、当該画像データファイルはカメラ２０で保持してもよいし、画像表示装置５０が保持してもよい。
また、上記実施形態においては、プリセット巡回を行うカメラ２０で撮像した撮像画像を解析しプリセット情報を決定する場合について説明したが、監視対象範囲全体を撮影した撮影画像を解析できればよく、プリセット巡回を行うカメラ２０とは別のカメラで撮像した撮像画像を解析しプリセット情報を決定してもよい。
【００６０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体（または記録媒体）を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
１０…ネットワークカメラシステム、２０…カメラ、３０…ストレージ装置、４０…サーバ装置、５０…画像表示装置、６０…ＬＡＮ、１００…監視対象（人物）、１０１…動体領域、１０２…背景領域、１０３…矩形領域
【図１】
0006532217.tif 000002
【図２】
0006532217.tif 000003
【図３】
0006532217.tif 000004
【図４】
0006532217.tif 000005
【図５】
0006532217.tif 000006
【図６】
0006532217.tif 000007
【図７】
0006532217.tif 000008
【図８】
0006532217.tif 000009
【図９】
0006532217.tif 000010
【図１０】
0006532217.tif 000011
【図１１】
0006532217.tif 000012
【図１２】
0006532217.tif 000013
【図１３】
0006532217.tif 000014
【図１４】
0006532217.tif 000015
【図１５】
0006532217.tif 000016
【図１６】
0006532217.tif 000017