(57)【特許請求の範囲】
【請求項１】
動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する検知部と、
前記検知部が前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾する追尾部と、
前記検知部が前記対象物体を検知した後、前記追尾部が追尾した前記対象物体を示す代表画像を作成する代表画像作成部と、
を備え、
前記代表画像作成部は、
予め指定された時間帯において取得された前記動画映像に基づき前記代表画像を生成し、
前記検知部は、
前記時間帯の最終フレームで前記対象物体の前記検知を終了させる、
代表画像生成装置。
【請求項２】
前記追尾部が前記対象物体を追尾している間、前記対象物体の視認性を演算する視認性演算部を備え、
前記代表画像作成部は、前記視認性演算部が前記対象物体の視認性を演算した結果に基づいて前記代表画像を作成する、請求項１に記載の代表画像生成装置。
【請求項３】
前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を演算し、
前記代表画像作成部は、前記対象物体の視認性が最も高いフレームの画像から前記代表画像を作成する、請求項２に記載の代表画像生成装置。
【請求項４】
前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を演算し、
前記代表画像作成部は、前記対象物体の視認性が所定のしきい値以上のフレームの画像から前記代表画像を作成する、請求項２又は３に記載の代表画像生成装置。
【請求項５】
前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を示す複数のファクターのそれぞれについての重み付け係数を算出し、
前記重み付け係数に基づいて、前記対象物体の視認性が高いフレームの画像のスコアを演算する適性演算部を備え、
前記代表画像作成部は、前記適性演算部の算出結果に基づいて、前記対象物体の視認性が高いフレームの画像から前記代表画像を作成する、請求項２〜４のいずれか１項に記載の代表画像生成装置。
【請求項６】
前記対象物体の視認性が高いほど前記重み付け係数の値は大きくなり、
前記代表画像作成部は、前記重み付け係数の合計値が最も大きいフレームの画像から前記代表画像を作成する、請求項５に記載の代表画像生成装置。
【請求項７】
前記対象物体の視認性が高いほど前記重み付け係数の値は大きくなり、
前記代表画像作成部は、前記重み付け係数の合計値が所定のしきい値以上のフレームの画像から前記代表画像を作成する、請求項５に記載の代表画像生成装置。
【請求項８】
前記代表画像作成部は、現フレームの前記重み付け係数の合計値が前回までのフレームの前記重み付け係数の合計値よりも大きい場合に前記代表画像を作成し、前回までのフレームで作成された前記代表画像を更新する、請求項６に記載の代表画像生成装置。
【請求項９】
前記対象物体は人物であり、
前記複数のファクターは、人物の大きさ、人物のアスペクト比、人物の追尾方向、人物の人らしさ、人物の顔の方向、人物の色情報、人物の移動速度、人物の画像に含まれるノイズ、及び人物の輝度のいずれかを含む、請求項５〜８のいずれか１項に記載の代表画像生成装置。
【請求項１０】
前記検知部は、前記動画映像の中から所定の条件を満たす前記対象物体を検知し、
前記所定の条件は、前記対象物体が所定の禁止エリアに侵入したこと、又は前記対象物体が所定の指定ラインを通過したことである、請求項１〜９のいずれか１項に記載の代表画像生成装置。
【請求項１１】
前記指定ラインを設定するための第１の画像、前記対象物体が前記指定ラインを通過した際に取得された第２の画像、又は前記代表画像を作成した際に取得された第３の画像を保存する記憶部を備える、請求項１０に記載の代表画像生成装置。
【請求項１２】
ユーザの操作入力に基づいて指定された前記代表画像に対応する前記第１の画像、前記第２の画像及び前記第３の画像の少なくとも１つを表示するための処理を行う表示処理部を備える、請求項１１に記載の代表画像生成装置。
【請求項１３】
動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知することと、
前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾することと、
前記対象物体を検知した後、追尾した前記対象物体を示す代表画像を作成することと、
を備え、
前記代表画像を作成することは、
予め指定された時間帯において取得された前記動画映像に基づき前記代表画像を生成し、
前記検知することは、
前記時間帯の最終フレームで前記対象物体の前記検知を終了させる、
代表画像生成方法。
【請求項１４】
動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する手段、
前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾する手段、
前記対象物体を検知した後、追尾した前記対象物体を示す代表画像を作成する手段、
としてコンピュータを機能させ、
前記代表画像を作成する手段は、
予め指定された時間帯において取得された前記動画映像に基づき前記代表画像を生成し、
前記検知する手段は、
前記時間帯の最終フレームで前記対象物体の前記検知を終了させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、代表画像生成装置、代表画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、顔画像を検出する装置において、一連の連続画像から客観的に最もバランスの取れた正面顔像を選択して保存することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２２７９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在、セキュリティカメラの普及が爆発的に伸びており、年間に記録される映像はすでに１兆時間を超えていると言われている。この流れは今後も加速する傾向にあり、数年後には現在の数倍の記録時間に達すると予測されている。しかし、このような現状であるにも関わらず、例えば事件発生等の有事の際は、今でもオペレータが大量に記録された映像を一つ一つ再生して確認すると言った、目視による検索をしている事例が多く、年々オペレータの人件費が増加しているという問題が生じている。
【０００５】
このような問題に対しては、予め禁止エリアや通過ラインを指定することで、禁止エリアへ不法侵入(侵入検知)した人や車、または指定ラインを通過(ライン検知)した人や車などを検知する機能を使うことが想定される。このような侵入検知機能を利用すれば、検索時間を削減することが可能であり、これらの侵入検知機能を監視カメラ内、または映像を記録して管理するサーバ内に搭載することで、オペレータの作業負荷軽減を実現することができる。
【０００６】
しかしながら、このような侵入検知機能を利用したとしても、検知した人や車が画像中に小さく写っている場合や検知した人や車が画像中で適切な方向を向いていない場合は、検知した人や車の素性を特定することは困難である。
【０００７】
上述した特許文献１に記載された技術は、顔画像を検出する装置において、一連の連続画像から客観的に最もバランスの取れた正面顔像を選択して保存するものであり、監視カメラ等によって動体検知される対象物体が確実に判別できるように画像を取得することは何ら想定していない。
【０００８】
そこで、動体検知される対象物体が明らかとなるように、対象物体の最適な代表画像を生成することが求められていた。
【課題を解決するための手段】
【０００９】
本開示によれば、動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する検知部と、前記検知部が前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾する追尾部と、前記検知部が前記対象物体を検知した後、前記追尾部が追尾した前記対象物体を示す代表画像を作成する代表画像作成部と、を備え、前記代表画像作成部は、予め指定された時間帯において取得された前記動画映像に基づき前記代表画像を生成し、前記検知部は、前記時間帯の最終フレームで前記対象物体の前記検知を終了させる、代表画像生成装置が提供される。
【００１０】
前記追尾部が前記対象物体を追尾している間、前記対象物体の視認性を演算する視認性演算部を備え、前記代表画像作成部は、前記視認性演算部が前記対象物体の視認性を演算した結果に基づいて前記代表画像を作成するものであっても良い。
【００１１】
また、前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を演算し、前記代表画像作成部は、前記対象物体の視認性が最も高いフレームの画像から前記代表画像を作成するものであっても良い。
【００１２】
また、前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を演算し、前記代表画像作成部は、前記対象物体の視認性が所定のしきい値以上のフレームの画像から前記代表画像を作成するものであっても良い。
【００１３】
また、前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を示す複数のファクターのそれぞれについての重み付け係数を算出し、前記重み付け係数に基づいて、前記対象物体の視認性が高いフレームの画像のスコアを演算する適性演算部を備え、前記代表画像作成部は、前記適性演算部の算出結果に基づいて、前記対象物体の視認性が高いフレームの画像から前記代表画像を作成するものであっても良い。
【００１４】
また、前記対象物体の視認性が高いほど前記重み付け係数の値は大きくなり、前記代表画像作成部は、前記重み付け係数の合計値が最も大きいフレームの画像から前記代表画像を作成するものであっても良い。
【００１５】
また、前記対象物体の視認性が高いほど前記重み付け係数の値は大きくなり、前記代表画像作成部は、前記重み付け係数の合計値が所定のしきい値以上のフレームの画像から前記代表画像を作成するものであっても良い。
【００１６】
また、前記代表画像作成部は、現フレームの前記重み付け係数の合計値が前回までのフレームの前記重み付け係数の合計値よりも大きい場合に前記代表画像を作成し、前回までのフレームで作成された前記代表画像を更新するものであっても良い。
【００１７】
また、前記対象物体は人物であり、前記複数のファクターは、人物の大きさ、人物のアスペクト比、人物の追尾方向、人物の人らしさ、人物の顔の方向、人物の色情報、人物の移動速度、人物の画像に含まれるノイズ、及び人物の輝度のいずれかを含むものであっても良い。
【００１８】
また、前記検知部は、前記動画映像の中から所定の条件を満たす前記対象物体を検知し、前記所定の条件は、前記対象物体が所定の禁止エリアに侵入したこと、又は前記対象物体が所定の指定ラインを通過したことであっても良い。
【００１９】
また、本開示によれば、動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知することと、前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾することと、前記対象物体を検知した後、追尾した前記対象物体を示す代表画像を作成することと、を備え、前記代表画像を作成することは、予め指定された時間帯において取得された前記動画映像に基づき前記代表画像を生成し、前記検知することは、前記時間帯の最終フレームで前記対象物体の前記検知を終了させる、代表画像生成方法が提供される。
【００２０】
また、本開示によれば、動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する手段、前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾する手段、前記対象物体を検知した後、追尾した前記対象物体を示す代表画像を作成する手段、としてコンピュータを機能させ、前記代表画像を作成する手段は、予め指定された時間帯において取得された前記動画映像に基づき前記代表画像を生成し、前記検知する手段は、前記時間帯の最終フレームで前記対象物体の前記検知を終了させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本開示によれば、動体検知される対象物体が明らかとなるように、対象物体の最適な代表画像を生成することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係る代表画像生成装置の構成例を示す模式図である。
【図２】適切サムネイル作成部を詳細に示すブロック図である。
【図３】動画映像から動体を検知する検知フェーズの処理を示すフローチャートである。
【図４】適切画像選択フェーズの処理を示すフローチャートである。
【図５】図４のステップＳ２４の処理を具体的に示すフローチャートである。
【図６】指定ラインの通過を検知したケースにおいて、通常手法のサムネイル画像出力と本実施形態のサムネイル画像出力とで効果を比較した例を示す模式図である。
【図７】代表画像生成装置を備えた監視カメラの構成を示す模式図である。
【図８】代表画像生成装置が取得したラインクロッシング設定画面、ライン通過シーン確認画面、適切画像確認画面を事後的に取得する様子を示す模式図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、説明は以下の順序で行うものとする。
１．前提となる技術
２．本実施形態に係る代表画像生成装置の構成例
３．代表画像生成装置で行われる処理フロー
４．通常手法と本実施形態とでサムネイル画像出力の効果の比較した例
５．監視カメラの構成例
【００２５】
１．前提となる技術
前述したように、近時ではセキュリティカメラの普及が爆発的に伸びているが、例えば事件発生等の有事の際は、今でもオペレータが大量に記録された映像を一つ一つ再生して確認すると言った、目視による検索をしている事例が多く、年々オペレータの人件費が増加しているという問題が生じている。
【００２６】
このような問題に対しては、予め禁止エリアや通過ラインを指定することで、禁止エリアへ不法侵入(侵入検知)した人や車、または指定ラインを通過(ライン検知)した人や車などを検知する機能を利用できる。このような侵入検知機能を利用すれば、検索時間を削減することが可能であり、これらの侵入検知機能を監視カメラ内、または映像を記録して管理するサーバ内に搭載することで、オペレータの作業負荷軽減を実現することができる。
【００２７】
しかし、これらの機能を利用した場合でも、依然として問題点が含まれており、ケースによってはオペレータの作業時間を削減できない場合もある。以下では、下記のステップ１〜４のフローに従って禁止エリアに侵入した人物（犯人）を検索する場合のワークフローを一例としてこれらの問題点を説明する。
【００２８】
ステップ１：監視カメラの監視エリアで事件が発生
ステップ２：侵入検知機能が設定された任意の特定エリアにいた人が誰であるか検索するために、オペレータが検索したい特定エリアを指定
ステップ３：侵入検知機能を起動し、録画した映像の中から特定エリアに侵入した人物を検索
ステップ４：侵入検知機能から出力された検索結果(サムネイル、タイムラインタグ)群を参照し、オペレータが一つ一つ対象人物を目視で確認して犯人を特定
【００２９】
以上のフローで問題となるフェーズは、ステップ３とステップ４である。通常、ステップ３のフェーズでは、侵入検知の結果として、禁止エリアに侵入した時点の人物の映像を検索結果としてサムネイル等で出力する。ステップ４のフェーズでは、その出力されたサムネイルをオペレータが目視確認することで、検索された人物が犯人であるか否かを判断する。しかし、ステップ３で出力されるサムネイル自体は、侵入した瞬間の画像を切り出しているため、エリアの指定位置によっては、対象人物が小さく映っており、サムネイルを拡大したとしても十分な解像度を得ることができない。このため、サムネイルだけでは顔や衣服の特徴まで識別することはできず、結局その対象となる人物が録画されている映像を一つ一つ再生し、人物像が視認できるところまで目視で映像を眺めて確認すると言った手法を繰り返すことになる。
【００３０】
本実施形態では、禁止エリアへの侵入を検知した瞬間の対象人物の映像をサムネイルとして出力するのではなく、侵入した対象人物を追尾することによって、最も視認性が良いフレームの映像から人物サムネイルを作成する。これにより、オペレータの作業時間を大幅に削減することが可能となる。以下、詳細に説明する。
【００３１】
２．本実施形態に係る代表画像生成装置の構成例
図１は、本実施形態に係る代表画像生成装置１０００の構成例を示す模式図である。代表画像生成装置１０００は、監視カメラが撮影した動画映像を取得し、追尾対象の物体のサムネイル画像（代表画像）を出力する。後述するように、代表画像生成装置１０００はパーソナルコンピュータなど監視カメラとは別の装置であっても良いし、監視カメラと一体の装置であっても良い。図１に示すように、代表画像生成装置１０００は、検知部１００、適切サムネイル作成部２００、記憶部２５０、表示処理部２６０、操作入力部２７０を有して構成される。検知部１００には、カメラが撮影した動画映像がフレーム毎に入力される。また、検知部１００には、上述した禁止エリアや指定ラインを示す検知指定情報が入力される。
【００３２】
検知部１００には、監視カメラで撮影された動画映像が入力される。検知部１００は、入力された動画映像に対して公知の手法で動体検知を行い、映像内で動いている人物、車などを検知する。本実施形態では、映像内で動いている人物を検知するシステムで説明する。人物以外にも車や他の対象物でも良い。また、検知部１００は、入力された検知指定情報に基づいて、映像内で動いている人が禁止エリアへ侵入したか否か、映像内で動いている人が指定したラインを通過したか否か、を検知する。
【００３３】
適切サムネイル作成部２００は、入力された動画映像中で動体検知された人物の映像が適切な画像であるか否かを判定し、適切な画像であると判断がされた場合はサムネイル画像を作成して出力する。記憶部２５０は、作成した適切サムネイル画像、追尾対象の人物が指定ラインを通過した際の画像を含む、各種画像を保存する。表示処理部２６０は、適切サムネイル画像を含む各種画像を表示するための処理を行う。操作入力部２７０には、マウス、キーボード、タッチパネル等のユーザーインターフェースから操作情報が入力される。
【００３４】
図２は、適切サムネイル作成部２００を詳細に示すブロック図である。なお、図１及び図２に示す各構成要素は、ハードウェア（回路）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのソフトウェア（プログラム）によって構成することができる。適切サムネイル作成部２００は、追尾演算部２１０、視認性演算部２２０、適性演算部２３０、サムネイル作成部２４０を有して構成されている。追尾演算部２１０は、検知部１００で検知された人物を追尾する機能を有している。追尾演算部２１０は、検知部１００で検知された人物の特徴からフレーム毎に追尾している人物が同一人物であるか否かを判定し、追尾を行う。
【００３５】
視認性演算部２２０は、追尾演算部２１０で追尾中の人物に対してフレームごとに視認性を判断し、適性スコアを算出するための複数の視認性重み付け係数を算出するブロックである。適性演算部２３０は、視認性演算部２２０から出力された重み付け係数の算出結果から適性スコアを算出する。サムネイル作成部２４０は、追尾した人物のサムネイル画像を作成する。
【００３６】
３．代表画像生成装置で行われる処理フロー
以下では、図３及び図４のフローチャートに基づいて、図１及び図２のブロック図を参照しながら代表画像生成装置１０００で行われる処理について説明する。図３は、動画映像から動体を検知する検知フェーズの処理を示すフローチャートであって、動画映像のフレーム毎に行われる。この処理では、禁止エリアへの侵入検知、または指定ラインの通過検知をトリガーとして、図４の適切画像選択フェーズへ移行するかどうかを判断する。先ず、ステップＳ１０では、動体検知を行うとともに、追尾している人物が禁止エリアに侵入したか、あるいは追尾している人物が指定ラインを通過したかを検知する。具体的には、検知部１００が、入力された動画映像に対して動体検知を行い、検知指定情報で指定された禁止エリアもしくは指定ラインに対して、人物が侵入、または通過していないかをフレームごとに検知する。
【００３７】
ステップＳ１２では、ステップＳ１０の検知の結果、禁止エリアに侵入した人物、または指定ラインを通過した人物が検知された場合は、適切サムネイルを作成するため、ステップＳ１３へ進み、図４の処理へ移行する。一方、禁止エリアに侵入した人物、または指定ラインを通過した人物が検知されなかった場合は、ステップＳ１４へ進み、現フレームが動画映像の検索対象期間の最終フレームであるか否かを判定する。ステップＳ１４で動画映像の最終フレームでない場合は、ステップＳ１０へ戻り、次のフレームについて同様の処理を繰り返す。一方、ステップＳ１４で現フレームが最終フレームの場合は、処理を終了する（ｅｎｄ）。
【００３８】
ステップＳ１４の判定では、例えば動画映像の検索対象期間が午後５時から午後６時までの動画の場合は、午後６時に撮影されたフレームを最終フレームする。これにより、午後６時以降に撮影されたフレームについては、サムネイル画像作成のための処理は行われない。このように、追跡対象の人物が午後５時から午後６時までの時間帯に監視カメラの前を通過していることが予め明らかな場合は、検索対象期間を午後５時から午後６時までの時間帯に限定することで、サムネイル画像作成のための処理を軽減することができる。
【００３９】
なお、図３のフローでは、追尾している人物が禁止エリアに侵入したか、あるいは追尾している人物が指定ラインを通過したかを検知したことをトリガーとして、図４のベストショットフェーズに移行するが、動体検知を行った結果、追尾対象物体が検知されたことをトリガーとして図４の適切画像選択フェーズに移行しても良い。
【００４０】
図４は、適切画像選択フェーズの処理を示すフローチャートである。図４の処理もフレーム毎に行われ、検知部１００で検知された人物に対して追尾を行い、追尾中の全てのフレームにおいて視認性スコアを算出し、各フレームの画像が追尾する人物の適切画像であるか否か判断する。そして、適切画像と判断された場合は、サムネイル画像を出力する。
【００４１】
先ず、次のステップＳ２０では、現フレームが最終フレームであるか否かを判定し、最終フレームでない場合はステップＳ２１へ進む。ステップＳ２１では、追尾演算部２１０が、検知部１００で動体検知された人物に対して追尾を行う。具体的には、前フレームまで追尾していた人物を現フレームで探索し、追尾している人物が探索できるとその人物の輪郭の追尾枠を算出し、追尾枠を設定する。
【００４２】
次のステップＳ２２では、追尾演算部２１０が、ステップＳ２０の追尾の結果、追尾対象の人物がフレーム内から無くなった（ＬＯＳＴした）か否かを判定する。そして、追尾が失敗して追尾対象の人物がフレーム内から無くなった場合は、適切画像選択フェーズが終了し、図３の検知フェーズへ再び移行する。追尾対象の人物がフレーム内に存在し、追尾が成功している場合は、ステップＳ２４の視認性確認処理へ進む。
【００４３】
ステップＳ２４では、視認性演算部２２０が、適性スコアを算出するための複数の視点で視認性確認を実施する。この視認性確認では、複数の重み付け係数を計算する。図５は、図４のステップＳ２４の処理を具体的に示すフローチャートである。
【００４４】
図５のステップＳ３０では、追尾している物体（人物）の大きさに基づいて重み付け係数（追尾物体のサイズ重み付け係数）Ｗ１を算出する。追尾している人物が大きいほど視認性が良いため、重み付け係数Ｗ１の値が大きくなる。例えば、追尾している人物が監視カメラに近いほど、人物の大きさが大きくなるため、重み付け係数Ｗ１の値が大きくなる。つまり、重み付け係数Ｗ１の値が大きいとは、対象人物の画像がより大きいことを示している。
【００４５】
次のステップＳ３２では、追尾している人物のアスペクト比に基づいて重み付け係数（物体のアスペクト比重み付け係数）Ｗ２を算出する。追尾している人物のアスペクト比が一般的な人のアスペクト比（例えば、１：４程度の値）に近い場合は、人物の確からしさが高いため、重み付け係数Ｗ２の値が大きくなる。つまり、重み付け係数Ｗ２の値が大きいとは、対象人物のアスペクト比が一般的な人のアスペクト比により近いことを示している。次のステップＳ３４では、追尾している人物の方向が監視カメラの正面を向いているかどうかに応じて重み付け係数（追尾方向重み付け係数）Ｗ３を算出する。追尾している人物の方向が監視カメラの正面に向いている場合、例えば人物が監視カメラの正面の方向へ向かって歩いている場合は、人物の顔の視認性が良くなるため、重み付け係数Ｗ３の値は大きくなる。つまり、重み付け係数Ｗ３の値が大きいとは、対象人物がより正面の方向に向かって歩いていることを示している。追尾している人物の方向は、フレーム間で追尾している人物の位置の差分ベクトル（動きベクトル）を求め、この差分ベクトルから求めることができる。
【００４６】
次のステップＳ３６では、追尾している物体の形状が人の形をしているかどうかに応じた重み付け係数（人らしさ重み付け係数）Ｗ４を算出する。ここでは、予め準備した辞書データ（人の形のテンプレート）と、画像のエッジ検出等により得られた追尾している物体の形状を比較し、追尾している物体の形状が人の形をしているかどうかを判断する。そして、追尾している物体の形状が人の形に近いほど、重み付け係数Ｗ４の値は大きくなる。つまり、重み付け係数Ｗ４の値が大きいとは、追尾している物体の形状がより人の形に近いことを示している。
【００４７】
次のステップＳ３８では、顔の方向がカメラの方向を向いているかどうかに応じた重み付け係数（顔方向重み付け係数）Ｗ５を算出する。具体的には、一般的な顔検出によりフレームの画像から顔を検出し、予め準備した顔の方向に応じたテンプレートと比較することで、顔の方向を判定する。顔の方向がカメラの正面に向いているほど、重み付け係数Ｗ５の値は大きくなる。つまり、重み付け係数Ｗ５の値が大きいとは、顔の方向がカメラの正面により向いていることを示している。
【００４８】
次のステップＳ４０では、フレーム間の色情報の相関に応じて、追尾中の色の変化が安定しているかどうかを示す重み付け係数（色情報フレーム相関重み付け係数）Ｗ６を算出する。例えば、追尾中の人物が日向から日陰に移った場合、車のライトが追尾中の人物に照射された場合など、それまでのフレームと比較して追尾中の色の変化が大きく、色の連続性が低下している場合は、顔の視認性が低下するため、重み付け係数Ｗ６の値は小さくなる。また、色情報からフレーム内の人物が一人か複数かを判定し、一人の場合は複数の場合に比べて顔の視認性が良くなるため、重み付け係数Ｗ６は大きくなる。つまり、重み付け係数Ｗ６の値が大きいとは、顔の視認性がより高いことを示している。
【００４９】
次のステップＳ４２では、追尾している人物の速度に応じた重み付け係数（物体速度重み付け係数）Ｗ７を算出する。高速移動より低速移動の方が視認性は良いため、追尾している人物が低速で移動している場合（歩いている場合など）ほど、重み付け係数Ｗ７の値は大きくなる。特に夜間はシャッター速度が遅くなるため、人物が高速で移動している場合は、人物の画像にボケやブレが生じやすくなる。このような場合、重み付け係数Ｗ７の値は小さくなる。つまり、重み付け係数Ｗ７の値が大きいとは、追尾している人物がより低速で移動していることを示している。
【００５０】
次のステップＳ４４では、追尾物体のノイズ感に応じた重み付け係数（物体Ｓ／Ｎ重み付け係数）Ｗ８を算出する。ここでは、フレームの画像からノイズ（Ｓ／Ｎ比）を検出し、ノイズが低いほど重み付け係数Ｗ８の値を大きくする。例えば、追尾している人物が明るい場所にいる場合はノイズが小さいため、重み付け係数Ｗ８の値は大きくなる。つまり、重み付け係数Ｗ８の値が大きいとは、画像のノイズがより低いことを示している。
【００５１】
次のステップＳ４６では、追尾している人物の輝度値に応じた重み付け係数（物体輝度重み付け係数）Ｗ９を算出する。例えば、輝度値が低い場合は、追尾している人物の顔の判別が難しくなるため、重み付け係数Ｗ９の値は小さくなる。また、輝度値が高すぎて飽和している場合も、追尾している人物の顔の判別が難しくなるため、重み付け係数Ｗ９の値は小さくなる。すなわち、黒潰れ映像、または白とび映像の場合は、重み付け係数Ｗ９の値は小さくなる。つまり、重み付け係数Ｗ９の値が大きいとは、顔の判別がより容易であることを示している。なお、ステップＳ３０〜Ｓ４６に示した処理は一例であり、他にも視認性を判断する処理があれば、その処理に応じた重み付け係数Ｗｎを追加しても良い（ステップＳ４８）。
【００５２】
図５の処理によれば、動体検知した追尾対象の人物の視認性が高いほど、各重み付け係数Ｗ１〜Ｗ９の値が大きくなる。なお、ステップＳ３０〜Ｓ４６の処理は、動体検知された追尾対象に設定された追尾枠内の画像について行われるが、フレームの全体画像について行っても良い。
【００５３】
以上のようにして図４のステップＳ２４で視認性確認を行うと、次のステップＳ２６へ進む。ステップＳ２６では、適性演算部２３０が、図５の各ステップで求めた重み付け係数Ｗ１〜Ｗ９の要素をすべて加味して現フレームの適性スコアを算出する。そして、算出した適性スコアを今までのフレームの適性スコアの最大値と比較して、現フレームのスコア値の方が高い場合は、現フレームが適切画像と判定する。つまり、大きく映っている、アスペクト比が一般的な人のアスペクト比に近い、正面を向いている、追尾している物体の形状が人の形に近い、顔の方向がカメラの正面に向いている、顔の視認性が高い、追尾している人物が低速で移動している、画像のノイズが低い、顔の判別が容易である等を考慮して、視認性が高い、また、適切な画像と判断される画像を適切画像と判定する。
【００５４】
具体的には、図５の各ステップで求めた現フレームの重み付け係数Ｗ１〜Ｗ９の合計と、前回までの各フレームで算出した重み付け係数Ｗ１〜Ｗ９の合計の最大値とを比較し、現フレームの重み付け係数Ｗ１〜Ｗ９の合計が前回までの各フレームで算出した重み付け係数Ｗ１〜Ｗ９の合計の最大値よりも大きい場合は現フレームが適切画像であると判定し、ステップＳ２８へ進む。
【００５５】
ステップＳ２８では、サムネイル作成部２４０が、現フレームの画像から、追尾している人物のサムネイル画像を作成する。この際、追尾演算部２１０で算出された追尾枠を利用してサムネイル画像を作成する。そして、前回までのフレームで作成されたサムネイル画像（サムネイル候補画像）と置き換えることでサムネイル画像を更新する。ステップＳ２８の後は次のフレームの処理を行うため、ステップＳ２０へ戻る。
【００５６】
また、ステップＳ２６で現フレームが適切画像ではないと判定された場合は、サムネイル画像の作成を行うことなく、次のフレームの処理を行うため、ステップＳ２０へ戻る。
【００５７】
なお、ステップＳ２６の判定において、現フレームのスコアが今までのフレームのベストショットスコアの最大値に達していなくても、現フレームの適性スコアが予め設定した所定のしきい値よりも大きい場合は、ステップＳ２８へ進んでサムネイル画像作成処理を行っても良い。
【００５８】
以上のように、図３と図４の処理を繰り返し行うことで、サムネイル画像を最も視認性の良い画像に更新することができる。イベント検知時の対象人物に対応する画像として、検知時とは異なる時間、異なるフレームの画像も含めて、視認性を考慮して、適切な画像に更新することができる。
なお、上述した例では、適性スコアの最大値が更新される度にサムネイル画像を作成して更新しているが、最終フレームまではサムネイル画像を作成することなく各フレームの適性スコア値を算出し、最終フレームのスコア値を算出した後に、最大値を記録したフレームからサムネイル画像を作成しても良い。
【００５９】
４．通常手法と本実施形態とでサムネイル画像出力の効果の比較した例
図６は、指定ラインの通過を検知したケースにおいて、通常手法のサムネイル画像出力と本実施形態のサムネイル画像出力とで効果を比較した例を示す模式図である。図６において、画像３００は、動画映像のフレームに破線で示すような指定ライン３０２を設定した状態を示している。指定ライン３０２を設定した場合は、指定ライン３０２を人物が通過したことが検知されるとアラートが出される。通常手法では、画像３１０に示すように、指定ライン３０２を人物が通過した時点で、画像３１０の追尾枠３１２で囲まれた領域が切り出されてサムネイル画像が出力される。この場合、指定ライン３０２を人物が通過した時点でのサムネイル画像は、人物が遠くに写っているため、顔が小さく、顔から人物像を特定することは難しい。
【００６０】
一方、本実施形態によれば、指定ライン３０２を人物が通過したことをトリガーとして、対象物体の追尾を開始する。そして、各フレームで適性スコアを算出して、最もスコアの高いフレームからサムネイル画像を出力する。この結果、画像３２０に示すように、追尾枠３２２で囲まれた領域が切り出されてサムネイル画像が出力される。これにより、人物の全身が大きく映り、人物が監視カメラの正面を向いた視認性が良いシーンが選択され、サムネイル画像として出力されることになる。従って、人物を観察する際に、観察に適した最も状態が良いシーンのサムネイル画像を出力することが可能になる。
【００６１】
５．監視カメラの構成例
図７は、代表画像生成装置１０００を備えた監視カメラ２０００の構成を示す模式図である。監視カメラ２０００は、撮像部４００と、代表画像生成装置１０００と、表示部４１０と、を有して構成される。撮像部４００は、ＣＭＯＳセンサ等の撮像素子と、被写体像を撮像素子の撮像面に結像させる光学系を有して構成され、撮像素子で光電変換されることによって得られた画像データ（動画映像）は代表画像生成装置１０００の検知部１００へ入力される。監視カメラ（ネットワークカメラとも呼ばれる）は、ネットワーク接続が可能で、ネットワークを介して画像伝送を行うことができる。
【００６２】
表示部４１０は、液晶表示ディスプレイ等から構成され、代表画像生成装置１０００の適切サムネイル作成部２００が作成したサムネイル画像を表示する。表示部４１０は、監視カメラ２０００を管理する管理装置（監視カメラとは別体）に設けられていても良く、この場合、サムネイル画像が管理装置に送られて管理装置の表示部４１０に表示される。また、適切サムネイル作成部２００は、監視カメラ２０００を管理する管理装置（監視カメラとは別体）に設けられていても良い。その場合、カメラからは画像が管理装置に送られる場合（ケースＡ）と、検知結果が管理装置に送られる場合（ケースＢ）がある。ケースＡの場合は、管理装置において、検知処理、適切サムネイル選択処理等々が行われる。ケースＢの場合は、管理装置において、適切サムネイル選択処理等が行われる。
【００６３】
図８は、代表画像生成装置１０００が取得したラインクロッシング設定画面、ライン通過シーン確認画面、適切画像確認画面を事後的に取得する様子を示す模式図である。上述したように、代表画像生成装置１０００は、記憶部２５０、表示処理部２６０、操作入力部２７０を有している。代表画像生成装置１０００は、取得した適切サムネイル画像を記憶部２５０に保存する。また、代表画像生成装置１０００は、適切サムネイル画像を作成した人物に関し、ラインクロッシング設定画面、ライン通過シーン確認画面、適切サムネイル画像確認画面を記憶部２５０に保存する。表示処理部２６０は、図８に示すように、適切サムネイル画像の一覧、ラインクロッシング設定画面、ライン通過シーン確認画面、適正画像確認画面を表示するための処理を行う。
【００６４】
ラインクロッシング設定画面には、適切サムネイル画像毎に、検知指定情報で指定された指定ラインが表示される。なお、ユーザは、操作入力部２７０を操作することで、指定ラインの位置を自由に変更することができ、指定ラインの変更に伴って検知指定情報が変更される。ライン通過シーン確認画面には、図３のステップＳ１０において、追尾している人物が指定ラインを通過した際のシーンが表示される。適切画像確認画面には、適切サムネイル画像を取得した際の全体画像が表示される。あるいは、全体画像ではなく、適切サムネイル画像等の画像の一部を表示しても良い。各適切サムネイル画像に対応するラインクロッシング設定画面、ライン通過シーン確認画面、適切画像確認画面は、各適切サムネイル画像と紐付けて記憶部２５０に保存されている。
【００６５】
ユーザは、操作入力部２７０により操作情報を入力することで、適切サムネイル画像の一覧の中から特定の適切サムネイル画像を指定することができる。具体的には、ユーザは、例えばマウスを操作して特定の適切サムネイル画像をクリックすることで、操作入力部２７０に操作情報を入力することができ、特定の適切サムネイル画像を指定することができる。ユーザが特定の適切サムネイル画像を指定すると、図８に示すように、指定された適切サムネイル画像に対応するラインクロッシング設定画面、ライン通過シーン確認画面、及び適切画像確認画面が表示される。これにより、ユーザは、追尾している人物が指定ラインを通過した時点の画像と、適切サムネイル画像が生成された時点の画像の双方を確認することが可能となる。また、指定ラインの位置についてもラインクロッシング設定画面から確認することが可能となる。
【００６６】
本実施形態によれば、特定のトリガーがかかった瞬間(侵入検知等)の映像を切り出してサムネイル画像を出力するのではなく、トリガーがかかった状態からその対象物体を毎フレーム追尾し、追尾中のフレームごとにスコアを計算し、最も良いスコアとなったフレームの画像から追尾している物体のサムネイル画像を作成する。従って、最も視認性が良好なサムネイル画像を出力することができ、サムネイル画像から人物等を確実に特定することが可能となる。
なお、トリガーとして侵入検知を例に説明を行ったが、侵入検知以外でも良い。例えば、所定の条件を満たす物体の検出等のイベントの検出をトリガーとしても良い。また、あるいは、赤外線センサなどの外部のセンサから所定の信号の入力、などをトリガーとしても良い。
【００６７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する検
知部と、
前記検知部が前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追
尾する追尾部と、
前記検知部が前記対象物体を検知した後、前記追尾部が追尾した前記対象物体を示す代
表画像を作成する代表画像作成部と、
を備える、代表画像生成装置。
（２）  前記追尾部が前記対象物体を追尾している間、前記対象物体の視認性を演算する
視認性演算部を備え、
前記代表画像作成部は、前記視認性演算部が前記対象物体の視認性を演算した結果に基
づいて前記代表画像を作成する、前記（１）に記載の代表画像生成装置。
（３）  前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を演算
し、
前記代表画像作成部は、前記対象物体の視認性が最も高いフレームの画像から前記代表
画像を作成する、前記（２）に記載の代表画像生成装置。
（４）  前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を演算
し、
前記代表画像作成部は、前記対象物体の視認性が所定のしきい値以上のフレームの画像
から前記代表画像を作成する、前記（２）又は（３）に記載の代表画像生成装置。
（５）  前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を示す
複数のファクターのそれぞれについての重み付け係数を算出し、
前記重み付け係数に基づいて、前記対象物体の視認性が高いフレームの画像のスコアを
演算するベストショット演算部を備え、
前記代表画像作成部は、前記ベストショット演算部の算出結果に基づいて、前記対象物
体の視認性が高いフレームの画像から前記代表画像を作成する、前記（２）〜（４）のい
ずれかに記載の代表画像生成装置。
（６）  前記対象物体の視認性が高いほど前記重み付け係数の値は大きくなり、
前記代表画像作成部は、前記重み付け係数の合計値が最も大きいフレームの画像から前
記代表画像を作成する、前記（５）に記載の代表画像生成装置。
（７）  前記対象物体の視認性が高いほど前記重み付け係数の値は大きくなり、
前記代表画像作成部は、前記重み付け係数の合計値が所定のしきい値以上のフレームの
画像から前記代表画像を作成する、前記（５）に記載の代表画像生成装置。
（８）  前記代表画像作成部は、現フレームの前記重み付け係数の合計値が前回までのフ
レームの前記重み付け係数の合計値よりも大きい場合に前記代表画像を作成し、前回まで
のフレームで作成された前記代表画像を更新する、前記（６）に記載の代表画像生成装置
。
（９）  前記対象物体は人物であり、
前記複数のファクターは、人物の大きさ、人物のアスペクト比、人物の追尾方向、人物
の人らしさ、人物の顔の方向、人物の色情報、人物の移動速度、人物の画像に含まれるノ
イズ、及び人物の輝度のいずれかを含む、前記（５）〜（８）のいずれかに記載の代表画
像生成装置。
（１０）  前記検知部は、前記動画映像の中から所定の条件を満たす前記対象物体を検知
し、
前記所定の条件は、前記対象物体が所定の禁止エリアに侵入したこと、又は前記対象物
体が所定の指定ラインを通過したことである、前記（１）〜（９）のいずれかに記載の代
表画像生成装置。
（１１）  前記指定ラインを設定するための第１の画像、前記対象物体が前記指定ラインを通過した際に取得された第２の画像、又は前記代表画像を作成した際に取得された第３の画像を保存する記憶部を備える、前記（１０）に記載の代表画像生成装置。
（１２）  ユーザの操作入力に基づいて指定された前記代表画像に対応する前記第１の画像、前記第２の画像及び前記第３の画像の少なくとも１つを表示するための処理を行う表示処理部を備える、前記（１１）に記載の代表画像生成装置。
（１３）  動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する
ことと、
前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾することと
、
前記対象物体を検知した後、追尾した前記対象物体を示す代表画像を作成することと、
を備える、代表画像生成方法。
（１４）  動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する
手段、
前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾する手段、
前記対象物体を検知した後、追尾した前記対象物体を示す代表画像を作成する手段、
としてコンピュータを機能させるためのプログラム。
【符号の説明】
【００７０】
１００    検知部
２１０    追尾演算部
２２０    視認性演算部
２３０    適性演算部
２５０    記憶部
２６０    表示処理部
２４０    サムネイル作成部
１０００  代表画像生成装置
【図１】
0006772609.tif 000002
【図２】
0006772609.tif 000003
【図３】
0006772609.tif 000004
【図４】
0006772609.tif 000005
【図５】
0006772609.tif 000006
【図６】
0006772609.tif 000007
【図７】
0006772609.tif 000008
【図８】
0006772609.tif 000009