【手続補正書】
【提出日】令和1年7月9日(2019.7.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する検知部と、
前記検知部が前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾する追尾部と、
前記検知部が前記対象物体を検知した後、前記追尾部が追尾した前記対象物体を示す代表画像を作成する代表画像作成部と、
を備える、代表画像生成装置。
【請求項２】
前記追尾部が前記対象物体を追尾している間、前記対象物体の視認性を演算する視認性演算部を備え、
前記代表画像作成部は、前記視認性演算部が前記対象物体の視認性を演算した結果に基づいて前記代表画像を作成する、請求項１に記載の代表画像生成装置。
【請求項３】
前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を演算し、
前記代表画像作成部は、前記対象物体の視認性が最も高いフレームの画像から前記代表画像を作成する、請求項２に記載の代表画像生成装置。
【請求項４】
前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を演算し、
前記代表画像作成部は、前記対象物体の視認性が所定のしきい値以上のフレームの画像から前記代表画像を作成する、請求項２又は３に記載の代表画像生成装置。
【請求項５】
前記視認性演算部は、前記動画映像のフレーム毎に前記対象物体の視認性を示す複数のファクターのそれぞれについての重み付け係数を算出し、
前記重み付け係数に基づいて、前記対象物体の視認性が高いフレームの画像のスコアを演算する適性演算部を備え、
前記代表画像作成部は、前記適性演算部の算出結果に基づいて、前記対象物体の視認性が高いフレームの画像から前記代表画像を作成する、請求項２〜４のいずれか１項に記載の代表画像生成装置。
【請求項６】
前記対象物体の視認性が高いほど前記重み付け係数の値は大きくなり、
前記代表画像作成部は、前記重み付け係数の合計値が最も大きいフレームの画像から前記代表画像を作成する、請求項５に記載の代表画像生成装置。
【請求項７】
前記対象物体の視認性が高いほど前記重み付け係数の値は大きくなり、
前記代表画像作成部は、前記重み付け係数の合計値が所定のしきい値以上のフレームの画像から前記代表画像を作成する、請求項５に記載の代表画像生成装置。
【請求項８】
前記代表画像作成部は、現フレームの前記重み付け係数の合計値が前回までのフレームの前記重み付け係数の合計値よりも大きい場合に前記代表画像を作成し、前回までのフレームで作成された前記代表画像を更新する、請求項６に記載の代表画像生成装置。
【請求項９】
前記対象物体は人物であり、
前記複数のファクターは、人物の大きさ、人物のアスペクト比、人物の追尾方向、人物の人らしさ、人物の顔の方向、人物の色情報、人物の移動速度、人物の画像に含まれるノイズ、及び人物の輝度のいずれかを含む、請求項５〜８のいずれか１項に記載の代表画像生成装置。
【請求項１０】
前記検知部は、前記動画映像の中から所定の条件を満たす前記対象物体を検知し、
前記所定の条件は、前記対象物体が所定の禁止エリアに侵入したこと、又は前記対象物体が所定の指定ラインを通過したことである、請求項１〜９のいずれか１項に記載の代表画像生成装置。
【請求項１１】
前記指定ラインを設定するための第１の画像、前記対象物体が前記指定ラインを通過した際に取得された第２の画像、又は前記代表画像を作成した際に取得された第３の画像を保存する記憶部を備える、請求項１０に記載の代表画像生成装置。
【請求項１２】
ユーザの操作入力に基づいて指定された前記代表画像に対応する前記第１の画像、前記第２の画像及び前記第３の画像の少なくとも１つを表示するための処理を行う表示処理部を備える、請求項１１に記載の代表画像生成装置。
【請求項１３】
動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知することと、
前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾することと、
前記対象物体を検知した後、追尾した前記対象物体を示す代表画像を作成することと、
を備える、代表画像生成方法。
【請求項１４】
動画映像を取得し、動体検知により前記動画映像の中から対象物体を検知する手段、
前記対象物体を検知した後、前記動画映像中で移動する前記対象物体を追尾する手段、
前記対象物体を検知した後、追尾した前記対象物体を示す代表画像を作成する手段、
としてコンピュータを機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
このような問題に対しては、予め禁止エリアや通過ラインを指定することで、禁止エリアへ不法侵入(侵入検知)した人や車、または指定ラインを通過(ライン検知)した人や車などを検知する機能を使うことが想定される。このような侵入検知機能を利用すれば、検索時間を削減することが可能であり、これらの侵入検知機能を監視カメラ内、または映像を記録して管理するサーバ内に搭載することで、オペレータの作業負荷軽減を実現することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
このような問題に対しては、予め禁止エリアや通過ラインを指定することで、禁止エリアへ不法侵入(侵入検知)した人や車、または指定ラインを通過(ライン検知)した人や車などを検知する機能を利用できる。このような侵入検知機能を利用すれば、検索時間を削減することが可能であり、これらの侵入検知機能を監視カメラ内、または映像を記録して管理するサーバ内に搭載することで、オペレータの作業負荷軽減を実現することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
３．代表画像生成装置で行われる処理フロー
以下では、図３及び図４のフローチャートに基づいて、図１及び図２のブロック図を参照しながら代表画像生成装置１０００で行われる処理について説明する。図３は、動画映像から動体を検知する検知フェーズの処理を示すフローチャートであって、動画映像のフレーム毎に行われる。この処理では、禁止エリアへの侵入検知、または指定ラインの通過検知をトリガーとして、図４の適切画像選択フェーズへ移行するかどうかを判断する。先ず、ステップＳ１０では、動体検知を行うとともに、追尾している人物が禁止エリアに侵入したか、あるいは追尾している人物が指定ラインを通過したかを検知する。具体的には、検知部１００が、入力された動画映像に対して動体検知を行い、検知指定情報で指定された禁止エリアもしくは指定ラインに対して、人物が侵入、または通過していないかをフレームごとに検知する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
ステップＳ１２では、ステップＳ１０の検知の結果、禁止エリアに侵入した人物、または指定ラインを通過した人物が検知された場合は、適切サムネイルを作成するため、ステップＳ１３へ進み、図４の処理へ移行する。一方、禁止エリアに侵入した人物、または指定ラインを通過した人物が検知されなかった場合は、ステップＳ１４へ進み、現フレームが動画映像の検索対象期間の最終フレームであるか否かを判定する。ステップＳ１４で動画映像の最終フレームでない場合は、ステップＳ１０へ戻り、次のフレームについて同様の処理を繰り返す。一方、ステップＳ１４で現フレームが最終フレームの場合は、処理を終了する（ｅｎｄ）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
次のステップＳ３２では、追尾している人物のアスペクト比に基づいて重み付け係数（物体のアスペクト比重み付け係数）Ｗ２を算出する。追尾している人物のアスペクト比が一般的な人のアスペクト比（例えば、１：４程度の値）に近い場合は、人物の確からしさが高いため、重み付け係数Ｗ２の値が大きくなる。つまり、重み付け係数Ｗ２の値が大きいとは、対象人物のアスペクト比が一般的な人のアスペクト比により近いことを示している。次のステップＳ３４では、追尾している人物の方向が監視カメラの正面を向いているかどうかに応じて重み付け係数（追尾方向重み付け係数）Ｗ３を算出する。追尾している人物の方向が監視カメラの正面に向いている場合、例えば人物が監視カメラの正面の方向へ向かって歩いている場合は、人物の顔の視認性が良くなるため、重み付け係数Ｗ３の値は大きくなる。つまり、重み付け係数Ｗ３の値が大きいとは、対象人物がより正面の方向に向かって歩いていることを示している。追尾している人物の方向は、フレーム間で追尾している人物の位置の差分ベクトル（動きベクトル）を求め、この差分ベクトルから求めることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
次のステップＳ４６では、追尾している人物の輝度値に応じた重み付け係数（物体輝度重み付け係数）Ｗ９を算出する。例えば、輝度値が低い場合は、追尾している人物の顔の判別が難しくなるため、重み付け係数Ｗ９の値は小さくなる。また、輝度値が高すぎて飽和している場合も、追尾している人物の顔の判別が難しくなるため、重み付け係数Ｗ９の値は小さくなる。すなわち、黒潰れ映像、または白とび映像の場合は、重み付け係数Ｗ９の値は小さくなる。つまり、重み付け係数Ｗ９の値が大きいとは、顔の判別がより容易であることを示している。なお、ステップＳ３０〜Ｓ４６に示した処理は一例であり、他にも視認性を判断する処理があれば、その処理に応じた重み付け係数Ｗｎを追加しても良い（ステップＳ４８）。