(57)【特許請求の範囲】
【請求項１】
監視映像を入力する映像入力部と、
前記映像入力部にて入力された監視映像から移動している物体を検出する移動物体検出部と、
前記移動物体検出部にて検出された物体から顔画像を検出する顔画像検出部と、
前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、
前記同一性判定部にて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択部と、
前記保存画像選択部にて選択された顔画像を保存する画像保存部と、
を備え、
前記同一性判定部は、前記顔画像検出部にて順次検出された顔画像の移動方向を検出し、移動方向の変化を検出した場合に別の人物であると判定することを特徴とする監視装置。
【請求項２】
監視映像を入力する映像入力部と、
前記映像入力部にて入力された監視映像から移動している物体を検出する移動物体検出部と、
前記移動物体検出部にて検出された物体から顔画像を検出する顔画像検出部と、
前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、
前記同一性判定部にて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択部と、
前記保存画像選択部にて選択された顔画像を保存する画像保存部と、
を備え、
前記同一性判定部は、前記顔画像検出部にて顔画像を検出してから新しく顔画像を検出するまでに要した時間が所定の閾値を超えた場合には別の人物であると判定することを特徴とする監視装置。
【請求項３】
前記画像保存部は、前記保存画像選択部にて選択された顔画像と共に前記顔画像を検索するための情報を記録媒体に保存することを特徴とする請求項１又は２に記載の監視装置。
【請求項４】
前記同一性判定部にて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方の顔画像を選択する保存画像選択部と、
前記保存画像選択部にて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に前記顔画像を検索するための情報を前記記録媒体に保存する画像保存部と、
を備えたことを特徴とする請求項１又は２に記載の監視装置。
【請求項５】
前記画像保存部は、前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と別の人物であると前記同一性判定部にて判定された場合に、新しく検出された顔画像を監視映像内に新たに現れた人物として前記記録媒体に保存することを特徴とする請求項３又は４に記載の監視装置。
【請求項６】
監視映像を入力する映像入力部と、
前記映像入力部にて入力された監視映像から移動している物体を検出する移動物体検出部と、
前記移動物体検出部にて検出された物体から顔画像を検出する顔画像検出部と、
前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、
前記同一性判定部にて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択部と、
前記保存画像選択部にて選択された顔画像と共に前記顔画像を検索するための情報を記録媒体に保存する画像保存部と、
を備え、
前記保存画像選択部は、前記記録媒体に保存された顔画像と前記顔画像検出部にて新しく検出された顔画像のうち、左右の輝度の平均値の相違が小さい方を選択することを特徴とする監視記録装置。
【請求項７】
監視映像を入力する映像入力部と、
前記映像入力部にて入力された監視映像から移動している物体を検出する移動物体検出部と、
前記移動物体検出部にて検出された物体から顔画像を検出する顔画像検出部と、
前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、
前記同一性判定部にて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方の顔画像を選択する保存画像選択部と、
前記保存画像選択部にて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に前記顔画像を検索するための情報を前記記録媒体に保存する画像保存部と、
を備え、
前記保存画像選択部は、前記記録媒体に保存された顔画像と前記顔画像検出部にて新しく検出された顔画像のうち、左右の輝度の平均値の相違が小さい方を選択することを特徴とする監視記録装置。
【請求項８】
監視映像を入力する映像入力ステップと、
前記映像入力ステップにおいて入力された映像から移動している物体を検出する移動物体検出ステップと、
前記移動物体検出ステップにおいて検出された物体から楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、
前記顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定ステップと、
前記同一性判定ステップにて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択ステップと、
前記保存画像選択ステップにて選択された顔画像を保存する画像保存ステップと、
を有し、
前記同一性判定ステップは、前記顔画像検出ステップにて順次検出された顔画像の移動方向を検出し、移動方向の変化を検出した場合に別の人物であると判定することを特徴とする顔画像検出方法。
【請求項９】
監視映像を入力する映像入力ステップと、
前記映像入力ステップにおいて入力された監視映像から移動している物体を検出する移動物体検出ステップと、
前記移動物体検出ステップにおいて検出された物体から顔画像を検出する顔画像検出ステップと、
前記顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定ステップと、
前記同一性判定ステップにて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択ステップと、
前記保存画像選択ステップにて選択された顔画像を保存する画像保存ステップと、
を有し、
前記同一性判定ステップは、前記顔画像検出部にて顔画像を検出してから新しく顔画像を検出するまでに要した時間が所定の閾値を超えた場合には別の人物であると判定することを特徴とすることを特徴とする顔画像検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで人物の動作等を撮影して得られた監視映像を記録する監視記録装置およびその方法に関するものである。
【背景技術】
【０００２】
従来から、監視カメラ等で撮影した監視映像を記録する監視記録装置およびその方法が知られていた。監視記録装置においては、記録した監視映像から効率良く適切な人物画像を検出できることが求められている。人物画像を適切に検索できるようにするために、監視映像から標準的な人物画像を選択して保存する監視記録装置が特開２００３−４６９１１号公報に開示されている。この特許文献に記載された装置では、人物を検出する場合に標準的な正面顔のテンプレートとのマッチングをとり、マッチングの類似度が最大となったショットの顔画像を保存に適した画像として選択している。別の顔画像の選択方法として、色空間において肌色領域にある画素数の数が最大の画像を保存に適した画像として選択している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記した特許文献には、正面顔のテンプレートのマッチングによって保存する方法が記載されているが、正面以外の顔画像を検出する方法については記載されていない。監視カメラでは、上側から撮影することが多いので、正面以外から撮影した映像からも顔画像を適切に検出できることが望ましい。
【０００４】
本発明は、上記背景に鑑み、監視映像から適切な画像を検出し、保存することのできる監視記録装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の監視記録装置は、監視映像を入力する映像入力部と、前記映像入力部にて入力された監視映像から移動している物体を検出する移動物体検出部と、前記移動物体検出部にて検出された物体から顔画像を検出する顔画像検出部と、前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、を備え、前記同一性判定部は、前記顔画像検出部にて順次検出された顔画像の移動方向を検出し、移動方向の変化を検出した場合に別の人物であると判定することを特徴としている。
【０００６】
本発明の別の態様の監視記録装置は、監視映像を入力する映像入力部と、前記映像入力部にて入力された監視映像から移動している物体を検出する移動物体検出部と、前記移動物体検出部にて検出された物体から顔画像を検出する顔画像検出部と、前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、を備え、前記同一性判定部は、前記顔画像検出部にて顔画像を検出してから新しく顔画像を検出するまでに要した時間が所定の閾値を超えた場合には別の人物であると判定することを特徴としている。
【０００７】
上記監視記録装置はさらに、前記同一性判定部にて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択部と、前記保存画像選択部にて選択された顔画像と共に前記顔画像を検索するための情報を記録媒体に保存する画像保存部と、を備えた構成を有する。
【０００８】
上記監視記録装置はさらに、前記同一性判定部にて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方の顔画像を選択する保存画像選択部と、前記保存画像選択部にて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に前記顔画像を検索するための情報を前記記録媒体に保存する画像保存部と、を備えた構成を有する。
【０００９】
上記監視記録装置において、前記画像保存部は、前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と別の人物であると前記同一性判定部にて判定された場合に、新しく検出された顔画像を監視映像内に新たに現れた人物として前記記録媒体に保存してもよい。
【００１４】
上記監視記録装置において、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、顔画像の輪郭画像各画素の中心位置からの平均距離の大きい方を選択してもよい。
【００１９】
本発明の監視記録方法は、監視映像を入力する映像入力ステップと、前記映像入力ステップにおいて入力された映像から移動している物体を検出する移動物体検出ステップと、前記移動物体検出ステップにおいて検出された物体から楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、前記顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定ステップと、を有し、前記同一性判定ステップは、前記顔画像検出ステップにて順次検出された顔画像の移動方向を検出し、移動方向の変化を検出した場合に別の人物であると判定することを特徴としている。
【００２０】
本発明の監視記録方法は、監視映像を入力する映像入力ステップと、前記映像入力ステップにおいて入力された監視映像から移動している物体を検出する移動物体検出ステップと、前記移動物体検出ステップにおいて検出された物体から顔画像を検出する顔画像検出ステップと、前記顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定ステップと、を有し、前記同一性判定ステップは、前記顔画像検出部にて顔画像を検出してから新しく顔画像を検出するまでに要した時間が所定の閾値を超えた場合には別の人物であると判定することを特徴としている。
【００２１】
以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、請求される発明の範囲を制限することは意図していない。
【発明を実施するための最良の形態】
【００２２】
以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。
【００２３】
本実施の形態の監視記録装置は、監視映像を入力する映像入力部と、映像入力部にて入力された監視映像から移動している物体を検出する移動物体検出部と、移動物体検出部にて検出された物体から楕円形の輪郭を有する部分を顔画像として検出する顔画像検出部と、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、同一性判定部にて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択部と、保存画像選択部にて選択された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存部とを備えた構成を有する。
【００２４】
この構成により、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらずに、適切に顔画像を検出できる。監視映像から順次検出される顔画像が同一人物の顔画像である場合には、検出された顔画像のうちから、監視画像として最も適したいわゆる「ベストショット」の顔画像を選択して保存することができる。選択された顔画像と共に顔画像を検索するための情報を保存することにより、顔画像を検索するための情報を用いて目的の人物の顔画像を検索することができる。ここで、顔画像を検索するための情報とは、例えば、人物の移動軌跡、監視映像への登場時刻および監視映像からの退場時刻である。この情報は、移動物体検出部、顔画像検出部によって検出された情報から抽出することができる。
【００２５】
本実施の形態の別の態様の監視記録装置は、監視映像を入力する映像入力部と、映像入力部にて入力された監視映像から移動している物体を検出する移動物体検出部と、移動物体検出部にて検出された物体から、楕円形の輪郭を有する部分を顔画像として検出する顔画像検出部と、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、同一性判定部にて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方を選択する保存画像選択部と、保存画像選択部にて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存部とを備えた構成を有する。
【００２６】
この構成により、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらずに、適切に顔画像を検出できる。監視映像から新しく検出された顔画像がすでに記録媒体に保存されている同一人物の顔画像より監視画像として適している場合に新しい顔画像で記録媒体の顔画像を上書きするので、監視画像により適した画像が記録される。この処理を繰り返し行うことにより、監視画像として最も適したいわゆる「ベストショット」の顔画像を保存することができる。選択された顔画像と共に顔画像を検索するための情報を保存することにより、顔画像を検索するための情報を用いて目的の人物の顔画像を検索することができる。
【００２７】
上記監視記録装置において、画像保存部は、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と別の人物であると同一性判定部にて判定された場合に、新しく検出された顔画像を監視映像内に新たに現れた人物として記録媒体に保存してもよい。
【００２８】
この構成により、別の人物の顔画像を記録媒体に追加できる。
【００２９】
上記監視記録装置において、同一性判定部は、顔画像検出部にて新しく顔画像が検出された位置と前回顔画像が検出された位置との距離が、所定の閾値より小さい場合に同一人物であると判定してもよい。
【００３０】
この構成により、新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを精度良く判定できる。
【００３１】
上記監視記録装置において、同一性判定部は、顔画像検出部にて複数の顔画像が検出された場合には、前回検出された顔画像に最も近い位置で新しく検出された顔画像が前回検出された顔画像と同一人物であると判定してもよい。
【００３２】
この構成により、複数の顔画像が検出された場合にも、同一人物の顔画像を適切に選択することができる。
【００３３】
上記監視記録装置において、同一性判定部は、前回検出された顔画像が複数ある場合には、新しく検出された顔画像に最も近い位置で前回検出された顔画像が新しく検出された顔画像と同一人物であると判定してもよい。
【００３４】
この構成により、前回検出された顔画像が複数ある場合にも、同一人物の顔画像を適切に選択することができる。
【００３５】
上記監視記録装置において、同一性判定部は、顔画像検出部にて順次検出された顔画像の移動方向を検出し、移動方向の変化を検出した場合に別の人物であると判定してもよい。
【００３６】
この構成により、監視映像内に現れた人物を精度良く検出することができる。例えば、２人の人物が接近して交差した場合に、２人の人物が同一であるとの誤った検出を回避できる。
【００３７】
上記監視記録装置において、同一性判定部は、顔画像検出部にて顔画像を検出してから新しく顔画像を検出するまでに要した時間が所定の閾値を超えた場合には別の人物であると判定してもよい。
【００３８】
この構成により、監視映像内に現れた人物を精度良く記録することができる。例えば、監視映像端から人物が消えた後にその付近に新たに人物が登場した場合に、両人物が同一であるとの誤った検出を回避できる。
【００３９】
上記監視記録装置において、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、顔画像のサイズの大きい方を選択してもよい。
【００４０】
この構成により、同一人物についてサイズの大きい顔画像を記録媒体に保存することができる。
【００４１】
上記監視記録装置において、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、顔画像の輪郭画像各画素の中心位置からの平均距離の大きい方を選択してもよい。
【００４２】
この構成により、同一人物についてサイズの大きい顔画像を記録媒体に保存することができる。
【００４３】
上記監視記録装置において、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、左右の輝度の平均値の相違が小さい方を選択してもよい。
【００４４】
この構成により、同一人物について対称性の高い顔画像、すなわち、より正面顔に近い顔画像を記録媒体に保存することができる。
【００４５】
上記監視記録装置において、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、あらかじめ設定された顔輪郭テンプレートとの類似度が大きい方を選択してもよい。
【００４６】
この構成により、顔輪郭テンプレートに近い顔画像を保存することができる。顔が中心に位置する顔輪郭テンプレートをあらかじめ設定しておけば、顔が中心に位置する顔画像を記録媒体に保存することができる。
【００４７】
上記監視記録装置において、保存画像選択部は、記録媒体に記録された顔画像と顔画像検出部にて新しく検出された顔画像に対し、複数の判定項目のそれぞれについてポイントを付与し、複数の判定項目の総合ポイントの高い方の顔画像を選択してもよい。
【００４８】
この構成により、複数の判定項目から総合的に判定し、最も保存に適した顔画像を記録媒体に保存することができる。
【００４９】
上記監視記録装置において、保存画像選択部は、顔画像検出部にて新しく検出された顔画像に対し、複数の判定項目のそれぞれについてポイントを付与し、複数の判定項目の総合ポイントが所定の閾値を超えた場合に、検出された顔画像を選択してもよい。
【００５０】
この構成により、保存に適した顔画像のうちで、後で検出された顔画像を記録媒体に保存する。監視カメラで撮影した監視映像に現れる人物は、カメラに向かってくる場合が多いので、顔画像は次第に大きくなる。従って、複数の判定項目により所定の閾値を超えるポイントを有する顔画像の中で、後に検出されたサイズの大きい顔画像を記録できる。
【００５１】
本実施の形態の監視記録方法は、監視映像を入力する映像入力ステップと、映像入力ステップにおいて入力された監視映像から移動している物体を検出する移動物体検出ステップと、移動物体検出ステップにおいて検出された物体から楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、検出された顔画像の位置に基づいて判定する同一性判定ステップと、同一性判定ステップにおいて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択ステップと、保存画像選択ステップにおいて選択された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存ステップとを備える。
【００５２】
この構成により、本実施の形態の監視記録装置と同様に、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらず、横向きや後向きの頭部も顔画像として適切に検出し、保存できる。また、本実施の形態の監視記録装置の各種の構成を、本実施の形態の監視記録方法に適用することも可能である。
【００５３】
本実施の形態の監視記録方法は、監視映像を入力する映像入力ステップと、映像入力ステップにおいて入力された監視映像から移動している物体を検出する移動物体検出ステップと、移動物体検出ステップにおいて検出された物体から、楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定ステップと、同一性判定ステップにおいて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方を選択する保存画像選択ステップと、保存画像選択ステップにおいて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存ステップとを備える。
【００５４】
この構成により、本実施の形態の監視記録装置と同様に、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらず、横向きや後向きの頭部も顔画像として適切に検出し、保存できる。また、本実施の形態の監視記録装置の各種の構成を、本実施の形態の監視記録方法に適用することも可能である。
【００５５】
本実施の形態によれば、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらず、横向きや後向きの頭部も顔画像として適切に検出し、保存できる。また、監視映像から順次検出される顔画像が同一人物の顔画像である場合には、検出された顔画像のうちから、監視画像として最も適したいわゆる「ベストショット」の顔画像を選択して保存することができるというすぐれた効果を有する。
【００５６】
以下、本発明の実施の形態の監視記録装置について、図面を用いてさらに詳しく説明する。
【００５７】
図１は、本発明の実施の形態の監視記録装置１０を示す図である。図１において、本発明の実施の形態の監視記録装置１０は、監視映像を撮影するカメラ等の映像入力部１２と、映像入力部１２にて入力された監視映像を処理する制御部１４と、監視映像から抽出された情報を記録する記録媒体１６とを備える。
【００５８】
制御部１４は、映像から移動物体を含む領域（以下、「動き領域」という）Ｍと移動物体の輪郭を検出する移動物体検出部１８と、移動物体検出部１８で検出された動き領域Ｍから輪郭情報を用いて顔画像Ｆの候補を検出する顔画像検出部２０と、顔画像検出部２０で出力された顔の位置情報を用いて、連続検出された顔画像Ｆが同一人物か別人物かを判定する同一性判定部２２と、同一性判定部２２で同一人物と判定された場合に、検出された顔画像Ｆと記録媒体１６に保存されている同一人物の顔画像Ｆのうちから保存に適している顔画像Ｆを選択する保存画像選択部２４と、保存画像選択部２４にて選択された顔画像Ｆを記録媒体１６に保存する画像保存部２６と、記録媒体１６から顔画像Ｆに関連する情報を検索キーとして顔画像Ｆを検索する人物検索部２８とを有する。検索キーの入力は検索キー入力部３０によって受け付けられ、検索結果は画像出力部３２から出力される。
【００５９】
以上のように構成された監視記録装置１０の動作について説明する。まず、映像入力部１２で撮影された監視映像が、制御部１４に入力される。制御部１４の移動物体検出部１８は、入力された監視画像と微小時間前に入力された監視画像から動き領域Ｍおよび移動物体の輪郭Ｔを検出する。具体的には、移動物体検出部１８は、微小時間前に入力された監視画像と現在入力された監視画像とで対応する画素同士差分をとるフレーム間差分によって差分画像を作成する。本実施の形態では、差分画像を求める方法として、フレーム間差分をとる方法を採用したが他の方法で差分画像を作成してもよい。例えば、あらかじめ背景画像を記憶しておき、現在の映像と背景画像との差分をとる背景差分によって差分画像を作成してもよい。フレーム間差分と背景差分を組合せて、差分画像を作成してもよい。
【００６０】
図２は、監視映像から顔画像Ｆの候補を検出する動作を説明する図である。移動物体検出部１８は、差分画像の存在範囲をラベリングや垂直方向および水平方向に投影したヒストグラム算出等の手法によって検出し、図２の監視映像画面中から動き領域Ｍを検出する。移動物体検出部１８は、差分画像に対して細線化を行い、移動物体の輪郭Ｔを抽出して輪郭画像を作成する。これにより、図３に示すように移動物体の輪郭Ｔが検出される。
【００６１】
次に、顔画像検出部２０は、移動物体検出部１８で作成された輪郭画像から顔画像Ｆを検出する。顔の輪郭Ｔｆは一般的に楕円形をしているので、楕円ハフ検出方法を用いて輪郭Ｔからあらかじめ設定した顔のサイズの楕円位置を特定して、顔画像Ｆを検出する。なお、顔画像検出部２０は、ここで用いる楕円として長軸および短軸の長さの異なる複数の楕円を有する。複数のタイプの楕円を有することにより、個人差のある顔画像Ｆを精度良く検出することができる。
【００６２】
続いて、同一性判定部２２では、顔画像検出部２０で検出した顔画像Ｆの検出位置と微小時間前に検出した顔画像Ｆの位置との対応をとり、検出した顔画像Ｆと微小時間前に検出した顔画像Ｆとが同一人物の顔画像Ｆであるか別人物であるかを判定する。ここで、同一性判定部２２の判定方法について、図４〜図７を用いて説明する。
【００６３】
図４および図５は、検出された顔画像の数が１個の場合の同一性判定方法を説明する図である。同一性判定部２２は、時刻Ｔにおける顔画像Ｆ１の中心位置Ｃ１（Ｔ）と微小時間後の時刻Ｔ＋ｔにおける顔画像Ｆ２の中心位置Ｃ２（Ｔ＋ｔ）との距離Ｌを算出する。同一性判定部２２は、距離Ｌがあらかじめ定められた閾値Ｌthより小さい場合には、顔画像Ｆ１と顔画像Ｆ２が同一人物であると判定する。図５に示すように、距離Ｌが閾値Ｌthより大きい場合には、顔画像Ｆ１と顔画像Ｆ２が別人物であると判定する。なお、時刻Ｔと時刻Ｔ＋ｔとの時間間隔が所定の時間より長い場合には、同一性判定部２２は、距離Ｌが閾値Ｌthより小さい場合であっても別人物と判定する。
【００６４】
図６および図７は、複数の顔画像の同一性判定について説明する図である。複数の顔画像が検出された場合、同一性判定部２２は、時刻Ｔに検出された顔画像の中心位置と時刻Ｔ+ｔのすべての顔画像の中心位置との距離を算出し、最も距離の小さな組を検出し、その距離が閾値未満の場合に同一人物と判定する。同一性判定部２２は、この判定を時刻Ｔのすべての中心位置に対して行って複数の顔画像について判定する。例えば、図６に示す例では、時刻Ｔにおいて顔画像Ｆ１、Ｆ３が検出され、時刻Ｔ＋ｔにおいて顔画像Ｆ２、Ｆ４が検出されている。この場合、同一性判定部２２は、顔画像Ｆ１の中心位置Ｃ１（Ｔ）と顔画像Ｆ２の中心位置Ｃ２（Ｔ＋ｔ）、顔画像Ｆ１の中心位置Ｃ１（Ｔ）と顔画像Ｆ４中心位置Ｃ４（Ｔ＋ｔ）のそれぞれの距離を求める。この結果、中心位置Ｃ１（Ｔ）と中心位置Ｃ２（Ｔ＋ｔ）の組の方が距離が小さいので、同一性判定部２２は顔画像Ｆ１と顔画像Ｆ２とが同一人物と判定する。同様に、同一性判定部２２は、顔画像Ｆ３の中心位置Ｃ３（Ｔ）と顔画像Ｆ２の中心位置Ｃ２（Ｔ＋ｔ）、顔画像Ｆ３の中心位置Ｃ３（Ｔ）と顔画像Ｆ４の中心位置Ｃ４（Ｔ＋ｔ）のそれぞれの距離を求める。この結果、中心位置Ｃ３（Ｔ）と中心位置Ｃ４（Ｔ＋ｔ）の組の方が距離が小さいので、同一性判定部２２は顔画像Ｆ３と顔画像Ｆ４とが同一人物と判定する。
【００６５】
図７は、図６に示す顔画像Ｆ１〜Ｆ４の検出結果に加えて、時刻Ｔ＋ｔに顔画像Ｆ５が検出された例を示す図である。この例の顔画像Ｆ５のように、時刻Ｔにおける顔画像Ｆ１および顔画像Ｆ３のいずれとも対応しない顔画像については、同一性判定部２２は、時刻Ｔに検出された顔画像とは異なる新たな人物の顔画像と判定する。
【００６６】
次に、保存画像選択部２４では、記録媒体１６に保存された顔画像Ｆと現在検出した顔画像Ｆとを比較して、顔画像Ｆのサイズ、顔の向き等の条件に基づいて、保存に適した画像を選択する。具体的には、同一性判定部２２にて、現在検出した画像が微小時間前に検出された画像と同一人物の顔画像Ｆであると判定されると、保存画像選択部２４は、その人物の顔画像Ｆを記録媒体１６から読み出す。保存画像選択部２４は、以下に説明する複数の判定項目について、記録媒体１６から読み出された顔画像Ｆと検出された顔画像Ｆとを比較する。保存画像選択部２４は、複数の判定項目のそれぞれについてポイントを付与し、各判定項目のポイントを総合した総合ポイントによって、記録媒体１６から読み出された顔画像Ｆと現在検出した顔画像Ｆのいずれが保存に適するかを判定する。なお、保存された顔画像Ｆの各判定項目についてのポイントを記録媒体１６に保存しておき、保存画像選択部２４は保存されたポイントを記録媒体１６から読み出して、検出された顔画像Ｆのポイントと比較してもよい。ここで、複数の判定項目のそれぞれについて、図２および図８〜図１０を用いて説明する。
【００６７】
第１の判定項目は、顔画像Ｆのサイズである。保存画像選択部２４は、図２に示す顔画像Ｆの幅Ｗと高さＨから顔のサイズを判定する。記録媒体１６に保存された顔画像Ｆの楕円ハフ検出領域の幅と高さ、検出された顔画像Ｆの楕円ハフ検出領域の幅と高さに応じて、保存された顔画像Ｆ、検出された顔画像ＦのそれぞれにポイントＰ１を付与する。ポイントＰ１は、幅Ｗ、高さＨが大きくなるに従って高いポイントが付与される。
【００６８】
第２の判定項目は、顔画像Ｆ内の顔の輪郭Ｔｆの大きさである。図８は、移動物体検出部１８で検出された輪郭画像である。図８を参照しながら、顔の輪郭Ｔｆの大きさを算出する方法について説明する。保存画像選択部２４は、顔の輪郭Ｔｆを構成するそれぞれの画素の顔画像Ｆの中心位置Ｃからの距離を算出し、その平均値を算出する。顔サイズは、この平均値に比例する。記録媒体１６に保存された顔画像Ｆの平均距離と検出された顔画像Ｆの輪郭画素の平均距離に応じて、保存された顔画像Ｆ、検出された顔画像ＦのそれぞれにポイントＰ２を付与する。ポイントＰ２は、平均距離Ｄが大きくなるに従って高いポイントが付与される。
【００６９】
第３の判定項目は、顔画像Ｆに映った顔の向きである。図９は、顔の向きを検出するために、輝度の左右対称性を求める方法について説明する図である。正面顔は左右の対称性が高いため左右の輝度差は小さく、横向きになるにつれて左右の対称性が崩れ左右の輝度差が大きくなる傾向を利用して顔の向きを判定する。図９に示すように、保存画像選択部２４は、顔画像Ｆを左右側に分割し、分割された領域をさらに等分割した領域ＡＬｉ，ＡＲｉの輝度平均ＢＬｉ，ＢＲｉ（ｉ=１，…，４）を算出する。そして、保存画像選択部２４は、左右輝度差累積値Ｂｓを、
Ｂｓ=Σ|ＢＬｉ−ＢＲｉ|
によって算出する。記録媒体１６に保存された左右輝度差累積値、現在に検出した顔画像Ｆの左右輝度差累積値に応じて、保存された顔画像Ｆ、検出された顔画像ＦのそれぞれにポイントＰ３を付与する。ポイントＰ３は、輝度差累積値Ｂsが小さくなるに従って高いポイントが付与される。
【００７０】
第４の判定項目は、顔画像Ｆ内に映る顔の位置である。図１０Ａ〜図１０Ｃは、顔が顔画像Ｆ内に適切に位置するか否かを検出するための処理を説明するための図である。図１０Ａは移動物体検出部１８で検出された輪郭画像であり、図１０Ｂおよび図１０Ｃは顔輪郭テンプレートである。顔輪郭テンプレートは、頭部から肩までの平均的な輪郭である。図１０Ｂは前向き用の顔輪郭テンプレート、図１０Ｃは後向き用の顔輪郭テンプレートである。前向きの場合は、サイズの大きな正面顔を検出できるように、後向きの場合は、頭部を大きく切出すと人物の特徴が判り難いため、少しサイズの小さい頭部を検出できるように、それぞれ異なる顔輪郭テンプレートが設定されている。
【００７１】
保存画像選択部２４は、顔画像Ｆが前向きか後ろ向きかを検出し、対応する顔輪郭テンプレートと顔画像Ｆの中心位置Ｃどうしを重ね合わせ、輪郭画素がテンプレートと一致した場合は＋１、一致しない場合は−１を加算して全輪郭画素に対して計算する。記録媒体１６に保存されたマッチング類似度と現在検出した顔輪郭テンプレートとのマッチング類似度に応じて、保存された顔画像Ｆ、検出された顔画像ＦのそれぞれにポイントＰ４を付与する。ポイントＰ４は、マッチング類似度が大きくなるに従って高いポイントが付与される。
【００７２】
直前に検出した顔画像Ｆを現在検出した顔画像Ｆで更新するかどうかのベストショット判定は、上記の各判定項目のポイントＰ１〜Ｐ４から決定する。保存画像選択部２４は、上記したポイントＰ１〜Ｐ４の総和により総合ポイントを求め、総合ポイントの高い方の顔画像を選択する。これにより、複数の判定項目について総合的に判定し、最も保存に適した顔画像Ｆを記録媒体１６に保存することができる。
【００７３】
次に、図１に示す画像保存部２６は、保存画像選択部２４にて選択された顔画像Ｆを記録媒体１６に保存する。保存画像選択部２４では、検出された顔画像Ｆと記録媒体１６に保存された保存画像のうちから保存に適した顔画像Ｆを選択する。選択された顔画像Ｆを記録媒体１６に上書き保存していくことによって、最終的に最も保存に適した顔画像Ｆを記録媒体１６に保存することができる。画像保存部２６は、移動物体検出部１８、顔画像検出部２０によって随時検出される情報、例えば、動き領域Ｍの位置情報、顔画像Ｆの位置情報、人物の監視映像画面への登場時刻および退場時刻、人物の移動方向等を、選択された顔画像Ｆと共に記録媒体１６に保存する。
【００７４】
人物検索部２８は、画像保存部２６によって保存された各種情報を用いて、録画後に監視映像に登場した人物の検索を行う。例えば、保存画像選択部２４では同一人物に対して保存に適した画像を記録しているので、ベストショット顔画像の一覧を表示することで容易にかつ高速に人物の検索が可能になる。時刻による検索、移動方向による検索等の条件を絞った検索も可能になる。
【００７５】
本実施の形態の監視記録装置１０によれば、あらかじめ設定された顔のサイズの楕円位置を特定して、楕円形の輪郭を有する部分を顔画像Ｆとして検出するので、監視画像を撮影した方向によらずに、適切に顔画像Ｆを検出できる。
【００７６】
本実施の形態の監視記録装置１０によれば、監視映像から順次検出される顔画像Ｆが同一人物の顔画像Ｆである場合には、検出された顔画像Ｆのうちから、監視画像として最も適したいわゆる「ベストショット」の顔画像Ｆを選択して保存することができる。監視映像から正面顔に加えて監視映像に多い上側からのショット、横向きや後向きの頭部も履歴情報として記録できるため、監視システムのセキュリティが向上する。
【００７７】
本実施の形態の監視記録装置１０によれば、長時間録画された監視映像から人物の映っている目的のシーンを、高速に検索することができる。
【００７８】
以上、本発明の監視記録装置１０について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００７９】
上記した実施の形態では、微小時間前に検出された顔画像Ｆと現在検出された顔画像Ｆの位置に基づいて同一性判定を行ったが、同一性判定部２２は、顔画像Ｆの移動履歴をも考慮して同一性判定を行ってもよい。
【００８０】
図１１は、同一性判定部２２による同一性判定の方法を説明するための図である。図１１に示す軌跡を辿って移動する顔画像Ｆ１〜Ｆ６が検出された場合、同一人物が時刻Ｔ＋３ｔにおいて方向を変えた可能性と、画面の右側から左側に向かって移動する別の人物が交差した場合の可能性とがある。中心位置間の距離のみを用いて同一性判定を行うと、別の人物が交差した場合に別人物を同一人物と判定してしまい、先に検出した人物を検出し損ねてしまう可能性がある。この問題を解決するため、図１１に示すように、横方向の移動方向変化がない時刻Ｔ〜時刻Ｔ＋３ｔまでは上記実施の形態で説明した距離による判定を行い、時刻Ｔ+４ｔで移動方向変化を検出したときは上記した実施の形態での距離による判定にかかわらず別人物と判定する。すなわち、時刻Ｔ＋３ｔにおける顔画像Ｆ４の中心位置Ｃ４と時刻Ｔ＋４ｔにおける顔画像Ｆ５の中心位置Ｃ５との距離が閾値より小さい場合にも、別人物と判定する。
【００８１】
上記した実施の形態では、保存画像選択部２４は、記録媒体１６に保存された顔画像Ｆと現在検出した顔画像Ｆとの比較を行い、複数の判定項目の総合スコアが高い方を保存画像として選択したが、別の判定基準によって保存画像を選択してもよい。例えば、総合スコアが所定の閾値以上となった場合はベストショットと判定し、直前まで記録媒体１６に保存されていた顔画像Ｆを新しいベストショットの顔画像Ｆによって更新することとしてもよい。
【００８２】
上記した実施の形態では、保存画像選択部２４は、複数の判定項目によって保存する顔画像Ｆを選択したが、上記の判定項目をすべて用いる必要はない。本発明は、上記した判定項目のいずれかを用いて保存画像を選択してもよいし、上記以外の判定項目によって判定を行ってもよい。
【００８３】
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
【産業上の利用可能性】
【００８４】
以上説明したように、本発明は、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらず、横向きや後向きの頭部も顔画像として適切に検出し、保存できるというすぐれた効果を有しカメラで人物の動作を監視する監視記録装置等として有用である。
【図面の簡単な説明】
【００８５】
【図１】図１は、第１の実施の形態の監視記録装置を説明するブロック図
【図２】図２は、監視映像から顔画像を検出する動作を説明する図
【図３】図３は、輪郭画像を説明する図
【図４】図４は、検出された顔画像の数が１個の場合の同一性判定方法を説明する図
【図５】図５は、検出された顔画像の数が１個の場合の同一性判定方法を説明する図
【図６】図６は、検出された顔画像の数が複数の場合の同一性判定方法を説明する図
【図７】図７は、検出された顔画像の数が複数の場合の同一性判定方法を説明する図
【図８】図８は、顔画像の中心位置から輪郭画素の平均距離の算出方法を説明する図
【図９】図９は、顔画像の左右輝度差の累積値の算出方法を説明する図
【図１０Ａ】図１０Ａは、移動物体検出部で検出された輪郭画像の例を示す図
【図１０Ｂ】図１０Ｂは、前向き用の顔輪郭テンプレートの例を示す図
【図１０Ｃ】図１０Ｃは、後向き用の顔輪郭テンプレートの例を示す図
【図１１】図１１は、移動方向変化を検出した場合の同一性判定方法を説明する図
【図１】
0005032846.tif 000002
【図２】
0005032846.tif 000003
【図３】
0005032846.tif 000004
【図４】
0005032846.tif 000005
【図５】
0005032846.tif 000006
【図６】
0005032846.tif 000007
【図７】
0005032846.tif 000008
【図８】
0005032846.tif 000009
【図９】
0005032846.tif 000010
【図１０Ａ】
0005032846.tif 000011
【図１０Ｂ】
0005032846.tif 000012
【図１０Ｃ】
0005032846.tif 000013
【図１１】
0005032846.tif 000014