(57)【特許請求の範囲】
【請求項１】
入力画像と背景画像との差分に基づいて人物を検出する人物検出装置であって、
前記入力画像における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出する微動検出手段と、
前記入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除くエッジ検出手段と、
前記微動検出手段によって前記微動が検出され、かつ、前記エッジ検出手段によって前記エッジが検出された前記画素単位に基づいて人物を検出する人物検出手段と
を備えたことを特徴とする人物検出装置。
【請求項２】
入力画像と背景画像との差分に基づいて人物を検出する人物検出装置であって、
前記入力画像上に人物検出の対象領域である検出対象領域を設定する設定手段と、
前記設定手段が設定した前記検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより微動を検出する微動検出手段と、
前記微動検出手段によって前記微動が検出された前記画素単位の数が所定の閾値以上である場合に、当該検出対象領域を人物が存在する領域である人物領域として検出する人物検出手段と
を備えたことを特徴とする人物検出装置。
【請求項３】
前記設定手段は、
前記入力画像と前記背景画像とが相違する領域である背景差異領域を前記検出対象領域として設定することを特徴とする請求項２に記載の人物検出装置。
【請求項４】
前記設定手段は、
運用場所に応じて予め定義された領域である定義領域を前記検出対象領域として設定することを特徴とする請求項２に記載の人物検出装置。
【請求項５】
前記入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除くエッジ検出手段をさらに備え、
前記人物検出手段は、
前記微動検出手段によって前記微動が検出され、かつ、前記エッジ検出手段によって前記エッジが検出された前記画素単位の数が所定の閾値以上である場合に、当該検出対象領域を前記人物領域として検出することを特徴とする請求項２、３または４に記載の人物検出装置。
【請求項６】
前記人物検出手段が前記人物領域として検出しなかった前記検出対象領域である非検出領域を前記背景画像に取り込むことによって前記背景画像を更新する更新手段
をさらに備えたことを特徴とする請求項２〜５のいずれか一つに記載の人物検出装置。
【請求項７】
前記更新手段が前記背景画像を更新してから所定時間以内に前記人物検出手段が前記非検出領域を前記人物領域として検出したことを条件として、前記背景画像更新手段による前記背景画像の更新を取り消す更新取消手段
をさらに備えたことを特徴とする請求項６に記載の人物検出装置。
【請求項８】
入力画像と背景画像との差分に基づいて人物を検出する人物検出装置であって、
運用場所に応じて予め定義された領域である定義領域を人物検出の対象領域である検出対象領域として設定する設定手段と、
前記設定手段が設定した前記検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出する微動検出手段と、
前記入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除くエッジ検出手段と、
前記微動検出手段によって前記微動が検出され、かつ、前記エッジ検出手段によって前記エッジが検出された前記画素単位の数が所定の閾値以上である前記検出対象領域の数を人数として計数する計数手段と
を備えたことを特徴とする人物検出装置。
【請求項９】
入力画像と背景画像との差分に基づいて人物を検出する人物検出装置であって、
運用場所に応じて予め定義された領域である定義領域を人物検出の対象領域である検出対象領域として設定するとともに、人数を計数する対象である人数計数領域を設定する設定手段と、
前記設定手段が設定した前記検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出する微動検出手段と、
前記入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除くエッジ検出手段と、
前記微動検出手段によって前記微動が検出され、かつ、前記エッジ検出手段によって前記エッジが検出された前記画素単位の数が所定の閾値以上である前記人数計数領域の数を人数として計数する計数手段と
を備えたことを特徴とする人物検出装置。
【請求項１０】
前記計数手段が計数した前記人数と当該人数が計上された領域とを対応付けて時系列に記憶する記憶手段と、
前記記憶手段に記憶された時系列の前記人数に基づいて人の滞在時間密度図を生成する生成手段と
をさらに備えたことを特徴とする請求項８または９に記載の人物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力画像と背景画像との差分に基づいて人物を検出する人物検出装置に関し、特に、照明変動や背景変動がある場合であっても静止人物を含む人物を高精度に判別することができる人物検出装置に関するものである。
【背景技術】
【０００２】
背景となる画像である背景画像を予め取得しておき、この背景画像と入力画像との差分をとることによって背景から変化した領域（以下、「背景相違領域」と記載する）を抽出する背景差分法が知られている。
【０００３】
この背景差分法を、人物等の動体検出に用いる場合、照明器具のＯＮ／ＯＦＦや日照変化による照明変動が問題となる。なぜならば、背景差分法は、背景画像と入力画像との差分をとるものであるため、取得時の背景画像と実際の背景とに差異があれば、照明変動によって変化した背景を動体として誤検出してしまうからである。
【０００４】
このため、照明変動に起因する誤検出を防止する手法が提案されている。たとえば、特許文献１には、背景相違領域が照明変動に起因するものであるか、人物等の物体通過によるものであるかを判定する手法が開示されている。具体的には、所定の小領域における光学的特徴パラメータ値の単位時間あたりの変動を統計的特徴量として算出し、算出した統計的特徴量を、予め求めておいた照明変動の統計的特徴量と比較することで照明変動を特定する。
【０００５】
【特許文献１】特開平７−３０２３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術は、対象とする小領域のサイズおよび統計処理における単位時間をどのような値とするかによって動体検出の性能が大きく左右されるという問題がある。たとえば、単位時間を小さく設定した場合（たとえば、ｔ秒）、ｔ秒以上にわたって同一の場所にとどまっている人物を検出することは困難である。一方、単位時間を大きな値にすると、照明変動を検出することが困難となる。
【０００７】
また、小領域のサイズを小さく設定した場合には、動体の細かな動きを検出することができるが、照明変動を検出することが困難となる。その理由は、照明変動を小領域でみると反射の影響等で小刻みに輝度変化しているため、動体の細かな動きと区別がつけにくいからである。
【０００８】
このように、特許文献１の技術は、小領域のサイズおよび単位時間を適度な値とした場合にのみ動体と照明変動とを区別することができるものの、照明変動と区別することができるのは、歩く人等の移動が大きい動体に限られる。すなわち、特許文献１の技術を用いた場合であっても、同じ位置にとどまる静止人物を照明変動と区別して検出することは困難である。
【０００９】
ところで、背景差分法を用いる場合、照明変動のみではなく、背景そのものが変動した場合の対処を行う必要がある。たとえば、銀行や空港などのように、行列の長さに応じて行列整理用のロープ配置を変更する場合には、ロープ配置の変更に伴う背景変動を動体と区別する必要がある。
【００１０】
これらのことから、照明変動や背景変動がある場合であっても静止人物を含む人物を高精度に判別することができる人物検出装置をいかにして実現するかが大きな課題となっている。
【００１１】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、照明変動や背景変動がある場合であっても静止人物を含む人物を高精度に判別することができる人物検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため本発明は、入力画像と背景画像との差分に基づいて人物を検出する人物検出装置であって、前記入力画像における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出する微動検出手段と、前記入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除くエッジ検出手段と、前記微動検出手段によって前記微動が検出され、かつ、前記エッジ検出手段によって前記エッジが検出された画素単位に基づいて人物を検出する人物検出手段とを備えたことを特徴とする。
【００１３】
また、本発明は、入力画像と背景画像との差分に基づいて人物を検出する人物検出装置であって、前記入力画像上に人物検出の対象領域である検出対象領域を設定する設定手段と、前記設定手段が設定した前記検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより微動を検出する輝度変化の微動を検出する微動検出手段と、前記微動検出手段によって前記微動が検出された前記画素単位の数が所定の閾値以上である場合に、当該検出対象領域を人物が存在する領域である人物領域として検出する人物検出手段とを備えたことを特徴とする。
【００１４】
また、本発明は、上記の発明において、前記設定手段は、前記入力画像と前記背景画像とが相違する領域である背景差異領域を前記検出対象領域として設定することを特徴とする。
【００１５】
また、本発明は、上記の発明において、前記設定手段は、運用場所に応じて予め定義された領域である定義領域を前記検出対象領域として設定することを特徴とする。
【００１６】
また、本発明は、上記の発明において、前記入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除くエッジ検出手段をさらに備え、前記人物検出手段は、前記微動検出手段によって前記微動が検出され、かつ、前記エッジ検出手段によって前記エッジが検出された前記画素単位の数が所定の閾値以上である場合に、当該検出対象領域を前記人物領域として検出することを特徴とする。
【００１７】
また、本発明は、上記の発明において、前記人物検出手段が前記人物領域として検出しなかった前記検出対象領域である非検出領域を前記背景画像に取り込むことによって前記背景画像を更新する更新手段をさらに備えたことを特徴とする。
【００１８】
また、本発明は、上記の発明において、前記更新手段が前記背景画像を更新してから所定時間以内に前記人物検出手段が前記非検出領域を前記人物領域として検出したことを条件として、前記背景画像更新手段による前記背景画像の更新を取り消す更新取消手段をさらに備えたことを特徴とする。
【００１９】
また、本発明は、入力画像と背景画像との差分に基づいて人物を検出する人物検出装置であって、運用場所に応じて予め定義された領域である定義領域を人物検出の対象領域である検出対象領域として設定する設定手段と、前記設定手段が設定した前記検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出する微動検出手段と、前記入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除くエッジ検出手段と、前記微動検出手段によって前記微動が検出され、かつ、前記エッジ検出手段により前記エッジが検出された前記画素単位の数が所定の閾値以上である前記検出対象領域の数を人数として計数する計数手段とを備えたことを特徴とする。
【００２０】
また、本発明は、入力画像と背景画像との差分に基づいて人物を検出する人物検出装置であって、運用場所に応じて予め定義された領域である定義領域を人物検出の対象領域である検出対象領域として設定するとともに、人数を計数する対象である人数計数領域を設定する設定手段と、前記設定手段が設定した前記検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出する微動検出手段と、前記入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除くエッジ検出手段と、前記微動検出手段によって前記微動が検出され、かつ、前記エッジ検出手段によって前記エッジが検出された前記画素単位の数が所定の閾値以上である前記人数計数領域の数を人数として計数する計数手段とを備えたことを特徴とする。
【００２１】
また、本発明は、上記の発明において、前記計数手段が計数した前記人数と当該人数が計上された領域とを対応付けて時系列に記憶する記憶手段と、前記記憶手段に記憶された時系列の前記人数に基づいて人の滞在時間密度図を生成する生成手段とをさらに備えたことを特徴とする。
【発明の効果】
【００２２】
本発明によれば、入力画像における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出し、入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除き、微動が検出され、かつ、エッジが検出された画素単位に基づいて人物を検出することとしたので、静止人物を含む人物の輪郭部に現れやすい微動と人物を含む物体の輪郭部に現れるエッジとを組み合わせて人物検出を行うことで、照明変動や背景変動がある場合であっても静止人物を含む人物を高精度に判別することができるという効果を奏する。
【００２３】
また、本発明によれば、入力画像上に人物検出の対象領域である検出対象領域を設定し、設定した検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより微動を検出し、微動が検出された画素単位の数が所定の閾値以上である場合に、この検出対象領域を人物が存在する領域である人物領域として検出することとしたので、静止人物を含む人物の輪郭部に現れやすい微動が所定の閾値以上認められた検出対象領域に人物が存在する領域とすることで、微動を誤検出した場合であっても検出対象領域ごとの人物の有無を高精度に判別することができるという効果を奏する。
【００２４】
また、本発明によれば、入力画像と背景画像とが相違する領域である背景差異領域を検出対象領域として設定することとしたので、カメラ画像のみに基づいて人物を検出することができるという効果を奏する。
【００２５】
また、本発明によれば、運用場所に応じて予め定義された領域である定義領域を検出対象領域として設定することとしたので、運用場所を問わず人物を検出することができるという効果を奏する。
【００２６】
また、本発明によれば、入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除き、微動が検出され、かつ、エッジが検出された画素単位の数が所定の閾値以上である場合に、この検出対象領域を人物領域として検出することとしたので、静止人物を含む人物の輪郭部に現れやすい微動と人物を含む物体の輪郭部に現れるエッジとが現れた画素単位の数を人物検出の判断基準とすることで、静止人物を含む人物を高精度に判別することができるという効果を奏する。
【００２７】
また、本発明によれば、人物領域として検出しなかった検出対象領域である非検出領域を背景画像に取り込むことによって背景画像を更新することとしたので、物品の移動等によって背景画像が変化した場合であっても静止人物を含む人物を高精度に判別することができるという効果を奏する。
【００２８】
また、本発明によれば、背景画像を更新してから所定時間以内に非検出領域を人物領域として検出したことを条件として、背景画像の更新を取り消すこととしたので、背景画像を誤更新した場合であっても、誤更新する前の背景画像に戻すことで、人物の検出精度を向上させることができるという効果を奏する。
【００２９】
また、本発明によれば、運用場所に応じて予め定義された領域である定義領域を人物検出の対象領域である検出対象領域として設定し、設定した検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出し、入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除き、微動が検出され、かつ、エッジが検出された画素単位の数が所定の閾値以上である検出対象領域の数を人数として計数することとしたので、静止人物を含む人物の輪郭部に現れやすい微動が所定の閾値以上認められた検出対象領域の数を人数として計数することで、人物の数を簡便に求めることができるという効果を奏する。
【００３０】
また、本発明によれば、運用場所に応じて予め定義された領域である定義領域を人物検出の対象領域である検出対象領域として設定するとともに、人数を計数する対象である人数計数領域を設定し、設定した検出対象領域における１または複数の画素からなる画素単位ごとに過去の第１所定期間の平均輝度値と現在の入力輝度値との差異をもとに明暗の交互繰り返しがあり、第２所定期間内にこの繰り返しが所定回数繰り返され、且つ明暗変動の周期が略一定では無いことにより輝度変化の微動を検出し、入力画像からエッジを検出するとともに、第３所定期間静止しているエッジ及び同一方向に一定画素以上連続したエッジを除き、微動が検出され、かつ、エッジが検出された画素単位の数が所定の閾値以上である人数計数領域の数を人数として計数することで、人物の数を柔軟に求めることができるという効果を奏する。
【００３１】
また、本発明によれば、計数した人数と人数が計上された領域と対応付けて時系列に記憶し、記憶された時系列の人数に基づいて人の滞在時間密度図を生成することとしたので、人数の変動を視覚的にわかりやすく提供することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３２】
以下に添付図面を参照して、この発明に係る人物検出装置の好適な実施例を詳細に説明する。なお、以下では、人物検出の対象となる領域を上方から撮像する魚眼カメラを用いて人物検出を行う場合について説明する。
【実施例】
【００３３】
まず、本実施例に係る人物検出装置の特徴点について図１を用いて説明する。図１は、本実施例に係る人物検出装置の特徴を示す図である。なお、同図においては、銀行等に設置されたＡＴＭ（Automated  Teller  Machine）コーナーにおいて人物検出を行う場合について示している。
【００３４】
同図に示すように、「背景画像」には、無人状態のＡＴＭコーナーや、行列整理用のロープが映っている。一方、「入力画像」には、各ＡＴＭで操作を行う人物や、ＡＴＭの順番待ちをする人物が映っている。そして、本実施例に係る人物検出装置では、「背景画像」と「入力画像」との差分画像（以下、「背景差異画像」と記載する）を生成する。
【００３５】
「背景差異画像」には、同図に示すように、正方形の集合体からなるブロックが含まれる。ここで、各正方形は、所定数の画素からなる画素群（以下、「画素単位」と記載する）であり、人物検出処理の最小単位となる。なお、この画素単位の詳細については、図５を用いて後述する。
【００３６】
「背景差異画像」に含まれるブロックには、人物に対応するブロックと、人物以外に対応するブロック（たとえば、持ち込まれた物品、移動された物品、日照による影等）とがあり、人物検出処理においては、人物に対応するブロックのみを検出する必要がある。
【００３７】
そこで、本実施例に係る人物検出装置では、上記した画素単位における輝度変化の「微動」が人物の輪郭部分に現れやすいことを利用し、人物以外に対応するブロックと人物に対応するブロックとを判別することとした。ここで、「微動」とは、所定時間にわたる平均輝度値と入力輝度値との差が明暗交互に繰り返すことを指す。また、「微動」すると認められた画素単位のことを「ピクセル特徴」が現れた画素単位と呼ぶ。
【００３８】
かかるピクセル特徴は、静止人物を含む人物の輪郭部分に現れやすいため、ピクセル特徴が認められたブロックを人物に対応するブロックとすることも可能である。しかし、本実施例に係る人物検出装置では、人物検出の精度を向上させるために、このピクセル特徴と「エッジ特徴」とを組み合わせることとした。ここで、「エッジ特徴」とは、検出されたエッジから、所定時間静止しているエッジおよび同一方向に一定画素以上連続したエッジを除いたものを指す。なお、エッジとは、画像における輝度変化が急な部分を指し、たとえば、ラプラシアンフィルタを用いることで検出される。
【００３９】
かかる「エッジ特徴」は、人物を含む物体の輪郭部分に現れる。一方、「ピクセル特徴」は、上記したように人物の輪郭部分に現れやすいため、「ピクセル特徴」および「エッジ特徴」の２つの特徴の共通部分をとることで、各特徴の誤検知部分を補完しあうことが可能となる。
【００４０】
すなわち、本実施例に係る人物検出装置では、エッジ特徴を検出するエッジ処理を行うとともに（同図の（１Ａ）参照）、ピクセル特徴を検出する微動検出処理を行い（同図の（１Ｂ）参照）、検出した各特徴を組み合わせることによって人物検出処理を行うこととした（同図の（２）参照）。したがって、照明変動や背景変動がある場合であっても静止人物を含む人物を高精度に判別することができる。
【００４１】
次に、本実施例に係る人物検出装置の構成について図２を用いて説明する。図２は、本実施例に係る人物検出装置１の構成を示す図である。同図に示すように、人物検出装置１は、カメラ２と、ディスプレイ３と、制御部１０と、記憶部２０とを備えている。また、制御部１０は、画像入力部１１と、設定部１２と、背景差異領域検出部１３と、微動検出部１４と、エッジ検出部１５と、人物検出部１６と、背景画像更新部１７とをさらに備えており、記憶部２０は、入力画像２１と、背景画像２２と、検出対象領域２３とを記憶する。
【００４２】
カメラ２は、人物検出の対象となる領域を上方から撮像するＣＣＤ（Charge  Coupled  Devices）カメラ等のカメラである。なお、本実施例では、魚眼カメラを用いて広視野角の領域を撮像することとしているが、視野角の大小についての制限はない。また、カメラを上方に設置するかわりに、側方に設置することとしてもよい。
【００４３】
ディスプレイ３は、人物検出部１６による検出結果を文字やグラフの形で表示する表示デバイスである。なお、本実施例では、人物検出部１６による検出結果をディスプレイ３に表示することとしたが、検出結果に係るデータを他の装置（たとえば、パーソナルコンピュータ等）へ送信することとしてもよい。
【００４４】
制御部１１は、カメラ２で撮像した画像から検出した微動およびエッジに基づいて人物を検出する処理を行う処理部である。画像入力部１１は、カメラ２が撮像した画像を受け取り、記憶部２０に対して入力画像２１として記憶させる処理を行う処理部である。なお、画像入力部１１は、カメラ２から受け取る画像を用いて入力画像２１を随時更新する。また、人物検出装置１の動作開始時等には、最初に生成された入力画像２１が背景画像２２とされる。
【００４５】
設定部１２は、運用場所等に応じて予め定義された領域である定義領域を背景差異領域検出部１３に対して通知する処理を行う。定義領域は、閉領域の集合として表わされ、たとえば、入力画像２１に映された通路全体を隙間なく区切ったり、ＡＴＭコーナーの並び位置を、等間隔で区切ったりした領域情報であり、「エッジ特徴」や「ピクセル特徴」の検出対象となる判定領域の集合として表わされる。なお、この定義領域に含まれない領域は人物検出の対象とはならないので、人物を検出する必要がない部分（たとえば、人物が存在しない壁やテーブル等）に関する画像処理を省くことで、処理負荷を低減することができる。
【００４６】
背景差異領域検出部１３は、入力画像２１と背景画像２２との差分をとることによって背景差異領域を検出するとともに、検出した背景差異領域と設定部１２による定義領域との重複領域を検出対象領域２３として記憶部２０へ格納する処理を行う処理部である。なお、本実施例では、設定部１２による定義情報を用いる場合について示したが、かかる定義情報を用いずに、検出した背景差異領域をそのまま検出対象領域２３としてもよい。
【００４７】
微動検出部１４は、検出対象領域２３から、上記した「ピクセル特徴」が現れた微動を検出する処理を行う処理部である。また、微動検出部１４による検出結果は、人物検出部１６へ渡される。ここで、微動検出部１４が微動を検出する処理の詳細について図３および図４を用いて説明しておく。図３は、微動検出処理の概要を示す図であり、図４は、微動検出処理の変形例を示す図である。
【００４８】
図３の上部に示したのは、入力画像２１における所定画素の輝度値の変化を示すグラフである。このグラフは、縦軸が輝度値（０〜２５５）を、横軸が時間をそれぞれ表す。ここで、横軸は、現在を基準とし同図の左に行くほど過去の時間を示す。また、同図の下部に示したのは、微動の検知／非検知状態を示すグラフである。
【００４９】
図３に示した「条件Ａ」とは、「過去Ｔ１秒間の平均輝度値」と「入力輝度値」との差が「Ｔｈ」以上であるという条件を指す。ここで、この条件Ａを式で表わすと、式１「過去Ｔ１秒間の平均輝度値−Ｔｈ＞入力輝度値」、または、式２「過去Ｔ１秒間の平均輝度値＋Ｔｈ」＜入力輝度値」のいずれかの式を満たす場合となる。式１を満たす場合とは、入力値が平均値よりも暗い側で条件Ａを満たした場合であり、式２を満たす場合とは、入力値が平均値よりも明るい側で条件Ａを満たした場合である。なお、時間「Ｔ１」の値としては、たとえば、「５秒」が、所定値「Ｔｈ」の値としては、床と同系色の服を着ている人物を検出するために、「６」が、それぞれ選択される。
【００５０】
また、「条件Ｂ」とは、「Ｔ２秒以内に、条件Ａを明暗交互に３回繰り返した場合には、検知状態をＴ３秒間保持する」という条件を指す。ただし、明暗が変動する周期が略一定な場合、すなわち、同図に示す「Ｔａ」および「Ｔｂ」が、たとえば、式「｜Ｔａ−Ｔｂ｜≦０．２秒」を満たす場合には、ロープの揺れ等に起因する周期的な輝度変化であると考えられるため除外する。
【００５１】
条件Ｂにおいて、検知状態を所定時間保持するのは、特に、静止人物の場合、このような微動は散発的にしか発生しないので、人物が存在するという判定を行うためには、次の微動が発生するまで検知状態を保持する必要があるためである。なお、時間「Ｔ２」の値としては、微動の往復運動を検知できる最大時間として、たとえば、「５秒」が、時間「Ｔ３」の値としては、人物の体のどこかの部分が微動すると考えられる時間間隔として、たとえば、「１０秒」が、それぞれ選択される。また、本実施例においては、「条件Ｂ」において条件Ａを明暗交互に３回繰り返すとしたが、他の回数に変更することとしてもよい。
【００５２】
図３に示したように、条件Ａあるいは条件Ｂのいずれかを満たした場合に、微動の検知状態とされ、条件Ａおよび条件Ｂをいずれも満たさない場合に、微動の非検知状態とされる。このようにして、入力画像２１における各画素について、微動の有無が検出される。そして、上記した画素単位内に微動が検出された画素が一つでも存在する場合には、当該画素単位は、ピクセル特徴があると判定される。
【００５３】
なお、上記した微動検出処理では、周期的に輝度値が変化する画素を除外したうえで微動の有無を判定したが、周期的に輝度値が変化する画素を除外することなく微動の有無を判定することとしてもよい。たとえば、微動ありと判定された画素数が、周期的に輝度値が変化する画素数よりも多い場合に、当該画素単位をピクセル特徴ありと判定することとしてもよい。
【００５４】
ところで、図３では、微動検知状態および微動非検知状態の２値で微動を検出することとしたが、保留状態という状態を追加することとしてもよい。そこで、保留状態を追加した変形例について図４を用いて説明する。
【００５５】
図４の上部に示したのは、入力画像２１における所定画素の輝度値の変化を示すグラフであり、図３と同様である。一方、同図の下部に示した微動の検知／非検知状態を示すグラフには、「保留状態」が追加されている。図４に示すように、条件Ｂが未成立で、かつ、条件Ａが成立している場合には、「保留状態」とし、条件Ｂが成立した場合に、はじめて「検知状態」とする。
【００５６】
すなわち、「保留状態」とは、未だ「人物」なのか「背景」なのかはっきりとわからない場合（すなわち、条件Ａは成立しているが条件Ｂは成立していない場合）を指す。照明変動は、条件Ａを明暗交互に繰り返すことがないので、条件Ｂは成立しない。したがって、「保留状態」を設けることで、照明変動発生直後の微動の誤検知を効果的に防止することができる。
【００５７】
図２に戻り、エッジ検出部１４について説明する。エッジ検出部１４は、検出対象領域２３から、上記した「エッジ特徴」が現れたエッジを検出する処理を行う処理部である。ここで、エッジ検出部１４は、たとえば、ラプラシアンフィルタを用いてエッジを検出し、エッジの方向を検出するためにソーベルフィルタを用いる。そして、一定時間静止しているエッジ（たとえば、３０秒間静止）や、同一方向に一定画素以上連続しているエッジを除去し、残ったエッジを「エッジ特徴」が現れたエッジとする。なお、エッジ検出部１４による検出結果は、人物検出部１６へ渡される。
【００５８】
人物検出部１６は、微動検出部１４による検出結果およびエッジ検出部１５による検出結果に基づき、検出対象領域２３における人物の有無を検出する処理を行う処理部である。ここで、この人物検出部１６による人物検出処理の概要について図５を用いて説明しておく。図５は、人物検出処理の概要を示す図である。なお、同図に示す背景差異画像には、複数の検出対象領域２３（同図において「Ａ」〜「Ｈ」とラベリングされた各領域参照）が含まれている。
【００５９】
たとえば、同図に示す「Ｇ」の検出対象領域２３は、複数の「画素単位」の集合として表現される。そして、各画素単位は、たとえば、８画素×８画素の画素から構成される。ここで、各画素を検出処理に係る最小単位とせず、複数の画素からなる画素単位を最小単位とするのは、同図に示すように、画像もしくは画像処理の誤差によって、ピクセル特徴とエッジ特徴とが同一の画素に出現しない場合であっても、双方の特徴が現れた領域を検知するためである。
【００６０】
人物検出部１６は、ピクセル特徴があると検知された画素が、たとえば、画素単位内に１つででもあれば、この画素単位をピクセル特徴がある画素単位とする。また、人物検出部１６は、エッジ特徴があると検知された画素が、たとえば、画素単位に３つ以上あれば、この画素単位をエッジ特徴がある画素単位とする。ここで、画素単位が３つ以上とするのは、除去したはずの静止物体に係るエッジがノイズとして残存する場合を考慮したためである。
【００６１】
そして、人物検出部１６は、ピクセル特徴があり、かつ、エッジ特徴があると判定された画素単位を、双方の特徴が現れた画素単位とする。そして、各検出対象領域２３に含まれる全ての画素単位について同様の処理を繰り返し、双方の特徴が現れた画素単位の個数が所定値以上である場合に、当該検出対象領域２３に人物が存在すると判定する。
【００６２】
このようにして、人物検出部１６は、各検出対象領域２３における人物の有無を判定し、ディスプレイ３に対して出力する。なお、本実施例においては、ピクセル特徴およびエッジ特徴の双方の特徴が現れた画素単位の個数が所定値以上である検出対象領域２３について人物ありと判定したが、双方の特徴が現れた画素単位の個数を検出対象領域２３に含まれる全画素単位の個数で除した比率が所定値以上であることを条件として人物ありと判定することとしてもよい。
【００６３】
図２の説明に戻り、背景画像更新部１７について説明する。背景画像更新部１７は、人物検出部１６が、人物が存在する領域（人物領域）としなかった検出対象領域２３を用いて背景画像２２を更新する処理を行う処理部である。このように、背景画像２２を更新していくことで、行列整理用ロープの位置変更や、静止物体の位置変更に伴う背景の変化がある場合であっても、これらの人物以外の要因によって変化が発生した領域を背景差異領域から除外することで、背景精度良く人物検出を行うことができる。なお、背景画像更新部１７は、背景画像２２の誤更新に対処するために、背景画像２２の更新を取り消す処理も併せて行う。ここで、背景画像更新処理の概要について図６を用いて説明しておく。
【００６４】
図６は、背景画像更新処理の概要を示す図である。同図に示すように、背景画像更新部１７は、背景画像２２として、現在の背景画像を表す「現背景画像」と、直前の背景画像を表す「前背景画像」の２世代の背景画像２２を参照する。なお、「現背景画像」および「前背景画像」は、背景画像２２として記憶部２０に記憶されているものとする。
【００６５】
同図に示すように、入力画像と現背景画像とを比較する「比較１」が行われ、人物検出部１６が、人物が存在する領域（人物領域）としなかった検出対象領域２３を用いて背景画像２２を更新する「更新１」が実行される。一方、上記した「比較１」とともに、入力画像と前背景画像とを比較する「比較２」も行われる。
【００６６】
そして、「入力画像に人物が検出されず」、「入力画像と現背景画像とが略同一であり」、「入力画像と前背景画像とが異なる」という３つの条件を、たとえば、１０秒間にわたって満たした場合には、現背景画像を前背景画像とする「更新２」が実行される。その理由は、入力画像に人物がいないのに、入力画像と前背景画像が異なるのは不自然なためである。
【００６７】
一方、「入力画像に人物が検出され」、「入力画像と現背景画像とが略同一であり」、「入力画像と前背景画像とが異なる」という３つの条件を、たとえば、５秒間にわたって満たした場合には、「更新１」が実行された現背景画像を前背景画像に置き換えることによって更新を取り消す「復活」処理が実行される。このように、誤更新を取り消すことができるので、人物を背景画像に取り込んでしまった場合であっても、正常な背景画像に戻すことができる。
【００６８】
記憶部２０は、ＨＤＤ（Hard  Disk  Drive）や、ＲＡＭ（Random  Access  Memory）等の記憶デバイスで構成される記憶部である。そして、この記憶部２０には、入力画像２１、背景画像２２および検出対象領域２３が記憶される。入力画像２１は、画像入力部１１によって随時更新されるカメラ２による撮像画像である。背景画像２２は、人物がいない状態で撮像された入力画像２１、または、背景画像更新部１７によって随時更新される画像である。なお、上述したように、この背景画像２２には、現背景画像と前背景画像とが含まれる。検出対象領域２３は、背景差異領域検出部１３によって決定される人物検出領域の集合である（図５における「Ａ」〜「Ｈ」参照）。
【００６９】
次に、運用場所等に応じて予め定義された領域である定義領域について図７を用いて説明する。図７は、定義領域の一例を示す図である。同図の（１）に示すように、定義領域として、ロープに仕切られた通路内に等間隔（たとえば、６０ｃｍ間隔）で人物が並ぶ各位置を各定義領域とすることができる。また、同図の（２）に示すように、ロープに仕切られた通路全体を隙間なく区切って各定義領域とすることとしてもよい。
【００７０】
なお、この定義領域に含まれない領域は人物検出の対象とはならないので、人物を検出する必要がない部分（たとえば、人物が存在しない壁やテーブル等）に関する画像処理を省くことで、人物検出処理に伴う処理負荷を低減することができる。また、人物検出装置１の設置場所に応じて定義領域を柔軟に設定することができる。
【００７１】
次に、人物検出部１６が、人物の検出結果をグラフ等に加工してディスプレイ３に出力する場合について図８を用いて説明する。図８は、滞在時間密度図の一例を示す図である。なお、同図の８１には、商品陳列棚の周辺に計数領域を設定した場合について、同図の８２には、商品陳列棚周辺における単位時間あたりの滞在人数を表す滞在時間密度図を、それぞれ示している。
【００７２】
ここで、同図の８１に示した計数領域は、図７に示した定義領域と同一としてもよいし、図７に示した定義領域とは異なる領域として新たに設定することとしてもよい。たとえば、図７の「（２）定義領域の例２」に示した各判定領域は、お互いに重ならない領域として設定されているが、各判定領域をまたがるように各計数領域を設定することができる。
【００７３】
同図の８１に示した各計数領域について人物検出部１６が人物を検出すると、検出した人物の人数をカウントアップする。ここで、人数のカウントアップは、各計数領域における人物の出入り数を考慮しつつ、各計数領域に人物が滞在する時間および人数を計測することによって行われる。そして、各時間における滞在人数を各計数領域と対応付け、たとえば、記憶部２０に記憶しておき、指定された時間範囲にわたってグラフ化することで、同図の８２に示す滞在時間密度図が得られる。
【００７４】
なお、同図の８２に示す滞在時間密度図では、上方の陳列棚における左側部分、双方の陳列棚で挟まれた中央部分等における滞在時間密度が高いことが示されている。このような滞在時間密度図を生成することで、陳列棚に配置された商品の人気や注目度を分析することが可能となる。なお、図８では、商品の陳列棚を計数対象としたが、展示会や商品発表会における各ブース、アトラクションの待ち行列等を計数対象とすることとしてもよい。
【００７５】
次に、微動検出部１４が行う微動検出処理の処理手順について図９を用いて説明する。図９は、微動検出処理の処理手順を示すフローチャートである。ここで、同図における処理対象は、入力画像２１における各画素であり、同図に示す処理は、検出対象領域２３に含まれる各画素について入力画像２１の更新ごと（フレームごと）に並行して行われる。なお、図９に示した処理手順は、図３に対応するものである。
【００７６】
同図に示すように、Ｔ１秒間の平均輝度値と入力輝度値との差がＴｈ以上であるか否かが判定される（ステップＳ１０１）。そして、差がＴｈ以上である場合には（ステップＳ１０１，Ｙｅｓ）、微動検知状態とされる（ステップＳ１０２）。なお、ステップＳ１０１において、差がＴｈ未満である場合には（ステップＳ１０１，Ｎｏ）、処理を終了する。
【００７７】
つづいて、Ｔ２秒以内に明暗交互に所定回数繰り返して微動検知状態が検出されたか否かが判定され（ステップＳ１０３）、判定条件を満たした場合には（ステップＳ１０３，Ｙｅｓ）、明暗変動周期が略一定であるか否かが判定される（ステップＳ１０４）。なお、ステップＳ１０３の判定条件を満たさなかった場合には（ステップＳ１０３，Ｎｏ）、処理を終了する。
【００７８】
そして、ステップＳ１０４の判定条件を満たさなかった場合には（ステップＳ１０４，Ｎｏ）、微動検知状態のＴ３秒間保持命令を出し（ステップＳ１０５）、処理を終了する。ここで、Ｔ３秒間保持命令は、たとえば、ＦＬＧを立て、そのＦＬＧを別途タイマーによって処理し、Ｔ３秒後にＯＦＦにする。また、Ｔ３秒以内に、再度、保持命令が発生した場合は、タイマーは一旦初期化され、その時点から再度Ｔ３秒を計測する。なお、ステップＳ１０４の判定条件を満たした場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０５の処理を行うことなく処理を終了する。
【００７９】
次に、人物検出部１６が行う人物検出処理の処理手順について図１０を用いて説明する。図１０は、人物検出処理の処理手順を示すフローチャートである。なお、同図における処理対象は、複数の画素からなる画素単位であり（図５における「画素単位」参照）、同図に示す処理は、各検出対象領域２３（図５における「Ａ」〜「Ｈ」参照）について行われる。
【００８０】
同図に示すように、特定の検出対象領域２３に対応する入力画像２１について、所定の画素単位への移動が行われる（ステップＳ２０１）。つづいて、当該画素単位について微動検出部１４によって微動（ピクセル特徴）が検出されたか否かが判定され（ステップＳ２０２）、微動（ピクセル特徴）が検出された場合には（ステップＳ２０２，Ｙｅｓ）、当該画素単位についてエッジ検出部１５によってエッジ（エッジ特徴）が検出されたか否かが判定される（ステップＳ２０３）。なお、ステップＳ２０２において微動（ピクセル特徴）が検出されなかった場合には（ステップＳ２０２，Ｎｏ）、他の画素単位へ移動したうえでステップＳ２０１以降の処理を繰り返す。
【００８１】
そして、ステップＳ２０３においてエッジ（エッジ特徴）が検出された場合には（ステップＳ２０３，Ｙｅｓ）、当該画素単位がカウントされる（ステップＳ２０４）。一方、ステップＳ２０３においてエッジ（エッジ特徴）が検出されなかった場合には（ステップＳ２０３，Ｎｏ）、他の画素単位へ移動したうえでステップＳ２０１以降の処理を繰り返す。
【００８２】
つづいて、すべての画素単位について判定が完了したか否かが判定され（ステップＳ２０５）、ステップＳ２０５の判定条件を満たした場合には（ステップＳ２０５，Ｙｅｓ）、カウントした画素単位が所定値以上であるか否かが判定される（ステップＳ２０６）。一方、ステップＳ２０５の判定条件を満たさなかった場合には（ステップＳ２０５，Ｎｏ）、他の検出対象領域２３を再選択したうえでステップＳ２０１以降の処理を繰り返す。
【００８３】
そして、ステップＳ２０６の判定条件を満たした場合には（ステップＳ２０６，Ｙｅｓ）、当該検出対象領域２３について人物検出と判定し（ステップＳ２０７）、処理を終了する。一方、ステップＳ２０６の判定条件を満たさなかった場合には（ステップＳ２０６，Ｎｏ）、当該検出対象領域２３について人物非検出と判定し（ステップＳ２０８）、処理を終了する。
【００８４】
上述してきたように、本実施例では、微動検出部が、入力画像における１または複数の画素からなる画素単位ごとに輝度変化の微動を検出し、エッジ検出部が、入力画像からエッジを検出し、人物検出部が、微動検出部が検出した微動およびエッジ検出部が検出したエッジに基づいて人物を検出するように人物検出装置を構成した。
【００８５】
したがって、静止人物を含む人物の輪郭部に現れやすい微動と人物を含む物体の輪郭部に現れるエッジとを組み合わせて人物検出を行うことで、照明変動や背景変動がある場合であっても静止人物を含む人物を高精度に判別することができる。
【産業上の利用可能性】
【００８６】
以上のように、本発明に係る人物検出装置は、背景差分法を用いて高精度に人物を検出したい場合に適している。また、本発明を、レジ待ちや屋外アトラクション待ちにおける行列カウントや、空席表示、座席稼働率算出といった空席検出、商品陳列棚前や展示ブース前での来客滞在状況の分析に適用することもできる。
【図面の簡単な説明】
【００８７】
【図１】本実施例に係る人物検出装置の特徴を示す図である。
【図２】本実施例に係る人物検出装置の構成を示す図である。
【図３】微動検出処理の概要を示す図である。
【図４】微動検出処理の変形例を示す図である。
【図５】人物検出処理の概要を示す図である。
【図６】背景画像更新処理の概要を示す図である。
【図７】定義領域の一例を示す図である。
【図８】滞在時間密度図の一例を示す図である。
【図９】微動検出処理の処理手順を示すフローチャートである。
【図１０】人物検出処理の処理手順を示すフローチャートである。
【符号の説明】
【００８８】
１    人物検出装置
２    カメラ
３    ディスプレイ
１０  制御部
１１  画像入力部
１２  設定部
１３  背景差異領域検出部
１４  微動検出部
１５  エッジ検出部
１６  人物検出部
１７  背景画像更新部
２０  記憶部
２１  入力画像
２２  背景画像
２３  検出対象領域
【図１】
0005060264.tif 000002
【図２】
0005060264.tif 000003
【図３】
0005060264.tif 000004
【図４】
0005060264.tif 000005
【図５】
0005060264.tif 000006
【図６】
0005060264.tif 000007
【図７】
0005060264.tif 000008
【図８】
0005060264.tif 000009
【図９】
0005060264.tif 000010
【図１０】
0005060264.tif 000011