(57)【要約】【課題】  上方に設置された監視カメラの撮像映像であっても、映像自体の補正を行わなくても人の検出精度が低下しない。【解決手段】  カメラ撮像映像から画像フレームを生成する画像入力部１と、所定数前のフレームから基準フレームまでの同一部位の輝度の変化量の最大値を算出し、基準フレームから所定数後の画像フレームまでの同一部位の輝度変化情報から輝度の分散度を算出して、ピクセル毎に静状態／動状態と判断する時間変化抽出部２と、複数のピクセルから成るセルを生成して当該セル毎に動状態及び静状態の２値から成るヒストグラムを作成し、更にヒストグラムを正規化して動きの特徴量を算出するフレーム間特徴抽出部と、強識別器によって人の存在を検出する人検出手段とを備え、フレーム間特徴抽出部３はセルの生成にあたり画像の歪みに合わせて基準位置から所定量移動させる歪み補正テーブル記憶部３ａを有する。【選択図】  図１
2015158794.tif 000002
【特許請求の範囲】
【請求項１】
カメラの撮像映像から画像フレーム群を生成する画像フレーム群生成手段と、生成した複数の画像フレームのうち任意の画像フレームを基準フレームとして当該基準フレームから時間軸上で所定数前及び／又は所定数後の画像フレームまでのピクセル毎の同一部位の輝度の変化量の最大値を算出する輝度変化算出手段と、前記基準フレームと当該基準フレームから所定数前及び／又は所定数後の画像フレームまでのピクセル毎の同一部位の輝度変化情報から輝度の分散度を算出する分散度算出手段と、前記輝度の変化量の最大値が所定の値より大きく、又は前記輝度の分散度が所定の値より大きいピクセルを動状態と判断すると共に、それ以外のピクセルを静状態と判断するピクセル状態判断手段と、前記基準フレームにおいて、隣接する複数のピクセルから成るセルを生成して当該セル毎に前記動状態及び前記静状態の２値から成るヒストグラムを作成し、当該ヒストグラムを正規化して動きの特徴量を算出する特徴量算出手段と、算出した前記動きの特徴量と学習サンプルを用いた強識別器によって人の存在を検出する人検出手段とを備えた人検出装置において、
前記特徴量算出手段は、前記カメラの撮像映像の歪みを補正するために前記セルの生成位置を基準位置より所定量移動させる歪み補正テーブル記憶部を有し、当該歪み補正テーブルのデータに基づいた部位にセルを生成してヒストグラムを作成することを特徴とする人検出装置。
【請求項２】
前記特徴量算出手段は、前記セルをラスタスキャンする横方向に直線状に連続形成すると共に、当該横方に形成した行セル群を縦方向に密着させて複数生成し、
前記歪み補正テーブルのデータに基づいて、前記行セル群毎に基準位置から順次所定量横移動して配置し、前記ヒストグラムを作成することを特徴とする請求項１記載の人検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮像映像から人を検出する人検出装置に関する。
【背景技術】
【０００２】
近年、犯罪の増加や高度化により、カメラの撮像映像から人の存在を検知する技術の開発が進んでいる。
本発明者等は、画像における局所特徴量と統計的な学習法の組合せを用いて人を検出する手法において、従来より計算処理量の削減を可能とすることでカメラの撮像映像から人の検出を安価に実施できる物体検出装置を特許文献１において提案した。
【０００３】
一方で、監視カメラの場合は通常高位置に設置され、斜め下方を撮像するのが一般的である。このような設置形態では人を横方向から撮像する場合と異なり、多かれ少なかれ歪んだ形で撮像される。そして、この歪みは撮像するカメラのレンズ特性から画像の隅部において特に顕著になり、この歪みにより人を検知する際にエラーを生ずる一因になっていた。
そのため、撮像画像を補正して歪みを矯正した後、人の特徴を抽出する手法が提案されている。例えば、非特許文献１ではカメラの設置位置に合わせてカメラキャリブレーションを行って変換行列を求め、入力画像に対して求めた変換行列を用いて人を判別する識別器に適合する形状に画像を補正した。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９０９４３号公報
【非特許文献】
【０００５】
【非特許文献１】李媛，伊藤誠也，三好雅則，藤吉弘亘，金子俊一：“Smart Window Transformとエッジベース識別器に基づく人検出”２０１１年度精密工学会秋期大会学術講演会講演論文集
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の技術により、演算量を削減して人の存在を安価なＣＰＵにより検知することを可能としたことで、一般家庭に設置する防犯カメラにも適用可能となった。
しかしながら、監視カメラにこの技術を適用しようとした場合、上述したように上方からの撮像が基本となるため、撮影される人は多かれ少なかれ歪んだ形で撮像される。そのため、非特許文献１のような画像処理を必要とし、せっかく演算量を削減した手法を生かすことができなかった。
【０００７】
そこで、本発明はこのような問題点に鑑み、上方に設置された監視カメラの撮像映像であっても、映像自体の補正を行わなくても人の検出精度が低下しない人検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決する為に、請求項１の発明は、カメラの撮像映像から画像フレーム群を生成する画像フレーム群生成手段と、生成した複数の画像フレームのうち任意の画像フレームを基準フレームとして当該基準フレームから時間軸上で所定数前及び／又は所定数後の画像フレームまでのピクセル毎の同一部位の輝度の変化量の最大値を算出する輝度変化算出手段と、基準フレームと当該基準フレームから所定数前及び／又は所定数後の画像フレームまでのピクセル毎の同一部位の輝度変化情報から輝度の分散度を算出する分散度算出手段と、輝度の変化量の最大値が所定の値より大きく、又は輝度の分散度が所定の値より大きいピクセルを動状態と判断すると共に、それ以外のピクセルを静状態と判断するピクセル状態判断手段と、基準フレームにおいて、隣接する複数のピクセルから成るセルを生成して当該セル毎に動状態及び静状態の２値から成るヒストグラムを作成し、当該ヒストグラムを正規化して動きの特徴量を算出する特徴量算出手段と、算出した動きの特徴量と学習サンプルを用いた強識別器によって人の存在を検出する人検出手段とを備えた人検出装置において、特徴量算出手段は、カメラの撮像映像の歪みを補正するためにセルの生成位置を基準位置より所定量移動させる歪み補正テーブル記憶部を有し、当該歪み補正テーブルのデータに基づいた部位にセルを生成してヒストグラムを作成することを特徴とする。
この構成によれば、画像の輝度情報を基に動状態及び静状態のヒストグラムを作成する際にセル位置を画像の歪み量に合わせて移動して生成するため、特徴量を生成する段階で画像の歪みを補正でき、カメラの撮像画像自体を補正しなくても人の検出精度の低下を防止できる。よって、画像を補正する演算量を削減でき、人の検出演算を行うＣＰＵの負担増加を防止できる。
【０００９】
請求項２の発明は、請求項１に記載の構成において、特徴量算出手段は、セルをラスタスキャンする横方向に直線状に連続形成すると共に、当該横方に形成した行セル群を縦方向に密着させて複数生成し、歪み補正テーブルのデータに基づいて、行セル群毎に基準位置から順次所定量横移動して配置し、ヒストグラムを作成することを特徴とする。
この構成によれば、画像歪みの補正は行セル群を横方向に移動する簡易な操作であり、動きの特徴量算出自体も大きな演算増加が発生することがない。
【発明の効果】
【００１０】
本発明によれば、画像の輝度情報を基に動状態及び静状態のヒストグラムを作成する際にセル位置を画像の歪み量に合わせて補正するため、特徴量を生成する段階で画像の歪みを補正でき、カメラの撮像画像自体を補正しなくても人の検出精度の低下を防止できる。よって、画像を補正する演算量を削減でき、人の検出演算を行うＣＰＵの負担増加を防止できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る人検出装置の一例を示す機能構成図である。
【図２】画像フレームと輝度値の関係を示す画像フレーム群の説明図である。
【図３】補正されたセル生成位置を示す画像説明図であり、（ａ）はカメラの撮像画像、（ｂ）は作成したセル群を表示した画像、（ｃ）は人の検出ウィンドウを表示した画像をそれぞれ示している。
【図４】従来のセル生成を示す画像説明図であり、（ａ）は画面左側にセル群を生成した画像、（ｂ）は画面中央にセル群を生成した画像、（ｃ）は画面右側にセル群を生成した画像をそれぞれ示している。
【発明を実施するための形態】
【００１２】
以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る人検出装置の一例を示す機能構成図であり、入力されたカメラ（図示せず）が撮像映像信号から所定の間隔で画像フレームを生成して出力する画像入力部１、任意の画像フレームを基準フレームとしてピクセル毎に輝度の時間変化量を抽出する時間変化抽出部２、動きの特徴量を算出するフレーム間特徴抽出部３、学習サンプルと算出した動きの特徴量から人を検出する検出部４、検出結果を出力する結果出力部５を備えている。
【００１３】
尚、これら構成要素のうち、画像入力部１、時間変化抽出部２、フレーム間特徴抽出部３、検出部４が人検出装置を構成し、ＣＰＵ或いはＤＳＰが所定のプログラムを実行することで実現される。また、結果出力部５を含む全体は例えばパーソナルコンピュータで実現できる。
【００１４】
画像入力部１は、カメラの撮像映像信号が入力され、例えば０．０３秒毎に画像フレーム（静止画）を生成して出力し、時間軸上で連続するデジタルデータから成る画像フレームを出力する。
【００１５】
時間変化抽出部２は、画像入力部１が出力した画像フレームの任意の画素（ピクセル）から、輝度の時間変化量、輝度の分散値を算出する。
【００１６】
フレーム間特徴抽出部３は、個々のピクセルの状態を判定して動きの特徴量を算出する。動きの特徴量は、複数のピクセルから成るセルを生成してセル毎に輝度のヒストグラムを作成し、このヒストグラムを正規化することで算出される。但し、セルを生成する際、セルの位置が画像の歪みに合わせて補正（移動）して生成され、補正するデータを記憶する歪み補正テーブル記憶部３ａを備えている。
【００１７】
検出部４は、算出した動きの特徴量と学習サンプルを用いた強識別器によって人の存在を検出する。
【００１８】
結果出力部５は、人を検出したら警報音を発報する報音部、カメラの撮像映像（画像）を表示するＬＣＤモニタ等の映像表示部、外部に通報する通報部等（何れも図示せず）を備えている。
【００１９】
以下、人検出の流れを具体的に説明する。時間変化抽出部２は、画像入力部１が出力した画像フレームの任意のピクセルから、輝度の変化の大きさを表す変化量Ｔと、輝度の変化の無さを表す分散度Ｓの２つの変化量を算出する。この演算は、最終的に画像フレーム内の全てのピクセルに対して実施される。
【００２０】
図２は、画像フレームと輝度の関係を示す画像フレーム群の説明図であり、基準フレームをＫとして、基準フレームＫの直前に出力された画像フレームである過去フレームと、直後に出力される画像フレームである未来フレームの関係を示している。また、基準フレームＫの任意の座標のピクセルの輝度をＩｋとし、個々の画像フレームの同一座標の輝度をＩｋ（±ｎ）で示し、この図２を参照して人検出の流れを説明する。
【００２１】
最初に輝度が急激に変化するピクセルの検出を行う。フレームＫのＮフレーム前から基準フレーム迄の各フレームの輝度Ｉｋ−ｎ〜Ｉｋの変化量を先ず求める。次に、この変化量の最大値を算出してこの座標の輝度の変化量Ｔとする。この輝度の変化量Ｔは次の数１の演算式により算出される。尚、数１においてｊは１からｎの整数である。
【００２２】
【数１】
2015158794.tif 000003
【００２３】
一方、ピクセルの分散度Ｓは、Ｋより後のＮフレームに着目して算出され、次式の数２により算出される。この分散度Ｓは、フレームＫからＫ＋Ｎまでの輝度値の分散値である。
【００２４】
【数２】
2015158794.tif 000004
【００２５】
次に、求めた各ピクセルの変化量Ｔと分散度Ｓに対してそれぞれ閾値処理を行い、両者が閾値以上の場合を動状態、それ以外では静状態とする。時間変化抽出部２は、こうして個々のピクセル毎に２値化した（２階調とした）輝度情報を出力する。
【００２６】
こうして時間変化抽出部２で算出されたピクセル毎の静状態／動状態を基に、フレーム間特徴抽出部３では、人の存在を判断するための特徴量が算出される。フレーム間特徴抽出部３は、隣接する複数のピクセルから成る（例えば、５×５ピクセルで構成される）セルを作成し、このセル毎にピクセル毎の静状態／動状態のヒストグラム（動き状態ヒストグラム）を作成し、このヒストグラムを隣接する複数のセルで形成したブロック単位で正規化して特徴量を演算する（詳述せず）。
【００２７】
但し、セルの生成にあたり、フレーム間特徴抽出部３はカメラによる撮像画像の歪みを補正するために、作成するセルの位置をその生成位置に応じて所定量移動させる歪み補正テーブルを記憶した歪み補正テーブル記憶部３ａを具備しており、歪み補正テーブル記憶部３ａから補正量（移動量）を読み取り、個々のセル生成位置が補正される。
【００２８】
図３は補正したセル位置を示す画像説明図であり、上方に設置されて斜め下方を撮像するカメラの撮像画像を示している。図３（ａ）はカメラの撮像画像、図３（ｂ）は作成したセル群を表示した画像、図３（ｃ）は人の検出ウィンドウを表示した画像をそれぞれ示している。図３（ｂ）に示す複数の四角形Ｃがそれぞれセルであり、ラスタスキャンする横方向には直線状に連続形成され、直交する縦方向には横方向に形成した行セル群を所定量ずらして階段状に複数形成した状態を示している。
【００２９】
上方にカメラを設置して斜め下方を撮像した場合、カメラに近いものほど外方にずれる歪みが発生する。具体的には、画面左側はより左に、画面右側はより右側に移動するずれが発生する。そのため、人が撮像された場合は頭部が最もカメラに近くなるため、外方にずれる歪みは大きくなり、頭部が撮像される画像上部に至るに従いセルを外方に移動させてセル群が形成される。
尚、歪み補正テーブル記憶部３ａが記憶するセル移動量のデータは、実際の設置状況において撮像画像から実測して作成されるが、カメラを設置する高さ及び撮像角度から計算により求めても良い。
【００３０】
その結果、ラスタスキャンする横方向に隣接するセル（行方向セル）の相対位置を変えずに、同一行全体のセル群を所定量横移動し、結果として図３に示すようにセルの集合体が平行四辺形となる。こうして配置された個々のセルにおいて動き状態ヒストグラムが作成される。図３（ｂ）に示すＱ１が撮像された人の位置での動き状態ヒストグラムを作成する際に生成されたセル群であり、Ｑ２は対称位置となる画面右側においてセル群を生成した場合の形態を示している。
【００３１】
ここで、図４はセル位置を補正しない従来のセル群を示している。図４（ａ）は画面左側にセル群を生成した画像、図４（ｂ）は画面中央にセル群を生成した画像、図４（ｃ）は画面右側にセル群を生成した画像をそれぞれ示し、画面上の何れの位置であってもセル群Ｑ３は同一形状となる。
尚、図３において、画面中央でセル群が作成される場合は、セル位置の修正を行わず図４に示すように上下方向で直線状に揃った格子状のセル群が生成される。
【００３２】
個々のセルにおいて動き状態ヒストグラムが作成されたら、この動き状態ヒストグラムを正規化して特徴量が算出される（詳述せず）。
【００３３】
求められた特徴量を受けて、検出部４では人を検知するために人と背景によってクラス分けされた学習サンプルと、算出された上記特徴量を用いて学習された強識別器によって構成され、周知のアダブーストによるカスケード型識別器を用いて人の検出を行う。この演算結果、人が検出されたら、人の座標情報、領域情報等を含む人検出信号が出力される。
【００３４】
結果出力部５では、人検出信号を受けて報音部の報音等を実施し、映像表示部において入力映像の表示に加えて検出部４が出力する座標情報等を基に、図３（ｃ）に示すように検出ウィンドウＷが表示される。この検出ウィンドウＷは、生成したセルの位置に合わせて平行四辺形で表示される。
【００３５】
このように、動状態及び静状態のヒストグラムを作成する際にセル位置を画像の歪み量に合わせて補正するため、特徴量を生成する段階で画像の歪みを補正でき、カメラの撮像画像自体を補正しなくても人の検出精度の低下を防止できる。よって、画像を補正する演算量を削減でき、人の検出演算を行うＣＰＵの負担増加を防止できる。
また、歪みの補正は行セル群を横方向に移動する簡易な操作であり、動きの特徴量算出自体も大きな演算増加が発生することがない。よって、上方に設置された例えば監視カメラにより不審者を監視する場合でも、補正演算量は少なく計算負荷を小さくでき、ＣＰＵの能力を上げることなく処理速度を維持できる。
【００３６】
尚、上記実施形態では、画像入力部１をカメラと別体としているが、カメラと一体に構成しても良いし、人検出装置全体をカメラと一体に構成しても良い。
【符号の説明】
【００３７】
１・・画像入力部（画像フレーム群生成手段）、２・・時間変化抽出部（輝度変化算出手段、分散値算出手段、ピクセル状態判断手段）、３・・フレーム間特徴抽出部（特徴量算出手段）、３ａ・・歪み補正テーブル記憶部、４・・検出部（人検出手段）、５・・結果出力部。
【図１】
2015158794.tif 000005
【図２】
2015158794.tif 000006
【図３】
2015158794.tif 000007
【図４】
2015158794.tif 000008