(57)【特許請求の範囲】
【請求項１】
単眼カメラと、前記単眼カメラで撮影した映像の監視画像を記憶する画像処理記憶部と、前記画像処理記憶部から読み出した前記監視画像を画像処理してオブジェクトを推定する画像処理装置と、前記オブジェクトを推定するためパラメータを記憶する参照テーブルを作成するパラメータ算出部とを有し、
前記パラメータ算出部は、
前記単眼カメラにより撮影された前記監視画像から異なる３地点以上のオブジェクトを取得し、
前記オブジェクトの矩形領域の接地位置、矩形の幅、および矩形の高さを含む３箇所以上のオブジェクト情報を取得し、
前記オブジェクト情報をもとに、画像上の接地位置に対する矩形幅の線形近似式及び、画像上の接地位置に対する矩形高さの線形近似式を算出して前記オブジェクトのパラメータを取得し、
前記パラメータに従うオブジェクトサイズの画面上のｙ座標について、幅と高さを定義した前記参照テーブルを作成するものであり、
前記画像処理装置は、
前記単眼カメラで撮影した映像を所定の周期で入力し、その入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出し、
前記抽出した矩形の領域について、新たに抽出した矩形の領域を追跡開始オブジェクトとして当該オブジェクトの追跡を行い、追跡したオブジェクト情報を保持し、追跡オブジェクトが出現する度に前記オブジェクト情報を更新し、
前記追跡開始オブジェクトおよび追跡オブジェクトについて、前記参照テーブルを用いて、抽出した矩形領域の接地位置を基準に、前記参照テーブルから取得したオブジェクトのサイズ（幅と高さ）と、前記抽出した矩形領域のサイズ（幅と高さ）とを比較し、前記抽出した矩形領域のサイズがオブジェクトサイズの許容範囲内にあれば、抽出対象であると推定する
ことを特徴とする画像処理装置。
【請求項２】
前記パラメータ算出部は、最小二乗法により、オブジェクト別の高さグラフ、幅グラフの前記直線近似式を取得し、取得した直線近似式を用いて、画面上の縦方向のｙ座標に対応する幅（ＯＷｙ）とｙ座標に対応する高さ（ＯＨｙ）の配列を得ることにより前記参照テーブルを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、前記推定した対象物が所定の追跡回数に亘り同一であるとき、前記追跡した対象物を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、前記特定された対象物を除く画像を前記監視画像から除去することで、ノイズを除去することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
単眼カメラで撮影した映像の監視画像を記憶する画像処理記憶部から読み出した前記監視画像を画像処理してオブジェクトを推定する機能と、前記オブジェクトを推定するためパラメータを記憶する参照テーブルを作成する機能とをコンピュータに実現させるためのオブジェクト推定プログラムであって、
前記参照テーブルを作成する機能は、更に、
前記単眼カメラにより撮影された前記監視画像から異なる３地点以上のオブジェクトを取得する機能と、
前記オブジェクトの矩形領域の接地位置、矩形の幅、および矩形の高さを含む３箇所以上のオブジェクト情報を取得する機能と、
前記オブジェクト情報をもとに、画像上の接地位置に対する矩形幅の線形近似式及び、画像上の接地位置に対する矩形高さの線形近似式を算出して前記オブジェクトのパラメータを取得する機能と、
前記パラメータに従うオブジェクトサイズの画面上のｙ座標について、幅と高さを定義した前記参照テーブルを作成する機能と、を有し、
前記オブジェクトを推定する機能は、更に、
前記単眼カメラで撮影した映像を所定の周期で入力し、その入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する機能と、
前記抽出した矩形の領域について、新たに抽出した矩形の領域を追跡開始オブジェクトとして当該オブジェクトの追跡を行い、追跡したオブジェクト情報を保持し、追跡オブジェクトが出現する度に前記オブジェクト情報を更新する機能と、
前記追跡開始オブジェクトおよび追跡オブジェクトについて、前記参照テーブルを用いて、抽出した矩形領域の接地位置を基準に、前記参照テーブルから取得したオブジェクトのサイズ（幅と高さ）と、前記抽出した矩形領域のサイズ（幅と高さ）とを比較し、前記抽出した矩形領域のサイズがオブジェクトサイズの許容範囲内にあれば、抽出対象であると推定する機能と、
をコンピュータに実現させるためのオブジェクト推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼カメラ（１台のカメラ）で撮影した画像を処理対象とした画像処理装置およびオブジェクト推定プログラムに関する。
【背景技術】
【０００２】
カメラで撮影した画像から変化領域を抽出し、その抽出した対象（オブジェクト）が、例えば人物等のオブジェクトであるのか、映像におけるノイズであるのかを判定する手法として、抽出した領域サイズの大きさや、色またはテクスチャ情報を用いたパターンマッチング等を利用した手法が用いられている。
【０００３】
しかし、監視映像等においては、画面手前側にいるオブジェクトと画面奥側にいるオブジェクトでは、大きさが異なるため、抽出した領域が人物であるのかノイズであるのか（画面奥の人物なのか、それともノイズであるのか）といったオブジェクトとしての判定が難しくなる。
【０００４】
一方、カメラ情報や、カメラ設置条件を利用した３次元計測等により、２次元の画面上にて３次元座標を求め、画面の手前側や奥側での領域のサイズを算出することもできるが、カメラの設置位置を正確に測定したりする必要があり、また、カメラの設置位置によっては、測定が不可能な場合も存在する。
【０００５】
また、カメラ画像による侵入者検出装置として、従来では、侵入物体の無い状態での背景画像データおよび現監視画像データとの差分画像データを演算し、この差分画像データを登録された閾値に基づき異状抽出する技術が存在する。しかしながら、この従来技術においては、閾値の設定、および背景画像データの可変要因等により、検出精度に問題がある。
【特許文献１】特開２００１−１４８０７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、従来の画像認識処理技術に於いては、単眼カメラによる画像認識処理技術においては判定精度に問題があり、３次元計測等による画像認識処理技術においては設置並びに設定に多くの時間を要するという問題があった。
【０００７】
本発明は、上記問題点を解消し、簡単な設定で、単眼カメラの画像から、精度の高いオブジェクトの推定を可能にした、画像処理装置およびオブジェクト推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、単眼カメラと、前記単眼カメラで撮影した映像の監視画像を記憶する画像処理記憶部と、前記画像処理記憶部から読み出した前記監視画像を画像処理してオブジェクトを推定する画像処理装置と、前記オブジェクトを推定するためパラメータを記憶する参照テーブルを作成するパラメータ算出部とを有し、前記パラメータ算出部は、前記単眼カメラにより撮影された前記監視画像から異なる３地点以上のオブジェクトを取得し、前記オブジェクトの矩形領域の接地位置、矩形の幅、および矩形の高さを含む３箇所以上のオブジェクト情報を取得し、前記オブジェクト情報をもとに、画像上の接地位置に対する矩形幅の線形近似式及び、画像上の接地位置に対する矩形高さの線形近似式を算出して前記オブジェクトのパラメータを取得し、前記パラメータに従うオブジェクトサイズの画面上のｙ座標について、幅と高さを定義した前記参照テーブルを作成するものであり、前記画像処理装置は、前記単眼カメラで撮影した映像を所定の周期で入力し、その入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出し、前記抽出した矩形の領域について、新たに抽出した矩形の領域を追跡開始オブジェクトとして当該オブジェクトの追跡を行い、追跡したオブジェクト情報を保持し、追跡オブジェクトが出現する度に前記オブジェクト情報を更新し、前記追跡開始オブジェクトおよび追跡オブジェクトについて、前記参照テーブルを用いて、抽出した矩形領域の接地位置を基準に、前記参照テーブルから取得したオブジェクトのサイズ（幅と高さ）と、前記抽出した矩形領域のサイズ（幅と高さ）とを比較し、前記抽出した矩形領域のサイズがオブジェクトサイズの許容範囲内にあれば、抽出対象であると推定することを特徴とする画像処理装置を提供する。
【０００９】
この画像処理装置により、単眼（カメラ１台）の画像処理において、入力画像から抽出したオブジェクトサイズに基づく、例えば、車両／人物／その他の推定を高い精度で行うことができる。
【発明の効果】
【００１０】
本発明によれば、簡単な設定で、単眼カメラの画像から、精度の高いオブジェクトの推定が可能である。
【発明を実施するための最良の形態】
【００１１】
以下図面を参照して本発明の実施形態を説明する。
【００１２】
本発明の実施形態に係る画像処理装置におけるオブジェクト推定処理について、その動作の概要を、図１を参照して説明する。なお、ここでは、単眼カメラ１１で撮影した画像を１フレーム３２０×２４０画素のＱＶＧＡでカメラ映像として出力するものとする。
【００１３】
本発明の実施形態に係る、オブジェクトの推定は、サンプルモデルとなる実際のオブジェクト（対象物）を単眼カメラで撮影した画像をもとに行う。
【００１４】
まず、図１に示す処理Ａ１において、単眼カメラ１１の監視映像から、抽出対象となるオブジェクトが撮影されている画像を３枚以上用意する。このとき、これらの画像は同一のオブジェクト（サンプルモデル）であり、画面上の異なる箇所にて撮影されているものとする。例えば、抽出対象となるオブジェクトを、人と車のように、２種とした場合は、１つのオブジェクト（例えば人）について３地点以上、残る一つのオブジェクト（例えば車）について３地点以上の撮影画像を用意する。なお、単眼カメラ１１は、例えば監視エリアを対象に、斜め上方から監視対象を撮像する設置条件のもとに画角が設定されている。
【００１５】
次に、用意した画像からオブジェクトの領域を矩形（四角形）で囲み、矩形で囲った３箇所以上のオブジェクト情報を取得する。例えば、抽出対象となるオブジェクトをオブジェクトＡと、オブジェクトＢの２つのオブジェクト（例えば、人と車）としたとき、オブジェクトＡ（例えば人）について、３地点Ｐ１，Ｐ２，Ｐ３の矩形で囲ったオブジェクト情報、オブジェクトＢ（例えば車）について、３地点Ｐ１，Ｐ２，Ｐ３の矩形で囲ったオブジェクト情報、をそれぞれ取得する。このオブジェクト情報は、接地位置（例えば足元位置）と、矩形の幅と、矩形の高さとを含む。
【００１６】
図１に示す処理Ａ２において、上記処理Ａ１で取得したオブジェクト情報をもとに、画像上の足元位置に対する矩形幅の線形近似式及び、画像上の足元位置に対する矩形高さの線形近似式を算出し、オブジェクトモデルのパラメータを取得する。
【００１７】
図１に示す処理Ａ３において、上記パラメータに従うオブジェクトサイズの参照テーブル（近似オブジェクト推定テーブル）を作成する。ここでは、画面上のｙ座標（２４０ピクセル；２４０ｐｉｘ）について幅と高さを定義した参照テーブルが作成される。
【００１８】
上記処理Ａ３において、上記パラメータに従うオブジェクトサイズの参照テーブルの値が０以下となる場合（例えば、画面内に消失点が撮像されるような画角における消失点近傍より上側の画素にて０以下となる）は、値を０として作成する。
【００１９】
上記処理Ａ３において、上記パラメータに従うオブジェクトサイズの参照テーブルの値に閾値を設け（例えば閾値５：遠方を撮影するような画角でのオブジェクトは、ほとんどが小さいものであり、推定に意味がなく、精度を確保できないため、ある閾値以下ではモデル推定を実施しない）、画面上のｙ座標（２４０ピクセル；２４０ｐｉｘ）について幅と高さのどちらかが閾値以下となった画素にて、値を０として作成する。
【００２０】
以上の処理（前処理）により取得した参照テーブルを用いて、単眼カメラ１１で撮影した画像に対してオブジェクトの推定を行う。
【００２１】
図１に示す処理Ａ１１において、単眼カメラ１１の映像を所定の周期で入力し、入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する。
【００２２】
図１に示す処理Ａ１２において、上記抽出した矩形の領域について、新たに抽出した矩形の領域を追跡開始オブジェクトとして、当該オブジェクトの追跡を行い、追跡したオブジェクト情報を保持し、追跡オブジェクトが出現する度にオブジェクト情報を更新する。
【００２３】
図１に示す処理Ａ１３において、抽出した矩形の領域（追跡開始オブジェクト、および追跡オブジェクト）について、上記前処理により取得した参照テーブルを用いて、オブジェクトの推定を行う。このオブジェクトの推定は、抽出した矩形の領域の足元位置を基準に、参照テーブルから取得したオブジェクトのサイズ（幅と高さ）と、抽出した矩形領域のサイズ（幅と高さ）とを比較することにより行う。この比較は、例えば所定の許容範囲をもたせて行う。ここで抽出した矩形領域のサイズがオブジェクトモデルサイズの許容範囲内にあれば、抽出対象である（指定したサンプルモデルＡ（またはＢ）に近似である）と推定する。
【００２４】
上記した参照テーブルを用意することにより、画像上の足元位置でのオブジェクトのサイズ（幅と高さ）が近似され、画像上の足元位置を基準とするオブジェクトの大きさを近似的に推定することができる。また、人物、車等について、それぞれ上記の手法を適用することにより、画面上でのオブジェクトサイズを個別に推定することができる。
【００２５】
本発明の実施形態に係る画像処理装置の構成を図２に示す。なお、この実施形態では、カメラから取り込んだ１フレーム分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００２６】
本発明の実施形態に係る画像処理装置は、図２に示すように、カメラ（単眼カメラ）１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。
【００２７】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、一定の画角で撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素（ｐｉｘ）＝ＱＶＧＡ）で出力する。
【００２８】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１３１に保持する処理機能をもつ。この画像バッファ１３１に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。
【００２９】
画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１３１を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。
【００３０】
画像処理部１５は、画像処理記憶部１３の画像バッファ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する変化領域抽出処理部１５１と、この変化領域抽出処理部１５１で抽出した矩形の領域を処理対象に、領域を追跡する追跡処理部１５２と、参照テーブルを用いて、抽出した矩形の領域（矩形領域）が指定されたオブジェクトであることを推定するオブジェクト推定処理部１５３とを具備して構成される。
【００３１】
表示部１６は上記画像処理部１５で画像処理された動物体領域を表示出力する。
【００３２】
オブジェクト推定処理部１５３は、カメラ１１の映像を入力し、取得した変化領域情報、追跡情報等を利用して、オブジェクト（検出又は追跡した対象物）を推定するオブジェクト推定機能を実現している。
【００３３】
オブジェクト推定処理部１５３は、抽出した矩形領域（追跡開始オブジェクト、および追跡オブジェクト）について、参照テーブル１５４を用いて、オブジェクトの推定を行う現在オブジェクトモデル推定処理部１５５と、現在オブジェクトモデル推定処理部１５５が推定した、現在と過去の推定結果の情報をもとに、尤度を利用してオブジェクトモデルの判定を行うオブジェクトモデル更新処理部１５６とを具備して構成される。
【００３４】
上記した画像処理装置における各構成要素間の情報の流れを図３に示している。
【００３５】
画像処理記憶部１３は、上記した画像バッファ（メモリ）１３１の他に、変化領域抽出処理部１５１の処理に供される変化領域バッファ（メモリ）１３２、追跡処理部１５２の処理に供される追跡情報バッファ（メモリ）１３３、現在オブジェクトモデル推定処理部１５５の処理に供されるオブジェクト情報バッファ（メモリ）１３４等を有して構成される。
【００３６】
モデル推定係数パラメータ算出部１４は、上記した３つ以上の複数のサンプルモデルの矩形領域の情報を入力し、モデル推定（線形近似モデル）係数パラメータを算出して、この係数パラメータを保持し、オブジェクトモデルテーブル算出部１５４に供給する。
【００３７】
このモデル推定係数パラメータ算出部１４による推定係数の算出処理は、図５に示すように、例えばカメラ１１の監視映像若しくはカメラ１１で新たに撮影した監視領域内のサンプル映像等から、抽出対象となるオブジェクトが撮影されている画像を３枚以上（同一のオブジェクトが画面上の異なる箇所にて撮影されているもの）用意する。図５では、同一のサンプルモデル（例；人物）を３地点で撮影した３枚の画像（Ｐ１，Ｐ２，Ｐ３）を例に示している。
【００３８】
この用意された３枚の画像の１枚１枚に対して、図５に示すように、オブジェクトの領域を矩形（四角形）で囲む。
【００３９】
この画像の１枚１枚に対するオブジェクト情報として、画像上の足元位置Ｏｙｉ（ｐｉｘ）、矩形の幅Ｏｗｉ（ｐｉｘ）、矩形の高さＯｈｉ（ｐｉｘ）を取得する（ｉは画像の枚数）。
【００４０】
上記した３つ以上のオブジェクト情報を用いて、最小二乗法により、画像上の足元位置（ｙ）に対するオブジェクトの幅Ｏｗと高さＯｈに対する直線近似式を取得する。
【００４１】
幅モデル：Ｏｗ＝Ａｙ＋Ｂ（Ａ、Ｂは最小二乗法により求まるパラメータ）
高さモデル：Ｏｈ＝Ｃｙ＋Ｄ（Ｃ、Ｄは最小二乗法により求まるパラメータ）
算出したモデル近似式より、画像上の足元位置に対する幅グラフ、高さグラフを取得する。この足元位置−サイズ（幅と高さ）グラフの一例を図６および図８に示している。なお、図６では、後述する許容範囲（点線）を付加して示している。
【００４２】
複数のオブジェクト（例えば人物と車とバイク等）について推定したい場合は、上記について、別オブジェクトにて同様の処理を行う。
【００４３】
オブジェクトモデルテーブル算出部１５４は、モデル推定係数パラメータ算出部１４から供給されたパラメータ値に基づき、画面上の高さ方向（ｙ方向）のすべて（２４０ｐｉｘ）に対応するモデルの矩形の幅と高さの情報を算出し、図２に示す参照テーブル（１５４）を作成して、この参照テーブルを保持する。
【００４４】
この参照テーブルを用いて、図４に示す処理手順に従う画像処理が実施される。
【００４５】
画像処理部１５に設けられた変化領域抽出処理部１５１は、画像処理記憶部１３の画像バッファメモリ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この画像情報を変化領域バッファメモリ１３２に書き込み保持する。さらに、この差分二値化画像の情報から、変化画素を含む矩形の領域を抽出して、この矩形領域の情報を変化領域バッファメモリ１３２に書き込み保持する（図４ステップＢ１）。
【００４６】
追跡処理部１５２は、変化領域抽出処理部１５１により抽出され、変化領域バッファメモリ１３２に保持された矩形の領域を読み出し、追跡対象オブジェクトとして追跡処理する。その追跡処理結果は、追跡情報バッファメモリ１３３に書き込み保持される。この追跡処理は、初期動作時においては、追跡処理の対象となるオブジェクトが存在しないので、このオブジェクトを新規オブジェクトとして追跡情報バッファメモリ１３３に登録し、以降の追跡処理の対象とする。この追跡処理は、例えば、矩形の形状および重なりによる領域判定と、最小二乗近似により求めた予測方向に従う予測位置に基づく領域判定とを組み合わせた領域の追跡処理が適用できる（図４ステップＢ２）。
【００４７】
オブジェクト推定処理部１５３の現在オブジェクトモデル推定処理部１５５は、変化領域抽出処理部１５１が抽出した矩形領域（追跡開始（新規）オブジェクト、および追跡オブジェクト）について、追跡処理部１５２の追跡処理と、オブジェクトモデルテーブル算出部１５４が算出した参照テーブル（モデルＡテーブル１５４ａ、モデルＢテーブル１５４ｂ、モデルＣテーブル１５４ｃ）を用いて、オブジェクトの推定を行う（図４ステップＢ３）。
【００４８】
オブジェクトモデル更新処理部１５６は、現在オブジェクトモデル推定処理部１５５が推定した、現在と過去の推定結果の情報をもとに現在オブジェクトモデルを更新し、尤度を利用してオブジェクトモデルの判定を行う（図４ステップＢ４）。
【００４９】
この現在オブジェクトモデル推定処理部１５５、およびオブジェクトモデル更新処理部１５６の処理を対象としたオブジェクト推定方法を以下に示す。このオブジェクト推定方法は、単眼カメラの映像を入力し、取得した変化領域情報、追跡情報等を利用して、オブジェクト（検出又は追跡した対象物）の推定するオブジェクト推定機能を実現している。このオブジェクト推定機能により、例えば、検出すべきでない対象物の検出を排除し、ユーザが検出したい対象物を検出・追跡した結果が得られる。また、ユーザが指定した対象物か否かを特定することができる。
【００５０】
本発明の実施形態に係るオブジェクト推定機能は、以下の原理に従い実現する。
【００５１】
（１）．オブジェクトモデルの考え方
画像上の複数の位置におけるオブジェクト領域リファレンスサイズ（高さＯＨｙ、幅ＯＷｙ）を用いて、オブジェクト別の高さグラフ、幅グラフを得る。この高さ、幅グラフの対をオブジェクトモデルとする。
【００５２】
オブジェクトモデルは、サンプルのモデルで定義するため、幅と高さの許容範囲を設け、オブジェクトの判定を行うものとする。
【００５３】
この幅と高さの許容範囲を設定したオブジェクト（人物）モデルのグラフの一例を「足元位置−サイズ  グラフ」として図６に示している。ここでは許容範囲を点線で示している。
【００５４】
（２）．オブジェクトモデルの指定方法
オブジェクトモデルは１種類以上を指定可能とする。
【００５５】
１種類以上のオブジェクトの監視範囲内での複数の位置におけるサイズ（高さＯＨｙ、幅ＯＷｙ）を矩形で指定する。
【００５６】
モデルは、３個入力し、その３データを用いて、最小二乗法により、オブジェクト別の高さグラフ、幅グラフの直線近似式を得る。
【００５７】
取得した近似式を用いて、ｙ座標に対応する幅（ＯＷｙ）とｙ座標に対応する高さ（ＯＨｙ）の配列を得て内部に格納し、参照テーブルとして利用する。
【００５８】
図７に示すように、矩形を監視エリアの、手前、中央、奥、の３箇所（３地点）で指定し、足元位置（ｘｐ，ｙｐ）、高さ（ＯＨｙｐ）、幅（ＯＷｙｐ）を得る。これをサンプルモデルのデータ（サンプルデータ）として外部パラメータへ保存する。これらオブジェクトモデルのサンプルデータから、直線近似式のパラメータ（Ａ〜Ｄ）を得る。すなわち、オブジェクトモデルの直線近似式（ＯＷｙ＝Ａｙ＋Ｂ）、（ＯＨｙ＝Ｃｙ＋Ｄ）のパラメータを得る。このパラメータに従う「足元位置−サイズ  グラフ」の一例を図８に示している。
【００５９】
この直線近似式から、図９に一例を示す、オブジェクトサイズの参照テーブルを作成する。この参照テーブルを用いてオブジェクト（抽出した矩形領域）の推定を行う。
【００６０】
（３）．オブジェクト推定方法
オブジェクト推定方法として、３例を示す。
【００６１】
（３−１）．オブジェクト推定方法（その１）《単一モデル（＋閾値）＋重み付き多数決》
あるタイミングで取得された１つの領域情報とオブジェクトモデルデータを利用して、オブジェクトの判定を行う。
【００６２】
許容する割合（リファレンスモデルサイズの±Ｘ％のサイズまでは当該オブジェクトと判断する、Ｘはオブジェクト単位に指定できる外部パラメータとする）を指定させ、オブジェクト推定の判断に利用する。
【００６３】
判定を行う時に、許容する割合を考慮した縦横比の最小値（ＳｈａｐｅＭｉｎ）と最大値（ＳｈａｐｅＭａｘ）を求め、矩形縦横比（Ｓｈａｐｅ）がその範囲に入っている場合のみ、そのオブジェクトの評価値を算出する。
【００６４】
オブジェクトモデルに対して、出現した領域情報とのユークリッド距離（Ｄ）を算出し、算出したユークリッド距離を使った評価値を算出する。
【００６５】
モデル評価値の算出式は、下式とする。
【数１】
0004691570.tif 000002
【００６６】
ＳｈａｐｅＭｉｎ＜Ｓｈａｐｅ＜ＳｈａｐｅＭａｘが成り立つ時は、下式にて評価値を算出する。
【数２】
0004691570.tif 000003
【００６７】
この式により、Ｆｎ（Ｏｂｊ）は、図１０のように与えられる。なお、−１を超えた場合は、−１に置換する。
【００６８】
判定した複数（ｎ地点で）の結果を使って、最終判断する。判定に利用する結果数は、パラメータとし、多数決処理による。
【００６９】
この判定イメージを図１１に示す。ここでは、±２０％で許容する場合を例に示している。
【００７０】
重み付き多数決判定は、複数地点（ｎ地点で）の結果を使って、以下のように判断する。
【００７１】
評価値の総和を算出する。
【数３】
0004691570.tif 000004
【００７２】
ΣＦ（ａ）＝ΣＦ（ｂ）の時、判定の結果オブジェクトがΣＦ（ａ）（又はＦ（ｂ））＜０の時、Ｕｎｋｎｏｗｎとする。オブジェクトが判定された時、尤度を下式にて求める。Ｕｎｋｎｏｗｎの場合は、０％とする。
【数４】
0004691570.tif 000005
【００７３】
＜最終判定＞
最終判定は、参照フレーム（ｎ地点）の結果のオブジェクト判定回数と尤度の平均値を使って最終判定を行う。
【００７４】
・参照フレームを通じて１度でもＵｎｋｏｗｎがある＝観察中（Ｗａｔｈｉｎｇ・・・）
・参照フレームすべてがＵｎｋｏｗｎ＝Ｕｎｋｏｗｎ
・参照フレームのオブジェクト判定回数の最も多いオブジェクトと尤度平均値が最も高いオブジェクトが異なる＝観察中（Ｗａｔｈｉｎｇ・・・）
・参照フレームのオブジェクト判定回数の最も多いオブジェクトと尤度平均値が最も高いオブジェクトが同じ＝当該オブジェクトで確定
参照フレーム数＝５（ｎ＝５）の場合の判定例を図１２に示している（Ａ：オブジェクトＡ、Ｂ：オブジェクトＢ、Ｗ：観察中、Ｕ：Ｕｎｋｏｗｎ）。
【００７５】
（３−２）．オブジェクト推定方法（その２）《モデル更新＋マハラノビス距離判定＋重み付き多数決》
複数取得された当該オブジェクトと判定された領域情報を利用して、各位置におけるオブジェクトモデルを作成する。（膨大な領域情報から標本を複数取得し、モデルを生成する）。
【００７６】
この時のオブジェクトモデルは正規分布であると仮定し、マハラノビス距離を利用して、オブジェクトの判定を行う。
【００７７】
第１ステップと同様に判定した複数の結果を使って、最終判断する。判定に利用する結果数は、パラメータとし、多数決処理による。
【００７８】
この判定イメージを図１３に示す。
【００７９】
＜例＞
Ｘ個データが蓄積されるまでは、オブジェクト推定方法（その１）とする。
【００８０】
Ｘ個の母集団が取得できたら、その中から３０個のサンプルを抽出し、下記モデルを各位置別に作成する。モデル作成のタイミングで取得された３０個は削除し、再度３０個の領域データを取得し、ある条件になった時点で自動的に再生成する。（作成されるタイミングは座標位置により異なるようになる。また、判定手法が、母集団の準備状況により、各位置毎で異なる（メンテナンス画面で確認できるようにする）。
【００８１】
マハラノビスの平方距離が自由度ｐのカイ二乗分布に従うことに基づいて計算できる（ｐは判別分析に用いた変数の個数＝２）。
【００８２】
よって、
【数５】
0004691570.tif 000006
【００８３】
上記確率から、評価値Ｆを求める。
【数６】
0004691570.tif 000007
【００８４】
以降は、オブジェクト推定方法（その１）と同じ。
【数７】
0004691570.tif 000008
【００８５】
ΣＦ（ａ）＝ΣＦ（ｂ）の時、判定の結果オブジェクトがΣＦ（ａ）（又はＦ（ｂ））＜０の時、Ｕｎｋｎｏｗｎとする。
【００８６】
最終判定の方法は、オブジェクトモデル推定方法（その１）と同じとする。
【００８７】
（３−３）．オブジェクト推定方法（その３）《（その２）＋シルエット画像を用いたＡｄａＢｏｏｓｔ判定》
オブジェクト推定方法（その２）の手法による出力に加え、位置別のシルエット平均画像（教師データ）を複数枚利用した学習付き弱識別器を組合せ、強識別器を構成して最終判断を行う。
【００８８】
（４）．オブジェクトモデルを利用した不要領域の削除（派生機能）
オブジェクト情報の内、最も大きいモデルよりもさらに大きい領域と判断した場合は、当該領域を削除する。
【００８９】
または、オブジェクト情報の内、最も小さいモデルよりも更に小さい領域と判断した場合は、当該領域を削除する。
【００９０】
なお、本機能は、オブジェクトモデル推定機能がＯＮの場合のみ機能する。
【００９１】
削除する領域のサイズは、利用するモデルの情報のみを利用し、判断する。
【００９２】
図１４に示す高さ方向の不要エリアと幅方向の不要エリアの何れかの条件を満たす領域（ハッチングした領域）は削除する。
【００９３】
オブジェクト推定方法（その１、その２）に応じて、削除とする領域の選定方法を推定方法に併せて変更する。
【００９４】
＜オブジェクト推定方法（その１）の場合＞
最小モデルと最大モデルを考え、最小モデルよりも幅、高さが小さい場合、又は最大モデルよりも幅、高さが大きい場合、削除する。モデル推定のパラメータとは別に削除エリア用パラメータを指定し判断する。
【００９５】
＜オブジェクト推定方法（その２）の場合＞
最小モデルと最大モデルを考え、最小モデルよりも幅、高さが極端に小さい場合、又は最大モデルよりも幅、高さが極端に大きい場合、削除する（３σを基準に判断する）。
【００９６】
なお、手動による削除設定と自動による上記削除を可能とする。
【００９７】
上記した本発明の実施形態によれば、カメラ情報やカメラ設置条件を利用することなく、撮影された画像上のオブジェクトを３箇所以上抽出することで撮影映像上に出現するオブジェクト推定テーブルを参照テーブルとして設定することができる。また、上記参照テーブルを利用して、尤度とオブジェクト推定を実施し、現在と過去の推定結果を利用して最終的なオブジェクト推定ができる。また、撮影映像上で画像処理により抽出された領域がオブジェクトであるのか、そうでない領域であるのかを判定することができ、ノイズ除去を行うことができる。
【図面の簡単な説明】
【００９８】
【図１】本発明の実施形態に係る実施形態に係る画像処理装置の動作概要を示す図。
【図２】上記実施形態に係る画像処理装置の構成を示すブロック図。
【図３】上記実施形態に係る画像処理装置の構成要素間における情報の流れを示す図。
【図４】上記実施形態に係る画像処理装置の処理手順を示すフローチャート。
【図５】上記実施形態に係る画像処理装置の参照テーブルを作成するための撮影画像を示す図。
【図６】上記実施形態に係る画像処理装置の参照テーブルを作成するための足元位置−サイズグラフの一例を示す図。
【図７】上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。
【図８】上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。
【図９】上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。
【図１０】上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。
【図１１】上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。
【図１２】上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。
【図１３】上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。
【図１４】上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。
【符号の説明】
【００９９】
１１…単眼カメラ、１２…キャプチャ部、１３…画像処理記憶部、１４…モデル推定係数パラメータ算出部、１５…画像処理部、１６…表示部、１５１…変化領域抽出処理部、１５２…追跡処理部、１５３…オブジェクト推定処理部、１５４…参照テーブル、１５５…現在オブジェクトモデル推定処理部、１５６…オブジェクトモデル更新処理部。
【図１】
0004691570.tif 000009
【図２】
0004691570.tif 000010
【図３】
0004691570.tif 000011
【図４】
0004691570.tif 000012
【図５】
0004691570.tif 000013
【図６】
0004691570.tif 000014
【図７】
0004691570.tif 000015
【図８】
0004691570.tif 000016
【図９】
0004691570.tif 000017
【図１０】
0004691570.tif 000018
【図１１】
0004691570.tif 000019
【図１２】
0004691570.tif 000020
【図１３】
0004691570.tif 000021
【図１４】
0004691570.tif 000022