(57)【要約】【課題】画像から抽出した特徴量に基づく対象領域検出を学習した対象領域検出装置において、画像にて対象が回転していると検出精度が低下する。【解決手段】特徴量抽出手段５１は計測データから、座標空間内に設定された複数の種類の特徴量を、回転に対し互いに対称な抽出処理で複数通りの回転角度について抽出する。特徴量合成手段５３は種類と回転角度との組み合わせごとに抽出された特徴量から、基準点それぞれについて特徴量の種類ごとに、回転角度に沿った特徴量の分布において支配的な角度を示す特徴量合成情報を算出する。対象領域算出手段５４は処理対象の計測データから算出された特徴量合成情報に基づいて当該計測データにおける対象領域を算出する。【選択図】図２
2019219750.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の計測データにおいて所定の対象が計測されている対象領域を検出する対象領域検出装置であって、
前記計測データの座標空間内に設定された基準点における複数の種類の特徴量を、当該基準点の周りの回転に対し互いに対称な抽出処理で複数通りの回転角度について前記計測データから抽出する特徴量抽出手段と、
前記特徴量抽出手段によって前記種類と前記回転角度との組み合わせごとに抽出された前記特徴量から、前記基準点それぞれについて前記種類ごとに、前記回転角度に沿った前記特徴量の分布において支配的な角度を示す特徴量合成情報を算出する特徴量合成手段と、
前記処理対象の計測データから算出された前記特徴量合成情報に基づいて当該計測データにおける前記対象領域を算出する対象領域算出手段と、
を備えたことを特徴とする対象領域検出装置。
【請求項２】
前記対象領域算出手段は、学習用の前記計測データの前記座標空間内にて任意に設定され得る前記基準点に対応して前記学習用の計測データから算出した前記複数の種類の前記特徴量合成情報を、前記学習用の計測データ内の前記対象の形状を定める形状モデルに変換するように予め学習した変換器を備え、当該変換器を用いて、前記処理対象の計測データから算出された前記複数の種類の前記特徴量合成情報を前記形状モデルに変換することによって前記対象領域を算出すること、を特徴とする請求項１に記載の対象領域検出装置。
【請求項３】
前記形状モデルは所定の座標系で表現された複数の頂点で定義される図形であり、
前記変換器は、前記複数の頂点の前記座標系での座標値を出力するものであって、前記座標系の任意の１つの座標軸を注目座標軸として、前記特徴量合成情報の前記注目座標軸の成分から前記複数の頂点それぞれの当該注目座標軸の前記座標値への変換を学習対象とする一方、前記複数の頂点それぞれの当該注目座標軸以外の座標軸の前記座標値への変換を学習対象とせずに生成されていること、
を特徴とする請求項２に記載の対象領域検出装置。
【請求項４】
処理対象の計測データにおいて所定の対象が計測されている対象領域を検出する対象領域検出方法であって、
前記計測データの座標空間内に設定された基準点における複数の種類の特徴量を、当該基準点の周りの回転に対し互いに対称な抽出処理で複数通りの回転角度について前記計測データから抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにて前記種類と前記回転角度との組み合わせごとに抽出された前記特徴量から、前記基準点それぞれについて前記種類ごとに、前記回転角度に沿った前記特徴量の分布において支配的な角度を示す特徴量合成情報を算出する特徴量合成ステップと、
前記処理対象の計測データから算出された前記特徴量合成情報に基づいて当該計測データにおける前記対象領域を算出する対象領域算出ステップと、
を備えたことを特徴とする対象領域検出方法。
【請求項５】
処理対象の計測データにおいて所定の対象が計測されている対象領域を検出する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、
前記計測データの座標空間内に設定された基準点における複数の種類の特徴量を、当該基準点の周りの回転に対し互いに対称な抽出処理で複数通りの回転角度について前記計測データから抽出する特徴量抽出手段、
前記特徴量抽出手段によって前記種類と前記回転角度との組み合わせごとに抽出された前記特徴量から、前記基準点それぞれについて前記種類ごとに、前記回転角度に沿った前記特徴量の分布において支配的な角度を示す特徴量合成情報を算出する特徴量合成手段、及び、
前記処理対象の計測データから算出された前記特徴量合成情報に基づいて当該計測データにおける前記対象領域を算出する対象領域算出手段、
として機能させることを特徴とする対象領域検出プログラム。
【請求項６】
コンピュータに、
学習用の計測データ及び当該計測データの座標空間内の任意の基準点を取得する処理と、
前記基準点における複数の種類の特徴量を、当該基準点の周りの回転に対し互いに対称な抽出処理で複数通りの回転角度について前記学習用の計測データから抽出する特徴量抽出処理と、
前記特徴量抽出処理によって前記種類と前記回転角度との組み合わせごとに抽出された前記特徴量から、前記基準点それぞれについて前記種類ごとに、前記回転角度に沿った前記特徴量の分布において支配的な角度を示す特徴量合成情報を算出する特徴量合成処理と、
前記特徴量合成処理によって算出された前記複数の種類の前記特徴量合成情報を、前記学習用の計測データにおいて所定の対象が計測されている対象領域に変換するように変換器を学習させる学習ステップと、
を実行させるための学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測データにおいて所定の対象が計測されている対象領域を検出する技術に関する。
【背景技術】
【０００２】
ディープラーニング技術のひとつにＣＮＮ（Convolutional Neural Network）と呼ばれる手法がある。ＣＮＮでは１つ１つの学習画像から複数のフィルタを用いた複数回の畳み込み（Convolution）等によって様々な特徴量を抽出し、フィルタの係数、および抽出した特徴量と出力パラメータとを結合したネットワークの重みを学習しておく。そして、学習済みのフィルタを用いて入力画像から様々な特徴量を抽出し、これらの特徴量を、学習した重みで重み付けて出力値を決定する。
【０００３】
ＣＮＮは入力画像から、人の領域など、対象の領域を検出する領域検出にも応用されている。領域検出では入力画像上の対象の回転（傾き、倒れ、倒立）が問題となり、対象の回転に対応するための手法として、非特許文献１にはＣＮＮをベースとするＯＲＮ（Oriented Response Networks）という手法を用いた領域検出が提案されている。
【０００４】
ＣＮＮでは上述のように、複数の種類の特徴量をネットワークへの入力とする。これに対し、ＯＲＮでは、畳み込み処理で用いるフィルタを回転させ、或る種類の特徴量を抽出するフィルタについて複数通りの回転角度での出力を得る。つまり、ＯＲＮでは、特徴量の種類が複数であり、且つ当該各種類について複数通りに回転角度を変えて特徴量を抽出しネットワークへの入力とする。このようにＯＲＮでは複数の種類で、且つ各種類について複数通りの回転角度で抽出した特徴量を出力パラメータに全結合させたネットワークを用いてモデル化し、これにより対象の回転に対処している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Minghui Liao, et al. "Rotation-Sensitive Regression for Oriented Scene Text Detection" IEEE Computer Vision and Pattern Recognition (2018)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数の種類で、且つ各種類について複数通りの回転角度で抽出した特徴量と、対象の領域を表すパラメータとを、単純に全結合する従来技術においては、種類と回転角度との相関が希薄となる。そのため、この全結合が原因で、対象の回転に対する学習効果が十分に上がらず、回転した対象に対する領域推定精度が十分に上がらなかった。
【０００７】
また、このような問題は、２次元データである画像の他にも３次元データであるポイントクラウドなど、各種の計測データから対象の領域を検出する際に生じる。
【０００８】
本発明は上記問題を解決するためになされたものであり、計測データ中の対象が回転していても対象の領域を高精度に検出可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
（１）本発明に係る対象領域検出装置は、処理対象の計測データにおいて所定の対象が計測されている対象領域を検出する装置であって、前記計測データの座標空間内に設定された基準点における複数の種類の特徴量を、当該基準点の周りの回転に対し互いに対称な抽出処理で複数通りの回転角度について前記計測データから抽出する特徴量抽出手段と、前記特徴量抽出手段によって前記種類と前記回転角度との組み合わせごとに抽出された前記特徴量から、前記基準点それぞれについて前記種類ごとに、前記回転角度に沿った前記特徴量の分布において支配的な角度を示す特徴量合成情報を算出する特徴量合成手段と、前記処理対象の計測データから算出された前記特徴量合成情報に基づいて当該計測データにおける前記対象領域を算出する対象領域算出手段と、を備える。
【００１０】
（２）上記（１）に記載の対象領域検出装置において、前記対象領域算出手段は、学習用の前記計測データの前記座標空間内にて任意に設定され得る前記基準点に対応して前記学習用の計測データから算出した前記複数の種類の前記特徴量合成情報を、前記学習用の計測データ内の前記対象の形状を定める形状モデルに変換するように予め学習した変換器を備え、当該変換器を用いて、前記処理対象の計測データから算出された前記複数の種類の前記特徴量合成情報を前記形状モデルに変換することによって前記対象領域を算出する構成とすることができる。
【００１１】
（３）上記（１）に記載の対象領域検出装置において、前記形状モデルは所定の座標系で表現された複数の頂点で定義される図形であり、前記変換器は、前記複数の頂点の前記座標系での座標値を出力するものであって、前記座標系の任意の１つの座標軸を注目座標軸として、前記特徴量合成情報の前記注目座標軸の成分から前記複数の頂点それぞれの当該注目座標軸の前記座標値への変換を学習対象とする一方、前記複数の頂点それぞれの当該注目座標軸以外の座標軸の前記座標値への変換を学習対象とせずに生成されている構成とすることができる。
【００１２】
（４）本発明に係る対象領域検出方法は、処理対象の計測データにおいて所定の対象が計測されている対象領域を検出する対象領域検出方法であって、前記計測データの座標空間内に設定された基準点における複数の種類の特徴量を、当該基準点の周りの回転に対し互いに対称な抽出処理で複数通りの回転角度について前記計測データから抽出する特徴量抽出ステップと、前記特徴量抽出ステップにて前記種類と前記回転角度との組み合わせごとに抽出された前記特徴量から、前記基準点それぞれについて前記種類ごとに、前記回転角度に沿った前記特徴量の分布において支配的な角度を示す特徴量合成情報を算出する特徴量合成ステップと、前記処理対象の計測データから算出された前記特徴量合成情報に基づいて当該計測データにおける前記対象領域を算出する対象領域算出ステップと、を備える。
【００１３】
（５）本発明に係る対象領域検出プログラムは、処理対象の計測データにおいて所定の対象が計測されている対象領域を検出する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、前記計測データの座標空間内に設定された基準点における複数の種類の特徴量を、当該基準点の周りの回転に対し互いに対称な抽出処理で複数通りの回転角度について前記計測データから抽出する特徴量抽出手段、前記特徴量抽出手段によって前記種類と前記回転角度との組み合わせごとに抽出された前記特徴量から、前記基準点それぞれについて前記種類ごとに、前記回転角度に沿った前記特徴量の分布において支配的な角度を示す特徴量合成情報を算出する特徴量合成手段、及び、前記処理対象の計測データから算出された前記特徴量合成情報に基づいて当該計測データにおける前記対象領域を算出する対象領域算出手段、として機能させる。
【００１４】
（６）本発明に係る学習プログラムは、コンピュータに、学習用の計測データ及び当該計測データの座標空間内の任意の基準点を取得する処理と、前記基準点における複数の種類の特徴量を、当該基準点の周りの回転に対し互いに対称な抽出処理で複数通りの回転角度について前記学習用の計測データから抽出する特徴量抽出処理と、前記特徴量抽出処理によって前記種類と前記回転角度との組み合わせごとに抽出された前記特徴量から、前記基準点それぞれについて前記種類ごとに、前記回転角度に沿った前記特徴量の分布において支配的な角度を示す特徴量合成情報を算出する特徴量合成処理と、前記特徴量合成処理によって算出された前記複数の種類の前記特徴量合成情報を、前記学習用の計測データにおいて所定の対象が計測されている対象領域に変換するように変換器を機械学習させる学習ステップと、を実行させる。
【発明の効果】
【００１５】
本発明によれば、計測データ中の対象が回転していても対象の領域を高精度に検出可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。
【図２】本発明の実施形態に係る画像監視装置の概略の機能ブロック図である。
【図３】対象領域を説明する模式図である。
【図４】本発明の実施形態に係る画像監視装置の動作の概略のフロー図である。
【図５】撮影画像の一例を模式的に示した図である。
【図６】図５の撮影画像から抽出される特徴量の例を示す模式図である。
【図７】図６の特徴量に対応する合成特徴量および単位頂点ベクトルを示す模式図である。
【図８】撮影画像の他の例を模式的に示した図である。
【図９】図８の撮影画像から抽出される特徴量の例を示す模式図である。
【図１０】図９の特徴量に対応する合成特徴量および単位頂点ベクトルを示す模式図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態（以下実施形態という）である画像監視装置１について、図面に基づいて説明する。当該画像監視装置１は本発明に係る対象領域検出装置を含んで構成され、検出結果を報知する。
【００１８】
当該対象領域検出装置は、座標と計測値とからなる計測データから、計測データの座標空間において所定の対象が現れている領域（対象領域）を検出する。本実施形態では、計測データは２次元の座標空間（ｘｙ座標系）で定義され画素位置と画素値とからなる画像である。そして、検出対象を人とし、当該人が存在し得る空間が撮影された画像を解析することで、画像に写った人の領域を検出する。ここで、対象領域は、例えば、対象領域の位置を定める基準点と、対象の概形を表す形状モデルとで表される。すなわち、対象領域とは人の像の輪郭を詳細に模した領域である必要はなく、以下の説明では、対象領域はその形状が単純な形状モデルで表される領域を指す。
【００１９】
ここでは、形状モデルは人の像の有向外接四角形とする。有向外接四角形とは、予め定めた辺が予め定めた対象の方向と一致し、対象の像に外接する四角形である。対象の方向は、対象が真っ直ぐな姿勢である人の場合、頭部から足元方向などとすればよい。また、四角形の頂点に対し通し番号ｉとして、予め定めた対象の方向を基準に例えば、対象の左上から時計回りで、１，２，３，４を設定する。当該頂点をｐｉ（ｉ＝１，２，３，４）と表すことにする。
【００２０】
なお本実施形態では対象を人とする例を説明するが、本発明は、人の上半身などの人体の一部を対象としてもよいし、車両などの人以外の物体を対象としてもよい。
【００２１】
図１は実施形態に係る画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５および表示部６を含んで構成される。
【００２２】
撮影部２は監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次、画像処理部５に入力する撮影手段である。例えば、撮影部２は、イベント会場に設置される。また、例えば、撮影部２は監視空間を所定のフレーム周期（例えば、１秒）で撮影してカラー画像を生成する。なお、カラー画像の代わりにモノクロ画像を生成してもよい。
【００２３】
通信部３は通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および表示部６と接続される。通信部３は撮影部２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された検出結果を表示部６に出力する。
【００２４】
記憶部４はＨＤＤ（Hard Disk Drive）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される記憶装置であり、各種プログラムや各種データを記憶する。記憶部４は画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。例えば、記憶部４は、画像処理部５を後述する基準領域設定手段５０、特徴量抽出手段５１、対象スコア算出手段５２、特徴量合成手段５３、対象領域算出手段５４、統合判定手段５５として機能させるためのプログラムを記憶する。また、記憶部４は特徴量抽出手段５１にて用いる特徴量抽出器、対象スコア算出手段５２にて用いる対象スコア算出器、および対象領域算出手段５４にて用いる対象領域回帰器を記憶する。
【００２５】
画像処理部５はＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）、ＧＰＵ(Graphics Processing Unit)、ＦＰＧＡ(field-programmable gate array)等の演算装置で構成される。画像処理部５は記憶部４と接続され、記憶部４からプログラムを読み出して実行することにより各種の処理手段、制御手段として動作し、また記憶部４との間で各種データを入出力する。また、画像処理部５は通信部３を介して撮影部２および表示部６とも接続され、通信部３経由で撮影部２から取得した撮影画像を解析することにより個々の人を検出し、検出結果を通信部３経由で表示部６に表示させる。
【００２６】
表示部６はディスプレイ装置であり、通信部３を介して画像処理部５と接続され、画像処理部５による検出結果を表示する。例えば、監視員が表示された検出結果を視認して転倒者の発生等を判断し、必要に応じて対処員を派遣する。
【００２７】
図２は画像監視装置１の概略の機能ブロック図である。通信部３は画像取得手段３０等として機能する。また、記憶部４は特徴量抽出器記憶手段４０、対象スコア算出器記憶手段４１、対象領域回帰器記憶手段４２等として機能し、画像処理部５は、基準領域設定手段５０、特徴量抽出手段５１、対象スコア算出手段５２、特徴量合成手段５３、対象領域算出手段５４、統合判定手段５５および検出結果出力手段５６として機能する。
【００２８】
画像取得手段３０は、撮影手段である撮影部２から撮影画像を順次取得して、基準領域設定手段５０および特徴量抽出手段５１への入力画像とする。
【００２９】
基準領域設定手段５０は、撮影画像が入力されると、その入力画像において対象が撮影され得る位置・形状を網羅的に基準領域として設定する。基準領域は特徴量抽出の処理範囲を規定する。
【００３０】
本実施形態では、画像上の格子状の位置、つまり画像内にて水平方向および垂直方向に所定間隔ずつずらした位置を基準点として、矩形の基準領域を設定する。例えば、基準領域は基準点を中心とする領域とすることができる。矩形とする基準領域の形状は正方形であってもよいし長方形であってもよい。基準領域設定手段５０は、各基準点にて面積が異なる複数の基準領域を設定する構成とすることもできるし、長方形の高さと幅の比（アスペクト比）が異なる複数の基準領域を設定する構成としてもよい。面積やアスペクト比が異なる基準領域を用いて対象を検出する処理を行うことで、対象の像の様々な大きさや縦横比に対する検出感度の向上を図ることができる。ちなみに、矩形の基準領域は例えば、基準点、高さ、幅で指定することができ、基準領域設定手段５０は基準領域を指定する情報を特徴量抽出手段５１および対象領域算出手段５４に出力する。
【００３１】
特徴量抽出器記憶手段４０は、特徴量抽出手段５１が画像から特徴量を抽出するために用いる特徴量抽出器を予め記憶している。具体的には、ＣＮＮの畳み込み処理で用いるフィルタの係数などが記憶されている。
【００３２】
特徴量抽出手段５１は入力画像から基準点ごとに特徴量を抽出する。本実施形態では特徴量抽出手段５１は入力画像を得ると、まず、全ての基準点について特徴量を算出し、各基準点の座標と特徴量とを対応付けた特徴量マップを生成する。そして、後段の処理にて或る基準点に対応する特徴量が必要になると、特徴量抽出手段５１は特徴量マップから当該基準点に対応する特徴量を読み出して出力する。なお、面積が異なる基準領域については、後述するスケーリングで対処する。
【００３３】
このように特徴量抽出手段５１は計測データから各基準点における特徴量を抽出する。また、特徴量抽出手段５１は各基準点において複数種類の特徴量を抽出する。さらに、特徴量抽出手段５１は計測データから、基準点における当該複数の種類の特徴量を、基準点の周りの回転に対し互いに対称な抽出処理によって複数通りの回転角度について抽出する。例えば、画像に対するフィルタリングにより特徴量（種類Ａとする）を抽出する場合において、それに用いる２次元のフィルタのオリジナルの係数の並びを回転角度０°に対応するものとして、当該フィルタを用いたフィルタリングと、オリジナルの係数の並びから反時計回りに９０°，１８０°，２７０°回転させたフィルタを用いたフィルタリングとにより、０°，９０°，１８０°，２７０°の４通りの回転角度について特徴量Ａが抽出され、その際の４通りの角度でのフィルタリングは互いに回転対称な関係にある。さらに別の種類の特徴量Ｂ，Ｃ，…も互いに回転対称な関係にあるフィルタリングによって４通りの回転角度について抽出される。
【００３４】
画像から抽出される特徴量には、被写体の向きの情報が反映されるものがある。当該特徴量を複数通りの回転角度にて抽出することで、抽出箇所の被写体の向きを把握し得る。すなわち、特徴量抽出手段５１にて回転角度ごとに特徴量を抽出することで得られる方向情報は、対象の向きと強い関係がある。本発明ではこの方向情報を、入力画像中にて回転し得る対象の検出に効果的に用いる。
【００３５】
本実施形態では、特徴量抽出器としてＣＮＮを用いる。ちなみにＣＮＮは畳み込み層とプーリング層と呼ばれる２種類の層を交互に積み重ねた構造を持つネットワークである。畳み込み層では、少なくとも畳み込み処理が行われる。プーリング層では、少なくとも、受容野と呼ばれる領域内の値を１つの値に集約するプーリング処理が行われる。プーリング処理として例えば平均プーリング（average pooling）を用いる。畳み込み層とプーリング層には活性化関数を用いた処理を含む場合がある。活性化関数として例えばＲｅＬＵ（Rectified Linear Units）関数を用いることができる。特徴量抽出器を構成するＣＮＮは事前学習によりフィルタの係数が決定され、当該学習されたＣＮＮが特徴量抽出器記憶手段４０に予め記憶されている。特徴量抽出手段５１は、入力画像に畳み込み処理、プーリング処理および活性化関数による処理を組み合わせた処理を施して特徴量を抽出する。
【００３６】
本実施形態のＣＮＮでは、上述したＯＲＮと同様に、畳み込み処理で用いるフィルタを複数通りの角度に回転させることで、当該フィルタにより抽出される特徴量について複数通りの回転角度での出力を得ることができる。
【００３７】
従って、特徴量マップは特徴量の種類ごとに生成され、また、回転角度ごとに生成される。フィルタの数は特徴量の種類に応じた値となり、フィルタの種別を表す識別番号をｃ、回転角度の種別を表す識別番号をｋとすると、特徴量マップは、画像における位置（基準点の位置）を表すｘ座標、ｙ座標と、フィルタ識別番号ｃと、角度識別番号ｋとを次元に有するデータとして表される。つまり、特徴量マップにてｘ座標、ｙ座標、ｃおよびｋの４つのパラメータを指定することで１つの特徴量が特定される。
【００３８】
任意の基準点に対応付けられた複数種類、複数通りの回転角度の特徴量は、フィルタ識別番号ｃと、角度識別番号ｋとを用いて、次式で表すこととする。なお、ｃは特徴量抽出手段５１を構成するＣＮＮの最後の畳み込み処理のフィルタに関する識別番号とする。
【００３９】
【数１】
2019219750.tif 000003
【００４０】
ここで、Ｃはフィルタ識別番号ｃの最大値であり、フィルタ数に相当する。また、Ｋは回転角度の種類の数であり、θｋはｋ番目の回転角度である。本実施形態ではＫ＝４とし、これに対応する回転角度θｋは０°，９０°，１８０°，２７０°の４通りとなる。
【００４１】
なお、基準領域として複数のアスペクト比のものを設定する場合には、特徴量マップのデータはパラメータを１つ増やした表現とすることもできるし、アスペクト比の種類とフィルタの種類との組み合わせを特徴量の種類と定義し１つのパラメータで表現した形式とすることもできる。
【００４２】
対象スコア算出器記憶手段４１は対象スコア算出器を予め記憶している。具体的には、対象スコア算出器で行う内積処理の係数などが記憶されている。
【００４３】
対象スコア算出手段５２は基準領域ごとに、その基準点と対応付いた特徴量から、当該基準領域の画像の対象らしさを表すスコアを算出する。具体的には、対象スコア算出手段５２は対象スコア算出器記憶手段４１から対象スコア算出器を読み込み、これに特徴量を入力する。対象スコア算出器は、特徴量と事前に学習データから算出したパラメータとの内積をスコアとして出力する。ちなみに、当該内積値は大きいほどより対象らしいことを示すように定義される。
【００４４】
特徴量合成手段５３は基準領域ごとに、その基準点と対応付けられた特徴量から、基準点それぞれについて特徴量の種類ごとに当該基準点の周りの回転角度に沿った当該種類の特徴量の分布において支配的な角度を示す合成特徴量（特徴量合成情報）を算出して出力する。合成特徴量には角度に加えて大きさを含んでもよい。具体的には、特徴量合成手段５３は、特徴量の種類と回転角度との組み合わせごとに抽出された特徴量に、当該特徴量に応じた大きさと当該回転角度に対応する向きとを有するベクトルを対応付ける。そして、特徴量の種類ごとに複数通りの回転角度の当該ベクトルを集約して、基準点に対応する複数種類の特徴量についての特徴量合成ベクトルを合成特徴量として算出する。元の特徴量と対応付ける情報および合成特徴量の情報をそれぞれベクトル表現する例を示したが、いずれもスカラー表現の大きさとスカラー表現の回転角度の組で表現してもよいし、回転行列で表現してもよい。
【００４５】
つまり、特徴量合成手段５３は、まず基準領域についてフィルタの種類ごと、および回転角度ごとに得られる特徴量をそれぞれ、次式により２次元ベクトルに変換する。
【００４６】
【数２】
2019219750.tif 000004
【００４７】
次に、特徴量合成手段５３は特徴量の種類、つまりフィルタの種類ごとに複数の回転角度に対する特徴量を集約する。例えば、当該集約は次式に示すように、回転角度が異なるＫ通りの特徴量を平均して合成する処理により行うことができる。そして、特徴量合成手段５３は基準領域ごとに、この集約された合成特徴量を出力する。
【００４８】
【数３】
2019219750.tif 000005
【００４９】
上述の特徴量合成手段５３の処理は、特徴量抽出手段５１にて回転角度ごとに特徴量を抽出することで得た向き情報を合成特徴量に埋め込んでいる。この埋め込みにより、画像内の対象の向きが変わると合成特徴量の向きも同様に変化する。
【００５０】
対象領域回帰器記憶手段４２は対象領域回帰器のパラメータを予め記憶している。本実施形態では、当該パラメータは線形変換の係数である。
【００５１】
対象領域算出手段５４は、特徴量合成手段５３により算出された複数の種類の特徴量合成ベクトルから形状モデルを求めるモデル検出手段であり、基準領域ごとに、特徴量合成手段５３にて求めた合成特徴量、および基準領域設定手段５０から出力される基準領域の位置・面積を入力として、形状モデルとして対象領域を算出する。
【００５２】
対象領域算出手段５４は対象領域回帰器を備え、これを用いて複数種類の合成特徴量から対象領域を求める。対象領域回帰器は、学習用の画像内にて任意に設定され得る基準点に対応して学習用の画像から算出した複数の種類の合成特徴量を、学習用の画像内の対象領域に変換するように予め学習された変換器である。当該変換器のパラメータを対象領域算出手段５４が対象領域回帰器記憶手段４２から読み込むことで対象領域算出手段５４に対象領域回帰器が構成される。
【００５３】
図３は対象領域の模式図である。本実施形態では、有向外接四角形である対象領域は、基準点ｐ０と、基準点ｐ０と頂点ｐｉ（ｉ＝１〜４）とを結ぶ頂点ベクトルとで表される。頂点ベクトルは起点をｐ０、終点をｐｉとして定義する。これに対応して、対象領域算出手段５４は合成特徴量を頂点ベクトルに変換する。
【００５４】
本実施形態では、基準領域の面積について基準値σ０を設定し、対象領域回帰器は、面積が当該基準値σ０である基準領域を設定して抽出された合成特徴量に基づいて学習される。そして、対象領域算出手段５４は、基準値σ０以外の面積σの基準領域を設定した場合には頂点ベクトルを、対象領域回帰器が出力する頂点ベクトルにｓ＝（σ／σ０）１／２で定義する係数を乗じるスケーリング処理で決定する。すなわち、対象領域回帰器が出力する頂点ベクトルを単位頂点ベクトルΔｐｉと表すと、任意の面積の基準領域を設定した場合の頂点ベクトルはｓΔｐｉに定まる。
【００５５】
対象領域算出手段５４はまず、対象領域回帰器に合成特徴量ｇｃを入力し、基準点から対象領域をなす有向外接四角形の４頂点への変位量を推定する。対象領域回帰器は次式のように、合成特徴量ｇｃの線形和を用いてΔｐｉを算出する。
【００５６】
【数４】
2019219750.tif 000006
【００５７】
ここで、ｗｃｉは線形和の係数であり、学習用の計測データより求めるパラメータである。回帰で用いる線形変換をｇｃの線形和に制限することで、合成特徴量ｇｃが持つ向き情報を保存している。これにより、対象の向きに応じて各Δｐｉの向き、ひいては対象領域の向きが変化する。
【００５８】
次に、対象領域算出手段５４は対象領域の各頂点位置を、スケーリング後の頂点ベクトルを用いて次式により算出する。
【００５９】
【数５】
2019219750.tif 000007
【００６０】
そして、対象領域算出手段５４は上記の処理によって基準領域ごとに算出された頂点位置ｐ１〜ｐ４を対象領域の推定結果として出力する。ちなみに、対象領域算出手段５４で算出される四角形ｐ１ｐ２ｐ３ｐ４は矩形である保証はないが実際にはほぼ矩形となる。
【００６１】
統合判定手段５５は、対象スコア算出手段５２が求めたスコア、および対象領域算出手段５４が求めた対象領域を入力とし、複数算出され得る対象領域に対する統合処理を行って、その処理結果の対象領域を対象領域検出装置の最終的な出力とする。
【００６２】
統合処理は、同一対象に対して少しずれた位置の複数の対象領域が検出されてしまうことを抑制するための処理であり、複数の対象領域の中から真の対象領域を捉えているものを選択する。具体的には、初期状態として対象領域算出手段５４にて算出された対象領域のうちスコアが所定値以上であるものを候補領域として統合処理の対象とする。候補領域群の中でスコアが一番高いものを注目領域とする。そして、注目領域より低いスコアの候補領域を順に比較領域とし、注目領域と比較領域との重なりが予め定めた割合より大きい場合は比較領域を候補領域群から削除する。この処理をスコアが注目領域より低い候補領域全てに対して行った後、現在の注目領域を最終的な対象の領域として選択し、候補領域群から除外する。注目領域を設定して行った上記処理で更新された候補領域群に対して、同様に注目領域を設定し、上と同様にして比較領域を削除し、注目領域を最終的な対象の領域として選択する。この処理を注目領域に設定する対象領域がなくなる、つまり候補領域群が空になるまで繰り返す。こうして得られた最終的な対象領域が統合処理結果として統合判定手段５５から出力される。
【００６３】
検出結果出力手段５６は統合判定手段５５から出力される統合処理結果などの情報から結果画像を作成する。生成された結果画像は通信部３を通して表示部６へ出力される。
【００６４】
特徴量抽出器記憶手段４０が記憶している特徴量抽出器、対象スコア算出器記憶手段４１が記憶している対象スコア算出器、対象領域回帰器記憶手段４２が記憶している対象領域回帰器のそれぞれのパラメータは、学習用の計測データとして用意された画像を用いた学習により予め生成され、各記憶手段に格納される。
【００６５】
具体的には、学習は、対象が写った画像と、当該画像における正解の対象領域とを組にした学習用の計測データを用いた教師あり学習で行うことができる。当該学習では、画像を入力して得られた対象領域と正解との誤差の最小化が図られる。対象スコア算出器の学習では、対象らしさの推定精度を表す交差エントロピー関数などを誤差関数として用いることができる。対象領域回帰器の学習では、予め各基準領域と位置・大きさ・アスペクト比が類似する正解対象領域とを対応付けて、対応付いた基準領域における推定対象領域の各頂点の座標と正解対象領域の各頂点の座標との二乗誤差などを誤差関数として用いることができる。また、対象スコア算出器に対する誤差関数と対象領域算出器に対する誤差関数との和を最小化することで、特徴量抽出器、対象スコア算出器、対象領域算出器の各パラメータを求める。最小化には確率的最急降下法などを用いることができる。
【００６６】
図４は画像監視装置１の動作の概略のフロー図であり、これを参照して画像監視装置１の動作を説明する。
【００６７】
画像監視装置１が動作を開始すると、撮影部２は撮影画像を順次、画像処理部５に送信する。画像処理部５は撮影画像を受信するたびに図４のフロー図に従った動作を繰り返す。
【００６８】
まず、通信部３は画像取得手段３０として動作し、撮影部２からの撮影画像の受信待ち状態となる。撮影画像を取得した画像取得手段３０は当該撮影画像を画像処理部５へ出力する（ステップＳ１０）。
【００６９】
撮影画像を入力された画像処理部５は基準領域設定手段５０として動作し、入力画像にて基準領域を設定する（ステップＳ２０）。基準領域の設定情報は特徴量抽出手段５１、対象領域算出手段５４に入力される。
【００７０】
次に、画像処理部５は特徴量抽出器記憶手段４０から特徴量抽出器を読み込んで特徴量抽出手段５１として動作し、基準領域ごとに特徴量を抽出する（ステップＳ３０）。抽出された基準領域ごとの特徴量は対象スコア算出手段５２および特徴量合成手段５３に入力される。
【００７１】
続いて、画像処理部５は対象スコア算出器記憶手段４１から対象スコア算出器を読み込んで対象スコア算出手段５２として動作する。対象スコア算出手段５２は、基準領域ごとに特徴量を対象スコア算出器に入力することで、対象らしさをあらわすスコアを算出する（ステップＳ４０）。当該スコアは統合判定手段５５に入力される。
【００７２】
また、画像処理部５は特徴量合成手段５３として動作し、基準領域ごとに、特徴量抽出手段５１にて抽出された特徴量をもとに合成特徴量を算出する（ステップＳ５０）。算出された合成特徴量は対象領域算出手段５４に入力される。
【００７３】
画像処理部５は対象領域回帰器記憶手段４２から対象領域回帰器を読み込んで対象領域算出手段５４として動作する。対象領域算出手段５４は基準領域ごとに、合成特徴量を対象領域回帰器に入力し、基準領域の頂点ベクトルを算出する。対象領域算出手段５４は頂点ベクトルを、基準領域の位置（基準点）および高さ、幅の情報を用いて外接四角形の頂点座標に変換し、対象領域として出力する（ステップＳ６０）。算出された基準領域ごとの対象領域は統合判定手段５５に入力される。
【００７４】
画像処理部５は統合判定手段５５として動作し、対象領域算出手段５４から入力された対象領域に対して統合処理を行って、最終的な対象領域を求める（ステップＳ７０）。
【００７５】
画像処理部５は検出結果出力手段５６として動作し、統合判定手段５５からの対象領域などの情報から結果画像を作成し、通信部３を通して表示部６に出力する（ステップＳ８０）。
【００７６】
以下、図５〜図１０を参照して、本実施形態の対象領域検出装置の処理例を説明する。
【００７７】
図５は撮影画像の一例を模式的に示した図である。人物４０１は頭部を撮影画像４００の上側にして立っており、当該人物４０１に対し対象領域４０２として外接四角形が検出されている。ここで、対象領域４０２の左上の頂点４０３が有向外接四角形にて上述した順序で定義される頂点ｐ１〜ｐ４のうち頂点ｐ１に対応する。ここでは、頂点ｐ１〜ｐ４を求める処理のうち頂点ｐ１を例に説明する。点４０４は今注目している基準領域の位置を指定する基準点ｐ０であり、ベクトル４０５が基準点ｐ０から頂点ｐ１への変位量を表す頂点ベクトルである。
【００７８】
図６は特徴量抽出手段５１により抽出される特徴量の例を示す模式図であり、図５の基準点４０４に対応して基準領域から抽出された特徴量を示している。ここでは特徴量の種類の数Ｃは２であり、図６（ａ）はフィルタ識別番号ｃ＝１の特徴量ｆ１，θｋ、また図６（ｂ）はフィルタ識別番号ｃ＝２の特徴量ｆ２，θｋを示している。回転角度θｋは０°，９０°，１８０°，２７０°の４通りであり、ｆ１，１８０°＝１、ｆ２，９０°＝２でそれ以外は０である。
【００７９】
図７は、図６の特徴量に対応する合成特徴量ｇｃおよび単位頂点ベクトルΔｐ１を示す模式図である。特徴量合成手段５３は（２）式および（３）式によりｃ＝１の特徴量とｃ＝２の特徴量をそれぞれ合成する。その結果、合成特徴量ｇ１，ｇ２として特徴量合成ベクトル６０１，６０２が得られる。具体的には、ｇ１＝（−１／４，０）、ｇ２＝（０，１／２）となる。対象領域算出手段５４は（４）式により予め学習した結合係数ｗｃｉを用いて合成特徴量ｇ１，ｇ２の線形和を算出し、単位頂点ベクトルΔｐ１（ベクトル６０３）を求める。さらに、対象領域算出手段５４は基準領域の大きさに応じてΔｐ１をスケーリングして図５にてベクトル４０５で示したｓΔｐ１を算出し、（５）式により頂点４０３の座標を求める。
【００８０】
図８は撮影画像の他の例を模式的に示した図である。この撮影画像７００では、立位の人物７０１は、魚眼レンズで撮影した画像にて起こり得るように、頭部を画像の右側にして横向きに写っており、また、当該人物７０１に対する対象領域７０２およびそのｐ１である頂点７０３、基準点７０４、並びに基準点７０４から頂点７０３への頂点ベクトル７０５が図示されている。ちなみに、人物に対して左上の頂点ｐ１は、図５では対象領域４０２の左上の頂点４０３であったのに対し、図８では人物７０１が頭部を画像の右側に向けているので、対象領域７０２の右上の頂点７０３となる。
【００８１】
図９は図６と同様、特徴量抽出手段５１により抽出される特徴量の例を示す模式図であるが、ここでは図８の基準点７０４に対応して基準領域から抽出された特徴量を示している。図９（ａ）はフィルタ識別番号ｃ＝１の特徴量ｆ１，θｋ、また図９（ｂ）はフィルタ識別番号ｃ＝２の特徴量ｆ２，θｋを示している。ｆ１，９０°＝１、ｆ２，０°＝２でそれ以外は０である。これは、人の像が図５と比較して時計回りに９０°回転した場合に、フィルタの回転角度を変えて得られる特徴量の出力パターンが像の回転に応じた角度だけシフトすることを表現している。
【００８２】
図１０は、図９の特徴量に対応する合成特徴量ｇｃおよび単位頂点ベクトルΔｐ１を示す模式図であり、図６の特徴量に対する図７に相当する。特徴量合成手段５３により（２），（３）式で合成特徴量ｇ１，ｇ２として特徴量合成ベクトル９０１，９０２が得られる。具体的には、ｇ１＝（０，１／４）、ｇ２＝（１／２，０）となる。また、対象領域算出手段５４により（４）式でΔｐ１としてベクトル９０３が得られる。図９に示す特徴量のパターンが図６のパターンと比較して−９０°シフトするのに対応して、ベクトル９０１〜９０３は図７のベクトル６０１〜６０３から時計回りに９０°回転した方向を向く。さらに、対象領域算出手段５４は基準領域の大きさに応じてΔｐ１をスケーリングして図８にてベクトル７０５で示したｓΔｐ１を算出し、（５）式により頂点７０３の座標を求める。
【００８３】
本実施形態に係る対象領域算出手段５４が行う変換と、従来技術において対象領域算出手段５４に相当する手段が行う変換とを対比する。
【００８４】
従来技術における変換は、Ｃ種類の特徴量のそれぞれをＫ通りの回転角度について抽出したＣ×Ｋ通りの特徴量それぞれを入力ノードとし、形状モデルの８パラメータｄｘ１，ｄｙ１，ｄｘ２，ｄｙ２，ｄｘ３，ｄｙ３，ｄｘ４，ｄｙ４それぞれを出力ノードとする、全結合のネットワークで表現される線形変換である。重みは、各ノード間の結合に設定され、全て異なる。よって、Ｃ×Ｋ×８個の重みが、学習されて、検出に用いられる。
【００８５】
従来技術を用いて行われる、立位人物に係る図６の特徴量から図５の頂点ベクトル４０３への線形変換は、ｄｘ１＝ｗ１，θ１，ｘ・ｆ１，θ１＋ｗ１，θ２，ｘ・ｆ１，θ２＋…＋ｗ１，θ４，ｘ・ｆ１，θ４＋ｗ２，θ１，ｘ・ｆ２，θ１＋ｗ２，θ２，ｘ・ｆ２，θ２＋…＋ｗ２，θ４，ｘ・ｆ２，θ４、およびｄｙ１＝ｗ１，θ１，ｙ・ｆ１，θ１＋ｗ１，θ２，ｙ・ｆ１，θ２＋…＋ｗ１，θ４，ｙ・ｆ１，θ４＋ｗ２，θ１，ｙ・ｆ２，θ１＋ｗ２，θ２，ｙ・ｆ２，θ２＋…＋ｗ２，θ４，ｙ・ｆ２，θ４となる。
【００８６】
ここで、立位人物に係る図６の値の例では、ｆ１，θ１＝ｆ１，θ２＝ｆ１，θ４＝ｆ２，θ１＝ｆ２，θ３＝ｆ２，θ４＝０であるため、線形変換は、実質的には、ｄｘ１＝ｗ１，θ３，ｘ・ｆ１，θ３＋ｗ２，θ２，ｘ・ｆ２，θ２、およびｄｙ１＝ｗ１，θ３，ｙ・ｆ１，θ３＋ｗ２，θ２，ｙ・ｆ２，θ２となる。
【００８７】
同様にして、倒れた人物に係る図９の特徴量から図８の頂点ベクトル７０３への線形変換は、図９の値の例では、実質的には、ｄｘ１＝ｗ１，θ２，ｘ・ｆ１，θ２＋ｗ２，θ１，ｘ・ｆ２，θ１、およびｄｙ１＝ｗ１，θ２，ｙ・ｆ１，θ２＋ｗ２，θ１，ｙ・ｆ２，θ１となる。
【００８８】
頂点ベクトル４０３への実質的な線形変換の例と頂点ベクトル７０３への実質的な線形変換の例を比べると分かるように、従来技術では、対象が回転すると、影響する重みや影響する特徴量が変わってしまう。これは、対象の向きと特徴量の回転角度の間の関係性が希薄であることを意味している。そのため、対象の向きごとに、特に学習すべき重みや、特に領域検出において重要な重みが異なり、関係性が希薄であることが領域検出の精度の向上を阻む要因となっている。
【００８９】
本実施形態における変換では、Ｃ種類の特徴量のそれぞれについて合成したＣ通りの合成特徴量それぞれのｘ成分とｙ成分を入力ノードとするため、入力ノードはＣ×２個となる。出力ノードは形状モデルの８パラメータである。変換は、これら入力ノードおよび出力ノードそれぞれのｘ成分同士、ｙ成分同士を結合したネットワークで表現される線形変換である。重みは、各ノード間の結合に設定され、合成特徴量の種類と頂点ベクトルの組み合わせについて共通である（例えば、ｇ１のｘ成分の入力ノードとｄｘ１の出力ノードの結合に設定される重みと、ｇ１のｙ成分の入力ノードとｄｙ１の出力ノードの結合に設定される重みは共通）。よって、Ｃ×２×８÷４個の重みが、学習されて、検出に用いられる。
【００９０】
本実施形態に係る対象領域算出手段５４によって行われる、立位人物に係る図７の合成特徴量から図５の頂点ベクトル４０３への線形変換は、ｄｘ１＝ｗ１・ｘ１＋ｗ２・ｘ２、およびｄｙ１＝ｗ１・ｙ１＋ｗ２・ｙ２となる。
【００９１】
そして、本実施形態に係る対象領域算出手段５４によって行われる、倒れた人物に係る図１０の合成特徴量から図８の頂点ベクトル７０３への線形変換も、ｄｘ１＝ｗ１・ｘ１＋ｗ２・ｘ２、およびｄｙ１＝ｗ１・ｙ１＋ｗ２・ｙ２となる。
【００９２】
頂点ベクトル４０３への線形変換の例と頂点ベクトル７０３への線形変換の例を比べると分かるように、本発明では、対象が回転しても影響する重みや影響する特徴量（合成特徴量）は変わらない。これは、対象の向きと特徴量の回転角度の間の関係性が強いことを意味している。そのため、対象領域算出手段５４が行う合成特徴量ｇから対象領域への変換は、従来技術にて行っていた特徴量ｆから対象領域への変換に比べて、対象の向きによらず少数の重みで効率的に学習できて、領域検出の精度が向上する。
【００９３】
加えて、本発明では、ｘ成分とｙ成分とを互いに分離してそれぞれ変換する。このことによっても、対象の向きと特徴量の回転角度の間の関係性が強まり、対象領域算出手段５４が行う合成特徴量ｇから対象領域への変換は、従来技術にて行っていた特徴量ｆから対象領域への変換に比べて、対象の向きによらず効率的に学習できて、領域検出の精度が向上する。
【００９４】
［変形例］
（１）上記実施形態においては、特徴量抽出器はＣＮＮで構成している。このＣＮＮについては本発明の要旨を逸脱しない範囲で各種の改変を行うことができる。例えば、活性化関数としてＲｅＬＵ関数に代えて、ｔａｎｈ関数、シグモイド（Sigmoid）関数などを用いることができ、また、プーリング処理として平均プーリングに代えて最大プーリング（max pooling）などを用いてもよい。
【００９５】
（２）上記実施形態およびその変形例においては、特徴量抽出器のパラメータは、対象領域回帰器（変換器）と同じ学習用の計測データを用いて学習されたものであったが、異なる学習用の計測データで学習してもよい。
【００９６】
（３）上記実施形態およびその変形例においては、ＣＮＮを用いる特徴量抽出手段５１を例示したが、ＨＯＧ(Histogram of Oriented Gradients)特徴量やＬＢＰ(Local Binary Patterns)特徴量などの他の特徴量を抽出する特徴量抽出手段５１とすることもできる。ＨＯＧは勾配方向のヒストグラムであるから、ＨＯＧの場合、各ビンの値を１つ１つの特徴量として出力すれば複数通りの回転角度の特徴量を抽出する構成とすることができる。また、ＨＯＧの場合、複数の大きさの分析窓で抽出することによって複数種類の特徴量を抽出する構成とすることができる。
【００９７】
ＬＢＰの場合、回転同値なパターンと回転同値でないパターンを含めた複数通りのパターンで抽出を行い、互いに回転同値でないパターンにより抽出した特徴量同士を種類の異なる特徴量、また、互いに回転同値なパターンにより抽出した特徴量同士を種類が共通で回転角度が異なる特徴量として出力する構成とすればよい。
【００９８】
また、ＨＯＧやＬＢＰなどを組み合わせて用いてもよい。
【００９９】
（４）上記実施形態およびその各変形例においては、対象が人という１クラスのみである構成を説明したが、対象は多クラスとすることもできる。
【０１００】
（５）対象スコア算出手段５２についても本発明の要旨を逸脱しない範囲で各種の改変を行うことができる。例えば、対象スコア算出器は、ＳＶＭ（Support Vector Machine）、アダブースト（AdaBoost）、識別型のランダムフォレストなどの識別手法を用いたものとすることができる。また、基準領域の大きさおよび／またはアスペクト比に応じて対象スコア算出器を切り替えたり、対象スコア算出器の入力として特徴量合成手段５３にて出力される合成特徴量を用いたりする構成とすることもできる。
【０１０１】
（６）上記実施形態およびその各変形例において、特徴量合成手段５３は、複数通りの回転角度についての特徴量を（３）式で示す平均化により集約し合成特徴量を生成したが、当該集約処理として、（２）式で示すｆ'ｃ，θｋのうちノルムが最大のものを出力するようにしてもよい。
【０１０２】
（７）対象領域算出手段５４についても本発明の要旨を逸脱しない範囲で各種の改変を行うことができる。例えば、算出する対象領域の精度を高めるために、上記の合成特徴量ｇｃの線形和による変換と、squashing関数などの活性化関数を繰り返す構造にしてもよい。ちなみにsquashing関数はベクトルについてその向きを変えずにノルムを変化させる活性化関数である。また、対象領域回帰器として、線形のＳＶＲ（Support Vector Regressor）などの回帰手法を用いてもよい。また、基準領域の大きさまたは／およびアスペクト比に応じて対象領域回帰器を切り替える構成とすることもできる。また、基準領域から抽出した合成特徴量に当該基準領域から抽出した他の特徴量を混合した混合特徴量を対象領域に変換する構成とすることもできる。
【０１０３】
（８）上記実施形態およびその各変形例においては、対象領域算出手段５４は、基準領域の位置として設定した基準点を起点として頂点ベクトルΔｐｉを求めていたが、頂点ベクトルΔｐｉの起点を基準点と異ならせてもよい。その場合、対象領域算出手段５４による変換は合成特徴量から、形状モデル(頂点ベクトル)、および基準点と起点とを結ぶ移動ベクトルへの変換となる。学習も形状モデルと移動ベクトルに関する重みの学習となる。
【０１０４】
（９）上記実施形態およびその各変形例においては、統合判定手段５５は、スコアと重なり率を用いて統合処理を行っているが、各頂点間の距離の総和、対象領域の変位量の方向の類似度などを併用してもよい。
【０１０５】
（１０）上記実施形態およびその各変形例においては、対象領域を表す形状モデルとして四角形を用いていたが、形状モデルは四角形に限らず、任意の頂点数の多角形とすることができる。また、楕円形など多角形以外の２次元図形とすることができる。
【０１０６】
（１１）上記実施形態およびその各変形例においては、対象領域算出手段５４は、対象領域とする四角形の４頂点への頂点ベクトルを推定していたが、四角形を長方形、平行四辺形、等脚台形などに制限し、推定するパラメータ数を減らしてもよい。具体的には、長方形の場合は、例えば中心の位置ベクトル、中心から長辺への最短ベクトル、および中心と短辺との距離という２つのベクトルと１つのスカラー値を推定パラメータとすることができる。なお、対象領域を楕円形とした場合も同様に推定パラメータを２つのベクトルおよび１つのスカラー値（例えば、中心ベクトル、半長軸を指定するベクトル、および短半径）に減らすことができる。また、平行四辺形および等脚台形は例えば、対角線の交点の位置ベクトル、および交点から内角が異なる２頂点それぞれへのベクトルといった３つのベクトルが与えられれば特定可能であり、そのような３つのベクトルを推定パラメータとすればよい。
【０１０７】
（１２）上記実施形態およびその各変形例においては、対象領域検出装置に入力される計測データは２次元の座標空間で定義される画像であったが、計測データは３次元の座標空間で定義されるものであってもよい。例えば、本発明は、計測データとして３次元の直交座標系（ｘｙｚ座標系）で定義された座標と計測値とからなる３次元画像や点群を入力され、当該計測データから、座標空間に存在する所定の対象を検出する対象領域検出装置に適用することができる。この場合、形状モデルは３次元形状とすることができ、例えば、６つの四角形からなる六面体や、楕円体などとすることができる。
【０１０８】
２次元の座標空間においては上述したように複数通りの回転角度は画像に垂直な１軸の周りで定義される１種類の角度で表現されたが、３次元の座標空間においては、対象領域の回転角度（姿勢）はオイラー角といった３つの角度α，β，γの組で表現される。よって３次元の場合、上述の複数通りの回転角度は、角度αβγそれぞれについての複数通りの値を設定し、それらの組み合わせで定義することができ、特徴量抽出手段５１は特徴量の種類ごとに、αβγの組で定義される複数通りの回転角度での特徴量を抽出する。また、特徴量合成手段５３は２次元の場合の（２）式から類推されるように、特徴量を回転角度に応じた向きを有する３次元ベクトルに変換し、当該ベクトルを特徴量の種類ごとに集約して特徴量合成ベクトルｇｃを生成し、対象領域算出手段５４への入力とする。
【０１０９】
（１３）上記実施形態およびその各変形例においては、形状モデルは座標空間と同じ次元を有するもの、つまり２次元の座標空間では２次元の形状、３次元の座標空間では３次元の形状としたが、形状モデルは座標空間より次元が少ない形とすることができる。具体的には、形状モデルは線分や直線といった１次元の図形とすることができる。例えば、人の形状モデルとして人の中心軸を線分で表すことができる。また、３次元の座標空間の計測データに関して、形状モデルは平面図形などの２次元形状とすることができる。例えば、人体の形状モデルとして人体の前後方向を法線方向とする四角形などの平面図形を設定することができる。
【０１１０】
（１４）上記実施形態およびその各変形例においては、合成特徴量は大きさと角度を有する情報としたが、角度のみの情報とすることもできる。その場合、特徴量合成手段５３は各特徴量合成ベクトルの大きさを予め定めた閾値と比較して、大きさが閾値以上である特徴量合成ベクトルが示す角度を合成特徴量とする。なお、この場合、大きさが閾値未満の特徴量合成ベクトルに対しては支配的な角度は無いとして一定の外れ値を合成特徴量とすればよい。
【０１１１】
以上、実施形態およびその各変形例により説明した本発明によれば、計測データから回転角度と種類の組み合わせごとに抽出した特徴量を、ベクトル合成により各種類の特徴量の支配的な方向を表す合成特徴量として集約でき、合成特徴量から形状モデルへの変換を学習した変換器により計測データを取得した座標空間内での形状モデルを決定する。当該変換器の学習では、特徴量の抽出過程にて現れる向き情報を利用した変換器が構築される。つまり、対象の回転に対する学習効果が高まり、本発明の対象領域検出装置は、対象が回転していても対象領域を高精度に検出できる。
【符号の説明】
【０１１２】
３０  画像取得手段、４０  特徴量抽出器記憶手段、４１  対象スコア算出器記憶手段、４２  対象領域回帰器記憶手段、５０  基準領域設定手段、５１  特徴量抽出手段、５２  対象スコア算出手段、５３  特徴量合成手段、５４  対象領域算出手段、５５  統合判定手段、５６  検出結果出力手段。
【図１】
2019219750.tif 000008
【図２】
2019219750.tif 000009
【図３】
2019219750.tif 000010
【図４】
2019219750.tif 000011
【図５】
2019219750.tif 000012
【図６】
2019219750.tif 000013
【図７】
2019219750.tif 000014
【図８】
2019219750.tif 000015
【図９】
2019219750.tif 000016
【図１０】
2019219750.tif 000017