(57)【要約】【課題】正常動作との対比による対応動作の評価を、より簡単に行うことができる動作特徴抽出装置および動作特徴抽出方法を提供すること。【解決手段】動作特徴抽出装置３００は、評価対象動画像から対応動作の特徴を抽出する装置であって、正常動作を撮影した学習用動画像を表示して着目領域の設定を受け付ける領域設定部３３０と、ＣＨＬＡＣ特徴抽出法によって、学習用動画像のデータから、学習用動画像の全体の学習用全体特徴量と、着目領域の領域内特徴量とを抽出し、学習用全体特徴量と領域内特徴量とを関連付けた学習データを生成し、ＣＨＬＡＣ特徴抽出法によって、評価用動画像のデータから、評価対象動画像の全体の特徴量である評価対象全体特徴量を抽出する、全体特徴抽出部３２０および関連学習部３４０と、評価対象全体特徴量から、学習データを用いて対応動作の特徴を抽出する特徴再計算部３５０とを有する。【選択図】図３
2011133984.tif 000002
【特許請求の範囲】
【請求項１】
正常動作に対応する対応動作を撮影した評価対象動画像から前記対応動作の特徴を抽出する動作特徴抽出装置であって、
前記正常動作を撮影した学習用動画像を表示して、着目領域の設定を受け付ける領域設定部と、
動画像から画像中の動きの特徴を抽出する立体高次局所自己相関（ＣＨＬＡＣ）特徴抽出法によって、前記学習用動画像のデータから、前記学習用動画像の全体の特徴量である学習用全体特徴量と、前記着目領域の特徴量である領域内特徴量と、を抽出する学習用特徴抽出部と、
前記学習用全体特徴量と前記領域内特徴量とを関連付けた学習データを生成する関連学習部と、
前記立体高次局所自己相関特徴抽出法によって、前記評価対象動画像のデータから、前記評価対象動画像の全体の特徴量である評価対象全体特徴量を抽出する評価対象特徴抽出部と、
前記評価対象全体特徴量から、前記学習データを用いて前記対応動作の特徴を抽出する特徴再計算部と、
を有する動作特徴抽出装置。
【請求項２】
前記学習データは、前記学習用全体特徴量を独立変数とし前記領域内特徴量を従属変数とする関数を含み、
前記特徴再計算部は、
前記評価対象全体特徴量に前記関数を適用したときの解を、前記対応動作の特徴として取得する、
請求項１記載の動作特徴抽出装置。
【請求項３】
前記学習データは、前記学習用全体特徴量と、前記着目領域の座標と、前記領域内特徴量と、を関連付けたデータであり、
前記特徴再計算部は、
前記評価対象全体特徴量および前記学習データから、前記対応動作の領域である対応領域を推定し、前記立体高次局所自己相関特徴抽出法によって前記対応領域の特徴量を抽出し、抽出した特徴量を前記対応動作の特徴として取得する、
請求項１記載の動作特徴抽出装置。
【請求項４】
前記領域内特徴量から、前記着目領域に頻出する動きを抽出するフィルタリング関数を算出するフィルタリング方法決定部、更に有し、
前記関連学習部は、
前記学習用全体特徴量に対して前記フィルタリング関数を適用し、
前記評価対象特徴抽出部は、
前記評価対象全体特徴量に対して前記フィルタリング関数を適用する、
請求項２または請求項３に記載の動作特徴抽出装置。
【請求項５】
前記学習データは、前記学習用全体特徴量を独立変数とし前記領域内特徴量を従属変数とする関数を含み、
前記評価対象全体特徴量に前記関数を適用したときの解に類似する前記領域内特徴量を特定し、特定された前記領域内特徴量に関連する前記着目領域に対応する領域を、前記対応領域であると推定する前記特徴評価部、を更に有する、
請求項３記載の動作特徴抽出装置。
【請求項６】
前記関数は、前記学習用全体特徴量を説明変数とし前記領域内特徴量を目的変数とする重回帰関数を含む、
請求項２または請求項５記載の動作特徴抽出装置。
【請求項７】
正常動作に対応する対応動作を撮影した評価対象動画像から前記対応動作の特徴を抽出する動作特徴抽出装置であって、
前記正常動作を撮影した学習用動画像のデータから、画像中の動きの特徴を抽出する立体高次局所自己相関（ＣＨＬＡＣ）特徴抽出法により抽出された、前記学習用動画像の全体の特徴量である学習用全体特徴量と、前記学習用動画像のデータから、前記立体高次局所自己相関特徴抽出法により抽出された、前記正常動作の領域の特徴量である領域内特徴量と、と関連付けた学習データを記憶する関連学習部と、
前記立体高次局所自己相関特徴抽出法によって、前記評価対象動画像の全体の特徴量である評価対象全体特徴量を抽出する評価対象特徴抽出部と、
前記評価対象全体特徴量から、前記学習データを用いて前記対応動作の特徴を抽出する特徴再計算部と、
前記特徴再計算部が抽出した前記対応動作の特徴と前記領域内特徴量とを比較する特徴評価部と、
を有する動作特徴抽出装置。
【請求項８】
複数の重み付け関数のうち、前記学習用全体特徴量に適用したときの解が前記領域内特徴量に最も類似する重み付け関数を特定する重みマップ制御部、を更に有し、
前記特徴再計算部は、
前記評価対象全体特徴量に前記特定された重み付け関数を適用したときの解を、前記対応動作の特徴として抽出する、
請求項１記載の動作特徴抽出装置。
【請求項９】
前記複数の重み付け関数は、着目領域の特徴量とその他の領域の特徴量とに所定の比率の重みを掛ける関数、着目領域に頻出する特徴量とその他の特徴量とに所定の比率の重みを掛ける関数、および着目領域では小さい動きを抽出しその他の領域では大きい動きを抽出する関数、の少なくとも１つを含む、
請求項８記載の動作特徴抽出装置。
【請求項１０】
正常動作に対応する対応動作を撮影した評価対象動画像から前記対応動作の特徴を抽出する動作特徴抽出方法であって、
前記正常動作を撮影した学習用動画像を表示して、着目領域の設定を受け付けるステップと、
動画像から画像中の動きの特徴を抽出する立体高次局所自己相関（ＣＨＬＡＣ）特徴抽出法によって、前記学習用動画像のデータから、前記学習用動画像の全体の特徴量である学習用全体特徴量と、前記着目領域の特徴量である領域内特徴量と、を抽出するステップと、
前記学習用全体特徴量と前記領域内特徴量とを関連付けた学習データを生成するステップと、
前記立体高次局所自己相関特徴抽出法によって、前記評価対象動画像のデータから、前記評価対象動画像の全体の特徴量である評価対象全体特徴量を抽出するステップと、
前記評価対象全体特徴量から、前記学習データを用いて前記対応動作の特徴を抽出するステップと、
を有する動作特徴抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を用いた動作解析を行うための動作特徴抽出装置および動作特徴抽出方法に関する。
【背景技術】
【０００２】
作業者の手の動き等を対象として、理想的な動作（以下「正常動作」という）と、これに対応する実際の動作（以下「対応動作」という）とを比較解析して、対応動作を評価することが、従来行われている。その一例は、工場における作業効率の改善を目的とした、一般作業者のそれぞれの作業と手本となる熟練作業者の動作との比較検証である。
【０００３】
ところが、上述の工場の一般作業者の例のように評価対象が多い場合、人間が各評価対象の実際の動作を目で確認して評価を行うことは、手間と時間を要する。
【０００４】
そこで、特許文献１および特許文献２には、立体高次局所自己相関（ＣＨＬＡＣ）特徴抽出法を用いて、正常動作と大きく異なる対応動作を、異常動作として検知する装置が記載されている。
【０００５】
ＣＨＬＡＣ特徴は、画像中の動きの特徴を示す特徴量であり、物体の画像の切り出しを行う必要が無く、かつ複数の物体の動きにも対応可能というメリットを有する。特許文献１および特許文献２に記載の装置は、対応動作の画像全体のＣＨＬＡＣ特徴を抽出し、抽出したＣＨＬＡＣ特徴と、予め学習した正常動作のＣＨＬＡＣ特徴とを比較する。これにより、特許文献１および特許文献２記載の装置は、例えば一般作業者が熟練作業者とは大きく異なる動作を行ったとき、その動作の発生を、異常動作の発生として検知することができる。
【０００６】
ところが、特許文献１および特許文献２に記載の装置では、実際には異常動作が発生しているにもかかわらず、対象画像領域以外の画像領域の動き（以下「外乱」という）が異常動作を相殺する形で、ＣＨＬＡＣ特徴に影響することがある。また、逆に、実際には異常動作が発生していないにもかかわらず、外乱が異常動作と区別されない形でＣＨＬＡＣ特徴に影響することがある。すなわち、特許文献１および特許文献２記載の装置は、画面全体に対して抽出可能な反面、外乱による異常動作の検知の精度に課題を残す場合がある。
【０００７】
そこで、画像を分割した分割画像毎にＣＨＬＡＣ特徴の抽出および比較を行う装置が、例えば特許文献３に記載されている。この装置によれば、正常動作と対応動作とがそれぞれどの分割領域に映し出されているかが判別されているとき、外乱によって異常動作検知の精度が低下するのを防ぐことができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−７９２７２号公報
【特許文献２】特開２００５−９２３４６号公報
【特許文献３】特開２００８−２６９０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、例えば上述の工場の一般作業者の場合、一般的に、作業位置や手足の位置は作業手順にしたがって時間と共に変化する。
【００１０】
ところが、特許文献３記載の装置は、異常動作検知を精度良く行うためには、一般作業者毎（評価対象毎）に、各時刻における対応動作の位置を個別に設定する必要がある。したがって、特許文献３記載の装置は、特に評価対象が多い場合において、物体の画像の切り出しを行う必要が無いというＣＨＬＡＣ特徴の利点を十分に活かすことができず、動作の評価に要する手間と時間とを十分に低減することができない。
【００１１】
本発明の目的は、正常動作との対比による対応動作の評価を、より簡単に行うことができる動作特徴抽出装置および動作特徴抽出方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明の動作特徴抽出装置は、正常動作に対応する対応動作を撮影した評価対象動画像から前記対応動作の特徴を抽出する動作特徴抽出装置であって、前記正常動作を撮影した学習用動画像を表示して、着目領域の設定を受け付ける領域設定部と、動画像から画像中の動きの特徴を抽出する立体高次局所自己相関（ＣＨＬＡＣ）特徴抽出法によって、前記学習用動画像のデータから、前記学習用動画像の全体の特徴量である学習用全体特徴量と、前記着目領域の特徴量である領域内特徴量とを抽出する学習用特徴抽出部と、前記学習用全体特徴量と前記領域内特徴量とを関連付けた学習データを生成する関連学習部と、前記立体高次局所自己相関特徴抽出法によって、前記評価対象動画像のデータから、前記評価対象動画像の全体の特徴量である評価対象全体特徴量を抽出する評価対象特徴抽出部と、前記評価対象全体特徴量から、前記学習データを用いて前記対応動作の特徴を抽出する特徴再計算部とを有する。
【００１３】
本発明の動作特徴抽出方法は、正常動作に対応する対応動作を撮影した評価対象動画像から前記対応動作の特徴を抽出する動作特徴抽出方法であって、前記正常動作を撮影した学習用動画像を表示して、着目領域の設定を受け付けるステップと、動画像から画像中の動きの特徴を抽出する立体高次局所自己相関（ＣＨＬＡＣ）特徴抽出法によって、前記学習用動画像のデータから、前記学習用動画像の全体の特徴量である学習用全体特徴量と、前記着目領域の特徴量である領域内特徴量とを抽出するステップと、前記学習用全体特徴量と前記領域内特徴量とを関連付けた学習データを生成するステップと、前記立体高次局所自己相関特徴抽出法によって、前記評価対象動画像のデータから、前記評価対象動画像の全体の特徴量である評価対象全体特徴量を抽出するステップと、前記評価対象全体特徴量から、前記学習データを用いて前記対応動作の特徴を抽出するステップとを有する。
【発明の効果】
【００１４】
本発明によれば、画像全体のＣＨＬＡＣ特徴と正常動作の領域のＣＨＬＡＣ特徴とを関連付けた学習データを用いて対応動作の特徴を抽出するので、正常動作との対比による対応動作の評価を、より簡単に行うことができる
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態１に係る動作特徴抽出装置を含む行動解析システムの構成を示すシステム構成図
【図２】本実施の形態１に係る動作特徴抽出装置の学習段階と評価段階とを説明するための図
【図３】本実施の形態１に係る動作特徴抽出装置の構成を示すブロック図
【図４】本実施の形態１における関連学習部の構成を示すブロック図
【図５】本実施の形態１に係る動作特徴抽出装置の動作の一例を示すフローチャート
【図６】本実施の形態１における操作メニュー画面の一例を示す図
【図７】本実施の形態１における領域設定画面の一例を示す図
【図８】本実施の形態１における領域座標を説明するための図
【図９】本実施の形態１における領域座標表の構成を示す図
【図１０】本実施の形態１における簡略化された特徴ベクトルの成分を示す図
【図１１】本実施の形態１における特徴ベクトルをまとめる単位を示す図
【図１２】本実施の形態１における時刻ｔ１の各分割領域の特徴ベクトルを示す図
【図１３】本実施の形態１における時刻ｔ２の各分割領域の特徴ベクトルを示す図
【図１４】本実施の形態１における学習用全体特徴表の構成を示す図
【図１５】本実施の形態１における学習データ作成処理を示すフローチャート
【図１６】本実施の形態１における領域特徴表の構成を示す図
【図１７】本実施の形態１における関連学習データ表の構成を示す図
【図１８】本実施の形態１における判別空間表の構成を示す図
【図１９】本実施の形態１における判別空間のイメージを示す図
【図２０】本実施の形態１における正常部分空間のイメージを示す図
【図２１】本実施の形態１における正常部分空間表の構成を示す図
【図２２】本実施の形態１における評価処理を示すフローチャート
【図２３】本実施の形態１における判別用全体特徴表の構成を示す図
【図２４】本実施の形態１における判別領域内特徴表の構成を示す図
【図２５】本実施の形態１における評価データ表の構成を示す図
【図２６】本実施の形態１における評価結果参照画面の一例を示す図
【図２７】本発明の実施の形態２に係る動作特徴抽出装置の構成を示すブロック図
【図２８】本実施の形態２における重み付け関数の概念を説明するための図
【図２９】本実施の形態２における重み付け関数表の構成を示す図
【図３０】本実施の形態２における重み付け後学習用全体特徴表の構成を示す図
【図３１】本実施の形態２における正常部分空間詳細表の構成を示す図
【図３２】本実施の形態２における正常部分空間の選択を説明するための図
【図３３】本実施の形態２における重み付け後評価対象全体特徴表の構成を示す図
【発明を実施するための形態】
【００１６】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１７】
（実施の形態１）
図１は、本発明の実施の形態１に係る動作特徴抽出装置を含む行動解析システムの構成を示すシステム構成図である。
【００１８】
本実施の形態は、本発明を、工場における作業効率の改善を目的として、一般作業者の動作から異常動作を抽出するシステムに適用した例として説明する。本実施の形態に係る行動解析システムは、ある作業工程に従事する熟練作業者の姿を撮影し、同じ撮影アングルで同一の作業工程に従事するときの各一般作業者の姿を撮影して、各一般作業者の異常動作を抽出するものである。すなわち、本実施の形態に係る行動解析システムは、一般作業者が正常動作を行っているとき、動画像に映し出される手等の各部位の位置が、熟練作業者とその一般作業者との間でほぼ一致するように撮影を行うシステムである。
【００１９】
図１において、行動解析システム１００は、カメラ２００、動作特徴抽出装置３００、入力装置４００、および出力装置５００を有する。カメラ２００、入力装置４００、および出力装置５００は、例えば、ＩＰ（internet protocol）ネットワークあるいはＵＳＢ（universal serial bus）接続により、それぞれ動作特徴抽出装置３００と通信可能としている。動作特徴抽出装置３００、入力装置４００、および出力装置５００は、例えば、通信機能を有するコンピュータシステム（パーソナルコンピュータやワークステーション等）を構成するものであってもよい。
【００２０】
カメラ２００は、例えばデジタルビデオカメラであり、工場における作業者６００の作業の様子を撮影する。そして、カメラ２００は、動画像を構成するフレームを、逐次、動作特徴抽出装置３００へ出力する。以下、熟練作業者の作業中の動きは、「正常動作」といい、正常動作を撮影した動画像を「学習用動画像」という。また、評価の対象であって一般作業者の正常動作に対応する動きは、「対応動作」といい、対応動作を撮影した動画像を「評価対象動画像」という。カメラ２００が出力する動画像データは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）フォーマットのデータである。
【００２１】
動作特徴抽出装置３００は、カメラ２００から入力された学習用動画像を表示して着目領域の設定を受け付ける。ここで、着目領域とは、学習用動画像において、着目すべき画像領域であり、正常動作の画像を囲むように設定される領域である。動作特徴抽出装置３００は、学習用動画像から、画像全体のＣＨＬＡＣ特徴（以下「学習用全体特徴量」という）と、着目領域のＣＨＬＡＣ特徴（以下「領域内特徴量」）とを抽出する。そして、動作特徴抽出装置３００は、学習用全体特徴量と領域内特徴量とを関連付けた学習データを生成する。
【００２２】
また、動作特徴抽出装置３００は、評価対象動画像から、画像全体のＣＨＬＡＣ特徴（以下「評価対象全体特徴量」という）を抽出し、評価対象全体特徴量および学習データから、対応領域を推定する。ここで、対応領域とは、対応動作の領域と推定される画像領域である。そして、動作特徴抽出装置３００は、推定した対応領域のＣＨＬＡＣ特徴（以下「目的特徴量」という）を、対応動作の特徴として抽出する。
【００２３】
入力装置４００は、例えばキーボードおよびマウスであり、動作特徴抽出装置３００に対するユーザ操作を受け付ける。
【００２４】
出力装置５００は、例えば液晶ディスプレイであり、動作特徴抽出装置３００が生成した各種画像を表示する。
【００２５】
このような行動解析システム１００は、学習用全体特徴量と領域内特徴量とを関連付けた学習データを生成し、この学習データを用いて、目的特徴量を抽出することができる。
【００２６】
対応動作が正常動作と類似しているとき、評価対象全体特徴量と目的特徴量との間の相関関係は、学習用全体特徴量と領域内特徴量との間の相関関係とほぼ同一となる。そして、対応動作が正常動作と類似しているとき、学習用全体特徴量と領域内特徴量との間の相関関係に基づいて評価対象全体特徴量から目的特徴量を推定したとき、その目的特徴量は、領域内特徴量とほぼ同一となる。
【００２７】
逆に、対応動作が正常動作と大きく異なっている場合（つまり対応動作が異常動作である場合）には、目的特徴量は領域内特徴量と大きく異なる値となる。この場合には、上述の２つの相関関係は必ずしも一致せず、たまたま一致していたとしても領域内特徴量は目的特徴量と異なる値となるからである。
【００２８】
そこで、本実施の形態に係る動作特徴抽出装置３００は、学習用全体特徴量と領域内特徴量とを関連付けた学習データを生成し、この学習データを用いて、対応動作の画像部分の抽出を行うこと無く、目的特徴量を抽出する。そして、動作特徴抽出装置３００は、この目的特徴量を領域内特徴量と比較することにより、異常動作の検知を行う。これにより、動作特徴抽出装置３００は、ＣＨＬＡＣ特徴抽出法の利点を活かしつつ、異常動作を精度良く検知することができ、正常動作との対比による対応動作の評価を、より簡単に行うことができる。
【００２９】
すなわち、動作特徴抽出装置３００は、学習と評価とを実行するように構成されている。動作特徴抽出装置３００は、図２に示すように、「学習段階」において学習を行った後に、「評価段階」において評価を行う。学習段階は、ユーザが着目領域を手動で設定し、上述の学習データを生成してデータベース化する段階である。評価段階は、学習データのデータベースを活用して対応動作を評価する段階である。ここで、評価とは、熟練作業者の動きと著しく異なる一般作業者の動き（異常動作）の検知を行い、異常動作が検知されたときにその旨を示す情報を出力することである。
【００３０】
ここでは、評価対象を作業者の手とする。そして、作業者は、学習用動画像９０１における手の位置９０２が異なる作業Ａ、作業Ｂ、作業Ｃという作業工程を、連続して行うものとする。したがって、学習段階では、作業工程毎に、異なる着目領域が設定され、異なる領域内特徴量が得られる。なお、図２では、作業Ｂおよび作業Ｃの学習用動画像の図示を省略している。
【００３１】
例えば、作業Ａについて評価を行うとき、動作特徴抽出装置３００は、評価対象動画像９０３の作業Ａの着目領域と同じ領域から目的特徴量を抽出し、かつ、作業Ａの領域内特徴量と比較することになる。ところが、一般作業者毎、作業工程毎、および時刻毎に、対応動作の画像部分（手の画像）の位置は異なるため、対応動作の領域は不特定であり、対応動作の領域から領域内特徴量を算出することは困難である。
【００３２】
そこで、本実施の形態に係る動作特徴抽出装置３００は、学習用全体特徴量と領域内特徴量との間の相関関係を求め、求めた相関関係と評価対象全体特徴量とから、目的特徴量を算出する。そして、動画特徴抽出装置３００は、算出結果を、正しい目的特徴量であるとの推定を一旦行う。以下、この推定された目的特徴量を「推定目的特徴量」という。そして、動画特徴抽出装置３００は、推定目的特徴量に最も類似する領域内特徴量を、適切な領域内特徴量であると推定し、その領域内特徴量が得られた着目領域と同じ領域を、対応動作の領域と推定する。以下、この推定される領域を「推定領域」という。そして、動作特徴抽出装置３００は、推定領域について、目的特徴量を再度算出し、再算出結果を用いて評価を行う。これにより、複数の異なる作業が評価対象となっている場合や、時間の経過と共に手の位置が変わる場合でも、異常動作を精度良く検知することができる。
【００３３】
上述の学習と評価とを実行する動作特徴抽出装置３００の具体的構成は、下記の通りである。
【００３４】
図３は、動作特徴抽出装置３００の構成を示すブロック図である。
【００３５】
図３において、動作特徴抽出装置３００は、操作制御部３１０、動画像データ記憶部３１５、全体特徴抽出部３２０、領域設定部３３０、関連学習部３４０、特徴再計算部３５０、および特徴評価部３６０を有する。
【００３６】
操作制御部３１０は、動作特徴抽出装置３００が実行する各種動作およびカメラ２００の動作を制御する。例えば、操作制御部３１０は、ユーザが操作するための画面である操作メニュー画面を生成し、出力装置５００を介してユーザに提供すると共に、入力装置４００を介して、操作メニュー画面に対するユーザ操作を受け付ける。学習段階の動作と評価段階の動作とは、この操作メニュー画面に対する操作によって切り換えられる。
【００３７】
動画像データ記憶部３１５は、操作制御部３１０の制御を受けて、カメラ２００から入力される動画像データを蓄積する。学習段階において新たに蓄積される動画像データは、学習用動画像のデータである。また、評価段階において新たに蓄積される動画像データは、評価対象動画像である。動画像データ記憶部３１５に記憶されたデータは、動作特徴抽出装置３００の他の各装置部から参照および取得可能となっている。
【００３８】
全体特徴抽出部３２０は、動画像データ記憶部３１５に蓄積された動画像データから、学習段階においては学習用全体特徴量を、評価段階においては評価対象全体特徴量を、それぞれ算出する。全体特徴抽出部３２０は、算出した学習用全体特徴量および評価対象全体特徴量を、関連学習部３４０へ出力する。
【００３９】
領域設定部３３０は、学習段階において、ユーザが着目領域を指定するための画面である領域設定画面を生成し、出力装置５００を介してユーザに提供する。そして、領域設定部３３０は、入力装置４００を介して、領域設定画面に対するユーザ操作を受け付ける。領域設定部３３０は、設定された着目領域の位置を示す座標情報（以下「着目領域座標」という）を、関連学習部３４０へ出力する。
【００４０】
関連学習部３４０は、学習段階において、蓄積された学習用動画像の動画像データと、領域設定部３３０から入力される着目領域座標とから、領域内特徴量を算出する。次に、関連学習部３４０は、算出した領域内特徴量から、着目領域に頻出する動きを定義したフィルタリング関数を算出する。そして、関連学習部３４０は、学習用全体特徴量に対してフィルタリング関数を適用し、フィルタリング後の学習用全体特徴量（以下「フィルタリング後学習用全体特徴量」という）を算出する。そして、関連学習部３４０は、フィルタリング後学習用全体特徴量を説明変数とし、領域内特徴量を目的変数とする重回帰関数を算出する。そして、関連学習部３４０は、複数のフレームから得られる複数の領域内特徴量を、着目領域が類似するものごとにクラス分類し、クラス毎の領域内特徴量の集合から判別空間を作成する。そして、関連学習部３４０は、作成した判別空間を、特徴評価部３６０へ出力する。
【００４１】
また、関連学習部３４０は、評価段階において、評価対象全体特徴量に対して、学習段階で算出したフィルタリング関数を適用し、フィルタリング後の評価対象全体特徴量（以下「フィルタリング後評価対象全体特徴量」という）を算出する。そして、関連学習部３４０は、フィルタリング後評価対象全体特徴量を説明変数として、学習段階で算出した重回帰関数を適用し、得られる目的変数を、推定目的特徴量として取得する。そして、関連学習部３４０は、学習段階で作成した判別空間から、推定目的特徴量が属するクラスの着目領域座標を、推定領域の位置を示す座標情報（以下「推定領域座標」という）として取得する。そして、関連学習部３４０は、取得した推定領域座標を、特徴再計算部３５０へ出力する。
【００４２】
特徴再計算部３５０は、評価段階において、関連学習部３４０から入力される推定領域座標と、蓄積された評価対象動画像とから、目的特徴量を算出する。そして、特徴再計算部３５０は、算出した目的特徴量を、特徴評価部３６０へ出力する。
【００４３】
特徴評価部３６０は、学習段階において、クラス毎に、正常動作を定義する空間である正常部分空間を算出する。そして、特徴評価部３６０は、評価段階において、特徴再計算部３５０から入力された目的特徴量と、学習段階で算出した正常部分空間とから、異常動作の検知を行う。そして、特徴評価部３６０は、評価結果を示すための画面である評価結果参照画面を生成し、出力装置５００を介してユーザに提供する。すなわち、上述の学習データとは、着目領域座標、フィルタリング関数、重回帰関数、判別空間、および正常部分空間を含む概念である。
【００４４】
図４は、関連学習部３４０の構成を示すブロック図である。
【００４５】
図４において、関連学習部３４０は、領域内特徴抽出部３４１、フィルタリング方法決定部３４２、全体特徴フィルタリング部３４３、関連解析部３４４、および領域選択部３４５を有する。
【００４６】
領域内特徴抽出部３４１は、学習段階において、学習用動画像の着目領域から、領域内特徴量の算出を行う。
【００４７】
フィルタリング方法決定部３４２は、学習段階において、領域内特徴抽出部３４１が算出した領域内特徴量からフィルタリング関数を算出する。
【００４８】
全体特徴フィルタリング部３４３は、学習段階において、フィルタリング方法決定部３４２が算出したフィルタリング関数を用いて、上述のフィルタリング後学習用全体特徴量を算出する。また、全体特徴フィルタリング部３４３は、評価段階において、同様にフィルタリング関数を用いて、上述のフィルタリング後評価対象全体特徴量を算出する。
【００４９】
関連解析部３４４は、学習段階において、全体特徴フィルタリング部３４３が算出したフィルタリング後学習用全体特徴量を説明変数とし、領域内特徴量を目的変数とする、重回帰関数を算出する。また、関連解析部３４４は、領域内特徴量のクラス分類を行い、上述の判別空間を算出する。また、関連解析部３４４は、評価段階において、全体特徴フィルタリング部３４３が算出したフィルタリング後評価対象全体特徴量を説明変数として、同様に重回帰関数を適用し、得られる目的変数を、推定目的特徴量として取得する。
【００５０】
領域選択部３４５は、全体特徴フィルタリング部３４３が算出した判別空間のうち、推定目的特徴量が属するクラスの着目領域座標を、推定領域座標として取得する。
【００５１】
ここでは、説明の簡便化のため、１つの作業工程における着目領域は一定であるものとする。したがって、各作業工程（図２参照）に対応して、判別空間における一まとまりの分布および正常部分空間における一まとまりの分布が、それぞれ１つずつ算出される。
【００５２】
動作特徴抽出装置３００は、例えば、主に、ＣＰＵ（central processing unit）と記憶装置で構成されている。ＣＰＵは、制御機能と演算機能を有する。記憶装置は、例えば、プログラムやデータを記憶するＲＯＭ（read only memory）およびハードディスクと、データを一時的に記憶するＲＡＭ（random access memory）とを有する。ＲＯＭは、電気的に内容の書き直しが可能なフラッシュメモリであってもよい。
【００５３】
このような動作特徴抽出装置３００は、学習動作において、学習用全体特徴量と領域内特徴量とを関連付けた学習データを生成する。次に、動作特徴抽出装置３００は、評価動作において、生成した学習データと評価対象全体特徴量とから、正常動作と類似しているか否かを抽出する。これにより、動作特徴抽出装置３００は、対応動作の特徴を精度良く抽出することができる。
【００５４】
次に、動作特徴抽出装置３００の動作について説明する。
【００５５】
図５は、動作特徴抽出装置３００の動作の一例を示すフローチャートである。
【００５６】
操作制御部３１０は、操作メニュー画面を表示し、ユーザ操作を受けて、学習段階または評価段階の各種動作を開始する。ここでは、学習段階の動作に続けて評価段階の動作を行う場合の、動画特徴抽出装置３００の動作について説明する。なお、図５のフローチャートは、ステップＳ１０００〜ステップＳ３０００は、学習段階に対応し、ステップＳ４０００〜ステップＳ６０００は、評価段階に対応する。操作メニュー画面の詳細については後述する。
【００５７】
まず、ステップＳ１０００において、動画像データ記憶部３１５は、カメラ２００で撮影された学習用画像を入力して、記録する。
【００５８】
そして、ステップＳ２０００において、領域設定部３３０は、領域設定画面を用いてユーザによる着目領域の設定を支援する。領域設定画面の詳細については後述する。
【００５９】
そして、ステップＳ３０００において、関連学習部３４０は、設定された着目領域から熟練作業者の動き（正常動作）の特徴を抽出し、学習データを作成する。
【００６０】
そして、ステップＳ４０００において、動画像データ記憶部３１５は、カメラ２００で撮影された評価対象動画像を入力して、記録する。
【００６１】
そして、ステップＳ５０００において、関連学習部３４０は、一般作業者の動き（対応動作）の特徴を抽出し、学習データを参照して、一般作業者の作業を評価する。
【００６２】
そして、ステップＳ６０００において、特徴評価部３６０は、評価結果参照画面を表示し、評価結果をユーザに通知する。評価結果参照画面の詳細については後述する。
【００６３】
以下、上述の各画面および各処理の詳細について説明する。
【００６４】
図６は、操作メニュー画面の一例を示す図である。
【００６５】
図６に示すように、操作メニュー画面７１０は、撮影ボタン７１１、領域設定ボタン７１２、学習ボタン７１３、評価ボタン７１４、評価結果参照ボタン７１５、終了ボタン７１６、ログ表示領域７１７を有する。各ボタン７１１〜７１６は、入力装置４００の操作により任意にクリック可能となっている。以下に説明する各画面も同様である。
【００６６】
操作制御部３１０は、撮影ボタン７１１がクリックされると、カメラ２００に対し、撮影と動画像データの動作特徴抽出装置３００への送信とを依頼する。動画像データ記憶部３１５は、カメラ２００から送られてくる動画像データを蓄積する。撮影動作は、例えば、撮影開始から一定時間経過後に停止してもよいし、撮影ボタン７１１が再クリックされたときに停止してもよい。
【００６７】
操作制御部３１０は、ログ表示領域７１７に、動作特徴抽出装置３００の動作ログその他の情報を表示する。例えば、撮影が行われている間、「撮影中です」という文字列を表示する。
【００６８】
操作メニュー画面７１０の他のボタンがクリックされたときの動作や表示内容については後述する。なお、動作特徴抽出装置３００は、撮影後に、評価ボタン７１４よりも先に学習ボタン７１３がクリックされた場合には、その撮影された動画像データを、学習用動画像として扱うものとする。一方、動作特徴抽出装置３００は、撮影後に、学習ボタン７１３よりも先に評価ボタン７１４がクリックされた場合には、その撮影された動画像データを、評価対象動画像として扱うものとする。
【００６９】
動画像データ記憶部３１５は、カメラ２００から、カメラ２００が撮影した動画像データが伝送されてくると、これを入力し、蓄積する（図５のステップＳ１０００）。ここでは、熟練作業者の作業シーンの動画像データであり、後に学習用動画像として扱われることになる動画像データが蓄積されるものとする。
【００７０】
学習用動画像は、上述の通り、ＪＰＥＧフォーマットの静止画像（フレーム）の集合として蓄積される。フレームレートは、例えば１０〜３０ｆｐｓ（フレーム毎秒）である。以下、動画像を構成する各静止画像（フレーム）のデータを、「画像ファイル」という。動画像データ記憶部３１５は、例えば、最も古い時刻の画像ファイルに１番、最も新しい時刻の画像ファイルにＮ番を付与する形で、各画像ファイルに対し、昇順の番号であるファイル番号を付与する。以下、ファイル番号ｍ（１≦ｍ≦Ｎ）が付与された画像ファイルを、適宜「ｍ番の画像」と表現する。
【００７１】
また、動画像データ記憶部３１５は、蓄積された動画像データが学習用動画像であることが確定した段階で、その動画像データに対し、学習用動画像または評価対象動画像かのいずれかを示す情報と、作業者を識別する文字列とを付与する。以下、学習用動画像に対応することか示す情報は記号αとし、評価対象動画像に対応することを示す情報は記号βとする。ここでは、作業者を識別する文字列についての説明を省略する。
【００７２】
操作制御部３１０は、操作メニュー画面（図６参照）の領域設定ボタン７１２がクリックされると、領域設定部３３０に対し、ユーザによる着目領域の設定を支援するように依頼する。この依頼は、例えば、領域設定処理依頼を示す所定の情報を通知することにより行われる。領域設定部３３０は、この通知を受けて、領域設定画面を表示し、ユーザによる着目領域の設定を支援する（図５のステップＳ２０００）。
【００７３】
図７は、領域設定画面の一例を示す図である。
【００７４】
図７に示すように、領域設定画面７２０は、開始ボタン７２１、領域設定ボタン７２２、次へボタン７２３、終了ボタン７２４、および画像表示領域７２５を有する。
【００７５】
領域設定部３３０は、開始ボタン７２１がクリックされると、画像表示領域７２５に、蓄積された学習用動画像の画像ファイル７２６を１つずつ表示する。領域設定部３３０は、次へボタン７２３がクリックされる度に、画像表示領域７２５に表示される画像ファイル７２６を、ファイル番号の順序に従って切り換える。
【００７６】
領域設定部３３０は、マウスポインタ７２７のドラッグ操作により、画像表示領域７５５上で、任意の位置および大きさの領域設定枠７２８の設定を受け付ける。領域設定部３３０は、例えば、１回目の画像表示領域７２５上でのクリック位置を左上端部の位置とし、２回目の画像表示領域７２５上でのクリック位置を右下端部の位置とする矩形の領域設定枠７２８を表示する。図７では、熟練作業者の右手の領域に領域設定枠７２８が設定された例を示している。
【００７７】
領域設定部３３０は、画像ファイル毎に、領域設定枠７２８を初期状態から表示しても表示しなくてもよい。領域設定部３３０は、例えば、ある画像ファイルで着目領域が設定されると、次の画像ファイルにも同じ範囲に領域設定枠７２８を表示する。したがって、ユーザは、正常動作の位置がほとんど変わらないような場合に、１つ前の画像ファイルで設定された着目領域座標をそのまま利用し、領域設定枠７２８の設定の操作を省略することができる。この場合、ユーザは、着目領域座標を修正する必要がある場合にのみ、領域設定枠７２８を修正すればよい。
【００７８】
領域設定枠７２８の修正の方法は、例えば以下の通りである。領域設定部３３０は、表示中の領域設定枠７２８の近辺がクリックされると、領域設定枠７２８の数点を強調表示する。強調表示点は、例えば、領域設定枠７２８の各頂点および各辺の中心点である。そして、領域設定部３３０は、強調表示点に対してドラッグ操作が行われると、当該点の動きに従って、当該点が位置する辺（角であれば２辺）を移動させる形で、領域設定枠７２８を拡大または縮小する。また、領域設定部３３０は、強調表示点以外の点に対してドラッグ操作が行われると、当該点の動きに従って、領域設定枠７２８を移動させる。強調表示点の移動可能方向は、例えば辺の中心点であれば辺に対して直交する方向のみというように、制限されていてもよい。
【００７９】
図８は、画面表示領域における領域座標を説明するための図である。
【００８０】
図８に示すように、本実施の形態では、画像ファイル７２６上の各位置を、画像の左上隅を原点Ｏとし、右方向をＸ軸とし、下方向をＹ軸とする座標軸によって定義する。ここでは、動作特徴抽出装置３００は、領域設定枠７２８の範囲を示す着目領域座標Ｐを、例えば、領域設定枠７２８の左上端部の位置Ｐｓと領域設定枠７２８の右下端部の位置Ｐｅとの組により定義する。
【００８１】
領域設定部３３０は、領域設定画面７２０（図７参照）において、領域設定枠７２８が表示された状態で領域設定ボタン７２２がクリックされると、表示中の領域設定枠７２８を表示中の画像ファイル７２６の着目領域に決定する。次へボタン７２３のクリックと、領域設定ボタン７２３との繰り返しにより、画像ファイルの表示と着目領域の設定とが繰り返される。
【００８２】
領域設定部３３０は、着目領域座標が新たに設定される度に、着目領域座標を類似するもの毎にクラス分けし、クラスを識別するクラス名称を各着目領域座標に付与する。より具体的には、領域設定部３３０は、着目領域座標とクラス名称とを対応付けた一覧表である領域座標表を生成する。
【００８３】
図９は、領域座標表の構成を示す図である。
【００８４】
図９に示すように、領域座標表８１０は、ファイル名称８１１、着目領域座標（Ｐ）８１２、およびクラス名称（Ｃ）８１３から構成される、１つまたは複数の領域座標データを記述する。
【００８５】
ファイル名称８１１は、画像ファイルの識別情報であり、ここでは、上述の、学習用動画像に対応することを示す記号αに、ファイル番号をハイフンで接続した文字列とする。着目領域座標（Ｐ）８１２は、上述の画像ファイルのＸ軸座標とＹ軸座標との組である。クラス名称（Ｃ）８１３は、上述の、着目領域座標のクラスの識別情報である。
【００８６】
領域設定部３３０は、領域設定画面７２０（図７参照）で領域設定ボタン７２２がクリックされる度に、領域座標表８１０に、選択された領域と範囲をほぼ同一とする着目領域座標８１２の領域座標データが存在するか否かを判断する。領域設定部３３０は、該当する領域座標データが存在する場合には、そのクラス名称８１３と同じクラス名称を付加した領域座標データを、領域座標表８１０に追加する。また、領域設定部３３０は、該当する領域座標データが存在しない場合には、領域座標表８１０に存在しない新たなクラス名称を付与した領域座標データを、領域座標表８１０に追加する。
【００８７】
ここでは、説明の簡便化のため、作業Ａに対応する着目領域座標にクラス名称「領域Ａ」、作業Ｂに対応する着目領域座標にクラス名称「領域Ｂ」、作業Ｃに対応する着目領域座標にクラス名称「領域Ｃ」をそれぞれ割り当てる（図２参照）。
【００８８】
領域設定部３３０は、Ｎ番の画像（最新の画像ファイル）に対して着目領域が設定された後に、次へボタン７２３がクリックされると、表示対象とする画像ファイルが存在しないことを、ユーザに通知する。この通知は、例えば、「Ｎｏ  Ｍｏｒｅ  Ｆｉｌｅ」の文字列を画像表示領域７２５に表示することによって行われる。これにより、ユーザは、着目領域の設定が完了したことを理解することができる。
【００８９】
領域設定部３３０は、領域設定画面（図７参照）の終了ボタン７２４がクリックされると、領域座標表（図９参照）を関連学習部３４０へ出力すると共に、着目領域の設定が完了した旨を操作制御部３１０へ通知する。この通知を受けた操作制御部３１０は、再び、操作メニュー画面（図６参照）を表示する。そして、操作制御部３１０は、学習ボタン７１３がクリックされると、全体特徴抽出部３２０に対し、学習用全体特徴量を算出するように依頼する。
【００９０】
上述の通り、学習用全体特徴量は、学習用動画像の全体のＣＨＬＡＣ特徴であり、領域内特徴量は、学習用動画像の着目領域のＣＨＬＡＣ特徴である。
【００９１】
ＣＨＬＡＣ特徴は、２次元データからの特徴抽出である高次局所自己相関（ＨＬＡＣ）特徴を、時間軸も加えることによって３次元に拡張したものである。すなわち、ＣＨＬＡＣ特徴は、画像の平面空間に時間軸を加えた３次元座標系（時系列画像、３次元データ）における動きの特徴を示す特徴ベクトルである。ＣＨＬＡＣ特徴ｘは、以下の式（１）に示すＮ次自己相関関数を用いて表される。
【００９２】
【数１】
2011133984.tif 000003
【００９３】
ここで、ｆは時系列画像であり、変数ｒおよびＮ個の変数ａｉ（ｉ＝１，・・・，Ｎ）は画像内の２次元座標と時間とを成分として持つ３次元のベクトルである。時間方向の積分範囲は、どの程度の時間方向の相関を取るかによって定まる。すなわち、積分範囲は、Ｎ枚の静止画像（局所特徴画像）から構成される３次元のピクセル集合であり、変数ｒは画像中の１ピクセル（位置ピクセル）であり、変数ａはｒからの変位ベクトルである。そして、ｆ（ｒ）は位置ｒの関数値であり、局所特徴画像の位置ｒの輝度値を表す。
【００９４】
ＣＨＬＡＣ特徴の場合、変位は３次元であり、変位ベクトルの組み合わせ（変位パターン）の数は、０次で１個、１次で１３個、２次で２３７個である。したがって、ＣＨＬＡＣ特徴は、２値化画像の場合、合計２５１次元の特徴ベクトルとして表される。
【００９５】
特徴ベクトルは、行列として示される。特徴ベクトルに対する各種処理は、行列演算として数式化することができる。ここでは、説明の簡便化のため、ＣＨＬＡＣ特徴のうち、２次元座標系における動きの特徴を示す８次元の特徴ベクトル（以下、適宜「簡略化された特徴ベクトル」という）のみに注目する。
【００９６】
また、動画像は画素毎に特徴ベクトルを有するが、複数の特徴ベクトルは、ＣＨＬＡＣ特徴の加法性を活かし、１つの特徴ベクトルとして統合することができる。したがって、ここでは、説明の簡便化のため、動画像全体の画像領域を分割した分割領域毎にまとめた特徴ベクトルを用いて、ＣＨＬＡＣ特徴を説明する。
【００９７】
図１０は、簡略化された特徴ベクトルの成分を示す図である。
【００９８】
図１０に示すように、簡略化した特徴ベクトルは、３６０度を８つに等分した８つの方向をそれぞれ示す８つの動き成分Ｖ１〜Ｖ８の組み合わせにより表されるものとする。例えば、画像に左方向の動き（変位）が生じている部分の特徴ベクトルには、左方向の動き成分Ｖ５が含まれることになる。
【００９９】
図１１は、動画像における特徴ベクトルをまとめる単位を示す図である。
【０１００】
図１１に示すように、動作特徴抽出装置３００は、例えば、画像ファイルの全画像領域９１０を６つに分割した分割領域９１１ごとに、簡略化した特徴ベクトルをまとめるものとする。
【０１０１】
正常動作や対応動作等、動くものを撮影した動画像の場合、時刻と共に各分割領域９１１の特徴ベクトルは変化する。特に、作業者の作業工程が切り替わると（図２参照）、特徴ベクトルは大きく変化する。ここでは、作業Ａに対応する時刻ｔ１と、作業Ｂに対応する時刻ｔ２について、具体的な特徴ベクトルを例に挙げて、説明を行う。
【０１０２】
図１２は、時刻ｔ１の各分割領域の特徴ベクトルを示す図である。
【０１０３】
図１２に示すように、各分割領域９１１から、特徴ベクトル９１２として、左方向の動き成分（Ｖ５）、右方向の動き成分（Ｖ１）、上方向の動き成分（Ｖ３）、左下方向の動き成分（Ｖ６）、右上方向の動き成分（Ｖ２）が得られたとする。
【０１０４】
図１３は、時刻ｔ２の各分割領域の特徴ベクトルを示す図である。
【０１０５】
図１３に示すように、各分割領域９１１から、特徴ベクトル９１２として、右方向の動き成分（Ｖ１）と、上方向の動き成分（Ｖ３）とが得られたとする。
【０１０６】
また、図１２および図１３に示すように、時刻ｔ１の画像ファイルに対しては、真中の２つの分割領域９１１が着目領域９１３として設定されたものとする。また、時刻ｔ２の画像ファイルに対しては、真中右の１つの分割領域９１１が着目領域９１３として設定されたものとする。
【０１０７】
なお、ここでは全画像領域９１０を６つの領域に分割している例を示したが、そもそも分割は不要であり、また、まとまった単位で表現するためには分割数をいくつに設定してもよい。
【０１０８】
全体特徴抽出部３２０は、領域設定部３３０からの依頼を受けて、蓄積された学習用動画像から、画像ファイル毎に学習用全体特徴量を算出する。以下、学習用全体特徴量を、記号Ａで表す。全体特徴抽出部３２０は、例えば、図１２に示す特徴ベクトルの画像ファイルから、以下の式（２）で表される学習用全体特徴量Ａｔ１を算出する。また、全体特徴抽出部３２０は、例えば、図１３に示す特徴ベクトルの画像ファイルから、以下の式（３）で表される学習用全体特徴量Ａｔ２を算出する。ここでは、説明の簡便化のため、動き成分毎に、動きが検出された分割領域の個数（つまり図１２、図１３における矢印の数）をカウントした値を、その動き成分の値とする。
【０１０９】
【数２】
2011133984.tif 000004
【数３】
2011133984.tif 000005
【０１１０】
全体特徴抽出部３２０は、学習用動画像の画像ファイル毎の学習用全体特徴量Ａをリスト化した、学習用全体特徴表を生成する。そして、全体特徴抽出部３２０は、生成した学習用全体特徴表を関連学習部３４０へ出力すると共に、学習用全体特徴量の算出が完了した旨を、操作制御部３１０へ通知する。
【０１１１】
図１４は、学習用全体特徴表の構成を示す図である。
【０１１２】
図１４に示すように、学習用全体特徴表８２０は、ファイル名称８２１毎に、対応する学習用全体特徴量８２２を記述する。ファイル名称８２１は、領域座標表８１０のファイル名称８１１（図９参照）に対応している。
【０１１３】
操作制御部３１０は、学習用全体特徴量の算出完了の通知と上述の着目領域の設定完了の通知とを受け付ける。通知を受け付けた操作制御部３１０は、関連学習部３４０に対し、学習用全体特徴量と、領域座標表に基づいて算出される領域内特徴量とを関連付けた学習データを生成するように依頼する。
【０１１４】
関連学習部３４０は、この依頼を受けて、熟練作業者の動き（正常動作）の特徴を抽出し、学習データを作成する（図５のステップＳ３０００）。この処理を、学習データ作成処理として、以下に説明する。
【０１１５】
図１５は、学習データ作成処理を示すフローチャートである。
【０１１６】
まず、ステップＳ３１００において、領域内特徴抽出部３４１は、入力された領域座標表８１０の着目領域座標８１２（図９参照）と、蓄積された学習用動画像とから、各画像ファイルの領域内特徴量を算出する。以下、領域内特徴量を、記号Ｌで表す。領域内特徴抽出部３４１は、学習用動画像の画像ファイル毎の領域内特徴量Ｌをリスト化した領域特徴表を生成し、生成した領域特徴表を、フィルタリング方法決定部３４２へ出力する。そして、フィルタリング方法決定部３４２は、学習用全体特徴表（図１４参照）および領域特徴表（図１６参照）から、学習用動画像に対する１つのフィルタリング関数を決定する。
【０１１７】
図１６は、領域特徴表の構成を示す図である。
【０１１８】
図１６に示すように、領域特徴表８３０は、ファイル名称８３１毎に、対応する領域内特徴量（Ｌ）８３２を記述する。ファイル名称８３１は、領域座標表８１０のファイル名称８１１（図９参照）に対応している。すなわち、領域特徴表８３０には、領域座標表８１０に記述された着目領域座標によって指定される着目領域毎に、その領域のＣＨＬＡＣ特徴である領域内特徴量（Ｌ）を記述する。
【０１１９】
ここでは、フィルタリング関数の決定手法の一例について説明する。フィルタリング関数は、上述の通り、着目領域に頻出する動きを定義するものであり、例えば、着目領域の特徴ベクトルのうち値の大きいものを抽出する関数である。このようなフィルタリング関数を適用することにより、着目領域以外の画像領域の動き（外乱）による異常動作検知の精度の低下を抑えることができる。
【０１２０】
より具体的には、フィルタリング方法決定部３４２は、学習用動画像の全ての領域内特徴量Ｌ（領域特徴表に記述された全ての領域内特徴量）の同じ成分（ｉ番目の成分）の要素を積算する。ここでは、簡略化された特徴ベクトルを用いて説明するため（図１０参照）、ｉ＝１〜８となる。フィルタリング方法決定部３４２は、例えば、図１２に示す特徴ベクトルの画像ファイルから、以下の式（４）で表される領域内特徴量Ｌｔ１を算出する。また、フィルタリング方法決定部３４２は、例えば、図１３に示す特徴ベクトルの画像ファイルから、以下の式（５）で表される領域内特徴量Ｌｔ２を算出する。そして、フィルタリング方法決定部３４２は、例えば、これら領域内特徴量Ｌｔ１、Ｌｔ２から、以下の式（６）で表される積算結果Ｌａｌｌを算出する。
【０１２１】
【数４】
2011133984.tif 000006
【数５】
2011133984.tif 000007
【数６】
2011133984.tif 000008
【０１２２】
ここでは、関連学習部３４０は、予め実験的に定義された閾値として１を設定し、着目領域のＣＨＬＡＣ特徴（領域内特徴量Ｌ）のうち、この閾値以上となる動き成分を抽出するような関数を、フィルタリング関数として決定するものとする。ここでは、フィルタリング関数を、対象となる特徴ベクトルにフィルタ行列を乗ずる関数として説明する。この場合、フィルタ行列Ｑは、式（６）で表される積算結果Ｌａｌｌの場合、例えば、以下の式（７）で表すことができる。
【０１２３】
【数７】
2011133984.tif 000009
【０１２４】
フィルタリング方法決定部３４２は、フィルタリング関数を決定すると、フィルタリング関数を全体特徴フィルタリング部３４３へ出力すると共に、領域特徴表（図１６参照）を関連解析部３４４へ出力する。全体特徴フィルタリング部３４３において、フィルタリング関数が、対象となる特徴ベクトルにフィルタ行列を乗ずる関数であると予め定められている場合がある。このような場合、フィルタリング方法決定部３４２は、フィルタリング関数ではなくフィルタ行列のみを全体特徴フィルタリング部３４３へ出力しても良い。
【０１２５】
図１５のステップＳ３２００において、全体特徴フィルタリング部３４３は、入力されたフィルタリング関数を保持し、フィルタリング関数を用いて、学習用動画像から、画像ファイル毎に、フィルタリング後学習用全体特徴量を算出する。以下、フィルタリング後学習用全体特徴量を、記号Ｂで表す。
【０１２６】
そして、全体特徴フィルタリング部３４３は、学習用全体特徴表（図１４参照）と、領域特徴表（図１６参照）と、各画像ファイルのフィルタリング後学習用全体特徴量とから、関連学習データ表を生成する。関連学習データ表は、画像ファイル毎に、学習用全体特徴量、領域内特徴量、およびフィルタリング後学習用全体特徴量を関連付けた表である。
【０１２７】
図１７は、関連学習データ表の構成を示す図である。
【０１２８】
図１７に示すように、関連学習データ表８４０は、ファイル名称８４１に対応付けて、学習用全体特徴量８４２、フィルタリング後学習用全体特徴量８４３、および領域内特徴量８４４を記述する。ファイル名称８４１は、領域座標表８１０のファイル名称８１１（図９参照）に対応している。学習用全体特徴量８４２は、学習用全体特徴表８２０の学習用全体特徴量８２２（図１４参照）に対応している。領域内特徴量８４４は、領域特徴表８３０の領域内特徴量８３２（図１６参照）に対応している。
【０１２９】
フィルタリング後学習用全体特徴量Ｂは、学習用全体特徴量Ａに対してフィルタリング関数Ｑを適用したときの解である。全体特徴フィルタリング部３４３は、例えば、図１２に示す特徴ベクトルの画像ファイルと式（７）に示すフィルタ行列Ｑから、以下の式（８）で表されるフィルタリング後学習用全体特徴量Ｂｔ１を算出する。また、全体特徴フィルタリング部３４３は、例えば、図１３に示す特徴ベクトルの画像ファイルと式（７）に示すフィルタ行列Ｑから、以下の式（９）で表されるフィルタリング後学習用全体特徴量Ｂｔ2を算出する。
【０１３０】
【数８】
2011133984.tif 000010
【数９】
2011133984.tif 000011
【０１３１】
すなわち、フィルタリング後学習用全体特徴量Ｂは、学習用全体特徴量Ａから、正常動作の着目領域内に多く含まれる動き成分を抽出した（他の動き成分を除去した）特徴量である。
【０１３２】
全体特徴フィルタリング部３４３は、生成した関連学習データ表８４０（図１７参照）を、関連学習部３４０へ出力する。
【０１３３】
図１５のステップＳ３３００において、関連解析部３４４は、学習データのうち、重回帰関数および判別空間を生成する。
【０１３４】
まず、関連解析部３４４は、関連学習データ表８４０を用いて、フィルタリング後学習用全体特徴量Ｂを説明変数とし、領域内特徴量Ｌを目的変数とした重回帰分析を行い、重回帰関数を求める。すなわち、関連解析部３４４は、以下の式（１０）で示される重回帰関数において最適な重回帰係数Ｗを求める。
【０１３５】
【数１０】
2011133984.tif 000012
【０１３６】
ここでは、関連解析部３４４は、学習用動画像全体に対して１つの重回帰関数を求めるものとし、以下の式（１１）で示される重回帰関数において最適な重回帰係数Ｗを求める。
【０１３７】
【数１１】
2011133984.tif 000013
【０１３８】
次に、関連解析部３４４は、領域座標表８１０のクラス名称（Ｃ）８１３（図９参照）の記述に基づいて、領域内特徴量を分類する。そして、関連解析部３４４は、領域内特徴の集合に対して一般的な線形判別分析等による判別分析を行い、判別空間を生成する。この際、関連解析部３４４は、判別空間において一まとまりの領域を構成する領域内特徴量の集合、つまり、クラス毎の領域内特徴量の集合をリスト化した、判別空間表を生成する。
【０１３９】
図１８は、判別空間表の構成を示す図である。
【０１４０】
図１８に示すように、判別空間表８５０は、クラス名称（Ｃ）８５１毎に、そのクラスに属する領域内特徴量８５２を記述する。クラス名称（Ｃ）８５１は、領域座標表８１０のクラス名称（Ｃ）８１３（図９参照）に対応している。
【０１４１】
図１９は、判別空間のイメージを示す図である。領域内特徴量が３つのクラスに分類される場合、図１９に示すように、判別軸は２つとなる。判別空間において、領域Ａ（作業Ａ）に対応する領域内特徴量の分布９２１、領域Ｂ（作業Ｂ）に対応する領域内特徴量の分布９２２、および領域Ｃ（作業Ｃ）に対応する領域内特徴量の分布９２３は、それぞれ一まとまりの領域を形成して点在することになる。
【０１４２】
関連解析部３４４は、特徴評価部３６０に対し、生成した判別空間表８５０を出力し、正常部分空間の算出を依頼する。
【０１４３】
特徴評価部３６０は、この依頼を受けて、判別空間表８５０に記述されたクラス毎に、領域内特徴量に対する主成分分析によって得られる主成分ベクトルから、正常部分空間を生成する。より具体的には、特徴評価部３６０は、判別空間のクラス毎に、主成分分析により主成分ベクトルを求め、主成分ベクトルを、正常部分空間として取得する。そして、特徴評価部３６０は、正常部分空間をリスト化した正常部分空間表を生成して保持する。
【０１４４】
図２０は、多次元の主成分ベクトルを軸としたときの正常部分空間のイメージを示す図である。ここでは、第１および第２の正常部分空間を、それぞれ錐状体９３１、９３２で表している。
【０１４５】
図２１は、正常部分空間表の構成を示す図である。
【０１４６】
図２１に示すように、正常部分空間表８６０は、クラス名称（Ｃ）８６１毎に、そのクラスに対応する正常部分空間の名称である正常部分空間名称８６２を記述する。クラス名称（Ｃ）８６１は、領域座標表８１０のクラス名称（Ｃ）８１３（図９参照）に対応している。以下、領域Ａ（作業Ａ）に対応する正常部分空間名称を「正常部分空間Ａ」または「第１の正常部分空間」という。また、以下、領域Ｂ（作業Ｂ）に対応する正常部分空間名称を「正常部分空間Ｂ」または「第２の正常部分空間」という。また、以下、領域Ｃ（作業Ｃ）に対応する正常部分空間名称を「正常部分空間Ｃ」または「第３の正常部分空間」という。
【０１４７】
特徴評価部３６０は、正常部分空間表８６０を生成すると、操作制御部３１０に対し、学習段階が完了したことを通知する。これにより、学習データ作成処理は終了する。
【０１４８】
操作制御部３１０は、学習段階が終了した旨の通知を受けると、操作メニュー画面７１０のログ表示領域７１７（図６参照）に、例えば、「学習が完了しました」という文字列を表示する。ユーザは、この文字列から、評価段階に移行可能であると判断することができ、例えば、続けて撮影ボタン７１１をクリックする。
【０１４９】
動作特徴抽出装置３００は、この操作を受けて、ステップＳ１０００における熟練作業者の撮影と同様に、評価の対象となる一般作業者の作業を撮影し、その動画像データを、評価対象動画像として記録する（図５のステップＳ４０００）。操作制御部３１０は、評価対象動画像が撮影された後に、操作メニュー画面７１０において評価ボタン７１４がクリックされると、全体特徴抽出部３２０に対して評価対象全体特徴量の算出を依頼する。また、操作制御部３１０は、関連学習部３４０に対して、フィルタリング後評価対象全体特徴量の算出を依頼する。
【０１５０】
そして、動作特徴抽出装置３００は、一般作業者の動き（対応動作）の特徴を抽出し、学習データを参照して、一般作業者の作業を評価する（図５のステップＳ５０００）。この処理を、評価処理として、以下に説明する。
【０１５１】
図２２は、評価処理を示すフローチャートである。
【０１５２】
まず、ステップＳ５１００において、動作特徴抽出装置３００は、上述の評価対象全体特徴量およびフィルタリング後評価対象全体特徴量を抽出する。
【０１５３】
具体的には以下の手順である。全体特徴抽出部３２０は、評価対象動画像から、上述の評価対象全体特徴量を抽出し、評価対象動画像の画像ファイル毎の評価対象全体特徴量をリスト化した判別用全体特徴表を生成する。そして、全体特徴抽出部３２０は、生成した判別用全体特徴表を、全体特徴フィルタリング部３４３へ出力する。以下、評価対象全体特徴量を、記号Ａ＊で表す。
【０１５４】
図２３は、判別用全体特徴表の構成を示す図である。
【０１５５】
図２３に示すように、判別用全体特徴表８７０は、ファイル名称８７１毎に、対応する評価対象全体特徴量８７２を記述する。ファイル名称８７１は、画像ファイルの識別情報であり、ここでは、上述の、評価対象動画像に対応することを示す記号βに、ファイル番号をハイフンで接続した文字列とする。
【０１５６】
全体特徴フィルタリング部３４３は、学習段階で取得したフィルタリング関数を用いて、評価対象動画像から、画像ファイル毎に、フィルタリング後評価対象全体特徴量を算出する。すなわち、全体特徴フィルタリング部３４３は、例えば以下の式（１２）を用いて、画像ファイル毎にフィルタリング後評価対象全体特徴量をＢ＊を算出する。
【０１５７】
【数１２】
2011133984.tif 000014
【０１５８】
そして、ステップＳ５２００において、全体特徴フィルタリング部３４３は、フィルタリング後評価対象全体特徴量Ｂ＊と、学習段階で求めた重回帰係数Ｗとから、重回帰分析により、上述の推定目的特徴量を算出する。すなわち、全体特徴フィルタリング部３４３は、例えば以下の式（１３）を用いて、画像ファイル毎に推定目的特徴量Ｒ＊を算出する。
【０１５９】
【数１３】
2011133984.tif 000015
【０１６０】
全体特徴フィルタリング部３４３は、判別用全体特徴表８７０（図２３参照）と、各画像ファイルのフィルタリング後学習用全体特徴量Ｂ＊および推定目的特徴量Ｒ＊とから、判別領域内特徴表を生成する。判別領域内特徴表は、画像ファイル毎に、評価対象全体特徴量Ａ＊、フィルタリング後学習用全体特徴量Ｂ＊、および推定目的特徴量Ｒ＊を関連付けた表である。
【０１６１】
図２４は、判別領域内特徴表の構成を示す図である。
【０１６２】
図２４に示すように、判別領域内特徴表８８０は、ファイル名称８８１に対応付けて、評価対象全体特徴量８８２、フィルタリング後評価対象全体特徴量８８３、および推定目的特徴量８８４を記述する。ファイル名称８８１は、判別用全体特徴表８７０のファイル名称８７１（図２３参照）に対応している。評価対象全体特徴量８８２は、判別用全体特徴表８７０の評価対象全体特徴量８７２（図２３参照）に対応している。
【０１６３】
全体特徴フィルタリング部３４３は、生成した判別領域内特徴表を、領域選択部３４５へ出力する。
【０１６４】
図２２のステップ５３００において、領域選択部３４５は、推定目的特徴量Ｒ＊と、学習段階に生成した判別空間とから、判別分析により、画像ファイル毎に推定領域を判別する。すなわち、領域選択部３４５は、推定目的特徴量Ｒ＊が属するクラスが存在するとき、そのクラスの正常動作に対応する対応動作が存在するものと推定し、その対応動作が映し出されている領域の位置を推定する。
【０１６５】
領域選択部３４５は、推定目的特徴量Ｒ＊が属するクラスのクラス名称Ｃを、判別空間表８５０（図１８参照）から取得し、取得したクラス名称Ｃに対応する着目領域座標Ｐを、領域座標表８１０（図９参照）から取得する。そして、領域選択部３４５は、取得した着目領域座標Ｐを、推定領域座標とし、推定領域座標で表される領域を、推定領域とする。
【０１６６】
そして、領域選択部３４５は、評価結果をまとめるための評価データ表を作成する。
【０１６７】
図２５は、評価データ表の構成を示す図である。
【０１６８】
図２５に示すように、評価データ表８９０は、ファイル名称８９１に対応付けて、推定領域座標８９２、クラス名称８９３、目的特徴量８９４、距離８９５、および判定結果８９６を記述する。但し、領域選択部３４５は、評価データ表８９０のうち、ファイル名称８９１に対応付けて、推定領域座標８９２、およびクラス名称８９３のみを記述する。目的特徴量８９４は、後述するが、特徴再計算部３５０によって記述される。また、距離８９５および判定結果８９６は、後述するが、特徴評価部３６０によって記述される。ファイル名称８９１は、判別用全体特徴表８７０のファイル名称８７１（図２３参照）に対応している。推定領域座標８９２は、領域座標表８１０の着目領域座標８１２（図９参照）に対応している。クラス名称８９３は、領域座標表８１０のクラス名称８１３（図９参照）に対応している。
【０１６９】
領域選択部３４５は、評価データ表を特徴再計算部３５０へ出力し、目的特徴量の算出を依頼する。ここでの目的特徴量は、評価対象動画像のうち、正常動作の領域に対応すると推定される領域（対応動作の領域と推定される領域）についてのＣＨＬＡＣ特徴である。
【０１７０】
図２２のステップＳ５４００において、特徴再計算部３５０は、評価データ表８９０を参照し、画像ファイル毎に、推定領域の目的特徴量を算出し、算出結果を、目的特徴量８９４として評価データ表８９０に追記する。目的特徴量の算出手法は、学習段階における領域内特徴抽出部３４１の領域内特徴量の算出手法と同一である。特徴再計算部３５０は、全ての画像ファイルの目的特徴量８９４を追記すると、評価データ表８９０を特徴評価部３６０へ出力し、対応動作の評価を行うことを依頼する。
【０１７１】
ステップＳ５５００において、特徴評価部３６０は、領域選択部３４５からの評価データ表８９０（図２５参照）と、学習段階で生成した正常部分空間表８６０（図２１参照）とを参照し、目的特徴量と対応する正常部分空間との距離を算出する。そして、特徴評価部３６０は、その距離の長さ、つまり逸脱度から、一般作業者の異常動作の検知を行う。より具体的には、特徴評価部３６０は、まず、評価データ表８９０に記述されたクラス名称８９３に対応する正常部分空間を、正常部分空間表８６０から取得する。そして、特徴評価部３６０は、画像ファイル毎に、目的特徴量と対応する正常部分空間との距離を算出する。目的特徴量と正常部分空間との距離は、例えば、目的特徴量の、正常部分空間への射影子とそれに対する直交補空間への射影子から求める直交補空間での垂直距離とする。以下、この距離を、記号Ｄで表す。
【０１７２】
更に、特徴評価部３６０は、算出した距離Ｄに基づいて、対応動作の正常動作に対する逸脱度を求める。特徴評価部３６０は、例えば、距離Ｄが予め定められた閾値以下の場合には、対応動作の正常動作に対する逸脱度が低いと判断し、距離Ｄが予め定められた閾値を超える場合には、対応動作の正常動作に対する逸脱度が高いと判断する。そして、特徴評価部３６０は、例えば、逸脱度が低い場合には、対応動作を「正常」であると判定し、逸脱度が高い場合には、対応動作を「異常」であると判定する。
【０１７３】
特徴評価部３６０は、算出した距離Ｄおよび対応動作に対する判定結果を、距離８９５および判定結果８９６として、評価データ表８９０にそれぞれ追記する。そして、特徴評価部３６０は、全ての画像ファイルの距離８９５および判定結果８９６を追記すると、操作制御部３１０に対し、評価段階が完了した旨を通知する。これにより、判定処理は終了する。
【０１７４】
操作制御部３１０は、評価段階が終了した旨の通知を受けると、操作メニュー画面７１０のログ表示領域７１７（図６参照）に、例えば、「評価が完了しました」という文字列を表示する。ユーザは、この文字列から、対応動作に対する判定結果が算出されたと判断することができ、例えば、続けて評価結果参照ボタン７１５をクリックする。
【０１７５】
操作制御部３１０は、この操作を受けて、特徴評価部３６０に対して、評価結果参照画面の表示を依頼する。特徴評価部３６０は、この依頼を受けて、評価結果参照画面を表示し、評価結果をユーザに通知する（図５のステップ６０００）。
【０１７６】
図２６は、評価結果参照画面の一例を示す図である。
【０１７７】
図２６に示すように、評価結果参照画面７３０は、計算結果出力領域７３１、再生ボタン７３２、画像表示領域７３３、一時停止ボタン７３４、および終了ボタン７３５を有する。
【０１７８】
特徴評価部３６０は、評価データ表８９０に基づいて、計算結果出力領域７３１に、距離Ｄの時系列データ７３７と、正常か否かの判断の基準として予め定められた、上述の閾値を示す閾値表示線７３８とを表示する。特徴評価部３６０は、再生ボタン７３２がクリックされると、評価対象動画像を画像表示領域７３３で再生すると共に、現在の再生箇所を示す進行表示線７３９を、計算結果出力領域７３１に表示する。
【０１７９】
また、特徴評価部３６０は、評価対象動画像の再生中に一時停止ボタン７３４がクリックされると、再生を一時的に停止する。これにより、ユーザは、距離Ｄが閾値を超えた画像（対応動作が正常動作から逸脱しているときの画像）の特定や確認を、容易に行うことができる。
【０１８０】
特徴評価部３６０は、終了ボタン７３５がクリックされると、評価結果参照画面７３０の表示を終了し、その旨を操作制御部３１０へ通知する。操作制御部３１０は、この通知を受けて、操作メニュー画面７１０（図６参照）の表示に切り換える。
【０１８１】
操作制御部３１０は、操作メニュー画面７１０の終了ボタン７１６がクリックされると、操作メニュー画面７１０の表示を停止し、動作特徴抽出装置３００の動作を終了させる。
【０１８２】
以上説明したように、本実施の形態の動作特徴抽出装置３００は、画像全体のＣＨＬＡＣ特徴と正常動作の領域のＣＨＬＡＣ特徴とを関連付けた学習データを生成し、この学習データを用いて、目的特徴量を抽出する。そして、動作特徴抽出装置３００は、この目的特徴量を領域内特徴量と比較することにより、異常動作の検知を行う。これにより、動作特徴抽出装置３００は、ＣＨＬＡＣ特徴抽出法の利点を活かしつつ、異常動作を精度良く検知することができる。すなわち、動作特徴抽出装置３００は、熟練作業者と一般作業者の作業比較において、特定の部位の動きに着目したい場合に、画像認識技術によって着目部位を切り出すこと無く、この比較を行うことができる。また、動作特徴抽出装置３００は、熟練作業者の映像に対して着目領域を手動で設定するだけで、一般作業者の映像に対する対応領域の手動設定を行うことなく、上述の比較を行うことができる。したがって、正常動作との対比による対応動作の評価を、より簡単に行うことができ、事前準備に掛かるコストを低く抑えることも可能である。
【０１８３】
なお、本実施の形態では、着目領域のクラス分類を作業工程の分類に基づいて行う場合について説明したが、これに限定されない。
【０１８４】
また、動作特徴抽出装置３００は、フィルタリング関数を必ずしも用いなくても良い。特に、正常動作および対応動作以外の動きが撮影画像にほとんど含まれないことが予め分かっているような場合には、排除すべき外乱が少ないため、フィルタリング関数の算出および適用を省略することができる。
【０１８５】
（実施の形態２）
本発明の実施の形態２に係る動作特徴抽出装置は、正常動作の動き成分を強調する重み付けを画像全体の動き成分に対して行うことにより、目的特徴量を抽出するものである。
【０１８６】
図２７は、本発明の実施の形態２に係る動作特徴抽出装置の構成を示すブロック図であり、実施の形態１の図３と対応するものである。図３と同一部分には同一符号を付し、これについての説明を省略する。
【０１８７】
図２７に示す動作特徴抽出装置３００ａは、図３の関連学習部３４０、特徴再計算部３５０、および特徴評価部３６０に代えて、関連学習部３４０ａ、特徴再計算部３５０ａ、および特徴評価部３６０ａを有し、加えて、重みマップ制御部３７０ａを有する。
【０１８８】
関連学習部３４０ａは、学習段階において、実施の形態１と同様に学習データ（着目領域座標、フィルタリング関数、重回帰関数、および判別空間）を作成する。そして、関連学習部３４０ａは、特徴再計算部３５０ａに対し、学習用全体特徴量に重み付け関数を適用した演算を行うことを依頼し、更に、特徴評価部３６０ａに対し、領域内特徴量に基づく正常部分空間の生成を依頼する。重み付け関数については後述する。
【０１８９】
特徴再計算部３５０ａは、予め、複数の重み付け関数を保持している。学習段階において、特徴再計算部３５０ａは、複数の重み付け関数のそれぞれを学習用動画像に対して適用し、その算出結果（以下「重み付け後学習用全体特徴量」という）を、特徴評価部３６０ａへ出力する。また、特徴再計算部３５０ａは、評価段階において、重みマップ制御部３７０ａが決定した重み付け関数を評価対象動画像に対して適用し、その算出結果（以下「重み付け後評価対象全体特徴量」という）を、特徴評価部３６０ａへ出力する。重み付け後評価対象全体特徴量は、実施の形態１の、目的特徴量に対応するものである。
【０１９０】
特徴評価部３６０ａは、学習段階において、領域内特徴量に基づく正常部分空間と、重み付け後学習用全体特徴量に基づく正常部分空間とを生成する。そして、特徴評価部３６０ａは、生成した正常部分空間を、重みマップ制御部３７０ａへ出力する。また、特徴評価部３６０ａは、評価段階において、学習段階で生成した正常部分空間のうち、有効となっている正常部分空間に対する目的特徴量の逸脱度によって、異常動作の検知を行う。
【０１９１】
ここでは、動作特徴抽出装置３００ａの動作の説明に先立って、重み付け関数について説明する。重み付け関数とは、学習用全体特徴量と領域内特徴量との間の相関関係を示す関数であり、正常動作の動き成分に対してより高い重み付けを行う関数である。
【０１９２】
ここの説明では、重み付け関数の具体例として、以下の３つを例示する。
（ａ）着目領域の全特徴ベクトルを一律にｎ倍し、着目領域以外の領域（以下「非着目領域」という）の全特徴ベクトルをｍ倍（ｎ≧ｍ）する、重み付け関数Ｆａ
（ｂ）ＣＨＬＡＣ特徴として表現される２５１次元の特徴ベクトルのうち、着目領域に頻出する特徴ベクトルをｎ（ｎ≧１）倍する、重み付け関数Ｆｂ
（ｃ）特徴ベクトルを抽出する際の画素間隔を、着目領域において密に、非着目領域において疎に設定する、重み付け関数Ｆｃ
【０１９３】
図２８は、重み付け関数の概念を説明するための図である。ここの説明では、重み付け前の画素の特徴量を「重み付け前特徴量」といい、重み付け後の画素の特徴量を「重み付け後特徴量」という。
【０１９４】
ここでは、図２８（Ａ）に示すように、画像ファイルの全画像領域７４０のうち、中央部分に着目領域７４１（斜線部分）が設定されるものとする。また、図２８（Ｂ）に示すように、着目領域７４１に画素ａが存在し、非着目領域７４２に画素ｂが存在するものとする。
【０１９５】
ここで、画素ａの重み付け前特徴量は、Ｖａ,ｂｅｆｏｒｅと示し、重み付け後特徴量は、Ｖａ,ａｆｔｅｒと示す。また、画素ｂの重み付け前特徴量は、Ｖｂ,ｂｅｆｏｒｅと示し、重み付け後特徴量は、Ｖｂ,ａｆｔｅｒと示す。更に、重み付け後学習用全体特徴量は、Ｖａｆｔｅｒと示す。
【０１９６】
重み付け関数Ｆａは、着目領域７４１の画素数をｐ個、非着目領域７４２の画素数をｑ個とすると、以下の式（１４）〜式（１６）で表される。
【０１９７】
【数１４】
2011133984.tif 000016
【数１５】
2011133984.tif 000017
【数１６】
2011133984.tif 000018
【０１９８】
重み付け関数Ｆａは、領域によって異なる値でベクトルをスカラー倍するフィルタ行列であり、例えば、実施の形態１のフィルタリング関数が決定されるタイミングと同じタイミングで、フィルタリング方法決定部３４２において算出される。
【０１９９】
また、重み付け関数Ｆｂは、以下の式（１７）で表される。
【０２００】
【数１７】
2011133984.tif 000019
【０２０１】
重み付け関数Ｆｂは、実施の形態１のフィルタリング関数と同じく、着目領域に頻出するベクトルをスカラー倍するフィルタ行列であり、例えば、実施の形態１と同様にフィルタリング方法決定部３４２において算出される。なお、重み付け関数Ｆｂは、着目領域と非着目領域との扱いが異なる重み付け関数Ｆａとは異なり、着目領域のみに対しても非着目領域に対しても一律に適用することができる。
【０２０２】
また、図２８（Ｃ）に示すように、重み付け関数Ｆｃは、着目領域７４１の画素ａに対して、より近くの画素の画素値を用い、非着目領域７４２の画素ｂに対しては、より離れた画素の画素値を用いて、特徴ベクトルを算出する関数である。すなわち、重み付け関数Ｆｃは、着目領域７４１の画素ａに対しては、より小さい変位ベクトルについての特徴ベクトルを算出し、非着目領域７４２の画素ｂに対しては、より大きい変位ベクトルについて特徴ベクトルを算出する関数である。
【０２０３】
より小さい変位ベクトルについての特徴ベクトルが算出されるということは、細かい動きが抽出されるということを意味する。また、より大きい変位ベクトルについての特徴ベクトルが算出されるということは、大きい動きが抽出されるということを意味する。したがって、重み付け関数Ｆｃを用いた場合、着目領域７４１については細かい動きにおける異常動作を検知することができ、非着目領域７４２については大きい動きにおける異常動作を検知することができる。
【０２０４】
なお、変位ベクトルの大きさによって、特徴ベクトルの算出が可能な画素数Ｐａｖａｉｌａｂｌｅは異なる。したがって、動作特徴抽出装置３００ａは、重み付け関数Ｆｃを用いる場合、特徴量Ｖｎｏｒｍを重み付け後学習用全体特徴量として採用することが望ましい。特徴量Ｖｎｏｒｍは、例えば、以下の式（１８）を用いて、重み付け後学習用全体特徴量Ｖａｆｔｅｒを画像全体の画素数ｐａｌｌで正規化して求めることができる。
【０２０５】
【数１８】
2011133984.tif 000020
【０２０６】
特徴再計算部３５０ａは、複数の重み付け関数を保持する。特徴再計算部３５０ａは、例えば、複数の重み付け関数をリスト化した重み付け関数表を、予め保持する。
【０２０７】
図２９は、重み付け関数表の構成を示す図である。図２９に示すように、重み付け関数表９５０は、関数名称９５１毎に、重み付け関数の計算式９５２と、重み付け関数で用いられるパラメータ９５３とを記述する。重み付け関数表９５０に含まれる重み付け関数は、例えば、上述の重み付け関数Ｆａ、Ｆｂ、Ｆｃ、およびこれらの組み合わせである。なお、パラメータ９５３は、例えば実験に基づく知見により、あらかじめ決定された値である。実際には、正常動作の領域内特徴量を網羅するのに十分な種類の重み付け関数が記述されるが、ここでは、重み付け関数表９５０には、重み付け関数Ｆａ、Ｆｂが記述されているものとする。
【０２０８】
本実施の形態に係る動作特徴抽出装置３００ａは、このように正常動作の動き成分を抽出するための重み付け関数を複数用意しているが、どれが最も適切であるかは、実際の正常動作の動きによって異なる。そこで、動作特徴抽出装置３００ａは、学習段階において、各重み付け関数を学習用動画像に適用したときの計算結果を領域内特徴量と比較することにより、評価段階で用いる重み付け関数を決定する。
【０２０９】
以下、動作特徴抽出装置３００ａの動作について説明する。
【０２１０】
まず、学習段階の動作特徴抽出装置３００ａの動作について説明する。
【０２１１】
特徴再計算部３５０ａは、領域座標表８１０（図９参照）と、重み付け関数表９５０（図２９参照）に記述された重み付け関数Ｆａ、Ｆｂとから、重み付け後学習用全体特徴量を算出する。そして、特徴再計算部３５０ａは、重み付け後学習用全体特徴量をリスト化した重み付け後学習用全体特徴表を生成する。以下、重み付け関数Ｆａを適用して得られる重み付け後学習用全体特徴量を、記号Ｖａ＊で表し、重み付け関数Ｆｂを適用して得られる重み付け後学習用全体特徴量を、記号Ｖｂ＊で表す。
【０２１２】
図３０は、重み付け後学習用全体特徴表の構成を示す図である。
【０２１３】
図３０に示すように、重み付け後学習用全体特徴表９６０は、ファイル名称９６１に対応付けて、重み付け関数を適用して算出した重み付け後学習用全体特徴量（Ｖａ＊、Ｖｂ＊）９６２、９６３を記述する。また、重み付け後学習用全体特徴表９６０は、重み付け後学習用全体特徴量（Ｖａ＊、Ｖｂ＊）９６２、９６３の算出に用いた関数９６５、９６６を記述する。
【０２１４】
特徴再計算部３５０ａは、学習用画像の全ての画像ファイルに対して重み付け後学習用全体特徴量を算出し、算出結果を重み付け後学習用全体特徴表９６０に記述すると、重み付け後学習用全体特徴表９６０を特徴評価部３６０ａへ出力する。
【０２１５】
特徴評価部３６０ａは、特徴再計算部３５０ａから重み付け後学習用全体特徴表９６０を入力されると、関連学習データ表８４０を参照し、領域内特徴量Ｌに基づいて、正常部分空間ＳＬを算出する。続いて、特徴評価部３６０ａは、重み付け後学習用全体特徴表９６０を参照し、重み付け後学習用全体特徴量Ｖａ＊に基づいた正常部分空間Ｓａと、重み付け後学習用全体特徴量Ｖｂ＊に基づいた正常部分空間Ｓｂとを、それぞれ算出する。そして、特徴評価部３６０ａは、これらの算出結果をリスト化した正常部分空間詳細表を、画像ファイル毎に生成する。
【０２１６】
図３１は正常部分空間詳細表の構成を示す図である。
【０２１７】
図３１に示すように、正常部分空間詳細表９７０は、領域内特徴量に基づく正常部分空間の数９７１と、領域内特徴量に基づく正常部分空間の名称９７２とを記述する。また、正常部分空間詳細表９７０は、重み付け後学習用全体特徴量に基づく正常部分空間の数９７３と、重み付け後学習用全体特徴量に基づく正常部分空間の名称９７４とを記述する。更に、正常部分空間詳細表９７０は、重み付け後学習用全体特徴量の算出に用いられた関数９７５を記述する。
【０２１８】
特徴評価部３６０ａは、正常部分空間詳細表９７０を生成すると、重みマップ制御部３７０ａに対して、正常部分空間詳細表９７０を出力し、正常部分空間選定処理を依頼する。
【０２１９】
重みマップ制御部３７０ａは、正常部分空間選定処理の依頼を受けて、正常部分空間詳細表９７０を参照し、領域内特徴量に基づく正常部分空間と、重み付け後学習用全体特徴量に基づく各正常部分空間との間の類似度を判定する。
【０２２０】
重みマップ制御部３７０ａは、まず、領域内特徴量に基づく正常部分空間と、重み付け後学習用全体特徴量に基づく各正常部分空間について、正準ベクトルを算出する。正準ベクトルは、正常部分空間の正準角を定義するためのベクトルである。そして、重みマップ制御部３７０ａは、重み付け後学習用全体特徴量に基づく正常部分空間のうち、領域内特徴量に基づく正常部分空間に最も類似する正常部分空間を選択する。最も類似するとは、正準角θ（２つの正準ベクトルが成す角）が小さいことをいう。
【０２２１】
図３２は、正常部分空間の選択を説明するための図である。ここでは、重み付け後学習用全体特徴量に基づく正常部分空間Ｓａを第１の正常部分空間といい、重み付け後学習用全体特徴量に基づく正常部分空間Ｓｂを第２の正常部分空間といい、領域内特徴量に基づく正常部分空間ＳＬを第３の正常部分空間という。ここでは、図３２に示すように、第１の正常部分空間９８１と第３の正常部分空間９８３との間の正準角θ１は、第２の正常部分空間９８２と第３の正常部分空間９８３との間の正準角θ２よりも小さいとする。この場合、重みマップ制御部３７０ａは、第１の正常部分空間９８１を選択する。
【０２２２】
重みマップ制御部３７０ａは、正常部分空間を選択すると、選択した正常部分空間の算出に用いられた重み付け関数を、評価段階で用いる重み付け関数に決定する。なお、正常部分空間詳細表９７０の領域内特徴量に基づく正常部分空間の数９７１、および重み付け後学習用全体特徴量に基づく正常部分空間の数９７３は、正準角の算出および比較の際、正常部分空間の処理終了の判定等に使用される。
【０２２３】
重みマップ制御部３７０ａは、重み付け後学習用全体特徴量に基づく正常部分空間および重み付け関数を選択する。次に、重みマップ制御部３７０ａは、選択した重み付け関数を示す情報（例えば重み付け関数名称）を特徴再計算部３５０ａへ出力し、選択した正常部分空間を示す情報（例えば正常部分空間名称）を特徴評価部３６０ａへ出力する。
【０２２４】
特徴再計算部３５０ａは、重み付け関数を示す情報を受け取ると、その情報が示す重み付け関数を、評価段階で用いる重み付け関数に設定する。
【０２２５】
特徴評価部３６０ａは、正常部分空間を示す情報を受け取ると、その情報が示す重み付け後学習用全体特徴量に基づく正常部分空間を、評価段階で異常動作の検知の判定に用いる正常部分空間に設定する。すなわち、特徴評価部３６０ａは、学習用全体特徴量に対して特徴評価部３６０ａに設定された重み付け関数と同じ重み付け関数を適用したときの正常部分空間を、正常動作を示す正常部分空間として設定する。
【０２２６】
学習段階における動作特徴抽出装置３００ａの動作は、以上の通りである。
【０２２７】
次に、評価段階の動作特徴抽出装置３００ａの動作について説明する。
【０２２８】
対応領域の推定を完了するまでの動作特徴抽出装置３００ａの動作は、実施の形態１と同様である。関連学習部３４０ａは、対応領域の推定を完了すると、特徴再計算部３５０ａに対し、重み付け後評価対象全体特徴量の算出を依頼する。特徴再計算部３５０ａは、画像ファイル毎の評価対象全体特徴量に対し、学習段階で既に選定された重み付け関数を適用して、重み付け後評価対象全体特徴量を算出する。
【０２２９】
図３３は、重み付け後評価対象全体特徴表の構成を示す図である。
【０２３０】
重み付け後評価対象全体特徴表９９０は、ファイル名称９９１毎に、対応する重み付け後評価対象全体特徴量９９２を記述する。ファイル名称９９１は、判別用全体特徴表８７０のファイル名称８７１（図２３参照）に対応している。
【０２３１】
特徴再計算部３５０ａは、評価対象動画像の全ての画像ファイルに対して重み付け後評価対象全体特徴量を算出して、重み付け後評価対象全体特徴表９９０に記述する。次に、特徴再計算部３５０ａは、特徴評価部３６０ａに対し、重み付け後評価対象全体特徴表９９０を出力し、対応動作の評価を依頼する。
【０２３２】
特徴評価部３６０ａは、特徴再計算部３５０ａから入力された重み付け後評価対象全体特徴表９９０に含まれる重み付け後評価対象全体特徴量と、学習段階で設定された正常部分空間とに基づいて、対応動作の正常動作に対する逸脱度を求める。すなわち、特徴評価部３６０ａは、例えば、重み付け後評価対象全体特徴量の、正常部分空間への射影子とそれに対する直交補空間への射影子から求める直交補空間での垂直距離を、重み付け後評価対象全体特徴量と正常部分空間との距離Ｄとして算出する。距離に基づく対応動作の逸脱度の判定および判定結果の通知は、実施の形態１と同様である。
【０２３３】
このように、本発明の実施の形態２に係る動作特徴抽出装置３００ａは、着目領域の動きの特徴を強調するので、非着目領域の動作やノイズによる影響を軽減した状態で、動画像全体のＣＨＬＡＣ特徴を算出することができる。これにより、動画像全体のＣＨＬＡＣ特徴を用いて対応動作の評価を行うことができ、特定の部位だけで無く、特定の部位を中心した、体全体あるいは周辺環境等の他の動きを考慮することができ、高精度な評価を可能にすることができる。
【０２３４】
また、複数の異なる重み付け関数を用意し、正常動作に適したものを選択して用いるので、より高精度な評価を可能にすることができる。
【０２３５】
なお、本実施の形態では、評価段階において、重み付け後学習用全体特徴量に基づく正常部分空間と重み付け後評価対象全体特徴量とを比較したが、領域内特徴量に基づく正常部分空間と重み付け後評価対象全体特徴量とを比較してもよい。
【０２３６】
また、以上説明した各実施の形態では、本発明を工場において一般作業者の動作から異常動作を抽出するシステムに適用した例について説明したが、これに限定されない。例えば、本発明は、スポーツにおけるフォーム指導を目的として練習者のフォームから手本のフォームと異なる部分を抽出するシステム等、動作比較を行う他の各種システムにも適用することができる。
【産業上の利用可能性】
【０２３７】
本発明に係る動作特徴抽出装置および動作特徴抽出方法は、正常動作との対比による対応動作の評価を、より簡単に行うことができる動作特徴抽出装置および動作特徴抽出方法として有用である。
【符号の説明】
【０２３８】
１００  行動解析システム
２００  カメラ
３００、３００ａ  動作特徴抽出装置
３１０  操作制御部
３１５  動画像データ記憶部
３２０  全体特徴抽出部
３３０  領域設定部
３４０、３４０ａ  関連学習部
３４１  領域内特徴抽出部
３４２  フィルタリング方法決定部
３４３  全体特徴フィルタリング部
３４４  関連解析部
３４５  領域選択部
３５０、３５０ａ  特徴再計算部
３６０、３６０ａ  特徴評価部
３７０ａ  重みマップ制御部
４００  入力装置
５００  出力装置
【図１】
2011133984.tif 000021
【図２】
2011133984.tif 000022
【図３】
2011133984.tif 000023
【図４】
2011133984.tif 000024
【図５】
2011133984.tif 000025
【図６】
2011133984.tif 000026
【図７】
2011133984.tif 000027
【図８】
2011133984.tif 000028
【図９】
2011133984.tif 000029
【図１０】
2011133984.tif 000030
【図１１】
2011133984.tif 000031
【図１２】
2011133984.tif 000032
【図１３】
2011133984.tif 000033
【図１４】
2011133984.tif 000034
【図１５】
2011133984.tif 000035
【図１６】
2011133984.tif 000036
【図１７】
2011133984.tif 000037
【図１８】
2011133984.tif 000038
【図１９】
2011133984.tif 000039
【図２０】
2011133984.tif 000040
【図２１】
2011133984.tif 000041
【図２２】
2011133984.tif 000042
【図２３】
2011133984.tif 000043
【図２４】
2011133984.tif 000044
【図２５】
2011133984.tif 000045
【図２６】
2011133984.tif 000046
【図２７】
2011133984.tif 000047
【図２８】
2011133984.tif 000048
【図２９】
2011133984.tif 000049
【図３０】
2011133984.tif 000050
【図３１】
2011133984.tif 000051
【図３２】
2011133984.tif 000052
【図３３】
2011133984.tif 000053