(57)【要約】【課題】  画一的な動作分類を行うことのできる動作分類支援装置を提供する。【解決手段】  被写体を撮像した複数の画像データを取得する手段１１と、取得された画像データに含まれる被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する手段１２と、所定部分情報に基づいて被写体の動作を分類する手段１５とを含むことを特徴とする動作分類支援装置とする。【選択図】      図２
2005267604.tif 000002
【特許請求の範囲】
【請求項１】
被写体の動作の分類を支援する動作分類支援装置であって、
前記被写体を撮像した複数の画像データを取得する手段と、
前記取得された画像データに含まれる前記被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する手段と、
前記所定部分情報に基づいて前記被写体の動作を分類する手段と、
前記分類結果を提示する手段と、
を含むことを特徴とする動作分類支援装置。
【請求項２】
被写体の動作の分類を支援する動作分類支援装置であって、
前記被写体を撮像した複数の画像データを取得する手段と、
前記取得された画像データに基づいて前記被写体の動作の仮分類を生成する仮分類手段と、
前記仮分類結果に基づいて分類ルールを生成する分類ルール生成手段と、
前記分類ルールに基づいて前記被写体の動作を分類する手段と、
前記分類結果を提示する手段と、
を含むことを特徴とする動作分類支援装置。
【請求項３】
請求項２に記載の動作分類支援装置において、
前記取得された画像データに含まれる前記被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する手段を含み、
前記仮分類手段は、前記所定部分情報に基づいて前記被写体の動作の仮分類を生成する、
ことを特徴とする動作分類支援装置。
【請求項４】
請求項２又は３に記載の動作分類支援装置において、
前記仮分類結果を提示し、利用者から指示を受け入れる手段を含み、
前記仮分類手段は、前記受け入れられた指示に基づいて前記仮分類結果を修正し、
前記分類ルール生成手段は、前記修正された仮分類結果に基づいて分類ルールを生成する、
ことを特徴とする動作分類支援装置。
【請求項５】
請求項１、３又は４のいずれか一項に記載の動作分類支援装置において、
前記所定部分情報は、前記一部特定部分の位置、角度、大きさのうち少なくとも一つに関する情報を含む、
ことを特徴とする動作分類支援装置。
【請求項６】
コンピュータを用い、被写体の動作の分類を支援する動作分類支援方法であって、
前記被写体を撮像した複数の画像データを取得する工程と、
前記取得された画像データに含まれる前記被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する工程と、
前記所定部分情報に基づいて前記被写体の動作を分類する工程と、
前記分類結果を提示する工程と、
を含むことを特徴とする動作分類支援方法。
【請求項７】
コンピュータを用い、被写体の動作の分類を支援する動作分類支援方法であって、
前記被写体を撮像した複数の画像データを取得する工程と、
前記取得された画像データに基づいて前記被写体の動作の仮分類を生成する工程と、
前記仮分類結果に基づいて分類ルールを生成する工程と、
前記分類ルールに基づいて前記被写体の動作を分類する工程と、
前記分類結果を提示する工程と、
を含むことを特徴とする動作分類支援方法。
【請求項８】
コンピュータに、被写体の動作の分類を支援させる動作分類支援プログラムであって、
前記被写体を撮像した複数の画像データを取得する手順と、
前記取得された画像データに含れる前記被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する手順と、
前記所定部分情報に基づいて前記被写体の動作を分類する手順と、
前記分類結果を提示する手順と、
を前記コンピュータに実行させることを特徴とする動作分類支援プログラム。
【請求項９】
コンピュータに、被写体の動作の分類を支援させる動作分類支援プログラムであって、
前記被写体を撮像した複数の画像データを取得する手順と、
前記取得された画像データに基づいて前記被写体の動作の仮分類を生成する手順と、
前記仮分類結果に基づいて分類ルールを生成する手順と、
前記分類ルールに基づいて前記被写体の動作を分類する手順と、
前記分類結果を提示する手順と、
を前記コンピュータに実行させることを特徴とする動作分類支援プログラム。
【請求項１０】
被写体の動作の分類を行う動作分類装置であって、
分類処理の対象となる被写体を撮像した複数の画像データを取得する手段と、
サンプル画像データに基づいて、生成された分類ルールを用いて、前記画像データの各々を、前記被写体の動作ごとに分類する手段と、
を含み、
当該分類の結果が所定の処理に供されることを特徴とする動作分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物等、被写体の動作の分類に係る処理を行う動作分類支援装置及び、動作分類装置に関する。
【背景技術】
【０００２】
工場での組立作業やオフィス作業の効率を評価するために、人の動作分類が行われる。具体的には、例えばオフィスにおいて作業を行っている人の様子をビデオに撮影し、この動画像上で撮像された人の動作を識別し、分類する。この分類結果を用いて各作業に要する時間を計測することで、無駄な動き、時間のかかる作業、などの統計量を抽出することで作業効率の評価を行う。また熟練作業者とそうでない作業者との、作業時間の差などの統計量を抽出することで作業効率の評価を行う。
【０００３】
従来、例えば特許文献１において、動画像上の移動物体の有無や背景構造の変化の有無を検出する装置が開示されている。
【特許文献１】特開２０００−２２４５４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の装置においては、例えば人の顔の位置や向きといった撮像状態が異なっていても同じ動作として分類してしまうなど、誤分類が発生しやすい。
【０００５】
このため、利用者自身がビデオを見ながら手作業によって動作分類を行っているのが現状である。しかし、このようにすると、利用者によって分類の判断基準が異なるため、画一的な動作分類を行うことが難しいという問題があった。
【０００６】
本発明は、このような問題に鑑みて為されたものであり、顔の位置や向きに配慮し、かつ画一的な動作分類を行うことのできる動作分類支援装置を提供することをその目的の一つとする。
【０００７】
また、本発明の別の目的の一つは、顔の位置や向きに配慮し、かつ画一的な動作分類を行うことのできる分類ルールを生成し、分類対象画像の分類を行うことで各作業時間の計測等を可能とする動作分類装置を提供することである。
【課題を解決するための手段】
【０００８】
上記の問題を解決するため、本発明の一実施の形態に係る動作分類支援装置は、被写体の動作の分類を支援する動作分類支援装置であって、前記被写体を撮像した複数の画像データを取得する手段と、前記取得された画像データに含まれる前記被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する手段と、前記所定部分情報に基づいて前記被写体の動作を分類する手段と、前記分類結果を提示する手段と、を含むことを特徴とする。
【０００９】
また、本発明の他の実施形態に係る動作分類支援装置は、被写体の動作の分類を支援する動作分類支援装置であって、前記被写体を撮像した複数の画像データを取得する手段と、前記取得された画像データに基づいて前記被写体の動作の仮分類を生成する仮分類手段と、前記仮分類結果に基づいて分類ルールを生成する分類ルール生成手段と、前記分類ルールに基づいて前記被写体の動作を分類する手段と、前記分類結果を提示する手段と、を含むことを特徴とする。
【００１０】
また、前記動作分類支援装置において、前記取得された画像データに含まれる前記被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する手段を含み、前記仮分類手段は、前記所定部分情報に基づいて前記被写体の動作の仮分類を生成する、こととしてもよい。
【００１１】
また、前記動作分類支援装置において、前記仮分類結果を提示し、利用者から指示を受け入れる手段を含み、前記仮分類手段は、前記受け入れられた指示に基づいて前記仮分類結果を修正し、前記分類ルール生成手段は、前記修正された仮分類結果に基づいて分類ルールを生成する、こととしてもよい。
【００１２】
また、前記動作分類支援装置において、前記所定部分情報は、前記一部特定部分の位置、角度、大きさのうち少なくとも一つに関する情報を含む、こととしてもよい。
【００１３】
また、本発明の一実施の形態に係る動作分類支援方法は、コンピュータを用い、被写体の動作の分類を支援する動作分類支援方法であって、前記被写体を撮像した複数の画像データを取得する工程と、前記取得された画像データに含まれる前記被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する工程と、前記所定部分情報に基づいて前記被写体の動作を分類する工程と、前記分類結果を提示する工程と、を含むことを特徴とする。
【００１４】
また、本発明の他の実施形態に係る動作分類支援方法は、コンピュータを用い、被写体の動作の分類を支援する動作分類支援方法であって、前記被写体を撮像した複数の画像データを取得する工程と、前記取得された画像データに基づいて前記被写体の動作の仮分類を生成する工程と、前記仮分類結果に基づいて分類ルールを生成する工程と、前記分類ルールに基づいて前記被写体の動作を分類する工程と、前記分類結果を提示する工程と、を含むことを特徴とする。
【００１５】
また、本発明の一実施の形態に係る動作分類支援プログラムは、コンピュータに、被写体の動作の分類を支援させる動作分類支援プログラムであって、前記被写体を撮像した複数の画像データを取得する手順と、前記取得された画像データに含まれる前記被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する手順と、前記所定部分情報に基づいて前記被写体の動作を分類する手順と、前記分類結果を提示する手順と、を前記コンピュータに実行させることを特徴とする。
【００１６】
また、本発明の他の実施形態に係る動作分類支援プログラムは、コンピュータに、被写体の動作の分類を支援させる動作分類支援プログラムであって、前記被写体を撮像した複数の画像データを取得する手順と、前記取得された画像データに基づいて前記被写体の動作の仮分類を生成する手順と、前記仮分類結果に基づいて分類ルールを生成する手順と、前記分類ルールに基づいて前記被写体の動作を分類する手順と、前記分類結果を提示する手順と、を前記コンピュータに実行させることを特徴とする。
【００１７】
また上記従来例の問題点を解決するための本発明は、被写体の動作の分類を行う動作分類装置であって、分類処理の対象となる被写体を撮像した複数の画像データを取得する手段と、サンプル画像データに基づいて、生成された分類ルールを用いて、前記画像データの各々を、前記被写体の動作ごとに分類する手段と、を含み、当該分類の結果が所定の処理に供されることを特徴としている。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の第１の実施の形態について図面を参照しながら説明する。ここでは、オフィスで作業を行う人（以下、作業者と呼ぶ）をビデオ撮影し、この動画像を構成する複数の画像データを用いて、撮像された作業者の動作分類を行う場合を例として説明する。
【００１９】
図１に示すように、本実施形態に係る動作分類支援装置１は、制御部１０と、記憶部２０と、画像入力部３０と、指示入力部４０と、表示部５０とを含んで構成されている。これら各部は互いにバスを介して接続されており、いわば一般的なコンピュータを用いて実現される。このコンピュータは、他の製品、例えばカメラなどに組み込まれたものであっても構わない。
【００２０】
制御部１０は、記憶部２０に格納されているプログラムに従って動作するものであり、動作分類処理に用いる複数の画像データを画像入力部３０から取得し、画像データに含まれる作業者の顔の撮像状態（撮影条件、姿勢など）に関する所定部分情報を生成する処理と、この所定部分情報に基づいて、撮像された作業者の動作の仮分類を生成する処理と、この仮分類結果に基づいて分類ルールを生成する処理と、この分類ルールに基づいて動作分類を生成する処理と、を実行する。この制御部１０の具体的処理内容については、後に詳しく述べる。
【００２１】
記憶部２０は、制御部１０が実行するプログラム（ソフトウェア）を格納している。また、この記憶部２０は、制御部１０がその処理の過程で必要とする種々のデータを保持するワークメモリとしても動作する。具体的にこの記憶部２０は、ハードディスクなどの記憶媒体、あるいは半導体メモリ、ないしこれらの組み合わせとして実現できる。
【００２２】
画像入力部３０は、カメラ装置などの外部装置に接続され、この外部装置から作業者が撮像された画像データを受け入れ、制御部１０に出力する。
【００２３】
指示入力部４０は、キーボードやマウスなどの入力インターフェースに接続され、この入力インターフェースから利用者の指示を受け入れ、制御部１０に出力する。
【００２４】
表示部５０は、例えばディスプレイ装置やプリンタ装置などであり、制御部１０から入力される指示に従い、制御部１０の処理結果の提示などを行う。
【００２５】
次に、制御部１０の処理の内容について具体的に説明する。図２は、制御部１０の処理の内容例を示す機能ブロック図である。本図に示すように、本実施の形態における制御部１０は、機能的には、画像データ取得部１１と、所定部分情報生成部１２と、仮分類生成部１３と、分類ルール生成部１４と、本分類生成部１５とを含むものである。
【００２６】
画像データ取得部１１は、作業者の顔が所定の基準状態（所定の撮影条件、姿勢）で撮像された画像データ（以下、サンプル画像データと呼ぶ）を画像入力部３０から取得し、所定部分情報生成部１２に出力する。このサンプル画像データは、例えば、カメラに対して正面を向いた作業者の顔が撮像された画像データである。
【００２７】
また、この画像データ取得部１１は、動作分類の対象とする作業者（被写体）が撮像された画像データ（以下、対象画像データ）を取得し、所定部分情報生成部１２と本分類部１５とに出力する。この対象画像データは、例えば、作業中の作業者が撮像された動画像を構成する複数の画像データの全部又は一部である。
【００２８】
所定部分情報生成部１２は、画像データ取得部１１から受け入れたサンプル画像データに基づいて、このサンプル画像データに含まれる所定部分、例えば顔部分を、所定の撮像状態に変換したデータベース（以下、変換データベースと呼ぶ）を生成し、この変換データベースを参照して、画像データ取得部１１から受け入れる対象画像データに含まれる顔部分の撮像状態を表す所定部分情報を生成する。
【００２９】
具体的に、所定部分情報生成部１２は、この所定部分情報生成処理をカーネル非線形部分空間法により行う。このカーネル非線形部分空間法は、データを何らかのカテゴリに分類する方法として広く知られているので、詳しい説明を省略するが、その概要を述べれば、特徴量要素を基底として張られる空間Ｆにおいて、この空間Ｆに含まれる複数の部分空間Ωのそれぞれをデータの分類先であるカテゴリとして認識し、分類しようとするデータに基づいて作成される空間Ｆ内の特徴量ベクトルΦを各部分空間Ωに射影し、この射影後の特徴量ベクトル情報φと、射影前の特徴量ベクトル情報Φとの距離Ｅが最も小さくなる部分空間Ω（以下、最近接部分空間と呼ぶ）を検出し、分類しようとするデータは、その最近接部分空間Ωによって表されるカテゴリに属すると判断する方法である。
【００３０】
そこで学習段階では、同一のカテゴリに属するべき学習用のサンプルデータに対応する特徴量ベクトル情報に基づく最近接部分空間Ωが同一となるよう、非線形写像（空間Ｆへの写像、すなわちカーネル関数に含まれるパラメータ等）と、各カテゴリに対応する部分空間Ωを隔てる超平面との少なくとも一方を調整することとなる。
【００３１】
すなわち、所定部分情報生成部１２は、まずサンプル画像データに含まれる顔部分を基準状態から所定の変換自由度（回転、平行移動、サイズ変更など）について所定の変換量（回転角度、ピクセル数、拡大・縮小倍率など）だけ変換した画像データ（以下、変換画像データと呼ぶ）を複数生成する。
【００３２】
具体的に、所定部分情報生成部１２は、画像データ取得部１１から受け入れた各サンプル画像データについて、例えば―１８０度から１８０度まで５度ずつ回転させ、縦横にそれぞれ５ピクセルずつ平行移動させ、又は１０％ずつ拡大若しくは縮小した複数の変換画像データを生成する。
【００３３】
そして、所定部分情報生成部１２は、これら複数の変換画像データのそれぞれに対応する特徴量ベクトル情報を生成し、この特徴量ベクトル情報と、当該変換画像データの生成に用いた変換条件（変換自由度と変換量との組み合わせによって表される）に対応する部分空間Ωとの距離Ｅが最小となるよう、非線形写像を学習し、各変換画像データとその変換条件とを対応付けた変換データベースを変換自由度ごとに生成して記憶部２０に格納する。
【００３４】
次に、所定部分情報生成部１２は、画像データ取得部１１から対象画像データを受け入れると、記憶部２０に格納した変換データベースを参照して、各対象画像データ（画素値の列としてベクトル値と同視し得る）を、空間Ｆ内の特徴量ベクトル（変換自由度ごとに定義される特徴量（変化量）の組）に写像し、さらにその写像を各部分空間Ωに射影して、射影前の特徴量ベクトル情報と、射影後の特徴量ベクトルとの距離Ｅが最小となる最近接部分空間（各変換条件に対応）を決定する。
【００３５】
そして、所定部分情報生成部１２は、この最近接部分空間に対応する変換条件を用いて対象画像データを変換し、この変換後の対象画像データが基準状態でなければ、さらにこの変換後の対象画像データについての最近接部分空間に対応する変換処理を繰り返し、変換後の対象画像データが無変換（つまり基準状態）と判断すると、この無変換状態の対象画像データを生成するために用いた変換条件と、その対象画像データとを対応付けた所定部分情報を生成する。
【００３６】
この所定部分情報は、例えば、各対象画像データに含まれる顔部分について、例えば右向き若しくは左向きなどの画像面内回転、又は上向き若しくは下向きなどの画像内奥行き回転を表す角度、画像内の位置又は大きさを表す座標値又はピクセル数、といった基準状態からの変換条件が対応付けられた情報である。所定部分情報生成部１２は、この所定部分情報を仮分類生成部１３に出力する。
【００３７】
仮分類生成部１３は、所定部分情報生成部１２から受け入れた所定部分情報を用いて、複数の対象画像データのそれぞれについて、それらの変換条件を表す特徴量ベクトルを生成し、これら複数の特徴量ベクトル間の距離に基づいて、動作の仮分類を生成し、この仮分類結果を表示部５０に出力する。
【００３８】
具体的に、仮分類生成部１３は、例えばこれら特徴量ベクトル間のマハラノビス距離を演算し、最短距離法によって、マハラノビス距離が小さい対象画像データから同一のクラスタに分類していく階層型クラスタリングを行う。
【００３９】
そして、この仮分類生成部１３は、このクラスタリング処理によって生成した各クラスタの重心（例えば平均ベクトル）と、当該クラスタに分類された各対象画像データに基づく特徴量ベクトルとの距離を演算し、この距離が最も小さい対象画像データを代表画像データとして特定し、この代表画像データをクラスタごとに表示部５０に提示させる。
【００４０】
さらに、この仮分類生成部１３は、表示部５０が提示する仮分類結果に対して、動作分類支援装置１の利用者から指示入力部４０を介して修正指示を受け入れた場合には、この修正指示に基づいて仮分類結果を修正し、この修正した仮分類結果を分類ルール生成部１４に出力する。また、仮分類生成部１３は、利用者からの修正指示がない場合には、当初の仮分類結果を分類ルール生成部１４に出力する。
【００４１】
分類ルール生成部１４は、仮分類生成部１３から受け入れた仮分類結果（修正された場合には修正後の仮分類結果）に基づいて、動作の分類基準を表す分類ルールを生成する。具体的に、この分類ルールは、動作の分類先である各クラスタと、これに対応する所定部分情報（顔部分の変換条件を表す特徴量ベクトル）とを関係付ける情報である。分類ルール生成部１４は、この生成した分類ルールを記憶部２０に格納する。
【００４２】
このように、制御部１０は、作業者の顔部分の撮像状態に基づいて分類ルールを生成し、記憶部２０に格納する。そして、この制御部１０は、指示入力部４０を介して利用者から動作分類を実行すべき指示を受け入れると、記憶部２０に格納した分類ルールを読み出し、この分類ルールに従って、画像入力部３０を介して受け入れた対象画像データについて動作分類処理を行う。
【００４３】
すなわち、利用者からの指示に従って、本分類生成部１５は、記憶部２０から読み出した分類ルールを用いて、画像データ取得部１１から受け入れた複数の対象画像データのそれぞれについて動作分類（仮分類生成部１３が生成する仮分類と区別して、本分類と呼ぶ）を行うことになる。
【００４４】
具体的に、本分類生成部１５は、本分類処理の対象とする対象画像データを空間Ｆ内の特徴量ベクトルに写像し、さらにその写像を分類ルールが示す各クラスタに対応する部分空間Ωに射影して、射影前の特徴量ベクトルと、射影後の特徴量ベクトルとの距離を演算する。そして、本分類生成部１５は、この距離が最小となるクラスタを、この対象画像データについての動作の分類先として決定し、この本分類結果を表示部５０に出力する。
【００４５】
次に、制御部１０における分類ルール生成処理の流れについて、図３に示すフロー図に基づいて説明する。本図に示すように、まず画像データ取得部１１がサンプル画像データを取得し（Ｓ１００）、所定部分情報生成部１２に出力する。そして、所定部分情報生成部１２は、この受け入れたサンプル画像データから変換画像データを生成し（Ｓ１０２）、さらにこの変換画像データを用いた学習により、変換データベースを生成して、記憶部２０に格納する（Ｓ１０４）。
【００４６】
次に、画像データ取得部１１が画像入力部３０から対象画像データを取得したか否かを判断し（Ｓ１０６）、取得しない場合（Ｎｏの場合）には待機状態を維持し、取得した場合（Ｙｅｓの場合）には、この取得した対象画像データを所定部分情報生成部１２に出力する。
【００４７】
所定部分画像生成部１２は、記憶部２０から変換データベースを読み出して、このデータベースと画像データ取得部１１から受け入れた対象画像データとに基づいて、当該対象画像データの変換条件を決定する（Ｓ１０８）。そして、所定部分画像生成部１２は、この決定した変換条件と対象画像データとを対応付けた所定部分情報を生成して、仮分類生成部１３に出力する（Ｓ１１０）。
【００４８】
仮分類生成部１３は、所定部分画像生成部１２から受け入れた所定部分情報に基づいたクラスタリング処理を行って仮分類を生成し（Ｓ１１２）、この仮分類結果を表示部５０に出力して利用者に提示する（Ｓ１１４）。
【００４９】
さらに、仮分類生成部１３は、提示した仮分類結果に対して、利用者から指示入力部４０を介して修正指示があるかどうかを判断し（Ｓ１１６）、修正指示がなければ（Ｎｏの場合）、処理Ｓ１１２で生成した仮分類結果をそのまま分類ルール生成部１４に出力し、修正指示があった場合（Ｙｅｓの場合）には、この修正指示に従って仮分類結果の修正を行い（Ｓ１１８）、この修正後の仮分類結果を分類ルール生成部１４に出力する。
【００５０】
分類ルール生成部１４は、仮分類生成部１３から受け入れた仮分類結果（処理Ｓ１１８における修正があった場合には修正後の仮分類結果）に基づいて分類ルールを生成し（Ｓ１２０）、この分類ルールを記憶部２０に格納する。
【００５１】
次に、この記憶部２０に格納された分類ルールを用いた本分類生成処理の流れについて、図４に示すフロー図に基づいて説明する。本図に示すように、利用者から指示入力部４０を介して動作分類処理を実行すべき指示を受け入れると、本分類生成部１５は、画像データ取得部１１から受け入れた分類対象となる対象画像データを空間Ｆに写像して特徴量ベクトルを生成する（Ｓ２００）。
【００５２】
さらに、本分類生成部１５は、記憶部２０から分類ルールを読み出し（Ｓ２０２）、処理Ｓ２００で生成した特徴量ベクトルを、この読み出した分類ルールが示す各クラスタに対応する部分空間Ωに射影し（Ｓ２０４）、射影前の特徴量ベクトルと、射影後の特徴量ベクトルとの距離を演算する（Ｓ２０６）。
【００５３】
そして、本分類生成部１５は、この距離が最小となる部分空間に対応するクラスタを、この対象画像データについての動作の分類先として決定し（Ｓ２０８）、この動作分類結果を表示部５０に出力して利用者に提示する（Ｓ２１０）。
【００５４】
図５に、表示部５０が利用者に対して提示する動作分類結果の一例を示す。この例において、動作分類結果を表す画面Ｄの左側には、オフィスにおける作業者Ｓ０が撮像された動画像に含まれる一つの静止画像Ｍが表示されている。この静止画像Ｍにおいては、撮像された作業者Ｓ０の顔部分と判断された画像領域が、破線で囲まれる矩形の領域Ｆ０として表示されている。
【００５５】
また、画面Ｄの右上には、動作分類処理によって生成された４つのクラスタI〜IVのそれぞれについて、代表画像ＰI〜ＰIVが表示されている。各クラスタに対応する代表画像ＰI〜ＰIVには、それぞれ顔部分ＦI〜ＦIVの撮像状態が異なる作業者ＳI〜ＳIVが表示されている。
【００５６】
この例において、３つのクラスタI〜IIIは、それぞれの代表画像ＰI〜ＰIIIにおける顔部分ＦI〜ＦIIIの位置が画像内の下方であることから、作業者ＳI〜ＳIIIが座った状態で行っている作業として分類されている。また、これらデスクワークに関する３つのクラスタI〜IIIは、それぞれの代表画像ＰI〜ＰIIIにおける顔部分ＦI〜ＦIIIの向きが異なるため、互いに異なる作業として分類されている。また、４つめのクラスタIVは、その代表画像ＰIVにおける顔部分ＦIVの位置が画像内の上方に位置することから、作業者ＳIVが起立した状態で行っている作業として分類されている。
【００５７】
なお、この例において、動作分類は階層型クラスタリング処理に基づいて行われているため、より上層の分類結果として、デスクワークについての３つのクラスタI〜IIIを一種類の動作として分類した結果を表示するなど、動作分類結果を階層的に表示することができる。
【００５８】
また、画面Ｄの右下には、時間軸Ｔ方向のクラスタリング結果（作業内容の経時変化）として、４つのクラスタI〜IVのそれぞれに対応する作業と、動画像中においてその作業が行われた時間とが対応付けて表示されている。すなわち、４つのクラスタI〜IVに分類されるそれぞれの作業が、動画像の時間軸Ｔに対して異なる位置のバーＢI〜ＢIVとして区別して表示されている。これら４つのバーＢI〜ＢIVの長さは、各作業に要した時間を表しており、オフィスにおける作業効率の評価などに供することができる。
【００５９】
このように、本実施形態に係る動作分類支援装置１によれば、動作分類の対象とする作業者の顔の撮像状態を識別し、かつ画一的な分類ルールに基づいた動作分類を行うことが可能である。
【００６０】
なお、本実施形態においては被写体が人間である例について説明したが、これに限られず、動物や車など動作分類の対象となり得るものであれば構わない。また、被写体の少なくとも一部所定部分についても顔に限られず、例えば人間の場合には顔に加えて手や足を用いてもよい。
【００６１】
例えば、所定部分として手を用いる場合、図５の例において、画面Ｄの左側に示した画像Ｍにおいて破線で囲まれた矩形の領域で表示されている人Ｓ０の右手Ｒ及び左手Ｌを所定部分として、これら手の位置と顔部分Ｆ０との位置関係等を表す所定部分情報を生成し、これに基づいてより詳細な動作分類を行うこととしてもよい。
【００６２】
また、本実施形態においては、所定部分情報生成部１２がカーネル非線形部分空間法によって所定部分情報を生成する例について説明したが、これに限られず、例えばオートエンコーダ等、他の方法を用いてもよい。
【００６３】
また、仮分類生成部１３は、階層型クラスタリングに限られず、Ｋ―Ｍｅａｎｓ法などによって仮分類を生成しても構わない。また、仮分類生成部１３又は本分類生成部１５は、各クラスタに分類される対象画像データの量（データの総量、画像の枚数など）に基づいて、表示部５０に出力する分類結果を決定してもよい。
【００６４】
すなわち、例えば、仮分類生成部１３又は本分類生成部１５は、各クラスタに分類された対象画像データ量から当該クラスタに分類された動作に関する時間を算出し、この時間が所定閾値以下の場合には、そのクラスタに分類される動作に関する情報を削除した分類結果を表示部５０に出力する。この場合、各動作に関する時間としては、動画像の撮像時間内で当該動作が行われた時間を合算した累積時間を算出してもよいし、各動作が持続的に行われた時間（持続時間）を算出してもよい。
【００６５】
また、本発明の第２の実施の形態に係る動作分類装置１′は、図１に示した動作分類支援装置１と同様の構成をとるものであるが、制御部１０の動作の内容が少々異なっている。すなわち本実施の形態の動作分類装置１′の制御部１０は、機能的には、図６に示すように、画像データ取得部１１と、所定部分情報生成部１２と、分類ルール生成部１４′と、分類処理部１６とを含むものとなる。
【００６６】
ここで第１の実施の形態に係る動作分類支援装置１と同様の動作を行うものについては、同一の符号を付して詳細な説明を省略する。
【００６７】
分類ルール生成部１４′は、所定部分情報生成部１２から受け入れた所定部分情報を用いて、複数のサンプル画像データのそれぞれについて、それらの変換条件を表す特徴量ベクトルを生成し、これら複数の特徴量ベクトル間の距離に基づいて、動作の分類を生成する。
【００６８】
具体的に、分類ルール生成部１４′は、例えばこれら特徴量ベクトル間のマハラノビス距離を演算し、最短距離法によって、マハラノビス距離が小さい対象画像データから同一のクラスタに分類していく階層型クラスタリングを行う。
【００６９】
そして、この分類ルール生成部１４′は、このクラスタリング処理によって生成した各クラスタの重心（例えば平均ベクトル）と、当該クラスタに分類された各対象画像データに基づく特徴量ベクトルとの距離を演算し、この距離が最も小さい対象画像データを代表画像データとして特定する。
【００７０】
分類ルール生成部１４′は、この分類の結果に基づいて、動作の分類基準を表す分類ルールを生成する。具体的に、この分類ルールは、動作の分類先である各クラスタと、これに対応する所定部分情報（顔部分の変換条件を表す特徴量ベクトル）とを関係付ける情報である。分類ルール生成部１４′は、この生成した分類ルールを記憶部２０に格納する。
【００７１】
このように、制御部１０は、サンプル画像データに撮像された作業者の顔部分の撮像状態に基づいて分類ルールを生成し、記憶部２０に格納する。そして、この制御部１０は、指示入力部４０を介して利用者から動作分類を実行すべき指示を受け入れると、記憶部２０に格納した分類ルールを読み出し、この分類ルールに従って、画像入力部３０を介して受け入れた対象画像データについて動作分類処理を行う。
【００７２】
すなわち、制御部１０は、利用者からの指示に従って、分類処理部１６の処理を開始する。具体的に制御部１０は、記憶部２０から読み出した分類ルールを用いて、画像データ取得部１１から受け入れた複数の対象画像データのそれぞれについて動作分類の処理を行うことになる。
【００７３】
具体的に、分類処理部１６は、分類処理の対象となる対象画像データを、空間Ｆ内の特徴量ベクトルに写像し、さらにその写像を分類ルールが示す各クラスタに対応する部分空間Ωに射影して、射影前の特徴量ベクトルと、射影後の特徴量ベクトルとの距離を演算する。そして、分類処理部１６は、この距離が最小となるクラスタを、この対象画像データについての動作の分類先として決定し、この分類結果を表示部５０に出力する。
【００７４】
つまり制御部１０は、動画像データに含まれる各対象画像データを、各クラスタに分類することになる。そこで、例えば動画像データのフレームレートＲ（単位時間内に何コマの対象画像データが生成されるかを表す情報）と、ｉ番目のクラスタに分類されたフレームの数Ｎiとから、ｉ番目のクラスタに係る動作に要した時間Ｔiを、
Ｔi＝Ｒ×Ｎi
として、演算して、その演算結果を表示部５０に表示出力することとしてもよい。
【００７５】
さらに図５に対応する図７に示すように、画面Ｄの右下に、時間軸Ｔ方向のクラスタリング結果（作業内容の経時変化）として、各クラスタ（ここでは図５に対応してI〜IVの４つ）のそれぞれに対応する作業と、動画像中においてその作業が行われた時間とを対応付けて表示してもよい。すなわち、各クラスタに分類されるそれぞれの作業を、動画像の時間軸Ｔに対して異なる位置のバーＢI，ＢII…として区別して表示する。ここで各バーＢI，ＢII…の長さは、各作業に要した時間を表している。そしてさらに、このバーに対して、予め測定された他の作業者に係る分類結果ＲI，ＲII…を併せて表示してもよい。例えば他の作業者として、熟練作業者の分類結果を示すこととすれば、作業者毎の作業効率の評価などに供することができる。さらに、この他の作業者として分類ルールの生成に用いたサンプル画像データに撮像された作業者としてもよい。つまり、サンプル画像データにおける分類結果を併せて表示してもよい。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の実施形態に係る動作分類支援装置の主な構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る動作分類支援装置の制御部の主な処理内容を示す機能ブロック図である。
【図３】本発明の第１の実施形態に係る動作分類支援装置の制御部が行う分類ルール生成処理の一例を示すフロー図である。
【図４】本発明の第１の実施形態に係る動作分類支援装置の制御部が行う本分類処理の一例を示すフロー図である。
【図５】本発明の第１の実施形態に係る動作分類支援装置が利用者に提示する動作分類結果の一例を示す説明図である。
【図６】本発明の第２の実施形態に係る動作分類装置の制御部の主な処理内容を示す機能ブロック図である。
【図７】本発明の一実施形態に係る動作分類装置が利用者に提示する動作分類結果の例を示す説明図である。
【符号の説明】
【００７７】
１  動作分類支援装置、１′  動作分類装置、１０  制御部、１１  画像データ取得部、１２  所定部分情報生成部、１３  仮分類生成部、１４，１４′  分類ルール生成部、１５  本分類生成部、１６  分類処理部、２０  記憶部、３０  画像入力部、４０  指示入力部、５０  表示部。
【図１】
2005267604.tif 000003
【図２】
2005267604.tif 000004
【図３】
2005267604.tif 000005
【図４】
2005267604.tif 000006
【図５】
2005267604.tif 000007
【図６】
2005267604.tif 000008
【図７】
2005267604.tif 000009