(57)【要約】【課題】作業者が作業しているときの一連の行動を高精度に認識する。【解決手段】一実施形態に係る行動認識装置は、作業者を撮影した映像から予め監視対象として定められた標準作業を認識する。前記行動認識装置は、画像取得手段と、行動認識手段と、行動判定手段とを備える。前記画像取得手段は、前記映像に含まれる複数のフレーム画像を取得する。前記行動認識手段は、前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する。前記行動判定手段は、前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定する。【選択図】  図１
2020087312.tif 000002
【特許請求の範囲】
【請求項１】
作業者を撮影した映像から予め監視対象として定められた標準作業を認識する行動認識装置であって、
前記映像に含まれる複数のフレーム画像を取得する画像取得手段と、
前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する行動認識手段と、
前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定する行動判定手段と
を具備した行動認識装置。
【請求項２】
前記行動判定手段は、前記各要素行動の中から前記作業者の作業行動を時系列で判定する請求項１記載の行動認識装置。
【請求項３】
前記作業者の作業行動として判定された要素行動の開始時間と持続時間を算出する行動時間算出手段をさらに具備した請求項１または２に記載の行動認識装置。
【請求項４】
前記行動判定手段は、
前記各要素行動の確信度をフレーム単位で比較し、確信度が高い要素行動を前記作業者の作業行動として判定する請求項１または２に記載の行動認識装置。
【請求項５】
前記行動判定手段は、
前記各要素行動の確信度を一定の時間間隔で比較し、確信度が高い要素行動を前記作業者の作業行動として判定する請求項１または２に記載の行動認識装置。
【請求項６】
前記行動判定手段は、
前記各要素行動の確信度を一定の時間間隔で比較し、確信度が高い要素行動の頻度が多い要素行動を前記作業者の作業行動として判定する請求項１または２に記載の行動認識装置。
【請求項７】
前記行動判定手段は、
予め判定基準として設定された閾値よりも高い確信度を有する要素行動を条件にして前記作業者の作業行動を判定する請求項４乃至６のいずれか１つに記載の行動認識装置。
【請求項８】
作業者を撮影した映像から予め監視対象として定められた標準作業を認識する行動認識方法であって、
前記映像に含まれる複数のフレーム画像を取得するステップと、
前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出するステップと、
前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定するステップと
を有する行動認識方法。
【請求項９】
作業者を撮影した映像から予め監視対象として定められた標準作業を認識するためのプログラムであって、
コンピュータを、
前記映像に含まれる複数のフレーム画像を取得する画像取得手段、
前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する行動認識手段、
前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定する行動判定手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動認識装置、行動認識方法及びプログラムに関する。
【背景技術】
【０００２】
例えば、オフィスや工場などの作業場において、カメラの映像から作業者の作業行動を可視化して分析することは、作業の効率化を図る上で重要なことである。
【０００３】
従来、カメラから連続的に得られる複数のフレーム画像から人物を認識し、その人物の重心位置の軌跡を特徴量として抽出することにより、予め登録された行動の重心軌跡と照らし合わせて、当該人物の行動を認識する方法が知られている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、作業者が作業しているときの行動は１つではなく、例えば物を持つ、歩くなど、多数存在する。これらの一連の行動は、上述した重心位置の軌跡を追うことでは認識することはできない。
【０００５】
本発明の目的は、作業者が作業しているときの一連の行動を高精度に認識することのできる行動認識装置、行動認識方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
一実施形態に係る行動認識装置は、作業者を撮影した映像から予め監視対象として定められた標準作業を認識する。前記行動認識装置は、画像取得手段と、行動認識手段と、行動判定手段とを備える。前記画像取得手段は、前記映像に含まれる複数のフレーム画像を取得する。前記行動認識手段は、前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する。前記行動判定手段は、前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定する。
【発明の効果】
【０００７】
本発明によれば、作業者が作業しているときの一連の行動を高精度に認識することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る行動認識装置の機能構成を示すブロック図である。
【図２】作業場における作業者の作業行動の一例を示す図である。
【図３】商品棚入れ作業のイメージの一例を示す図である。
【図４】商品棚入れ作業に関係する作業行動のイメージの一例を示す図である。
【図５】時空間画像データの構成を模式的に示した図である。
【図６】Ｆフレームの時空間画像データを示す図である。
【図７】Ｆフレームの時空間画像データの更新方法を説明するための図である。
【図８】各要素行動の確信度の変移特性を示す図である。
【図９】時空間画像データのブロック分割を示す図である。
【図１０】図２の作業場で作業者を撮影したときの時空間画像データから抽出した時間ｔにおける特徴点の一例を示す図である。
【図１１】図２の作業場で作業者を撮影したときの時空間画像データから抽出した時間ｔ＋Δｔ時間後における特徴点の一例を示す図である。
【図１２】第１の実施形態における行動認識装置の認識辞書作成処理の動作を説明するためのフローチャートである。
【図１３】第１の実施形態における行動認識装置の行動認識処理の動作を説明するためのフローチャートである。
【図１４】第１の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。
【図１５】第２の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。
【図１６】第３の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。
【図１７】第４の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。
【図１８】第５の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。
【図１９】第６の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。
【図２０】行動認識システムの一例を示す図である。
【図２１】カメラのハードウェア構成の一例を示す図である。
【図２２】行動認識装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
本発明の行動認識装置は、作業者を撮影したカメラの映像から予め監視対象として定められた作業行動（これを標準作業と称す）を認識するものである。前記作業場としては、例えばオフィスや工場などが含まれるが、本発明はこれに限定されるものではない。
【００１０】
（第１の実施形態）
図１は第１の実施形態に係る行動認識装置の機能構成を示すブロック図である。
【００１１】
本実施形態における行動認識装置１００は、画像取得部１０１、時空間特徴抽出部１０２、行動認識部１０３、統合処理部１０４、辞書作成部１０５、認識結果出力部１０６を備える。
【００１２】
画像取得部１０１は、例えば図２に示すような作業場２０１に設置されたカメラ２０３の映像をリアルタイムあるいはオフラインで取得する。カメラ２０３の設置場所は任意であり、作業場２０１の中で作業者２０２が作業しているときの行動を撮影可能な場所であれば、どこでも良い。このカメラ２０３の映像は、例えばカメラ２０３から有線あるいは無線で行動認識装置１００に直接送ることでも良いし、記録媒体を介して行動認識装置１００に与えることでも良い。
【００１３】
時空間特徴抽出部１０２は、画像取得部１０１によって得られた映像に含まれる各フレーム画像から時空間特徴点を抽出する。「時空間特徴点」とは、画像の空間的な変化と時間的な変化を表す特徴点のことであり、人物の動きの変化を表している。なお、この時空間特徴点の抽出方法については後に詳しく説明する。
【００１４】
行動認識部１０３は、時空間特徴抽出部１０２によって抽出された時空間特徴点に基づいて行動認識辞書１０５ａを検索することにより、標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する。「要素行動」とは、標準作業に含まれる特徴的な行動のことであり、作業の内容に応じて複数種類存在する。「確信度」とは、認識結果の確からしさを表す指標であり、０．０〜１．０の範囲の値を取り、数値が大きいほど、確信度が高いことを意味する。
【００１５】
行動認識辞書１０５ａは、辞書作成部１０５によって作成される。行動認識辞書１０５ａには、予め標準作業に含まれる各種行動（要素行動）を認識するための情報が登録されている。なお、行動認識辞書１０５ａの作成方法については、後に詳しく説明する。
【００１６】
統合処理部１０４は、行動判定部１０４ａと行動時間算出部１０４ｂとで構成される。行動判定部１０４ａは、各要素行動の確信度を統合処理し、各要素行動の中から作業者２０２の作業行動を時系列で判定する。「統合処理」とは、各要素行動の確信度を所定の時間単位で比較し、これらの各要素行動の中から最終的な認識結果を導き出す処理のことである。行動時間算出部１０４ｂは、行動判定部１０４ａによって作業者２０２の作業行動として判定された要素行動の開始時間と持続時間をフレームレートに従って算出する。
【００１７】
認識結果出力部１０６は、統合処理部１０４によって最終的に得られた認識結果の出力処理を行う。
【００１８】
図２は作業場における作業者の作業行動の一例を示す図であり、例えば工場等の作業場２０１において、作業者２０２が商品の棚入れ作業を行っている状態を示している。
【００１９】
商品棚入れ作業時における作業者２０２の作業行動には、例えば、「箱２０４を床に仮置きする行動（仮置き行動）」，「箱２０４の中の商品を確認する行動（商品確認行動）」，「箱２０４から商品を取り出す行動（商品取り出し行動）」，「商品を棚に入れる行動（商品棚入れ行動）」などがある。本実施形態における行動認識装置１００は、行動認識辞書１０５ａを用いて、これらの一連の行動を要素行動として認識する。
【００２０】
図３は商品棚入れ作業に関係する作業行動のイメージの一例を示す図であり、作業者２０２が箱２０４を床に仮置きしているときの状態を示している。図４は歩き行動のイメージの一例を示す図である。作業者２０２が歩きながら商品棚入れ作業を行うことが多いので、歩き行動を含めて認識する必要がある。
【００２１】
作業場２０１に設置されたカメラ２０３は、連続撮影可能な機能（動画撮影機能）を有する。このカメラ２０３の映像に含まれるフレーム画像は、例えば１秒間に３０フレームレートで行動認識装置１００に取り込まれる。この場合、１フレームの時間は１／３０秒である。
【００２２】
図５は時空間画像データの構成を模式的に示した図である。ｘ軸は画像の横幅であり、ｙ軸は画像の縦幅である。奥行きは時間ｔの長さであり、フレーム数で決まる。フレーム画像の空間座標は（ｘ，ｙ）である。１フレームの時間をｔとすると、図５に示すように、時空間画像データは３次元の立方体で表される。つまり、時空間画像データの座標は（ｘ，ｙ，ｔ）であり、時空間画像データの一つの画素値Ｉは空間座標（ｘ，ｙ）と時間ｔの関数となる。
【００２３】
図６はＦフレームの時空間画像データを示す図である。縦軸は確信度Ｐを示し、横軸は時間ｔを示し、フレーム番号に比例する。ＱはＦフレームの時空間画像データを時間に換算したときの中心位置を示している。
【００２４】
本実施形態では、Ｆフレームの時空間画像データを一つの認識対象単位としている。Ｆはフレーム数であり、任意に設定できる。例えば、作業者２０２の作業行動を２秒間で認識したい場合には、Ｆ＝６０フレームに設定すれば良い。
【００２５】
上述したように、作業者２０２の作業行動には複数の要素行動が含まれており、これらの要素行動を認識したときに確信度Ｐｉ（Ｑ）を算出する。つまり、図３に示すような商品棚入れ作業行動を認識したときに確信度Ｐ０（Ｑ）を算出する。また、図４に示すような作業者２０２が歩く行動を認識したときに確信度Ｐ１（Ｑ）を算出する。要素行動の数Ｉ個がある場合、Ｐ０（Ｑ）〜ＰＩ−１（Ｑ）のＩ個の確信度が得られる。
【００２６】
ここで、Ｆフレームの時空間画像データから得られた要素行動の確信度Ｐｉ（Ｑ）を当該時空間画像データの中心フレームの結果とする。つまり、図６に示すように、中心位置をＱとすると、確信度Ｐｉ（Ｑ）は、Ｑ番目でのフレーム位置でのｉ番目の要素行動の確信度となる。
【００２７】
図７はＦフレームの時空間画像データの更新方法を説明するための図である。縦軸は確信度Ｐを示し、横軸は時間ｔを示す。
【００２８】
図７の例では、Ｆフレームの時空間画像データを時間軸方向に１フレームずつ移動させた状態を示している。上述したように、Ｆフレームの時空間画像データを一つの認識対象単位とし、要素行動の確信度Ｐｉ（Ｑ）を当該時空間画像データの中心フレームの結果とする。図中のＱ，Ｑ＋１，…Ｑ＋ｎ（ｎは０以上の整数）は、それぞれにＦフレームの時空間画像データを移動させたときの中心位置を示している。なお、時空間画像データを移動させる間隔は、１フレームに限らず、複数フレーム単位であっても良い。
【００２９】
図８は各要素行動の確信度の変移特性を示す図である。図８の例では、Ｆフレームの時空間画像データを時間軸方向に１フレームずつ移動させたときに得られる２つの要素行動ａ，ｂを認識したときの確信度の変移を表している。横軸は時間であり、単位はフレーム数である。縦軸は確信度Ｐを示している。
【００３０】
図中のＴｗは要素行動を監視している時間（判定時間）、Ｔｈｒｅは確信度の閾値を示している。なお、判定時間Ｔｗと閾値Ｔｈｒｅについては、後に他の実施形態において詳しく説明する。
【００３１】
一般的に、商品棚入れ作業では、作業者２０２が歩きながら作業を行うことが多いため、歩き行動も含めて認識する必要がある。実線は要素行動ａ（例えば商品の棚入れ行動）の確信度の変移特性を示している。点線は要素行動ｂ（例えば歩き行動）の確信度の変移特性を示している。なお、図８の例では、説明を簡単にするため、２つの要素行動ａ，ｂだけを示したが、実際には商品棚入れ作業にはさらに複数の要素行動が存在し、これらの要素行動毎にそれぞれの確信度の変移特性が得られる。
【００３２】
次に、図９乃至図１１を用いて、時空間画像データを用いた行動認識方法について説明する。
【００３３】
図９は時空間画像データのブロック分割を示す図である。横軸は空間座標ｘ、縦軸は空間座標ｙである。時間軸をｔで示す。つまり、時間軸ｔの方向は、例えば１秒間に３０フレームレートで入力される映像の時系列軸である。フレーム数で換算して、実際の時間が求められる。作業者２０２が何らかの行動を取ると、時空間画像データに変化点が発生する。この変化点つまり時空間の特徴点を見つけることで、要素行動を認識することができる。
【００３４】
図９に示すように、時空間画像データを所定サイズ（Ｍｐ，Ｎｐ，Ｔ）のブロックで分割する。Ｍｐ，Ｎｐは画素数、Ｔは特徴点を抽出するための時間幅である。つまり、１ブロックのサイズは横Ｍｐ画素、縦Ｎｐ画素、奥行きＴフレームになる。
【００３５】
作業者が何らかの行動をしたとき、その動きに対応した時空間画像データのブロックの特徴量が大きくなる。つまり、時空間に大きな変化量が発生する。その変化量の大きいブロックを特徴点として抽出する。
【００３６】
まず、空間方向である（ｘ、ｙ）方向でノイズを除去するため、式（１）の平滑化処理を行う。
【００３７】
【数１】
2020087312.tif 000003
ここで、Ｉ（ｘ，ｙ，ｔ）は時間ｔのフレーム画像、（ｘ，ｙ）座標での画素値である。ｇ（ｘ，ｙ）は平滑化処理ためのカーネルである。＊は畳み込み処理である。平滑化処理は、画素平均処理でも良いし、既存のＧａｕｓｓｉａｎ平滑化フィルタ処理でも良い。
【００３８】
次に、時間軸でフィルタリング処理を行う。ここで、式（２）に示すＧａｂｏｒフィルタリング処理を行う。
【００３９】
ここで、ｇｅｖとｇｏｄは式（３）と式（４）が示すＧａｂｏｒフィルタのカーネルである。＊は畳み込み処理である。τとωはＧａｂｏｒフィルタのカーネルのパラメータである。
【００４０】
【数２】
2020087312.tif 000004
【００４１】
【数３】
2020087312.tif 000005
【００４２】
【数４】
2020087312.tif 000006
図９に示す時空間画像データの全画素に対して、前記式（２）のフィルタリング処理した後、式（５）で、時空間座標（ｘ，ｙ，ｔ）にあるブロックＲの平均値Ｍを求める。
【００４３】
【数５】
2020087312.tif 000007
そして、式（６）に示すように、ブロックＲの平均値Ｍ（ｘ，ｙ，ｔ）が一定の閾値Ｔｈｒｅ＿Ｍよりも高い場合に、当該ブロックＲを特徴点として抽出する。
【００４４】
【数６】
2020087312.tif 000008
図１０は図２の作業場２０１で作業者２０２を撮影したときの時空間画像データから抽出した時間ｔにおける特徴点の一例である。例えば、作業者２０２が屈んだときに、時空間画像データの中で動きのある部分が特徴点として抽出される。図１１は時間ｔ＋Δｔ時間後における時空間画像データから抽出された特徴点の一例である。
【００４５】
次に、時空間画像データから抽出した特徴点の記述方法について説明する。
時空間画像データから特徴点となるブロックを抽出すると、当該ブロック内の画素Ｉ（ｘ，ｙ，ｔ）の時空間エッジ情報Ｅ（ｘ，ｙ，ｔ）を求める。具体的には、下記の式（７）の微分演算を行う。
【００４６】
【数７】
2020087312.tif 000009
１ブロックにＭｐ×Ｎｐ×Ｔの画素があるので、Ｍｐ×Ｎｐ×Ｔ×３個の微分値が得られる。このブロックは、Ｍｐ×Ｎｐ×Ｔ×３次元ベクトルで記述される。つまり、特徴点がＭｐ×Ｎｐ×Ｔ×３次元ベクトルで記述される。
【００４７】
次に、本実施形態における行動認識装置１００の処理動作について、（ａ）認識辞書作成処理と、（ｂ）行動認識処理とに分けて説明する。なお、以下の各フローチャートで示される処理は、コンピュータである行動認識装置１００が所定のプログラムを読み込むことにより実行される。
【００４８】
（ａ）認識辞書作成処理
図１２は第１の実施形態における行動認識装置１００の認識辞書作成処理の動作を説明するためのフローチャートである。
【００４９】
図２に示した作業場２０１において、作業者２０２の作業行動を認識する場合に、事前に行動認識辞書１０５ａを作成しておく必要がある。行動認識装置１００は、以下のような手順で行動認識辞書１０５ａを作成する。
【００５０】
まず、行動認識装置１００は、画像取得部１０１を通じて学習動画データを取得する（ステップＳ１１）。すなわち、標準作業に関する動画サンプルを集めて、その動画サンプルを学習動画データとして使う。この場合、動画サンプルの中でＦフレームの時空間画像データを１つの学習動画データとする。行動認識装置１００に備えられた時空間特徴抽出部１０２は、この学習動画データ（Ｆフレームの時空間画像データ）から上述した方法で動き変化に対応した特徴点を要素行動として抽出する（ステップＳ１２）。
【００５１】
このようにして、複数の学習動画データを集め、それぞれの学習動画データから動き変化に対応した特徴点がそれぞれ抽出される。この場合、同じ行動であれば、行動認識のシステムは同じでなくとも良い。要は、後述するＫ種類の要素行動に関するデータを取得できれば良い。行動認識部１０３は、前記各学習動画データから抽出した各特徴点を前記式（７）で微分処理して、Ｍｐ×Ｎｐ×Ｔ×３次元ベクトルを求め、これらをＫ−ｍｅａｎｓ方法によって要素行動毎に分類する（ステップＳ１３）。
【００５２】
ここで、分類したクラスの数をＫとすると、複数の学習動画データから抽出された特徴点はＫ種類の要素行動に分類される。同じ種類の特徴点は、類似の特徴を持つ。行動認識部１０３は、Ｋ種類の要素行動に分類された各特徴点について、それぞれに同じ種類の特徴点のＭｐ×Ｎｐ×Ｔ×３次元ベクトルを平均化することで、平均ベクトルＶｋを作成する（ステップＳ１４）。この平均ベクトルＶｋは、それぞれの要素行動の特徴点を代表するベクトルである。
【００５３】
また、行動認識部１０３は、Ｋ種類の特徴点に対応したブロックの合計数を計算し、学習用のヒストグラムＨ（ｋ）を求める（ステップＳ１５）。このヒストグラムＨ（ｋ）は、Ｋ種類の特徴点の頻度を表している。
【００５４】
このようにして、各特徴点の平均ベクトルＶｋとヒストグラムＨ（ｋ）が求められる。辞書作成部１０５は、これらの情報を学習情報として行動認識辞書１０５ａに登録する（ステップＳ１６）。
【００５５】
（ｂ）行動認識処理
図１３は第１の実施形態における行動認識装置１００の行動認識処理の動作を説明するためのフローチャートである。
【００５６】
まず、行動認識装置１００は、作業場２０１に設置されたカメラ２０３の映像に含まれる複数のフレーム画像を時系列順に取得する（ステップＳ２１）。行動認識装置１００の時空間特徴抽出部１０２は、これらのフレーム画像を用いてＦフレーム単位で時空間画像データを生成し、その時空間画像データから上述した方法で動き変化に対応した複数の特徴点を要素行動として抽出する（ステップＳ２２）。
【００５７】
ここで、行動認識部１０３は、Ｆフレームの時空間画像データから抽出された各特徴点のＭｐ×Ｎｐ×Ｔ×３次元ベクトルを求める（ステップＳ２３）。この３次元ベクトルと行動認識辞書１０５ａに登録されたＫ種類の平均ベクトルＶｋとの距離が最も近いベクトルが同じ要素行動の特徴点になる。
【００５８】
次に、行動認識部１０３は、Ｆフレームの時空間画像データから抽出された各特徴点をＫ種類の要素行動に分類して、それぞれにヒストグラムＴs（ｋ）を作成する（ステップＳ２４）。行動認識部１０３は、これらのヒストグラムＴs（ｋ）と行動認識辞書１０５ａに登録された各特徴点のヒストグラムＨ（ｋ）とを比較することで、両者の類似度Ｓ（Ｔs，Ｈ）を式（８）で求める。行動認識部１０３は、この類似度Ｓ（Ｔs，Ｈ）を確信度Ｐとして算出する（ステップＳ２５）。
【００５９】
【数８】
2020087312.tif 000010
行動認識部１０３は、上述した処理をＦフレームの時空間画像データに含まれる各要素行動毎に繰り返し行い、それぞれの確信度Ｐを得る（ステップＳ２６）。統合処理部１０４は、行動認識部１０３によって得られた各要素行動の確信度Ｐに基づいて、各要素行動の中から作業者２０２の作業行動を判定する（ステップＳ２７）。この統合処理については、後に図１４を参照して説明する。
【００６０】
認識結果出力部１０６は、統合処理部１０４によって最終的に得られた認識結果の出力処理を行う（ステップＳ２８）。この出力処理には、例えば図示せぬ監視者の端末装置に要素行動の種類と時間を時系列で視認可能に表示することや、通信ネットワークを介して外部の監視センタに送ることなどを含む。
【００６１】
なお、図１３のフローチャートでは、説明を簡単にするために、Ｆフレーム分の処理だけを示した。実際には図７で説明したように、Ｆフレームの時空間画像データを時間軸方向に例えば１フレームずつ移動させながら前記同様の処理を繰り返し、標準作業時における一連の行動をフレーム単位で時系列に認識し、その認識結果を出力する。
【００６２】
また、図１３のフローチャートで示される処理は、オフラインでもリアルタイムでも実行可能である。以下では、説明を簡単にするため、オフラインで処理する場合を想定して説明する。
【００６３】
（統合処理）
図１４は第１の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。
【００６４】
作業場２０１において、作業者２０２の作業行動は１つではなく、歩く行動を含め、様々な行動（要素行動）を含んでいる。これらの行動は時間的に重なることもあり、その時々で主としてどのような行動を取っていたのかを的確に判定することが重要となる。行動認識装置１００の統合処理部１０４は、以下のような手順で、行動認識部１０３によって認識された各要素行動の確信度Ｐを統合処理して、作業者２０２の一連の行動を時系列順に区分けして判定する。
【００６５】
すなわち、まず、統合処理部１０４は、行動認識部１０３からＦフレームの各要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ３１）。統合処理部１０４は、前記ワークメモリをサーチし、Ｆフレームの中で最大の確信度Ｐを有する要素行動を選択する（ステップＳ３２）。
【００６６】
統合処理部１０４は、この選択された要素行動を対象作業行動として判定し（ステップＳ３３）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ３４）。なお、「対象作業行動」とは、監視対象としている作業者２０２の作業行動のことである。
【００６７】
詳しく説明すると、図６に示したＦフレームの時空間画像データからＮ種類の要素行動が得られたとする。統合処理部１０４は、これらの要素行動の確信度Ｐを統合して、その中で対象作業行動を決める。ここで、第１の実施形態では、Ｆフレームの時空間画像データから得られたＮ種類の要素行動の中で、確信度Ｐが最大値Ｐｍａｘの要素行動を対象作業行動として選択する。
【００６８】
また、対象作業行動として選択された要素行動は、図６に示したＦフレームの中心位置Ｑの認識結果としている。要素行動の開始時間は、フレームレートに従って算出される。つまり、映像のフレーム取得毎が開始のタイミングになり、要素行動の判定との兼ね合いから決めることができる。また、この要素行動の持続時間は、Ｆフレームの中心位置Ｑに存在するフレームの持続時間となる。
【００６９】
具体的には、フレームレートは、Ｆ＿ｒａｔの場合は１秒間Ｆ＿ｒａｔフレームがあるので、１フレーム当たりの時間は１／Ｆ＿ｒａｔ秒となる。例えばフレームレートが「３０」の場合、１フレームあたりの時間は１／３０秒である。要素行動が最初に検知されたときの開始フレームはＱであり、開始時間はＱ／Ｆ＿ｒａｔ秒である。要素行動が検知続ける持続フレーム数がＱ＿ａｃｔフレームの場合、持続時間はＱ＿ａｃｔ／Ｆ＿ｒａｔ秒である。この要素行動の開始時間と持続時間を可視化すれば、例えば作業者に負担がかかっている作業の分析などに役立つ。
【００７０】
このようにして、統合処理部１０４は、Ｆフレームの中で最も確信度Ｐが高い要素行動を対象作業行動として判定し、そのＦフレームの中心位置Ｑを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ３５）。
【００７１】
以後、図７に示したように、Ｆフレームが例えば１フレームずつ更新される毎に前記同様の処理が繰り返し実行される。これにより、図８の例であれば、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。
【００７２】
・ｔ０〜ｔ４：要素行動ｂ  
・ｔ４〜ｔ５：要素行動ａ  
・ｔ５〜ｔ８：要素行動ｂ  
・ｔ８〜ｔ１２：要素行動ａ
【００７３】
このように第１の実施形態によれば、各フレーム画像から得られた各要素行動の確信度Ｐを統合処理し、フレーム単位毎に各要素行動の中で最も確信度Ｐの高い要素行動を選択することで、作業者の一連の行動を時系列順に区分けして正しく認識することができる。
【００７４】
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態では、前記第１の実施形態において、要素行動の確信度Ｐが予め判定基準として設定された閾値Ｔｈｒｅよりも高いことを条件に加えて統合処理を行うようにしたものである。
【００７５】
行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第２の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐをフレーム単位で比較し、確信度Ｐが閾値Ｔｈｒｅよりも高く、かつ、確信度Ｐが最も高い要素行動を対象作業行動として判定する機能を有する。以下に、第２の実施形態の処理動作について詳しく説明する。
【００７６】
図１５は第２の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。
【００７７】
前記第１の実施形態と同様に、まず、統合処理部１０４は、行動認識部１０３からＦフレームの各要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ４１）。統合処理部１０４は、前記ワークメモリをサーチし、Ｆフレームの中で最大の確信度Ｐを有する要素行動を選択する（ステップＳ４２）。
【００７８】
ここで、第２の実施形態において、統合処理部１０４は、予め要素行動の判定基準として設定された閾値Ｔｈｒｅを有する。この閾値Ｔｈｒｅは、作業場４０１の環境や作業内容などに応じて任意に設定される。
【００７９】
統合処理部１０４は、前記ステップＳ４２で選択された要素行動の確信度Ｐが閾値Ｔｈｒｅより高いか否かを判断する（ステップＳ４３）。要素行動の確信度Ｐが閾値Ｔｈｒｅより高い場合には（ステップＳ４３のＹｅｓ）、統合処理部１０４は、当該要素行動を対象作業行動として判定し（ステップＳ４４）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ４６）。
【００８０】
一方、前記ステップＳ４２で選択された要素行動の確信度Ｐが閾値Ｔｈｒｅ以下であった場合には（ステップＳ４３のＮｏ）、統合処理部１０４は、当該要素行動を対象作業行動の可能性ありとして判定する（ステップＳ４５）。
【００８１】
なお、要素行動の確信度Ｐが閾値Ｔｈｒｅ以下であった場合に対象作業行動ではないと判定しても良い。ただし、ある程度の確信度Ｐを持っていれば、対象作業行動の可能性があるため、可能性ありとして判定することが好ましい。対象作業行動の可能性ありと判定した場合もその対象作業行動の開始時間と持続時間を算出する。また、対象作業行動の可能性ありと判定した場合には、例えば特定の色を付けて認識結果を出力するなど、前記ステップＳ４４で判定した対象作業行動と区別することが好ましい。
【００８２】
このようにして、統合処理部１０４は、要素行動の確信度Ｐが閾値Ｔｈｒｅよりも高いことを条件に加えて、Ｆフレームの中から対象作業行動を判定する。
【００８３】
以後、図７に示したように、Ｆフレームが例えば１フレームずつ更新される毎に前記同様の処理が繰り返し実行される（ステップＳ４７）。これにより、図８の例であれば、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。
【００８４】
・ｔ１〜ｔ４：要素行動ｂ  
・ｔ４〜ｔ５：要素行動ａ  
・ｔ５〜ｔ７：要素行動ｂ  
・ｔ９〜ｔ１０：要素行動ａ  
また、可能性ありを含めること下記のようになる。  
・ｔ０〜ｔ１：要素行動ｂの可能性あり  
・ｔ７〜ｔ８：要素行動ｂの可能性あり  
・ｔ８〜ｔ９：要素行動ａの可能性あり  
・ｔ１０〜ｔ１２：要素行動ａの可能性あり
【００８５】
このように第２の実施形態によれば、要素行動の確信度Ｐに対する閾値Ｔｈｒｅを設定しておき、その閾値Ｔｈｒｅより高い確信度Ｐを有する要素行動を対象作業行動として判定することで、作業者の一連の行動をより正確に認識することができる。
【００８６】
（第３の実施形態）
次に、第３の実施形態について説明する。
第３の実施形態では、要素行動を判定するための判定時間Ｔｗを有し、その判定時間Ｔｗの間隔で要素行動を判定するようにしたものである。
【００８７】
行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第３の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐを判定時間Ｔｗで比較し、最も確信度Ｐが高い要素行動を対象作業行動と判定する機能を有する。以下に、第３の実施形態の処理動作について詳しく説明する。
【００８８】
図１６は第３の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。
【００８９】
まず、統合処理部１０４は、要素行動を判定するための時間Ｔｗを設定する（ステップＳ５１）。この判定時間ＴｗはＦフレームの時間以上であり、作業場４０１の環境などに応じて任意に設定される。
【００９０】
統合処理部１０４は、行動認識部１０３から判定時間Ｔｗの全フレームの要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ５２）。統合処理部１０４は、前記ワークメモリをサーチし、判定時間Ｔｗの全フレームの中から最大の確信度Ｐを有する要素行動を選択する（ステップＳ５３）。
【００９１】
統合処理部１０４は、この選択された要素行動を対象作業行動として判定し（ステップＳ５４）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ５５）。要素行動の開始時間は、その要素行動を含むフレームを基準にして算出される。
要素行動の開始時間は最初に要素行動が検知されたとき、判定時間Ｔｗ単位で、要素行動の開始時間を計測する。また、この要素行動の持続時間は、判定時間Ｔｗの中で当該要素行動を含むフレームの持続時間となる。この場合、要素行動の連続検知した判定時間Ｔｗの倍数時間となる。例えば、連続して３回判定時間Ｔｗ内に要素行動として検知されたとき、持続時間は３×Ｔｗとなる。
【００９２】
このようにして、統合処理部１０４は、判定時間Ｔｗの全フレームに対して同様の処理を繰り返し、最も確信度Ｐが高い要素行動を対象作業行動として判定し、その要素行動を含むフレームを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ５６）。
【００９３】
これにより、図８の例であれば、判定時間Ｔｗの間隔（ｔ０〜ｔ３，ｔ３〜ｔ６，ｔ６〜ｔ１１）で要素行動が判定され、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。
【００９４】
・ｔ０〜ｔ３：要素行動ｂ
・ｔ３〜ｔ６：要素行動ａ
・ｔ６〜ｔ１１：要素行動ｂ
【００９５】
このように第３の実施形態によれば、要素行動を判定するための時間に幅を持たせ、その時間間隔の中で要素行動を判定する。これにより、例えば画像にノイズが入っているような場合に、そのノイズによる誤判定を防いで、作業者２０２の行動を正しく認識することができる。
また、作業者が作業動作中に例えば別の方向を振り向くなど、イレギュラーな行動を取ることがある。このような場合も判定時間に幅を持たせておくことで、そのイレギュラーな行動による誤判定を防ぐことができる。
【００９６】
（第４の実施形態）
次に、第４の実施形態について説明する。
第４の実施形態では、前記第３の実施形態において、確信度Ｐが閾値Ｔｈｒｅよりも高いことを条件に加えて統合処理を行うようにしたものである。
【００９７】
行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第４の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐを判定時間Ｔｗで比較し、確信度Ｐが閾値Ｔｈｒｅよりも高く、かつ、確信度Ｐが最も高い要素行動を対象作業行動と判定する機能を有する。以下に、第４の実施形態の処理動作について詳しく説明する。
【００９８】
図１７は第４の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。
【００９９】
前記第３の実施形態と同様に、まず、統合処理部１０４は、要素行動を判定するための時間Ｔｗを設定する（ステップＳ６１）。この判定時間ＴｗはＦフレームの時間以上であり、作業場４０１の環境や作業内容などに応じて任意に設定される。
【０１００】
統合処理部１０４は、行動認識部１０３から判定時間Ｔｗの全フレームの要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ６２）。統合処理部１０４は、前記ワークメモリをサーチし、判定時間Ｔｗの全フレームの中から最大の確信度Ｐを有する要素行動を選択する（ステップＳ６３）。
【０１０１】
ここで、第４の実施形態において、統合処理部１０４は、予め要素行動の判定基準として設定された閾値Ｔｈｒｅを有する。この閾値Ｔｈｒｅは、作業場４０１の環境や作業内容などに応じて任意に設定される。
【０１０２】
統合処理部１０４は、前記ステップＳ６３で選択された要素行動の確信度Ｐが閾値Ｔｈｒｅより高いか否かを判断する（ステップＳ６４）。要素行動の確信度Ｐが閾値Ｔｈｒｅより高い場合には（ステップＳ６４のＹｅｓ）、統合処理部１０４は、当該要素行動を対象作業行動として判定し（ステップＳ６５）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ６７）。
【０１０３】
一方、前記ステップＳ６３で選択された要素行動の確信度Ｐが閾値Ｔｈｒｅ以下であった場合には（ステップＳ６４のＮｏ）、統合処理部１０４は、当該要素行動を対象作業行動の可能性ありとして判定する（ステップＳ６６）。
【０１０４】
なお、要素行動の確信度Ｐが閾値Ｔｈｒｅ以下であった場合に対象作業行動ではないと判定しても良い。ただし、ある程度の確信度Ｐを持っていれば、対象作業行動の可能性があるため、可能性ありとして判定することが好ましい。対象作業行動の可能性ありと判定した場合もその対象作業行動の開始時間と持続時間を算出する。また、対象作業行動の可能性ありと判定した場合には、例えば特定の色を付けて認識結果を出力するなど、前記ステップＳ６５で判定した対象作業行動と区別することが好ましい。
【０１０５】
このようにして、統合処理部１０４は、判定時間Ｔｗの全フレームに対して同様の処理を繰り返し、閾値Ｔｈｒｅを基準にして最も確信度Ｐが高い要素行動を対象作業行動として判定し、その要素行動を含むフレームを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ６８）。
【０１０６】
これにより、図８の例であれば、判定時間Ｔｗの間隔（ｔ０〜ｔ３，ｔ３〜ｔ６，ｔ６〜ｔ１１）で要素行動が判定され、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。
【０１０７】
・ｔ０〜ｔ３：要素行動ｂ
・ｔ３〜ｔ６：要素行動ａ
・ｔ６〜ｔ１１：要素行動ｂ
なお、判定時間Ｔｗの中で要素行動ａと要素行動ｂのどちらの確信度Ｐが閾値Ｔｈｒｅ以下であれば、確信度Ｐの高い要素行動が対象作業行動の可能性ありとして選択される。
【０１０８】
このように第４の実施形態によれば、要素行動の確信度Ｐに対する閾値Ｔｈｒｅを条件に加えることで、前記第３の実施形態よりも作業者の一連の行動をより正確に認識することができる。
【０１０９】
（第５の実施形態）
次に、第５の実施形態について説明する。
第５の実施形態では、前記第３の実施形態と同様に、要素行動を判定するための判定時間Ｔｗを有し、その判定時間Ｔｗの間隔で要素行動を判定する。ただし、前記第３の実施形態では、判定時間Ｔｗの中で最大の確信度Ｐを有する要素行動を選択した。これに対し、第５の実施形態では、判定時間Ｔｗの中で時系列順に最大の確信度Ｐを有する要素行動の数をカウントし、そのカウント値が最多の要素行動を選択する点で異なる。
【０１１０】
行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第４の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐを判定時間Ｔｗの間隔で比較し、確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動と判定する機能を有する。以下に、第５の実施形態の処理動作について詳しく説明する。
【０１１１】
図１８は第５の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。
【０１１２】
まず、統合処理部１０４は、要素行動を判定するための時間Ｔｗを設定する（ステップＳ７１）。この判定時間ＴｗはＦフレームの時間以上であり、作業場４０１の環境や作業内容などに応じて任意に設定される。
【０１１３】
統合処理部１０４は、行動認識部１０３から判定時間Ｔｗの全フレームの要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ７２）。
【０１１４】
ここで、第５の実施形態において、統合処理部１０４は、前記ワークメモリをサーチし、判定時間Ｔｗの中で最大の確信度Ｐを有する要素行動の数をカウントする（ステップＳ７３）。このカウント値は、判定時間Ｔｗの間に確信度Ｐが最大になる要素行動の頻度を表している。
【０１１５】
統合処理部１０４は、カウント値が最多の要素行動つまり判定時間Ｔｗの間に確信度Ｐが最大になる頻度が最多の要素行動を選択する（ステップＳ７４）。統合処理部１０４は、この選択された要素行動を対象作業行動として判定し（ステップＳ７５）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ７６）。
【０１１６】
要素行動の開始時間は、その要素行動を含むフレームを基準にして算出される。要素行動の開始時間は最初に要素行動が検知されたとき、判定時間Ｔｗ単位で、要素行動の開始時間を計測する。また、この要素行動の持続時間は、判定時間Ｔｗの中で当該要素行動を含むフレームの持続時間となる。要素行動の連続検知した判定時間Ｔｗの倍数時間となる。例えば、連続して３回判定時間Ｔｗ内に要素行動として検知されたとき、持続時間は３×Ｔｗとなる。
【０１１７】
このようにして、統合処理部１０４は、判定時間Ｔｗの全フレームに対して同様の処理を繰り返し、確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動として判定し、その要素行動を含むフレームを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ７７）。
【０１１８】
これにより、図８の例であれば、判定時間Ｔｗの間隔（ｔ０〜ｔ３，ｔ３〜ｔ６，ｔ６〜ｔ１１）で要素行動が判定され、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。
【０１１９】
・ｔ０〜ｔ３：要素行動ｂ
・ｔ３〜ｔ６：要素行動ａ
・ｔ６〜ｔ１１：要素行動ａ
【０１２０】
このように第５の実施形態によれば、要素行動を判定するための判定時間Ｔｗを設定しておき、その判定時間Ｔｗの間隔で確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動として判定する。これにより、例えば画像にノイズが入りやすい作業環境であった場合に、ノイズによる判定誤差を防いで作業者２０２の行動を正しく認識することができる。また、作業者が瞬間的にイレギュラーな行動を取った場合にも対応できる。特に、第５の実施形態では、確信度Ｐが最大になる頻度に基づいて要素行動を判定しているため、第３の実施形態よりもノイズやイレギュラーな行動による判定誤差を防いで、より正しい認識結果を得ることができる。
【０１２１】
（第６の実施形態）
次に、第６の実施形態について説明する。
第６の実施形態では、前記第５の実施形態において、確信度Ｐが閾値Ｔｈｒｅよりも高いことを条件に加えて統合処理を行うようにしたものである。
【０１２２】
行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第６の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐを判定時間Ｔｗの間隔で比較し、確信度Ｐが閾値Ｔｈｒｅよりも高く、かつ、確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動と判定する機能を有する。以下に、第６の実施形態の処理動作について詳しく説明する。
【０１２３】
図１９は第６の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。
【０１２４】
前記第５の実施形態と同様に、まず、統合処理部１０４は、要素行動を判定するための時間Ｔｗを設定する（ステップＳ８１）。この判定時間ＴｗはＦフレームの時間以上であり、作業場４０１の環境や作業内容などに応じて任意に設定される。
【０１２５】
統合処理部１０４は、行動認識部１０３から判定時間Ｔｗの全フレームの要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ８２）。ここで、第６の実施形態において、統合処理部１０４は、予め要素行動の判定基準として設定された閾値Ｔｈｒｅを有する。この閾値Ｔｈｒｅは、作業場４０１の環境や作業内容などに応じて任意に設定される。
【０１２６】
統合処理部１０４は、前記ワークメモリをサーチし、判定時間Ｔｗの中で閾値Ｔｈｒｅより大きく、かつ、最大の確信度Ｐを有する要素行動の数をカウントする（ステップＳ８３）。このカウント値は、判定時間Ｔｗの間に閾値Ｔｈｒｅより大きく、確信度Ｐが最大になる要素行動の頻度を表している。
【０１２７】
統合処理部１０４は、カウント値が最多の要素行動つまり判定時間Ｔｗの間に閾値Ｔｈｒｅより大きく、確信度Ｐが最大になる頻度が最多の要素行動を選択する（ステップＳ８４）。統合処理部１０４は、この選択された要素行動を対象作業行動として判定し（ステップＳ８５）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ８６）。
【０１２８】
このようにして、統合処理部１０４は、判定時間Ｔｗの全フレームに対して同様の処理を繰り返し、閾値Ｔｈｒｅより大きく、確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動として判定し、その要素行動を含むフレームを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ８７）。
【０１２９】
これにより、図８の例であれば、判定時間Ｔｗの間隔（ｔ０〜ｔ３，ｔ３〜ｔ６，ｔ６〜ｔ１１）で要素行動が判定され、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。
【０１３０】
・ｔ０〜ｔ３：要素行動ｂ
・ｔ３〜ｔ６：要素行動ａ
・ｔ６〜ｔ１１：要素行動ａ
【０１３１】
このように第６の実施形態によれば、要素行動の確信度Ｐに対する閾値Ｔｈｒｅを条件に加えることで、例えばノイズの多い作業環境において、前記第５の実施形態よりも作業者の一連の行動をより正確に認識することができる。
【０１３２】
（各実施形態の組み合わせ）
上述した各実施形態で説明した手法は、作業環境などに応じて適宜切り替えて使用することができる。この場合、行動認識装置１００に全実施形態に対応した各機能を組み込んでおき、状況に応じて選択できるようにしておくことでも良い。「状況に応じて」とは、例えば、工場などでラインの製造物が変わることなどが含まれる。
各機能の切り替え方法としては、例えば監視者が行動認識装置１００に備えられた図示せぬモードスイッチを操作して各機能を切り替えても良い。また、例えば照明光による影響、人混みによる影響など、映像にノイズが入りやすい環境を検知するセンサを用い、そのセンサの信号に基づいて各機能を切り替えることでも良い。
【０１３３】
なお、前記各実施形態は、以下のような使い分けができる。
・行動認識の確信度が低くても、認識結果を出力する必要がある場合。つまり、要素行動の開始時間、持続時間をより細かい時間単位（例えば１／３０秒）で出力したい場合に第１実施形態を採用する。
・細かい時間単位で確実に認識結果を出力したい場合に第２の実施形態を採用する。
・細かい時間単位で認識結果を出力する必要がなく、判定時間Ｔｗの時間単位で確信度Ｐの最大値を重視して認識結果を出力したい場合に第３の実施形態を採用する。
・細かい時間単位で認識結果を出力する必要がなく、判定時間Ｔｗの時間単位で確信度Ｐの最大値を重視して、第３の実施形態よりも的確な認識結果を出力したい場合に第４の実施形態を採用する。
・細かい時間単位で認識結果を出力する必要がなく、判定時間Ｔｗ内で確信度Ｐの最大値が発生する頻度を重視して認識結果を出力する場合に第５の実施形態を採用する。
・細かい時間単位で認識結果を出力する必要がなく、判定時間Ｔｗ内で確信度Ｐの最大値が発生する頻度を重視して、第５の実施形態よりも的確な認識結果を出力したい場合に第６の実施形態を採用する。
【０１３４】
（システム構成）
図２０は上述した行動認識装置１００を用いた行動認識システムの一例を示す図である。
【０１３５】
行動認識装置１００は、情報処理装置３０１の中に組み込まれている。情報処理装置３０１は、作業場２０１の中に設置されていても良いし、作業場２０１以外の場所に設置されていても良い。作業場２０１には動画撮影可能なカメラ２０３が設置されており、作業場２０１で作業中の作業者２０２を撮影する。カメラ２０３で撮影された映像（動画）は、有線あるいは無線で情報処理装置３０１に送られ、Ｉ／Ｆ（インターフェイス）３０２を介して行動認識装置１００に与えられる。
【０１３６】
行動認識装置１００は、上述した第１乃至第６の実施形態で説明した手法により作業者２０２の作業行動を認識する。情報処理装置３０１は、行動認識装置１００の認識結果を例えば図示せぬ表示装置に所定の形式で表示する。さらに、情報処理装置３０１は、行動認識装置１００の認識結果をインターネット等の通信ネットワーク３０３を介して外部の監視装置３０４に送ることでも良い。
【０１３７】
（カメラのハードウェア構成）
図２１はカメラ２０３のハードウェア構成の一例を示す図である。
【０１３８】
被写体光は、撮影光学系１を通してＣＣＤ（Charge Coupled Device）３に入射される。撮影光学系１とＣＣＤ３との間は、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することができる。なお、撮影光学系１及びメカシャッタ２は、モータドライバ６より駆動される。
【０１３９】
ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。
【０１４０】
画像処理回路８は、画像データを一時格納するＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２を用いて、ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路８は、信号処理や画像処理が施された画像情報をＬＣＤ(Liquid Crystal Display)１６に表示する。
【０１４１】
また、信号処理、画像処理が施された画像情報は、圧縮伸張回路１３を介してメモリカード１４に記録される。圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力するとともに、メモリカード１４から読み出した画像情報を伸張して画像処理回路８に出力する回路である。
【０１４２】
また、ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号を発生するタイミング信号発生器７を介してＣＰＵ９によってタイミングが制御されている。さらに、画像処理回路８、圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。
【０１４３】
カメラ２０３には、プログラムに従って各種演算処理を行うＣＰＵ９が備えられている。また、カメラ２０３には、プログラムなどを格納したＲＯＭ１１及び各種の処理過程で利用するワークエリア、各種データを格納するＲＡＭ１０などを備え、これらがバスラインによって相互接続されている。
【０１４４】
（行動認識装置のハードウェア構成）
図２２は行動認識装置１００のハードウェア構成の一例を示す図である。
【０１４５】
行動認識装置１００は、ＣＰＵ２１、不揮発性メモリ２２、主メモリ２３、通信デバイス２４等を備える。
【０１４６】
ＣＰＵ２１は、行動認識装置１００内の様々なコンポーネントの動作を制御するハードウェアプロセッサである。ＣＰＵ２１は、ストレージデバイスである不揮発性メモリ２２から主メモリ２３にロードされる様々なプログラムを実行する。
【０１４７】
ＣＰＵ２１によって実行されるプログラムには、オペレーティングシステム（ＯＳ）の他に、図１２乃至図１９のフローチャートに示した各種処理を実行するためのプログラム（以下、行動認識処理プログラムと称す）等が含まれる。また、ＣＰＵ２１は、例えばハードウェア制御のためのプログラムである基本入出力システム（ＢＩＯＳ）等も実行する。
【０１４８】
図１に示した画像取得部１０１、時空間特徴抽出部１０２、行動認識部１０３、辞書作成部１０５、統合処理部１０４、認識結果出力部１０６の一部または全ては、ＣＰＵ２１（コンピュータ）に行動認識処理プログラムを実行させることで実現される。
【０１４９】
この行動認識処理プログラムは、コンピュータが読み取り可能な記録媒体に格納して頒布されても良いし、またはネットワークを通じて行動認識装置１００にダウンロードされても良い。
【０１５０】
ＣＰＵ２１は、この行動認識プログラムを読み込みことで、前記各実施形態のそれぞれに対応した各種処理を実行する。例えば、ＣＰＵ２１は、Ｆフレームの時空間画像データから抽出された各特徴点をＫ種類の要素行動に分類して、それぞれにヒストグラムＴ（ｋ）を作成する。ＣＰＵ２１は、各特徴点のヒストグラムＴ（ｋ）と行動認識辞書１０５ａに登録された各特徴点のヒストグラムＨ（ｋ）との類似度Ｓ（Ｔｓ，Ｈ）を求め、この類似度Ｓ（Ｔｓ，Ｈ）を各要素行動の確信度Ｐとして算出する。ＣＰＵ２１は、各要素行動の確信度Ｐを統合処理して、作業者２０２の一連の行動を時系列順に区分けして判定し、それぞれの行動の開始時間と持続時間を認識結果として出力する。
【０１５１】
なお、図１に示した画像取得部１０１、時空間特徴抽出部１０２、行動認識部１０３、辞書作成部１０５、統合処理部１０４、認識結果出力部１０６の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、当該ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。通信デバイス２４は、例えば有線または無線による外部の装置との通信を実行するように構成されたデバイスである。
【０１５２】
以上のように少なくとも１つの実施形態によれば、作業者が作業しているときの一連の行動を高精度に認識することができる。特に、各フレーム画像の特徴的変化から抽出された各要素行動の確信度を所定時間単位で比較して作業者の作業行動を判定するといった手法により、例えば複数の要素行動が時間的に重なるような状況であっても、最も確からしい要素行動を認識結果として出力することができる。これに対し、例えば各フレーム画像で人物の重心軌跡を追うような手法では、複数の要素行動が時間的に重なるような状況で作業者の作業行動を正しく認識することはできない。
【０１５３】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１５４】
１００…行動認識装置、１０１…画像取得部、１０２…時空間特徴抽出部、１０３…行動認識部、１０４…統合処理部、１０４ａ…行動判定部、１０４ｂ…行動時間算出部、１０５…辞書作成部、１０５ａ…行動認識辞書、１０６…認識結果出力部、２０１…作業場、２０２…作業者、２０３…カメラ、２０４…箱、３０１…情報処理装置、３０２…Ｉ／Ｆ、３０３…通信ネットワーク、３０４…監視装置、２１…ＣＰＵ、２２…不揮発性メモリ、２３…主メモリ、２４…通信デバイス。
【先行技術文献】
【特許文献】
【０１５５】
【特許文献１】特開２０１１−１００１７５号公報
【図１】
2020087312.tif 000011
【図２】
2020087312.tif 000012
【図３】
2020087312.tif 000013
【図４】
2020087312.tif 000014
【図５】
2020087312.tif 000015
【図６】
2020087312.tif 000016
【図７】
2020087312.tif 000017
【図８】
2020087312.tif 000018
【図９】
2020087312.tif 000019
【図１０】
2020087312.tif 000020
【図１１】
2020087312.tif 000021
【図１２】
2020087312.tif 000022
【図１３】
2020087312.tif 000023
【図１４】
2020087312.tif 000024
【図１５】
2020087312.tif 000025
【図１６】
2020087312.tif 000026
【図１７】
2020087312.tif 000027
【図１８】
2020087312.tif 000028
【図１９】
2020087312.tif 000029
【図２０】
2020087312.tif 000030
【図２１】
2020087312.tif 000031
【図２２】
2020087312.tif 000032