(57)【要約】【課題】左右の手の判定を正確に行うことを目的とする。【解決手段】撮影画像において、人物領域を抽出する人物抽出手段と、人物領域に基づいて、手領域を抽出する手抽出手段と、手領域以外の人物領域と、手領域と、の位置関係から、人物の向きを特定する向き特定手段と、人物の向きに基づいて、手領域の左右を判定する左右判定手段とを有する。【選択図】図４
2019191736.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像において、人物領域を抽出する人物抽出手段と、
前記人物領域に基づいて、手領域を抽出する手抽出手段と、
前記手領域以外の前記人物領域と、前記手領域と、の位置関係から、人物の向きを特定する向き特定手段と、
前記人物の向きに基づいて、前記手領域の左右を判定する左右判定手段と
を有することを特徴とする判定装置。
【請求項２】
前記人物領域に基づいて、頭部領域を抽出する頭部抽出手段をさらに有し、
前記向き特定手段は、前記頭部領域と前記手領域との位置関係に基づいて、人物の向きを特定することを特徴とする請求項１に記載の判定装置。
【請求項３】
前記向き特定手段は、前記頭部領域と前記手領域との距離に基づいて、人物の向きを特定することを特徴とする請求項２に記載の判定装置。
【請求項４】
前記向き特定手段は、前記頭部領域と前記手領域との距離が閾値以上の場合に、前記手領域側を人物の前方向と特定することを特徴とする請求項３に記載の判定装置。
【請求項５】
前記人物領域の大きさに基づいて、前記閾値を決定する閾値決定手段をさらに有することを特徴とする請求項４に記載の判定装置。
【請求項６】
前記人物領域の中央を基準として分割された各領域における前記手領域の存在する時間を計測する計測手段をさらに有し、
前記向き特定手段は、前記計測手段による計測結果に基づいて、人物の向きを特定することを特徴とする請求項１に記載の判定装置。
【請求項７】
撮影画像に基づいて、物体領域を抽出する物体抽出手段をさらに有し、
前記向き特定手段は、前記手領域と物体領域とが重なった場合に、前記物体領域側を人物の前方向と特定することを特徴とする請求項１に記載の判定装置。
【請求項８】
前記左右判定手段による判定結果の尤度を特定する尤度特定手段をさらに有することを特徴とする請求項１乃至７の何れか１項に記載の判定装置。
【請求項９】
一連の撮影画像に含まれる第１の撮影画像において、前記左右判定手段による判定結果が得られている場合に、前記判定結果に基づいて、一連の撮影画像に含まれる第２の撮影画像における手領域の左右を推定する推定手段をさらに有することを特徴とする請求項１乃至８の何れか１項に記載の判定装置。
【請求項１０】
前記左右判定手段による判定結果に基づいて、特定の作業を行っているか否かを判定する作業判定手段をさらに有することを特徴とする請求項１乃至９の何れか１項に記載の判定装置。
【請求項１１】
前記作業判定手段は、左右のうち予め定められた一方の手領域が特定の位置に接触した場合に、特定の作業を行っていると判定することを特徴とする請求項１０に記載の判定装置。
【請求項１２】
被写体人物の利き手の情報に基づいて、前記一方の手領域を決定する左右決定手段をさらに有することを特徴とする請求項１１に記載の判定装置。
【請求項１３】
撮影画像において、人物領域を抽出する人物抽出ステップと、
前記人物領域に基づいて、手領域を抽出する手抽出ステップと、
前記手領域以外の前記人物領域と、前記手領域と、の位置関係から、人物の向きを特定する向き特定ステップと、
前記人物の向きに基づいて、前記手領域の左右を判定する左右判定ステップと
を含むことを特徴とする判定方法。
【請求項１４】
コンピュータを、請求項１乃至１２の何れか１項に記載の判定装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判定装置、判定方法及びプログラムに関する。
【背景技術】
【０００２】
従来、様々な場面において、画像中の人物の手部分を抽出し、その手が左右どちらであるかを判断する手法、及びその結果に基づいて様々な処理を行う手法が提案されている。特許文献１には、映像中の手の指の配置に基づいて左右どちらの手であるかを判断し、その結果に基づいて車載装置の操作を制御する技術が開示されている。特許文献２には、人物が画像中央にいると仮定した上で背景画像と撮像画像の差分から操作者の肘位置を推定し、その位置を基に手の左右を判断する技術が開示されている。特許文献３には、左右の手のテンプレート画像を用意し、撮像画像中でのテンプレートマッチングにより左右どちらの手であるかを判断する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２２１９６０号公報
【特許文献２】特開２００６−１１９６５号公報
【特許文献３】国際公開２０１１／１５８５１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、状況によっては正しく左右の手の判断を正確に行うことができない場合があるという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、左右の手の判定を正確に行うことを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、判定装置であって、撮影画像において、人物領域を抽出する人物抽出手段と、前記人物領域に基づいて、手領域を抽出する手抽出手段と、前記手領域以外の前記人物領域と、前記手領域と、の位置関係から、人物の向きを特定する向き特定手段と、前記人物の向きに基づいて、前記手領域の左右を判定する左右判定手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、左右の手の判定を正確に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る撮像システムの全体図である。
【図２】サーバ装置のハードウェア構成図である。
【図３】サーバ装置の機能構成図である。
【図４】判定処理を示すフローチャートである。
【図５】Ｓ４０９〜Ｓ４１１の処理の説明図である。
【図６】作業の様子を示す図である。
【図７】頭手間距離と重みの関係を示すグラフを示す図である。
【図８】分割処理の説明図である。
【図９】判定処理を示すフローチャートである。
【図１０】存在割合の一例を示す図である。
【図１１】サーバ装置の機能構成図である。
【図１２】判定処理を示すフローチャートである。
【図１３】作業の様子を示す図である。
【図１４】尤度と重みを示す図である。
【図１５】作業判定処理の説明図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、第１の実施形態に係る撮像システムの全体図である。撮像システムは、サーバ装置１００と、撮像装置１１０とを有している。サーバ装置１００は、撮像装置１１０によって取得された画像（映像）を対象に作業者の手領域を抽出し、左右の手の判定を行う判定装置の一例である。本実施形態においては、図１に示すように作業者Ｐが物体Ｑの組み立て等の作業を行っている状況を撮像装置１１０が撮影するものとする。撮像装置１１０は、作業者Ｐの上部に設定されているものとする。
【００１０】
図２は、サーバ装置１００のハードウェア構成図である。ＣＰＵ２０１は、ＲＡＭ２０６やＲＯＭ２０７に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ２０１は、サーバ装置１００全体の動作制御を行うと共に、サーバ装置１００が行うものとして後述する各処理を実行若しくは制御する。入力装置２０２は、ボタン群などのユーザインターフェースであり、ユーザが操作することで各種の入力をサーバ装置１００に対して行うことができる。出力装置２０３は、液晶画面やスピーカなどにより構成されており、ＣＰＵ２０１による処理結果を表示したり音声出力したりすることができる。なお、入力装置２０２によるユーザインターフェース機能と出力装置２０３による表示機能とを組み合わせてタッチパネル画面を構成しても構わない。
【００１１】
通信装置２０４は、サーバ装置１００の外部からのデータの入出力を受け付けるためのＵＳＢポート、ＬＡＮポートなどのインターフェースにより構成されている。映像データを取得するための撮像装置１１０や、映像データを記録したメディア、本装置により計測された作業時間を記録するためのメディア等が通信装置２０４に接続され、処理対象データの入出力が行われる。
【００１２】
記憶装置２０５は、ハードディスクドライブ装置やフラッシュメモリなどにより構成されている。記憶装置２０５には、ＯＳ（オペレーティングシステム）や、サーバ装置１００が行うものとして後述する各処理をＣＰＵ２０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。以降の説明において、処理に用いる映像データや計測された作業時間データの登録先は記憶装置２０５となる。記憶装置２０５に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０６にロードされ、ＣＰＵ２０１による処理対象となる。なお、後述するサーバ装置１００の機能や処理は、ＣＰＵ２０１がＲＯＭ２０７又は記憶装置２０５に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１３】
ＲＡＭ２０６は、記憶装置２０５からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にＲＡＭ２０６は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０６は、各種のエリアを適宜提供することができる。ＲＯＭ２０７には、サーバ装置１００の設定データや起動プログラムなど、書き換え不要なコンピュータプログラムやデータが保存されている。ＣＰＵ２０１、入力装置２０２、出力装置２０３、通信装置２０４、記憶装置２０５、ＲＡＭ２０６、ＲＯＭ２０７は何れもバス（ＢＵＳ）２０８に接続されている。
【００１４】
図３は、サーバ装置１００の機能構成図である。人物抽出部３０１は、映像内に存在する人物の抽出を行う。手抽出部３０２は、人物抽出部３０１で抽出された人物領域から手領域を１つ乃至２つ抽出する。手領域の抽出には、距離情報とともに色情報も利用される。左右判定部３０３は、手抽出部３０２で抽出された手領域がそれぞれ左右いずれの手の領域であるかを判定する。
【００１５】
図４は、サーバ装置１００による判定処理を示すフローチャートである。まず、Ｓ４０１において、ＣＰＵ２０１は、撮像装置１１０によって取得された動画像のフレーム画像を、通信装置２０４を通して取得する。ＣＰＵ２０１は、ここで、カラー画像と距離画像を取得する。なお、撮像装置１１０による撮影は、記憶装置２０５に記憶された撮影パラメータに従って行われる。この動画像は、ストリーミング形式で逐次処理される。また、他の例としては、ＣＰＵ２０１は、取得した動画像を記憶装置２０５に記録し、一定時間毎に処理を行ってもよい。
【００１６】
次に、Ｓ４０２において、ＣＰＵ２０１は、Ｓ４０１で取得したフレーム画像が最終フレームか否かを判定する。ＣＰＵ２０１は、最終フレームの場合には（Ｓ４０２でＹＥＳ）、これ以上処理する対象が存在しないため、判定処理を終了する。ＣＰＵ２０１は、最終フレームでない場合には（Ｓ４０２でＮＯ）、処理をＳ４０３へ進める。
【００１７】
Ｓ４０３において、人物抽出部３０１は、フレーム画像中から人物領域を抽出する。人物抽出部３０１は、Ｓ４０１で取得したカラー画像及び距離画像の双方のフレーム画像を用いて処理を行う。具体的には、人物抽出部３０１は、まず、予め用意しておいた人物の存在しない背景画像とフレーム画像との差分を取り、大まかに人物領域を取る。次に、人物抽出部３０１は、色情報や抽出された領域のサイズ情報を参照し、サイズが極端に小さい等明らかに人物ではない領域を除いた領域を人物として抽出する。
【００１８】
次に、Ｓ４０４において、手抽出部３０２は、Ｓ４０３で抽出された人物領域を対象に手領域の抽出を行う。具体的には、手抽出部３０２は、撮像範囲内に人物よりも高いものはないと仮定し、Ｓ４０３で抽出した人物領域中で一番高い、つまり距離値が一番小さい画素とその周辺の領域を頭部と推定する。次に、手抽出部３０２は、頭部と推定された領域近傍を削除し、残った領域と頭部領域との平面距離を計算する。図１に示す撮影環境では、作業中に頭部から平面距離で一番離れているのは手領域であると考えられるので、手抽出部３０２は、残った領域のうち平面距離が一番目と二番目に離れている領域を手領域であると推測し、抽出する。
【００１９】
次に、Ｓ４０５において、左右判定部３０３は、Ｓ４０４で手領域を２つ抽出したか否かを判定する。作業中に、周囲のものや作業者自体の陰になって片手または両手ともに画像中に現れないことがある。このような場合には手の左右を判定することが困難であるため、このステップで処理を分ける。左右判定部３０３は、手領域が２つ抽出された場合には（Ｓ４０５でＹＥＳ）、処理をＳ４０６へ進める。左右判定部３０３は、手領域が１つのみ抽出された場合には（Ｓ４０５でＮＯ、Ｓ４１３でＹＥＳ）、処理をＳ４１４へ進める。左右判定部３０３は、手領域が抽出されなかった場合には（Ｓ４０５でＮＯ、Ｓ４１３でＮＯ）、判定処理を終了する。
【００２０】
Ｓ４０６において、左右判定部３０３は、前フレームで既に手の左右が判定できていたか否かを判定する。フレーム単位で処理をしていれば、フレーム間で手の位置が大きく変化する可能性は低い。したがって、新たに左右の判定を行うよりも、以前のフレームの情報をそのまま反映した方が、判定し直すよりも判定精度が高く、また計算コストも低くなると考えられる。左右判定部３０３は、判定できている場合には（Ｓ４０６でＹＥＳ）、処理をＳ４０７へ進める。左右判定部３０３は、判定できていない場合には（Ｓ４０６でＮＯ）、処理をＳ４０９へ進める。Ｓ４０７において、左右判定部３０３は、前フレームの左右それぞれの手の位置の近傍に現れた現フレームの手領域に、前フレームの左右判定情報を反映させる。左右判定部３０３は、その後処理をＳ４０８へ進める。Ｓ４０８において、ＣＰＵ２０１は、処理対象を次のフレームに変更し、その後処理をＳ４０１へ進める。なお、Ｓ４０７の処理は、一連の撮影画像に含まれる第１の撮影画像における左右の手の判定結果に基づいて、第２の撮影画像の左右の手を推定する推定処理の一例である。
【００２１】
一方、Ｓ４０９において、左右判定部３０３は、まず頭部領域を抽出する。本処理は、頭部抽出処理の一例である。そして、左右判定部３０３は、頭部と手の間の頭手間距離を求める。次に、Ｓ４１０において、左右判定部３０３は、頭手間距離と閾値を比較する。ここで、頭手間距離は、ユーザ操作に応じて予め設定されているものとする。左右判定部３０３は、頭手間距離が閾値よりも大きい場合には（Ｓ４１０でＹＥＳ）、処理をＳ４１１へ進める。左右判定部３０３は、頭手間距離が閾値以下の場合には（Ｓ４１０でＮＯ）、処理をＳ４０８へ進める。Ｓ４１１において、左右判定部３０３は、手の方向を前方向として人物の方向を特定する。次に、Ｓ４１２において、左右判定部３０３は、前方向を基準として左の手領域側を左手、右の手領域側を右手と判定する。左右判定部３０３は、その後処理をＳ４０８進める。
【００２２】
図５は、Ｓ４０９〜Ｓ４１１の処理の説明図である。フレーム画像５００は、作業者が前方向に手を伸ばし作業を行っている様子の撮影図である。一方、フレーム画像５１０は、作業者が背伸びをしている様子の撮影図である。左右判定部３０３は、フレーム画像５００において、作業者の頭部５０１と作業者の右手５０２と左手５０３のバウンディングボックス５０４を求め、バウンディングボックス５０４の位置を手の位置として特定する。そして、手の位置と頭の位置の間の頭手間距離５０５を算出する。左右判定部３０３は、フレーム画像５１０についても同様の処理により作業者の頭部５１１とバウンディングボックス５１２の間の頭手間距離５１３を算出する。
【００２３】
人間は通常の作業をしている場合、体の前方の方が後方よりも腕を動かす範囲が広い。このことを利用し、本実施形態のサーバ装置１００においては、上述のように頭手間距離の閾値を設定し、頭手間距離が閾値よりも長い場合に、手の方向を前方向として特定することとした。すなわち、左右判定部３０３は、頭手間距離が閾値よりも大きい場合には、手の方向を前方向として特定する。なお、他の例としては、左右判定部３０３は、頭手間距離が閾値以下の場合には、手の方向と逆の方向を前方向と推定してもよい。なお、Ｓ４０９〜Ｓ４１１の処理は、手領域以外の人物領域としての頭部領域と手領域の間の位置関係に基づいて、人物の向きを特定する向き特定処理の一例である。
【００２４】
図４に戻り、Ｓ４１４において、左右判定部３０３は、前フレームで既に手の左右が判定できていたか否かを判定する。本処理は、Ｓ４０６の処理と同様である。左右判定部３０３は、判定できている場合には（Ｓ４１４でＹＥＳ）、処理をＳ４１５へ進める。左右判定部３０３は、判定できていない場合には（Ｓ４１４でＮＯ）、処理をＳ４０８へ進める。Ｓ４１５において、左右判定部３０３は、前フレームの左右それぞれの手の位置の近傍に現れた現フレームの手領域に、前フレームの左右判定情報を反映させる。本処理は、Ｓ４０７の処理と同様である。
【００２５】
以上のように、判定処理において、作業者の頭部と手領域の位置関係を利用して作業者の向いている方向を推定することができる。これにより、作業者の手領域の左右判定を行うことができる。図６に示すように、作業者Ｐが作業台６００において物体６０１の作業を行うだけでなく、映像中の他の場所６１０，６２０に移動して作業を行うことがある。本実施形態のサーバ装置１００は、このように作業場所を移動することで、作業者Ｐの位置や向きが変化する場合においても、正確に左右の手を判定することができる。さらに、作業者Ｐが作業台６００の前に位置しつつ後ろを向いたような場合でも、作業者Ｐの向きを判定した上で左右の手を判定するため、正確に左右の手を判定することができる。
【００２６】
第１の実施形態の第１の変形例としては、サーバ装置１００は、方向の判定結果だけでなく、尤度を求め、この尤度に基づいて、左右の判定結果についても尤度を求めてもよい。本処理は、尤度特定処理の一例である。
【００２７】
また、第２の変形例としては、サーバ装置１００は、頭手間距離に応じた重みを算出し、重みに従って左右の判定結果の尤度を求めてもよい。図７に示すグラフは、頭手間距離と重みの関係を示している。なお、図９に示すグラフは、２次関数を模したものであるが、頭手間距離が長くなる程重みが大きくなるような関係であればよく、図９のグラフの関係に限定されるものではない。他の例としては、例えば１次関数やステップ関数等で表されるような関係であってもよい。
【００２８】
また、第３の変形例としては、Ｓ４１０において頭手間距離と比較される閾値は、サーバ装置１００が、人物領域の大きさに基づいて決定してもよい。例えば、予め作業者の腕の長さと頭部の大きさを測り、サーバ装置１００に登録しておく。そして、サーバ装置１００は、画像に映っている頭部の大きさから画像上で腕が到達する範囲を算出し、算出した範囲に基づいて閾値を決定する。さらに、サーバ装置１００は、複数のフレームの推定の累積値を用いてもよい。これにより、１フレームだけで推定することに起因したミスを防ぐことができる。本処理は、閾値決定処理の一例である。
【００２９】
第４の変形例としては、サーバ装置１００は、例えば誤検知が起こりやすい特定の作業を行うタイミング等、特定のタイミングにおいてのみ、左右の手の検出を行うこととしてもよい。
【００３０】
（第２の実施形態）
次に、第２の実施形態に係る撮像システムについて、第１の実施形態に係る撮像システムと異なる点を主に説明する。第２の実施形態に係るサーバ装置１００は、頭手間距離に替えて、手領域の存在する位置の時間的な統計値に基づいて、左右の手の判定を行う。サーバ装置１００の左右判定部３０３は、図８に示すようにフレーム画像８００において、作業者８０１の中央の位置を中心に、作業者８０１の周囲の領域を４つの領域Ａ，Ｂ、Ｃ、Ｄに分割する。なお、左右判定部３０３は、作業者８０１を基準として領域を分割すればよく、その数は、実施形態に限定されるものではない。
【００３１】
図９は、第２の実施形態に係るサーバ装置１００による判定処理を示すフローチャートである。Ｓ９０１〜Ｓ９０４の処理は、それぞれ図４を参照しつつ説明したＳ４０１〜Ｓ４０４の処理と同様である。Ｓ９０４の処理の後、Ｓ９０５において、左右判定部３０３は、手領域が分割により得られた４つの領域８１１〜８１４のいずれの領域に属するかを特定する。次に、Ｓ９０６において、左右判定部３０３は、一定フレーム数について、属する領域を特定する処理を行ったか否かを判定する。左右判定部３０３は、一定フレーム数の処理が完了した場合には（Ｓ９０６でＹＥＳ）、処理をＳ９０７へ進める。左右判定部３０３は、一定フレーム数の処理が完了していない場合には（Ｓ９０６でＮＯ）、処理をＳ９１０へ進める。Ｓ９１０において、ＣＰＵ２０１は、処理対象を次のフレームに変更し、その後処理をＳ９０１へ進める。
【００３２】
Ｓ９０７において、左右判定部３０３は、一定フレーム数についての、属する領域の集計を行い、各領域における存在割合を算出する。次に、Ｓ９０８において、左右判定部３０３は、存在割合が高い２つの領域を人物の前の方向として特定する。ここで、Ｓ９０７の処理は、手が領域に存在する時間を計測する計測処理の一例であり、Ｓ９０８の処理は、計測結果に基づいて、人物の向きを特定する向き特定処理の一例である。次に、Ｓ９０９において、左右判定部３０３は、前方向を基準として左側の手領域を左手、右側の手領域を右手と判定する。本処理は、Ｓ４１２の処理と同様である。ＣＰＵ２０１は、Ｓ９０９の処理の後処理をＳ９１０へ進める。図１０は、存在割合の一例を示す図である。図１０に示す集計結果においては、領域Ｃ、Ｄの方向が前領域として特定される。
【００３３】
人間は通常の作業をしている場合、体の前方で何かしらの作業を行う時間が長いと考えられる。本実施形態のサーバ装置１００は、このことを利用して集計情報から被写体人物の向きを推定する。また、一定時間が経過するまで左右判定を行わないので、処理開始初期など各領域の存在時間に差がないと考えられるときに推定に失敗する可能性が高いためである。なお、第２の実施形態に係る撮像システムのこれ以外の構成及び処理は、第１の実施形態に係る撮像システムの構成及び処理を同様である。
【００３４】
以上のように、第２の実施形態の撮像システムでは、動画像から、手領域の存在する領域の時間的な割合を集計し、集計結果から左右の手の判定を行うことができる。
【００３５】
第２の実施形態の第１の変形例としては、サーバ装置１００は、さらに、存在割合に基づいて、尤度を求めてもよい。
【００３６】
また、第２の変形例としては、サーバ装置１００は、何かしらの理由で作業が中断、停止するなどして動きがない、もしくは作業と関係ない動きをしている際には、その情報を手動もしくは外部センサ等から入力し、その間は集計を中断してもよい。
【００３７】
（第３の実施形態）
次に、第３の実施形態に係る撮像システムについて、第１の実施形態に係る撮像システムと異なる点を主に説明する。第３の実施形態に係るサーバ装置１００は、作業において使用される物体と手の関係を利用して、左右の手の判定を行う。
【００３８】
図１１は、第３の実施形態に係るサーバ装置１００の機能構成図である。サーバ装置１００は、第１の実施形態に係るサーバ装置１００の機能構成に加えて、物体特定部１１０１と、接触判定部１１０２とを有している。物体特定部１１０１は、フレーム画像において、予め定められた物体で、作業に用いられる物体の位置を特定する。以下、この物体を特定物体と称する。特定物体としては、例えばドライバ等が挙げられる。特定物体の位置を特定するための方法としては、例えばテンプレートマッチングが挙げられる。また、他の例としては、局所特徴量や機械学習を用いた手法が挙げられる。また、他の例としては、特定物体にマーカ等識別できるような情報を添付しておき、その情報を利用してもよい。接触判定部１１０２は、フレーム画像に基づいて、特定物体と手領域との接触を判定する。
【００３９】
図１２は、第３の実施形態に係るサーバ装置１００による判定処理を示すフローチャートである。Ｓ１２０１〜Ｓ１２０４の処理は、それぞれ図４を参照しつつ説明したＳ４０１〜Ｓ４０４の処理と同様である。Ｓ１２０４の処理の後、Ｓ１２０５において、物体特定部１１０１は、フレーム画像において、特定物体の位置を特定する。本処理は、物体領域を抽出する物体抽出処理の一例である。次に、Ｓ１２０６において、接触判定部１１０２は、手が特定物体に接触しているか否かを判定する。図１３に示すように、作業者Ｐが特定物体としてのドライバ１３００を手に取った場合には、接触していると判定される。接触判定部１１０２は、具体的には、手領域と特定物体の領域とが重複又は隣接している場合に、両者が接触していると判定する。
【００４０】
接触判定部１１０２は、接触している場合には（Ｓ１２０６でＹＥＳ）、処理をＳ１２０７へ進める。接触判定部１１０２は、接触していない場合には（Ｓ１２０６でＮＯ）、処理をＳ１２０９へ進める。Ｓ１２０９において、ＣＰＵ２０１は、処理対象を次のフレームに変更し、その後処理をＳ９０１へ進める。
【００４１】
Ｓ１２０７において、左右判定部３０３は、接触が特定された方向を人物の前方向として特定する。本処理は、物体領域側を人物の前方向として特定する向き特定処理の一例である。次に、Ｓ１２０８において、左右判定部３０３は、前方向を基準として左側の手領域を左手、右側の手領域を右手と判定する。本処理は、Ｓ４１２の処理と同様である。ＣＰＵ２０１は、Ｓ１２０８の処理の後処理をＳ１２０９へ進める。
【００４２】
人間は通常の作業をしている場合、作業に使う道具を取得する際にはその道具の方を向く。少なくとも、背後にあるものに対して振り返らずに手を伸ばす可能性は非常に低い。本実施形態のサーバ装置１００は、このことを利用して特定物体の接触が特定された方向を被写体人物の向きと推定する。なお、第３の実施形態に係る撮像システムのこれ以外の構成及び処理は、他の実施形態に係る撮像システムの構成及び処理と同様である。
【００４３】
以上のように、第３の実施形態の撮像システムでは、動画像から特定物体を抽出し、特定物体と手の接触が特定された領域に基づいて、左右の手の判定を行うことができる。
【００４４】
第３の実施形態の第１の変形例としては、サーバ装置１００は、特定物体を複数用意しておき、複数の特定物体に対する判定結果に基づいて、左右の手の判定を行ってもよい。１回の推定だけでは正しい推定結果を得られないこともある。例えば、作業者のほぼ真横に置いてある物体を対象とすると、間違った判定結果になる可能性が高い。これに対し、本例によれば、より正確に判定を行うことができる。
【００４５】
第２の変形例としては、サーバ装置１００は、接触機会毎に何回判定したかを集計し、判定成功割合から、左右の手の判定結果の尤度を求めてもよい。
【００４６】
（第４の実施形態）
次に、第４の実施形態に係る撮像システムについて、他の実施形態に係る撮像システムと異なる点を主に説明する。本実施形態のサーバ装置１００は、第１〜第３の実施形態において説明した左右の手の判定結果から、最終的な判定結果を求める。サーバ装置１００はさらに、各手法の推定結果に重みづけを行って最終的な推定結果を求めるものとする。サーバ装置１００は、例えば、図１４の表１４００に示すように、尤度として出力されたエリア毎の右手かどうかの推定結果に、予め設定した重みを乗じて合計し、最終的な結果とすることができる。
【００４７】
なお、サーバ装置１００は、ユーザ操作に応じて各手法の重みを設定するものとする。他の例としては、サーバ装置１００は、例えばこれまでの推定成功率を基に自動的に重みを算出してもよい。また、各手法の推定結果は、表１４００のように尤度としてもよいし、２値での出力でもよい。さらには、手法毎に尤度と２値が混ざっていてもよい。第４の実施形態に係る撮像システムの構成及び処理は、他の実施形態に係る撮像システムの構成及び処理と同様である。
【００４８】
以上のように、第４の実施形態の撮像システムでは、複数の手法による判定結果を統合することで、左右の手をより正確に判定することができる。
【００４９】
（第５の実施形態）
次に、第５の実施形態に係る撮像システムについて、他の実施形態に係る撮像システムと異なる点を主に説明する。本実施形態のサーバ装置１００は、他の実施形態において説明した手法で左右の手を判定し、判定結果を用いて、作業者が決められた作業（特定の作業）を行っているかどうかを判定するものである。
【００５０】
図１５は、作業判定処理の説明図である。サーバ装置１００は、作業者Ｐがエリア１５０１に接触したかどうかで決められた作業を行ったことを検出する。例えば作業者が決められた部品をエリア１５０１の近傍の部位１５０２に取り付ける際に、作業者の手がエリア１５０１に触れる。これを利用し、作業を行ったか否かを検出する。しかし、別の作業を行う際にエリア１５０１を触れてしまう可能性もある。例えば、図１５に示すように、ドライバ１５０３を取るという、想定された特定の作業とは異なる作業により、エリア１５０１を触れてしまう、ということがあり得る。
【００５１】
そこで、サーバ装置１００は、エリア１５０１に触れるべき手が左右どちらであるかを予め設定しておく。そして、サーバ装置１００は、接触判定の際に左右判定結果を利用し、特定のエリア１５０１に接触したのが左右のいずれの手であるかを判定することで、より正確に作業判定を行うことができる。本処理は、接触判定処理の一例である。
【００５２】
サーバ装置１００に、例えばエリア１５０１で作業したと判定すべきなのは右手が触れたとき、と設定されているとする。この場合には、図１５に示すように、左手がエリア１５０１に触れた場合には、作業を行ったと判定されることがない。このように、正確に判定を行うことができる。
【００５３】
サーバ装置１００は、このように、左右判定の結果を用いることで、正解とする作業シーケンスの粒度を細かく設定することもできる。例えば手領域が接触したかを利用して複数の作業を検出するため複数のエリアを設定する場合を考える。この場合、領域の左右が区別できないと、先述のように右手で触れるべきエリアを左手が触れて誤検出されないよう、エリアの設定位置や正解シーケンスに制限がかかる可能性がある。しかし、手領域の左右の区別ができるのであれば、正解シーケンスに左右どちらの手で触れたときに検出すべきかを設定することができるので、より細かいシーケンスを作ることができる。結果として、より多くの作業をより精度よく検出することができるようになる。
【００５４】
また、サーバ装置１００は、予め作業者の利き手を登録しておき、その情報に応じて正解シーケンスの変更を行うことも可能である。例えば、ドライバなどの道具を扱うのは利き手であることが想定される。そこで、サーバ装置１００は、利き手の情報に基づいて、一方の手を決定し、決定した方の手を検出対象とする。本処理は、左右決定処理の一例である。そして、サーバ装置１００は、右利き用に作成された正解シーケンスで道具を扱う作業は右手で接触した時に検出し、左利き用に作成された正解シーケンスで道具を扱う作業は左手で接触した時に検出する。
【００５５】
また、処理を開始してしばらくの間は、左右の判定を行うのに十分な情報が得られず、判定を実施できないことがありうる。その場合には、サーバ装置１００は、ある手領域が右である、左である両方の想定をして作業検知を仮にしておく。そして左右の推定結果尤度が閾値を超えた時点で、サーバ装置１００は、その情報を時系列の逆方向に伝播させ、正しい作業検知結果のみを残すことによって、手の左右を判定できなかったタイミングについても処理を行うことが可能になる。同様に、サーバ装置１００は、手の左右の推定尤度が閾値未満だった場合には、閾値以上となった時点の結果を利用して再評価することも可能である。
【００５６】
このように、本実施形態によれば、作業者が作業をしている動画像から、作業者の手領域の抽出及びその領域の左右の推定結果を利用することにより、作業の検出精度を高めることができる。これにより、より細かい作業、多様な作業を検出することができる。
【００５７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００５８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１００  サーバ装置
１１０  撮像装置
３０１  人物抽出部
３０２  手抽出部
３０３  左右判定部
【図１】
2019191736.tif 000003
【図２】
2019191736.tif 000004
【図３】
2019191736.tif 000005
【図４】
2019191736.tif 000006
【図５】
2019191736.tif 000007
【図６】
2019191736.tif 000008
【図７】
2019191736.tif 000009
【図８】
2019191736.tif 000010
【図９】
2019191736.tif 000011
【図１０】
2019191736.tif 000012
【図１１】
2019191736.tif 000013
【図１２】
2019191736.tif 000014
【図１３】
2019191736.tif 000015
【図１４】
2019191736.tif 000016
【図１５】
2019191736.tif 000017