(57)【要約】  ユーザの作業を認識する作業認識装置は、第１センサ（２０１）が出力するユーザの手の動きを示す時系列の第１観測値の中から、ユーザの手の動きが所定の動きを示すときの第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部（３０３）と、第２センサ（２０２）が出力するユーザの作業の状況を示す第２観測値の中から、全体観測時刻決定部（３０３）で決定された全体観測時刻の第２観測値を選択する観測値選択部（３０４）と、観測値選択部（３０４）で選択された第２観測値と、ユーザの手の動きが上記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、ユーザの作業を同定する状況認識部（３０５）とを備える。
2010143361.tif 000002
【特許請求の範囲】
【請求項１】
速度センサが出力するユーザの手の動きを示す時系列の第１観測値の大きさと前記第１観測値間の角度差分とに基づき、前記第１観測値の中から、前記ユーザの手の動きが所定の動きを示すときの前記第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、
撮像部が出力する前記ユーザの作業の状況を示す時系列の第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の第２観測値を選択する観測値選択部と、
を備える作業認識装置。
【請求項２】
さらに、前記観測値選択部で選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を認識する状況認識部を備える
請求項１記載の作業認識装置。
【請求項３】
前記全体観測時刻決定部は、前記第１観測値の変化量の極小値が観測される時刻の中から、前記全体観測時刻を決定する
請求項１または２記載の作業認識装置。
【請求項４】
前記全体観測時刻決定部は、前記第１観測値の変化量の極小値が観測される時刻である第１の時刻後から所定時刻までの前記第１観測値の大きさに基づき、前記全体観測時刻を決定する
請求項１または２記載の作業認識装置。
【請求項５】
前記全体観測時刻決定部は、前記第１の時刻後から前記所定時刻までに含まれる前記第１観測値の大きさの極大値、または、最大値が観測される時刻の中で、前記第１の時刻に最も近い時刻を、前記全体観測時刻として決定する
請求項４記載の作業認識装置。
【請求項６】
前記速度センサは、３軸加速度センサであり、加速度を前記第１観測値として時系列で出力する
請求項１〜５のいずれか１項に記載の作業認識装置。
【請求項７】
前記速度センサは、ユーザの利き手に装着される
請求項６記載の作業認識装置。
【請求項８】
前記全体観測時刻決定部は、時系列の前記第１観測値に基づいて、前記ユーザの手の方向の変化を示す値が極小となった観測時刻の後に、前記ユーザの手の加速度の大きさが極大になった場合に、前記ユーザの手の方向の変化を示す値が極小となった観測時刻を、前記全体観測時刻として決定する
請求項６または７に記載の作業認識装置。
【請求項９】
前記全体観測時刻決定部は、
前記速度センサが出力する前記加速度から、重力加速度を除いた加速度の大きさを推定するマグニチュード推定部と、
前記速度センサがそれぞれ出力する、ある観測時刻における前記加速度と当該ある観測時刻よりも前の観測時刻における前記加速度とのなす角度を計算する角度差分計算部と、
前記マグニチュード推定部により推定される前記加速度の大きさと前記角度差分計算部により計算される前記なす角度とが所定のパターンを示す場合に、前記ある観測時刻を、前記全体観測時刻として決定する時刻決定部と
を含む請求項８記載の作業認識装置。
【請求項１０】
前記時刻決定部は、前記角度差分計算部で計算された前記なす角度が０に漸近した時刻の直後の所定時間内に、前記マグニチュード推定部が出力する前記加速度の大きさが極大となる場合に、前記なす角度が０に漸近した時刻を、前記全体観測時刻として決定する
請求項９記載の作業認識装置。
【請求項１１】
前記時刻決定部は、前記なす角度が０に漸近する時刻を含む複数の時刻における前記なす角度を学習させた識別器を用いて、前記角度差分計算部で計算された前記なす角度が０に漸近した時刻を決定する
請求項１０記載の作業認識装置。
【請求項１２】
前記マグニチュード推定部は、速度センサによって観測される加速度の大きさから重力加速度の大きさを減じることにより、重力加速度を除いた加速度の大きさを近似する
請求項９〜１１のいずれか１項に記載の作業認識装置。
【請求項１３】
前記撮像部は、前記ユーザの手作業の範囲を撮像するカメラである
請求項１〜１２のいずれか１項に記載の作業認識装置。
【請求項１４】
速度センサが出力するユーザの手の動きを示す時系列の第１観測値の中から、前記ユーザの手の動きが所定の動きを示すときの前記第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、
撮像部が出力する前記ユーザの作業の状況を示す時系列の第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の第２観測値を選択する観測値選択部と、
を備える作業認識装置。
【請求項１５】
ユーザの作業を認識する作業認識システムであって、
作業を行うユーザの手の動きを示す第１観測値を時系列で出力する速度センサと、
前記ユーザの作業の状況を示す第２観測値を時系列で出力する撮像部と、
時系列の前記第１観測値と、時系列の前記第２観測値と、に基づいて、前記ユーザの作業を認識する作業認識装置と
を備え、
前記作業認識装置は、
時系列の前記第１観測値の中から、前記ユーザの手の動きが所定の動きを示す前記第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、
時系列の前記第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の前記第２観測値を選択する観測値選択部と、
前記観測値選択部で選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を同定する状況認識部と
を含む作業認識システム。
【請求項１６】
コンピュータによりユーザの作業を認識する作業認識方法であって、
速度センサが出力するユーザの手の動きを示す時系列の第１観測値に基づいて、前記ユーザの手の動きが所定の動きを示す前記第１観測値の観測時刻である全体観測時刻を決定し、
撮像部が出力する前記ユーザの作業の状況を示す前記第２観測値の中から、決定された前記全体観測時刻の第２観測値を選択し、
選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を同定する
作業認識方法。
【請求項１７】
ユーザの作業を認識するためのプログラムであって、
コンピュータに、
速度センサが出力するユーザの手の動きを示す時系列の第１観測値に基づいて、前記ユーザの手の動きが所定の動きを示す前記第１観測値の観測時刻である全体観測時刻を決定させ、
撮像部が出力する前記ユーザの作業の状況を示す前記第２観測値の中から、決定された前記全体観測時刻の第２観測値を選択させ、
選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を同定させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像特徴などの事前に学習された知識に基づいて、人の作業を認識する作業認識システムおよび作業認識装置に関する。
【背景技術】
【０００２】
近年、日常生活における調理、掃除および洗濯などの人が手で行う作業の状況を、カメラなどのセンサで観測し、当該作業を認識する作業認識システムが実現されつつある。この作業認識システムでは、作業対象のオブジェクトや人の作業行動の特徴を予めオフライン学習することにより知識データとして蓄積しておき、当該知識データとセンサの観測値とを比較することにより、オブジェクトまたは行動を認識する。認識された結果は、次の作業手順の提示もしくは作業に伴う危険の警告など様々な情報提供機器へのトリガーとして、または日常生活行動をログデータとして利用する機器への入力として利用される。例えば、非特許文献１には、調理という手作業に関して、野菜または肉などの食品を対象オブジェクトとして認識するシステムが開示されている。【０００３】
非特許文献１に開示されているシステムによって人の手作業を認識する処理の概要を図１８に示す。まず、設計者は、カメラで調理状況を撮影した画像１０１について、調理状況を解説する字幕に相当するクローズドキャプション１０２をオフラインで付与する。次に、再度、オフライン処理で、システムは、画像１０１とクローズドキャプション１０２とを入力として受ける。システムは、クローズドキャプション１０２からテキストが得られた時刻において、画像１０１と学習済みの知識データとを比較することにより、作業の対象オブジェクトを同定する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】高野他「テキストからの制約に基づく料理画像中の物体検出」，人工知能学会全国大会２００３（１ページ、図２）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、人の作業状況に応じてリアルタイムに応答するような機器を構築する場合、人の作業をすべてオンラインで認識しなければならない。例えば、料理ガイドシステムなどでは、ある調理作業が完了した瞬間に次の調理作業内容を映像または音声で提示しなければならない。このため、リアルタイム処理では、非特許文献１において、知識評価に費やされる計算処理を削減するために利用されるクローズドキャプション１０２を予め用意しておくことができない。よって、等時間間隔でサンプリングされる全ての画像に対して、常時、知識データとの比較を行わなければならない。そのため、この比較に必要な計算量は、画像のフレームレートもしくは解像度、または知識データの質もしくは量に比例して膨大な量となり、リアルタイム性が著しく低下する。また、時間に対する画像の変化を特徴とする知識データの場合、作業の時間幅が伸縮する可能性がある。このため、伸縮を考慮しながら知識データとの比較を行う必要があり、計算量はさらに膨大になる。【０００６】
本発明は、上記事情を考慮してなされたもので、リアルタイムでユーザの作業を認識することができる作業認識システム等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明のある局面に係る作業認識装置は、速度センサが出力するユーザの手の動きを示す時系列の第１観測値の大きさと前記第１観測値間の角度差分とに基づき、前記第１観測値の中から、前記ユーザの手の動きが所定の動きを示すときの前記第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、撮像部が出力する前記ユーザの作業の状況を示す時系列の第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の第２観測値を選択する観測値選択部とを備える。【０００８】
本構成によって、撮像部で得られる第２観測値の一部について知識を評価し、状況を認識することができる。このため、知識データを評価すべき第２観測値の範囲を絞り込むことができる。よって、作業の認識のための計算量を削減することができる。このため、リアルタイムでユーザの作業を認識することができる。また、全体観測時刻を算出するために、クローズドキャプションを用意する等の事前の準備が不要である。【０００９】
なお、本発明は、このような特徴的な処理部を備える作業認識装置として実現することができるだけでなく、作業認識装置に含まれる特徴的な処理部が実行する処理をステップとする作業認識方法として実現することができる。また、作業認識方法に含まれる特徴的なステップをコンピュータに実行させるためのプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００１０】
本発明によれば、知識評価に費やされる計算量を大幅に削減されることで、高速に作業を認識することができる。同時に、無駄な計算に費やされる電力を削減することもできる。これにより、リアルタイムでユーザの作業を認識することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１における手作業認識装置の利用形態を示す図である。
【図２】図２は、本発明の実施の形態１における手作業認識装置の機能ブロック図である。
【図３】図３は、本発明の実施の形態１における手作業認識装置の第１センサの構成図である。
【図４】図４は、本発明の実施の形態１における全体観測時刻決定部の内部構成図である。
【図５Ａ】図５Ａは、加速度ａ（ｔ）と重力加速度ｇとの関係を示す図である。
【図５Ｂ】図５Ｂは、本発明の実施の形態１におけるマグニチュード推定部が利用する重力加速度を除いた加速度の大きさ｜α（ｔ）｜の近似式を示す図である。
【図６Ａ】図６Ａは、角度差分を説明するための図である。
【図６Ｂ】図６Ｂは、本発明の実施の形態１における角度差分計算部が利用する角度差分の計算式を示す図である。
【図７】図７は、本発明の実施の形態１における時刻決定部の動作を示す概念図である。
【図８Ａ】図８Ａは、手がオブジェクトを取る場合の、手の加速度の大きさおよび方向の変化について示す図である。
【図８Ｂ】図８Ｂは、手がオブジェクトを置く場合の、手の加速度の大きさおよび方向の変化について示す図である。
【図９】図９は、本発明の実施の形態１における時刻決定部による全体観測時刻の決定方法を示す概念図である。
【図１０】図１０は、本発明の実施の形態１における手作業認識装置が実行する処理のフローチャートである。
【図１１】図１１は、本発明の実施の形態１における観測値選択部による第２観測値の選択処理を説明するための図である。
【図１２】図１２は、本発明の実施の形態１における食材の色に関するデータの一例を示す図である。
【図１３】図１３は、本発明の実施の形態２における時刻決定部が備える学習器に学習させる正例の一例を示す図である。
【図１４】図１４は、本発明の実施の形態２における時刻決定部が備える学習器に学習させる負例の一例を示す図である。
【図１５】図１５は、本発明の実施の形態２における手作業認識装置が実行する処理のフローチャートである。
【図１６】図１６は、本発明の実施の形態１または２における手作業認識装置の外観図である。
【図１７】図１７は、本発明の実施の形態１または２における手作業認識装置のハードウェア構成を示すブロック図である。
【図１８】図１８は、非特許文献１に開示されている人の手作業を認識する処理の概要を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
以下に示す実施の形態では、料理を行っている画像から、クローズドキャプションに相当するユーザの行為、またはユーザが行為の対象とするオブジェクトをリアルタイムで獲得するシステムを考える。このとき、以下に示す実施の形態によれば、料理作業で特徴となる画像のみを効率よく観測できる。このため、すべての画像を評価する必要がなく、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
【００１４】
（実施の形態１）
実際の手作業認識における本発明の利用形態を図１に示す。図１では、第２センサ２０２が、ユーザが料理をしている状況を撮影している。手作業認識装置は、その作業（まな板に肉を置く）を認識する。その後、手作業認識装置は、次にユーザがすべき手順（肉を筋切りしてタレに漬け、冷蔵庫で３０分寝かせる）を映像としてユーザに提示する。図１において、第１センサ２０１は、加速度センサを内蔵しており、ユーザの利き手に実装される。第２センサ２０２は、カメラであり、ユーザの作業状況全体を撮像する。手作業認識装置における認識結果は、次の作業手順の提示や作業に伴う危険の警告など様々な情報提供を行う情報提供機器２０３の処理のトリガーとして利用される。
【００１５】
図２は、本発明の実施の形態１における手作業認識システムの構成を示す機能ブロック図である。
【００１６】
手作業認識システムは、ユーザの手作業を認識するシステムであり、第１センサ２０１と、第２センサ２０２と、手作業認識装置３００とを含む。
【００１７】
手作業認識装置３００は、第１センサ２０１での観測値および第２センサ２０２での観測値に基づいて、ユーザの手作業を認識する装置である。
【００１８】
第１センサ２０１は、手作業を行うユーザの手の動きを観測することにより、当該手の動きを示す第１観測値を時系列で出力する。第２センサ２０２は、ユーザの手作業の状況を観測し、当該手作業の状況を示す第２観測値を時系列で出力する。
【００１９】
手作業認識装置３００は、時系列の第１観測値および時系列の第２観測値に基づいて、ユーザの手作業を認識する。手作業認識装置３００は、全体観測時刻決定部３０３と、観測値選択部３０４と、状況認識部３０５とを備える。
【００２０】
全体観測時刻決定部３０３は、時系列の第１観測値に基づいて、ユーザの手の動きが所定の動きを示す第１観測値の観測時刻（以下、「全体観測時刻」という。）を決定する。
【００２１】
観測値選択部３０４は、全体観測時刻決定部３０３で決定された全体観測時刻において観測された第２観測値を選択する。
【００２２】
状況認識部３０５は、観測値選択部３０４で選択された第２観測値と、ユーザが前記所定の動きを示す際のユーザの手作業に関連付けられた知識データとを比較することにより、ユーザの手作業を同定する。状況認識部３０５は、非特許文献１に記載されているような、公知の認識手段により構成される。つまり、状況認識部３０５は、ユーザの手作業ごとに、事前に学習した画像特徴の知識データと第２観測値との適合度を計算し、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。
【００２３】
次に、知識データの一例について説明する。例えば、ユーザの手作業が調理作業であれば、食材の色が特徴的であるため、画像データにおける色分布を学習することにより、知識データが生成される。例えば、食材がトマトの場合は、色分布として赤色の領域が多いなどの知識データが生成される。また、調理作業の場合には、食材の色の時間的変化が特徴的であるため、画像データの時系列における色分布の時間的変化を学習することにより知識データを生成してもよい。例えば、玉ねぎをみじん切りにする場合は、色分布の時間的変化として白色の領域が時間と共に増加するなどの知識データを生成してもよい。第２観測値がこれらの知識データのいずれに該当するかを判断することにより、ユーザの手作業が同定される。
【００２４】
図３に第１センサ２０１の構成を示す。第１センサ２０１は、３軸加速度センサ４０１と、無線データ送受信部４０２と、電源部４０３とを含む。
【００２５】
３軸加速度センサ４０１は、ＭＥＭＳ（Micro Electro Mechanical Systems）技術を利用して製造された小型の半導体加速度計である。３軸加速度センサ４０１は、ｘ，ｙ，ｚの３軸について±３Ｇ前後（Ｇは重力加速度）の加速度を計測可能な標準的な仕様を有する。また、３軸加速度センサ４０１は、１秒間につき４０サンプル前後のデータを出力する仕様を有する。
【００２６】
無線データ送受信部４０２は、手作業認識装置３００の全体観測時刻決定部３０３に対して、リアルタイムで、３軸加速度センサ４０１の観測値（上記第１観測値）を送信する。このとき、無線データ送受信部４０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）シリアルポートプロファイルなどの無線データ伝送規格を用いて、全体観測時刻決定部３０３に観測値を送信する。
【００２７】
電源部４０３は、３軸加速度センサ４０１および無線データ送受信部４０２に対して、これらの動作に必要な電力を供給する、使い捨ての一次電池または充電可能な二次電池である。
【００２８】
第１センサ２０１は、図１に示すように、人の腕に装着可能な大きさであり、腕の動作に対して俊敏に反応するように腕に密着させる。
【００２９】
図４に全体観測時刻決定部３０３の内部構成を示す。全体観測時刻決定部３０３は、無線データ送受信部５０４と、マグニチュード推定部５０１と、角度差分計算部５０２と、時刻決定部５０３とを含む。
【００３０】
無線データ送受信部５０４は、無線データ送受信部４０２から送信される３軸加速度センサ４０１での観測値である加速度ａ（ｔ）を受信する。
【００３１】
マグニチュード推定部５０１は、無線データ送受信部５０４が受信した加速度ａ（ｔ）から、重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜を推定する。一般に加速度計（３軸加速度センサ４０１）には重力が作用している。このため、図５Ａに示すように、加速度計が出力する加速度ａ（ｔ）は、重力加速度ｇと重力加速度ｇを除いた加速度α（ｔ）とのベクトル和である。加速度計の姿勢が未知である場合は、重力加速度ｇと重力加速度ｇを除いた加速度とのなす角θが未知となる。このため、重力加速度成分を正確に除去することは不可能である。本実施の形態においては、図５Ｂに示す計算式により｜α（ｔ）｜を近似し、重力加速度ｇを除いた加速度α（ｔ）の大きさとして利用する。
【００３２】
角度差分計算部５０２は、３軸加速度センサ４０１が観測する重力加速度を含む加速度ａ（ｔ）について、加速度ａ（ｔ）と、当該加速度ａ（ｔ）と時間が隣接する加速度（ａ（ｔ−１））とのなす角を計算する。具体的には、図６Ａに示すように、着目している計測時刻ｔにおける加速度ａ（ｔ）と１つ前の計測時刻（ｔ−１）における加速度ａ（ｔ−１）とのなす角（最小値０、最大値π、単位はｒａｄｉａｎ）を計算する。つまり、角度差分計算部５０２は、図６Ｂに示す計算式に従って、角度の差分Δφ（ｔ）を計算する。
【００３３】
時刻決定部５０３は、所定の条件下にあるとき、角度差分Δφ（ｔ）の計算において着目している計測時刻ｔを、全体観測時刻とする。ここで、所定の条件下とは、マグニチュード推定部５０１により推定される重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜と、角度差分計算部５０２により計算される角度差分Δφ（ｔ）とが所定のパターンを示す場合である。なお、上述したように、決定された全体観測時刻における第２観測値が観測値選択部３０４において選択される。
【００３４】
慎重な手作業においては、手に持ったオブジェクトを手の方向が安定してから置く、または手の方向を安定させてから置かれたオブジェクトを手に持つ動作特性が見られる。つまり、手の姿勢が安定してから手の加速度が急峻に変化する。時刻決定部５０３はこの特性を利用して、全体観測時刻を決定する。つまり、図７に示すように、角度差分計算部５０２で計算された角度差分Δφ（ｔ）が０に漸近した時刻Ｔｐの直後の所定の最大極大値到達時間Ｔｔｈ内に、マグニチュード推定部５０１が出力する加速度の大きさ｜α（ｔ）｜が極大となる場合に（図７では時刻Ｔａで極大）、時刻決定部５０３は、角度差分Δφ（ｔ）が０に漸近した時刻Ｔｐを、全体観測時刻として決定する。この処理は、手でオブジェクトを取る場合には、手の加速度の大きさと方向の変化が図８Ａに示すように変化することに着目した処理である。また、手に持ったオブジェクトを置く場合には、手の加速度の大きさと方向の変化が図８Ｂに示すように変化することに着目した処理である。
【００３５】
図９を参照して、具体的な全体観測時刻Ｔｐの決定方法について説明する。時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から角度差分Δφ（ｔ）が連続的に減少する時間が予め設定されている最小減少時間Ｔｄを超え、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となる場合に、時刻決定部５０３は、角度差分Δφ（ｔ）の極小値の観測時刻を時刻Ｔｐとして決定する。そして、時刻Ｔｐから時刻Ｔｐの直後の｜α（ｔ）｜の極大値の観測時刻Ｔａまでの時間が、予め設定されている最大極大値到達時間Ｔｔｈ以下の場合であって、かつ｜α（ｔ）｜の極大値の値が所定の閾値αｔｈを超えた場合に、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する。より具体的には、最大極大値到達時間Ｔｔｈの間、｜α（ｔ）｜が増加あるいは減少を続ける場合には、時刻決定部５０３は、全体観測時刻を出力しない。一方で、｜α（ｔ）｜が時刻Ｔｐから増加を続けて初めて減少に転じた時刻Ｔａに対して、Ｔａ−Ｔｐ≦Ｔｔｈが成立し、かつ｜α（Ｔａ）｜＞αｔｈである場合に、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する。
【００３６】
定数および閾値である最小減少時間Ｔｄ、閾値φｔｈ、最大極大値到達時間Ｔｔｈおよび閾値αｔｈについては、実際にユーザの作業を観測し、適切な結果が得られる値に微調整することで決定される。なお、これらの閾値のうち、一部はなくても良い。例えば、閾値αｔｈを用いた判断を省略するようにしてもよい。
【００３７】
第２センサ２０２は動画像を撮像するカメラである。例えば、第２センサ２０２は、１秒間に３０フレーム前後のカラー静止画像データを、上記第２観測値として出力する仕様を有する。
【００３８】
以上のように構成された手作業認識システムにおける手作業認識装置が実行する処理の流れについて、図１０を参照しながら説明する。
【００３９】
マグニチュード推定部５０１は、無線データ送受信部５０４が受信した加速度ａ（ｔ）から、重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜を推定する（Ｓ２）。マグニチュード推定部５０１は、各計測時刻ｔについて順次、｜α（ｔ）｜を推定する。
【００４０】
角度差分計算部５０２は、着目している計測時刻ｔにおける加速度ａ（ｔ）と１つ前の計測時刻（ｔ−１）における加速度ａ（ｔ−１）とのなす角（角度差分Δφ（ｔ））を計算する（Ｓ４）。角度差分計算部５０２は、各計測時刻ｔについて順次、角度差分Δφ（ｔ）を計算する（Ｓ４）。
【００４１】
時刻決定部５０３は、Ｓ２およびＳ４の処理で順次計算される加速度α（ｔ）の大きさ｜α（ｔ）｜および角度差分Δφ（ｔ）を用いて、以下に説明するＳ６〜Ｓ１６の処理を実行することにより、全体観測時刻を決定する。
【００４２】
つまり、時刻決定部５０３は、図９に示すように、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から角度差分Δφ（ｔ）が連続的に減少する時間が、予め設定されている最小減少時間Ｔｄを超えるか否かを判断する（Ｓ６）。
【００４３】
角度差分Δφ（ｔ）が連続的に減少する時間が最小減少時間Ｔｄを超えている場合には（Ｓ６でＹＥＳ）、時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の極小値が閾値φｔｈ以下となるか否かを判断する（Ｓ８）。
【００４４】
角度差分Δφ（ｔ）の極小値が閾値φｔｈ以下である場合には（Ｓ８でＹＥＳ）、時刻決定部５０３は、角度差分Δφ（ｔ）の極小値の観測時刻を時刻Ｔｐとして決定する（Ｓ１０）。
【００４５】
Ｓ１０の処理の後、時刻決定部５０３は、時刻Ｔｐから時刻Ｔｐの直後の｜α（ｔ）｜の極大値の観測時刻Ｔａまでの時間が、予め設定されている最大極大値到達時間Ｔｔｈ以下であるか否かを判断する（Ｓ１２）。
【００４６】
時刻Ｔｐから時刻Ｔａまでの時間が最大極大値到達時間Ｔｔｈ以下の場合には（Ｓ１２でＹＥＳ）、時刻決定部５０３は、｜α（ｔ）｜の極大値の値が所定の閾値αｔｈを超えているか否かを判断する（Ｓ１４）。
【００４７】
｜α（ｔ）｜の極大値の値が閾値αｔｈを超えている場合には（Ｓ１４でＹＥＳ）、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する（Ｓ１６）。
【００４８】
観測値選択部３０４は、全体観測時刻Ｔｐにおいて第２センサ２０２で観測された第２観測値を選択する（Ｓ１８）。これにより、図１１（ａ）に示すような第２センサ２０２で観測された画像から、図１１（ｂ）に示すような画像が選択される。
【００４９】
状況認識部３０５は、観測値選択部３０４で選択された第２観測値と、ユーザの手作業に関連付けられた知識データとを比較することにより、ユーザの手作業を同定する（Ｓ２０）。例えば、図１２に示す食材の色に関するデータを知識データとして準備し、図１１（ｂ）に示すような観測値選択部３０４で選択された第２観測値のカメラ映像を構成する画素の色分布と知識データとを比較してオブジェクトを同定する。図１２では、横軸が画素の赤色成分の値、縦軸が正規化した頻度を示している。知識データとして「皮を剥かれた玉ねぎ」または「皮の付いた玉ねぎ」など、さらにオブジェクトを細分化した色に関するデータ準備してもよい。また、人の手の色についても同様に色分布を用意し、さらに人の手の動作（「持つ」、「剥く」など）について、相当する形状を構成する画素の構造を知識データに加えることで、図１１（ｂ）に示すようなユーザの行為を同定してもよい。例えば、図１１(ｂ)の一番左端の第２観測値については、上記のような知識データとの比較により、オブジェクトが「玉ねぎ」と認識され、行為が「持つ」と認識され、この結果が出力される。
【００５０】
なお、角度差分Δφ（ｔ）が連続的に減少する時間が最小減少時間Ｔｄ以下の場合には（Ｓ６でＮＯ）、全体観測時刻は計算されず、処理を終了する。同様に、角度差分Δφ（ｔ）の極小値が閾値φｔｈよりも大きい場合にも（Ｓ８でＮＯ）、全体観測時刻は計算されず、処理を終了する。さらに、時刻Ｔｐから時刻Ｔａまでの時間が最大極大値到達時間Ｔｔｈよりも大きい場合にも（Ｓ１２でＮＯ）、全体観測時刻は計算されず、処理を終了する。さらにまた、｜α（ｔ）｜の極大値の値が閾値αｔｈ以下の場合にも（Ｓ１４でＮＯ）、全体観測時刻は計算されず、処理を終了する。
【００５１】
以上のＳ６〜Ｓ２０までの処理を、図９に示す観察時間幅Ｔｗを時間軸方向に移動させながら繰り返し実行する。
【００５２】
かかる構成によれば図１１（ａ）に示すように、第２センサ２０２は連続的な第２観測値を出力する。一方で、観測値選択部３０４は、全体観測時刻決定部３０３により決定された全体観測時刻Ｔｐに従って、図１１（ｂ）に示すような状況認識部３０５の入力となる第２観測値を選択する。この全体観測時刻決定部３０３は角度差分Δφ（ｔ）および加速度の大きさ｜α（ｔ）｜の変化に基づき、上記で述べた処理に従って全体観測時刻Ｔｐをリアルタイムで決定する。これにより、日常生活における調理、掃除、洗濯など人が慎重に手作業を行う場合は、人の手の動作開始、終了、動作中のターニングポイントなど、作業境界の可能性が高い第２観測値だけが抽出される。
【００５３】
状況認識部３０５は与えられた第２観測値についてのみ、ユーザの手作業ごとに事前に学習した画像特徴の知識データと、第２観測値との適合度を計算する。そして、この適合度に基づき、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。したがって、状況認識部３０５は第２観測値を部分的に評価することにより、入力観測値に対する学習知識の評価に費やす計算量を大幅に削減することができる。そのため、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
【００５４】
（実施の形態２）
実施の形態２に係る手作業認識システムは、実施の形態１に係る手作業認識システムと、時刻決定部５０３が行なう全体観測時刻の決定方法が異なる。それ以外については、実施の形態１と同様である。このため、その詳細な説明は、ここでは繰り返さない。
【００５５】
図１３および図１４を参照して、実施の形態２に係る時刻決定部５０３による全体観測時刻の決定方法について説明する。
【００５６】
時刻決定部５０３は、ＳＶＭ（Support Vector Machine）、パーセプトロン、またはニューロ識別器など公知の学習器を有し、この学習器を用いて角度差分Δφ（ｔ）が極小となる時刻Ｔｐを決定する。
【００５７】
時刻Ｔｐの決定のための事前準備として、学習器には、時刻Ｔｐを中心時刻とする観察時間幅Ｔｗ内の角度差分Δφ（ｔ）の波形を正例として大量に収集し、学習させている。図１３は、学習に用いる正例の一例を示す図である。正例では、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から最小減少時間Ｔｄの間、角度差分Δφ（ｔ）が連続的に減少する。また、角度差分Δφ（ｔ）が、観察時間幅Ｔｗの中心時刻（時刻Ｔｐ）において極小となり、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となる。
【００５８】
なお、学習器には、負例についても大量に収集し、学習させている。図１４は、負例を示す角度差分Δφ（ｔ）の一例を示す図である。負例とは正例以外のすべての角度差分Δφ（ｔ）の波形のことである。例えば、図１４では、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から最小減少時間Ｔｄの間、角度差分Δφ（ｔ）が連続的に減少するという正例の条件を満たしていない。また、角度差分Δφ（ｔ）が、観察時間幅Ｔｗの中心時刻において極小となり、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となるという条件も満たしていない。
【００５９】
時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）を上述の学習器へ入力する。時刻決定部５０３は、学習器の出力が正例を示す場合には、観察時間幅Ｔｗの中心時刻を時刻Ｔｐとして決定し、学習器の出力が負例を示す場合には、時刻Ｔｐの決定は行なわない。その後、時刻決定部５０３は、実施の形態１と同様に、時刻Ｔａが存在するか否かの判断を行い、時刻Ｔａが存在する場合には、時刻Ｔｐを全体観測時刻として出力する。
【００６０】
以上のように構成された手作業認識システムにおける手作業認識装置が実行する処理の流れについて、図１５を参照しながら説明する。
【００６１】
実施の形態２における手作業認識装置が実行する処理は、図１０に示した実施の形態１における手作業認識装置が実行する処理において、Ｓ６〜Ｓ１０の処理の代わりに、Ｓ３２およびＳ３４の処理を実行する。それ以外の処理については、実施の形態１と同様である。このため、その詳細な説明はここでは繰り返さない。
【００６２】
時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）を上述の学習器へ入力する。時刻決定部５０３は、学習器の出力が正例を示す場合には（Ｓ３２でＹＥＳ）、観察時間幅Ｔｗの中心時刻を時刻Ｔｐとして決定し（Ｓ３４）、学習器の出力が負例を示す場合には（Ｓ３２でＮＯ）、時刻Ｔｐの決定は行なわない。
【００６３】
かかる構成によれば図１１（ａ）に示すように、第２センサ２０２は連続的な第２観測値を出力する。一方で、観測値選択部３０４は、全体観測時刻決定部３０３により決定された全体観測時刻Ｔｐに従って、図１１（ｂ）に示すような状況認識部３０５の入力となる第２観測値を選択する。この全体観測時刻決定部３０３は角度差分Δφ（ｔ）および加速度の大きさ｜α（ｔ）｜の変化に基づき、上記で述べた処理に従って全体観測時刻Ｔｐをリアルタイムで決定する。これにより、日常生活における調理、掃除、洗濯など人が慎重に手作業を行う場合は、人の手の動作開始、終了、動作中のターニングポイントなど、作業境界の可能性が高い第２観測値だけが抽出される。
【００６４】
状況認識部３０５は与えられた第２観測値についてのみ、ユーザの手作業ごとに事前に学習した画像特徴の知識データと、第２観測値との適合度を計算する。そして、この適合度に基づき、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。したがって、状況認識部３０５は第２観測値を部分的に評価することにより、入力観測値に対する学習知識の評価に費やす計算量を大幅に削減することができる。そのため、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
【００６５】
以上、本発明に係る手作業認識システムについて実施の形態に基づいて説明を行なったが、本発明は、これらの実施の形態に限定されるものではない。
【００６６】
例えば、上述の実施の形態では、ユーザの手作業を認識するものとしたが、認識対象は手作業には限られず、ユーザの手の動きと関連付けられた作業であれば、手作業には限定されない。例えば、第２センサ２０２がユーザを全体的に撮像するようにしてもよい。これにより、第２観測値とユーザの手の動きと関連付けられたユーザの動作の知識データとを比較することにより、ユーザの動作が認識できるようになる。また、第２センサ２０２がユーザの足下を撮像するようにしてもよい。これにより、第２観測値とユーザの手の動きと関連付けられたユーザの足作業の知識データとを比較することにより、ユーザの足による作業を認識できるようになる。
【００６７】
また、観測値選択部３０４は、第２観測値だけではなく、同じ全体観測時刻において観測された第１観測値を選択するようにしても良い。
【００６８】
また、観測値選択部３０４は、全体観測時刻Ｔｐの第２観測値だけではなく、全体観測時刻Ｔｐの前後数フレームの第２観測値を選択するようにしても良い。
【００６９】
また、全体観測時刻決定部３０３は、時刻Ｔｐを全体観測時刻としたが、時刻Ｔａを全体観測時刻としても良い。
【００７０】
さらに、実施の形態２の時刻決定部５０３の学習器は、角度差分Δφ（ｔ）のみから時刻Ｔｐの決定を行なったが、観察時間幅Ｔｗに含まれる｜α（ｔ）｜を角度差分Δφ（ｔ）と合わせてサンプリングし、角度差分Δφ（ｔ）と共に用いることにより時刻Ｔｐの決定を行なうようにしてもよい。
【００７１】
さらにまた、上述の実施の形態において、一般家庭における調理作業を一例として本発明の動作を説明したが、これに限定されるものではない。つまり、人が慎重に行う手作業であれば、例えば生産現場における家電機器の組立て作業など一般家庭以外の手作業に対しても本発明を利用可能である。これにより、作業認識の結果を生産工程の管理や効率化などに利用することができる。例えば、生産現場を動画像カメラで撮影して管理する場合、日々蓄積される動画像のインデックスとして作業認識の結果を、動画像に付与する。これにより、後日オフラインで蓄積された動画像を解析する際に、所望の作業シーンに対して速やかにアクセスすることが可能になる。
【００７２】
また、上述の実施の形態において、第２センサとして画像を観測するカメラを用いたが、第２センサを手作業に起因する音を収音するマイクとしてもよい。この場合、状況認識部３０５は、ユーザの手作業ごとに事前に学習した音響特徴の知識データと現在の音との適合度を計算し、最も適合する知識データに対応する手作業を、現在の手作業の認識結果として出力してもよい。さらに、第２センサを、手作業を撮像するカメラと手作業に起因する音を収音するマイクとしてもよい。この場合、状況認識部３０５は、ユーザの手作業ごとに事前に学習した画像特徴の知識データおよび音響特徴の知識データと、現在の画像および音と、の間の適合度に基づき処理を行っても良い。具体的には、前述の適合度に基づき、最も適合する知識データに対応する手作業を、現在の手作業の認識結果として出力してもよい。
【００７３】
また、両手で作業を行なう場合には、左右両方の手に第１センサ２０１と同様の構成のセンサを実装し、左手および右手についてそれぞれ全体観測時刻決定部３０３を独立に備えることで、選択する第２観測値を増やすことが可能である。
【００７４】
さらに、３方向のジャイロセンサまたは角速度センサを３軸加速度センサ４０１に統合し、角速度センサの姿勢を推定するようにしてもよい。これにより、マグニチュード推定部５０１において｜α（ｔ）｜をより正確に推定し、時刻決定部５０３の精度を向上させることも可能である。
【００７５】
また、実施の形態１および２で説明した手作業認識装置３００は、コンピュータにより実現することが可能である。図１６を参照して、手作業認識装置３００は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６およびマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）装置４０および通信モデム（図示せず）とを含む。
【００７６】
手作業を認識するためのプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。または、コンピュータネットワーク２６を通じて通信モデムで読み取られる。
【００７７】
図１７は、手作業認識装置３００のハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ（Central Processing Unit）４４と、ＲＯＭ（Read Only Memory）４６と、ＲＡＭ（Random Access Memory）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。
【００７８】
ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０または通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメータなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワーク２６を介して他のコンピュータとの通信を行なう。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８およびＣＤ−ＲＯＭ装置４０を相互に接続する。
【００７９】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【００８０】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【００８１】
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
【００８２】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。
【００８３】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【００８４】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【００８５】
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【００８６】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
【００８７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００８８】
本発明にかかる手作業認識システムは、高速なユーザ作業認識性能を有し、白物家電、家事支援ロボットの動作トリガー等としても有用である。また掃除、洗濯などの作業認識用途、工場などにおける組立て作業等の監視用途等にも応用できる。
【符号の説明】
【００８９】
１０１  画像
１０２  クローズドキャプション
２０１  第１センサ
２０２  第２センサ
２０３  情報提供機器
３００  手作業認識装置
３０３  全体観測時刻決定部
３０４  観測値選択部
３０５  状況認識部
４０１  ３軸加速度センサ
４０２、５０４  無線データ送受信部
４０３  電源部
５０１  マグニチュード推定部
５０２  角度差分計算部
５０３  時刻決定部
【図１】
2010143361.tif 000003
【図２】
2010143361.tif 000004
【図３】
2010143361.tif 000005
【図４】
2010143361.tif 000006
【図５Ａ】
2010143361.tif 000007
【図５Ｂ】
2010143361.tif 000008
【図６Ａ】
2010143361.tif 000009
【図６Ｂ】
2010143361.tif 000010
【図７】
2010143361.tif 000011
【図８Ａ】
2010143361.tif 000012
【図８Ｂ】
2010143361.tif 000013
【図９】
2010143361.tif 000014
【図１０】
2010143361.tif 000015
【図１１】
2010143361.tif 000016
【図１２】
2010143361.tif 000017
【図１３】
2010143361.tif 000018
【図１４】
2010143361.tif 000019
【図１５】
2010143361.tif 000020
【図１６】
2010143361.tif 000021
【図１７】
2010143361.tif 000022
【図１８】
2010143361.tif 000023
【手続補正書】
【提出日】平成22年10月18日(2010.10.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像特徴などの事前に学習された知識に基づいて、人の作業を認識する作業認識装置に関する。
【背景技術】
【０００２】
近年、日常生活における調理、掃除および洗濯などの人が手で行う作業の状況を、カメラなどのセンサで観測し、当該作業を認識する作業認識システムが実現されつつある。この作業認識システムでは、作業対象のオブジェクトや人の作業行動の特徴を予めオフライン学習することにより知識データとして蓄積しておき、当該知識データとセンサの観測値とを比較することにより、オブジェクトまたは行動を認識する。認識された結果は、次の作業手順の提示もしくは作業に伴う危険の警告など様々な情報提供機器へのトリガーとして、または日常生活行動をログデータとして利用する機器への入力として利用される。例えば、非特許文献１には、調理という手作業に関して、野菜または肉などの食品を対象オブジェクトとして認識するシステムが開示されている。
【０００３】
非特許文献１に開示されているシステムによって人の手作業を認識する処理の概要を図１８に示す。まず、設計者は、カメラで調理状況を撮影した画像１０１について、調理状況を解説する字幕に相当するクローズドキャプション１０２をオフラインで付与する。次に、再度、オフライン処理で、システムは、画像１０１とクローズドキャプション１０２とを入力として受ける。システムは、クローズドキャプション１０２からテキストが得られた時刻において、画像１０１と学習済みの知識データとを比較することにより、作業の対象オブジェクトを同定する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】高野他「テキストからの制約に基づく料理画像中の物体検出」，人工知能学会全国大会２００３（１ページ、図２）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、人の作業状況に応じてリアルタイムに応答するような機器を構築する場合、人の作業をすべてオンラインで認識しなければならない。例えば、料理ガイドシステムなどでは、ある調理作業が完了した瞬間に次の調理作業内容を映像または音声で提示しなければならない。このため、リアルタイム処理では、非特許文献１において、知識評価に費やされる計算処理を削減するために利用されるクローズドキャプション１０２を予め用意しておくことができない。よって、等時間間隔でサンプリングされる全ての画像に対して、常時、知識データとの比較を行わなければならない。そのため、この比較に必要な計算量は、画像のフレームレートもしくは解像度、または知識データの質もしくは量に比例して膨大な量となり、リアルタイム性が著しく低下する。また、時間に対する画像の変化を特徴とする知識データの場合、作業の時間幅が伸縮する可能性がある。このため、伸縮を考慮しながら知識データとの比較を行う必要があり、計算量はさらに膨大になる。
【０００６】
本発明は、上記事情を考慮してなされたもので、リアルタイムでユーザの作業を認識することができる作業認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明のある局面に係る作業認識装置は、加速度センサが出力するユーザの手の動きを示す時系列の第１観測値としての加速度の大きさと前記加速度間の角度差分とに基づき、前記加速度の中から、前記ユーザの手の動きが所定の動きを示すときの前記加速度の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、撮像部が出力する前記ユーザの作業の状況を示す時系列の第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の第２観測値を選択する観測値選択部とを備える。
【０００８】
本構成によって、撮像部で得られる第２観測値の一部について知識を評価し、状況を認識することができる。このため、知識データを評価すべき第２観測値の範囲を絞り込むことができる。よって、作業の認識のための計算量を削減することができる。このため、リアルタイムでユーザの作業を認識することができる。また、全体観測時刻を算出するために、クローズドキャプションを用意する等の事前の準備が不要である。
【０００９】
なお、本発明は、このような特徴的な処理部を備える作業認識装置として実現することができるだけでなく、作業認識装置に含まれる特徴的な処理部が実行する処理をステップとする作業認識方法として実現することができる。また、作業認識方法に含まれる特徴的なステップをコンピュータに実行させるためのプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００１０】
本発明によれば、知識評価に費やされる計算量を大幅に削減されることで、高速に作業を認識することができる。同時に、無駄な計算に費やされる電力を削減することもできる。これにより、リアルタイムでユーザの作業を認識することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１における手作業認識装置の利用形態を示す図である。
【図２】図２は、本発明の実施の形態１における手作業認識装置の機能ブロック図である。
【図３】図３は、本発明の実施の形態１における手作業認識装置の第１センサの構成図である。
【図４】図４は、本発明の実施の形態１における全体観測時刻決定部の内部構成図である。
【図５Ａ】図５Ａは、加速度ａ（ｔ）と重力加速度ｇとの関係を示す図である。
【図５Ｂ】図５Ｂは、本発明の実施の形態１におけるマグニチュード推定部が利用する重力加速度を除いた加速度の大きさ｜α（ｔ）｜の近似式を示す図である。
【図６Ａ】図６Ａは、角度差分を説明するための図である。
【図６Ｂ】図６Ｂは、本発明の実施の形態１における角度差分計算部が利用する角度差分の計算式を示す図である。
【図７】図７は、本発明の実施の形態１における時刻決定部の動作を示す概念図である。
【図８Ａ】図８Ａは、手がオブジェクトを取る場合の、手の加速度の大きさおよび方向の変化について示す図である。
【図８Ｂ】図８Ｂは、手がオブジェクトを置く場合の、手の加速度の大きさおよび方向の変化について示す図である。
【図９】図９は、本発明の実施の形態１における時刻決定部による全体観測時刻の決定方法を示す概念図である。
【図１０】図１０は、本発明の実施の形態１における手作業認識装置が実行する処理のフローチャートである。
【図１１】図１１は、本発明の実施の形態１における観測値選択部による第２観測値の選択処理を説明するための図である。
【図１２】図１２は、本発明の実施の形態１における食材の色に関するデータの一例を示す図である。
【図１３】図１３は、本発明の実施の形態２における時刻決定部が備える学習器に学習させる正例の一例を示す図である。
【図１４】図１４は、本発明の実施の形態２における時刻決定部が備える学習器に学習させる負例の一例を示す図である。
【図１５】図１５は、本発明の実施の形態２における手作業認識装置が実行する処理のフローチャートである。
【図１６】図１６は、本発明の実施の形態１または２における手作業認識装置の外観図である。
【図１７】図１７は、本発明の実施の形態１または２における手作業認識装置のハードウェア構成を示すブロック図である。
【図１８】図１８は、非特許文献１に開示されている人の手作業を認識する処理の概要を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
以下に示す実施の形態では、料理を行っている画像から、クローズドキャプションに相当するユーザの行為、またはユーザが行為の対象とするオブジェクトをリアルタイムで獲得するシステムを考える。このとき、以下に示す実施の形態によれば、料理作業で特徴となる画像のみを効率よく観測できる。このため、すべての画像を評価する必要がなく、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
【００１４】
（実施の形態１）
実際の手作業認識における本発明の利用形態を図１に示す。図１では、第２センサ２０２が、ユーザが料理をしている状況を撮影している。手作業認識装置は、その作業（まな板に肉を置く）を認識する。その後、手作業認識装置は、次にユーザがすべき手順（肉を筋切りしてタレに漬け、冷蔵庫で３０分寝かせる）を映像としてユーザに提示する。図１において、第１センサ２０１は、加速度センサを内蔵しており、ユーザの利き手に実装される。第２センサ２０２は、カメラであり、ユーザの作業状況全体を撮像する。手作業認識装置における認識結果は、次の作業手順の提示や作業に伴う危険の警告など様々な情報提供を行う情報提供機器２０３の処理のトリガーとして利用される。
【００１５】
図２は、本発明の実施の形態１における手作業認識システムの構成を示す機能ブロック図である。
【００１６】
手作業認識システムは、ユーザの手作業を認識するシステムであり、第１センサ２０１と、第２センサ２０２と、手作業認識装置３００とを含む。
【００１７】
手作業認識装置３００は、第１センサ２０１での観測値および第２センサ２０２での観測値に基づいて、ユーザの手作業を認識する装置である。
【００１８】
第１センサ２０１は、手作業を行うユーザの手の動きを観測することにより、当該手の動きを示す第１観測値を時系列で出力する。第２センサ２０２は、ユーザの手作業の状況を観測し、当該手作業の状況を示す第２観測値を時系列で出力する。
【００１９】
手作業認識装置３００は、時系列の第１観測値および時系列の第２観測値に基づいて、ユーザの手作業を認識する。手作業認識装置３００は、全体観測時刻決定部３０３と、観測値選択部３０４と、状況認識部３０５とを備える。
【００２０】
全体観測時刻決定部３０３は、時系列の第１観測値に基づいて、ユーザの手の動きが所定の動きを示す第１観測値の観測時刻（以下、「全体観測時刻」という。）を決定する。
【００２１】
観測値選択部３０４は、全体観測時刻決定部３０３で決定された全体観測時刻において観測された第２観測値を選択する。
【００２２】
状況認識部３０５は、観測値選択部３０４で選択された第２観測値と、ユーザが前記所定の動きを示す際のユーザの手作業に関連付けられた知識データとを比較することにより、ユーザの手作業を同定する。状況認識部３０５は、非特許文献１に記載されているような、公知の認識手段により構成される。つまり、状況認識部３０５は、ユーザの手作業ごとに、事前に学習した画像特徴の知識データと第２観測値との適合度を計算し、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。
【００２３】
次に、知識データの一例について説明する。例えば、ユーザの手作業が調理作業であれば、食材の色が特徴的であるため、画像データにおける色分布を学習することにより、知識データが生成される。例えば、食材がトマトの場合は、色分布として赤色の領域が多いなどの知識データが生成される。また、調理作業の場合には、食材の色の時間的変化が特徴的であるため、画像データの時系列における色分布の時間的変化を学習することにより知識データを生成してもよい。例えば、玉ねぎをみじん切りにする場合は、色分布の時間的変化として白色の領域が時間と共に増加するなどの知識データを生成してもよい。第２観測値がこれらの知識データのいずれに該当するかを判断することにより、ユーザの手作業が同定される。
【００２４】
図３に第１センサ２０１の構成を示す。第１センサ２０１は、３軸加速度センサ４０１と、無線データ送受信部４０２と、電源部４０３とを含む。
【００２５】
３軸加速度センサ４０１は、ＭＥＭＳ（Micro Electro Mechanical Systems）技術を利用して製造された小型の半導体加速度計である。３軸加速度センサ４０１は、ｘ，ｙ，ｚの３軸について±３Ｇ前後（Ｇは重力加速度）の加速度を計測可能な標準的な仕様を有する。また、３軸加速度センサ４０１は、１秒間につき４０サンプル前後のデータを出力する仕様を有する。
【００２６】
無線データ送受信部４０２は、手作業認識装置３００の全体観測時刻決定部３０３に対して、リアルタイムで、３軸加速度センサ４０１の観測値（上記第１観測値）を送信する。このとき、無線データ送受信部４０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）シリアルポートプロファイルなどの無線データ伝送規格を用いて、全体観測時刻決定部３０３に観測値を送信する。
【００２７】
電源部４０３は、３軸加速度センサ４０１および無線データ送受信部４０２に対して、これらの動作に必要な電力を供給する、使い捨ての一次電池または充電可能な二次電池である。
【００２８】
第１センサ２０１は、図１に示すように、人の腕に装着可能な大きさであり、腕の動作に対して俊敏に反応するように腕に密着させる。
【００２９】
図４に全体観測時刻決定部３０３の内部構成を示す。全体観測時刻決定部３０３は、無線データ送受信部５０４と、マグニチュード推定部５０１と、角度差分計算部５０２と、時刻決定部５０３とを含む。
【００３０】
無線データ送受信部５０４は、無線データ送受信部４０２から送信される３軸加速度センサ４０１での観測値である加速度ａ（ｔ）を受信する。
【００３１】
マグニチュード推定部５０１は、無線データ送受信部５０４が受信した加速度ａ（ｔ）から、重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜を推定する。一般に加速度計（３軸加速度センサ４０１）には重力が作用している。このため、図５Ａに示すように、加速度計が出力する加速度ａ（ｔ）は、重力加速度ｇと重力加速度ｇを除いた加速度α（ｔ）とのベクトル和である。加速度計の姿勢が未知である場合は、重力加速度ｇと重力加速度ｇを除いた加速度とのなす角θが未知となる。このため、重力加速度成分を正確に除去することは不可能である。本実施の形態においては、図５Ｂに示す計算式により｜α（ｔ）｜を近似し、重力加速度ｇを除いた加速度α（ｔ）の大きさとして利用する。
【００３２】
角度差分計算部５０２は、３軸加速度センサ４０１が観測する重力加速度を含む加速度ａ（ｔ）について、加速度ａ（ｔ）と、当該加速度ａ（ｔ）と時間が隣接する加速度（ａ（ｔ−１））とのなす角を計算する。具体的には、図６Ａに示すように、着目している計測時刻ｔにおける加速度ａ（ｔ）と１つ前の計測時刻（ｔ−１）における加速度ａ（ｔ−１）とのなす角（最小値０、最大値π、単位はｒａｄｉａｎ）を計算する。つまり、角度差分計算部５０２は、図６Ｂに示す計算式に従って、角度の差分Δφ（ｔ）を計算する。
【００３３】
時刻決定部５０３は、所定の条件下にあるとき、角度差分Δφ（ｔ）の計算において着目している計測時刻ｔを、全体観測時刻とする。ここで、所定の条件下とは、マグニチュード推定部５０１により推定される重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜と、角度差分計算部５０２により計算される角度差分Δφ（ｔ）とが所定のパターンを示す場合である。なお、上述したように、決定された全体観測時刻における第２観測値が観測値選択部３０４において選択される。
【００３４】
慎重な手作業においては、手に持ったオブジェクトを手の方向が安定してから置く、または手の方向を安定させてから置かれたオブジェクトを手に持つ動作特性が見られる。つまり、手の姿勢が安定してから手の加速度が急峻に変化する。時刻決定部５０３はこの特性を利用して、全体観測時刻を決定する。つまり、図７に示すように、角度差分計算部５０２で計算された角度差分Δφ（ｔ）が０に漸近した時刻Ｔｐの直後の所定の最大極大値到達時間Ｔｔｈ内に、マグニチュード推定部５０１が出力する加速度の大きさ｜α（ｔ）｜が極大となる場合に（図７では時刻Ｔａで極大）、時刻決定部５０３は、角度差分Δφ（ｔ）が０に漸近した時刻Ｔｐを、全体観測時刻として決定する。この処理は、手でオブジェクトを取る場合には、手の加速度の大きさと方向の変化が図８Ａに示すように変化することに着目した処理である。また、手に持ったオブジェクトを置く場合には、手の加速度の大きさと方向の変化が図８Ｂに示すように変化することに着目した処理である。
【００３５】
図９を参照して、具体的な全体観測時刻Ｔｐの決定方法について説明する。時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から角度差分Δφ（ｔ）が連続的に減少する時間が予め設定されている最小減少時間Ｔｄを超え、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となる場合に、時刻決定部５０３は、角度差分Δφ（ｔ）の極小値の観測時刻を時刻Ｔｐとして決定する。そして、時刻Ｔｐから時刻Ｔｐの直後の｜α（ｔ）｜の極大値の観測時刻Ｔａまでの時間が、予め設定されている最大極大値到達時間Ｔｔｈ以下の場合であって、かつ｜α（ｔ）｜の極大値の値が所定の閾値αｔｈを超えた場合に、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する。より具体的には、最大極大値到達時間Ｔｔｈの間、｜α（ｔ）｜が増加あるいは減少を続ける場合には、時刻決定部５０３は、全体観測時刻を出力しない。一方で、｜α（ｔ）｜が時刻Ｔｐから増加を続けて初めて減少に転じた時刻Ｔａに対して、Ｔａ−Ｔｐ≦Ｔｔｈが成立し、かつ｜α（Ｔａ）｜＞αｔｈである場合に、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する。
【００３６】
定数および閾値である最小減少時間Ｔｄ、閾値φｔｈ、最大極大値到達時間Ｔｔｈおよび閾値αｔｈについては、実際にユーザの作業を観測し、適切な結果が得られる値に微調整することで決定される。なお、これらの閾値のうち、一部はなくても良い。例えば、閾値αｔｈを用いた判断を省略するようにしてもよい。
【００３７】
第２センサ２０２は動画像を撮像するカメラである。例えば、第２センサ２０２は、１秒間に３０フレーム前後のカラー静止画像データを、上記第２観測値として出力する仕様を有する。
【００３８】
以上のように構成された手作業認識システムにおける手作業認識装置が実行する処理の流れについて、図１０を参照しながら説明する。
【００３９】
マグニチュード推定部５０１は、無線データ送受信部５０４が受信した加速度ａ（ｔ）から、重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜を推定する（Ｓ２）。マグニチュード推定部５０１は、各計測時刻ｔについて順次、｜α（ｔ）｜を推定する。
【００４０】
角度差分計算部５０２は、着目している計測時刻ｔにおける加速度ａ（ｔ）と１つ前の計測時刻（ｔ−１）における加速度ａ（ｔ−１）とのなす角（角度差分Δφ（ｔ））を計算する（Ｓ４）。角度差分計算部５０２は、各計測時刻ｔについて順次、角度差分Δφ（ｔ）を計算する（Ｓ４）。
【００４１】
時刻決定部５０３は、Ｓ２およびＳ４の処理で順次計算される加速度α（ｔ）の大きさ｜α（ｔ）｜および角度差分Δφ（ｔ）を用いて、以下に説明するＳ６〜Ｓ１６の処理を実行することにより、全体観測時刻を決定する。
【００４２】
つまり、時刻決定部５０３は、図９に示すように、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から角度差分Δφ（ｔ）が連続的に減少する時間が、予め設定されている最小減少時間Ｔｄを超えるか否かを判断する（Ｓ６）。
【００４３】
角度差分Δφ（ｔ）が連続的に減少する時間が最小減少時間Ｔｄを超えている場合には（Ｓ６でＹＥＳ）、時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の極小値が閾値φｔｈ以下となるか否かを判断する（Ｓ８）。
【００４４】
角度差分Δφ（ｔ）の極小値が閾値φｔｈ以下である場合には（Ｓ８でＹＥＳ）、時刻決定部５０３は、角度差分Δφ（ｔ）の極小値の観測時刻を時刻Ｔｐとして決定する（Ｓ１０）。
【００４５】
Ｓ１０の処理の後、時刻決定部５０３は、時刻Ｔｐから時刻Ｔｐの直後の｜α（ｔ）｜の極大値の観測時刻Ｔａまでの時間が、予め設定されている最大極大値到達時間Ｔｔｈ以下であるか否かを判断する（Ｓ１２）。
【００４６】
時刻Ｔｐから時刻Ｔａまでの時間が最大極大値到達時間Ｔｔｈ以下の場合には（Ｓ１２でＹＥＳ）、時刻決定部５０３は、｜α（ｔ）｜の極大値の値が所定の閾値αｔｈを超えているか否かを判断する（Ｓ１４）。
【００４７】
｜α（ｔ）｜の極大値の値が閾値αｔｈを超えている場合には（Ｓ１４でＹＥＳ）、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する（Ｓ１６）。
【００４８】
観測値選択部３０４は、全体観測時刻Ｔｐにおいて第２センサ２０２で観測された第２観測値を選択する（Ｓ１８）。これにより、図１１（ａ）に示すような第２センサ２０２で観測された画像から、図１１（ｂ）に示すような画像が選択される。
【００４９】
状況認識部３０５は、観測値選択部３０４で選択された第２観測値と、ユーザの手作業に関連付けられた知識データとを比較することにより、ユーザの手作業を同定する（Ｓ２０）。例えば、図１２に示す食材の色に関するデータを知識データとして準備し、図１１（ｂ）に示すような観測値選択部３０４で選択された第２観測値のカメラ映像を構成する画素の色分布と知識データとを比較してオブジェクトを同定する。図１２では、横軸が画素の赤色成分の値、縦軸が正規化した頻度を示している。知識データとして「皮を剥かれた玉ねぎ」または「皮の付いた玉ねぎ」など、さらにオブジェクトを細分化した色に関するデータ準備してもよい。また、人の手の色についても同様に色分布を用意し、さらに人の手の動作（「持つ」、「剥く」など）について、相当する形状を構成する画素の構造を知識データに加えることで、図１１（ｂ）に示すようなユーザの行為を同定してもよい。例えば、図１１(ｂ)の一番左端の第２観測値については、上記のような知識データとの比較により、オブジェクトが「玉ねぎ」と認識され、行為が「持つ」と認識され、この結果が出力される。
【００５０】
なお、角度差分Δφ（ｔ）が連続的に減少する時間が最小減少時間Ｔｄ以下の場合には（Ｓ６でＮＯ）、全体観測時刻は計算されず、処理を終了する。同様に、角度差分Δφ（ｔ）の極小値が閾値φｔｈよりも大きい場合にも（Ｓ８でＮＯ）、全体観測時刻は計算されず、処理を終了する。さらに、時刻Ｔｐから時刻Ｔａまでの時間が最大極大値到達時間Ｔｔｈよりも大きい場合にも（Ｓ１２でＮＯ）、全体観測時刻は計算されず、処理を終了する。さらにまた、｜α（ｔ）｜の極大値の値が閾値αｔｈ以下の場合にも（Ｓ１４でＮＯ）、全体観測時刻は計算されず、処理を終了する。
【００５１】
以上のＳ６〜Ｓ２０までの処理を、図９に示す観察時間幅Ｔｗを時間軸方向に移動させながら繰り返し実行する。
【００５２】
かかる構成によれば図１１（ａ）に示すように、第２センサ２０２は連続的な第２観測値を出力する。一方で、観測値選択部３０４は、全体観測時刻決定部３０３により決定された全体観測時刻Ｔｐに従って、図１１（ｂ）に示すような状況認識部３０５の入力となる第２観測値を選択する。この全体観測時刻決定部３０３は角度差分Δφ（ｔ）および加速度の大きさ｜α（ｔ）｜の変化に基づき、上記で述べた処理に従って全体観測時刻Ｔｐをリアルタイムで決定する。これにより、日常生活における調理、掃除、洗濯など人が慎重に手作業を行う場合は、人の手の動作開始、終了、動作中のターニングポイントなど、作業境界の可能性が高い第２観測値だけが抽出される。
【００５３】
状況認識部３０５は与えられた第２観測値についてのみ、ユーザの手作業ごとに事前に学習した画像特徴の知識データと、第２観測値との適合度を計算する。そして、この適合度に基づき、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。したがって、状況認識部３０５は第２観測値を部分的に評価することにより、入力観測値に対する学習知識の評価に費やす計算量を大幅に削減することができる。そのため、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
【００５４】
（実施の形態２）
実施の形態２に係る手作業認識システムは、実施の形態１に係る手作業認識システムと、時刻決定部５０３が行なう全体観測時刻の決定方法が異なる。それ以外については、実施の形態１と同様である。このため、その詳細な説明は、ここでは繰り返さない。
【００５５】
図１３および図１４を参照して、実施の形態２に係る時刻決定部５０３による全体観測時刻の決定方法について説明する。
【００５６】
時刻決定部５０３は、ＳＶＭ（Support Vector Machine）、パーセプトロン、またはニューロ識別器など公知の学習器を有し、この学習器を用いて角度差分Δφ（ｔ）が極小となる時刻Ｔｐを決定する。
【００５７】
時刻Ｔｐの決定のための事前準備として、学習器には、時刻Ｔｐを中心時刻とする観察時間幅Ｔｗ内の角度差分Δφ（ｔ）の波形を正例として大量に収集し、学習させている。図１３は、学習に用いる正例の一例を示す図である。正例では、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から最小減少時間Ｔｄの間、角度差分Δφ（ｔ）が連続的に減少する。また、角度差分Δφ（ｔ）が、観察時間幅Ｔｗの中心時刻（時刻Ｔｐ）において極小となり、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となる。
【００５８】
なお、学習器には、負例についても大量に収集し、学習させている。図１４は、負例を示す角度差分Δφ（ｔ）の一例を示す図である。負例とは正例以外のすべての角度差分Δφ（ｔ）の波形のことである。例えば、図１４では、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から最小減少時間Ｔｄの間、角度差分Δφ（ｔ）が連続的に減少するという正例の条件を満たしていない。また、角度差分Δφ（ｔ）が、観察時間幅Ｔｗの中心時刻において極小となり、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となるという条件も満たしていない。
【００５９】
時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）を上述の学習器へ入力する。時刻決定部５０３は、学習器の出力が正例を示す場合には、観察時間幅Ｔｗの中心時刻を時刻Ｔｐとして決定し、学習器の出力が負例を示す場合には、時刻Ｔｐの決定は行なわない。その後、時刻決定部５０３は、実施の形態１と同様に、時刻Ｔａが存在するか否かの判断を行い、時刻Ｔａが存在する場合には、時刻Ｔｐを全体観測時刻として出力する。
【００６０】
以上のように構成された手作業認識システムにおける手作業認識装置が実行する処理の流れについて、図１５を参照しながら説明する。
【００６１】
実施の形態２における手作業認識装置が実行する処理は、図１０に示した実施の形態１における手作業認識装置が実行する処理において、Ｓ６〜Ｓ１０の処理の代わりに、Ｓ３２およびＳ３４の処理を実行する。それ以外の処理については、実施の形態１と同様である。このため、その詳細な説明はここでは繰り返さない。
【００６２】
時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）を上述の学習器へ入力する。時刻決定部５０３は、学習器の出力が正例を示す場合には（Ｓ３２でＹＥＳ）、観察時間幅Ｔｗの中心時刻を時刻Ｔｐとして決定し（Ｓ３４）、学習器の出力が負例を示す場合には（Ｓ３２でＮＯ）、時刻Ｔｐの決定は行なわない。
【００６３】
かかる構成によれば図１１（ａ）に示すように、第２センサ２０２は連続的な第２観測値を出力する。一方で、観測値選択部３０４は、全体観測時刻決定部３０３により決定された全体観測時刻Ｔｐに従って、図１１（ｂ）に示すような状況認識部３０５の入力となる第２観測値を選択する。この全体観測時刻決定部３０３は角度差分Δφ（ｔ）および加速度の大きさ｜α（ｔ）｜の変化に基づき、上記で述べた処理に従って全体観測時刻Ｔｐをリアルタイムで決定する。これにより、日常生活における調理、掃除、洗濯など人が慎重に手作業を行う場合は、人の手の動作開始、終了、動作中のターニングポイントなど、作業境界の可能性が高い第２観測値だけが抽出される。
【００６４】
状況認識部３０５は与えられた第２観測値についてのみ、ユーザの手作業ごとに事前に学習した画像特徴の知識データと、第２観測値との適合度を計算する。そして、この適合度に基づき、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。したがって、状況認識部３０５は第２観測値を部分的に評価することにより、入力観測値に対する学習知識の評価に費やす計算量を大幅に削減することができる。そのため、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
【００６５】
以上、本発明に係る手作業認識システムについて実施の形態に基づいて説明を行なったが、本発明は、これらの実施の形態に限定されるものではない。
【００６６】
例えば、上述の実施の形態では、ユーザの手作業を認識するものとしたが、認識対象は手作業には限られず、ユーザの手の動きと関連付けられた作業であれば、手作業には限定されない。例えば、第２センサ２０２がユーザを全体的に撮像するようにしてもよい。これにより、第２観測値とユーザの手の動きと関連付けられたユーザの動作の知識データとを比較することにより、ユーザの動作が認識できるようになる。また、第２センサ２０２がユーザの足下を撮像するようにしてもよい。これにより、第２観測値とユーザの手の動きと関連付けられたユーザの足作業の知識データとを比較することにより、ユーザの足による作業を認識できるようになる。
【００６７】
また、観測値選択部３０４は、第２観測値だけではなく、同じ全体観測時刻において観測された第１観測値を選択するようにしても良い。
【００６８】
また、観測値選択部３０４は、全体観測時刻Ｔｐの第２観測値だけではなく、全体観測時刻Ｔｐの前後数フレームの第２観測値を選択するようにしても良い。
【００６９】
また、全体観測時刻決定部３０３は、時刻Ｔｐを全体観測時刻としたが、時刻Ｔａを全体観測時刻としても良い。
【００７０】
さらに、実施の形態２の時刻決定部５０３の学習器は、角度差分Δφ（ｔ）のみから時刻Ｔｐの決定を行なったが、観察時間幅Ｔｗに含まれる｜α（ｔ）｜を角度差分Δφ（ｔ）と合わせてサンプリングし、角度差分Δφ（ｔ）と共に用いることにより時刻Ｔｐの決定を行なうようにしてもよい。
【００７１】
さらにまた、上述の実施の形態において、一般家庭における調理作業を一例として本発明の動作を説明したが、これに限定されるものではない。つまり、人が慎重に行う手作業であれば、例えば生産現場における家電機器の組立て作業など一般家庭以外の手作業に対しても本発明を利用可能である。これにより、作業認識の結果を生産工程の管理や効率化などに利用することができる。例えば、生産現場を動画像カメラで撮影して管理する場合、日々蓄積される動画像のインデックスとして作業認識の結果を、動画像に付与する。これにより、後日オフラインで蓄積された動画像を解析する際に、所望の作業シーンに対して速やかにアクセスすることが可能になる。
【００７２】
また、上述の実施の形態において、第２センサとして画像を観測するカメラを用いたが、第２センサを手作業に起因する音を収音するマイクとしてもよい。この場合、状況認識部３０５は、ユーザの手作業ごとに事前に学習した音響特徴の知識データと現在の音との適合度を計算し、最も適合する知識データに対応する手作業を、現在の手作業の認識結果として出力してもよい。さらに、第２センサを、手作業を撮像するカメラと手作業に起因する音を収音するマイクとしてもよい。この場合、状況認識部３０５は、ユーザの手作業ごとに事前に学習した画像特徴の知識データおよび音響特徴の知識データと、現在の画像および音と、の間の適合度に基づき処理を行っても良い。具体的には、前述の適合度に基づき、最も適合する知識データに対応する手作業を、現在の手作業の認識結果として出力してもよい。
【００７３】
また、両手で作業を行なう場合には、左右両方の手に第１センサ２０１と同様の構成のセンサを実装し、左手および右手についてそれぞれ全体観測時刻決定部３０３を独立に備えることで、選択する第２観測値を増やすことが可能である。
【００７４】
さらに、３方向のジャイロセンサまたは角速度センサを３軸加速度センサ４０１に統合し、角速度センサの姿勢を推定するようにしてもよい。これにより、マグニチュード推定部５０１において｜α（ｔ）｜をより正確に推定し、時刻決定部５０３の精度を向上させることも可能である。
【００７５】
また、実施の形態１および２で説明した手作業認識装置３００は、コンピュータにより実現することが可能である。図１６を参照して、手作業認識装置３００は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６およびマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）装置４０および通信モデム（図示せず）とを含む。
【００７６】
手作業を認識するためのプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。または、コンピュータネットワーク２６を通じて通信モデムで読み取られる。
【００７７】
図１７は、手作業認識装置３００のハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ（Central Processing Unit）４４と、ＲＯＭ（Read Only Memory）４６と、ＲＡＭ（Random Access Memory）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。
【００７８】
ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０または通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメータなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワーク２６を介して他のコンピュータとの通信を行なう。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８およびＣＤ−ＲＯＭ装置４０を相互に接続する。
【００７９】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【００８０】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【００８１】
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
【００８２】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。
【００８３】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【００８４】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【００８５】
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【００８６】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
【００８７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００８８】
本発明にかかる手作業認識システムは、高速なユーザ作業認識性能を有し、白物家電、家事支援ロボットの動作トリガー等としても有用である。また掃除、洗濯などの作業認識用途、工場などにおける組立て作業等の監視用途等にも応用できる。
【符号の説明】
【００８９】
１０１  画像
１０２  クローズドキャプション
２０１  第１センサ
２０２  第２センサ
２０３  情報提供機器
３００  手作業認識装置
３０３  全体観測時刻決定部
３０４  観測値選択部
３０５  状況認識部
４０１  ３軸加速度センサ
４０２、５０４  無線データ送受信部
４０３  電源部
５０１  マグニチュード推定部
５０２  角度差分計算部
５０３  時刻決定部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
加速度センサが出力するユーザの手の動きを示す時系列の第１観測値としての加速度の大きさと前記加速度間の角度差分とに基づき、前記加速度の中から、前記ユーザの手の動きが所定の動きを示すときの前記加速度の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、
撮像部が出力する前記ユーザの作業の状況を示す時系列の第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の第２観測値を選択する観測値選択部と、
を備える作業認識装置。
【請求項２】
さらに、前記観測値選択部で選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を認識する状況認識部を備える
請求項１記載の作業認識装置。
【請求項３】
前記全体観測時刻決定部は、前記加速度の変化量の極小値が観測される時刻の中から、前記全体観測時刻を決定する
請求項１または２記載の作業認識装置。
【請求項４】
前記全体観測時刻決定部は、前記加速度の変化量の極小値が観測される時刻である第１の時刻後から所定時刻までの前記加速度の大きさに基づき、前記全体観測時刻を決定する
請求項１または２記載の作業認識装置。
【請求項５】
前記全体観測時刻決定部は、前記第１の時刻後から前記所定時刻までに含まれる前記加速度の大きさの極大値、または、最大値が観測される時刻の中で、前記第１の時刻に最も近い時刻を、前記全体観測時刻として決定する
請求項４記載の作業認識装置。
【請求項６】
前記加速度センサは、３軸加速度センサであり、前記加速度を時系列で出力する
請求項１〜５のいずれか１項に記載の作業認識装置。
【請求項７】
前記加速度センサは、ユーザの利き手に装着される
請求項６記載の作業認識装置。
【請求項８】
前記全体観測時刻決定部は、時系列の前記加速度に基づいて、前記ユーザの手の方向の変化を示す値が極小となった観測時刻の後に、前記ユーザの手の加速度の大きさが極大になった場合に、前記ユーザの手の方向の変化を示す値が極小となった観測時刻を、前記全体観測時刻として決定する
請求項６または７に記載の作業認識装置。
【請求項９】
前記全体観測時刻決定部は、
前記加速度センサが出力する前記加速度から、重力加速度を除いた加速度の大きさを推定するマグニチュード推定部と、
前記加速度センサがそれぞれ出力する、ある観測時刻における前記加速度と当該ある観測時刻よりも前の観測時刻における前記加速度とのなす角度を計算する角度差分計算部と、
前記マグニチュード推定部により推定される前記加速度の大きさと前記角度差分計算部により計算される前記なす角度とが所定のパターンを示す場合に、前記ある観測時刻を、前記全体観測時刻として決定する時刻決定部と
を含む請求項８記載の作業認識装置。
【請求項１０】
前記時刻決定部は、前記角度差分計算部で計算された前記なす角度が０に漸近した時刻の直後の所定時間内に、前記マグニチュード推定部が出力する前記加速度の大きさが極大となる場合に、前記なす角度が０に漸近した時刻を、前記全体観測時刻として決定する
請求項９記載の作業認識装置。
【請求項１１】
前記時刻決定部は、前記なす角度が０に漸近する時刻を含む複数の時刻における前記なす角度を学習させた識別器を用いて、前記角度差分計算部で計算された前記なす角度が０に漸近した時刻を決定する
請求項１０記載の作業認識装置。
【請求項１２】
前記マグニチュード推定部は、加速度センサによって観測される加速度の大きさから重力加速度の大きさを減じることにより、重力加速度を除いた加速度の大きさを近似する
請求項９〜１１のいずれか１項に記載の作業認識装置。
【請求項１３】
前記撮像部は、前記ユーザの手作業の範囲を撮像するカメラである
請求項１〜１２のいずれか１項に記載の作業認識装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010143361.tif 000024
【図２】
2010143361.tif 000025
【図３】
2010143361.tif 000026
【図４】
2010143361.tif 000027
【図５Ａ】
2010143361.tif 000028
【図５Ｂ】
2010143361.tif 000029
【図６Ａ】
2010143361.tif 000030
【図６Ｂ】
2010143361.tif 000031
【図７】
2010143361.tif 000032
【図８Ａ】
2010143361.tif 000033
【図８Ｂ】
2010143361.tif 000034
【図９】
2010143361.tif 000035
【図１０】
2010143361.tif 000036
【図１１】
2010143361.tif 000037
【図１２】
2010143361.tif 000038
【図１３】
2010143361.tif 000039
【図１４】
2010143361.tif 000040
【図１５】
2010143361.tif 000041
【図１６】
2010143361.tif 000042
【図１７】
2010143361.tif 000043
【図１８】
2010143361.tif 000044
【国際調査報告】
2010143361.tif 000045
2010143361.tif 000046