(57)【要約】【課題】  操作者が戸惑っている箇所が一連の操作手順のどこに相当するのかを明確にし、その解決方法をユーザに通知する。【解決手段】  実操作情報取得部により取得された実操作情報と、理想操作関連情報蓄積部に格納された各理想操作情報とを照合し、当該照合結果に基づいて操作者が現実に行なっている作業を特定するとともに、当該作業において操作者が現在実行中の操作段階を追跡する。さらに操作段階の経過に伴う実操作情報と理想操作情報の一致度の変化に基づいて、操作者が操作手順に戸惑っている時点を検出し、そのタイミングに限定して案内情報を操作者に提示する。【選択図】  図１
2006209259.tif 000002
【特許請求の範囲】
【請求項１】
所定の操作手順からなる作業を行なう操作者の操作を支援する操作支援システムであって、
操作者が現実に行なっている作業上の操作に関する実操作情報を取得する実操作情報取得部と、
１以上の作業に関する理想的な操作に関する理想操作情報、及び作業の各操作段階において理想的な操作へ導く案内情報を格納する理想操作関連情報蓄積部と、
前記実操作情報取得部により取得された実操作情報と、前記理想操作関連情報蓄積部に格納された各理想操作情報とを照合し、当該照合結果に基づいて操作者が現実に行なっている作業を特定するとともに当該作業において操作者が現在実行中の操作段階を追跡し、操作者に案内情報を提示すべきタイミングを検出する照合部と、
前記の検出されたタイミングに対応する操作段階における案内情報を前記理想操作関連情報蓄積部から取り出す提示情報制御部と、
前記提示情報制御部により取り出された案内情報を操作者に提示する情報提示部と、
を具備することを特徴とする操作支援システム。
【請求項２】
前記照合部は、照合結果に基づいて判定された操作者が操作手順に戸惑っている時点を、案内情報を提示すべきタイミングとして検出する、
ことを特徴とする請求項１に記載の操作支援システム。
【請求項３】
前記照合部は、操作段階の経過に伴う実操作情報と理想操作情報の一致度の変化に基づいて、操作者が操作手順に戸惑っている時点を検出する、
ことを特徴とする請求項２に記載の操作支援システム。
【請求項４】
前記実操作情報取得部は、作業を行なう操作者の少なくとも身体の一部における操作段階の経過に伴う変位量を実操作情報として取得し、
前記理想操作関連情報蓄積部は、各作業の操作段階毎の正解若しくは標準的となる少なくとも身体の一部の変位量を理想操作情報として格納し、
前記照合部は、操作段階毎の実操作情報と各理想操作情報の変位量の一致度を求め、一致度の高い理想操作情報を持つ作業を操作者が現実に行なっている作業として特定する、
ことを特徴とする請求項１に記載の操作支援システム。
【請求項５】
前記実操作情報取得部は、撮像部と、操作者を撮影した人体動画像から所定の人体部品に関する動きを実操作情報として検出する部品動き検出部を備え、
前記理想操作関連情報蓄積部には、各作業の操作段階毎の理想的な操作を行なうときの人体部品の動きに関する理想操作情報が格納されている、
ことを特徴とする請求項４に記載の操作支援システム。
【請求項６】
前記照合部は、前記の特定された作業における理想操作情報と前記実操作情報取得部により取得された実操作情報の変位量の一致度を操作段階毎に比較し、一致度が急激に外れたことに応じて当該操作段階において操作者が操作手順に戸惑っている時点を検出する、
ことを特徴とする請求項４に記載の操作支援システム。
【請求項７】
前記実操作情報取得部及び前記情報提示部は操作者の作業環境に設置され、
前記実操作情報取得部を通信網に接続する第１の通信部と、前記情報提示部を通信網に接続する第２の通信部をさらに備え、
前記照合部は通信網を介して前記実操作情報取得部から実操作情報を受信し、前記提示情報制御部は通信網を介して前記情報提示部へ案内情報を送信する、
ことを特徴とする請求項１に記載の操作支援システム。
【請求項８】
所定の操作手順からなる作業を行なう操作者の操作を、１以上の作業に関する理想的な操作に関する理想操作情報及び作業の各操作段階において理想的な操作へ導く案内情報を格納した理想操作関連情報データベースを用いながら支援する操作支援方法であって、
操作者が現実に行なっている作業上の操作に関する実操作情報を取得する実操作情報取得ステップと、
前記実操作情報取得ステップにおいて取得された実操作情報と、前記理想操作関連情報データベースに格納された各理想操作情報とを照合し、当該照合結果に基づいて操作者が現実に行なっている作業を特定するとともに当該作業において操作者が現在実行中の操作段階を追跡し、操作者に案内情報を提示すべきタイミングを検出する照合ステップと、
前記の検出されたタイミングに対応する操作段階における案内情報を前記理想操作関連情報データベースから取り出す提示情報制御ステップと、
前記提示情報制御ステップにより取り出された案内情報を操作者に提示する情報提示ステップと、
を具備することを特徴とする操作支援方法。
【請求項９】
前記照合ステップでは、照合結果に基づいて判定された操作者が操作手順に戸惑っている時点を、案内情報を提示すべきタイミングとして検出する、
ことを特徴とする請求項８に記載の操作支援方法。
【請求項１０】
前記照合ステップでは、操作段階の経過に伴う実操作情報と理想操作情報の一致度の変化に基づいて、操作者が操作手順に戸惑っている時点を検出する、
ことを特徴とする請求項９に記載の操作支援方法。
【請求項１１】
前記理想操作関連情報データベースには、各作業の操作段階毎の正解若しくは標準的となる少なくとも身体の一部の変位量が理想操作情報として格納されており、
前記実操作情報取得ステップでは、作業を行なう操作者の少なくとも身体の一部における操作段階の経過に伴う変位量を実操作情報として取得し、
前記照合ステップでは、操作段階毎の実操作情報と各理想操作情報の変位量の一致度を求め、一致度の高い理想操作情報を持つ作業を操作者が現実に行なっている作業として特定する、
ことを特徴とする請求項８に記載の操作支援方法。
【請求項１２】
前記理想操作関連情報データベースには、理想操作情報として各作業において理想的な操作を行なうときの人体部品の動きに関する情報が格納されており、
前記実操作情報取得ステップでは、操作者を撮影して得た人体動画像から所定の人体部品に関する動きを実操作情報として検出する、
ことを特徴とする請求項１１に記載の操作支援方法。
【請求項１３】
前記照合ステップは、前記の特定された作業における理想操作情報と前記実操作情報取得部により取得された実操作情報の変位量の一致度を操作段階毎に比較し、一致度が急激に外れたことに応じて当該操作段階において操作者が操作手順に戸惑っている時点を検出する、
ことを特徴とする請求項１１に記載の操作支援方法。
【請求項１４】
前記実操作情報取得ステップにおいて取得された実操作情報を、前記照合ステップを実現する情報処理装置に宛てて通信網経由で転送する第１の通信ステップと、
前記提示情報制御ステップにおいて前記理想操作関連情報データベースから取り出された案内情報を、操作者に提示する提示装置に宛てて通信網経由で転送する第２の通信ステップと、
をさらに備えることを特徴とする請求項８に記載の操作支援方法。
【請求項１５】
所定の操作手順からなる作業を行なう操作者の操作を、１以上の作業に関する理想的な操作に関する理想操作情報及び作業の各操作段階において理想的な操作へ導く案内情報を格納した理想操作関連情報データベースを用いながら支援するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
操作者が現実に行なう作業上の操作に関する実操作情報を取得する実操作情報取得ステップと、
前記実操作情報取得ステップにおいて取得された実操作情報と、前記理想操作関連情報データベースに格納された各理想操作情報とを照合し、当該照合結果に基づいて操作者が現実に行なっている作業を特定するとともに当該作業において操作者が現在実行中の操作段階を追跡し、操作者に案内情報を提示すべきタイミングを検出する照合ステップと、
前記の検出されたタイミングに対応する操作段階における案内情報を前記理想操作関連情報データベースから取り出す提示情報制御ステップと、
前記提示情報制御ステップにより取り出された案内情報を操作者に提示する情報提示ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の操作手順からなる作業を行なう操作者の操作を支援する操作支援システム及び操作支援方法、並びにコンピュータ・プログラムに係り、特に、操作資料や助言者のいない出先でデモ操作や機械装置の定期診断などを行なう操作者の操作を支援する操作支援システム及び操作支援方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、操作が分からない操作者や次に行なうべき操作を度忘れしてしまった操作者に対し、ある正解となる作業を提示して操作を支援する操作支援システム及び操作支援方法、並びにコンピュータ・プログラムに係り、特に、操作者が戸惑っている箇所が一連の操作手順のどこに相当するのかを明確にし、その解決方法をユーザに通知する操作支援システム及び操作支援方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
人は、肉体や頭脳を働かせて、さまざまな作業を行なう。作業は、一連の操作手順からなり、事象の発生に伴い分岐を含むことがある。コンピュータ技術を適用して、作業効率の向上を図る作業支援システムは古くから開発されている。
【０００４】
作業支援システムは、基本的には、作業を行なう操作者に対し、操作手順を提示したり、次の操作へ案内したりする。例えば、オフラインで作業手順シナリオをあらかじめ作成し、電子化した作業支援情報として保管する。そして作業シナリオに基づく作業手順で、音声や画像の作業情報を提供する。
【０００５】
例えば、ＬＡＮが敷設されたＦＡ製造現場などで、クライアントからサーバに対して複数のイベントのイベント実行手順により構成される作業シナリオ・ファイルの送信を要求し、クライアント側で作業シナリオ・ファイルの内容を更新する作業支援システムについて提案がなされている（例えば、特許文献１を参照のこと）。この場合、各作業者に好適な作業支援情報を得るとともに、作業効率を低下させることなく、また、シナリオ設定やその維持・管理の工数を増大させることなく、作業シナリオを設定することができる。
【０００６】
また、機械・設備が設置されたユーザ工場のユーザ端末と、機械・装置のベンダのベンダ端末が、ネットワーク経由でメンテデータベース・センタにアクセス可能とした保全作業支援システムについて提案がなされている（例えば、特許文献２を参照のこと）。この場合、ユーザ端末から現象情報を入力すると、メンテデータベース・センタのサーバ側では、その現象情報に対応する対処コンテンツを保有するベンダ保守データベースを特定して適したコンテンツを抽出し、ユーザ端末に向けて出力する。従って、機械・設備のトラブルが生じたときに、ユーザは対処方法を容易且つ迅速に受けることができる。
【０００７】
しかしながら、これらのシステムでは、操作者が自ら情報入力をマニュアルで実施する必要がある。
【０００８】
ここで、作業支援システムをさらにオペレータの動きを捕捉した動画像情報や身体情報などを計測し、認識する計測・認識技術と融合することより、オペレータが現在行なっている作業段階を推定し、作業段階と同期して操作手順を提示することが可能であると考えられる。
【０００９】
例えば、ユーザの性別、年齢を含むユーザ・プロファイル、情報に対するユーザの興味の度合い情報、及び評価情報をユーザの概観や視線、表情、動作から取得し、ユーザに適切な情報を提供する情報提供装置について提案がなされている（例えば、特許文献３を参照のこと）。しかしながら、ユーザが何をしているかの情報を得ることができない。
【００１０】
また、原材料以外の要素の状態を含む一体化作業手順を網羅的にリストアップし、必要な作業手順を提示する作業手順作成支援システムについて提案がなされている（例えば、特許文献４を参照のこと）。この場合、操作者ではなく、被操作物の接触関係や位置関係により作業状態を推定しようとしている。
【００１１】
また、実際の作業者の作業行為を同定し、あらかじめ想定された作業行為と比較してそれに応じた情報を作業者に提示することで、誤りの防止効果を高める作業情報提供装置について提案がなされているが（例えば、特許文献５を参照のこと）、この場合も、作業対象となる設備の配置状況により作業者の状況を悟っている。
【００１２】
また、オペレータが機器の操作により追従すべき目標軌道を読み取り、機器の操作を検出して先読み時間から注目マーク位置を導出し、注目マーク及び自己の位置を画像表示し、オペレータが注目マークを目視することによりこれから行なうべき操作を予測するという、機械操縦技能習得のためにプロアクティブに情報提示を行なう操作支援システムについて提案がなされている（例えば、特許文献６を参照のこと）。
【００１３】
操作者の作業段階や作業状態を推定できる場合、この推定結果に適合した作業支援情報を常時動画（若しくは静止画）や音声により提示することは可能であろう。しかしながら、操作者は常に作業支援情報を必要としているとは限らない。操作が分からない操作者や次に行なうべき操作を度忘れしてしまった操作者にとって、正解となる作業の提示は大変にありがたい。一方、不必要な情報の提示は、操作者にとって煩わしく（迷惑に）感じることがあり、例えば音声による情報提示では作業の妨げにさえなりかねない。
【００１４】
上記の特許文献３〜６では、操作者の作業状態の推測を行なうものの、ある作業段階に到達している操作者の状態（すなわち作業支援情報が必要であるか否か）を判断するものではない。
【００１５】
また、出先でデモ操作や機械装置の定期点検を行なう操作者にとっては、操作手順を記載したドキュメントなどの資料の持ち合わせがなく、助言者も身近に居ないので、心細い。しかしながら、ＬＡＮ接続されていない遠隔地で、作業支援情報を常時提示することは、コスト的にも見合わない。
【００１６】
【特許文献１】特開平１１−３１２１９５号公報
【特許文献２】特開２００３−２７１７５７号公報
【特許文献３】特開２００２−９２０２３号公報
【特許文献４】特開２００２−２７８６１５号公報
【特許文献５】特開２００１−２８２３４９号公報
【特許文献６】特開平１１−２１２６０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、所定の操作手順からなる作業を行なう操作者の操作を好適に支援することができる、操作支援システム及び操作支援方法、並びにコンピュータ・プログラムを提供することにある。
【００１８】
本発明のさらなる目的は、出先でデモ操作や機械装置の定期診断などを行なう操作者の操作を好適に支援することができる、操作支援システム及び操作支援方法、並びにコンピュータ・プログラムを提供することにある。
【００１９】
本発明のさらなる目的は、操作が分からない操作者や次に行なうべき操作を度忘れしてしまった操作者に対し、ある正解となる作業を提示して操作を好適に支援することができる、操作支援システム及び操作支援方法、並びにコンピュータ・プログラムを提供することにある。
【００２０】
本発明のさらなる目的は、操作者が戸惑っている箇所が一連の操作手順のどこに相当するのかを明確にし、その解決方法をユーザに通知することができる、操作支援システム及び操作支援方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２１】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、所定の操作手順からなる作業を行なう操作者の操作を支援する操作支援システムであって、操作者が現実に行なっている作業上の操作に関する実操作情報を取得する実操作情報取得部と、１以上の作業に関する理想的な操作に関する理想操作情報、及び作業の各操作段階において理想的な操作へ導く案内情報を格納する理想操作関連情報蓄積部と、前記実操作情報取得部により取得された実操作情報と、前記理想操作関連情報蓄積部に格納された各理想操作情報とを照合し、当該照合結果に基づいて操作者が現実に行なっている作業を特定するとともに当該作業において操作者が現在実行中の操作段階を追跡し、操作者に案内情報を提示すべきタイミングを検出する照合部と、前記の検出されたタイミングに対応する操作段階における案内情報を前記理想操作関連情報蓄積部から取り出す提示情報制御部と、前記提示情報制御部により取り出された案内情報を操作者に提示する情報提示部とを具備することを特徴とする操作支援システムである。
【００２２】
本発明は、所定の操作手順からなる作業を行なう操作者に対し、操作を支援する情報の提示を行なう操作支援システムに関する。ここで、操作が分からない操作者や次に行なうべき操作を度忘れしてしまったときの正解となる作業の提示は有効であるが、不必要な情報の提示は、操作者にとって煩わしく（迷惑となり）作業の妨げになるという問題がある。
【００２３】
本発明に係る操作支援システムによれば、前記実操作情報取得部により取得された実操作情報と、前記理想操作関連情報蓄積部に格納された各理想操作情報とを照合し、当該照合結果に基づいて操作者が現実に行なっている作業を特定するとともに、当該作業において操作者が現在実行中の操作段階を追跡する。そして、操作者に案内情報を提示すべきタイミングを検出し、検出されたタイミングにおいてのみ操作者に案内情報の提示を実行するようになっている。
【００２４】
ここで言う提示すべきタイミングとは、照合結果に基づいて判定された操作者が操作手順に戸惑っている時点のことである。したがって、操作者が操作手順に戸惑っている時点に案内情報を提示することができるので、操作者にとっては、有効な支援が得られるとともに、煩わしい（不必要で迷惑な）情報の提示からは解放される。
【００２５】
前記照合部は、操作段階の経過に伴う実操作情報と理想操作情報の一致度の変化に基づいて、操作者が操作手順に戸惑っている時点を検出することができる。
【００２６】
例えば、前記実操作情報取得部は、作業を行なう操作者の少なくとも身体の一部における操作段階の経過に伴う変位量を実操作情報として取得する。一方、前記理想操作関連情報蓄積部には、各作業の操作段階毎の正解若しくは標準的となる少なくとも身体の一部の変位量を理想操作情報として格納しておく。
【００２７】
具体的には、前記実操作情報取得部は、撮像部と、操作者を撮影した人体動画像から、後段の照合処理において必要となる人体部品に関する動きを実操作情報として検出する部品動き検出部で構成される。また、前記理想操作関連情報蓄積部は、理想操作情報として各作業において理想的な操作を行なうときの人体部品の動きに関する情報を扱う。最も重要な人体部品は手である。例えば、人体部品として両手の１０本の指それぞれの爪の部分を扱い、これらの動きを実操作情報として測定する。
【００２８】
そして、前記照合部は、操作段階毎の実操作情報と各理想操作情報の変位量の一致度を求め、一致度の高い理想操作情報を持つ作業を操作者が現実に行なっている作業として特定することができる。
【００２９】
また、前記照合部は、前記の特定された作業における理想操作情報と前記実操作情報取得部により取得された実操作情報の変位量の一致度を操作段階毎に比較する。そして、一致度が急激に外れたことに応じて、当該操作段階を操作者が操作手順に戸惑っている時点として検出することができる。
【００３０】
なお、情報提示部による案内情報の提示方法、若しくは案内情報の形態として、動画や静止画、音声などが考えられるが、本発明の要旨は特にこれらに限定されるものではない。
【００３１】
また、本発明をネットワーク上のサーバ・クライアント・モデルとして構築することにより、遠隔地における操作者の操作を支援することができる。例えば、出先でデモ操作や機械装置の定期診断などを行なう操作者の操作を好適に支援することができる。
【００３２】
この場合、前記実操作情報取得部及び前記情報提示部は操作者の作業環境に設置され、その他の機能モジュールはサーバ上に構築されている。前記実操作情報取得部及び前記情報提示部は、例えば、携帯電話やＰＤＡなどの携行性に優れた機器として構成され、操作者は出先に持ち運ぶことができる。そして、前記実操作情報取得部は第１の通信部で、前記情報提示部は第２の通信部で、それぞれ通信網経由でサーバに相互接続されている。通信網は、携帯電話網、無線ＬＡＮ、インターネットなどの高域ネットワークなどで構成されている。
【００３３】
サーバ側では、前記照合部は通信網を介して前記実操作情報取得部から実操作情報を受信すると、実操作情報と各理想操作情報とを照合して、当該照合結果に基づいて操作者が現実に行なっている作業を特定するとともに、当該作業において操作者が現在実行中の操作段階を追跡し、操作者に案内情報を提示すべきタイミングを検出する。そして、前記提示情報制御部は、遠隔地の操作者が作業に戸惑っているタイミングに対応する操作段階における案内情報を、通信網経由で、前記情報提示部へ案内情報を送信する。
【００３４】
したがって、操作者は、出先からでも、操作が分からない操作者や次に行なうべき操作を度忘れしてしまったときの正解となる作業に関する有益な情報を受け取ることができる。
【００３５】
また、本発明の第２の側面は、所定の操作手順からなる作業を行なう操作者の操作を、１以上の作業に関する理想的な操作に関する理想操作情報及び作業の各操作段階において理想的な操作へ導く案内情報を格納した理想操作関連情報データベースを用いながら支援するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、操作者が現実に行なっている作業上の操作に関する実操作情報を取得する実操作情報取得ステップと、前記実操作情報取得ステップにおいて取得された実操作情報と、前記理想操作関連情報データベースに格納された各理想操作情報とを照合し、当該照合結果に基づいて操作者が現実に行なっている作業を特定するとともに当該作業において操作者が現在実行中の操作段階を追跡し、操作者に案内情報を提示すべきタイミングを検出する照合ステップと、前記の検出されたタイミングに対応する操作段階における案内情報を前記理想操作関連情報データベースから取り出す提示情報制御ステップと、前記提示情報制御ステップにより取り出された案内情報を操作者に提示する情報提示ステップとを具備することを特徴とするコンピュータ・プログラムである。
【００３６】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る操作支援システムと同様の作用効果を得ることができる。
【発明の効果】
【００３７】
本発明によれば、出先でデモ操作や機械装置の定期診断などを行なう操作者の操作を好適に支援することができる、優れた操作支援システム及び操作支援方法、並びにコンピュータ・プログラムを提供することができる。
【００３８】
また、本発明によれば、操作が分からない操作者や次に行なうべき操作を度忘れしてしまった操作者に対し、ある正解となる作業を提示して操作を好適に支援することができる、優れた操作支援システム及び操作支援方法、並びにコンピュータ・プログラムを提供することができる。
【００３９】
また、本発明によれば、操作者が戸惑っている箇所が一連の操作手順のどこに相当するのかを明確にし、その解決方法をユーザに通知することができる、優れた操作支援システム及び操作支援方法、並びにコンピュータ・プログラムを提供することができる。
【００４０】
本発明よれば、所定の操作手順からなる作業を行なおうとしている操作者がどの操作手順で戸惑っているか自動的に判別することができ、さらに操作者の熟練度に応じた情報提示を行なうことができる。
【００４１】
また、本発明を、正解となる作業情報を蓄積する理想操作関連情報蓄積部に複数種類の操作を登録し、サーバ・クライアント・システムとして、同時に複数の作業を管理するシステムを構成することができる。
【００４２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００４３】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００４４】
図１には、本発明の一実施形態に係る操作支援システムの機能的構成を模式的に示している。図示の操作支援システム１０は、撮像部１１と、部品動き検出部１２と、正解データベース１３と、照合部１４と、提示情報制御部１５と、情報提示部１６で構成されている。
【００４５】
撮像部１１は、１台若しくは複数台のカメラで構成され、操作支援の対象となる操作者が作業する様子について画像取り込みを行なう。ここで言う操作者は、通常は人間であり、手や足などの操作を実行するために必要な人体部品で構成される。個々のカメラは、これらの人体部品が初期状態において死角にならないように配置されている。
【００４６】
部品動き検出部１２は、操作者を撮影した人体動画像から、後段の照合処理において必要となる人体部品に関する動きを実操作情報として検出する。操作中に最も重要な人体部品は、操作者が行なう作業に応じて区々であるが、多くの場合は手である。以下では、人体部品として両手の１０本の指それぞれの爪の部分を扱い、これらの動きを実操作情報として測定するものとする。
【００４７】
一般に手の指は複雑な動きをするために、お互いがカメラから死角になり易い。このため、オクルージョン情報を補間する、オクルージョンが発生した場合のデータは取得しないなどの対策が必要となる。また、指の動きを獲得するのは非常に難しいので、精度を重視するためには、図２に示すように爪にマーカを装着するようにしてもよい。どの指にどのマーカが対応しているかを把握するため、マーカを色によって塗り分けるか、文字を記入するようにしてもよい。複数台のカメラを用いる場合、立体視によりマーカの３次元的な位置を計測することができる。１０本の指に対して、ある時間に３つの空間的特徴を得ることができるが、オクリュージョンにより欠落する場合は情報量ＮＵＬＬを与える。
【００４８】
正解データベース１３には、１以上の作業に関する理想的な操作に関する理想操作情報、及び作業の各操作段階において理想的な操作へ導く案内情報を格納している。本実施形態では、撮像部１１及び部品動き検出部１２は、作業を行なう操作者の主要な人体部品における操作段階の経過に伴う変位量を実操作情報として取得する。このような場合の理想操作情報は、各作業の操作段階毎の正解若しくは標準的となる主要な人体部品の変位量である。また、案内情報は、操作詳細や操作ノウハウなどで構成される。
【００４９】
図３には、左手親指を人体部品として扱った場合の、各指の爪の部分の変位量からなる理想操作情報を例示している。同図では、上から時間とｘ座標、時間とｙ座標、時間とｚ座標の関係を示している。このような変位情報が指の数だけ計３０データベースに入っている。また、図４には案内情報として操作詳解例を扱う例、図５には案内情報として操作ノウハウを扱う例それぞれ示している。
【００５０】
作業を構成する一連の操作手順は、図４にも示したように、幾つかのサブカテゴリ（操作）に分類される。各サブカテゴリには、その操作を構成する作業の詳細が時間と関連付けて、正解データベース１３に保存されている。各作業の詳細に対しては付加情報として、図５に示したように、操作上のノウハウや注意事項などが保存されている。よって、作業を実行している操作者が、現在、一連の操作手順のうちどの操作段階で戸惑っているのか判定できれば、その理想的な操作及び当該操作に付随する情報を正解データベース１３から引き出すことが可能となる。
【００５１】
正解データベース１３には、作業の各操作手順について、正解若しくは標準的となる人体部品の動きに関する理想操作情報があらかじめ登録されている（前述）。このような理想操作情報は、当該操作支援システム１０を用いて、事前に複数の操作者から作業中の人体部品の変位量データを獲得することで作成することができる。
【００５２】
照合部１４は、操作者が現実に行なっている作業の特定と、当該作業において操作者が現在実行中の操作段階を追跡し、操作者に案内情報を提示すべきタイミングの検出を行なう。
【００５３】
正解データベース１３には、多数の作業に関して、正解若しくは標準的となる人体部品の動きに関する理想操作情報があらかじめ登録されている（前述）。照合部１４では、撮像部１１及び部品動き検出部１２により抽出された、操作者の人体部品の変位量からなる実操作情報を、正解データベース１３に格納された各作業の理想操作情報と照合し、当該照合結果に基づいて操作者が現実に行なっている作業を特定する。
【００５４】
さらに照合部１４は、当該作業において操作者が現在実行中の操作段階を順次追跡していき、操作者に案内情報を提示すべきタイミングを検出する。具体的には、照合結果に基づいて判定された操作者が操作手順に戸惑っている時点を、案内情報を提示すべきタイミングとして検出する。何故ならば、操作手順に戸惑っている時点では、操作者は、操作手順が分からない、あるいは次に行なうべき操作を度忘れしてしまったと推定され、正解となる作業の提示は大変にありがたいと考えられるからである。他方、不必要なタイミングでの不必要な情報の提示は、操作者にとって煩わしく（迷惑に）感じることがある。例えば、音声による情報提示では作業の妨げにさえなりかねない。
【００５５】
タイミング検出において、照合部１４は、特定した作業の理想操作情報が示す人体部品の変位量と、撮像部１１及び部品動き検出部１２より検出される人体部品の現実の変位量とを、作業期間中も操作段階を追いながら、照合し続ける。そして、両者の一致度が急激に外れたことに応じて、当該操作段階を操作者が操作手順に戸惑っている時点を検出する。
【００５６】
提示情報制御部１５は、操作者の戸惑いが検出されたタイミングに対応する操作段階における案内情報を、正解データベース１３から取り出し、情報提示部１６に転送する。情報提示部１６では、受信した案内情報を操作者に提示する。案内情報は、作業に関する操作詳解例（図４を参照のこと）や、操作ノウハウ（図５）などである。情報提示部１６による案内情報の提示方法、若しくは案内情報の形態として、動画や静止画、音声などが考えられるが、特にこれらに限定されるものではない。
【００５７】
上述したように、照合部１４は、撮像部１１及び部品動き検出部１２で得られる人体部品の変位量のデータと正解データベース１３に蓄積されているデータとの照合を行なうことで、現在どの作業を実施しているのかを推定する。この推定処理の手順について、図６を参照しながら詳解する。
【００５８】
正解データベース１３内に含まれる左手親指のｘ座標分の変位量をｘ0（ｔ）とし、操作者の左手親指の変化量をｘ（ｔ）とする。図６上段はｘ0（ｔ）を、同図の下段はｘ（ｔ）をそれぞれ示している。さらにｘ0（ｔ）、ｘ（ｔ）ともに離散データとし、説明を簡素化するためにｘ0（ｔ）は１ミリ秒毎に１つずつデータ取得するものとし、時間にして（Ｎ−１）ミリ秒の間に取得されたＮ個の離散データから構成されているものとする。また、ｘ（ｔ）も１ミリ秒間隔でデータ取得できるものとする。ｇ（ｉ，ｊ）はｘ0（ｔ）のｉ番目のデータまでとｘ（ｔ）のｊ番目までのデータとの一致度と定義する。初期値ｇ（１，１）＝０となるように調整し、一般にｇ（ｉ，ｊ）を下式（１）のように定義する。
【００５９】
【数１】
2006209259.tif 000003
【００６０】
但しｉ及びｊはともに１以上とし、ｄ（ｉ，ｊ）は｛ｘ0（ｉ）−ｘ（ｊ）｝2を指すものとする。次に下式（２）によってＡ（ｊ）を定義する。
【００６１】
【数２】
2006209259.tif 000004
【００６２】
Ａ（ｊ）を計算する際には単純に考えれば、１≦ｉ≦Ｎを満たすすべてのｉで式（１）を算出する必要がある。しかしながら、測定データに含まれるノイズが非常に少ない場合には常にＡ（ｊ−１）≦Ａ（ｊ）が成立する筈であるから、実際にはＡ（ｊ）を算出する際にはＡ（ｊ−１）≦ｉ≦Ｎを満たすｉのみに注目すればよい。
【００６３】
次に、一致度の微分値Ｂ（ｊ）を下式（３）によって定義する。
【００６４】
【数３】
2006209259.tif 000005
【００６５】
計測データが標準的なデータから外れた場合、つまり作業がうまく実行できなかった場合、微分値Ｂ（ｊ）はその瞬間に激増する。以降、この値が作業状態によるものか、ノイズによるものかを見極めるためにｇ（Ａ（ｊ＋ｋ），ｊ＋ｋ）を観察し続け（定時間ｋｍｓ）、ｇ（Ａ（ｊ−１），ｊ−１）との差を計算し続ける。ここで、差の値がある閾値Ｔｈより大きい場合、標準時間のＡ（ｊ）において操作者の作業停止が生じたと判断する（図７を参照のこと）。この作業停止は、操作者が次の操作内容を失念し、戸惑っているタイミングであると推定される。
【００６６】
以上の説明では左親指のｘ座標による変動のみでＡ（ｊ）を算出する手法について述べたが、実際には指を使用する場合、計３０個の変位量データでＡ（ｊ）を算出する必要がある。ｆ番目の特徴次元におけるｇ（ｉ，ｊ）をｇf（ｉ，ｊ）とすると、それらの平均値を下式（４）のようにするなどして対処する。
【００６７】
【数４】
2006209259.tif 000006
【００６８】
一方、測定データに欠落データがある場合には、その次元を計算しないか、その直前又は直後の欠落のないデータで補間することにより、上記の計算を強制的に実行する。
【００６９】
図８には、Ａ（ｊ）を計算するための処理手順をフローチャートの形式で示している。同図に示す例ではｇ（ｉｉ，ｊ）の計算を制限を設けずに実施しているが、あらかじめ今実施している作業がどのあたりの作業に相当するか自明である場合、途中で計算を打ち切ることができる。
【００７０】
まず、変数ｉに１を、変数ｊにｊを、それぞれ代入し（ステップＳ１）、変数ｉｉにＡ（ｊ−１）＋１を代入する（ステップＳ２）。
【００７１】
次いで、ｄ（ｉｉ，ｊ）を計算する（ステップＳ３）。
【００７２】
ここで、ｉとｉｉを大小比較し（ステップＳ４）、ｉの方が小さければ、ｇ（ｉ，ｊ）を計算する（ステップＳ５）。そして、ｉを１だけ増分して（ステップＳ６）、ｉがｉｉ以上になるまでｇ（ｉ，ｊ）の計算を繰り返し行なう。
【００７３】
次いで、ｇ（ｉｉ，ｊ）を計算する（ステップＳ７）。
【００７４】
次いで、ｉｉとＡ（ｊ−１）＋１が等しいかどうかをチェックする（ステップＳ８）。両者が等しくない場合には、ｇ（ｉｉ，ｊ）がｍｉｎ＿ｇよりも小さいかどうかをさらにチェックする（ステップＳ９）。
【００７５】
そして、ｉｉとＡ（ｊ−１）＋１が等しいとき、又はｉｉとＡ（ｊ−１）＋１が等しくないがｇ（ｉｉ，ｊ）がｍｉｎ＿ｇよりも小さいときには、ｍｉｎ＿ｇにｇ（ｉｉ，ｊ）を代入するとともに、Ａ（ｊ）にｉｉを代入する（ステップＳ１０）。
【００７６】
そして、ｉｉがＮに到達したかどうかをチェックする（ステップＳ１１）。ｉｉがＮに到達していれば、本処理ルーチン全体を終了する。また、ｉｉがＮに到達していなければ、ｉｉを１だけ増分した後（ステップＳ１２）、ステップＳ３に復帰して、上述した処理を繰り返し行なう。
【００７７】
さらに図９には、Ａ（ｊ）の微分値Ｂ（ｊ）を計算するための処理手順をフローチャートの形式で示している。
【００７８】
まず、変数ｊに１を代入し（ステップＳ２１）、次いで、変数ｍに０を代入する（ステップＳ２２）。
【００７９】
次いで、Ａ（ｊ＋ｍ）を計算する（ステップＳ２３）。
【００８０】
次いで、ｇ（Ａ（ｊ＋ｍ），ｊ＋ｍ）−ｇ（Ａ（ｊ−１），ｊ−１）を計算して、Ｂ（ｊ，ｍ）に代入する（ステップＳ２４）。
【００８１】
ここで、微分値Ｂ（ｊ，ｍ）を所定の閾値Ｔｈと大小比較する（ステップＳ２５）。このとき、微分値Ｂ（ｊ，ｍ）が閾値Ｔｈを越えないときには、ｊを１だけ増分して（ステップＳ２６）、ステップＳ２２に戻り、上述と同様の微分値の計算を繰り返し行なう。
【００８２】
一方、微分値Ｂ（ｊ，ｍ）が閾値Ｔｈを越えたときには、ｍを１だけ増分する（ステップＳ２７）。
【００８３】
次いで、ｍとｋとを大小比較する（ステップＳ２８）。ｍがｋよりも小さいときには、ステップＳ２３に戻り、上述と同様の処理を繰り返し行なう。
【００８４】
また、ｍがｋを越えるときには、時間ｊで操作者に戸惑いがあったと判定し、本処理ルーチン全体を終了する。
【００８５】
上記のような手法によって、作業の戸惑いが生じた時間ｔが推定できた場合、提示情報制御部１５で正解データベース１３から該当する時間に対応する案内情報を検索する。案内情報は、操作詳細例や操作ノウハウ、及びそれに付属する情報で構成される。
【００８６】
情報提示部１６ではその検索結果を表示する。ここで、Ａ（ｊ）＜ｊの場合、操作者は標準よりも操作が遅く、熟練していないことが考えられるので、より多くの、丁寧な情報を提示するようにすることもできる。逆に、Ａ（ｊ）＞ｊの場合、操作者は作業には熟練しているが、ある作業を度忘れしたと考えることができるため、そのような場合は少しの、要点だけを提示するように制御することができる。その際、正解データベース１３にはあらかじめ熟練度に応じてどのような情報を提示するのかラベル付けを行なう必要がある。情報提示部１６は、液晶ディスプレイのようなものでもよいし、ＰＤＡや携帯電話端末でもよい。
【００８７】
図１に示したシステム構成では、すべての機能モジュールが一箇所に設置されているが、本発明の要旨はこれに限定されるものではない、例えば、サーバ・クライアント・モデルを導入して、本発明に係る操作支援システムをネットワーク上に構築することができる。この場合、操作資料が手元になく助言者も近くに居ないような出先においても、デモ操作や機械装置の定期診断などを行なう操作者の操作を好適に支援することができる。
【００８８】
図１０には、サーバ・クライアント・モデルを導入してネットワーク上に構築された操作支援システムの機能的構成を模式的に示している。図１と同一の機能モジュールに関しては同一の参照番号を付しており、ここでは説明を省略する。
【００８９】
図１とのシステム構成の相違点は、操作者の実操作情報の取得を行なう撮像部１１及び部品動き検出部１２、並びに操作者に案内情報を提示する情報提示部１６が操作者の作業環境に設置され、照合部１４、正解データベース１３、提示情報制御部１５に相当する機能は、サーバ上で構築されている。実操作情報を取得する撮像部１１及び部品動き検出部１２、並びに情報提示部１６は、例えば、携帯電話やＰＤＡなどの携行性に優れた機器として構成され、操作者は出先に持ち運ぶことができる。
【００９０】
撮像部１１が操作支援の対象となる操作者が作業する様子について画像取り込みを行ない、部品動き検出部１２は、操作者を撮影した人体動画像から、後段の照合処理において必要となる人体部品に関する動きを実操作情報として検出する。そして、この検出結果が通信網を介してサーバへ転送される。通信網は、携帯電話網、無線ＬＡＮ、インターネットなどの高域ネットワークなどで構成されている。
【００９１】
サーバ側では、照合部１４が、操作者が現実に行なっている作業を特定して、当該作業において操作者が現在実行中の操作段階を追跡するとともに、操作者に案内情報を提示すべきタイミングの検出を行なう。そして、提示情報制御部１５は、操作者の戸惑いが検出されたタイミングに対応する操作段階における案内情報を、正解データベース１３から取り出すと、これを通信網経由で情報提示部１６に転送する。
【００９２】
情報提示部１６では、受信した案内情報を操作者に提示する。案内情報は、作業に関する操作詳解例（図４を参照のこと）や、操作ノウハウ（図５）などである。
【００９３】
なお、図１０では、図面の簡素化のため単一の操作者しか描いていないが、このようなシステムでは複数の操作者に対して操作支援サービスを提供し、同時に異なる情報を提示することも可能となる。
【００９４】
また、部品動き検出部１２は、作業環境ではなく、サーバ上に配置することも可能である。この場合、部品動き情報ではなく、操作者の動きを捕捉した人体動画像そのものがサーバへ転送される。
【産業上の利用可能性】
【００９５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００９６】
本明細書では、作業の途上で次の操作内容を失念した操作者の戸惑いを検出し、この検出結果に応じて作業を好適に継続するための案内情報を操作者に提示して戸惑いを解消するという実施形態について説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、作業の途上で操作者の戸惑いを検出した結果を案内情報の提示以外の目的に利用することも可能である。
【００９７】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲の記載を参酌すべきである。
【図面の簡単な説明】
【００９８】
【図１】図１は、本発明の一実施形態に係る操作支援システムの機能的構成を模式的に示した図である。
【図２】図２は、爪にマーカを装着した様子を示した図である。
【図３】図３は、左手親指を人体部品として扱った場合の、各指の爪の部分の変位量からなる理想操作情報を例示した図である。
【図４】図４は、作業に関する操作詳解例を示した図である。
【図５】図５は、作業に関する操作ノウハウの例を示した図である。
【図６】図６は、人体部品の変位量のデータと正解データベース１３に蓄積されているデータとの照合を行なうことで、現在どの作業を実施しているのかを推定する手順を説明するための図である。
【図７】図７は、標準時間のＡ（ｊ）において操作者の作業停止が生じたと判断する様子を示した図である。
【図８】図８は、Ａ（ｊ）を計算するための処理手順を示したフローチャートである。
【図９】図９は、Ａ（ｊ）の微分値Ｂ（ｊ）を計算するための処理手順を示したフローチャートである。
【図１０】図１０は、サーバ・クライアント・モデルを導入してネットワーク上に構築された操作支援システムの機能的構成を模式的に示した図である。
【符号の説明】
【００９９】
１０…操作支援システム
１１…撮像部
１２…部品動き検出部
１３…正解データベース
１４…照合部
１５…提示情報制御部
１６…情報提示部
【図１】
2006209259.tif 000007
【図２】
2006209259.tif 000008
【図３】
2006209259.tif 000009
【図４】
2006209259.tif 000010
【図５】
2006209259.tif 000011
【図６】
2006209259.tif 000012
【図７】
2006209259.tif 000013
【図８】
2006209259.tif 000014
【図９】
2006209259.tif 000015
【図１０】
2006209259.tif 000016