(57)【要約】      （修正有）【課題】実際のタスクシナリオにおいて高い柔軟性をもってタスクを実施することにおいてユーザを支援する支援システム、方法及びプログラムを提供する。【解決手段】タスクを遂行することにおいてユーザを支援するためのシステムは、ユーザと対話するための人間機械インターフェースユニット５と、タスクに関する非構造化知識情報源データを取得するように構成されたタスク入力ユニット２１と、人間機械インターフェースユニット５により取得されたユーザ入力を解釈することと、タスクの内部表現を生成するために、取得された前記非構造化知識情報源データを分析することと、ユーザ入力と画像データとのうちの少なくとも１つを解釈することによりタスク進捗を監視することとを行うように構成されたプロセッサ２０とを備える。プロセッサ２０は、生成された内部表現と監視されるタスク進捗とに基づいて、サポート信号を生成し出力する。【選択図】図４
2020035416.tif 000002
【特許請求の範囲】
【請求項１】
タスクを遂行することにおいてユーザを支援するためのシステムであって、
前記ユーザと対話するための人間機械インターフェースユニット（５）と、
前記タスクに関する非構造化知識情報源データを取得するように構成されたタスク入力ユニット（２１）と、
前記人間機械インターフェースユニット（５）により取得されたユーザ入力を解釈することと、
前記タスクの内部表現を生成するために、取得された前記非構造化知識情報源データを分析することと、
前記ユーザ入力と画像データとのうちの少なくとも１つを解釈することによりタスク進捗を監視することと、
を行うように構成されたプロセッサ（２０）と、
を備え、
前記プロセッサ（２０）が、生成された前記内部表現と監視される前記タスク進捗とに基づいて、サポート信号を生成することと、生成された前記サポート信号を出力することとを行うようにさらに構成され、
前記サポート信号が、少なくとも１つの物体を操作することに関する情報、または前記タスクをどのように実施するかに関する情報を含む、
タスクを遂行することにおいてユーザを支援するためのシステム。
【請求項２】
前記プロセッサ（２０）が、
前記タスクを個々のステップに再分割すること、および、前記個々のステップ間の依存関係に基づいて、逐次的な、および／または並列な実行のために時間的シーケンスで前記個々のステップを配置することにより、前記タスクの前記内部表現を生成することと、
どの物体および／または物体の部分が前記ステップを実行することに関与するかを各前記ステップに対して識別することであって、前記物体および／または前記物体の部分が、特に、ツールおよび／またはスペアパーツを含む、識別することと、
関与する前記物体および／または前記物体の部分が、前記タスクを実施するためにどのように操作されるかを特定することと、
を行うように構成されることを特徴とする、請求項１に記載のシステム。
【請求項３】
前記プロセッサ（２０）が、口によるユーザ入力、前記ユーザの少なくとも１つの視覚的に知覚可能なジェスチャ、前記ユーザの触覚入力のうちの少なくとも１つを含む前記ユーザ入力を解釈することにより、および、視覚センサー（７）から獲得された、および、前記ユーザと前記タスクに関与する少なくとも１つの前記物体および／または前記物体の少なくとも１つの部分とを描写した前記画像データを解釈することにより、前記タスク進捗を監視するように構成されることを特徴とする、
請求項１または請求項２に記載のシステム。
【請求項４】
前記プロセッサ（２０）が、前記システムが少なくとも１つの物体および／または物体の少なくとも１つの部分を前記ユーザに手渡すこと、および／または、前記少なくとも１つの物体および／または前記物体の少なくとも１つの部分を前記ユーザから受け取ることを可能にする制御情報を含む前記物体および／または前記物体の部分を操作することに関する情報を含む前記サポート信号を生成するように構成されることを特徴とする、
請求項１から請求項３のいずれか一項に記載のシステム。
【請求項５】
前記プロセッサ（２０）が、取得された前記ユーザ入力を前記タスクの生成された前記内部表現と組み合わせることに基づいて、現在のステップにおいて要求される少なくとも１つの物体および／または物体の少なくとも１つの部分を特定するように構成されることを特徴とする、
請求項１から請求項４のいずれか一項に記載のシステム。
【請求項６】
前記プロセッサ（２０）が、取得された前記ユーザ入力を前記タスクの生成された前記内部表現と組み合わせることに基づいて、将来のステップにおいて要求される少なくとも１つの物体および／または物体の少なくとも１つの部分を予測するように構成されることを特徴とする、
請求項１から請求項５のいずれか一項に記載のシステム。
【請求項７】
前記プロセッサ（２０）が、内部タスク表現に基づいて前記タスクを実施するために現在のステップをどのように実施するかに関するアクション情報を前記サポート信号において生成および出力するように構成されることを特徴とする、
請求項１から請求項６のいずれか一項に記載のシステム。
【請求項８】
前記プロセッサ（２０）が、実施される前記タスクに類似した少なくとも１つのタスクに関する前記非構造化知識情報源データを取得するように構成され、
前記プロセッサ（２０）が、実施される前記タスクの前記内部表現を生成するために、少なくとも１つの類似の前記タスクに関する取得された前記非構造化知識情報源データを分析するように構成されることを特徴とする、
請求項１から請求項７のいずれか一項に記載のシステム。
【請求項９】
前記タスクの生成された前記内部表現が、現在の前記タスクをどのように実施するかに関する少なくとも１つの仮定を含むことを特徴とする、
請求項８に記載のシステム。
【請求項１０】
前記プロセッサ（２０）が、実施される前記タスクと、前記タスクに関与する前記物体と、前記物体の関与の時間的シーケンスと、獲得された前記画像データとのうちの少なくとも１つに関係した前記ユーザ入力に基づいて、前記少なくとも１つの仮定に重みを適用するように構成されることを特徴とする、
請求項９に記載のシステム。
【請求項１１】
前記プロセッサ（２０）が、前記ユーザに対して出力信号において、少なくとも１つの前記仮定に割り当てられた信頼値と一緒に、前記少なくとも１つの仮定を提供するように構成されることを特徴とする、
請求項９または請求項１０に記載のシステム。
【請求項１２】
前記プロセッサ（２０）が、前記タスクを実施するためのステップごとの指示を生成および出力するように構成されることを特徴とする、
請求項１から請求項１１のいずれか一項に記載のシステム。
【請求項１３】
前記タスク入力ユニット（２０）が、前記タスクに関する視覚情報を入手するように構成されており、
前記プロセッサ（２０）が、前記ユーザに対して前記出力信号において、入手された前記視覚情報を提供するように構成されることを特徴とする、
請求項１から請求項１２のいずれか一項に記載のシステム。
【請求項１４】
前記プロセッサ（２０）が、前記タスクの記述から前記視覚情報を抽出するように、または、ウェブ検索マシンと前記タスクに関連したキーワードとを使用して画像検索を実施するように構成されることを特徴とする、
請求項１３に記載のシステム。
【請求項１５】
前記プロセッサ（２０）が、前記タスク進捗とタスク成功度とのうちの少なくとも１つに関するフィードバック情報を生成するように、および、前記タスク進捗と前記タスク成功度とのうちの少なくとも１つに関する前記フィードバック情報を前記出力信号において出力するように構成されることを特徴とする、
請求項１から請求項１４のいずれか一項に記載のシステム。
【請求項１６】
前記プロセッサ（２０）が、入手された前記視覚情報を獲得された前記画像データと比較することに基づいて、前記フィードバック情報を生成するように構成されることを特徴とする、
請求項１３から請求項１５のいずれか一項に記載のシステム。
【請求項１７】
前記プロセッサ（２０）が、前記タスクに関する全体情報を生成することであって、前記全体情報が、少なくとも、前記タスクの実行中に必要とされる物体と、前記タスクが要する時間と、前記タスクの困難さのレベルとのうちの１つに関する情報を含む、生成することと、前記ユーザに前記全体情報を出力することとを行うように構成されることを特徴とする、
請求項１から請求項１６いずれか一項に記載のシステム。
【請求項１８】
タスクを遂行することにおいてユーザを支援する方法であって、システムが、前記ユーザと対話するための人間機械インターフェースユニット（５）と、プロセッサ（２０）と、タスク入力ユニット（２１）とを備え、方法が、以下の方法ステップ、すなわち、
前記タスクに関する非構造化知識情報源データを、前記タスク入力ユニット（２１）により取得するステップ（Ｓ１）と、
取得された前記非構造化知識情報源データを前記プロセッサ（２０）により分析するステップ（Ｓ２）と、前記タスクの内部表現を生成するステップ（Ｓ３）と、
前記人間機械インターフェースユニット（５）により取得されたユーザ入力を、前記プロセッサ（２０）により解釈するステップ（Ｓ５）と、
前記ユーザ入力と画像データとのうちの少なくとも１つを解釈することにより、前記タスクを実施することにおける進捗を示すタスク進捗を、前記プロセッサ（２０）により監視するステップ（Ｓ６）と、
生成された前記内部表現と監視される前記タスク進捗とに基づいて、サポート信号を前記プロセッサ（２０）により生成するステップ（Ｓ７）と、
生成された前記サポート信号を出力するステップであって、前記サポート信号が、少なくとも１つの物体を操作することに関する情報、または、前記タスクをどのように実施するかに関する情報を含む、出力するステップと、
を含む、タスクを遂行することにおいてユーザを支援する方法。
【請求項１９】
コンピュータプログラムであって、前記プログラムがコンピュータまたはデジタル信号プロセッサにおいて実行されたとき、請求項１７に記載のステップを実行するためのプログラムコード手段を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タスクを遂行することにおいてユーザを支援する、例えばロボットを含む、支援システム、ならびに、対応する方法およびプログラムに関する。本発明は、特に、タスクを遂行する、および／または、助言を与えるための、手動ステップを実施することにおいてユーザを支援することに適した、人間により能動的に訓練されることなくタスク知識情報を取得する支援システムに関する。
【背景技術】
【０００２】
実施されるステップに対するガイダンスと、タスクを首尾よく完了するために各ステップに対して作業者がどのツールを必要とするかとを作業者に提供し得る技術的指示を作業者に提供することにより、タスクを実施することにおいて作業者を支援することが一般的に知られている。場合によっては技術文書と相互参照された書かれたガイドライン、チュートリアルが、例えば、指示、および技術デバイスをどのように修理するかに関するタスク関連知識情報を提供し得る。このような技術デバイスの例は、陸の、海の、空の乗り物、またはその任意のサブシステムである。
【０００３】
支援システムは、タスクまたはサービスを実施することにおいてユーザを支援し得る。仮想的な支援者が人間の音声を解釈すること、および、合成した声を使用して要請に応答することができる。ユーザは、例えば、タスクを実施することをどのように進めるかといった質問を支援システムに尋ね得るか、または、支援システムが、特に、ユーザから受信された指示に応答して、タスクを実施することにおいてユーザをサポートするように適応されたロボットを制御することさえあり得る。
【０００４】
従来のロボットが、保護された作業環境において自律的に、または、限られたガイダンスを使用して動作するのに対し、新しいクラスの協働ロボットとして、共同ワークフローにより、共有された作業空間において人間の作業者と一緒に動作することが可能なロボットが挙げられる。ユーザとロボットとが、連携したシステムを呈する。連携したシステムは、１つの個体が別の個体の目的のうちのいくつかを引き受けること、および、他方と一緒に行動することにより連携した挙動を示し、これらの共有された目的を達成する。ユーザと支援システムとが、タスクを実施することにおいて連携し得る。
【０００５】
それにもかかわらず、現実の環境における支援システムなどのインテリジェントシステムの知覚能力および推論のスキルは、現在のところ限られており、近い将来、徐々に改善していくのみである。連携して実施されるタスクに関する追加的な知識情報は、支援システムが本欠点に対処することに役立ち得る。しかし、タスク知識情報は、多くの既定のケースに対して支援システムに予めプログラムされて、以前から知られた特定のシナリオに対処するのみであり得る。
【０００６】
既存の支援システムは、詳細かつ厳密なタスク記述を使用してプログラムされる。従って、システムは、タスク記述に柔軟性がないので、あらゆるずれを認識することになる。システムは、プログラマにより開発された詳細なタスク記述の各ステップを含むシーケンスを受信し、システムの性能が、この詳細なタスク記述を現在の状況と比較することに制限される。支援システムは、連携した手法でタスクを遂行するために、個々のユーザに対し、より高い柔軟性をもって反応することが望ましい。さらに、遂行されることを必要とするタスクごとに、詳細な記述を規定およびプログラムすることも困難である。
【０００７】
多くの場合、タスクを、タスクを実施するためのワークフロー全体のセクションおよびステップを規定する複数のサブタスクに再分割することが可能である。この複数のサブタスクは、異なる順序で実施され得る。従って、例えば、自動車に対して作業する異なる技術者が必要なステップを異なる順序で個々に進め得るが、同じ最終目的を達成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許公報第６６６８７５１（Ｂ１）号
【特許文献２】米国特許出願公開第２００６／００７４５１３（Ａ１）号
【非特許文献】
【０００９】
【非特許文献１】Ｗｉｌｌｉａｍｓ，Ｊ．Ｒａｕｘ，Ａ．Ｒａｍａｃｈａｎｄｒａｎ，Ｄ．およびＢｌａｃｋ，Ａ．（２０１３）、Ｔｈｅ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｃｈａｌｌｅｎｇｅ．、ＳＩＧＤＩＡＬ  ２０１３  Ｃｏｎｆｅｒｅｎｃｅの議事録（４０４〜４１３頁）に記載
【非特許文献２】Ｗｉｌｌｉａｍｓ，Ｊ．およびＲａｕｘ，Ａ．およびＨｅｎｄｅｒｓｏｎ，Ｍ．、Ｔｈｅ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｃｈａｌｌｅｎｇｅ  ｓｅｒｉｅｓ：Ａ  ｒｅｖｉｅｗ、議事録および講演、７（３）、４〜３３
【非特許文献３】「Ｉｎｔｅｒｐｒｅｔｉｎｇ  Ｍｕｌｔｉｍｏｄａｌ  Ｒｅｆｅｒｒｉｎｇ  Ｅｘｐｒｅｓｓｉｏｎｓ  ｉｎ  Ｒｅａｌ  Ｔｉｍｅ」、Ｗｈｉｔｎｅｙ  Ｄら著、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）２０１６年、Ｓｔｏｃｋｈｏｌｍ、２０１６年５月１６日から２１日
【非特許文献４】Ｙｏｕｎｇ，Ｔ．、Ｈａｚａｒｉｋａ，Ｄ．、Ｐｏｉｒａ，Ｓ．およびＣａｍｂｒｉａ，Ｅ．（２０１８年）、Ｒｅｃｅｎｔ  ｔｒｅｎｄｓ  ｉｎ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｂａｓｅｄ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ．、ＩＥＥＥ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｍａｇａｚｉｎｅ、１３（３）、５５〜７５
【非特許文献５】Ｋｕｒａｔａ，Ｇ．、Ｘｉａｎｇ，Ｂ．、Ｚｈｏｕ，Ｂ．およびＹｕ，Ｍ．（２０１６年）、Ｌｅｖｅｒａｇｉｎｇ  ｓｅｎｔｅｎｃｅ  ｌｅｖｅｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｗｉｔｈ  ｅｎｃｏｄｅｒ  ＬＳＴＭ  ｆｏｒ  ｓｅｍａｎｔｉｃ  ｓｌｏｔ  ｆｉｌｌｉｎｇ．、ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１６０１．０１５３０
【非特許文献６】Ｌｉｕ，Ｂ．およびＬａｎｅ，Ｉ．（２０１６年）、Ａｔｔｅｎｔｉｏｎ−ｂａｓｅｄ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｍｏｄｅｌｓ  ｆｏｒ  ｊｏｉｎｔ  ｉｎｔｅｎｔ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｓｌｏｔ  ｆｉｌｌｉｎｇ．、ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０９．０１４５４から入手
【非特許文献７】Ｙｏｕｎｇ，Ｔ．、Ｈａｚａｒｉｋａ，Ｄ．、Ｐｏｉｒａ，Ｓ．およびＣａｍｂｒｉａ，Ｅ．（２０１８年）、Ｒｅｃｅｎｔ  ｔｒｅｎｄｓ  ｉｎ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｂａｓｅｄ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ．、ＩＥＥＥ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｍａｇａｚｉｎｅ、１３（３）、５５〜７５
【非特許文献８】Ｌａｍｐｌｅ，Ｇ．、Ｂａｌｌｅｓｔｅｒｏｓ，Ｍ．、Ｓｕｂｒａｍａｎｉａｎ，Ｓ．、Ｋａｗａｋａｍｉ，Ｋ．およびＤｙｅｒ，Ｃ．（２０１６年）、Ｎｅｕｒａｌ  Ａｒｃｈｉｔｅｃｔｕｒｅｓ  ｆｏｒ  Ｎａｍｅｄ  Ｅｎｔｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ．、ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０３．０１３６０から入手
【非特許文献９】Ｍｉｋｏｌｏｖ，Ｔ．、Ｓｕｔｓｋｅｖｅｒ，Ｉ．、Ｃｈｅｎ，Ｋ．、Ｃｏｒｒａｄｏ，Ｇ．Ｓ．およびＤｅａｎ，Ｊ．（２０１３年）、Ｄｉｓｔｒｉｂｕｔｅｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｏｆ  ｗｏｒｄｓ  ａｎｄ  ｐｈｒａｓｅｓ  ａｎｄ  ｔｈｅｉｒ  ｃｏｍｐｏｓｉｔｉｏｎａｌｉｔｙ．、Ｉｎ：Ａｄｖａｎｃｅｓ  ｉｎ  ｎｅｕｒａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｃｅｓｓｉｎｇ  ｓｙｓｔｅｍｓ（３１１１〜３１１９頁）
【非特許文献１０】Ｐｅｎｎｉｎｇｔｏｎ，Ｊ．、Ｓｏｃｈｅｒ，Ｒ．およびＭａｎｎｉｎｇ，Ｃ．（２０１４年）、Ｇｌｏｖｅ：Ｇｌｏｂａｌ  ｖｅｃｔｏｒｓ  ｆｏｒ  ｗｏｒｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．、Ｉｎ：ｔｈｅ  ２０１４  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｅｍｐｉｒｉｃａｌ  ｍｅｔｈｏｄｓ  ｉｎ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ（ＥＭＮＬＰ）の議事録（１５３２〜１５４３頁）
【非特許文献１１】Ａｔｈｉｗａｒａｔｋｕｎ，Ｂ．、Ｗｉｌｓｏｎ，Ａ．Ｇ．およびＡｎａｎｄｋｕｍａｒ，Ａ．（２０１８年）、Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ＦａｓｔＴｅｘｔ  ｆｏｒ  Ｍｕｌｔｉ−Ｓｅｎｓｅ  Ｗｏｒｄ  Ｅｍｂｅｄｄｉｎｇｓ、Ｉｎ：ＡＣＬ  ２０１８の議事録
【非特許文献１２】Ｍｉｔｒａ，Ｓ．、およびＡｃｈａｒｙａ，Ｔ．（２００７年）、Ｇｅｓｔｕｒｅ  ｒｅｃｏｇｎｉｔｉｏｎ：Ａ  ｓｕｒｖｅｙ．ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｙｓｔｅｍｓ，Ｍａｎ，ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ，Ｐａｒｔ  Ｃ（Ａｐｐｌｉｃａｔｉｏｎｓ  ａｎｄ  Ｒｅｖｉｅｗｓ）、３７（３）、３１１〜３２４
【非特許文献１３】Ｒａｕｔａｒａｙ，Ｓ．Ｓ．およびＡｇｒａｗａｌ，Ａ．（２０１５年）、Ｖｉｓｉｏｎ  ｂａｓｅｄ  ｈａｎｄ  ｇｅｓｔｕｒｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｏｒ  ｈｕｍａｎ  ｃｏｍｐｕｔｅｒ  ｉｎｔｅｒａｃｔｉｏｎ：ａ  ｓｕｒｖｅｙ、Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｒｅｖｉｅｗ、４３（１）、１〜５４）
【非特許文献１４】Ｆｉｓｃｈｅｒ，Ｌ．、Ｈａｓｌｅｒ，Ｓ．、Ｄｅｉｇｍｏｌｌｅｒ，Ｊ．、Ｓｃｈｎｕｒｅｒ，Ｔ．、Ｒｅｄｅｒｔ，Ｍ．、Ｐｌｕｎｔｋｅ，Ｕ．、Ｎａｇｅｌ，Ｋ．、Ｓｅｎｚｅｌ，Ｃ．、Ｒｉｃｈｔｅｒ，Ａ．、Ｅｇｇｅｒｔ，Ｊ．（２０１８年）、Ｗｈｅｒｅ  ｉｓ  ｔｈｅ  ｔｏｏｌ？−ｇｒｏｕｎｄｅｄ  ｒｅａｓｏｎｉｎｇ  ｉｎ  ｅｖｅｒｙｄａｙ  ｅｎｖｉｒｏｎｍｅｎｔ  ｗｉｔｈ  ａ  ｒｏｂｏｔ．、Ｉｎ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｇｎｉｔｉｖｅ  Ｒｏｂｏｔｉｃｓ  Ｗｏｒｋｓｈｏｐ（ＣｏｇＲｏｂ）、ＣＥＵＲ  Ｗｏｒｋｓｈｏｐ議事録
【非特許文献１５】Ｘｉａｎｇ，Ｙ．、Ｓｃｈｍｉｄｔ，Ｔ．、Ｎａｒａｙａｎａｎ，Ｖ．およびＦｏｘ，Ｄ．（２０１７年）、ＰｏｓｅＣＮＮ：Ａ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｆｏｒ  ６ｄ  ｏｂｊｅｃｔ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｉｎ  ｃｌｕｔｔｅｒｅｄ  ｓｃｅｎｅｓ．、ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１７１１．００１９９
【非特許文献１６】Ｃａｌｌｉ，Ｂ．、Ｓｉｎｇｈ，Ａ．、Ｗａｌｓｍａｎ，Ａ．、Ｓｒｉｎｉｖａｓａ，Ｓ．、Ａｂｂｅｅｌ，Ｐ．およびＤｏｌｌａｒ，Ａ．Ｍ．（２０１５年７月）、Ｔｈｅ  ｙｃｂ  ｏｂｊｅｃｔ  ａｎｄ  ｍｏｄｅｌ  ｓｅｔ：Ｔｏｗａｒｄｓ  ｃｏｍｍｏｎ  ｂｅｎｃｈｍａｒｋｓ  ｆｏｒ  ｍａｎｉｐｕｌａｔｉｏｎ  ｒｅｓｅａｒｃｈ．Ｉｎ：Ａｄｖａｎｃｅｄ  Ｒｏｂｏｔｉｃｓ（ＩＣＡＲ）、（５１０〜５１７頁）における２０１５  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ＩＥＥＥ
【非特許文献１７】Ｌｅｏ，Ｍ．、Ｍｅｄｉｏｎｉ，Ｇ．、Ｔｒｉｖｅｄｉ，Ｍ．、Ｋａｎａｄｅ，Ｔ．およびＦａｒｉｎｅｌｌａ，Ｇ．Ｍ．（２０１７年）、Ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  ｆｏｒ  ａｓｓｉｓｔｉｖｅ  ｔｅｃｈｎｏｌｏｇｉｅｓ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ、１５４、１〜１５
【非特許文献１８】Ｅｒｏｌ，Ａ．、Ｂｅｂｉｓ，Ｇ．、Ｎｉｃｏｌｅｓｃｕ，Ｍ．、Ｂｏｙｌｅ，Ｒ．Ｄ．およびＴｗｏｍｂｌｙ，Ｘ．（２００７年）、Ｖｉｓｉｏｎ−ｂａｓｅｄ  ｈａｎｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ：Ａ  ｒｅｖｉｅｗ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ、１０８（１〜２）、５２〜７３
【非特許文献１９】Ｐｏｐｐｅ，Ｒ．（２０１０年）、Ａ  ｓｕｒｖｅｙ  ｏｎ  ｖｉｓｉｏｎ−ｂａｓｅｄ  ｈｕｍａｎ  ａｃｔｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ．Ｉｍａｇｅ  ａｎｄ  ｖｉｓｉｏｎ  ｃｏｍｐｕｔｉｎｇ、２８（６）、９７６〜９９０
【非特許文献２０】Ｖｉｓｈｗａｋａｒｍａ，Ｓ．およびＡｇｒａｗａｌ，Ａ．（２０１３年）、Ａ  ｓｕｒｖｅｙ  ｏｎ  ａｃｔｉｖｉｔｙ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  ｂｅｈａｖｉｏｒ  ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｉｎ  ｖｉｄｅｏ  ｓｕｒｖｅｉｌｌａｎｃｅ．Ｔｈｅ  Ｖｉｓｕａｌ  Ｃｏｍｐｕｔｅｒ、２９（１０）、９８３〜１００９
【非特許文献２１】Ｈｅｒａｔｈ，Ｓ．、Ｈａｒａｎｄｉ，Ｍ．およびＰｏｒｉｋｌｉ，Ｆ．（２０１７年）、Ｇｏｉｎｇ  ｄｅｅｐｅｒ  ｉｎｔｏ  ａｃｔｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ：Ａ  ｓｕｒｖｅｙ．Ｉｍａｇｅ  ａｎｄ  ｖｉｓｉｏｎ  ｃｏｍｐｕｔｉｎｇ、６０、４〜２１
【非特許文献２２】Ｃａｒｖａｊａｌ，Ｊ．、ＭｃＣｏｏｌ，Ｃ．、Ｌｏｖｅｌｌ，Ｂ．およびＳａｎｄｅｒｓｏｎ，Ｃ．（２０１６年４月）、Ｊｏｉｎｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ａｃｔｉｏｎｓ  ｖｉａ  ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｉｎｔｅｇｒａｔｉｏｎ  ｏｆ  ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  Ｆｉｓｈｅｒ  ｖｅｃｔｏｒｓ．Ｉｎ：Ｐａｃｉｆｉｃ−Ａｓｉａ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｋｎｏｗｌｅｄｇｅ  Ｄｉｓｃｏｖｅｒｙ  ａｎｄ  Ｄａｔａ  Ｍｉｎｉｎｇ（１１５〜１２７頁）、Ｓｐｒｉｎｇｅｒ
【非特許文献２３】Ｂｏｒｚｅｓｈｉ，Ｅ．Ｚ．、Ｃｏｎｃｈａ，Ｏ．Ｐ．、Ｄａ  Ｘｕ，Ｒ．Ｙ．およびＰｉｃｃａｒｄｉ，Ｍ．（２０１３年）、Ｊｏｉｎｔ  ａｃｔｉｏｎ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｂｙ  ａｎ  ｅｘｔｅｎｄｅｄ  ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌ、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｌｅｔｔｅｒｓ、２０（１２）、１２０７〜１２１０
【非特許文献２４】Ｌｉｕ，Ｈ．およびＷａｎｇ，Ｌ．（２０１８年）、Ｇｅｓｔｕｒｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｏｒ  ｈｕｍａｎ−ｒｏｂｏｔ  ｃｏｌｌａｂｏｒａｔｉｏｎ：Ａ  ｒｅｖｉｅｗ．  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｉｎｄｕｓｔｒｉａｌ  Ｅｒｇｏｎｏｍｉｃｓ、６８、３５５〜３６７
【非特許文献２５】Ｋｅｓｋｉｎ，Ｃ．、Ｋｉｒａｃ，Ｆ．、Ｋａｒａ，Ｙ．Ｅ．およびＡｋａｒｕｎ，Ｌ．（２０１２年１０月）、Ｈａｎｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  ｈａｎｄ  ｓｈａｐｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｕｓｉｎｇ  ｍｕｌｔｉ−ｌａｙｅｒｅｄ  ｒａｎｄｏｍｉｚｅｄ  ｄｅｃｉｓｉｏｎ  ｆｏｒｅｓｔｓ、Ｉｎ：  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（８５２〜８６３頁）、Ｓｐｒｉｎｇｅｒ、Ｂｅｒｌｉｎ、Ｈｅｉｄｅｌｂｅｒｇ
【非特許文献２６】Ｇｅ，Ｌ．、Ｌｉａｎｇ，Ｈ．、Ｙｕａｎ，Ｊ．およびＴｈａｌｍａｎｎ，Ｄ．（２０１８年）、Ｒｅａｌ−ｔｉｍｅ  ３Ｄ  Ｈａｎｄ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｗｉｔｈ  ３Ｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ．ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ
【非特許文献２７】Ｄｅ  Ｓｏｕｚａ，Ｒ．、Ｅｌ−Ｋｈｏｕｒｙ，Ｓ．、Ｓａｎｔｏｓ−Ｖｉｃｔｏｒ，  Ｊ．およびＢｉｌｌａｒｄ，Ａ．（２０１５）、Ｒｅｃｏｇｎｉｚｉｎｇ  ｔｈｅ  ｇｒａｓｐ  ｉｎｔｅｎｔｉｏｎ  ｆｒｏｍ  ｈｕｍａｎ  ｄｅｍｏｎｓｔｒａｔｉｏｎ．Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｎｏｍｏｕｓ  Ｓｙｓｔｅｍｓ、７４、１０８〜１２１
【非特許文献２８】Ｗｉｌｌｉａｍｓ，Ｊ．、Ｒａｕｘ，Ａ．、Ｒａｍａｃｈａｎｄｒａｎ，Ｄ．およびＢｌａｃｋ，Ａ．（２０１３年）、Ｔｈｅ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｃｈａｌｌｅｎｇｅ．ＳＩＧＤＩＡＬ  ２０１３  Ｃｏｎｆｅｒｅｎｃｅの議事録（４０４〜４１３頁）
【非特許文献２９】Ｗｉｌｌｉａｍｓ，Ｊ．、Ｒａｕｘ，Ａ．およびＨｅｎｄｅｒｓｏｎ，Ｍ．（２０１６年）、Ｔｈｅ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｃｈａｌｌｅｎｇｅ  ｓｅｒｉｅｓ：Ａ  ｒｅｖｉｅｗ．Ｄｉａｌｏｇｕｅ  ＆  Ｄｉｓｃｏｕｒｓｅ、７（３）、４〜３３）
【非特許文献３０】オンライン百科事典Ｗｉｋｉｐｅｄｉａにおける「レーベンシュタイン＿距離」の項目（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌｅｖｅｎｓｈｔｅｉｎ＿ｄｉｓｔａｎｃｅ）
【非特許文献３１】Ｂｅｎｇｉｏ，Ｓ．、Ｖｉｎｙａｌｓ，Ｏ．、Ｊａｉｔｌｙ，Ｎ．およびＳｈａｚｅｅｒ，Ｎ．（２０１５年）、Ｓｃｈｅｄｕｌｅｄ  ｓａｍｐｌｉｎｇ  ｆｏｒ  ｓｅｑｕｅｎｃｅ  ｐｒｅｄｉｃｔｉｏｎ  ｗｉｔｈ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ．、Ｉｎ：Ａｄｖａｎｃｅｓ  ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ（１１７１〜１１７９頁）
【非特許文献３２】Ｙａｎｇ，Ｚ．、Ｙａｎｇ，Ｄ．、Ｄｙｅｒ，Ｃ．、Ｈｅ，Ｘ．、Ｓｍｏｌａ，Ａ．、およびＨｏｖｙ，Ｅ．（２０１６年）、Ｈｉｅｒａｒｃｈｉｃａｌ  ａｔｔｅｎｔｉｏｎ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｄｏｃｕｍｅｎｔ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ、Ｉｎ：２０１６  Ｃｏｎｆｅｒｅｎｃｅ  ｏｆ  ｔｈｅ  Ｎｏｒｔｈ  Ａｍｅｒｉｃａｎ  Ｃｈａｐｔｅｒ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ：Ｈｕｍａｎ  Ｌａｎｇｕａｇｅ  Ｔｅｃｈｎｏｌｏｇｉｅｓの議事録（１４８０〜１４８９頁）
【非特許文献３３】Ａｇｇａｒｗａｌ，Ｃ．Ｃ．およびＺｈａｉ，Ｃ．（２０１２年）、Ａ  ｓｕｒｖｅｙ  ｏｆ  ｔｅｘｔ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ．、Ｉｎ：Ｍｉｎｉｎｇ  ｔｅｘｔ  ｄａｔａ（１６３〜２２２頁）、Ｓｐｒｉｎｇｅｒ、Ｂｏｓｔｏｎ、ＭＡ
【非特許文献３４】Ｌａｉ，Ｓ．、Ｘｕ，Ｌ．、Ｌｉｕ，Ｋ．およびＺｈａｏ，Ｊ．（２０１５年１月）、Ｒｅｃｕｒｒｅｎｔ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｔｅｘｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ．、Ｉｎ  ＡＡＡＩ（Ｖｏｌ．３３３、２２６７〜２２７３頁）
【非特許文献３５】Ｙｏｕｎｇ，Ｔ．、Ｈａｚａｒｉｋａ，Ｄ．、Ｐｏｉｒａ，Ｓ．およびＣａｍｂｒｉａ，Ｅ．（２０１８年）、Ｒｅｃｅｎｔ  ｔｒｅｎｄｓ  ｉｎ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｂａｓｅｄ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ．、ＩＥＥＥ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｍａｇａｚｉｎｅ、１３（３）、５５〜７５
【非特許文献３６】Ｌａｍｐｌｅ，Ｇ．、Ｂａｌｌｅｓｔｅｒｏｓ，Ｍ．、Ｓｕｂｒａｍａｎｉａｎ，Ｓ．、Ｋａｗａｋａｍｉ，Ｋ．およびＤｙｅｒ，Ｃ．（２０１６年）、Ｎｅｕｒａｌ  Ａｒｃｈｉｔｅｃｔｕｒｅｓ  ｆｏｒ  Ｎａｍｅｄ  Ｅｎｔｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ．、ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０３．０１３６０
【非特許文献３７】Ｈｉｎｔｅｒｓｔｏｉｓｓｅｒ，Ｓ．、Ｈｏｌｚｅｒ，Ｓ．、Ｃａｇｎｉａｒｔ，Ｃ．、Ｉｌｉｃ，Ｓ．、Ｋｏｎｏｌｉｇｅ，Ｋ．、Ｎａｖａｂ，Ｎ．およびＬｅｐｅｔｉｔ，Ｖ．（２０１１年）１１月、Ｍｕｌｔｉｍｏｄａｌ  ｔｅｍｐｌａｔｅｓ  ｆｏｒ  ｒｅａｌ−ｔｉｍｅ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｔｅｘｔｕｒｅ−ｌｅｓｓ  ｏｂｊｅｃｔｓ  ｉｎ  ｈｅａｖｉｌｙ  ｃｌｕｔｔｅｒｅｄ  ｓｃｅｎｅｓ．、Ｉｎ：Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、（８５８〜８６５頁）における２０１１  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ＩＥＥＥ
【非特許文献３８】Ｃａｌｌｉ，Ｂ．、Ｓｉｎｇｈ，Ａ．、Ｗａｌｓｍａｎ，Ａ．、Ｓｒｉｎｉｖａｓａ，Ｓ．、Ａｂｂｅｅｌ，Ｐ．およびＤｏｌｌａｒ，Ａ．Ｍ．（２０１５年７月）、Ｔｈｅ  ｙｃｂ  ｏｂｊｅｃｔ  ａｎｄ  ｍｏｄｅｌ  ｓｅｔ：Ｔｏｗａｒｄｓ  ｃｏｍｍｏｎ  ｂｅｎｃｈｍａｒｋｓ  ｆｏｒ  ｍａｎｉｐｕｌａｔｉｏｎ  ｒｅｓｅａｒｃｈ．Ｉｎ：Ａｄｖａｎｃｅｄ  Ｒｏｂｏｔｉｃｓ（ＩＣＡＲ）、（５１０〜５１７頁）における２０１５  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ＩＥＥＥ
【非特許文献３９】Ｈｕａｎｇ，Ｙ．、Ｂｉａｎｃｈｉ，Ｍ．、Ｌｉａｒｏｋａｐｉｓ，Ｍ．およびＳｕｎ，Ｙ．（２０１６年）、Ｒｅｃｅｎｔ  ｄａｔａ  ｓｅｔｓ  ｏｎ  ｏｂｊｅｃｔ  ｍａｎｉｐｕｌａｔｉｏｎ：Ａ  ｓｕｒｖｅｙ．Ｂｉｇ  ｄａｔａ、４（４）、１９７〜２１６
【非特許文献４０】Ｉｎｄｏｒｉａ，Ｒ．、Ｓｅｍｉ−Ａｕｔｏｍａｔｉｃ  Ｄａｔａ  Ａｃｑｕｉｓｉｔｉｏｎ  ｆｏｒ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｂｉｅｌｅｆｅｌｄ  ２０１６
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、これらの問題を解決することを試み、実際のタスクシナリオにおいて高い柔軟性をもってタスクを実施することにおいてユーザを支援する、より多用途な支援システムを提供することを目的とする。
【００１１】
従ってタスクを連携して遂行するための開始点として、人間の作業者が有する同じまたは類似の情報の基盤を使用することが本発明の目的である。タスクを遂行する作業者の進捗に反応するロボットと連携した手法でタスクを遂行することが望ましい。
【課題を解決するための手段】
【００１２】
本発明の第１の態様による独立請求項１による支援システムがこの課題を解決する。第２の態様による対応する支援方法、および、第３の態様によるコンピュータプログラムがさらに、本課題を解決する。
【００１３】
第１の態様によるタスクを遂行することにおいてユーザを支援するためのシステムは、ユーザと対話するための人間機械インターフェースユニット、タスクに関する非構造化知識情報源データを取得するように構成されたタスク入力ユニット、およびプロセッサを備える。プロセッサは、人間機械インターフェースユニットにより取得されたユーザ入力を解釈するように、および、タスクの内部表現を生成するために、取得された非構造化知識情報源データを分析するように構成される。プロセッサは、ユーザ入力と画像データとのうちの少なくとも１つを解釈することにより、タスク進捗を監視する。プロセッサは、生成された内部表現と監視されるタスク進捗とに基づいてサポート信号を生成するように、および、生成されたサポート信号を出力するようにさらに構成される。サポート信号は、少なくとも１つの物体を操作することに関する情報、または、タスクをどのように実施するかに関する情報を含む。
【００１４】
本発明によると、まず、支援システムは、タスクに関する知識情報を取得する必要がある。次に、タスクが、異なるステップおよび／またはサブタスクにセグメント分けされる。タスクに関する知識情報を集めるために、非構造化または半構造化データが分析される。このような非構造化または半構造化データは、多くの場合、修理マニュアルの形態で既に利用可能である。修理マニュアルは、例えば特定のタスク遂行するときに連続して実施されなければならない異なるステップを通して修理を実施するように、および、人間を案内するように技術者を訓練するために、製品の製造業者により当初から準備されたものである。
【００１５】
これらの修理マニュアルにおける情報は、典型的には、人間により情報が簡単に理解および概念化され得る手法により構造化される。この意味で、情報は、完全に非構造化状態というわけではないが、その構造は、多くの場合、完全に予測可能というわけではなく、特に、機械による解釈に適するようにされているわけではない。この理由により、このような、および類似の情報は、非構造化状態として表される。いくつかの場合において、情報クリエータが多かれ少なかれ明確な構造ガイドラインに従うことを強制するインターネットリソースにおいて、情報が提示される。これらの場合において、情報は、依然として、機械による解釈に適するようにされていないが、製品の製造業者により準備された修理マニュアルよりも構造化されている。この理由により、この情報は、半構造化状態と呼ばれるか、または、非構造化知識情報、特に、非構造化知識情報源データという用語のもとで、半構造化知識情報と非構造化知識情報との両方を包含し得る。
【００１６】
本発明によると、タスク知識情報は、一般的に非構造化知識情報データと呼ばれる非構造化文字列および／または画像データから生成される。支援システムは、一方で、ロボットと連携する人間のユーザを検出する。さらに、支援システムは、ユーザがロボットと連携してタスクを実施する環境を検出する。支援システムは、さらにユーザが実施することを意図するタスクに関する知識情報、および、タスクの実行中に要求される物体に関する知識情報を生成する。このような物体は、ツールまたはスペアパーツであり得る。このタスク知識情報は、タスクおよびタスクの個々のステップの実行中に要求される物体の関係の内部表現を含む。支援システムは、非構造化データを査定および解釈することにより、このタスク知識情報を獲得する。このタスク知識情報に基づいて、支援システムは、タスクの実行の各状態において関与する可能性の最も高いツールおよび物体の知識情報を使用して検索範囲を狭めることにより、ユーザの要請を解決することができる。ツールおよび物体が使用される時間的な順序は、支援システムがタスクの現在の状態、例えばタスク進捗および／またはタスクを完了させることにおける成功の程度を推定することを可能にし得る。
【００１７】
支援システムは、例えばサポート信号に含まれる情報に基づいて、ツールまたはスペアパーツなどの物体をユーザに手渡すことによりユーザを物理的にサポートするロボットの一部を形成し得る。追加的に、または代替的に、支援システムは、タスクの現在の状態を考慮して、タスクをどのように実施し続けるかに関するサポート信号に含まれる情報を提供することにより、ユーザをサポートする。
【００１８】
支援システムは、効果的かつ直感的な対話によりユーザとロボットとの間における上首尾の連携を可能にする。改善された対話は、人間の労力を最小化し、タスク進捗を最大化する。支援システムは、広く利用可能な非構造化および半構造化タスク記述を取り込むこと、および、タスクを実施することにおいてユーザとロボットとの連携に、その広く利用可能な非構造化および半構造化タスク記述を利用可能にすることにより、広く利用可能な非構造化および半構造化タスク記述の恩恵を受ける。さらに、支援システムは、個々のユーザおよびタスクの独自性に迅速に適応することができる。
【００１９】
本発明は、非構造化データから、および、さらには、ユーザとのインタラクション中におけるユーザ特性からタスク知識情報を学習し得る支援システムを構成する。
【００２０】
本発明のアプローチは、作業場環境における、頻繁に再発生するが柔軟に構造化されたタスクについてユーザとロボットとの間の連携をサポートすることに特に適している。
【００２１】
本発明のアプローチは、さらに、タスクに対処することにおいてユーザのスキルを発展させ、さらに向上させることに特に適している。本発明は、活動の大きな集合においてユーザと連携することができる支援システムを提供する。支援システムは、ユーザがユーザの能力を向上させること、タスクに完全に対処するように彼の能力を改善すること、または、直感的に新しい能力を学習することを可能にする。
【００２２】
本発明は、例えば、ダイアログ状態追跡から部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）として知られた方法を使用して、場合によっては、さらに階層信念追跡として実現された、タスク進捗、対話状態、および人間の状態の信念追跡を適用するときに特に適している（Ｗｉｌｌｉａｍｓ，Ｊ．Ｒａｕｘ，Ａ．Ｒａｍａｃｈａｎｄｒａｎ，Ｄ．およびＢｌａｃｋ，Ａ．（２０１３）、Ｔｈｅ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｃｈａｌｌｅｎｇｅ．、ＳＩＧＤＩＡＬ  ２０１３  Ｃｏｎｆｅｒｅｎｃｅの議事録（４０４〜４１３頁）に記載；Ｗｉｌｌｉａｍｓ，Ｊ．およびＲａｕｘ，Ａ．およびＨｅｎｄｅｒｓｏｎ，Ｍ．、Ｔｈｅ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｃｈａｌｌｅｎｇｅ  ｓｅｒｉｅｓ：Ａ  ｒｅｖｉｅｗ、議事録および講演、７（３）、４〜３３）。ユーザと支援システムまたはロボットとの間の対話のパーソナライズは、支援システムとユーザとの間のインタラクションにおけるユーザ特性を学習することにより達成される。
【００２３】
自動車製造の場合、マニュアルが、作業場および自動車修理工場に提供され、機械工が特定のタスク、例えば、例として、インジェクションを修理すること、オートマチック変速機流体を交換することなどをどのように実施するかを知るように、通常、機械工がマニュアルを読むか、または、マニュアルに由来する情報に基づいて訓練される。特に、本発明の実施形態は、これらの例に基づいて後で説明される。
【００２４】
有益な実施形態によるシステムは、タスクを個々のサブタスクおよび／またはステップに再分割して、個々のサブタスクおよび／またはステップをそれらの関係を規定する表現にアレンジすることにより、タスクの内部表現を生成するように構成されたプロセッサを含む。本関係は、個々のステップ間の依存関係（関係）に基づいて可能な逐次的な、および／または並列な実行を規定する。各ステップに対して、ステップを実行するためにどの物体または物体の部分が関与させられるかが識別され、特に、関与する物体または物体の部分として、ツールおよび／またはスペアパーツが挙げられる。さらに、各ステップに対して、タスクを実施するために関与する物体または物体の部分がどのように操作されるかが特定される。
【００２５】
従って、人間のために準備された当初は非構造化状態のタスク関連知識情報が、タスクの構造化内部表現に変換され、従って、ユーザの支援を制御するための適切な基盤を構成する。
【００２６】
好ましい実施形態において、プロセッサは、口（音響）によるユーザ入力、ユーザの少なくとも１つの視覚的に知覚可能なジェスチャ、ユーザの触覚入力のうちの少なくとも１つを含むユーザ入力を解釈することにより、および、視覚センサー、例えば、少なくとも１つのビデオカメラから獲得された画像データを解釈することによりタスク進捗を監視するように構成される。視覚センサーは、ユーザと、好ましくは、タスクに現在関与している少なくとも１つの物体とを描写した画像データを捕捉する。
【００２７】
ユーザと支援システムとの間における緊密な連携が達成される。支援システムは、例えば、タスクを実施するときに共有されたワークフローについて協議するための典型的な対話経路として音声を使用した、一緒に行動する人間の作業者間における従来の連携を反映している。従って、支援システムを使用した連携は、ユーザに直感的に理解可能である。タスク全体が個々のステップおよび／またはサブタスクに分割されるので、これが特に重要となる。サブタスクの各々が複数のステップからなり得る。タスク全体の表現は、個々のサブタスクおよび／またはステップの関係を規定するので、厳密な時間にかなった順序をもつステップごとのシーケンスに限定されない。
【００２８】
支援システムは、ユーザから支援システムへの言葉による、および言葉によらない対話を獲得して解釈する。従って、支援システムは、有益なことに、支援システムと連携することを訓練するためにユーザに必要な期間および労力を削減する。
【００２９】
本発明の実施形態によるシステムのプロセッサは、ユーザに少なくとも１つの物体を手渡すこと、または、ユーザから少なくとも１つの物体を受け取ることを含む物体または物体の部分を操作することに関する情報を含むサポート信号を生成するように構成される。このような物体は、特に、ツールまたはスペアパーツであり得、複数の物体が手渡されるか、または受け取られ得ることが明らかである。
【００３０】
有益な実施形態によるシステムは、取得されたユーザ入力をタスクの生成された内部表現と組み合わせることに基づいて、タスクの現在実行されているステップにおいて要求される少なくとも１つの物体または物体の部分を特定するように構成されたプロセッサを含む。
【００３１】
システム、特に、プロセッサは、取得されたユーザ入力をタスクの生成された内部表現と組み合わせることに基づいて、将来のステップ、特に、時間的に現在のステップの次に実行されるステップにおいて要求される少なくとも１つの物体または物体の部分を予測するように構成される。
【００３２】
構造化された内部タスク表現と、現在のタスク環境に関する感知された情報とを使用すること、および、サポート信号における適切な支援情報を生成することは、支援システムが、ユーザと一緒にタスクを実施することにおける連携したワークフローに対して、将来を見越した、および役立つアクションにより寄与するように、ロボットを制御することを可能にする。ロボットは、自律的に、または少なくとも部分的に自律的にユーザを支援し、ユーザは、コマンドにより出力される将来のアクションまたは情報のすべてを誘起する必要はない。
【００３３】
プロセッサは、内部タスク表現に基づいてサポート信号を生成するように、および、現在のステップをどのように実施するかに関する情報をサポート信号において出力するように構成され得る。
【００３４】
プロセッサは、実施されるタスクに類似した少なくとも１つのタスクに関する非構造化知識情報源データを取得するように、および、実施されるタスクの内部表現を生成するために、少なくとも１つの類似のタスクに関する取得された非構造化知識情報源データを分析するように構成され得る。タスクが類似であるか否かを判断するために、類似性比較が実施される。これは、適応を必要としないステップ数をカウントして、この数を必要な全ステップ数で除算することにより実行され得る。これは、複数の可能性のあるタスクに対して実行され得る。最も高い割合をもつタスクが、類似のものとみなされる。
【００３５】
現在のタスクに類似したタスクに関するさらなる非構造化知識情報源データを取得する能力、およびこのさらなる非構造化知識情報源データを査定する能力が、支援システムにとって利用可能な知識情報データベース全体と、支援システムとユーザとの間の連携により対処され得るタスク数とを大幅に拡張する。１つの特定の利点は、非構造化情報を取り込んでタスクに関する内部表現を生成することは、ユーザまたはオペレータがシステムをプログラムしない場合でも、このような表現を生成することを可能にすることである。
【００３６】
タスクの生成された内部表現は、一実施形態において現在のタスクをどのように実施するかに関する少なくとも１つの仮定を含み得る。従って、このような表現は、表現により正確に説明されないが特定の類似性を示すタスクに対して使用され得る。
【００３７】
有益な実施形態によると、システムのプロセッサは、実施されるタスクと、タスクに関与する物体と、物体の関与の時間的シーケンスと、獲得された画像データとのうちの少なくとも１つに関係したユーザ入力に基づいて、少なくとも１つの仮定に重みを適用するように構成され得る。
【００３８】
有益なことに、プロセッサは、ユーザに対して出力信号において、少なくとも１つの仮定に割り当てられた信頼値と一緒に、少なくとも１つの仮定を提供するように構成される。
【００３９】
これはユーザが、支援システムにより正しい推奨案の確率を評価することを可能にする。これは、システムおよびユーザがタスクに関して連携することについて訓練する場合に、および、および、支援システムが、場合によっては、現在実施されているタスクに類似したタスクに対する非構造化タスク知識情報に依存する場合に、特に有用である。
【００４０】
有益な実施形態によるシステム、特に、プロセッサは、タスクの内部表現に含まれるタスクを実施するためのステップごとの指示（体系立った指示）を生成および出力するように構成され得る。これは、概してタスクを実施することが可能だが十分な経験のないユーザを支援することに特に有用である。
【００４１】
代替的に、または追加的に、システムのタスク入力ユニットは、任意のソース、例えばインターネットからタスクに関する視覚情報を入手するように構成され得る。プロセッサは、ユーザに対して出力信号において、入手された視覚情報を提供するように構成される。特に有益な実施形態のプロセッサは、タスクの記述から視覚情報を抽出するように、またはウェブ検索マシンとタスクに関連したキーワードとを使用して画像検索を実施するように構成される。概して、システムは、内部表現を生成するとき、複数のソースからの情報、例えば、１つを上回るタスクの記述を組み合わせることが可能である。
【００４２】
支援システムは、タスクに関する非構造化知識情報データベースを強化すること、および、異なるユーザの限られた言語スキルにより課される限界、および、物体の複雑な形状、操作、または配置を言葉により説明することについてのシステムの限界を越えて、ユーザに視覚情報を提供することができる。
【００４３】
代替的に、または追加的に、プロセッサは、出力信号において、タスク進捗とタスク成功度とのうちの少なくとも１つに関するフィードバック情報を生成および出力するように構成され得る。
【００４４】
支援システムは、それにより、タスクを進めるようにユーザを動機付け、支援システムにおいて内部で生成されたプロセス全体の追加的な概観を内部表現の形態でユーザに提供する。ユーザは、タスク実行の現在の状態の追加的な概観を得る。
【００４５】
システムの別の実施形態におけるプロセッサは、入手された視覚情報を獲得された画像データと比較することに基づいて、フィードバック情報を生成するように構成される。
【００４６】
これは、タスク知識情報と支援システムの現在の状況の評価とを改善することを可能にする。従って、ユーザに対する支援システムの許容性が改善される。
【００４７】
本発明の第２の態様によるタスクを遂行することにおいてユーザを支援する方法が、ユーザと対話するための人間機械インターフェースユニットと、プロセッサと、タスク入力ユニットとを備える支援システムにおいて実施される。本方法は、タスク入力ユニットによりタスクに関する非構造化知識情報源データを取得するステップと、取得された非構造化知識情報源データをプロセッサにより分析するステップと、タスクの内部表現を生成するステップとを含む。解釈するステップにおいて、プロセッサは、人間機械インターフェースユニットにより取得されたユーザ入力を解釈する。次に、プロセッサは、ユーザ入力と画像データとのうちの少なくとも１つを解釈することにより、タスクを実施することの進捗を監視し、生成された内部表現と監視されるタスク進捗とに基づいてサポート信号を生成する。プロセッサは、生成されたサポート信号を出力し、サポート信号は、少なくとも１つの物体を操作することに関する情報、または、タスクをどのように実施するかに関する情報を含む。
【００４８】
第３の態様によるコンピュータプログラムは、プログラムコード手段を含み、コンピュータまたはデジタル信号プロセッサがプログラムを実行するとき、第２の態様による支援方法のステップを実行するように適応されている。
【００４９】
本発明の様々な実施形態の説明は、添付の図面を参照する。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施形態による支援システムの機能ユニットの概観を示す図である。
【図２】一実施形態による支援システムに対する信念追跡のための状態および遷移を示すグラフである。
【図３】一実施形態による支援方法のフロー図である。
【図４】一実施形態による支援システムの構造上のユニットを示す図である。
【発明を実施するための形態】
【００５１】
図中の同じ参照符号は、同じか、または対応する要素を表す。図の説明は、同じ参照符号の付いた要素の説明の反復を避けており、これは、実施形態の簡潔な説明を提供するために、包括性に悪影響を与えずに可能であると考えられる。
【００５２】
図１は、一実施形態による支援システム１の機能ユニットの概観を提供する。
【００５３】
支援システム１は、自動化された手法により複雑な一連のアクションを行うことが可能な機械（ロボット）の一部を形成し得る。ロボットは、自律または半自律動作モードで動作し得る。
【００５４】
ロボットは、物理的アクション、例えば、つかむこと、把持すること、到達しようとすること、または指し示すことを実施するように適応されたエフェクタ（マニピュレータ）を含む少なくとも１つのロボットアームを備え得る。ロボットは、音声、音響信号、光信号、画像または、さらには、ビデオクリップの形態で、音響的に、または視覚的に情報を出力する手段をさらに含み得る。情報を出力するためのこれらの手段の例として、ラウドスピーカー組立体、ディスプレイスクリーン、または装着型装置などのスマート電化製品が挙げられる。
【００５５】
支援システム１は、非構造化外部情報源２から非構造化知識情報源データの形態で情報を獲得する。非構造化知識情報源データは人間のために準備された知識情報源データであり、従って、特に、特定の符号化を使用して電子機械にとって可読なプログラムされた命令とは異なり、視力および音声などの人間の知覚能力に適応されている。
【００５６】
非構造化外部情報源２は、例えば、訓練ビデオ、およびインターネットまたはイントラネットを介してキーワード検索を使用して獲得された結果を含み得る。
【００５７】
自然言語理解のためのユニット３は、非構造化外部情報源２から受信された音声情報を解釈するための特定の能力を提供し得る。
【００５８】
自然言語理解のためのユニット３からの結果と、非構造化外部情報源２により獲得された非構造化知識情報源データとが、タスク構造化のためのユニット４に提供される。タスク構造化のためのユニット４は、入力情報を分析して、タスクの内部表現を生成する。タスクの内部表現は、要素、例えば、実施されるタスク、タスクコンテキスト、サブタスク、ステップ、サブステップ、タスクに関与する物体、これらの物体の部分、ツール、操作、および、対話パラメータ、例えば、凝視、音声の一部、および状態変数、例えば、ロボットの状態、人間の状態、タスク環境状態を含み得、各々が、タスクの構造要素に関係している。
【００５９】
生成された内部表現は、支援システム１のコア要素であり、以前に非構造化状態であった知識情報源データのための構造を提供する。
【００６０】
人間機械インターフェースユニット５は、音響センサー６と視覚センサー７とのうちの少なくとも１つを含み得る。音響センサー６の単純な例はマイクロフォンである。視覚センサー７の例は、タスク環境から静止画像および／またはビデオを獲得するカメラである。タスク環境は、支援システムのユーザ、タスクに関与する物体、タスクに関与するツール、および人間のユーザと連携したロボットなどの（自律）システムを含む。
【００６１】
人間機械インターフェースユニット５は、支援システム１のプロセッサなどの他の要素から完全に、または少なくとも部分的に空間的に離れて配置され得ることに留意されたい。
【００６２】
音響センサー６により獲得された音響データ、および、視覚センサー７により獲得された画像データは、図１に示されないが、さらに、タスク構造化のためのユニット４に対して入力データを提供し得る。
【００６３】
音響センサー６により獲得された音響データは、音声認識のためのユニット８に供給される。視覚センサー７により提供された画像データは、人間運動認識のためのユニット９に供給される。
【００６４】
音声認識のためのユニット８により生成された音声データ、および、人間運動認識のためのユニット９により生成された運動データは、自然言語理解のためのユニット３により提供された結果をさらに改善し得る。視覚センサー７により取得された画像データは、物体認識のためのユニット１０に提供される。物体認識のためのユニット１０により提供された認識された物体に関する情報、および、人間運動認識のためのユニット９により提供された人間の運動に関する情報は、オブジェクト操作特定のためのユニット１１に対する入力を形成する。オブジェクト操作特定のためのユニット１１は、タスク環境における現在のオブジェクト操作に関するデータを生成するように適応されている。特定された現在のオブジェクト操作に関する情報は、自然言語理解のためのユニット３により提供された自然言語の情報と組み合わされて、タスクステータス特定ユニット１２が、タスク構造化のためのユニット４により生成されたタスクの内部表現により提供されたタスク知識情報を使用して現在のタスクにおける実際のタスクステータスを特定することを可能にする。
【００６５】
タスクステータス特定ユニット１２により提供された現在のタスクステータスは、特に、支援システム１が要請されている物体を特定するためのユニット１３において現在要請されている物体を特定することを可能にし得る。要請されている物体は、例えば、スペアパーツまたは要求されるツールであり得る。
【００６６】
タスクステータス特定ユニット１２において特定された現在のタスクステータスは、要求される物体を予測するためのユニット１４において、次に必要とされる物体を予測するようにさらに機能し得る。ユーザおよびロボットが現在のサブタスク、ステップ、またはサブステップを実施している間に、支援システムが次のサブタスク、ステップ、または次のサブステップを準備することを、要求される物体を予測するためのユニット１４が可能にする。最後に、タスクステータス特定ユニット１２が次の操作を予測するためのユニット１５のための入力情報を特定および提供する。次の操作を予測するためのユニット１５は、現在の操作に対する後続の操作を知らせることを誘起するか、または、次の操作を実施することを誘起するサポート信号を生成することを可能にする。
【００６７】
図１に示される支援システム１の機能的な構造は一例にすぎず、支援システム１の他の実施形態においてさらに改良され得る。さらに、物体認識のためのユニット１０の結果は、タスク構造化のためのユニット４に入力を提供し得、それにより、自然言語理解のためのユニット３により提供された自然言語理解に関する情報を強化する。これは、特定のユーザにより使用される特徴的な対話に関する情報によりタスクの内部表現を改良することと、類似のタスク構造、および、ユーザと連携したそれらの以前の実行から、現在のタスクのタスク構造を学習することとを可能にする。さらに、これは、内部表現が異なるユーザに適応されることを可能にする。
【００６８】
現在要請されている物体を特定するためのユニット１３において特定および生成された情報と、次に要求される物体を予測するためのユニット１４により生成された情報とが、サポート信号において提供されて、支援システム１により出力され得る。この情報は、タスクの現在のステップまたはサブステップに関与する物体に関してユーザに知らせるか、または、ロボットによりタスクの物体を操作することを誘起する。
【００６９】
サポート信号は、少なくとも１つのラウドスピーカー組立体、ディスプレイスクリーン、または装着型などのスマート電化製品を含み得る、情報を出力するための手段に提供され得る。情報を出力するための手段は、ロボットの一部を形成し得る。追加的に、または代替的に、情報を出力するための手段は、支援システム１の一部であり得、例えば、人間機械インターフェースユニット５に含まれる。情報を出力するための手段は、ユーザにより視覚的に、または音響的に知覚可能な信号を生成する。
【００７０】
図２は、一実施形態による支援システム１に対する信念追跡のための状態および遷移を示すグラフを示す。
【００７１】
現在のタスク進捗の、支援システム１とユーザとの間における対話状態の、および人間の状態（ユーザの状態）の信念追跡は、一方で、タスクに関する全体的知識情報を抽出することの効果的な尺度を提供し、他方で、非構造化知識情報データ、ならびに、ユーザ入力および画像データからこのタスクを実施することにおける現在の状態の効果的な尺度を提供する。
【００７２】
信念追跡は、さらに、支援システム１とユーザとのインタラクションの特定の特性を学習することにより、支援システム１とユーザとの間における対話のパーソナライズを可能にする。
【００７３】
支援システム１は、複数のサブタスクにおいてタスクを構造化し、例えば「Ｉｎｔｅｒｐｒｅｔｉｎｇ  Ｍｕｌｔｉｍｏｄａｌ  Ｒｅｆｅｒｒｉｎｇ  Ｅｘｐｒｅｓｓｉｏｎｓ  ｉｎ  Ｒｅａｌ  Ｔｉｍｅ」、Ｗｈｉｔｎｅｙ  Ｄら著、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）２０１６年、Ｓｔｏｃｋｈｏｌｍ、２０１６年５月１６日から２１日に開示されるようなサブタスクに依存しない追跡を越えて拡張する。この従来技術のシステムは、さらに、非構造化知識情報源、この場合は料理レシピからタスクに関する情報を集める。しかし、従来技術のシステムは、知識情報源、すなわち食材からタスクに必要な物体を識別するだけである。それは、サブタスクおよび／またはステップにおいてタスクを構造化せず、従って、タスクの進捗、すなわち現在のサブタスクおよび／またはステップに基づいてユーザをサポートすることができない。
【００７４】
図２の上部の２つの層は、ユーザモデルおよび概括的なタスクコンテキストを表す要素を開示する。タスクをサブタスクに構造化することは、適用される信念追跡に特有である。これは、特に、タスク進捗を追跡することを可能にする。
【００７５】
使用されるモデル化における対話は、凝視、ジェスチャ、および音声といったパラメータを使用し得る。
【００７６】
状態パラメータは、少なくともロボットの状態、ユーザの人間の状態、およびタスク環境の状態を表し得る。
【００７７】
支援システム１は、現在のタスクに関する信念を追跡し得る。実施される現在のタスク追跡するためのわずかな可能性は、現在のタスクを告知するユーザの音声を解釈することにより行われ得る。
【００７８】
それぞれの追跡は、さらに、現在のサブタスクに対しても実施される。現在のサブタスクは、ユーザの音響的な告知を監視すること、例えば、現在のサブタスクを直接的に、または、サブタスクにおいて必要とされるツールおよびパーツを参照することを介して間接的に参照することにより追跡され得る。追加的に、または代替的に、支援システム１は、ユーザのジェスチャ、例えば、特定の物体、特定のツールを指し示すこと、または、現在のサブタスクを追跡するためのユーザの特定のポーズを解釈し得る。
【００７９】
支援システム１は、支援システム１とのユーザの対話を追跡する。対話として、音声を介した可聴な対話、または、凝視を介した視覚的に知覚可能な対話、指し示すことなどのジェスチャ、ツールなどの物体または物体の部分に到達しようとする動きが挙げられ得る。
【００８０】
凝視は、目の追跡により判定され得る。
【００８１】
支援システム１は、タスクを実施することにおけるユーザの現在の関与に関する信念をさらに追跡し得る。支援システム１は、ユーザの状態、タスクが実施される環境の状態、および、タスクを実施することにおいてユーザと協働する、支援システム１を含むロボットの状態を考慮し得る。
【００８２】
支援システム１は、支援システム１を含むロボットと協働するユーザの人間の嗜好に関する信念をさらに追跡し得る。
【００８３】
本発明のアプローチは、信念追跡、例えば階層信念追跡を使用してタスクの内部表現を生成するために、いくつかの非構造化知識情報源を統合し得る。知識情報源は、異なる対話モダリティ、例えば、音響（口）による対話、例えば、音声、凝視を介した視覚的対話、ジェスチャに基づく対話、例えば、指し示すこと、把持すること、到達しようとすることなどを含み得る。知識情報源は、マニュアル、ビデオ、技術文書、写真などからのタスク知識情報に基づくタスクに関するコンテキスト情報を含み得る。
【００８４】
知識情報源は、ワード意味論的オントロジーまたはワード埋め込みに関する外部源により提供される意味論的知識情報を提供し得る。
【００８５】
さらなる知識情報源は、人間の嗜好に関する、例えば、支援システム１と連携している現在のユーザに関する情報であって、類似の、または同じタスクを以前に実施している間に、現在のタスクの以前のサブステップ、すなわち、類似の、または、さらには、同じサブステップ中に獲得された情報を提供する。
【００８６】
本発明において使用される信念追跡の有益な要素は、タスク進捗を監視するために、および／または物体に対する異なる参照を解決するために、口による、および視覚的対話などの複数のモダリティを統合することである。これは、複数のサブタスクにおいて構造化された複雑なタスクにおいてさえ、ユーザに対してサポート信号において提供される推奨されるアクションに対する高度の信頼性を提供する。
【００８７】
図３は、本発明の実施形態による支援方法のフロー図を示す。
【００８８】
図４に示されるように、支援方法は、ユーザと対話するための人間機械インターフェースユニット５、プロセッサ２０、およびタスク入力ユニット２１を備える支援システム１により実施される。
【００８９】
方法は、非構造化知識情報源データが非構造化外部情報源２から取得されるステップＳ１から始まる。
【００９０】
後続のステップＳ２において、プロセッサ２０が、ステップＳ１において取得された、取得された非構造化知識情報源データを分析する。後続のステップＳ３において、非構造化知識情報源データの分析に基づいて、プロセッサ２０が、タスクの内部表現を生成する。
【００９１】
プロセッサ２０は、内部表現を記憶させるための内部表現記憶デバイス２２に、タスクの生成された内部表現を提供する。
【００９２】
ステップＳ４において、人間機械インターフェースユニット５が、ユーザ入力を取得する。ステップＳ４に続いて、ステップＳ５においてプロセッサ２０が、取得されたユーザ入力を解釈する。これは、ステップＳ６において、プロセッサ２０が例えば、視覚センサー７により獲得されたユーザ入力と画像データとのうちの少なくとも１つを解釈することにより、タスクを実施することにおいてタスク進捗を監視し続けることを可能にする。
【００９３】
ステップＳ７において、プロセッサ２０が、ステップＳ５の生成された内部表現とステップＳ６の特定されたタスク進捗とに基づいて、サポート信号を生成する。
【００９４】
方法ステップＳ１からＳ３は、非構造化知識情報源データからタスクの内部表現を生成および提供することを目的とし、オフラインで実施され得る。
【００９５】
方法ステップＳ４からＳ７は、タスクの現在の実行のために、タスクの生成された内部表現を適用する。タスクを実施する目標が達成されるまで、これらのステップが、タスク実行中にループして繰り返し実行される。
【００９６】
図４は、本発明の実施形態による支援システム１の構造上のユニットを示す。
【００９７】
本発明の支援システム１は、好ましくは、プロセッサ２０上で動作する複数のソフトウェアモジュールを含んで実現される。プロセッサ２０は、メモリである内部表現記憶デバイス２２にアクセス可能である。内部表現記憶デバイス２２は、プロセッサ２０と同じ位置にあり得るか、または、ネットワークを介してプロセッサ２０によりアクセス可能であり得る。内部表現記憶デバイス２２は、プロセッサ２０により生成された内部表現を記憶し、プロセッサ２０への特定の内部表現に対する要請２６に応答して、複数のさらなる内部表現と一緒に、内部表現記憶デバイス２２に収容された特定の内部表現を提供する。従って、プロセッサ２０は、図４の矢印２７により示されるように、内部表現記憶デバイス２２から、例えば、現在のタスク、または、現在のタスクに類似したタスクを実施するための特定の内部表現を含む内部表現データを受信するために内部表現記憶デバイス２２にアクセス可能である。
【００９８】
人間機械インターフェースユニット５は、視覚的な、および音響的な環境データ２８をプロセッサ２０に提供する。人間機械インターフェースユニット５は、特に、音響センサー６、例えばマイクロフォン、および、視覚センサー７、例えばカメラを含み得る。
【００９９】
支援システム１は、タスク入力ユニット２１をさらに含む。タスク入力ユニット２１は、非構造化外部情報源２から非構造化知識情報源データ２９を取得する。非構造化知識情報源データ２９は、タスク入力ユニット２１を介してプロセッサ２０により提供される外部情報要請信号３０に応答して、タスク入力ユニット２１により取得され得る。
【０１００】
情報要請信号３０は、ユーザと連携した支援システム１により実施されるタスクに関係した非構造化外部情報源データ２９のためのウェブベースの検索のためのキーワードを含み得る。
【０１０１】
ユーザは、ユーザ入力ユニット５を使用して非構造化外部情報源データ２９に対する検索を開始し得る。次に、プロセッサ２０が、それぞれの外部情報要請３１をタスク入力ユニット２１に提供する。
【０１０２】
タスク入力ユニット２１は、非構造化外部情報源２から取得された任意の非構造化知識情報源データ２９をプロセッサ２０に中継する。これは、図４において点線の矢印により示されるように、ユーザ入力ユニット５から獲得された非構造化知識情報源データ２９をさらに含み得る。
【０１０３】
プロセッサ２０は、内部表現記憶デバイス２２から取得された内部表現と、現在のタスクを実施することにおいて監視された（特定された）タスク進捗とに基づいてサポート信号３３を生成し、支援システム１の特定の出力手段を介して、または、ロボットの他の出力手段にサポート信号３３を出力する。図４は、例示として、支援システム１の一部を形成する視覚出力ユニット２３、音響出力ユニット２４、およびマニピュレータ２５を示す。
【０１０４】
ユーザが、自動車に対する修理タスクを実施するために支援システム１と連携する技術者である自動車修理シナリオなどの用途において支援システム１は特に有益である。自動車修理シナリオは、自動車分野における、または自動車分野を越えた他の技術的な物体に対する任意の他の修理または、さらには、製造シナリオに転用可能なことが明らかである。
【０１０５】
技術者を対象とした、および乗り物のＯＥＭにより提供される、書面のまたはビデオの指示、および、追加的に、または代替的に、非専門家、例えば、ｉＦｉｘｉｔ．ｏｒｇによる書面の、またはビデオの指示などの、外部供給源からの非構造化データを分析するとき、システムは、説明の見出しまたはビデオのタイトル、説明の全文、または、音信号（特に、音信号に含まれる音声）、およびビデオにおけるビデオ信号の意味論的分析を使用してタスクを識別する。
【０１０６】
さらに、次に、このタスクが、上述のようにサブタスク、ステップ、および／またはサブステップにセグメント分けされる。タスクの異なる、および後続のセグメントを識別するために、マニュアルにおける説明の分析が実施される。多くの場合、マニュアルにおいてステップ１、ステップ２、および、以降も同様に続く形態としても言及される異なるステップ同士を区別することが可能である。
【０１０７】
さらに、マニュアルにおける説明の意味論的分析が実施されて、例えば、例示として、開く／除去、対、クリーニング／挿入、対、閉じる／組み立て直すなどの用語を区別する。マニュアルまたはビデオの分析により、支援システム１がサブタスクの各々において必要とされるツールおよび物体に関する知識情報をさらに集めることに留意されたい。
【０１０８】
追加的に、または代替的に、専用の情報、例えば、タスクに対して可能なツールおよびパーツの取りまとめられたリストを能動的に入力することが可能であり、それにより、内部表現を強化する。マニュアル（または、他の非構造化データ）の意味論的分析は、現在のタスクの文脈におけるワードの意味に関係したそれらのワードの分析を含む。タスクを遂行する間のユーザを描写した視覚センサー７により獲得されたビデオまたは観察記録の場合、行動する人のジェスチャが分析される。意味論的分析は、外部オントロジー、例えばＷｏｒｄＮｅｔに基づいて、ワードまたはジェスチャをカテゴリにマッピングすることに基づき得る。意味論的分析は、２つの異なるワード／ジェスチャなどの表現をマッピングすることに基づき得る。これは、ワード埋め込みに基づいて実行され得る。
【０１０９】
支援システム１が、ここまでに示されるすべての情報を集めた後、内部表現が生成（構築）されて、実施される必要のある異なるサブタスク、物体、およびアクションがリンクされる。サブタスク、ステップ、サブステップ、物体、およびアクションの間におけるリンクを規定するこのような表現の使用は、サブタスク、ステップ、およびサブステップの順序における柔軟性を実現する。すべての作業者またはユーザがすべてのことを同じ順序で実施し得るわけではないので、このような柔軟性は、提案される支援システム１の利便性を大幅に高める。従って、リンク（関係）を介して規定される内部表現を使用することは、事前にプログラムされたタスク情報に依存する知られた支援システムに対して典型的なサブタスクの厳密な順序からの逸脱を可能にする。詳細な記述の代わりに内部表現を使用することは、さらに、各サブタスクにおけるツールおよびパーツの使用が異なる人間のユーザ間でわずかに変わることを可能にする。これは、例えば、ベイジアンネットワーク（マルコフ連鎖、ＨＭＭ、ＣＦＲ、…）、または、内部表現に対する再帰ニューラルネットワーク（ＬＳＴＭ）による確率論的表現を使用することにより達成され得る。
【０１１０】
ロボット、または、より広く支援システム１は、組み込み音響センサー６または視覚センサー７を使用して音声およびジェスチャを理解する必要があることに留意されたい。視覚センサー７は、さらに、ユーザの注意の現在の焦点を識別するために、ユーザの目の追跡を実施するために使用され得る。
【０１１１】
支援システム１は、さらに、視覚センサー７を介して物体を認識することができる。カメラにより捕捉された物体を検出するためのアルゴリズムは、当技術分野において知られており、支援システム１の視覚センサー７にも使用され得る。さらに、ユーザのタスクを遂行することにおいてユーザを支援するために、ロボットは、物体を取り扱うためのマニピュレータを含む。自動車修理シナリオの用途におけるこのような物体は、例えば、ロボットに手渡されるスペアパーツであり得るが、例えば、ねじ回し、レンチなどの、ユーザにより必要とされるツールでもあり得る。
【０１１２】
それぞれの情報を収集することにより特定のタスクが識別されて、タスクがサブタスク、ステップ、および／またはサブステップにセグメント分けされた後、支援システム１は、タスクの最終目標を達成するために、どのサブタスク、ステップ、および／またはサブステップが遂行されるかを把握する。従って、ユーザを観察すること、およびユーザと対話することにより特定の進捗が達成されると判定され得る場合、支援システム１は、さらに、行われる必要のある次のステップを提案し得る。通常、ユーザは、最終目標を達成するために、サブタスクを通してシステムを案内する。ユーザが次のステップを思い出すことができない場合、タスクをどのように続けるかに関する情報が支援システム１により与えられ得る。
【０１１３】
システムが、上述のように非構造化情報を分析すること、および、内部表現を生成することにより達成されるタスクに関する知識情報をもっており、タスクがサブタスク、ステップ、および／またはサブステップにセグメント分けされた場合、ロボットは、作業者と首尾よく連携し得る。これは、タスク進捗、対話状態、および人間の状態の信念追跡を使用することにより達成される。さらに、対話のパーソナライズは、ユーザ特性を学習することにより達成され得る。この学習は、組み込みカメラによりユーザのアクションを観察すること、および、マイクロフォンを使用することにより認識され得るユーザアクション／ユーザ挙動の観察に基づき得る。マイクロフォンを使用することにより、例えば、ユーザは、遂行される実際のサブタスク、ステップ、および／またはサブステップに関係した、または、例えば、特定のツールを引き渡すことなどの特定の支援事象を示すか、または誘起する情報を、ロボットに能動的に与え得る。信念追跡は、異なるサブタスクの時間的シーケンスの柔軟な配置を可能にする。
【０１１４】
支援システム１がユーザまたは技術者と連携したとき、システムの適応を実施することが可能である。システムの適応は、ユーザによるタスク実行の分析に基づいて達成される。例えば、ユーザにより実施されるジェスチャおよびアクションを観察すること、または、さらには、ユーザから音声として出されたコメントを分析することによりサブタスクの順序が特定され得る。どのツールおよびパーツがどの順序で使用されるかがさらに特定され得る。従って、支援システム１は、サブタスクの特定の順序に対する確率を、このような観察からのサブタスクに関係付けることが可能である。
【０１１５】
従って、現在の状況を識別して、サブタスク、ステップ、および／またはサブステップのうちのいずれか１つに対応付けるとき、その瞬間における特定のサブタスクに対するこのような確率に関する知識情報を使用することが可能である。これは、ユーザの観察された挙動に基づくタスク表現の適応につながる。さらに、支援システム１を一人のユーザだけでなく複数の異なるユーザにも適応させることが可能である。異なるユーザの各々に対して、適応されたタスク表現が、内部表現記憶デバイス２２に記憶され得、特定のユーザまたは技術者を識別した後、支援システム１は、内部表現記憶デバイス２２から識別されたユーザの専用の内部表現を獲得する。その後、支援システム１は、識別されたユーザの獲得された専用のタスク表現を使用する。
【０１１６】
本発明の支援システム１および支援方法がどのように働くかを示す、より具体的な例を説明する前に、ロボットと作業者との間の連携の概念がもう一度説明される。
【０１１７】
本発明の支援システム１の基本的なアイデアは、支援システム１がユーザのタスクにおいてユーザをサポートし、ユーザ、環境、およびタスクのその特定の知識情報に基づいて、ユーザの思考過程を追うことを試み、さらに、先を読むことである。最終目的を達成するために必要とされるタスク、サブタスク、ステップ、および／またはサブステップに関する構造化知識情報を支援システム１自体が獲得、生成、および記憶するので、これが可能である。
【０１１８】
さらに、支援システム１のコンテキスト知識情報は、ユーザが、タスクおよびユーザを知っている経験のある同僚とインタラクションするのと同様に、支援システム１とインタラクションすることを可能にする。支援システム１の制御およびタスク実行は、ユーザ自身のもとに留まる。それを達成するために、ユーザは、どのサブタスク、ステップ、および／またはサブステップが実行されるか、および、サブタスク、ステップ、および／またはサブステップがいつ実行されるかを制御する。支援システム１は、概して、ユーザが次に何をしなければならないかをユーザに示唆するのではなく、むしろ、タスクに対するユーザの個人的なアプローチに適応する。ユーザがタスクをどのように続けるか不確かである場合、ユーザは、支援システム１に能動的に尋ねることさえし得る。次に、支援システム１は、それぞれのサポート信号を生成および出力することにより回答することができる。回答は、内部タスク表現に含まれる支援システム１自体のタスク知識情報と、タスクの履行における現在の状態の支援システム１の推定とに基づく。
【０１１９】
システムは、現在のタスク、現在のサブタスク、ステップ、および／またはサブステップ、対話、タスクにおける現在の人間の関与、およびユーザの嗜好に関する信念を追跡する。ユーザが現在のタスク、ステップ、および／またはサブステップを告知する場合、現在のタスクに関する信念を追跡することは、重要ではない。
【０１２０】
タスクに関する支援システム１、ロボット、およびユーザの間の連携の特定の一例は、乗り物のインジェクションシステムを修理することである。「乗り物のインジェクションを修理する」というタスクは、例えば、
−  インジェクションへのアクセスを阻止しているコンポーネントを除去すること、
−  インジェクションを除去すること、
−  インジェクションを修理すること、
−  インジェクションを元に戻すこと、および
−  他のコンポーネントを元に戻すこと
などのサブタスクにセグメント分けされ得る。
【０１２１】
このようなタスクは、自動車修理作業場において頻繁に発生するが、その実行には、例えば、タスクを実施する個々の技術者に応じて違いが見られる。主サブタスクは、一見、同じに見え得るが、異なる自動車モデルおよび／またはサブタスクをどのように行うかに関する技術者の異なる嗜好に対して、細部において異なる。技術者がサブタスクを行うとき、技術者は、支援システム１により出力されたサポート信号に基づいてロボットにより実施される採取および配置動作により支援またはサポートされる。従って、ロボットと技術者とが同じ作業空間を共有するが、協力した操作を実行するとは限らない。さらに、ユーザまたは技術者がシステムのきめの細かい制御を達成するために、支援システム１に指令を出すことが可能である。例えば、ロボットがタイヤを持ち上げている間に、技術者が例えば、「タイヤを左上までさらに持ち上げろ」と言い得る。
【０１２２】
連携して行われるタスクに対する連携を開始することは、同様に、ユーザにより制御され得る。例えば、技術者がロボットに全体的なタスクを告知する。自動車修理作業場の例において、これは、「インジェクションを修理しろ」という指令であり得る。タスク実行中、技術者は、特定のツールおよびパーツをさらに要請し得る。一方で、これはタスク進捗、および現在実行されているサブタスク、ステップ、またはサブステップの指標である。その一方で、ロボットが特定のツールの使用、または、特定のパーツの必要性に対する確率に基づいて、次にどのツールまたはパーツが技術者に手渡されるかを特定することを試みるので、これは、技術者によるロボットの支援である。
【０１２３】
支援システム１は、作業環境に現在存在するツールおよびパーツをマッピングすることにより、タスクを識別することも可能である。支援システム１が、タスクの実行に関与するツールおよびパーツが内部タスク表現の一部を形成するときに、タスクの実行に関与するツールおよびパーツに関する知識情報をもつので、このマッピングが可能である。支援システム１が現在のタスクに必要な、または、現在のサブタスクに必要なツールを識別するとき、より高い確率がこのツールに割り当てられる。
【０１２４】
支援システム１は、さらに、ユーザとのインタラクションに基づいて、タスクまたはサブタスクのうち、現在のサブタスク、または、現在実行されているステップのその推定を更新する。このような更新は、ユーザにより参照されたツールおよび物体に基づき得る。その結果、ユーザがどのような時間的な順序で参照物を使用するかが重要となる。推定を更新するとき、支援システム１は、例えば、その組み込み視覚センサー７を使用して、技術者により実施された操作を観察する。
【０１２５】
前述の例および所与の説明は、支援システム１を含むロボットを参照する。しかし、分散型支援システム１を使用することも可能である。例えば、視覚センサー７または音響センサー６は、ロボット自体に配置されることが必要とは限らず、任意の監視カメラおよびそれぞれのマイクロフォンであり得、さらに、処理は、ロボットに搭載された単一のプロセッサ２０の代わりに例えばサーバに配置された複数のプロセッサを使用して行われ得る。
【０１２６】
ロボットの機能は、支援システム１により生成された出力されたサポート信号に基づいて、物体またはツールを引き渡すか、または引き継ぐために、採取および配置動作を実施することに低減され得る。
【０１２７】
以下、本発明の実施形態のさらに詳細な例がより詳細に説明される。実施形態の説明は、非構造化外部情報源２における半構造化および非構造化データからのタスク知識情報の抽出に焦点を置いている。具体的なシナリオに応じて、タスク知識情報のこの抽出を準備するために、いくつかの手動ステップが必要であり得る。知られた反復的なシナリオの場合、これらのステップは、同様に自動化され得る。本発明の具体的な実施態様において、よく知られた文字列処理方法を使用してステップのうちの大部分を自動化するために必要な労力と、手作業による準備のための労力との間のトレードオフが検討され得る。これらの手作業による準備は、個々のタスクの各々に必要とは限らないが、大きなグループのタスクの処理を可能にすることに注意が必要である。これがどのように達成され得るかが、例の各々において強調される。
【０１２８】
本発明の一実施形態の第１の例は、電子デバイスの修理において本発明がユーザをどのようにサポートし得るかについて説明する。説明される例は、Ａｐｐｌｅ  ｉＰｈｏｎｅ（登録商標、以下同じ）６の電池の交換である。これがどのように実施されなければならないかを説明する非構造化外部情報源２として、異なるインターネットリソースが存在する。よく知られたリソースはｉＦｉｘｉｔ．ｏｒｇというウェブサイトである。このウェブサイトは、これらの修理をどのように実施するかについて、人間のためのステップごとの説明を提供する。ウェブサイトは、所望の情報を抽出するためにフォーマット設定がどのように役立つかを強調した要約した手法により以下で再現されるＨＴＭＬフォーマット設定を使用する。ウェブサイトは、情報クリエータに、ウェブサイトの編集環境により提案されるように構造化された手法で情報を入力することをさらに提案している。この意味で、ｉＦｉｘｉｔ．ｏｒｇにおいて提示された情報は、半構造化状態とみなされ得る。簡潔となるように、情報がどのように抽出され得るかを強調することに関連しない文字列の一部は繰り返されない。
【０１２９】
タスク構造化のためのユニット４は、入力情報を分析し、タスクの内部表現を生成する。
【０１３０】
第１のステップにおいて、ユーザは、ユーザがどのような種類の修理を実施することを望んでいるかを支援システム１に発言し得、例えばユーザが、「ｉＰｈｏｎｅ６の電池を交換したい」と発言する。支援システム１は、ステップＳ４において、このユーザ入力を取得した後、ステップＳ５において取得されたユーザ入力を解釈する。
【０１３１】
多くの方法が文献において提案されており、ユーザの意図、すなわち、検討中のエンティティにおけるパーツ、すなわち、本例ではｉＰｈｏｎｅ６の電池を交換したいという要望を特定する市販のシステムが存在する（Ｙｏｕｎｇ，Ｔ．、Ｈａｚａｒｉｋａ，Ｄ．、Ｐｏｉｒａ，Ｓ．およびＣａｍｂｒｉａ，Ｅ．（２０１８年）、Ｒｅｃｅｎｔ  ｔｒｅｎｄｓ  ｉｎ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｂａｓｅｄ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ．、ＩＥＥＥ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｍａｇａｚｉｎｅ、１３（３）、５５〜７５；Ｋｕｒａｔａ，Ｇ．、Ｘｉａｎｇ，Ｂ．、Ｚｈｏｕ，Ｂ．およびＹｕ，Ｍ．（２０１６年）、Ｌｅｖｅｒａｇｉｎｇ  ｓｅｎｔｅｎｃｅ  ｌｅｖｅｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｗｉｔｈ  ｅｎｃｏｄｅｒ  ＬＳＴＭ  ｆｏｒ  ｓｅｍａｎｔｉｃ  ｓｌｏｔ  ｆｉｌｌｉｎｇ．、ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１６０１．０１５３０；Ｌｉｕ，Ｂ．およびＬａｎｅ，Ｉ．（２０１６年）、Ａｔｔｅｎｔｉｏｎ−ｂａｓｅｄ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｍｏｄｅｌｓ  ｆｏｒ  ｊｏｉｎｔ  ｉｎｔｅｎｔ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｓｌｏｔ  ｆｉｌｌｉｎｇ．、ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０９．０１４５４から入手）。
【０１３２】
代替的な実施態様において、ユーザのクエリにおけるワードの出現状況は、すべての修理マニュアルのタイトルにより特定され得、十分にマッチングしたマニュアルが、修理マニュアルのタイトルから選択され得る。これらの方法は、ユーザの要請に適合した１つまたはいくつかの修理マニュアルを自動的に選択するために使用され得る。「ｉＰｈｏｎｅ６の電池を交換したい」というユーザの発言に対する可能なマッチングの一例が以下に示される。
【０１３３】
<title> Replacement Of An iPhone 6 Battery </title>
…
Difficulty </p>
Moderate </p>
…
Steps </p>
4</p>
…
Time Required </p>
15-45 min </p>
…
Sections </p>
<u1 class = “sections-list”>
<li> Pentalope Screws</li>
<li> Opening Procedure </li>
<li> Front Panel Assembly </li>
<li> Battery</li>
</ul>
…
<div class=” introduction”>
<h2>Introduction</h2>
…
<div class="tools-list">
<h3>Tools</h3>
…
<span class="itemName" itemprop="name">Spudger</span>
…
<span class="itemName" itemprop="name">P2 Pentalobe Screwdriver iPhone</span>
…
<span class="itemName" itemprop="name">Suction Cap</span>
…
<span class="itemName" itemprop="name">Tweezers</span>
<\div>
…
<div class="parts-list">
<h3>Tools</h3>
…
<span class="itemName" itemprop="name">iPhone 6 Replacement Battery</span>
…
<span class="itemName" itemprop="name">iPhone 6 Battery Connector Bracket</span>
…
<strong class="stepValue">Step 1</strong>
Pentalope Screws
…
<ulclass="step-lines">
<li class="icon-caution" itemtype="http://schema.org/HowToDirection">
<div class="bullet bulletIcon ico-step-icon-caution"></div>
<p itemprop="text">Prior to the disassembly, discharge the battery below 20% to avoid risks of fire and explosion from accidental puncturing it</p>
</li>
<li class="" itemtype="http://schema.org/HowToDirection">
<div class="fa fa-circle bullet bullet_black"></div>
<p itemprop="text">Remove the two 3.6 mm-long Pentalobe screws next to the Lightning connector.</p>
</li>
</ul>
…
<strong class="stepValue">Step 2</strong>
Pentalobe Screws
…
<ul class="step-lines">
<li class="" itemtype="http://schema.org/HowToDirection">
<div class="fa fa-circle bullet bullet_black"></div>
<p itemprop="text">Use a suction cup to lift the front panel:</p>
</li>
<li class="" itemtype="http://schema.org/HowToDirection">
<div class="fa fa-circle bullet bullet_black"></div>
<p itemprop="text">Press the suction cup onto the screen.</p>
</li>
</ul>
…
【０１３４】
この例は、この修理マニュアルがステップの明確なシーケンスを含むことを示す。修理マニュアルがＨＴＭＬで書かれていることにより、コンピュータは、さらに、ステップのこのシーケンスを簡単に構文解析し得る。本発明により抽出されるほとんどの関連情報は、各ステップにおいて使用されるツールおよびパーツである。これは、修理マニュアルの冒頭に修理に関与するすべてのツールおよびパーツのリストが記載されることにより円滑化される（＜ｄｉｖ  ｃｌａｓｓ＝“ｔｏｏｌｓ−ｌｉｓｔ”＞，  ＜ｄｉｖ  ｃｌａｓｓ＝“ｐａｒｔｓ−ｌｉｓｔ”＞）。修理マニュアルにおける各ステップが明確に示されており（例えば、＜ｓｔｒｏｎｇ  ｃｌａｓｓ＝“ｓｔｅｐＶａｌｕｅ”＞Ｓｔｅｐ  １＜／ｓｔｒｏｎｇ＞）、さらに、すべてのステップのリストが修理マニュアルの冒頭に記載されているので、支援システム１は、ステップへの修理マニュアルのセグメント分けを達成し得る。各修理ステップにおいてツールおよびパーツを識別するためには、多くの場合、ツールおよびパーツのリストを構文解析した後、修理ステップごとに進み、各ステップにおいてこれらのツールおよびパーツを識別することで十分である。構文解析するために、支援システム１が、単純なパターンマッチング、すなわち、ツールおよびパーツのリストを示すキーワードを適用し得、ステップへのセグメント分けが検索され得、次に、各ステップにおいて、リストにおけるツールおよびパーツと各ステップにおけるワードとの間のパターンマッチングが実施され得る。
【０１３５】
支援システム１は、このように、修理マニュアルにおける取得された非構造化知識情報源データからタスクの内部表現を生成し得る。内部表現を生成することは、ステップへの修理マニュアルのセグメント分け、および各ステップにおいて使用されるツールおよびパーツを識別することを含む。
【０１３６】
いくつかの場合において、ツールまたはパーツの名称はリストにおいて言及済みであるので、ツールまたはパーツの名称が、ステップの文字列において完全に同じ手法で繰り返されるとは限らない。上述の例において、リストが「Ｐ２  Ｐｅｎｔａｌｏｂｅ  ｓｃｒｅｗｄｒｉｖｅｒ（Ｐ２ペンタローブねじ回し）」を参照しているのに対し、ステップ２では、「Ｒｅｍｏｖｅ  ｔｈｅ  ｔｗｏ  ３．６  ｍｍ−ｌｏｎｇ  Ｐｅｎｔａｌｏｂｅ  ｓｃｒｅｗｓ（２つの３．６ｍｍ長のペンタローブねじを除去する）」と言及されている。基本的な文字列検索は、ステップ２において「Ｐ２  Ｐｅｎｔａｌｏｂｅ  ｓｃｒｅｗｄｒｉｖｅｒ（Ｐ２ペンタローブねじ回し）」を識別することができない。支援システム１は、一般的な文字列処理方法を実施することによりこれを達成し得る。一方において、さらに例えば、「Ｐ２  Ｐｅｎｔａｌｏｂｅ  ｓｃｒｅｗｄｒｉｖｅｒ（Ｐ２ペンタローブねじ回し）」の代わりに単に「Ｐｅｎｔａｌｏｂｅ  ｓｃｒｅｗｄｒｉｖｅｒ（ペンタローブねじ回し）」または「ｓｃｒｅｗｄｒｉｖｅｒ（ねじ回し）」を探すように、ツールリストにおいて言及されたツールのパーツのマッチングが検索され得る。最も可能性の高いツールを特定するために、ツールに対するこれらの部分的マッチングの各々に、スコアが割り当てられ得る。例えば、リストにおいて言及されたツールと共通した、より多くのワードを含むマッチングに、より高いスコアを与えることが可能である。
【０１３７】
代替的に、スコアは、さらに、現在の修理マニュアル、すべての修理マニュアル、またはいくつかの外部文字列ソース（例えばＷｉｋｉｐｅｄｉａ）におけるワードの頻度に依存し得る。この場合、より低頻度のワードが、より高いスコアを受け取り得る。さらに、非常に高頻度のワード、または、例えば「ａ」または「ｔｈｅ」といった、ツールおよびパーツに関係しないワードを除外するために停止リストが供給され得る。いくつかの場合において、ツールは、動詞またはツールにより操作される物体を介してその使用により参照され、例えば「ｓｃｒｅｗｄｒｉｖｅｒ（ねじ回し）」は、「ｓｃｒｅｗ（ねじ／ねじ込む）」（動詞または名詞）、「ｌｏｏｓｅｎ（緩める）」または「ｔｉｇｈｔｅｎ（締め付ける）」により参照される。これらのマッピングは、これらのリンクを表すオントロジーを介して解決され得る。このオントロジーは、ツールを物体およびアクションに直接マッピングし得るが、ツール（例えば、「ｓｃｒｅｗｄｒｉｖｅｒ（ねじ回し）」は、「ｓｌｏｔ  ｓｃｒｅｗｄｒｉｖｅｒ（マイナスのねじ回し）」および「Ｐｈｉｌｌｉｐｓ  ｓｃｒｅｗｄｒｉｖｅｒ（プラスのねじ回し）」にマッピングされる）またはアクション（＜ｌｏｏｓｅｎ  ａ  ｓｃｒｅｗ＞（ねじを緩める）は「ｌｏｏｓｅｎ（緩める）」、「ｓｃｒｅｗ  ｏｐｅｎ（ねじり開く）」にマッピングされる）のクラスを表すように階層的でもあり得、さらに、これらは、互いに関係する。これは、いくつかの階層レベルと、すべてのレベルにおける相互接続部とを備え得る。このようなオントロジーは、手作業で用意され得る。
【０１３８】
さらに、既存のインターネットリソースが、このようなオントロジーを構築するために使用され得、例えば、ＷｏｒｄＮｅｔは「ｓｃｒｅｗｄｒｉｖｅｒ（ねじ回し）」を「Ｓ：  （ｎ）  ｓｃｒｅｗｄｒｉｖｅｒ  （ａ  ｈａｎｄ  ｔｏｏｌ  ｆｏｒ  ｄｒｉｖｉｎｇ  ｓｃｒｅｗｓ；  ｈａｓ  ａ  ｔｉｐ  ｔｈａｔ  ｆｉｔｓ  ｉｎｔｏ  ｔｈｅ  ｈｅａｄ  ｏｆ  ａ  ｓｃｒｅｗ）（Ｓ：（ｎ）ねじ回し（ねじを動かすための手工具、ねじの頭部内に適合する先端部をもつ））」にマッピングし、「ｓｃｒｅｗ（ねじ／ねじ込む）」を「Ｓ：  （ｎ）  ｓｃｒｅｗ  （ａ  ｓｉｍｐｌｅ  ｍａｃｈｉｎｅ  ｏｆ  ｔｈｅ  ｉｎｃｌｉｎｅｄ−ｐｌａｎｅ  ｔｙｐｅ  ｃｏｎｓｉｓｔｉｎｇ  ｏｆ  ａ  ｓｐｉｒａｌｌｙ  ｔｈｒｅａｄｅｄ  ｃｙｌｉｎｄｒｉｃａｌ  ｒｏｄ  ｔｈａｔ  ｅｎｇａｇｅｓ  ｗｉｔｈ  ａ  ｓｉｍｉｌａｒｌｙ  ｔｈｒｅａｄｅｄ  ｈｏｌｅ）（Ｓ：（ｎ）ねじ（同様にねじ山の付いた穴と係合する、螺旋状にねじ山の付いた円柱ロッドからなる傾斜面タイプの単純な機械））」、「Ｓ：  （ｖ）  ｓｃｒｅｗ  （ｔｕｒｎ  ｌｉｋｅ  ａ  ｓｃｒｅｗ）（Ｓ：（ｖ）回る（ねじのように回転する））」、「Ｓ：  （ｖ）  ｓｃｒｅｗ，  ｄｒｉｖｅ  ｉｎ（Ｓ：（ｖ）ねじ込む、中に入れる）」、「Ｓ：  （ｖ）  ｓｃｒｅｗ  （ｔｉｇｈｔｅｎ  ｏｒ  ｆａｓｔｅｎ  ｂｙ  ｍｅａｎｓ  ｏｆ  ｓｃｒｅｗｉｎｇ  ｍｏｔｉｏｎｓ）（Ｓ：（ｖ）ねじで締める（ねじる運動により締め付けるか、または固定する））」にマッピングする。
【０１３９】
さらに、知られた機械学習アプローチが、タスクの内部表現を生成するときに、ツールおよびパーツを抽出することに適用され得る。これは、使用されるツールとともに、修理ステップの訓練データ集合に注釈付けすることにより達成され得る。このタスクを実施することが可能な多くの機械学習方法、例えば、長期短期記憶（ＬＳＴＭ：Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）ネットワーク（Ｙｏｕｎｇ，Ｔ．、Ｈａｚａｒｉｋａ，Ｄ．、Ｐｏｉｒａ，Ｓ．およびＣａｍｂｒｉａ，Ｅ．（２０１８年）、Ｒｅｃｅｎｔ  ｔｒｅｎｄｓ  ｉｎ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｂａｓｅｄ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ．、ＩＥＥＥ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｍａｇａｚｉｎｅ、１３（３）、５５〜７５；Ｌａｍｐｌｅ，Ｇ．、Ｂａｌｌｅｓｔｅｒｏｓ，Ｍ．、Ｓｕｂｒａｍａｎｉａｎ，Ｓ．、Ｋａｗａｋａｍｉ，Ｋ．およびＤｙｅｒ，Ｃ．（２０１６年）、Ｎｅｕｒａｌ  Ａｒｃｈｉｔｅｃｔｕｒｅｓ  ｆｏｒ  Ｎａｍｅｄ  Ｅｎｔｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ．、ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０３．０１３６０から入手）が存在する。
【０１４０】
このような方法の実施は、結果を意味論的に関係したワードに汎化することが可能なワード埋め込みを使用することにより改善され得る（Ｍｉｋｏｌｏｖ，Ｔ．、Ｓｕｔｓｋｅｖｅｒ，Ｉ．、Ｃｈｅｎ，Ｋ．、Ｃｏｒｒａｄｏ，Ｇ．Ｓ．およびＤｅａｎ，Ｊ．（２０１３年）、Ｄｉｓｔｒｉｂｕｔｅｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｏｆ  ｗｏｒｄｓ  ａｎｄ  ｐｈｒａｓｅｓ  ａｎｄ  ｔｈｅｉｒ  ｃｏｍｐｏｓｉｔｉｏｎａｌｉｔｙ．、Ｉｎ：Ａｄｖａｎｃｅｓ  ｉｎ  ｎｅｕｒａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｃｅｓｓｉｎｇ  ｓｙｓｔｅｍｓ（３１１１〜３１１９頁）；Ｐｅｎｎｉｎｇｔｏｎ，Ｊ．、Ｓｏｃｈｅｒ，Ｒ．およびＭａｎｎｉｎｇ，Ｃ．（２０１４年）、Ｇｌｏｖｅ：Ｇｌｏｂａｌ  ｖｅｃｔｏｒｓ  ｆｏｒ  ｗｏｒｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．、Ｉｎ：ｔｈｅ  ２０１４  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｅｍｐｉｒｉｃａｌ  ｍｅｔｈｏｄｓ  ｉｎ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ（ＥＭＮＬＰ）の議事録（１５３２〜１５４３頁）；Ａｔｈｉｗａｒａｔｋｕｎ，Ｂ．、Ｗｉｌｓｏｎ，Ａ．Ｇ．およびＡｎａｎｄｋｕｍａｒ，Ａ．（２０１８年）、Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ＦａｓｔＴｅｘｔ  ｆｏｒ  Ｍｕｌｔｉ−Ｓｅｎｓｅ  Ｗｏｒｄ  Ｅｍｂｅｄｄｉｎｇｓ、Ｉｎ：ＡＣＬ  ２０１８の議事録）。
【０１４１】
ここまでに説明される技術を使用して、支援システム１が、方法を実行するために各ステップにおいて必要とされるツールおよびパーツのための表現に到達し得る。修理タスクにおいてユーザをサポートするために、ユーザにより現在実施されているステップを追跡し続けることがさらに必要である。その最も簡単な実施態様では、支援システム１は、第１のステップにおいて必要とされるツールをユーザに手渡した後、準備を続け、修理マニュアルから抽出された、およびタスクの内部表現に含まれる順序でツールをユーザに手渡す。
【０１４２】
好ましくは、支援システム１は、さらに、ユーザによりもはや必要とされないツールを受け取ること、およびそれらの対応する場所に、もはや必要とされないツールを保管することができる。
【０１４３】
追加的に、または代替的に、支援システム１は、修理の現在の状態を特定し、すなわち、このステップにおいて、修理は、例えば、人間機械インターフェースユニット５により取得されたユーザの言葉による、およびジェスチャによるフィードバック、および／または、ユーザが現在操作している物体に基づく。
【０１４４】
ユーザの言葉によるフィードバックは、上述の方法により解釈され得る。
【０１４５】
例えば、Ｍｉｔｒａ，Ｓ．、およびＡｃｈａｒｙａ，Ｔ．（２００７年）、Ｇｅｓｔｕｒｅ  ｒｅｃｏｇｎｉｔｉｏｎ：Ａ  ｓｕｒｖｅｙ．ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｙｓｔｅｍｓ，Ｍａｎ，ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ，Ｐａｒｔ  Ｃ（Ａｐｐｌｉｃａｔｉｏｎｓ  ａｎｄ  Ｒｅｖｉｅｗｓ）、３７（３）、３１１〜３２４；Ｒａｕｔａｒａｙ，Ｓ．Ｓ．およびＡｇｒａｗａｌ，Ａ．（２０１５年）、Ｖｉｓｉｏｎ  ｂａｓｅｄ  ｈａｎｄ  ｇｅｓｔｕｒｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｏｒ  ｈｕｍａｎ  ｃｏｍｐｕｔｅｒ  ｉｎｔｅｒａｃｔｉｏｎ：ａ  ｓｕｒｖｅｙ、Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｒｅｖｉｅｗ、４３（１）、１〜５４）に開示されているように、ユーザのジェスチャによるフィードバックを解釈するための多くの方法が知られている。さらに、ツールを識別する方法（Ｆｉｓｃｈｅｒ，Ｌ．、Ｈａｓｌｅｒ，Ｓ．、Ｄｅｉｇｍｏｌｌｅｒ，Ｊ．、Ｓｃｈｎｕｒｅｒ，Ｔ．、Ｒｅｄｅｒｔ，Ｍ．、Ｐｌｕｎｔｋｅ，Ｕ．、Ｎａｇｅｌ，Ｋ．、Ｓｅｎｚｅｌ，Ｃ．、Ｒｉｃｈｔｅｒ，Ａ．、Ｅｇｇｅｒｔ，Ｊ．（２０１８年）、Ｗｈｅｒｅ  ｉｓ  ｔｈｅ  ｔｏｏｌ？−ｇｒｏｕｎｄｅｄ  ｒｅａｓｏｎｉｎｇ  ｉｎ  ｅｖｅｒｙｄａｙ  ｅｎｖｉｒｏｎｍｅｎｔ  ｗｉｔｈ  ａ  ｒｏｂｏｔ．、Ｉｎ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｇｎｉｔｉｖｅ  Ｒｏｂｏｔｉｃｓ  Ｗｏｒｋｓｈｏｐ（ＣｏｇＲｏｂ）、ＣＥＵＲ  Ｗｏｒｋｓｈｏｐ議事録；Ｘｉａｎｇ，Ｙ．、Ｓｃｈｍｉｄｔ，Ｔ．、Ｎａｒａｙａｎａｎ，Ｖ．およびＦｏｘ，Ｄ．（２０１７年）、ＰｏｓｅＣＮＮ：Ａ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｆｏｒ  ６ｄ  ｏｂｊｅｃｔ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｉｎ  ｃｌｕｔｔｅｒｅｄ  ｓｃｅｎｅｓ．、ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１７１１．００１９９；Ｃａｌｌｉ，Ｂ．、Ｓｉｎｇｈ，Ａ．、Ｗａｌｓｍａｎ，Ａ．、Ｓｒｉｎｉｖａｓａ，Ｓ．、Ａｂｂｅｅｌ，Ｐ．およびＤｏｌｌａｒ，Ａ．Ｍ．（２０１５年７月）、Ｔｈｅ  ｙｃｂ  ｏｂｊｅｃｔ  ａｎｄ  ｍｏｄｅｌ  ｓｅｔ：Ｔｏｗａｒｄｓ  ｃｏｍｍｏｎ  ｂｅｎｃｈｍａｒｋｓ  ｆｏｒ  ｍａｎｉｐｕｌａｔｉｏｎ  ｒｅｓｅａｒｃｈ．Ｉｎ：Ａｄｖａｎｃｅｄ  Ｒｏｂｏｔｉｃｓ（ＩＣＡＲ）、（５１０〜５１７頁）における２０１５  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ＩＥＥＥ）、および、ユーザがどの操作タスクを実施しているか、および、ユーザがどのツールおよび物体を操作しているかを検出する方法が存在する（Ｌｅｏ，Ｍ．、Ｍｅｄｉｏｎｉ，Ｇ．、Ｔｒｉｖｅｄｉ，Ｍ．、Ｋａｎａｄｅ，Ｔ．およびＦａｒｉｎｅｌｌａ，Ｇ．Ｍ．（２０１７年）、Ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  ｆｏｒ  ａｓｓｉｓｔｉｖｅ  ｔｅｃｈｎｏｌｏｇｉｅｓ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ、１５４、１〜１５；Ｅｒｏｌ，Ａ．、Ｂｅｂｉｓ，Ｇ．、Ｎｉｃｏｌｅｓｃｕ，Ｍ．、Ｂｏｙｌｅ，Ｒ．Ｄ．およびＴｗｏｍｂｌｙ，Ｘ．（２００７年）、Ｖｉｓｉｏｎ−ｂａｓｅｄ  ｈａｎｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ：Ａ  ｒｅｖｉｅｗ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ、１０８（１〜２）、５２〜７３；Ｐｏｐｐｅ，Ｒ．（２０１０年）、Ａ  ｓｕｒｖｅｙ  ｏｎ  ｖｉｓｉｏｎ−ｂａｓｅｄ  ｈｕｍａｎ  ａｃｔｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ．Ｉｍａｇｅ  ａｎｄ  ｖｉｓｉｏｎ  ｃｏｍｐｕｔｉｎｇ、２８（６）、９７６〜９９０；Ｖｉｓｈｗａｋａｒｍａ，Ｓ．およびＡｇｒａｗａｌ，Ａ．（２０１３年）、Ａ  ｓｕｒｖｅｙ  ｏｎ  ａｃｔｉｖｉｔｙ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  ｂｅｈａｖｉｏｒ  ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｉｎ  ｖｉｄｅｏ  ｓｕｒｖｅｉｌｌａｎｃｅ．Ｔｈｅ  Ｖｉｓｕａｌ  Ｃｏｍｐｕｔｅｒ、２９（１０）、９８３〜１００９；Ｈｅｒａｔｈ，Ｓ．、Ｈａｒａｎｄｉ，Ｍ．およびＰｏｒｉｋｌｉ，Ｆ．（２０１７年）、Ｇｏｉｎｇ  ｄｅｅｐｅｒ  ｉｎｔｏ  ａｃｔｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ：Ａ  ｓｕｒｖｅｙ．Ｉｍａｇｅ  ａｎｄ  ｖｉｓｉｏｎ  ｃｏｍｐｕｔｉｎｇ、６０、４〜２１；Ｃａｒｖａｊａｌ，Ｊ．、ＭｃＣｏｏｌ，Ｃ．、Ｌｏｖｅｌｌ，Ｂ．およびＳａｎｄｅｒｓｏｎ，Ｃ．（２０１６年４月）、Ｊｏｉｎｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ａｃｔｉｏｎｓ  ｖｉａ  ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｉｎｔｅｇｒａｔｉｏｎ  ｏｆ  ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  Ｆｉｓｈｅｒ  ｖｅｃｔｏｒｓ．Ｉｎ：Ｐａｃｉｆｉｃ−Ａｓｉａ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｋｎｏｗｌｅｄｇｅ  Ｄｉｓｃｏｖｅｒｙ  ａｎｄ  Ｄａｔａ  Ｍｉｎｉｎｇ（１１５〜１２７頁）、Ｓｐｒｉｎｇｅｒ；Ｂｏｒｚｅｓｈｉ，Ｅ．Ｚ．、Ｃｏｎｃｈａ，Ｏ．Ｐ．、Ｄａ  Ｘｕ，Ｒ．Ｙ．およびＰｉｃｃａｒｄｉ，Ｍ．（２０１３年）、Ｊｏｉｎｔ  ａｃｔｉｏｎ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｂｙ  ａｎ  ｅｘｔｅｎｄｅｄ  ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌ、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｌｅｔｔｅｒｓ、２０（１２）、１２０７〜１２１０；Ｌｉｕ，Ｈ．およびＷａｎｇ，Ｌ．（２０１８年）、Ｇｅｓｔｕｒｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｏｒ  ｈｕｍａｎ−ｒｏｂｏｔ  ｃｏｌｌａｂｏｒａｔｉｏｎ：Ａ  ｒｅｖｉｅｗ．  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｉｎｄｕｓｔｒｉａｌ  Ｅｒｇｏｎｏｍｉｃｓ、６８、３５５〜３６７；Ｋｅｓｋｉｎ，Ｃ．、Ｋｉｒａｃ，Ｆ．、Ｋａｒａ，Ｙ．Ｅ．およびＡｋａｒｕｎ，Ｌ．（２０１２年１０月）、Ｈａｎｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  ｈａｎｄ  ｓｈａｐｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｕｓｉｎｇ  ｍｕｌｔｉ−ｌａｙｅｒｅｄ  ｒａｎｄｏｍｉｚｅｄ  ｄｅｃｉｓｉｏｎ  ｆｏｒｅｓｔｓ、Ｉｎ：  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（８５２〜８６３頁）、Ｓｐｒｉｎｇｅｒ、Ｂｅｒｌｉｎ、Ｈｅｉｄｅｌｂｅｒｇ；Ｇｅ，Ｌ．、Ｌｉａｎｇ，Ｈ．、Ｙｕａｎ，Ｊ．およびＴｈａｌｍａｎｎ，Ｄ．（２０１８年）、Ｒｅａｌ−ｔｉｍｅ  ３Ｄ  Ｈａｎｄ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｗｉｔｈ  ３Ｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ．ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ；Ｄｅ  Ｓｏｕｚａ，Ｒ．、Ｅｌ−Ｋｈｏｕｒｙ，Ｓ．、Ｓａｎｔｏｓ−Ｖｉｃｔｏｒ，  Ｊ．およびＢｉｌｌａｒｄ，Ａ．（２０１５）、Ｒｅｃｏｇｎｉｚｉｎｇ  ｔｈｅ  ｇｒａｓｐ  ｉｎｔｅｎｔｉｏｎ  ｆｒｏｍ  ｈｕｍａｎ  ｄｅｍｏｎｓｔｒａｔｉｏｎ．Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｎｏｍｏｕｓ  Ｓｙｓｔｅｍｓ、７４、１０８〜１２１。本方法は、追加的に、または代替的に、ツールに装着された追加的なマーカーを使用して、すなわち、米国特許公報第６６６８７５１（Ｂ１）号または米国特許出願公開第２００６／００７４５１３（Ａ１）号に開示されるアプローチに従って、ユーザのジェスチャによるフィードバックを解釈し得る。
【０１４６】
修理の状態を追跡する目的をともなった、観察された情報、すなわち、人間の言葉による、およびジェスチャによる支援システム１とのインタラクション、および、存在するツールおよび物体、および、それらがどのように操作されるかの統合は、タスク指向ダイアログの進捗を追跡するために使用される方法と同じ方法、例えば、部分観測マルコフ決定過程（ＰＯＭＤＰ）に基づき得る（Ｗｉｌｌｉａｍｓ，Ｊ．、Ｒａｕｘ，Ａ．、Ｒａｍａｃｈａｎｄｒａｎ，Ｄ．およびＢｌａｃｋ，Ａ．（２０１３年）、Ｔｈｅ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｃｈａｌｌｅｎｇｅ．ＳＩＧＤＩＡＬ  ２０１３  Ｃｏｎｆｅｒｅｎｃｅの議事録（４０４〜４１３頁）；Ｗｉｌｌｉａｍｓ，Ｊ．、Ｒａｕｘ，Ａ．およびＨｅｎｄｅｒｓｏｎ，Ｍ．（２０１６年）、Ｔｈｅ  ｄｉａｌｏｇ  ｓｔａｔｅ  ｔｒａｃｋｉｎｇ  ｃｈａｌｌｅｎｇｅ  ｓｅｒｉｅｓ：Ａ  ｒｅｖｉｅｗ．Ｄｉａｌｏｇｕｅ  ＆  Ｄｉｓｃｏｕｒｓｅ、７（３）、４〜３３）。
【０１４７】
本発明の一実施形態において、必要とされる修理マニュアルは、データベースに存在しないが、少なくとも１つの関係した修理マニュアルが入手され得る。この場合、関連する、すなわち、関係するマニュアルの識別、および、次のステップにおいて必要とされるツールの推定は、異なる手法で、および、場合によっては協力して扱われることを必要とし得る。
【０１４８】
関連するマニュアルは、一方でユーザにより提供された情報、すなわち、前述の例においてタスクに関する言葉による指示と、非構造化知識情報源データを表すマニュアルから抽出された情報との間の比較により特定され得る。
【０１４９】
追加的に、または代替的に、タスクに関連したマニュアルは、現在の修理タスクにおけるツールの使用と現在のところ関連することが見出されたマニュアルにおけるツールの使用とを比較することにより発見され得る。修理マニュアルが現在のタスクにより密接に関係しているほど、使用されるツールおよびパーツ、および、それらの使用のシーケンスが現在の修理タスクのものに、より類似していると推測され得る。これは、もちろん、現在の修理タスクのある程度の観察を要求する。
【０１５０】
第１のステップにおいて、ステップＳ５において解釈されたユーザからの入力に基づいて、関連する可能性のある修理マニュアルが選択され得る。修理マニュアルの第１のステップにおいて使用されるツールおよびパーツに由来し得る、修理マニュアルの第１のステップにおいて使用されるツールおよびパーツに関する仮定は、関連すると選択される。例えば、第１のステップにおいて修理マニュアルの大部分において使用されるツールが、最も可能性の高いツールであると特定され、２番目に多く使用されるものが２番目に可能性の高いツールであると特定される。ユーザからフィードバックを受信した後、または、ユーザの挙動を観察することにより、支援システム１は、ツールに関するその予測が正しかったか否かを特定し得、正しくなかった場合、予測されたツールの代わりにどのツールまたはパーツが使用されたかを特定し得る。この獲得された知識情報を使用して、支援システム１は、どのツールまたはパーツが後続のステップにおいて必要とされるかに関する仮定を定式化し得る。関連する修理マニュアルの第２のステップにおけるツールの使用の頻度数は、この時点で、本方法を実施している間の現在のステップまでの、ツールおよびパーツを予測することにおける正確さを使用して、重み付けされ得る。この正確さは、例えば、観察されたシーケンスに対するそれらのレーベンシュタイン距離に基づいて特定され得る。本支援方法における適用のためのレーベンシュタイン距離に関する詳細は、オンライン百科事典Ｗｉｋｉｐｅｄｉａにおける「レーベンシュタイン＿距離」の項目（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌｅｖｅｎｓｈｔｅｉｎ＿ｄｉｓｔａｎｃｅ）などのリソースから理解され得る。次に、高レーベンシュタイン距離をもつ、現在のタスクに関連するとみなされた修理マニュアルを捨てること、および、低レーベンシュタイン距離をもつ新しい修理マニュアルを導入することにより、現在のタスクに関連するとみなされた修理マニュアルの集合を変えるために、レーベンシュタイン距離が使用され得る。
【０１５１】
代替的な実施態様において、次のツールおよび／またはパーツの予測は、機械学習アプローチ、すなわち、長期短期記憶（ＬＳＴＭ）を使用したシーケンス予測アルゴリズム（Ｂｅｎｇｉｏ，Ｓ．、Ｖｉｎｙａｌｓ，Ｏ．、Ｊａｉｔｌｙ，Ｎ．およびＳｈａｚｅｅｒ，Ｎ．（２０１５年）、Ｓｃｈｅｄｕｌｅｄ  ｓａｍｐｌｉｎｇ  ｆｏｒ  ｓｅｑｕｅｎｃｅ  ｐｒｅｄｉｃｔｉｏｎ  ｗｉｔｈ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ．、Ｉｎ：Ａｄｖａｎｃｅｓ  ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ（１１７１〜１１７９頁））に基づく。この方法は、タスクの内部表現におけるツールおよびパーツのシーケンスに対して訓練するための機械学習アプローチを適用し得、従って、観察されたシーケンスに基づいて次のツールまたはパーツを予測する。
【０１５２】
代替的に、階層アテンションネットワーク（Ｙａｎｇ，Ｚ．、Ｙａｎｇ，Ｄ．、Ｄｙｅｒ，Ｃ．、Ｈｅ，Ｘ．、Ｓｍｏｌａ，Ａ．、およびＨｏｖｙ，Ｅ．（２０１６年）、Ｈｉｅｒａｒｃｈｉｃａｌ  ａｔｔｅｎｔｉｏｎ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｄｏｃｕｍｅｎｔ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ、Ｉｎ：２０１６  Ｃｏｎｆｅｒｅｎｃｅ  ｏｆ  ｔｈｅ  Ｎｏｒｔｈ  Ａｍｅｒｉｃａｎ  Ｃｈａｐｔｅｒ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ：Ｈｕｍａｎ  Ｌａｎｇｕａｇｅ  Ｔｅｃｈｎｏｌｏｇｉｅｓの議事録（１４８０〜１４８９頁））は、修理マニュアルの異なるステップにおける文字列に対して訓練され得、従って、さらに、ステップの観察されたシーケンス、ツールおよび／またはパーツに基づいて次のツールおよび／またはパーツを予測することができる。
【０１５３】
非構造化知識情報源データとしてのオンラインリソースは、多量のデータ集合を含み得る。すなわち、ｉＦｉｘｉｔデータ集合は、約５００００個の修理マニュアルを含む。これらの修理マニュアルの非常に大きな部分が、上述の例と同じフォーマットで編集される。従って、上述の手動ステップの多くは、一度実施される必要があるだけであり、従って、支援方法の非構造化知識情報源データを分析するステップＳ２において、同一または類似のフォーマットであることに起因して、修理マニュアルの非常に大きな集合に対して使用され得る。修理マニュアルにおけるステップのうちのいくつかは、例えば、電子デバイスの修理、対、機械的乗り物の修理といった、現在のタスクが配置される異なる領域に適応される必要があり得る。
【０１５４】
さらに、修理および他のタスクを説明する他のインターネットリソースも、ｓｃｈｅｍａ．ｏｒｇにより提供される一般的なフォーマットに基づいているので、修理および他のタスクを説明する他のインターネットリソースも、非常に類似した構造に従う。従って、それらは、本発明の支援方法を行うために非常に類似した手法で利用され得る。
【０１５５】
作業場技術者をサポートおよび訓練するためのＯＥＭにより提供される修理および保守マニュアルは典型的には、インターネットリソースにより提供される修理マニュアルとは異なる手法で体系化され得る。ＯＥＭ保守マニュアルは、ＰＤＦドキュメントとして提供され得る。典型的な保守マニュアルの抜粋の一例は、下記のとおりである。この例は、フォーマット設定情報を括弧内に配置している。
【０１５６】
ドライバ側エアバッグ、除去および設置（太字）
警告！エアバッグのページ７２２の作業をするときは、すべての安全注意事項に従うこと。（赤色）
（乗り物の関連するパーツを詳細に示す図）
１−ハンドル
除去ページ７８２
２−らせんばねのためのハーネスコネクタ
３−エアバッグユニット
４−多点ソケット
常に交換
６２Ｎｍ
５−トルクス（登録商標、以下同じ）ボルト（Ｔ３０）
８Ｎｍ
６−トルクスレンチ（Ｔ３０）
７−らせんばね
【０１５７】
除去（太字）
警告！エアバッグの６９〜４０ページの作業をするときは、すべての安全注意事項に従うこと。（赤色）
−  トルクスレンチ（Ｔ３０）を使用してエアバッグユニットのボルトを外す。
−  ハーネスコネクタ−２−を取り外す。
−  衝突用パッドを上に向けて適切な面にエアバッグユニットを配置する。
【０１５８】
設置（太字）
警告！乗り物に誰も乗っていないことを確認する。（赤色）
−  ハーネスコネクタ−２−を耳で聞きながら係合（クリック）したことを確認する。
−  エアバッグユニットを設置して、７Ｎｍ（６２インチ・ポンド）まで締める。
−  イグニッションのスイッチを入れて、電池グランド（ＧＮＤ）ストラップを接続する。
【０１５９】
上述の例から理解され得るように、このようなＯＥＭ保守マニュアルは、また、典型的には、非構造化知識情報源データを分析するステップＳ２をサポートする独自フォーマットをとる。さらにそれは特徴として、インターネットリソースから取得されたものより詳細さにおいて劣りコンピュータにより構文解析されることに十分に適しているかという点でも劣る。それにもかかわらず、このような保守マニュアルを構文解析すること、修理タスクをステップにセグメント分けすること、および、各ステップにおいて必要とされるツールおよびパーツを抽出することは、標準的な文字列処理方法を使用して達成され得る。
【０１６０】
異なる修理タスクが、区別可能なフォーマット設定を介して明確に際立つようにされる。上述の例において、太字フォントが選択される。文字列はページの上部から始まり、上述の例において特徴が複製されない。さらに、文字列における関連するパーツおよび動詞形態の存在が、見出し（「エアバッグ」、「除去」）を示す。従って、本方法は、例えば、正規表現を介していくつかの単純なルールを実現することにより、タイトルを特定し得るステップＳ２における文字列検索を実施し得る。
【０１６１】
追加的に、または代替的に、新しい修理マニュアルを導入する異なる注釈付きのタイトルに対して分類器が訓練される場合に、機械学習アプローチが適用され得、従って、例えば、Ａｇｇａｒｗａｌ，Ｃ．Ｃ．およびＺｈａｉ，Ｃ．（２０１２年）、Ａ  ｓｕｒｖｅｙ  ｏｆ  ｔｅｘｔ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ．、Ｉｎ：Ｍｉｎｉｎｇ  ｔｅｘｔ  ｄａｔａ（１６３〜２２２頁）、Ｓｐｒｉｎｇｅｒ、Ｂｏｓｔｏｎ、ＭＡ；Ｌａｉ，Ｓ．、Ｘｕ，Ｌ．、Ｌｉｕ，Ｋ．およびＺｈａｏ，Ｊ．（２０１５年１月）、Ｒｅｃｕｒｒｅｎｔ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｔｅｘｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ．、Ｉｎ  ＡＡＡＩ（Ｖｏｌ．３３３、２２６７〜２２７３頁）；Ｙｏｕｎｇ，Ｔ．、Ｈａｚａｒｉｋａ，Ｄ．、Ｐｏｉｒａ，Ｓ．およびＣａｍｂｒｉａ，Ｅ．（２０１８年）、Ｒｅｃｅｎｔ  ｔｒｅｎｄｓ  ｉｎ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｂａｓｅｄ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ．、ＩＥＥＥ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｍａｇａｚｉｎｅ、１３（３）、５５〜７５、Ｌａｍｐｌｅ，Ｇ．、Ｂａｌｌｅｓｔｅｒｏｓ，Ｍ．、Ｓｕｂｒａｍａｎｉａｎ，Ｓ．、Ｋａｗａｋａｍｉ，Ｋ．およびＤｙｅｒ，Ｃ．（２０１６年）、Ｎｅｕｒａｌ  Ａｒｃｈｉｔｅｃｔｕｒｅｓ  ｆｏｒ  Ｎａｍｅｄ  Ｅｎｔｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ．、ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０３．０１３６０から入手したものにおいて説明される方法を使用して、新しいタイトルを検出することができる。
【０１６２】
非構造化知識情報源データの分析中、個々のステップおよびサブステップは、それらのフォーマット設定および動詞の使用、すなわち、太字体、および、〜ｉｎｇ形で書かれた動詞（「除去」、「設置」）に基づいて、または、区切り文字（例えば「−」）に基づいて識別され得る。
【０１６３】
追加的に、または代替的に、上述のように機械学習方法が適用され得る。これらの修理マニュアルは、典型的には、始めに修理に必要な特別なツールのみをリスト化しており、より一般的なツールは省略している。これらの特別なツールは、上述の方法と類似の方法を使用して抽出され得、すなわち、ツールリストの始まりは、その見出しにより識別され得、個々のツールは、典型的には、区切り文字、例えば「−」から始まる行ごとにリスト化されている。
【０１６４】
支援方法は、類似の修理に対する修理マニュアルのインターネットリソースのツールリスト、例えば、ｉＦｉｘｉｔ乗り物修理を構文解析することにより、一般的なツールのカタログを自動的に構築し得る。
【０１６５】
いくつかの場合において、必要なツールは、保守マニュアルの文字列において言及されない。しかし、典型的には、技術的な図面は、操作されるパーツの精度の良い視覚的な説明を含み、例えば、ねじ頭部の写真を含む。従って、画像認識方法を使用することにより、描写されたねじの種類および寸法が特定され得、手作業で取りまとめられた参照テーブル、またはインターネットリソースのさらなるクエリに基づいて、適切なツールが選択され得る。
【０１６６】
代替的に、または追加的に、本方法は、修理される物体を視覚的に分析し、ねじおよびボルトを識別し得る。例えば、Ｈｉｎｔｅｒｓｔｏｉｓｓｅｒ，Ｓ．、Ｈｏｌｚｅｒ，Ｓ．、Ｃａｇｎｉａｒｔ，Ｃ．、Ｉｌｉｃ，Ｓ．、Ｋｏｎｏｌｉｇｅ，Ｋ．、Ｎａｖａｂ，Ｎ．およびＬｅｐｅｔｉｔ，Ｖ．（２０１１年）１１月、Ｍｕｌｔｉｍｏｄａｌ  ｔｅｍｐｌａｔｅｓ  ｆｏｒ  ｒｅａｌ−ｔｉｍｅ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｔｅｘｔｕｒｅ−ｌｅｓｓ  ｏｂｊｅｃｔｓ  ｉｎ  ｈｅａｖｉｌｙ  ｃｌｕｔｔｅｒｅｄ  ｓｃｅｎｅｓ．、Ｉｎ：Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、（８５８〜８６５頁）における２０１１  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ＩＥＥＥ；Ｃａｌｌｉ，Ｂ．、Ｓｉｎｇｈ，Ａ．、Ｗａｌｓｍａｎ，Ａ．、Ｓｒｉｎｉｖａｓａ，Ｓ．、Ａｂｂｅｅｌ，Ｐ．およびＤｏｌｌａｒ，Ａ．Ｍ．（２０１５年７月）、Ｔｈｅ  ｙｃｂ  ｏｂｊｅｃｔ  ａｎｄ  ｍｏｄｅｌ  ｓｅｔ：Ｔｏｗａｒｄｓ  ｃｏｍｍｏｎ  ｂｅｎｃｈｍａｒｋｓ  ｆｏｒ  ｍａｎｉｐｕｌａｔｉｏｎ  ｒｅｓｅａｒｃｈ．Ｉｎ：Ａｄｖａｎｃｅｄ  Ｒｏｂｏｔｉｃｓ（ＩＣＡＲ）、（５１０〜５１７頁）における２０１５  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ＩＥＥＥ；Ｈｕａｎｇ，Ｙ．、Ｂｉａｎｃｈｉ，Ｍ．、Ｌｉａｒｏｋａｐｉｓ，Ｍ．およびＳｕｎ，Ｙ．（２０１６年）、Ｒｅｃｅｎｔ  ｄａｔａ  ｓｅｔｓ  ｏｎ  ｏｂｊｅｃｔ  ｍａｎｉｐｕｌａｔｉｏｎ：Ａ  ｓｕｒｖｅｙ．Ｂｉｇ  ｄａｔａ、４（４）、１９７〜２１６；Ｉｎｄｏｒｉａ，Ｒ．、Ｓｅｍｉ−Ａｕｔｏｍａｔｉｃ  Ｄａｔａ  Ａｃｑｕｉｓｉｔｉｏｎ  ｆｏｒ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｂｉｅｌｅｆｅｌｄ  ２０１６といった、ねじの位置を特定する、および、ねじを分類する異なるアプローチが存在する。
【０１６７】
支援システム１は、さらに、タスクステータス特定ユニット１２において実施されるように、タスクの進捗を監視するために、上述のように視覚認識アプローチを適用し得る。
【０１６８】
本発明によると、所望のタスクを遂行することにおいて、ユーザを柔軟に支援することが可能である。ユーザによりなされる任意のアクションに、適応された手法でロボットが反応することを支援システム１の柔軟性が可能にするので、支援システム１とユーザとは、タスクを実施することにおいて連携する同僚と同じ手法で連携する。従って、ユーザは、ロボットと連携して目標を達成するために、タスクを実施するために必要だがアクションの厳密なシーケンスに従うことを必要としない異なるステップおよびサブタスクを通して進み得る。
【０１６９】
自動車修理店のシナリオの特定の用途を参照しながら支援システム１が詳細に説明されるが、支援システム１および対応する支援方法は、有益なことに、多数のシナリオに適用され得る。
【０１７０】
支援システム１は、製造ロボットをユーザとしての人間の作業者と少なくとも部分的に統合する工場の組み立てラインに有益に同じく適用され得る。非構造化知識情報源は、人間の作業者のために準備された製造業者のマニュアルを含み得る。支援システム１は、次のステップにおいてどのツールが使用されるかを予測し得る。次に、支援システム１は、要求されるツールを準備すること、特に、次のステップのために要求されるツールを、製造タスクを実施することにおいて支援システム１と連携する支援システム１のユーザに手渡すことができる。支援システム１は、また、間近のタスクに関する強化された知識情報を理由として確率を上げながら、要求されるツールに対するユーザの明示的な要請を正しく理解することが可能であり得る。これは、本発明の支援システム１を使用してユーザとロボットとの間におけるより高ロバストな対話を結果的にもたらす。
【０１７１】
作業シナリオにおける動作とは別に、レジャー活動が本発明の支援システム１の恩恵をさらに受け得る。
【０１７２】
ユーザは、家庭用電化製品またはガジェットを修理することにおいて、支援システム１によるサポートから利益を受け得る。このシナリオにおいて、例えば、ウェブ検索ツールを使用してインターネットを介してアクセス可能な外部供給源から学習する支援システム１の能力が、特に有用かつ有益である。
【０１７３】
支援システム１は、ｉＦｉｘｉｔを含み得る獲得された非構造化知識情報源を解釈する。次に、ユーザにとって完全に新しく、ユーザにより将来的に反復されない可能性が最も高い修理タスクを実施することにおいて、ユーザがサポートされ得る。
【０１７４】
代替的に、または追加的に、修理マニュアルがまだ利用可能ではない新しいデバイスをどのように動作させるかを調査するために、ユーザと支援システム１とが連携する。
【０１７５】
支援システム１は、家庭用電化製品をどのように修理するかについてユーザを教育し得る。支援システム１は、インターネットを介してアクセス可能な修理マニュアルなどの外部知識情報源から学習し、修理をどのように実施するかについてステップごとの指示をユーザに提供し、結果として、修理タスクを実施することに成功する。
【０１７６】
支援システム１は、技量についてユーザを教育し得る。支援システム１は、オンラインでアクセス可能な百科事典などの外部知識情報源から学習し、タスクに関係した追加的な情報および／または背景情報をユーザに提供し、結果として、ユーザがタスクを実施することを可能にし、注意を要する追加的な側面を考慮することにより高品質を実現する。例えば、支援システム１は、どのように桜の木の枝を刈るか、特定のタイプの鳥または動物のための巣箱をどのように構築するか、またはユーザの写真撮影の技量をどのように改善するかについてユーザを教育し得る。
【０１７７】
さらなる例として、支援システム１は、ユーザの庭で新しい植物、果実などをどのように育て、新しい植物、果実などの成長の進捗をどのように監視するかについて、これに関してユーザにフィードバックを提供しながら、ユーザを教育し得る。
【０１７８】
さらに、支援システム１は、さらに、レシピをどのように準備するかについてユーザを教育し得る。後者の場合において、支援システム１は、外部知識情報源から異なるレシピおよびそれらの準備を学習し得、従って、それらの準備においてユーザをサポートするだけでなく、レシピを選択するためにも役立つ。このために、支援システム１は、ユーザの望みにマッチングしたレシピが特定されるまで、支援システム１がユーザ入力に基づいて、興味のあるレシピである可能性のあるリストをインタラクションにより改良する対話において、ユーザに関与し得る。
【０１７９】
添付の特許請求の範囲において規定される本発明は、様々な説明される実施形態の特性および特徴を有益に組み合わせ得る。
【図１】
2020035416.tif 000003
【図２】
2020035416.tif 000004
【図３】
2020035416.tif 000005
【図４】
2020035416.tif 000006
【外国語明細書】
2020035416000001.pdf