(57)【要約】【課題】設備保守の管理および実行を提供すること。【解決手段】いくつかの例において、システムが、設備に関連した音声入力に対応する言語音パターンをデバイスから受け取ることができる。さらに、システムは、デバイスに関連付けられた人の識別を決定することができ、音声入力に関連した設備を識別することができる。識別された設備の設備履歴とともに、受け取った言語音パターンまたは言語音パターンのテキスト変換のうちの少なくとも一方を１つまたは複数の機械学習モデルへの入力として使用して、システムは、少なくとも部分的に、設備に関連した命令を決定することができる。さらに、システムは、デバイスに、デバイス上の再生のために設備に関連した命令をオーディオファイルとして送ることができる。【選択図】なし【特許請求の範囲】
【請求項１】
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されたときに下記を含む動作を実施するように前記１つまたは複数のプロセッサを構成する実行可能命令を維持する１つまたは複数の非一時的コンピュータ可読媒体と、
設備に関連したコメントを含む音声入力をデバイスから受け取るステップ、
前記デバイスに関連付けられた人の識別を決定するステップ、
前記コメントに関連した前記設備を識別するステップ、
前記音声入力に関連付けられた感情分類が通常または通常でないとして分類されるかどうかを決定するために前記識別された人に対して特注された感情認識機械学習モデルを使用するステップ、
少なくとも部分的に前記音声入力への応答を決定するために前記音声入力をテキストに変換するステップおよび前記テキストおよび前記感情分類の指示を１つまたは複数の追加の機械学習モデルへの入力として提供するステップ、
前記音声入力への前記決定された応答に基づいて前記音声入力に応答するためのテキスト命令を作成するステップ、
前記テキスト命令をオーディオ言語ファイルに変換するステップ、および、
前記デバイス上の提示のために前記オーディオ言語ファイルを前記デバイスに送るステップ、
を備えるシステム。
【請求項２】
前記デバイスが、前記設備の操作者に関連付けられ、前記音声入力が、前記操作者から受け取られ、
前記動作が、下記をさらに含む、
少なくとも１つの感知されたパラメータに基づいて前記設備から前記設備の状態を示すセンサデータまたは事象通知のうちの少なくとも一方を受け取るステップ、および、
前記音声入力への前記応答を決定するとき、前記センサデータ、前記事象通知、または前記設備の前記状態の指示のうちの少なくとも１つを前記１つまたは複数の追加の機械学習モデルに提供するステップ、
請求項１に記載のシステム。
【請求項３】
前記動作が、下記をさらに含む、
少なくとも部分的に前記応答に基づいて、前記設備を遠隔制御することを決定するステップ、および、
少なくとも部分的に前記受け取ったセンサデータまたは前記事象通知のうちの少なくとも一方に基づいて前記設備を遠隔制御するために制御信号を前記設備に送るステップ、
請求項２に記載のシステム。
【請求項４】
前記動作が、下記をさらに含む、
少なくとも部分的に前記感情分類が通常でないことを決定するステップに基づいて、下記のうちの少なくとも１つを実施するステップ、
前記設備に対する修理を実施するのに利用可能な他の技能者よりも高い技術レベルを有する技能者を割り当てるように外部システムコンピューティングデバイスに要求を送るステップ、
前記操作者を技能者と直接音声通信で接続するステップ、または、
前記オーディオ言語ファイルにおける前記命令とともに、決定された問題および／または前記設備を管理するための動作指導の詳細な説明を提供するステップ、
請求項１に記載のシステム。
【請求項５】
前記動作が、下記をさらに含む、
少なくとも部分的に前記音声入力への前記応答に基づいて、下記のうちの少なくとも一方を実施するステップ、
外部コンピューティングデバイスに、前記設備を修理するためのパーツを発注するように要求を送るステップ、または、
外部コンピューティングデバイスに、前記設備を修理するための技能者または修理サイトのうちの少なくとも一方をスケジュールするように要求を送るステップ、
請求項１に記載のシステム。
【請求項６】
前記実行可能命令が、保守および／または修理のための１つまたは複数の命令を提供するために継ぎ目のないエンドツーエンドのユーザ体験を可能にするために前記外部コンピューティングデバイスのうちの１つまたは複数から受け取った情報と、前記設備および／または設備操作者から受け取った情報と、設備修理サイトから受け取った情報とを統合するように前記１つまたは複数のプロセッサをさらに構成する、
請求項５に記載のシステム。
【請求項７】
前記動作が、下記をさらに含む、
少なくとも部分的に、前記パーツを受け取るためのタイミング、または前記技能者または前記修理サイトのうちの前記少なくとも一方をスケジュールするためのタイミングに基づいて、前記命令に、前記設備の前記修理のためのタイミングの指示を含むステップ、
請求項５に記載のシステム。
【請求項８】
前記デバイスが、前記設備を修理するための技能者に関連付けられ、
前記音声入力が、前記技能者から受け取られ、
前記動作が、下記をさらに含む、
前記デバイスに、前記設備の操作者から受け取った情報、前記設備の設備履歴、および前記設備から受け取ったセンサデータを送るステップ、
請求項１に記載のシステム。
【請求項９】
前記デバイスが、前記設備を修理するための技能者に関連付けられ、
前記音声入力が、前記技能者から受け取られ、
前記動作が、下記のうちの少なくとも一方をさらに含む、
前記設備の修理の間に段階的口頭命令を前記技能者に与えるために複数の前記命令を前記デバイスに送るステップ、または、
前記デバイスに送られた１つまたは複数の命令に関連して１つまたは複数の拡張現実オブジェクトを前記デバイスに送るステップ、
請求項１に記載のシステム。
【請求項１０】
前記実行可能命令が、前記設備の予防保守および／または修理の命令を与えるために前記感情認識機械学習モデルおよび／または前記１つまたは複数の追加の機械学習モデルを実行する人工知能サービスにアクセスする統合システムとして前記１つまたは複数のプロセッサをさらに構成する、
請求項１に記載のシステム。
【請求項１１】
１つまたは複数のプロセッサによって、デバイスから、設備に関連した音声入力に対応する言語音パターンを受け取るステップと、
前記デバイスに関連付けられた人の識別を決定するステップと、
前記音声入力に関連した前記設備を識別するステップと、
少なくとも部分的に、前記設備に関連した命令を決定するために、前記識別された設備の設備履歴とともに、前記受け取った言語音パターンまたは前記言語音パターンのテキスト変換のうちの少なくとも一方を１つまたは複数の機械学習モデルへの入力として使用するステップと、
前記デバイスに、前記設備に関連した前記命令を前記デバイス上の再生のためにオーディオファイルとして送るステップと
を含む方法。
【請求項１２】
前記音声入力に関連した前記設備を識別するステップが、下記のうちの少なくとも一方をさらに含む、
前記設備の前記識別を前記音声入力から決定するステップ、または、
前記デバイス上で実行するアプリケーションに関連付けられた人の前記識別を決定するステップ、および前記人に関連付けられた前記設備を決定するように外部システムコンピューティングデバイスに要求を送るステップ、
請求項１１に記載の方法。
【請求項１３】
前記音声入力に関連付けられた感情分類が通常または通常でないとして分類されるかどうかを決定するために前記識別された人に対して特注された感情認識機械学習モデルを使用するステップと、
前記設備に関連した前記命令を決定するとき、前記１つまたは複数の機械学習モデルへの追加の入力として前記感情分類の指示を提供するステップと
をさらに含む請求項１１に記載の方法。
【請求項１４】
前記デバイスが、前記設備の操作者に関連付けられ、
前記音声入力が、前記操作者から受け取られ、
前記動作が、下記をさらに含む、
少なくとも１つの感知されたパラメータに基づいて前記設備の状態を示すセンサデータまたは事象通知のうちの少なくとも一方を前記設備から受け取るステップ、および、
前記設備に関連した前記命令を決定するとき、前記センサデータ、前記事象通知、または前記設備の前記状態の指示のうちの少なくとも１つを前記１つまたは複数の機械学習モデルに提供するステップ、
請求項１１に記載の方法。
【請求項１５】
前記デバイスが、前記設備を修理するための技能者に関連付けられ、
前記音声入力が、前記技能者から受け取られ、
前記動作が、下記のうちの少なくとも一方をさらに含む、
前記設備の修理の間に段階的口頭命令を前記技能者に与えるために複数の前記命令を前記デバイスに送るステップ、または、
前記デバイスに送られた１つまたは複数の命令に関連して１つまたは複数の拡張現実オブジェクトを前記デバイスに送るステップ、
請求項１１に記載の方法。
【請求項１６】
前記音声入力に関連した前記設備を識別するステップが、下記のうちの少なくとも一方をさらに含む、
前記設備の前記識別を前記音声入力から決定するステップ、または、
前記デバイス上で実行するアプリケーションに関連付けられた人の前記識別を決定するステップ、および、前記人に関連付けられた前記設備の前記識別を決定するように外部システムコンピューティングデバイスに要求を送るステップ、
請求項１１に記載の方法。
【請求項１７】
保守および／または修理のための１つまたは複数の命令を提供するために継ぎ目のないエンドツーエンドのユーザ体験を可能にするために１つまたは複数の外部コンピューティングデバイスから受け取った情報と、前記設備および／または設備操作者から受け取った情報と、設備修理サイトから受け取った情報とを統合するステップ、
をさらに含む請求項１１に記載の方法。
【請求項１８】
前記１つまたは複数のプロセッサが、前記設備の予防保守および／または修理の命令を与えるために１つまたは複数の機械学習モデルを実行する人工知能サービスにアクセスする統合システムとして動作する、
請求項１１に記載の方法。
【請求項１９】
１つまたは複数の非一時的コンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行されたとき、
デバイスから、設備に関連した音声入力に対応する言語音パターンを受け取るステップと、
前記デバイスに関連付けられた人の識別を決定するステップと、
前記音声入力に関連した前記設備を識別するステップと、
少なくとも部分的に、前記設備に関連した命令を決定するために、前記識別された設備の設備履歴とともに、前記受け取った言語音パターンまたは前記言語音パターンのテキスト変換のうちの少なくとも一方を１つまたは複数の機械学習モデルへの入力として使用するステップと、
前記デバイスに、前記設備に関連した前記命令を前記デバイス上の再生のためにオーディオファイルとして送るステップとを含む動作を実施するように前記１つまたは複数のプロセッサをプログラムする命令を記憶する、
１つまたは複数の非一時的コンピュータ可読媒体。
【請求項２０】
前記１つまたは複数のプロセッサが、下記を含む動作を実施するようにさらにプログラムされる、
前記音声入力に関連付けられた感情分類が通常または通常でないとして分類されるかどうかを決定するために、前記識別された人に対して特注された感情認識機械学習モデルを使用するステップ、および、
前記設備に関連した前記命令を決定するとき、前記１つまたは複数の機械学習モデルへの追加の入力として前記感情分類の指示を提供するステップ、
請求項１９に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項２１】
前記デバイスが、前記設備の操作者に関連付けられ、
前記音声入力が、前記操作者から受け取られ、
前記１つまたは複数のプロセッサが、下記を含む動作を実施するようにさらにプログラムされる、
少なくとも１つの感知されたパラメータに基づいて前記設備の状態を示すセンサデータまたは事象通知のうちの少なくとも一方を前記設備から受け取るステップ、および、
前記設備に関連した前記命令を決定するとき、前記センサデータ、前記事象通知、または前記設備の前記状態の指示のうちの少なくとも１つを前記１つまたは複数の機械学習モデルに提供するステップ、
請求項１９に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項２２】
前記１つまたは複数のプロセッサが、下記を含む動作を実施するようにさらにプログラムされる、
少なくとも部分的に前記命令に基づいて、前記設備を遠隔制御することを決定するステップ、および、
少なくとも部分的に前記受け取ったセンサデータまたは前記事象通知のうちの少なくとも一方に基づいて前記設備を遠隔制御するために制御信号を前記設備に送るステップ、
請求項２１に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項２３】
前記デバイスが、前記設備を修理するための技能者に関連付けられ、
前記音声入力が、前記技能者から受け取られ、
前記１つまたは複数のプロセッサが、下記のうちの少なくとも一方を含む動作を実施するようにさらにプログラムされる、
前記設備の修理の間に段階的口頭命令を前記技能者に与えるために複数の前記命令を前記デバイスに送るステップ、または、
前記デバイスに送られた１つまたは複数の命令に関連して１つまたは複数の拡張現実オブジェクトを前記デバイスに送るステップ、
請求項１９に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項２４】
前記１つまたは複数のプロセッサが、保守および／または修理のための１つまたは複数の命令を提供するために継ぎ目のないエンドツーエンドのユーザ体験を可能にするために１つまたは複数の外部コンピューティングデバイスから受け取った情報と、前記設備および／または設備操作者から受け取った情報と、設備修理サイトから受け取った情報とを統合するようにさらにプログラムされる、
請求項１９に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項２５】
前記１つまたは複数のプロセッサが、前記設備の予防保守および／または修理の命令を与えるために、１つまたは複数の機械学習モデルを実行する人工知能サービスにアクセスする統合システムとして動作するようにさらにプログラムされる、
請求項１９に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、コンピュータ技術に関する。
【背景技術】
【０００２】
設備保守の目的は、設備を動作可能な、効率的な、および費用効果の高い状態に保持することにある。保守プロセスは、これらの目的のうちの１つまたは複数を実現するために設備に対して行動を実施することによって行われる。これらの行動は、設備を検査、調整、較正、修理、および／または整備することを含むことができるが、それらに限定されない。保守は典型的には規定のスケジュールに従って実施することができる。しかし、典型的な保守スケジュールは、個々の設備の現在の状態および固有の履歴を考慮に入れない可能性がある。さらに、設備に関する予期せぬ問題が現場で検出されたとき、設備の操作者は、適正な取るべき行動方針を決定することが困難である可能性がある。
【発明の概要】
【０００３】
いくつかの実装形態は、設備を管理するための構成および技法を含む。いくつかの例において、システムは、デバイスから、設備に関連した音声入力に対応する言語音パターンを受け取ることができる。さらに、システムは、デバイスに関連付けられた人の識別を決定することができ、音声入力に関連した設備を識別することができる。識別された設備の設備履歴とともに、受け取った言語音パターンまたは言語音パターンのテキスト変換のうちの少なくとも一方を、１つまたは複数の機械学習モデルへの入力として使用して、システムは、少なくとも部分的に、設備に関連した命令を決定することができる。さらに、システムは、デバイスに、デバイス上の再生のために設備に関連した命令をオーディオファイルとして送ることができる。
【０００４】
詳細な説明が添付の図を参照して記載される。図において、参照番号の左端の桁は、参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、同様のまたは同一の品目または特徴を示す。
【図面の簡単な説明】
【０００５】
【図１】いくつかの実装形態による、設備を管理し、保守することができるシステムの構成例を示す図である。
【図２】いくつかの実装形態による、設備の管理および保守のためのシステムアーキテクチャ例を示す図である。
【図３】いくつかの実装形態による、行動命令の概要を示すデータ構造例を示す図である。
【図４】いくつかの実装形態による、技能者に対する詳細な行動命令を含むデータ構造例を示す図である。
【図５】いくつかの実装形態による、設備識別子（ＩＤ）に対するフリート管理データを示すデータ構造例を示す図である。
【図６】いくつかの実装形態による、操作者に対する顧客関係管理データを含むデータ構造例を示す図である。
【図７】いくつかの実装形態による、修理サイトフリート管理データを示すデータ構造例を示す図である。
【図８】いくつかの実装形態による、気象サンプルデータを示すデータ構造例を示す図である。
【図９】いくつかの実装形態による、パーツデータを示すデータ構造例を示す図である。
【図１０】いくつかの実装形態による、技能者情報を示すデータ構造例を示す図である。
【図１１】いくつかの実装形態による、音声入力をデバイスから受け取り、返答としてオーディオ言語出力を提供するためのプロセス例を示す流れ図である。
【図１２】いくつかの実装形態による、操作者デバイスまたは設備からの入力に応答するためのプロセス例を示す流れ図である。
【図１３】いくつかの実装形態による、技能者デバイスから受け取った入力に応答するためのプロセス例を示す流れ図である。
【図１４】いくつかの実装形態による、受け取った音声入力における感情を検出するためのプロセス例を示す流れ図である。
【発明を実施するための形態】
【０００６】
本明細書におけるいくつかの実装形態は、設備および関連した設備の保守を管理する操作者デバイス、技能者デバイス、および／または外部システムとの通信を可能にするためのシステムにおける人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｌｉｇｅｎｃｅ）、機械学習、および音声／感情認識を使用する技法および構成を対象とする。例えば、システムは、現場の設備操作者へのおよび現場の設備操作者からの、および／または設備技能者へのおよび設備技能者からの自然言語音声コマンドが設備の管理、保守、および／または修理を実施するためになど、システムの使用および有効性を増大させることを可能にすることができる。一例として、システムは、音声入力を操作者デバイスを通してシステムへの自然言語入力として取得することができる。システムにより、ユーザは、修理勧告、故障予測、および動作最適化のためになど、ＡＩシステムと通信するために音声通信を使用して質問をし、回答を受け取ることが可能になる。
【０００７】
本明細書における実装形態は、設備管理または保守のためになど、システムへの自然言語入力に基づく音声テキスト変換を使用することができる。音声を認識することに加えて、システムは、受け取った言語パターンに存在する可能性がある感情を決定し、分類するために、ユーザのピッチ、音調、音色、抑揚、強調、強勢などに反応する可能性がある。システムは、音声を主ユーザインターフェースとして使用して設備の命令および／または保守を業界シナリオで提供することができる。例えば、音声は、例えば、現場の設備の現在の位置において、または前に実施しておくことが困難であるかまたは安全でない指定修理サイトにおいて、相互作用を可能にするためになど、操作者および／または技能者と通信するための機械学習モデルへの入力および機械学習モデルからの出力の両方として使用することができる。さらに、システムは、機械学習モデルを使用して実施された分析に基づいて実時間勧告または他の命令を提供することができる。したがって、システムは、音声通信を通した自然なユーザ体験と、機械学習技法に基づく統合されたエンドツーエンドの保守および動作体験を提供することができる。
【０００８】
本明細書における設備の管理および保守のためのシステムは、現場動作と修理サイト保守とを統合することができる。例えば、システムのユーザは、設備エンドユーザおよび他の設備操作者、保守要員、設備管理要員、および他の設備技能者、ならびに組織の意思決定者および運用管理者を含むことができる。前述のユーザに提供される機能は、所見を記録することまたは他の方法で設備に関する問題を報告すること、設備が現場で動作されているとき無視、応急処置、および／または修理命令などの所見または他の報告された問題に基づく行動の命令を受け取ること、現場で設備によってもたらされる実時間センサデータに基づいて実施される行動の命令を決定すること、設備が故障したとき、または保守サイトに持ちこまれたとき、修理行動を決定すること、診断時間、修理時間、および修理ミスを低減すること、ならびにそれによって、設備の全可用度を増加させることおよび作業者の生産性を改善することを含むことができる。本明細書におけるシステムは、単独の解決策として使用することができ、または設備の保守、管理、および最適化のために他の機能を提供する他の既存のシステムに統合することができる。
【０００９】
説明のために、いくつかの実装形態例は、設備を管理または保守するための命令および／または行動を決定するコンピュータシステムの環境で説明されている。しかし、本明細書における実装形態は、本明細書における開示に照らせば当業者には明らかなように、提供された特定の例に限定されず、他の種類の設備、他の使用の環境、他のシステムアーキテクチャ、および他の適用例などに拡大することができる。
【００１０】
図１は、いくつかの実装形態による、設備を管理および保守することができるシステム１００の構成例を示す。システム１００は、１つまたは複数のネットワーク１０６にわたってなど、操作者デバイス１０４と直接または間接的に通信することができる少なくとも１つのサービスコンピューティングデバイス１０２を含む。さらに、サービスコンピューティングデバイス１０２は、１つまたは複数のネットワーク１０６にわたって技能者デバイス１０８と通信することができる。操作者デバイス１０４は、操作者１１０に関連付けることができ、技能者デバイス１０８は、技能者１１２に関連付けることができる。さらに、サービスコンピューティングデバイス１０２は、１つまたは複数のネットワーク１０６にわたって設備１１４、およびそのそれぞれがそれぞれの外部プログラム１１８を含むことができる１つまたは複数の外部システムコンピューティングデバイス１１６と通信することができる可能性がある。
【００１１】
１つまたは複数のネットワーク１０６は、イントラネットなどのＬＡＮ、インターネットなどのＷＡＮ、セルラーネットワークなどの無線ネットワーク、Ｗｉ−Ｆｉなどのローカル無線ネットワーク、ＢＬＵＥＴＯＯＴＨ（登録商標）などの短距離無線通信、光ファイバー、イーサネット（登録商標）、ファイバーチャンネル、または任意の他のそのようなネットワークを含む有線ネットワーク、直接有線接続、またはその任意の組合せを含む任意の種類のネットワークを含むことができる。したがって、１つまたは複数のネットワーク１０６は、有線および／または無線通信技術の両方を含むことができる。そのような通信に使用される構成要素は、少なくとも部分的にネットワークの種類、選択された環境、または両方に依存することがある。そのようなネットワークにわたって通信するためのプロトコルは、よく知られており、本明細書では詳細には説明しない。したがって、サービスコンピューティングデバイス１０２、操作者デバイス１０４、技能者デバイス１０８、設備１１４、および外部システムコンピューティングデバイス１１６は、有線または無線接続およびその組合せを使用して１つまたは複数のネットワーク１０６にわたって通信することができる。
【００１２】
さらに、この例では、例示を分かりやすくするために、単一の操作者デバイス１０４、操作者１１０、技能者デバイス１０８、技能者１１２、および設備１１４を実際の動作で示すが、システム１００に加わる多数の操作者デバイス１０４、操作者１１０、技能者デバイス１０８、技能者１１２、および設備１１４があってもよい。したがって、本明細書における実装形態は、任意の特定の数の操作者デバイス１０４、操作者１１０、技能者デバイス１０８、技能者１１２、および設備１１４に限定されない。
【００１３】
図示する例において、サービスコンピューティングデバイス１０２は、１つまたは複数の第１のサービスコンピューティングデバイス１０２（１）と、１つまたは複数の第２のサービスコンピューティングデバイス１０２（２）とを含む。第１のサービスコンピューティングデバイス１０２（１）は、１つまたは複数の管理プログラム１２２を実行することによってなど、システムサービス１２０を含むことができる。さらに、第２のサービスコンピューティングデバイス１０２（２）は、１つまたは複数のＡＩサービスプログラム１２６を実行することによってなど、ＡＩサービス１２４を含むことができる。さらに、システムサービス１２０およびＡＩサービス１２４は、この例では別々のサービスコンピューティングデバイス１０２上で実行されるものとして示すが、他の例では、これらのサービスは、任意の所望のやり方で任意の数のサービスコンピューティングデバイス１０２にわたって分散することができる。例えば、システムサービス１２０およびＡＩサービス１２４は、場合によっては、同じサービスコンピューティングデバイス１０２上で実行することができる。他の場合では、ＡＩサービスおよびシステムサービスは、２つ以上のサービスコンピューティングデバイス１０２にわたって拡散することができる。
【００１４】
図１に示すシステム例１００において、操作者１１０は、設備１１４のユーザでもよく、すなわち、操作者１１０は、設備１１４の種類により、作業現場、建設現場においてなど、動作ルート、または他の動作の位置に沿って、例えば、現場で、設備１１４を動作させていてもよい。さらに、設備１１４は、操作者によって動作されることがあり、保守または修理などを受けることがある任意の種類の機械、車両、または装置などでもよい。本明細書におけるいくつかの実装形態による設備の共通の種類のいくつかの非限定例には、乗用車、トラック、オートバイ、ベルトコンベア、クレーン、電車、トラクタ、飛行機、建設車両、建設機械、発電機、製造装置、ロボット、電子機器、および様々な他の種類の機械が含まれる可能性がある。さらに、技能者１１２は、保守、修理を実施するための、または他の方法で設備を操作者が継続して設備１１４を使用することができる状態にするためのなど、設備の状況または状態を評価するための、および評価に基づいて１つまたは複数の行動を決定するための訓練を受けている、または他の技術を有する技師、機械工、技術専門家、または他の人でもよい。
【００１５】
操作者デバイス１０４および技能者デバイス１０８は、１つまたは複数のネットワーク１０６にわたってサービスコンピューティングデバイス１０２との音声通信を可能にするコンピューティングデバイスまたは他の通信デバイスでもよい。いくつかの例において、デバイス１０４および１０８は、システム１００と相互作用するための複数の通信モードを提供することができる。例えば、デバイス１０４、１０８は、ユーザがデータをシステム１００に入力し、システム１００から出力されたデータを受け取ることを可能にする複数のツールを提供することができる。そのようなデータの例には、画像、テキスト、音声、接触、指紋、動画、サウンド、ならびに仮想および拡張現実などが含まれる可能性がある。デバイス１０４、１０８のいくつかの非限定例には、スマートフォン、タブレットコンピューティングデバイス、インターコム、マイクロフォン、スピーカ、録音装置、カメラ、拡張または仮想現実機器（眼鏡、ヘッドセットなど）、ラップトップコンピュータ、デスクトップコンピュータ、コンピュータ端末、ポケットベル、およびスマートペンなどが含まれる。
【００１６】
上述のように、サービスコンピューティングデバイス１０２（１）は、システムサービス１２０を提供するために管理プログラム１２２を実行することができる。管理プログラム１２２は、受け取った音声をテキストに変換するための音声および／または感情認識プログラム１２８にアクセスすることができる。さらに、場合によっては、ユーザへの応答を考案するとき、受け取った音声に関連付けられた感情を検出し、使用することもできる。さらに、管理プログラム１２２は、タスクを実行するための通信プロトコルを通してなど、１つまたは複数のネットワーク１０６にわたって、異なるシステムおよび／またはシステム構成要素および／または従属構成要素と統合および通信するためにサービスの組を提供することができる。いくつかのタスク例の非網羅的なリストは、１つまたは複数の設備履歴データ構造（ＤＳ）１３０においてなど、データベースまたは他のデータ構造における情報の問合せを行うことまたは情報を記憶すること、外部システムコンピューティングデバイス１１６と通信することおよびそれから情報を得ること、通知または他の通信を操作者１１０または技能者１１２などのユーザに送ること、規則に基づいて、および／または人工知能および機械学習を使用することに基づいてデータに関する洞察または他の情報を取得することを含むことができる。
【００１７】
ＡＩサービス１２４は、特定の設備１１４に対して取るべき行動の判断をし、命令を与えるのに使用することができる、１つまたは複数の学習済み機械学習モデル（ＭＬＭ：ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ  ｍｏｄｅｌ）と、関連したプログラム（例えば、モデル構築および学習プログラム）１３２を含むことができる。システム１００におけるシステムサービス１２０は、システム１００が使用事例によりスケーリングすることが可能になる複数のプログラムおよびコンピューティングデバイスを使用することによってモジュール方式を採用することができる。例えば、１つまたは複数のアプリケーションプログラミングインターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｇｒａｍｍｉｎｇ  ｉｎｔｅｒｆａｃｅ）（図１に示さず）は、本明細書における様々なプログラムおよびアプリケーションが設備１１４に関連した情報を通信し、処理するために互いに相互作用することを可能にするのに採用することができる。
【００１８】
ＡＩサービスプログラム１２６は、ＡＩサービス１２４を提供するように実行することができる。例えば、ＡＩサービス１２４は、故障予測、修理勧告、および動作最適化のためのなど、ＭＬＭおよび関連したプログラム１３２として複数のＡＩ解決策を含むことができる。１つまたは複数のＡＰＩは、複数のＡＩ解決策を可能にするために複数のそれぞれのプログラムおよび関連した機械学習モデル（ＭＬＭ）にアクセスするのに採用することができる。
【００１９】
さらに、管理プログラム１２２は、１つまたは複数の外部システムコンピューティングデバイス１１６と通信することによって１つまたは複数の外部システムと通信することができる。例えば、管理プログラム１２２（または場合によっては、ＡＩサービスプログラム１２６）は、外部システムから利用可能な他のデータ源またはサービスにアクセスすることによってシステム１００の全体的な知識を向上させるために外部システムコンピューティングデバイス１１６と連絡することができる。さらに、いくつかの例において、管理プログラム１２２は、パーツを発注する、けん引をスケジュールする、または保守をスケジュールするためになど、外部システムにアクセスすることができる。場合によっては、管理プログラム１２２は、顧客関係管理システム、フリート管理システム、けん引およびレンタルシステム、発注およびパーツシステム、気象データシステム、ならびに路面状態システムなどの様々な異なる種類の外部システムにアクセスするために１つまたは複数のＡＰＩを採用することができる。
【００２０】
上記の特徴のすべてを組み合わせて分散型コンピューティングシステムにすることによって、システム１００は、現場での設備および動作の使用を改善すること、保守の位置における修理時間を低減すること、保守修理サイトにおける修理効率を上げること、音声相互作用を追加することによってなど、ユーザのＡＩシステム出力に関する信頼度を高めること、およびＡＩシステムへの入力および出力として音声を使用することによってシステム−ユーザ間通信を改善することを含むが、それらに限定されない動作を実施することができる。
【００２１】
一例として、操作者１１０が車両のエンジンによってもたらされる大きな騒音に気が付き、車両は操作者１１０が現在動作させている設備１１４であるとしよう。操作者１１０は、操作者デバイス１０４に話しかけることを通じて、設備１１４に関して所見を述べ、苦情を言い、コメントし、状況情報を要求するなどをするために自分の音声を音声入力１３４として使用することができる。例えば、操作者デバイス１０４に関連付けられたマイクロフォン（図１に示さず）は、音声入力１３４の音声を受け取ることができ、サービスコンピューティングデバイス１０２（１）に直ちに伝送することができる。例えば、操作者デバイス１０４は、受け取った言語音パターン１３６をサービスコンピューティングデバイス１０２に送ることができる。
【００２２】
さらに、操作者１１０が操作者デバイス１０４を介してテキスト、画像、動画、および／またはサウンド１３８も提供する場合、操作者デバイス１０４は、テキスト、画像、動画、および／またはサウンド１３８をサービスコンピューティングデバイス１０２に転送することができる。いくつかの例において、音声入力１３４を提供する前に、操作者１１０は、操作者デバイス１０４上にクライアントアプリケーション（図１に示さず）を開くことができ、操作者１１０は、操作者デバイス１０４を介して音声入力１３４を発行することができる。例えば、操作者１１０は、設備１１４に関する問題を説明するために自然言語を使用することができる。さらに、場合によっては、クライアントアプリケーションは、言語音パターン１３６をサービスコンピューティングデバイス１０２に送ることを始動させるためにキーワードなどを聞くことなど、バックグラウンドで絶えず実行するように構成することができる。
【００２３】
管理プログラム１２２は、操作者１１０によって作り出された声音波を言語音パターン１３６として受け取り、設備履歴データ構造１３０のうちの１つまたは複数に関連して言語音パターンを記憶することができる。例えば、管理プログラム１２２は、システム１００によって管理される各設備１１４の個々の履歴を追跡するために１つまたは複数の設備履歴データ構造１３０を維持することができ、保守行動、故障、設備からの事象通知、設備からの受け取ったセンサデータ、操作者の苦情もしくは他の操作者のコメント、技能者コメントなどの履歴を維持することができる。操作者１１０がテキスト、画像、動画、および／またはサウンド１３８のうちの１つまたは複数も提供する場合、この情報も設備履歴データ構造１３０のうちの１つまたは複数に記憶することができる。
【００２４】
言語音パターン１３６の受領に応答して、管理プログラム１２２は、受け取った音声をテキストに変換するための自動音声認識を実施するために音声および／または感情認識プログラム１２８を使用することができる。本明細書において実施される音声および／または感情認識のさらなる詳細は、例えば、図１３に関して以下に説明する。１つまたは複数のＡＩ入力１４２をＡＩサービス１２４に提供するために音声テキスト変換を使用することができる。ＡＩ入力１４２は、設備１１４に関しての操作者１１０からの苦情または他のコメントに応答して、１つまたは複数のＡＩ出力１４４として、操作者１１０によって取られる行動に対する命令を提供するための前に学習済み機械学習モデルおよび関連したプログラム１３２のうちの１つまたは複数への入力として印加することができる。
【００２５】
さらに、設備１１４は、１つまたは複数のセンサ（図１に示さず）を含むことができ、設備１１４自体において分析するか、または分析のために管理プログラム１２２に送って、設備１１４に関する任意の問題を検出するかのいずれかをすることができるセンサデータ１４６を得ることができる。例えば、設備１１４または関連したプロセッサ（図１に示さず）がセンサデータ１４６に対してエッジ処理を実施して、設備１１４に関する任意の問題があるかどうかを検出するとしよう。センサデータ１４６に基づいて問題が検出されたとき、設備１１４は、事象通知１４８を管理プログラム１２２に送ることができる。場合によっては、設備１１４は、事象通知１４８を送らせたセンサデータ１４６を送ることもできる。事象通知１４８に応答して、管理プログラム１２２は、設備１１４に関する問題を示す事象通知１４８の受領を確認するために肯定応答１５０を設備１１４に送ることができる。設備１１４から受け取った任意のセンサデータ１４６、ならびに任意の事象通知１４８は、設備履歴データ構造１３０に記憶することができる。
【００２６】
代替案として、もちろん、設備１１４は、センサデータ１４６をサービスコンピューティングデバイス１０２（１）にただ送るだけをすることができ、管理プログラム１２２は、センサデータ１４６をＡＩサービス１２４に提供することによって、または様々な他の技法を通じてなど、問題があるかどうかを決定することができる。さらに、管理プログラム１２２は、受け取ったセンサデータ１４６および検出された事象の指示を１つまたは複数の設備履歴データ構造１３０に記憶することができる。
【００２７】
いずれかの事象において、ＡＩ出力１４４に応答して、または他の方法で設備１１４において事象を検出することに応答して、管理プログラム１２２は、オーディオまたはテキスト出力１５４を操作者デバイス１０４に送ることができる。例えば、オーディオまたはテキスト出力１５４は、ＷＡＶファイル、ＭＰ３ファイル、ＡＩＦＦファイル、ＡＡＣファイル、ＷＭＡファイル、およびＭＰＥＧ−４ファイルなど、操作者デバイス１０４による再生のための圧縮または非圧縮オーディオファイルを含むことができる。操作者デバイス１０４は、操作者１１０に聞こえる音声出力１５６を提供することができる。場合によっては、オーディオファイルの受領により、操作者デバイス１０４上のクライアントアプリケーションは、操作者デバイス１０４に関連付けられた１つまたは複数のスピーカ（図１に示さず）上でなど、オーディオファイルを自動的に再生または他の方法で提示することができる。
【００２８】
さらに、いくつかの例において、操作者デバイス１０４は、操作者デバイス１０４に関連付けられたディスプレイなどに音声出力１５６のテキスト版を提示することができる。ある例において、操作者デバイス１０４は、オーディオ出力ではなくテキスト出力をオーディオまたはテキスト出力１５４として受け取ることができ、およびテキスト出力を、操作者デバイス１０４のスピーカにわたって再生し、または他の方法で操作者１１０に提示することができる自然言語音声出力１５６に変換することができる、操作者デバイス１０４上で実行するクライアントアプリケーション（図１に示さず）を含むことができる。さらに、いくつかの例において、音声出力１５６は、より多くの情報の要求、または操作者１１０が設備１１４に関する問題などを承知したことの確認の要求を含むことができる。
【００２９】
一例として、操作者１１０が設備を使用しながら「エンジンによってもたらされる大きな騒音が聞こえる」と言ったとしよう。操作者のコメントは、操作者デバイス１０４によって音声入力１３４として受け取られ、それは管理プログラム１２２に言語音パターン１３６として送られる。管理プログラム１２２は、設備１１４からの受け取ったセンサデータ１４６を有することができ、または言語音パターン１３６を受け取ることおよびその音声テキスト化を決定することに応答して設備１１４にセンサデータ１４６を要求することができる。管理プログラム１２２は、コメントおよびセンサデータ１４６をＡＩ入力１４２としてＡＩサービス１２４に提供することができる。それに応答して、管理プログラム１２２は、ＡＩ出力１４４をＡＩサービス１２４から受け取ることができる。ＡＩ出力１４４に基づいて、管理プログラム１２２は、オーディオまたはテキスト出力１５４を操作者デバイス１０４に提供することができ、操作者デバイス１０４は、音声出力１５６を操作者１１０に提供することができる。
【００３０】
この例では、音声出力１５６が操作者１１０に大きな騒音は無視し、作業を継続するように命令するとしよう。場合によっては、システムサービス１２０によって送られたこの命令は、操作者１１０には信用できないように見える可能性がある。それにもかかわらず、システム１００は、この命令を操作者１１０から受け取った音声入力１３４だけではなく、設備１１４から受け取ったセンサデータ１４６、ならびに設備保守記録、この操作者および他の操作者からの設備に対する苦情履歴、操作者１１０の経験程度、および操作者１１０に与える命令を決定するときの他の要因にも基づくことができる。さらに、操作者１１０が命令に関する、より多くの詳細を要求した場合、管理プログラム１２２は、管理プログラム１２２によって適用された意志決定プロセスに関するさらなる詳細を提供するように構成することができる。
【００３１】
上述のように、音声入力１３４によって操作者１１０から提供された苦情、所見、および他のコメントは、システムサービス１２０によって、可能な行動を決定するために考慮に入れられる唯一の入力ではない。例えば、管理プログラム１２２は、設備のセンサデータ１４６、設備の事象通知１４８、および外部システムコンピューティングデバイス１１６から受け取った外部データから情報を得ることができる。したがって、複数の異なるデータ源から収集された情報は、ＡＩサービスプログラム１２６によって、次の行動方針のための操作者１１０に与える命令を決定するのに使用することができる。さらに、識別された問題が応急手当てを必要とする場合、管理プログラム１２２は、問題の性質および命令された行動方針に関して操作者１１０に自動的に通知することができる。本明細書における実装形態は任意の特定の通信形式またはプロトコルに限定されないが、様々なデータ源と、サービスコンピューティングデバイス１０２と、操作者デバイス１０４との間の通信は、ＲＥＳＴ  ＡＰＩ呼出し、およびＪＳＯＮなどのデータ表現形式を使用して実施することができる。
【００３２】
システム１００において、操作者１１０は、設備の動作に関して所見を述べ、苦情を言いまたは他のコメントをすることによってなど、音声入力１３４を提供することによって、システムの相互作用を開始することができ、それに応答して、行動方針のための命令を与える音声出力１５６を受け取ることができる。場合によっては、システムによって与えられた命令は、重症度（例えば、高度、中等度、および低度）および命令の種類によって分類することができる。重症度は、説明されている問題の種類の修飾語句でもよく、継続して設備１１４を動作させることに関連した危険性をさらに考慮に入れることができる。命令の種類は、連続または離散でもよく、ルックアップテーブルまたは外部データ源などを通じて定義してもよい命令値に基づいた高レベル分類でもよい。３つの命令の種類の例は、「無視」、「応急処置」、および「設備の修理」である。例えば、「応急処置」は、受け取った命令に基づいて現場の操作者１１０によって実施することができるが、「設備の修理」は、保守サイトにおいて技能者１１２によって実施される可能性がある。
【００３３】
さらに、重症度と命令の種類との組合せを使用して、操作者によって実施される行動に対する命令を決定することができる。例えば、命令の種類が「修理」であり、重症度が「低度」である場合、これは、一日の終わりまたは設備の種類および環境の状態により他の指定した時間まで設備を継続して使用することができることを示すことができ、次いで、修理を実施することができる。反対に、命令の種類が「修理」であり、重症度が「高度」であるとき、これは設備の使用を直ちに、または修理に可能な限りすぐに停止すべきであることを示すことができる。さらに、いくつかの例において、センサデータ１４６を設備１１４からストリーミング配信し、または他の方法で送ることもできるので、設備１１４が履歴的データ記録および／または実時間センサデータ１４６などに基づいてまさに故障しようとしていることを管理プログラム１２２が検出した場合になど、管理プログラム１２２は、命令を操作者１１０への音声出力１５６として独立して開始することができる。以下に説明する図３は、上記に説明した例において可能なシステム結果を要約するデータ構造例を示す。
【００３４】
場合によっては、設備１１４から管理プログラム１２２によって受け取られたセンサデータ１４６は、音声出力１５６として操作者１１０に送られた命令の精度を全体として改善するのに使用することができる。例えば、典型的には、設備１１４、操作者デバイス１０４、および操作者１１０は、現場に存在しているが、サービスコンピューティングデバイス１０２および外部システムコンピューティングデバイス１１６は、どこかほかの場所で、処理センター、データセンターなどに配置されている。したがって、システム１００は、クラウドにおいてデータ分析処理を支援する分散型コンピューティングシステムでもよく、および分析としてエッジにおいて、設備１１４への組込みまたは設備１１４と共同の場所に配置されるなど、設備１１４に関連付けられたプロセッサ上で実施してから、事象通知１４８および／またはセンサデータ１４６をサービスコンピューティングデバイス１０２に送ることもできる。
【００３５】
その上、さらに別の例として、音声出力１５６を操作者１１０に送ることに加えて、またはその代替として、管理プログラム１２２は、１つまたは複数の制御信号１６０を生成することができ、１つまたは複数の制御信号１６０を直接設備１１４に送ることができる。一例として、車両の代わりに、設備１１４は補助動力を発生させるためのガスタービンエンジンであり、センサデータ１４６は、油ポンプが故障しており、重症度が「高度」であり、および行動命令の種類が「修理」である可能性を示しているとしよう。したがって、設備１１４へのそれ以上の損傷を防止するために、管理プログラム１２２は、直ちに制御信号１６０を設備１１４に送って、設備１１４をオフにし、音声出力１５６を操作者１１０にさらに送って、ガスタービンが遠隔で遮断されていること、および遮断の理由を自然言語を使用して操作者１１０に伝えることができる。したがって、場合によっては、操作者１１０から受け取った音声入力１３４の返答としての代わりに、またはそれに加えて、設備１１４からの事象通知１４８の受領の返答としておよび／または設備１１４から受け取ったセンサデータ１４６の分析に基づいて、音声出力１５６を操作者デバイス１０４に送ることができる。
【００３６】
場合によっては、上述のように、管理プログラム１２２は、情報要求１６２を外部システムコンピューティングデバイス１１６のうちの１つまたは複数に送ることができる。それに応答して、外部システムコンピューティングデバイス１１６上の外部プログラム１１８は、情報応答１６４を管理プログラム１２２に送ることができる。管理プログラム１２２は、少なくとも部分的に、受け取った情報応答１６４に基づいて、操作者１１０に対する命令を生成することができる。一例として、管理プログラム１２２は、受け取った情報応答１６４を，任意の音声入力１３４、設備履歴、センサデータ１４６などとともに、ＡＩ入力１４２としてＡＩサービスプログラム１２６に提供することができ、上記に説明したように、操作者デバイス１０４に送る命令を管理プログラム１２２が決定することを可能にするために例えば、命令の種類および／または重症度を提供する際にＡＩ出力１４４を受け取ることができる。さらに別の例として、管理プログラム１２２は、操作者１１０によってコメントされた問題に関しての情報を、技能者１１２に関連付けられた技能者デバイス１０８に送ることができる。技能者１１２は、応答を管理プログラム１２２に提供することができ、管理プログラム１２２は、操作者１１０から受け取ったコメントに応答して行動方針を決定するとき、技能者１１２からの応答を追加のＡＩ入力１４２としてＡＩサービス１２４に提供することができる。
【００３７】
図１において、システムサービス１２０は、技能者１１２に関連付けられた技能者デバイス１０８と通信することもできる。いくつかの例において、管理プログラム１２２は、技能者デバイス１０８に設備履歴情報１６８を送ることができ、設備履歴情報１６８は、操作者１１０、管理プログラム１２２、ならびに任意のセンサデータ１４６、事象通知１４８の間のすべての最近の交換を含む、特定の設備１１４に関するすべての履歴的情報を含むことができる。さらに、システムサービス１２０は、操作者デバイス１０４から受け取ったテキスト、画像、動画、および／またはサウンド１３８があればそれらを提供することができる。例えば、この情報１３８および１６８は、設備１１４が修理サイトに到着するまでに技能者デバイス１０８に送ることができる。上述のように、この情報１３８および１６８は、この情報１３８および１６８を、設備１１４がまだ現場にある間、設備１１４、操作者デバイス１０４、外部システムコンピューティングデバイス１１６、および／またはＡＩサービス１２４から受け取ることによってなど、管理プログラム１２２によってあらかじめ収集し、記憶することができる。さらに、管理プログラム１２２は、設備１１４に取り組むのに最適な技能者１１２を、その技術に基づいてなど、すでに決定し、スケジュールしている可能性がある。さらに、管理プログラム１２２は、設備１１４の休止時間を最小限に抑えるために、必要に応じ、すでにパーツを発注し、最適な修理サイトを決定し、スケジュールしている可能性がある。
【００３８】
技能者が設備１１４に取り組み始めたとき、技能者は、少なくとも最初は、１つまたは複数の技能者デバイス１０８を使用してシステムサービス１２０と相互作用することができる。例えば、技能者は、専用のクライアントアプリケーションを使用することができ、ウェブサイトにアクセスすることができ、または本明細書における他の場所に列挙しているように、モバイルデバイス、タブレットコンピューティングデバイス、または他のコンピューティングデバイスを介してなど、他の方法でサービスコンピューティングデバイス１０２と通信することができる。この相互作用の間、管理プログラム１２２は、設備を修理するために決定された詳細な行動方針に関して技能者に命令することができる。与えられた命令は、関与する構成部品およびパーツならびに修理の各段階において実施される行動の説明を含むことができる。場合によっては、この情報は、技能者デバイス１０８にオーディオまたはテキスト出力１７０として送ることができる。この情報の例は、図４に関して以下に説明するデータ構造に示されている。管理プログラム１２２は、ジョブのどの部分を最初に実行するのかに関して技能者１１２に命令することもできる。
【００３９】
診断段階と称することができるこの初期段階の間、技能者１１２は、管理プログラム１２２から受け取ったオーディオまたはテキスト出力１７０に基づいて、音声出力１７２を技能者デバイス１０８から受け取ることができる。さらに、または代替案として、技能者１１２は、管理プログラム１２２から受け取ったテキスト命令を見ることができ、および／または操作者１１０から受け取った設備履歴情報１６８および／またはテキスト、画像、動画、および／またはサウンド１３８にアクセスすることができる。
【００４０】
さらに、技能者１１２は、技能者デバイス１０８によって言語音パターン１７５として管理プログラム１２２に送られ、上記に説明した言語音パターン１３６に対して同様に処理される音声入力１７４を提供することができる。音声入力１７４を提供することに加えて、技能者１１２は、追加のコメントを設備履歴１３０に加えるためにテキスト入力１７６を提供することができ、および／または設備履歴データ構造１３０のうちの１つまたは複数に記憶することもできる、実施されている修理に関連した画像、動画、および／またはサウンド１７８をアップロードすることができ、したがって、この情報を管理プログラム１２２および／またはＡＩサービスプログラム１２６によって今後使用されるのに利用可能にさせることができる。さらに、場合によっては、技能者デバイス１０８は、１つまたは複数のネットワーク１０６にわたって外部システムコンピューティングデバイス１１６のうちの１つまたは複数、および／またはＡＩサービス１２４と直接通信するのに使用することができる。いくつかの例において、技能者デバイス１０８と、サービスコンピューティングデバイス１０２および外部システムコンピューティングデバイス１１６など、他のコンピューティングデバイスとの間の相互作用は、ＲＥＳＴ  ＡＰＩ呼出し、およびＪＳＯＮなどの情報の交換のための標準データ表現を使用して実施することができる。
【００４１】
診断段階の完了に続いて、技能者１１２は、修理段階を開始することができる。修理段階の間、技能者１１２は、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）ヘッドセットまたはＡＲ眼鏡などの異なる技能者デバイス１０８を任意選択で使用することによって管理プログラム１２２と通信して、それに応じて修理が完了するまで技能者を段階的に導くことができ、この段階の間、管理プログラム１２２は、ＡＲ情報１８０を技能者デバイス１０８に、および／またはオーディオまたはテキスト出力１７０を送って、修理の間、技能者１１２を段階的に導くことができる。代替案として、拡張現実が採用されていない場合、管理プログラム１２２は、技能者１１２が、修理の間、管理プログラム１２２との相互作用する音声出力１７２および音声入力１７４による相互作用に参加することを可能にするためにオーディオ出力１７０をまだ送ることができる。したがって、技能者１１２は、システムサービス１２０に含まれる音声／感情認識プログラム１２８によって解釈することができる音声入力１７４を使用して修理プロセスを開始および停止することができる。
【００４２】
いくつかの例において、管理プログラム１２２は、ＡＩサービスプログラム１２６からオンザフライ命令を受け取ることができ、オンザフライ命令は、技能者１１２に転送することができ、および／または外部システムコンピューティングデバイス１１６からなど、３Ｄモデルを取り出すことができ、３Ｄモデルは、修理プロセスの各ステップにおいて技能者１１２に送ることができる。管理プログラム１２２は、次に何をするかに関して音声出力１７２を介して、および拡張現実が採用されている場合、３Ｄモデル、コンピュータ生成動画、および／または命令を有するテキストを修理されている実物体上に重ね合せることによって技能者１１２に返答することができる。
【００４３】
修理プロセスの各連続的ステップの完了により、技能者は、「ステップが完了、次の行動は」などの音声入力１７４を提供することができ、管理プログラム１２２は、現在の修理プロセスに対する次の行動に関連した情報を取り出すことができる。技能者と管理プログラム１２２との間のこの相互作用プロセスは、修理が完了するまで繰り返すことができ、システムは、音声出力１７２、例えば、「修理が完了、これ以上の行動は不要」を用いてなど、技能者１１２に知らせる。上記の方法において、管理プログラム１２２は、修理プロセスを通じて技能者１１２を導くことによって技能者１１２と相互作用することができ、それによって、未経験の技能者１１２の、およびさらには経験のある技能者１１２の修理時間を短縮することによって生産性を改善することができる。さらに、本明細書における実装形態は、事前の学習なしでも、ならびに初級技能者１１２に学習を提供することなしでも技能者１１２が修理タスクに取り組むことを可能にすることによってなど、修理を実施することの効率を増大させることができ、それによって、修理を行うそれらの技術および習熟度を迅速に向上させることができる。
【００４４】
本明細書におけるシステム１００は、ＡＩの有用性およびＡＩ出力への人間の信頼を高める、ユーザデバイス、センサ、ＡＩおよび機械学習の分散型ネットワークを、言語パターンを使用する音声通信を通して自然なやり方で統合する豊富な、人間とコンピュータの相互作用を提供することができる。本明細書における音声認識機能は、サービスコンピューティングデバイス１０２による、音声テキスト化と称することもある話し言葉のテキストへの変換を可能にする。さらに以下に説明する音声認識技法によって作り出されたテキストを使用して、サービスコンピューティングデバイス１０２は、システム１００の主ユーザインターフェースとして音声通信を通してユーザと相互作用することができる。
【００４５】
システム１００は、音波を音声として認識し、音声をテキストに変換するために、音声および／または感情認識プログラム１２８を使用することができる。例えば、管理プログラム１２２が言語音パターン１３６を受け取ったとき、管理プログラム１２２は、音声および／または感情認識プログラム１２８を起動することができ、音声および／または感情認識プログラム１２８は、受け取った音声をテキストに変換する。任意の従来の音声テキスト変換プログラムを本明細書におけるいくつかの実装形態において使用することができる。さらに、音声および／または感情認識プログラム１２８は、受け取った言語音パターン１３６から、受け取った言語音パターンの根底にある音調、姿勢、または他の感情を決定するための関連した特徴を抽出することができる。抽出した特徴のいくつかの例には、ピッチ、音調、アクセント、強調、発音、音量、音声明瞭度、鼻音性、速度、音色などが含まれる可能性があるが、それらに限定されない。次いで、これらの抽出したサウンドの特徴は、命令、提案、または勧告などのオーディオまたはテキスト出力１５４を増強するために使用することができる話者の感情状態の指示を提供するために感情認識（いくつかの例においてＭＬＭおよび関連したプログラム１３２のうちの１つでもよい）を実施するように構成された感情認識機械学習モデルへの入力として使用することができる。
【００４６】
したがって、本明細書における例は、従来の音声テキスト化技法を感情的解釈と組み合わせて、システム１００を使用して操作者または技能者へのより正確な応答を作り出すことができる。これは、音声から変換されたテキストを使用するだけでなく、音声波から抽出したメタデータも考慮に入れることによって、人間の音声コマンドのコンピュータによる理解の問題を解決することに別の次元を加えることができる。システム１００は、短い会話を用いて企業または産業シナリオで正確な判断をするために考慮することができる、感情または切迫感などに関連した追加の情報を提供することによって人間とコンピュータの相互作用を豊かにすることができる。さらに、本明細書における実装形態は、本明細書における実装形態がユーザ生成テキストを入力として頼らないように、典型的には、ブログ、ソーシャルメディア、ソーシャルネットワーク、批評材料、ヘルスケア文書、調査回答、およびツイッター（登録商標）などのマイクロブログに採用される、従来の感情分析および自然言語理解の取り組みとは異なる。
【００４７】
本明細書におけるいくつかの例には、言語パターンおよび関連した感情を認識するために音声および／または感情認識プログラム１２８を使用する前の初期学習段階が含まれる可能性がある。例えば、音声および／または感情認識プログラム１２８は、各個人、すなわち、各操作者および各技能者に対する感情認識ＭＬＭをまず学習させることができる。各操作者および技能者に対するそれぞれのモデルの学習に続いて、システムは、音声入力を提供する個人を識別することができ、システムが実時間で音声および感情を認識し、それに応じて行動することを可能にするために、その個人に対して学習させた、学習済みＭＬＭにアクセスすることができる。
【００４８】
学習は、個人に語句の一覧表を提供することによって、ならびに通常のやり方および通常でないやり方で語句を話すように個人に求めることによって実施することができる。例えば、学習の間、システムは、複数の文などの複数の語句をユーザに送ることができ、または他の方法で提供することができる。学習のためのサンプルが受け取られた後、サウンドの特徴を抽出することができ、受け取った語句に基づいて特定の操作者または技能者に対してモデルをシステム上で学習させることができる。モデルへの入力は、Ｅｉ＝＜ｓｔｔｉ，ｓｆｉ＞の対として表すことができ、ここで、ｓｔｔｉは音声テキスト化入力Ｅｉを表し、ｓｆｉは音声テキスト化入力Ｅｉの予測サウンドの特徴を表す。例えば、音波から抽出されるｎ個のパターンがあるとすると、ｓｆｉはｓｆｉ＝｛ｐｉ１，ｐｉ２，．．．，ｐｉｎ｝としてさらに分解することができる。各入力Ｅｉは、通常であるかまたは通常でないＬｉのラベルに分類される。通常でないパターンは、怒り、不安、ストレス、緊張、切迫などの感情カテゴリーにさらに分類することができる。
【００４９】
したがって、システム１００は、操作者または技能者に対して行う命令、勧告、または他の応答を決定するための入力として操作者または技能者から受け取った音声および他の情報を実時間で検討することができる。例えば、通常の音声パターン（すなわち、その人らしくない感情がない）は、操作者または技能者への出力として管理プログラム１２２によって生成された応答に影響しないものとして処理することができる。他方では、不安または怒りなどの通常でない感情が検出されたとき、提案された応答は、操作者または技能者によって行われたコメントにより、変更することができる。
【００５０】
一例として、操作者１１０が設備１１４に取り組んでおり、所見または苦情などのコメントを行う状況を考慮されたい。システム１００は、操作者から受け取った音声入力に基づいて修理の命令を与えることができ、それは、操作者１１０が怒っており、または不満に思っているなど、操作者の音声に通常でない感情的パターンを検出することに基づくことができる。この決定に基づいて、システムサービス１２０は、修理サイトにおける設備の保守を自動的にスケジュールすることによって、および取ることができる異なる行動に続くことによって、修理サイトの手順を開始することができる。例えば、怒りまたは不満を検出することに基づいて、管理プログラム１２２は、特に苦情／所見がすでに是正されたはずである繰り返される問題である場合、この修理のためにより高い技術レベルまたは下級技能者の代わりに上級技能者を割り当てるように要求を送ることができる。別の例として、管理プログラム１２２は、直ちに操作者１１０を適切な技能者と、電話または他の通信デバイスを通じてなど、直接連絡させることができる。別の例として、管理プログラム１２２は、操作者の言語パターンにおいて検出された感情を継続して監視しながら操作者１１０との各通信において問題の詳細な説明および／または設備を管理する動作指導を提供することができる。設備の操作者に提供されるこの段階的指導および支援は、操作者の言語パターンが通常になる、すなわち、怒りまたは不満がもう検出されないとき、停止することができる。
【００５１】
場合によっては、管理プログラム１２２は、複数のパラメータを考慮に入れることができ、それは繰り返しまたは反復修理、パーツの入手可能性、設備の休止時間、操作者の悩み（音声パターンによって示される感情）、問題に関して受け取った操作者の苦情の数、利用可能な技能者の技術、および問題を解決する能力などを含むことができるが、それらに限定されない。したがって、管理プログラム１２２は、最適なやり方で優先度を有する修理の日付および時間をスケジュールすることができる。これは、前にスケジュールされた設備の修理のスケジュール変更を含むことができ、パーツの入手可能性、技能者の利用可能性、および修理サイトの利用可能性などを決定するためのなど、外部システムコンピューティングデバイス１１６との通信を含むことができる。
【００５２】
上述のように、管理プログラム１２２のプログラムは、受け取ったデータを１つまたは複数の設備履歴データ構造１３０に記憶することができる。システム１００が受け取ることができるデータの例には、設備属性が含まれ、設備属性は、修理を受ける設備１１４の属性を符号化する構造化データを含むことができる。設備属性の例には、設備の製造者およびモデル、製造年、ならびに設備およびその構成部品の容量および定格が含まれるが、それらに限定されない。同じ症状に対して、異なる種類の設備は、異なる修理行動を必要とする可能性がある。したがって、問題の症状が与えられたとき、設備属性を機械学習モデルの構築および学習の間使用して、各設備の種類に対して正しい修理を決定するようにモデルを学習させることができる。
【００５３】
別の例として、設備履歴データ構造１３０は、設備使用データを記憶することができ、それは、設備の動作の開始以来の設備の寿命にわたる設備の使用に関連した構造化データでもよい。例には、経年数、運転時間、総走行距離、および有料荷重などが含まれる。使用データは、直す必要がある問題の症状が与えられた正しい修理行動を決定するのに使用することができる。
【００５４】
別の例として、設備履歴データ構造１３０は、設備から受け取ったセンサデータを記憶することができる。例えば、センサデータは、設備が修理のために送られたときより前に、様々なセンサから収集した時系列データでもよい。各時系列は、対応するセンサの時間にわたる表示数値を表すことができる。さらに、各センサの表示数値は、表示数値の日付および時間を指定するタイムスタンプに関連付けることができる。
【００５５】
さらに、設備履歴データ構造１３０は、事象通知またはエラーメッセージなどに基づいてなど、設備が故障した、または修理に送られたときよりも前に設備から受け取った事象データを記憶することができる。事象は異なる種類でもよく、保守行動、ならびに警告または他の通知、設備から受け取ったエラーメッセージ、および設備の環境における他のシステムから受け取ったエラーメッセージを含むことができる。事象のそれぞれは、事象発生の日付および時間を指定するタイムスタンプに関連付けることができる。
【００５６】
さらに、設備履歴データ構造１３０は、設備に関してユーザによって行われたユーザの苦情、所見、および他の種類のコメントを記憶することができる。これらは、操作者デバイスを介してなど、ユーザによって行われた設備についての自然言語コメントでもよい。これらの非構造化または半構造化データは、直すべき問題の症状（例えば、「設備の後部からの大きな騒音」）を記述することができる。ユーザコメントは、修理プロセスの前または間に受け取ることができ、音声入力、タイプしたテキスト、および手書きのテキストなどを含むが、それらに限定されない様々な異なる形式で受け取ることができる。
【００５７】
さらに、設備履歴データ構造１３０は、他の苦情関連データを記憶することができ、それは、直すべき問題に関する追加の情報を含むことができる。他の苦情関連データの例には、欠陥パーツの画像、ユーザによって行われた録音からのサウンドファイル、欠陥パーツの動画、および設備の画像などが含まれる可能性がある。これらの他のデータは、修理プロセスの前または間にシステムに提出することができる。
【００５８】
さらに、設備履歴データ構造１３０は、システム１００によって管理される各設備の修理履歴を記憶することができる。修理履歴は、設備に関する、前の問題を直すべき設備に対して実施された履歴的修理の記録を含むことができる。各修理行動は、修理の日付および時間を指定するタイムスタンプに関連付けることができる。記憶された修理行動記録は、問題が発生したシステムおよびサブシステム、修理すべき構成部品、修理に関連付けられたパーツ、および修理の間に実施された行動（例えば、清掃、検査、交換など）など、修理の異なる面を記述する属性を含むこともできる。
【００５９】
さらに、設備履歴データ構造１３０は、メタデータおよび追加の情報を記憶することができる。メタデータおよび追加の情報は、設備１１４が動作される環境、修理工場の構成部品およびパーツの入手可能性、および各修理サイトにおける技能者の技術など、設備および修理に関する総合的なシステムの知識を豊かにするのに使用することができる追加の情報を記述することができる。これは、動作状態（例えば、動作時間）、環境状態（例えば、位置、温度、湿度、ほこり）、および保守記録（例えば、日付、状態、注記）を含むことができるが、それらに限定されない。すべてのこれらのデータは、構造化、半構造化、または非構造化形式で受け取り、記憶することができ、場合によっては、外部システムから取得することができる。
【００６０】
さらに、システム１００は、データをいくつかの異なる種類および形式で出力することができる。例えば、操作者または技能者に対する命令は、システム１００によって操作者または技能者に提供されるテキストなどの自然言語または構造化命令でもよい。命令は、修理履歴、ＯＥＭ仕様、設備の属性データおよびメタデータなど、受け取ったセンサデータを入力として分析し、追加のデータを考慮に入れる場合など、設備、操作者、技能者、またはシステム自体によって始動させることができる。命令は、音声、テキスト、拡張現実（ＡＲ）、２Ｄまたは３Ｄ画像、および動画（ＡＲまたはＡＲでない）などを含むが、それらに限定されない、異なる形式で出力することができる。命令は、使用の環境、設備の状態および履歴、操作者および技能者の技術、ならびに操作者および技能者の音声パターンおよびコメントなどを考慮に入れることができる。
【００６１】
さらに、システムは、故障予測事象の場合など、状況によっては、警告を操作者または技能者に提供することができる。システム１００は、センサデータ、事象通知データ、およびメタデータ情報などのデータに基づいてこれらの警告を始動させることができる。警告は、クライアントアプリケーションを介した自然言語、音声メッセージ、または電話接続、ＳＭＳテキストメッセージ、ウェブサイトポップアップ画面、デバイスによって放出されたサウンド、モバイル通知、およびページ警告など、様々な形式で提供することができる。
【００６２】
さらに、上述のように、場合によっては、システムは、設備、操作者、他の人、または他の財産などへの損傷を防止するためになど、設備を直接遠隔制御するために１つまたは複数の制御信号を使用することができる。制御信号は、直接設備に送ることができ、および、例えば、設備を遮断することができ、または単に設備の設定を変更することができる。制御信号は、センサデータ、事象通知データ、メタデータ情報、または操作者のコメントなどのうちの１つまたは複数に基づいて始動させることができる。典型的には、制御信号の送出は、設備が遠隔制御されていること、およびその理由を操作者１１０に知らせるためになど、操作者１１０への命令または警告の送出と同時に実施することができる。
【００６３】
さらに、いくつかの例を上記に説明しているが、数多くの他の変更形態が本明細書における開示の利益を有する当業者には明らかであろう。本明細書におけるシステム１００は、音声相互作用を使用した設備の管理および保守のためのＡＩおよび機械学習技法の使用を可能とする。したがって、操作者１１０は、現場で設備１１４を使用しながら、音声データ入力（例えば、音声信号および音声テキスト化）を提供することができる。さらに、修理サイトにおける技能者は、同様に、自然言語音声入力を入力としてシステム１００に提供することができる。さらに、システムは、ＡＩおよび機械学習技法を使用して現場の操作者のために実時間フィードバックおよび理解しやすい命令を提供することができる。さらに、システム１００は、外部システムと、現場のデータと、保守修理サイト動作との間の情報統合を行い、それによって、操作者１１０に対して継ぎ目のないエンドツーエンドの体験を可能にする。さらに、場合によっては、システム１００は、ＡＩおよび機械学習に基づいて詳細な段階的命令を技能者１１２に与えることができ、次いで、技能者１１２は、この情報を使用して修理を実施することができる。例えば、管理プログラムは、この情報を自然言語音声として技能者１１２に提供することができる。したがって、操作者１１０および技能者１１２の両方は、テキストまたは他の通信技法を使用しなければならないのではなく、自然言語音声を使用して、システム１００と実時間で通信することができる。さらに、音声がシステムに対して主入力および出力技法として使用されるので、操作者１１０および技能者１１２は、ハンズフリーのやり方でシステムと通信することができ、それは、道路上で、修理サイトにおいてなど、いくつかの状況において有用であり得る。
【００６４】
図２は、いくつかの実装形態による、設備の管理および保守のためのシステムアーキテクチャ例２００を示す。いくつかの例において、システムアーキテクチャ２００は、上記に説明したシステム１００に対応することができる。いくつかの実装形態において、サービスコンピューティングデバイス１０２は、１つまたは複数のサーバ、パーソナルコンピュータ、または任意の数のやり方で具現化することができる他の種類のコンピューティングデバイスを含むことができる。例えば、サーバの場合、プログラム、他の機能構成要素、およびデータ記憶装置の少なくとも一部分は、他のコンピュータアーキテクチャをさらに、または代替案として、使用することができるが、一群のサーバ、サーバファームまたはデータセンター、およびクラウドホスティングされたコンピューティングサービスなど、少なくとも１つのサーバ上に実装することができる。
【００６５】
図示する例において、サービスコンピューティングデバイス１０２は、１つまたは複数のプロセッサ２０２と、１つまたは複数の通信インターフェース２０４と、１つまたは複数のコンピュータ可読媒体２０６とを含むことができ、または他の方法でそれらと関連付けられている可能性がある。各プロセッサ２０２は、単一の処理ユニットまたはいくつかの処理ユニットでもよく、単一のまたは複数のコンピューティングユニット、または複数の処理コアを含むことができる。プロセッサ２０２は、１つまたは複数の中央処理装置、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、状態機械、論理回路、および／または動作命令に基づいて信号を操作する任意のデバイスとして実装することができる。例えば、プロセッサ２０２は、本明細書に説明するアルゴリズムおよびプロセスを実行するように具体的にプログラムされ、または構成された１つまたは複数のハードウェアプロセッサおよび／または任意の適切な種類の論理回路でもよい。プロセッサ２０２は、コンピュータ可読媒体２０６に記憶されたコンピュータ可読命令をフェッチし、実行するように構成することができ、それは、本明細書に説明する機能を実施するようにプロセッサ２０２をプログラムすることができる。
【００６６】
コンピュータ可読媒体２０６は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の種類の技術で実装された揮発性および不揮発性メモリおよび／または取外し可能および取外し不可能媒体を含むことができる。例えば、コンピュータ可読媒体２０６は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、光学記憶装置、固体記憶装置、磁気テープ、磁気ディスク記憶装置、ＲＡＩＤ記憶システム、オブジェクト記憶システム、記憶アレイ、ネットワーク接続型記憶装置、ストレージエリアネットワーク、クラウド記憶装置、または所望の情報を記憶するのに使用することができ、コンピューティングデバイスによってアクセスすることができる任意の他の媒体を含むことができるが、それらに限定されない。サービスコンピューティングデバイス１０２の構成により、コンピュータ可読媒体２０６は、言及したとき、非一時的コンピュータ可読媒体がエネルギー、搬送波信号、電磁波、および／または信号それ自体などの媒体を除外する限りにおいて、有形の非一時的媒体でもよい。場合によっては、コンピュータ可読媒体２０６は、サービスコンピューティングデバイス１０２と同じ位置にあってもよいが、他の例では、コンピュータ可読媒体２０６は、サービスコンピューティングデバイス１０２から部分的に遠隔でもよい。
【００６７】
コンピュータ可読媒体２０６は、プロセッサ２０２によって実行可能である任意の数の機能構成要素を記憶するのに使用することができる。多くの実装形態において、これらの機能構成要素は、プロセッサ２０２によって実行可能であり、実行されたとき、本明細書においてサービスコンピューティングデバイス１０２に起因する行動を実施するように具体的にプロセッサ２０２をプログラムする実行可能命令および／またはプログラムを含む。第１のサービスコンピューティングデバイス１０２（１）のコンピュータ可読媒体２０６に記憶された機能構成要素は、管理プログラム１２２を含むことができる。管理プログラム１２２は、１つまたは複数のコンピュータプログラム、コンピュータ可読命令、実行可能コード、またはその一部分であって、本明細書に説明する様々なタスクをプロセッサ２０２に実施させるのに実行可能であるその一部分を含むことができる。図示する例において、管理プログラム１２２は、システム管理プログラム２０８と、デバイス管理プログラム２１０と、事象管理プログラム２１２と、ＡＩサービス管理プログラム２１４とを含むことができ、またはそれらにアクセスすることができる。さらに、コンピュータ可読媒体２０６は、上記に説明したように、および、例えば、図１４に関して、以下にさらに説明するように、音声および／または感情認識プログラム１２８を含むことができる。
【００６８】
これらの機能構成要素２０８〜２１４のそれぞれは、管理プログラム１２２の実行可能プログラムモジュール、またはその一部分でもよい。代替案として、他の例では、これらの構成要素２０８〜２１４の一部または全部は、管理プログラム１２２によって起動させることができる別々に実行可能な独立型のコンピュータプログラムでもよい。例えば、システム管理プログラム２０８は、図１に関して上記に説明したような、本明細書における例によるシステムサービスの全体的管理を実施するように１つまたは複数のプロセッサ２０２を構成することができる。さらに、デバイス管理プログラム２１０は、音声、テキスト、画像、動画、サウンド、および拡張現実などを含む情報を様々な形式のいずれかにおいて送ることおよび受け取ることのためになど、操作者デバイス１０４および技能者デバイス１０８との相互作用を管理することができる。さらに、事象管理プログラム２１２は、センサデータおよび／または事象通知を受け取ることのために、および肯定応答および／または制御信号を設備１１４に送ることのためになど、設備１１４との相互作用を管理することができる。さらに、ＡＩサービス管理プログラム２１４は、ＡＩ入力をＡＩサービスプログラム１２６に送ることのため、およびＡＩサービスプログラム１２６からＡＩ出力を受け取ることのためになど、ＡＩサービスプログラム１２６との通信を管理することができる。
【００６９】
さらに、第２のサービスコンピューティングデバイス１０２（２）は、第１のサービスコンピューティングデバイス１０２（１）に関して上記に説明したものと同様のプロセッサ２０２と、通信インターフェース２０４と、コンピュータ可読媒体２０６とを含むことができる。しかし、第２のサービスコンピューティングデバイス１０２（２）は、ＡＩサービスプログラム１２６、故障予測プログラムおよび／またはＭＬＭ２１６、行動決定プログラムおよび／またはＭＬＭ２１８、ならびに動作最適化プログラムおよび／またはＭＬＭ２２０などの異なる機能構成要素を含むことができる。ＭＬＭ２１６、２１８、および２２０の様々な版は、当技術分野で知られている。例えば、参照により本明細書に組み込まれ、本明細書と同じ譲受人に譲渡される、２０１７年１０月６に出願された「ＲＥＰＡＩＲ  ＭＡＮＡＧＥＭＥＮＴ  ＡＮＤ  ＥＸＥＣＵＴＩＯＮ」という名称の国際ＰＣＴ出願第ＰＣＴ／ＵＳ１７／５５４６１号は、本明細書におけるいくつかの例によるＡＩサービス１２４によって採用することができる、修理命令および保守勧告などを与えるためのＭＬＭおよび関連したプログラムを記述している。さらに、この例では、それぞれの機械学習モデルを学習させ、実行するための、いくつかの種類の機械学習モデルおよび関連したプログラムが示されるが、他の例では、本明細書における開示の利益を有する当業者には明らかであるように、追加のまたは代替の種類の機械学習モデルおよび関連したプログラムが含まれる可能性がある。
【００７０】
さらに、コンピュータ可読媒体２０６における機能構成要素は、それぞれのサービスコンピューティングデバイス１０２の様々な機能を制御し、管理することができるオペレーティングシステム（図２に示さず）を含むことができる。場合によっては、機能構成要素は、コンピュータ可読媒体２０６の記憶部分に記憶し、コンピュータ可読媒体２０６のローカルメモリ部分に読み込ませ、１つまたは複数のプロセッサ２０２によって実行することができる。数多くの他のソフトウェアおよび／またはハードウェア構成は、本明細書における開示の利益を有する当業者には明らかであろう。
【００７１】
さらに、コンピュータ可読媒体２０６は、本明細書に説明する機能およびサービスを実施するのに使用されるデータおよびデータ構造を記憶することができる。例えば、コンピュータ可読媒体２０６は、管理プログラム１２２およびＡＩサービスプログラム１２６などの本明細書におけるプログラムによって使用することができる設備履歴データ構造１３０を記憶することができる。さらに、場合によっては、設備履歴データ構造１３０は、機械学習モデル２１６、２１８および／または２２０を学習させるための学習データとして使用することができる。機械学習モデル２１６、２１８および／または２２０の例には、ランダムフォレスト、サポートベクタマシン、または深層学習ネットワークなどの分類モデルが含まれる可能性がある。機械学習モデル１４０の追加の例には、予測モデル、決定木、線形回帰モデルなどの回帰モデル、マルコフモデルおよび隠れマルコフモデルなどの確率論的モデル、および再帰型ニューラルネットワークなどの人工神経回路網が含まれる可能性がある。したがって、本明細書における実装形態は、機械学習モデルの特定の種類に限定されない。
【００７２】
サービスコンピューティングデバイス１０２は、他の機能構成要素、プログラムや駆動装置などを含むことができるデータおよびデータ構造、および、以下にさらに説明するように、機能構成要素によって使用され、または生成されるデータおよびデータ構造を含み、または維持することもできる。さらに、サービスコンピューティングデバイス１０２は、多くの他の論理的、プログラム的、および物理的構成要素を含むことができ、そのうちの上記に説明したものは、本明細書における説明に関連した、単に例に過ぎない。
【００７３】
通信インターフェース２０４は、１つまたは複数のネットワーク１０６にわたってなど、様々な他のデバイスとの通信を可能にするための１つまたは複数のインターフェースおよびハードウェア構成要素を含むことができる。したがって、通信インターフェース２０４は、他のサービスコンピューティングデバイス１０２、操作者デバイス１０４、技能者デバイス１０８、設備１１４、および／または１つまたは複数の外部コンピューティングデバイス１１６と通信するためにネットワーク１０６との接続を行う１つまたは複数のポートを含むことができ、またはそれに結合することができる。例えば、通信インターフェース２０４は、本明細書において他のどこかでさらに列挙しているように、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、インターネット、ケーブルネットワーク、セルラーネットワーク、無線ネットワーク（例えば、Ｗｉ−Ｆｉ）および有線ネットワーク（例えば、光ファイバー、イーサネット、ファイバーチャンネル）、直接接続、ならびにＢＬＵＥＴＯＯＴＨ（登録商標）などの短距離無線通信などのうちの１つまたは複数を通る通信を可能にすることができる。
【００７４】
さらに、外部コンピューティングデバイス１１６は、サービスコンピューティングデバイス１０２に関して上記に説明したものと同様であるが、外部プログラムおよび異なるデータなど、異なる機能構成要素を有する構成およびハードウェアを含むことができる。本明細書におけるいくつかの例において、１つまたは複数のコンピューティングデバイスは、各別個の外部システムによって採用することができる。図２に示す外部システムおよび対応するコンピューティングデバイスの例には、けん引およびレンタルシステムコンピューティングデバイス２３０、フリート管理システムコンピューティングデバイス２３２、顧客関係管理コンピューティングデバイス２３４、発注およびパーツシステムコンピューティングデバイス２３６、および気象データシステムコンピューティングデバイス２３８などが含まれる。
【００７５】
いくつかの例において、操作者デバイス１０４は、スマートフォンコンピューティングデバイス、タブレットコンピューティングデバイス、ウェアラブルコンピューティングデバイス、拡張現実コンピューティングデバイス、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、および電子制御ユニットなどの埋め込みコンピューティングデバイスなどを含む、ネットワークにわたって通信することができる任意の種類のコンピューティングデバイスでもよい。操作者デバイスがそのようなコンピューティングデバイスである場合、操作者デバイス１０４は、１つまたは複数のプロセッサ２４２、１つまたは複数の通信インターフェース２４４および１つまたは複数のコンピュータ可読媒体２４６を含むことができる。例えば、プロセッサ２４２は、サービスコンピューティングデバイス１０２に関して上記に説明したプロセッサ２０２のうちのいずれかでもよく、通信インターフェース２４４は、サービスコンピューティングデバイス１０２に関して上記に説明した通信インターフェース２０４のうちのいずれかでもよく、コンピュータ可読媒体２４６は、サービスコンピューティングデバイス１０２に関して上記に説明したコンピュータ可読媒体２０６のうちのいずれかでもよい。
【００７６】
コンピュータ可読媒体２４６は、それに記憶された、上記に説明した操作者デバイス１０４の機能を実施するために１つまたは複数のプロセッサ２４２によって実行可能な、クライアントアプリケーション２４８を含むことができる。さらに、いくつかの例において、操作者デバイスは、マイクロフォン２５０、スピーカ２５２、カメラ２５４、ディスプレイ２５６、ＧＰＳ受信機２５８、および１つまたは複数のセンサ２６０などの様々な追加の構成部品を含むことができる。センサ２６０の例には、加速度計、ジャイロスコープ、コンパス、近接センサまたは当業者に知られている様々な他のセンサのうちのいずれかが含まれる可能性がある。さらに、この例では、プロセッサおよび実行可能コードを含むコンピューティングデバイスであるものとして操作者デバイス１０４を示すが、他の例では、操作者デバイスは、インターコムなどの場合になど、マイクロフォンおよびスピーカを含むことができる。
【００７７】
技能者デバイス１０８は、操作者デバイス１０４に対して上記に説明したものと同様のハードウェア構成を有することができ、またはいくつかの例において、拡張現実ゴーグルの場合になど、異なることができる。技能者デバイス１０８は、クライアントアプリケーション２６４を含むことができ、それはクライアントアプリケーション２４８と同じかまたは同様でもよく、またはそれは、例えば、図１に関して上記に説明したように、技能者１１２によって実施される異なる機能を可能にするためにクライアントアプリケーション２４８と異なってもよい。さらに、場合によっては、クライアントアプリケーション２６４は、本明細書におけるシステムサービスによって提供されるウェブサイトにアクセスするためのブラウザでもよい。
【００７８】
設備１１４は、１つまたは複数のプロセッサ２７２と、１つまたは複数の通信インターフェース２７４と、１つまたは複数のコンピュータ可読媒体２７６とを含むことができ、またはそれらに関連付けられていてもよい。例えば、プロセッサ２４２は、サービスコンピューティングデバイス１０２に関して上記に説明したプロセッサ２０２のうちのいずれかでもよく、通信インターフェース２４４は、サービスコンピューティングデバイス１０２に関して上記に説明した通信インターフェース２０４のうちのいずれかでもよく、コンピュータ可読媒体２４６は、サービスコンピューティングデバイス１０２に関して上記に説明したコンピュータ可読媒体２０６のうちのいずれかでもよい。さらに、車両などのいくつかの種類の設備に対して、１つまたは複数のプロセッサ２７２は、設備１１４に含まれる１つまたは複数の電子制御ユニットまたは他の種類の埋め込みプロセッサを含むことができる。
【００７９】
コンピュータ可読媒体２７６は、例えば、図１に関して上記に説明した設備１１４の機能を実施するために、１つまたは複数のプロセッサ２７２によって実行することができる設備アプリケーション２７８などの１つまたは複数の機能構成要素を含むことができる。場合によっては、設備アプリケーション２７８は、センサデータを１つまたは複数のセンサ２８０から転送するためのファームウェアでもよく、またはそれを含むことができる。他の場合では、設備アプリケーション２７８は、センサ２８０から受け取ったセンサデータを分析するためのなど、分析機能を含むことができる。場合によっては、設備アプリケーション２７８は、センサデータの画像処理を実施することができ、設備アプリケーション２７８が設備１１４に関する異常、故障、または他の問題を検出した場合に、事象通知をサービスコンピューティングデバイス１０２に送ることができる。
【００８０】
さらに、設備１１４は、１つまたは複数のアクチュエータ２８２を含むことができる。例えば、１つまたは複数のアクチュエータ２８２は、設備１１４の少なくとも一部分を制御するためになど、１つまたは複数の制御信号によって遠隔作動させることができる。上述のように、場合によっては、およびいくつかの種類の設備１１４に対しては、管理プログラム１２２は、修理が必要とされ、重症度が高度である場合になど、設備１１４を遮断し、または他の方法で設備１１４の１つまたは複数の機能を制御するためになど、制御信号を１つまたは複数のアクチュエータ２８２に送ることができる。
【００８１】
システムサービス１２０は、ＡＩサービス１２４、デバイス１０４および１０８、設備１１４、および外部システムコンピューティングデバイス１１６との通信に１つまたは複数のＡＰＩを採用することができる。本明細書におけるいくつかの実装形態によるＡＰＩの一例として、ＲＥＳＴ  ＡＰＩを説明するが、しかし、本明細書における実装形態は任意の特定のＡＰＩ、通信プロトコル、または通信形式などに限定されない。
【００８２】
設備１１４、操作者１１０によって使用される操作者デバイス１０４、または技能者１１２によって使用される技能者デバイス１０８が通信を管理プログラム１２２に送ったとき、システム管理プログラム２０８は、通信を受け取ることができ、他のプログラム、コンピューティングデバイスおよびサービスの間の通信を分析、送出、記憶、または調整することのうちの少なくとも１つを実施することができる。例えば、システム管理プログラム２０８は、正しいタスクの実行を確実にするために設備１１４、操作者デバイス１０４、技能者デバイス１０８、外部システムコンピューティングデバイス１１６、およびＡＩサービス１２４を実時間で接続することによってなど、システム２００全体を統合するハブとして働くことができる。
【００８３】
一例として、要求または他の入力がシステムサービス１２０によって受け取られたとき、システム管理プログラム２０８は、以下のように実行を調整することができる。すなわち、ａ）情報を処理する、ｂ）１つまたは複数の外部コンピューティングデバイス１１６からの利用可能な追加の情報が要求された場合、要求を外部コンピューティングデバイス１１６のうちの１つまたは複数に送る、ｄ）設備履歴データ構造１３０または他の適切なデータ構造などの関連した情報を記憶する、ｅ）システム管理プログラム２０８は、関連情報をＡＩサービス管理プログラム２１４に送ることができる、ｆ）ＡＩサービス管理プログラム２１４は、受け取った情報を処理し、受け取った情報をＡＩサービスプログラム１２６に送ることができ、ＡＩサービスプログラム１２６は、適切なＭＬＭなどを起動することができる、ｇ）ＡＩサービスプログラム１２６は、ＡＩ出力をＡＩサービス管理プログラム２１４に戻すことができ、ＡＩサービス管理プログラム２１４は、ＡＩ出力をシステム管理プログラム２０８に転送する、ｈ）ＡＩサービス管理プログラム２１４またはシステム管理プログラム２０８は、当該設備に関連した１つまたは複数の設備履歴データ構造１３０にＡＩ出力を記憶することができる、ｉ）システム管理プログラム２０８は、少なくとも部分的にＡＩ出力１４４に基づいて応答を生成することができ、応答を１つまたは複数の電子通信として適切なデバイスおよび／または設備に送ることができる。
【００８４】
したがって、本明細書における例は、音声相互作用を使用して、設備の管理および保守にＡＩおよび機械学習を使用する分散型コンピューティングシステムを提供する。音声データ入力は、操作者が現場で設備を使用している間、操作者から自然言語で受け取ることができる。システム２００は、明瞭で容易に理解されるように適合された自然言語を使用して、現場で実時間音声フィードバック命令を操作者に提供することができる。命令は、使用の環境、設備状態および履歴、操作者の技術、操作者によって行われたコメント、ならびに操作者によって示された任意の検出された感情を検討して操作者に適合させることができる。
【００８５】
さらに、システムは、詳細な命令を作成し、技能者に送ることができ、それは、修理される構成部品、使用されるパーツまたはツール、および／または設備を修理するために実施される行動を識別することを含むことができ、その一方で技術および技能者から受け取った任意のコメントを検討することができる。システムは、修理サイトにおいて段階的命令を技能者に提供することができ、それは、修理時間および技能者の生産性を改善するためにＡＩおよび機械学習と、音声命令と、ＡＲ出力との組合せを採用することができる。システムは、外部システム、設備からのセンサデータ、現場の操作者から受け取ったデータなどの様々な発生源から受け取ったデータを統合し、このデータを技能者による使用のために保守修理サイトに提供することができ、それによって、継ぎ目のないエンドツーエンドの体験を可能にすることができる。したがって、システムは、ユーザが音声をＡＩシステムの入力および出力として使用することによって、ハンズフリーのやり方で設備に関するコメントを提供することを可能にする。したがって、本明細書における実装形態は、人間が互いに相互作用するやり方と同様のやり方で音声通信の使用を通じてＡＩシステムにおけるシステムの有用性を改善し、ユーザの関与を改善し、およびユーザの信頼性を改善する。
【００８６】
システムサービス１２０の追加の説明を図１１〜１４に関して以下に説明する。さらに、以下に説明する図５〜１０のデータ構造は、システム管理プログラム２０８が情報を収集して、その動作を豊かにすることを可能にするために、システム管理プログラム２０８によって外部システムコンピューティングデバイス１１６から得ることができるデータおよびスキーマスニペットの例を記載する。
【００８７】
図３は、いくつかの実装形態による、行動命令概要を示すデータ構造例３００を示す。例えば、データ構造３００は、例えば、図１に関して上記に説明したように、本明細書におけるシステム１００のいくつかの例に対する可能なシステム結果を示すことができる。この例におけるデータ構造３００は、イニシエータ３０２と、入力の種類３０４と、出力の種類３０６と、重症度３０８と、行動命令の種類３１０とを含む。
【００８８】
３１２に示すように、イニシエータ３０２が操作者である場合、入力の種類３０４は所見、苦情、または報告などのコメントでもよく、出力の種類３０６は操作者に提供される音声による理解しやすい自然言語命令でもよく、重症度３０８は高度、中等度、または低度のうちの１つでもよく、行動命令の種類３１０は無視、応急処置、または修理でもよい。さらに、３１４に示すように、イニシエータ３０２が設備である場合、入力の種類３０４は、センサデータおよび／または事象通知でもよく、出力の種類３０６は操作者への音声による理解しやすい自然言語命令および／または設備への制御信号でもよく、重症度３０８は高度、中等度、または低度のうちの１つでもよく、行動命令の種類３１０は、無視、応急処置、または修理のうちの１つでもよい。
【００８９】
図４は、いくつかの実装形態による、技能者に対する詳細な行動命令を含むデータ構造例４００を示す。例えば、図１に関して上記に説明したように、データ構造４００は、設備故障または他の設備問題などの事象の指示を含むことができる。データ構造４００は、識別された構成部品が正しい、信頼水準パーセント４０６とともに、事象が検出されているシステムなどの構成部品４０４の識別をさらに含むことができる。データ構造４００は、識別されたパーツが問題として正しく識別されている信頼の水準を示す信頼水準パーセント４１０とともに、故障していると予測される、または他の場合で修理を必要とするパーツなどのパーツ４０８の指示をさらに含むことができる。さらに、データ構造４００は、この問題に対処することに対して、選択された行動が正しい行動である信頼の水準を示す信頼水準４１４とともに行動の種類４１２を含むことができる。
【００９０】
図示する例において、第１の事象４０２は、４１６に示すように、水ポンプ漏れでもよく、システムは、漏れが冷却系によってもたらされていることに１００パーセント信頼している。システムは、パーツが水ポンプ組立品であることにさらに１００パーセント信頼しており、システムは、正しい行動は水ポンプ組立品を交換することであることに９５パーセント信頼している。同様に、第２の事象が、４１８に示すようにエンジン騒音であり、その場合、構成部品は、１００パーセントの信頼度で発電装置系に含まれており、システムは、パーツがエンジン組立品パーツに含まれていることに９０パーセント信頼している。さらに、システムは、正しい行動はエンジン騒音の原因を診断することであることに８５パーセント信頼している。
【００９１】
図５は、いくつかの実装形態による、設備識別子（ＩＤ）に対するフリート管理データを示すデータ構造例５００を示す。この例では、データ構造５００は、設備を識別するための設備サンプルデータと、フリート管理外部システムからのスキーマスニペットとを含む。図示する例において、データ構造５００は、設備ＩＤ５０２、製造者５０４、モデル５０６、年式５０８、設備がリースされているか否かの指示５１０、総走行距離５１２、およびエンジンサイズ５１４などを含む。したがって、データ構造５００は、設備ＩＤ５０２に対応する特定の設備の様々な属性を識別するためにシステムサービスによって使用することができる。
【００９２】
図６は、いくつかの実装形態による、操作者に対する顧客関係管理データを含むデータ構造例６００を示す。この例では、データ構造６００は、操作者サンプルデータと、顧客関係管理外部システムからのスキーマスニペットとを含む。図示する例において、データ構造６００は、操作者ＩＤ６０２と、名６０４と、姓６０６と、免許証番号６０８と、経験程度６１０とを含む。したがって、データ構造６００は、操作者ＩＤ６０２に対応する特定の操作者に関する様々な情報を決定するためにシステムサービスによって使用することができる。
【００９３】
図７は、いくつかの実装形態による、修理サイトフリート管理データを示すデータ構造例７００を示す。この例では、データ構造７００は、修理サイトサンプルデータと、修理サイトに対するフリート管理外部システムからのスキーマスニペットとを含む。図示する例において、データ構造７００は、修理サイト識別子７０２と、修理サイト名７０４と、修理サイトのある都市７０６と、修理サイトのＧＰＳ緯度７０８と、修理サイトのＧＰＳ経度７１０とを含む。したがって、データ構造７００は、修理サイトＩＤ７０２に対応する特定の修理サイトに関する様々な情報を決定するためにシステムサービスによって使用することができる。
【００９４】
図８は、いくつかの実装形態による、気象サンプルデータを示すデータ構造例８００を示す。この例では、データ構造８００は、気象サンプルデータと、気象データ外部システムからのスキーマスニペットとを含む。図示する例において、データ構造８００は、位置ＩＤ８０２と、温度８０４と、湿度８０６と、視程８０８と、状態８１０とを含む。したがって、データ構造８００は、位置ＩＤ８０２に対応する特定の位置における気象に関する様々な情報を決定するためにシステムサービスによって使用することができる。
【００９５】
図９は、いくつかの実装形態による、パーツデータを示すデータ構造例９００を示す。この例では、データ構造９００は、パーツサンプルデータと、発注およびパーツ外部システムからのスキーマスニペットとを含む。図示する例において、データ構造９００は、パーツＩＤ９０２と、パーツ名称９０４と、パーツ供給業者９０６と、パーツ説明９０８と、パーツに対応する構成部品／組立品９１０と、パーツの在庫一覧表９１２とを含む。したがって、データ構造９００は、対応するパーツＩＤ９０２によって指示されるように、選択されたパーツに関する様々な情報を決定するためにシステムサービスによって使用することができる。
【００９６】
図１０は、いくつかの実装形態による、技能者情報を示すデータ構造例１０００を示す。この例では、データ構造１０００は、技能者サンプルデータと、フリート管理外部システムからのスキーマスニペットとを含む。図示する例において、データ構造１０００は、技能者ＩＤ１００２と、名１００４と、姓１００６と、技術レベル１００８と、専門家識別１０１０と、技術一覧表１０１２とを含む。したがって、システムサービスは、技能者ＩＤ１００２に対応する技能者に関する情報を決定するためにデータ構造１０００を使用することができる。
【００９７】
図１１〜１４は、いくつかの実装形態による、プロセス例を示す流れ図である。プロセスは、論理的な流れ図におけるブロックの集合体として示し、それは業務のシーケンスを表し、その一部または全部は、ハードウェア、ソフトウェアまたはその組合せで実装することができる。ソフトウェアの文脈で、ブロックは、１つまたは複数のプロセッサによって実行されたとき、列挙された動作をプロセッサが実施するようにプログラムする１つまたは複数のコンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を表すことができる。一般に、コンピュータ実行可能命令は、特定の機能を実施し、または特定のデータの種類を実施するルーチン、プログラム、オブジェクト、構成要素、およびデータ構造などを含む。ブロックが説明される順序は、限定とみなしてはならない。任意の数の説明されたブロックは、プロセスまたは代替プロセスを実施するために、任意の順序でおよび／または並行して組み合わせることができ、ブロックのすべてを実行する必要はない。説明のために、プロセスは、本明細書における例において説明された環境、フレームワーク、およびシステムを参照して説明されるが、プロセスは、実に様々な他の環境、フレームワーク、およびシステムに実装することができる。
【００９８】
図１１は、いくつかの実装形態による、音声入力をデバイスから受け取り、オーディオ言語出力を返答として提供するためのプロセス例１１００を示す流れ図である。いくつかの例において、プロセス１１００は、プロセス１１００において説明された動作のうちの少なくとも一部を実施するために管理プログラム１２２を実行することによってサービスコンピューティングデバイス１０２の１つまたは複数のプロセッサによって実施することができる。
【００９９】
１１０２において、コンピューティングデバイスは、設備、操作者デバイス、または技能者デバイスから入力を受け取ることができる。
【０１００】
１１０４において、コンピューティングデバイスは、外部システムコンピューティングデバイスのうちの１つまたは複数から情報を得るかどうかを決定することができる。そうである場合、プロセスは１１０６に進む。そうでない場合、プロセスは１１０８に進む。
【０１０１】
１１０６において、コンピューティングデバイスは、受け取った入力に関連した情報を得るために１つまたは複数の外部システムに要求を送ることができる。
【０１０２】
１１０８において、コンピューティングデバイスは、設備に関連した情報を得るために１つまたは複数のデータ構造にアクセスすることができる。
【０１０３】
１１１０において、コンピューティングデバイスは、受け取った入力に関連した情報、外部システムからの情報、およびデータ構造からの情報をＡＩサービスプログラムに送ることができる。
【０１０４】
１１１２において、コンピューティングデバイスは、機械学習モデルのうちの１つまたは複数によって少なくとも部分的に決定されたように、受け取った入力への応答を示すＡＩ出力をＡＩサービスプログラムから受け取ることができる。
【０１０５】
１１１４において、コンピューティングデバイスは、受け取ったＡＩ出力に基づいて設備、操作者デバイス、または技能者デバイスに対する行動および／または命令を決定することができる。
【０１０６】
１１１６において、コンピューティングデバイスは、受け取ったＡＩ出力に基づいて外部システムメッセージを送るかどうかを決定することができる。そうである場合、プロセスは１１１８に進む。そうでない場合、プロセスは１１２０に進むことができる。
【０１０７】
１１１８において、コンピューティングデバイスは、外部従属構成要素に通信を送ることができる（例えば、サービスをスケジュールする、パーツを発注するなど）。
【０１０８】
１１２０において、コンピューティングデバイスは、操作者デバイスまたは技能者デバイスに対する命令を作成することができる。さらに、または代替案として、場合によっては、コンピューティングデバイスは、設備に送る制御信号を決定することができる。
【０１０９】
１１２２において、コンピューティングデバイスは、命令をテキストからオーディオ言語ファイルに変換することができる。
【０１１０】
１１２４において、コンピューティングデバイスは、オーディオ言語ファイルを操作者デバイスまたは技能者デバイスに送ることができる。さらに、または代替案として、いくつかの例において、コンピューティングデバイスは、制御信号を設備に送ることができる。
【０１１１】
図１２は、いくつかの実装形態による、操作者デバイスまたは設備からの入力に応答するためのプロセス例１２００を示す流れ図である。いくつかの例において、プロセス１２００は、プロセス１２００において説明される動作のうちの少なくとも一部を実施するための管理プログラム１２２を実行することによって、サービスコンピューティングデバイス１０２の１つまたは複数のプロセッサによって実施することができる。
【０１１２】
１２０２において、コンピューティングデバイスは、音声入力および／またはテキスト、画像、動画および／またはサウンドを操作者デバイスから受け取ることができる。
【０１１３】
１２０４において、コンピューティングデバイスは、設備および操作者を識別することができ、識別された操作者に対する感情認識ＭＬＭを取り出すことができる。いくつかの例において、操作者デバイスは、設備の識別を音声入力を送るデバイスを識別する簡単なことにするために、設備に関連付けることができる。しかし、他の例では、設備は、操作者を識別し、識別された操作者に割り当てられた設備を識別するフリート管理システムなどの外部システムコンピューティングデバイスに要求を送った後にしか識別されない可能性がある。
【０１１４】
１２０６において、コンピューティングデバイスは、音声をテキストに変換し、感情を検出し、他の受け取った情報とともに、設備に関連した１つまたは複数のデータ構造に記憶することができる。
【０１１５】
１２０８において、コンピューティングデバイスは、センサデータおよび／または、エッジ処理の場合、事象通知を設備から受け取ることができる。
【０１１６】
１２１０において、コンピューティングデバイスは、センサデータおよび／または事象通知を設備に関連したデータ構造に記憶することができる。
【０１１７】
１２１２において、コンピューティングデバイスは、図１１のブロック１１０４〜１１２０を実施することができる。
【０１１８】
１２１４において、コンピューティングデバイスは、制御信号を設備に送るかどうかを決定することができる。例えば、設備が安全に遠隔制御される可能性があり、設備、人、または財産に対するそれ以上の損傷を防止するためになど、設備を制御する緊急の必要性がある場合、コンピューティングデバイスは、設備を制御するための制御信号を送ることを決定することができる。
【０１１９】
１２１６において、コンピューティングデバイスは、設備を制御するために制御信号を送ることができる。さらに、プロセスは分割することができ、コンピューティングデバイスは、設備を遠隔制御する理由について操作者に知らせるために制御信号を送ると同時にブロック１２３２〜１２３６の動作を実施することもできる。プロセスは、ブロック１２１８に進むこともできる。
【０１２０】
１２１８において、コンピューティングデバイスは、設備を修理するためのパーツを発注するかどうかを決定することができる。
【０１２１】
１２２０において、パーツが設備を修理するために発注される場合、コンピューティングデバイスは、パーツ発注要求を外部システム、例えば、図２に関して上記に説明した発注およびパーツシステムコンピューティングデバイス２３６に送ることができる。
【０１２２】
１２２２において、コンピューティングデバイスは、設備の保守をスケジュールするときに使用することができる、パーツの入手可能性のタイミングの指示を受け取ることができる。
【０１２３】
１２２４において、コンピューティングデバイスは、設備の保守をスケジュールするかどうかを決定することができる。
【０１２４】
１２２６において、コンピューティングデバイスは、図２に関して上記に説明したフリート管理システムコンピューティングデバイス２３２などの外部システムに保守−スケジューリング要求を送ることができる。
【０１２５】
１２２８において、コンピューティングデバイスは、保守スケジュール情報および技能者情報を受け取ることができる。
【０１２６】
１２３０において、コンピューティングデバイスは、スケジュールされた技能者の技能者デバイスに対して、操作者から受け取ったＡＩ出力、操作者コメントおよび他の情報ならびに保守がスケジュールされている設備の設備履歴を送ることができる。
【０１２７】
１２３２において、コンピューティングデバイスは、操作者デバイスに送る命令を作成することができる。例えば、命令は、スケジュールされた場所および時間などにおける保守のために設備を配送するように操作者に命令することができる。
【０１２８】
１２３４において、コンピューティングデバイスは、命令をテキストからオーディオ言語ファイルに変換することができる。例えば、管理プログラムは、テキストを自然言語オーディオに変換するための任意の従来のテキスト音声化プログラムを使用することができる。
【０１２９】
１２３６において、コンピューティングデバイスは、操作者に対する命令を再生し、または他の方法で提示することができるオーディオ言語ファイルを操作者デバイスに送ることができる。
【０１３０】
図１３は、いくつかの実装形態による、技能者デバイスから受け取った入力に応答するためのプロセス例１３００を示す流れ図である。いくつかの例において、プロセス１３００は、プロセス１３００において説明された動作のうちの少なくとも一部を実施するための管理プログラム１２２を実行することによって、サービスコンピューティングデバイス１０２の１つまたは複数のプロセッサによって実施することができる。
【０１３１】
１３０２において、コンピューティングデバイスは、技能者デバイスから音声入力および修理される設備を識別する情報を受け取ることができる。
【０１３２】
１３０４において、コンピューティングデバイスは、技能者を識別し、識別された技能者に対して前に生成された特注された音声／感情認識ＭＬＭを取り出すことができる。一例として、技能者は、ログインＩＤまたはユーザ名などを通してなど、技能者デバイス上のクライアントアプリケーションを通して識別することができる。
【０１３３】
１３０６において、コンピューティングデバイスは、音声をテキストに変換し、感情を検出し、技能者によって修理される設備に関連したデータ構造に記憶することができる。
【０１３４】
１３０８において、コンピューティングデバイスは、技能者デバイスから受け取った入力を使用して図１１のブロック１１０４〜１１２０を実施することができる。
【０１３５】
１３１０において、コンピューティングデバイスは、技能者が拡張現実（ＡＲ）対応デバイスを使用しているかどうかを決定することができる。そうである場合、プロセスは１３１２に進む。そうでない場合、プロセスは１３１６に進む。一例として、コンピューティングデバイスは、技能者デバイスのＡＲ機能を決定するために技能者デバイス上で実行するクライアントアプリケーションと通信することができる。
【０１３６】
１３１２において、コンピューティングデバイスは、修理プロセスに対するＡＲオブジェクト取り出すことができる。例えば、ＡＲオブジェクトは、技能者によって実施される修理プロセスに対してあらかじめ生成されていた可能性がある。ＡＲオブジェクトの例には、修理のステップの一部または全部の間に命令を提供するためのＡＲテキスト、ＡＲ  ２Ｄおよび３Ｄ画像、およびＡＲ動画などが含まれる可能性がある。
【０１３７】
１３１４において、コンピューティングデバイスは、修理プロセスの各ステップにおいて、対応するＡＲオブジェクトをＡＲデバイスに送ることができる。
【０１３８】
１３１６において、コンピューティングデバイスは、修理プロセスにおける次のステップの命令を音声出力として技能者デバイスに送ることができる。さらに、コンピューティングデバイスは、修理プロセスの各ステップの詳細な命令を提供するための画像、テキスト、動画、およびＡＲオブジェクトなどを送ることもできる。
【０１３９】
１３１８において、コンピューティングデバイスは、修理プロセスの間に技能者デバイスから音声入力を受け取ることができる。
【０１４０】
１３２０において、コンピューティングデバイスは、音声をテキストに変換し、感情を検出し、技能者によって修理されている設備に関連したデータ構造に記憶することができる。
【０１４１】
１３２２において、コンピューティングデバイスは、音声入力に応答して、音声出力としてなど、応答を提供するために、技能者デバイスから受け取った入力を使用して図１１のブロック１１０４〜１１２４を実施することができる。
【０１４２】
１３２４において、コンピューティングデバイスは、修理プロセスが完了したかどうかを決定することができる。そうである場合、プロセスは１３２６に進む。そうでない場合、修理プロセスにおける次のステップを技能者に音声出力として送るためにプロセスは１３１６に進む。
【０１４３】
１３２６において、修理プロセスが完了したことを決定することに基づいて、コンピューティングデバイスは、修理が完了したことを示す音声出力を技能者デバイスに送ることができる。
【０１４４】
１３２８において、コンピューティングデバイスは、修理完了時間に関連した情報、技能者の識別、および実施された修理プロセスを１つまたは複数の設備履歴データ構造に記憶することができる。したがって、本明細書におけるシステムは、設備の予防保守および／または修理の命令を決定するために１つまたは複数の機械学習モデルを実行する人工知能サービスにアクセスする統合システムを提供する。さらに、システムは、保守および／または修理の１つまたは複数の命令を決定するための継ぎ目のないエンドツーエンドのユーザ体験を可能にするために、１つまたは複数の外部コンピューティングデバイスから受け取った情報と、設備および／または設備操作者から受け取った情報と、設備修理サイトから受け取った情報とを統合することができる。
【０１４５】
図１４は、いくつかの実装形態による、受け取った音声入力における感情を検出するためのプロセス例１４００を示す流れ図である。いくつかの例において、プロセス１４００は、管理プログラム１２２を実行することによってサービスコンピューティングデバイス１０２の１つまたは複数のプロセッサによって実施することができ、管理プログラム１２２は、プロセス１４００において説明した動作の少なくとも一部を実施するために音声および／または感情認識プログラム１２８を起動することができる。
【０１４６】
１４０２において、コンピューティングデバイスは、操作者または技能者デバイスから音声入力を受け取ることができる。
【０１４７】
１４０４において、コンピューティングデバイスは、音声学習モードを適用するかどうかを決定することができる。例えば、コンピューティングデバイスは、音声入力を提供する人の識別を決定することができ、その人に対する既存の感情認識機械学習モデル（ＭＬＭ）があるかどうかを決定することができる。そうである場合、プロセスは１４２２に進む。そうでない場合、プロセスは１４０６に進む。
【０１４８】
１４０６において、コンピューティングデバイスは、特定の人への感情認識に対してモデルを学習させるために音声および／または感情認識プログラム上に学習モードを呼び出すことができる。
【０１４９】
１４０８において、コンピューティングデバイスは、音声および／または感情認識プログラムから受け取った語句の一覧表を操作者または技能者デバイスに送ることができる。語句の一覧表は、通常の、および怒り、不満も抱えた、または他の通常でない感情など、いくつかの異なるやり方で語句のそれぞれを言うように個人に命令することができる。
【０１５０】
１４１０において、コンピューティングデバイスは、操作者または技能者デバイスから語句の一覧表に対応する音声入力を受け取ることができる。
【０１５１】
１４１２において、コンピューティングデバイスは、受け取った音声入力を音声／感情認識プログラムに提供することができ、音声／感情認識プログラムは、音声入力から特徴を抽出する。
【０１５２】
１４１４において、コンピューティングデバイスは、受け取った、語句の一覧表に対応する音声入力に基づいて、個人に合わせて特注された感情認識ＭＬＭを学習させることができる。例えば、抽出した特徴は、感情認識ＭＬＭを個人向けに学習させるのに使用することができる。
【０１５３】
１４１６において、コンピューティングデバイスは、感情認識ＭＬＭおよび関連したメタデータを記憶することができる。
【０１５４】
１４１８において、コンピューティングデバイスは、学習が完了したかどうか、または、さらに学習させる感情があるかどうかを決定することができる。学習が完了していない場合、追加の語句および命令をデバイスに送るために、プロセスは１４０８に戻ることができる。学習が完了した場合、プロセスは１４２０に進む。
【０１５５】
１４２０において、コンピューティングデバイスは、学習が完了したこと、およびモデルを個人の感情認識に使用できることを決定することができる。
【０１５６】
１４２２において、コンピューティングデバイスは、話者を識別し、識別された個人に対する、対応する感情認識ＭＬＭを取り出すことができる。
【０１５７】
１４２４において、コンピューティングデバイスは、受け取った音声入力から特徴を抽出することができる。
【０１５８】
１４２６において、コンピューティングデバイスは、抽出した特徴を、識別された操作者または技能者の感情認識ＭＬＭに入力することができる。
【０１５９】
１４２８において、コンピューティングデバイスは、受け取った音声に関連付けられた感情を示す感情認識ＭＬＭの出力を受け取ることができる。
【０１６０】
１４３０において、コンピューティングデバイスは、感情認識ＭＬＭの出力が通常の感情状態を示しているかどうかを決定することができる。例えば、通常でない感情状態は、怒り、不満、または不安などを含むことができる。
【０１６１】
１４３２において、コンピューティングデバイスは、検出された感情を考慮せずに通常のプロセスを使用して命令を生成することができる。
【０１６２】
１４３４において、コンピューティングデバイスは、検出された、通常でない感情を考慮に入れた命令を生成することができる。例は図１に関して上記に説明されている。
【０１６３】
１４３６において、コンピューティングデバイスは、音声入力を送った操作者または技能者デバイスに命令を音声出力として送ることができる。
【０１６４】
本明細書に説明するプロセス例は、説明のために提供されたプロセスの例に過ぎない。本明細書における開示に照らせば、数多くの他の変更形態が当業者には明らかであろう。さらに、本明細書における開示がプロセスを実行するための適切なシステム、アーキテクチャおよび環境のうちのいくつかの例を記載するが、本明細書における実装形態は、図示し、説明した特定の例に限定されない。さらに、本開示は、図面に説明し、例示するように、様々な実装形態例を提供する。しかし、本開示は、本明細書において説明し、例示した実装形態に限定されないが、当業者に知られているように、または知られることとなったように、他の実装形態に拡大することができる。
【０１６５】
本明細書に説明した様々な命令、プロセス、および技法は、コンピュータ可読媒体上に記憶されたプログラムなど、コンピュータ実行可能命令の一般的な文脈で検討し、本明細書におけるプロセッサによって実行することができる。一般に、プログラムは、特定のタスクを実行し、または特定の抽象データ型を実施するためのルーチン、モジュール、オブジェクト、構成要素、データ構造、実行可能コードなどを含む。これらのプログラムなどは、仮想機械または他の実行時コンパイル実行環境においてなど、ネイティブコードとして実行することができ、またはダウンロードし、実行することができる。典型的には、プログラムの機能は、様々な実装形態において所望の通りに組み合わせ、または分散させることができる。これらのプログラムおよび技法の実装形態は、コンピュータ記憶媒体上に記憶し、またはある形の通信媒体にわたって伝送することができる。
【０１６６】
主題を構造的特徴および／または方法論的動作に特有の言語で説明してきたが、添付の特許請求の範囲に定義される主題は、説明した具体的な特徴または動作に必ずしも限定されないと理解されたい。むしろ、具体的な特徴および動作は、特許請求の範囲を実施する形態例として開示される。
【図１】
2020038603.tif 000002
【図２】
2020038603.tif 000003
【図３】
2020038603.tif 000004
【図４】
2020038603.tif 000005
【図５】
2020038603.tif 000006
【図６】
2020038603.tif 000007
【図７】
2020038603.tif 000008
【図８】
2020038603.tif 000009
【図９】
2020038603.tif 000010
【図１０】
2020038603.tif 000011
【図１１】
2020038603.tif 000012
【図１２】
2020038603.tif 000013
【図１３】
2020038603.tif 000014
【図１４】
2020038603.tif 000015