(57)【要約】      （修正有）【課題】ユーザから音声で指示を受け付ける場合、ユーザ毎の発音の違いや周囲の外乱等により、同じ言葉の音声認識結果が異なることのないシステム、方法、及びプログラムを提供する。【解決手段】作業者の頭部に装着されるウェアラブル端末によって取得された音声からウェアラブル端末に対する指示を特定するためのシステムであって、ウェアラブル端末１０は、作業者の音声を取得する音声取得部と、作業者の音声の音声認識によって得られた文字列を取得する認識結果取得部と、ウェアラブル端末に対する指示と複数の文字列とを対応づける対応情報を記憶する対応情報記憶部と、対応情報によって認識結果取得部が取得した文字列に対応づけられている指示を、ウェアラブル端末に対する指示として特定する指示特定部とを備える。【選択図】図２
2019203987.tif 000002
【特許請求の範囲】
【請求項１】
作業者の頭部に装着されるウェアラブル端末によって取得された音声から前記ウェアラブル端末に対する指示を特定するためのシステムであって、
前記作業者の音声を取得する音声取得部と、
前記作業者の音声の音声認識によって得られた文字列を取得する認識結果取得部と、
前記ウェアラブル端末に対する指示と複数の文字列とを対応づける対応情報を記憶する対応情報記憶部と、
前記対応情報によって前記認識結果取得部が取得した前記文字列に対応づけられている指示を、前記ウェアラブル端末に対する指示として特定する指示特定部と
を備えるシステム。
【請求項２】
前記ウェアラブル端末は、複数の作業項目のそれぞれに関連づけられた画像を前記作業者に提供し、
前記対応情報記憶部は、前記複数の作業項目のそれぞれの作業項目に対応づけて、それぞれの作業項目に関連づけられた画像が前記作業者に提供されているときに入力されるべき指示を複数の文字列に対応づける対応情報を記憶し、
前記指示特定部は、前記ウェアラブル端末を通じて前記作業者に提供されている画像が関連づけられた作業項目に対応づけて前記対応情報記憶部が記憶している前記対応情報によって前記認識結果取得部が取得した前記文字列と対応づけられている指示を、前記ウェアラブル端末に対する指示として特定する
請求項１に記載のシステム。
【請求項３】
指示の一覧を提示する指示に応じて、前記ウェアラブル端末を通じて前記作業者に提供されている画像が関連づけられた作業項目に対応づけて前記対応情報によって対応づけられている複数の前記指示の一覧を、前記作業者に提示する指示提示制御部
をさらに備える請求項２に記載のシステム。
【請求項４】
前記複数の作業項目のそれぞれについて、それぞれの作業項目に関連づけられた画像が前記作業者に提供されている場合において前記複数の指示が使用された頻度を取得する利用頻度取得部
をさらに備え、
前記指示提示制御部は、前記複数の指示の一覧を前記頻度に応じた順序で前記作業者に提示する
請求項３に記載のシステム。
【請求項５】
前記対応情報によって前記指示に対応づけられている複数の文字列のそれぞれについて、前記指示特定部が特定した指示が前記作業者によって取り消された頻度を取得する取消頻度取得部と、
前記対応情報において、前記取り消された頻度が予め定められた値以上の文字列と前記指示との前記対応づけを無効にする無効化部と
をさらに備える請求項１から４のいずれか一項に記載のシステム。
【請求項６】
複数の人による前記指示の音声の音声認識により得られた複数の文字列を取得し、当該複数の文字列のそれぞれの文字列として音声が認識された人数を文字列毎に集計する集計部と、
前記集計部によって集計された人数に基づいて、前記複数の文字列の中から、前記対応情報において前記指示に対応づけられるべき文字列を選択する選択部と
をさらに備える請求項１から５のいずれか一項に記載のシステム。
【請求項７】
前記音声取得部、前記認識結果取得部、前記対応情報記憶部、及び前記指示特定部は、前記ウェアラブル端末と通信可能なサーバに設けられ、
前記サーバは、前記指示特定部が特定した指示を示す情報を、前記ウェアラブル端末に送信する
請求項１から６のいずれか一項に記載のシステム。
【請求項８】
前記ウェアラブル端末
を備える請求項７に記載のシステム。
【請求項９】
前記ウェアラブル端末は、
前記作業者の音声を取得するマイクと、
前記マイクにより取得された音声を認識して文字列を生成する音声認識部と、
前記対応情報を記憶する記憶部と、
前記サーバと通信可能である場合に、前記マイクにより取得された音声を前記サーバに送信して、前記指示特定部が特定した指示を前記サーバから受信し、前記サーバと通信可能でない場合に、前記記憶部が記憶している前記対応情報によって前記音声認識部が生成した前記文字列に対応づけられている指示を、前記ウェアラブル端末に対する指示として取得する指示取得部と
を備える請求項８に記載のシステム。
【請求項１０】
前記音声取得部、前記認識結果取得部、前記対応情報記憶部、及び前記指示特定部は、前記ウェアラブル端末に設けられる
請求項１から６のいずれか一項に記載のシステム。
【請求項１１】
作業者の頭部に装着されるウェアラブル端末によって取得された音声から前記ウェアラブル端末に対する指示を特定する方法であって、
前記作業者の音声を取得する音声取得段階と、
前記作業者の音声の音声認識によって得られた文字列を取得する認識結果取得段階と、
前記ウェアラブル端末に対する指示と複数の文字列とを対応づける対応情報を記憶する対応情報記憶段階と、
前記対応情報によって前記認識結果取得段階で取得した前記文字列に対応づけられている指示を、前記ウェアラブル端末に対する指示として特定する指示特定段階と
を備える方法。
【請求項１２】
作業者の頭部に装着されるウェアラブル端末によって取得された音声から前記ウェアラブル端末に対する指示を特定するためのシステム用のプログラムであって、コンピュータを、
前記作業者の音声を取得する音声取得部、
前記作業者の音声の音声認識によって得られた文字列を取得する認識結果取得部、
前記ウェアラブル端末に対する指示と複数の文字列とを対応づける対応情報を記憶する対応情報記憶部、
前記対応情報によって前記認識結果取得部が取得した前記文字列に対応づけられている指示を、前記ウェアラブル端末に対する指示として特定する指示特定部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム、方法、及びプログラムに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイを備えるウェアラブル注文端末として、注文受付時に注文内容を含む注文画面をヘッドマウントディスプレイに表示し、注文終了時に注文画面を消去するものが知られている（例えば特許文献１参照）。
特許文献１  特開２０１１−４８４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ユーザから音声で指示を受け付ける場合、ユーザ毎の発音の違いや周囲の外乱等により、同じ言葉の音声認識結果が異なってしまう場合がある。そのため、指示を正しく認識できない場合がある。
【課題を解決するための手段】
【０００４】
第１の態様において、作業者の頭部に装着されるウェアラブル端末によって取得された音声からウェアラブル端末に対する指示を特定するためのシステムが提供される。システムは、作業者の音声を取得する音声取得部を備えてよい。システムは、作業者の音声の音声認識によって得られた文字列を取得する認識結果取得部を備えてよい。システムは、ウェアラブル端末に対する指示と複数の文字列とを対応づける対応情報を記憶する対応情報記憶部を備えてよい。システムは、対応情報によって認識結果取得部が取得した文字列に対応づけられている指示を、ウェアラブル端末に対する指示として特定する指示特定部を備えてよい。
【０００５】
ウェアラブル端末は、複数の作業項目のそれぞれに関連づけられた画像を作業者に提供してよい。対応情報記憶部は、複数の作業項目のそれぞれの作業項目に対応づけて、それぞれの作業項目に関連づけられた画像が作業者に提供されているときに入力されるべき指示を複数の文字列に対応づける対応情報を記憶してよい。指示特定部は、ウェアラブル端末を通じて作業者に提供されている画像が関連づけられた作業項目に対応づけて対応情報記憶部が記憶している対応情報によって認識結果取得部が取得した文字列と対応づけられている指示を、ウェアラブル端末に対する指示として特定してよい。
【０００６】
指示の一覧を提示する指示に応じて、ウェアラブル端末を通じて作業者に提供されている画像が関連づけられた作業項目に対応づけて対応情報によって対応づけられている複数の指示の一覧を、作業者に提示する指示提示制御部をさらに備えてよい。
【０００７】
複数の作業項目のそれぞれについて、それぞれの作業項目に関連づけられた画像が作業者に提供されている場合において複数の指示が使用された頻度を取得する利用頻度取得部をさらに備えてよい。指示提示制御部は、複数の指示の一覧を頻度に応じた順序で作業者に提示してよい。
【０００８】
対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部が特定した指示が作業者によって取り消された頻度を取得する取消頻度取得部を備えてよい。対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする無効化部を備えてよい。
【０００９】
複数の人による指示の音声の音声認識により得られた複数の文字列を取得し、当該複数の文字列のそれぞれの文字列として音声が認識された人数を文字列毎に集計する集計部を備えてよい。集計部によって集計された人数に基づいて、複数の文字列の中から、対応情報において指示に対応づけられるべき文字列を選択する選択部を備えてよい。
【００１０】
音声取得部、認識結果取得部、対応情報記憶部、及び指示特定部は、ウェアラブル端末と通信可能なサーバに設けられてよい。サーバは、指示特定部が特定した指示を示す情報を、ウェアラブル端末に送信してよい。
【００１１】
ウェアラブル端末を備えてよい。
【００１２】
ウェアラブル端末は、作業者の音声を取得するマイクを備えてよい。ウェアラブル端末は、マイクにより取得された音声を認識して文字列を生成する音声認識部を備えてよい。ウェアラブル端末は、対応情報を記憶する記憶部を備えてよい。
ウェアラブル端末は、サーバと通信可能である場合に、マイクにより取得された音声をサーバに送信して、指示特定部が特定した指示をサーバから受信し、サーバと通信可能でない場合に、記憶部が記憶している対応情報によって音声認識部が生成した文字列に対応づけられている指示を、ウェアラブル端末に対する指示として取得する指示取得部を備えてよい。
【００１３】
音声取得部、認識結果取得部、対応情報記憶部、及び指示特定部は、ウェアラブル端末に設けられてよい。
【００１４】
第２の態様においては、作業者の頭部に装着されるウェアラブル端末によって取得された音声からウェアラブル端末に対する指示を特定する方法が提供される。方法は、作業者の音声を取得する音声取得段階を備えてよい。方法は、作業者の音声の音声認識によって得られた文字列を取得する認識結果取得段階を備えてよい。方法は、ウェアラブル端末に対する指示と複数の文字列とを対応づける対応情報を記憶する対応情報記憶段階を備えてよい。方法は、対応情報によって認識結果取得段階で取得した文字列に対応づけられている指示を、ウェアラブル端末に対する指示として特定する指示特定段階を備えてよい。
【００１５】
第３の態様において、作業者の頭部に装着されるウェアラブル端末によって取得された音声からウェアラブル端末に対する指示を特定するためのシステム用のプログラムが提供される。プログラムは、コンピュータを、作業者の音声を取得する音声取得部として機能させてよい。プログラムは、コンピュータを、記作業者の音声の音声認識によって得られた文字列を取得する認識結果取得部として機能させてよい。プログラムは、コンピュータを、ウェアラブル端末に対する指示と複数の文字列とを対応づける対応情報を記憶する対応情報記憶部として機能させてよい。プログラムは、コンピュータを、対応情報によって認識結果取得部が取得した文字列に対応づけられている指示を、ウェアラブル端末に対する指示として特定する指示特定部として機能させてよい。
【００１６】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態における作業支援システム１００の概略的な構成を示す。
【図２】ウェアラブル端末１０の機能ブロック構成を概略的に示す。
【図３】サーバ８０の機能ブロック構成を概略的に示す。
【図４】ウェアラブル端末１０による点検支援処理の全体を示すフローチャートである。
【図５】ログイン画面５００の一例を示す。
【図６】ウェアラブル端末１０によるログイン処理を示すフローチャートである。
【図７】ウェアラブル端末１０による点検支援処理を示すフローチャートである。
【図８】点検画面８００の一例を示す。
【図９】音声コマンド一覧が表示されている状態の点検画面９００の一例を示す。
【図１０】ウェアラブル端末１０において作業者４０から音声で指示を取得する処理を表すフローチャートである。
【図１１】対応情報として記憶される情報をテーブル形式で示す。
【図１２】対応情報を生成するための事前学習データの一例を示す。
【図１３】サーバ８０において作業者４０の指示を特定する処理を表すフローチャートである。
【図１４】対応情報の更新処理を表すフローチャートである。
【図１５】サーバ８０がウェアラブル端末１０から収集した点検結果データに基づく点検結果の表示画面の一例を示す。
【図１６】点検結果データに基づく点検結果の表示画面の他の一例を示す。
【図１７】ウェアラブル端末１０からダウンロードされる点検項目毎の点検結果データの一例を示す。
【図１８】ウェアラブル端末１０からダウンロードされる点検対象毎の点検結果データの一例を示す。
【図１９】ウェアラブル端末１０からダウンロードされる点検項目毎の点検結果データの他の一例を示す。
【図２０】ウェアラブル端末１０からダウンロードされる点検対象毎の点検結果データの他の一例を示す。
【発明を実施するための形態】
【００１８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
図１は、一実施形態における作業支援システム１００の概略的な構成を示す。作業支援システム１００は、サーバ８０と、音声認識サーバ８２と、ウェアラブル端末１０ａ及びウェアラブル端末１０ｂとを備える。ウェアラブル端末１０ａは、作業者４０ａの頭部４２ａに装着される。ウェアラブル端末１０ｂは、作業者４０ｂの頭部４２ｂに装着される。
【００２０】
ウェアラブル端末１０ａ及びウェアラブル端末１０ｂは、同一の構成を有している。ウェアラブル端末１０ａ及びウェアラブル端末１０ｂを総称する場合に、「ウェアラブル端末１０」という場合がある。ウェアラブル端末１０の機能を説明する場合に、ウェアラブル端末１０ａのみを取り上げて説明する場合がある。また、作業者４０ａ及び作業者４０ｂを総称する場合に、「作業者４０」という場合がある。
【００２１】
作業支援システム１００は、ウェアラブル端末１０を通じて作業者４０に画像を提供するためのシステムの一例である。本実施形態では、作業の一例として、点検作業を取り上げて、作業支援システム１００の機能を具体的に説明する。具体的には、作業者４０が設備の点検を行う作業者であるとする。
【００２２】
作業支援システム１００は、作業者４０が行う点検を支援するための画像を提供する。具体的には、作業支援システム１００は、ウェアラブル端末１０を通じて、複数の点検項目を含む点検に関する画像を作業者４０に提供する。ウェアラブル端末１０は、例えば、点検作業現場において使用されてよい。作業としては、設備や物品の点検作業の他に、物品の組み立て作業、介護、教育、事務作業等、様々な作業を含み得る。
【００２３】
サーバ８０及びウェアラブル端末１０は、ネットワーク９０を通じて通信可能に接続されている。ネットワーク９０は、インターネット、ＬＡＮ、ＷＡＮ、公衆回線網、専用回線網等、様々な形態のネットワークを含み得る。
【００２４】
ウェアラブル端末１０ａは、本体部１１ａと、表示部１２ａを有する。ウェアラブル端末１０ａは、本体部１１ａが作業者４０ａの耳部に装着されることにより、作業者４０ａの頭部４２ａに装着され得る。ウェアラブル端末１０ａは、本体部１１ａが作業者４０ａの眼鏡に装着されることにより、作業者４０ａの頭部４２ａに装着され得る。ウェアラブル端末１０ａは、眼鏡型の端末であってよい。ウェアラブル端末１０ａは、いわゆるアイウエアであってよい。
【００２５】
ウェアラブル端末１０は、１つの点検作業に含まれる１以上の点検項目の内容を、サーバ８０から取得して記憶する。点検項目としては、例えば、「キズ・欠けはないか」等、良否の点検結果を入力するための項目を含み得る。その他、点検項目としては、「長さを確認」等、数値の点検結果を入力するための項目や、「型番を入力」等、文字の点検結果を入力するための項目を含み得る。
【００２６】
ウェアラブル端末１０は、１以上の点検項目の内容を表示部１２に順次に表示する。作業者４０は、表示部１２に表示された点検項目に従って、順次に点検を行う。作業者４０は、点検結果を音声で入力する。また、作業者４０は、ウェアラブル端末１０に対する指示を音声で入力する。
【００２７】
例えば、作業者４０は、「写真」という音声を発することで、ウェアラブル端末１０に写真撮影を行わせることができる。また、作業者４０は、「実績」という音声を発することで、過去の点検で行われた点検結果や写真を表示部１２に表示させることができる。また、作業者４０は、「ＯＫ」「ＮＧ」という音声を発することで、良否の点検結果をウェアラブル端末１０に入力することができる。作業者４０は、数値や単位を発することで、測定値などの点検結果をウェアラブル端末１０に入力することができる。
【００２８】
ウェアラブル端末１０は、作業者４０が発した音声により生成された音声データを、ネットワーク９０を通じてサーバ８０に送信して、指示や点検結果を示す文字列をサーバ８０から取得する。サーバ８０は、ウェアラブル端末１０から受信した音声データを音声認識サーバ８２に送信して、音声認識サーバ８２による音声認識により得られた文字列を受信する。サーバ８０は、音声認識サーバ８２から受信した文字列に対応づけられた指示を、ウェアラブル端末１０に送信する。
【００２９】
例えば、サーバ８０は、「実績」の指示に対応づけて、「じっせき」の他に、「じいせき」や「じせき」等の文字列を記憶している。これにより、音声認識により得られた文字列が「じいせき」又は「じせき」である場合であっても、「実績」の指示をウェアラブル端末１０に送信する。これにより、ユーザ毎の発音の違いや周囲の外乱等により、同じ指示の音声認識結果が異なってしまっても、正しい指示を取得できる可能性を高めることができる。
【００３０】
また、ウェアラブル端末１０は、作業者４０が点検を開始した点検開始時刻、作業者４０が点検を終了した時刻である点検終了時刻、作業者４０が点検に要した時間である点検時間を計時する。ウェアラブル端末１０は、ウェアラブル端末１０自身の内部時計により、点検開始時刻、点検終了時刻、及び点検時間を計時する。ウェアラブル端末１０は、作業者４０から入力された点検結果をサーバ８０に送信する場合、点検開始時刻、点検終了時刻、及び点検時間もサーバ８０に送信する。
【００３１】
サーバ８０は、点検結果、点検開始時刻、点検終了時刻、及び点検時間を含む点検結果データを外部に提供する場合、ウェアラブル端末１０の内部時計がサーバ８０に対して時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻のデータを「−−−−」等の文字列でマスクする。これにより、ウェアラブル端末１０の内部時計が時刻合わせしていない状態で取得された時刻情報を、適切な形態で出力することができる。例えば、ウェアラブル端末１０は、電源ＯＦＦ時に内部時計の動作を維持する電池を有しない。この場合、電源を一旦ＯＦＦした後に電源ＯＮすると、ウェアラブル端末１０の工場出荷時や直前の電源ＯＦＦ時の固定日時に内部時計がリセットされる。そのため、点検開始時刻及び点検終了時刻については正確な値に得ることはできない。しかし、点検時間については比較的に正確な値を得ることができる。ウェアラブル端末１０によれば、ウェアラブル端末１０の内部時計がサーバ８０に対して時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻をマスクするので、正確でない値が管理データとして提供されることを抑制することができる。
【００３２】
図２は、ウェアラブル端末１０の機能ブロック構成を概略的に示す。ウェアラブル端末１０は、表示部１２と、撮像部２０２と、マイク２０５と、操作部材２０７と、制御部２００と、記憶部２１０と、通信部２９０とを備える。
【００３３】
制御部２００は、マイクロプロセッサ等の演算装置であってよい。記憶部２１０は、フラッシュメモリ等の不揮発性の記憶装置やＲＡＭ等の揮発性の記憶装置であってよい。記憶部２１０は、ウェアラブル端末１０の動作の各段階を実行させるためのプログラムを格納する。ウェアラブル端末１０の機能は主として、制御部２００が当該プログラムを実行することにより実現される。プログラムは、記録媒体に記録されて記憶部２１０に提供される。通信部２９０は、ウェアラブル端末１０におけるネットワーク９０を通じた通信機能を担う。
【００３４】
表示部１２は、ウェアラブル端末１０が作業者４０の頭部４２に装着された場合に、作業者４０の視方向に表示面が対向するように設けられる。撮像部２０２は、ウェアラブル端末１０が作業者４０の頭部４２に装着された場合に、撮像部２０２の撮像光軸が作業者４０の視方向に沿うように設けられる。
【００３５】
マイク２０５は、作業者４０の音声を取得する。マイク２０５は、ウェアラブル端末１０が作業者４０の頭部４２に装着された場合に、作業者４０の口元近くに移動可能なように、柔軟性を持つ支持部材を介してウェアラブル端末１０に取り付けられる。操作部材２０７は、ボタン等の物理的な部材である。操作部材２０７は、作業者４０からの指示を取得することができる。本実施形態では主として、作業者４０が音声により指示する場合を取り上げて説明する。しかし、少なくとも一部の指示を、操作部材２０７を用いて行うことができる。
【００３６】
制御部２００は、計時部２０４、開始処理部２０８、表示制御部２２０、無効化部２３０、利用頻度取得部２３２、取消頻度取得部２３４、作業結果情報生成部２４０、作業結果出力部２４８、指示取得部２５０、音声取得部２６０、認識結果取得部２７０、音声認識部２７２、及び指示特定部２８０を備える。
【００３７】
音声取得部２６０は、作業者４０の音声を取得する。具体的には、音声取得部２６０は、マイク２０５により取得された音声を取得して、音声データを生成する。音声認識部２７２は、マイク２０５により取得された音声を認識して文字列を生成する。具体的には、音声認識部２７２は、音声取得部２６０が生成した音声データを解析して文字列を生成する。
【００３８】
認識結果取得部２７０は、作業者４０の音声の音声認識によって得られた文字列を取得する。例えば、認識結果取得部２７０は、音声認識部２７２に音声データが出力され、音声認識部２７２による音声認識によって得られた文字列を取得する。通信部２９０が音声認識サーバ８２と通信可能である場合、音声取得部２６０により生成された音声データが、通信部２９０及びネットワーク９０を通じて外部の音声認識サーバ８２に送信される。認識結果取得部２７０は、音声認識サーバ８２による音声認識によって得られた文字列を取得する。
【００３９】
記憶部２１０は、ウェアラブル端末１０に対する指示と複数の文字列とを対応づける対応情報を記憶している。例えば、対応情報は、「じっせき」、「じいせき」、「じせき」等の文字列を、「実績」という指示に対応づける。指示特定部２８０は、対応情報によって認識結果取得部２７０が取得した文字列に対応づけられている指示を、ウェアラブル端末１０に対する指示として特定する。
【００４０】
指示取得部２５０は、サーバ８０と通信可能である場合に、マイク２０５により取得された音声をサーバ８０に送信して、サーバ８０において特定された指示をサーバ８０から受信する。指示取得部２５０は、サーバ８０と通信可能でない場合に、記憶部２１０が記憶している対応情報によって音声認識部２７２が生成した文字列又は音声認識サーバ８２から取得した文字列に対応づけられている指示を、ウェアラブル端末１０に対する指示として取得する。
【００４１】
ウェアラブル端末１０は、複数の点検項目のそれぞれに関連づけられた画像を作業者４０に提供する。例えば、表示制御部２２０は、点検項目で行う点検内容を示す画像を、表示部１２に表示させる。具体的には、表示制御部２２０は、「型番を入力」、「キズ・欠けがないか」等の、点検内容を説明する文字を含む画面を表示部１２に表示させる。「型番を入力」、「キズ・欠けがないか」等は、点検項目の一例である。
【００４２】
記憶部２１０は、複数の点検項目のそれぞれの点検項目に対応づけて、それぞれの点検項目に関連づけられた画像が作業者４０に提供されているときに入力されるべき指示を複数の文字列に対応づける対応情報を記憶する。指示特定部２８０は、ウェアラブル端末１０を通じて作業者４０に提供されている画像が関連づけられた点検項目に対応づけて記憶部２１０が記憶している対応情報によって認識結果取得部２７０が取得した文字列と対応づけられている指示を、ウェアラブル端末１０に対する指示として特定する。これにより、指示特定部２８０は、現在の点検項目において有効な指示のみを特定すればよいので、指示が誤特定される確率を低減することができる。
【００４３】
表示制御部２２０は、指示の一覧を提示する指示に応じて、ウェアラブル端末１０を通じて作業者４０に提供されている画像が関連づけられた点検項目に対応づけて対応情報によって対応づけられている複数の指示の一覧を、作業者４０に提示する。これにより、作業者４０に、現在の作業項目において有効な指示の一覧を提示することができる。
【００４４】
利用頻度取得部２３２は、複数の点検項目のそれぞれについて、それぞれの点検項目に関連づけられた画像が作業者４０に提供されている場合において複数の指示が使用された頻度を取得する。表示制御部２２０は、複数の指示の一覧を使用頻度に応じた順序で作業者４０に表示する。これにより、作業者４０は、頻繁に使用される指示を早く発見することができる。
【００４５】
取消頻度取得部２３４は、対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部２８０が特定した指示が作業者４０によって取り消された頻度を取得する。無効化部２３０は、対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする。例えば、取消頻度取得部２３４は、作業者４０からの「ちせき」と認識された音声指示に応じて「実績」の処理を実行した後に、すぐに「もどる」という音声指示を取得した場合に、指示が取消されたと判断して、「ちせき」に対応する取消回数をカウントアップする。
【００４６】
以上に説明したように、ウェアラブル端末１０によれば、作業者が発する言葉のアクセントの違いや周囲の騒音等によって、正規の文字列の認識結果が得られなかった場合でも、認識結果を比較的に高い確率で正規の指示に変換することができる。
【００４７】
次に、点検結果が入力された場合の動作について説明する。表示制御部２２０がある作業項目の画像を表示部１２に最初に表示させた場合、記憶部２１０は計時部２０４で計時される現在時刻を、点検開始時刻として記憶部２１０に記憶する。点検開始時刻は、作業に関する画像が前記ウェアラブル端末１０で表示されたときにウェアラブル端末１０で計時された第１の時刻の一例である。ここで、指示取得部２５０により、点検結果の入力する指示を取得した場合、記憶部２１０は、計時部２０４で計時される現在時刻を、点検終了時刻として記憶部２１０に記憶する。点検終了時刻は、点検結果をウェアラブル端末１０が作業者４０から取得したときにウェアラブル端末１０で計時された第２の時刻の一例である。作業結果情報生成部２４０は、点検開始時刻と、点検終了時刻と、点検開始時刻から点検終了時刻までの時間である点検時間と、入力された点検結果を含む点検結果情報を生成して記憶部２１０に記憶する。記憶部２１０は、点検結果情報を記憶する作業結果記憶部として機能する。通信部２９０は、計時部２０４が生成した点検結果情報を、サーバ８０に送信する。
【００４８】
点検結果情報は、複数の作業項目のそれぞれについて生成される。すなわち、点検結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末１０で表示されたときにウェアラブル端末１０で計時された点検開始時刻と、それぞれの点検項目の点検結果をウェアラブル端末１０が作業者４０から取得したときにウェアラブル端末１０で計時された点検終了時刻と、点検開始時刻から点検終了時刻までの時間である点検時間と、点検結果とを含む。点検時間は、作業項目に関する画像がウェアラブル端末１０で表示されてからウェアラブル端末１０が作業者４０から点検結果を取得するまでの点検時間を示す。
【００４９】
複数の作業項目の作業を行う場合、一つの作業項目の点検結果が入力されると、表示制御部２２０は、次の作業項目に関する画像を表示する。これにより、ウェアラブル端末１０は、作業者４０の音声によって点検結果が入力された場合に、点検開始時刻から点検終了時刻までの時間を取得し、点検結果情報をサーバ８０に送信し、点検結果が入力された作業の次の作業に関する画像を表示する。これにより、次の作業項目の点検時間の計時が開始される。これにより、作業者４０は複数の作業項目の作業を効率的に行いながら、点検時間を管理する情報をサーバ８０に蓄積することができる。
【００５０】
なお、開始処理部２０８は、ウェアラブル端末１０の電源が投入される毎に、ウェアラブル端末１０に予め設定されている固定時刻から計時を開始する。また、開始処理部２０８は、作業者４０から入力される認証情報をサーバ８０に送信し、サーバ８０により作業者４０が認証された場合に、ウェアラブル端末１０において計時される時刻をサーバ８０で管理されている現在時刻に合わせる。固定時刻とは、例えば、１９７０年１月１日０時０分０秒等の基準日時であってよい。固定時刻とは、ウェアラブル端末１０の工場出荷時に設定された時刻であってよい。固定時刻とは、ウェアラブル端末１０が最後に電源ＯＦＦされたときの時刻であってよい。
【００５１】
なお、作業結果出力部２４８は、作業者４０から点検結果が入力された場合に、サーバ８０により作業者４０が認証され、かつ、サーバ８０と通信可能であることを条件として、点検結果情報をサーバ８０に出力する。一方、作業結果出力部２４８は、サーバ８０により作業者４０が認証されていない場合又はサーバ８０と通信可能でない場合には、点検結果情報を記憶部２１０に出力し、点検結果情報が記憶部２１０に出力された後、サーバ８０により作業者４０が認証された場合に、記憶部２１０に記憶されている点検結果情報をサーバ８０に送信する。
【００５２】
図３は、サーバ８０の機能ブロック構成を概略的に示す。サーバ８０は、制御部３００と、記憶部３１０と、通信部３９０とを備える。
【００５３】
制御部３００は、マイクロプロセッサ等の演算装置であってよい。通信部３９０は、サーバ８０におけるネットワーク９０を通じた通信機能を担う。記憶部３１０は、フラッシュメモリやハードディス装置等の不揮発性の記憶装置を含む。記憶部３１０は、ＲＡＭ等の揮発性の記憶装置を含む。サーバ８０用のプログラムは、記録媒体に記録されて記憶部２１０に提供される。
【００５４】
制御部３００は、時刻管理部３０４、認証制御部３２０、無効化部３３０、利用頻度取得部３３２、取消頻度取得部３３４、結果出力部３４０、判断部３４２、合計時間算出部３４４、音声取得部３６０、認識結果取得部３７０、指示特定部３８０、集計部３９２、選択部３９４を備える。
【００５５】
上述したように、ウェアラブル端末１０において、作業刻開始時刻、点検終了時刻及び点検時間と、点検結果とを含む点検結果情報が、ウェアラブル端末１０から送信される。通信部３９０は、ウェアラブル端末１０から送信された点検結果情報を受信する。通信部３９０は、点検結果情報を受信する作業結果受信部として機能する。通信部３９０が受信した点検結果情報は、記憶部３１０に記憶される。
【００５６】
結果出力部３４０は、点検結果データの送信を要求された場合、点検開始時刻及び点検終了時刻がサーバ８０で管理されている時刻と整合する場合に、点検開始時刻及び点検終了時刻、点検時間、及び点検結果を含む点検結果データを生成する。一方、結果出力部３４０は、点検開始時刻又は点検終了時刻がサーバ８０で管理されている時刻と整合しない場合に、点検開始時刻及び点検終了時刻をマスクした点検結果データを生成する。例えば、点検開始時刻及び点検終了時刻を「−−−−」にした点検結果データを生成する。通信部３９０は、結果出力部３４０が生成した点検結果データを、点検結果データの要求先に送信する。
【００５７】
時刻管理部３０４は、現在時刻を管理する。時刻管理部３０４は、サーバ８０から受信した基準時刻に基づいてシステム時計を合わせる。認証制御部３２０は、ウェアラブル端末１０から受信した作業者４０の認証情報に基づいて作業者４０を認証するとともに、ウェアラブル端末１０において計時される時刻を現在時刻に合わせる時刻合わせをウェアラブル端末１０に実行させる。
【００５８】
判断部３４２は、点検開始時刻又は点検終了時刻と時刻管理部が管理している現在時刻との差が予め定められた値より大きい場合に、点検開始時刻又は点検終了時刻がサーバ８０で管理されている時刻と整合していないと判断する。例えば、判断部３４２は、点検開始時刻又は点検終了時刻と、サーバ８０で管理されている時刻との差が予め定められた値を超える場合に、点検開始時刻又は点検終了時刻がサーバ８０で管理されている時刻と整合していないと判断する。例えば、ウェアラブル端末１０の電源ＯＮ後、ウェアラブル端末１０の時刻がサーバ８０と時刻合わせされない場合、ウェアラブル端末１０は、１９７０年１月１日０時０分０秒を基準時刻とし、基準時刻からの経過時間の初期値を０にリセットして、時刻を計時する。この場合、点検開始時刻又は点検終了時刻と時刻管理部３０４が管理している現在時刻との差が大きくなるため、現在時刻と整合していないと判断される。
【００５９】
合計時間算出部３４４は、作業対象毎に、作業対象に設定された複数の作業項目にわたる時間の合計値を算出する。通信部３９０は、作業対象に対応づけて、点検開始時刻、点検終了時刻、点検時間及び点検結果に加えて、合計時間算出部が算出した合計値を含む点検結果データを、点検結果データの要求元に送信する。
【００６０】
次に、サーバ８０における音声認識に関する処理について説明する。音声取得部３６０は、通信部３９０が受信した、ウェアラブル端末１０から送信された音声データを取得する。認識結果取得部３７０及び指示特定部３８０は、それぞれウェアラブル端末１０における認識結果取得部２７０及び指示特定部３８０に対応する機能ブロックである。
【００６１】
具体的には、認識結果取得部３７０は、作業者４０の音声の音声認識によって得られた文字列を取得する。例えば、音声取得部３６０が取得した音声データが通信部２９０及びネットワーク９０を通じて外部の音声認識サーバ８２に送信され、音声認識サーバ８２が音声認識することにより得られた文字列を取得する。
【００６２】
記憶部３１０は、ウェアラブル端末１０に対する指示と複数の文字列とを対応づける対応情報を記憶している。例えば、対応情報は、「じっせき」、「じいせき」、「じせき」等の文字列を、「実績」という指示に対応づける。記憶部３１０は、対応情報を記憶する対応情報記憶部として機能する。指示特定部３８０は、対応情報によって認識結果取得部２７０が取得した文字列に対応づけられている指示を、ウェアラブル端末１０に対する指示として特定する。指示特定部３８０が特定した指示を示す情報は、通信部３９０及びネットワーク９０を通じて、ウェアラブル端末１０に送信される。
【００６３】
利用頻度取得部３３２、取消頻度取得部３３４、及び無効化部３３０は、それぞれウェアラブル端末１０における利用頻度取得部２３２、取消頻度取得部２３４、及び無効化部２３０に対応する機能ブロックである。すなわち、利用頻度取得部３３２は、複数の点検項目のそれぞれについて、それぞれの点検項目に関連づけられた画像が作業者４０に提供されている場合において複数の指示が使用された頻度を取得する。
【００６４】
取消頻度取得部３３４は、対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部３８０が特定した指示が作業者４０によって取り消された頻度を取得する。無効化部３３０は、対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする。例えば、取消頻度取得部３３４は、作業者４０からの「ちせき」と認識された音声指示に応じて「実績」の処理を実行した後に、すぐに「もどる」という音声指示を取得した場合に、指示が取消されたと判断して、「ちせき」に対応する取消回数をカウントアップする。
【００６５】
ここで、サーバ８０の記憶部３１０及びウェアラブル端末１０の記憶部２１０に記憶される対応情報の生成方法について説明する。集計部３９２は、複数の人による指示の音声の音声認識により得られた複数の文字列を取得し、当該複数の文字列のそれぞれの文字列として音声が認識された人数を文字列毎に集計する。選択部３９４は、集計部３９２によって集計された人数に基づいて、複数の文字列の中から、対応情報において指示に対応づけられるべき文字列を選択する。これにより、様々な人の発声に対応することができる。対応情報により指示に対応づける文字列の選択方法の具体例については、図１２等に関連して説明する。
【００６６】
以上に説明したウェアラブル端末１０及びサーバ８０によれば、音声認識結果としての複数の文字列と指示とを対応づける対応情報を用いて指示を特定するので、ユーザ毎の発音の違いや周囲の外乱等の影響を低減することができる。また、サーバ８０が点検結果データを提供する場合、ウェアラブル端末１０とサーバ８０とが時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻のデータを「−−−−」等の文字列でマスクするので、正確でない値が管理データとして提供されることを抑制することができる。
【００６７】
図４は、ウェアラブル端末１０による点検支援処理の全体を示すフローチャートである。本フローチャートの処理は、主として、制御部２００がウェアラブル端末１０の各部を制御することにより実現される。
【００６８】
Ｓ４０２において、ウェアラブル端末１０が電源ＯＮされると、開始処理部２０８は、計時部２０４に固定時刻から計時を開始させる。
【００６９】
Ｓ４０４において、表示制御部２２０は、ログイン画面を表示部１２に表示させる。ログイン画面が表示されている状態でユーザＩＤ等の認証情報が入力されると、Ｓ４０６において、開始処理部２０８は、認証情報を用いて認証する。Ｓ４０６の処理の詳細については、図６に関連して説明する。
【００７０】
ログインが完了すると、Ｓ４１０において、点検対象の場所、設備、及び部位を取得する。場所、設備、及び部位の指示は、作業者４０の音声により入力される。続いて、Ｓ４１２において、ウェアラブル端末１０は、点検項目リストを設定する。例えば、ウェアラブル端末１０は、サーバ８０と通信可能な場合、Ｓ４１０で取得した場所、設備、及び部位を示す情報をサーバ８０に送信して、サーバ８０から１以上の点検項目を含む点検項目リストを取得する。サーバ８０と通信可能でない場合、Ｓ４１０で取得した場所、設備、及び部位を示す情報に対応づけて記憶部２１０が記憶している点検項目リストを、記憶部２１０から読み出す。
【００７１】
Ｓ４１４において、作業者４０の点検を支援するための処理を行う。Ｓ４１４の具体的な処理については後述する。
【００７２】
図５は、ログイン画面５００の一例を示す。ログイン画面５００は、音声で入力する内容を示すオブジェクト５１０と、音声入力が可能であるか否かを示すオブジェクト５８０を含む。表示制御部２２０は、音声入力が可能である場合に、オブジェクト５８０の外枠の色を予め定められた第１の色で表示させる。表示制御部２２０は、例えば、音声認識中である場合等、新たな音声入力が可能でない場合に、オブジェクト５８０の外枠の色を予め定められた第２の色で表示させる。表示制御部２２０は、音声入力が可能である場合において、音声が入力されると、認識された文字を枠内に表示させる。
【００７３】
図６は、ウェアラブル端末１０によるログイン処理を示すフローチャートである。本フローチャートの処理は、主として、制御部２００がウェアラブル端末１０の各部を制御することにより実現される。本フローチャートの処理は、図４のＳ４０６の処理に適用することができる。
【００７４】
Ｓ６０２において、制御部２００は認証情報を取得する。例えば、作業者４０は、図５に示すログイン画面が表示されている状態で取得されたユーザの音声を認識することにより、認証情報を取得する。なお、制御部２００は、撮像部２０２で撮像された画像から認証情報を取得してよい。例えば、ウェアラブル端末１０を利用可能な作業者４０には、認証情報をコード化したＱＲコード（登録商標）が印刷されたログイン証が配布される。作業者４０がログイン証を撮像部２０２で撮像すると、制御部２００は、ログイン証の画像から抽出したコード化情報を復号して、認証情報を取得してよい。
【００７５】
Ｓ６０４において、開始処理部２０８は、通信部２９０を通じて認証情報をサーバ８０に送信する。開始処理部２０８は、Ｓ６０６において、サーバ８０により認証されたか否かを判断する。サーバ８０により認証された場合、Ｓ６０８において、開始処理部２０８は、計時部２０４が計時する時刻をサーバ８０の現在時刻に合わせて、図４のＳ４１０に進む。なお、サーバ８０により認証された状態のことを、「オンライン状態」と呼ぶ場合がある。
【００７６】
Ｓ６０６において、サーバ８０により認証されなかった場合、Ｓ６１０に進む。サーバ８０により認証されなかった場合とは、サーバ８０から作業者４０を認証できない旨が通知された場合や、ウェアラブル端末１０がサーバ８０と通信可能でない場合を含む。Ｓ６１０において、開始処理部２０８は、記憶部２１０に記憶されている参照情報と認証情報とを照合する。記憶部２１０の参照情報と認証情報とを照合することにより作業者４０を認証した場合、図４のＳ４１０に進む。なお、サーバ８０により認証されず、記憶部２１０の参照情報と認証情報との照合により認証された状態のことを、「オフライン状態」と呼ぶ場合がある。参照情報と認証情報とを照合することにより作業者４０を認証できなかった場合、図４のＳ４０４に進む。
【００７７】
図７は、ウェアラブル端末１０による点検支援処理を示すフローチャートである。本フローチャートの処理は、主として、制御部２００がウェアラブル端末１０の各部を制御することにより実現される。本フローチャートの処理は、図４のＳ４１４の処理に適用することができる。
【００７８】
Ｓ７０２において、表示制御部２２０は点検開始画面を表示部１２に表示させ、制御部２００は「点検開始」の指示を取得するまで待機する（Ｓ７０４）。
【００７９】
「点検開始」が指示されると、Ｓ７０６において、作業結果情報生成部２４０は、点検報告用の開始時刻を記憶部２１０に記憶する。Ｓ７０８において、表示制御部２２０は、最初の点検項目の画面を表示させる。点検項目の画面については後述する。
【００８０】
Ｓ７２０において、指示取得部２５０は作業者４０の指示を取得する。上述したように、作業者４０の音声による指示は、サーバ８０又は指示特定部２８０により特定される。Ｓ７２０の処理については、図１０に関連して説明する。
【００８１】
本フローチャートでは、Ｓ７２０で取得した指示として、点検結果の入力指示と、コマンド一覧を表示するための「コマンド」指示と、コマンド一覧を非表示にするための「閉じる」指示と、他の指示又は対応する指示がなかった場合を取り上げて説明する。
【００８２】
Ｓ７２０で取得した指示が点検結果の入力指示であった場合、Ｓ７２２において現在時刻を取得し、Ｓ７２４において、作業結果情報生成部２４０が生成した点検結果情報を、記憶部２１０又はサーバ８０に出力する。
【００８３】
続いて、Ｓ７２６において、点検項目リストに次の点検項目が存在するか否かを判断する。次の点検項目が存在する場合、Ｓ７０８に処理を移行する。次の点検項目が存在しない場合、Ｓ７２８において点検報告用の終了時刻を記憶して、本フローチャートの処理を終了する。
【００８４】
Ｓ７２０で取得した指示が「コマンド」の場合、Ｓ７３０において、音声コマンド一覧を表示して、Ｓ７２０に処理を移行する。音声コマンド一覧については、図９に関連して説明する。Ｓ７２０で取得した指示が「閉じる」の場合、Ｓ７３２において、音声コマンド一覧の表示を閉じて、Ｓ７２０に処理を移行する。Ｓ７２０で取得した指示が点検結果の入力指示、「コマンド」及び「閉じる」のいずれでない場合や、作業者４０の音声の認識結果に対応する指示がなかった場合、Ｓ７３４において、他の指示に対応する処理、又は、対応する指示がなかった場合の予め定められた処理を実行して、Ｓ７２０に処理を移行する。
【００８５】
図８は、点検画面８００の一例を示す。点検画面８００は、点検結果を入力する内容を示すオブジェクト８１０と、本点検項目において最も良く使用される３つの指示を示すオブジェクト８２０を含む。
【００８６】
点検画面８００は、ケーブルの型番を点検するための画面である。点検画面８００においては、数字、アルファベット及び記号を、点検結果として入力することができる。アルファベットの小文字は、アルファベットの文字の直前に「こもじ」を付けることで音声入力可能である。例えば、「ｘＹｚ」は、「こもじえっくすわいこもじぜっと」と発声することで入力可能である。すなわち、指示特定部２８０は、認識結果に「こもじ」が含まれている場合、「こもじ」に続く文字列が表すアルファベットを小文字に変換することで、指示された文字列を特定する。なお、日本語の発音では数字の「９」とアルファベットの「Ｑ」を識別しにくいため、アルファベットの「Ｑ」には「けべっく」を対応づける。すなわち、指示特定部２８０は、認識結果の「けべっく」を「Ｑ」に変換する。
【００８７】
図９は、音声コマンド一覧が表示されている状態の点検画面９００の一例を示す。点検画面９００は、音声コマンド一覧を示すオブジェクト９１０を含む。表示制御部２２０は、オブジェクト９１０を点検画面８００上にオーバーレイ表示することにより、音声コマンド一覧を表示する。
【００８８】
オブジェクト９１０は、点検画面８００において入力可能な指示の一覧を含む。表示制御部２２０は、オブジェクト９１０において指示を表示する順番を、利用頻度が高い順に並べる。例えば、画面に向かって左側に位置する指示が、画面に向かって右側に位置する指示より利用頻度が高くなるように並べてよい。左右方向に同じ位置に指示については、画面に向かって上側に位置する指示が、画面に向かって下側に位置する指示より利用頻度が高くなるように並べてよい。
【００８９】
オブジェクト９１０が表示されている状態で「閉じる」の指示があった場合、表示制御部２２０は、オブジェクト９１０の表示を終了する。なお、オブジェクト９１０が表示されている状態でも、指示を入力することができる。例えば、オブジェクト９１０が表示されている状態で、作業者４０が「じっせき」と発声すると、過去実績を表示する画面へと遷移する。
【００９０】
図１０は、ウェアラブル端末１０において作業者４０から音声で指示を取得する処理を表すフローチャートである。本フローチャートの処理は、主として、制御部２００がウェアラブル端末１０の各部を制御することにより実現される。本フローチャートの処理は、図７のＳ７２０の処理に適用することができる。
【００９１】
Ｓ１００２において、音声取得部２６０は、マイク２０５で取得された音声データを生成する。Ｓ１００４において、指示取得部２５０は、ウェアラブル端末１０がオンライン状態かつサーバ８０と通信可能な状態であるか否かを判断する。ウェアラブル端末１０がオンライン状態かつサーバ８０と通信可能である場合、通信部２９０は、音声データをサーバ８０に送信する。サーバ８０において、音声取得部３６０、認識結果取得部３７０、指示特定部３８０により作業者４０の指示が特定され、特定された指示を示す情報がサーバ８０からウェアラブル端末１０に送信される。サーバ８０が作業者４０の指示を特定する処理については、図１１に関連して後述する。Ｓ１００８において、指示取得部２５０は、通信部２９０を通じて、サーバ８０で特定された指示を取得し、本フローチャートの処理を終了する。
【００９２】
Ｓ１００４において、ウェアラブル端末１０がオフライン状態である場合、又は、ウェアラブル端末１０がサーバ８０と通信不可能である場合、Ｓ１０１０において、ウェアラブル端末１０において作業者４０の指示を特定し、本フローチャートの処理を終了する。Ｓ１０１０では、上述したように、音声認識部２７２、認識結果取得部２７０、及び指示特定部２８０により、作業者４０の指示が特定される。
【００９３】
図１１は、対応情報として記憶される情報をテーブル形式で示す。図１１は、「実績」の指示に対応づけられた対応情報である。対応情報は指示毎に用意される。対応情報は、認識文字列と、認識回数と、取消回数と、有効フラグとを互いに対応づける。
【００９４】
認識文字列は、音声認識により得られた文字列に該当する。認識回数は、音声認識によって認識文字列の文字列が得られた回数を表す。例えば、認識回数は、音声認識サーバ８２等によって「じっせき」の文字列として認識される毎にインクリメントされる。
【００９５】
取消回数は、認識文字列の文字列が認識された後に対応する指示が取り消された回数を表す。例えば、音声認識サーバ８２等によって「ちせき」の文字列として認識されてから予め定められた時間内に「戻る」の指示が入力された場合に、「ちせき」に基づく「実績」の指示が取り消されたと判断して、「ちせき」に対応する取消回数をインクリメントする。
【００９６】
有効フラグは、認識文字列と指示とが対応づけられているか否かを示す。「有効」は、認識文字列と指示とが対応づけられていることを示し、「無効」は、認識文字列と指示とが対応づけられていないことを示す。無効化部２３０は、認識回数及び取消回数に基づく指示の取消頻度が予め定められた値を以上となった場合に、有効フラグを「有効」から「無効」に切り換える。
【００９７】
図１２は、対応情報を生成するための事前学習データの一例を示す。図１２は、「実績」の指示に対応づけられた事前学習データである。「実績」の指示についての対応情報は、多数の人が「実績」を発声したときの音声の認識結果を学習することにより、生成される。
【００９８】
図１２において、認識文字列は、多数の人が「実績」と発声したときに音声認識サーバ８２等により認識された文字列を表す。人数は、認識文字列の文字列として認識された音声を発声した人の数を表す。人数は、事前学習を行う場合に、集計部３９２により集計される。選択部３９４は、事前学習データに基づいて、対応情報において「実績」の指示に対応づける認識文字列を選択する。具体的には、選択部３９４は、人数が多い順に認識文字列を選択する。選択部３９４は、選択した認識文字列の人数の合計が全人数の９５％を上回るまで認識文字列を選択する。選択部３９４が選択した認識文字列は、対応情報により、「実績」の指示に対応づけられる。具体的には、図１１に示されるように、「じっせき」から「ちせき」までの認識文字列が選択されて「実績」の指示との対応づけが有効となる。一方、「じせいき」の認識文字列は「実績」の指示との対応づけは無効とされる。
【００９９】
図１３は、サーバ８０において作業者４０の指示を特定する処理を表すフローチャートである。本フローチャートの処理は、主として、制御部３００がサーバ８０の各部を制御することにより実現される。
【０１００】
Ｓ１３０２において、音声取得部３６０は、通信部３９０を通じて、ウェアラブル端末１０から受信した音声データを取得すると、Ｓ１３０４において、通信部３９０は、音声認識サーバ８２に音声データを送信する。Ｓ１３０６において、認識結果取得部３７０は、通信部３９０を介して、音声認識サーバ８２で認識された文字列を取得する。
【０１０１】
Ｓ１３１０において、指示特定部３８０は、各指示の対応情報を参照して、有効フラグが「有効」である認識文字列の中に、Ｓ１３０６で取得した文字列が存在する対応情報が発見されたか否かを判断する。対応情報が発見された場合、Ｓ１３１２において、指示特定部３８０は、発見された対応情報に対応づけられている指示を、作業者４０の指示として特定する。
【０１０２】
Ｓ１３１４において、対応情報の更新処理を行う。Ｓ１３１４の処理については図１４に関連して説明する。
【０１０３】
Ｓ１３１６において、通信部３９０は、Ｓ１３１２で特定した指示を示す情報を、ウェアラブル端末１０に送信する。Ｓ１３１０において、対応情報が発見されなかった場合、Ｓ１３１８において、通信部３９０は、対応する指示がなかったことを示す情報をウェアラブル端末１０に送信する。
【０１０４】
図１４は、対応情報の更新処理を表すフローチャートである。本フローチャートの処理は、主として、制御部３００がサーバ８０の各部を制御することにより実現される。本フローチャートの処理は、図１３のＳ１３１４の処理に適用することができる。
【０１０５】
Ｓ１４０２において、無効化部３３０は、特定された指示に対応する対応情報において、認識文字列に対応づけられた認識回数の値をインクリメントする。Ｓ１４０４において、Ｓ１３１２で特定した作業者４０の指示が、直前の指示を取り消す指示であるか否かを判断する。例えば、Ｓ１３１２で特定された作業者４０の指示が「戻る」であり、かつ、直前の指示を行った時刻からの経過時間が予め定められた値より短い場合に、直前の指示を取り消す指示であると判断する。直前の指示を取り消す指示でなかった場合は、本フローチャートの処理を終了する。直前の指示を取り消す指示であった場合、Ｓ１４０６において、無効化部３３０は、直前の指示の対応情報において、直前の指示における認識文字列に対応づけられている取消回数をインクリメントする。
【０１０６】
Ｓ１４０８において、取消頻度取得部３３４は利用頻度及び取消頻度に基づいて取消頻度を算出し、無効化部３３０は、取消頻度が予め定められた閾値以上であるか否かを判断する。取消頻度が予め定められた閾値未満の場合は、本フローチャートの処理を終了する。取消頻度が予め定められた閾値以上の場合、Ｓ１４１０において、無効化部３３０は、直前の指示の認識文字列の有効フラグを「無効」に切り換える。Ｓ１４１２において、無効化部３３０は、有効フラグが「無効」であった認識文字列のうち、事前学習において人数が最も多い認識文字列の有効フラグを「有効」に切り換える。例えば、「実績」に対応づけられた対応情報において、「ちせき」の有効フラグを「無効」に切り換える場合、「じせいき」の有効フラグを「有効」に切り換える。
【０１０７】
図１１から図１４に関連して説明したように、対応情報により、音声認識により得られる可能性がある複数の文字列を一つの指示に対応づけるので、ユーザ毎の発音の違いや周囲の外乱等により、指示が認識されない確率を低減することができる。ウェアラブル端末１０においては、複数の作業項目を順次に表示して指示を音声で入力するが、一つの作業項目において入力可能な指示の数は比較的少数にすることができる。各指示に複数の文字列を対応づける手法は、入力可能な指示の数が少ないシステムにおいて、特に有効である。
【０１０８】
なお、図１１から図１４に関連して、サーバ８０で指示を特定する場合のサーバ８０が行う処理を説明した。図１１から図１４に関連して説明した処理のうちの少なくとも一部の理を、ウェアラブル端末１０において指示を特定する場合の処理に適用できる。例えば、図１０のＳ１０１０の処理に適用できる。
【０１０９】
図１５は、サーバ８０がウェアラブル端末１０から収集した点検結果データに基づく点検結果の表示画面の一例を示す。図１５の画面は、例えば、作業者４０の点検を管理する管理者のコンピュータ端末に表示される。
【０１１０】
ウェアラブル端末１０からサーバ８０に送信される点検結果情報には、点検結果情報の送信者を識別する情報と、報告用の点検開始時刻及び報告用の点検終了時刻と、点検対象の場所、設備、部位を識別する情報と、複数の点検項目を識別する情報と、各点検項目の点検結果、点検開始時刻、点検終了時刻、及び点検時間とが含まれる。結果出力部３４０は、点検結果情報と、記憶部３１０に記憶されている点検項目の詳細情報から、点検結果データを生成する。
【０１１１】
図１５は、ウェアラブル端末１０がオンライン状態、かつ、サーバ８０と通信可能な状態で取得した点検結果の点検結果情報から生成された点検結果の表示画面である。図１５の「作業項目表示時刻」、「作結果入力時刻」、及び「作業時間」は、それぞれ点検開始時刻、点検終了時刻、及び点検時間を表す。「作業時間合計」は、合計時間算出部３４４によって点検時間を合計した時間を表す。ウェアラブル端末１０はオンライン状態で点検結果を取得しているので、結果出力部３４０は、点検開始時刻及び点検終了時刻の時間をマスクせずに点検結果データに含める。よって、「作業項目表示時刻」及び「作結果入力時刻」にはウェアラブル端末１０で計時された時刻が表示される。
【０１１２】
図１６は、点検結果データに基づく点検結果の表示画面の他の一例を示す。図１６の表示画面は、ウェアラブル端末１０がオフライン状態で取得した点検結果の点検結果情報から生成された点検結果の表示画面である点で、図１５の表示画面とは異なる。ウェアラブル端末１０はオフライン状態で点検結果を取得しているので、結果出力部３４０は、点検結果データにおける点検開始時刻及び点検終了時刻の時間をマスクする。そのため、「作業項目表示時刻」及び「作結果入力時刻」には「−−−−」が表示される。一方、「作業時間」及び「作業時間合計」にはウェアラブル端末１０で計時された点検時間に基づく正確な時間が表示される。そのため、管理者は作業者４０が点検に要した時間をきちんと把握することができる。
【０１１３】
図１７は、ウェアラブル端末１０からダウンロードされる、各点検項目の点検結果データの一例を示す。図１８は、ウェアラブル端末１０からダウンロードされる、点検対象毎の点検結果データの一例を示す。
【０１１４】
各点検結果データは、例えばＣＳＶ形式のテキストデータとしてダウンロードすることができる。図１７及び図１８は、ウェアラブル端末１０がオンライン状態、かつ、サーバ８０と通信可能な状態で取得した点検結果の点検結果情報から生成された点検結果データを示す。図１７の「作業項目表示時刻」、「作結果入力時刻」、及び「作業時間」は、それぞれ点検開始時刻、点検終了時刻、及び点検時間を表す。図１８の「作業時間合計」は、合計時間算出部３４４によって点検時間を合計した時間を表す。図１８の「作業開始時刻」及び「作業終了時刻」は、報告用の点検開始時刻及び報告用の点検終了時刻を示す。ウェアラブル端末１０はオンライン状態で点検結果を取得している。そのため、結果出力部３４０は、各時刻をマスクせずに点検結果データに含める。
【０１１５】
図１９は、ウェアラブル端末１０からダウンロードされる、点検項目毎の点検結果データの他の一例を示す。図２０は、ウェアラブル端末１０からダウンロードされる、点検対象毎の点検結果データの他の一例を示す。
【０１１６】
各点検結果データは、例えばＣＳＶ形式のテキストデータとしてダウンロードすることができる。図１９及び図２０は、ウェアラブル端末１０がオフライン状態で取得した点検結果の点検結果情報から生成された点検結果データである点で、図１７及び図１８の点検結果データとは異なる。ウェアラブル端末１０はオフライン状態で点検結果を取得している。そのため、結果出力部３４０は、点検結果データに含まれる各時刻を「−−−−」でマスクする。一方、「作業時間」及び「作業時間合計」には、ウェアラブル端末１０で計時された点検時間に基づく正確な時間が含まれる。そのため、管理者は作業者４０が点検に要した時間をきちんと把握することができる。
【０１１７】
以上において、ウェアラブル端末１０が、点検項目毎に点検開始時刻、点検終了時刻、及び点検時間を記憶する形態を主として説明した。しかし、点検開始時刻、点検終了時刻、及び点検時間を示す情報を記憶するために、点検開始時刻、点検終了時刻、及び点検時間の全てが必要ではない。例えば、点検開始時刻及び点検終了時刻の少なくとも一方と、点検時間とを記憶すれば、点検開始時刻、点検終了時刻、及び点検時間を表すことができる。他にも、点検開始時刻及び点検終了時刻を記憶すれば、点検開始時刻、点検終了時刻、及び点検時間を表すことができる。
【０１１８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１１９】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１２０】
１０  ウェアラブル端末
１１  本体部
１２  表示部
４０  作業者
４２  頭部
８０  サーバ
８２  音声認識サーバ
９０  ネットワーク
１００  作業支援システム
２００  制御部
２０２  撮像部
２０４  計時部
２０５  マイク
２０７  操作部材
２０８  開始処理部
２１０  記憶部
２２０  表示制御部
２３０  無効化部
２３２  利用頻度取得部
２３４  取消頻度取得部
２４０  作業結果情報生成部
２４８  作業結果出力部
２５０  指示取得部
２６０  音声取得部
２７０  認識結果取得部
２７２  音声認識部
２８０  指示特定部
２９０  通信部
３００  制御部
３０４  時刻管理部
３１０  記憶部
３２０  認証制御部
３３０  無効化部
３３２  利用頻度取得部
３３４  取消頻度取得部
３４０  結果出力部
３４２  判断部
３４４  合計時間算出部
３６０  音声取得部
３７０  認識結果取得部
３８０  指示特定部
３９０  通信部
３９２  集計部
３９４  選択部
５００  ログイン画面
５１０  オブジェクト
５８０  オブジェクト
８００  点検画面
８１０  オブジェクト
８２０  オブジェクト
９００  点検画面
９１０  オブジェクト
【図１】
2019203987.tif 000003
【図２】
2019203987.tif 000004
【図３】
2019203987.tif 000005
【図４】
2019203987.tif 000006
【図５】
2019203987.tif 000007
【図６】
2019203987.tif 000008
【図７】
2019203987.tif 000009
【図８】
2019203987.tif 000010
【図９】
2019203987.tif 000011
【図１０】
2019203987.tif 000012
【図１１】
2019203987.tif 000013
【図１２】
2019203987.tif 000014
【図１３】
2019203987.tif 000015
【図１４】
2019203987.tif 000016
【図１５】
2019203987.tif 000017
【図１６】
2019203987.tif 000018
【図１７】
2019203987.tif 000019
【図１８】
2019203987.tif 000020
【図１９】
2019203987.tif 000021
【図２０】
2019203987.tif 000022