(57)【特許請求の範囲】
【請求項１】
作業者の咽喉部の振動を音声として検知する声帯マイクと、
前記声帯マイクから入力された信号を解析し、保持している言語音響モデルのデータを参照して認識した音声の候補を決定する演算部と、予め定めた順序に並んだ現場設備の点検項目及び前記音声の候補を表示する表示部と、認識された音声の正誤判定結果を前記作業者が入力するための入力部とを有する携帯端末とを備え、
前記演算部は、前記正誤判定結果を反映した音声の認識結果のデータを記憶し、
前記表示部は、認識対象が、過去の前記認識結果の正答率が低い音声である場合は複数の前記音声の候補を表示し、過去の前記認識結果の正答率が高い音声である場合は確度の高い一の音声の候補を表示することを特徴とする設備点検支援装置。
【請求項２】
請求項１に記載の設備点検支援装置であって、
前記演算部は、前記正誤判定結果に基づき、他の音声の候補を決定し、
前記表示部は、前記他の音声の候補を表示することを特徴とする設備点検支援装置。
【請求項３】
請求項１または請求項２に記載の設備点検支援装置であって、
前記の保持している言語音響モデルを作業者ごとに複数準備しておくことを特徴とする設備点検支援装置。
【請求項４】
請求項３に記載の設備点検支援装置であって、
前記携帯端末の入力部から、作業者の識別情報を得て前記の保持している言語音響モデルを選択することを特徴とする設備点検支援装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の設備点検支援装置であって、
前記の保持している言語音響モデルは、前記声帯マイクからの音声の情報として複数準備しておくことを特徴とする設備点検支援装置。
【請求項６】
請求項５に記載の設備点検支援装置であって、
前記の言語音響モデルは、当初準備した音声の情報の他に、以後に取り込まれた音声情報を学習、蓄積した情報を含むことを特徴とする設備点検支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末を所持して現場を巡回点検し、巡回点検の結果を携帯端末に格納することで設備点検を支援する設備点検支援装置に関する。
【背景技術】
【０００２】
従来における現場設備を点検する方法として、点検作業員が巡回し結果を記録する方法がある。この方法では点検作業員の読取ミス、転記ミスの防止が課題であった。これに対し近年では、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を狙い、携帯端末として例えばタブレット端末などの点検支援システムを活用するという考え方がある。また、点検結果を点検作業員の発話した音声を認識して自動でデータ化し保存するシステムが知られている。
【０００３】
特許文献１には、音声認識に関連して、音声による認識結果に誤りがあった場合、認識結果の候補を表示し、ユーザが選択した候補のスコア（結果の選択基準）を高くする方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３１０４６５９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では利用者や間違い易い用語に関する知見を蓄積できないため、毎回同じ場所で誤りになる可能性がある。また、毎回複数の認識結果候補が表示されるため、正解を探すための手間が増加する恐れがある。
【０００６】
さらにタブレット端末を所持して巡回点検を行う場所は、多くの場合に各種プラントの現場である。かかる現場には各種工業機械や回転機器が設置されており、高騒音環境であるのが通常である。このため、音声認識を行うにしても聞き取り精度が低下することは否めず、タブレット端末の機能を十分に生かした利用を図ることが困難である。
【０００７】
以上のことから本発明の目的は、音声認識に声帯マイクを適用し認識結果の修正を容易にすることで、高騒音環境下で活用可能な音声認識技術を確立し、点検作業員の作業負荷を軽減する設備点検支援システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の設備点検支援装置では、入力部と表示部と演算部とを備える携帯端末と、作業者の咽喉部の振動を音声として検知する声帯マイクとを含み、
携帯端末の演算部は、声帯マイクからの音声を入力して解析し、保持している言語音響モデルのデータを参照して音声認識し、認識した音声候補を決定して表示部に表示し、表示部に表示するに当たり、予め定めた現場設備の点検項目順序に従い表示を行い、入力部からの作業者の正誤判定結果を反映した表示修正並びにデータ記憶を行うことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、点検作業員が設備を巡回して、高騒音環境下においても、結果を音声にて格納でき、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現する。
【図面の簡単な説明】
【００１０】
【図１】本発明の装置構成を示す図。
【図２】本発明の点検支援装置を含むシステムの実施例を示す図。
【図３】本発明の他の装置構成を示す図。
【図４】本発明の他の装置構成を示す図。
【図５】本発明の他の装置構成を示す図。
【図６】結果表示部の一例を示す図。
【図７】結果表示部の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例について図面を用いて説明する。
【実施例】
【００１２】
本発明の設備点検支援装置２０を含む全体システム構成を図２に示す。図２において設備点検支援装置２０は、タブレット端末２１と声帯マイク１からなる。ここで声帯マイク１とは、半環状の支持部材にマイクを取り付けたものであり、喉頭マイクということもある。声帯マイク１は、点検作業者の咽喉部に取り付けて咽喉の振動による音声を直接取り込むものであり、通常のマイク（音声マイク）が空間伝搬する音波を捉えるものである点で、両マイクは区別される。
【００１３】
タブレット端末２１について、図１及び図３から図７を用いて別途詳細に説明するが、ごく簡単には表示部と演算部と入出力部で構成されている。このタブレット端末２１の入出力部は、パソコンなどの計算機２２に接続されることで、タブレット端末２１に蓄積された点検データを計算機２２に保存し、必要に応じてプリンタ２３から帳票を出力することができる。また計算機２２に点検項目を設定入力することで、この設定された点検項目をタブレット端末２１の入出力部に送り、各種の支援や表示に適用することができる。なおタブレット端末２１の入出力部には、声帯マイク１も有線あるいは無線にて接続可能とされている。
【００１４】
本発明に係るタブレット端末２１の演算処理機能例を図１に示す。図１の処理装置２は、タブレット端末２１そのものであり、この内部機能は表示部ＤＰと演算部Ｃと入出力部Ｉ／Ｏで構成されている。
【００１５】
このうち、入出力部Ｉ／Ｏには各種のものが接続可能であるが、その一つとして声帯マイク１が接続されている。声帯マイク１は、人間の喉仏付近の振動を拾うマイクであり、振動を音声データに変換して出力する。また入出力部Ｉ／Ｏには、作業者により入力された情報として、例えば正誤判定結果の情報などが入力される。図２の正誤判定結果入力部６は、結果表示部４に示された結果に対し、作業者が入力し正誤結果の信号を、入力項目決定部７に対し出力するための入力機能である。このほか入出力部Ｉ／Ｏには、計算機２２との間の各種情報が接続されるが、図１にはこの部分の記載を省略している。
【００１６】
表示部ＤＰについて、ここには各種の表示が可能である。表示の一例を図６、図７を参照して別途詳細に後述するが、ごく簡単には結果表示部４はタブレット端末の場合には液晶画面（モニタ画面）に相当し、認識候補決定部５で抽出された文を表示する。
【００１７】
演算部Ｃについて、ここで実行する処理は多様であるが、図２では声帯マイク１からの情報を処理する部分に特化して記載している。図２の処理例では、声帯マイク１の取得した音声信号が、タブレット端末などからなる処理装置２の演算部Ｃに与えられ、演算部Ｃでは声帯マイク１からの音声の入力データを解析し、音声を認識して発話者の発話内容を文字または数値として、処理結果を点検結果としてタブレット端末２１のモニタ画面（表示部ＤＰの例えば結果表示部４）に表示する。なお声帯マイク１は、咽喉の振動を直接把握していることで人体に起因する各種の影響を受けるため、音声信号とするには演算部Ｃにおいて、この振動と音声の相違を考慮する必要がある。
【００１８】
演算部Ｃには、声帯マイク１からの音声の入力データを解析するために、予め言語音響モデル３のデータベースが準備されている。タブレット端末２１に予め準備された言語音響モデル３は、声帯マイク２で発話した１個または複数の単語からなる文を認識するためのデータベースである。ここで、声帯マイク１からの音声は、発話者の個体による特徴が大きく反映されているので、言語音響モデル３のデータベースは発話者個体ごとに準備されるのが望ましい。なお、言語音響モデル３のデータベースに蓄積するデータは当初は予め入力するものであり、あるいは音声認識の経験から学習により取得したデータがその後に追加記憶されたものを含んでいてもよい。またここに保持している言語音響モデルは、声帯マイクからの音声の情報として準備しておくのがよい。
【００１９】
処理装置２の演算部Ｃにおいて、入力項目決定部７は声帯マイク１によってデータを入力したい項目とその結果のデータベースである。予め入力項目（点検項目）を計算機２２から設定しておくことで、設定した順序で項目がモニタ画面に表示されるようにでき、所定の順序で点検結果を入力することが可能となる。さらに入力項目決定部７は、正誤判定結果入力部６からの信号によって、モニタ表示した内容が作業者による判断の結果、正解であれば次の点検項目に移行し、作業者による判断の結果、不正解であれば再度音声などから入力させて修正を図る。また入力項目決定部７は、点検項目とその結果を保存する。
【００２０】
処理装置２の演算部Ｃにおいて、音声解析部８は、入力された音声から、音声認識に使用する特徴量に変換する。使用される特徴量としては、パワースペクトル、ＭＦＣＣ（メル周波数ケプストラム）などの公知の特徴量を使用することができる。
【００２１】
音声認識部１０１は、音声解析部８が出力した音声特徴量から、１個の単語または複数の単語列からなる文に変換する。この文の変換では、音素ごとの音声特徴量のモデルを格納した音響モデルと、受理できる単語の並びを格納した言語モデルを使用する。この音響モデルと言語モデルは、言語音響モデル３に格納されている。さらに音声認識部１０１は、入力項目決定部７の入力項目の定義を使用し、音声認識の動作を変更する。これらを用いることで、声帯マイク１のデータに対して、入力項目の定義と言語音響モデル３のデータに最も近い文を抽出する。なお、音声認識部１０１は、音声特徴量と類似する１個または複数の候補の文を出力することができる。
【００２２】
認識候補決定部５は、音声認識部１０１が出力した文を出力し、結果表示部４に表示する。
【００２３】
図１の処理装置２における一連の処理内容を説明する。まず、結果表示部４には入力項目決定部７で予め設定された点検項目が表示されている。この点検項目は、図１の計算機などにより予め入力され、所定の順番で表示画面に表示されている。点検作業者は、表示画面の点検項目の表示順番に従い、現場において、表示された点検項目の内容を目視しあるいは手などで確認し、次に点検作業者が、声帯マイク１に向かって点検結果を発話する。その発話が信号に変換されて、処理装置２に入力される。声帯マイク１は喉仏付近の振動を拾うマイクであり、現場周囲の雑音を含みにくい特長がある。しかし、一般的な音響マイクとは音響モデルが異なるため、処理装置２には言語音響モデル３として独自のモデルが組み込まれている。
【００２４】
次に、入力された音声は音声解析部８で音声特徴量に変換された後、音声認識部１０１に入力される。音声認識部１０１では、入力項目決定部７の入力項目の定義により、入力したい結果が数値か、結果の状態を示す用語なのかの情報にしたがって、音声認識に使用する言語音響モデル３を切りかえる。点検項目の内容から数値の音声が期待されているのであれば、数値専用のモデルを参照し、あるいは結果の状態を示す用語の音声が期待されているのであれば、例えば「正常」「異常」といった言語専用のモデルを参照すべく、切替準備を行う。そして、実際に入力された声帯マイク１の入力結果の特徴量に基づき、音声認識を行い、文を出力する。なお、結果の状態を示す用語とは「正常」「異常」「開」「閉」などである。
【００２５】
次に、認識候補決定部５では音声認識部１０１から出力された文のなかから、入力項目決定部７の定義と最も一致した文を、候補として決定する。また、その結果を結果表示部４でモニタ画面の所定の位置に表示するとともに、入力項目決定部７にその結果を入力する。正誤判定結果入力部６では、結果表示部４に表示された結果の正誤が作業者の判断を経て入力される。正しい場合はその結果を入力項目決定部７で確定し保存し、次の点検項目に移行させる。誤りの場合は声帯マイク１の新しい発話データを再解析する。
【００２６】
図６に結果表示部４の一例を示す。図６の例では、現場の点検対象系統は主燃料供給系であり、５号の点検項目について、「２−１系統全般（外観目視点検）」の具体項目が（１）から（６）として示されている。例えば（１）は「主燃料槽、燃料第一槽の湯量確認（目視）」であり、点検項目ごとに「異常有無」または「数値」を、作業者が発話し、この入力後の認識結果が画面表示されている。
【００２７】
本発明によれば、点検作業員が設備を巡回して、高騒音環境下においても、結果を音声にて格納でき、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現できる。
【００２８】
本発明の他の実施例を図３に示す。図１の装置との違いは、認識候補抽出部９の追加にある。認識候補抽出部９は認識候補決定部５で決定された文を除いた上位の候補を抽出し、その結果を結果表示部４に表示させている。図７はこの場合の結果表示例を示す。
【００２９】
本発明の効果を説明する。図１の実施例の説明で記載した正誤判定結果入力部６の結果が、「誤り」の場合（作業員（発話者）の判断によれば、目視、発話内容と表示内容が相違）に、入力項目決定部７の「誤り」検知信号により、音声認識部１０１、認識候補決定部５を経由して認識候補抽出部９が起動される。
【００３０】
認識候補抽出部９では音声認識部１０１の認識結果の中で、特徴量が最も一致し認識候補決定部５が決定した文を除く次点の候補を結果表示部４に表示させる。表示数は予め入力項目決定部７に設定しておく。例えば、正解（発話者の発話内容）が「１２８」であったのに対し、認識候補抽出部９で抽出し、音声認識部１０１の認識結果が最も一致した順に「１２１」「１２７」「１２８」「１２３」・・・の順序であったとする。この場合、認識候補決定部５は当初「１２１」を選択して表示する。これに対し、「（１２１は）誤り」として作業者からの指示があった場合、予め３つの候補を表示するように設定されているとすると、認識候補抽出部９で当初抽出した次点のデータ「１２７」「１２８」「１２３」がモニタ画面に表示される。作業者は、再度表示された次点候補のデータ「１２７」「１２８」「１２３」の中から、正誤判定結果入力部６の操作により、正解である「１２８」を選択する。この選択結果が、正誤判定結果入力部６を介して入力項目決定部７に入力され、点検結果として最終保存される。その際の結果表示部４の一例を図７に示す。点検項目「第一槽」の結果が誤りとなり、次点候補のデータ「１２０００」「１２００１」「１２００２」を３つ示した例である。
【００３１】
図３に示した本発明の実施例によれば、点検作業員が設備を巡回して、高騒音環境下においても、結果の誤りを簡単に修正して結果を格納でき、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現できる。特に発話による再入力を促すのではなく、正解の可能性が高い候補を再表示し入力させることで、再発話による認識誤りの繰り返しを防ぐことができる。
【００３２】
本発明の他の実施例を図４に示す。図３の実施例との違いは入力項目設定部７に正誤判定結果データベース１０を追加したことにある。正誤判定結果データベース１０は入力項目に対する正誤判定結果のデータを蓄積したものであり、入力項目ごとに１回目すなわち、認識候補決定部５で得られた最も一致した文の認識結果の正答率の結果を備える。正答率でなくて誤り回数でもよい。
【００３３】
この場合、入力項目決定部７は入力項目に対する正答率を入手する。予め設定した正答率以下の項目は、最上位の候補では誤りが多いと考えられるため、最初から複数の候補を一覧表示しておく。なお、図３の実施例では最上位の認識候補を削除したが、ここでは最上位を含めて表示するのがよい。図４の本発明の実施例により、誤りが多い項目のみ予め複数の候補を表示でき、正誤判定の効率向上が図れる。なお、正誤判定結果データベース１０に正解が、認識候補の上位からの順位データを蓄積することで、認識結果の順位を含む表示数に設定してもよい。
【００３４】
図４の本発明の実施例によれば、点検作業員が設備を巡回して、高騒音環境下においても、予め誤り易い入力項目に対しても効率向上を図ることができ、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現できる。特に認識誤り発生確率が高いことが予め判明している場合に、最初から複数候補が表示されることで正しい入力に至るまでの手順、時間を短くすることができる。
【００３５】
さらに本発明の他の実施例を図５に示す。図４の実施例との違いは言語音響モデル３を複数備えたことである。声帯マイクは、発話者の個体に影響されることが多いので、発話者ごとに言語音響モデル３を準備し、発話者を識別認識することで、発話者に専用の言語音響モデル３による解析を行わせるものである。このために、図５の実施例では、点検作業を実施する作業者名を入力する作業者名入力部１１と、作業者名入力部１１に入力された作業者に対応した言語音響モデル３に切り替えるための言語音響モデル切替部１２を設けた。
【００３６】
図５の本発明の実施例に係る装置は、現場設備などの巡回点検への適用を想定しており、点検作業者は限定されている。点検実施者の記録も残す必要があるため、入力項目として作業者名のデータが必要である。また、点検作業では入力する単語や文もある程度決まっている。このため、点検作業者ごとに言語音響モデル３を構築することは可能である。点検作業者毎に言語音響モデル３を構築することで、個人差に由来する発話の特徴を認識に反映できるため認識精度を向上できる。
【００３７】
本発明の実施例によれば、点検作業員が設備を巡回して、高騒音環境下においても、点検作業者毎に発話の特徴を認識に反映し、認識精度向上を図ることができ、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現できる。特に交代制で現場点検を行う場合に、作業者ごとにタブレット端末を準備するのでなく、共用とする場合に好適である。
【符号の説明】
【００３８】
１：声帯マイク
２：処理装置
３：言語音響モデル
４：結果表示部
５：認識候補決定部
６：正誤判定結果入力部
７：入力項目設定部
８：音声解析部
９：認識候補抽出部
１０：正誤判定結果データベース
１１：作業者名入力部
１２：言語音響モデル切替部
２０：設備点検支援装置
２１：タブレット端末
２２：計算機
２３：プリンタ
【図１】
0006427377.tif 000002
【図２】
0006427377.tif 000003
【図３】
0006427377.tif 000004
【図４】
0006427377.tif 000005
【図５】
0006427377.tif 000006
【図６】
0006427377.tif 000007
【図７】
0006427377.tif 000008