(57)【特許請求の範囲】
【請求項１】
利用者が携帯する携帯端末と、この携帯端末と通信する通信手段を有するサーバーとにより構成された、前記利用者の業務を支援するためシステムであって、
前記携帯端末は、
前記サーバーと通信可能な状態か否かを判定する通信判定部と、
マイクロフォンと、
前記通信判定部により前記サーバーと通信可能な状態でないと判定された場合に、前記マイクロフォンから入力された音声信号に基づく音声認識を当該携帯端末にて行うように設定し、前記通信判定部により前記サーバーと通信可能な状態であると判定された場合に、前記音声認識を前記サーバーにて行うように設定する処理切替部と、
前記処理切替部により音声認識を当該携帯端末にて行うように設定されている場合に、前記音声信号に基づいて音声認識を行う端末側音声認識部と、
前記端末側音声認識部による音声認識結果に基づいて、前記利用者に対するメッセージを音声信号として出力する端末側支援実行部と、
前記処理切替部により音声認識を前記サーバーにて行うように設定されている場合に、前記マイクロフォンから入力された音声信号に応じた音声情報を前記サーバーへ送信する音声送信部と、
前記サーバーと通信可能でない状態での前記端末側音声認識部による音声認識結果を記憶する認識結果記憶部と、
前記通信判定部により前記サーバーと通信可能な状態となったと判定された場合に、前記記憶した音声認識結果を前記サーバーへ送信する認識結果送信部と、を備え、
前記サーバーは、
前記携帯端末から送信されてきた前記音声情報を受信する音声情報受信部と、
前記受信した音声情報に基づいて音声認識を行うサーバー側音声認識部と、
前記サーバー側音声認識部による音声認識結果に基づいて、前記利用者へ通知すべきメッセージを生成するサーバー側支援実行部と、
前記生成されたメッセージに応じた音声情報を前記携帯端末へ送信するメッセージ送信部と、
前記サーバー側音声認識部による音声認識結果及び前記認識結果送信部から受信した音声認識結果を記憶する記憶部と、を備えることを特徴とする業務支援システム。
【請求項２】
前記携帯端末は、今回の業務内容に対応した音声認識用の辞書情報を前記サーバーから取得する辞書取得部を備え、
前記端末側音声認識部は前記取得した辞書情報に基づいて音声認識処理を行うことを特徴とする請求項１記載の業務支援システム。
【請求項３】
前記携帯端末は、今回の業務内容に対応した支援情報を前記サーバーから取得する支援情報取得部を備え、
前記端末側作業支援部は前記取得した支援情報に基づいて前記利用者に対するメッセージを生成することを特徴とする請求項１又は２記載の業務支援システム。
【請求項４】
前記支援情報取得部は、前記携帯端末が前記サーバーと通信不能な状況になることが予測された時点で、前記支援情報を前記サーバーから取得することを特徴とする請求項３記載の業務支援システム。
【請求項５】
前記携帯端末は、前記入力された音声信号から所定の音声処理により特徴量データを抽出する音声処理部を更に備え、
前記音声送信部は、前記抽出された特徴量データを前記音声情報として前記サーバーへ送信することを特徴とする請求項１〜４のうち何れか１項記載の業務支援システム。
【請求項６】
前記サーバーは、各作業者の声紋を記憶し、前記受信した音声情報の声紋と前記記憶した声紋との照合に基づいて作業者の本人認証を行う認証部を備えることを特徴とする請求項１〜５のうち何れか１項記載の業務支援システム。
【請求項７】
前記携帯端末は画像取得部を備え、前記音声送信部は、該当する音声に対応して前記画像取得部により画像データが取得されている場合は、前記音声情報と共にその画像データを前記サーバーへ送信することを特徴とする請求項１〜６のうち何れか１項記載の業務支援システム。
【請求項８】
前記サーバーは画像取得部を備え、メッセージ送信部は、前記生成されたメッセージに対応して前記画像取得部により画像が取得されている場合は、前記メッセージに応じた音声情報と共にその画像データを前記携帯端末へ送信することを特徴とする請求項１〜７のうち何れか１項記載の業務支援システム。
【請求項９】
利用者が携帯する携帯端末と、この携帯端末と通信する通信手段を有するサーバーとにより、前記利用者の業務を支援する方法であって、
前記携帯端末が、
前記サーバーと通信可能な状態か否かを判定する通信判定ステップと、
前記サーバーと通信可能な状態でないと判定された場合に、前記マイクロフォンから入力された音声信号に基づく音声認識を当該携帯端末にて行うように設定し、前記サーバーと通信可能な状態であると判定された場合に、前記音声認識を前記サーバーにて行うように設定する処理切替ステップと、
前記処理切替ステップにて音声認識を当該携帯端末にて行うように設定されている場合に、前記マイクロフォンから入力された音声信号に基づいて音声認識を行う端末側音声認識ステップと、
前記端末側音声認識ステップでの音声認識結果に基づいて、前記利用者に対するメッセージを音声信号として出力する端末側実行支援ステップと、
前記処理切替ステップにて音声認識を前記サーバーにて行うように設定されている場合に、前記マイクロフォンから入力された音声信号に応じた音声情報を前記サーバーへ送信する音声送信ステップと、
前記サーバーと通信可能でない状態での前記端末側実行支援ステップにおける音声認識の結果を記憶する認識結果記憶ステップと、
前記通信判定ステップにより前記サーバーと通信可能な状態となったと判定された場合に、前記記憶した音声認識結果を前記サーバーへ送信する認識結果送信ステップと、を実行し、
前記サーバーが、
前記携帯端末から送信されてきた前記音声情報を受信する音声情報受信ステップと、
前記受信した音声情報に基づいて音声認識を行うサーバー側音声認識ステップと、
その音声認識結果に基づいて、前記利用者へ通知すべきメッセージを生成するサーバー側支援実行ステップと、
前記生成したメッセージに応じた音声情報を前記携帯端末へ送信するメッセージ送信ステップと、
前記サーバー側音声認識ステップによる音声認識結果を記憶すると共に、前記認識結果送信ステップで送信された音声認識結果を受信して記憶する記憶ステップとを実行することを特徴とする業務支援方法。
【請求項１０】
利用者により携帯され、この利用者の業務を支援するための業務支援端末であって
所定のサーバーと通信する通信手段と、
前記通信手段が前記サーバーと通信可能な状態か否かを判定する通信判定部と、
マイクロフォンと、
前記通信判定部により前記サーバーと通信可能な状態でないと判定された場合に、前記マイクロフォンから入力された音声信号に基づく音声認識を当該携帯端末にて行うように設定し、前記通信判定部により前記サーバーと通信可能な状態であると判定された場合に、前記音声認識を前記サーバーにて行うように設定する処理切替部と、
前記処理切替部により音声認識を当該携帯端末にて行うように設定されている場合に、前記音声信号に基づいて音声認識を行う端末側音声認識部と、
前記音声認識部による音声認識結果に基づいて、前記利用者に対するメッセージの音声情報を生成する端末側支援実行部と、
前記処理切替部により音声認識を前記サーバーにて行うように設定されている場合に、前記マイクロフォンから入力された音声信号に応じた音声情報を前記サーバーへ送信する音声送信部と、
前記サーバーと通信可能でない状態での前記端末側音声認識部による音声認識結果を記憶する認識結果記憶部と、
前記通信判定部により前記サーバーと通信可能な状態となったと判定された場合に、前記記憶した音声認識結果を前記サーバーへ送信する認識結果送信部と、
前記端末側支援実行部により生成された音声情報、及び、前記音声送信部が送信した音声情報に応じて前記サーバーから送信されてきた音声情報を出力する音声出力部とを備えることを特徴とする業務支援端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、設備等の点検作業その他の各種業務を支援するためのシステム及び方法に係り、特に、音声を用いて双方向で業務支援を行うシステム及び方法に関する。
【背景技術】
【０００２】
例えば電力会社の変電所では、送変電用等の各種設備が正常に作動することを確認するため、定期的に保守点検作業が行われる。このような保守点検作業は、従来、点検現場に作業員を派遣し、監視センターから現場作業員へ点検作業の指示を電話やＦＡＸで送り、点検作業者からも点検結果を電話やＦＡＸで監視センターへ送ることにより行われている。
【０００３】
しかし、電話やＦＡＸ等の通信手段を用いた方法では、点検指示や点検結果の伝達に時間がかかり、また、その内容も不正確になり易い。そこで、例えば特許文献１に開示される点検作業支援システムでは、音声認識・合成技術を用いて、点検作業者との間で双方向で音声による情報のやりとりを行いながら点検作業を支援できるようにしている。具体的には、点検作業者が携帯するウェラブルコンピュータを、ヘッドセット、携帯電話機、音声認識装置、及びノート型パーソナルコンピュータにより構成している。そして、点検作業者の音声を音声認識装置に入力して認識し、その音声認識結果をノート型パーソナルコンピュータから携帯電話機を介してホストコンピュータへ送信すると共に、ホストコンピュータからも点検者への指示内容を表す音声情報をノート型パーソナルコンピュータへ送信することで、点検者とホストコンピュータとの間で音声による双方向の情報伝達を行うことが可能となっている。
【特許文献１】特開２００２−２４５１８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載されたシステムのように携帯端末（ウェラブルコンピュータ）側だけで音声認識を行う構成にすると、携帯端末側での音声認識に係わる処理負荷が多大となってしまうため、携帯端末の小型軽量化の観点から好ましくない。これに対して、本出願人は、特願２００３−３６３７１６において、音声認識機能をサーバー側に設けた構成の業務支援システムを提案している。
【０００５】
しかしながら、サーバー側で音声認識を行う構成では、携帯端末からサーバーへ音声信号を送信できることが前提となり、そのために携帯端末とサーバーとの間の通信が確保されていなければならない。しかし、例えば僻地や山間部、コンクリート建物の内部、あるいは、高速走行中の車内のように電波状態の悪い環境で作業を行うような場合には、携帯端末とサーバーとの通信が遮断されてしまうことがあり、そのような場合には、音声認識処理を行えないために業務支援を停止せざるを得なくなる。
【０００６】
本発明は上記の点に鑑みてなされたものであり、利用者が携帯する携帯端末と、サーバの双方に音声認識機能を持たせて、携帯端末とサーバとの間で通信が行えない状況であっても利用者に対する音声での双方向の業務支援を行うことが可能な業務支援システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明は、利用者が携帯する携帯端末と、この携帯端末と通信する通信手段を有するサーバーとにより構成された、前記利用者の業務を支援するためシステムであって、
前記携帯端末は、
前記サーバーと通信可能な状態か否かを判定する通信判定部と、
マイクロフォンと、
前記通信判定部により前記サーバーと通信可能な状態でないと判定された場合に、前記マイクロフォンから入力された音声信号に基づく音声認識を当該携帯端末にて行うように設定し、前記通信判定部により前記サーバーと通信可能な状態であると判定された場合に、前記音声認識を前記サーバーにて行うように設定する処理切替部と、
前記処理切替部により音声認識を当該携帯端末にて行うように設定されている場合に、前記音声信号に基づいて音声認識を行う端末側音声認識部と、
前記端末側音声認識部による音声認識結果に基づいて、前記利用者に対するメッセージを音声信号として出力する端末側支援実行部と、
前記処理切替部により音声認識を前記サーバーにて行うように設定されている場合に、前記マイクロフォンから入力された音声信号に応じた音声情報を前記サーバーへ送信する音声送信部と、
前記サーバーと通信可能でない状態での前記端末側音声認識部による音声認識結果を記憶する認識結果記憶部と、
前記通信判定部により前記サーバーと通信可能な状態となったと判定された場合に、前記記憶した音声認識結果を前記サーバーへ送信する認識結果送信部と、を備え、
前記サーバーは、
前記携帯端末から送信されてきた前記音声情報を受信する音声情報受信部と、
前記受信した音声情報に基づいて音声認識を行うサーバー側音声認識部と、
前記サーバー側音声認識部による音声認識結果に基づいて、前記利用者へ通知すべきメッセージを生成するサーバー側支援実行部と、
前記生成されたメッセージに応じた音声情報を前記携帯端末へ送信するメッセージ送信部と、
前記サーバー側音声認識部による音声認識結果及び前記認識結果送信部から受信した音声認識結果を記憶する記憶部と、を備えることを特徴とする。
【００１０】
また、前記携帯端末は、今回の業務内容に対応した音声認識用の辞書情報を前記サーバーから取得する辞書取得部を備え、前記端末側音声認識部は前記取得した辞書情報に基づいて音声認識処理を行うこととしてもよい。
【００１１】
また、前記携帯端末は、今回の業務内容に対応した支援情報を前記サーバーから取得する支援情報取得部を備え、前記端末側作業支援部は前記取得した支援情報に基づいて前記利用者に対するメッセージを生成することとしてもよい。この場合、前記支援情報取得部は、前記携帯端末が前記サーバーと通信不能な状況になることが予測された時点で、前記支援情報を前記サーバーから取得することとしてもよい。
【００１２】
また、前記携帯端末は、前記入力された音声信号から所定の音声処理により特徴量データを抽出する音声処理部を更に備え、
前記音声送信部は、前記抽出された特徴量データを前記音声情報として前記サーバーへ送信することとしてもよい。
【００１３】
また、前記サーバーは、各作業者の声紋を記憶し、前記受信した音声情報の声紋と前記記憶した声紋との照合に基づいて作業者の本人認証を行う認証部を備えることとしてもよい。
【００１４】
また、前記携帯端末は画像取得部を備え、前記音声送信部は、該当する音声に対応して前記画像取得部により画像データが取得されている場合は、前記音声情報と共にその画像データを前記サーバーへ送信することとしてもよい。
【００１５】
また、前記サーバーは画像取得部を備え、メッセージ送信部は、前記生成されたメッセージに対応して前記画像取得部により画像が取得されている場合は、前記メッセージに応じた音声情報と共にその画像データを前記携帯端末へ送信することとしてもよい。
【発明の効果】
【００１６】
本発明によれば、利用者が携帯する携帯端末と、サーバの双方に音声認識機能を持たせて、携帯端末とサーバとの間で通信が行えない状況であっても利用者に対する音声での双方向の業務支援を行うことが可能となる。
【発明を実施するための最良の形態】
【００１７】
図１は、本発明の一実施形態である業務支援システムの全体構成図である。同図に示す如く、本実施形態のシステムは、作業用携帯端末１０と業務支援サーバー２０とを含んで構成されている。
【００１８】
業務支援サーバー２０は、例えば、業務監視を行うためのセンターに設置されたサーバーコンピュータであり、ＬＡＮ４０に接続されている。業務支援サーバー２０には、スキャナー２２が設けられており、各種画像データを業務支援サーバー２０に入力することができる。
【００１９】
一方、作業用携帯端末１０は、各種点検作業等の業務を行う作業者が携帯するものであり、マイクロフォンとヘッドフォン（あるいはイヤフォンやスピーカ）からなるヘッドセット１２により作業者が音声の入出力を行うことができると共に、携帯電話機１４を介して公衆ネットワーク３０（例えばインターネット）及びＬＡＮ４０を経由して業務支援サーバー２０と通信することができる。また、作業用携帯端末１０には、デジタルカメラ１６が接続されていて写真画像データを入力することができ、さらに、ＧＰＳ機能により現在位置を検知することもできる。なお、作業用携帯端末１０は、非使用時にはＬＡＮ４０に接続し、業務支援サーバー２０とＬＡＮ４０を経由して直接通信することもできる。
【００２０】
図２は、作業用携帯端末１０及び業務支援サーバー２０の機能構成を表すブロック図である。
【００２１】
先ず、作業用携帯端末１０について説明する。図２に示すように、作業用携帯端末１０は、音声分析部１０２、端末側音声認識部１０４、辞書取得部１０５、認識結果記憶部１０６、処理切替部１０８、通信判定部１１０、認識結果送信部１１２、支援情報取得部１１４、端末側支援実行部１１６、音声出力部１１８、画像バッファ１１９等を備えている。
【００２２】
音声分析部１０２は、ヘッドセット１２のマイクロフォンから入力された音声信号を分析して特徴量データを抽出する。この特徴量データは、音声情報の特徴を示すデータであり、本実施形態ではその一例として、いわゆるケプストラムを用いて特徴量データを抽出している。ケプストラムを用いた特徴量データの算出は音声認識分野で周知の手法であるが、ここでは、この手法の概要を簡潔に説明する。
【００２３】
本実施形態では、音声信号は、例えば、１６ｋＨｚのサンプリング周波数により入力されるものとしており、したがって、１秒当たり１６，０００個の数値データにより音声が表現され、この数値データを３２ｍｓごとに分割する。すなわち、連続する５１２個の数値データを分割の１単位とし、分割された１単位をｓ（ｔ）（ｔ＝０,１,・・・,５１１）で表す。このｓ（ｔ）を用いて、１６次元のケプストラムＣ（ｕ）（ｕ＝０,１,・・・,１５）を次式により計算する。
【数１】
0004791699.tif 000002
【００２４】
ここで、関数Ｆは、５１２点の離散フーリエ変換であり、その定義域及び値域は夫々５１２点からなる。対数関数 logは、５１２点の定義域の夫々について対数を計算する。このようにして求めた１６次元のケプストラムは５１２個の音声データを１６個のデータに圧縮したものとなるが、この１６個のデータを用いて音声認識を行えることが知られている。
【００２５】
以上は一例であり、音声認識に用いられる特徴量としてケプストラム以外のものを使用することも可能である。また、５１２個の数値データｃ（ｔ）を１６個の数値データＣ（ｕ）に圧縮する際に上記のように均等に分割するのではなく、不均等に分割してもよい。さらに、ｓ（ｔ）に対して、ノイズ除去などの操作を行ってもよい。
【００２６】
上記した特徴量抽出処理に要する計算負荷は小さく、作業用携帯端末１０が比較的処理能力が低いＰＤＡやノートパソコンで構成されていても、ソフトウェア的な処理で上記特徴量抽出処理をリアルタイムで行うことができる。あるいは、上記特徴量抽出処理を行う専用ＩＣチップを作業用携帯端末１０に組み込んで、ハードウェア的に処理するようにしてもよい。
【００２７】
以上のようにして音声分析部１０２により抽出された特徴量データは、処理切替部１０８による設定に応じて、端末側音声認識部１０４に供給され、あるいは、携帯電話機１４からネットワーク経由で業務支援サーバー２０へ送信されことにより、音声認識処理に用いられる。すなわち、本実施形態では、音声認識処理を、作業用携帯端末１０又は業務支援サーバー２０の何れかで行うこととしており、何れで音声認識処理を行うかを処理切替部１０８で設定する。
【００２８】
通信判定部１１０は、携帯電話機１４がネットワーク接続可能な状態であるか否か（つまり、作業用携帯端末１０と業務支援サーバー２０とが通信可能な状態であるか否か）を判定する。上記処理切替部１０８は、この通信判定部１１０による判定結果に基づき、業務支援サーバー２０と通信可能な状態であれば、音声分析部１０２が抽出した特徴量データを携帯電話機１２０から業務支援サーバー２０へ送信することにより業務支援サーバー２０側で音声認識を行わせ、一方、業務支援サーバー２０と通信不能な状態であれば、上記特徴量データを端末側音声認識部１０４へ供給して作業用携帯端末１０側で音声認識処理を行わせる。
【００２９】
端末側音声認識部１０４は、作業用携帯端末１０の今回の業務内容に特化した必要最小限の辞書を記憶する辞書記憶部１０４ａを備えており、この辞書記憶部１０４ａに記憶された辞書を参照して上記特徴量データに基づき音声認識処理を行う。なお、辞書記憶部１０４ａへの辞書情報の格納は、例えば、作業用携帯端末１０を用いた点検作業の開始前に、辞書取得部１０５により、業務内容に応じた辞書情報を作業支援サーバー２０からダウンロードすることにより行うものとする。あるいは、車などでの移動中の場合は、ＧＰＳにより通信不能地域に差し掛かっていることを検知した時点で、辞書取得部１０５が自動的に辞書情報をダウンロードするようにしてもよい。このように、作業用携帯端末１０の用途に特化した辞書のみを記憶するので、作業用携帯端末１０において辞書を記憶するための記憶容量が少なくて済む。
【００３０】
認識結果記憶部１０６は、通信判定部１１０によって業務支援サーバー２０と通信不能な状態であると判定されている間、端末側音声認識部１０４による音声認識結果を記憶する。そして、認識結果送信部１１２は、通信判定部１１０により通信不能な状態から通信可能な状態に復帰したと判定されると、認識結果記憶部１０６が記憶した音声認識結果を携帯電話機１２０から業務支援サーバー２０へ送信する。
【００３１】
デジタルカメラ１６で撮影された写真の画像データは画像バッファ１１９に格納される。そして、特徴量データあるいは音声認識結果が業務支援サーバー２０へ送信される際、該当する画像データが画像バッファ１１９に格納されていれば、その画像データも一緒に送信される。
【００３２】
支援情報取得部１１４は、作業用携帯端末１０の今回の業務に応じた支援情報を業務支援サーバー２０からダウンロードして記憶する。ここで、支援情報とは、作業者の作業状況に応じて適切な指示やアドバイスを行うための情報である。後述するように、業務支援サーバー２０は、様々な業務に対応した支援情報をデータベース上に保管しており、作業用携帯端末１０の支援情報取得部１１４からの要求に応じて、該当する業務に対応した支援情報を作業用携帯端末１０へダウンロードする。なお、支援情報取得部１１４による支援情報のダウンロードは、例えば、点検作業を開始する前に点検作業者により手動で行うようにすることができる。あるいは、辞書取得部１０５の場合と同様に、車などでの移動中の場合は、ＧＰＳにより通信不能地域に差し掛かっていることを検知した時点で、支援情報取得部１１４が自動的に支援情報をダウンロードするようにしてもよい。
【００３３】
端末側支援実行部１１６は、端末側音声認識部１０４による音声認識結果に基づき、支援情報取得部１１４が取得した支援情報を参照して、点検作業者の作業を支援するためのメッセージの音声情報を生成する。
【００３４】
音声出力部１１８は、端末側支援実行部１１６が生成した音声情報、及び、後述するように業務支援サーバー２０から送信されてきた音声情報の音声出力を行う。
【００３５】
次に、業務支援サーバー２０について説明する。  
図２に示すように、業務支援サーバー２０は、サーバー側音声認識部２００、サーバー側支援実行部２１０、音声合成部２２０、通信部２３０、認証部２４０、支援情報送信部２４２、認識結果受信部２４４、支援情報データベース２５０、認識結果データベース２６０等を備えている。
【００３６】
通信部２３０は、ネットワーク経由の通信を制御するものであり、作業用携帯端末１０側の携帯電話機１４との間の各種情報の送受信を行う。また、認証部２４０は、各点検作業者の声紋データを記憶しており、アクセスしてきた作業用携帯端末１０に対して点検作業者の声紋により本人認証を実行する。
【００３７】
サーバー側音声認識部２００は、認識デコーダ２０２、音響モデル記憶部２０４、辞書記憶部２０６、及び言語モデル記憶部２０８により構成されている。音響モデル記憶部２０４には、「あ」「い」「う」といった音素単位の音響情報が記憶され、辞書記憶部２０６には、「電気」「スイッチ」といった単語単位の辞書情報が記憶されている。また、言語モデル記憶部２０８には、例えば、「火力」と「発電」はこの順序で接続され、この逆順に接続されることはないといった、単語間の接続関係に関する統計的な情報が記憶されている。認識デコーダ２０２は、通信部２３０が受信した上記特徴量データに基づき、音響モデル記憶部２０４、辞書記憶部２０６、及び、言語モデル記憶部２０８を参照して音声認識処理を行って、その音声認識結果をサーバー側支援実行部２１０へ供給する。なお、認識デコーダ２００はソフトウェアにより実装されてもよいし、専用ＩＣチップ等によりハードウェアとして実装されてもよい。
【００３８】
サーバー側支援実行部２１０は、以下の実施例で詳細に述べるように、サーバー側音声認識部２００による音声認識結果（すなわち、点検作業者の発話音声の認識結果）に基づき、支援情報データベース２５０に格納された各種業務支援情報を検索して、点検作業者に対して行うべき指示やアドバイス等（以下、指示情報という）を生成する。生成された指示情報は音声合成部２２０により音声信号に変換され、通信部２３０からネットワークを介して作業用携帯端末１０へ送信される。なお、支援情報データベース２５０には、スキャナー２２によって読み取られた、例えば点検対象施設の図面や地図等の図面データを格納することもできる。
【００３９】
以上のように、本実施形態のシステムでは、作業用携帯端末１０と業務支援サーバー２０との間で音声による双方向の情報伝達を行うことができる。なお、点検作業者から音声で伝えられ、サーバー側音声認識部２００で音声認識されたた点検結果は、認識結果データベース２６０に格納される。また、作業用携帯端末１０の認識結果送信部１１２から送信されてきた音声認識結果は認識結果受信部２４４により受信され、これも認識結果データベース２６０に格納される。サーバー側支援実行部２１０は、こうして認識結果データベース２６０に格納された情報に基づいて各種報告書等を作成する機能も有する。
【００４０】
また、支援情報ダウンロード部２４２は、作業用携帯端末１０からの要求に応じて、該当する業務に対応した支援情報を支援情報データベース２５０から読み出し、通信部２３０を介して作業用携帯端末１０へダウンロードする。
【００４１】
以上説明したように、本実施形態のシステムによれば、点検作業者は、作業用携帯端末１０が業務支援サーバー２０と通信可能な場合は、業務支援サーバー２０との間で音声による対話を行って、業務支援サーバー２０からの指示やアドバイスを受けながら点検等の作業を進めることができる。このため、例えば電力会社の変電所巡視のように、従来は、点検の正確を期するため２名以上で行う必要があった作業を、正確さを担保しながら単独で行うことが可能となると共に、業務支援サーバー２０により無人で作業支援を行うことができるので、設備点検等の作業の大幅な省人化を図ることができる。
【００４２】
また、例えば、山間部の送電塔作業や、コンクリート建物内での作業、あるいは、自動車等の乗物で高速移動中の作業のように電波状態の悪い環境のために、作業用携帯端末１０が業務支援サーバー２０との間で通信を行えない場合には、処理切替部１０８により、作業用携帯端末１０内での音声認識処理に切り替えられるので、作業用携帯端末１０単体で、点検作業者への指示やアドバイスを行うことができる。
【００４３】
このように、本実施形態では、作業用携帯端末１０が業務支援サーバー２０と通信可能な場合は、点検作業者は業務支援サーバー２０による業務支援を受けることができ、通信不能な場合にも作業用携帯端末１０単体での処理により必要最低限の業務支援を受けることができる。すなわち、本実施形態では、業務支援サーバー２０での音声認識処理と、作業用携帯端末１０での音声認識処理とを複合したハイブリッド型の構成とすることにより、作業用携帯端末１０と業務支援サーバー２０との間の通信状態にかかわらず（つまり、作業場所の環境にかかわらず）、点検作業者に対する業務支援を行うことができるのである。
【００４４】
また、作業用携帯端末１０にて音声認識を行うための辞書情報や、業務支援を行うための支援情報等として今回の業務に対応した必要最低限の情報のみを作業用携帯端末１０側にダウンロードし、作業用携帯端末１０側では用途を絞った最小限の音声認識処理及び業務支援処理のみを行うこととしている。このため、作業用携帯端末１０に必要な記憶容量や処理能力を抑えることが可能となり、作業用携帯端末１０を小型軽量化して携帯性を向上できると共に、端末の低価格化を図ることもできる。
【００４５】
また、作業者は点検結果等の入力をヘッドセット１２から音声で入力できるので、両手が自由に使える状態での点検作業が可能となる。このため、狭隘な箇所でも難なく所要の作業を行える。
【００４６】
また、従前のように人が作業支援を行う場合には、作業者からの問い合わせに対して支援担当者が十分な知識を持ち合わせていないときは、別の担当者に尋ねたり、資料等を調べたりして時間が掛かってしまうという問題があったが、本実施形態によれば、業務支援サーバー２０が支援情報データベース２５０を参照することにより、即座に指示やアドバイス等を生成できるため、業務支援をスムーズに行うことができる。
【００４７】
また、上記実施形態では、作業用携帯端末１０と業務支援サーバー２０とが通信可能な場合、作業用携帯端末１０にて音声信号から抽出した特徴量データを業務支援サーバー２０へ送信する構成としているため、音声信号そのものを送信する場合に比べて、データ量が圧倒的に小さくて済み、情報伝送に要する時間が短くなると共に通信コストも安く済む。また、音声信号をそのまま送る場合には何らかの圧縮処理が必要となり、その分、認識精度が低下するおそれがあるが、特徴量データの送信にあたってはデータ圧縮の必要もないため、圧縮による認識精度低下の問題も生じない。ただし、本発明は、携帯端末側で音声信号から特徴量データを抽出してサーバーに送信する場合に限らず、音声信号をそのままデジタル化してサーバーへ送信する場合も含むものである。
【００４８】
以下、本実施形態の作業支援システムのより具体的な適用事例を実施例１及び実施例２として説明する。
【００４９】
＜実施例１：変電所の巡視業務＞
変電所に設けられた各種設備を巡回して点検する変電所巡視業務を支援する場合の実施例である。本実施例では、支援情報データベース２５０には、変電所巡視業務に対応した支援情報として、変電所の各機器についての点検項目を示すチェックリスト等のデータや、発生し得る異常状況、その異常状況に対する対応策を表す異常時対応情報、作業者が行う可能性のある危険作業、及び、その危険作業に対応して発すべき警告内容を表す危険作業情報等が記憶されている。
【００５０】
また、辞書記憶部２０６及び言語モデル記憶部２０８には、変電所巡視業務に対応して、例えば次のような辞書及び言語モデルが記憶される。  
（辞書例）
ＳＦ６（えすえふしっくす），動作回数（どうさかいすう），ブッシング（ぶっしんぐ），油ポンプ（あぶらぽんぷ），パッキン（ぱっきん），ダッシュポット（だっしゅぽっと），発錆（はっせい）
（言語モデル例）
ＳＦ６  →  ガス  →  の  →  漏気  は  →  ないか
圧力計  →  の  →  指  示  →  は→  よいか
外観  →  点検  →  異常→  は  →  ないか
補助  →  開閉器  →  の  →  異常  →  は  →  ないか
【００５１】
図３は、巡視業務の概要を示すフローチャートである。先ず、点検作業者（巡視担当者）は、巡視に先立って、作業用携帯端末１０をＬＡＮ４０に接続して巡視を行う変電所を指定し、当該変電所についての巡視経路データ及び変電所巡視業務に対応する音声認識用の辞書情報や支援情報を業務支援サーバー２０から作業用携帯端末１０にダウンロードしておく（Ｓ１００）。ただし、携帯電話機１４経由で上記ダウンロードを行ってもよい。また、上述のように、辞書情報や支援情報のダウンロードは、作業用携帯端末１０にて業務支援サーバー２０との通信が途絶えることが予測された時点で行うようにしてもよい。
【００５２】
このように必要な情報をダウンロードした後、巡視者は、作業用携帯端末１０にヘッドセット１２及び携帯電話機１４を装着して巡視を開始する。
【００５３】
作業用携帯端末１０の画面には上述のようにダウンロードした巡視経路データが表示され、巡視者はその巡視経路に基づいて、変電所内の巡視を行う（Ｓ１０２）。なお、巡視経路データに基づいて音声で巡視者を誘導できるようにしてもよい。巡視中、作業用携帯端末１０と業務支援サーバー２０とが通信可能な状態であれば、巡視者と業務支援サーバー２０との間で随時音声による交信が行われる（Ｓ１０４）。なお、本実施例では、作業用携帯端末１０と業務支援サーバー２０とが通信可能な状態であるものとして説明するが、両者が通信不能な状態である場合には、作業用携帯端末１０の内部で業務支援処理が行われ、その間の音声認識結果は通信可能な状態に復帰した際に、まとめて業務支援サーバー２０へ送信されることとなる。
【００５４】
先ず、巡視者は各設備の点検を始める前に、設備名を音声入力し、業務支援サーバー２０は支援情報データベース２５０を参照して、該当する設備のチェックリストを読み出す。そして、そのチェックリストに従って、指示情報を音声情報として作業用携帯端末１０へ送信する。巡視者は、指示情報に従って点検を行い、点検結果を音声入力する。また、業務支援サーバー２０は、支援情報データベース２５０に記憶された危険作業情報を参照して、巡視者の音声から何らかの危険な状況（例えば感電のおそれがある状況）を感知した場合には、「アースは設置してありますか」「電源はロックしてありますか」といった警告音声を作業用携帯端末１０へ送信する。これにより、巡視者は安全に巡視業務を遂行することができる。
【００５５】
また、巡視者は設備巡視の過程で何らかの異常に遭遇すると（Ｓ１０６）、その異常内容を音声にて業務支援サーバー２０へ連絡する。業務支援サーバー２０は、支援情報データベース２５０の異常時対応情報を参照して、連絡のあった異常に対して適切な指示情報を検索し、そのアドバイスを音声情報として作業用携帯端末１０へ送信する（Ｓ１０８）。例えば、巡視者が「モータが過熱しているがどうすればいいですか」と問い合わせてきた場合、業務支援サーバー２０はこの問い合わせに対するアドバイス「・・・という処理をしてください」を検索して作業用携帯端末１０へ送信する。なお、あらゆるトラブルに対するアドバイスを全て支援情報データベース２５０に登録しておくことが困難な場合は、業務支援サーバー２０を外部のエキスパートシステム等に接続し、支援情報データベース２５０に該当する指示情報が見当たらない場合には、外部のエキスパートシステム等に問い合わせるようにしてもよい。
【００５６】
また、本実施例では、業務支援サーバー２０には保守担当部門が管理するシステムが接続されており、業務支援サーバー２０は、巡視者から通知された異常に対して応急処置が必要と判断した場合（Ｓ１１０）、その応急処置の内容を作業用携帯端末１０に送信する（Ｓ１１２）と共に、保守部門のシステムへ応急処置が必要な機器及びその処置内容を電子メール等により送信する（Ｓ１１４）。その際、トラブル発生までの巡視者との対話を集約したレポートを作成して保守部門のシステムへ送信するようにしてもよい。
【００５７】
作業用携帯端末１０から業務支援サーバー２０へ送信された点検結果等の情報は、認識結果データベース２６０に格納され（Ｓ１１６）、巡視が終了していなければ（Ｓ１１８）、Ｓ１０２へ戻って次の点検対象設備についての点検が行われる。
【００５８】
以下、変電所の遮断器を点検する場合を例として、巡視者と業務支援サーバー２０との対話の例を示す。巡視者は、遮断器の点検を行う前に、音声入力又は作業用携帯端末１０への操作入力により、点検対象機器である「遮断器」を入力する。すると、業務支援サーバー２０は、遮断器に対応して支援情報データベース２５０に記憶されたチェックシート（図４）を参照して、以下のように、巡視者との対話を行いながら、点検作業を指示し、点検結果を取得する。
【００５９】
サーバー＞「点検前確認を行ってください」
巡視者＞「了解」
サーバー＞「点検前動作回数はいくらですか？」
巡視者＞「２３０回」
サーバー＞「油ポンプ動作回数はいくらですか？」
巡視者＞「１５０回」
サーバー＞「外観点検してください。外観に損傷の発生、ボルトの緩みはありませんか」？
巡視者＞「なし」
サーバー＞「ブッシングに破損，亀裂はありませんか？」
巡視者＞「なし」
サーバー＞「接地端子の緩み，接地線の損傷はありませんか？」
巡視者＞「端子の緩みあり，締めつけします。」
サーバー＞「電磁弁の動作に異常はありませんか？」
巡視者＞「なし」
サーバー＞「開閉試験を行ってください。準備はよいですか？」
巡視者＞「よし」
サーバー＞「遮断器入り（いり）」
巡視者＞「遮断器，入り，よし」
サーバー＞「遮断器切り（きり）」
巡視者＞「遮断器，切り，よし」
以上のような対話により巡視者から伝達された点検結果は、認識結果データベース２６０に蓄積されていく。業務支援サーバー２０は、認識結果データベース２６０に蓄積された点検結果のデータに基づいて、巡視結果報告書を作成する。このように、本実施例では、点検記録の作成も自動化することで、手作業で巡視結果報告書を作成することも不要となる。
【００６０】
なお、巡視者は、巡視作業の過程で、必要に応じてデジタルカメラ１６で現場写真を撮影し、撮影された写真画像データは、上述のように、特徴量データあるいは音声認識結果と共に業務支援サーバー２０へ送信される。業務支援サーバー２０は、写真画像データが送られてきた場合は、その写真画像データも認識結果データベース２６０に蓄積する。
【００６１】
＜実施例２：電気使用量検針＞
電力会社の検針者が各家庭を巡回して毎月の電気使用量を検針する検針作業を支援する場合の実施例である。本実施例では、支援情報データベース２５０に、電気使用量検針業務に対応する支援情報として、各顧客の氏名、住所、メーター番号、過去の毎月の使用量、前回検針時の電力量計指示値、注意情報（例えば、電力量計が見つけ難い場所にある場合のその設置場所を示す図面や写真、猛犬注意等の注意事項等）、その他の情報（電気料金の滞納情報等）が記憶される。また、辞書記憶部２０６及び言語モデル記憶部２０８には、電力使用量検針業務に対応して、例えば次のような辞書及び言語モデルが記憶される。
【００６２】
（辞書例）
１．電気のメータ関係
計器（ケイキ），メーター（メーター），メートル器（メートルキ）
２．契約関係
廃止（ハイシ），全廃再新（ゼンパイサイシン），全使撤（ゼンシテツ），再使用（サイシヨウ），使用量（シヨウリョウ），使用量不審（シヨウリョウフシン），電灯（デントウ），電力（デンリョク），従量電灯（ジュウリョウデントウ），外灯（ガイトウ）
３．検針機器関係
ハンディー（ハンディー），指示（シジ），指示数（シジスウ）
（言語モデル例）
・計器  →  ナンバー  →  ３５８  →  番  →  金村  →  様  →  の
→  今月  →  の  →  指示数  →  ４４９５
・ナンバー  →  ３５８  →  指示  →  ４４９５
・３５８  →  番  →  の  →  金村  →  指示数  →  ４４９５
・金村  →  さん  →  従量電灯  →  Ａ  →  計器  →  ナンバー  →  ３５８  →  
→  指示数  →  ４４９５
・計器  →  ナンバー  →３５９  →  平岡  →  さん  →  
→  デイ  →  タイム  →３３２６→
→  ファミリー  →  タイム  →  ２２６６→
→  ナイト  →  タイム  →  １１５６
【００６３】
図５は、電力量計検針業務の概要を示すフローチャートである。なお、本実施例でも、作業用携帯端末１０と業務支援サーバー２０とが通信可能な状態であるものとして説明する。実施例１と同様、作業用携帯端末１０と業務支援サーバー２０とが通信不能な状態である場合には、作業用携帯端末１０の内部で業務支援処理が行われ、その間の音声認識結果は通信可能な状態に復帰した際に、まとめて業務支援サーバー２０へ送信されることとなる。
【００６４】
検針者は、検針業務に出かける前に、作業用携帯端末１０をＬＡＮ４０に接続して、当日の訪問経路のデータ及び変電所巡視業務に該当する音声認識用の辞書情報や支援情報を業務支援サーバー２０から作業用携帯端末１０にダウンロードする（Ｓ２００）。この訪問経路は作業用携帯端末１０の画面に表示され、検針者は、表示された訪問経路を参照しながら、各顧客宅を移動し電力量計を検針する（Ｓ２０２）。その際、検針者は、これから検針しようとする顧客の名前を音声あるいは作業用携帯端末１０への操作により入力し、これに応じて、業務支援サーバー２０は、支援情報データベース２５０を参照して、該当する顧客の注意情報があればその内容を音声情報として作業用携帯端末１０へ送信する。これにより、検針者は、電力量計の位置が分かりにくい場合にも簡単に見つけることができ、また、猛犬に対する心構えをするなど、検針作業をスムーズに行える。
【００６５】
各顧客宅では、検針者が業務支援サーバー２０との間で音声による交信を行いながら、検針作業を行う（Ｓ２０４）。具体的には、先ず、検針者は、顧客氏名と、電力量計に付されたメーター番号とを読み上げる。業務支援サーバー２０は、検針者が読み上げた顧客氏名及びメーター番号をキーとして顧客を特定し、その顧客の前回検針時の指示値を支援情報データベース２５０から読み出して、作業用携帯端末１０へ送信する。検針者は、電力量計の指示値を読み上げ、業務支援サーバー２０は、検針者の読み上げた値を認識し、その認識値をデジタル値及び音声情報として作業用携帯端末１０へ送信する。作業用携帯端末１０は業務支援サーバー２０からの音声情報を再生し、これにより、検針者は、電力量計の指示値が正確に入力されたことを確認できる。また、検針者は、検針時に電力量計が見つけ難く、あるいは、猛犬に遭遇するなどしたが、業務支援サーバー２０から適切な注意情報が提供されなかった場合には、例えば、「メーターは倉庫の内側」や「犬に注意」といった注意情報を音声入力する。また、現場の状況をデジタルカメラ１６で撮影してもよい。このように検針者により音声入力された注意情報及びデジタルカメラ１６で撮影された写真画像データは業務支援サーバー２０へ送信され、該当する顧客の注意情報として支援情報データベース２５０に記録される。こうして記録された注意事項は次回以降の検針時に検針者に通知されることとなる。
【００６６】
次に、業務支援サーバー２０は、検針者が読み上げた今回の指示値と前月の指示値とから今月度の使用量を計算し、その値に基づいて今回の検針値に異常や不審点がないかどうか判定する（Ｓ２０６）。具体的には、今月度と前月度の使用量を比較し、その変化量が所定値以上である場合には、漏電その他何らかの異常の可能性があると判定する。また、今月の使用量と過去の使用量の履歴とを比較して、今月の使用量に読み取りミスあるいは電力量計の不良など不審な点がないか判定する。そして、検針値に異常ないし不審点があれば、業務支援サーバー２０から作業用携帯端末１０に警告メッセージが送信される（Ｓ２０８）。このように、今回の検針値に異常ないし不審な点がある場合に、その旨を作業用携帯端末１０へ送信することにより、検針者は営業所へ戻ることなく、検針時に異常ないし不審点の存在を知り、その場で、漏電有無の調査や、指示値の再確認、電力量計の点検などの異常に対する必要な措置を取ることができる（Ｓ２１０）。
【００６７】
作業用携帯端末１０は、上述のように業務支援サーバー２０から送信された前回指示値と今回の指示値から今月度の電力使用量及びそれに応じた電気料金を計算し、作業用携帯端末１０に備えられたプリンタにより図６に示すような電気使用量のお知らせ票を作成する。ただし、当該顧客の滞納情報により前月までに滞納がある場合は、電気料金の計算やお知らせ票の作成は行わないものとする。検針者はお知らせ票を当該顧客宅の郵便ポストや玄関ドアの隙間等に差し入れる。
【００６８】
作業用携帯端末１０から業務支援サーバー２０へ送信された検針値等の情報及び検針値から求められた今月度の使用量等の情報は、認識結果データベース２６０に格納され（Ｓ２１２）、全顧客宅の検針が終了していなければ（Ｓ２１４）、上記Ｓ２０２へ戻って次の顧客宅にて同様に検針作業を行う。
【００６９】
以下、検針者と業務支援サーバー２０との対話の例を示す。なお、電力の契約には様々なメニューがあるが、従量電灯契約（季節や時間帯にかかわらず単位使用量当たりの料金が一定）及びファミリータイム（季節や時間帯に応じて、単位使用量当たりの料金が変わる）の場合の例を示す。
【００７０】
・契約パターンＡ（従量電灯契約の場合）
検針者＞「計器ナンバー，  ３５８」
「金村  様」
「今月指示数  ４４９５」
サーバー＞「計器ナンバー，３５８，金村  様，今月指示数  ４４９５ですね。」
検針者＞（確認操作）
＜作業用携帯端末が検針のお知らせ票を出力する＞
・契約パターンＢ（ファミリータイムの場合）
検針者＞「平岡様」
「計器ナンバー  ３５９」
「今月指示数」
「デイタイム  ３３２６」
「ファミリータイム  ２２６６」
「ナイトタイム  １１５６」
サーバー＞「平岡様  計器ナンバー  ３５９  今月指示数  デイタイム  ３３２６  ファミリータイム  ２２６６  ナイトタイム  １１５６ですね。」
検針者＞（確認操作）
＜作業用携帯端末が検針のお知らせ票を出力する＞
【００７１】
以上、２つの実施例について述べたが、本発明の適用対象はこれらに限らない。例えば、営業担当者が顧客宅を訪問しながら各顧客に対して商品説明を行う場合、予め顧客の訪問経路を登録した作業用携帯端末１０を携帯し、顧客名を音声入力すると、その顧客に対応する顧客情報が業務支援サーバー２０から作業用携帯端末１０へ送信され、商品名を音声入力すると、その商品の説明情報が業務支援サーバー２０から作業用携帯端末１０へ送信されるようにすることで、営業担当者の営業活動を効率的に行うことが可能となる。
【００７２】
その他、作業用携帯端末１０と業務支援サーバー２０との間で音声による情報交換を行うことにより、地図での行先案内、チケットの予約、交通渋滞情報の提供など種々の業務支援を行うことができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施形態である業務支援システムの全体構成図である。
【図２】作業用携帯端末及び業務支援サーバーの機能構成を表すブロック図である。
【図３】巡視業務の概要を示すフローチャートである。
【図４】支援情報データベースに記憶されたチェックシートの一例を示す図である。
【図５】電力量計検針業務の概要を示すフローチャートである。
【図６】電気使用量のお知らせ票の一例を示す図である。
【符号の説明】
【００７４】
１０  作業用携帯端末              １２  ヘッドセット
１４  携帯電話機                  １６  デジタルカメラ
２０  業務支援サーバー            ３０  公衆ネットワーク
４０  ＬＡＮ
１０２  音声分析部                １０４  端末側音声認識部
１０６  認識結果記憶部            １０８  処理切替部
１１０  通信判定部                １１２  認識結果送信部
１１４  支援情報取得部            １１６  端末側支援実行部
１１８  音声出力部                １１９  画像バッファ
１２０  携帯電話機
２００  サーバー側音声認識部      ２０２  認識デコーダ
２０４  音響モデル記憶部          ２０６  辞書記憶部
２０８  言語モデル記憶部          ２１０  サーバー側支援実行部
２２０  音声合成部                ２３０  通信部
２４０  認証部                    ２４２  支援情報送信部
２４４  認識結果受信部
２５０  支援情報データベース      ２６０  認識結果データベース
【図１】
0004791699.tif 000003
【図２】
0004791699.tif 000004
【図３】
0004791699.tif 000005
【図４】
0004791699.tif 000006
【図５】
0004791699.tif 000007
【図６】
0004791699.tif 000008