(57)【特許請求の範囲】
【請求項１】
他の装置から作業に関する音声を該音声の音程、音量、発話速度、内容に応じて採点した満足量と不満量とを含めてコード化した音声コードを受け付ける通信部と、
前記作業に関する管理を行う担当者に関して過去の作業に関する所定の満足度と、前記作業に関する予め定められた難易度と、が予め格納された記憶部と、
受け付けた前記音声コードを用いて、前記担当者の前記満足度に応じて顧客係数を特定し、前記作業の難易度に応じて作業係数を特定し、前記担当者の満足量と不満量の差分に前記顧客係数と前記作業係数を積算することで該音声の感情の評価を行い、前記評価を該音声コードに関する作業を評価するのに用いる作業評価部と、を備え、
前記作業評価部は、前記評価を時間経過に応じてプロットした２次元グラフ上の面積により前記作業を評価する、
ことを特徴とする作業管理装置。
【請求項２】
請求項１に記載の作業管理装置であって、
前記作業評価部は、前記音声コードを用いて前記音声の感情を特定し、
特定した感情の良否の経時変化により構成される波形に所定の度合いを超える変化が有る場合に、該変化のあった時刻よりも所定の時間分過去を起点として前記音声を再生する原因探索部、
を備える作業管理装置。
【請求項３】
請求項１または２のいずれかに記載の作業管理装置であって、
前記作業評価部は、
前記作業に関する予め定められた難易度が高いほど前記作業係数を高く特定し前記作業を評価する、
作業管理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の作業管理装置であって、
前記作業評価部は、
前記作業に関する管理を行う担当者に関して前記満足度が低いほど前記顧客係数を高く特定し前記作業を評価する、
作業管理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の作業管理装置であって、
前記通信部は、前記音声コードを受け付けると共に、前記音声コードに関する画像情報を受け付け、
前記画像情報に含まれる顔の表情が示す感情を特定する表情処理部を備え、
前記作業評価部は、前記音声の感情の評価に前記表情処理部により特定された感情による修正を加えて前記作業を評価する、
作業管理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の作業管理装置であって、
前記通信部が前記作業に関する音声コードに関連付けて受信したナレッジ情報を格納する記憶部と、
ナレッジ管理部と、を備え、
前記通信部は、前記作業を特定する情報を受け付け、
前記ナレッジ管理部は、受け付けた前記作業に関する音声コードと関連付けられたナレッジ情報を特定し出力する、
作業管理装置。
【請求項７】
作業に関する音声情報を取得する音声取得部と、
前記音声情報が備える属性に応じて感情の良否を示す音声コード情報を特定する音声分析部と、
前記音声コード情報を前記作業に関連付ける感情分析部と、
前記音声コード情報を、関連付けられた前記作業の情報と共に前記作業に関する管理を行う担当者の満足量と不満量とを用いて前記作業を評価する所定の作業管理装置へ出力する通信部と、を備え、
前記音声分析部は、前記音声情報の音声の音程、音量、発話速度、内容に応じて前記担当者の満足量と不満量とを採点し、前記担当者の満足量と不満量と、前記担当者と、前記作業の内容と、を含めて前記音声コード情報を特定する、
ことを特徴とする感情解析端末。
【請求項８】
請求項７に記載の感情解析端末であって、
前記音声情報に対応する画像情報を取得する画像取得部と、
前記画像情報に含まれる顔の表情を特定する表情分析部と、を備え、
前記感情分析部は、前記作業に対して、前記音声コード情報と、前記表情の情報と、を関連付ける、
感情解析端末。
【請求項９】
コンピューターに、作業の管理を行う手順を実行させる作業管理プログラムであって、
前記コンピューターを、記憶手段と、制御手段として機能させ、
前記記憶手段には、前記作業に関する管理を行う担当者に関して過去の作業に関する所定の満足度と、前記作業に関する予め定められた難易度と、が予め格納され、
前記制御手段に対して、
他の装置から作業に関する音声を該音声の音程、音量、発話速度、内容に応じて採点した満足量と不満量とを含めてコード化した音声コードを受け付ける通信ステップと、
受け付けた前記音声コードを用いて、前記作業に関する管理を行う担当者の前記満足度に応じて顧客係数を特定し、前記作業の難易度に応じて作業係数を特定し、前記担当者の満足量と不満量の差分に前記顧客係数と前記作業係数を積算することで該音声の感情の評価を行い、前記評価を該音声コードに関する作業を評価するのに用いる作業評価ステップと、を実行させ、
前記作業評価ステップでは、前記評価を時間経過に応じてプロットした２次元グラフ上の面積により前記作業を評価する、
ことを特徴とする作業管理プログラム。
【請求項１０】
コンピューターを用いて作業管理の手順を行う作業管理方法であって、
前記コンピューターは、記憶部と、制御部と、を備え、
前記記憶部には、前記作業に関する管理を行う担当者に関して過去の作業に関する所定の満足度と、前記作業に関する予め定められた難易度と、が予め格納され、
前記制御部は、
他の装置から作業に関する音声を所定の方法で該音声の音程、音量、発話速度、内容に応じて採点した満足量と不満量とを含めてコード化した音声コードを受け付ける通信ステップと、
受け付けた前記音声コードを用いて、前記作業に関する管理を行う担当者の前記満足度に応じて顧客係数を特定し、前記作業の難易度に応じて作業係数を特定し、前記担当者の満足量と不満量の差分に前記顧客係数と前記作業係数を積算することで該音声の感情の評価を行い、前記評価を該音声コードに関する作業を評価するのに用いる作業評価ステップと、を実行し、
前記作業評価ステップでは、前記評価を時間経過に応じてプロットした２次元グラフ上の面積により前記作業を評価する、
ことを特徴とする作業管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業管理装置、感情解析端末、作業管理プログラムおよび作業管理方法に関するものである。
【背景技術】
【０００２】
特許文献１には、「対象テキストデータの形態素解析結果と構文解析結果との少なくとも一方を用いて、前記対象テキストデータ内にどの程度その意味内容が明示されているかを表す明示性特徴量を推定する明示性推定部と、怒りの感情が表現されているか否かを示す教師信号付きの学習用テキストデータの明示性特徴量から予め学習された識別器を用いて、前記対象テキストデータ内に怒りの感情が表現されているか否かを、前記明示性推定部で推定された前記対象テキストデータの明示性特徴量から識別する感情識別部と、を備える、感情推定装置」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１１３５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記技術では、文字に起こされた言語情報に基づいて感情を識別することはできても、発話時の声の質を加味した感情評価を行うことは難しい。例えば、訪問先の作業担当者の指揮の下で作業者が作業を行う場合等において、作業担当者に与えた心証を考慮した作業者の評価を行う場合、発話時の言語情報だけを用いたのでは作業者を正確に評価することは難しい。言い換えると、作業担当者の心証は、必ずしも言語情報の変化として表出するわけではないため、作業担当者との会話音声の質を無視した言語情報のみを用いて作業者を評価すると、評価に正確さを欠くおそれが大きい。
【０００５】
本発明の目的は、より正確に作業者を評価する技術を提供することにある。
【課題を解決するための手段】
【０００６】
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る作業管理装置は、他の装置から作業に関する音声を該音声の音程、音量、発話速度、内容に応じて採点した満足量と不満量とを含めてコード化した音声コードを受け付ける通信部と、上記作業に関する管理を行う担当者に関して過去の作業に関する所定の満足度と、上記作業に関する予め定められた難易度と、が予め格納された記憶部と、受け付けた上記音声コードを用いて、上記担当者の上記満足度に応じて顧客係数を特定し、上記作業の難易度に応じて作業係数を特定し、上記担当者の満足量と不満量の差分に上記顧客係数と上記作業係数を積算することで該音声の感情の評価を行い、上記評価を該音声コードに関する作業を評価するのに用いる作業評価部と、を備え、上記作業評価部は、上記評価を時間経過に応じてプロットした２次元グラフ上の面積により上記作業を評価する、ことを特徴とする。
【０００８】
また、上記の作業管理装置においては、上記作業評価部は、上記音声コードを用いて上記音声の感情を特定し、特定した感情の良否の経時変化により構成される波形に所定の度合いを超える変化が有る場合に、該変化のあった時刻よりも所定の時間分過去を起点として上記音声を再生する原因探索部を備えるものであってもよい。
【０００９】
また、上記の作業管理装置においては、上記作業評価部は、上記作業に関する予め定められた難易度が高いほど上記作業係数を高く特定し上記作業を評価する、ものであってもよい。
【００１０】
また、上記の作業管理装置においては、上記作業評価部は、上記作業に関する管理を行う担当者に関して上記満足度が低いほど上記顧客係数を高く特定し上記作業を評価するものであってもよい。
【００１１】
また、上記の作業管理装置においては、上記通信部は、上記音声コードを受け付けると共に、上記音声コードに関する画像情報を受け付け、上記画像情報に含まれる顔の表情が示す感情を特定する表情処理部を備え、上記作業評価部は、上記音声の感情の評価に上記表情処理部により特定された感情による修正を加えて上記作業を評価するものであってもよい。
【００１２】
また、上記の作業管理装置においては、上記通信部が上記作業に関する音声コードに関連付けて受信したナレッジ情報を格納する記憶部と、ナレッジ管理部と、を備え、上記通信部は、上記作業を特定する情報を受け付け、上記ナレッジ管理部は、受け付けた上記作業に関する音声コードと関連付けられたナレッジ情報を特定し出力するものであってもよい。
【００１３】
また、本発明に係る感情解析端末は、作業に関する音声情報を取得する音声取得部と、上記音声情報が備える属性に応じて感情の良否を示す音声コード情報を特定する音声分析部と、上記音声コード情報を上記作業に関連付ける感情分析部と、上記音声コード情報を、関連付けられた上記作業の情報と共に前記作業に関する管理を行う担当者の満足量と不満量とを用いて前記作業を評価する所定の作業管理装置へ出力する通信部と、を備え、上記音声分析部は、上記音声情報の音声の音程、音量、発話速度、内容に応じて上記担当者の満足量と不満量とを採点し、上記担当者の満足量と不満量と、上記担当者と、上記作業の内容と、を含めて上記音声コード情報を特定する、ことを特徴とする。
【００１４】
また、上記の感情解析端末においては、上記音声情報に対応する画像情報を取得する画像取得部と、上記画像情報に含まれる顔の表情を特定する表情分析部と、上記感情分析部は、上記作業に、上記音声コード情報と上記表情と、の情報を関連付けるものであってもよい。
【００１５】
また、本発明に係る作業管理プログラムは、コンピューターに、作業の管理を行う手順を実行させる作業管理プログラムであって、上記コンピューターを、記憶手段と、制御手段として機能させ、上記記憶手段には、上記作業に関する管理を行う担当者に関して過去の作業に関する所定の満足度と、上記作業に関する予め定められた難易度と、が予め格納され、上記制御手段に対して、他の装置から作業に関する音声を該音声の音程、音量、発話速度、内容に応じて採点した満足量と不満量とを含めてコード化した音声コードを受け付ける通信ステップと、受け付けた上記音声コードを用いて、上記作業に関する管理を行う担当者の上記満足度に応じて顧客係数を特定し、上記作業の難易度に応じて作業係数を特定し、上記担当者の満足量と不満量の差分に上記顧客係数と上記作業係数を積算することで該音声の感情の評価を行い、上記評価を該音声コードに関する作業を評価するのに用いる作業評価ステップと、を実行させ、上記作業評価ステップでは、上記評価を時間経過に応じてプロットした２次元グラフ上の面積により上記作業を評価する、ことを特徴とする。
【００１６】
また、本発明に係る作業管理方法は、コンピューターを用いて作業管理の手順を行う作業管理方法であって、上記コンピューターは、記憶部と、制御部と、を備え、上記記憶部には、上記作業に関する管理を行う担当者に関して過去の作業に関する所定の満足度と、上記作業に関する予め定められた難易度と、が予め格納され、上記制御部は、他の装置から作業に関する音声を所定の方法で該音声の音程、音量、発話速度、内容に応じて採点した満足量と不満量とを含めてコード化した音声コードを受け付ける通信ステップと、受け付けた上記音声コードを用いて、上記作業に関する管理を行う担当者の上記満足度に応じて顧客係数を特定し、上記作業の難易度に応じて作業係数を特定し、上記担当者の満足量と不満量の差分に上記顧客係数と上記作業係数を積算することで該音声の感情の評価を行い、上記評価を該音声コードに関する作業を評価するのに用いる作業評価ステップと、を実行し、上記作業評価ステップでは、上記評価を時間経過に応じてプロットした２次元グラフ上の面積により上記作業を評価する、ことを特徴とする。
【００１７】
本発明によると、より正確に作業者を評価する技術を提供することができる。ただし、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る作業管理システムの構成例を示す図である。
【図２】感情分析記憶部に格納されるデータ構造の例を示す図である。
【図３】感情基準記憶部に格納されるデータ構造の例を示す図である。
【図４】作業実績記憶部に格納されるデータ構造の例を示す図である。
【図５】評価基礎情報記憶部に格納されるデータ構造の例を示す図である。
【図６】対人応対記憶部に格納されるデータ構造の例を示す図である。
【図７】作業情報記憶部に格納されるデータ構造の例を示す図である。
【図８】感情解析端末のハードウェア構成を示す図である。
【図９】作業管理装置のハードウェア構成を示す図である。
【図１０】感情評価処理のフローを示す図である。
【図１１】作業評価処理のフローを示す図である。
【図１２】顧客の感情変動グラフの例を示す図である。
【図１３】作業評価処理において表示される作業評価結果画面の例を示す図である。
【図１４】原因探索処理のフローを示す図である。
【図１５】原因探索処理において表示される原因表示画面の例を示す図である。
【図１６】クレーム予防情報記憶部の構成例を示す図である。
【図１７】クレーム予防処理のフローを示す図である。
【図１８】クレーム予防処理において表示される予防情報表示画面の例を示す図である。
【図１９】クレーム予防処理において表示される予防情報表示画面の別の例を示す図である。
【発明を実施するための形態】
【００１９】
以下に、本発明に係る第一の実施形態を適用した作業管理システム１を用いた実施形態について、図面を参照して説明する。
【００２０】
図１は、本発明の第一の実施形態に係る作業管理システム１の構成例を示す図である。本実施形態において想定する作業管理システム１においては、感情解析端末１００と、作業管理装置２００と、が含まれる。該システムにおいては、作業者１０は、感情解析端末１００を身体（例えば、感情解析端末１００が眼鏡型装置、いわゆるスマートグラス等である場合には、顔）に装着した状態で作業対象機器３００に対して所定の作業を行う。例えば、作業対象機器３００のメンテナンス作業や、設置作業、棚卸作業等の作業を行う。
【００２１】
感情解析端末１００は、作業者１０が身体の一部に着脱可能に取り付け可能な計算機全般を含む、いわゆるウェアラブルデバイスとも呼ばれる装置である。望ましくは、感情解析端末１００は、作業者に装着され、作業者の視野と同様あるいはより広角な画像情報を取得可能であり、作業者の知覚する音声情報、すなわち作業者１０自身が発した声、あるいは作業者１０に聞こえる声の情報を得ることができる。スマートグラスは、そのようないわゆるウェアラブルデバイスの一つであり、装着時に作業者の両手が拘束されにくいものであるため、作業品質向上等を狙う作業者の支援をより効率よく行うことができる。なお、感情解析端末１００は、作業管理システム１に複数含まれる。
【００２２】
なお、感情解析端末１００は、作業者１０が所有する端末であってもよいし、作業者１０が属する組織から作業者に貸与される端末であってもよい。作業管理装置２００は、作業者１０が行う作業を評価する処理と、作業者１０が作業先の担当者の感情を大きく変化させた場合にその原因となる要因を洗い出す支援処理と、他の作業者１０等も含めて作業先の担当者に対する対応上の注意点を事前に作業者１０へ知らせる処理を行う。
【００２３】
感情解析端末１００と、作業管理装置２００との間は、公衆無線網や携帯電話網等のネットワークを介して接続される。作業管理装置２００は、例えばサーバー装置、パーソナルコンピューター、いわゆるスマートフォンやタブレット端末等を含む携帯電話装置であり、他の装置と通信可能な処理装置である。
【００２４】
感情解析端末１００は、表示制御部１１０と、位置特定部１２０と、音声取得部１３０と、通信部１４０と、画像処理部１５０と、音声分析部１６０と、表情分析部１７０と、感情分析記憶部１８０と、感情基準記憶部１８１と、作業実績記憶部１８２と、評価基礎情報記憶部１８３と、対人応対記憶部１８４と、感情分析部１９０と、を含む。
【００２５】
表示制御部１１０は、装着者表示部１１１と、通知出力部１１２と、を含む。装着者表示部１１１は、感情解析端末１００の装着者すなわち作業者１０に対して、表示を行う。いわば、装着者表示部１１１は、内側の表示部であり、例えば視覚表示情報を眼鏡の装着者側に近いレンズ面に像を投影させることで装着者にレンズ越しの光学映像に重畳させて情報を表示させる。
【００２６】
通知出力部１１２は、感情解析端末１００の装着者すなわち作業者１０以外の者に対して、表示を行う。通知出力部１１２は、例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｅｄ  Ｄｉｏｄｅ）等の発光体の明滅を制御することにより、装着者を外部から視覚的に認識しうる者等に対して、感情解析端末１００が稼働中であることを示す、いわば外側の表示部である。
【００２７】
位置特定部１２０は、衛星波を受信して現在地の３次元座標を、感情解析端末１００が存在する位置として特定する。具体的には、位置特定部１２０は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）等の３つ以上の人工衛星から送信された衛星波をアンテナを用いて受信し、受信した情報に基づき現在地の３次元座標を割り出した位置情報を用いて、感情解析端末１００が存在する位置を特定する。
【００２８】
音声取得部１３０は、作業に関する音声情報を取得する。具体的には、音声取得部１３０は、感情解析端末１００の外部の音声情報を取得し、音声記録ファイルとして作業実績記憶部１８２に格納する。通信部１４０は、他の装置との通信を制御する。具体的には、通信部１４０は、音声コード情報を、関連付けられた作業の情報と共に他の装置である作業管理装置２００へ出力する。通信部１４０は、例えばＢｌｕｅｔｏｏｔｈ、無線ＬＡＮ、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等による近距離電波通信を制御するものであることが望ましい。しかし、ＵＳＢ等の所定の有線通信を制御するものであってもよい。
【００２９】
画像処理部１５０には、画像取得部１５１と、画像重畳部１５２と、が含まれる。画像取得部１５１は、感情解析端末１００により取得した外部の画像、すなわち作業者の視界に関連する画像情報を取得する。より理想的には、画像取得部１５１は、作業者の視界をすべて含む範囲の画像を取得する。
【００３０】
画像重畳部１５２は、作業管理装置２００等から重畳表示する画像やテキスト等の情報を受け付けると、作業者１０に対して、作業者１０の視界に重畳させるように当該情報を出力する。すなわち、画像重畳部１５２は、撮像した画像を液晶画像等により作業者１０の視界を覆うように出力するヘッドセット端末等のウェアラブルデバイスの場合には撮像した画像に透過レイヤーを設けて情報を表示する。ウェアラブルデバイスが作業者１０の視界を一部半透過するように出力する眼鏡型のウェアラブルデバイスの場合には、当該情報を表示する。
【００３１】
音声分析部１６０は、音声取得部１３０が取得した音声情報を分析する。具体的には、音声分析部１６０は、音声情報を所定の種類の属性ごとに所定の基準に沿ってコード化する。例えば、音声分析部１６０は、音程、声量、発話速度、音声内容等の属性ごとに定量化し、定量化した属性の量に応じて、コード化を行い、作業に関連付ける。
【００３２】
表情分析部１７０は、画像取得部１５１が取得した画像情報を分析する。具体的には、表情分析部１７０は、画像情報に含まれる顔の領域を認識し、所定の特徴点の配置に基づいて笑顔の度合いを特定する。例えば、満面の笑みを笑顔１００％として、無表情に近づくほど笑顔の割合が下がるように笑顔の度合いを特定する。なお、表情分析部１７０は、上記の分析に限らず、例えば顔色の変化を加味して笑みを特定するものであってもよい。
【００３３】
感情分析記憶部１８０は、感情分析を行った結果を格納する。具体的には、感情分析記憶部１８０は、音声分析部１６０が分析した結果であるコードと、表情分析部１７０が分析した笑みの度合いと、を用いた感情分析の結果を格納する。
【００３４】
図２は、感情分析記憶部１８０のデータ構造を示す図である。感情分析記憶部１８０には、実施日１８０Ａと、時刻１８０Ｂと、音程１８０Ｃと、声量１８０Ｄと、発話速度１８０Ｅと、音声１８０Ｆと、スマイル１８０Ｇと、総合判定１８０Ｈと、が含まれる。
【００３５】
実施日１８０Ａは、作業者１０が作業を実施した日を特定する情報である。時刻１８０Ｂは、作業を実施した時刻を特定する情報である。音程１８０Ｃは、実施日１８０Ａの時刻１８０Ｂにおいて取得された音声情報の属性のうち、所定期間についての音程の平均をコード化した情報である。声量１８０Ｄは、実施日１８０Ａの時刻１８０Ｂにおいて取得された音声情報の属性のうち、所定期間についての音量の平均をコード化した情報である。
【００３６】
発話速度１８０Ｅは、実施日１８０Ａの時刻１８０Ｂにおいて取得された音声情報の属性のうち、所定期間についての発話速度の平均をコード化した情報である。
【００３７】
音声１８０Ｆは、実施日１８０Ａの時刻１８０Ｂにおいて取得された音声情報の属性のうち、発話内容に含まれる所定のフレーズごとに予め定められた点数により計算しコード化した情報である。
【００３８】
スマイル１８０Ｇは、実施日１８０Ａの時刻１８０Ｂにおいて取得された画像情報に含まれる顔の笑みの度合いのうち、所定期間についての笑みの度合いの平均をコード化した情報である。
【００３９】
総合判定１８０Ｈは、実施日１８０Ａの時刻１８０Ｂにおいて取得された画像情報に含まれる顔の笑みの度合いと、実施日１８０Ａの時刻１８０Ｂにおいて取得された音声情報に含まれる音声のコードの情報とを用いて算出した情報である。
【００４０】
感情基準記憶部１８１は、感情分析を行う際の、音声情報をコード化する際に用いる基準となる情報を格納する。
【００４１】
図３は、感情基準記憶部１８１のデータ構造を示す図である。感情基準記憶部１８１は、音声情報の属性ごとに、感情を特定するための基準となる範囲とコード値とを対応付ける情報を格納する。具体的には、感情基準記憶部１８１には、種類１８１Ａと、度合い１８１Ｂと、範囲１８１Ｃと、感情コード（男声）１８１Ｄと、感情コード（女声）１８１Ｅと、が対応付けられて格納されている。
【００４２】
種類１８１Ａは、音声情報の属性の種類を特定する情報である。例えば、種類１８１Ａには、音程（Ｏｃｔａｂｅ）、声量（ｄｅｃｉｂｅｌ）、発話速度（ｐｉｔｃｈ）、音声等の種類が含まれる。度合い１８１Ｂは、種類１８１Ａで特定される種類ごとに、定量化した量の多寡を判定する基準となる表現である。範囲１８１Ｃは、度合い１８１Ｂごとにとりうる量の範囲である。例えば、音程の度合いが「低」となる範囲は、１度から３度の間であり、「普通」となる範囲は、４度から６度の間、「高」となる範囲は、７度から９度、のような範囲である。感情コード（男声）１８１Ｄは、分析対象の音声が男性の声の場合のコード値である。感情コード（女声）１８１Ｅは、分析対象の音声が女性の声の場合のコード値である。分析対象の音声を男女で分けているのは、例えば同じ音程であったとしても、男声としては高い音程であるが女声としては低い音程である場合等、相対的にコード化するためである。あるいは、快適を感じる際に、男性と女性とでは音程の上下の変化が逆になる場合等も考えられるため、異なったコードを与えられるよう分けている。
【００４３】
作業実績記憶部１８２は、作業者１０の作業の実績、すなわち実際に作業を行った際に記録した音声や画像の情報を格納する。
【００４４】
図４は、作業実績記憶部１８２のデータ構造を示す図である。作業実績記憶部１８２は、作業ごとに、使用するマニュアルと、実際の作業において収集した音声や映像等のファイルを特定する情報と、該音声や映像のコード量についての満足量、不満量、差分量と、を対応付けて格納する。具体的には、作業実績記憶部１８２には、機器識別子１８２Ａと、実施日１８２Ｂと、録画開始時刻１８２Ｃと、作業識別子１８２Ｄと、作業マニュアル１８２Ｅと、記録情報種別１８２Ｆと、記録ファイル名１８２Ｇと、閾値超過回数１８２Ｈと、満足量１８２Ｊと、不満量１８２Ｋと、差分１８２Ｌと、気づき１８２Ｍと、が対応付けられて格納されている。
【００４５】
機器識別子１８２Ａは、作業対象機器３００を特定する情報である。実施日１８２Ｂは、実際に作業を行った日を特定する情報である。録画開始時刻１８２Ｃは、作業時の画像取得を開始した時刻を特定する情報である。作業識別子１８２Ｄは、作業の内容を特定する情報である。作業マニュアル１８２Ｅは、作業の詳細が記載されたマニュアルを特定する情報である。
【００４６】
記録情報種別１８２Ｆは、記録された情報が音声、画像のいずれの種別であるのかを特定する情報である。記録ファイル名１８２Ｇは、音声、画像のいずれかまたは両方が記録されたファイルを特定する情報である。閾値超過回数１８２Ｈは、作業の記録の中で、満足あるいは不満足の度合いが所定の閾値を超えた回数が何度あるかを特定する情報である。満足量１８２Ｊは、作業の記録の中で合計した満足度合いを特定する情報である。不満量１８２Ｋは、作業の記録の中で合計した不満足の度合いを特定する情報である。差分１８２Ｌは、作業記録開始時の総合判定と作業記録終了時の総合判定との差分である。気づき１８２Ｍは、当該作業において気づきのあった事項を示す情報である。例えば、気づき１８２Ｍには、作業マニュアルの補足事項、作業対象機器３００固有の注意点等を含む。
【００４７】
評価基礎情報記憶部１８３は、作業者１０の作業ごとに、評価に用いる情報が格納される。
【００４８】
図５は、評価基礎情報記憶部１８３のデータ構造を示す図である。評価基礎情報記憶部１８３は、作業者の作業ごとに、音声の情報と、顧客の評価基準のばらつきを調整するための顧客係数と、作業の難易度のばらつきを調整するための作業係数と、を対応付けて格納する。具体的には、評価基礎情報記憶部１８３には、作業者識別子１８３Ａと、実施日１８３Ｂと、開始時刻１８３Ｃと、閾値超過回数１８３Ｄと、満足量１８３Ｅと、不満量１８３Ｆと、顧客係数１８３Ｇと、作業係数１８３Ｈと、差分１８３Ｊと、が対応付けられて格納されている。
【００４９】
作業者識別子１８３Ａは、作業者１０を特定する情報である。実施日１８３Ｂは、実際に作業を行った日を特定する情報である。開始時刻１８３Ｃは、作業時の画像あるいは音声の取得を開始した時刻のうち最早の時刻を特定する情報である。閾値超過回数１８３Ｄは、作業の記録の中で、満足あるいは不満足の度合いが所定の閾値を超えた回数が何度あるかを特定する情報である。満足量１８３Ｅは、作業の記録の中で合計した満足度合いを特定する情報である。不満量１８３Ｆは、作業の記録の中で合計した不満足の度合いを特定する情報である。
【００５０】
顧客係数１８３Ｇは、作業に関する管理を行う担当者の評価基準のばらつきを調整するための係数である。一般に、同じ作業を同じ内容で行っても、作業を管理する担当者が異なれば担当者からの評価は異なったものとなる場合が多い。比較的容易に好評価をつける担当者の元で多く作業を行う作業者と、そうでない担当者の元で多く作業を行う作業者との間で評価が大きく異なるものとならないよう、当該係数により調整可能である。
【００５１】
作業係数１８３Ｈは、作業の難易度のばらつきを調整するための係数である。一般に、作業技能に優れる者は、より難易度の高い作業を実施し、そうでない者は、より難易度の低い作業を実施することが多い。難易度の低い作業を事故なく行った者が、難易度の高い作業において小さな事故を発生させてしまった者よりも評価が著しく高くなることは、妥当ではないことから、作業係数は、これを調整する係数である。
【００５２】
差分１８３Ｊは、作業記録開始時の総合判定から作業記録終了時の総合判定の間の差分である。
【００５３】
対人応対記憶部１８４は、作業時の対人応対、すなわち作業を管理する担当者との会話に関して、実際に作業を行った際に記録した音声や画像の情報を格納する。
【００５４】
図６は、対人応対記憶部１８４のデータ構造を示す図である。対人応対記憶部１８４は、作業ごとに、実際の作業において収集した音声や映像等のファイルを特定する情報と、該音声や映像のコード量についての満足量、不満量、差分量と、を対応付けて格納する。具体的には、対人応対記憶部１８４には、実施日１８４Ａと、録画開始時刻１８４Ｂと、作業識別子１８４Ｃと、記録情報種別１８４Ｄと、記録ファイル名１８４Ｅと、閾値超過回数１８４Ｆと、満足量１８４Ｇと、不満量１８４Ｈと、差分１８４Ｊと、気づき１８４Ｋと、が対応付けられて格納されている。
【００５５】
実施日１８４Ａは、実際に作業を行った日を特定する情報である。録画開始時刻１８４Ｂは、会話時の画像取得を開始した時刻を特定する情報である。作業識別子１８４Ｃは、作業の内容を特定する情報である。
【００５６】
記録情報種別１８４Ｄは、記録された情報が音声、画像のいずれの種別であるのかを特定する情報である。記録ファイル名１８４Ｅは、音声、画像のいずれかまたは両方が記録されたファイルを特定する情報である。閾値超過回数１８４Ｆは、会話の記録の中で、満足あるいは不満足の度合いが所定の閾値を超えた回数が何度あるかを特定する情報である。満足量１８４Ｇは、会話の記録の中で合計した満足度合いを特定する情報である。不満量１８４Ｈは、会話の記録の中で合計した不満足の度合いを特定する情報である。差分１８４Ｊは、作業記録開始時の総合判定と作業記録終了時の総合判定との差分である。気づき１８４Ｋは、当該会話において気づきのあった事項を示す情報である。例えば、気づき１８４Ｋには、作業を管理する担当者が好む話し方、作業を管理する担当者が所属する組織のポリシー等、固有の注意点等を含む。
【００５７】
感情分析部１９０は、音声分析部１６０が分析した音声情報と、表情分析部が分析した表情と、のいずれかまたは両方を用いて、感情を分析する。具体的には、感情分析部１９０は、作業について、音声分析部１６０が分析した結果得られた音声のコード情報と、表情分析部１７０が分析した表情の情報とを関連付けて、感情の良否を特定する。
【００５８】
作業管理装置２００は、感情解析端末１００とネットワークを介して接続される。作業管理装置２００には、表示部２１０と、通信部２２０と、音声処理部２３１と、表情処理部２３２と、原因探索部２３３と、作業評価部２３４と、ナレッジ管理部２３５と、記憶部２５０と、が含まれる。
【００５９】
表示部２１０は、作業管理装置２００の操作等に用いられる表示出力を行う。
【００６０】
通信部２２０は、他の装置である感情解析端末１００から、作業に関する音声を所定の方法でコード化した音声コードを受け付ける。また、通信部２２０は、音声コードを受け付けると共に、音声コードに関する画像情報をも受け付ける。
【００６１】
音声処理部２３１は、作業管理装置２００の操作等に用いられる音声入力を受け付けると、受け付けた音声を音声ファイルとして記憶部２５０に格納する。
【００６２】
表情処理部２３２は、画像情報に含まれる顔を示す画像の表情を解析処理する。表情処理部２３２は、画像上に含まれる表示物の形状に基づいて顔を認識し、顔のパターンマッチング処理等を行い、表情が示す笑みの度合いを特定する。
【００６３】
原因探索部２３３は、作業評価部２３４が行った作業評価の結果において、感情の良否に所定の度合いを超える変化が有る場合に、該変化のあった時刻よりも所定の時間分過去（例えば、２分前）を起点として音声情報および関連する画像情報を再生する。
【００６４】
作業評価部２３４は、他の装置である感情解析端末１００から受け付けた作業に関する音声情報に基づく音声コードを用いて音声の感情の評価を行い、感情の評価を音声コードに関する作業を評価するのに用いる。また、作業評価部２３４は、音声の感情の評価を、音声コードを用いて特定した感情の良否の経時変化により構成される波形の幾何情報を用いて行う。なお、作業評価部２３４は、作業に関する難易度に応じて感情の評価を行い、感情の評価に難易度による修正を加えて作業を評価する。また、作業評価部２３４は、作業に関する管理を行う担当者に応じて感情の評価を行い、感情の評価に担当者の特性による修正を加えて作業を評価する。
【００６５】
また、作業評価部２３４は、作業に関連付けられた画像の情報がある場合には、音声の感情の評価に、表情処理部２３２により特定された感情による修正を加えて、作業を評価する。具体的には、表情が所定以上の度合いの笑みである場合には、感情を良方向に増加させるようにしても良いし、音程等の所定の音声の属性の感情コードを良方向に増加させるようにしても良い。
【００６６】
ナレッジ管理部２３５は、作業に関する音声コードと関連付けられたナレッジ情報を、後述する作業実績記憶部２５２と、対人応対記憶部２５４とから読み出して特定し出力する。
【００６７】
記憶部２５０には、作業情報記憶部２５１と、作業実績記憶部２５２と、評価基礎情報記憶部２５３と、対人応対記憶部２５４と、が含まれる。
【００６８】
作業情報記憶部２５１は、作業の実施予定に関する情報を格納する。
【００６９】
図７は、作業情報記憶部２５１のデータ構造を示す図である。作業情報記憶部２５１は、作業対象機器３００ごとに、作業の日時と、作業で使用するマニュアルと、作業を実施する担当者である作業者と、を特定する情報を対応付けて格納する。具体的には、作業情報記憶部２５１には、機器識別子２５１Ａと、実施日２５１Ｂと、作業開始時刻２５１Ｃと、作業識別子２５１Ｄと、作業マニュアル２５１Ｅと、担当者２５１Ｆと、が対応付けられて格納されている。
【００７０】
機器識別子２５１Ａは、作業対象機器３００を特定する情報である。実施日２５１Ｂは、実際に作業を行う日を特定する情報である。作業開始時刻２５１Ｃは、作業を開始する時刻を特定する情報である。作業識別子２５１Ｄは、作業の内容を特定する情報である。作業マニュアル２５１Ｅは、作業の詳細が記載されたマニュアルを特定する情報である。担当者２５１Ｆは、作業を管理する担当者を特定する情報である。例えば、作業の依頼主側あるいは作業対象機器３００の管理担当者を特定する情報である。
【００７１】
作業実績記憶部２５２、評価基礎情報記憶部２５３、対人応対記憶部２５４のそれぞれは、感情解析端末１００の作業実績記憶部１８２、評価基礎情報記憶部１８３、対人応対記憶部１８４と同様のデータ構造を備える。そのため、説明は省略する。
【００７２】
図８は、感情解析端末１００のハードウェア構成を示す図である。感情解析端末１００は、音声受付装置１０１と、演算装置１０２と、外部出力装置１０３と、主記憶装置１０４と、撮像装置１０５と、装着者出力装置１０６と、通信装置１０７と、加速度センサ装置１０８と、外部記憶装置１０９と、各装置をつなぐバス１００ｂと、を少なくとも備える。また、他に、感情解析端末１００は、接触入力装置を備えるものであってもよい。なお、接触入力装置は、例えば眼鏡型のウェアラブルデバイスの場合には、眼鏡のつる部分への接触をクリック入力として受け付け、接触状態で摺動させる方向をスクロール入力として受け付けるものであってよいが、これに限られるものではない。
【００７３】
音声受付装置１０１は、感情解析端末１００を装着した作業者１０による発話音声と、周囲の音と、を含む集音を行う。例えば、一つあるいは複数のマイクロフォンである。
【００７４】
演算装置１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置である。
【００７５】
外部出力装置１０３は、感情解析端末１００を装着している場合に、装着者の外部から視認可能な態様で、具体的には外部から視認可能に発光することで、ＬＥＤランプ等の出力を行う。
【００７６】
主記憶装置１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのメモリ装置である。
【００７７】
撮像装置１０５は、感情解析端末１００を装着した作業者の視野と同様あるいはより広角な映像情報を取得するカメラ装置である。
【００７８】
装着者出力装置１０６は、装着者から視認可能なように光学レンズ面に画像を投影するプロジェクション装置、あるいは光学レンズ面に応じて設けられた半透過型のディスプレイ装置等の表示装置である。しかし、これに限定されるものではなく、例えば作業者の網膜に結像させる光を照射可能な表示装置であってもよい。
【００７９】
通信装置１０７は、無線ネットワーク等を介して作業管理装置２００等の他の装置と通信経路を確立し、情報を送受信する装置である。
【００８０】
加速度センサ装置１０８は、所定の次元の加速度を取得して加速方向と加速の大きさとを特定することで、装着者である作業者１０の移動や姿勢の変化を検出する装置である。
【００８１】
外部記憶装置１０９は、デジタル情報を記憶可能な、いわゆるハードディスク（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）あるいはフラッシュメモリなどの不揮発性記憶装置である。
【００８２】
上記した感情解析端末１００の表示制御部１１０は、外部出力装置１０３、装着者出力装置１０６によって実現される。また、位置特定部１２０は、図示しない位置検出装置によって実現される。また、音声取得部１３０は、演算装置１０２に処理を行わせるプログラムおよび音声受付装置１０１により実現される。このプログラムは、主記憶装置１０４または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置１０４上にロードされ、演算装置１０２により実行される。
【００８３】
通信部１４０は、通信装置１０７により実現される。また、画像処理部１５０、音声分析部１６０、表情分析部１７０、感情分析部１９０のそれぞれは、演算装置１０２に処理を行わせるプログラムおよび撮像装置１０５により実現される。このプログラムは、主記憶装置１０４または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置１０４上にロードされ、演算装置１０２により実行される。
【００８４】
感情分析記憶部１８０、感情基準記憶部１８１、作業実績記憶部１８２、評価基礎情報記憶部１８３、対人応対記憶部１８４のそれぞれは、主記憶装置１０４および外部記憶装置１０９によって実現される。
【００８５】
以上が、感情解析端末１００のハードウェア構成である。
【００８６】
図９は、作業管理装置２００のハードウェア構成を示す図である。作業管理装置２００は、入力受付装置２０１と、演算装置２０２と、外部記憶装置２０３と、主記憶装置２０４と、通信装置２０５と、出力装置２０６と、各装置をつなぐバス２１１と、を少なくとも備える。
【００８７】
入力受付装置２０１は、キーボードやマウス、タッチパネル等の各種入力装置である。
【００８８】
演算装置２０２は、例えばＣＰＵなどの演算装置である。
【００８９】
外部記憶装置２０３は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤあるいはフラッシュメモリなどの不揮発性記憶装置である。
【００９０】
主記憶装置２０４は、例えばＲＡＭなどのメモリ装置である。
【００９１】
通信装置２０５は、ネットワーク等を介して感情解析端末１００等の他の装置と通信経路を確立し、情報を送受信するネットワークカード等の装置である。
【００９２】
出力装置２０６は、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置である。
【００９３】
上記した作業管理装置２００の表示部２１０は、出力装置２０６によって実現される。また、通信部２２０は、通信装置２０５により実現される。また、音声処理部２３１と、表情処理部２３２と、原因探索部２３３と、作業評価部２３４と、ナレッジ管理部２３５とは、演算装置２０２に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置２０４または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置２０４上にロードされ、演算装置２０２により実行される。
【００９４】
また、記憶部２５０は、外部記憶装置２０３および主記憶装置２０４によって実現される。以上が、作業管理装置２００のハードウェア構成である。
【００９５】
なお、感情解析端末１００、作業管理装置２００のそれぞれの構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【００９６】
また、各制御部は、ハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各制御部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
【００９７】
[動作の説明]次に、本実施形態における作業管理システム１の動作を説明する。図１０は、本実施形態における感情評価処理のフロー図である。
【００９８】
感情評価処理は、感情解析端末１００と、作業管理装置２００とが起動状態にあり、感情解析端末１００において所定の起動指示を受け付けると、開始される。
【００９９】
まず、感情分析部１９０は、作業情報を取得する（ステップＳ００１）。具体的には、感情分析部１９０は、予め配信されている作業情報のうち、次に行う作業の情報を取得する。例えば、現日時に対応する作業の情報、あるいは未実施の作業であって現日時よりも以前に実施し終わる予定であるが未だ実施し終わっていない作業の情報、いずれも存在しない場合には現日時以降に実施する予定で未だ実施し終わっていない作業の情報を、作業管理装置２００等に要求して取得する。
【０１００】
そして、音声取得部１３０および画像取得部１５１は、それぞれ音声情報、映像情報を取得する（ステップＳ００２）。
【０１０１】
そして、音声分析部１６０は、音声情報の音程、声量、発話速度、内容、を基準に応じ採点し、映像情報から笑顔度合いを特定する（ステップＳ００３）。具体的には、音声分析部１６０は、音声情報の各属性について定量的に計測し、計測値が感情基準記憶部１８１のいずれの範囲１８１Ｃに含まれるか判定し、該範囲に対応する感情コードを特定する。そして、表情分析部１７０は、映像情報の映像上に含まれる顔の領域を特定し、笑顔の度合いを特定する。当該笑顔の度合いを特定する方法は、様々な方法が考えられるが、例えば予め用意した被写体の笑顔の度合いに応じた基準画像とのパターンマッチングにより笑顔の度合いを推定する物であってもよいし、口角の上がり具合、目尻の下がり具合等に応じて笑顔の度合いを推定するものであってもよい。
【０１０２】
そして、感情分析部１９０は、採点結果を作業管理装置２００へ送信する（ステップＳ００４）。
【０１０３】
感情分析部１９０は、当日の作業が終了したか否かを判定する。具体的には、感情分析部１９０は、ステップＳ００１にて取得した当日の作業の情報を参照し、当日の作業がすべて終了しているか否かを判定する。当日の作業が未だ終了していない場合には、感情分析部１９０は、制御をステップＳ００２に戻す。
【０１０４】
当日の作業が終了している場合（ステップＳ００５において「Ｙｅｓ」の場合）には、感情分析部１９０は、評価結果を作業管理装置２００へ要求する（ステップＳ００６）。なお、感情分析部１９０は、当日の作業に関する音声情報と映像情報について、所定のファイル形式にエクスポートして、作業管理装置２００へ送信する。
【０１０５】
そして、感情分析部１９０は、評価結果を示す表示情報を受信し、出力する（ステップＳ００７）。具体的には、感情分析部１９０は、ステップＳ００６にて要求した評価結果を作業管理装置２００から受信すると、画像重畳部１５２に受け渡して出力画像を構成させ、装着者表示部１１１へ出力画像を表示するよう指示する。
【０１０６】
以上が、感情評価処理の処理フローである。感情評価処理によれば、作業者１０は、感情評価の情報を収集してコード化した結果を作業管理装置２００へ送信し、作業管理装置２００から送信された評価を受け取ることができる。
【０１０７】
図１１は、本実施形態における作業評価処理のフロー図である。作業評価処理は、感情評価処理において作業管理装置２００へ採点結果が送信されると、開始される。
【０１０８】
通信部２２０は、採点結果と笑顔の度合いを受信する（ステップＳ１０１）。具体的には、通信部２２０は、外部の装置である感情解析端末１００から、感情を採点した結果と、笑顔の度合いと、を受信する。
【０１０９】
そして、作業評価部２３４は、採点結果と笑顔の度合いを評価基礎情報記憶部２５３および対人応対記憶部２５４へ格納する（ステップＳ１０２）。具体的には、作業評価部２３４は、ステップＳ００１にて受信した評価結果に含まれるコードのうち、実施日、開始時刻、閾値超過回数、満足量、不満量、差分のそれぞれを評価基礎情報記憶部２５３に格納する。また、作業評価部２３４は、ステップＳ００１にて受信した評価結果に含まれるコードのうち、実施日、開始時刻、作業識別子、記録ファイル名、閾値超過回数、満足量、不満量、差分のそれぞれを対人応対記憶部２５４に格納する。なお、作業評価部２３４は、対人応対記憶部２５４に格納する際に、開始時刻を録画開始時刻として格納する。
【０１１０】
そして、作業評価部２３４は、ステップＳ１０１にて受信したデータの送信元である感情解析端末１００を使用する作業者を特定し、該作業者の当日の作業が終了したか否かを判定する（ステップＳ１０３）。具体的には、作業評価部２３４は、作業者の作業情報記憶部２５１を参照して、作業実施日当日の作業として未実施の作業が無い場合に、当日の作業は終了したと判定する。当日の作業が終了していない場合（ステップＳ１０３にて「Ｎｏ」の場合）には、作業評価部２３４は、ステップＳ１０１へ制御を戻す。
【０１１１】
当日の作業が終了した場合（ステップＳ１０３にて「Ｙｅｓ」の場合）には、作業評価部２３４は、作業に関する管理を行う担当者の特性に応じた顧客係数を特定する（ステップＳ１０４）。具体的には、作業評価部２３４は、作業に関する管理を行う担当者の特性に応じた修正を加えて作業を評価するために、顧客係数を特定する。例えば、作業評価部２３４は、担当者に関する作業であって過去に実施済みの作業に関する満足量と不満量とを対人応対記憶部２５４から読み出して、所定以上の度合いで不満量が大きい場合には、顧客係数を高く設定する（すなわち、評価点が高くなるようにする）。逆に、作業評価部２３４は、所定以上の度合いで満足量が大きい場合には、顧客係数を低く設定する（すなわち、評価点が低くなるようにする）。
【０１１２】
そして、作業評価部２３４は、作業内容に応じて、作業係数を特定する（ステップＳ１０５）。具体的には、作業評価部２３４は、予め作業ごとに定められた難易度に応じて、難易度に相当する作業係数を特定する。例えば、作業評価部２３４は、平易な作業については作業係数を低く設定し、難解な作業については作業係数を高く設定する。
【０１１３】
そして、作業評価部２３４は、評価結果を算出して出力情報を生成して感情解析端末１００へ送信する（ステップＳ１０６）。具体的には、作業評価部２３４は、作業単位で算出した満足量から不満量を差し引き、顧客係数と作業係数とを積算して評価結果として算出する。そして、作業評価部２３４は、作業者ごとに評価結果を集計して、出力情報を生成する。例えば、第一の作業が５点、第二の作業が１０点、第三の作業が６点の場合、当該作業者の出力情報では、５＋１０＋６＝２１点という情報が生成される。そして、作業評価部２３４は、感情解析端末１００から要求を受け付けると、感情解析端末１００ごとに出力情報を特定し送信する。
【０１１４】
以上が、作業評価処理のフローである。作業評価処理によれば、作業者ごとに、実施日を通した作業の評価値を得ることが可能となる。また、その評価値には、作業を管理する担当者の特性と、作業の難易度とが加味されているため、妥当性の高い評価値を得ることができる。
【０１１５】
図１２は、顧客の感情変動グラフ４００の例を示す図である。顧客の感情変動グラフ４００は、縦軸４０１に満足に関する感情の度合いがプロットされ、横軸４０２に時間経過がプロットされる。そして、ある時点での顧客すなわち作業管理担当者の感情の度合いが記録されていくことで、定量的な感情の把握が可能となる。感情解析端末１００の感情分析部１９０および作業管理装置２００の作業評価部２３４のそれぞれは、基準の感情度合いを上回った部分について、当該グラフ上の点を連続的とみなした幾何的な面積により満足度を特定する。また、感情解析端末１００の感情分析部１９０および作業管理装置２００の作業評価部２３４のそれぞれは、基準の感情度合いを下回った部分について、当該グラフ上の点を連続的とみなした幾何的な面積により不満度を特定する。また、感情分析部１９０および作業評価部２３４のそれぞれは、記録開始時点の感情の度合いと、記録終了時点の感情の度合いとの差を求め、差分を特定する。
【０１１６】
図１３は、作業評価処理において表示される作業評価結果画面５００の例を示す図である。作業評価結果画面５００には、評価結果である講評表示領域５０１と、バロメーター表示領域５０２と、が含まれる。講評表示領域５０１には、評価値に応じてあらかじめ定められたテキストが表示される。バロメーター表示領域５０２には、当日の評価値が表示される。当該バロメーター表示領域５０２においては、全作業を満点とする点数に占める評価値の割合が表示される。
【０１１７】
図１４は、本実施形態における原因探索処理のフロー図である。
【０１１８】
原因探索処理は、作業管理装置２００が起動状態にあり、作業管理装置２００において所定の起動指示を受け付けると、開始される。
【０１１９】
まず、原因探索部２３３は、対象作業の日時と感情値とを特定する（ステップＳ２０１）。具体的には、原因探索部２３３は、外部から対象作業の開始日時と、当該作業における感情値の情報とを受け付けることで、原因探索の対象となる対象を特定する。
【０１２０】
そして、原因探索部２３３は、感情値が悪化した時刻を特定する（ステップＳ２０２）。具体的には、原因探索部２３３は、ステップＳ２０１にて特定した感情値を経時順にプロットし、所定の期間において感情値が悪化している場合に、該変動を感情値の悪化として特定する。
【０１２１】
そして、原因探索部２３３は、感情値の悪化の度合いが所定以上であるか否かを判定する（ステップＳ２０３）。具体的には、原因探索部２３３は、ステップＳ２０２にて特定した時刻を基準とする所定の時間について、感情値の単位時間あたりの悪化量を特定し、所定の閾値を超える悪化があるか否かを判定する。悪化の度合いが所定以上であるものがない場合（ステップＳ２０３にて「Ｎｏ」である場合）には、原因探索部２３３は、原因探索処理を終了させる。
【０１２２】
感情値の悪化の度合いが所定以上である場合（ステップＳ２０３にて「Ｙｅｓ」である場合）には、原因探索部２３３は、悪化した時刻の所定時間前の音声と映像情報を特定する（ステップＳ２０４）。一般に、感情値の悪化の度合いが所定以上である場合には、その原因となる何らかの行為がその直前に含まれていることが多いと考えられるため、例えば悪化がみられた期間が開始する時刻の２分程度過去の時点から音声あるいは映像の再生を行うことで、悪化の理由となった行為を発見することが容易となる可能性がある。そのため、原因探索部２３３は、悪化した時刻の所定時間前の音声と映像情報を特定する。当該処理においては、原因探索部２３３は、対人応対記憶部２５４に含まれる記録ファイルを特定して読み出し、悪化した時刻の所定時間前（例えば、２分前）を示す時刻以降、悪化した時刻までの情報を特定する。
【０１２３】
そして、原因探索部２３３は、音声と映像情報とを再生させる（ステップＳ２０５）。具体的には、原因探索部２３３は、ステップＳ２０４において特定した音声および映像情報について、再生する。
【０１２４】
以上が、原因探索処理のフローである。原因探索処理によれば、感情が急激に悪化した記録を特定し、その原因が記録されていると考えられる直前の記録について再生させることができる。
【０１２５】
図１５は、原因探索処理において表示される原因表示画面６００の例を示す図である。原因表示画面６００には、原因説明文章表示領域６０１と、感情変化表示領域６０２と、関連動画再生指示受付領域６０３と、が含まれる。原因説明文章表示領域６０１には、感情の悪化の原因と考えられるテキスト情報が表示される。感情変化表示領域６０２には、感情の変化が時系列に沿って表示される。関連動画再生指示受付領域６０３には、原因となる事象が記録されているファイルから音声あるいは映像情報を再生する指示を受け付ける。関連動画再生指示受付領域６０３に入力を受け付けると、原因探索部２３３は、関連動画として当該作業の記録ファイルを引き当てて、関連動画表示画面６１０において、該当する時刻から再生が始まるように再生するとともに、原因説明文章を音声出力する。
【０１２６】
以上が、第一の実施形態に係る作業管理システム１である。第一の実施形態によれば、より正確に作業者を評価する作業を支援することができる。
【０１２７】
本発明は、上記の第一の実施形態に制限されない。上記の第一の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の第一の実施形態においては、感情解析端末１００は眼鏡型ウェアラブル装置を想定しているが、これに限られない。例えば、頭部をより広く覆うヘルメット型のウェアラブル装置であってもよいし、片眼のみに取り付けるウェアラブル装置であってもよい。また、感情解析端末１００と作業管理装置２００とが一体化したものであってもよい。
【０１２８】
図１６〜図１９は、このような変形例のうち、作業の実施前等、作業者１０に作業に関するナレッジを提供する第二の実施形態に係る作業管理システムの構成例を示す図である。第二の実施形態においては、作業管理装置２００に、感情解析端末１００へナレッジ情報を提供する構成を備える。このような第二の実施形態について、説明する。なお、第二の実施形態は、基本的には第一の実施形態と同様であるため、相違する構成を中心に説明する。
【０１２９】
図１６は、作業管理装置２００が備えるクレーム予防情報記憶部２５５の構成例を示す図である。クレーム予防情報記憶部２５５は、作業の担当者あるいは依頼者から必要以上のクレームが発生しないようにあらかじめ作業者が心得ておくべきクレーム予防情報を格納する。クレーム予防情報記憶部２５５には、作業識別子２５５Ａと、実施日２５５Ｂと、開始時刻２５５Ｃと、作業マニュアル２５５Ｄと、差分２５５Ｅと、注意事項２５５Ｆと、ナレッジ映像２５５Ｇと、が含まれる。
【０１３０】
作業識別子２５５Ａは、作業の内容を特定する情報である。実施日２５５Ｂは、実際に作業を行う日を特定する情報である。開始時刻２５５Ｃは、作業を開始する時刻を特定する情報である。作業マニュアル２５５Ｄは、作業の詳細が記載されたマニュアルを特定する情報である。差分２５５Ｅは、作業の管理の担当者の作業終了時点の感情値から、作業開始時点の感情値を引いた差分である。注意事項２５５Ｆには、ナレッジとして注意すべき事項が任意で格納される。また、ナレッジ映像２５５Ｇには、ナレッジとしてまとまった映像や画像、音声の情報等が作業識別子２５５Ａごとに表示される。
【０１３１】
図１７は、クレーム予防処理の処理フローを示す図である。作業管理装置２００は、作業管理装置２００の外部の装置からクレーム予防処理の実行の要求を受け付けると、クレーム予防処理を開始する。
【０１３２】
まず、クレーム予防情報記憶部２５５は、クレーム予防処理の実行を要求した外部の装置から、作業マニュアルを特定する情報と、作業を管理する担当者を特定する情報を受け付ける（ステップＳ３０１）。具体的には、クレーム予防情報記憶部２５５は、作業マニュアルを特定する識別子と、担当者の所属組織および氏名と、を受け付ける。
【０１３３】
そして、クレーム予防情報記憶部２５５は、作業マニュアルを特定する情報と、作業を管理する担当者を特定する情報と、に対応する注意項目とナレッジ映像とを特定する（ステップＳ３０２）。具体的には、クレーム予防情報記憶部２５５は、作業マニュアルを特定する情報によって作業実績記憶部２５２の作業マニュアル２５２Ｅを検索し、対応するレコードに係る気づき２５２Ｍを読み出すことで、注意事項を特定する。また、クレーム予防情報記憶部２５５は、作業マニュアルを特定する情報および作業の管理担当者を特定する情報の組み合わせが、作業情報記憶部２５１の作業マニュアル２５１Ｅと担当者２５１Ｆの組み合わせとなるレコードを特定し、対応する作業識別子２５１Ｄを読み出す。そして、クレーム予防情報記憶部２５５は、読み出した作業識別子２５１Ｄにより対人応対記憶部２５４の作業識別子２５４Ｃを検索し、対応するレコードに係る気づき２５４Ｋを読み出すことで、注意項目とナレッジ映像とを特定する。
【０１３４】
そして、クレーム予防情報記憶部２５５は、注意項目とナレッジ映像とを送信する（ステップＳ３０３）。具体的には、クレーム予防情報記憶部２５５は、クレーム予防処理の実行を要求した外部の装置へ、ステップＳ３０２において特定した注意項目とナレッジ映像とを含めた出力情報を送信する。
【０１３５】
以上が、クレーム予防処理のフローである。クレーム予防処理によれば、作業内容と、作業を管理する担当者と、の情報を受け付けて、実施する作業に関するナレッジを他の作業者と共有することができるため、作業を管理する担当者からのクレームの発生を予防することができる。
【０１３６】
図１８は、クレーム予防処理において表示される予防情報表示画面７００の例を示す図である。予防情報表示画面７００には、注意項目表示領域７０１が含まれる。注意項目表示領域７０１には、作業および作業管理担当者についての注意事項がテキスト表示される。例えば、「本件の顧客は、顧客への挨拶忘れに注意。」および「本件の顧客は、時間厳守で作業しないとクレームが来る傾向が高い。」等の情報が表示される。
【０１３７】
図１９は、クレーム予防処理において表示される画面の別の例である予防情報表示画面７５０の例を示す図である。予防情報表示画面７５０には、注意項目表示領域７５１と、ノウハウ画像表示領域７５２と、が含まれる。注意項目表示領域７５１には、作業および作業管理担当者についての注意事項がテキスト表示される。例えば、「対象機器の接続は、下記の作業方法で対処する事。やり方を間違えると故障の原因になる。」等の情報が表示される。また、ノウハウ画像表示領域７５２には、機器の接続部位の拡大写真等、作業を実際に行った際の記録映像等が画像あるいは動画像として表示される。
【０１３８】
以上が、第二の実施形態である。第二の実施形態によれば、他の作業者１０が蓄積させた作業や作業管理の担当者に関する気づきや工夫、ノウハウの情報を、作業者１０が作業を開始する前に作業者１０に知らせることができるため、作業者１０の作業効率を高められると共に、容易にノウハウ情報を取得することができ、そのためクレームの発生も効率よく回避することができる。
【０１３９】
以上、第一の実施形態および第二の実施形態を用いて説明した。上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。
【０１４０】
以上、本発明について、実施形態を中心に説明した。
【符号の説明】
【０１４１】
１・・・作業管理システム、１０・・・作業者、１００・・・感情解析端末、１１０・・・表示制御部、１２０・・・位置特定部、１３０・・・音声取得部、１４０・・・通信部、１５０・・・画像処理部、１６０・・・音声処理部、１７０・・・表情分析部、１８０・・・感情分析記憶部、１８１・・・感情基準記憶部、１８２・・・作業実績記憶部、１８３・・・評価基礎情報記憶部、１８４・・・対人応対記憶部、１９０・・・感情分析部、２００・・・作業管理装置、２１０・・・表示部、２２０・・・通信部、２３１・・・音声処理部、２３２・・・表情処理部、２３３・・・原因探索部、２３４・・・作業評価部、２３５・・・ナレッジ管理部、２５０・・・記憶部、２５１・・・作業情報記憶部、２５２・・・作業実績記憶部、２５３・・・評価基礎情報記憶部、２５４・・・対人応対記憶部、３００・・・作業対象機器
【図１】
0006556436.tif 000002
【図２】
0006556436.tif 000003
【図３】
0006556436.tif 000004
【図４】
0006556436.tif 000005
【図５】
0006556436.tif 000006
【図６】
0006556436.tif 000007
【図７】
0006556436.tif 000008
【図８】
0006556436.tif 000009
【図９】
0006556436.tif 000010
【図１０】
0006556436.tif 000011
【図１１】
0006556436.tif 000012
【図１２】
0006556436.tif 000013
【図１３】
0006556436.tif 000014
【図１４】
0006556436.tif 000015
【図１５】
0006556436.tif 000016
【図１６】
0006556436.tif 000017
【図１７】
0006556436.tif 000018
【図１８】
0006556436.tif 000019
【図１９】
0006556436.tif 000020