(57)【要約】【課題】音声による感情の把握を容易することができる情報処理装置、プログラム、及び音声感情認識システムを提供する。【解決手段】情報処理装置は、入力手段と、推定手段と、出力手段と、を備える。前記入力手段は、操作を指示する指示音声の入力を受け付ける。前記推定手段は、前記入力手段が受け付けた前記指示音声を発話した発話者の感情状態を推定する。前記出力手段は、前記推定手段が推定した前記感情状態を出力する。【選択図】図５
2020160246.tif 000002
【特許請求の範囲】
【請求項１】
操作を指示する指示音声の入力を受け付ける入力手段と、
前記入力手段が受け付けた前記指示音声を発話した発話者の感情状態を推定する推定手段と、
前記推定手段が推定した前記感情状態を出力する出力手段と、
を備える情報処理装置。
【請求項２】
前記感情状態に基づいて、前記発話者が異常状態であると判定したことを条件に報知する報知手段を更に備える、
請求項１に記載の情報処理装置。
【請求項３】
前記指示音声により特定される作業を示す作業情報と、前記感情状態を示す感情情報とを関連付けた作業別感情情報を記憶部に記憶させる記憶制御手段を更に備える、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記記憶部に記憶された前記作業別感情情報に基づいて、前記発話者が行った作業のうち、前記発話者が異常状態であると判定された回数が閾値以上の作業を表示させる表示制御手段を更に備える、
請求項３に記載の情報処理装置。
【請求項５】
コンピュータを、
操作を指示する指示音声の入力を受け付ける入力手段と、
前記入力手段が受け付けた前記指示音声を発話した発話者の感情状態を推定する推定手段と、
前記推定手段が推定した前記感情状態を出力する出力手段と、
として機能させるためのプログラム。
【請求項６】
操作を指示する指示音声の入力を受け付ける入力手段と、
前記入力手段が受け付けた前記指示音声を発話した発話者の感情状態を推定する推定手段と、
前記推定手段が推定した前記感情状態を出力する出力手段と、
を備える音声感情認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、プログラム、及び音声感情認識システムに関する。
【背景技術】
【０００２】
従来、スーパーマーケット等の小売店には、ＰＯＳ（Point  Of  Sales）端末が設置されている。ＰＯＳ端末の保守者は、故障が発生した場合や、定期点検等を行う場合に、小売店に出向き保守作業を行っている。また、保守者は、保守作業を小売店の営業時間内に行なわなければならないことがある。
【０００３】
このような場合、保守者は、短時間で保守作業を完了させなければならず、緊張やプレッシャーを感じている。緊張やプレッシャーを感じている場合、保守者は、ミスを起こしやすい。
【０００４】
特許文献１及び特許文献２には、音声により感情を判断可能な技術が開示されている。このような音声により感情を判断可能な技術を用いて、保守者の感情状態が悪化していることを認識可能にすることで、保守者本人、又は保守者の管理者等の他人は、対策を講じることができる。しかしながら、保守者は、保守作業を急いでいるため、感情状態を判断させるためだけにその都度音声を入力することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、音声による感情の把握を容易することができる情報処理装置、プログラム、及び音声感情認識システムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の情報処理装置は、入力手段と、推定手段と、出力手段と、を備える。前記入力手段は、操作を指示する指示音声の入力を受け付ける。前記推定手段は、前記入力手段が受け付けた前記指示音声を発話した発話者の感情状態を推定する。前記出力手段は、前記推定手段が推定した前記感情状態を出力する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態にかかる保守支援システムの一例を説明する説明図である。
【図２】図２は、保守者端末のハードウェア構成の一例を示すブロック図である。
【図３】図３は、管理サーバのハードウェア構成の一例を示すブロック図である。
【図４】図４は、管理者端末のハードウェア構成の一例を示すブロック図である。
【図５】図５は、保守支援システムの各種装置が備える特徴的な機能構成の一例を示すブロック図である。
【図６】図６は、作業別感情統計一覧画面の一例を示す説明図である。
【図７】図７は、感情統計詳細画面の一例を示す説明図である。
【図８】図８は、保守作業状況一覧画面の一例を示す説明図である。
【図９】図９は、報知画面の一例を示す説明図である。
【図１０】図１０は、保守者端末が実行する状態監視処理の一例を示すフローチャートである。
【図１１】図１１は、保守者端末が実行する統計表示処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、情報処理装置、プログラム、及び音声感情認識システムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置、プログラム、及び音声感情認識システムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態の情報処理装置、プログラム、及び音声感情認識システムは、ＰＯＳ端末の保守作業を支援する保守支援システムの保守者端末への適用例である。
【０００９】
図１は、実施形態にかかる保守支援システム１の一例を説明する説明図である。保守支援システム１は、ＰＯＳ端末の保守作業を支援するシステムである。また、保守支援システム１は、保守者が発した音声により保守者の感情を認識する音声感情認識システムでもある。保守支援システム１は、複数台の保守者端末１０と、管理サーバ２０と、管理者端末３０とを備えている。保守者端末１０と、管理サーバ２０と、管理者端末３０とは、インターネットやＶＰＮ（Virtual  Private  Network）等のネットワークを介して通信可能に接続されている。なお、図１に示す保守支援システム１は、管理サーバ２０と、管理者端末３０とを一台ずつ備えているが、保守支援システム１は、管理サーバ２０と、管理者端末３０とを複数台ずつ備えていてもよい。
【００１０】
保守者端末１０は、保守者が携帯するタブレット端末や、スマートフォン等の携帯可能な情報処理装置である。保守者端末１０は、保守者が発した指示音声を操作として受け付ける。そして、保守者端末１０は、指示音声により指示された処理を実行する。例えば、保守者端末１０は、指示音声により特定される作業内容を記録する処理や、指示音声により特定される作業内容を解説する動作を表示させる処理等を実行する。また、保守者端末１０は、指示音声を発した保守者の感情状態を推定する。そして、保守者端末１０は、推定結果を出力する。例えば、保守者端末１０は、保守者の感情状態に異常があると判定した場合に、管理者端末３０等に報知する。
【００１１】
管理サーバ２０は、保守支援システム１を管理するサーバ装置である。例えば、管理サーバ２０は、保守者端末１０から保守者の状況を示す状況情報を受信する。また、管理サーバ２０は、各保守者の状況を示す一覧を表示する。
【００１２】
管理者端末３０は、管理者が携帯するタブレット端末や、スマートフォン等の携帯可能な端末である。例えば、管理者端末３０は、保守者端末１０を操作する保守者の感情状態が異常であると判断された場合に、保守者の感情状態が異常であることを示す報知情報を受信する。そして、管理者端末３０は、保守者の感情状態が異常であることを示す画面を表示する。
【００１３】
次に、保守支援システム１の各種装置のハードウェア構成について説明する。
【００１４】
図２は、保守者端末１０のハードウェア構成の一例を示すブロック図である。保守者端末１０は、制御部１０１と、記憶部１０２と、通信インタフェース１０３と、タッチパネルディスプレイ１０４と、集音部１０５とを備える。これら各部は、データバスやアドレスバス等のシステムバスを介して相互に接続している。
【００１５】
制御部１０１は、保守者端末１０の全体の動作を制御し、保守者端末１０が有する各種の機能を実現するコンピュータである。制御部１０１は、ＣＰＵ（Central  Processing  Unit）と、ＲＯＭ（Read  Only  Memory）と、ＲＡＭ（Random  Access  Memory）とを備える。ＣＰＵは、保守者端末１０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部１０２等に格納されたプログラムを実行する。
【００１６】
記憶部１０２は、フラッシュメモリ等の記憶装置である。記憶部１０２は、制御プログラム１０６と、作業別感情情報１０７とを記憶する。
【００１７】
制御プログラム１０６は、オペレーティングシステムや、保守者端末１０が備えている機能を発揮させるためのプログラムである。制御プログラム１０６には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００１８】
作業別感情情報１０７は、保守者が行った作業ごとに、保守者の感情状態が示された情報である。すなわち、作業別感情情報１０７には、指示音声により特定される作業を示す作業情報と、感情状態を示す感情情報とが関連付けられた情報である。
【００１９】
通信インタフェース１０３は、ネットワークを介して、他の装置と通信するためのインタフェースである。
【００２０】
タッチパネルディスプレイ１０４は、例えば表示面上にタッチパネルが積層されたディスプレイの表示装置である。タッチパネルディスプレイ１０４は、タッチ操作された箇所を検知して、タッチパネルディスプレイ１０４が表示している表示要素に応じた操作が入力されたと判断する。
【００２１】
集音部１０５は、音声を集音するマイクである。
【００２２】
図３は、管理サーバ２０のハードウェア構成の一例を示すブロック図である。管理サーバ２０は、制御部２０１と、記憶部２０２と、通信インタフェース２０３と、表示部２０４と、操作部２０５とを備える。これら各部は、データバスやアドレスバス等のシステムバスを介して相互に接続している。
【００２３】
制御部２０１は、管理サーバ２０の全体の動作を制御し、管理サーバ２０が有する各種の機能を実現するコンピュータである。制御部２０１は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備える。ＣＰＵは、管理サーバ２０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部２０２等に格納されたプログラムを実行する。
【００２４】
記憶部２０２は、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などの記憶装置である。記憶部２０２は、制御プログラム２０６を記憶する。
【００２５】
制御プログラム２０６は、オペレーティングシステムや、管理サーバ２０が備えている機能を発揮させるためのプログラムである。制御プログラム２０６には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００２６】
通信インタフェース２０３は、ネットワークを介して、他の装置と通信するためのインタフェースである。
【００２７】
表示部２０４は、例えば液晶ディスプレイ等の表示装置である。操作部２０５は、例えばキーボードやマウス等の入力装置である。
【００２８】
図４は、管理者端末３０のハードウェア構成の一例を示すブロック図である。管理者端末３０は、制御部３０１と、記憶部３０２と、通信インタフェース３０３と、タッチパネルディスプレイ３０４とを備える。これら各部は、データバスやアドレスバス等のシステムバスを介して相互に接続している。
【００２９】
制御部３０１は、管理者端末３０の全体の動作を制御し、管理者端末３０が有する各種の機能を実現するコンピュータである。制御部３０１は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備える。ＣＰＵは、管理者端末３０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部３０２等に格納されたプログラムを実行する。
【００３０】
記憶部３０２は、フラッシュメモリ等の記憶装置である。記憶部３０２は、制御プログラム３０６を記憶する。
【００３１】
制御プログラム３０６は、オペレーティングシステムや、管理者端末３０が備えている機能を発揮させるためのプログラムである。制御プログラム３０６には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００３２】
通信インタフェース３０３は、ネットワークを介して、他の装置と通信するためのインタフェースである。
【００３３】
タッチパネルディスプレイ３０４は、例えば表示面上にタッチパネルが積層されたディスプレイの表示装置である。タッチパネルディスプレイ３０４は、タッチ操作された箇所を検知して、タッチパネルディスプレイ３０４が表示している表示要素に応じた操作が入力されたと判断する。
【００３４】
次に、保守支援システム１の各種装置が備える特徴的な機能について説明する。ここで、図５は、保守支援システム１の各種装置が備える特徴的な機能構成の一例を示すブロック図である。
【００３５】
保守者端末１０の制御部１０１は、記憶部１０２の制御プログラム１０６をＲＡＭに展開し、制御プログラム１０６に従って動作することで、図５に示す各機能部をＲＡＭ上に生成する。具体的には、保守者端末１０の制御部１０１は、機能部として、通信制御部１００１、操作制御部１００２、指示音声入力部１００３、処理実行部１００４、感情推定部１００５、報知制御部１００６、記憶制御部１００７、状況通知部１００８、及び表示制御部１００９を備える。
【００３６】
通信制御部１００１は、通信インタフェース１０３を制御して、ネットワークに接続された管理サーバ２０及び管理者端末３０との通信を実行する。
【００３７】
操作制御部１００２は、タッチパネルディスプレイ１０４を制御して、各種操作を受け付ける。
【００３８】
指示音声入力部１００３は、操作を指示する指示音声の入力を受け付ける。更に詳しくは、指示音声入力部１００３は、集音部１０５を制御して、自装置に対する操作を指示する指示音声の入力を受け付ける。
【００３９】
処理実行部１００４は、指示音声入力部１００３が受け付けた指示音声により指示された処理を実行する。例えば、処理実行部１００４は、指示音声により特定される作業内容を記録する処理や、指示音声により特定される作業内容を解説する動作を表示させる処理等を実行する。
【００４０】
感情推定部１００５は、指示音声入力部１００３が受け付けた指示音声を発話した発話者の感情状態を推定する。更に詳しくは、感情推定部１００５は、公知技術を使用して発話者の感情を数値化した感情値を算出する。感情値は、例えば、数値が低い場合に発話者が平静状態であることを示す。また、感情値は、数値が高くなるに従い発話者が興奮状態であることを示す。すなわち、感情値は、数値が高くなるに従い発話者がミス等を起こしやすい状態であることを示している。
【００４１】
また、感情推定部１００５は、感情値が閾値以上の場合に、発話者が異常状態であると判定する。一方、感情推定部１００５は、感情値が閾値未満の場合に、発話者が正常状態であると判定する。なお、感情推定部１００５は、異常状態と正常状態との２段階に限らず、３段階以上に分類分けしてもよい。また、閾値は、任意の値を設定可能な設定値であってもよい。
【００４２】
報知制御部１００６は、感情推定部１００５が推定した発話者の感情状態に基づいて、発話者が異常状態であると判定したことを条件に報知する。更に詳しくは、報知制御部１００６は、感情推定部１００５が発話者を異常状態であると判定した場合に、ミスに対する対策を講じる必要があることを報知する。
【００４３】
例えば、報知制御部１００６は、管理者端末３０に報知情報を送信する。報知情報には、保守者情報と、作業場所情報と、作業進捗と、メッセージ情報とが含まれている。保守者情報は、保守者コード等の保守者を識別可能な識別情報である。すなわち、保守者情報は、異常状態にある発話者を特定する情報である。作業場所情報は、保守者の作業場所を示す情報である。作業進捗は、保守者が行う作業内容の各ステップに対応した進捗率を示す情報である。メッセージ情報は、管理者に対するメッセージを示す情報である。
【００４４】
記憶制御部１００７は、指示音声により特定される作業を示す作業情報と、感情状態を示す感情情報とを関連付けた作業別感情情報１０７を記憶部１０２に記憶させる。ここで、作業情報は、例えば作業内容を識別可能な作業コードであってもよいし、作業内容を示す文言であってもよい。また、感情情報は、例えば感情状態を数値化した感情値である。さらに、記憶制御部１００７は、一連の作業のうち、指示音声が入力されるごとに作業別感情情報１０７を記憶部１０２に記憶させる。すなわち、記憶制御部１００７は、作業のステップごとに、作業別感情情報１０７を記憶部１０２に記憶させる。
【００４５】
状況通知部１００８は、保守者の作業状況を示す状況情報を管理サーバ２０に通知する。更に詳しくは、状況通知部１００８は、通信制御部１００１に状況情報を送信させる。ここで、状況情報には、保守者情報と、作業場所情報と、作業内容情報と、保守者状態と、作業進捗と、が含まれている。保守者情報は、保守者コード等の保守者を識別可能な識別情報である。作業場所情報は、保守者の作業場所を示す情報である。作業内容情報は、保守者が行っている作業内容を示す情報である。また、作業内容情報には、作業内容の何れのステップであるかを示す情報がふくまれていてもよい。保守者状態は、作業を行っている保守者の感情状態を示す情報である。作業進捗は、保守者が行っている作業内容に対する進捗率を示す情報である。
【００４６】
表示制御部１００９は、タッチパネルディスプレイ１０４を制御して、各種画面を表示させる。例えば、表示制御部１００９は、処理実行部１００４が実行する処理に関する画面を表示させる。
【００４７】
また、表示制御部１００９は、記憶部１０２に記憶された作業別感情情報１０７に基づいて、発話者が行った作業のうち、発話者が異常状態であると判定された回数が閾値以上の作業を示す作業別感情統計一覧画面Ｇ１を表示させる。
【００４８】
ここで、図６は、作業別感情統計一覧画面Ｇ１の一例を示す説明図である。作業別感情統計一覧画面Ｇ１は、作業別感情統計一覧Ｇ１１と、作業ごとの詳細画面ボタンＧ１２とを備えている。作業別感情統計一覧Ｇ１１は、作業内容ごとに、保守者状態統計と、説明とが示された一覧である。作業内容は、作業を示す情報である。保守者状態統計は、作業を行った保守者の感情状態の統計を示す情報である。
【００４９】
例えば、表示制御部１００９は、保守者の異常状態の回数に応じて３段階に分けて保守者状態統計を表示する。表示制御部１００９は、異常状態の回数が第１設定値未満の場合には、保守者の感情状態は問題が無いことを示すマークを表示する。例えば、表示制御部１００９は、保守者の感情状態は問題が無いことを示すマークとして丸印を表示させる。また、表示制御部１００９は、異常状態の回数が第１設定値よりも値が高い第２設定以上の場合には、保守者の感情状態に対して対策が必要なことを示すマークを表示する。例えば、表示制御部１００９は、保守者の感情状態に対して対策が必要なことを示すマークとして罰印を表示させる。また、表示制御部１００９は、異常状態の回数が第１設定値以上であって、第２設定値未満の場合には、保守者の感情状態に対して対策が必要になる可能性があることを示すマークを表示する。例えば、表示制御部１００９は、保守者の感情状態に対して対策が必要になる可能性があることを示すマークとして三角印を表示させる。説明は、保守者状態統計に対する説明である。すなわち、表示制御部１００９は、保守者状態統計に基づいて、問題なし、要対策と、要注意との何れかを表示させる。詳細画面ボタンＧ１２は、各作業に対する保守者の感情状態の統計の詳細を示す感情統計詳細画面Ｇ２を表示させるボタンである。
【００５０】
ここで、図７は、感情統計詳細画面Ｇ２の一例を示す説明図である。感情統計詳細画面Ｇ２は、作業中の保守者の感情値の遷移をグラフで表現した画面である。表示制御部１００９は、記憶部１０２に記憶された作業別感情情報１０７のうち、詳細画面ボタンＧ１２に対応付けられた作業の作業別感情情報１０７を抽出する。また、表示制御部１００９は、作業のステップごとに、感情値の平均値を算出する。そして、表示制御部１００９は、作業のステップごとの平均値をプロットすることでグラフを生成する。なお、図７に示すグラフは、横軸が作業の各ステップを示し、縦軸が感情値を示している。
【００５１】
図５に戻り、管理サーバ２０の制御部２０１は、記憶部２０２の制御プログラム２０６をＲＡＭに展開し、制御プログラム２０６に従って動作することで、図５に示す各機能部をＲＡＭ上に生成する。具体的には、管理サーバ２０の制御部２０１は、機能部として、通信制御部２００１、操作制御部２００２、状況管理部２００３、及び表示制御部２００４を備える。
【００５２】
通信制御部２００１は、通信インタフェース２０３を制御して、ネットワークに接続された保守者端末１０及び管理者端末３０との通信を実行する。
【００５３】
操作制御部２００２は、操作部２０５を制御して、各種操作を受け付ける。
【００５４】
状況管理部２００３は、状況情報を管理する。更に詳しくは、状況管理部２００３は、通信制御部２００１が保守者端末１０から状況情報を受信した場合に、記憶部２０２に記憶させる。
【００５５】
表示制御部２００４は、表示部２０４を制御して、各種画面を表示させる。例えば、表示制御部２００４は、記憶部２０２に記憶した状況情報に基づいて、保守作業状況一覧画面Ｇ３を表示させる。
【００５６】
ここで、図８は、保守作業状況一覧画面Ｇ３の一例を示す説明図である。保守作業状況一覧画面Ｇ３には、保守者の作業状況の一覧を示す画面である。保守作業状況一覧画面Ｇ３の一覧には、作業場所と、保守者と、作業内容と、作業進捗と、保守者状態とが含まれている。作業場所は、作業が行われている場所を示す情報である。保守者は、作業を行っている保守者を示す情報である。作業内容は、保守者が行っている作業内容を示す情報である。また、作業内容には、作業内容の何れのステップであるかを示す情報がふくまれていてもよい。作業進捗は、保守者が行っている作業内容に対する進捗率を示す情報である。保守者状態は、作業を行っている保守者の感情状態を示す情報である。
【００５７】
このような保守作業状況一覧画面Ｇ３において、表示制御部２００４は、感情状態が異常状態、つまりミスを起こしやすい保守者を強調表示する。図８では、「ＢＢＢさん」が異常状態にあり、ミスを起こしやすい。そこで、表示制御部２００４は、「ＢＢＢさん」の保守作業状況を強調表示することで、「ＢＢＢさん」がミスを起こしやすい状態にあることを報知する。
【００５８】
図５に戻り、管理者端末３０の制御部３０１は、記憶部３０２の制御プログラム３０６をＲＡＭに展開し、制御プログラム３０６に従って動作することで、図５に示す各機能部をＲＡＭ上に生成する。具体的には、管理者端末３０の制御部３０１は、機能部として、通信制御部３００１、操作制御部３００２、及び表示制御部３００３を備える。
【００５９】
通信制御部３００１は、通信インタフェース３０３を制御して、ネットワークに接続された保守者端末１０及び管理サーバ２０との通信を実行する。
【００６０】
操作制御部３００２は、タッチパネルディスプレイ３０４を制御して、各種操作を受け付ける。
【００６１】
表示制御部３００３は、タッチパネルディスプレイ３０４を制御して、各種画面を表示させる。例えば、表示制御部３００３は、通信制御部３００１が保守者端末１０から報知情報を受信した場合に、報知情報に基づいて報知画面Ｇ４を表示させる。
【００６２】
ここで、図９は、報知画面Ｇ４の一例を示す説明図である。報知画面Ｇ４は、保守者の感情がミスを起こしやすい状態にあることを報知する画面である。報知画面Ｇ４には、ヘッダー領域Ｇ４１と、メッセージ領域Ｇ４２と、保守者状況領域Ｇ４３とが含まれている。ヘッダー領域Ｇ４１には、報知情報を受信した日時と、保守支援システム１から管理者へ報知情報が送信されたこととが表示される。メッセージ領域Ｇ４２には、保守者がミスを起こしやすい状態であることを管理者へ報知するメッセージが表示される。例えば、メッセージ領域Ｇ４２には、「下記保守者の感情がミスをしやすい状態です。対策を講じてください。」等のメッセージが表示される。保守者状況領域Ｇ４３には、作業場所、担当者、作業内容、作業進捗等の保守者の状況を表示される。
【００６３】
次に、保守者端末１０が実行する状態監視処理について説明する。ここで、図１０は、保守者端末１０が実行する状態監視処理の一例を示すフローチャートである。
【００６４】
指示音声入力部１００３は、初期入力を受け付ける（ステップＳ１１）。更に詳しくは、指示音声入力部１００３は、保守者を識別可能な識別情報や、作業場所や、作業内容等を受け付ける。なお、初期入力は、事前に入力されていてもよいし、ネットワークを介して入力されてもよいし、操作制御部１００２が受け付けてもよい。
【００６５】
指示音声入力部１００３は、操作を指示する指示音声の入力を受け付けたか否かを判定する（ステップＳ１２）。指示音声の入力を受け付けていない場合に（ステップＳ１２；Ｎｏ）、指示音声入力部１００３は、指示音声が入力されるまで待機する。
【００６６】
指示音声の入力を受け付けた場合に（ステップＳ１２；Ｙｅｓ）、処理実行部１００４は、指示音声により特定される処理を実行する（ステップＳ１３）。
【００６７】
感情推定部１００５は、入力された指示音声に基づいて、発話者、つまり保守者の感情状態を推定する（ステップＳ１４）。
【００６８】
記憶制御部１００７は、指示音声により特定される作業を示す作業情報と、感情推定部１００５が推定した感情状態とを関連付けた作業別感情情報１０７を記憶部１０２に記憶させる（ステップＳ１５）。
【００６９】
通信制御部１００１は、保守者の作業状況を示す状況情報を管理サーバ２０に送信する（ステップＳ１６）。
【００７０】
報知制御部１００６は、発話者、つまり保守者端末１０を音声により操作する保守者が異常状態にあるか否かを判定する（ステップＳ１７）。
【００７１】
保守者が異常状態にあると判定された場合に（ステップＳ１８；Ｙｅｓ）、通信制御部１００１は、報知情報を管理者端末３０に送信する（ステップＳ１８）。
【００７２】
保守者が異常状態にないと判定された場合に（ステップＳ１８；Ｙｅｓ）、指示音声入力部１００３は、保守者端末１０の使用を終了する指示音声が入力されたか否かを判定する（ステップＳ１９）。保守者端末１０の使用を終了する指示音声が入力されない場合に（ステップＳ１９；Ｎｏ）、保守者端末１０は、ステップＳ１２に移行して状態監視処理を継続する。
【００７３】
保守者端末１０の使用を終了する指示音声が入力された場合に（ステップＳ１９；Ｙｅｓ）、保守者端末１０は、状態監視処理を終了する。
【００７４】
次に、保守者端末１０が実行する統計表示処理について説明する。ここで、図１１は、保守者端末１０が実行する統計表示処理の一例を示すフローチャートである。
【００７５】
操作制御部１００２は、作業別感情統計一覧画面Ｇ１を表示させる操作を受け付けたか否かを判定する（ステップＳ２１）。作業別感情統計一覧画面Ｇ１を表示させる操作を受け付けていない場合に（ステップＳ２１；Ｎｏ）、操作制御部１００２は、作業別感情統計一覧画面Ｇ１を表示させる操作を受け付けるまで待機する。
【００７６】
作業別感情統計一覧画面Ｇ１を表示させる操作を受け付けた場合に（ステップＳ２１；Ｙｅｓ）、表示制御部１００９は、記憶部１０２に記憶された作業別感情情報１０７に基づいて、作業別感情統計一覧Ｇ１１を生成する（ステップＳ２２）。表示制御部１００９は、作業別感情統計一覧Ｇ１１を有する作業別感情統計一覧画面Ｇ１を表示させる（ステップＳ２３）。
【００７７】
操作制御部１００２は、作業別感情統計一覧画面Ｇ１の表示を終了する操作を受け付けたか否かを判定する（ステップＳ２４）。作業別感情統計一覧画面Ｇ１の表示を終了する操作を受け付けていないことを条件に（ステップＳ２４；Ｎｏ）、操作制御部１００２は、詳細画面ボタンＧ１２を押下する操作を受け付けたか否かを判定する（ステップＳ２５）。詳細画面ボタンＧ１２を押下する操作を受け付けていない場合に（ステップＳ２５；Ｎｏ）、操作制御部１００２は、ステップＳ２５に移行する。
【００７８】
詳細画面ボタンＧ１２を押下する操作を受け付けた場合に（ステップＳ２５；Ｙｅｓ）、表示制御部１００９は、詳細画面ボタンＧ１２が対応付けられた作業の作業別感情情報１０７に基づいて、感情統計詳細画面Ｇ２のグラフを生成する（ステップＳ２６）。表示制御部１００９は、生成したグラフを有する感情統計詳細画面Ｇ２を表示させる（ステップＳ２７）。
【００７９】
操作制御部１００２は、感情統計詳細画面Ｇ２の表示を終了する操作を受け付けたか否かを判定する（ステップＳ２８）。作業別感情統計一覧画面Ｇ１の表示を終了する操作を受け付けていない場合に（ステップＳ２８；Ｎｏ）、操作制御部１００２は、作業別感情統計一覧画面Ｇ１の表示を終了する操作を受け付けるまで待機する。作業別感情統計一覧画面Ｇ１の表示を終了する操作を受け付けた場合に（ステップＳ２８；Ｙｅｓ）、操作制御部１００２は、ステップＳ２３に移行する。
【００８０】
作業別感情統計一覧画面Ｇ１の表示を終了する操作を受け付けたことを条件に（ステップＳ２４；Ｙｅｓ）、保守者端末１０は、統計表示処理を終了する。
【００８１】
以上のように、本実施形態に係る保守者端末１０は、操作を指示する指示音声の入力を受け付ける。また、保守者端末１０は、指示音声を用いて、操作者の感情状態を推定する。そして、保守者端末１０は、推定した感情状態を出力する。このように、保守者は。感情状態を判断させるためだけに音声を入力する必要がない。よって、保守者端末１０は、音声による感情の把握を容易することができる。
【００８２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８３】
また、上記実施形態では、保守者端末１０が指示音声を発話した発話者の感情状態を推定した。しかしながら、感情状態の推定は、管理サーバ２０が実行してもよい。すなわち、管理サーバ２０が感情推定部１００５及び報知制御部１００６を備えていてもよい。この場合、保守者端末１０は、指示音声の入力を受け付けた場合に、指示音声を管理サーバ２０に送信する。そして、管理サーバ２０が、指示音声を発話した発話者の感情状態を推定する。
【００８４】
また、上記実施形態では、保守者端末１０が作業別感情情報１０７を記憶した。しかしながら、作業別感情情報１０７は、管理サーバ２０が記憶してもよい。すなわち、管理サーバ２０が表示制御部１００９を備えていてもよい。この場合、管理サーバ２０が、図６に示す作業別感情統計一覧画面Ｇ１、及び図７に示す感情統計詳細画面Ｇ２を生成し、表示させてもよい。具体的には、保守者端末１０は、操作を指示する指示音声の入力を受け付ける。また、保守者端末１０は、入力された指示音声を管理サーバ２０に送信する。管理サーバ２０は、指示音声から感情値を算出する。または、管理サーバ２０は、保守者端末１０から感情値を受信する。そして、管理サーバ２０は、感情値から推定した感情状態を出力してもよい。例えば、管理サーバ２０は、感情状態に基づいて、発話者が異常状態であると判定したことを条件に管理者端末３０等に対して報知してもよい。また、管理サーバ２０が、指示音声により特定される作業を示す作業情報と、感情状態を示す感情情報とを関連付けた作業別感情情報１０７を記憶部２０２等に記憶させてもよい。さらに、管理サーバ２０が、記憶部２０２等に記憶された作業別感情情報１０７に基づいて、発話者が行った作業のうち、発話者が異常状態であると判定された回数が閾値以上の作業を表示部２０４等に表示させてもよい。
【００８５】
上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００８６】
また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００８７】
１  保守支援システム
１０  保守者端末
２０  管理サーバ
３０  管理者端末
１００１、２００１、３００１  通信制御部
１００２、２００２、３００２  操作制御部
１００３  指示音声入力部
１００４  処理実行部
１００５  感情推定部
１００６  報知制御部
１００７  記憶制御部
１００８  状況通知部
１００９、２００４、３００３  表示制御部
２００３  状況管理部
Ｇ１  作業別感情統計一覧画面
Ｇ１１  作業別感情統計一覧
Ｇ１２  詳細画面ボタン
Ｇ２  感情統計詳細画面
Ｇ３  保守作業状況一覧画面
Ｇ４  報知画面
Ｇ４１  ヘッダー領域
Ｇ４２  メッセージ領域
Ｇ４３  保守者状況領域
【先行技術文献】
【特許文献】
【００８８】
【特許文献１】特開２０１３−２０６３２０号公報
【特許文献２】特開２０１７−１６８０５４号公報
【特許文献３】特開２００５−２５１０４１号公報
【図１】
2020160246.tif 000003
【図２】
2020160246.tif 000004
【図３】
2020160246.tif 000005
【図４】
2020160246.tif 000006
【図５】
2020160246.tif 000007
【図６】
2020160246.tif 000008
【図７】
2020160246.tif 000009
【図８】
2020160246.tif 000010
【図９】
2020160246.tif 000011
【図１０】
2020160246.tif 000012
【図１１】
2020160246.tif 000013