(57)【要約】【課題】より正確な感情情報を取得する。【解決手段】スマートウォッチ１は、ユーザの音声を入力して音声情報に変換する音声入力部１１０と、音声入力部１１０により変換された音声情報に基づき感情情報を取得し、ユーザに関する情報又は環境情報を取得するＣＰＵ１０１と、を備え、ＣＰＵ１０１は、取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得する。【選択図】図２
2019008113.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの音声を入力して音声情報に変換する音声入力手段と、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
ユーザに関する情報又は環境情報を取得する第２取得手段と、
を備え、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする電子機器。
【請求項２】
前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき前記音声入力手段をオン又はオフに設定する音声入力制御手段を備えることを特徴とする請求項１に記載の電子機器。
【請求項３】
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、あらかじめ設定された条件を満たしたと判定されたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１又は２に記載の電子機器。
【請求項４】
前記第２取得手段は、所定期間ごとにユーザに関する情報を取得し、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定されたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１から３のいずれか一項に記載の電子機器。
【請求項５】
前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、ユーザに対して前記音声入力手段への音声入力を促す報知を行う報知手段を備え、
前記第１取得手段は、前記報知手段により報知が行われたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１から３のいずれか一項に記載の電子機器。
【請求項６】
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得することを特徴とする請求項１から５のいずれか一項に記載の電子機器。
【請求項７】
端末装置とネットワークを介して前記端末装置と接続されるサーバ装置からなる感情情報取得システムであって、
ユーザの音声を入力して音声情報に変換する音声入力手段と、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
ユーザに関する情報又は環境情報を取得する第２取得手段と、
を備え、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする感情情報取得システム。
【請求項８】
コンピュータを、
ユーザの音声を入力して音声情報に変換する音声入力手段、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段、
ユーザに関する情報又は環境情報を取得する第２取得手段、
として機能させるためのプログラムであって、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とするプログラム。
【請求項９】
ユーザの音声を入力して音声情報に変換する音声入力工程と、
変換された音声情報に基づき感情情報を取得する第１取得工程と、
ユーザに関する情報又は環境情報を取得する第２取得工程と、
を有し、
前記第１取得工程において、前記第２取得工程で取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする感情情報取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、感情情報取得システム、プログラム及び感情情報取得方法に関する。
【背景技術】
【０００２】
従来、ユーザにより入力された音声を解析して当該ユーザの感情を認識し、認識された感情を活用する種々の製品、サービス等が提供されている。
【０００３】
例えば、音声入力手段を介して入力された音声情報等に基づいて、インターネットを経由して提供されるサービスに満足しているか否かや、ユーザが厳しい性格なのか温和な性格なのか等を示す感情情報を取得する技術が提供されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２９２９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、音声入力手段から入力されて取得された音声情報には、感情情報の取得に適さない音声が含まれる場合があり、取得された全ての音声情報から感情情報を取得すると、その感情情報は必ずしもユーザの感情を正確に示していない場合があった。
【０００６】
そこで、本発明は、より正確な感情情報を取得できる電子機器、感情情報取得システム、プログラム及び感情情報取得方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
以上の課題を解決するため、請求項１に記載の発明の電子機器は、
ユーザの音声を入力して音声情報に変換する音声入力手段と、
前記音声入力手段により変換された音声情報に基づいて感情情報を取得する第１取得手段と、
ユーザに関する情報又は環境情報を取得する第２取得手段と、
を備え、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づいて決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、より正確な感情情報を取得できる電子機器、感情情報取得システム、プログラム及び感情情報取得方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の感情情報取得システムを示す概略構成図である。
【図２】スマートウォッチの機能構成を示すブロック図である。
【図３】スマートフォンの機能構成を示すブロック図である。
【図４】本実施形態に係る感情情報取得処理の一例を示すフローチャートである。
【図５】変形例に係る感情情報取得処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１１】
《感情情報取得システム１００の構成》
まず、図１を参照して、本実施形態の構成を説明する。図１は、本実施形態の感情情報取得システム１００の概略構成図である。
【００１２】
本実施形態の感情情報取得システム１００は、ユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得するシステムである。
【００１３】
図１に示すように、感情情報取得システム１００は、スマートウォッチ（電子機器）１と、スマートフォン２と、を備えて構成され、各装置が通信接続される。なお、本実施形態においては、スマートフォン２を備えて構成されているものとしたがこれに限られるものではない。すなわち、スマートフォン２に代えて、又はスマートフォン２に加えて、例えばタブレット端末、ナビゲーション端末、ＰＣ（personal computer）等の端末装置や、サーバ装置等を備えて構成されているものとしても良いし、スマートフォン２を備えていなくても良い。
【００１４】
《スマートウォッチ１の構成》
次いで、スマートウォッチ１の内部構成を説明する。図２に、スマートウォッチ１の内部構成を示す。
【００１５】
図２に示すように、スマートウォッチ１は、ＣＰＵ（Central Processing Unit）１０１と、操作入力部１０２と、ＲＡＭ（Random Access Memory）１０３と、表示部１０４と、記憶部１０５と、通信部１０６と、計時部１０７と、衛星電波受信モジュール１０８と、出力部１０９と、音声入力部（音声入力手段）１１０と、計測部１１１と、を備えて構成され、各部がバス１１２を介して接続されている。
【００１６】
ＣＰＵ１０１は、記憶部１０５に記憶されているシステムプログラムを読み出し、ＲＡＭ１０３のワークエリアに展開し、当該システムプログラムに従って各部を制御する。また、ＣＰＵ１０１は、記憶部１０５に記憶されている処理プログラムを読み出してワークエリアに展開し、後述する感情情報取得処理を始めとする各種処理を実行し、第１取得手段、第２取得手段、音声入力制御手段及び報知手段として機能する。また、ＣＰＵ１０１は、ユーザによるランニング、サイクリング、スイミング、トレッキング、フィッシング、スキー・スノーボード、サーフィン等のアクティビティ時や日常生活における各種のデータを記録して分析するためのアプリケーションを実行可能に構成されている。
【００１７】
操作入力部１０２は、押しボタンスイッチ１０２ａ〜１０２ｃや、表示部１０４上に設けられるタッチセンサ等を有して構成され、ユーザの入力操作を受け付けて、操作内容を電気信号に変換してＣＰＵ１０１に出力する。
【００１８】
ＲＡＭ１０３は、揮発性のメモリーである。また、ＲＡＭ１０３は、実行される各種プログラムやこれら各種プログラムに係るデータ等を格納するワークエリアを有する。
【００１９】
表示部１０４は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等で構成され、ＣＰＵ１０１からの表示制御信号に従って画面表示を行う。上記したように、表示部１０４の表示画面上にはタッチセンサが設けられている。
【００２０】
記憶部１０５は、磁気記録媒体を有するＨＤＤ（Hard Disk Drive）等により構成される。記憶部１０５には、ＣＰＵ１０１で実行されるシステムプログラムや処理プログラム、Ｗｅｂサーバプログラム等のアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。処理プログラムには、後述する感情情報取得処理を始めとする各種処理を実行するためのプログラムが含まれる。
これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態で記憶部１０５に格納されている。ＣＰＵ１０１は、当該プログラムコードに従った動作を逐次実行する。
【００２１】
また、記憶部１０５は、ユーザにより入力される各種データや、スマートフォン２から送信される各種データを記憶する。例えば、記憶部１０５は、取得された音声情報や感情情報等を記憶することが可能に構成されている。
【００２２】
通信部１０６は、所定の無線通信回線（例えば、Bluetooth（登録商標）等の無線ＰＡＮ（Personal Area Network））を介して接続されたスマートフォン等の携帯装置や、ＰＣ等の外部機器との情報の通信制御を行う。そして、通信部１０６は、例えば、あらかじめペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータを無線信号により通信相手と交換する。これにより、その後、通信設定処理を毎回行わなくとも、例えば、スマートウォッチ１とスマートフォン２とが電波が届かない範囲に離れれば通信接続が解除される一方で、電波が届く範囲に近づけば自動的に通信接続される。
【００２３】
計時部１０７は、例えば、タイマや計時回路等を備えて構成され、現在の時刻を計時して時刻情報を取得する。そして、計時部１０７は、取得した時刻情報をＣＰＵ１０１に出力する。
【００２４】
衛星電波受信モジュール１０８は、図示略のアンテナを有し、ＧＰＳ（Global Positioning System）を始めとする測位システムに係る測位衛星からの電波を捕捉、受信して復調し、取得した現在位置情報や時刻情報をＣＰＵ１０１に出力する。衛星電波受信モジュール１０８は、スマートウォッチ１全体の電源操作とは別に、ユーザの操作に基づき個別に電源供給をオンオフする制御が可能となっている。
【００２５】
出力部１０９は、振動を発する振動モータやスピーカ等を有して構成され、ＣＰＵ１１から送られる信号に基づいて振動や音声を出力する。
【００２６】
音声入力部１１０は、マイク等により構成され、ユーザにより入力された音声を電気信号からなる音声情報に変換してＣＰＵ１０１に出力する。
【００２７】
計測部１１１は、各種センサを有し、所定の計測結果を得る。計測部１１１としては、特には限られないが、例えば、各種センサから出力された信号をＣＰＵ１０１に出力することで、例えば、気温、湿度、気圧、高度、方位、歩数、脈拍数等を取得することができる。また、計測部１１１は、スマートウォッチ１に対して瞬間的に生じる加速度等を検出して、これをＣＰＵ１０１に出力することで、ユーザに強い衝撃があったことを検出するものとしても良い。
【００２８】
《スマートフォン２の構成》
次いで、スマートフォン２の内部構成を説明する。図３に、スマートフォン２の内部構成を示す。
【００２９】
図３に示すように、スマートフォン２は、ＣＰＵ２０１と、操作入力部２０２と、ＲＡＭ２０３と、表示部２０４と、記憶部２０５と、通信部２０６と、計時部２０７と、衛星電波受信モジュール２０８と、出力部２０９と、を備えて構成され、各部がバス２１０を介して接続されている。
【００３０】
ＣＰＵ２０１、操作入力部２０２、ＲＡＭ２０３、表示部２０４、記憶部２０５、通信部２０６、計時部２０７、衛星電波受信モジュール２０８及び出力部２０９は、それぞれ、スマートウォッチ１のＣＰＵ１０１、操作入力部１０２、ＲＡＭ１０３、表示部１０４、記憶部１０５、通信部１０６、計時部１０７、衛星電波受信モジュール１０８及び出力部１０９の構成と同様であり、異なる部分を主として説明する。
【００３１】
ＣＰＵ２０１は、記憶部２０５に記憶されているシステムプログラムを読み出し、ＲＡＭ２０３のワークエリアに展開し、当該システムプログラムに従って各部を制御する。また、ＣＰＵ２０１は、記憶部２０５に記憶されている処理プログラムを読み出してワークエリアに展開し、各種処理を実行する。
【００３２】
記憶部２０５は、磁気記録媒体を有するＨＤＤ等により構成される。記憶部２０５には、ＣＰＵ２０１で実行されるシステムプログラムや処理プログラム、Ｗｅｂブラウザ等のアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。当該処理プログラムには、各種処理を実行するためのプログラムが含まれる。
【００３３】
通信部２０６は、ペアリングされたスマートウォッチ１や、通信ネットワーク上のサーバ装置（図示略）等の外部機器と通信を行い、データを送受信する。
【００３４】
《スマートウォッチ１の動作》
本実施形態のスマートウォッチ１により行われる感情情報取得処理について、図４を参照して説明する。図４は、本実施形態に係る感情情報取得処理の一例を示すフローチャートである。
【００３５】
本実施形態の感情情報取得処理が行われるタイミングは、特に限定されるものではないが、例えば、アクティビティ時の各種データを記録及び分析するアクティビティ用アプリケーションの実行中に併せて行われ、当該アクティビティ用アプリケーションの終了とともに終了する。
【００３６】
図４に示すように、まず、ＣＰＵ１０１は、衛星電波受信モジュール１０８又は計測部１１１により取得される情報に基づき、ユーザに関する情報及び環境情報を取得する（ステップＳ１０１）。ここで、ユーザに関する情報としては、ユーザごとに異なる情報であって、例えば、移動距離、移動速度、歩数、脈拍数、経過時間、衝撃の有無、あらかじめユーザにより入力された情報、これらに基づき導出される各種情報等が含まれる。導出される各種情報としては、例えばカロリー消費量等が挙げられ、カロリー消費量は、ユーザによりあらかじめ入力された自身の体重、ユーザにより選択された運動の種類、当該運動の開始時からの経過時間等に基づいて算出される。また、環境情報としては、ユーザごとに異なることのない外部環境に基づく情報であって、例えば、現在時刻、気温、湿度、気圧、高度、方位、潮汐、これらに基づき導出される各種情報等が含まれる。
【００３７】
次に、ＣＰＵ１０１は、ステップＳ１０１の処理にて取得された環境情報が、あらかじめ設定された条件を満たすか否かを判定する（ステップＳ１０２）。当該所定の条件は、実行中の上記アクティビティ用アプリケーションの種類に応じてあらかじめ設定され、例えば、気温、湿度又は気圧があらかじめ設定された値以上であること、あらかじめ設定された特定の状態へ移行したこと、等が挙げられる。特定の状態への移行としては、例えば、フィッシングにおいて潮汐等の情報に基づき導出される釣れ時に移行したこと、当該釣れ時が終了したこと、等が挙げられる。
【００３８】
環境情報が所定の条件を満たすと判定されると（ステップＳ１０２：ＹＥＳ）、ＣＰＵ１０１は、後述するステップＳ１０４の処理を行う。
【００３９】
環境情報が所定の条件を満たさないと判定されると（ステップＳ１０２；ＮＯ）、ＣＰＵ１０１は、ステップＳ１０１の処理にて取得されたユーザに関する情報が、あらかじめ設定された目標を達成したか否かを判定する（ステップＳ１０３）。当該目標は、実行中の上記アクティビティ用アプリケーションの種類に応じてあらかじめ設定され、例えば、ユーザの移動距離があらかじめ設定された距離以上であること、ユーザの歩数があらかじめ設定された歩数以上であること、ユーザのカロリー消費量があらかじめ設定された値以上であること、経過時間があらかじめ設定された時間以上であること、ユーザの現在位置があらかじめ設定された地点に到達したこと、ユーザの現在位置があらかじめ設定された地点を中心として所定距離範囲内に進入したこと、あらかじめ設定された特定の行動が終了したこと、あらかじめ設定された特定の状態へ移行したこと、等が挙げられる。特定の行動の終了としては、例えば、あらかじめ設定された競技、レース又はトレーニングの終了、スキー・スノーボードにおける滑走終了、等が挙げられる。また、特定の状態への移行としては、例えば、あらかじめ設定された競技、レース又はトレーニングの開始、フィッシングにおいてあらかじめ設定された釣果の達成、スキー・スノーボードにおける滑走開始、等が挙げられる。上記目標は、あらかじめユーザの操作入力により設定されたものであっても良いし、ＣＰＵ１０１により設定されたものであっても良い。
【００４０】
ユーザに関する情報が目標を達成したと判定されると（ステップＳ１０３；ＹＥＳ）、ＣＰＵ１０１は、ユーザに対して音声入力部１１０への音声入力を促す報知を行うとともに、音声入力部１１０をオンに設定する（ステップＳ１０４）。例えば、ＣＰＵ１０１は、音声入力を促す画面を表示部１０４に表示させたり、音声入力を促す振動や音声を出力部１０９に出力させたりすることにより報知を行う。表示部１０４に表示させる画面としては、ユーザが話しかけたくなるような画像やアイコンが表示されていても良く、例えば、ユーザが好むキャラクターや動物、ユーザの家族の画像等が表示されていても良い。また、ＣＰＵ１０１は、音声入力部１１０をオンに設定することで、音声情報の取得を開始するので、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定されたタイミングに応じて音声情報を取得することができる。これにより、ユーザの感情の変化が起きやすいタイミングで音声情報を取得することができ、より正確な感情情報を取得することができる。また、取得される音声情報に、感情情報の取得に適さない音声が含まれることを抑制できるので、音声情報の解析負荷を低減することができる。
【００４１】
次に、ＣＰＵ１０１は、所定時間が経過したか否かを判定する（ステップＳ１０５）。具体的には、ＣＰＵ１０１は、ステップＳ１０４の処理にてユーザへの報知を行った時からの経過時間を計時部１０７によりカウントし、当該経過時間があらかじめ設定された所定時間を超えたか否かを判定する。
【００４２】
所定時間が経過していないと判定されると（ステップＳ１０５；ＮＯ）、ＣＰＵ１０１は、再びステップＳ１０５の処理を行う。
【００４３】
所定時間が経過したと判定されると（ステップＳ１０５；ＹＥＳ）、ＣＰＵ１０１は、音声入力部１１０をオフに設定する（ステップＳ１０６）。これにより、ＣＰＵ１０１は、音声入力部１１０をオンに設定した時からオフに設定した時までの音声情報を取得する。
【００４４】
次に、ＣＰＵ１０１は、ユーザによる音声入力があったか否かを判定する（ステップＳ１０７）。具体的には、ＣＰＵ１０１は、取得された音声情報を解析し、ユーザの音声が含まれているか否かを判定する。
【００４５】
音声入力があったと判定されると（ステップＳ１０７；ＹＥＳ）、ＣＰＵ１０１は、音声情報から感情情報を取得する（ステップＳ１０８）。感情情報の取得方法としては従来公知の技術を採用することができ、これによりＣＰＵ１０１は、ユーザにより入力された音声に基づく音声情報を解析して、当該ユーザの感情を示す感情情報を取得する。本実施形態では、感情情報は、音声を入力したユーザの感情が、「苦しみ・怒り」、「不安」、「安定」及び「喜び」のいずれかの状態であること示す。ＣＰＵ１０１は、取得された感情情報を記憶部１０５に記憶させた後、再び上記ステップＳ１０１の処理を行う。
【００４６】
音声入力がないと判定されると（ステップＳ１０７；ＮＯ）、ＣＰＵ１０１は、再び上記ステップＳ１０１の処理を行う。
【００４７】
ここで、上記ステップＳ１０３の処理にて、ユーザに関する情報が目標を達成していないと判定されると（ステップＳ１０３；ＮＯ）、ＣＰＵ１０１は、ステップＳ１０１の処理にて取得されたユーザに関する情報に基づき、ユーザに異常が発生したか否かを判定する（ステップＳ１０９）。例えば、計測部１１１によりユーザに強い衝撃があったことが検出された場合に、ＣＰＵ１０１はユーザに異常が発生したと判定する。
【００４８】
ユーザに異常が発生していないと判定されると（ステップＳ１０９；ＮＯ）、ＣＰＵ１０１は、再びステップＳ１０１の処理を行う。
【００４９】
ユーザに異常が発生したと判定されたと判定されると（ステップＳ１０９；ＹＥＳ）、ＣＰＵ１０１は、ステップＳ１１０〜Ｓ１１３の処理を行う。ステップＳ１１０〜Ｓ１１３の処理は、上記ステップＳ１０４〜Ｓ１０７の処理と同様であるため、その説明を省略する。
【００５０】
ステップＳ１１３の処理にて、音声入力があったと判定されると（ステップＳ１１３；ＹＥＳ）、ＣＰＵ１０１は、上記ステップＳ１０８の処理を行う。
【００５１】
ステップＳ１１３の処理にて、音声入力がないと判定されると、ＣＰＵ１０１は、ユーザに関する情報に基づく所定情報を外部装置へ送信する（ステップＳ１１４）。これは、ユーザに異常が発生したと判定された場合であって音声入力がない場合には、ユーザに発生した異常が声を発することができない程度であることが予想されるため、ＣＰＵ１０１が上記所定情報としてユーザの現在位置や移動ルート、脈拍数等を外部装置へ送信することで、外部へユーザの救助や助けを求めることができる。所定情報送信先の外部装置としては、例えば、あらかじめ設定された、他のユーザのスマートフォン２等が挙げられる。所定情報を外部装置へ送信後、ＣＰＵ１０１は、感情情報取得処理を終了する。
以上のようにして、感情情報取得処理を行う。
【００５２】
なお、上記感情情報取得処理は、アクティビティ用アプリケーションの実行中に行われるものとしたが、これに限られるものではなく、スマートウォッチ１が通常使用される際に行われても良い。この場合には、例えばＣＰＵ１０１は、１日ごとに、ユーザに関する情報として、ユーザの通勤や通学の経路等を示す情報を取得し、上記ステップＳ１０２の処理にて、取得された情報が、過去に取得された情報と異なるか否かを判定するものとしても良い。すなわち、ユーザの通勤や通学の経路等を示す情報が、過去に取得された情報と異なる場合には、ユーザの感情も異なる可能性が高いため、上記ステップＳ１０２の処理にて条件を満たしたと判定し、感情情報を取得するようにしても良い。
【００５３】
また、上記ステップＳ１０４の処理では、環境情報が所定の条件を満たしたと判定された場合、及びユーザに関する情報が目標を達成したと判定された場合のいずれであっても、同様の報知を行うものとしたが、これに限られるものではない。例えば、環境情報が所定の条件を満たしたと判定された場合と、ユーザに関する情報が目標を達成したと判定された場合とで異なる報知を行うものとしても良い。また、例えば、環境情報が満たした条件やユーザに関する情報が達成した目標の内容に応じて、異なる報知を行うものとしても良い。
また、同様に、上記ステップＳ１０５の処理にて判定する時間の長さを、環境情報が満たした条件やユーザに関する情報が達成した目標に応じて、変化させるものとしても良い。
【００５４】
また、上記ステップＳ１０８の処理では、音声情報から感情情報を取得するものとしたが、これに限られるものではない。例えば、ステップＳ１０９の処理にてユーザに異常が発生したと判定されている場合には、音声情報から感情情報を取得するのみならず、異常発生に対する対応策をユーザに通知するものとしても良い。また、当該対応策を、取得された感情情報に応じて変化させるものとしても良い。
【００５５】
また、上記ステップＳ１０９の処理では、計測部１１１によりユーザに強い衝撃があったことが検出された場合に、ＣＰＵ１０１がユーザに異常が発生したと判定するものとしたが、これに限られるものではない。例えば、ユーザの移動速度がゼロ、すなわちユーザが移動していない状態が所定時間以上継続した場合や、ユーザの現在位置があらかじめ設定されたルートを外れて所定時間以上経過した場合、検出されたユーザの脈拍数が正常値の範囲から外れている場合等に、ユーザに異常が発生したと判定するものとしても良い。
【００５６】
また、上記ステップＳ１１０〜Ｓ１１３の処理では、上記ステップＳ１０４〜Ｓ１０７の処理と同様の処理を行うものとしたが、これに限られるものではない。例えば、上記ステップＳ１１０の処理にて行う報知と、上記ステップＳ１０４の処理にて行う報知とを異ならせるものとしても良いし、上記ステップＳ１１１の処理にて判定する時間の長さと、上記ステップＳ１０５の処理にて判定する時間の長さとを異ならせるものとしても良い。
【００５７】
また、上記ステップＳ１１３の処理にて音声入力がないと判定された場合に、ＣＰＵ１０１が、ステップＳ１１４の処理を行い、感情情報取得処理を終了するものとしたが、これに限られるものではない。すなわち、ＣＰＵ１０１は、音声入力がないと判定された場合にはステップＳ１１４の処理を行わず、再びステップＳ１０１の処理を行うものとしても良い。
【００５８】
また、上記ステップＳ１１４の処理では、あらかじめ設定された、他のユーザのスマートフォン２に所定情報を送信するものとしたが、これに限られるものではない。例えば、他のユーザのスマートウォッチ１、ＰＣ又はタブレット端末等に所定情報を送信するものとしても良いし、警備会社、警察、消防署等の端末に所定情報を送信するものとしても良い。
【００５９】
《本実施形態の技術的効果》
本実施形態によれば、スマートウォッチ１が、ユーザの音声を入力して音声情報に変換する音声入力部１１０と、音声入力部１１０により変換された音声情報に基づき感情情報を取得し、ユーザに関する情報又は環境情報を取得するＣＰＵ１０１とを備え、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得するので、ユーザの感情が変化する可能性の高いタイミングで感情情報を取得できるため、より正確な感情情報を取得することができる。
【００６０】
また、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき音声入力部１１０をオン又はオフに設定するので、取得される音声情報に、感情情報の取得に適さない音声が含まれることを抑制することができ、より正確な感情情報を取得することができる。また、取得される音声情報を制限できるので、音声情報を解析して感情情報を取得する際の解析負荷を低減することができる。
【００６１】
また、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき、あらかじめ設定された条件を満たしたと判定されたタイミングに応じて音声情報から感情情報を取得するので、ユーザの感情が変化する可能性のより高いタイミングで感情情報を取得することができる。
【００６２】
また、ＣＰＵ１０１が、所定期間ごとにユーザに関する情報を取得し、取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定されたタイミングに応じて音声情報から感情情報を取得するので、ユーザの感情が変化する可能性のより高いタイミングで感情情報を取得することができる。
【００６３】
また、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき、ユーザに対して音声入力部１１０への音声入力を促す報知を行い、報知が行われたタイミングに応じて音声情報から感情情報を取得するので、ユーザの感情情報の取得に適した音声が含まれる音声情報をより確実に取得することができる。
【００６４】
《変形例》
上記した実施形態の感情情報取得システム１００の変形例について説明する。以下に説明する以外の点は、上記実施形態の感情情報取得システム１００と同様に構成されているものとする。
【００６５】
変形例に係る感情情報取得システムは、上記実施形態の感情情報取得システム１００と次の点で異なる。すなわち、変形例に係る感情情報取得システムは、図５に示すようにして感情情報取得処理を行う。図５は、変形例に係る感情情報取得処理の一例を示すフローチャートである。
【００６６】
まず、ＣＰＵ１０１は、音声入力部１１０をオンに設定する（ステップＳ２０１）。これにより、ＣＰＵ１０１は音声情報の取得を開始する。
【００６７】
次に、ＣＰＵ１０１は、衛星電波受信モジュール１０８又は計測部１１１により取得される情報に基づき、ユーザに関する情報及び環境情報を取得する（ステップＳ２０２）。
【００６８】
次に、ＣＰＵ１０１は、ステップＳ２０２で取得された環境情報が、あらかじめ設定された所定の条件を満たすか否かを判定する（ステップＳ２０３）。
【００６９】
環境情報が所定の条件を満たすと判定されると（ステップＳ２０３；ＹＥＳ）、ＣＰＵ１０１は、後述するステップＳ２０５の処理を行う。
【００７０】
環境情報が所定の条件を満たさないと判定されると（ステップＳ２０３；ＮＯ）、ＣＰＵ１０１は、ステップＳ２０２の処理で取得されたユーザに関する情報が、あらかじめ設定された目標を達成したか否かを判定する（ステップＳ２０４）。
【００７１】
ユーザに関する情報があらかじめ設定された目標を達成していないと判定されると（ステップＳ２０４；ＮＯ）、ＣＰＵ１０１は、後述するステップＳ２０５〜Ｓ２１１の処理を省略し、ステップＳ２１２の処理を行う。
【００７２】
ユーザに関する情報があらかじめ設定された目標を達成したと判定されると（ステップＳ２０４；ＹＥＳ）、ＣＰＵ１０１は、所定時間が経過したか否かを判定する（ステップＳ２０５）。具体的には、ＣＰＵ１０１は、ステップＳ２０３の処理にて環境情報が所定の条件を満たすと判定された時、又はステップＳ２０４の処理にてユーザに関する情報が目標を達成したと判定された時からの経過時間を計時部１０７によりカウントし、当該経過時間があらかじめ設定された所定時間を超えたか否かを判定する。
【００７３】
所定時間が経過していないと判定されると（ステップＳ２０５；ＮＯ）、ＣＰＵ１０１は、再びステップＳ２０５の処理を行う。
【００７４】
所定時間が経過したと判定されると（ステップＳ２０５；ＹＥＳ）、ＣＰＵ１０１は、ユーザによる音声入力があったか否かを判定する（ステップＳ２０６）。具体的には、ＣＰＵ１０１は、取得される音声情報をリアルタイムで解析し、ユーザの音声が含まれているか否かを判定する。
【００７５】
音声入力があったと判定されると（ステップＳ２０６；ＹＥＳ）、ＣＰＵ１０１は、ステップＳ２０３の処理にて環境情報が所定の条件を満たすと判定された時、又はステップＳ２０４の処理にてユーザに関する情報が目標を達成したと判定された時からステップＳ２０５の処理で所定時間が経過したと判定された時までの音声情報から感情情報を取得する（ステップＳ２０７）。また、ＣＰＵ１０１は、取得された感情情報を記憶部１０５に記憶させ、後述するステップＳ２１２の処理を行う。
【００７６】
音声入力がないと判定されると（ステップＳ２０６；ＮＯ）、ＣＰＵ１０１は、ユーザに対して音声入力部１１０への音声入力を促す報知を行う（ステップＳ２０８）。
【００７７】
次に、ＣＰＵ１０１は、所定時間が経過したか否かを判定する（ステップＳ２０９）。具体的には、ＣＰＵ１０１は、ステップＳ２０８の処理にてユーザへ報知を行った時からの経過時間を計時部１０７によりカウントし、当該経過時間があらかじめ設定された所定時間を超えたか否かを判定する。
【００７８】
所定時間が経過していないと判定されると（ステップＳ２０９；ＮＯ）、ＣＰＵ１０１は、再びステップＳ２０９の処理を行う。
【００７９】
所定時間が経過したと判定されると（ステップＳ２０９；ＹＥＳ）、ＣＰＵ１０１は、ユーザによる音声入力があったか否かを判定する（ステップＳ２１０）。具体的には、ＣＰＵ１０１は、取得される音声情報をリアルタイムで解析し、ユーザの音声が含まれているか否かを判定する。
【００８０】
音声入力があったと判定されると（ステップＳ２１０；ＹＥＳ）、ＣＰＵ１０１は、ステップＳ２０８の処理でユーザへ報知を行った時からステップＳ２０９の処理で所定時間が経過したと判定された時までの音声情報から感情情報を取得する（ステップＳ２１１）。また、ＣＰＵ１０１は、取得された感情情報を記憶部１０５に記憶させ、後述するステップＳ２１２の処理を行う。
【００８１】
音声入力がないと判定されると（ステップＳ２１０；ＮＯ）、ＣＰＵ１０１は、上記ステップＳ２１１の処理を省略し、後述するステップＳ２１２の処理を行う。
【００８２】
次に、ＣＰＵ１０１は、ユーザにより終了操作が入力されたか否かを判定する（ステップＳ２１２）。具体的には、例えば、ＣＰＵ１０１は、音声入力部１１０をオフに設定する操作が入力された場合や、アクティビティ用アプリケーションを終了する操作が入力された場合に、終了操作が入力されたと判定する。
【００８３】
終了操作が入力されないと判定されると（ステップＳ２１２；ＮＯ）、ＣＰＵ１０１は、再びステップＳ２０２の処理を行う。
【００８４】
終了操作が入力されたと判定されると（ステップＳ２１２；ＹＥＳ）、ＣＰＵ１０１は、音声入力部１１０をオフに設定し（ステップＳ２１３）、感情情報取得処理を終了する。
以上のようにして感情情報取得処理を行う。
【００８５】
なお、上記変形例に係る感情情報取得処理においては、ユーザに異常が発生したか否かを判定しないものとしたが、これに限られるものではない。すなわち、ＣＰＵ１０１は、上記実施形態の感情情報取得処理のステップＳ１０９と同様にして、ユーザに異常が発生したか否かを判定するものとしても良い。この場合、ユーザに異常が発生していると判定され、かつユーザによる音声入力が所定時間ない場合に、上記実施形態の感情情報取得処理のステップＳ１１４と同様にして、所定情報を外部装置へ送信するものとしても良い。
【００８６】
また、上記変形例に係る感情情報取得処理においては、ステップＳ２０１の処理で音声情報の取得を開始し、ステップＳ２０７の処理でユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの音声情報から感情情報を取得し、ステップＳ２１１の処理でユーザへ報知を行った時から所定時間が経過したと判定された時までの音声情報から感情情報を取得するものとしたが、これに限られるものではない。例えば、ステップＳ２０１の処理にて、ＣＰＵ１０１は、音声情報の取得を開始するとともに、取得される音声情報の解析を開始することで、音声情報の取得と併行して感情情報の取得を行うものとしても良い。この場合、ステップＳ２０６の処理を行わないものとしても良い。また、ステップＳ２０７の処理にて、ＣＰＵ１０１は、取得される感情情報から、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの感情情報を抽出し、抽出された感情情報を取得するものとしても良い。また、ステップＳ２０６の処理を行う場合には、ステップＳ２１１の処理にて、ＣＰＵ１０１は、取得される感情情報から、ユーザへ報知を行った時から所定時間が経過したと判定された時までの感情情報を抽出し、抽出された感情情報を取得するものとしても良い。
【００８７】
また、上記変形例に係る感情情報取得処理においては、ステップＳ２０１からステップＳ２１３までの音声情報の取得中に、ステップＳ２０７又はＳ２１１にて感情情報を取得するものとしたが、これに限られるものではない。例えば、ステップＳ２０５の処理で所定時間が経過したと判定された後、ＣＰＵ１０１は、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの期間を示す情報を記憶部１０５に記憶させ、ステップＳ２０６〜Ｓ２１１の処理を行わないものとしても良い。そして、ステップＳ２１３の処理よりも後の任意のタイミングで、ＣＰＵ１０１は、当該期間を示す情報に基づき、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの音声情報を解析して感情情報を取得するものとしても良い。
【００８８】
また、上記ステップＳ２０６の処理にて音声入力がないと判定された場合に、ＣＰＵ１０１が、ステップＳ２０８〜Ｓ２１１の処理を行うものとしたが、これに限られるものではない。すなわち、ＣＰＵ１０１は、音声入力がないと判定された場合にはステップＳ２０８〜Ｓ２１１の処理を行わず、ステップＳ２１２の処理を行うものとしても良い。
【００８９】
また、上記ステップＳ２０７の処理では、ユーザに関する情報又は環境情報に基づき決定される所定のタイミング、すなわち、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの音声情報から感情情報を取得するものとしたが、これに限られるものではない。例えば、上記変形例に係る感情情報取得処理においては、あらかじめ音声情報の取得を開始しているため、ＣＰＵ１０１は、ユーザに関する情報又は環境情報に基づき決定される所定のタイミングのみならず、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得するものとしても良い。これにより、時間経過に伴うユーザの感情情報の推移を確認することができる。さらに、ＣＰＵ１０１は、それらの各音声情報から取得された各感情情報に基づき、総合的な感情情報を取得するものとしても良い。
【００９０】
（変形例の技術的効果）
以上、変形例によれば、ＣＰＵ１０１が、あらかじめ音声情報の取得を開始しておき、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時の音声情報から感情情報を取得するので、上記実施形態において得られる技術的効果のみならず、感情情報の取得に適した音声情報をより確実に取得することができる。
さらに、変形例によれば、ユーザに対する報知を行うことなく感情情報を取得した場合には、当該報知がなされることによってユーザの感情が僅かに変化してしまうことを防止でき、より正確な感情情報を取得することができる。
【００９１】
また、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得する場合には、当該タイミングの前後一定期間における総合的なユーザの感情を確認することができる。また、この場合には、当該タイミングの音声情報のみから感情情報を取得する場合と比較して、ユーザの感情をより正確に示す感情情報を取得することができる。
【００９２】
《その他》
なお、上記実施形態及び変形例における記述は、本発明に係る好適な感情情報取得システムの一例であり、これに限定されるものではない。
【００９３】
例えば、上記した実施形態及び変形例では、感情情報取得システム１００を構成するスマートウォッチ１が上記感情情報取得処理を行うものとしたが、これに限られるものではない。例えば、スマートフォン２等の他の端末装置が上記感情情報取得処理を行うものとしても良く、この場合には、例えば、スマートフォン２等の他の端末装置が音声入力部や計測部を備えているものとしても良い。また、例えば、スマートウォッチ１とスマートフォン２等、端末装置同士で協働して上記感情情報取得処理を行うものとしても良い。また、例えば、スマートウォッチ１やスマートフォン２等の端末装置が、ネットワークを介して接続されるサーバ装置（図示略）と協働して上記感情情報取得処理を行うものとしても良く、この場合には、例えば、端末装置が、取得された音声情報をサーバ装置へ出力し、サーバ装置が、入力された音声情報から感情情報を取得してこれを端末装置に出力するものとしても良い。このように、端末装置同士、又は端末装置及びサーバ装置からなるシステムとした場合に、ユーザの音声を入力して音声情報に変換する音声入力手段、音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段、ユーザに関する情報又は環境情報を取得する第２取得手段等の各手段を、いずれの装置に備えさせるかは、感情情報取得システムの構成に応じて任意に選択することが可能である。
また、自動車等の移動手段に搭載される電子機器が上記感情情報取得処理を行うものとしても良い。この場合には、例えば、取得された感情情報に基づいて、ユーザに対して安全運転を促す通知等を行うものとしても良い。
【００９４】
また、上記した実施形態及び変形例では、スマートウォッチ１のＣＰＵ１０１が衛星電波受信モジュール１０８により取得される情報に基づき、ユーザに関する情報、特にユーザの現在位置情報を取得するものとしたが、これに限られるものではない。例えば、インドアロケーション技術など、ネットワーク位置情報を利用することで現在位置情報を取得するものとしても良い。
【００９５】
また、上記した実施形態及び変形例では、ユーザに関する情報又は環境情報が所定の条件を満たしたときにユーザに対して音声入力を促す画面を表示部１０４に表示させたり、音声入力を促す振動や音声を出力部１０９に出力させたりすることにより報知を行うものとしたが、これに限られるものではない。例えば、ＣＰＵ１０１は、スマートウォッチ１以外の外部機器、例えば、スマートフォン２、図示しない音楽再生プレイヤー、ヘッドマウントディスプレイ、プリンタ等に音声、映像、紙媒体等を出力させることで報知を行うものとしても良い。
【００９６】
また、上記した実施形態及び変形例では、感情情報が「苦しみ・怒り」、「不安」、「安定」及び「喜び」の４分類でユーザの感情を示すものとしたが、これに限られるものではない。例えば、感情情報は、２つ又は３つの分類でユーザの感情を示すものとしても良いし、５つ以上の分類でユーザの感情を示すものとしても良い。また、例えば、感情情報は、複数種類の分類でユーザの感情を示すとともに、その感情の強度を示すものとしても良い。
【００９７】
また、上記した実施形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も適用される。
【００９８】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
ユーザの音声を入力して音声情報に変換する音声入力手段と、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
ユーザに関する情報又は環境情報を取得する第２取得手段と、
を備え、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする電子機器。
＜請求項２＞
前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき前記音声入力手段をオン又はオフに設定する音声入力制御手段を備えることを特徴とする請求項１に記載の電子機器。
＜請求項３＞
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、あらかじめ設定された条件を満たしたと判定されたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１又は２に記載の電子機器。
＜請求項４＞
前記第２取得手段は、所定期間ごとにユーザに関する情報を取得し、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定されたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１から３のいずれか一項に記載の電子機器。
＜請求項５＞
前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、ユーザに対して前記音声入力手段への音声入力を促す報知を行う報知手段を備え、
前記第１取得手段は、前記報知手段により報知が行われたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１から３のいずれか一項に記載の電子機器。
＜請求項６＞
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得することを特徴とする請求項１から５のいずれか一項に記載の電子機器。
＜請求項７＞
端末装置とネットワークを介して前記端末装置と接続されるサーバ装置からなる感情情報取得システムであって、
ユーザの音声を入力して音声情報に変換する音声入力手段と、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
ユーザに関する情報又は環境情報を取得する第２取得手段と、
を備え、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする感情情報取得システム。
＜請求項８＞
コンピュータを、
ユーザの音声を入力して音声情報に変換する音声入力手段、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段、
ユーザに関する情報又は環境情報を取得する第２取得手段、
として機能させるためのプログラムであって、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とするプログラム。
＜請求項９＞
ユーザの音声を入力して音声情報に変換する音声入力工程と、
変換された音声情報に基づき感情情報を取得する第１取得工程と、
ユーザに関する情報又は環境情報を取得する第２取得工程と、
を有し、
前記第１取得工程において、前記第２取得工程で取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする感情情報取得方法。
【符号の説明】
【００９９】
１      スマートウォッチ（電子機器）
１００  感情情報取得システム
１０１  ＣＰＵ（第１取得手段、第２取得手段、音声入力制御手段、報知手段）
１０８  音声入力部（音声入力手段）
【図１】
2019008113.tif 000003
【図２】
2019008113.tif 000004
【図３】
2019008113.tif 000005
【図４】
2019008113.tif 000006
【図５】
2019008113.tif 000007