(57)【要約】  【課題】  ユーザの感情を反映する様々な接触行動に基づいて、ユーザの様々な感情を推定することのできる感情分析デバイスを提供する。  【解決手段】  感情分析デバイス１は、筐体部２とソフトウェア部３を備えている。筐体部２には、ユーザの感情を反映する接触行動をユーザが行ったときに接触行動によってユーザの手が接触する接触部材４と、接触行動におけるユーザの手の接触状態に関する画像データを検出する画像センサ５と、接触行動におけるユーザの手の接触状態に関する圧力データを検出する圧力センサ６が設けられている。ソフトウェア部３には、画像データと圧力データに基づいて複数の特徴パターンを抽出する特徴パターン抽出部１０と、ニューラルネットワークを用いて複数の特徴パターンからユーザの感情を推定するパターン解析を行うパターン解析部１１が設けられている。【選択図】  図１
2009026125.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが手を接触させる接触部材であって、前記ユーザの感情を反映する接触行動を前記ユーザが行ったときに、前記接触行動によって前記ユーザの手が接触する接触部材と、
前記接触部材に備えられ、前記接触行動における前記ユーザの手の接触状態に関する接触データを検出する接触データ検出手段と、
前記接触データに基づいて、前記接触行動に含まれる複数の行動要素に対応する特徴量として、複数の特徴パターンを抽出する特徴パターン抽出手段と、
前記特徴パターンと前記ユーザの感情との関係性に基づいて、前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行うパターン解析手段と、
を備えたことを特徴とする感情分析デバイス。
【請求項２】
前記接触部材は、前記ユーザが手を接触させる立体的な形状の接触部を有することを特徴とする請求項１に記載の感情分析デバイス。
【請求項３】
前記立体的な形状の接触部は、前記ユーザが手を接触させる球面状の接触球面部であることを特徴とする請求項２に記載の感情分析デバイス。
【請求項４】
前記ユーザの接触行動は、前記ユーザが手のひらまたは指を前記接触部材に接触させる行動であり、
前記パターン解析手段は、前記ユーザの手のひらまたは指による接触行動から抽出された前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行うことを特徴とする請求項１〜請求項３のいずれかに記載の感情分析デバイス。
【請求項５】
前記ユーザの接触行動には、前記接触球面部をなでる、たたく、にぎる、かく、なぐる、つつく、はじく、前記接触球面部上でリズムを刻む、のうちの少なくとも一つが含まれ、
前記パターン解析手段は、前記ユーザの複数の接触行動の各々から抽出された前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行うことを特徴とする請求項１〜請求項４のいずれかに記載の感情分析デバイス。
【請求項６】
前記パターン解析手段によって推定された前記ユーザの感情に応じたフィードバック反応シグナルとして、光または振動の少なくとも一つを含むフィードバック反応シグナルを前記ユーザに対して出力するフィードバック手段を備えたことを特徴とする請求項１〜請求項５のいずれかに記載の感情分析デバイス。
【請求項７】
前記接触部材に前記ユーザが手を接触させていないときに、前記ユーザの接触行動を誘発するための接触誘発シグナルとして、光または振動の少なくとも一つを含む接触誘発シグナルを前記ユーザに対して出力する接触誘発手段を備えたことを特徴とする請求項１〜請求項６のいずれかに記載の感情分析デバイス。
【請求項８】
前記接触行動についての前記ユーザごとの個人的な特性を学習し、前記ユーザの特徴パターンと前記ユーザの感情との関係性を更新する学習更新手段を備え、
前記パターン解析手段は、更新された前記特徴パターンと前記ユーザの感情との関係性に基づいて、前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行うことを特徴とする請求項１〜請求項７のいずれかに記載の感情分析デバイス。
【請求項９】
複数の入力ノードの値の組み合わせから所定の出力ノードの値を算出するネットワークモデルであって、前記入力ノードとして前記特徴パターンが用いられ、前記出力ノードとして前記ユーザの感情が用いられるネットワークモデルを記憶するネットワークモデル記憶手段を備え、
前記パターン解析手段は、前記ネットワークモデルを使用して、前記複数の特徴パターンから前記ユーザの感情を推定することを特徴とする請求項１〜請求項８のいずれかに記載の感情分析デバイス。
【請求項１０】
ユーザが手を接触させる接触部材に対して前記ユーザの感情を反映する接触行動を行ったときに、前記接触行動における前記ユーザの手の接触状態に関する接触データを検出し、
前記接触データに基づいて、前記接触行動に含まれる複数の行動要素に対応する特徴量として、複数の特徴パターンを抽出し、
前記特徴パターンと前記ユーザの感情との関係性に基づいて、前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行うことを特徴とする感情分析方法。
【請求項１１】
ユーザが手を接触させる接触部材に対して前記ユーザの感情を反映する接触行動を行ったときに、前記接触行動における前記ユーザの手の接触状態に関する接触データに基づいて、
コンピュータに、
前記接触データから、前記接触行動に含まれる複数の行動要素に対応する特徴量として、複数の特徴パターンを抽出する処理と、
前記特徴パターンと前記ユーザの感情との関係性に基づいて、前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行う処理と、
を実行させることを特徴とする感情分析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デバイスにユーザが手を接触させる行動からユーザの感情に関する情報を抽出する機能を備えた感情分析デバイスに関する。
【背景技術】
【０００２】
従来、車両を運転するドライバ（ユーザ）に対して、経路案内や音楽などの各種の情報を提供するときに、ドライバの嗜好性に合わせて情報を提供する情報提供装置が知られている（例えば特許文献１参照）。この従来の情報提供装置では、提供した情報に対するドライバ（ユーザ）の反応に基づいてユーザの感情を分析し、その分析結果に応じて情報の提供率を変化させる。例えば、ドライバ（ユーザ）に情報を提供したときのユーザの顔の画像に基づいて、ユーザの感情の分析が行われる。または、ドライバ（ユーザ）に情報を提供したときのユーザの声の大小（音量）や発音の抑揚に基づいて、ユーザの感情の分析が行われる。
【特許文献１】特開２００７−８６８８０号公報（第６−１２頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の情報提供装置においては、ドライバ（ユーザ）に情報を提供したときのユーザの顔の画像またはユーザの声の大小（音量）や発音の抑揚に基づいて、ユーザの感情の分析が行われる。ところが、ユーザの持つ様々な感情のなかには、ユーザの感情の変化が顔の表情等に現れにくいものがある。そのようなユーザの感情については、ユーザの感情が変化したときの顔の表情等の変化が比較的小さいため、従来の装置ではユーザの感情を推定することが容易でない。また、声は周りの騒音の影響を受けやすく、顔の画像は環境光の影響を受けやすいので、分析性能が劣化することがある。そのため、騒音や環境光の影響が強い状況では、従来の装置を用いてユーザの感情を推定することが容易でない。
【０００４】
本発明は、上記の課題に鑑みてなされたもので、ユーザの様々な感情を推定することのできる感情分析デバイスを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の感情分析デバイスは、ユーザが手を接触させる接触部材であって、前記ユーザの感情を反映する接触行動を前記ユーザが行ったときに、前記接触行動によって前記ユーザの手が接触する接触部材と、前記接触部材に備えられ、前記接触行動における前記ユーザの手の接触状態に関する接触データを検出する接触データ検出手段と、前記接触データに基づいて、前記接触行動に含まれる複数の行動要素に対応する特徴量として、複数の特徴パターンを抽出する特徴パターン抽出手段と、前記特徴パターンと前記ユーザの感情との関係性に基づいて、前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行うパターン解析手段と、を備えている。
【０００６】
これにより、接触部材に対するユーザの手の接触行動からユーザの手の接触データを検出し、その接触データから複数の特徴パターンを抽出して、その複数の特徴パターンからユーザの感情を推定する。ユーザの持つ様々な感情は、ユーザの接触行動に現れる。例えば、ユーザが苛立っている場合、ユーザは接触部材を「たたく」などの接触行動を行う。このようなユーザの感情を反映する様々な接触行動（たたく、なでる、にぎる等）に基づいて、ユーザの様々な感情（喜、怒、哀、楽など）を推定することができる。
【０００７】
また、本発明の感情分析デバイスでは、前記接触部材は、前記ユーザが手を接触させる立体的な形状の接触部を有してもよい。
【０００８】
接触部材が立体的な形状の接触部を備えていると、ユーザが手を接触させる部分が立体的な形状であるため、ユーザに操作をしているという感覚を与えるのを抑えることができる。ユーザの感情を反映する接触行動は、ユーザが無意識に行うものが多い。したがって、ユーザは立体的な形状の接触部に対して自然な感覚で接触行動を行うことができる。この立体的な形状には、例えば、球面形状、楕円球面形状、卵形状、立方体形状、直方体形状、円筒形状、角筒形状などが含まれる。
【０００９】
また、本発明の感情分析デバイスでは、前記立体的な形状の接触部は、前記ユーザが手を接触させる球面状の接触球面部であってもよい。
【００１０】
上記の接触部として球面状の接触球面部を用いると、ユーザが手を接触させる部分が球面状であるため、ユーザに操作をしているという感覚を与えるのを抑えることができる。ユーザの感情を反映する接触行動は、ユーザが無意識に行うものが多い。したがって、ユーザは球面状の接触球面部に対して自然な感覚で接触行動を行うことができる。
【００１１】
また、本発明の感情分析デバイスでは、前記ユーザの接触行動は、前記ユーザが手のひらまたは指を前記接触部材に接触させる行動であり、前記パターン解析手段は、前記ユーザの手のひらまたは指による接触行動から抽出された前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行ってもよい。
【００１２】
ユーザの感情を反映する接触行動は、ユーザが手のひらまたは指を使って無意識に行うものが多い。したがって、ユーザが手のひらまたは指を用いて接触部材に対して自然な感覚で行った接触行動に基づいて、そのユーザの感情を分析することができる。
【００１３】
また、本発明の感情分析デバイスでは、前記ユーザの接触行動には、前記接触球面部をなでる、たたく、にぎる、かく、なぐる、つつく、はじく、前記接触球面部上でリズムを刻む、のうちの少なくとも一つが含まれ、前記パターン解析手段は、前記ユーザの複数の接触行動の各々から抽出された前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行ってもよい。
【００１４】
これにより、「なでる」「たたく」「にぎる」「かく」「リズムを刻む」「なぐる」「強くたたく」「つつく」「はじく」などのユーザの様々な接触行動から、様々な特徴パターンの抽出が可能となり、ユーザの様々な感情（喜、怒、哀、楽など）を推定することができる。
【００１５】
また、本発明の感情分析デバイスは、前記パターン解析手段によって推定された前記ユーザの感情に応じたフィードバック反応シグナルとして、光または振動の少なくとも一つを含むフィードバック反応シグナルを前記ユーザに対して出力するフィードバック手段を備えてもよい。
【００１６】
これにより、ユーザが接触部材に手を接触させると、ユーザの感情に応じたフィードバック反応シグナルがユーザに返される。このフィードバック反応シグナルによって、ユーザが再度接触部材に手を接触させるように、ユーザの興味を引くことができる。
【００１７】
また、本発明の感情分析デバイスは、前記接触部材に前記ユーザが手を接触させていないときに、前記ユーザの接触行動を誘発するための接触誘発シグナルとして、光または振動の少なくとも一つを含む接触誘発シグナルを前記ユーザに対して出力する接触誘発手段を備えてもよい。
【００１８】
これにより、ユーザが接触部材に手を接触させていないと、接触誘発シグナルがユーザに発せられる。この接触誘発シグナルによって、ユーザが接触部材に手を接触させるように、ユーザの注意を喚起することができる。
【００１９】
また、本発明の感情分析デバイスは、前記接触行動についての前記ユーザごとの個人的な特性を学習し、前記ユーザの特徴パターンと前記ユーザの感情との関係性を更新する学習更新手段を備え、前記パターン解析手段は、更新された前記特徴パターンと前記ユーザの感情との関係性に基づいて、前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行ってもよい。
【００２０】
例えば、同じ「たたく」という接触行動であっても、ユーザが異なると抽出される特徴パターンが異なる。このような場合に、接触行動についてユーザごとの個人的な特性を学習し、ユーザの特徴パターンとユーザの感情との関係性を更新することにより、特徴パターンと感情との関係性を各ユーザに適合させることができる。
【００２１】
また、本発明の感情分析デバイスは、複数の入力ノードの値の組み合わせから所定の出力ノードの値を算出するネットワークモデルであって、前記入力ノードとして前記特徴パターンが用いられ、前記出力ノードとして前記ユーザの感情が用いられるネットワークモデルを記憶するネットワークモデル記憶手段を備え、前記パターン解析手段は、前記ネットワークモデルを使用して、前記複数の特徴パターンから前記ユーザの感情を推定してもよい。
【００２２】
これにより、特徴パターン抽出手段によって抽出された複数の特徴パターンを入力とし、ユーザの感情を推定するパターン解析を行う。パターン解析の方法としては、複数の入力ノードの値の組み合わせから所定の出力ノードの値を算出するネットワークモデルが用いられる。このように、ネットワークモデルを用いて、複数の特徴パターンからユーザの感情を精度良く推定することができる。このネットワークモデルとしては、例えば、ニューラルネットワークやベイジアンネットワークなどが使用される。
【００２３】
本発明の感情分析方法は、ユーザが手を接触させる接触部材に対して前記ユーザの感情を反映する接触行動を行ったときに、前記接触行動における前記ユーザの手の接触状態に関する接触データを検出し、前記接触データに基づいて、前記接触行動に含まれる複数の行動要素に対応する特徴量として、複数の特徴パターンを抽出し、前記特徴パターンと前記ユーザの感情との関係性に基づいて、前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行う。
【００２４】
この方法によっても、ユーザの感情を反映する様々な接触行動（たたく、なでる、にぎる等）に基づいて、ユーザの様々な感情（喜、怒、哀、楽など）を推定することができる。
【００２５】
本発明の感情分析プログラムは、ユーザが手を接触させる接触部材に対して前記ユーザの感情を反映する接触行動を行ったときに、前記接触行動における前記ユーザの手の接触状態に関する接触データに基づいて、コンピュータに、前記接触データから、前記接触行動に含まれる複数の行動要素に対応する特徴量として、複数の特徴パターンを抽出する処理と、前記特徴パターンと前記ユーザの感情との関係性に基づいて、前記複数の特徴パターンから前記ユーザの感情を推定するパターン解析を行う処理と、を実行させる。
【００２６】
このプログラムによっても、ユーザの感情を反映する様々な接触行動（たたく、なでる、にぎる等）に基づいて、ユーザの様々な感情（喜、怒、哀、楽など）を推定することができる。なお、このプログラムは、コンピュータに、パターン解析に用いられるネットワークモデルを学習によって更新し、ネットワークモデルをユーザに適合させる処理を実行させてもよい。
【発明の効果】
【００２７】
本発明によれば、ユーザの感情を反映する様々な接触行動に基づいて、ユーザの様々な感情を推定することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態の感情分析デバイスについて、図面を用いて説明する。本実施の形態では、車両用のナビゲーション装置等とともに用いられる感情分析デバイスの場合を例示する。この感情分析デバイスは、ナビゲーション装置からユーザ（ドライバや同乗者）へ各種の情報（経路案内や音楽など）が提供されたときのユーザの感情を分析してナビゲーション装置へ伝達する機能を有している。この機能は、感情分析デバイスのメモリやＨＤＤに格納されているプログラムによって実現される。
【００２９】
本発明の実施の形態の感情分析デバイスの構成を図１〜図３を用いて説明する。図１は、感情分析デバイスの全体的な構成を示すブロック図である。図２は、感情分析デバイスの筐体部の構成を示す説明図である。図３は、感情分析デバイスの設置例を示す図である。
【００３０】
図１に示すように、感情分析デバイス１は、筐体部２とソフトウェア部３を備えている。感情分析デバイス１の筐体部２は、ユーザが手を接触させる接触部材４を備えており、接触部材４には、画像センサ５と圧力センサ６と光源７と振動モータ８が設けられている（図２参照）。
【００３１】
接触部材４は、ユーザの感情を反映する接触行動（後述する）をユーザが行ったときに、接触行動によってユーザの手が接触するものである。図２に示すように、接触部材４は、略半球状の接触球面部９を有しており、接触部材４の大きさは、ユーザ（例えば成人男性または成人女性）が手のひらで握ることができる程度の大きさに設定されている。
【００３２】
接触部材４の下側の略中央には、ＣＣＤカメラなどで構成された画像センサ５が配置されている。接触部材４は透明または半透明であり、画像センサ５は、接触行動中のユーザの手の影を撮影し、接触行動におけるユーザの手の接触状態を示す画像データを得ることができる。また、接触部材４の下側には、感圧導電性ゴムなどで構成された圧力センサ６が配置されており、接触行動中に接触部材４に加えられた圧力を測定し、接触行動におけるユーザの手の接触状態を示す圧力データを得ることができる。ここでは、画像データと圧力データが、本発明の接触データに相当する。また、画像センサ５と圧力センサ６が、本発明の接触データ検出手段に相当する。
【００３３】
接触部材４の下側には、様々な輝度や色彩の光を発する光源７が設けられている。この光源７は、後述するようにユーザの感情の分析結果に応じた色彩や輝度やリズムで発光するように制御されている。また、この光源７は、ユーザが接触部材４に手を接触させていないときにはユーザの接触行動を誘発するような色彩や輝度やリズムで発光するように制御されている。この光源７は、本発明のフィードバック手段に相当するとともに、接触誘発手段にも相当するといえる。
【００３４】
接触部材４には、様々な強さやリズムで接触部材４を振動させる振動モータ８が設けられている。この振動モータ８は、後述するようにユーザの感情の分析結果に応じた強さやリズムで接触部材４を振動させるように制御されている。また、この振動モータ８は、ユーザが接触部材４に手を接触させていないときにはユーザの接触行動を誘発するような強さやリズムで接触部材４を振動させるように制御されている。この振動モータ８は、本発明のフィードバック手段に相当するとともに、接触誘発手段にも相当するといえる。
【００３５】
図１に示すように、感情分析デバイス１のソフトウェア部３は、ＣＰＵやマイコン等で構成されており、特徴パターン抽出部１０とパターン解析部１１と光源制御部１２と振動制御部１３を備えている。また、ソフトウェア部３は、メモリやＨＤＤ等で構成されたネットワークモデル記憶部１４と、ＣＰＵやマイコン等で構成された学習更新部１５を備えている。
【００３６】
特徴パターン抽出部１０は、画像センサ５の画像データと圧力センサ６の圧力データに基づいて、ユーザの接触行動に含まれる様々な行動要素に対応する特徴量として、様々な特徴パターン（後述する）を抽出する。この特徴パターン抽出部１０は、本発明の特徴パターン抽出手段に相当する。
【００３７】
パターン解析部１１は、特徴パターンとユーザの感情の関係性を表すニューラルネットワーク（後述する）を用いて、複数の特徴パターンからユーザの感情を推定するパターン解析を行う。このニューラルネットワークは、複数の入力ノード（特徴パターン）の値の組み合わせから出力ノード（ユーザの感情）の値を算出するネットワークモデルであり、ネットワークモデル記憶部１４に記憶されている。ここでは、パターン解析部１１が、本発明のパターン解析手段に相当し、ネットワークモデル記憶部１４が、本発明のネットワークモデル記憶手段に相当する。
【００３８】
光源制御部１２は、パターン解析部１１で推定されたユーザの感情に応じた色彩や輝度やリズムで発光するように光源７を制御する。また、光源制御部１２は、ユーザが接触部材４に手を接触させていないときに、ユーザの接触行動を誘発するような色彩や輝度やリズムで発光するように光源７を制御する。
【００３９】
振動制御部１３は、パターン解析部１１で推定されたユーザの感情に応じた強さやリズムで接触部材４を振動させるように振動モータ８を制御する。また、振動制御部１３は、ユーザが接触部材４に手を接触させていないときに、ユーザの接触行動を誘発するような強さやリズムで接触部材４を振動させるように振動モータ８を制御する。
【００４０】
学習更新部１５は、接触行動についてのユーザごとの個人的な特性を学習し、ネットワークモデル記憶部１４に格納されたネットワークモデルを更新する。つまり、この学習更新部１５は、ネットワークモデルをユーザごとに適合するように更新する処理を行うものであるともいえる。この学習更新部１５が、本発明の学習更新手段に相当する。
【００４１】
例えば、同じ「たたく」という接触行動であっても、ユーザが異なると抽出される特徴パターンは異なるため、ユーザによっては「強くたたく」と誤認識されることがありえる。そのような場合、光源７および振動モータ８によって認識結果をユーザにフィードバックし、ユーザに認識された結果を知らせ、認識結果が正しかったかどうかをユーザに問い合わせる。例えば、ユーザが光源７および振動モータ８によるフィードバックを得た後に、所定の時間内に再度接触行動を試みた場合、一つ以上前の接触行動は誤認識であったものとしてみなす。これにより、一つ以上前の接触行動が正しく認識されるようにネットワークモデルを更新し、ネットワークモデルがユーザにより適合するように学習させる。
【００４２】
以上のように構成された感情分析デバイス１は、車内において、ユーザ（ドライバや同乗車）が接触部材４に手を接触させやすい位置に設けられている。例えば、感情分析デバイス１は、図３に示すように、運転席と助手席の間のセンターコンソールの近傍に設けられている。
【００４３】
（ユーザの接触行動）
図４（ａ）〜（ｈ）は、ユーザの接触行動の例を示す説明図である。また、図５は、ユーザの接触行動とユーザの感情の相関関係を示す説明図である。図４（ａ）は、「にぎる」というユーザの接触行動の一例を示す図であり、この図では、ユーザが手で接触部材４の表面を強く握る様子が示されている。この「にぎる」という接触行動は、例えばユーザが喜んだときや怒ったときに無意識に行う行動である。したがって、「にぎる」という接触行動は、「喜」または「怒」というユーザの感情を反映しているともいえる（図５参照）。
【００４４】
図４（ｂ）は、「なでる」というユーザの接触行動の一例を示す図であり、この図では、ユーザが手のひらで接触部材４の表面を軽く撫でる様子が示されている。また、図４（ｃ）は、「激しくなでる」というユーザの接触行動の一例を示す図であり、この例では、ユーザが手のひらで接触部材４の表面を強く撫でている。この「なでる」または「激しくなでる」という接触行動は、例えばユーザが喜んだときや哀しいときや楽しいときに無意識に行う行動である。したがって、「なでる」または「激しくなでる」という接触行動は、「喜」または「哀」または「楽」というユーザの感情を反映しているともいえる（図５参照）。
【００４５】
図４（ｄ）は、「なぐる」というユーザの接触行動の一例を示す図であり、この図では、ユーザが拳で接触部材４の表面を強く殴る様子が示されている。この「なぐる」という接触行動は、例えばユーザが怒ったときに無意識に行う行動である。したがって、「なぐる」という接触行動は、「怒」というユーザの感情を反映しているともいえる（図５参照）。
【００４６】
図４（ｅ）は、「つつく」というユーザの接触行動の一例を示す図であり、この図では、ユーザが指先で接触部材４の表面を軽く突く様子が示されている。この「つつく」という接触行動は、例えばユーザが哀しいときに無意識に行う行動である。したがって、「つつく」という接触行動は、「哀」というユーザの感情を反映しているともいえる（図５参照）。
【００４７】
図４（ｆ）は、「はじく」というユーザの接触行動の一例を示す図であり、この図では、ユーザが指先で接触部材４の表面を軽く弾く様子が示されている。この「はじく」という接触行動は、例えばユーザが哀しいときに無意識に行う行動である。したがって、「はじく」という接触行動は、「哀」というユーザの感情を反映しているともいえる。
【００４８】
図４（ｇ）は、「かく」というユーザの接触行動の一例を示す図であり、この図では、ユーザが指先で接触部材４の表面にハートマークを描く様子が示されている。ハートマークを「かく」という接触行動は、例えばユーザが喜んでいるときや楽しいときに行う行動である。したがって、ハートマークを「かく」という接触行動は、「喜」や「楽」というユーザの感情を反映しているともいえる。その一方、例えばバツ印（×印）を「かく」という接触行動は、例えばユーザが怒っているときや哀しいときに行う行動である。したがって、バツ印（×印）を「かく」という接触行動は、「怒」や「哀」というユーザの感情を反映しているともいえる。
【００４９】
図４（ｈ）は、「リズムをきざむ」というユーザの接触行動の一例を示す図であり、この図では、ユーザが指で接触部材４の表面でリズムを刻む様子が示されている。この「リズムをきざむ」という接触行動は、例えばユーザが喜んだときや楽しいときに無意識に行う行動である。したがって、「リズムをきざむ」という接触行動は、「喜」や「楽」というユーザの感情を反映しているともいえる（図５参照）。
【００５０】
図４（ｉ）は、「たたく」というユーザの接触行動の一例を示す図であり、この図では、ユーザが手のひらで接触部材４の表面を軽くたたく様子が示されている。この「たたく」という接触行動は、例えばユーザが喜んでいるときや怒っているときに無意識に行う行動である。したがって、「たたく」という接触行動は、「喜」や「怒」というユーザの感情を反映しているともいえる（図５参照）。
【００５１】
図４（ｊ）は、「強くたたく」というユーザの接触行動の一例を示す図であり、この図では、ユーザが手のひらで接触部材４の表面を強くたたく様子が示されている。この「強くたたく」という接触行動は、例えばユーザが怒っているときに無意識に行う行動である。したがって、「強くたたく」という接触行動は、「怒」というユーザの感情を反映しているともいえる（図５参照）。
【００５２】
以上のような様々な接触行動をユーザが行うと、その接触行動におけるユーザの手の接触状態を示す画像データが画像センサ５によって得られるとともに、その接触行動におけるユーザの手の接触状態を示す圧力データが圧力センサ６によって得られる。
【００５３】
図６（ａ）〜（ｄ）は、様々な接触行動を行ったときの画像データの例を示す説明図である。例えば、ユーザ（左座席の同乗者）が右手で「にぎる」という接触行動を行ったときには、図６（ａ）に示すような画像データが得られる。また、ユーザ（右座席のドライバ）が左手で「にぎる」という接触行動を行ったときには、図６（ｂ）に示すような画像データが得られる。なお、この場合、画像データを解析処理することにより、接触行動を行ったユーザがドライバであるのか同乗者であるのか判別することが可能である。
【００５４】
また、例えば、ユーザが左手で「リズムをきざむ」という接触行動を行ったときには、図６（ｃ）に示すような画像データが得られる。なお、この場合、所定のリズム間隔で圧力値が変化する圧力データが得られる。また、ユーザが左手で「つつく」という接触行動を行ったときには、図６（ｄ）に示すような画像データが得られる。なお、この場合、定期的な時間間隔で圧力値が変化する圧力データが得られる。
【００５５】
（特徴パターン）
以上のような様々な接触データ（画像データや圧力データ）から様々な特徴パターンが抽出される。例えば、接触行動の画像データから、指先の各々の位置（ｘｙ座標）に対応する特徴量として「指先位置」という特徴パターンが抽出される。また、接触行動の画像データから、手のひら全体の動きに対応する特徴量として「動きベクトル（ｘ方向、ｙ方向）」という特徴パターンや「動きベクトルの時間変化の周期／振幅」という特徴パターンが抽出される。
【００５６】
また、接触行動の画像データから、接触部分の形状に対応する特徴量として様々な「形状特徴量」が抽出される。この「形状特徴量」には、例えば、接触部分の形状を示す低次元の特徴量である「モーメント特徴量」や、接触部分の輪郭の長さを示す「周囲長」、接触部分の面積を示す「面積」が含まれる。また、接触行動の画像データからは、接触部材４に接触している指先の数に対応する特徴量として「接触している部位の数」という特徴パターンが抽出される。
【００５７】
一方、接触行動の圧力データからは、圧力の大きさを示す「負荷の強さ」という特徴パターンや、圧力のかかっている位置（例えば、接触部材４の前側、後側、右側、左側など）を示す「負荷のかかっている位置」という特徴パターンが抽出される。また、接触行動の圧力データから、一定の時間間隔で定期的に負荷がかかっているときの周期を示す「負荷のかかる周期」という特徴パターンが抽出される。
【００５８】
例えば、ユーザが「なでる」という接触行動を行ったときには、図７（ａ）に示すような「動きベクトル」の特徴パターンが抽出される。また、ユーザが「激しくなでる」という接触行動を行ったときには、図７（ｂ）に示すような「動きベクトル」の特徴パターンが抽出される。図７（ａ）および（ｂ）に示すように、「激しくなでる」の動きベクトの周期は、「なでる」の動きベクトルの周期より短く、また、「激しくなでる」の動きベクトルの振幅は、「なでる」の動きベクトルの振幅より大きい。
【００５９】
（ニューラルネットワーク）
図８は、複数の特徴パターンからユーザの感情を推定するニューラルネットワークを概念的に示した説明図である。ニューラルネットワークは、複数のノードを階層状に組み合わせたネットワークモデルである。ニューラルネットワークでは、数値的な入力を行うことによって、入力層のノード（入力ノード）・中間層のノード（中間ノード）・出力層のノード（出力ノード）でそれぞれ数値計算が行われ、数値的な出力が行われる。
【００６０】
図８に示したニューラルネットワークでは、特徴パターンの数値「Ａ」〜「Ｆ」が入力ノードの値であり、ユーザの接触行動の数値「ａ」〜「ｅ」が中間ノードの値であり、ユーザの感情「喜」「怒」「哀」「楽」の数値が出力ノードの値である。なお、図８では、説明の便宜のために、入力ノード（特徴パターン）の数が６つであり、中間ノード（接触行動）の数が５つであり、出力ノード（ユーザの感情）の数が４つである例が図示されているが、各ノードの数はこれに限定されるものではない。
【００６１】
本実施の形態の感情分析デバイス１では、接触データ（画像データや圧力データ）から得られるすべての特徴パターンの値が、入力ノードの値として用いられる。例えば、特徴パターンの数値「Ａ」として、「指先位置」の数値（例えば球の中央を原点としたｘｙ座標系におけるx座標、あるいはy座標）が用いられる。また、特徴パターンの数値「Ｂ」として、「動きベクトルの長さの変化の周期」の値（例えば１秒）が用いられる。なお、接触データ（画像データや圧力データ）から得られる特徴パターンのうちの一部の特徴パターンの値を、入力ノードの値として用いても良い。
【００６２】
入力層の入力ノードに入力された特徴パターンの値に対して数値計算が行われ、中間ノードの値が決定される。この数値計算により、ユーザの行う様々な接触行動を示す数値が、中間ノードの値に反映される。例えば、接触行動の数値「ａ」が、「にぎる」を示す数値（例えば「１」）を意味する。また、接触行動の数値「ｂ」が、「なでる」を示す数値（例えば「２」）を意味する。
【００６３】
中間層の中間ノードの値に対して数値計算が行われ、出力ノードの値が決定される。この数値計算により、ユーザの感情を示す数値が、出力ノードの値に反映される。例えば、ユーザが喜んでいる場合、出力ノードの「喜」の数値が「１」に近くなり、出力ノードの「怒」「哀」「楽」の数値が「０」に近くなる。ユーザが怒っている場合、出力ノードの「怒」の数値が「１」に近くなり、出力ノードの「喜」「哀」「楽」の数値が「０」に近くなる。ユーザが哀しんでいる場合、出力ノードの「哀」の数値が「１」に近くなり、出力ノードの「喜」「怒」「楽」の数値が「０」に近くなる。ユーザが楽しんでいる場合、出力ノードの「楽」の数値が「１」に近くなり、出力ノードの「喜」「怒」「哀」の数値が「０」に近くなる。
【００６４】
（フィードバック反応シグナル、接触誘発シグナル）
図９は、フィードバック反応シグナルと接触誘発シグナルの一例を示す説明図である。図９に示すように、ユーザの感情「喜」に対応する光のフィードバック反応シグナルでは、光の色は「オレンジ」であり、光の輝度は「高」であり、発光のリズムは「軽やかに明暗が変化」である。また、ユーザの感情「喜」に対応する振動のフィードバック反応シグナルでは、振動の強さは「強」であり、振動のリズムは「小刻み」である。
【００６５】
また、ユーザの感情「怒」に対応する光のフィードバック反応シグナルでは、光の色は「赤」であり、光の輝度は「高」であり、発光のリズムは「突発的に変化」する。また、ユーザの感情「怒」に対応する振動のフィードバック反応シグナルでは、振動の強さは「強」であり、振動のリズムは「突発的」である。
【００６６】
また、ユーザの感情「哀」に対応する光のフィードバック反応シグナルでは、光の色は「赤」であり、光の輝度は「中」であり、発光のリズムは「ゆっくりとした周期で変化」する。なお、ユーザの感情「哀」に対応する振動のフィードバック反応シグナルは、「無」である。
【００６７】
また、ユーザの感情「楽」に対応する光のフィードバック反応シグナルでは、光の色は「赤・橙・黄」であり、光の輝度は「高」であり、発光のリズムは「軽やかに色と輝度が変化」する。なお、ユーザの感情「楽」に対応する振動のフィードバック反応シグナルは、「無」である。
【００６８】
ユーザの接触行動を誘発するときの光の接触誘発シグナルでは、光の色は「緑・青」であり、光の輝度は「高」であり、発光のリズムは「軽やかに色と輝度が変化」する。また、ユーザの接触行動を誘発するときの振動の接触誘発シグナルでは、振動の強さは「中」であり、振動のリズムは「軽やか」である。
【００６９】
以上のように構成された感情分析デバイス１をナビゲーション装置とともに用いるときの動作を説明する。ここでは、例えば、ナビゲーション装置が自動選曲モードでユーザに音楽を提供したときに、感情分析デバイス１でユーザの感情を分析して、ナビゲーション装置へ伝達するときの動作について説明する。
【００７０】
図１０は、自動選曲モードでユーザに音楽を提供したときの感情分析デバイス１とナビゲーション装置の動作を説明するためのフロー図である。図１０に示すように、ナビゲーション装置で自動選曲モードが選択されると、所定の確率に応じて曲が選択される（Ｓ１）次に、音楽の序盤部分の所定の時間内において、画像センサ５からの画像データに基づいて、ユーザの接触行動の有無の判定が行われる（Ｓ２）。ユーザが接触部材４に接触していないと判定されたときには、そのまま音楽の再生を続ける（Ｓ８）。ユーザが接触部材４に接触していると判定されたときには、接触データから特徴パターンを抽出し、特徴パターンからユーザの感情を推定する（Ｓ３）。そして、推定した感情に対応するフィードバック反応シグナルを発信する（Ｓ４）。
【００７１】
次に、ユーザの感情の推定結果（Ｓ３）から、ユーザが快適と感じているか否かの判定を行う（Ｓ５）。ユーザが快適と感じていないと判定されたときには、現在再生されている音楽がユーザの好みでないものとみなし、以後、この音楽が自動選曲で選ばれる確率を低くすることでユーザの嗜好を学習する（Ｓ６）。一方、ユーザが快適と感じていると判定されたときには、ユーザは現在再生されている音楽が好きであるものとみなし、以後、この音楽が自動選曲で選ばれる確率を高くすることでユーザの嗜好を学習し（Ｓ７）、現在再生されている音楽をそのまま続けて再生する（Ｓ８）。
【００７２】
自動選曲によって音楽が再生されてから所定の時間が経った後にも、曲の序盤と同様に、画像センサ５からの画像データに基づいて、ユーザの接触行動の有無の判定が行われる（Ｓ９）。ユーザが接触部材４に接触していないと判定されたときには、接触誘発シグナルを発信し、ユーザが接触部材４に触れるよう促す（Ｓ１０）。ユーザが接触部材４に接触していると判定されたときには、接触データから特徴パターンを抽出し、特徴パターンからユーザの感情を推定する（Ｓ１１）。このユーザの感情の推定結果から、ユーザが自動選曲された音楽を気に入ったか否かの判定を行う（Ｓ１２）。例えば、自動選曲された音楽をユーザが特に気に入った場合には、ユーザは、「音楽にあわせてリズムをきざむ」「なでる」「○印をかく」などの接触行動を行う。このような接触行動の接触データから特徴パターンを抽出し、特徴パターンから「喜」や「楽」というユーザの感情が推定された場合には、ユーザは現在再生されている音楽が好きであるものとみなし、以後、この音楽が自動選曲で選ばれる確率を高くすることでユーザの好みを学習する（Ｓ１３）。一方、自動選曲された音楽をユーザが特別に気に入っているわけではない場合には、学習は行わず、そのまま現在の音楽を再生し続ける。
【００７３】
そして、音楽が終了するまで、続けて音楽を再生する（Ｓ１４）。音楽が終了した場合には、再び自動選曲によって次の音楽が選ばれる。つまり、次の自動選曲が行われる（次の自動選曲開始へ戻る）。
【００７４】
このような本実施の形態の感情分析デバイス１によれば、ユーザの感情を反映する様々な接触行動に基づいて、ユーザの様々な感情を推定することができる。
【００７５】
すなわち、本実施の形態では、接触部材４に対するユーザの手の接触行動からユーザの手の接触データを検出し、その接触データから複数の特徴パターンを抽出して、その複数の特徴パターンからユーザの感情を推定する。ユーザの持つ様々な感情は、ユーザの接触行動に現れる。例えば、ユーザが苛立っている場合、ユーザは接触部材４を「たたく」などの接触行動を行う。このようなユーザの感情を反映する様々な接触行動（たたく、なでる、にぎる等）に基づいて、ユーザの様々な感情（喜、怒、哀、楽など）を推定することができる。
【００７６】
また、本実施の形態では、ニューラルネットワークを用いて、複数の特徴パターンからユーザの感情を精度良く推定することができる。
【００７７】
また、本実施の形態では、ユーザが手を接触させる接触部材４が球面状であるため、ユーザに操作をしているという感覚を与えるのを抑えることができる。ユーザの感情を反映する接触行動は、ユーザが無意識に行うものが多い。したがって、ユーザは接触部材４に対して自然な感覚で接触行動を行うことができる。
【００７８】
つまり、接触部材４として球面状の接触球面部を用いると、ユーザは「なでる」「たたく」「にぎる」「かく」「リズムを刻む」「なぐる」「強くたたく」「つつく」「はじく」など、様々な接触行動を行うことができる。これにより、様々な特徴パターンの抽出が可能となり、ユーザの様々な感情（喜、怒、哀、楽など）を推定しやすくなる。
【００７９】
また、本実施の形態では、ユーザが接触部材４に手を接触させると、ユーザの感情に応じたフィードバック反応シグナルがユーザに返される。このフィードバック反応シグナルによって、ユーザが再度接触部材４に手を接触させるように、ユーザの興味を引くことができる。
【００８０】
また、本実施の形態では、ユーザが接触部材４に手を接触させていないと、接触誘発シグナルがユーザに発せられる。この接触誘発シグナルによって、ユーザが接触部材４に手を接触させるように、ユーザの注意を喚起することができる。
【００８１】
このような光と振動のフィードバック反応シグナルや接触誘発シグナルにより、あたかもデバイス１に人格が存在するかのようにユーザに錯覚を生じさせることができる。これにより、デバイス１や車に愛着がわき、デバイス１に何度も触れてみたい、あるいは、再び車に乗りたいと思わせることができる。また、光と振動のフィードバック反応シグナルや接触誘発シグナルにより、車内の美観を向上させることができる。つまり、このデバイス１は、車内インテリアとしての機能も有しているといえる。
【００８２】
以下、従来の装置と対比することで本実施の形態の利点をより詳細に説明する。
【００８３】
ユーザの顔の表情に基づいてユーザの感情の分析を行う従来の装置では、ユーザがカメラ方向を向いていないときには、ユーザの顔の表情の情報が得られず、ユーザの感情を抽出することができないという問題があった。これに対して、本実施の形態では、ユーザがカメラ方向を向いていないときであっても、ユーザの接触行動に基づいてユーザの感情を推定することができる。
【００８４】
また、車両を運転中のユーザは様々な方向を向くことがある。さらに、ユーザはサングラス等をかけて車両の運転を行うこともある。そのような場合、従来の装置では、ユーザの顔の情報を十分に取得するのが困難であり、ユーザの感情の分析が容易でないという問題があった。それに対して、本実施の形態では、そのような場合であっても、ユーザの接触行動に基づいてユーザの感情を推定することができる。
【００８５】
また、窓から太陽の光などがユーザの顔を照らす場合、従来の装置では、撮影したユーザの顔画像が著しく不明瞭なものになってしまう。そのような場合、顔画像からユーザの感情の分析するのが困難になるという問題があった。これに対して、本実施の形態では、窓から太陽の光などがユーザの顔を照らしていても、ユーザの接触行動に基づいてユーザの感情を推定することができる。
【００８６】
ユーザの声の大小（音量）や発音の抑揚に基づいてユーザの感情の分析を行う従来の装置では、ユーザが話をしていないときには、ユーザの声の大小（音量）や発音の抑揚の情報が得られず、ユーザの感情を抽出することができないという問題があった。これに対して、本実施の形態では、ユーザが話しをしていないときであっても、ユーザの接触行動に基づいてユーザの感情を推定することができる。
【００８７】
また、従来の装置では、運転中の車内はユーザの声以外の雑音が大きい場合には、ユーザの声の音量や発音の抑揚の情報を十分に取得するのが困難であり、その結果、ユーザの感情の分析が容易でないという問題があった。これに対して、本実施の形態では、そのような雑音の有無に係らず、ユーザの接触行動に基づいてユーザの感情を推定することができる。
【００８８】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００８９】
例えば、以上の説明では、複数の特徴パターンからユーザの感情を推定するネットワークモデルとしてニューラルネットワークを使用した例について説明した。しかし、本発明の範囲はこれに限定されるものではなく、複数の特徴パターンからユーザの感情を推定するネットワークモデルとして、例えばベイジアンネットワークなどのネットワークモデルを使用してもよい。
【産業上の利用可能性】
【００９０】
以上のように、本発明にかかる感情分析デバイスは、ユーザの感情を反映する様々な接触行動に基づいて、ユーザの様々な感情を推定することができるという効果を有し、車両用のナビゲーション装置等とともに使用され、有用である。
【図面の簡単な説明】
【００９１】
【図１】本実施の形態における感情分析デバイスのブロック図である。
【図２】感情分析デバイスの筐体部の主要な構成を示す説明図である。
【図３】感情分析デバイスの設置例を示す説明図である。
【図４】（ａ）ユーザの接触行動「にぎる」の一例を示す説明図である。  （ｂ）ユーザの接触行動「なでる」の一例を示す説明図である。  （ｃ）ユーザの接触行動「激しくなでる」の一例を示す説明図である。  （ｄ）ユーザの接触行動「なぐる」の一例を示す説明図である。  （ｅ）ユーザの接触行動「つつく」の一例を示す説明図である。  （ｆ）ユーザの接触行動「はじく」の一例を示す説明図である。  （ｇ）ユーザの接触行動「かく」の一例を示す説明図である。  （ｈ）ユーザの接触行動「リズムをきざむ」の一例を示す説明図である。  （ｉ）ユーザの接触行動「たたく」の一例を示す説明図である。  （ｊ）ユーザの接触行動「強くたたく」の一例を示す説明図である。
【図５】ユーザの接触行動とユーザの感情の相関関係を示す説明図である。
【図６】（ａ）ユーザが右手で「にぎる」を行ったときの接触データ（画像データ）の一例を示す説明図である。  （ｂ）ユーザが左手で「にぎる」を行ったときの接触データ（画像データ）の一例を示す説明図である。  （ｃ）ユーザが左手で「リズムをきざむ」を行ったときの接触データ（画像データ）の一例を示す説明図である。  （ｄ）ユーザが左手で「つつく」を行ったときの接触データ（画像データ）の一例を示す説明図である。
【図７】（ａ）ユーザが「なでる」を行ったときの特徴パターン（動きベクトル）の一例を示す説明図である。  （ｂ）ユーザが「激しくなでる」を行ったときの特徴パターン（動きベクトル）の一例を示す説明図である。
【図８】複数の特徴パターン（入力ノード）からユーザの感情（出力ノード）を推定するためのニューラルネットワークの説明図である。
【図９】フィードバック反応シグナルと接触誘発シグナルの一例を示す説明図である。
【図１０】本実施の形態の感情解析デバイスの動作説明のためのフロー図である。
【符号の説明】
【００９２】
１  感情分析デバイス
４  接触部材
５  画像センサ
６  圧力センサ
７  光源
８  振動モータ
９  接触球面部
１０  特徴パターン抽出部
１１  パターン解析部
１２  光源制御部
１３  振動制御部
１４  ネットワークモデル記憶部
【図１】
2009026125.tif 000003
【図２】
2009026125.tif 000004
【図３】
2009026125.tif 000005
【図４】
2009026125.tif 000006
【図５】
2009026125.tif 000007
【図６】
2009026125.tif 000008
【図７】
2009026125.tif 000009
【図８】
2009026125.tif 000010
【図９】
2009026125.tif 000011
【図１０】
2009026125.tif 000012