(57)【要約】【課題】複数の種類の感情の特徴をそれぞれが表す複数の画像を効率的に収集可能な技術を提供することが望ましい。【解決手段】一の移動体の状況を取得する状況取得部と、一の移動体の状況が、予め定められた複数の状況のうちのいずれかと一致した場合に、一の移動体が当該状況であるときに一の移動体に搭載された撮像部によって撮像された一の移動体の搭乗者の顔画像を、予め定められた感情に対応付けて格納する格納実行部とを備える情報処理装置を提供する。【選択図】図３
2020095502.tif 000002
【特許請求の範囲】
【請求項１】
一の移動体の状況を取得する状況取得部と、
前記一の移動体の状況が、予め定められた複数の状況のうちのいずれかと一致した場合に、前記一の移動体が当該状況であるときに前記一の移動体に搭載された撮像部によって撮像された前記一の移動体の搭乗者の顔画像を、予め定められた感情の種類に対応付けて格納する格納実行部と
を備える情報処理装置。
【請求項２】
移動体の複数の状況のそれぞれに対して感情の種類を対応付けた対応付情報を格納する対応付情報格納部
を備え、
前記格納実行部は、前記一の移動体の状況が、前記対応付情報に含まれる前記複数の状況のいずれかと一致した場合に、前記一の移動体が当該状況であるときに前記一の移動体に搭載された撮像部によって撮像された前記一の移動体の搭乗者の顔画像を、当該状況に対応する感情の種類に対応付けて格納する、請求項１に記載の情報処理装置。
【請求項３】
前記対応付情報格納部は、前記複数の状況のそれぞれに対して、移動体がそれぞれの状況である場合に当該移動体の搭乗者が抱く感情の種類を対応付けた前記対応付け情報を格納する、請求項２に記載の情報処理装置。
【請求項４】
前記移動体は自動車であり、
前記対応付情報は、運転者による急ブレーキと同乗者の驚きの感情とを対応付けており、
前記格納実行部は、前記一の移動体において運転者による急ブレーキが行われた場合に、前記急ブレーキが行われたときに前記撮像部によって撮像された前記一の移動体の同乗者の顔画像を、驚きの感情に対応付けて格納する、請求項２又は３に記載の情報処理装置。
【請求項５】
前記移動体は自動車であり、
前記対応付情報は、自動ブレーキによる急ブレーキと搭乗者の驚きの感情とを対応付けており、
前記格納実行部は、前記一の移動体において自動ブレーキによる急ブレーキが行われた場合に、前記急ブレーキが行われたときに前記撮像部によって撮像された前記一の移動体の搭乗者の顔画像を、驚きの感情に対応付けて格納する、請求項２から４のいずれか一項に記載の情報処理装置。
【請求項６】
前記移動体は自動車であり、
前記対応付情報は、運転者による急加速と同乗者の驚きの感情とを対応付けており、
前記格納実行部は、前記一の移動体において運転者による急加速が行われた場合に、前記急加速が行われたときに前記撮像部によって撮像された前記一の移動体の同乗者の顔画像を、驚きの感情に対応付けて格納する、請求項２から５のいずれか一項に記載の情報処理装置。
【請求項７】
前記移動体は自動車であり、
前記対応付情報は、自動運転による急加速と搭乗者の驚きの感情とを対応付けており、
前記格納実行部は、前記一の移動体において自動運転による急加速が行われた場合に、前記急加速が行われたときに前記撮像部によって撮像された前記一の移動体の搭乗者の顔画像を、驚きの感情に対応付けて格納する、請求項２から６のいずれか一項に記載の情報処理装置。
【請求項８】
前記移動体は自動車であり、
前記対応付情報は、エアバックの作動と驚きの感情とを対応付けており、
前記格納実行部は、前記一の移動体においてエアバックが作動したときに前記撮像部によって撮像された前記一の移動体の搭乗者の顔画像を、驚きの感情に対応付けて格納する、請求項２から７のいずれか一項に記載の情報処理装置。
【請求項９】
前記格納実行部は、前記搭乗者の顔画像と、前記感情の種類と、前記搭乗者の識別情報とを対応付けて格納し、
前記情報処理装置は、
前記格納実行部によって対応付けて格納された前記搭乗者の顔画像、前記感情の種類及び前記搭乗者の識別情報を送信する顔画像送信部
を備える、請求項１から８のいずれか一項に記載の情報処理装置。
【請求項１０】
コンピュータを、請求項１から９のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
搭乗者の複数の種類の感情の特徴をそれぞれが表す複数の顔画像と、車両に搭載されたカメラによって撮像された搭乗者の顔画像とを比較することによって、搭乗者の感情を推定する感情推定処理を実行する装置が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８−１０６５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
複数の種類の感情の特徴をそれぞれが表す複数の顔画像を効率的に収集可能な技術を提供することが望ましい。
【課題を解決するための手段】
【０００４】
本発明の第１の態様によれば、情報処理装置が提供される。情報処理装置は、一の移動体の状況を取得する状況取得部を備えてよい。情報処理装置は、一の移動体の状況が、予め定められた複数の状況のうちのいずれかと一致した場合に、一の移動体が当該状況であるときに一の移動体に搭載された撮像部によって撮像された一の移動体の搭乗者の顔画像を、予め定められた感情に対応付けて格納する格納実行部を備えてよい。
【０００５】
上記情報処理装置は、移動体の複数の状況のそれぞれに対して、移動体の搭乗者の感情を対応付けた対応付情報を格納する対応付情報格納部を備えてよく、上記格納実行部は、上記一の移動体の状況が、上記対応付情報に含まれる上記複数の状況のいずれかと一致した場合に、上記一の移動体が当該状況であるときに上記一の移動体に搭載された撮像部によって撮像された上記一の移動体の搭乗者の顔画像を、当該状況に対応する感情に対応付けて格納してよい。上記対応付情報格納部は、上記複数の状況のそれぞれに対して、車両がそれぞれの状況である場合に当該車両の搭乗者が抱く感情を対応付けた上記対応付け情報を格納してよい。
【０００６】
上記対応付情報は、急ブレーキと驚きの感情とを対応付けていてよい。上記格納実行部は、上記一の車両において急ブレーキが行われた場合に、上記急ブレーキが行われる前に上記撮像部によって撮像された上記一の車両の運転者の顔画像を、驚きの感情に対応付けて格納してよい。上記格納実行部は、上記一の車両において上記一の車両の運転者による急ブレーキが行われた場合に、上記急ブレーキが行われた後に上記撮像部によって撮像された上記一の車両の同乗者の顔画像を、驚きの感情に対応付けて格納してよい。上記格納実行部は、上記一の車両において自動ブレーキによる急ブレーキが行われた場合に、上記急ブレーキが行われた後に上記撮像部によって撮像された上記一の車両の運転者及び同乗者の顔画像を、驚きの感情に対応付けて格納してよい。
【０００７】
上記対応付情報は、急加速と驚きの感情とを対応付けていてよく、上記格納実行部は、上記一の車両において急加速が行われた場合に、上記急加速が行われたときに上記撮像部によって撮像された上記一の車両の同乗者の顔画像を、驚きの感情に対応付けて格納してよい。上記対応付情報は、急停止と驚きの感情とを対応付けていてよく、上記格納実行部は、上記一の車両において急停止が行われた場合に、上記急停止が行われたときに上記撮像部によって撮像された上記一の車両の同乗者の顔画像を、驚きの感情に対応付けて格納してよい。上記対応付情報は、エアバッグの作動と驚きの感情とを対応付けていてよく、上記格納実行部は、上記一の車両においてエアバッグが作動したときに上記撮像部によって撮像された上記一の車両の搭乗者の顔画像を、驚きの感情に対応付けて格納してよい。
【０００８】
本発明の第２の態様によれば、コンピュータを、上記情報処理装置として機能させるためのプログラムが提供される。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る車両１００の一例を概略的に示す。
【図２】車両１００の構成の一例を概略的に示す。
【図３】情報処理装置２００の機能構成の一例を概略的に示す。
【図４】情報処理装置２００による処理の流れの一例を概略的に示す。
【図５】情報処理装置２００による処理の流れの一例を概略的に示す。
【図６】情報管理サーバ３００の機能構成の一例を概略的に示す。
【図７】情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、本実施形態に係る車両１００の一例を概略的に示す。車両１００は、複数の搭乗者を乗せて移動する移動体の一例であってよい。車両１００は、情報処理装置２００を備えてよい。情報処理装置２００は、車両１００の搭乗者の感情を推定する感情推定処理機能を有してよい。
【００１３】
本実施形態において、車両１００に搭乗している者を区別しない場合、搭乗者と記載し、運転している者としていない者とを区別する場合、前者を運転者５２、後者を同乗者５４と記載する。車両１００が自動運転車である場合、運転者５２は、運転席に座っている者であってよい。同乗者５４は、助手席に座っている者であってよい。同乗者５４は、後部座席に座っている者であってよい。
【００１４】
情報処理装置２００は、搭乗者の画像を用いて搭乗者の感情を推定する感情推定処理を実行可能であってよい。情報処理装置２００は、車両１００が備える撮像部によって撮像された搭乗者の画像を取得する。撮像部は、車両１００の車内の全体を撮像可能な１台のカメラ１１０を有してよい。情報処理装置２００は、当該カメラ１１０から、運転者５２の画像及び同乗者５４の画像を取得してよい。
【００１５】
撮像部は、複数のカメラ１１０を有してもよい。情報処理装置２００は、複数のカメラ１１０のそれぞれによって撮像された運転者５２の画像及び同乗者５４の画像を、当該複数のカメラ１１０から取得してよい。撮像部は、例えば、運転席及び助手席を撮像可能なカメラ１１０と、後部座席を撮像可能なカメラ１１０とを有する。撮像部は、運転席を撮像可能なカメラ１１０と、助手席を撮像可能なカメラ１１０とを有してもよい。撮像部は、後部座席の複数の同乗者５４のそれぞれを撮像可能な複数のカメラ１１０を有してもよい。
【００１６】
情報処理装置２００は、例えば、搭乗者のニュートラルな表情の画像を予め格納しておく。ニュートラルな表情とは、いわゆる素の表情であってよい。搭乗者の素の表情とは、例えば、搭乗者が何も意識していないときの表情である。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の顔画像とニュートラルな表情の画像とを比較することによって、搭乗者の感情を推定してよい。
【００１７】
情報処理装置２００は、例えば、初期設定としてカメラ１１０によって撮像された搭乗者のニュートラルな表情の画像を格納する。情報処理装置２００は、搭乗者のニュートラルな表情の画像を他の装置から受信して格納してもよい。情報処理装置２００は、例えば、搭乗者が所有するスマートフォン等の携帯通信端末から、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を介して、搭乗者のニュートラルな表情の画像を受信する。また、情報処理装置２００は、例えば、搭乗者のニュートラルな表情の画像を管理する管理サーバから、移動体通信ネットワーク等を介して、搭乗者のニュートラルな表情の画像を受信する。
【００１８】
情報処理装置２００は、搭乗者のニュートラルな表情の画像を用いるのではなく、汎用のニュートラルな表情の画像を用いて搭乗者の感情を推定してもよい。汎用のニュートラルな表情の画像とは、多数の人の平均的なニュートラルな表情の画像であってよい。汎用のニュートラルな表情の画像は、性別、年齢、及び人種等の属性毎に用意されていてもよい。
【００１９】
情報処理装置２００は、例えば、ニュートラルな表情との相違と、人間の感情パターンとを対応付けた対応付けデータを予め格納しておく。対応付けデータは、例えば、ニュートラルな表情に対して口角が上がっていることとポジティブな感情とを対応付け、ニュートラルな表情に対して口角が下がっていることとネガティブな感情とを対応付ける。対応付けデータは、ニュートラルな表情との相違の度合と、感情の度合とをさらに対応付けてよい。例えば、対応付けデータは、ニュートラルな表情に対して、より口角が上がっているほど、より高い度合を対応付ける。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の画像、ニュートラルな表情の画像、及び当該対応付けデータを用いて、感情のパターンのいずれかと、感情の度合とを特定することにより、搭乗者の感情の推定結果とする。
【００２０】
人間の感情のパターンとして、例えば、人間の感情を活性度（Ａｒｏｕｓａｌ）と覚醒度（Ｖａｌｅｎｃｅ）の２軸で表し、感情の度合いを原点からの距離で表すラッセル（Ｒｕｓｓｅｌｌ）の円環モデルに基づく感情のパターンを採用し得る。また、例えば、人間の感情を、８つの基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待）と、隣り合う２つの感情の組み合わせによる応用感情とに分類したプルチック（Ｐｌｕｔｃｈｉｋ）の感情の輪に基づく感情のパターンを採用し得る。これらに限らず、本実施形態に係る情報処理装置２００は、任意の感情のパターンを採用し得る。
【００２１】
情報処理装置２００は、ニュートラルな表情の画像を用いるのではなく、搭乗者が複数の種類の感情のそれぞれを抱いているときの顔画像を格納しておき、その後にカメラ１１０によって撮像された搭乗者の顔画像と、格納している複数の顔画像とを比較することによって、搭乗者の感情を推定してもよい。例えば、情報処理装置２００は、格納している複数の顔画像のうち、カメラ１１０によって撮像された搭乗者の顔画像に最も類似する顔画像を特定し、特定した顔画像に対応する感情の種類を、搭乗者の感情の種類の推定結果とする。また、情報処理装置２００は、カメラ１１０によって撮像された搭乗者の顔画像と、当該顔画像に最も類似する顔画像との類似度に応じた度合を、搭乗者の感情の度合の推定結果としてよい。
【００２２】
情報処理装置２００は、予め格納した画像を用いるのではなく、搭乗者の顔画像の変動等に基づいて、搭乗者の感情を推定してもよい。人物の顔画像から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、当該様々な技術のうちの任意の技術を採用し得る。
【００２３】
搭乗者が複数の種類の感情のそれぞれを抱いているときの顔画像を用いた感情推定処理を行うためには、このような顔画像を予め取得して格納しておく必要がある。ニュートラルな表情を用いた感情推定処理を行う場合も、例えば、搭乗者が驚いた場合に、ニュートラルな表情に対して顔のどの部分がどのように変化するかを解析しておくことが望ましく、搭乗者が驚いたときの顔画像を予め取得できることが望ましい。
【００２４】
しかし、例えば、搭乗者が驚いたときの顔画像を取得しようとしても、搭乗者が自発的に驚くことはできず、取得することが容易でない場合がある。他の感情の顔画像も同様であり、搭乗者が複数の種類の感情のそれぞれを抱いているときの顔画像を取得することは、容易でない場合がある。
【００２５】
本実施形態に係る情報処理装置２００は、搭乗者がある特定の感情を抱いているときの顔画像を収集する機能を有してよい。情報処理装置２００は、例えば、急ブレーキ、急加速、及びエアバッグ作動時等、搭乗者の驚きが予想されるような車両１００の状況を予め登録しておく。そして、情報処理装置２００は、車両１００の状況を監視して、車両１００の状況が登録されている状況と一致したときにカメラ１１０によって撮像された搭乗者の顔画像を、驚きの感情と対応付けて格納する。これにより、搭乗者が驚いているときの搭乗者の顔画像を効率的に収集することができる。また、収集した顔画像を用いることによって、搭乗者が驚いたことを高い精度で検出することを可能とする。
【００２６】
本実施形態に係る情報処理装置２００は、搭乗者が驚いたことを検出する機能を用いて、搭乗者が車両１００を利用する際の利便性を向上する機能を有してよい。例えば、車両１００側が行う制御の中に、運転者５２に驚きをもたらすものがある。そのような制御が行われた後、運転者５２の驚きを検出した場合、情報処理装置２００は、その制御の内容を説明する説明情報を出力する。情報処理装置２００は、そのような制御が行われた後、運転者５２の驚きを検出しなかった場合、説明情報を出力しない。
【００２７】
具体例として、情報処理装置２００は、車両１００によってＡＢＳが実行された後、運転者５２の驚きを検出した場合に、「ＡＢＳが作動しました」という説明情報を音声出力し、運転者５２の驚きを検出しなかった場合には、説明情報を出力しない。これにより、ＡＢＳに慣れていない運転者５２に対して説明情報を出力することで、運転者５２を安心させることができる。また、ＡＢＳに慣れている運転者５２に対して、説明情報を出力してしまうことによって、煩わしさを感じさせてしまうことを防止できる。
【００２８】
情報処理装置２００は、収集した搭乗者の顔画像を、他の車両１００等と共有してもよい。例えば、情報処理装置２００は、車両１００に搭乗した搭乗者の識別情報を取得しておき、搭乗者の顔画像と感情とを対応付けて格納するときに、識別情報も併せて対応付けて格納する。そして、情報処理装置２００は、対応付けて格納している識別情報、顔画像、及び感情を、ネットワーク１０を介して情報管理サーバ３００に送信する。
【００２９】
搭乗者の識別情報は、例えば、情報管理サーバ３００によって割り振られるユーザＩＤである。搭乗者を識別可能な識別情報は、例えば搭乗者が所有する携帯電話の番号等、搭乗者を識別することができれば、どのような情報であってもよい。
【００３０】
ネットワーク１０は、任意のネットワークであってよい。例えば、ネットワーク１０は、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）通信システム、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）通信システム、及び５Ｇ（５ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）通信システム等の移動体通信システムを含んでよい。ネットワーク１０は、インターネット、公衆無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、及び任意の専用網等を含んでもよい。
【００３１】
情報管理サーバ３００は、複数の情報処理装置２００から収集した識別情報、顔画像及び感情を登録しておく。情報管理サーバ３００は、例えば、識別情報を含む要求を受信した場合であって、当該識別情報に対応する顔画像及び感情が登録されている場合に、要求の送信元に対して、顔画像及び感情を送信する。要求の送信元は、例えば、車両１００の情報処理装置２００である。情報処理装置２００は、例えば、情報処理装置２００を搭載している車両１００に搭乗者が搭乗した場合に、当該搭乗者の識別情報を取得して、識別情報を含む要求を情報管理サーバ３００に送信し、情報管理サーバ３００から顔画像及び感情を受信する。要求の送信元は、人物の顔画像に基づく感情推定処理を実行する装置であれば、任意の装置であり得る。
【００３２】
図２は、車両１００の構成の一例を概略的に示す。図２に示す各種構成は、車両１００が備えるナビゲーションシステムの一部であってもよい。
【００３３】
車両１００は、カメラ１１０を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能なカメラ１１０を備える場合を例示する。図２において例示する画角１１２が示すように、カメラ１１０によれば、運転席１６２、助手席１６４、及び後部座席１６６の搭乗者を撮像可能である。図２におけるカメラ１１０の配置は例示であり、カメラ１１０は、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能であれば任意の場所に配置されてよい。なお、車両１００は、運転席１６２、助手席１６４、及び後部座席１６６のそれぞれを撮像する複数のカメラ１１０を備えてもよい。
【００３４】
車両１００は、マイク１２２を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するマイク１２２を備える場合を例示する。図２におけるマイク１２２の配置は例示であり、マイク１２２は、運転席１６２、助手席１６４及び後部座席１６６のすべての搭乗者の音声を拾うことができれば、任意の場所に配置されてよい。車両１００は、複数のマイク１２２を備えてもよい。複数のマイク１２２は、例えば、運転席１６２用のマイク１２２、助手席１６４用のマイク１２２、及び後部座席１６６用のマイク１２２を含む。
【００３５】
車両１００は、スピーカ１２４を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するスピーカ１２４を備える場合を例示する。図２におけるスピーカ１２４の配置は例示であり、スピーカ１２４は、任意の場所に配置されてよい。車両１００は、複数のスピーカ１２４を備えてもよい。
【００３６】
車両１００は、ディスプレイ１３０を備える。図２におけるディスプレイ１３０の配置は例示であり、ディスプレイ１３０は、主に運転席１６２及び助手席１６４から閲覧可能であれば、任意の場所に配置されてよい。ディスプレイ１３０は、タッチパネルディスプレイであってよい。車両１００は、複数のディスプレイ１３０を備えてもよい。例えば、車両１００は、運転席１６２及び助手席１６４用のディスプレイ１３０と、後部座席１６６用のディスプレイ１３０とを備える。
【００３７】
車両１００は、無線通信アンテナ１４２を備える。無線通信アンテナ１４２は、ネットワーク１０上の装置と通信するためのアンテナであってよい。車両１００は、例えば、無線通信アンテナ１４２によって、移動体通信システムにおける無線基地局及び無線ルータ等を介してネットワーク１０上の装置と通信する。なお、無線通信アンテナ１４２は、車車間通信及び路車間通信等を行うためのアンテナであってもよく、車両１００は、車車間通信及び路車間通信等を介して、ネットワーク１０上の装置と通信してもよい。
【００３８】
車両１００は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）アンテナ１４４を備える。ＧＰＳアンテナ１４４は、ＧＰＳ衛星から位置測定用の電波を受信する。車両１００は、ＧＰＳアンテナ１４４が受信する位置測定用の電波を用いて、車両１００の現在地を測位してよい。車両１００は、さらに自立航法による測位を組み合わせることによって、車両１００の現在地を測位してもよい。車両１００は、公知の任意の測位技術を用いて、車両１００の現在地を測位してよい。
【００３９】
車両１００は、車両１００の搭乗者の生体情報を検知可能な不図示のセンサを備えてもよい。当該センサは、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置され、搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を検知する。車両１００は、搭乗者が身に着けているウェアラブルデバイスと通信接続する近距離無線通信部を備えていてもよく、ウェアラブルデバイスによって検知された搭乗者の生体情報を、当該ウェアラブルデバイスから受信してもよい。近距離無線通信部は、例えば、Ｂｌｕｅｔｏｏｔｈ等によってウェアラブルデバイスと通信接続する。
【００４０】
上述の各種構成は、情報処理装置２００が備えてもよい。情報処理装置２００は、車両１００が備えるナビゲーションシステムと一体であってよく、また、別体であってもよい。
【００４１】
車両１００は、エアバッグ１７０を備える。車両１００は、運転席１６２用のエアバッグ１７０を備えてよい。また、車両１００は、助手席１６４用のエアバッグ１７０を備えてよい。図２では、運転席１６２及び助手席１６４の正面にエアバッグ１７０が配置された例を示しているが、車両１００は、例えば、エアバッグ１７０は、運転席１６２の横及び助手席１６４の横にさらに配置されてもよい。
【００４２】
図３は、情報処理装置２００の機能構成の一例を概略的に示す。情報処理装置２００は、画像取得部２０２、音声取得部２０４、センサ情報取得部２０６、対応付情報格納部２１２、状況取得部２１４、格納実行部２１６、画像格納部２１８、識別情報取得部２２０、画像送信部２２２、感情推定部２３０、制御内容取得部２４０、及び出力制御部２４２を備える。なお、情報処理装置２００がこれらのすべての構成を備えることは必須とは限らない。
【００４３】
画像取得部２０２は、車両１００の搭乗者の画像を取得する。画像取得部２０２は、車両１００の撮像部によって撮像された搭乗者の画像を取得する。画像取得部２０２は、１００の撮像部によって撮像される搭乗者の画像を継続的に取得してよい。
【００４４】
音声取得部２０４は、車両１００の搭乗者の音声を取得する。音声取得部２０４は、車両１００のマイク１２２から入力された搭乗者の音声を取得する。音声取得部２０４は、車両１００のマイク１２２から搭乗者の音声を継続的に取得してよい。
【００４５】
センサ情報取得部２０６は、センサによって検知された車両１００の搭乗者の生体情報を取得する。センサ情報取得部２０６は、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置されたセンサによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該センサから取得する。また、センサ情報取得部２０６は、例えば、搭乗者が身に着けているウェアラブルデバイスによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該ウェアラブルデバイスから取得する。
【００４６】
対応付情報格納部２１２は、車両１００の複数の状況のそれぞれに対して感情の種類を対応付けた対応付情報を格納する。対応付情報格納部２１２は、車両１００の複数の状況のそれぞれに対して、車両１００がそれぞれの状況である場合に当該車両１００の搭乗者が抱く可能性が高い感情の種類を対応付けた対応付情報を格納する。例えば、対応付情報は、自動運転による急ブレーキと搭乗者の驚きの感情とを対応付ける。対応付情報は、状況によって、運転者５２と同乗者５４とを区別して、感情の種類を対応付けてもよい。例えば、対応付情報は、運転者５２による急ブレーキに対して、運転者５２の驚きの感情は対応付けず、同乗者５４の驚きの感情を対応付ける。
【００４７】
また、例えば、対応付情報は、自動運転による急加速と搭乗者の驚きの感情とを対応付ける。また、例えば、対応付情報は、運転者５２による急加速と同乗者５４の驚きの感情とを対応付ける。また、例えば、対応付情報は、エアバッグの作動と搭乗者の驚きの感情とを対応付ける。また、例えば、対応付情報は、車両１００が県境のような地域の境目を通過する状況と、搭乗者の興奮の感情とを対応付ける。
【００４８】
状況取得部２１４は、車両の状況を取得する。状況取得部２１４は、例えば、車両１００のナビゲーションシステムによって管理されている車両１００の状況を、ナビゲーションシステムから取得する。車両１００のナビゲーションシステムは、車両１００の位置情報、車両１００が走行している周辺の道路データ、車両１００の速度、加速度、ステアリングの操作状態、及びブレーキの操作状態等から、車両１００の状況を判定してよい。車両１００の状況の判定は、状況取得部２１４によって行われてもよい。状況取得部２１４は、車両１００のナビゲーションシステムから受信した情報を用いて、車両１００の状況を判定してよい。
【００４９】
車両１００の状況は、例えば、車両１００の走行速度に関する情報を含む。車両１００の走行速度に関する情報は、例えば、車両１００が通常速度で走行していること、車両１００が加速していること、車両１００が急加速したこと、急ブレーキが行われたこと、及び車両１００が急停止したこと等を含む。車両１００が自動運転可能な自動車である場合、車両１００の状況は、車両１００が自動運転中であるか、手動運転中であるかを含んでよい。
【００５０】
格納実行部２１６は、車両１００の状況が、予め定められた複数の状況のうちのいずれかと一致した場合に、車両１００が当該状況であるときに車両１００の撮像部によって撮像された車両１００の搭乗者の顔画像を、予め定められた感情の種類に対応付けて画像格納部２１８に格納する。予め定められた複数の状況は、例えば、急ブレーキ、急加速、及びエアバッグの作動等を含み、予め定められた感情の種類は、驚きの感情であってよい。
【００５１】
格納実行部２１６は、車両１００の状況が、対応付情報格納部２１２に格納されている対応付情報に含まれる複数の状況のいずれかと一致した場合に、車両１００が当該状況であるときに車両１００の撮像部によって撮像された車両１００の搭乗者の顔画像を、当該状況に対応する感情に対応付けて画像格納部２１８に格納してもよい。
【００５２】
格納実行部２１６は、例えば、車両１００において運転者５２による急ブレーキが行われた場合に、急ブレーキが行われたときに撮像部によって撮像された車両１００の同乗者５４の顔画像を、驚きの感情に対応付けて画像格納部２１８に格納する。また、格納実行部２１６は、車両１００において自動ブレーキによる急ブレーキが行われた場合に、急ブレーキが行われたときに撮像部によって撮像された車両１００の搭乗者の顔画像を、驚きの感情に対応付けて画像格納部２１８に格納する。自動ブレーキによる急ブレーキが行われた場合、運転者５２も同乗者５４も驚く可能性が高いが、運転者５２によって急ブレーキが行われた場合、同乗者５４のみが驚く可能性が高いといえる。本実施形態に係る格納実行部２１６は、このように、急ブレーキの実行主体の違いによって顔画像を格納する対象を選択することによって、驚いていないときの運転者５２の表情の顔画像を驚きの感情と対応付けて格納してしまう可能性を低減することができ、収集する顔画像の正確性を高めることができる。
【００５３】
また、格納実行部２１６は、例えば、車両１００において運転者による急加速が行われた場合に、急加速が行われたときに撮像部によって撮像された車両１００の同乗者の顔画像を、驚きの感情に対応付けて画像格納部２１８に格納する。また、例えば、格納実行部２１６は、車両１００において自動運転による急加速が行われた場合に、急加速が行われたときに撮像部によって撮像された車両１００の搭乗者の顔画像を、驚きの感情に対応付けて画像格納部２１８に格納する。自動運転による急加速が行われた場合、運転者５２も同乗者５４も驚く可能性が高いが、運転者５２によって急加速が行われた場合、同乗者５４のみが驚く可能性が高いといえる。本実施形態に係る格納実行部２１６は、このように、急加速の実行主体の違いによって顔画像を格納する対象を選択することによって、驚いていないときの運転者５２の表情の顔画像を驚きの感情と対応付けて格納してしまう可能性を低減することができ、収集する顔画像の正確性を高めることができる。
【００５４】
また、格納実行部２１６は、例えば、車両１００においてエアバッグが作動したときに撮像部によって撮像された車両１００の搭乗者の顔画像を、驚きの感情に対応付けて画像格納部２１８に格納する。これにより、搭乗者が驚いているときの顔画像を高い確率で取得することができる。
【００５５】
識別情報取得部２２０は、車両１００の搭乗者の識別情報を取得する。識別情報取得部２２０は、例えば、画像取得部２０２によって取得される搭乗者の顔画像に対して人物認識技術を適用することによって人物を特定し、特定した人物の識別情報を取得する。また、識別情報取得部２２０は、例えば、音声取得部２０４によって取得される搭乗者の音声に対して話者認識技術を適用することによって人物を特定し、特定した人物の識別情報を取得する。識別情報取得部２２０は、搭乗者が所有する携帯通信端末から、近距離無線通信を介して、搭乗者の識別情報を受信してもよい。格納実行部２１６は、搭乗者の顔画像と感情の種類とを対応付けて画像格納部２１８に格納するときに、搭乗者の識別情報をあわせて対応付けて画像格納部２１８に格納してもよい。
【００５６】
画像送信部２２２は、画像格納部２１８に対応付けて格納されている識別情報、顔画像及び感情の種類を、情報管理サーバ３００に送信する。画像送信部２２２は、識別情報、顔画像及び感情の種類を、ネットワーク１０を介して情報管理サーバ３００に送信してよい。これにより、感情の種類を対応付けた顔画像を複数の車両１００の間で共有することができ、複数の車両１００全体における感情推定精度の向上に貢献することができる。
【００５７】
感情推定部２３０は、感情推定処理を実行して搭乗者の感情を推定する。感情推定部２３０は、感情推定処理を実行して搭乗者の感情の種類及び度合を推定してよい。感情推定部２３０は、画像取得部２０２によって取得された搭乗者の顔画像を用いた感情推定処理を実行してよい。感情推定部２３０は、画像格納部２１８に対応付けて格納されている搭乗者の顔画像及び感情の種類を用いて、感情推定処理を実行してよい。
【００５８】
感情推定部２３０は、音声取得部２０４によって取得された搭乗者の音声を用いた感情推定処理を実行可能であってもよい。感情推定部２３０は、例えば、音声自体の特徴量に基づく感情推定処理を実行する。音声自体の特徴量としては、音声の大きさ、トーン、スペクトル、及び基本周波数等が例示できる。感情推定部２３０は、音声を音声認識した結果の文字列に基づく感情推定処理を実行してもよい。また、感情推定部２３０は、音声自体の特徴量と、音声を音声認識した結果の文字列との両方に基づく感情推定処理を実行してもよい。車両１００が複数の搭乗者のそれぞれの音声を拾う複数のマイクを備えている場合、感情推定部２３０は、マイクの違いによって、話者を識別してよい。一つのマイクによって複数の搭乗者の音声を拾う場合、感情推定部２３０は、公知の話者識別機能を用いることによって、話者を識別してよい。公知の話者識別機能としては、音声の特徴量を用いる方法、音声の取得方向から判定する方法等が知られている。人物の音声から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、感情推定部２３０は、当該様々な技術のうちの任意の技術を採用し得る。
【００５９】
また、感情推定部２３０は、センサ情報取得部２０６によって取得された複数種類の生体情報を用いた感情推定処理を実行可能であってよい。感情推定部２３０は、例えば、搭乗者の心拍、脈拍、発汗、血圧、及び体温等を用いた感情推定処理を実行する。人物の心拍、脈拍、発汗、血圧、及び体温等から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、情報処理装置２００は、当該様々な技術のうちの任意の技術を採用し得る。
【００６０】
制御内容取得部２４０は、車両１００によって実行された制御の内容を取得する。出力制御部２４２は、制御内容取得部２４０によって取得された制御の内容が、予め定められた制御であり、制御が実行されたときに感情推定部２３０によって推定された搭乗者の感情が驚きの感情である場合に、当該制御に関する説明情報を出力するよう制御する。出力制御部２４２は、運転者５２の感情が驚きであるか否かを判定して、運転者５２の感情が驚きの感情である場合に、当該制御に関する説明情報を出力するよう制御してよい。また、出力制御部２４２は、すべての搭乗者の感情が驚きであるか否かを判定して、搭乗者のうちいずれか１人の搭乗者の感情が驚きである場合に、当該制御に関する説明情報を出力するよう制御してもよい。また、出力制御部２４２は、すべての搭乗者の感情が驚きである場合に、当該制御に関する説明情報を出力するよう制御してもよい。
【００６１】
予め定められた制御は、車両１００が予め定められた制御を実行した場合に、車両１００の搭乗者が驚く可能性がある制御として予め登録された制御であってよい。予め定められた制御は、例えば、ＡＢＳ（Ａｎｔｉｌｏｃｋ  Ｂｒａｋｅ  Ｓｙｓｔｅｍ）である。また、予め定められた制御は、例えば、ＥＳＣ（Ｅｌｅｃｔｒｉｃ  Ｓｔａｂｉｌｉｔｙ  Ｃｏｎｔｒｏｌ）である。ＥＳＣは、様々な名称で呼ばれることがあり、例えば、ＶＳＡ（Ｖｅｈｉｃｌｅ  Ｓｔａｂｉｌｉｔｙ  Ａｓｓｉｓｔ）等と呼ばれる。本実施形態において、ＥＳＣは、このような様々な名称で呼ばれるものをすべて含んでよい。
【００６２】
予め定められた制御は、例えば、衝突の回避及び被害の軽減の少なくともいずれかを図る制御である。このような制御として、いわゆる衝突被害軽減ブレーキ等が知られている。衝突被害軽減ブレーキは、様々な名称で呼ばれることが有り、例えば、ＣＭＢＳ（Ｃｏｌｌｉｓｉｏｎ  Ｍｉｔｉｇａｔｉｏｎ  Ｂｒａｋｅ  Ｓｙｓｔｅｍ）等と呼ばれる、本実施形態において、衝突の回避及び被害の軽減の少なくともいずれかを図る制御は、このような様々な名称で呼ばれるものをすべて含んでよい。
【００６３】
予め定められた制御は、その他、ヒルスタート、シートベルトリマインダ、自動ロック、アラーム、速度リミッタ、及びアイドリングストップ等であってよい。
【００６４】
予め定められた制御のそれぞれには、説明情報が対応付けられる。予め定められた制御のそれぞれには、説明情報が１つ対応付けられてよい。また、予め定められた制御のそれぞれには、詳細度の異なる複数の説明情報が対応付けられてもよい。
【００６５】
例えば、ＡＢＳには、「ＡＢＳが作動しました」という説明情報が対応付けられる。また、例えば、ＡＢＳには、「ＡＢＳが作動しました」という説明情報と、当該説明情報よりも詳細な「ブレーキをかけたとき車輪がロックしないよう、車速と車輪回転速度を検出してブレーキを自動的にコントロールするシステムであるＡＢＳが作動しました」という説明情報とが対応付けられる。
【００６６】
出力制御部２４２は、例えば、説明情報を、スピーカ１２４に音声出力させる。また、出力制御部２４２は、例えば、説明情報を、ディスプレイ１３０に表示出力させる。出力制御部２４２は、制御が実行されたときに感情推定部２３０によって推定された搭乗者の感情が驚きの感情でない場合、説明情報を出力するように制御しない。すなわち、制御が実行されたときに感情推定部２３０によって推定された搭乗者の感情が驚きの感情でない場合、説明情報は出力されない。
【００６７】
出力制御部２４２は、制御内容取得部２４０によって取得された制御の内容が、予め定められた制御であり、制御が実行されたときに感情推定部２３０によって推定された搭乗者の感情が驚きの感情であることに加えて、驚きの感情の度合が予め定められた閾値より高い場合に、当該制御に関する説明情報を出力するように制御してもよい。この場合、出力制御部２４２は、制御内容取得部２４０によって取得された制御の内容が、予め定められた制御であり、制御が実行されたときに感情推定部２３０によって推定された搭乗者の感情が驚きの感情であっても、驚きの感情の度合が予め定められた閾値より低い場合、説明情報を出力するように制御しない。これにより、驚きが非常に少ないような場合に、説明情報を出力してしまって、搭乗者に煩わしいと感じさせてしまう可能性を低減することができる。
【００６８】
出力制御部２４２は、制御内容取得部２４０によって取得された制御の内容が、予め定められた制御であり、制御が実行されたときに感情推定部２３０によって推定された搭乗者の感情が驚きの感情である場合に、当該制御に関する第１の説明情報を出力するよう制御し、第１の説明情報が出力された後、感情推定部２３０によって推定された搭乗者の感情が困惑の感情である場合に、第１の説明情報よりも詳細な第２の情報を出力するよう制御してよい。これにより、出力された説明情報を搭乗者が理解できなかった場合に、より詳細な説明情報を出力することにより、搭乗者を安心させることができる。
【００６９】
図４は、情報処理装置２００による処理の流れの一例を概略的に示す。図４は、情報処理装置２００が、車両１００の状況を監視しながら、状況に応じて搭乗者の顔画像を格納する処理の流れを説明する。
【００７０】
ステップ（ステップをＳと省略して記載する場合がある。）１０２では、状況取得部２１４が、車両１００の状況を取得する。Ｓ１０４では、格納実行部２１６が、Ｓ１０２において取得された車両１００の状況が、対応付情報格納部２１２に格納されている対応付情報に含まれる複数の状況のいずれかと一致するか否かを判定する。一致すると判定した場合、Ｓ１０６に進み、一致しないと判定した場合、Ｓ１０２に戻る。
【００７１】
Ｓ１０６では、格納実行部２１６が、車両１００が、Ｓ１０２において取得した状況であるときに車両１００の撮像部によって撮像された車両１００の搭乗者の顔画像を、当該状況に対応する感情の種類に対応付けて、画像格納部２１８に格納する。そして、Ｓ１０２に戻る。
【００７２】
図４に示す処理は、車両１００の状況の監視を停止するまで継続されてよい。情報処理装置２００は、例えば、搭乗者によって停止が指示された場合、車両１００のエンジンが停止した場合、車両１００の電源がオフにされた場合等に、図４に示す処理を終了する。
【００７３】
図５は、情報処理装置２００による処理の流れの一例を概略的に示す。図５は、制御内容取得部２４０が、車両１００によって実行された制御の内容を取得した場合の、出力制御部２４２の処理内容を説明する。
【００７４】
Ｓ２０２では、制御内容取得部２４０が、車両１００によって実行された制御の内容を取得する。Ｓ２０４では、出力制御部２４２が、Ｓ２０２において取得された制御の内容が予め定められた制御であるか否かを判定する。予め定められた制御であると判定した場合、Ｓ２０６に進み、予め定められた制御でないと判定した場合、処理を終了する。
【００７５】
Ｓ２０６では、出力制御部２４２が、Ｓ２０２において取得された制御が実行されたときに感情推定部２３０によって推定された搭乗者の感情が驚きの感情であるか否かを判定する。驚きの感情であると判定した場合、Ｓ２０８に進み、驚きの感情であると判定しなかった場合、Ｓ２０８に進む。Ｓ２０８では、出力制御部２４２が、Ｓ２０２において取得された制御に対応する説明情報を出力するよう制御する。そして、処理を終了する。
【００７６】
図６は、情報管理サーバ３００の機能構成の一例を概略的に示す。情報管理サーバ３００は、顔画像受信部３０２、顔画像格納部３０４、要求受信部３０６、及び顔画像送信部３０８を備える。
【００７７】
顔画像受信部３０２は、複数の情報処理装置２００から、ネットワーク１０を介して、識別情報及び感情の種類が対応付けられた顔画像を受信する。顔画像格納部３０４は、顔画像受信部３０２が受信した顔画像を格納する。
【００７８】
要求受信部３０６は、識別情報を含む、顔画像の要求を受信する。顔画像送信部３０８は、要求受信部３０６が要求を受信した場合に、要求に含まれる識別情報に対応する顔画像が顔画像格納部３０４に格納されているか否かを判定し、格納されている場合に、要求の送信元に、対応付けられている感情の種類とともに顔画像を送信する。
【００７９】
図７は、情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、上記実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、上記実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
【００８０】
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ−ＲＯＭドライブ及びＤＶＤ−ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びタッチパネルのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。
【００８１】
ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。コンピュータ１２００は、ディスプレイデバイス１２１８を備えていなくてもよく、その場合、グラフィックコントローラ１２１６は、イメージデータが外部のディスプレイデバイスに表示されるようにする。
【００８２】
通信インタフェース１２２２は、無線通信ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ−ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
【００８３】
ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、ＵＳＢポート等を介して、様々な入出力ユニットを入出力コントローラ１２２０に接続してよい。
【００８４】
プログラムは、ＤＶＤ−ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【００８５】
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ−ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【００８６】
また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ−ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【００８７】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【００８８】
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
【００８９】
上記実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【００９０】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【００９１】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
【００９２】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【００９３】
上記実施形態では、移動体の例として車両１００を挙げて説明したが、これに限らない。移動体は、例えば、電車、飛行機、及び船舶等であってよい。対応付情報格納部２１２は、移動体の種類に応じて、移動体の複数の状況のそれぞれに対して感情の種類を対応付けた対応付情報を格納してよい。また、予め定められた制御として、移動体が予め定められた制御を実行した場合に移動体の搭乗者が驚く可能性がある制御が登録されてよい。
【００９４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９５】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９６】
１０  ネットワーク、５２  運転者、５４  同乗者、１００  車両、１１０  カメラ、１１２  画角、１２２  マイク、１２４  スピーカ、１３０  ディスプレイ、１４２  無線通信アンテナ、１４４  ＧＰＳアンテナ、１５０  ハンドル、１６２  運転席、１６４  助手席、１６６  後部座席、１７０  エアバッグ、２００  情報処理装置、２０２  画像取得部、２０４  音声取得部、２０６  センサ情報取得部、２１２  対応付情報格納部、２１４  状況取得部、２１６  格納実行部、２１８  画像格納部、２２０  識別情報取得部、２２２  画像送信部、２３０  感情推定部、２４０  制御内容取得部、２４２  出力制御部、３００  情報管理サーバ、３０２  顔画像受信部、３０４  顔画像格納部、３０６  要求受信部、３０８  顔画像送信部、１２００  コンピュータ、１２１０  ホストコントローラ、１２１２  ＣＰＵ、１２１４  ＲＡＭ、１２１６  グラフィックコントローラ、１２１８  ディスプレイデバイス、１２２０  入出力コントローラ、１２２２  通信インタフェース、１２２４  記憶装置、１２２６  ＤＶＤドライブ、１２２７  ＤＶＤ−ＲＯＭ、１２３０  ＲＯＭ、１２４０  入出力チップ
【図１】
2020095502.tif 000003
【図２】
2020095502.tif 000004
【図３】
2020095502.tif 000005
【図４】
2020095502.tif 000006
【図５】
2020095502.tif 000007
【図６】
2020095502.tif 000008
【図７】
2020095502.tif 000009