(57)【要約】【課題】顔画像に基づく感情推定処理の推定精度の低下を抑制可能な技術を提供することが望ましい。【解決手段】移動体に搭載された撮像部によって撮像された移動体の複数の搭乗者の顔画像に基づいて複数の搭乗者の感情の種類及び度合を推定する感情推定部と、感情推定部によって継続的に推定された複数の搭乗者の感情の種類及び度合に基づいて、複数の搭乗者の感情の変化を取得する感情変化取得部と、複数の搭乗者の感情の変化に基づいて、複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定する搭乗者特定部とを備える情報処理装置を提供する。【選択図】図３
2020109578.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された撮像部によって撮像された前記移動体の複数の搭乗者の顔画像に基づいて前記複数の搭乗者の感情の種類及び度合を推定する感情推定部と、
前記感情推定部によって継続的に推定された前記複数の搭乗者の感情の種類及び度合に基づいて、前記複数の搭乗者の感情の変化を取得する感情変化取得部と、
前記複数の搭乗者の感情の変化に基づいて、前記複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定する搭乗者特定部と
を備える情報処理装置。
【請求項２】
前記搭乗者特定部は、前記複数の搭乗者の第１の種類の感情の度合が高まったときであって、前記第１の種類の感情の度合の変化量が他の複数の搭乗者よりも少ない搭乗者を、感情が表情に表れにくい低相関搭乗者として特定する、請求項１に記載の情報処理装置。
【請求項３】
前記感情推定部が前記低相関搭乗者の顔画像に基づいて前記低相関搭乗者の感情の種類及び度合を導出する場合に、感情が表情に表れにくくない搭乗者の感情の種類及び度合を導出する場合と比較して、前記度合が大きくなるように前記感情推定部に前記低相関搭乗者の感情の種類及び度合を導出させる感情推定制御部
を備える、請求項２に記載の情報処理装置。
【請求項４】
前記感情推定部が前記低相関搭乗者の感情の種類及び度合を導出する場合に、前記低相関搭乗者の顔画像及び前記低相関搭乗者の音声に基づいて、前記感情の種類及び前記度合を導出させる感情推定制御部
を備える、請求項２に記載の情報処理装置。
【請求項５】
前記感情推定部は、前記移動体の複数の搭乗者の顔画像及び音声に基づいて前記複数の搭乗者の感情の種類及び度合を導出し、
前記情報処理装置は、
前記感情推定部が前記低相関搭乗者の顔画像及び音声に基づいて前記低相関搭乗者の感情の種類及び度合を導出する場合に、前記感情推定部に、感情が表情に表れにくくない搭乗者の感情の種類及び度合を導出する場合と比較して音声の重みを重くして前記低相関搭乗者の感情の種類及び度合を導出させる感情推定制御部
を備える、請求項２に記載の情報処理装置。
【請求項６】
前記搭乗者特定部は、前記複数の搭乗者のうち、他の複数の搭乗者の第１の種類の感情の度合いが高まったときに、前記第１の種類の感情の度合いが変化せずに、他の種類の感情の度合いが変化した搭乗者を、感情と表情とが対応しない非相関搭乗者として特定する、請求項１から５のいずれか一項に記載の情報処理装置。
【請求項７】
前記感情推定部が前記非相関搭乗者の感情の種類及び度合を導出する場合に、前記感情推定部に、前記非相関搭乗者の音声に基づいて前記非相関搭乗者の感情の種類及び度合を導出させる感情推定制御部
を備える、請求項６に記載の情報処理装置。
【請求項８】
前記感情推定制御部は、前記感情推定部が前記非相関搭乗者の感情の種類及び度合を導出する場合に、前記感情推定部に、前記非相関搭乗者の顔画像を用いず、前記非相関搭乗者の音声に基づいて前記非相関搭乗者の感情の種類及び度合を導出させる、請求項７に記載の情報処理装置。
【請求項９】
前記感情推定部は、前記移動体の複数の搭乗者の顔画像及び音声に基づいて前記複数の搭乗者の感情の種類及び度合を導出し、
前記情報処理装置は、
前記感情推定部が前記非相関搭乗者の顔画像及び音声に基づいて前記非相関搭乗者の感情の種類及び度合を導出する場合に、前記感情推定部に、感情が表情に表れにくくない搭乗者の感情の種類及び度合を導出する場合と比較して音声の重みを重くして前記非相関搭乗者の感情の種類及び度合を導出させる感情推定制御部
を備える、請求項７に記載の情報処理装置。
【請求項１０】
前記撮像部によって継続的に撮像された前記複数の搭乗者の顔画像に基づいて、前記複数の搭乗者の表情の変化を取得する表情変化取得部
を備え、
前記搭乗者特定部は、前記複数の搭乗者の表情の変化に基づいて、他の複数の搭乗者よりも表情の変化量が少ない搭乗者を特定する、請求項１から９のいずれか一項に記載の情報処理装置。
【請求項１１】
前記移動体は車両であり、
前記情報処理装置は、
前記移動体の走行状況を取得する走行状況取得部
を備え、
前記搭乗者特定部は、前記複数の搭乗者の感情の変化と、前記移動体の走行状況とに基づいて、前記複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定する、請求項１から１０のいずれか一項に記載の情報処理装置。
【請求項１２】
コンピュータを、請求項１から１１のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
車両の搭乗者の顔画像に基づいて搭乗者の感情を推定する感情推定処理を実行する装置が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８−１０６５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
顔画像に基づく感情推定処理の推定精度の低下を抑制可能な技術を提供することが望ましい。
【課題を解決するための手段】
【０００４】
本発明の第１の態様によれば、情報処理装置が提供される。情報処理装置は、移動体に搭載された撮像部によって撮像された移動体の複数の搭乗者の顔画像に基づいて複数の搭乗者の感情の種類及び度合を推定する感情推定部を備えてよい。情報処理装置は、感情推定部によって継続的に推定された複数の搭乗者の感情の種類及び度合に基づいて、複数の搭乗者の感情の変化を取得する感情変化取得部を備えてよい。情報処理装置は、複数の搭乗者の感情の変化に基づいて、複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定する搭乗者特定部を備えてよい。
【０００５】
上記搭乗者特定部は、上記複数の搭乗者の第１の種類の感情の度合が高まったときであって、上記第１の種類の感情の度合の変化量が他の複数の搭乗者よりも少ない搭乗者を、感情が表情に表れにくい低相関搭乗者として特定してよい。上記情報処理装置は、上記感情推定部が上記低相関搭乗者の顔画像に基づいて上記低相関搭乗者の感情の種類及び度合を導出する場合に、感情が表情に表れにくくない搭乗者の感情の種類及び度合を導出する場合と比較して、上記度合が大きくなるように上記感情推定部に上記低相関搭乗者の感情の種類及び度合を導出させる感情推定制御部を備えてよい。上記情報処理装置は、上記感情推定部が上記低相関搭乗者の感情の種類及び度合を導出する場合に、上記低相関搭乗者の顔画像及び上記低相関搭乗者の音声に基づいて、上記感情の種類及び上記度合を導出させる感情推定制御部を備えてよい。上記感情推定部は、上記移動体の複数の搭乗者の顔画像及び音声に基づいて上記複数の搭乗者の感情の種類及び度合を導出してよく、上記情報処理装置は、上記感情推定部が上記低相関搭乗者の顔画像及び音声に基づいて上記低相関搭乗者の感情の種類及び度合を導出する場合に、上記感情推定部に、感情が表情に表れにくくない搭乗者の感情の種類及び度合を導出する場合と比較して音声の重みを重くして上記低相関搭乗者の感情の種類及び度合を導出させる感情推定制御部を備えてよい。
【０００６】
上記搭乗者特定部は、上記複数の搭乗者のうち、他の複数の搭乗者の第１の感情の度合いが高まったときに、上記第１の種類の感情の度合いが変化せずに、他の種類の感情の度合いが変化した搭乗者を、感情と表情とが対応しない非相関搭乗者として特定してよい。上記情報処理装置は、上記感情推定部が上記非相関搭乗者の感情の種類及び度合を導出する場合に、上記感情推定部に、上記非相関搭乗者の音声に基づいて上記非相関搭乗者の感情の種類及び度合を導出させる感情推定制御部を備えてよい。上記感情推定制御部は、上記感情推定部が上記非相関搭乗者の感情の種類及び度合を導出する場合に、上記感情推定部に、上記非相関搭乗者の顔画像を用いず、上記非相関搭乗者の音声に基づいて上記非相関搭乗者の感情の種類及び度合を導出させてよい。上記感情推定部は、上記移動体の複数の搭乗者の顔画像及び音声に基づいて上記複数の搭乗者の感情の種類及び度合を導出してよく、上記情報処理装置は、上記感情推定部が上記非相関搭乗者の顔画像及び音声に基づいて上記非相関搭乗者の感情の種類及び度合を導出する場合に、上記感情推定部に、感情が表情に表れにくくない搭乗者の感情の種類及び度合を導出する場合と比較して音声の重みを重くして上記非相関搭乗者の感情の種類及び度合を導出させる感情推定制御部を備えてよい。
【０００７】
上記情報処理装置は、上記撮像部によって継続的に撮像された上記複数の搭乗者の顔画像に基づいて、上記複数の搭乗者の表情の変化を取得する表情変化取得部を備えてよく、上記搭乗者特定部は、上記複数の搭乗者の表情の変化に基づいて、他の複数の搭乗者よりも表情の変化量が少ない搭乗者を特定してよい。上記移動体は車両であってよく、上記情報処理装置は、上記移動体の走行状況を取得する走行状況取得部を備えてよく、上記搭乗者特定部は、上記複数の搭乗者の感情の変化と、上記移動体の走行状況とに基づいて、上記複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定してよい。
【０００８】
本発明の第２の態様によれば、コンピュータを、上記情報処理装置として機能させるためのプログラムが提供される。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る車両１００の一例を概略的に示す。
【図２】車両１００の構成の一例を概略的に示す。
【図３】情報処理装置２００の機能構成の一例を概略的に示す。
【図４】複数の搭乗者のそれぞれの感情の変化の一例を概略的に示す。
【図５】複数の搭乗者のそれぞれの感情の変化の一例を概略的に示す。
【図６】情報処理装置２００による処理の流れの一例を概略的に示す。
【図７】情報管理サーバ３００の機能構成の一例を概略的に示す。
【図８】情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、本実施形態に係る車両１００の一例を概略的に示す。車両１００は、複数の搭乗者を乗せて移動する移動体の一例であってよい。車両１００は、情報処理装置２００を備えてよい。情報処理装置２００は、車両１００の搭乗者の感情を推定する感情推定処理機能を有する。
【００１３】
本実施形態において、車両１００に搭乗している者を区別しない場合、搭乗者と記載し、運転している者としていない者とを区別する場合、前者を運転者５２、後者を同乗者５４と記載する。車両１００が自動運転車である場合、運転者５２は、運転席に座っている者であってよい。同乗者５４は、助手席に座っている者であってよい。同乗者５４は、後部座席に座っている者であってよい。
【００１４】
情報処理装置２００は、搭乗者の画像を用いて搭乗者の感情を推定する感情推定処理を実行可能であってよい。情報処理装置２００は、車両１００が備える撮像部によって撮像された搭乗者の画像を取得する。撮像部は、車両１００の車内の全体を撮像可能な１台のカメラ１１０を有してよい。情報処理装置２００は、当該カメラ１１０から、運転者５２の画像及び同乗者５４の画像を取得してよい。
【００１５】
撮像部は、複数のカメラ１１０を有してもよい。情報処理装置２００は、複数のカメラ１１０のそれぞれによって撮像された運転者５２の画像及び同乗者５４の画像を、当該複数のカメラ１１０から取得してよい。撮像部は、例えば、運転席及び助手席を撮像可能なカメラ１１０と、後部座席を撮像可能なカメラ１１０とを有する。撮像部は、運転席を撮像可能なカメラ１１０と、助手席を撮像可能なカメラ１１０とを有してもよい。撮像部は、後部座席の複数の同乗者５４のそれぞれを撮像可能な複数のカメラ１１０を有してもよい。
【００１６】
情報処理装置２００は、例えば、搭乗者のニュートラルな表情の画像を予め格納しておく。ニュートラルな表情とは、いわゆる素の表情であってよい。搭乗者の素の表情とは、例えば、搭乗者が何も意識していないときの表情である。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の顔画像とニュートラルな表情の画像とを比較することによって、搭乗者の感情を推定してよい。
【００１７】
情報処理装置２００は、例えば、初期設定としてカメラ１１０によって撮像された搭乗者のニュートラルな表情の画像を格納する。例えば、情報処理装置２００は搭乗者が車両１００に搭乗して座席に着座した直後の表情をその搭乗者のニュートラルな表情の画像として記憶させてもよい。情報処理装置２００は、搭乗者のニュートラルな表情の画像を他の装置から受信して格納してもよい。情報処理装置２００は、例えば、搭乗者が所有するスマートフォン等の携帯通信端末から、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を介して、搭乗者のニュートラルな表情の画像を受信する。また、情報処理装置２００は、例えば、搭乗者のニュートラルな表情の画像を管理する管理サーバから、移動体通信ネットワーク等を介して、搭乗者のニュートラルな表情の画像を受信する。
【００１８】
情報処理装置２００は、搭乗者のニュートラルな表情の画像を用いるのではなく、汎用のニュートラルな表情の画像を用いて搭乗者の感情を推定してもよい。汎用のニュートラルな表情の画像とは、多数の人の平均的なニュートラルな表情の画像であってよい。汎用のニュートラルな表情の画像は、性別、年齢、及び人種等の属性毎に用意されていてもよい。
【００１９】
情報処理装置２００は、例えば、ニュートラルな表情との相違と、人間の感情パターンとを対応付けた対応付けデータを予め格納しておく。対応付けデータは、例えば、ニュートラルな表情に対して口角が上がっていることとポジティブな感情とを対応付け、ニュートラルな表情に対して口角が下がっていることとネガティブな感情とを対応付ける。対応付けデータは、ニュートラルな表情との相違の度合と、感情の度合とをさらに対応付けてよい。例えば、対応付けデータは、ニュートラルな表情に対して、より口角が上がっているほど、より高い度合を対応付ける。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の画像、ニュートラルな表情の画像、及び当該対応付けデータを用いて、感情のパターンのいずれかと、感情の度合とを特定することにより、搭乗者の感情の推定結果とする。
【００２０】
人間の感情のパターンとして、例えば、人間の感情を活性度（Ａｒｏｕｓａｌ）と覚醒度（Ｖａｌｅｎｃｅ）の２軸で表し、感情の度合いを原点からの距離で表すラッセル（Ｒｕｓｓｅｌｌ）の円環モデルに基づく感情のパターンを採用し得る。また、例えば、人間の感情を、８つの基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待）と、隣り合う２つの感情の組み合わせによる応用感情とに分類したプルチック（Ｐｌｕｔｃｈｉｋ）の感情の輪に基づく感情のパターンを採用し得る。これらに限らず、本実施形態に係る情報処理装置２００は、任意の感情のパターンを採用し得る。
【００２１】
情報処理装置２００は、ニュートラルな表情の画像を用いるのではなく、搭乗者が複数の種類の感情のそれぞれを抱いているときの顔画像を格納しておき、その後にカメラ１１０によって撮像された搭乗者の顔画像と、格納している複数の顔画像とを比較することによって、搭乗者の感情を推定してもよい。例えば、情報処理装置２００は、格納している複数の顔画像のうち、カメラ１１０によって撮像された搭乗者の顔画像に最も類似する顔画像を特定し、特定した顔画像に対応する感情の種類を、搭乗者の感情の種類の推定結果とする。また、情報処理装置２００は、カメラ１１０によって撮像された搭乗者の顔画像と、当該顔画像に最も類似する顔画像との類似度に応じた度合を、搭乗者の感情の度合の推定結果としてよい。
【００２２】
情報処理装置２００は、予め格納した画像を用いるのではなく、搭乗者の顔画像の変動等に基づいて、搭乗者の感情を推定してもよい。人物の顔画像から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、当該様々な技術のうちの任意の技術を採用し得る。
【００２３】
人物の顔画像に基づいて当該人物の感情を推定する感情推定処理を実行する場合において、対象の人物が、感情が表情に表れにくい人物である場合、推定精度が低下してしまう場合がある。例えば、すごく楽しいと思っているのに表情が少ししか変わらない人物の場合、顔画像に基づく感情推定結果では、少しだけ楽しいという結果になってしまい、実際の感情とは度合が異なることになる。また、対象の人物が、感情と表情とが対応しない人物である場合も、推定精度が低下してしまう場合がある。例えば、楽しいと思っているのに不満そうな表情をしてしまう人物の場合、顔画像に基づく感情推定結果では不満という結果になってしまい、実際の感情とは種類が異なることになる。
【００２４】
本実施形態に係る情報処理装置２００は、継続的に撮像された複数の搭乗者の顔画像に基づいて、複数の搭乗者のそれぞれの感情の変化を取得し、複数の搭乗者の感情の変化に基づいて、複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定する。
【００２５】
例えば、情報処理装置２００は、複数の搭乗者の第１の種類の感情の度合が高まったときであって、当該第１の種類の感情の度合の変化量が他の複数の搭乗者よりも少ない搭乗者を、感情が表情に表れにくい搭乗者（低相関搭乗者と記載する場合がある。）として特定する。車両１００内という限られた空間内においては、複数の搭乗者の感情が同調する可能性が高い。したがって、複数の搭乗者のうちの大部分がすごく楽しいと感じている場合、残りの一部の搭乗者も同じようにすごく楽しいと感じている可能性が高いといえる。そのような環境において、顔画像に基づく感情推定処理を実行した場合に、複数の搭乗者のうちの大部分の搭乗者の推定結果がすごく楽しいであるにも関わらず、残りの一部の搭乗者の推定結果が少しだけ楽しいとなった場合、当該一部の搭乗者は、感情が表情に表れにくい人物である可能性が高い。したがって、本実施形態に係る情報処理装置２００によれば、低相関搭乗者を比較的高い確率で特定することができる。
【００２６】
そして、例えば、情報処理装置２００は、低相関搭乗者の顔画像に基づいて低相関搭乗者の感情の種類及び度合を導出する場合に、低相関搭乗者以外の搭乗者の感情の種類及び度合を導出する場合と比較して、感情の度合が大きくなるようにする。これにより、例えば、すごく楽しいと思っているのに表情が少ししか変わらない人物について、顔画像に基づく感情推定結果を、少しだけ楽しいではなく、すごく楽しいとすることができる。
【００２７】
また、例えば、情報処理装置２００は、複数の搭乗者のうち、他の複数の搭乗者の第１の感情の度合が高まったときに、当該第１の種類の感情の度合が変化せずに、他の種類の感情の度合が変化した搭乗者を、感情と表情とが対応しない搭乗者（非相関搭乗者と記載する場合がある。）として特定する。車両１００内という限られた空間内において顔画像に基づく感情推定処理を実行した場合に、複数の搭乗者のうちの大部分の搭乗者の推定結果が楽しいであるにも関わらず、残りの一部の搭乗者の推定結果が不満となった場合、当該一部の搭乗者は、感情と表情が対応しない人物である可能性が高い。したがって、本実施形態に係る情報処理装置２００によれば、非相関搭乗者を比較的高い確率で特定することができる。
【００２８】
そして、例えば、情報処理装置２００は、非相関搭乗者の感情の種類及び度合を導出する場合に、非相関搭乗者の画像を用いずに、非相関搭乗者の音声等に基づいて非相関搭乗者の感情を推定する。あるいは、画像と音声等の複数の情報から感情を推定する場合に、画像による重みを小さくして感情を推定する。これにより、誤った感情推定結果を導出してしまう可能性を低減することができる。
【００２９】
また、例えば、情報処理装置２００は、複数の搭乗者の顔画像に基づいて複数の搭乗者のそれぞれの表情の変化を取得し、当該変化に基づいて、他の複数の搭乗者よりも表情の変化量が少ない搭乗者を特定する。車両１００内という限られた空間内においては、複数の搭乗者の感情が同調する可能性が高く、表情の変化も同調する可能性が高い。したがって、複数の搭乗者のうちの大部分の表情が同じように変わった場合に、表情があまり変わらない搭乗者は、表情の変化量が少ない人物である可能性が高い。したがって、本実施形態に係る情報処理装置２００によれば、表情の変化量が少ない搭乗者を比較的高い確率で特定することができる。
【００３０】
そして、例えば、情報処理装置２００は、表情の変化量が少ない搭乗者について顔画像を用いた感情推定処理を実行する場合、顔画像から特定した表情の変化量を増加させたうえで、感情推定処理を実行する。これにより、推定結果の感情の種類及び度合を、実際の感情の種類及び度合に近づけることができる。また、例えば、情報処理装置２００は、表情の変化量が少ない搭乗者について顔画像を用いた感情推定処理を実行する場合、推定結果の感情の度合を増加させてもよい。
【００３１】
また、情報処理装置２００は、例えば、複数の搭乗者の全員の、顔画像を用いた感情推定結果が同じ感情の種類を示す場合に、表情の変化量が少ない搭乗者の感情の度合を、他の搭乗者の感情の度合の変化量を超えない程度にバイアスしてもよい。これにより、例えば、実際には搭乗者の全員が同じ度合いで喜んでいる場合において、表情の変化量が少ない搭乗者の推定結果の感情の度合が低くなってしまうことによって推定精度が低下してしまうということを抑制できる。
【００３２】
情報処理装置２００は、特定した搭乗者の情報を、他の車両１００等と共有してもよい。例えば、情報処理装置２００は、車両１００に搭乗した搭乗者の識別情報を取得しておき、搭乗者が低相関搭乗者、非相関搭乗者、又は表情の変化量が少ない搭乗者であると特定した場合に、特定結果と識別情報とを対応付けて格納する。そして、情報処理装置２００は、対応付けて格納している識別情報及び特定結果を、ネットワーク１０を介して情報管理サーバ３００に送信する。
【００３３】
搭乗者の識別情報は、例えば、情報管理サーバ３００によって割り振られるユーザＩＤである。搭乗者を識別可能な識別情報は、例えば搭乗者が所有する携帯電話の番号等、搭乗者を識別することができれば、どのような情報であってもよい。
【００３４】
ネットワーク１０は、任意のネットワークであってよい。例えば、ネットワーク１０は、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）通信システム、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）通信システム、及び５Ｇ（５ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）通信システム等の移動体通信システムを含んでよい。ネットワーク１０は、インターネット、公衆無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、及び任意の専用網等を含んでもよい。
【００３５】
情報管理サーバ３００は、複数の情報処理装置２００から収集した識別情報及び特定結果を登録しておく。情報管理サーバ３００は、例えば、識別情報を含む要求を受信した場合であって、当該識別情報に対応する特定結果が登録されている場合に、要求の送信元に対して、特定結果を送信する。
【００３６】
要求の送信元は、例えば、車両１００の情報処理装置２００である。情報処理装置２００は、例えば、情報処理装置２００を搭載している車両１００に搭乗者が搭乗した場合に、当該搭乗者の識別情報を取得して、識別情報を含む要求を情報管理サーバ３００に送信し、情報管理サーバ３００から特定結果を受信する。これにより、情報処理装置２００は、他の車両１００で特定された特定結果を用いて、搭乗者の感情を推定することができる。要求の送信元は、人物の顔画像に基づく感情推定処理を実行する装置であれば、任意の装置であり得る。
【００３７】
図２は、車両１００の構成の一例を概略的に示す。図２に示す各種構成は、車両１００が備えるナビゲーションシステムの一部であってもよい。
【００３８】
車両１００は、カメラ１１０を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能なカメラ１１０を備える場合を例示する。図２において例示する画角１１２が示すように、カメラ１１０によれば、運転席１６２、助手席１６４、及び後部座席１６６の搭乗者を撮像可能である。図２におけるカメラ１１０の配置は例示であり、カメラ１１０は、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能であれば任意の場所に配置されてよい。なお、車両１００は、運転席１６２、助手席１６４、及び後部座席１６６のそれぞれを撮像する複数のカメラ１１０を備えてもよい。
【００３９】
車両１００は、マイク１２２を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するマイク１２２を備える場合を例示する。図２におけるマイク１２２の配置は例示であり、マイク１２２は、運転席１６２、助手席１６４及び後部座席１６６のすべての搭乗者の音声を拾うことができれば、任意の場所に配置されてよい。車両１００は、複数のマイク１２２を備えてもよい。複数のマイク１２２は、例えば、運転席１６２用のマイク１２２、助手席１６４用のマイク１２２、及び後部座席１６６用のマイク１２２を含む。
【００４０】
車両１００は、スピーカ１２４を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するスピーカ１２４を備える場合を例示する。図２におけるスピーカ１２４の配置は例示であり、スピーカ１２４は、任意の場所に配置されてよい。車両１００は、複数のスピーカ１２４を備えてもよい。
【００４１】
車両１００は、ディスプレイ１３０を備える。図２におけるディスプレイ１３０の配置は例示であり、ディスプレイ１３０は、主に運転席１６２及び助手席１６４から閲覧可能であれば、任意の場所に配置されてよい。ディスプレイ１３０は、タッチパネルディスプレイであってよい。車両１００は、複数のディスプレイ１３０を備えてもよい。例えば、車両１００は、運転席１６２及び助手席１６４用のディスプレイ１３０と、後部座席１６６用のディスプレイ１３０とを備える。
【００４２】
車両１００は、無線通信アンテナ１４２を備える。無線通信アンテナ１４２は、ネットワーク１０上の装置と通信するためのアンテナであってよい。車両１００は、例えば、無線通信アンテナ１４２によって、移動体通信システムにおける無線基地局及び無線ルータ等を介してネットワーク１０上の装置と通信する。なお、無線通信アンテナ１４２は、車車間通信及び路車間通信等を行うためのアンテナであってもよく、車両１００は、車車間通信及び路車間通信等を介して、ネットワーク１０上の装置と通信してもよい。
【００４３】
車両１００は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）アンテナ１４４を備える。ＧＰＳアンテナ１４４は、ＧＰＳ衛星から位置測定用の電波を受信する。車両１００は、ＧＰＳアンテナ１４４が受信する位置測定用の電波を用いて、車両１００の現在地を測位してよい。車両１００は、さらに自立航法による測位を組み合わせることによって、車両１００の現在地を測位してもよい。車両１００は、公知の任意の測位技術を用いて、車両１００の現在地を測位してよい。
【００４４】
車両１００は、車両１００の搭乗者の生体情報を検知可能な不図示のセンサを備えてもよい。当該センサは、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置され、搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を検知する。車両１００は、搭乗者が身に着けているウェアラブルデバイスと通信接続する近距離無線通信部を備えていてもよく、ウェアラブルデバイスによって検知された搭乗者の生体情報を、当該ウェアラブルデバイスから受信してもよい。近距離無線通信部は、例えば、Ｂｌｕｅｔｏｏｔｈ等によってウェアラブルデバイスと通信接続する。
【００４５】
上述の各種構成は、情報処理装置２００が備えてもよい。情報処理装置２００は、車両１００が備えるナビゲーションシステムと一体であってよく、また、別体であってもよい。
【００４６】
図３は、情報処理装置２００の機能構成の一例を概略的に示す。情報処理装置２００は、画像取得部２０２、音声取得部２０４、センサ情報取得部２０６、感情推定部２１０、感情変化取得部２１２、搭乗者特定部２１４、表情変化取得部２１６、走行状況取得部２１８、感情推定制御部２２０、識別情報取得部２３０、特定結果格納部２３２、及び特定結果送信部２３４を備える。なお、情報処理装置２００がこれらのすべての構成を備えることは必須とは限らない。
【００４７】
画像取得部２０２は、車両１００の搭乗者の画像を取得する。画像取得部２０２は、車両１００の撮像部によって撮像された搭乗者の画像を取得する。画像取得部２０２は、１００の撮像部によって撮像される搭乗者の画像を継続的に取得してよい。
【００４８】
音声取得部２０４は、車両１００の搭乗者の音声を取得する。音声取得部２０４は、車両１００のマイク１２２から入力された搭乗者の音声を取得する。音声取得部２０４は、車両１００のマイク１２２から搭乗者の音声を継続的に取得してよい。
【００４９】
センサ情報取得部２０６は、センサによって検知された車両１００の搭乗者の生体情報を取得する。センサ情報取得部２０６は、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置されたセンサによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該センサから取得する。また、センサ情報取得部２０６は、例えば、搭乗者が身に着けているウェアラブルデバイスによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該ウェアラブルデバイスから取得する。
【００５０】
感情推定部２１０は、感情推定処理を実行して搭乗者の感情の種類及び度合を推定する。感情推定部２１０は、画像取得部２０２によって取得された搭乗者の顔画像を用いた感情推定処理を実行してよい。
【００５１】
また、感情推定部２１０は、音声取得部２０４によって取得された搭乗者の音声を用いた感情推定処理を実行可能であってよい。感情推定部２１０は、例えば、音声自体の特徴量に基づく感情推定処理を実行する。音声自体の特徴量としては、音声の大きさ、トーン、スペクトル、及び基本周波数等が例示できる。感情推定部２１０は、音声を音声認識した結果の文字列に基づく感情推定処理を実行してもよい。また、感情推定部２１０は、音声自体の特徴量と、音声を音声認識した結果の文字列との両方に基づく感情推定処理を実行してもよい。車両１００が複数の搭乗者のそれぞれの音声を拾う複数のマイクを備えている場合、感情推定部２１０は、マイクの違いによって、話者を識別してよい。一つのマイクによって複数の搭乗者の音声を拾う場合、感情推定部２１０は、公知の話者識別機能を用いることによって、話者を識別してよい。公知の話者識別機能としては、音声の特徴量を用いる方法、音声の取得方向から判定する方法等が知られている。人物の音声から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、感情推定部２１０は、当該様々な技術のうちの任意の技術を採用し得る。
【００５２】
また、感情推定部２１０は、センサ情報取得部２０６によって取得された複数種類の生体情報を用いた感情推定処理を実行可能であってよい。感情推定部２１０は、例えば、搭乗者の心拍、脈拍、発汗、血圧、及び体温等を用いた感情推定処理を実行する。人物の心拍、脈拍、発汗、血圧、及び体温等から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、情報処理装置２００は、当該様々な技術のうちの任意の技術を採用し得る。
【００５３】
感情変化取得部２１２は、感情推定部２１０が搭乗者の顔画像を用いた感情推定処理を実行することによって継続的に推定された搭乗者の感情の種類及び度合に基づいて、搭乗者の感情の変化を取得する。感情変化取得部２１２は、複数の搭乗者のそれぞれについて、感情の変化を取得する。
【００５４】
搭乗者特定部２１４は、感情変化取得部２１２によって取得された複数の搭乗者の感情の変化に基づいて、複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定する。
【００５５】
搭乗者特定部２１４は、例えば、複数の搭乗者の第１の種類の感情の度合が高まったときであって、第１の種類の感情の度合の変化量が他の複数の搭乗者よりも少ない搭乗者を、低相関搭乗者として特定する。搭乗者特定部２１４は、例えば、車両１００の全搭乗者の第１の種類の感情の度合が高まったときであって、全搭乗者のうちの１人の第１の種類の感情の度合の変化量が少なく、他のすべての搭乗者の第１の種類の感情の度合の変化量が多い場合に、当該１人を低相関搭乗者として特定する。搭乗者特定部２１４は、例えば、予め定められた時間における第１の種類の感情の度合の変化量が第１の変化量よりも少ない場合に、変化量が少ないと判定する。また、搭乗者特定部２１４は、例えば、予め定められた時間における第１の種類の度合の変化量が第２の変化量よりも多い場合に、変化量が多いと判定する。第１の変化量と第２の変化量とは、第１の変化量が第２の変化量よりも少なければ、任意に設定可能であってよい。また第１の変化量と第２の変化量は同一の変化量であってもよい。搭乗者特定部２１４は、例えば、車両１００の搭乗者が４人であり、４人の喜びの感情が高まったときであって、喜びの感情の度合の変化量が４人中１人だけ少ない場合に、当該１人の搭乗者を低相関搭乗者として特定する。
【００５６】
搭乗者特定部２１４は、車両１００の全搭乗者の第１の種類の感情の度合が高まったときであって、全搭乗者のうちの１人の第１の種類の感情の度合の変化量が少なく、他のすべての搭乗者の第１の種類の感情の度合の変化量が多いという事態の発生回数が、予め定められた条件を満たした場合に、当該１人を低相関搭乗者として特定するようにしてもよい。搭乗者特定部２１４は、例えば、予め定められた時間内における当該事態の発生回数が予め定められた閾値より多くなった場合に、当該１人を低相関搭乗者として特定する。
【００５７】
搭乗者特定部２１４は、例えば、複数の搭乗者のうち、他の複数の搭乗者の第１の感情の度合が高まったときに、第１の種類の感情の度合が変化せずに、他の種類の感情の度合が変化した搭乗者を、非相関搭乗者として特定する。搭乗者特定部２１４は、例えば、車両１００の全搭乗者のうち、１人を除く搭乗者の第１の種類の感情の度合が高まったときであって、当該１人のみが、第１の種類の感情の度合が変化せずに、他の種類の感情の度合が変化した場合に、当該１人を非相関搭乗者として特定してよい。搭乗者特定部２１４は、第１の種類の感情の度合の変化量が予め定められた変化量よりも少ない場合に、第１の種類の感情の度合が変化していないと判定してよい。搭乗者特定部２１４は、他の種類の感情の度合の変化量が、予め定められた変化量よりも多い場合に、他の種類の感情の度合が変化したと判定してよい。搭乗者特定部２１４は、例えば、車両１００の搭乗者が４人であり、３人の喜びの感情が高まったときであって、１人の喜びの感情の度合が変化せずに、不満の感情が高まった場合に、当該１人の搭乗者を非相関搭乗者として特定する。
【００５８】
搭乗者特定部２１４は、車両１００の全搭乗者のうち、１人を除く搭乗者の第１の種類の感情の度合が高まったときであって、当該１人のみが、第１の種類の感情の度合が変化せずに、他の種類の感情の度合が変化したという事態の発生回数が、予め定められた条件を満たした場合に、当該１人を非相関搭乗者として特定するようにしてもよい。搭乗者特定部２１４は、例えば、予め定められた時間内における当該事態の発生回数が予め定められた閾値より多くなった場合に、当該１人を非相関搭乗者として特定する。
【００５９】
表情変化取得部２１６は、画像取得部２０２が継続的に取得した搭乗者の顔画像に基づいて、搭乗者の表情の変化を取得する。表情変化取得部２１６は、複数の搭乗者のそれぞれについて、表情の変化を取得する。
【００６０】
搭乗者特定部２１４は、表情変化取得部２１６が取得した複数の搭乗者の表情の変化に基づいて、他の複数の搭乗者よりも表情の変化量が少ない搭乗者を特定する。搭乗者特定部２１４は、例えば、車両１００の全搭乗者のうち、１人の搭乗者の表情の変化量が第３の変化量より少なく、当該１人を除く搭乗者の表情の変化量が第４の変化量をより多い場合に、当該１人の搭乗者を、他の複数の搭乗者よりも表情の変化量が少ない搭乗者として特定する。第３の変化量及び第４の変化量は、第３の変化量が第４の変化量より少なければ、任意に設定可能であってよい。また、第３の変化量と第４の変化量とは同一の変化量であってもよい。搭乗者特定部２１４は、例えば、車両１００の搭乗者が４人であり、１人の表情の変化量が第３の変化量より少なく、他の３人の表情の変化量が第４の変化量より多い場合、当該１人の搭乗者を、他の複数の搭乗者よりも表情の変化量が少ない搭乗者として特定する。
【００６１】
搭乗者特定部２１４は、車両１００の全搭乗者のうち、１人の表情の変化量が第３の変化量より少なく、当該１人を除く搭乗者の表情の変化量が第４の変化量をより多い事態の発生回数が、予め定められた条件を満たした場合に、当該１人を、他の複数の搭乗者よりも表情の変化量が少ない搭乗者として特定するようにしてもよい。搭乗者特定部２１４は、例えば、予め定められた時間内における当該事態の発生回数が予め定められた閾値より多くなった場合に、当該１人を、他の複数の搭乗者よりも表情の変化量が少ない搭乗者として特定する。
【００６２】
走行状況取得部２１８は、車両１００の走行状況を取得する。走行状況取得部２１８は、例えば、車両１００のナビゲーションシステムによって管理されている車両１００の走行状況を、ナビゲーションシステムから取得する。車両１００のナビゲーションシステムは、車両１００の位置情報、車両１００が走行している周辺の道路データ、車両１００の速度、加速度、ステアリングの操作状態、及びブレーキの操作状態等から、車両１００の走行状況を判定してよい。
【００６３】
車両１００の走行状況は、車両１００の状態及び車両１００が走行している道路の状況等を含んでよい。車両１００の状態は、例えば、車両１００の走行速度に関する情報を含む。車両１００の走行速度に関する情報は、例えば、車両１００が通常速度で走行していること、車両１００が加速していること、車両１００が急加速したこと、及び車両１００が急停止したこと等を含む。
【００６４】
車両１００が走行している道路の状況は、例えば、車両１００が走行している道路の形状を含む。道路の形状としては、直線、カーブ、及び坂道等が例示できる。カーブは、カーブの度合いによって、緩いカーブ、普通のカーブ、急カーブ等に細分化されてもよい。坂道は、上り坂及び下り坂に区別されてよく、また、坂道の度合いによって緩い上り坂、普通の上り坂、急な上り坂、緩い下り坂、普通の下り坂、急な下り坂等に細分化されてもよい。
【００６５】
搭乗者特定部２１４は、感情変化取得部２１２によって取得された複数の搭乗者の感情の変化と、走行状況取得部２１８によって取得された車両１００の走行状況とに基づいて、複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定してもよい。例えば、搭乗者特定部２１４は、感情変化取得部２１２によって取得された複数の搭乗者の感情の変化に基づいて、複数の搭乗者のうち、他の複数の搭乗者よりも表情と感情との相関が低い搭乗者を特定する場合に、走行状況取得部２１８によって取得された車両１００の走行状況を考慮する。
【００６６】
搭乗者特定部２１４は、例えば、車両１００の全搭乗者の第１の種類の感情の度合が高まったときであって、全搭乗者のうちの１人の第１の種類の感情の度合の変化量が少なく、他のすべての搭乗者の第１の種類の感情の度合の変化量が多い場合に、車両１００の走行状況が、当該１人の搭乗者の感情が他のすべての搭乗者の感情と異なり得る状況である場合、当該１人の搭乗者を低相関搭乗者として特定しない。車両１００の走行状況がそのような状況でない場合、搭乗者特定部２１４は、当該１人の搭乗者を低相関搭乗者として特定する。
【００６７】
また、搭乗者特定部２１４は、例えば、車両１００の全搭乗者のうち、１人を除く搭乗者の第１の種類の感情の度合が高まったときであって、当該１人のみが、第１の種類の感情の度合が変化せずに、他の種類の感情の度合が変化した場合に、車両１００の走行状況が、当該１人の搭乗者の感情が他のすべての搭乗者の感情と異なり得る状況である場合、当該１人の搭乗者を低相関搭乗者として特定しない。車両１００の走行状況がそのような状況でない場合、搭乗者特定部２１４は、当該１人の搭乗者を非相関搭乗者として特定する。
【００６８】
１人の搭乗者の感情が他のすべての搭乗者の感情と異なり得る状況とは、例えば、車両１００が急加速した状況である。車両１００が急加速した場合、運転者５２の感情が興奮であり、同乗者５４の感情が緊張である可能性が高く、運転者５２の感情が同乗者の感情と異なり得る。
【００６９】
感情推定制御部２２０は、感情推定部２１０が、搭乗者特定部２１４によって特定された搭乗者の感情を推定する場合に、感情推定部２１０を制御する。例えば、感情推定制御部２２０は、感情推定部２１０が低相関搭乗者の顔画像に基づいて低相関搭乗者の感情の種類及び度合を導出する場合に、感情が表情に表れにくくない、低相関搭乗者以外の搭乗者の感情の種類及び度合を導出する場合と比較して、感情の度合が大きくなるように感情推定部に低相関搭乗者の感情の種類及び度合を導出させる。
【００７０】
また、例えば、感情推定制御部２２０は、感情推定部２１０が低相関搭乗者の感情の種類及び度合を導出する場合に、低相関搭乗者の顔画像及び低相関搭乗者の音声に基づいて、感情の種類及び度合を導出させる。これにより、顔画像による推定精度が低下してしまう可能性がある状況において、音声をさらに用いることによってその低下を抑制し得る。
【００７１】
また、例えば、感情推定部２１０が移動体の複数の搭乗者の顔画像及び音声に基づいて複数の搭乗者の感情の種類及び度合を導出している場合において、感情推定制御部２２０は、感情推定部２１０が低相関搭乗者の顔画像及び音声に基づいて低相関搭乗者の感情の種類及び度合を導出する場合に、感情推定部２１０に、感情が表情に表れにくくない、低相関搭乗者以外の搭乗者の感情の種類及び度合を導出する場合と比較して音声の重みを重くして低相関搭乗者の感情の種類及び度合を導出させる。これにより、顔画像による推定精度が低下してしまう可能性がある状況において、音声を重視することによって推定精度の低下を抑制し得る。
【００７２】
また、例えば、感情推定制御部２２０は、感情推定部２１０が非相関搭乗者の感情の種類及び度合を導出する場合に、感情推定部２１０に、非相関搭乗者の音声に基づいて非相関搭乗者の感情の種類及び度合を導出させる。これにより、非相関搭乗者の顔画像を用いて感情を推定する場合と比較して、推定精度の低下を抑制し得る。
【００７３】
また、例えば、感情推定制御部２２０は、感情推定部２１０が非相関搭乗者の感情の種類及び度合を導出する場合に、感情推定部２１０に、非相関搭乗者の顔画像を用いず、非相関搭乗者の音声に基づいて非相関搭乗者の感情の種類及び度合を導出させる。このように、感情推定制御部２２０は、非相関搭乗者の顔画像を用いて推定した感情は、実際の感情とは異なる可能性が高いので、顔画像を用いなくてよい。これにより、推定精度の低下を抑制し得る。
【００７４】
また、例えば、感情推定部２１０が、車両１００の複数の搭乗者の顔画像及び音声に基づいて複数の搭乗者の感情の種類及び度合を導出している場合において、感情推定制御部２２０は、感情推定部２１０が非相関搭乗者の顔画像及び音声に基づいて非相関搭乗者の感情の種類及び度合を導出する場合に、感情推定部２１０に、感情が表情に表れにくくない搭乗者の感情の種類及び度合を導出する場合と比較して音声の重みを重くして非相関搭乗者の感情の種類及び度合を導出させる。これにより、顔画像による推定精度が低下してしまう可能性がある状況において、音声を重視することによって推定精度の低下を抑制し得る。
【００７５】
また、例えば、感情推定制御部２２０は、感情推定部２１０が、表情の変化量が少ない搭乗者の顔画像に基づいて当該搭乗者の感情の種類及び度合を導出する場合に、他の搭乗者の感情の種類及び度合を導出する場合と比較して、感情の度合が大きくなるように感情推定部に低相関搭乗者の感情の種類及び度合を導出させる。
【００７６】
感情推定制御部２２０は、例えば、感情推定部２１０が、表情の変化量が少ない搭乗者の顔画像に基づいて当該搭乗者の感情の種類及び度合を導出する場合に、顔画像から特定した表情の変化量を増加させたうえで、感情推定処理を実行するよう制御する。また、例えば、感情推定制御部２２０は、推定結果の感情の度合を増加させるように制御してもよい。また、感情推定制御部２２０は、例えば、複数の搭乗者の全員の、顔画像を用いた感情推定結果が同じ感情の種類を示す場合に、表情の変化量が少ない搭乗者の感情の度合を、他の搭乗者の感情の度合の変化量を超えない程度にバイアスしてもよい。
【００７７】
また、例えば、感情推定制御部２２０は、感情推定部２１０が、表情の変化量が少ない搭乗者の顔画像に基づいて当該搭乗者の感情の種類及び度合を導出する場合に、当該搭乗者の顔画像及び当該搭乗者の音声に基づいて、感情の種類及び度合を導出させる。これにより、顔画像による推定精度が低下してしまう可能性がある状況において、音声をさらに用いることによってその低下を抑制し得る。
【００７８】
また、例えば、感情推定部２１０が移動体の複数の搭乗者の顔画像及び音声に基づいて複数の搭乗者の感情の種類及び度合を導出している場合において、感情推定制御部２２０は、感情推定部２１０が、表情の変化量が少ない搭乗者の顔画像及び音声に基づいて当該搭乗者の感情の種類及び度合を導出する場合に、感情推定部２１０に、表情の変化量が少なくない、当該搭乗者以外の搭乗者の感情の種類及び度合を導出する場合と比較して音声の重みを重くして当該搭乗者の感情の種類及び度合を導出させる。これにより、顔画像による推定精度が低下してしまう可能性がある状況において、音声を重視することによって推定精度の低下を抑制し得る。
【００７９】
識別情報取得部２３０は、車両１００の搭乗者の識別情報を取得する。識別情報取得部２３０は、例えば、画像取得部２０２によって取得される搭乗者の顔画像に対して人物認識技術を適用することによって人物を特定し、特定した人物の識別情報を取得する。また、識別情報取得部２３０は、例えば、音声取得部２０４によって取得される搭乗者の音声に対して話者認識技術を適用することによって人物を特定し、特定した人物の識別情報を取得する。識別情報取得部２３０は、搭乗者が所有する携帯通信端末から、近距離無線通信を介して、搭乗者の識別情報を受信してもよい。
【００８０】
特定結果格納部２３２は、搭乗者特定部２１４による搭乗者の特定結果を、識別情報取得部２３０から取得した当該搭乗者の識別情報と対応付けて格納する。特定結果送信部２３４は、特定結果格納部２３２に格納されている識別情報及び特定結果を情報管理サーバ３００に送信する。特定結果送信部２３４は、例えば、識別情報及び特定結果を、ネットワーク１０を介して情報管理サーバ３００に送信する。
【００８１】
図４は、複数の搭乗者のそれぞれの感情の変化の一例を概略的に示す。図４に例示するグラフ４００において、横軸は時間を示し、縦軸は感情の度合を示す。図４では、４人の搭乗者の感情の変化を例示する。
【００８２】
変化グラフ４１０は、１人目の搭乗者の喜びの度合の変化を示す。変化グラフ４２０は、２人目の搭乗者の喜びの度合の変化を示す。変化グラフ４３０は、３人目の搭乗者の喜びの度合の変化を示す。変化グラフ４４０は、４人目の搭乗者の喜びの度合の変化を示す。
【００８３】
図４に例示するグラフ４００によれば、１人目、２人目、３人目の喜びが同じように大きくなっているのに対して、４人目の喜びの変化量は少ない。搭乗者特定部２１４は、このように、複数の搭乗者の喜びの度合が高まったときであって、喜びの感情の度合の変化量が他の複数の搭乗者よりも少ない４人目の搭乗者を低相関搭乗者として特定する。
【００８４】
図５は、複数の搭乗者のそれぞれの感情の変化の一例を概略的に示す。図５に例示するグラフ５００において、横軸は時間を示し、縦軸は感情の度合を示す。図５では、４人の搭乗者の感情の変化を例示する。
【００８５】
変化グラフ５１０は、１人目の搭乗者の喜びの度合の変化を示す。変化グラフ５２０は、２人目の搭乗者の喜びの度合の変化を示す。変化グラフ５３０は、３人目の搭乗者の喜びの度合の変化を示す。変化グラフ５４２は、４人目の搭乗者の喜びの度合の変化を示す。変化グラフ５４４は、４人目の搭乗者の不満の度合の変化を示す。
【００８６】
図５に例示するグラフ５００によれば、１人目、２人目、３人目の喜びが同じように大きくなっているのに対して、４人目の喜びは変化しておらず、４人目の不満が１人目、２人目、３人目の喜びと同じように大きくなっている。搭乗者特定部２１４は、このように、複数の搭乗者のうち、他の複数の搭乗者の喜びの度合が高まったときに、喜びの度合が変化せずに、喜びとは異なる感情の度合が変化した４人目の搭乗者を非相関搭乗者として特定する。
【００８７】
図６は、情報処理装置２００による処理の流れの一例を概略的に示す。図６に示す処理は、感情推定部２１０が、画像取得部２０２によって取得される搭乗者の画像に基づいて、搭乗者の感情の種類及び度合を継続的に推定する場合の処理の流れを示す。
【００８８】
ステップ（ステップをＳと省略して記載する場合がある。）１０２では、感情推定部２１０が、複数の搭乗者の感情の種類及び度合を推定する。Ｓ１０４では、感情変化取得部２１２が、Ｓ１０２における推定結果によって、複数の搭乗者の感情が変化したか否かを判定する。変化したと判定した場合、Ｓ１０６に進み、変化していないと判定した場合、Ｓ１０２に戻る。
【００８９】
Ｓ１０６では、搭乗者特定部２１４が、感情の変化の傾向が１人だけ異なるか否かを判定する。搭乗者特定部２１４は、例えば、車両１００の全搭乗者の第１の種類の感情の度合が高まったときであって、全搭乗者のうちの１人の第１の種類の感情の度合の変化量が少なく、他のすべての搭乗者の第１の種類の感情の度合の変化量が多い場合に、感情の変化の傾向が１人だけ異なると判定する。また、搭乗者特定部２１４は、例えば、車両１００の全搭乗者のうち、１人を除く搭乗者の第１の種類の感情の度合が高まったときであって、当該１人のみが、第１の種類の感情の度合が変化せずに、他の種類の感情の度合が変化した場合に、感情の変化の傾向が１人だけ異なると判定する。
【００９０】
Ｓ１０８では、搭乗者特定部２１４が、変化の傾向が１人だけ異なると判定した当該１人を、低相関搭乗者又は非相関搭乗者として特定する。そして、処理を終了する。
【００９１】
図７は、情報管理サーバ３００の機能構成の一例を概略的に示す。情報管理サーバ３００は、搭乗者情報受信部３０２、搭乗者情報格納部３０４、要求受信部３０６、及び搭乗者情報送信部３０８を備える。
【００９２】
搭乗者情報受信部３０２は、複数の情報処理装置２００から、ネットワーク１０を介して、搭乗者情報を受信する。搭乗者情報は、情報処理装置２００の特定結果格納部２３２に格納されている特定結果及び識別情報を含む。搭乗者情報格納部３０４は、搭乗者情報受信部３０２が受信した搭乗者情報を格納する。
【００９３】
要求受信部３０６は、識別情報を含む、特定結果の要求を受信する。搭乗者情報送信部３０８は、要求受信部３０６が要求を受信した場合に、要求に含まれる識別情報に対応する特定結果が搭乗者情報格納部３０４に格納されているか否かを判定し、格納されている場合に、要求の送信元に、特定結果を送信する。
【００９４】
図８は、情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、上記実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、上記実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
【００９５】
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ−ＲＯＭドライブ及びＤＶＤ−ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びタッチパネルのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。
【００９６】
ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。コンピュータ１２００は、ディスプレイデバイス１２１８を備えていなくてもよく、その場合、グラフィックコントローラ１２１６は、イメージデータが外部のディスプレイデバイスに表示されるようにする。
【００９７】
通信インタフェース１２２２は、無線通信ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ−ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
【００９８】
ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、ＵＳＢポート等を介して、様々な入出力ユニットを入出力コントローラ１２２０に接続してよい。
【００９９】
プログラムは、ＤＶＤ−ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【０１００】
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ−ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【０１０１】
また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ−ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【０１０２】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【０１０３】
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
【０１０４】
上記実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【０１０５】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【０１０６】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
【０１０７】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【０１０８】
上記実施形態では、移動体の例として車両１００を挙げて説明したが、これに限らない。移動体は、複数の搭乗者を搭乗させて移動可能であり、搭乗している全搭乗者が空間を共有可能なものであれば、どのようなものであってもよい。例えば、車両１００の他、小型の飛行機及び小型の船舶等であってもよい。
【０１０９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１１０】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１１１】
１０  ネットワーク、５２  運転者、５４  同乗者、１００  車両、１１０  カメラ、１１２  画角、１２２  マイク、１２４  スピーカ、１３０  ディスプレイ、１４２  無線通信アンテナ、１４４  ＧＰＳアンテナ、１５０  ハンドル、１６２  運転席、１６４  助手席、１６６  後部座席、２００  情報処理装置、２０２  画像取得部、２０４  音声取得部、２０６  センサ情報取得部、２１０  感情推定部、２１２  感情変化取得部、２１４  搭乗者特定部、２１６  表情変化取得部、２１８  走行状況取得部、２２０  感情推定制御部、２３０  識別情報取得部、２３２  特定結果格納部、２３４  特定結果送信部、３００  情報管理サーバ、３０２  搭乗者情報受信部、３０４  搭乗者情報格納部、３０６  要求受信部、３０８  搭乗者情報送信部、４００  グラフ、４１０、４２０、４３０、４４０  変化グラフ、５００  グラフ、５１０、５２０、５３０、５４２、５４４  変化グラフ、１２００  コンピュータ、１２１０  ホストコントローラ、１２１２  ＣＰＵ、１２１４  ＲＡＭ、１２１６  グラフィックコントローラ、１２１８  ディスプレイデバイス、１２２０  入出力コントローラ、１２２２  通信インタフェース、１２２４  記憶装置、１２２６  ＤＶＤドライブ、１２２７  ＤＶＤ−ＲＯＭ、１２３０  ＲＯＭ、１２４０  入出力チップ
【図１】
2020109578.tif 000003
【図２】
2020109578.tif 000004
【図３】
2020109578.tif 000005
【図４】
2020109578.tif 000006
【図５】
2020109578.tif 000007
【図６】
2020109578.tif 000008
【図７】
2020109578.tif 000009
【図８】
2020109578.tif 000010