(57)【要約】【課題】画像に基づく感情推定処理の推定精度の低下を抑制可能な技術を提供することが望ましい。【解決手段】車両に搭載された撮像部によって撮像された車両の搭乗者の画像に基づいて搭乗者の感情を推定する感情推定処理の推定精度が低下する精度低下エリア内に車両が位置するか否かを判定する判定部と、車両が精度低下エリア内に位置するときと位置しないときとで異なる感情推定処理を実行して搭乗者の感情を推定する感情推定部とを備える情報処理装置を提供する。【選択図】図３
2020103702.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像部によって撮像された前記車両の搭乗者の画像に基づいて前記搭乗者の感情を推定する感情推定処理の推定精度が低下する精度低下エリア内に前記車両が位置するか否かを判定する判定部と、
前記車両が前記精度低下エリア内に位置するときと位置しないときとで異なる感情推定処理を実行して前記搭乗者の感情を推定する感情推定部と、
を備える情報処理装置。
【請求項２】
前記感情推定部は、前記車両が前記精度低下エリア内に位置しないときに、前記搭乗者の画像を用いた感情推定処理を実行し、前記車両が前記精度低下エリア内に位置するときに、前記搭乗者に関連する搭乗者関連情報のうちの前記搭乗者の画像以外の情報を用いた感情推定処理を実行する、請求項１に記載の情報処理装置。
【請求項３】
前記感情推定部は、前記車両が前記精度低下エリアに位置するときに、前記搭乗者の画像を用いない感情推定処理を実行する、請求項２に記載の情報処理装置。
【請求項４】
前記感情推定部は、前記車両が前記精度低下エリア内に位置するときに、前記搭乗者の音声を用いた感情推定処理を実行する、請求項２又は３に記載の情報処理装置。
【請求項５】
前記車両が前記精度低下エリア内に位置する場合に、前記搭乗者が発声するように誘導する発声誘導処理を実行する発声誘導処理実行部
を備える、請求項４に記載の情報処理装置。
【請求項６】
前記車両が前記精度低下エリア内に位置する場合に、前記搭乗者の感情の入力を依頼する依頼処理を実行する依頼処理実行部と、
前記依頼処理に応じて入力された前記搭乗者の感情を取得する入力感情取得部と
を備え、
前記感情推定部は、前記入力感情取得部が取得した前記搭乗者の感情を、前記搭乗者の感情の推定結果とする、請求項２から５のいずれか一項に記載の情報処理装置。
【請求項７】
前記感情推定部は、前記車両が前記精度低下エリア内に位置しないときに、前記搭乗者の画像により推定した感情と前記車両の走行状況とを対応付けて格納し、前記車両が前記精度低下エリア内に位置するときに、前記車両の走行状況を取得して、取得した走行状況に対応して格納されている感情を前記搭乗者の感情の推定結果とする、請求項２から６のいずれか一項に記載の情報処理装置。
【請求項８】
前記感情推定部は、前記車両が前記精度低下エリアに入る前に推定した前記搭乗者の感情と、前記車両が前記精度低下エリアを出た後に推定した前記搭乗者の感情とに基づいて、前記車両が前記精度低下エリア内に位置するときの前記搭乗者の感情を推定する、請求項１から７のいずれか一項に記載の情報処理装置。
【請求項９】
前記車両が前記精度低下エリア内を走行している間に、予め設定されたイベントが発生したか否かを判定するイベント判定部
を備え、
前記感情推定部は、前記車両が前記精度低下エリア内を走行している間に前記予め設定されたイベントが発生していないと判定された場合に、前記車両が前記精度低下エリアに入る前に推定した前記搭乗者の感情と、前記車両が前記精度低下エリアを出た後に推定した前記搭乗者の感情とに基づいて、前記車両が前記精度低下エリア内に位置するときの前記搭乗者の感情を推定する、請求項８に記載の情報処理装置。
【請求項１０】
前記感情推定部は、前記車両が前記精度低下エリア内に位置しないときに、前記搭乗者の画像及び前記搭乗者の音声を用いた感情推定処理を実行し、前記車両が前記精度低下エリアに位置するときに、前記車両が前記精度低下エリア内に位置しないときの感情推定処理と比較して前記搭乗者の画像の重みを低くした感情推定処理を実行する、請求項１に記載の情報処理装置。
【請求項１１】
前記車両が前記精度低下エリア内に位置する場合に、前記搭乗者が発声するように誘導する発声誘導処理を実行する発声誘導処理実行部
を備える、請求項１０に記載の情報処理装置。
【請求項１２】
前記判定部は、前記車両が前記精度低下エリア内に位置する場合に、前記車両の複数の搭乗者のうち、画像に基づく感情推定処理の推定精度が低下する搭乗者と、推定精度が低下しない搭乗者とをさらに判定し、
前記感情推定部は、前記車両が前記精度低下エリア内に位置するときに、前記推定精度が低下しない搭乗者の画像を用いて推定した感情に基づいて、前記推定精度が低下すると乗車の感情を推定する感情推定処理を実行する、請求項１に記載の情報処理装置。
【請求項１３】
前記感情推定部は、前記車両が前記精度低下エリア内に位置しないときに、前記車両の複数の搭乗者の画像を用いて推定した前記複数の搭乗者の感情を対応付けて格納し、前記車両が前記精度低下エリア内に位置するときに、前記推定精度が低下しない搭乗者の画像を用いて当該搭乗者の感情を推定し、推定した当該搭乗者の感情に対応付けて格納されている、前記推定精度が低下する搭乗者の感情を、前記推定精度が低下する搭乗者の感情の推定結果とする、請求項１２に記載の情報処理装置。
【請求項１４】
コンピュータを、請求項１から１３のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
車両の搭乗者の顔画像に基づいて搭乗者の感情を推定する感情推定処理を実行する装置が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８−１０６５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
画像に基づく感情推定処理の推定精度の低下を抑制可能な技術を提供することが望ましい。
【課題を解決するための手段】
【０００４】
本発明の第１の態様によれば、情報処理装置が提供される。情報処理装置は、車両に搭載された撮像部によって撮像された車両の搭乗者の画像に基づいて搭乗者の感情を推定する感情推定処理の推定精度が低下する精度低下エリア内に車両が位置するか否かを判定する判定部を備えてよい。情報処理装置は、車両が精度低下エリア内に位置するときと位置しないときとで異なる感情推定処理を実行して搭乗者の感情を推定する感情推定部を備えてよい。
【０００５】
上記感情推定部は、上記車両が上記精度低下エリア内に位置しないときに、上記搭乗者の画像を用いた感情推定処理を実行し、上記車両が上記精度低下エリア内に位置するときに、上記搭乗者に関連する搭乗者関連情報のうちの上記搭乗者の画像以外の情報を用いた感情推定処理を実行してよい。上記感情推定部は、上記車両が上記精度低下エリアに位置するときに、上記搭乗者の画像を用いない感情推定処理を実行してよい。上記感情推定部は、上記車両が上記精度低下エリア内に位置するときに、上記搭乗者の音声を用いた感情推定処理を実行してよい。上記情報処理装置は、上記車両が上記精度低下エリア内に位置する場合に、上記搭乗者が発声するように誘導する発声誘導処理を実行する発声誘導処理実行部を備えてよい。
【０００６】
上記情報処理装置は、上記車両が上記精度低下エリア内に位置する場合に、上記搭乗者の感情の入力を依頼する依頼処理を実行する依頼処理実行部と、上記依頼処理に応じて入力された上記搭乗者の感情を取得する入力感情取得部とを備えてよく、上記感情推定部は、上記感情入力受付部が入力を受け付けた上記搭乗者の感情を、上記搭乗者の感情の推定結果としてよい。上記感情推定部は、上記車両が上記精度低下エリア内に位置しないときに、上記搭乗者の画像により推定した感情と上記車両の走行状況とを対応付けて格納し、上記車両が上記精度低下エリア内に位置するときに、上記車両の走行状況を取得して、取得した走行状況に対応して格納されている感情を上記搭乗者の感情の推定結果としてよい。上記感情推定部は、上記車両が上記精度低下エリアに入る前に推定した上記搭乗者の感情と、上記車両が上記精度低下エリアを出た後に推定した上記搭乗者の感情とに基づいて、上記車両が上記精度低下エリア内に位置するときの上記搭乗者の感情を推定してよい。上記情報処理装置は、上記車両が上記精度低下エリア内を走行している間に、予め設定されたイベントが発生したか否かを判定するイベント判定部を備えてよく、上記感情推定部は、上記車両が上記精度低下エリア内を走行している間に上記予め設定されたイベントが発生していないと判定された場合に、上記車両が上記精度低下エリアに入る前に推定した上記搭乗者の感情と、上記車両が上記精度低下エリアを出た後に推定した上記搭乗者の感情とに基づいて、上記車両が上記精度低下エリア内に位置するときの上記搭乗者の感情を推定してよい。
【０００７】
上記感情推定部は、上記車両が上記精度低下エリア内に位置しないときに、上記搭乗者の画像及び上記搭乗者の音声を用いた感情推定処理を実行し、上記車両が上記精度低下エリアに位置するときに、上記車両が上記精度低下エリア内に位置しないときの感情推定処理と比較して上記搭乗者の画像の重みを低くした感情推定処理を実行してよい。上記情報処理装置は、上記車両が上記精度低下エリア内に位置する場合に、上記搭乗者が発声するように誘導する発声誘導処理を実行する発声誘導処理実行部を備えてよい。上記判定部は、上記車両が上記精度低下エリア内に位置する場合に、上記車両の複数の搭乗者のうち、画像に基づく感情推定処理の推定精度が低下する搭乗者と、推定精度が低下しない搭乗者とをさらに判定してよく、上記感情推定部は、上記車両が上記精度低下エリア内に位置するときに、上記推定精度が低下しない搭乗者の画像を用いて推定した感情に基づいて、上記推定精度が低下すると乗車の感情を推定する感情推定処理を実行してよい。上記感情推定部は、上記車両が上記精度低下エリア内に位置しないときに、上記車両の複数の搭乗者の画像を用いて推定した上記複数の搭乗者の感情を対応付けて格納し、上記車両が上記精度低下エリア内に位置するときに、上記推定精度が低下しない搭乗者の画像を用いて当該搭乗者の感情を推定し、推定した感情を、上記推定精度が低下する搭乗者の感情の推定結果としてよい。
【０００８】
本発明の第２の態様によれば、コンピュータを、上記情報処理装置として機能させるためのプログラムが提供される。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る車両１００の一例を概略的に示す。
【図２】車両１００の構成の一例を概略的に示す。
【図３】情報処理装置２００の機能構成の一例を概略的に示す。
【図４】情報処理装置２００による処理の流れの一例を概略的に示す。
【図５】情報処理装置２００による処理の流れの一例を概略的に示す。
【図６】情報処理装置２００による処理の流れの一例を概略的に示す。
【図７】補完処理によって生成された感情５０６の一例を概略的に示す。
【図８】情報処理装置２００による処理の流れの一例を概略的に示す。
【図９】情報管理サーバ３００の機能構成の一例を概略的に示す。
【図１０】情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、本実施形態に係る車両１００の一例を概略的に示す。車両１００は、情報処理装置２００を備える。情報処理装置２００は、車両１００の搭乗者の感情を推定する感情推定処理機能を有する。
【００１３】
情報処理装置２００は、車両１００の搭乗者の顔画像に基づいて搭乗者の感情を推定する感情推定処理を実行可能である。本実施形態において、車両１００に搭乗している者を区別しない場合、搭乗者と記載し、運転している者としていない者とを区別する場合、前者を運転者５２、後者を同乗者５４と記載する。車両１００が自動運転車である場合、運転者５２は、運転席に座っている者であってよい。同乗者５４は、助手席に座っている者であってよい。同乗者５４は、後部座席に座っている者であってよい。
【００１４】
情報処理装置２００は、車両１００が備える撮像部によって撮像された搭乗者の画像を取得する。撮像部は、車両１００の車内の全体を撮像可能な１台のカメラ１１０を有してよい。情報処理装置２００は、当該カメラ１１０から、運転者５２の画像及び同乗者５４の画像を取得してよい。
【００１５】
撮像部は、複数のカメラ１１０を有してもよい。情報処理装置２００は、複数のカメラ１１０のそれぞれによって撮像された運転者５２の画像及び同乗者５４の画像を、当該複数のカメラ１１０から取得してよい。撮像部は、例えば、運転席及び助手席を撮像可能なカメラ１１０と、後部座席を撮像可能なカメラ１１０とを有する。撮像部は、運転席を撮像可能なカメラ１１０と、助手席を撮像可能なカメラ１１０とを有してもよい。撮像部は、後部座席の複数の同乗者５４のそれぞれを撮像可能な複数のカメラ１１０を有してもよい。
【００１６】
情報処理装置２００は、例えば、搭乗者のニュートラルな表情の画像を予め格納しておく。ニュートラルな表情とは、いわゆる素の表情であってよい。搭乗者の素の表情とは、例えば、搭乗者が何も意識していないときの表情である。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の顔画像とニュートラルな表情の画像とを比較することによって、搭乗者の感情を推定してよい。
【００１７】
情報処理装置２００は、例えば、初期設定としてカメラ１１０によって撮像された搭乗者のニュートラルな表情の画像を格納する。情報処理装置２００は、搭乗者のニュートラルな表情の画像を他の装置から受信して格納してもよい。情報処理装置２００は、例えば、搭乗者が所有するスマートフォン等の携帯通信端末から、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を介して、搭乗者のニュートラルな表情の画像を受信する。また、情報処理装置２００は、例えば、搭乗者のニュートラルな表情の画像を管理する管理サーバから、移動体通信ネットワーク等を介して、搭乗者のニュートラルな表情の画像を受信する。
【００１８】
情報処理装置２００は、搭乗者のニュートラルな表情の画像を用いるのではなく、汎用のニュートラルな表情の画像を用いて搭乗者の感情を推定してもよい。汎用のニュートラルな表情の画像とは、多数の人の平均的なニュートラルな表情の画像であってよい。汎用のニュートラルな表情の画像は、性別、年齢、及び人種等の属性毎に用意されていてもよい。
【００１９】
情報処理装置２００は、例えば、ニュートラルな表情との相違と、人間の感情パターンとを対応付けた対応付けデータを予め格納しておく。対応付けデータは、例えば、ニュートラルな表情に対して口角が上がっていることとポジティブな感情とを対応付け、ニュートラルな表情に対して口角が下がっていることとネガティブな感情とを対応付ける。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の画像、ニュートラルな表情の画像、及び当該対応付けデータを用いて、感情のパターンのいずれかを特定することにより、搭乗者の感情の推定結果とする。
【００２０】
人間の感情のパターンとして、例えば、人間の感情を活性度（Ａｒｏｕｓａｌ）と覚醒度（Ｖａｌｅｎｃｅ）の２軸で表し、感情の度合いを原点からの距離で表すラッセル（Ｒｕｓｓｅｌｌ）の円環モデルに基づく感情のパターンを採用し得る。また、例えば、人間の感情を、８つの基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待）と、隣り合う２つの感情の組み合わせによる応用感情とに分類したプルチック（Ｐｌｕｔｃｈｉｋ）の感情の輪に基づく感情のパターンを採用し得る。これらに限らず、本実施形態に係る情報処理装置２００は、任意の感情のパターンを採用し得る。
【００２１】
情報処理装置２００は、ニュートラルな表情の画像を用いるのではなく、搭乗者が複数の種類の感情のそれぞれを抱いているときの顔画像を格納しておき、その後にカメラ１１０によって撮像された搭乗者の顔画像と、格納している複数の顔画像とを比較することによって、搭乗者の感情を推定してもよい。例えば、情報処理装置２００は、格納している複数の顔画像のうち、カメラ１１０によって撮像された搭乗者の顔画像に最も類似する顔画像を特定し、特定した顔画像に対応する感情を、搭乗者の感情の推定結果とする。
【００２２】
情報処理装置２００は、予め格納した画像を用いるのではなく、搭乗者の顔画像の変動等に基づいて、搭乗者の感情を推定してもよい。人物の顔画像から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、当該様々な技術のうちの任意の技術を採用し得る。
【００２３】
搭乗者の顔画像に基づいて搭乗者の感情を推定する場合、搭乗者が置かれている状況によって、感情推定処理の推定精度が低下してしまうことがある。例えば、搭乗者に強い陽射しが当たるエリアを車両１００が走行する場合、搭乗者の画像が白やけしたり、強い影ができたりすることによって、搭乗者に強い陽射しが当たらないエリアと比較して、推定精度が低下してしまう場合がある。また、例えば、搭乗者に対して対向車のヘッドライトが当たってしまう場合や、様々な色の光が様々なパターンで点滅するイルミネーションの近くを車両１００が走行する場合等も、推定精度が低下してしまう場合がある。
【００２４】
感情推定処理の推定精度が低下するとは、例えば、推定結果の正解率が低くなることである。すなわち、推定結果の感情が実際の感情と一致する割合が低下することである。例えば、搭乗者に強い陽射しが到達しないエリアと到達するエリアとで、搭乗者が喜びを感じて喜んでいる表情をした場合に、前者では喜びと推定し、後者では怒りと推定してしまう等の事態が発生し得る。また、例えば、搭乗者に強い陽射しが当たるエリアにおける搭乗者の顔画像は、搭乗者に強い陽射しが当たらないエリアにおける搭乗者の顔画像と比較して、白やけ及び強い影等の影響によって、表情の特定により多くの処理時間がかかる場合があり、情報処理装置２００による感情推定処理に、より多くの時間がかかってしまうことも起こり得る。搭乗者に強い陽射しが到達する陽射し到達エリアは、搭乗者の顔画像に基づいて搭乗者の感情を推定する感情推定処理の推定精度が低下するエリア（精度低下エリアと記載する場合がある。）の一例である。なお、感情推定処理の推定精度が低下するとは、画像が感情推定処理を実行するための条件を満たさずに、感情推定処理を実行できない場合を含む。
【００２５】
本実施形態に係る情報処理装置２００は、車両１００が精度低下エリア内に位置するときと位置しないときとで、異なる感情推定処理を実行して搭乗者の感情を推定する。情報処理装置２００は、例えば、精度低下エリア外では、搭乗者の画像を用いた感情推定処理を実行し、精度低下エリア内では、搭乗者に関連する搭乗者関連情報のうち、搭乗者の画像以外の情報を用いた感情推定処理を実行する。例えば、情報処理装置２００は、精度低下エリア内では、搭乗者の画像を用いず、搭乗者の音声や、搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報等に基づく感情推定処理を実行する。このように、画像を用いた感情推定処理の推定精度が低下するエリア内では、画像以外の情報を用いた感情推定処理を実行することにより、推定精度の低下を抑制することができる。また、画像のうち、白やけしたり強い影が発生したりしている部分を特別に処理するために必要な時間を削減することにより、感情推定処理に、より多くの時間がかかってしまうことを抑制し得る。
【００２６】
情報処理装置２００は、車両１００が精度低下エリア内に位置するか否かを、様々な手法の少なくともいずれかによって判定する。例えば、情報処理装置２００は、精度低下エリアを示す精度低下エリア情報を予め格納しておく。そして、情報処理装置２００は、車両１００の位置情報を取得して、当該位置情報によって示される位置が精度低下エリア内に位置するか否かを判定する。
【００２７】
情報処理装置２００は、例えば、精度低下エリア情報を、ネットワーク１０を介して、情報管理サーバ３００から受信して格納する。ネットワーク１０は、任意のネットワークであってよい。例えば、ネットワーク１０は、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）通信システム、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）通信システム、及び５Ｇ（５ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）通信システム等の移動体通信システムを含む。ネットワーク１０は、インターネット、公衆無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、及び任意の専用網等を含んでもよい。
【００２８】
情報管理サーバ３００は、精度低下エリア情報を生成して格納しておき、情報処理装置２００に精度低下エリア情報を送信する。情報管理サーバ３００は、例えば、各地の道路及び建物等を含む３次元マップと、各日時の太陽の位置とから、時間帯毎の精度低下エリアの位置を示す精度低下エリア情報を生成する。
【００２９】
情報管理サーバ３００は、複数の車両１００から収集した情報を用いて精度低下エリア情報を生成してもよい。例えば、情報管理サーバ３００は、複数の車両１００のそれぞれから、搭乗者に陽射しが到達している位置及び日時を示す位置情報及び日時情報を受信し、受信した情報を用いて精度低下エリア情報を生成する。複数の車両１００のそれぞれは、例えば、走行しながら、搭乗者に陽射しが到達しているか否かを判定し、到達していると判定した場合に、位置情報及び日時情報を情報管理サーバ３００に送信する。
【００３０】
情報管理サーバ３００は、搭乗者に陽射しが到達しているか否かを判定するための専用の機能を有する複数の車両１００から、情報を収集してよい。当該複数の車両１００は、例えば、搭乗者に到達している光の強さを検知する光センサを備える。
【００３１】
情報管理サーバ３００は、搭乗者に陽射しが到達しているか否かを判定するための専用の機能を有さない複数の車両１００から、情報を収集してもよい。当該複数の車両１００は、例えば、搭乗者の顔画像を解析して、搭乗者に陽射しが到達していると判定した場合に、その位置情報及び日情報を情報管理サーバ３００に送信する。顔画像を解析することによる、搭乗者に陽射しが到達しているか否かの判定は、精度が低い場合もあり得るが、情報管理サーバ３００は、大量の情報を収集することによって、その精度の低さをカバーすることができる。なお、車両１００が、搭乗者の顔画像、位置情報及び日時情報を継続的に情報管理サーバ３００に送信し、情報管理サーバ３００が搭乗者の顔画像を解析することによって、搭乗者に陽射しが到達しているか否かを判定してもよい。
【００３２】
情報管理サーバ３００は、搭乗者の顔画像に基づく感情推定処理の推定精度を導出するために試験的に走行する複数の車両１００から、情報を収集してもよい。当該複数の車両１００は、搭乗者の顔画像に基づく感情推定処理の推定精度と、位置情報及び日時情報とを情報管理サーバ３００に送信してよい。当該車両１００では、例えば、搭乗者が自らの感情を適宜入力する。車両１００は、搭乗者によって入力された感情と、搭乗者の顔画像に基づいて推定した搭乗者の感情とを比較することによって、推定精度を導出してよい。
【００３３】
情報処理装置２００は、車両１００が精度低下エリア内に位置するか否かを、精度低下エリア情報を用いるのではなく、車両１００の位置情報、日時情報、及び車両１００の周辺の３次元地図データに基づいて判定してもよい。情報処理装置２００は、例えば、位置情報及び日時情報によって、車両１００と太陽との相対位置を特定するとともに、車両１００と太陽の間に、日光を遮る建物等が存在するか否かを特定することによって、車両１００が精度低下エリア内に位置するか否かを判定する。
【００３４】
情報処理装置２００は、車両１００が陽射し到達エリア内に位置すると判定した場合であっても、搭乗者に陽射しが到達しないような状況であると判定した場合、車両１００が陽射し到達エリア外に位置する場合と同じ感情推定処理を実行するように制御してもよい。
【００３５】
搭乗者に陽射しが到達しないような状況とは、例えば、車両１００の位置における天気が晴天でない状況である。情報処理装置２００は、例えば、天気情報を提供する天気情報サーバ４００から、ネットワーク１０を介して天気情報を受信することによって、車両１００の位置における天気を判定してよい。また、情報処理装置２００は、車両１００が天気センサを備える場合に、当該天気センサによって検知された天気の情報を取得することによって、車両１００の位置における天気を判定してよい。天気センサは、例えば、湿度センサ、気圧センサ、照度センサ、及びカメラ等によって構成される。
【００３６】
また、搭乗者に陽射しが到達しないような状況とは、車両１００において搭乗者に陽射しが到達しない処置がとられている状況である。具体例として、車両１００のサンバイザが利用されている状況が挙げられる。車両１００が、サンバイザの利用状況を検知するセンサを備える場合に、情報処理装置２００は、当該センサから受信する情報によって、サンバイザが利用されているか否かを判定してよい。
【００３７】
図２は、車両１００の構成の一例を概略的に示す。図２に示す各種構成は、車両１００が備えるナビゲーションシステムの一部であってもよい。
【００３８】
車両１００は、カメラ１１０を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能なカメラ１１０を備える場合を例示する。図２において例示する画角１１２が示すように、カメラ１１０によれば、運転席１６２、助手席１６４、及び後部座席１６６の搭乗者を撮像可能である。図２におけるカメラ１１０の配置は例示であり、カメラ１１０は、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能であれば任意の場所に配置されてよい。なお、車両１００は、運転席１６２、助手席１６４、及び後部座席１６６のそれぞれを撮像する複数のカメラ１１０を備えてもよい。
【００３９】
車両１００は、マイク１２２を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するマイク１２２を備える場合を例示する。図２におけるマイク１２２の配置は例示であり、マイク１２２は、運転席１６２、助手席１６４及び後部座席１６６のすべての搭乗者の音声を拾うことができれば、任意の場所に配置されてよい。車両１００は、複数のマイク１２２を備えてもよい。複数のマイク１２２は、例えば、運転席１６２用のマイク１２２、助手席１６４用のマイク１２２、及び後部座席１６６用のマイク１２２を含む。
【００４０】
車両１００は、スピーカ１２４を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するスピーカ１２４を備える場合を例示する。図２におけるスピーカ１２４の配置は例示であり、スピーカ１２４は、任意の場所に配置されてよい。車両１００は、複数のスピーカ１２４を備えてもよい。
【００４１】
車両１００は、ディスプレイ１３０を備える。図２におけるディスプレイ１３０の配置は例示であり、ディスプレイ１３０は、主に運転席１６２及び助手席１６４から閲覧可能であれば、任意の場所に配置されてよい。ディスプレイ１３０は、タッチパネルディスプレイであってよい。車両１００は、複数のディスプレイ１３０を備えてもよい。例えば、車両１００は、運転席１６２及び助手席１６４用のディスプレイ１３０と、後部座席１６６用のディスプレイ１３０とを備える。
【００４２】
車両１００は、無線通信アンテナ１４２を備える。無線通信アンテナ１４２は、ネットワーク１０上の装置と通信するためのアンテナであってよい。車両１００は、例えば、無線通信アンテナ１４２によって、移動体通信システムにおける無線基地局及び無線ルータ等を介してネットワーク１０上の装置と通信する。なお、無線通信アンテナ１４２は、車車間通信及び路車間通信等を行うためのアンテナであってもよく、車両１００は、車車間通信及び路車間通信等を介して、ネットワーク１０上の装置と通信してもよい。
【００４３】
車両１００は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）アンテナ１４４を備える。ＧＰＳアンテナ１４４は、ＧＰＳ衛星から位置測定用の電波を受信する。車両１００は、ＧＰＳアンテナ１４４が受信する位置測定用の電波を用いて、車両１００の現在地を測位してよい。車両１００は、さらに自立航法による測位を組み合わせることによって、車両１００の現在地を測位してもよい。車両１００は、公知の任意の測位技術を用いて、車両１００の現在地を測位してよい。
【００４４】
車両１００は、車両１００の搭乗者の生体情報を検知可能な不図示のセンサを備えてもよい。当該センサは、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置され、搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を検知する。車両１００は、搭乗者が身に着けているウェアラブルデバイスと通信接続する近距離無線通信部を備えていてもよく、ウェアラブルデバイスによって検知された搭乗者の生体情報を、当該ウェアラブルデバイスから受信してもよい。近距離無線通信部は、例えば、Ｂｌｕｅｔｏｏｔｈ等によってウェアラブルデバイスと通信接続する。
【００４５】
情報処理装置２００は、車両１００が備える上述の各種構成によって取得された情報を用いて、搭乗者の感情を推定する。上述の各種構成は、情報処理装置２００が備えてもよい。情報処理装置２００は、車両１００が備えるナビゲーションシステムと一体であってよく、また、別体であってもよい。
【００４６】
図３は、情報処理装置２００の機能構成の一例を概略的に示す。情報処理装置２００は、位置情報取得部２０２、画像取得部２０４、音声取得部２０６、センサ情報取得部２０８、走行状況取得部２１０、エリア情報受信部２１２、エリア情報格納部２１４、判定部２２０、感情推定部２３０、イベント判定部２３２、発声誘導処理実行部２４２、依頼処理実行部２４４、入力感情取得部２４６、及び天気情報取得部２４８を備える。なお、情報処理装置２００がこれらのすべての構成を備えることは必須とは限らない。
【００４７】
位置情報取得部２０２は、車両１００の位置情報を取得する。位置情報取得部２０２は、ＧＰＳアンテナ１４４が受信した位置測定用の電波を用いて導出された車両１００の位置情報を取得してよい。車両１００の位置情報の導出は、車両１００のナビゲーションシステムによって行われてよい。また、位置情報取得部２０２が、ＧＰＳアンテナ１４４から受信した情報を用いて導出してもよい。
【００４８】
画像取得部２０４は、車両１００の搭乗者の画像を取得する。画像取得部２０４は、車両１００の撮像部によって撮像された搭乗者の画像を取得する。画像取得部２０４は、１００の撮像部によって撮像される搭乗者の画像を継続的に取得してよい。
【００４９】
音声取得部２０６は、車両１００の搭乗者の音声を取得する。音声取得部２０６は、車両１００のマイク１２２から入力された搭乗者の音声を取得する。音声取得部２０６は、車両１００のマイク１２２から搭乗者の音声を継続的に取得してよい。
【００５０】
センサ情報取得部２０８は、センサによって検知された車両１００の搭乗者の生体情報を取得する。センサ情報取得部２０８は、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置されたセンサによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該センサから取得する。また、センサ情報取得部２０８は、例えば、搭乗者が身に着けているウェアラブルデバイスによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該ウェアラブルデバイスから取得する。また、センサ情報取得部２０８は、車両１００がサンバイザの利用状況を検知するセンサを備える場合に、当該センサによって検知されたサンバイザの利用状況を示す情報を取得してよい。
【００５１】
走行状況取得部２１０は、車両１００の走行状況を取得する。走行状況取得部２１０は、例えば、車両１００のナビゲーションシステムによって管理されている車両１００の走行状況を、ナビゲーションシステムから取得する。車両１００のナビゲーションシステムは、車両１００が走行している周辺の道路データ、車両１００の速度、加速度、ステアリングの操作状態、及びブレーキの操作状態等から、車両１００の走行状況を判定してよい。
【００５２】
車両１００の走行状況は、車両１００の状態及び車両１００が走行している道路の状況等を含んでよい。車両１００の状態は、例えば、車両１００の走行速度に関する情報を含む。車両１００の走行速度に関する情報は、例えば、車両１００が通常速度で走行していること、車両１００が加速していること、車両１００が急加速したこと、及び車両１００が急停止したこと等を含む。
【００５３】
車両１００が走行している道路の状況は、例えば、車両１００が走行している道路の形状を含む。道路の形状としては、直線、カーブ、及び坂道等が例示できる。カーブは、カーブの度合いによって、緩いカーブ、普通のカーブ、急カーブ等に細分化されてもよい。坂道は、上り坂及び下り坂に区別されてよく、また、坂道の度合いによって緩い上り坂、普通の上り坂、急な上り坂、緩い下り坂、普通の下り坂、急な下り坂等に細分化されてもよい。
【００５４】
エリア情報受信部２１２は、精度低下エリア情報を受信する。エリア情報受信部２１２は、情報管理サーバ３００からネットワーク１０を介して精度低下エリア情報を受信してよい。エリア情報受信部２１２は、情報管理サーバ３００から受信した精度低下エリア情報をエリア情報格納部２１４に格納する。エリア情報受信部２１２は、情報管理サーバ３００において精度低下エリア情報が更新される毎に、情報管理サーバ３００から精度低下エリア情報を受信してよく、エリア情報格納部２１４に格納されている精度低下エリア情報を更新してよい。
【００５５】
判定部２２０は、車両１００が精度低下エリア内に位置するか否かを判定する。判定部２２０は、位置情報取得部２０２が取得する車両１００の現在位置を示す位置情報と、エリア情報格納部２１４に格納されている精度低下エリア情報とによって、車両１００が精度低下エリア内に位置するか否かを判定してよい。また、判定部２２０は、位置情報及び日時情報によって、車両１００と太陽との相対位置を特定するとともに、車両１００と太陽の間に、日光を遮る建物等が存在するか否かを特定することによって、車両１００が精度低下エリア内に位置するか否かを判定してもよい。判定部２２０は、車両１００が、搭乗者に到達している光の強さを検知する光センサのような、搭乗者に陽射しが到達しているか否かを判定するための専用の機能を有する場合、当該機能を用いて、車両１００が精度低下エリア内に位置するか否かを判定してもよい。
【００５６】
感情推定部２３０は、感情推定処理を実行して搭乗者の感情を推定する。感情推定部２３０は、車両１００が精度低下エリア内に位置するときと位置しないときとで異なる感情推定処理を実行する。
【００５７】
感情推定部２３０は、例えば、車両１００が精度低下エリア内に位置しないときに、搭乗者の画像を用いた感情推定処理を実行し、車両１００が精度低下エリア内に位置するときに、搭乗者に関連する搭乗者関連情報のうちの搭乗者の画像以外の情報を用いた感情推定処理を実行する。搭乗者関連情報は、例えば、搭乗者の画像、音声、心拍、脈拍、発汗、血圧、及び体温等を含む。感情推定部２３０は、車両１００が精度低下エリア内に位置するときに、搭乗者の画像を用いない感情推定処理を実行してよい。
【００５８】
感情推定部２３０は、例えば、車両１００が精度低下エリア内に位置しないときに、搭乗者の画像を用いた感情推定処理を実行し、車両１００が精度低下エリア内に位置するときに、搭乗者の音声を用いた感情推定処理を実行する。例えば、車両１００が、搭乗者に陽射しが到達している場合、搭乗者の画像による感情推定処理の推定精度は低下し得るが、搭乗者の音声による感情推定処理は、陽射しの影響を受けにくい。そのため、搭乗者に陽射しが到達しているエリアにおいて搭乗者の画像による感情推定処理を実行する場合と比較して、推定精度の低下を抑制し得る。
【００５９】
感情推定部２３０は、例えば、音声自体の特徴量に基づく感情推定処理を実行する。音声自体の特徴量としては、音声の大きさ、トーン、スペクトル、及び基本周波数等が例示できる。感情推定部２３０は、音声を音声認識した結果の文字列に基づく感情推定処理を実行してもよい。また、感情推定部２３０は、音声自体の特徴量と、音声を音声認識した結果の文字列との両方に基づく感情推定処理を実行してもよい。車両１００が複数の搭乗者のそれぞれの音声を拾う複数のマイク１２２を備えている場合、感情推定部２３０は、マイク１２２の違いによって、話者を識別してよい。一つのマイク１２２によって複数の搭乗者の音声を拾う場合、感情推定部２３０は、公知の話者識別機能を用いることによって、話者を識別してよい。公知の話者識別機能としては、音声の特徴量を用いる方法、音声の取得方向から判定する方法等が知られている。人物の音声から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、感情推定部２３０は、当該様々な技術のうちの任意の技術を採用し得る。
【００６０】
感情推定部２３０は、例えば、車両１００が精度低下エリア内に位置しないときに、搭乗者の画像を用いた感情推定処理を実行し、車両１００が精度低下エリア内に位置するときに、搭乗者の心拍、脈拍、発汗、血圧、及び体温等を用いた感情推定処理を実行する。人物の心拍、脈拍、発汗、血圧、及び体温等から当該人物の感情を推定する感情推定技術として様々な技術が知られているが、感情推定部２３０は、当該様々な技術のうちの任意の技術を採用し得る。
【００６１】
感情推定部２３０は、車両１００が精度低下エリア内に位置しないときに、搭乗者の画像により推定した感情と車両１００の走行状況とを対応付けて格納し、車両１００が精度低下エリア内に位置するときに、車両１００の走行状況を取得して、取得した走行状況に対応して格納されている感情を搭乗者の感情の推定結果としてよい。例えば、車両１００が精度低下エリア内に位置しないときに、加速に対して、運転者５２の感情として興奮、同乗者５４の感情として緊張が対応付けられる。また、例えば、急カーブに対して、運転者５２及び同乗者５４の感情として緊張が対応付けられる。また、例えば、渋滞に対して、運転者５２及び同乗者５４の感情として怒りが対応付けられる。そして、車両１００が精度低下エリア内に位置するときに、走行状況取得部２１０が、車両１００の走行状況として加速を取得した場合、感情推定部２３０は、運転者５２の感情として興奮、同乗者５４の感情として緊張を推定結果とする。車両１００を加速するときに興奮した運転者５２は、その後に車両１００を加速するときも興奮の感情を抱く可能性が高いといえる。また、車両１００を加速するときに楽しいと感じた運転者５２は、その後に加速するときも楽しいという感情を抱く可能性が高いといえる。本実施形態に係る感情推定部２３０によれば、車両１００が精度低下エリア内に位置するときに、このような車両１００の走行状況に基づく感情推定処理を実行することにより、画像による推定精度の低い感情推定処理を実行してしまうことを防止しつつ、このような搭乗者の特性に基づく感情推定処理を実行することができ、推定精度の低下を抑制し得る。
【００６２】
感情推定部２３０は、車両１００が精度低下エリア内に位置しないときに、搭乗者の画像及び搭乗者の音声を用いた感情推定処理を実行し、車両１００が精度低下エリアに位置するときに、車両１００が精度低下エリア内に位置しないときの感情推定処理と比較して搭乗者の画像の重みを低くした感情推定処理を実行してもよい。例えば、感情推定部２３０は、車両１００が精度低下エリア内に位置しないときに、画像の重みを５、音声の重みを５とした感情推定処理を実行し、車両１００が精度低下エリア内に位置するときに、画像の重みを２、音声の重みを８とした感情推定処理を実行する。これにより、通常時には画像及び音声によって搭乗者の感情を推定しつつ、画像による感情推定処理の推定精度が低下してしまう場合に、その低下の影響を低減し得る。
【００６３】
判定部２２０は、車両１００が精度低下エリア内に位置するときに、画像による感情推定処理の推定精度が低下する搭乗者と、画像による感情推定処理の推定精度が低下しない搭乗者とをさらに判定してもよい。例えば、精度低下エリア情報が、運転席１６２、助手席１６４、及び後部座席１６６のそれぞれについて、推定精度が低下するか否かを示す情報を含む。例えば、運転席１６２及び助手席１６４に強い陽射しが到達するが、後部座席には到達しない精度低下エリアの精度低下エリア情報は、推定精度が低下する搭乗者が運転席１６２及び助手席１６４の搭乗者であり、推定精度が低下しない搭乗者が後部座席１６６の搭乗者であることを示す情報を含む。
【００６４】
感情推定部２３０は、車両１００が精度低下エリア内に位置するときに、推定精度が低下しない搭乗者の画像を用いて推定した感情に基づいて、推定精度が低下する搭乗者の感情を推定する感情推定処理を実行してよい。感情推定部２３０は、例えば、推定精度が低下する搭乗者の感情を、推定精度が低下しない搭乗者の画像を用いて推定した感情と同一であるものとする。車両１００の中という限定された空間においては、搭乗者が同じ感情を抱く可能性が比較的高いといえるので、蓋然性の高い感情推定結果を導出し得る。
【００６５】
また、感情推定部２３０は、例えば、車両１００が精度低下エリア内に位置しないときに、車両１００の複数の搭乗者の画像を用いて推定した複数の搭乗者の感情を対応付けて格納し、車両１００が精度低下エリア内に位置するときに、推定精度が低下しない搭乗者の画像を用いて当該搭乗者の感情を推定し、推定した感情を、推定精度が低下する搭乗者の感情の推定結果としてもよい。これにより、例えば、同乗者が緊張の感情を抱いているときに、運転者が興奮の感情を抱く傾向がある場合に、その傾向を感情推定結果に反映することができ、蓋然性の高い感情推定結果を導出し得る。
【００６６】
感情推定部２３０は、事後的に搭乗者の感情を推定してもよい。感情推定部２３０は、例えば、車両１００が精度低下エリアに入る前に推定した搭乗者の感情と、車両１００が精度低下エリアを出た後に推定した搭乗者の感情とに基づいて、車両１００が精度低下エリア内に位置するときの搭乗者の感情を推定する。感情推定部２３０は、車両１００が精度低下エリアに入る前に推定した搭乗者の感情と、車両１００が精度低下エリアを出た後に推定した搭乗者の感情とによって、車両１００が精度低下エリア内に位置するときの搭乗者の感情を補完することによって、当該搭乗者の感情を推定してよい。感情推定部２３０は、例えば、精度低下エリアに入る前に推定した搭乗者の感情が低い度合の楽しさを示し、精度低下エリアを出た後に推定した搭乗者の感情が高い度合の楽しさを示す場合、精度低下エリア内における搭乗者の感情の推定結果を、中程度の楽しさとする。これにより、蓋然性の高い感情推定結果を導出し得る。
【００６７】
イベント判定部２３２は、車両１００において予め設定されたイベントが発生したか否かを判定する。イベント判定部２３２は、車両１００が精度低下エリア内を走行している間に予め設定されたイベントが発生したか否かを判定してよい。
【００６８】
予め設定されたイベントは、そのイベントが発生することによって、搭乗者の感情が変わり得るイベントである。当該イベントとしては、車両１００において音楽が出力されたこと、急加速及び急ブレーキ等の特定の運転がなされたこと等が例示できる。搭乗者の感情が変わり得るイベントであれば、任意のイベントが設定され得る。
【００６９】
感情推定部２３０は、車両１００が精度低下エリア内を走行している間に、イベント判定部２３２によって予め設定されたイベントが発生していないと判定された場合に、車両１００が精度低下エリアに入る前に推定した搭乗者の感情と、車両１００が精度低下エリアを出た後に推定した搭乗者の感情とに基づいて、車両１００が精度低下エリア内に位置するときの搭乗者の感情を推定してよい。感情推定部２３０は、車両１００が精度低下エリア内を走行している間に、イベント判定部２３２によって予め設定されたイベントが発生したと判定された場合、車両１００が精度低下エリアに入る前に推定した搭乗者の感情と、車両１００が精度低下エリアを出た後に推定した搭乗者の感情とによる補完を行わない。車両１００が精度低下エリア内を走行している間に、上述のイベントが発生した場合、特別な感情を抱く可能性があり、精度低下エリアに入る前に推定した感情と、精度低下エリアを出た後に推定した感情との補完によって推定した感情が、実際の感情と一致しない可能性が比較的高いといえる。このような状況において、補完を行わないようにすることによって、推定精度が低下してしまうことを防止し得る。
【００７０】
発声誘導処理実行部２４２は、搭乗者が発声するように誘導する発声誘導処理を実行する。発声誘導処理実行部２４２は、例えば、車両１００が精度低下エリア内に位置する場合であって、感情推定部２３０が搭乗者の音声を用いて搭乗者の感情を推定する場合に、発生誘導処理を実行する。これにより、感情推定部２３０が搭乗者の音声を取得できず、搭乗者の音声を用いた感情推定処理を実行できないような事態の発生を抑制できる。
【００７１】
発声誘導処理実行部２４２は、例えば、発声誘導処理として、搭乗者に対して音声をスピーカ１２４に出力させる。発声誘導処理実行部２４２は、予め格納している音声を出力させてよい。音声の内容は、搭乗者に回答させることによって搭乗者に発声させるための質問であってよい。また、音声の内容は、搭乗者に発声を依頼する内容であってもよい。音声の内容は、任意に定められてよい。車両１００のナビゲーションシステムが、搭乗者とコミュニケーションをとるエージェントを有する場合、発声誘導処理実行部２４２は、当該エージェントに、搭乗者に対して話しかけさせてもよい。
【００７２】
依頼処理実行部２４４は、搭乗者の感情の入力を依頼する依頼処理を実行する。入力感情取得部２４６は、依頼処理実行部２４４による依頼処理に応じて入力された搭乗者の感情を取得する。
【００７３】
依頼処理実行部２４４は、例えば、車両１００が精度低下エリア内に位置する場合に、依頼処理を実行する。感情推定部２３０は、車両１００が精度低下エリア内に位置する場合に、入力感情取得部２４６が取得した搭乗者の感情を、当該搭乗者の感情の推定結果としてよい。精度低下エリア内において、画像を用いる代わりに、搭乗者の感情の入力を受け付けるようにすることで、推定精度の低下を抑止し得る。
【００７４】
依頼処理実行部２４４は、例えば、依頼処理として、ディスプレイ１３０に搭乗者の感情を入力するための入力画面を表示させる。入力感情取得部２４６は、ディスプレイ１３０に表示された入力画面に対して入力された感情を取得する。依頼処理実行部２４４は、例えば、複数の感情をディスプレイ１３０に選択可能に表示させる。入力感情取得部２４６は、ディスプレイ１３０に表示された複数の感情から選択された感情を取得する。ある搭乗者の感情の入力は、本人によって行われてよく、また、他の搭乗者によって行われてもよい。
【００７５】
依頼処理実行部２４４は、例えば、依頼処理として、搭乗者の感情を音声入力することを依頼する音声をスピーカ１２４に出力させる。入力感情取得部２４６は、当該音声に応じて搭乗者によって発声された感情を、マイク１２２を介して取得する。
【００７６】
天気情報取得部２４８は、車両１００の位置における天気を示す天気情報を取得する。２４８は、例えば、天気情報サーバ４００から、ネットワーク１０を介して天気情報を受信する。車両１００が天気センサを備える場合、天気情報取得部２４８は、天気センサから天気情報を受信してもよい。
【００７７】
感情推定部２３０は、判定部２２０によって、車両１００が精度低下エリア内に位置すると判定された場合であっても、搭乗者の画像による感情推定処理の推定精度が低下しない状況であると判定した場合、車両１００が精度低下エリア外に位置する場合と同じ感情推定処理を実行してよい。感情推定部２３０は、例えば、判定部２２０によって、陽射し到達エリア内に位置すると判定された場合であっても、搭乗者に陽射しが到達しないような状況であると判定した場合、車両１００が陽射し到達エリア外に位置する場合と同じ感情推定処理を実行する。
【００７８】
感情推定部２３０は、例えば、天気情報取得部２４８が取得した天気情報によって示される天気が晴天でない場合、搭乗者に陽射しが到達しないような状況であると判定する。また、感情推定部２３０は、例えば、センサ情報取得部２０８がサンバイザの利用状況を検知するセンサから、サンバイザが利用されていることを示す情報を取得した場合、搭乗者に陽射しが到達しないような状況であると判定する。
【００７９】
図４は、情報処理装置２００による処理の流れの一例を概略的に示す。ここでは、精度低下エリア外において感情推定処理の実行を開始した状態を開始状態として説明する。
【００８０】
ステップ（ステップをＳと省略して記載する場合がある。）１０２では、感情推定部２３０が、画像取得部２０４によって取得された搭乗者の画像を用いた感情推定処理を実行する。Ｓ１０４では、判定部２２０が、精度低下エリア内に車両１００が位置するか否かを判定する。位置すると判定した場合、Ｓ１０６に進み、位置しないと判定した場合、Ｓ１０２に戻る。
【００８１】
Ｓ１０６では、発声誘導処理実行部２４２が発声誘導処理を実行する。Ｓ１０８では、感情推定部２３０が、音声取得部２０６によって取得された搭乗者の音声を用いた感情推定処理を実行する。Ｓ１１０では、判定部２２０が、精度低下エリア外に車両１００が位置するか否かを判定する。位置しないと判定した場合、Ｓ１０６に戻り、位置すると判定した場合、Ｓ１０２に戻る。
【００８２】
図４に示す処理は、感情推定処理の実行を停止するまで継続されてよい。情報処理装置２００は、例えば、搭乗者によって感情推定処理の実行の停止が指示された場合、車両１００のエンジンが停止した場合、車両１００の電源がオフにされた場合等に、図４に示す処理を終了する。
【００８３】
図５は、情報処理装置２００による処理の流れの一例を概略的に示す。ここでは、精度低下エリア外において感情推定処理の実行を開始した状態を開始状態として説明する。
【００８４】
Ｓ２０２では、感情推定部２３０が、画像取得部２０４によって取得された搭乗者の画像を用いた感情推定処理を実行する。Ｓ２０４では、判定部２２０が、精度低下エリア内に車両１００が位置するか否かを判定する。位置すると判定した場合、Ｓ２０６に進み、位置しないと判定した場合、Ｓ２０２に戻る。
【００８５】
Ｓ２０６では、依頼処理実行部２４４が、搭乗者の感情の入力を依頼する感情入力依頼処理を実行する。Ｓ２０８では、入力感情取得部２４６が、Ｓ２０６における依頼処理に応じて搭乗者によって入力された感情を取得する。感情推定部２３０は、入力感情取得部２４６が取得した感情を、搭乗者の感情推定結果とする。
【００８６】
Ｓ２１０では、判定部２２０が、精度低下エリア外に車両１００が位置するか否かを判定する。位置しないと判定した場合、Ｓ２０６に戻り、位置すると判定した場合、Ｓ２０２に戻る。
【００８７】
図５に示す処理は、感情推定処理の実行を停止するまで継続されてよい。情報処理装置２００は、例えば、搭乗者によって感情推定処理の実行の停止が指示された場合や、車両１００のエンジンが停止した場合、車両１００の電源がオフにされた場合等に、図５に示す処理を終了する。
【００８８】
図６は、情報処理装置２００による処理の流れの一例を概略的に示す。ここでは、精度低下エリア外において感情推定処理の実行を開始した状態を開始状態として説明する。
【００８９】
Ｓ３０２では、感情推定部２３０が、画像取得部２０４によって取得された搭乗者の画像を用いた感情推定処理を実行する。Ｓ３０４では、感情推定部２３０が、Ｓ３０２において推定した搭乗者の感情と、走行状況取得部２１０によって取得された車両１００の走行状況とを対応付けて格納する。Ｓ３０６では、判定部２２０が、精度低下エリア内に車両１００が位置するか否かを判定する。位置すると判定した場合、Ｓ３０８に進み、位置しないと判定した場合、Ｓ３０２に戻る。
【００９０】
Ｓ３０８では、走行状況取得部２１０が、車両１００の走行状況を取得する。Ｓ３１０では、感情推定部２３０が、Ｓ３０８において走行状況取得部２１０によって取得された走行状況に対応して格納している感情を、搭乗者の感情の推定結果とする。Ｓ３１２では、判定部２２０が、精度低下エリア外に車両１００が位置するか否かを判定する。位置しないと判定した場合、Ｓ３０８に戻り、位置すると判定した場合、Ｓ３０２に戻る。
【００９１】
図６に示す処理は、感情推定処理の実行を停止するまで継続されてよい。情報処理装置２００は、例えば、搭乗者によって感情推定処理の実行の停止が指示された場合や、車両１００のエンジンが停止した場合、車両１００の電源がオフにされた場合等に、図６に示す処理を終了する。
【００９２】
図７は、補完処理によって推定された感情５０６の一例を概略的に示す。感情推定部２３０は、車両１００が精度低下エリアに入る前に推定した搭乗者の感情５０２と、車両１００が精度低下エリアを出た後に推定した搭乗者の感情５０４とから、感情５０６を生成する。
【００９３】
感情推定部２３０は、図７に示すように、車両１００が精度低下エリアに入る前にある感情の度合いが高まり、車両１００が精度低下エリアを出た後に、当該感情の度合いがさらに高まっている場合、感情５０２と感情５０４との間をつなぐように感情５０６を生成してよい。
【００９４】
図８は、情報処理装置２００による処理の流れの一例を概略的に示す。ここでは、精度低下エリア外において感情推定処理の実行を開始した状態を開始状態として説明する。
【００９５】
Ｓ４０２では、感情推定部２３０が、画像取得部２０４によって取得された搭乗者の画像を用いた感情推定処理を実行する。Ｓ３０４では、感情推定部２３０が、Ｓ３０２において推定した複数の搭乗者の感情を対応付けて格納する。Ｓ４０６では、判定部２２０が、精度低下エリア内に車両１００が位置するか否かを判定する。位置すると判定した場合、Ｓ４０８に進み、位置しないと判定した場合、Ｓ４０２に戻る。
【００９６】
Ｓ４０８では、感情推定部２３０が、車両１００の搭乗者が、感情推定処理の推定精度が低下する搭乗者のみであるか否かを判定する。推定精度が低下する搭乗者のみであると判定した場合、Ｓ４１０に進み、推定精度が低下する搭乗者のみでないと判定した場合、Ｓ４１２に進む。
【００９７】
Ｓ４１０では、感情推定部２３０が、搭乗者の画像以外の搭乗者関連情報を用いた感情推定処理を実行する。Ｓ４１２では、感情推定部２３０が、推定精度が低下しない搭乗者について、当該搭乗者の画像を用いた感情推定処理を実行する。Ｓ４１４では、感情推定部２３０が、推定精度が低下する搭乗者について、Ｓ４１２における推定感情に基づく感情推定処理を実行する。感情推定部２３０は、Ｓ４１２において推定した、推定精度が低下しない搭乗者の感情に対応付けて格納されている、推定精度が低下する搭乗者の感情を、推定精度が低下する搭乗者の感情の推定結果としてよい。
【００９８】
Ｓ４１６では、判定部２２０が、精度低下エリア外に車両１００が位置するか否かを判定する。位置しないと判定した場合、Ｓ４０８に戻り、位置すると判定した場合、Ｓ４０２に戻る。
【００９９】
図８に示す処理は、感情推定処理の実行を停止するまで継続されてよい。情報処理装置２００は、例えば、搭乗者によって感情推定処理の実行の停止が指示された場合や、車両１００のエンジンが停止した場合、車両１００の電源がオフにされた場合等に、図８に示す処理を終了する。
【０１００】
図９は、情報管理サーバ３００の機能構成の一例を概略的に示す。情報管理サーバ３００は、情報収集部３０２、精度低下エリア情報生成部３０４、入力情報取得部３０６、及び精度低下エリア情報送信部３０８を備える。
【０１０１】
情報収集部３０２は、複数の車両１００から各種情報を収集する。情報収集部３０２は、例えば、搭乗者に陽射しが到達している位置及び日時を示す位置情報及び日時情報を車両１００から受信する。情報収集部３０２は、例えば、搭乗者の顔画像に基づく感情推定処理の推定精度と、位置情報及び日時情報とを車両１００から受信する。
【０１０２】
精度低下エリア情報生成部３０４は、精度低下エリア情報を生成する。精度低下エリア情報生成部３０４は、例えば、各地の道路及び建物等を含む３次元マップと、各日時の太陽の位置とから、時間帯毎の精度低下エリアの位置を示す精度低下エリア情報を生成する。また、精度低下エリア情報生成部３０４は、例えば、情報収集部３０２が収集した情報を用いて精度低下エリア情報を生成する。精度低下エリア情報生成部３０４は、複数の、搭乗者に陽射しが到達している位置及び日時を示す位置情報及び日時情報を用いて、時間帯毎に、精度低下エリアの位置を示す精度低下エリア情報を生成してよい。また、精度低下エリア情報生成部３０４は、複数の、搭乗者の顔画像に基づく感情推定処理の推定精度と位置情報及び日時情報とを用いて、時間帯毎に、精度低下エリアの位置を示す精度低下エリア情報を生成してよい。
【０１０３】
入力情報取得部３０６は、情報管理サーバ３００のオペレータ等によって入力された入力情報を取得する。オペレータは、例えば、時間帯毎に、精度低下エリアの位置を示す情報を入力する。精度低下エリア情報生成部３０４は、入力情報取得部３０６が取得した情報を用いて、精度低下エリア情報を生成してもよい。
【０１０４】
精度低下エリア情報送信部３０８は、精度低下エリア情報生成部３０４によって生成された精度低下エリア情報を送信する。精度低下エリア情報送信部３０８は、複数の車両１００のそれぞれに搭載された情報処理装置２００に対して、精度低下エリア情報を送信してよい。
【０１０５】
図１０は、情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、上記実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、上記実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
【０１０６】
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ−ＲＯＭドライブ及びＤＶＤ−ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びタッチパネルのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。
【０１０７】
ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。コンピュータ１２００は、ディスプレイデバイス１２１８を備えていなくてもよく、その場合、グラフィックコントローラ１２１６は、イメージデータが外部のディスプレイデバイスに表示されるようにする。
【０１０８】
通信インタフェース１２２２は、無線通信ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ−ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
【０１０９】
ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、ＵＳＢポート等を介して、様々な入出力ユニットを入出力コントローラ１２２０に接続してよい。
【０１１０】
プログラムは、ＤＶＤ−ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【０１１１】
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ−ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【０１１２】
また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ−ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【０１１３】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【０１１４】
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
【０１１５】
上記実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【０１１６】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【０１１７】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
【０１１８】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【０１１９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２０】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１２１】
１０  ネットワーク、５２  運転者、５４  同乗者、１００  車両、１１０  カメラ、１１２  画角、１２２  マイク、１２４  スピーカ、１３０  ディスプレイ、１４２  無線通信アンテナ、１４４  ＧＰＳアンテナ、１５０  ハンドル、１６２  運転席、１６４  助手席、１６６  後部座席、２００  情報処理装置、２０２  位置情報取得部、２０４  画像取得部、２０６  音声取得部、２０８  センサ情報取得部、２１０  走行状況取得部、２１２  エリア情報受信部、２１４  エリア情報格納部、２２０  判定部、２３０  感情推定部、２３２  イベント判定部、２４２  発声誘導処理実行部、２４４  依頼処理実行部、２４６  入力感情取得部、２４８  天気情報取得部、３００  情報管理サーバ、３０２  情報収集部、３０４  精度低下エリア情報生成部、３０６  入力情報取得部、３０８  精度低下エリア情報送信部、４００  天気情報サーバ、５０２、５０４、５０６  感情、１２００  コンピュータ、１２１０  ホストコントローラ、１２１２  ＣＰＵ、１２１４  ＲＡＭ、１２１６  グラフィックコントローラ、１２１８  ディスプレイデバイス、１２２０  入出力コントローラ、１２２２  通信インタフェース、１２２４  記憶装置、１２２６  ＤＶＤドライブ、１２２７  ＤＶＤ−ＲＯＭ、１２３０  ＲＯＭ、１２４０  入出力チップ
【図１】
2020103702.tif 000003
【図２】
2020103702.tif 000004
【図３】
2020103702.tif 000005
【図４】
2020103702.tif 000006
【図５】
2020103702.tif 000007
【図６】
2020103702.tif 000008
【図７】
2020103702.tif 000009
【図８】
2020103702.tif 000010
【図９】
2020103702.tif 000011
【図１０】
2020103702.tif 000012
【手続補正書】
【提出日】令和2年2月3日(2020.2.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載された撮像部によって撮像された前記車両の搭乗者の画像に基づいて前記搭乗者の感情を推定する感情推定処理の推定精度が低下する精度低下エリア内に前記車両が位置するか否かを判定する判定部と、
前記車両が前記精度低下エリア内に位置するときと位置しないときとで異なる感情推定処理を実行して前記搭乗者の感情を推定する感情推定部と、
を備える情報処理装置。
【請求項２】
前記感情推定部は、前記車両が前記精度低下エリア内に位置しないときに、前記搭乗者の画像を用いた感情推定処理を実行し、前記車両が前記精度低下エリア内に位置するときに、前記搭乗者に関連する搭乗者関連情報のうちの前記搭乗者の画像以外の情報を用いた感情推定処理を実行する、請求項１に記載の情報処理装置。
【請求項３】
前記感情推定部は、前記車両が前記精度低下エリアに位置するときに、前記搭乗者の画像を用いない感情推定処理を実行する、請求項２に記載の情報処理装置。
【請求項４】
前記感情推定部は、前記車両が前記精度低下エリア内に位置するときに、前記搭乗者の音声を用いた感情推定処理を実行する、請求項２又は３に記載の情報処理装置。
【請求項５】
前記車両が前記精度低下エリア内に位置する場合に、前記搭乗者が発声するように誘導する発声誘導処理を実行する発声誘導処理実行部
を備える、請求項４に記載の情報処理装置。
【請求項６】
前記車両が前記精度低下エリア内に位置する場合に、前記搭乗者の感情の入力を依頼する依頼処理を実行する依頼処理実行部と、
前記依頼処理に応じて入力された前記搭乗者の感情を取得する入力感情取得部と
を備え、
前記感情推定部は、前記入力感情取得部が取得した前記搭乗者の感情を、前記搭乗者の感情の推定結果とする、請求項２から５のいずれか一項に記載の情報処理装置。
【請求項７】
前記感情推定部は、前記車両が前記精度低下エリア内に位置しないときに、前記搭乗者の画像により推定した感情と前記車両の走行状況とを対応付けて格納し、前記車両が前記精度低下エリア内に位置するときに、前記車両の走行状況を取得して、取得した走行状況に対応して格納されている感情を前記搭乗者の感情の推定結果とする、請求項２から６のいずれか一項に記載の情報処理装置。
【請求項８】
前記感情推定部は、前記車両が前記精度低下エリアに入る前に推定した前記搭乗者の感情と、前記車両が前記精度低下エリアを出た後に推定した前記搭乗者の感情とに基づいて、前記車両が前記精度低下エリア内に位置するときの前記搭乗者の感情を推定する、請求項１から７のいずれか一項に記載の情報処理装置。
【請求項９】
前記車両が前記精度低下エリア内を走行している間に、予め設定されたイベントが発生したか否かを判定するイベント判定部
を備え、
前記感情推定部は、前記車両が前記精度低下エリア内を走行している間に前記予め設定されたイベントが発生していないと判定された場合に、前記車両が前記精度低下エリアに入る前に推定した前記搭乗者の感情と、前記車両が前記精度低下エリアを出た後に推定した前記搭乗者の感情とに基づいて、前記車両が前記精度低下エリア内に位置するときの前記搭乗者の感情を推定する、請求項８に記載の情報処理装置。
【請求項１０】
前記感情推定部は、前記車両が前記精度低下エリア内に位置しないときに、前記搭乗者の画像及び前記搭乗者の音声を用いた感情推定処理を実行し、前記車両が前記精度低下エリアに位置するときに、前記車両が前記精度低下エリア内に位置しないときの感情推定処理と比較して前記搭乗者の画像の重みを低くした感情推定処理を実行する、請求項１に記載の情報処理装置。
【請求項１１】
前記車両が前記精度低下エリア内に位置する場合に、前記搭乗者が発声するように誘導する発声誘導処理を実行する発声誘導処理実行部
を備える、請求項１０に記載の情報処理装置。
【請求項１２】
前記判定部は、前記車両が前記精度低下エリア内に位置する場合に、前記車両の複数の搭乗者のうち、画像に基づく感情推定処理の推定精度が低下する搭乗者と、推定精度が低下しない搭乗者とをさらに判定し、
前記感情推定部は、前記車両が前記精度低下エリア内に位置するときに、前記推定精度が低下しない搭乗者の画像を用いて推定した感情に基づいて、前記推定精度が低下する搭乗者の感情を推定する感情推定処理を実行する、請求項１に記載の情報処理装置。
【請求項１３】
前記感情推定部は、前記車両が前記精度低下エリア内に位置しないときに、前記車両の複数の搭乗者の画像を用いて推定した前記複数の搭乗者の感情を対応付けて格納し、前記車両が前記精度低下エリア内に位置するときに、前記推定精度が低下しない搭乗者の画像を用いて当該搭乗者の感情を推定し、推定した当該搭乗者の感情に対応付けて格納されている、前記推定精度が低下する搭乗者の感情を、前記推定精度が低下する搭乗者の感情の推定結果とする、請求項１２に記載の情報処理装置。
【請求項１４】
コンピュータを、請求項１から１３のいずれか一項に記載の情報処理装置として機能させるためのプログラム。