(57)【要約】【課題】より効果的に乗員の表情を推定することができる表情推定装置および表情推定方法を提供する。【解決手段】表情推定装置１０は、近赤外線波長域に感度を有する撮像部１４と、撮像部１４で撮像された近赤外線波長域の画像を用いて、乗員の表情を推定する推定処理部１６と、を備える。【選択図】図１
2020013428.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の表情を推定する表情推定装置であって、
近赤外線波長域に感度を有する撮像部と、
前記撮像部で撮像された前記近赤外線波長域の画像を用いて、前記乗員の表情を推定する推定処理部と、
を備える、表情推定装置。
【請求項２】
請求項１に記載の表情推定装置であって、
前記推定処理部は、前記撮像部で少なくとも前記乗員の顔が撮像された前記近赤外線波長域の画像に含まれる血管に基づいて表情筋の動きを推定し、推定した前記表情筋の動きから前記乗員の表情を推定する、表情推定装置。
【請求項３】
請求項２に記載の表情推定装置であって、
前記推定処理部は、前記血管における特定部位の変位量を前記表情筋の動きとして推定する、表情推定装置。
【請求項４】
請求項３に記載の表情推定装置であって、
前記変位量には、前記血管における特定部位の変位の大きさ、方向、速度および加速度の少なくとも１つが含まれる、表情推定装置。
【請求項５】
請求項１〜４のいずれか１項に記載の表情推定装置であって、
近赤外線を照射する照射部をさらに備え、
前記推定処理部は、前記近赤外線が照射されているときに前記撮像部で前記乗員が撮像された前記近赤外線波長域の画像を用いる、表情推定装置。
【請求項６】
車両の乗員の表情を推定する表情推定方法であって、
近赤外線波長域に感度を有する撮像部で前記乗員を撮像する撮像ステップと、
前記撮像部で撮像された前記近赤外線波長域の画像を用いて、前記乗員の表情を推定する推定ステップと、
を含む、表情推定方法。
【請求項７】
請求項６に記載の表情推定方法であって、
前記推定ステップは、少なくとも前記乗員の顔が撮像された前記近赤外線波長域の画像に含まれる血管に基づいて表情筋の動きを推定する動き推定ステップを含み、前記表情筋の動きから前記乗員の表情を推定する、表情推定方法。
【請求項８】
請求項７に記載の表情推定方法であって、
前記動き推定ステップは、前記血管における特定部位の変位量を前記表情筋の動きとして推定する、表情推定方法。
【請求項９】
請求項８に記載の表情推定方法であって、
前記変位量には、前記血管における特定部位の変位の大きさ、方向、速度および加速度の少なくとも１つが含まれる、表情推定方法。
【請求項１０】
請求項６〜９のいずれか１項に記載の表情推定方法であって、
近赤外線を照射する照射ステップをさらに備え、
前記撮像ステップは、前記近赤外線が照射されているときに前記撮像部で前記乗員を撮像する、表情推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の乗員の表情を推定する表情推定装置および表情推定方法に関する。
【背景技術】
【０００２】
近年、運転者の表情から感情を推定することが行われている。表情認識技術として、例えば、カメラ装置で撮像された複数フレームに亘るカラー画像に基づいて、顔器官の輪郭の曲がり具合等をリアルタイムで抽出し、抽出結果から表情を認識するものが開示されている（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２９３５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１の表情認識技術では、例えば夜間等の暗いときに撮像された場合、その撮像されたカラー画像から顔器官の輪郭の曲がり具合等を抽出し難いことが想定される。このため、乗員の表情をより効果的に推定することができるものが求められている。
【０００５】
本発明はこのような課題を考慮してなされたものであり、より効果的に表情を推定することができる表情推定装置および表情推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、
車両の乗員の表情を推定する表情推定装置であって、
近赤外線波長域に感度を有する撮像部と、
前記撮像部で撮像された前記近赤外線波長域の画像を用いて、前記乗員の表情を推定する推定処理部と、
を備える。
【０００７】
本発明の第２の態様は、
車両の乗員の表情を推定する表情推定方法であって、
近赤外線波長域に感度を有する撮像部で前記乗員を撮像する撮像ステップと、
前記撮像部で撮像された前記近赤外線波長域の画像を用いて、前記乗員の表情を推定する推定ステップと、
を含む。
【発明の効果】
【０００８】
本発明によれば、近赤外線波長域の画像を用いるため、夜間等の暗いときであったとしても、乗員の表情の挙動を捉え易くなる。したがって、より効果的に乗員の表情を推定することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態における表情推定装置の構成図である。
【図２】表情推定装置が行う処理の流れを示すフローチャートである。
【図３】図２の表情推定の処理ルーチンの流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。
【００１１】
［１．表情推定装置１０の構成］
図１を用いて表情推定装置１０の構成を説明する。表情推定装置１０は、車両を運転する乗員の表情を推定するものであり、照射部１２と、撮像部１４と、推定処理部１６とを主に備える。
【００１２】
照射部１２は、近赤外線を照射する。近赤外線は、近赤外線波長域の光（電磁波）であり、近赤外線波長域は、０．７μｍ〜３μｍの波長域である。照射部１２は、乗員の少なくとも顔に近赤外線を照射するように設けられる。
【００１３】
なお、照射部１２は、乗員の顔の特定部位に限定して近赤外線を照射するように設けられてもよい。また、照射部１２は、近赤外線波長域にピーク強度をもつ光を照射してもよい。近赤外線波長域のうち１．６〜１．８μｍもしくは２〜２．５μｍの波長域では、大気の影響が小さく光の透過率が高い。したがって、照射部１２は、１．６〜１．８μｍもしくは２〜２．５μｍの波長域にピーク強度をもつ光を照射する場合、乗員に近赤外線を効率よく照射することができる。
【００１４】
撮像部１４は、近赤外線波長域に感度を有する。撮像部１４は、乗員の少なくとも顔を撮像するように設けられる。撮像部１４は、近赤外線波長域で乗員を所定間隔ごとに撮像し、撮像結果として得られる近赤外線波長域の画像を推定処理部１６に出力する。
【００１５】
推定処理部１６は、撮像部１４で撮像された近赤外線波長域の画像を用いて、乗員の表情を推定するものである。この推定処理部１６は、車両の電子制御ユニット（ＥＣＵ）に含まれていてもよく、電子制御ユニットとは別に独立したものとして設けられてもよい。
【００１６】
推定処理部１６は、撮像制御部２０、第１動き推定部２２、第２動き推定部２４および表情推定部２６を有する。
【００１７】
撮像制御部２０は、近赤外線が照射されているときに撮像部１４で乗員が撮像された近赤外線波長域の画像を取得するよう、照射部１２および撮像部１４を制御する。
【００１８】
例えば、撮像制御部２０は、運転席に設けられる着座センサが着座を検出している期間に近赤外線を照射するよう照射部１２を制御するとともに、当該期間に乗員を所定間隔ごとに近赤外線波長域で撮像するよう撮像部１４を制御する。なお、撮像制御部２０は、車両のエンジンが駆動している期間に照射部１２および撮像部１４を制御してもよく、車両に設けられる所定の操作ボタンが操作されている期間に照射部１２および撮像部１４を制御してもよい。
【００１９】
第１動き推定部２２は、撮像部１４で撮像された近赤外線波長域の画像に基づいて、顔面における特定の局部（以下、顔面特徴点と称する）の動きを推定する。
【００２０】
本実施形態では、第１動き推定部２２は、単位時間当たりの顔面特徴点の変位量（以下、顔面変位量と称する）を顔面特徴点の動きとして推定する。顔面特徴点としては、例えば、口角、瞳孔、瞼などが挙げられる。なお、顔面特徴点は、１つであっても２以上であってもよい。また、顔面変位量には、単位時間当たりの顔面特徴点の変位の大きさ（距離）、方向、速度（単位時間当たりの変位の変化量）および加速度（単位時間当たりの速度の変化量）のうち少なくとも１つが含まれる。
【００２１】
第２動き推定部２４は、表情筋の動きを推定するものである。表情筋を構成する各々の筋肉の間には多くの血管が通っており、当該血管と表情筋との動きは密接に関係している。したがって、第２動き推定部２４は、撮像部１４で撮像された近赤外線波長域の画像に含まれる血管に基づいて、表情筋の動きを推定する。
【００２２】
本実施形態では、第２動き推定部２４は、単位時間当たりの血管特徴点の変位量（以下、血管変位量と称する）を表情筋の動きとして推定する。血管特徴点としては、例えば、顔面静脈や頬静脈のなかの１つまたは２以上の特定の分岐点などが挙げられる。表情筋の動きを効果的に推定するためには、表情筋を構成する筋肉ごとに、当該筋肉の近傍にある１つまたは２以上の血管特徴点の血管変位量を取得することが好ましい。なお、血管変位量には、単位時間当たりの血管特徴点の変位の大きさ（距離）、方向、速度（単位時間当たりの変位の変化量）および加速度（単位時間当たりの速度の変化量）のうち少なくとも１つが含まれる。
【００２３】
表情推定部２６は、第１動き推定部２２で顔面特徴点の動きとして得られた顔面変位量と、第２動き推定部２４で表情筋の動きとして得られた血管変位量とに基づいて、乗員の表情を推定する。この推定には、例えば、特開２０１８−６３４８６号公報の推定技術が用いられる。
【００２４】
すなわち、表情推定部２６は、基本表情（期待、喜び、受容、不安、驚き、悲しみ、嫌悪、怒り）を含む表情に変位量（顔面変位量および血管変位量）を割り当てることで、乗員の表情を推定する。なお、変位量（顔面変位量および血管変位量）と表情とを対応付けたデータベースを用いて乗員の表情が推定（数値化）されてもよい。
【００２５】
［２．表情推定装置１０の動作］
図２を用いて推定処理部１６の処理の流れを説明する。なお、図２では、乗員が座っている期間における推定処理部１６の処理の流れが示されている。この期間は、上記のように、着座センサが着座を検出し始めてから非検出になるまで期間、車両のエンジンが駆動し始めてから停止するまでの期間あるいは所定の操作ボタンが操作され始めてから操作され終わるまでの期間などである。
【００２６】
ステップＳ１において、撮像制御部２０は、照射部１２を制御して照射部１２から近赤外線を照射させ、ステップＳ２に進む。ステップＳ２において、撮像制御部２０は、撮像部１４を制御して所定間隔ごとに乗員を近赤外線波長域で撮像させ、ステップＳ３に進む。ステップＳ３において、推定処理部１６は、撮像部１４で所定間隔ごとに撮像される近赤外線波長域の画像を内部メモリに記録しながら、当該記録した画像を用いて、図３に示す表情推定処理ルーチンを実行する。
【００２７】
すなわち、ステップＳ１１において、推定処理部１６は、内部メモリに記録した近赤外線波長域の画像のうち単位時間だけ時間的に前後する第１画像および第２画像を取得し、ステップＳ１２に進む。
【００２８】
ステップＳ１２において、推定処理部１６は、第１画像および第２画像から特徴点（顔面特徴点および血管特徴点）を検出し、ステップＳ１３において、当該検出した第１画像と第２画像との間で特徴点（顔面特徴点および血管特徴点）が変位しているか否かを認識する。
【００２９】
ここで、第１画像と第２画像との間で特徴点（顔面特徴点および血管特徴点）が変位していない場合、推定処理部１６は、ステップＳ１４に進んで、現時点の処理対象である第１画像および第２画像を破棄する。また、推定処理部１６は、破棄した第２画像の直後に単位時間だけ時間的に前後する第１画像および第２画像を次の対象画像として取得し、ステップＳ１２に戻る。
【００３０】
これに対して、第１画像と第２画像との間で特徴点（顔面特徴点および血管特徴点）が変位している場合、推定処理部１６は、ステップＳ１５に進んで、当該変位量を動きとして推定する。すなわち、第１動き推定部２２は、第１画像と第２画像との間で変位している顔面特徴点の変位量（顔面変位量）を顔面特徴点の動きとして推定する。また、第２動き推定部２４は、第１画像と第２画像との間で変位している血管特徴点の変位量（血管変位量）を表情筋の動きとして推定する。第１動き推定部２２および第２動き推定部２４が推定し終わると、ステップＳ１６に進む。
【００３１】
ステップＳ１６において、表情推定部２６は、顔面特徴点の動きとして推定された顔面変位量と、表情筋の動きとして推定された血管変位量とに基づいて、乗員の表情を推定し、ステップＳ１４に戻る。
【００３２】
［３．変形例］
上記実施形態では、顔面特徴点の動きとして推定された顔面変位量と、表情筋の動きとして推定された血管変位量とに基づいて、乗員の表情が推定された。しかし、表情筋の動きとして推定された血管変位量のみに基づいて、乗員の表情が推定されてもよい。
【００３３】
上記実施形態では、単位時間だけ時間的に前後して撮像部１４で撮像された第１画像および第２画像の間での顔面特徴点の変位量が顔面特徴点の動きとして推定された。しかし、撮像部１４で撮像された近赤外線波長域の画像と、平常時の表情をした乗員の画像として予め登録された基準画像との間での顔面特徴点の変位量が顔面特徴点の動きとして推定されてもよい。
【００３４】
上記実施形態では、単位時間だけ時間的に前後して撮像部１４で撮像された第１画像および第２画像の間での血管特徴点の変位量が表情筋の動きとして推定された。しかし、撮像部１４で撮像された近赤外線波長域の画像と、平常時の表情をした乗員の画像として予め登録された基準画像との間での血管特徴点の変位量が表情筋の動きとして推定されてもよい。
【００３５】
上記実施形態では、第２動き推定部２４が、近赤外線波長域の画像に含まれる血管に基づいて、表情筋の動きを推定した。しかし、第２動き推定部２４は、近赤外線波長域の画像に含まれる血管に基づいて表情筋の動きを推定することに加えて、当該血管における単位時間当たりの血管幅の変位から脈拍を計測してもよい。第２動き推定部２４が表情筋の動きを推定するとともに脈拍を計測する場合、表情推定部２６は、少なくとも、第２動き推定部２４で表情筋の動きとして得られた血管変位量と、第２動き推定部２４で計測された脈拍とに基づいて、乗員の表情を推定する。このようにすれば、外面的に平常でも内面的に起伏する状態を捉えることが可能となり、より効果的に表情を推定することができる。
【００３６】
上記実施形態では、車両を運転する乗員の表情を推定したが、当該乗員に加えて、もしくは、当該乗員に代えて、例えば後部座席に座る乗員など、車両を運転する乗員以外の乗員の表情を推定してもよい。
【００３７】
［４．実施形態から得られる技術的思想］
上記実施形態および変形例から把握しうる技術的思想について、以下に記載する。
【００３８】
表情推定装置（１０）は、車両の乗員の表情を推定するものである。この表情推定装置（１０）は、近赤外線波長域に感度を有する撮像部（１４）と、撮像部（１４）で撮像された近赤外線波長域の画像を用いて、乗員の表情を推定する推定処理部（１６）と、を備える。このような表情推定装置（１０）によれば、夜間等の暗いときであったとしても、乗員の表情の挙動を捉え易くなるため、より効果的に乗員の表情を推定することができる。
【００３９】
推定処理部（１６）は、撮像部（１４）で少なくとも乗員の顔が撮像された近赤外線波長域の画像に含まれる血管に基づいて表情筋の動きを推定し、推定した表情筋の動きから乗員の表情を推定するようにしてもよい。このようにすれば、生体透過性に優れた近赤外線波長域の画像が用いられるため血管を捉え易くなる。また、血管と表情筋との動きは密接に関係するため、顔面に比べて表情の変化を迅速に捉え易くなる。
【００４０】
推定処理部（１６）は、血管における特定部位の変位量を表情筋の動きとして推定するようにしてもよい。血管と表情筋との動きは密接に関係するため、表情筋の動きを詳しく捉え易くなる。
【００４１】
変位量には、血管における特定部位の変位の大きさ、方向、速度および加速度の少なくとも１つが含まれるようにしてもよい。このようにすれば、表情筋の動きをより詳しく捉え易くなる。
【００４２】
表情推定装置（１０）は、近赤外線を照射する照射部（１２）をさらに備え、推定処理部（１６）は、近赤外線が照射されているときに撮像部（１４）で乗員が撮像された近赤外線波長域の画像を用いるようにしてもよい。このようにすれば、乗員における表在血管をより鮮明に撮像することができる。
【００４３】
表情推定方法は、車両の乗員の表情を推定するものである。この表情推定方法は、近赤外線波長域に感度を有する撮像部（１４）で乗員を撮像する撮像ステップ（Ｓ２）と、撮像された近赤外線波長域の画像を用いて、乗員の表情を推定する推定ステップ（Ｓ３）と、を含む。このような表情推定方法によれば、夜間等の暗いときであったとしても、乗員の表情の挙動を捉え易くなるため、より効果的に乗員の表情を推定することができる。
【００４４】
推定ステップ（Ｓ３）は、少なくとも乗員の顔が撮像された近赤外線波長域の画像に含まれる血管に基づいて表情筋の動きを推定する動き推定ステップ（Ｓ１５）を含み、表情筋の動きから乗員の表情を推定するようにしてもよい。このようにすれば、生体透過性に優れた近赤外線波長域の画像が用いられるため血管を捉え易くなる。また、血管と表情筋との動きは密接に関係するため、顔面に比べて表情の変化を迅速に捉え易くなる。
【００４５】
動き推定ステップ（Ｓ１５）は、血管における特定部位の変位量を表情筋の動きとして推定するようにしてもよい。血管と表情筋との動きは密接に関係するため、表情筋の動きを詳しく捉え易くなる。
【００４６】
変位量には、血管における特定部位の変位の大きさ、方向、速度および加速度の少なくとも１つが含まれるようにしてもよい。このようにすれば、表情筋の動きをより詳しく捉え易くなる。
【００４７】
表情推定方法は、近赤外線を照射する照射ステップ（Ｓ１）をさらに備え、撮像ステップ（Ｓ２）は、近赤外線が照射されているときに撮像部（１４）で乗員を撮像するようにしてもよい。このようにすれば、乗員における表在血管をより鮮明に撮像することができる。
【符号の説明】
【００４８】
１０…表情推定装置                  １２…照射部
１４…撮像部                        １６…推定処理部
２０…撮像制御部                    ２２…第１動き推定部
２４…第２動き推定部                ２６…表情推定部
【図１】
2020013428.tif 000003
【図２】
2020013428.tif 000004
【図３】
2020013428.tif 000005