(57)【要約】      （修正有）【課題】顔の特徴部の位置をより正確に推定することができる顔特徴部検出装置を提供する。【解決手段】顔特徴部検出装置１０は、対象者の特徴部に関する情報を取得する特徴部センサと、特徴部センサが取得した対象者の特徴部に関する情報から対象者の顔の特徴部を検出する特徴部検出部１２と、対象者の特徴部の三次元座標を算出する三次元座標算出部１３と、対象者の特徴部が左右対称に存在することを利用して、特徴部検出部が検出した第一の特徴部の三次元座標に基づいて、該第一の特徴部と左右対称な位置に存在する第二の特徴部の三次元座標を推定する特徴部位置推定部１５と、を有する。【選択図】図６
2020144546.tif 000002
【特許請求の範囲】
【請求項１】
対象者の特徴部に関する情報を取得する特徴部センサと、
前記特徴部センサが取得した対象者の特徴部に関する情報から対象者の顔の特徴部を検出する特徴部検出部と、
前記対象者の特徴部の三次元座標を算出する三次元座標算出部と、
前記対象者の特徴部が左右対称に存在することを利用して、前記特徴部検出部が検出した第一の特徴部の前記三次元座標に基づいて、該第一の特徴部と左右対称な位置に存在する第二の特徴部の三次元座標を推定する特徴部位置推定部と、
を有することを特徴とする顔特徴部検出装置。
【請求項２】
前記特徴部検出部が検出した特徴部の前記三次元座標に基づいて前記対象者の顔の正中線を推定する正中線推定部を有し、
前記特徴部位置推定部は前記正中線に対し、前記特徴部検出部が検出した前記第一の特徴部と対称な位置を前記第二の特徴部の三次元座標として推定することを特徴とする請求項１に記載の顔特徴部検出装置。
【請求項３】
対象者の特徴部に関する情報を取得する特徴部センサと、
前記特徴部センサが取得した対象者の特徴部に関する情報から対象者の顔の特徴部を検出する特徴部検出部と、
前記対象者の特徴部の三次元座標を算出する三次元座標算出部と、
前記特徴部検出部が検出した特徴部の前記三次元座標に基づいて、前記対象者の顔向きを推定する顔向き推定部と、
正面方向の顔向きにおける前記対象者の顔の特徴部の三次元座標が蓄積されている３Ｄモデル記憶部から、前記対象者の顔の特徴部の三次元座標を取得する３Ｄモデル情報取得部と、
前記顔向き推定部が推定した顔向きに、前記３Ｄモデル情報取得部が取得した前記対象者の顔の特徴部の三次元座標を回転する顔向き回転部と、
を有することを特徴とする顔特徴部検出装置。
【請求項４】
前記特徴部センサが取得した対象者の特徴部に関する情報から前記特徴部検出部が前記対象者の顔の特徴部を検出できない場合、
前記３Ｄモデル情報取得部は、前記３Ｄモデル記憶部から、前記特徴部検出部が検出できなかった特徴部の三次元座標を取得することを特徴とする請求項３に記載の顔特徴部検出装置。
【請求項５】
前記顔向き推定部が推定した顔向きに応じて、前記三次元座標算出部が算出した前記対象者の顔の特徴部を逆回転させ、顔向きが正面方向の前記特徴部の前記三次元座標を算出する顔向き逆回転部と、
前記顔向き逆回転部が算出した顔向きが正面方向の前記特徴部の前記三次元座標を前記３Ｄモデル記憶部に蓄積する３Ｄモデル蓄積部と、
を有することを特徴とする請求項３又は４に記載の顔特徴部検出装置。
【請求項６】
前記３Ｄモデル蓄積部は、前記顔向き推定部が推定した顔向きが正面方向の場合、正面方向における耳の前記三次元座標を前記３Ｄモデル記憶部に蓄積しないことを特徴とする請求項５に記載の顔特徴部検出装置。
【請求項７】
前記３Ｄモデル蓄積部は、一定時間ごとに、前記３Ｄモデル記憶部に蓄積した前記特徴部の前記三次元座標の平均を特徴部の種類ごとに算出し、平均から最も離れている前記特徴部の前記三次元座標を前記３Ｄモデル記憶部から削除することを特徴とする請求項５又６に記載の顔特徴部検出装置。
【請求項８】
特徴部センサが、対象者の特徴部に関する情報を取得するステップと、
特徴部検出部が、前記特徴部センサが取得した対象者の特徴部に関する情報から対象者の顔の特徴部を検出するステップと、
三次元座標算出部が、前記対象者の特徴部の三次元座標を算出するステップと、
特徴部位置推定部が、前記対象者の特徴部が左右対称に存在することを利用して、前記特徴部検出部が検出した第一の特徴部の前記三次元座標に基づいて、該第一の特徴部と左右対称な位置に存在する第二の特徴部の三次元座標を推定するステップと、
を有することを特徴とする顔特徴部検出方法。
【請求項９】
特徴部センサが、対象者の特徴部に関する情報を取得するステップと、
特徴部検出部が、前記特徴部センサが取得した対象者の特徴部に関する情報から対象者の顔の特徴部を検出するステップと、
三次元座標算出部が、前記対象者の特徴部の三次元座標を算出するステップと、
顔向き推定部が、前記特徴部検出部が検出した特徴部の前記三次元座標に基づいて、前記対象者の顔向きを推定するステップと、
３Ｄモデル情報取得部が、正面方向の顔向きにおける前記対象者の顔の特徴部の三次元座標が蓄積されている３Ｄモデル記憶部から、前記対象者の顔の特徴部の三次元座標を取得するステップと、
顔向き回転部が、前記顔向き推定部が推定した顔向きに、前記３Ｄモデル情報取得部が取得した前記対象者の顔の特徴部の三次元座標を回転するステップと、
を有することを特徴とする顔特徴部検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔特徴部検出装置、及び、顔特徴部検出方法に関する。
【背景技術】
【０００２】
自動車などの車室内ではロードノイズやエンジン音などの騒音源があり、乗員が感じる騒音を低減することが求められている。車室内においては様々な制約から、吸音や遮音などの受動騒音制御による対応には限界がある。そこで、スピーカ及びマイクを使って乗員が感じる騒音を低減するＡＮＣ（アクティブノイズコントロール）を利用する試みがある。また、乗員の耳に近い場所としてヘッドレストにスピーカ及びマイクが内蔵されたＡＮＣを以下、ヘッドレストＡＮＣという。
【０００３】
ＡＮＣでは制御点である乗員の耳の近くに参照マイクを配置することが求められる。これは、ＡＮＣの効果が認められる範囲は制御点から音波の波長の十分の一の半径の範囲であるためである。波長と消音領域の関係の一例を示す。
１５００Ｈｚでは±２２〔ｍｍ〕以下
４０００Ｈｚでは±８．５〔ｍｍ〕以下
ヘッドレストに内蔵するマイクはこの範囲に含まれているとは限らないため、消音領域が耳周辺に形成されない。このため、ヘッドレストＡＮＣが効果を奏するには消音領域を移動するバーチャルセンシングという技術を採用することが好ましい。バーチャルセンシングにより消音領域を移動することができる。しかし、このバーチャルセンシングを行うには高精度な耳の位置の検出が要求される。耳の位置を検出するいくつかの方法について説明する。
【０００４】
図１は単眼カメラによる耳の位置の検出方法を説明する図である。画像データに対し画像処理を行うことで顔、目、鼻、耳などが検出される。例えば車載された顔特徴部検出装置は顔の特徴部の統計データを持っている。この方法では標準的な目の幅などから顔の奥行きを推定して耳の位置を推定するため個人差による誤差が大きい。また、顔向きによっては片方の耳が単眼カメラに写らず、耳を検出できない場合がある。
【０００５】
図２は、深度センサにおける一般的な誤差要因とオクルージョン領域について説明する図である。図２（ａ）は深度センサとしてＬＲＦ（レーザーレンジファインダー）を使い、レーザを照射する範囲を示している。深度センサ２０１を用いれば物体までの距離を計測できる。しかし、物体２０６の左側面までの距離を求めたい場合でも、側面にはレーザ光が直接当たらないため、手前の点２０４又は背景上の点２０２で反射する。ケース２では、レーザ光は物体の斜面上で反射はされるものの、走査された面がレーザ照射に対して鋭角な場合、１走査ずれただけでも距離ｌ（エル）は大きく変化するため、照射方向のわずかなずれが大きな誤差となるおそれがある。また、エッジ付近ではスポット光の乱反射や解像度不足により深度距離を精度よく検出できないという問題がある。人間の耳の位置は頭部の側面にあるので、同様に照射方向のわずかなずれが大きな誤差となるおそれがある。
【０００６】
図２（ｂ）はカメラとＬＲＦを併用した場合の例を示す。図２（ｂ）に示すように、カメラ２０９とＬＲＦ２０１を併用した場合、カメラ２０９とＬＲＦ２０１は物理的に同じ位置に配置することはできないため、図２（ｂ）のように各センサ毎に異なる視野角とオクルージョン領域を持つ。物体２１０があるとカメラ２０９からは領域２１１が、深度センサ２０１からは領域２１２がオクルージョン領域になる。このように複数のセンサやカメラ情報を統合する場合は、全てのセンサのオクルージョン領域を考慮する必要がある。これらの領域においては、各センサデータ情報の対応付けができず、正しい深度距離を計測することはできないため、距離を測定する場合は何等かの方法（例えば近傍の点）で補間する必要があり、それによって誤差が発生する。人間の顔の場合は耳の位置が顔の側面に位置することから、オクルージョン領域に含まれやすい。
【０００７】
図３は、深度センサを用いたが誤検知が発生する場合を説明する図である。図３（ａ）では深度センサ２０１が頬に当たった光を耳に当たったスポット光と誤検知している。このように顔と背景の境界のエッジ付近ではスポット光の乱反射や解像度不足により耳の位置を精度よく検出できない。図３（ｂ）では逆に深度センサ２０１が照射したスポット光が顔に当たらずに背景に当たってしまい、耳の位置を誤検知している。このように、エッジ付近では距離の測定点が所望の測定点とずれるミスマッチが生じやすく、しかも測定点が横方向にわずかにずれるだけで大きな誤差を生じる。
【０００８】
このような不都合に対しては耳の位置を実測するだけでなく顔の特徴部から推定する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、片耳が検出されない場合に、目の位置から耳の位置を推定する車載音響装置が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１５−２３１０６３号公報
【非特許文献１】西村正治  他、アクティブノイズコントロール、日本、株式会社コロナ社、２０１７年１０月６日発行
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来手法によれば、事前に乗員の耳の位置を計測する手間が必要であったり、統計情報を利用した不正確な位置情報に基づく推定方法であったりするという問題があった。
【００１１】
本発明は、上記課題に鑑み、事前計測なしに個人差を考慮して顔の特徴部の位置をより正確に推定することができる顔特徴部検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題に鑑み、本発明は、対象者の特徴部に関する情報を取得する特徴部センサと、
前記特徴部センサが取得した対象者の特徴部に関する情報から対象者の顔の特徴部を検出する特徴部検出部と、前記対象者の特徴部の三次元座標を算出する三次元座標算出部と、前記対象者の特徴部が左右対称に存在することを利用して、前記特徴部検出部が検出した第一の特徴部の前記三次元座標に基づいて、該第一の特徴部と左右対称な位置に存在する第二の特徴部の三次元座標を推定する特徴部位置推定部と、を有することを特徴とする顔特徴部検出装置を提供する。
【発明の効果】
【００１３】
顔の特徴部の位置をより正確に推定することができる顔特徴部検出装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】単眼カメラによる耳の位置の検出方法を説明する図である。
【図２】深度センサにおける一般的な誤差要因とオクルージョン領域について説明する図である。
【図３】深度センサを用いたが誤検知が発生する場合を説明する図である。
【図４】耳の位置の特定方法の概略を説明する図である。
【図５】顔特徴部検出装置の全体的な構成を示す車両の側面図の一例である。
【図６】顔特徴部検出装置が有する機能をブロック状に示す機能ブロック図の一例である。
【図７】正中線を説明する図の一例である。
【図８】顔画像から検出された目、鼻、耳の三次元座標に基づく検出できない耳の三次元座標の推定方法を説明する図である。
【図９】フィードバック制御システムのシステム構成例を示す図である。
【図１０】顔特徴部検出装置が一方の耳の三次元座標から他方の耳の三次元座標を推定する手順を示すフローチャート図の一例である。
【図１１】蓄積フェーズにおける顔特徴部検出装置の機能ブロック図の一例である。
【図１２】顔向き（ロール角、ヨー角、ピッチ角）の一例を示す図である。
【図１３】顔向きの推定方法を説明する図の一例である。
【図１４】顔向きを正面方向に逆回転させて生成される３Ｄモデルを模式的に示す図である。
【図１５】蓄積フェーズにおいて顔特徴部検出装置が顔の特徴部の３Ｄモデルを蓄積する手順を示すフローチャート図の一例である。
【図１６】耳の位置を推定するフェーズにおける顔特徴部検出装置の機能ブロック図の一例である。
【図１７】３Ｄモデル記憶部から取得される正面向きの耳の三次元座標について説明する図である。
【図１８】３Ｄモデルから耳の位置を推定するフェーズにおいて顔特徴部検出装置が特徴部を推定する手順を示すフローチャート図の一例である。
【図１９】顔特徴部検出装置における三次元座標の推定方法の効果を説明する図である。
【図２０】顔画像から顔と身体の全体の三次元データを生成し、そこに３Ｄモデルを重ね合わせた図である。
【図２１】ＴＯＦカメラ、及び、高精細な深度センサにより再生された顔の形状の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態の一例として、顔特徴部検出装置及び顔特徴部検出装置が行う顔特徴部検出方法について図面を参照しながら実施例を挙げて説明する。
【実施例１】
【００１６】
＜本実施例の耳の位置の特定方法の概略＞
図４は、本実施例の耳の位置の特定方法の概略を説明する図である。なお、本実施形態では顔の特徴部が検出される対象者から見た方向を顔向きの方向とする。対象者として車両の乗員を想定するため以下では対象者を乗員という。図４では、乗員が右方向を向いている。このため、顔特徴部検出装置は右耳２２１の位置を測定できない。このような場合、顔特徴部検出装置は以下のようにして、右耳２２１の位置を推定する。
（１）顔特徴部検出装置が撮像した顔画像から常に目、鼻、耳などの特徴部が検出されている。顔特徴部検出装置はこの特徴部を使って、顔の正中線２２３を推定する。正中線２２３とは、顔を中央から左右に分割する中心線であり、奥行きがあるため実際には面となる。例えば、両目の中心と鼻を通り、両目を通過するベクトルを法線ベクトルとする平面が正中線２２３である。
（２）次に、顔特徴部検出装置は左右の耳が概ね左右対称な位置に存在することを利用して、右耳２２１の位置を推定する。左耳２２２から正中線２２３に下ろした垂線の交点Ｈに、左耳２２２から正中線２２３までの距離ｄを、正中線２２３の法線方向に加えた位置が右耳２２１の位置である。
【００１７】
このように本実施例の顔特徴部検出装置は、乗員が左又は右方向を向いているためいずれか一方の耳の位置を測定できない場合でも、左右の耳が左右対称な位置にあることを利用して、他方の耳の位置を推定できる。
【００１８】
＜用語について＞
顔の特徴部とは、顔に含まれる顔の部品であり、例えば、目、鼻、口、眉、耳、頬、あご、額などをいう。
【００１９】
特徴部の三次元座標とは、設定された座標系を使って空間における特徴部の位置を示す情報である。
【００２０】
センサにより直接、検出された特徴部が第一の特徴部であり、第一の特徴部と対称な特徴部が第二の特徴部である。
【００２１】
＜全体構成図＞
図５は、顔特徴部検出装置の全体的な構成を示す車両の側面図の一例である。図５（ａ）に示すように、顔特徴部検出装置１０は車両８のセンタークラスター、ダッシュボード、メータパネル内などに搭載されている。ただし、搭載位置はこれらに限られない。顔特徴部検出装置１０には顔の特徴部の三次元座標を測定する特徴部センサ１１、スピーカ２０ａ，２０ｂ、マイク１８，１９（マイク付きスピーカ）が接続されている。特徴部センサ１１は図１に示したように、乗員の顔を撮像できる位置に配置されている。例えば、車室内に光軸を向けてメータパネル内又はステアリングコラムに配置されたり、サンバイザや前方のフロントウィンドウシールドの上方などに乗員の顔に光軸を向けて配置されたりしている。
【００２２】
スピーカ２０ａ，２０ｂ、マイク１８，１９は図５（ｂ）に示すようにヘッドレスト９に搭載されており、ヘッドレストＡＮＣが可能になっている。乗員の耳の位置を推定することでＡＮＣの性能が向上するだけでなく、いわゆる立体音響の性能も向上させることができる。なお、ヘッドレストＡＮＣは運転席だけでなく、助手席、後部座席にも適用可能である。また、乗用車に限らず、ヘッドレスト９がある乗り物であれば適用できる。例えば、電動車椅子、１〜２人乗りのパーソナルコミュータ、飛行機、電車、船舶などにも搭載できる。また、耳の位置を推定するために乗り物に乗車している必要はなく、室内などでも顔特徴部検出装置１０を使用できる。必ずしもＡＮＣや立体音響に利用しなければならないわけではない。
【００２３】
本実施形態の顔特徴部検出装置１０は単に耳の位置を測定する装置でもよいが、ＡＶ(Audio Visual)の再生機能を有していてもよい。ＡＶ機能を有することで左右の耳の位置に最適化された音響を届けることができる。このような顔特徴部検出装置１０は、チューナー、又は、カーオーディオなどと呼ばれる場合がある。また、車両８に搭載される装置を総称して車載装置という。
【００２４】
また、顔特徴部検出装置１０はナビゲーション装置又はＰＮＤ（Portable Navigation Device）と呼ばれていてもよい。すなわち、出発地から目的地までのルートを探索して道路地図に設定し、ディスプレイに表示された電子地図にルートと現在地を表示したり、ルートに基づいて進路変更の手前で音声案内を出力したり、アニメーションなどで適切な進路を案内したりする。この他、インターネットとの通信機能等を有していてよい。
【００２５】
なお、主にＡＶ機能と通信機能を有する顔特徴部検出装置１０をディスプレイオーディオという。ディスプレイオーディオは、スマートフォンなどの端末装置との通信によりナビゲーションの機能を提供する。この場合、スマートフォンに搭載されるアプリがナビ画面を作成し、このナビ画面をディスプレイオーディオが通信で取得してディスプレイに表示する。スマートフォンで動作するこのようなアプリとしてCarPlay（登録商標）やAndroid Auto（登録商標）等が知られている。顔特徴部検出装置１０はディスプレイオーディオでもよい。
【００２６】
顔特徴部検出装置１０は、車載された状態と携帯可能な状態の切り替えが可能であってもよい。つまり、顔特徴部検出装置１０は、車両に脱着可能であってよい。
【００２７】
また、顔特徴部検出装置１０は主に車両に専用の専用端末であるが、汎用的な情報処理端末でもよい。汎用的な情報処理端末とは、例えば、スマートフォン、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）、又はノートＰＣなどをいう。これらの装置は、普段は情報処理端末として利用されるが、耳の位置を測定するアプリケーションソフトウェアを実行すると、専用端末と同様、図４にて説明した耳の位置の推定処理を行う。
【００２８】
＜機能について＞
図６は、顔特徴部検出装置１０が有する機能をブロック状に示す機能ブロック図の一例である。顔特徴部検出装置１０は、特徴部検出部１２、三次元座標算出部１３、正中線推定部１４、特徴部位置推定部１５、及び、ＡＮＣ制御部１６を有している。顔特徴部検出装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ、通信装置、及び、バッテリー等を有する情報処理装置としての機能を有している。図示する機能は、フラッシュメモリからＲＡＭに展開されたアプリケーションソフト（又はプログラムともいう）をＣＰＵが実行し、各種のハードウェアを制御することで実現される機能又は手段である。
【００２９】
特徴部検出部１２は、特徴部センサ１１から乗員の顔が写っている顔画像を取得して、顔画像から目、鼻、耳などの特徴部を検出する。まず、特徴部センサ１１は、ステレオカメラ、又は、単眼カメラ（ステレオカメラでもよい）＋深度センサの場合がある。いずれの場合も１枚以上の顔画像が撮像されるので、予め用意した目、鼻、耳などの画像を雛形にして顔画像と比較するパターンマッチングや、ディープラーニングなどの機械学習で生成した識別器を使って特徴部を検出する。特徴部検出部１２は特徴部二次元座標を三次元座標算出部１３に送出する。なお、カメラは内部パラメータ及び外部パラメータがキャリブレーションされており、これらのパラメータと深度センサから得られた深度データを使用して、特徴部の二次元座標から三次元空間上の座標を算出することができる。この座標は例えばカメラの光学原点を中心とする座標系である。
【００３０】
三次元座標算出部１３は、特徴部の三次元座標を算出する。まず、特徴部センサ１１がステレオカメラの場合、顔画像を左右のカメラがそれぞれ撮像するので、特徴部検出部１２はブロックマッチングという手法で左右の顔画像を比較し、顔画像の画素又は画素ブロックごとに視差を検出する。また、この視差をZ=BF/Dにより距離に変換する（Ｚは距離、Ｂはカメラ間の基線長、Ｆは焦点距離、Ｄは視差）。
【００３１】
特徴部センサ１１がカメラ＋深度センサの場合、深度センサが特徴部の方向で検出した深度が特徴部までの距離である。深度センサがレーザを照射する方向はカメラの画素と予め対応付けられており、特徴部が写っている画素が分かればその画素の距離が分かるようになっている。三次元座標算出部１３は特徴部三次元座標を正中線推定部１４に送出する。
【００３２】
正中線推定部１４は主に、両目と鼻の三次元座標を用いて顔の正中線を推定する。上記のように正中線は実質的に面である。詳細は図７、図８にて説明する。正中線推定部１４により正中線が推定され、特徴部として検出された耳の三次元座標と正中線が特徴部位置推定部１５に送出される。
【００３３】
特徴部位置推定部１５は正中線と検出された一方の耳の三次元座標から他方の耳の三次元座標を推定する。詳細は図７、図８にて説明する。
【００３４】
以上で得られた両耳の三次元座標はＡＮＣ制御部１６に送出される。ＡＮＣ制御部１６は両耳の三次元座標を利用して、ヘッドレストＡＮＣを実現する。
【００３５】
＜正中線、他方の耳の三次元座標の推定＞
図７を用いて正中線の推定方法を説明する。図７は、正中線２２３を説明する図であり、図８は、顔画像から検出された目、鼻、耳の三次元座標に基づく検出できない耳の三次元座標の推定方法を説明する図である。図７（ａ）は頭部の上面図を示し、図７（ｂ）は正面図を示す。正中線２２３は頭部を左右に対称に分割する線（面）である。正中線２２３に対し、右耳５１と左耳５２が左右対称であり、右目５３と左目５４が左右対称であり、鼻尖５５が正中線２２３上にあることが分かる。
【００３６】
次に、正中線の求め方を、図８を用いて説明する。図８の黒丸は以下の特徴部を表している。
Ｅ１：右目
Ｅ２：左目
Ｎ：鼻尖
Ｙ１：右耳
Ｙ２：左耳
顔の正中線２２３は顔を中央から左右対称に分割する中心線なので、右目Ｅ１と左目Ｅ２の中点Ｍ、及び、鼻尖Ｎを通過する面である。面の方程式は法線ベクトルと面を通過する１点の座標があれば定まる。図８では中点Ｍから右目Ｅ１を結ぶベクトル(ME1)が法線ベクトルである。なお、表記の都合上、図８の説明ではベクトルを（）で表す。正中線２２３は中点Ｍ及び鼻尖Ｎを通過する。中点Ｍの座標を(xo,yo,zo)、ベクトル(ME1)の成分を(a,b,c)として、正中線推定部１４は正中線２２３を以下のように求める。
ａ(x−x0)＋b(y−y0)＋c(z−z0)=0  
ａx＋by＋cz+d=0  …（１）
ただし、ｄは定数。
【００３７】
次に、図８のような顔向きでは、顔画像から右耳Ｙ１が検出されていない。しかし、左耳Ｙ２が検出されているので、右耳Ｙ１が正中線２２３に対し左右対称な位置にあることを利用して、特徴部位置推定部１５は右耳Ｙ１の三次元座標を推定する。
【００３８】
左耳Ｙ２の座標を(x1,y1,z1)とする。左耳Ｙ２から正中線２２３に下ろした垂線の足をＨとする。ベクトル(Y2H)とベクトル(ME1)は平行なので、
(Y2H)＝ｋ(ME1)
原点をＯ(0,0,0)とすると、
(OH) ＝ (OY2) ＋ (Y2H) 
＝(x1,y1,z1) ＋ｋ(a，b, c)
点Ｈは正中線上にあるので、
a(x1+ka)+b(y1+kb)+c(z1+kc)＋d = 0
∴ k＝−(ax1＋by1＋cz1＋d)/(a2+b2+c2)
したがって、
(Y2H) ＝
（−(ax1＋by1＋cz1＋d)/(a2+b2+c2)a, −(ax1＋by1＋cz1＋d)/(a2+b2+c2)b, −(ax1＋by1＋cz1＋d)/(a2+b2+c2)c)
(OY1)＝(OY2)＋(Y2Y1)
＝ (OY2)＋２(Y2H)
より、右耳Ｙ１の座標を求めることができる。
【００３９】
＜ヘッドレストＡＮＣについて＞
図９は、フィードバック制御システムのシステム構成例を示す図である。なお、ＡＮＣについては公知であるため簡単に説明する。フィードバック制御システムは左右耳位置付近の騒音の低減効果を観測するマイク１８，１９（これを誤差センサという）と、左右耳位置付近の騒音を打ち消すための擬似騒音（二次音源）を生成するスピーカ２０ａ、２０ｂを有している。ヘッドレスト９に配置されたマイク１８，１９で検出された騒音と、ヘッドレスト９に配置されたスピーカ２０ａ、２０ｂが出力する擬似騒音との差分である誤差信号を最小とするように騒音制御フィルタ２３０のフィルタを係数更新部２４０が更新する。二次音源（スピーカ）から誤差センサ（マイク）までの伝達経路である二次経路のモデルが必要になる。騒音制御フィルタの係数の更新にはFiltered−xアルゴリズムが用いられる。なお、ＡＮＣはフィードフォワード制御でもよいし、フィードバック制御とフィードフォワード制御の両方が用いられたハイブリッド制御でもよい。また、本実施形態のように複数のマイクとスピーカを設置する場合は、これらに加えクロストーク成分を除去する制御を追加しても良い。
【００４０】
三次元音場においてＡＮＣを適用した場合、誤差マイクロホン地点を中心に消音領域を生成することができるが、消音領域の大きさは制御対象となる騒音の周波数によって決まる。具体的には、波長の１／１０の直径の球状（または三日月状）の範囲で１０ｄＢ程度の騒音が低減される。例えば１００Ｈｚの場合の消音領域の直系は３４ｃｍであるが、１０００Ｈｚの場合の消音領域の直系は３．４ｃｍと非常に小さくなるため、広帯域で騒音を制御するには、耳の位置を正確に推定することが重要である。
【００４１】
本実施形態では、耳の位置を推定したことを利用して消音領域を移動するバーチャルセンシングという技術を採用できる。バーチャルセンシング技術は事前学習を必要とする方法と必要としない方法がある。事前学習を必要としないバーチャルセンシング技術では一般的に多数のマイクを利用して、物理的にマイクを設置できない場所（バーチャルマイクロホンという）の音圧を推定して、バーチャルマイクロホン地点に消音領域を生成する。事前学習を必要とするバーチャルセンシング技術では、誤差マイク地点とバーチャルマイク地点の間の伝達関数やそれぞれのマイク地点への二次経路の特性を事前に同定する。事前学習の段階ではバーチャルマイク地点に実際にマイクを設置する。なお、ＡＮＣやバーチャルセンシング技術については非特許文献１を参照されたい。
【００４２】
両耳の三次元座標を算出又は推定することは立体音響にも好適に利用できる。立体音響では両耳に遅延なく音を伝えるため、音楽用のスピーカから両耳の位置までの距離をそれぞれ推定する。そして、各スピーカから各耳までの距離に対し遅延が生じないように各スピーカからの音の出力タイミングを調整する。また、各スピーカから各耳までの距離に応じて同程度の音量になるように出力を調整する。また、音の位相が耳に到達する際にピークとなるように音の位相制御を行う。
【００４３】
＜動作手順＞
図１０は、顔特徴部検出装置１０が一方の耳の三次元座標から他方の耳の三次元座標を推定する手順を示すフローチャート図の一例である。図１０の処理はＡＮＣを行う状況（例えば、走行中）になるとスタートするが、耳の位置を推定する必要があれば適宜、実行してよい。
【００４４】
特徴部センサ１１が繰り返し顔画像を撮像するので、特徴部検出部１２は乗員を撮像して特徴部を検出する（Ｓ１）。
【００４５】
三次元座標算出部１３は特徴部の三次元座標を算出する（Ｓ２）。特徴部として、目、鼻、耳以外に眉、鼻孔、口、輪郭などを検出してもよい。
【００４６】
特徴部検出部１２は両方の耳が検出されたか否かを判断する（Ｓ３）。単に２つの耳が検出されるかどうかに基づいて判断すればよい。つまり、顔向きが右向きであるために、右耳の三次元座標が検出されないか、顔向きが左向きであるために、左耳の三次元座標が検出されないか、を判断する。また、正面を向いている場合は両方の耳を正確に検出できない場合があり、この場合は実施例２で説明するように顔向きを推定して、実施例２の方法を適用するか、又は、正面方向の場合は耳の位置の推定を行わないとしてもよい。ステップＳ３の判断がＹｅｓの場合、処理はステップＳ６に進む。
【００４７】
ステップＳ３の判断がＮｏの場合、正中線推定部１４が顔の正中線２２３を推定する（Ｓ４）。そして、特徴部位置推定部１５は正中線２２３に対し、三次元座標が算出できた一方の耳に対称な他方の耳の三次元座標を推定する（Ｓ５）。
【００４８】
そして、ＡＮＣ制御部１６は両耳の三次元座標を使用してＡＮＣを実行する（Ｓ６）。
【００４９】
＜まとめ＞
以上説明したように、本実施例の顔特徴部検出装置１０は、顔向きによって一方の耳の位置を検出できない場合でも、正中線２２３を利用して検出できない他方の耳の位置を推定するので、ＡＮＣ制御の効果をより高めることができる。
【実施例２】
【００５０】
実施例１によれば顔向きによって検出できない耳の位置を推定することができるが、顔向きが正面の場合は図３で説明したミスマッチが生じやすい。また、人によっては、顔パーツの位置が対象位置から数mm〜数cmずれている場合もあり、正確な耳位置を推定しているとはいえない場合がある。本実施例では顔向きを利用して特徴部の３Ｄモデルを形成し、３Ｄモデルから顔向きによって検出できない耳の位置を推定する顔特徴部検出装置１０について説明する。
【００５１】
＜機能について＞
本実施例では３Ｄモデルを蓄積する蓄積フェーズと、３Ｄモデルを使用して耳の位置を推定しＡＮＣ等を実行するフェーズとに分けられる。
【００５２】
図１１は、蓄積フェーズにおける顔特徴部検出装置１０の機能ブロック図の一例である。図１１の顔特徴部検出装置１０は特徴部検出部１２、三次元座標算出部１３、顔向き推定部２１、顔向き逆回転部２２、及び、３Ｄモデル蓄積部２３を有している。特徴部検出部１２と三次元座標算出部１３の機能については実施例１と同様でよい。
【００５３】
顔向き推定部２１は、両目と鼻尖の三次元座標に基づいて顔向き（ロール角、ヨー角、ピッチ角）を推定する。詳細は図１２、図１３にて説明する。顔向き推定部２１は顔向き（ロール角、ヨー角、ピッチ角）を顔向き逆回転部２２に送出する。
【００５４】
顔向き逆回転部２２は、顔向き推定部２１が推定した顔向きと逆方向に顔向きの分だけ三次元座標を逆回転させる。例えば、顔向きがロール角＝α、ヨー角＝β、ピッチ角＝γであった場合、特徴部の三次元座標をロール角＝−α、ヨー角＝−β、ピッチ角＝−γだけ回転させる。これにより、特徴部の三次元座標は正面方向を向いた時の値になるので、顔向き逆回転部２２は正面方向三次元座標を３Ｄモデル蓄積部２３に送出する。
【００５５】
３Ｄモデル蓄積部２３は正面方向三次元座標を３Ｄモデル記憶部２４に蓄積する。すなわち、目、鼻、耳などのラベルに対応付けて正面方向三次元座標を蓄積する。正面方向三次元座標は顔画像が撮像されるごとに蓄積されるので、時間と共に正面方向三次元座標が蓄積される。後述するように、誤差の大きい正面方向三次元座標は削除されるので、徐々に精度の高い正面方向三次元座標が蓄積されるようになる。
【００５６】
＜顔向きについて＞
図１２，図１３を用いて顔向きについて説明する。図１２は顔向き（ロール角、ヨー角、ピッチ角）の一例を示す図である。図１２（ａ）に示す３つの軸それぞれについて顔が回転できる。図１２（ｂ）に示すように顔を上下に回転させた場合の角度をピッチ角、図１２（ｃ）に示すように、顔を斜めに回転させた場合の角度をロール角、図１２（ｄ）に示すように顔を左右に回転させた場合の角度をヨー角という。
【００５７】
図１３は、顔向きの推定方法を説明する図の一例である。図１３は円形が顔を現しており右目５３，左目５４と鼻尖５５とを結ぶ三角形３０１が形成されている。提案のシステムでは三次元データを用いて、より正確に顔向きを推定することができる。顔向きのうち、ヨー角とピッチ角については、三角形３０１の法線ベクトルｎとＸ軸、Ｙ軸のなす角をそれぞれヨー角、ピッチ角として計算することができる。また、各顔パーツの三次元座標を三角形３０１の重心を中心に、ヨー角、ピッチ角の順に逆回転させてロール角のみ回転している状態にした後、左眼球中心位置から右眼球中心位置へのベクトルとＸ軸との角度を計算しロール角とする。なお、顔向きを「水平を向いた時の両眼球中心を通る鉛直面に対する角度」と定義した場合、人間がカメラ正面を見た状態でも、三角形３０１で形成される面は、顔向き基準面に対してピッチ方向にある程度の角度をもってしまう。またカメラの設置角によって正面を向いた時の角度は異なるため、統計データやカメラの設置角度等を用いて角度の補正を行ってもよい。
【００５８】
＜３Ｄモデルの蓄積＞
図１４を用いて３Ｄモデルの蓄積について説明する。図１４は顔向きを正面方向に逆回転させて生成される３Ｄモデルを模式的に示す図である。図１４（ａ）は実際の顔向きが右向きの場合であり、右耳５１の三次元座標は蓄積しない。この場合、顔向き逆回転部２２は顔向きを正面方向に逆回転させる。つまり、右目５３、左目５４、鼻尖５５、及び左耳５２の三次元座標を推定したヨー角だけ逆回転させる。逆回転させることで、図１４（ｄ）に示すように顔向きが正面方向になるので、３Ｄモデル蓄積部２３が３Ｄモデル記憶部２４に右目５３、左目５４、鼻尖５５、及び左耳５２の三次元座標を蓄積する。つまり、図１４（ｄ）が３Ｄモデル記憶部２４に相当する。
【００５９】
図１４（ｂ）は実際の顔向きが正面向きの場合であり、右耳５１と左耳５２の三次元座標は蓄積しない。この場合、顔向きを正面方向に逆回転させる必要はない。３Ｄモデル蓄積部２３は３Ｄモデル記憶部２４に右目５３、左目５４、及び鼻尖５５の三次元座標を蓄積する。なお、作図の都合上、図１４（ｂ）では図１４（ｄ）との結線を省略した。
【００６０】
図１４（ｃ）は実際の顔向きが左向きの場合であり、左耳５２の三次元座標は蓄積しない。この場合、顔向き逆回転部２２は顔向きを正面方向に逆回転させる。つまり、右目５３、左目５４、鼻尖５５、及び右耳５１の三次元座標を推定したヨー角だけ逆回転させる。逆回転させることで、図１４（ｄ）に示すように顔向きが正面方向になるので、３Ｄモデル蓄積部２３が３Ｄモデル記憶部２４に右目５３、左目５４、鼻尖５５、及び右耳５１の三次元座標を蓄積する。なお、作図の都合上、図１４（ｂ）では図１４（ｄ）との結線を省略した。
【００６１】
なお、三次元座標は特徴部センサ１１などの固定された座標系に対して測定されるが、乗員の顔は顔向きが変化するだけでなく左右と前後の平行移動を行う。平行移動したまま三次元座標を蓄積すると逆回転しても特徴部の三次元座標がばらついてしまう。このため、左右と前後の平行移動については逆回転を行う前にキャンセルすることが好ましい。例えば、三角形３０１の重心が原点となるように平行移動してから逆回転を行い３Ｄモデルの正規化を行う。なお、上記では例として原点を三角形３０１の重心としたが、３Ｄモデルの原点位置は、両耳の中心や、鼻突など他の位置に設定してもよい。
【００６２】
＜蓄積フェーズの動作＞
図１５は、蓄積フェーズにおいて顔特徴部検出装置１０が顔の特徴部の３Ｄモデルを蓄積する手順を示すフローチャート図の一例である。図１５の処理は車両の走行中、繰り返し実行される。
【００６３】
まず、特徴部センサ１１が繰り返し顔画像を撮像するので、特徴部検出部１２は乗員を撮像して特徴部を検出する（Ｓ１１）。
【００６４】
三次元座標算出部１３は特徴部の三次元座標を算出する（Ｓ１２）。特徴部として、目、鼻、耳以外にも眉、鼻孔、口、輪郭などを検出してもよい。
【００６５】
次に、顔向き推定部２１が顔向き（ヨー角、ピッチ角、ロール角）を推定する（Ｓ１３）。
【００６６】
そして、顔向き推定部２１は顔向きが正面方向か否かを判断する（Ｓ１４）。正面方向の場合、左右の耳の位置が誤差を有するおそれがあるためである。この場合、処理はステップＳ１５に進む。
【００６７】
３Ｄモデル蓄積部２３は顔向きを逆回転することなく正面方向の目と鼻の三次元座標を３Ｄモデル記憶部２４に蓄積する（Ｓ１５）。つまり、耳の三次元座標は蓄積しない。
【００６８】
顔向きが正面方向でない場合（Ｓ１４のＮｏ）、精度よく右耳か又は左耳が検出されている可能性が高いので、顔向き逆回転部２２は顔の向きを正面方向に逆回転させる（Ｓ１６）。実際に右耳か又は左耳が検出されているかどうかを判断してもよい。
【００６９】
また、顔向き推定部２１は顔向きが閾値以上か否かを判断する（Ｓ１７）。顔向きが正面方向でなく、極端に大きな顔向きの場合には（Ｓ１７のＹｅｓ）、顔向きに応じて取捨した特徴部を３Ｄモデルに蓄積する（Ｓ１８）。例えば、ヨー角、ピッチ角、ロール角が極端に大きい場合、特徴部の三次元座標が求められていても蓄積を中止する。この時の閾値はヨー角、ピッチ角、ロール角で同じでもよいし異なってもよい。例えば、顔向きに応じて以下のように特徴部を取捨して蓄積する。
ヨー角が閾値以上：検出されている耳の三次元座標のみ蓄積し目と鼻の三次元座標は蓄積しない。
ロール角が閾値以上：ロール角が大きくても目、鼻の特徴部が精度よく検出されるのでフィルタ処理を行わない。正面向きでないので、検出されている耳の三次元座標を蓄積する。
ピッチ角が閾値以上：ピッチ角が大きいと鼻や頭髪などで目の三次元座標に誤差が含まれるおそれがあるため、鼻の三次元座標のみ蓄積し目の三次元座標は蓄積しない。正面向きでないので、検出されている耳の三次元座標を蓄積する。
【００７０】
ステップＳ１５やＳ１８のように正面方向の場合や顔向きに応じて蓄積を中止することを「フィルタ処理」という。
【００７１】
顔向きが正面方向でなく、閾値以上でない場合（Ｓ１７のＮｏ）、３Ｄモデル蓄積部２３は顔向き逆回転部２２が正面方向に逆回転した特徴部の三次元座標を３Ｄモデル記憶部２４に蓄積する（Ｓ１９）。すなわち、目、鼻に加え、右向きの場合は左耳、左向きの場合は右耳の三次元座標が蓄積される。
【００７２】
ステップＳ１５，Ｓ１８のように、顔向きに応じて精度が高い特徴部の三次元座標のみ蓄積することで、誤差が大きい三次元座標を３Ｄモデルへ反映されないようにすることができる。
【００７３】
また、３Ｄモデル蓄積部２３は特徴部の種類ごとに平均から最も乖離した特徴部を削除する（Ｓ２０）。この処理は、一定時間ごと、一定数の特徴部が蓄積されるごと、又は、新しい三次元座標を蓄積するごとなど、時間と共に繰り返し実行される。誤差の大きい特徴部から削除することで、時間と共に３Ｄモデルの精度を向上させることができる。
【００７４】
＜耳の位置を推定するフェーズの機能について＞
続いて、３Ｄモデルを使用して耳の位置を推定するフェーズの機能について説明する。図１６は、耳の位置を推定するフェーズにおける顔特徴部検出装置１０の機能ブロック図の一例である。図１６の顔特徴部検出装置１０は、特徴部検出部１２、三次元座標算出部１３、顔向き推定部２１、３Ｄモデル情報取得部２５、顔向き回転部２６、及び、ＡＮＣ制御部１６を有している。特徴部検出部１２、三次元座標算出部１３、顔向き推定部２１、及び、ＡＮＣ制御部１６の機能については図６又は図１１と同様でよい。
【００７５】
３Ｄモデル情報取得部２５は、３Ｄモデル記憶部２４から正面向きの耳の三次元座標を取得する。顔向き回転部２６は、顔向き推定部２１が推定した顔向きに応じて、正面向きの耳の三次元座標を回転させる。これにより、耳を検出できなくても、現在の顔向きにおける耳の三次元座標を算出できる。
【００７６】
＜３Ｄモデル記憶部からの正面向きの耳の三次元座標の取得について＞
図１７は、３Ｄモデル記憶部２４から取得される正面向きの耳の三次元座標について説明する図である。まず、図１７（ｄ）が３Ｄモデル記憶部２４を示す。
【００７７】
図１７（ａ）は実際の顔向きが右向きの場合であり、右耳５１の三次元座標が算出されない。この場合、３Ｄモデル情報取得部２５は３Ｄモデル記憶部２４から右耳５１の三次元座標を取得する。また、顔向き回転部２６はこの右向きの状態に右耳５１の三次元座標を回転させる。蓄積した３Ｄモデルの特徴部を、現在の顔向きを使って反映することで、見えない特徴部や検出精度の低い特徴部を置き換えることができる。
【００７８】
図１７（ｂ）は実際の顔向きが正面向きの場合であり、右耳５１と左耳５２の三次元座標は使わない。この場合、３Ｄモデル情報取得部２５は３Ｄモデル記憶部２４から右耳５１と左耳５２の三次元座標を取得する。顔向きが正面なので、顔向き回転部２６は三次元座標を回転させなくてよい。
【００７９】
図１７（ｃ）は実際の顔向きが左向きの場合であり、左耳５２の三次元座標が算出されない。この場合、３Ｄモデル情報取得部２５は３Ｄモデル記憶部２４から左耳５２の三次元座標を取得する。また、顔向き回転部２６はこの左向きの状態に左耳５２の三次元座標を回転させる。
【００８０】
このように、検出されていない特徴部や検出精度の低い特徴部を３Ｄモデルで置き換えることができる。
【００８１】
なお、生成した３Ｄモデルは個人の識別情報に対応付けて保存しておくことで、個人認証との併用により、各個人に最適化した３Ｄモデルを使って、蓄積のフェーズを省略して特徴部の位置を推定できる。
【００８２】
＜３Ｄモデルから耳の位置を推定するフェーズの動作＞
図１８は、３Ｄモデルから耳の位置を推定するフェーズにおいて顔特徴部検出装置１０が特徴部を推定する手順を示すフローチャート図の一例である。図１８の処理はＡＮＣを行う状況（例えば、走行中）になるとスタートするが、耳の位置を推定する必要があれば適宜、実行してよい。なお、ステップＳ２１〜Ｓ２３は図１５のステップＳ１１〜Ｓ１３と同様でよい。
【００８３】
次に、特徴部検出部１２が１つ若しくは２つの耳を検出できないかを判断するか、又は、顔向きが正面方向か若しくは顔の向きが閾値以上かを顔向き推定部２１が判断する（Ｓ２４）。つまり、特徴部を検出できないか検出精度が低いかを判断する。ステップＳ２４の判断がＮｏの場合、処理はステップＳ２７に進む。
【００８４】
ステップＳ２４の判断がＹｅｓの場合、３Ｄモデル情報取得部２５は３Ｄモデル記憶部２４から検出できてない又は検出精度が低い耳の三次元座標を取得する（Ｓ２５）。フィルタ処理の対象となる顔向き等に応じて検出精度が低い耳以外の特徴部の三次元座標を取得することもできる。
【００８５】
次に、顔向き回転部２６は３Ｄモデル記憶部２４から取得した耳の三次元座標を顔の向きに回転させる（Ｓ２６）。また、顔向き回転部２６は顔の平行移動に応じて耳の三次元座標を平行移動させる。
【００８６】
そして、ＡＮＣ制御部１６は両耳の三次元座標を使用してＡＮＣを実行する（Ｓ２７）。
【００８７】
本実施例によれば、耳の位置が非対称の乗員の場合でも、正確に耳の位置を推定できる。また、頬や背景等へのミスマッチを排除できる。顔全体の三次元座標を蓄積するのでなく、特徴部の時系列データのみを保持するので処理負荷が小さく処理が高速である。また、誤差が大きい特徴部の三次元座標は削除するので、時間が経てば経つほど３Ｄモデルの精度を上げることができる。
【００８８】
＜実験結果＞
図１９は本実施例の顔特徴部検出装置１０における三次元座標の推定方法の効果を説明する図である。図１９（ａ）〜（ｃ）は、５０点の特徴部の時系列データを三次元散布図で示したものである。図１９（ａ）はフィルタ処理なしの３Ｄモデルであり、図１９（ｂ）はフィルタ処理があるが誤差が大きい特徴部を削除していない３Ｄモデルであり、図１９（ｃ）はフィルタ処理があり、誤差が大きい特徴部が削除された３Ｄモデルである。
【００８９】
図１９（ａ）の３Ｄモデルは、右目５３、左目５４や鼻尖５５の位置はばらつきが少ないが、ミスマッチによる右耳５１、左耳５２の位置のばらつきが大きいことがわかる。図１９（ｂ）の３Ｄモデルは、ミスマッチが除去され、右耳５１、左耳５２の位置のばらつきが小さくなっている。更に、図１９（ｃ）では、右耳５１、左耳５２の位置に誤差がほとんどなく、ばらつきが低減されていることがわかる。
【００９０】
図２０は顔画像から顔と身体の全体の三次元データを生成し、そこに３Ｄモデルを重ね合わせた図である。図２０（ａ）（ｂ）は、フィルタ処理なしの場合を示し、正面付近で左耳５２が頬にマッチしている（実際とは異なる耳位置を検出している）。
【００９１】
図２０（ｃ）（ｄ）はフィルタ処理ありの場合を示し、正面付近でも正確な左耳５２の位置を検出できている。
【００９２】
＜まとめ＞
・蓄積した特徴部の三次元座標を現在の顔向き・位置に合わせて変換し、見えない特徴部や検出精度の低い特徴部を置き換えることで、顔向きによらず、特徴部の位置を安定して得られる。
・従来手法では、２Ｄカメラを利用し、およその位置（個人差は考慮しない）を推定できるのみであったが、本実施例によれば、従来よりも高精度（従来の数十〔mm〕レベルから数mmレベルで）の耳位置推定を行うことができる。
・従来手法では、個人差による特性を考慮するにあたり、目の位置からおよその位置を推定したり、事前に個人ごとの目や耳の距離を測定したりしておく必要があったが、本実施例によれば、直接耳位置を測定できるため、そのような事前処理は不要となる。
・特徴部の３Ｄモデルを生成するので、使用メモリ量や演算量を減らすことができ、より安価なシステムでも実現することができる。
【００９３】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００９４】
例えば、特徴部センサの一例として、カラーカメラ（又は赤外線カメラ）と深度センサ（レンジファインダ）を用いると説明したが、ＴＯＦ（Time Of Flight）カメラを用いてもよい。図２１（ａ）はＴＯＦカメラ４０１の斜視図の一例である。ＴＯＦカメラ４０１は、パルス発光された近赤外光の被写体からの反射時間により奥行き距離を画素毎に計測できる距離画像センシングカメラである。したがって、画像データと距離情報が一度に得られる。
【００９５】
また、顔の凹凸など顔の特徴部を抽出可能なほど高精細な深度センサであれば、２Ｄカメラを併用しなくても深度センサのみで特徴部を検出できる。図２１（ｂ）は高精細な深度センサにより再生された顔の形状を示す。このような顔の形状でも凹凸から特徴部を検出できる。
【００９６】
また、実施例１では、正中線の検出に両目の中心座標と鼻尖を利用したが、眼尻、鼻孔、口角、あごなど他の特徴部を使って、正中線を検出してもよい。但し、なるべく表情によって変化しない部位を使うことが望ましい。また、耳に限らず左右対称な特徴部に適用できる。
【００９７】
また、本実施形態では車両８に搭載された顔特徴部検出装置１０が処理を行っているが、一部又は全体の処理をサーバが行ってもよい。例えば、顔特徴部検出装置１０が顔画像をサーバに送信し、サーバが図１０で説明した処理を行う。あるいは、サーバが図１５にて説明した３Ｄモデルの蓄積や、図１８にて説明した特徴部の三次元座標の取得を行う。
【００９８】
また、本実施形態では三次元座標蓄積時に顔向きに応じて閾値を設けていたが、蓄積するしないを閾値で判定する方法以外に、顔向きに応じて重み付けを行い加重平均により３Ｄモデルの座標を求めることもできる。
【符号の説明】
【００９９】
８      車両
９      ヘッドレスト
１０    顔特徴部検出装置
１８、１９    マイク
２０ａ，２０ｂ    スピーカ
【図１】
2020144546.tif 000003
【図２】
2020144546.tif 000004
【図３】
2020144546.tif 000005
【図４】
2020144546.tif 000006
【図５】
2020144546.tif 000007
【図６】
2020144546.tif 000008
【図７】
2020144546.tif 000009
【図８】
2020144546.tif 000010
【図９】
2020144546.tif 000011
【図１０】
2020144546.tif 000012
【図１１】
2020144546.tif 000013
【図１２】
2020144546.tif 000014
【図１３】
2020144546.tif 000015
【図１４】
2020144546.tif 000016
【図１５】
2020144546.tif 000017
【図１６】
2020144546.tif 000018
【図１７】
2020144546.tif 000019
【図１８】
2020144546.tif 000020
【図１９】
2020144546.tif 000021
【図２０】
2020144546.tif 000022
【図２１】
2020144546.tif 000023