(57)【要約】【課題】  映像処理方法及び装置を提供する。【解決手段】  一実施形態に係る映像処理方法は映像フレームを受信し、映像フレームに含まれたユーザの顔の領域を取得し、予め決定された複数の頂点を顔の領域に含まれた複数の特徴部位に整列させ、複数の特徴部位の組合せに該当する第１領域に基づいて整列結果を１次的に検証し、複数の特徴部位のうち個別特徴部位に該当する第２領域に基づいて整列結果を２次的に検証し、１次検証及び２次検証のうち少なくとも１つに合格できなかった場合に顔の領域を再検出し、１次検証及び２次検証を合格した場合は顔の領域に関する情報を出力する。【選択図】      図２
2020091848.tif 000002
【特許請求の範囲】
【請求項１】
映像フレームを受信するステップと、
前記映像フレームからユーザの顔の領域を検出するステップと、
予め決定された複数の特徴点を前記顔の領域に含まれた複数の特徴部位に整列させるステップと、
前記複数の特徴部位の組合せに該当する第１領域に基づいて、前記整列結果を１次的に検証するステップと、
前記複数の特徴部位のうち個別特徴部位に該当する第２領域に基づいて、前記整列結果を２次的に検証するステップと、
前記１次検証及び前記２次検証のうち少なくとも１つにおける検証失敗に基づいて、前記顔の領域を再検出するステップと、
前記１次検証及び前記２次検証の全てにおける検証成功に基づいて、前記顔の領域に関する情報を出力するステップと、
を含む、映像処理方法。
【請求項２】
前記顔の領域を検出するステップは、
前記映像フレームが初期映像フレームである場合、前記映像フレームに含まれたユーザの顔の領域を検出するステップと、
前記映像フレームが前記初期映像フレームでない場合、前記映像フレームの以前映像フレームのいずれか１つの映像フレームに基づいて検出された顔の領域を受信するステップと、
を含む、請求項１に記載の映像処理方法。
【請求項３】
前記整列させるステップは、前記顔の領域及び前記顔の領域の隣接領域内に含まれた複数の特徴部位に予め決定された複数の特徴点を整列させるステップを含む、請求項１又は２に記載の映像処理方法。
【請求項４】
前記整列させるステップは、前記顔の領域内の映像情報に基づいて、前記予め決定された複数の特徴点を移動させるステップを含む、請求項１又は２に記載の映像処理方法。
【請求項５】
前記映像フレームが初期映像フレームである場合、前記整列の前に予め決定された複数の特徴点は複数のユーザの特徴部位の平均位置に対応する、請求項１−４のうち何れか１項に記載の映像処理方法。
【請求項６】
前記映像フレームが前記初期映像フレームでない場合、前記整列の前に予め決定された複数の特徴点は以前映像フレームに基づいて整列された複数の頂点に対応する、請求項１−４のうち何れか１項に記載の映像処理方法。
【請求項７】
前記複数の特徴部位の組合せは、目及び鼻を含み、
前記個別特徴部位は前記目を含む、請求項１−６のうち何れか１項に記載の映像処理方法。
【請求項８】
前記１次的に検証するステップは、前記第１領域内の映像情報に基づいて、前記第１領域が前記複数の特徴部位の組合せを含むか否かを検証するステップを含む、請求項１−７のうち何れか１項に記載の映像処理方法。
【請求項９】
前記１次的に検証するステップは、前記第１領域内の映像情報に基づいて、前記第１領域が前記複数の特徴部位を組合せに該当するクラスであるか否かを検証するステップを含む、請求項１−７のうち何れか１項に記載の映像処理方法。
【請求項１０】
前記２次的に検証するステップは、前記第２領域内の映像情報に基づいて、前記第２領域が前記個別特徴部位に該当するか否かを検証するステップを含む、請求項１−９のうち何れか１項に記載の映像処理方法。
【請求項１１】
前記２次的に検証するステップは、前記第２領域内の映像情報に基づいて、前記第２領域が前記個別特徴部位に該当するクラスであるか否かを検証するステップを含む、請求項１−９のうち何れか１項に記載の映像処理方法。
【請求項１２】
前記顔の領域に関する情報を出力するステップは、前記顔の領域に含まれた瞳の位置、前記瞳の位置による視点、前記顔の領域に表現される表情のうち少なくとも１つに関する情報を出力するステップを含む、請求項１−１０のうち何れか１項に記載の映像処理方法。
【請求項１３】
前記再検出された顔の領域に基づいて、前記整列させるステップ、前記１次的に検証するステップ、及び前記２次的に検証するステップを繰り返し行うステップをさらに含む、請求項１に記載の映像処理方法。
【請求項１４】
前記映像フレームは、カラー映像フレーム及び赤外線映像フレームのうち少なくとも１つを含む、請求項１−１３のうち何れか１項に記載の映像処理方法。
【請求項１５】
請求項１乃至請求項１４のいずれか一項に記載の映像処理方法を映像処理装置のコンピュータに実行させるコンピュータプログラム。
【請求項１６】
映像フレームからユーザの顔の領域を検出し、予め決定された複数の特徴点を前記顔の領域に含まれた複数の特徴部位に整列させ、前記複数の特徴部位の組合せに該当する第１領域に基づいて、前記整列結果を１次的に検証し、前記複数の特徴部位のうち個別特徴部位に該当する第２領域に基づいて、前記整列結果を２次的に検証し、前記１次検証及び前記２次検証のうち少なくとも１つにおける検証失敗に基づいて、前記顔の領域を再検出するプロセッサと、
前記映像フレームを受信し、前記１次検証及び前記２次検証の全てにおける検証成功に基づいて、前記顔の領域に関する情報を出力する通信インターフェースと、
を含む、映像処理装置。
【請求項１７】
前記プロセッサは、
前記映像フレームが初期映像フレームである場合、前記映像フレームに含まれたユーザの顔の領域を検出し、
前記映像フレームが前記初期映像フレームでない場合、前記映像フレームの以前映像フレームのいずれか１つの映像フレームに基づいて検出された顔の領域を受信する、請求項１６に記載の映像処理装置。
【請求項１８】
前記プロセッサは、前記顔の領域及び前記顔の領域の隣接領域内に含まれた複数の特徴部位に予め決定された複数の特徴点を整列させる、請求項１６又は１７に記載の映像処理装置。
【請求項１９】
前記プロセッサは、前記顔の領域内の映像情報に基づいて、前記予め決定された複数の特徴点を移動させる、請求項１６又は１７に記載の映像処理装置。
【請求項２０】
前記映像フレームが初期映像フレームである場合、前記整列の前に予め決定された複数の特徴点は、複数のユーザの特徴部位の平均位置に対応する、請求項１６−１９のうち何れか１項に記載の映像処理装置。
【請求項２１】
前記映像フレームが前記初期映像フレームでない場合、前記整列の前に予め決定された複数の特徴点は、以前映像フレームに基づいて整列された複数の頂点に対応する、請求項１６−１９のうち何れか１項に記載の映像処理装置。
【請求項２２】
前記複数の特徴部位の組合せは、目及び鼻を含み、
前記個別特徴部位は、前記目を含む、請求項１６−２１のうち何れか１項に記載の映像処理装置。
【請求項２３】
前記プロセッサは、前記第１領域内の映像情報に基づいて、前記第１領域が前記複数の特徴部位の組合せを含むか否かを検証する、請求項１６−２２のうち何れか１項に記載の映像処理装置。
【請求項２４】
前記プロセッサは、前記第１領域内の映像情報に基づいて、前記第１領域が前記複数の特徴部位を組合せに該当するクラスであるか否かを検証する、請求項１６−２２のうち何れか１項に記載の映像処理装置。
【請求項２５】
前記プロセッサは、前記第２領域内の映像情報に基づいて、前記第２領域が前記個別特徴部位に該当するか否かを検証する、請求項１６−２４のうち何れか１項に記載の映像処理装置。
【請求項２６】
前記プロセッサは、前記第２領域内の映像情報に基づいて、前記第２領域が前記個別特徴部位に該当するクラスであるか否かを検証する、請求項１６−２４のうち何れか１項に記載の映像処理装置。
【請求項２７】
前記通信インターフェースは、前記顔の領域に含まれた瞳の位置、前記瞳の位置による視点、前記顔の領域に表現される表情のうち少なくとも１つに関する情報を出力する、請求項１６−２６のうち何れか１項に記載の映像処理装置。
【請求項２８】
前記プロセッサは、前記再検出された顔の領域に基づいて、前記整列させる過程、前記１次的に検証する過程、及び前記２次的に検証する過程を繰り返し行う、請求項１６に記載の映像処理装置。
【請求項２９】
前記映像フレームは、カラー映像フレーム及び赤外線映像フレームのうち少なくとも１つを含む、請求項１６−２８のうち何れか１項に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は映像処理方法及び装置に関する。
【背景技術】
【０００２】
カメラに基づく目の追跡技術は、例えば、視点追跡に基づく裸メガネ３Ｄ超多視点ディスプレイなど、多くの分野で活用されている。目の追跡技術の性能レベルは、使用されたカメラによってキャプチャーされた映像品質に応じて決定される。また、カメラに基づく目の追跡技術は、実際の運転時の逆光、強い太陽光、暗い低照度環境、トンネル通過などのように、照度が急変化する環境などでは動作の安定性が低下する。拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）３Ｄ  ＨＵＤ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）の実際の使用環境である運転する時を考慮すると、様々な照度で安定的に動作する目の追跡方法が求められている。それだけではなく、赤外線（Ｉｎｆｒａｒｅｄ  Ｒａｙ；ＩＲ）光源及び強い太陽光による眼鏡レンズの反射は目を遮るため、目の追跡方法の安定性及び正確度を低下させることがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１６／０１９６４６５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一実施形態によれば、実際の運転時の様々な照度環境でカメラに基づいて目を追跡するとき、目が間違って検出したか否か、又は、間違って追跡したか否かを検証して修正することにある。
【０００５】
一実施形態によれば、顔の領域に対する１次的検証及び目の領域に対する２次的検証といった２段階の追跡検証を行って、検証に合格できなかった場合には顔の領域を再検出し、検証に合格した場合には顔の領域に関する情報を出力することにより、目の追跡の精密度を向上することができる。
【課題を解決するための手段】
【０００６】
一実施形態によれば、映像処理方法は、映像フレームを受信するステップと、前記映像フレームからユーザの顔の領域を検出するステップと、予め決定された複数の特徴点を前記顔の領域に含まれた複数の特徴部位に整列させるステップと、前記複数の特徴部位の組合せに該当する第１領域に基づいて、前記整列結果を１次的に検証するステップと、前記複数の特徴部位のうち個別特徴部位に該当する第２領域に基づいて、前記整列結果を２次的に検証するステップと、前記１次検証及び前記２次検証のうち少なくとも１つにおける検証失敗に基づいて、前記顔の領域を再検出するステップと、前記１次検証及び前記２次検証の全てにおける検証成功に基づいて、前記顔の領域に関する情報を出力するステップとを含む。
【０００７】
前記顔の領域を検出するステップは、前記映像フレームが初期映像フレームである場合、前記映像フレームに含まれたユーザの顔の領域を検出するステップと、前記映像フレームが前記初期映像フレームでない場合、前記映像フレームの以前映像フレームのいずれか１つの映像フレームに基づいて検出された顔の領域を受信するステップとを含み得る。
【０００８】
前記整列させるステップは、前記顔の領域及び前記顔の領域の隣接領域内に含まれた複数の特徴部位に予め決定された複数の特徴点を整列させるステップを含み得る。
【０００９】
前記整列させるステップは、前記顔の領域内の映像情報に基づいて、前記予め決定された複数の特徴点を移動させるステップを含み得る。
【００１０】
前記映像フレームが初期映像フレームである場合、前記整列の前に予め決定された複数の特徴点は複数のユーザの特徴部位の平均位置に対応する。
【００１１】
前記映像フレームが前記初期映像フレームでない場合、前記整列の前に予め決定された複数の特徴点は以前映像フレームに基づいて整列された複数の頂点に対応する。
【００１２】
前記複数の特徴部位の組合せは、目及び鼻を含み、前記個別特徴部位は前記目を含み得る。
【００１３】
前記１次的に検証するステップは、前記第１領域内の映像情報に基づいて、前記第１領域が前記複数の特徴部位の組合せを含むか否かを検証するステップを含み得る。
【００１４】
前記１次的に検証するステップは、前記第１領域内の映像情報に基づいて、前記第１領域が前記複数の特徴部位を組合せに該当するクラスであるか否かを検証するステップを含み得る。
【００１５】
前記２次的に検証するステップは、前記第２領域内の映像情報に基づいて、前記第２領域が前記個別特徴部位に該当するか否かを検証するステップを含み得る。
【００１６】
前記２次的に検証するステップは、前記第２領域内の映像情報に基づいて、前記第２領域が前記個別特徴部位に該当するクラスであるか否かを検証するステップを含み得る。
【００１７】
前記顔の領域に関する情報を出力するステップは、前記顔の領域に含まれた瞳の位置、前記瞳の位置による視点、前記顔の領域に表現される表情のうち少なくとも１つに関する情報を出力するステップを含み得る。
【００１８】
前記映像処理方法は、前記再検出された顔の領域に基づいて、前記整列させるステップ、前記１次的に検証するステップ、及び前記２次的に検証するステップを繰り返し行うステップをさらに含み得る。
【００１９】
前記映像フレームは、カラー映像フレーム及び赤外線映像フレームのうち少なくとも１つを含み得る。
【００２０】
一実施形態に係る映像処理装置は、映像フレームからユーザの顔の領域を検出し、予め決定された複数の特徴点を前記顔の領域に含まれた複数の特徴部位に整列し、前記複数の特徴部位の組合せに該当する第１領域に基づいて、前記整列結果を１次的に検証し、前記複数の特徴部位のうち個別特徴部位に該当する第２領域に基づいて、前記整列結果を２次的に検証し、前記１次検証及び前記２次検証のうち少なくとも１つにおける検証失敗に基づいて、前記顔の領域を再検出するプロセッサと、前記映像フレームを受信し、前記１次検証及び前記２次検証の全てにおける検証成功に基づいて、前記顔の領域に関する情報を出力する通信インターフェースとを含む。
【００２１】
前記プロセッサは、前記映像フレームが初期映像フレームである場合、前記映像フレームに含まれたユーザの顔の領域を検出し、前記映像フレームが前記初期映像フレームでない場合、前記映像フレームの以前映像フレームのいずれか１つの映像フレームに基づいて検出された顔の領域を受信し得る。
【００２２】
前記プロセッサは、前記顔の領域及び前記顔の領域の隣接領域内に含まれた複数の特徴部位に予め決定された複数の特徴点を整列し得る。
【００２３】
前記プロセッサは、前記顔の領域内の映像情報に基づいて、前記予め決定された複数の特徴点を移動させ得る。
【００２４】
前記映像フレームが初期映像フレームである場合、前記整列の前に予め決定された複数の特徴点は、複数のユーザの特徴部位の平均位置に対応する。
【００２５】
前記映像フレームが前記初期映像フレームでない場合、前記整列の前に予め決定された複数の特徴点は、以前映像フレームに基づいて整列された複数の頂点に対応する。
【００２６】
前記複数の特徴部位の組合せは、目及び鼻を含み、前記個別特徴部位は、前記目を含み得る。
【００２７】
前記プロセッサは、前記第１領域内の映像情報に基づいて、前記第１領域が前記複数の特徴部位の組合せを含むか否かを検証し得る。
【００２８】
前記プロセッサは、前記第１領域内の映像情報に基づいて、前記第１領域が前記複数の特徴部位を組合せに該当するクラスであるか否かを検証し得る。
【００２９】
前記プロセッサは、前記第２領域内の映像情報に基づいて、前記第２領域が前記個別特徴部位に該当するか否かを検証し得る。
【００３０】
前記プロセッサは、前記第２領域内の映像情報に基づいて、前記第２領域が前記個別特徴部位に該当するクラスであるか否かを検証し得る。
【００３１】
前記通信インターフェースは、前記顔の領域に含まれた瞳の位置、前記瞳の位置による視点、前記顔の領域に表現される表情のうち少なくとも１つに関する情報を出力し得る。
【００３２】
前記プロセッサは、前記再検出された顔の領域に基づいて、前記整列させる過程、前記１次的に検証する過程、及び前記２次的に検証する過程を繰り返し行う。
【００３３】
前記映像フレームは、カラー映像フレーム及び赤外線映像フレームのうち少なくとも１つを含み得る。
【発明の効果】
【００３４】
一側面によれば、実際の運転時の様々な照度環境でカメラに基づいて目を追跡するとき、目を間違って検出したか否か、又は、間違って追跡したか否かを検証して修正することができる。
【００３５】
一側面によれば、顔の領域に対する１次的検証及び目の領域に対する２次的検証といった２段階の追跡検証を行って、検証に合格できなかった場合には顔の領域を再検出し、検証に合格した場合には顔の領域に関する情報を出力することにより、目の追跡の精密度を向上することができる。
【図面の簡単な説明】
【００３６】
【図１】ユーザの目の追跡が間違って実行される状況を説明するための図である。
【図２】一実施形態に係る映像処理方法を示したフローチャートである。
【図３】他の実施形態に係る映像処理方法を示したフローチャートである。
【図４】一実施形態により顔の領域に関する情報を出力する過程を説明するための図である。
【図５Ａ】一実施形態に係る第１検証器及び第２検証器の検出結果を説明するための図である。
【図５Ｂ】一実施形態に係る第１検証器及び第２検証器の検出結果を説明するための図である。
【図６】他の実施形態に係る映像処理方法を説明するための図である。
【図７】一実施形態に係る映像処理装置のブロック図である。
【発明を実施するための形態】
【００３７】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【００３８】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【００３９】
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
【００４０】
本明細書で用いられる用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００４１】
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００４２】
下記で説明される実施形態は、照度の低い暗い環境で裸メガネ３Ｄモニター、裸メガネ３Ｄタブレット／スマートフォン、及び車両用３Ｄ  ＨＵＤ（Ｈｅａｄ−ｕｐ  ｄｉｓｐｌａｙ）などを用いる場合、赤外線カメラを用いてユーザの目を追跡して目の座標を出力するために活用される。また、実施形態は、例えば、モニター内チップにソフトウェアアルゴリズムの形態に具現されたり、タブレット／スマートフォンでアプリの形態にも具現され、ハードウェアの目の追跡装置にも具現可能である。実施形態は、例えば、自律走行自動車、知能型自動車、スマートフォン、及びモバイル機器などに適用され得る。以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
【００４３】
図１は、ユーザの目の追跡が間違って実行される状況を説明するための図である。図１を参照すると、ユーザを撮影した映像フレーム１１０，１２０，１３０及びユーザの目の領域及び鼻の領域を検出する検出ボックス１２５が示されている。
【００４４】
映像フレーム１１０でユーザの目の追跡に失敗した後（ｔｒａｃｋｉｎｇ  ｌｏｓｔ）、目追跡器は、映像１２０のように検出ボックス１２５を用いてユーザの目及び鼻の領域を検出する。例えば、検出ボックス１２５を用いて目の領域及び鼻の領域を検出するとき、ユーザが顔を右側に動かしたと仮定する。この場合、目追跡器は、目の領域及び鼻の領域に対応して予め決定された複数の頂点を右側に動いた顔に対応する位置に整列させる。右側に動いた顔に対応する位置に整列された複数の頂点を用いてユーザの目を追跡する場合、フレームごとに間違った位置で続けて目の追跡が行われる。目追跡器が一旦整列された頂点をそのまま用いて目を追跡する場合、以後の全てのフレームにおける目の追跡が間違って実行される。これは、検出ボックス１２５が顔の領域を充分に検出したとしても、ユーザが映像フレーム１３０のように顔を再度正面から動かしたとすれば、右側に動いた顔に対応する位置を有する頂点によってユーザの目が続いて間違って追跡されることになる。言い換えれば、一般的な目追跡器は、顔検証のみを行って目を追跡するため、追跡結果に誤りがあった場合に該当エラーを迅速に代替することは容易でない。
【００４５】
一実施形態では、目の追跡のために複数の頂点を整列させるごとに正確な領域を追跡しているかを検証し、もし、間違った領域を追跡している場合に映像フレームから再び顔の領域を検出して追跡することで、目の追跡を継続的に間違ってしまう状況を解決する一方、目の追跡の精密度を向上させることができる。
【００４６】
図２は、一実施形態に係る映像処理方法を示したフローチャートである。図２を参照すると、一実施形態に係る映像処理装置は、映像フレームを受信する（Ｓ２１０）。映像フレームは、例えば、カラー映像フレームであってもよく、赤外線映像フレームであってもよい。
【００４７】
映像処理装置は、映像フレームに含まれたユーザの顔の領域を取得する（Ｓ２２０）。例えば、ステップＳ２１０で受信した映像フレームが映像処理装置が受信した最初の映像フレーム、言い換えれば、初期映像フレームである場合、映像処理装置は、映像フレームに含まれたユーザの顔の領域を検出することによって顔の領域を取得することができる。例えば、映像フレームが初期映像フレームでない場合、映像処理装置は、該当映像フレームの以前映像フレームのいずれか１つの映像フレームに基づいて検出された顔の領域を受信することで、顔の領域を取得することができる。
【００４８】
映像処理装置は、予め決定された複数の頂点（ｐｏｉｎｔｓ）を顔の領域に含まれた複数の特徴部位に整列させる（Ｓ２３０）。予め決定された複数の頂点は、例えば、目及び鼻などのように顔の特徴を示すキーポイント（ｋｅｙ  ｐｏｉｎｔ）に該当する１１個の頂点である。複数の頂点は、例えば、図４、図５Ａ、及び図５Ｂに示された点（●）又はスター印（＊）のように表示される。本発明において、頂点は、特徴点のように表現されることができる。ここで、「複数の特徴部位」は、映像フレームの顔の領域に含まれ、例えば、目、鼻、その他にも、口、眉毛、メガネなどを含んでもよい。映像処理装置は、複数の頂点を、顔の領域及び顔の領域の隣接領域内に含まれた複数の特徴部位に整列させる。映像処理装置は、顔の領域内の映像情報に基づいて、予め決定された複数の頂点を移動させて複数の特徴部位に整列させることができる。
【００４９】
映像処理装置は、例えば、初期形状の構成から学習した下降ベクトル（ｄｅｓｃｅｎｔ  ｖｅｃｔｏｒ）を用いて頂点をイメージの形状に整列させるＳＤＭ（Ｓｕｐｅｒｖｉｓｅｄ  Ｄｅｓｃｅｎｔ  Ｍｅｔｈｏｄ）方式、形状（ｓｈａｐｅ）と形状の主な構成要素分析（ｐｒｉｎｃｉｐａｌ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ；ＰＣＡ）に基づいて頂点を整列させるＡＳＭ（Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌ）方式、ＡＡＭ（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ）方式、又はＣＬＭ（Ｃｏｎｓｔｒａｉｎｅｄ  Ｌｏｃａｌ  Ｍｏｄｅｌｓ）方式などによって、映像フレームの顔の領域からユーザの目、鼻に該当する複数の特徴部位の位置を認識することができる。映像処理装置は、認識された複数の特徴部位の位置に予め決定された複数の頂点を移動させて整列させる。例えば、映像フレームが初期映像フレームである場合、整列前の複数の頂点は、複数のユーザの特徴部位の平均位置に対応する。また、映像フレームが初期映像フレームでない場合、整列前の複数の頂点は、以前映像フレームに基づいて整列された複数の頂点に対応する。
【００５０】
映像処理装置は、複数の特徴部位の組合せに該当する第１領域に基づいて、整列結果を１次的に検証する（Ｓ２４０）。第１領域は、例えば、目と鼻、目と口、メガネと口などの領域を含んでもよく、必ずこれに限定されることはない。映像処理装置は、第１領域内の映像情報に基づいて第１領域が複数の特徴部位の組合せ（例えば、目と鼻）を含むか否かを検証する。映像処理装置は、第１領域内の映像情報に基づいて、第１領域が複数の特徴部位を組合せに該当するクラス（ｃｌａｓｓ）であるか否かを検証する。ここで、複数の特徴部位を組合せに該当するクラスは、例えば、顔であってもよい。映像処理装置は、例えば、ＳＩＦＲ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴に基づく第１検証器を用いて、第１領域が顔のクラスであるか否かを検証する。ここで、「第１検証器」は、学習映像ＤＢに格納された各顔の目及び鼻のキーポイントに該当する１１個の頂点を学習映像フレームの顔の領域に整列させた場合、整列されたそれぞれの頂点から抽出されたＳＩＦＴ特徴を学習した分流器であり得る。第１検証器は、映像フレームの顔の領域内の映像情報を用いて、頂点が整列された顔の領域が実際の顔のクラスに該当するかを検証する。第１検証器は、例えば、サポートベクトルマシーン分流器（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ  ｃｌａｓｓｉｆｉｅｒ）であってもよい。第１検証器は、１次的に顔の領域に対する整列の有無を検証するという点で、「顔検証器（ｆａｃｅ  ｃｈｅｃｋｅｒ）」と呼ぶことができる。
【００５１】
ここで、ＳＩＦＲの特徴は次の２つの段階を経て取得される。映像処理装置は、第１領域の映像データを映像ピラミッドによるスケール空間で映像の明るさが地域的に極大又は極小な候補特徴点を抽出し、明暗比の低い特徴点をフィルタリングして映像整合に使用する特徴点を選別することができる。映像処理装置は、選別された特徴点を中心に周辺領域の勾配（ｇｒａｄｉｅｎｔ）を介して方向成分を取得し、取得された方向成分を中心に関心領域を再設定し、特徴点の大きさを検出して記述子を生成する。ここで、記述子はＳＩＦＲ特徴に該当する。
【００５２】
映像処理装置は、複数の特徴部位のうち個別特徴部位に該当する第２領域に基づいて、整列結果を２次的に検証する（Ｓ２５０）。ここで、第２領域は、例えば、目、鼻、又は、メガネなどの領域を含んでもよく、必ずこれに限定されることはない。映像処理装置は、第２領域内の映像情報に基づいて、第２領域が個別特徴部位に該当するか否かを検証する。映像処理装置は、第２領域内の映像情報に基づいて、第２領域が個別特徴部位に該当するクラスであるか否かを検証する。映像処理装置は、例えば、第２領域のＳＩＦＲ特徴に基づく第２検証器を用いて、第２領域が目のクラスであるか否かを検証する。第２検証器は、学習映像ＤＢに格納された各目のキーポイントに該当する３つの頂点を学習映像フレームの目の領域に整列させた場合、整列された各頂点から抽出されたＳＩＦＴ特徴を学習した分流器である。第２検証器は、映像フレームの目の領域内の映像情報を用いて、頂点の整列された目の領域が実際の目のクラスに該当するかを検証する。第２検証器は、例えば、サポートベクトルマシーン分流器であってもよい。第２検証器は、２次的に目の領域に対する整列の有無を検証する点で「目検証器（ｅｙｅ  ｃｈｅｃｋｅｒ）」と呼ぶことができる。
【００５３】
映像処理装置は、１次検証及び２次検証のうち少なくとも１つに合格できなかった場合、顔の領域を再検出する（Ｓ２６０）。映像処理装置は、ステップＳ２６０で再検出された顔の領域に基づいて、前述した整列させるステップＳ２３０、１次的に検証するステップＳ２４０、及び２次的に検証するステップＳ２５０を繰り返し行う。
【００５４】
映像処理装置は、１次検証及び２次検証に合格した場合、顔の領域に関する情報を出力する（Ｓ２７０）。映像処理装置は、例えば、顔の領域に含まれた瞳の位置、瞳の位置による視点、顔の領域に表現される表情などのような情報を出力する。ステップＳ２７０で、映像処理装置は、顔の領域に関する情報を明示的に出力してもよく、暗示的に出力してもよい。「顔の領域に関する情報を明らかに出力」することは、例えば、顔の領域に含まれた瞳の位置及び／又は顔の領域に表現される表情を画面上に表示したり、及び／又はオーディオで出力することなどを含む。又は、「顔の領域に関する情報を暗示的に出力」することは、例えば、顔の領域に含まれた瞳の位置、瞳の位置による視点などによってＨＵＤに表示される映像を調整したり、又は、顔の領域に表現される表情に対応するサービスを提供することなどを含む。
【００５５】
図３は、他の実施形態に係る映像処理方法を示したフローチャートである。図３を参照すると、一実施形態に係る映像処理装置は、カメラからｎ番目の映像フレームを取得する（Ｓ３１０）。ここで、ｎは整数である。映像フレームは、例えば、ＲＧＢカラー映像フレーム又は赤外線映像フレームであってもよい。
【００５６】
映像処理装置は、以前のｎ−１番目の映像フレームから目及び鼻が検出されたかを判断する（Ｓ３２０）。ステップＳ３２０で目及び鼻が検出されていないと判断された場合、映像処理装置は、検出ボックスを用いて目及び鼻を検出する（Ｓ３９０）。
【００５７】
ステップＳ３２０で目及び鼻が検出されたと判断される場合、映像処理装置は、特徴点を検出ボックスの隣接領域内に含まれた複数の特徴部位（例えば、目及び鼻）に整列させる（Ｓ３３０）。一実施形態によれば、特徴点は、１１個の頂点によって構成されてもよい。１１個の頂点は、例えば、両目それぞれの３つの頂点、鼻先の１つの頂点、口の３つの頂点（又は、鼻の３つの頂点）であってもよい。
【００５８】
映像処理装置は、整列された特徴点を用いて目及び鼻の組合せに該当する顔の領域の整列結果を１次的に検証する（Ｓ３４０）。
【００５９】
映像処理装置は、１次的な検証結果、顔の領域で目及び鼻が追跡されるか否かを判断する（Ｓ３５０）。ステップＳ３５０で目及び鼻が追跡されていないと判断された場合、映像処理装置は、検出ボックスを用いて目及び鼻を検出する（Ｓ３９０）。
【００６０】
一般的に、オブジェクト（顔の領域）を検出する速度は、例えば、２０ｍｓ以下であり、オブジェクトを追跡する速度は、例えば、３ｍｓ以下であってもよい。このように、オブジェクトを検出する速度はオブジェクトを追跡する速度に比べて著しく遅い。一実施形態では、オブジェクトの追跡に成功した場合はオブジェクト検出を再び行わず、オブジェクト追跡に失敗した場合にのみオブジェクト検出を再び行うことで、映像処理速度を向上させることができる。
【００６１】
ステップＳ３５０で、目及び鼻が検出されたと判断された場合、映像処理装置は、（整列された）３つの頂点を用いて目の領域の整列結果を２次的に検証する（Ｓ３６０）。
【００６２】
映像処理装置は、２次的な検証結果、目が検出されたか否かを判断する（Ｓ３７０）。ステップＳ３７０で目が検出されていないと判断された場合、映像処理装置は、検出ボックスを用いて目及び鼻を検出する（Ｓ３９０）。
【００６３】
ステップＳ３７０で目が検出されたと判断された場合、映像処理装置は、目の座標又は瞳（瞳孔）の座標を出力する（Ｓ３８０）。
【００６４】
図４は、一実施形態により顔の領域に関する情報を出力する過程を説明するための図である。図４を参照すると、一実施形態に係る映像処理装置は、カメラから映像フレームを受信すると、目及び鼻の領域を含んでいる顔の領域を検出する検出ボックス４０５を用いて映像フレームから目及び鼻を検出する（Ｓ４１０）。
【００６５】
映像処理装置は、検出ボックスを含む隣接領域内で複数の頂点を目及び鼻に整列させる（Ｓ４２０）。
【００６６】
映像処理装置は、整列した複数の頂点に基づいて整列結果を検証する（Ｓ４３０）。ステップＳ４３０で映像処理装置は、整列された複数の頂点のうち、目及び鼻に該当する頂点が実際の映像フレームで目及び鼻の位置に整列しているかを１次的に検証する（Ｓ４３３）。より具体的に、映像処理装置は、整列された複数の頂点が顔の領域で示される形状（ｓｈａｐｅ）を取得することができる。映像処理装置は、その形状に該当する領域の隣接領域の映像情報を用いて、複数の頂点が顔に充分に整列しているかを１次的に検証する。その後、映像処理装置は、整列された複数の頂点のうち、目に該当する頂点が実際の映像フレームから目の位置に整列されているかを２次的に検証する（Ｓ４３６）。
【００６７】
ステップＳ４３０において、１次検証及び２次検証のいずれか１つでも合格（成功）できない場合、映像処理装置は、検出ボックス４０５を用いて次の映像フレームから目及び鼻を検出する（Ｓ４１０）。
【００６８】
ステップＳ４３０で、１次検証及び２次検証を全て合格（成功）した場合、映像処理装置は、整列された複数の頂点から瞳（ｐｕｐｉｌ）の位置を抽出する（Ｓ４４０）。
【００６９】
図５は、一実施形態に係る第１検証器及び第２検証器の検出結果を説明するための図である。図５Ａを参照すると、予め決定された１１個の頂点を映像フレームの顔の領域に含まれた複数の特徴部位（例えば、目及び鼻）に整列した結果が示されている。
【００７０】
上述したように、第１検証器（又は、顔検証器）は、映像フレーム上に整列された１１個の頂点が映像５１０のように映像フレームの顔の領域で目及び鼻に整列しているか、又は、映像５２０のように１１個の頂点が映像フレームの顔の領域に位置しているものの、目及び鼻に整列していないかを検証することができる。
【００７１】
図５Ｂを参照すると、予め決定された１１個の頂点のうち、目に該当する３つの頂点を映像フレームの個別特徴部位（例えば、目）に整列させた結果が示されている。
【００７２】
同様に、第２検証器（又は、目検証器）は、映像フレーム上に整列した３つの頂点が映像５３０のように映像フレームの顔の領域で目に整列しているか、又は、映像５４０のように３つの頂点が映像フレームの顔の領域で目が正しく整列していないかを検証する。
【００７３】
一実施形態によれば、顔検証器及び目検証器を通した２段階の追跡検証を介して、映像フレームに整列された複数の頂点による顔検出の正確度及び目整列の正確度を向上させることで、全般的な目の追跡の安定性及び精密度を向上することができる。
【００７４】
一実施形態によれば、１次検証は、第１領域内の複数の特徴部位の組合せが１次基準を満足するか否かを検証することを含み、２次検証は、複数の特徴部位のうち、１つ以上が個別的に２次基準を満足させるか否かを検証することを含む。また、第１領域内の複数の特徴部位の組合せが第１基準を満足できないという検証に基づいて顔が再検出される。そうでなければ、第１領域内の複数の特徴部位の組合せが１次基準を満足し、複数の特徴部位のうち１つ以上の特徴部位が個別的に顔の領域上の２次基準を満足するという検証に基づいて、顔の領域に関する情報が出力される。
【００７５】
一実施形態によれば、１次基準は、複数の特徴点（例えば、１１個の頂点）が映像フレーム内の目と鼻に整列しているか否かである。一実施形態によれば、２次基準は、複数の特徴点のうちの１つ以上の頂点（例えば、３つの頂点）が映像フレームの顔の領域で目に正確に整列しているか否かである。一実施形態によれば、１次基準は顔の特性に対応し、２次基準は目の特性に対応する。
【００７６】
図６は、他の実施形態に係る映像処理方法を説明するための図である。図６を参照すると、一実施形態に係る映像処理装置は、カメラの映像フレームごとに検出ボックスを用いて目及び鼻を含むユーザの顔の領域を検出する（Ｓ６１０）。その後、映像処理装置は、整列及び／又は追跡に失敗しない限り、追加的な検出過程なしに追跡過程を行うことができる。
【００７７】
映像処理装置は、予め決定された複数の頂点を顔の領域に含まれた目及び鼻に整列させる（Ｓ６３０）。ステップＳ６３０で整列が失敗した場合（Ｓ６４０）、映像処理装置は、新しい映像フレームから目及び鼻を含むユーザの顔の領域を検出する（Ｓ６１０）。ステップＳ６３０で整列に成功した場合、映像処理装置は、２段階の追跡検証を行う（Ｓ６５０）。２段階の追跡検証の過程は次の通りである。
【００７８】
例えば、１１個の頂点が整列した顔の領域が入力されれば（Ｓ６５１）、映像処理装置は、整列した頂点のＳＩＦＴ特徴を抽出する（Ｓ６５２）。
【００７９】
映像処理装置は、例えば、数千枚の映像ＤＢを学習したサポートベクトルマシーン分流器を用いて、ステップＳ６５２で抽出されたＳＩＦＴ特徴によって顔及び目に対する整列結果を検証する（Ｓ６５３）。
【００８０】
ステップＳ６５３で、映像処理装置は、前述した顔検証器を用いて顔に対する追跡の１次検証を行う。顔検証器は、映像フレームの顔の領域内の映像情報を用いて、頂点の整列された顔の領域が実際の顔に該当するかを検証する。
【００８１】
また、ステップＳ６５３で、映像処理装置は、前述した目検証器を用いて目に対する追跡の２次検証を行う。目検証器は、映像フレームの目の領域内の映像情報を用いて、頂点の整列された目の領域が実際の目に該当するかを検証する。
【００８２】
映像処理装置は、ステップＳ６５３の２段階の追跡検証を介して、例えば、Ｓ６７０に示すように、間違って整列させたはずれ値（ｍｉｓ−ａｌｉｇｎｍｅｎｔ  ｏｕｔｌｉｅｒ）を除去することで、間違った追跡過程を早めに修正することができる。ステップＳ６５４において、映像処理装置は、２段階の追跡検証のうち少なくとも１つの失敗に応答して、ステップＳ６５６において、顔の領域を再び検証する。ステップＳ６５５において、映像処理装置は、２段階の追跡検証の成功に応答して、整列を維持することができる。
【００８３】
図７は、一実施形態に係る映像処理装置のブロック図である。図７を参照すると、一実施形態に係る映像処理装置７００は、センサ７１０、プロセッサ７３０、メモリ７５０、通信インターフェース７７０、及びディスプレイ７９０を含む。センサ７１０、プロセッサ７３０、メモリ７５０、通信インターフェース７７０、及びディスプレイ７９０は、通信バス７０５を介して通信する。
【００８４】
他の実施形態によれば、映像処理装置７００は、ディスプレイ７９０を含まなくてもよい。この場合、映像処理装置７００は、ディスプレイと通信するように構成されてもよい。
【００８５】
センサ７１０は、映像フレームを検出する。センサ７１０は、例えば、赤外線照明によって入力映像を撮影するイメージセンサ、ビジョンセンサ、又は赤外線カメラであってもよい。映像フレームは、例えば、ユーザの顔映像であってもよく、車両の走行映像であってもよい。
【００８６】
プロセッサ７３０は、映像フレームに含まれたユーザの顔の領域を取得する。プロセッサ７３０は、予め決定された複数の頂点を顔の領域に含まれた複数の特徴部位に整列させる。プロセッサ７３０は、複数の特徴部位の組合せに該当する第１領域に基づいて、整列結果を１次的に検証する。プロセッサ７３０は、複数の特徴部位のうち個別特徴部位に該当する第２領域に基づいて、整列結果を２次的に検証する。プロセッサ７３０は、１次検証及び２次検証のうち少なくとも１つに合格できなかった場合、顔の領域を再検出する。
【００８７】
プロセッサ７３０は、図１〜図６を参照して前述した少なくとも１つの方法又は少なくとも１つの方法に対応するアルゴリズムを行う。プロセッサ７３０は、プログラムを実行し、映像処理装置７００を制御する。プロセッサ７３０によって実行されるプログラムコードは、メモリ７５０に格納される。プロセッサ７３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）又はＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で構成される。
【００８８】
メモリ７５０は、映像フレーム、プロセッサ７３０が取得したユーザの顔の領域、及び／又は顔の領域に関する情報などを格納する。メモリ７５０は、揮発性メモリ又は不揮発性メモリであってもよい。
【００８９】
通信インターフェース７７０は、映像フレームを受信する。通信インターフェース７７０は、１次検証及び２次検証に合格した場合、顔の領域に関する情報を出力する。実施形態により、通信インターフェース７７０は、映像処理装置７００の外部でキャプチャーされた映像フレーム又は映像処理装置７００の外部から受信される各種センサの情報などを受信する。
【００９０】
ディスプレイ７９０は、プロセッサ７３０の処理結果を表示する。例えば、映像処理装置７００が車両に埋め込まれた場合、ディスプレイ７９０は、車両に設置されたヘッドアップディスプレイ（ＨＵＤ）から構成される。
【００９１】
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【００９２】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【００９３】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【００９４】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【符号の説明】
【００９５】
７００：映像処理装置
７０５：通信バス
７１０：センサ
７３０：プロセッサ
７５０：メモリ
７７０：通信インターフェース
７９０：ディスプレイ
【図１】
2020091848.tif 000003
【図２】
2020091848.tif 000004
【図３】
2020091848.tif 000005
【図４】
2020091848.tif 000006
【図５Ａ】
2020091848.tif 000007
【図５Ｂ】
2020091848.tif 000008
【図６】
2020091848.tif 000009
【図７】
2020091848.tif 000010