(57)【特許請求の範囲】
【請求項１】
電子デバイスによって実行される、顔回転角を決定するための方法であって、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第１の位置情報を取得するステップであって、前記複数の顔特徴点が５つの顔特徴点を含み、前記５つの顔特徴点が、対称的な顔特徴点の第１のペアと、対称的な顔特徴点の第２のペアと、１つの第１の顔特徴点とを含み、前記複数の顔特徴点が同一平面上にない、ステップと、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の第１の位置情報に従って、対称的な顔特徴点の前記第１のペアの第１の対称的な中点の第１の位置情報を取得するステップと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の第１の位置情報に従って、対称的な顔特徴点の前記第２のペアの第２の対称的な中点の第１の位置情報を取得するステップと、
顔特徴点の各ペアの前記対称的な中点の前記第１の位置情報および前記第１の顔特徴点の第１の位置情報に従って、前記決定されることになる顔画像の顔回転角を決定するステップと、を含み、
ここで、顔特徴点の各ペアの前記対称的な中点の前記第１の位置情報および前記第１の顔特徴点の第１の位置情報に従って、前記決定されることになる顔画像の顔回転角を決定する前記ステップが、
前記第１の対称的な中点の前記第１の位置情報、前記第２の対称的な中点の前記第１の位置情報、および前記第１の顔特徴点の前記第１の位置情報に従って、前記第１の顔特徴点から第３の線分までの第１の垂直距離および前記第３の線分の長さを計算するステップであって、前記第３の線分が前記第１の対称的な中点および前記第２の対称的な中点により形成される線分である、ステップと、
前記第３の線分の前記長さおよび前記決定されることになる顔画像の顔ピッチ角に従って、第４の線分の長さを計算するステップであって、前記第４の線分が第３の対称的な中点と第４の対称的な中点との間の線分であり、前記第３の対称的な中点が正面の顔画像の中の顔特徴点の前記第１のペアの対称的な中点であり、前記第４の対称的な中点が前記正面の顔画像の中の顔特徴点の前記第２のペアの対称的な中点である、ステップと、
前記第４の線分の前記長さに対する前記第１の垂直距離の第２の比に従って、かつ前記第２の比と横方向の顔回転角との間の対応付けから、前記決定されることになる顔画像の横方向の顔回転角を取得するステップと、
を含む方法。
【請求項２】
顔特徴点の各ペアの前記対称的な中点の前記第１の位置情報および前記第１の顔特徴点の第１の位置情報に従って、前記決定されることになる顔画像の顔回転角を決定する前記ステップが、
前記第１の対称的な中点の前記第１の位置情報および前記第１の顔特徴点の前記第１の位置情報に従って、前記第１の対称的な中点および前記第１の顔特徴点により形成される第１の線分の長さを計算するステップと、
前記第２の対称的な中点の前記第１の位置情報および前記第１の顔特徴点の前記第１の位置情報に従って、前記第２の対称的な中点および前記第１の顔特徴点により形成される第２の線分の長さを計算するステップと、
前記第２の線分の前記長さに対する前記第１の線分の前記長さの第１の比に従って、かつ前記第１の比と顔ピッチ角との間の対応付けから、前記決定されることになる顔画像の顔ピッチ角を取得するステップと
を含む、請求項１に記載の方法。
【請求項３】
前記第３の線分の前記長さおよび前記決定されることになる顔画像の顔ピッチ角に従って、第４の線分の長さを計算する前記ステップが、
前記顔ピッチ角に従って、かつ前記顔ピッチ角と第３の比との間の対応付けから、対応する第３の比を取得するステップと、
前記第３の比および前記第３の線分の前記長さに従って、前記第４の線分の前記長さを計算するステップと
を含む、請求項１に記載の方法。
【請求項４】
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第１の位置情報を取得する前記ステップの後に、
前記決定されることになる顔画像の前記顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第１の位置情報に従って、第５の線分を決定し、前記第５の線分と水平線との間の角度を計算するステップ
をさらに含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記決定されることになる顔画像の顔回転角を決定する前記ステップの前に、
第１の顔画像の中の前記事前に設定された複数の顔特徴点の第２の位置情報を取得するステップであって、前記第１の顔画像が事前に設定された顔回転角だけ顔が回転した後で撮られた顔画像である、ステップと、
前記事前に設定された複数の顔特徴点の前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立するステップと
をさらに含む、請求項１から３のいずれか一項に記載の方法。
【請求項６】
前記事前に設定された顔回転角が事前に設定された顔ピッチ角を含み、
前記事前に設定された複数の顔特徴点の前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立する前記ステップが、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の第２の位置情報に従って、対称的な顔特徴点の前記第１のペアの第５の対称的な中点の第２の位置情報を取得するステップと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の第１の位置情報に従って、対称的な顔特徴点の前記第２のペアの第６の対称的な中点の第２の位置情報を取得するステップと、
前記第５の対称的な中点の前記第２の位置情報および前記第１の顔特徴点の前記第２の位置情報に従って、前記第５の対称的な中点および前記第１の顔特徴点により形成される第６の線分の長さを計算するステップと、
前記第６の対称的な中点の前記第２の位置情報および前記第１の顔特徴点の前記第２の位置情報に従って、前記第６の対称的な中点および前記第１の顔特徴点により形成される第７の線分の長さを計算するステップと、
前記第７の線分に対する前記第６の線分の第１の比と前記事前に設定された顔ピッチ角との間の対応付けを確立するステップと
を含む、請求項５に記載の方法。
【請求項７】
前記事前に設定された複数の顔特徴点の前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立する前記ステップが、
顔の正面の顔画像の中の対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の第３の位置情報、および前記正面の顔画像の中の対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の第３の位置情報を取得するステップと、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の前記第３の位置情報に従って、対称的な顔特徴点の前記第１のペアの第７の対称的な中点の第３の位置情報を取得するステップと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の前記第３の位置情報に従って、対称的な顔特徴点の前記第２のペアの第８の対称的な中点の第３の位置情報を取得するステップと、
前記第５の対称的な中点の前記第２の位置情報および前記第６の対称的な中点の前記第２の位置情報に従って、前記第５の対称的な中点および前記第６の対称的な中点により形成される第８の線分の長さを計算するステップと、
前記第７の対称的な中点の前記第３の位置情報および前記第８の対称的な中点の前記第３の位置情報に従って、前記第７の対称的な中点および前記第８の対称的な中点により形成される第９の線分の長さを計算するステップと、
前記第９の線分に対する前記第８の線分の第３の比と前記事前に設定された顔ピッチ角との間の対応付けを確立するステップと
をさらに含む、請求項６に記載の方法。
【請求項８】
前記事前に設定された顔回転角が事前に設定された横方向の顔回転角を含み、
前記事前に設定された複数の顔特徴点の前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立する前記ステップが、
前記第５の対称的な中点の前記第２の位置情報、前記第６の対称的な中点の前記第２の位置情報、および前記第１の顔特徴点の前記第２の位置情報に従って、前記第１の顔特徴点から前記第８の線分までの第２の垂直距離を計算するステップと、
前記第９の線分に対する前記第２の垂直距離の第２の比と前記事前に設定された横方向の顔回転角との間の対応付けを確立するステップと
をさらに含む、請求項７に記載の方法。
【請求項９】
顔回転角を決定するための装置であって、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第１の位置情報を取得するように構成された第１の取得モジュールであって、前記複数の顔特徴点が５つの顔特徴点を含み、前記５つの顔特徴点が、対称的な顔特徴点の第１のペアと、対称的な顔特徴点の第２のペアと、１つの第１の顔特徴点とを含み、前記複数の顔特徴点が同一平面上にない、第１の取得モジュールと、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点のものであり前記第１の取得モジュールにより取得される第１の位置情報に従って、顔特徴点の各ペアの対称的な中点の第１の位置情報を取得するように構成された第２の取得モジュールと、
顔特徴点の各ペアの前記対称的な中点のものであり前記第２の取得モジュールにより取得される前記第１の位置情報および前記第１の顔特徴点のものであり前記第１の取得モジュールにより取得される第１の位置情報に従って、前記決定されることになる顔画像の顔回転角を決定するように構成された第１の決定モジュールと、を含み、
ここで、前記第２の取得モジュールが、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点のものであり前記第１の取得モジュールにより取得される第１の位置情報に従って、対称的な顔特徴点の前記第１のペアの第１の対称的な中点の第１の位置情報を取得するように構成された第１の取得サブモジュールと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点のものであり前記第１の取得モジュールにより取得される第１の位置情報に従って、対称的な顔特徴点の前記第２のペアの第２の対称的な中点の第１の位置情報を取得するように構成された第２の取得サブモジュールと、を含み、
前記第１の決定モジュールが、
前記第１の対称的な中点のものであり前記第１の取得サブモジュールにより取得される前記第１の位置情報、前記第２の対称的な中点のものであり前記第２の取得サブモジュールにより取得される前記第１の位置情報、および前記第１の顔特徴点のものであり前記第１の取得モジュールにより取得される前記第１の位置情報に従って、前記第１の顔特徴点から第３の線分までの第１の垂直距離および前記第３の線分の長さを計算するように構成された第３の計算サブモジュールであって、前記第３の線分が前記第１の対称的な中点および前記第２の対称的な中点により形成される線分である、第３の計算サブモジュールと、
前記第３の計算サブモジュールにより計算される前記第３の線分の前記長さおよび前記決定されることになる顔画像の顔ピッチ角に従って、第４の線分の長さを計算するように構成された第４の計算サブモジュールであって、前記第４の線分が第３の対称的な中点と第４の対称的な中点との間の線分であり、前記第３の対称的な中点が正面の顔画像の中の顔特徴点の前記第１のペアの対称的な中点であり、前記第４の対称的な中点が前記正面の顔画像の中の顔特徴点の前記第２のペアの対称的な中点である、第４の計算サブモジュールと、
前記第４の計算サブモジュールにより計算される前記第４の線分の前記長さに対する前記第３の計算サブモジュールにより計算される前記第１の垂直距離の第２の比に従って、かつ前記第２の比と横方向の顔回転角との間の対応付けから、前記決定されることになる顔画像の横方向の顔回転角を取得するように構成された第４の取得サブモジュールと
を含む装置。
【請求項１０】
前記第１の決定モジュールが、
前記第１の対称的な中点のものであり前記第１の取得サブモジュールにより取得される前記第１の位置情報および前記第１の顔特徴点のものであり前記第１の取得モジュールにより取得される前記第１の位置情報に従って、前記第１の対称的な中点および前記第１の顔特徴点により形成される第１の線分の長さを計算するように構成された第１の計算サブモジュールと、
前記第２の対称的な中点のものであり前記第２の取得サブモジュールにより取得される前記第１の位置情報および前記第１の顔特徴点のものであり前記第１の取得モジュールにより取得される前記第１の位置情報に従って、前記第２の対称的な中点および前記第１の顔特徴点により形成される第２の線分の長さを計算するように構成された第２の計算サブモジュールと、
前記第２の計算サブモジュールにより計算される前記第２の線分の前記長さに対する前記第１の計算サブモジュールにより計算される前記第１の線分の前記長さの第１の比に従って、かつ前記第１の比と顔ピッチ角との間の対応付けから、前記決定されることになる顔画像の顔ピッチ角を取得するように構成された第３の取得サブモジュールと
を含む、請求項９に記載の装置。
【請求項１１】
前記第４の計算サブモジュールが、
第３の取得サブモジュールにより取得される前記顔ピッチ角に従って、かつ前記顔ピッチ角と第３の比との間の対応付けから、対応する第３の比を取得するように構成された取得ユニットと、
前記取得ユニットにより取得される前記第３の比および前記第３の計算サブモジュールにより計算される前記第３の線分の前記長さに従って、前記第４の線分の前記長さを計算するように構成された計算ユニットと
を含む、請求項９に記載の装置。
【請求項１２】
前記決定されることになる顔画像の前記顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第１の位置情報に従って、第５の線分を決定し、前記第５の線分と水平線との間の角度を計算するように構成された決定および計算モジュール
をさらに含む、請求項９から１１のいずれか一項に記載の装置。
【請求項１３】
第１の顔画像の中の前記事前に設定された複数の顔特徴点の第２の位置情報を取得するように構成された第３の取得モジュールであって、前記第１の顔画像が事前に設定された顔回転角だけ顔が回転した後で撮られた顔画像である、第３の取得モジュールと、
前記事前に設定された複数の顔特徴点のものであり前記第３の取得モジュールにより取得される前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立するように構成された確立モジュールと
をさらに含む、請求項９から１１のいずれか一項に記載の装置。
【請求項１４】
前記事前に設定された顔回転角が事前に設定された顔ピッチ角を含み、
前記確立モジュールが、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点のものであり前記第３の取得モジュールにより取得される第２の位置情報に従って、対称的な顔特徴点の前記第１のペアの第５の対称的な中点の第２の位置情報を取得するように構成された第５の取得サブモジュールと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点のものであり前記第３の取得モジュールにより取得される第１の位置情報に従って、対称的な顔特徴点の前記第２のペアの第６の対称的な中点の第２の位置情報を取得するように構成された第６の取得サブモジュールと、
前記第５の対称的な中点のものであり前記第５の取得サブモジュールにより取得される前記第２の位置情報および前記第１の顔特徴点のものであり前記第３の取得モジュールにより取得される前記第２の位置情報に従って、前記第５の対称的な中点および前記第１の顔特徴点により形成される第６の線分の長さを計算するように構成された第５の計算サブモジュールと、
前記第６の対称的な中点のものであり前記第６の取得サブモジュールにより取得される前記第２の位置情報および前記第１の顔特徴点のものであり前記第３の取得モジュールにより取得される前記第２の位置情報に従って、前記第６の対称的な中点および前記第１の顔特徴点により形成される第７の線分の長さを計算するように構成された第６の計算サブモジュールと、
前記第６の計算サブモジュールにより計算される前記第７の線分に対する前記第５の計算サブモジュールにより計算される前記第６の線分の第１の比と前記事前に設定された顔ピッチ角との間の対応付けを確立するように構成された第１の確立サブモジュールと
を含む、請求項１３に記載の装置。
【請求項１５】
前記確立モジュールが、
顔の正面の顔画像の中の対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の第３の位置情報、および前記正面の顔画像の中の対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の第３の位置情報を取得するように構成された第７の取得サブモジュールと、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点のものであり前記第７の取得サブモジュールにより取得される前記第３の位置情報に従って、対称的な顔特徴点の前記第１のペアの第７の対称的な中点の第３の位置情報を取得するように構成された第８の取得サブモジュールと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点のものであり前記第７の取得サブモジュールにより取得される前記第３の位置情報に従って、対称的な顔特徴点の前記第２のペアの第８の対称的な中点の第３の位置情報を取得するように構成された第９の取得サブモジュールと、
前記第５の対称的な中点のものであり前記第５の取得サブモジュールにより取得される前記第２の位置情報および前記第６の対称的な中点のものであり前記第６の取得サブモジュールにより取得される前記第２の位置情報に従って、前記第５の対称的な中点および前記第６の対称的な中点により形成される第８の線分の長さを計算するように構成された第７の計算サブモジュールと、
前記第７の対称的な中点のものであり前記第８の取得サブモジュールにより取得される前記第３の位置情報および前記第８の対称的な中点のものであり前記第９の取得サブモジュールにより取得される前記第３の位置情報に従って、前記第７の対称的な中点および前記第８の対称的な中点により形成される第９の線分の長さを計算するように構成された第８の計算サブモジュールと、
前記第８の計算サブモジュールにより計算される前記第９の線分に対する前記第７の計算サブモジュールにより計算される前記第８の線分の第３の比と前記事前に設定された顔ピッチ角との間の対応付けを確立するように構成された第２の確立サブモジュールと
をさらに含む、請求項１４に記載の装置。
【請求項１６】
前記事前に設定された顔回転角が事前に設定された横方向の顔回転角を含み、
前記確立モジュールが、
前記第５の対称的な中点のものであり前記第５の取得サブモジュールにより取得される前記第２の位置情報、前記第６の対称的な中点のものであり前記第６の取得サブモジュールにより取得される前記第２の位置情報、および前記第１の顔特徴点のものであり前記第３の取得モジュールにより取得される前記第２の位置情報に従って、前記第１の顔特徴点から前記第８の線分までの第２の垂直距離を計算するように構成された第９の計算サブモジュールと、
前記第８の計算サブモジュールにより計算される前記第９の線分に対する前記第９の計算サブモジュールにより計算される前記第２の垂直距離の第２の比と前記事前に設定された横方向の顔回転角との間の対応付けを確立するように構成された第３の確立サブモジュールと
をさらに含む、請求項１５に記載の装置。
【請求項１７】
コンピュータ実行可能命令を記憶したコンピュータ記憶媒体であって、前記コンピュータ実行可能命令が、請求項１から８のいずれか一項に記載の顔回転角を決定するための方法を実行するために使用される、コンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、顔認識技術の分野に関し、より詳細には、顔回転角を決定するための方法および装置、ならびにコンピュータ記憶媒体に関する。
【背景技術】
【０００２】
顔認識技術は、ビデオカメラにより撮られた画像から顔画像を認識するためのものである。ビデオカメラが顔を撮るとき、顔は、頭を上げること、頭を下げること、左に回転すること、または右に回転することなどの、頭の動きを実行する。結果として、ビデオカメラにより撮られた画像における顔と正面の顔画像の顔との間には角度が存在し、この角度が顔回転角であり、顔認識技術は、画像において顔回転角を決定する必要があり、顔回転角のみに従って画像から顔画像を認識することができる。
【０００３】
現在、顔回転角は、次の方法を使用することにより決定される。顔が事前に異なる回転方向への頭の動きを実行させられ、異なる回転方向における顔画像がビデオカメラを使用することにより撮られ、各回転方向における顔画像のテクスチャ特徴が別々に分析され、各回転方向が各回転方向における顔画像のテクスチャ特徴と対応付けられて対応付けを形成する。顔画像の顔回転角が決定される必要があるとき、顔画像のテクスチャ特徴が分析され、そのテクスチャ特徴に最も類似するテクスチャ特徴を求めて対応付けが検索され、最も類似するテクスチャ特徴に対応する顔回転方向が取得され、顔画像の顔回転角がその顔回転方向およびそのテクスチャ特徴に従って推定される。
【０００４】
テクスチャ特徴に基づいて顔回転角を決定するための従来の方法では、粗い顔回転の角度しか決定することができず、一方で具体的な顔回転角を決定することができない。その上、テクスチャ特徴分析は複雑な処理であり、テクスチャ特徴が正確に分析されないので極めて容易に不正確な顔回転角を決定する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
顔回転角が正確に決定できないという既存の技術の問題を解決するために、本発明の実施形態は、顔回転角を決定するための方法および装置、ならびにコンピュータ記憶媒体を提供する。技術的な解決法は次の通りである。
【課題を解決するための手段】
【０００６】
第1の態様によれば、本発明の実施形態は、顔回転角を決定するための方法を提供し、この方法は、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するステップであって、複数の顔特徴点の数が奇数であり、複数の顔特徴点が対称的な顔特徴点の複数のペアと1つの第1の顔特徴点とを含み、複数の顔特徴点が同一平面上にない、ステップと、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するステップと、
顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するステップとを含む。
【０００７】
第2の態様によれば、本発明の実施形態はさらに、顔回転角を決定するための装置を提供し、この装置は、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するように構成された第1の取得モジュールであって、複数の顔特徴点の数が奇数であり、複数の顔特徴点が対称的な顔特徴点の複数のペアと1つの第1の顔特徴点とを含み、複数の顔特徴点が同一平面上にない、第1の取得モジュールと、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点のものであり第1の取得モジュールにより取得される第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するように構成された第2の取得モジュールと、
顔特徴点の各ペアの対称的な中点のものであり第2の取得モジュールにより取得される第1の位置情報および第1の顔特徴点のものであり第1の取得モジュールにより取得される第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するように構成された第1の決定モジュールとを含む。
【０００８】
第3の態様によれば、本発明の実施形態はさらに、コンピュータ記憶媒体を提供し、このコンピュータ記憶媒体はコンピュータ実行可能命令を記憶し、このコンピュータ実行可能命令は、本発明の実施形態に従って顔回転角を決定するための方法を実行するために使用される。
【０００９】
本発明の実施形態において提供される技術的な解決法は、次の有益な効果をもたらす。
【００１０】
まず、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報が取得され、事前に設定された線分比が顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って計算され、事前に設定された線分比と顔回転角との間の対応付けがその線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を大きく改善する。
【００１１】
本発明の実施形態の技術的な解決法をより明確に説明するために、実施形態を図示するための添付の図面が以下で簡単に紹介される。当然ながら、以下の説明における図面は本発明のいくつかの実施形態にすぎず、当業者は創造的な努力なしでこれらの添付の図面に基づいて他の図面を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明のある実施形態による、顔回転角を決定するための方法のフローチャートである。
【図２Ａ】本発明のある実施形態による、顔回転角を決定するための方法のフローチャートである。
【図２Ｂ】本発明のある実施形態による、決定されることになる顔画像においていくつかの特徴点をタグ付けする概略図である。
【図２Ｃ】本発明のある実施形態による、決定されることになる顔画像において顔ピッチ角を決定するための方法のフローチャートである。
【図２Ｄ】本発明のある実施形態による、決定されることになる顔画像において横方向の顔回転角を決定するための方法のフローチャートである。
【図３Ａ】本発明のある実施形態による、線分比と事前に設定された顔回転角との間の対応付けを決定するための方法のフローチャートである。
【図３Ｂ】本発明の別の実施形態による、第1の顔画像においていくつかの特徴点をタグ付けする概略図である。
【図３Ｃ】本発明のある実施形態による、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するプロセスの方法のフローチャートである。
【図３Ｄ】本発明のある実施形態による、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するプロセスの方法のフローチャートである。
【図３Ｅ】本発明のある実施形態による、第1の顔画像が正面の顔画像であるときの正面の顔画像の中のいくつかの特徴点の概略図である。
【図３Ｆ】本発明のある実施形態による、第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するプロセスの方法のフローチャートである。
【図４Ａ】本発明のある実施形態による、顔回転角を決定するための装置の構造ブロック図である。
【図４Ｂ】本発明の別の実施形態による、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するための装置の構造ブロック図である。
【図４Ｃ】本発明の別の実施形態による、決定されることになる顔画像における顔ピッチ角を決定するための装置の構造ブロック図である。
【図４Ｄ】本発明の別の実施形態による、決定されることになる顔画像における横方向の顔回転角を決定するための装置の構造ブロック図である。
【図４Ｅ】本発明の別の実施形態による、第4の線分を計算するための装置の構造ブロック図である。
【図４Ｆ】本発明の別の実施形態による、顔回転角を決定するための装置の構造ブロック図である。
【図４Ｇ】本発明の別の実施形態による、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するための装置の構造ブロック図である。
【図４Ｈ】本発明のさらに別の実施形態による、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するための装置の構造ブロック図である。
【図４Ｉ】本発明のさらに別の実施形態による、第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するための装置の構造ブロック図である。
【図５】本発明のいくつかの実施形態による、電子デバイスの構造ブロック図である。
【発明を実施するための形態】
【００１３】
本開示の目的、技術的な解決法、および利点をより明確にするために、以下ではさらに、添付の図面を参照して本開示の実装形態を詳細に説明する。テキストにおいて言及される「電子デバイス」は、スマートフォン、タブレットコンピュータ、インテリジェントテレビジョン、電子書籍リーダー、MP3プレーヤー(Moving Picture Experts Group Audio Layer III)、MP4(Moving Picture Experts Group Audio Layer IV)プレーヤー、ラップトップポータブルコンピュータ、デスクトップコンピュータなどを含み得る。
【００１４】
図1は、本発明のある実施形態による、顔回転角を決定するための方法のフローチャートである。図1を参照すると、方法は次のステップを含む。
【００１５】
ステップ101において:決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得し、複数の顔特徴点の数が奇数であり、複数の顔特徴点が対称的な顔特徴点の複数のペアと1つの第1の顔特徴点とを含み、複数の顔特徴点が同一平面上にない。
【００１６】
ステップ102において:顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得する。
【００１７】
ステップ103において:顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定する
【００１８】
まとめると、この実施形態において提供される顔回転角を決定するための方法によれば、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の第1の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴の各ペアの対称的な中点の第1の位置情報が取得され、事前に設定された線分比が顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って計算され、事前に設定された線分比と顔回転角との間の対応付けがその線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を改善する。
【００１９】
図2Aは、本発明のある実施形態による、顔回転角を決定するための方法のフローチャートである。この方法では、対称的な顔特徴点の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、決定されることになる顔画像の中の対称的な顔特徴点の事前に設定された複数のペアおよび第1の顔特徴点の座標位置情報が取得され、決定されることになる顔画像の顔回転角がその座標位置情報に従って決定される。図2Aを参照すると、方法は次のステップを含む。
【００２０】
ステップ200において:決定されることになる顔画像において事前に設定された複数の顔特徴点を検出する。
【００２１】
事前に設定された複数の顔特徴点は、顔において容易に認識される点から選択され、事前に設定された顔特徴点は、顔の器官の輪郭上に位置し、顔の器官の輪郭の変向点であり得る。たとえば、事前に設定された特徴点は、目頭、目じり、口角、眉じり(tail of a brow)、眉の頭(head of a brow)、または鼻尖であってもよく、目頭と目じりの両方が目の輪郭の変向点であり、口角は口の輪郭の変向点であり、眉じりおよび眉の頭は眉毛の輪郭の変向点であり、鼻尖は鼻の輪郭の変向点である。事前に設定された複数の特徴点のいくつかの特徴点は、左右の対称性を有する。たとえば、顔の中の2つの目頭、2つの目じり、眉毛の2つの外側の端、眉毛の2つの内側の端、および2つの口角はすべて、左右の対称性を有する。
【００２２】
事前に設定された複数の顔特徴点の数は奇数である。たとえば、この数は5または7であってよく、事前に設定された複数の顔特徴点は、対称的な顔特徴点の複数のペアおよび1つの残りの第1の顔特徴点を含み、複数の顔特徴点は同一平面上にない。
【００２３】
ある実装形態では、この実施形態において、複数の顔特徴点は5つの顔特徴点を含むことがあり、5つの顔特徴点は、対称的な顔特徴点の第1のペアと、対称的な顔特徴点の第2のペアと、1つの残りの第1の顔特徴点とを含む。この実施形態では、対称的な顔特徴点の第1のペアは2つの目頭であってよく、対称的な顔特徴点の第2のペアは2つの口角であってよく、残りの第1の顔特徴点は鼻尖である。
【００２４】
このステップは、まず、決定されることになる顔画像の中の顔が顔検出技術を使用することにより検出され、次いで対称的な顔特徴点の第1のペアすなわち2つの目頭、対称的な顔特徴点の第2のペアすなわち2つの口角、および残りの第1の顔特徴点すなわち鼻尖が、顔特徴点検出技術を使用することにより顔において検出される。
【００２５】
当然、事前に設定された顔特徴点が完全に検出された後で、検出された顔特徴点はタグ付けされ得る。図2Bを参照すると、図2Bは、この実施形態に従って、決定されることになる顔画像において特徴点をタグ付けする図である(ここで、図の中の特徴点は検出された顔特徴点を含むだけではなく、検出された対称的な顔特徴点および別の点により形成される対称的な中点も含み、以下の内容において説明される)。図2に示されるように、対称的な顔特徴点の検出された事前に設定された第1のペア、すなわち2つの目頭がC'およびD'として別々にタグ付けされ、対称的な顔特徴点の検出された事前に設定された第2のペア、すなわち2つの口角がE'およびF'として別々にタグ付けされ、1つの検出された事前に設定された残りの第1の顔特徴点、すなわち鼻尖がN'としてタグ付けされる。
【００２６】
ステップ201において:決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得する。
【００２７】
第1の位置情報は、決定されることになる顔画像が直交座標系の中に位置するときの、2次元直交座標系または3次元直交座標系における顔特徴点の座標位置である。2次元直交座標系は、別々にx軸およびy軸である2つの座標軸を使用することにより平面を表記するための方法であり、ここでx軸およびy軸は互いに垂直な2つの軸方向である。したがって、2次元直交座標系を使用することにより得られる顔特徴点の第1の位置情報の座標の形式は(x,y)である。3次元直交座標系は、別々にx軸、y軸、およびz軸である3つの座標を使用することにより空間を表記するための方法であり、ここでx軸、y軸、およびz軸は互いに垂直な3つの軸方向である。したがって、3次元直交座標系を使用することにより得られる顔特徴点の第1の位置情報の座標の形式は(x,y,z)である。
【００２８】
顔特徴点が検出された後で、顔特徴点の座標が自動的に取得され、ここで顔特徴点の座標の形式は(x,y)であり、位置決めの後の座標が端末に出力される。このようにして、端末は直接、位置決めの後の顔特徴点の座標位置を取得することができる。たとえば、対称的な顔特徴点の事前に設定された第1のペア(2つの目頭)の、端末により取得される座標位置は、別々にC'(x1,y1)およびD'(x2,y2)であり、対称的な顔特徴点の第2のペア(2つの口角)の、端末により取得される座標位置は、別々にE'(x3,y3)およびF'(x4,y4)であり、残りの第1の顔特徴点(鼻尖)の、端末により取得される座標位置は、N'(x5,y5)である。たとえば、5つの顔特徴点の取得された座標位置は別々に、C'(0,0)、D'(2,2)、E'(1,-2)、F'(2,-1)、およびN'(1.5,0)であると想定される。
【００２９】
ステップ202において:対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第1のペアの第1の対称的な中点の第1の位置情報を取得する
【００３０】
前述の例を例としてさらに使用すると、対称的な顔特徴点の第1のペアは2つの目頭である。2つの目頭の座標は別々にC'(x1,y1)およびD'(x2,y2)であり、対称的な顔特徴点の第1のペアの第1の対称的な中点は、点C'(x1,y1)およびD'(x2,y2)により形成される線分C'D'の中点である。図2Bに示されるように、中点はA'(x6,y6)としてタグ付けされ、A'(x6,y6)の座標位置は中点の計算式を使用して取得され得る。具体的な計算が次の式(1)および(2)に示される。
【００３１】
【数１】
0006668475.tif 000002
【００３２】
たとえば、C'(x1,y1)およびD'(x2,y2)の座標位置が別々にC'(0,0)およびD'(2,2)であるとき、点A'(x6,y6)の座標位置は次の式(3)および(4)を使用することにより計算される。
【００３３】
【数２】
0006668475.tif 000003
【００３４】
したがって、対称的な顔特徴点の第1のペアの第1の対称的な中点の第1の位置情報はA'(1,1)である。
【００３５】
ステップ203において:対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第1の位置情報に従って対称的な顔特徴点の第2のペアの第2の対称的な中点の第1の位置情報を取得する。
【００３６】
たとえば、対称的な顔特徴点の第2のペアは2つの口角である。2つの口角の座標は別々にE'(x3,y3)およびF'(x4,y4)であり、対称的な顔特徴点の第2のペアの第2の対称的な中点は、点E'(x3,y3)およびF'(x4,y4)により形成される線分E'F'の中点である。図2Bに示されるように、中点はB'としてタグ付けされ、B'(x7,y7)の座標位置は中点の計算式を使用することにより取得される。具体的な計算が次の式(5)および(6)に示される。
【００３７】
【数３】
0006668475.tif 000004
【００３８】
たとえば、点E'(x3,y3)およびF'(x4,y4)の具体的な座標がE'(1,-2)およびF'(2,-1)であるとき、第2の対称的な中点の座標は次の式(7)および(8)を使用することにより計算される。
【００３９】
【数４】
0006668475.tif 000005
【００４０】
したがって、対称的な顔特徴点の第2のペアの第2の対称的な中点の第1の位置情報はB'(1.5,-1.5)である。
【００４１】
ステップ204において:顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の第1のピッチ角を決定する。
【００４２】
決定されることになる顔画像の顔回転角は、顔ピッチ角または横方向の顔回転角であり得る。顔ピッチ角を決定するための方法および横方向の顔回転角を決定するための方法が、以下で別々に説明される。
【００４３】
決定されることになる顔画像の顔ピッチ角は、顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って決定される。図2Cを参照すると、方法は次のステップを含み得る。
【００４４】
ステップ204aにおいて:第1の対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、第1の対称的な中点および第1の顔特徴点により形成される第1の線分の長さを計算する。
【００４５】
対称的な顔特徴点の第1のペアの第1の対称的な中点はA'(x6,y6)であり、第1の顔特徴点の第1の位置情報はN'(x5,y5)であり、第1の対称的な中点A'(x6,y6)および第1の顔特徴点はN'(x5,y5)により形成される第1の線分A'N'の長さは、2つの点の間の距離のための式を使用して計算されることが、ステップ202からわかる。具体的な計算が次の式(9)に示される。
【００４６】
【数５】
0006668475.tif 000006
【００４７】
ステップ204bにおいて:第2の対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、第2の対称的な中点および第1の顔特徴点により形成される第2の線分の長さを計算する。
【００４８】
対称的な顔特徴点の第1のペアの第1の対称的な中点がB'(x7,y7)であり、第1の顔特徴点の第1の位置情報がN'(x5,y5)であり、第1の対称的な中点B'(x7,y7)および第1の顔特徴点N'(x5,y5)により形成される第1の線分B'N'の長さが2つの点の間の距離のための式を使用することにより計算されることが、ステップ203からわかる。具体的な計算が次の式(10)に示される。
【００４９】
【数６】
0006668475.tif 000007
【００５０】
ステップ204cにおいて:第2の線分の長さに対する第1の線分の長さの第1の比に従って、かつ、第1の比と顔ピッチ角との対応付けから、決定されることになる顔画像の顔ピッチ角を取得する。
【００５１】
第2の線分の長さB'N'に対する第1の線分の長さA'N'の第1の比が計算され、第1の比と顔ピッチ角との間の事前に確立される対応付けが第1の比に従って照会され(対応付けを確立するプロセスについては、後続のステップ302aから302eを参照されたい)、計算された第1の比に対応する顔ピッチ角が対応付けから紹介され、その顔ピッチ角が、決定されることになる顔画像の顔ピッチ角として決定される。
【００５２】
このステップにおいて計算される第1の比が、第1の比と顔ピッチ角との間の事前に確立された対応付けに含まれるすべての第1の比において見つからない場合、このステップにおいて計算される第1の比に最も近い第1の比が、対応付けにおけるすべての第1の比から決定され、最も近い第1の比に対応する顔ピッチ角が、このステップにおいて計算される第1の比に対応する顔ピッチ角として使用されることに留意されたい。
【００５３】
加えて、このステップにおいて計算される第1の比に最も近い第1の比は、次の方法を使用することにより、対応付けの中のすべての第1の比から決定され得る。
【００５４】
第1の比の差分を取得するために、第1の比と顔ピッチ角との間の事前に確立された対応付けに含まれる各々の第1の比と、このステップにおいて計算された第1の比に対して、減算が実行され、各々の第1の比の差分に対して絶対値演算が実行され、最小の絶対値を取得するために絶対値演算の後で取得された値が比較され、最小の絶対値に対応する第1の比(第1の比と顔ピッチ角との間の対応付けに含まれる第1の比)が取得され、この第1の比が、このステップにおいて計算される第1の比に最も近い第1の比として決定される。
【００５５】
ステップ205において:顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の横方向の顔回転角を決定する。
【００５６】
決定されることになる顔画像の横方向の顔回転角は、顔特徴点の各ペアの対称的な中点の第1の位置情報、第1の顔特徴点の第1の位置情報、および前述のプロセスを使用することにより決定される顔ピッチ角に従って決定される。図2Dを参照すると、方法は次のステップを含み得る。
【００５７】
ステップ205aにおいて:第1の対称的な中点の第1の位置情報、第2の対称的な中点の第1の位置情報、および第1の顔特徴点の第1の位置情報に従って、第1の顔特徴点から第3の線分までの第1の垂直距離および第3の線分の長さを計算する。
【００５８】
第1の対称的な中点の第1の位置情報はA'(x6,y6)であることがステップ202からわかる。第2の対称的な中点の第1の位置情報はB'(x7,y7)であることがステップ203からわかる。第1の顔特徴点の第1の位置情報はN'(x5,y5)であることがステップ201からわかる。第3の線分は第1の対称的な中点A'(x6,y6)と第2の対称的な中点B'(x7,y7)により形成される線分A'B'であり、第1の顔特徴点から第3の線分までの第1の垂直距離は次の方法を使用することで計算される。まず、点A'および点B'を通る直線が直線cとしてタグ付けされ、直線cの一般的な直線式が点A'と点B'の第1の位置情報に従って計算され、第1の顔特徴点N'から直線cまでの第1の垂直距離が第1の顔特徴点N'の第1の位置情報に従って計算される。詳細は次の通りである。
【００５９】
まず、点はA'(x6,y6)およびB'(x7,y7)を通る2点式の直線の式が、2点式の直線の式に従って取得され、2点式の直線の式は次の式(11)において示される。
【００６０】
【数７】
0006668475.tif 000008
【００６１】
前述の式は等価的に変換され、一般的な直線の式へと変換され、一般的な直線の式は次の式(12)に示される。
【００６２】
【数８】
0006668475.tif 000009
【００６３】
当然、点A'(x6,y6)および点B'(x7,y7)を通る直線cはさらに、別の方法を使用することにより計算されてよく、詳細はここでは説明されない。
【００６４】
次いで、第1の顔特徴点N'(x5,y5)から直線cまでの距離dが、点から線までの距離の式に従って計算され、具体的な計算が次の式(13)に示される。
【００６５】
【数９】
0006668475.tif 000010
【００６６】
直線cは点A'(x6,y6)および点B'(x7,y7)を通る直線であるので、第1の顔特徴点N'(x5,y5)から直線cまでの距離dは、第1の顔特徴点N'(x5,y5)から第3の線分A'B'までの第2の垂直距離である。したがって、第1の垂直距離は距離dである。
【００６７】
第3の線分の長さは2つの点の間の距離のための式を使用することにより取得され、具体的な計算が次の式(14)に示される。
【００６８】
【数１０】
0006668475.tif 000011
【００６９】
ステップ205bにおいて:顔ピッチ角に従って、かつ顔ピッチ角と第3の比との間の対応付けから、対応する第3の比を取得する。
【００７０】
第3の比と顔ピッチ角との間の事前に確立された対応付けが、ステップ204において決定された顔ピッチ角に従って照会され(対応付けを確立するプロセスについては、後続のステップ303aから303fを参照されたい)、顔ピッチ角に対応する第3の比はこの対応付けから紹介され、顔ピッチ角はステップ204において決定される顔ピッチ角であり、第3の比はeとタグ付けされる。
【００７１】
ステップ204において決定される顔ピッチ角が、第3の比と顔ピッチ角との間の事前に確立された対応付けに含まれるすべての顔ピッチ角において見つからない場合、ステップ204において計算される顔ピッチ角に最も近い顔ピッチ角はすべての顔ピッチ角から決定され、最も近い顔ピッチ角に対応する第3の比は顔ピッチ角に対応する第3の比として使用されることに留意されたい。
【００７２】
加えて、ステップ204において計算された顔ピッチ角に最も近い顔ピッチ角は、次の方法を使用することによりすべての顔ピッチ角から決定され得る。
【００７３】
顔ピッチ角の差分を取得するために、第3の比と顔ピッチ角との間の事前に確立された対応付けに含まれる各顔ピッチ角と、ステップ204において決定された顔ピッチ角に対して減算が実行され、各々の顔ピッチ角の差分に対して絶対値演算が実行され、最小の絶対値を得るために絶対値演算の後で得られた値が比較され、最小の絶対値に対応する顔ピッチ角(第3の比と顔ピッチ角との間の対応付けに含まれる顔ピッチ角)が取得され、この顔ピッチ角が、ステップ204において計算された顔ピッチ角に最も近い顔ピッチ角として決定される。
【００７４】
第3の比は、決定されることになる顔画像の中の顔特徴点の第1のペアの対称的な中点および顔特徴点の第2のペアの対称的な中点により形成される線分、すなわち第3の線分A'B'である第1の値、ならびに、正面の顔画像の中の顔特徴点の第1のペアの第3の対称的な中点Aおよび正面の顔画像の中の顔特徴点の第2のペアの第4の対称的な中点Bにより形成される第4の線分ABである第2の値という、2つの値の比であることが、ステップ303d、ステップ303e、およびステップ303fからわかる。したがって、eの値は第4の線分に対する第3の線分の比であり、したがってeの値は次の式(15)を使用することにより計算される。
【００７５】
【数１１】
0006668475.tif 000012
【００７６】
ステップ205cにおいて:第3の比および第3の線分の長さに従って第4の線分の長さを計算する。
【００７７】
第3の比が第4の線分に対する第3の線分の比であることが、ステップ205bからわかる。したがって、第4の線分の長さは第3の比に対する第3の線分の比である。したがって、第4の線分の値は次の式(16)を使用することにより計算され得る。
【００７８】
【数１２】
0006668475.tif 000013
【００７９】
ステップ205dにおいて:第4の線分の長さに対する第1の垂直距離の第2の比に従って、かつ第2の比と横方向の顔回転角との対応付けから、決定されることになる顔画像の横方向の顔回転角を取得する。
【００８０】
このステップは次のようなものであり得る。すなわち、第4の線分ABの長さに対する第1の垂直距離dの第2の比が計算され、第2の比と横方向の顔回転角との間の事前に確立された対応付けが第2の比に従って照会され(対応付けを確立するプロセスについては、後続のステップ304aから304bを参照されたい)、計算された第2の比と同じ第2の比に対応する横方向の顔回転角が対応付けから照会され、この横方向の顔回転角が、決定されることになる顔画像の横方向の顔回転角として決定される。
【００８１】
このステップにおいて計算される第2の比が、第2の比と横方向の顔回転角との間の事前に確立された対応付けに含まれるすべての第2の比において見つからない場合、このステップにおいて計算される第2の比に最も近い第2の比が、この対応付けにおけるすべての第2の比から決定され、最も近い第2の比に対応する横方向の顔回転角が、このステップにおいて計算される第2の比に対応する横方向の顔回転角として使用されることに留意されたい。
【００８２】
加えて、このステップにおいて計算される第2の比に最も近い第2の比は、次の方法を使用することにより、対応付けの中のすべての第2の比から決定され得る。
【００８３】
第2の比の差分を取得するために、第2の比と横方向の顔回転角との間の事前に確立された対応付けに含まれる各々の第2の比、およびこのステップにおいて計算される第2の比に対して減算が実行され、各々の第2の比の差分に対して絶対値演算が実行され、最小の絶対値を得るために、絶対値演算の後で得られた値が比較され、最小の絶対値に対応する第2の値(第2の値と横方向の顔回転角との間の対応付けに含まれる第2の値)が得られ、この第2の値が、このステップにおいて計算される第2の比に最も近い第2の比として決定される。
【００８４】
ステップ206において:決定されることになる顔画像の顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第1の位置情報に従って第5の線分を決定し、第5の線分の水平線との間の角度を計算する。
【００８５】
第5の線分は、事前に設定された顔特徴点の中の対称的な顔特徴点の任意のペアの中の2つの顔特徴点により形成される線分である。したがって、この実施形態において第5の線分を形成する2つの点は、対称的な顔特徴点の第1のペア、すなわち2つの目頭、または対称的な顔特徴点の第2のペア、すなわち2つの口角であり得る。
【００８６】
顔回転角は、顔の前方の方向が常に前であるときに顔を水平方向に回転することによって得られる角度である。
【００８７】
たとえば、対称的な顔特徴点の任意のペアが2つの目頭C'(x1,y1)およびD'(x2,y2)であり、第5の線分は点C'(x1,y1)およびD'(x2,y2)に従って決定される線分C'D'である。当然、第5の線分は2つの口角E'(x3,y3)およびF'(x4,y4)であってよく、第5の線分は点E'(x3,y3)およびF'(x4,y4)に従って決定された線分E'F'である。
【００８８】
たとえば、第5の線分がC'D'である場合、第5の線分と水平線との間の角度(∠αを使用することにより表記される)を計算する具体的なプロセスは次の通りである。
【００８９】
まず、∠αのコサイン値が計算される。図2Dを参照すると、∠αのコサイン値を計算するための具体的な方法が次の式(17)に示される。
【００９０】
【数１３】
0006668475.tif 000014
【００９１】
したがって、∠αの値は∠αの前述のコサイン値の逆コサインをとることにより得ることができ、具体的な計算方法が次の式(18)に示される。
【００９２】
【数１４】
0006668475.tif 000015
【００９３】
∠αは、決定されることになる顔画像の顔回転角である。
【００９４】
たとえば、C'(x1,y1)およびD'(x2,y2)の座標位置が別々にC'(0,0)およびD'(2,2)であるとき、∠αを計算するプロセスは次の式(19)に示される。
【００９５】
【数１５】
0006668475.tif 000016
【００９６】
したがって、∠αは45°である。
【００９７】
決定されることになる顔画像の顔回転角が決定されるとき、顔回転角は、対称的な顔特徴点の任意のペアの中の各顔特徴点の第1の位置情報のみに従って決定され得ることに留意されたい。したがって、実際の動作では、顔画像の顔回転角のみが決定されることが必要である場合、ステップ206は、ステップ201が完全に実行された後で直接実行され得る。
【００９８】
まとめると、本発明のこの実施形態において提供される顔回転角を決定するための方法によれば、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の第1の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報が取得され、顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、事前に設定された線分比が計算され、事前に設定された線分比と顔回転角との間の対応付けが線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので(この対応付けが比較的正確な対応付けである理由については以下の内容で論じられる)、本発明のこの実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を改善する。
【００９９】
決定されることになる顔画像の顔ピッチ角および横方向の顔回転角のいずれかが決定されるとき、線分比と事前に設定された顔回転角との間の対応付けが照会される必要がある。この対応付けは、決定されることになる顔画像の回転角が決定される前にすでに確立されているので、この対応付けは、決定されることになる顔画像の回転角が決定されるときに直接照会され得る。線分は、事前に設定された複数の顔特徴点の2つの顔特徴点の中点を接続することにより形成される線分、ある顔特徴点から別の直線までの垂直距離により形成される垂直な線分などである。
【０１００】
この実施形態では、線分比と事前に設定された顔回転角との間の3つの対応付けが確立される。第1の対応付けは第1の比と事前に設定された顔ピッチ角との間の対応付けであり、第2の対応付けは第3の比と事前に設定された顔ピッチ角との間の対応付けであり、第3の対応付けは第2の比と事前に設定された横方向の顔回転角との間の対応付けである。図3Aを参照すると、確立プロセスは次の通りである。
【０１０１】
ステップ301において:第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置情報を取得する。
【０１０２】
事前に設定された複数の顔特徴点の意味は、前述の事前に設定された複数の顔特徴点の意味と同じであり、詳細はここでは説明されない。
【０１０３】
第1の顔画像は、事前に設定された顔回転角だけ顔が回転した後に撮られた顔画像である。事前に設定された顔回転角は、事前に設定された顔ピッチ角および事前に設定された横方向の顔回転角を含み、事前に設定された顔ピッチ角および事前に設定された横方向の顔回転角は一連の事前に設定された離散的な回転角であってよく、この一連の離散的な回転角の各々の2つの隣接する回転角の間の差は同じである。線分比と事前に設定された顔回転角との間の網羅的な対応付けが以下のプロセスにおいて確立されることを確実にし、対応付けが照会されたときに正確な線分比および正確な顔回転角を得ることができるように、上記の差は比較的小さく、1°、2°、または別の比較的小さい値に設定され得る。
【０１０４】
第2の位置情報は、3次元直交座標系に顔を置くことにより得られる(3つの座標軸が使用され、3つの座標軸は別々にx軸、y軸、およびz軸であり、x軸、y軸、およびz軸は互いに直交する3つの軸方向であり、空間を表記するための方法である)。3次元直交座標系は、任意の3次元直交座標系であってよい。したがって、3次元直交座標系を使用することにより得られる顔特徴点の第2の位置情報の座標の形式は(x,y,z)である。
【０１０５】
したがって、前述の事前に設定された顔回転角は次の方式で説明され得る。すなわち、顔ピッチ角は、正面の顔がy軸に沿って回転するがx軸またはz軸上では回転しないときに得られる顔回転角であり、横方向の顔回転角は、正面の顔がz軸に沿って回転するがx軸またはy軸上では回転しないときに得られる顔回転角である。
【０１０６】
ある実装形態では、事前に設定された顔回転角は、次の方法を使用することにより得ることができる。すなわち、初期の顔回転角が0°に設定され、すなわち顔の前が前方であり回転角を有さず、2つの隣接する回転角の間の差が事前に設定される。したがって、第1の事前に設定された顔回転角は、2つの隣接する回転角の間の差であり、第2の事前に設定された回転角は、第1の事前に設定された顔回転角と2つの隣接する回転角の間の差とを足したものであり、第3の事前に設定された回転角は、第2の事前に設定された顔回転角と2つの隣接する回転角の間の差とを足したものであり、すべての事前に設定された顔回転角はこの方法に従って順番に取得され、事前に設定された顔回転角の量は、2つの隣接する回転角の間の事前に設定された差に対する360°の比である。
【０１０７】
ある例として事前に設定された顔ピッチ角を使用すると、まず、顔が正面の顔に設定され、2つの隣接する顔ピッチ角の間の差が1°に事前に設定される。したがって、第1の事前に設定された顔回転角は、2つの隣接する回転角の間の差である1°であり、第2の事前に設定された回転角は、第1の事前に設定された顔回転角と2つの隣接する回転角の間の差とを足したもの、すなわち1°+1°=2°であり、第3の事前に設定された回転角が第2の事前に設定された回転角と2つの隣接する回転角の間の差とを足したもの、すなわち2°+1°=3°であり、事前に設定された顔ピッチ角はこの方法に従って順番に取得され、事前に設定された顔回転角の量は、2つの隣接する顔回転角の間の事前に設定された差である1°に対する360°の比、すなわち360である。
【０１０８】
ある実装形態では、第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置情報は、次の方法を使用することにより得ることができる。すなわち、まず顔が正面の顔として配置され、正面の顔が各々の2つの隣接する顔回転角の間の事前に設定された角度差に従って回転され、正面の顔が事前に設定された角度差だけ毎回回転された後で、顔画像が撮られ、撮られた顔画像の事前に設定された複数の顔特徴点の座標位置が取得され、第2の位置情報としてタグ付けされる。たとえば、各々の2つの隣接する顔回転角の間の差が1°である場合、顔の画像を得るために、正面の顔が1°だけまず回転され、この場合には顔が撮られ、顔画像の事前に設定された複数の顔特徴点の座標位置が取得され、次いで顔が1°だけ回転され続け、顔の画像を得るために顔が再び撮られ、この場合は顔画像の中の事前に設定された複数の顔特徴点の座標位置が取得され、すべての事前に設定された角度だけ顔が回転され、各々の事前に設定された角度における顔特徴点の座標位置が得られるまで、前述のステップが繰り返される。
【０１０９】
図3Bを参照すると、図3Bは、この実施形態において示される第1の顔画像の中の複数の顔特徴点を含む。図3Bに示されるように、対称的な顔特徴点の事前に設定された第1のペアの中の2つの目頭がG'およびH'として別々にタグ付けされ、対称的な顔特徴点の第2のペアの2つの口角が別々にI'およびJ'としてタグ付けされ、1つの残りの第1の顔特徴点は鼻尖でありO'としてタグ付けされる。第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置の座標は別々に、G'(x9,y9,z9)、H'(x10,y10,z10)、I'(x11,y11,z11)、J'(x12,y12,z12)、およびO'(x13,y13,z13)である。
【０１１０】
ステップ302において:事前に設定された複数の顔特徴点の第2の位置情報に従って、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立する。
【０１１１】
第1の対応付けは、第1の比と事前に設定された顔ピッチ角との間の対応付けである。図3Cを参照すると、図3Cは、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するプロセスの方法のフローチャートであり、方法は次のステップを含む。
【０１１２】
ステップ302aにおいて:対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第2の位置情報に従って、対称的な顔特徴点の第1のペアの第5の対称的な中点の第2の位置情報を取得する。
【０１１３】
前述の例を例としてさらに使用すると、対称的な顔特徴点の第1のペアは2つの目頭G'(x9,y9,z9)およびH'(x10,y10,z10)である。図3Bをさらに参照すると、対称的な顔特徴点の第1のペアの第5の対称的な中点は、点G'(x9,y9,z9)および点H'(x10,y10,z10)により形成される線分G'H'の中点であり、線分G'H'の中点はK'としてタグ付けされ、K'(x14,y14,z14)の座標位置は中点の計算式を使用することにより取得され、具体的な計算プロセスが次の式(20)、(21)、および(22)に示される。
【０１１４】
【数１６】
0006668475.tif 000017
【０１１５】
ステップ302bにおいて:対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第2のペアの第6の対称的な中点の第2の位置情報を取得する。
【０１１６】
前述の例を例としてさらに使用すると、対称的な顔特徴点の第2のペアは2つの口角I'(x11,y11,z11)およびJ'(x12,y12,z12)である。図3Bをさらに参照すると、対称的な顔特徴点の第2のペアの第6の対称的な中点は、点I'(x11,y11,z11)およびJ'(x12,y12,z12)により形成される線分の中点であり、この中点はL'としてタグ付けされ、L'(x15,y15,z15)の座標位置は中点の計算式を使用することにより取得され、具体的な計算プロセスが次の式(23)、(24)、および(25)に示される。
【０１１７】
【数１７】
0006668475.tif 000018
【０１１８】
ステップ302cにおいて:第5の対称的な中点の第2の位置情報および第1の顔特徴点の第2の位置情報に従って、第5の対称的な中点および第1の顔特徴点により形成される第6の線分の長さを計算する。
【０１１９】
前述の例を例としてさらに使用すると、第5の対称的な中点の第2の位置情報はK'(x14,y14,z14)であり、第1の顔特徴点は鼻尖O'(x13,y13,z13)であり、第5の対称的な中点および第1の顔特徴点により形成される第6の線分は、K'(x14,y14,z14)および点O'(x13,y13,z13)により形成される線分K'O'の長さであり、第6の線分の長さは2つの点の間の距離のための式を使用することにより計算され、具体的な計算が次の式(26)に示される。
【０１２０】
【数１８】
0006668475.tif 000019
【０１２１】
ステップ302dにおいて:第6の対称的な中点の第2の位置情報および第1の顔特徴点の第2の位置情報に従って、第6の対称的な中点および第1の顔特徴点により形成される第7の線分の長さを計算する。
【０１２２】
前述の例を例としてさらに使用すると、第6の対称的な中点の第2の位置情報はL'(x15,y15,z15)であり、第1の顔特徴点は鼻尖O'(x13,y13,z13)であり、第6の対称的な中点および第1の顔特徴点により形成される第7の線分は、L'(x15,y15,z15)および点O'(x13,y13,z13)により形成される線分L'O'の長さであり、第7の線分の長さは2つの点の間の距離のための式を使用することにより計算され、具体的な計算が次の式(27)に示される。
【０１２３】
【数１９】
0006668475.tif 000020
【０１２４】
ステップ302eにおいて:第7の線分に対する第6の線分の第1の比と事前に設定された顔ピッチ角との間の対応付けを確立する。
【０１２５】
前述の例を例としてさらに使用すると、第6の線分はK'O'であり、第7の線分はL'O'であり、したがって第1の比はL'O'に対するK'O'の比である。第1の比と事前に設定された顔ピッチ角との間の対応付けは、次の方法を使用することにより取得される。すなわち、顔が回転され、顔回転角が事前に設定された第1の顔ピッチ角になるときに顔が回転を止められ、第1の顔ピッチ角の場合、第1の第1の比を取得するために、L'O'に対するK'O'の比が計算され、第1の第1の比と事前に設定された第1の顔ピッチ角との間の対応付けが記憶され、顔が回転され続け、顔回転角が事前に設定された第2の顔ピッチ角であるときに、第2の顔ピッチ角の場合、第2の第1の比を取得するために、L'O'に対するK'O'の比が計算され、第2の第1の比と事前に設定された第2の顔ピッチ角との間の対応付けが記憶され、すべての第1の比および事前に設定された顔ピッチ角との間の対応付けが完全に記憶されるまで、前述のステップが繰り返される。
【０１２６】
ステップ303において:事前に設定された複数の顔特徴点の第2の位置情報に従って、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立する。
【０１２７】
第2の対応付けは、第3の比と事前に設定された顔ピッチ角との間の対応付けである。図3Dを参照すると、図3Dは、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するプロセスの方法のフローチャートであり、方法は次のステップを含む。
【０１２８】
ステップ303aにおいて:顔の正面の顔画像の中の対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報、および正面の顔画像の中の対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報を取得する。
【０１２９】
図3Eを参照すると、図3Eは、この実施形態に示される第1の顔画像が正面の顔画像であるときの、正面の顔画像の中の複数の顔特徴点を含む。図3Eに示されるように、対称的な顔特徴点の第1のペアは2つの目頭であり、GおよびHとして別々にタグ付けされ、顔の正面の顔画像の中のGの第3の位置情報およびHの第3の位置情報はそれぞれ、G(x16,y16,z16)およびH(x17,y17,z17)である。対称的な顔特徴点の第2のペアは2つの口角であり、I'およびJ'として別々にタグ付けされ、正面の顔画像の中のI'の第3の位置情報およびJ'の第3の位置情報はそれぞれ、I'(x18,y18,z18)およびJ'(x19,y19,z19)である。
【０１３０】
ステップ303bにおいて:対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報に従って、対称的な顔特徴点の第1のペアの第7の対称的な中点の第3の位置情報を取得する。
【０１３１】
前述の例を例としてさらに使用して、図3Eをさらに参照すると、対称的な顔特徴点の第1のペアは2つの目頭G(x16,y16,z16)およびH(x17,y17,z17)であり、対称的な顔特徴点の第1のペアの第7の対称的な中点は、点G(x16,y16,z16)およびH(x17,y17,z17)により形成される線分の中点であり、この中点はKとしてタグ付けされ、K(x18,y18,z18)の座標位置は中点の計算式を使用することにより取得され、具体的な計算が次の式(28)、(29)、および(30)に示される。
【０１３２】
【数２０】
0006668475.tif 000021
【０１３３】
ステップ303cにおいて:対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報に従って、対称的な顔特徴点の第2のペアの第8の対称的な中点の第3の位置情報を取得する。
【０１３４】
前述の例を例としてさらに使用して、図3Eをさらに参照すると、対称的な顔特徴点の第2のペアは2つの口角I(x20,y20,z20)およびJ(x21,y21,z21)であり、対称的な顔特徴点の第2のペアの第8の対称的な中点は、点I(x20,y20,z20)およびJ(x21,y21,z21)により形成される線分IJの中点であり、この中点はLとしてタグ付けされ、L(x22,y22,z22)の座標位置は中点の計算式を使用することにより取得され、具体的な計算が次の式(31)、(32)、および(33)に示される。
【０１３５】
【数２１】
0006668475.tif 000022
【０１３６】
ステップ303dにおいて:第5の対称的な中点の第2の位置情報および第6の対称的な中点の第2の位置情報に従って、第5の対称的な中点および第6の対称的な中点により形成される第8の線分の長さを計算する。
【０１３７】
第5の対称的な中点の第2の位置情報はK'(x14,y14,z14)であり、第6の対称的な中点の第2の位置情報はL'(x15,y15,z15)であり、第5の対称的な中点K'(x14,y14,z14)および第6の対称的な中点L'(x15,y15,z15)により形成される第8の線分K'L'の長さは、点K'(x14,y14,z14)から点L'(x15,y15,z15)までの距離であり、2つの点の間の距離のための式を使用することにより計算され、具体的な計算が次の式(34)に示される。
【０１３８】
【数２２】
0006668475.tif 000023
【０１３９】
ステップ303eにおいて:第7の対称的な中点の第3の位置情報および第8の対称的な中点の第3の位置情報に従って、第7の対称的な中点および第8の対称的な中点により形成される第9の線分の長さを計算する。
【０１４０】
第7の対称的な中点の第3の位置情報はK(x18,y18,z18)であり、第8の対称的な中点の第3の位置情報はL(x22,y22,z22)であり、第7の対称的な中点K(x18,y18,z18)および第8の対称的な中点L(x22,y22,z22)により形成される第9の線分KLの長さは、点K(x18,y18,z18)から点L(x22,y22,z22)までの距離であり、2つの点の間の距離のための式を使用することにより計算され、具体的な計算が次の式(35)に示される。
【０１４１】
【数２３】
0006668475.tif 000024
【０１４２】
ステップ303fにおいて:第9の線分に対する第8の線分の第3の比と事前に設定された顔ピッチ角との間の対応付けを確立する。
【０１４３】
前述の例を例としてさらに使用すると、第8の線分はK'L'であり、第9の線分はKLであるので、第3の比はKLに対するK'L'の比である。第3の比と事前に設定された顔ピッチ角との間の対応付けは、次の方法を使用することにより取得される。すなわち、顔が回転され、顔回転角が事前に設定された第1の顔ピッチ角になるときに顔が回転を止められ、第1の顔ピッチ角の場合、第1の第3の比を取得するために、KLに対するK'L'の比が計算され、第1の第3の比と事前に設定された第1の顔ピッチ角との間の対応付けが記憶され、顔が回転され続け、顔回転角が事前に設定された第2の顔ピッチ角であるときに、第2の顔ピッチ角の場合、第2の第3の比を取得するために、KLに対するK'L'の比が計算され、第2の第3の比と事前に設定された第2の顔ピッチ角との間の対応付けが記憶され、すべての第3の比および事前に設定された顔ピッチ角との間の対応付けが完全に記憶されるまで、前述のステップが繰り返される。
【０１４４】
ステップ304において:事前に設定された複数の顔特徴点の第2の位置情報に従って、第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立する
【０１４５】
第3の対応付けは、第2の比と事前に設定された横方向の顔回転角との間の対応付けである。図3Fを参照すると、図3Fは、第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するプロセスの方法フローチャートであり、方法は次のステップを含む。
【０１４６】
ステップ304aにおいて:第5の対称的な中点の第2の位置情報、第6の対称的な中点の第2の位置情報、および第1の顔特徴点の第2の位置情報に従って、第1の顔特徴点から第8の線分までの第2の垂直距離を計算する。
【０１４７】
第5の対称的な中点の第2の位置情報はK'(x14,y14,z14)であることがステップ302aからわかる。第6の対称的な中点の第2の位置情報はL'(x15,y15,z15)であることがステップ302bからわかる。第1の顔特徴点の第2の位置情報はO'(x13,y13,z13)であることがステップ205からわかり、第1の顔特徴点O'(x13,y13,z13)から第8の線分K'L'までの第2の垂直距離は次のプロセスを使用することにより計算される。
【０１４８】
まず、第5の対称的な中点の第2の位置情報K'(x14,y14,z14)および第6の対称的な中点の第2の位置情報L'(x15,y15,z15)に従って、点K'(x14,y14,z14)および点L'(x15,y15,z15)を通る直線が計算され、具体的な計算は次の通りである。
【０１４９】
まず、点K'(x14,y14,z14)および点L'(x15,y15,z15)を通る2点式の直線の等式が、2点式の直線の式に従って得られ、次の式(36)に示される。
【０１５０】
【数２４】
0006668475.tif 000025
【０１５１】
前述の等式は等価的に変換され、次の式(37)に示される一般的な直線の等式へと変換される。
【０１５２】
【数２５】
0006668475.tif 000026
【０１５３】
当然、点K'(x14,y14,z14)および点L'(x15,y15,z15)を通る直線はさらに、別の方法を使用することにより計算されてよく、詳細はここでは説明されない。
【０１５４】
次いで、第1の顔特徴点O'(x13,y13,z13)から直線aまでの距離bが、点と線の間の距離の式に従って計算され、具体的な計算が次の式(38)に示される。
【０１５５】
【数２６】
0006668475.tif 000027
【０１５６】
直線aはK'(x14,y14,z14)および点L'(x15,y15,z15)を通る直線であるので、第1の顔特徴点O'(x13,y13,z13)から直線aまでの距離bは、第1の顔特徴点O'(x13,y13,z13)から第8の線分K'L'までの第2の垂直距離である。したがって、第2の垂直距離は距離bである。
【０１５７】
ステップ304bにおいて:第9の線分に対する第2の垂直距離の第2の比と事前に設定された横方向の顔回転との間の対応付けを確立する。
【０１５８】
前述の例を例としてさらに使用すると、第2の垂直距離はbであり、第9の線分はKLであるので、第2の比はKLに対するbの比である。第2の比と事前に設定された横方向の顔回転角との間の対応付けは、次の方法を使用することにより取得される。すなわち、顔が回転され、顔回転角が事前に設定された第1の横方向の顔回転角になるときに顔が回転を止められ、第1の横方向の顔回転角の場合、第1の第2の比を取得するために、KLに対するbの比が計算され、第1の第2の比と事前に設定された第1の横方向の顔回転角との間の対応付けが記憶され、顔が回転され続け、顔回転角が事前に設定された第2の横方向の顔回転角であるときに、第2の横方向の顔回転角の場合、第2の第2の比を取得するために、KLに対するbの比が計算され、第2の第2の比と事前に設定された第2の横方向の顔回転角との間の対応付けが記憶され、すべての第2の比および事前に設定された横方向の顔回転角との間の対応付けが完全に記憶されるまで、前述のステップが繰り返される。
【０１５９】
まとめると、本発明のこの実施形態において提供される、線分比と事前に設定された顔回転角との間の対応付けを確立するための方法によれば、3次元直交座標系において、正面の顔の3Dモデルが事前に設定された角度に従って回転され、3Dモデルが事前に設定された角度だけ回転されるたびに顔特徴点の座標情報が取得され、線分比と事前に設定された顔回転角との間の対応付けが取得された座標情報に従って確立される。事前に設定された角度は比較的小さいので、対応付けにおける線分比または顔回転角は比較的正確である。その上、対応付けが事前に確立されるので、線分比または顔回転角は、顔回転角を決定するプロセスにおいて対応付けから直接取得することができ、これにより、顔回転角を決定するために必要な時間を減らし、顔回転角を決定することの効率を改善する。
【０１６０】
本発明の装置の実施形態が以下で説明され、本発明の方法の実施形態を実行するために使用され得る。本発明の装置の実施形態において開示されない詳細については、本発明の方法の実施形態を参照されたい。
【０１６１】
図4Aを参照すると、図4Aは、本発明のある実施形態による、顔回転角を決定するための装置の構造ブロック図である。図4Aに示されるように、顔回転角を決定するための装置は、限定はされないが、第1の取得モジュール401と、第2の取得モジュール402と、第1の決定モジュール403とを含む。
【０１６２】
第1の取得モジュール401は、決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するように構成され、複数の顔特徴点の数は奇数であり、複数の顔特徴点は対称的な顔特徴点の複数のペアおよび1つの第1の顔特徴点を含み、複数の顔特徴点は同一平面上にない。
【０１６３】
第2の取得モジュール402は、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するように構成される。
【０１６４】
第1の決定モジュール403は、顔特徴点の各ペアの対称的な中心のものであり第2の取得モジュール402により取得される第1の位置情報、および、第1の顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、決定されることになる顔画像の第1の回転角を決定するように構成される。
【０１６５】
まとめると、この実施形態において提供される顔回転角を決定するための装置によれば、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の第1の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報が取得され、事前に設定された線分比が、顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って計算され、事前に設定された線分比と顔回転角との間の対応付けが線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を改善する。
【０１６６】
ある実装形態では、複数の顔特徴点は5つの顔特徴点を含み、5つの顔特徴点は対称的な顔特徴点の第1のペアと、対称的な顔特徴点の第2のペアと、1つの残りの第1の顔特徴点とを含む。
【０１６７】
図4Bを参照すると、図4Bは、本発明のある実施形態による第2の取得モジュール402の構造ブロック図である。図4Bに示されるように、第2の取得モジュール402は、限定はされないが、第1の取得サブモジュール4021および第2の取得サブモジュール4022を含む。
【０１６８】
第1の取得サブモジュール4021は、対称的な顔特徴点の第1のペアに含まれる各顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、対称的な顔特徴点の第1のペアの第1の対称的な中点の第1の位置情報を取得するように構成される。
【０１６９】
第2の取得サブモジュール4022は、対称的な顔特徴点の第2のペアに含まれる各顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、対称的な顔特徴点の第2のペアの第2の対称的な中点の第1の位置情報を取得するように構成される。
【０１７０】
図4Cを参照すると、図4Cは、本発明のある実施形態による第1の決定モジュール403の構造ブロック図である。図4Cに示されるように、第1の決定モジュール403は、限定はされないが、第1の計算サブモジュール4031、第2の計算サブモジュール4032、および第3の取得サブモジュール4033を含む。
【０１７１】
第1の計算サブモジュール4031は、第1の対称的な中点のものであり第1の取得サブモジュール4021により取得される第1の位置情報、および第1の顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、第1の対称的な中点および第1の顔特徴点により形成される第1の線分の長さを計算するように構成される。
【０１７２】
第2の計算サブモジュール4032は、第2の対称的な中点のものであり第2の取得サブモジュール4022により取得される第1の位置情報、および第1の顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、第2の対称的な中点および第1の顔特徴点により形成される第2の線分の長さを計算するように構成される。
【０１７３】
第3の取得サブモジュール4033は、第2の計算サブモジュール4032により計算される第2の線分の長さに対する第1の計算サブモジュール4031により計算される第1の線分の長さの第1の比に従って、かつ、第1の比と顔ピッチ角との間の対応付けから、決定されることになる顔画像の顔ピッチ角を取得するように構成される。
【０１７４】
図4Dを参照すると、図4Dは、本発明の別の実施形態による、第1の決定モジュール403の構造ブロック図である。図4Dに示されるように、第1の決定モジュール403は、限定はされないが、第3の計算サブモジュール4034、第4の計算サブモジュール4035、および第4の取得サブモジュール4036を含む。
【０１７５】
第3の計算サブモジュール4034は、第1の対称的な中点のものであり第1の取得サブモジュール4021により取得される第1の位置情報、第2の対称的な中点のものであり第2の取得サブモジュール4022により取得される第1の位置情報、および第1の顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、第1の顔特徴点から第3の線分までの第1の垂直距離および第3の線分の長さを計算するように構成され、第3の線分は第1の対称的な中点および第2の対称的な中点により形成される線分である。
【０１７６】
第4の計算サブモジュール4035は、第3の計算サブモジュール4034により計算される第3の線分の長さと、決定されることになる顔画像のものであり第3の取得サブモジュール4033により取得される顔ピッチ角とに従って、第4の線分の長さを計算するように構成され、第4の線分は第3の対称的な中点と第4の対称的な中点との間の線分であり、第3の対称的な中点は正面の顔画像の中の顔特徴点の第1のペアの対称的な中点であり、第4の対称的な中点は正面の顔画像の中の顔特徴点の第2のペアの対称的な中点である。
【０１７７】
第4の取得サブモジュール4036は、第4の計算サブモジュール4035により計算される第4の線分の長さに対する第3の計算サブモジュール4034により計算される第1の垂直距離の第2の比に従って、かつ、第2の比と横方向の顔回転角との間の対応付けから、決定されることになる顔画像の横方向の顔回転角を取得するように構成される。
【０１７８】
図4Eを参照すると、図4Eは、本発明の別の実施形態による、第4の線分を計算する構造ブロック図である。この計算は、第4の計算サブモジュール4035によって完了される。図4Eに示されるように、第4の計算サブモジュール4035は、限定はされないが、
第3の取得サブモジュール4033により取得される顔ピッチ角に従って、かつ顔ピッチ角と第3の比との間の対応付けから、対応する第3の比を取得するように構成される、取得ユニット4035aと、
取得ユニット4035aにより取得される第3の比および第3の計算サブモジュール4034により計算される第3の線分の長さに従って第4の線分の長さを計算するように構成される、計算ユニット4035bとを含む。
【０１７９】
図4Fを参照すると、図4Fは、本発明の別の実施形態による、顔回転角を決定するための装置の構造ブロック図である。図4Fに示されるように、装置はさらに、限定はされないが、
決定されることになる顔画像の顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第1の位置情報に従って第5の線分を決定し、第5の線分と水平線との間の角度を計算するように構成される、決定および計算モジュール404を含む。
【０１８０】
図4Fをさらに参照すると、装置はさらに、
第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置情報を取得するように構成され、第1の顔画像が、顔が事前に設定された顔回転角だけ回転した後で撮られた顔画像である、第3の取得モジュール405と、
事前に設定された複数の顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するように構成される、確立モジュール406とを含む。
【０１８１】
ある実装形態では、事前に設定された顔回転角は事前に設定された顔ピッチ角を含む。
【０１８２】
図4Gを参照すると、図4Gは、本発明の別の実施形態による、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するための確立モジュール406の構造ブロック図である。図4Gに示されるように、確立モジュール406は、限定はされないが、第5の取得サブモジュール4061、第6の取得サブモジュール4062、第5の計算サブモジュール4063、第6の計算サブモジュール4064、および第1の確立サブモジュール4065を含む。
【０１８３】
第5の取得サブモジュール4061は、対称的な顔特徴点の第1のペアに含まれる各顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、対称的な顔特徴点の第1のペアの第5の対称的な中点の第2の位置情報を取得するように構成される。
【０１８４】
第6の取得サブモジュール4062は、対称的な顔特徴点の第2のペアに含まれる各顔特徴点のものであり第3の取得モジュール405により取得される第1の位置情報に従って、対称的な顔特徴点の第2のペアの第6の対称的な中点の第2の位置情報を取得するように構成される。
【０１８５】
第5の計算サブモジュール4063は、第5の対称的な中点のものであり第5の取得サブモジュール4061により取得される第2の位置情報、および、第1の顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、第5の対称的な中点および第1の顔特徴点により形成される第6の線分の長さを計算するように構成される。
【０１８６】
第6の計算サブモジュール4064は、第6の対称的な中点のものであり第6の取得サブモジュール4062により取得される第2の位置情報、および、第1の顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、第6の対称的な中点および第1の顔特徴点により形成される第7の線分の長さを計算するように構成される。
【０１８７】
第1の確立サブモジュール4065は、第6の計算サブモジュール4064により計算される第7の線分に対する第5の計算サブモジュール4063により計算される第6の線分の第1の比と、事前に設定された顔ピッチ角との間の対応付けを確立するように構成される。
【０１８８】
図4Hを参照すると、図4Hは、本発明のさらに別の実施形態による、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するための確立モジュール406の構造ブロック図である。図4Hに示されるように、確立モジュール406は、限定はされないが、第7の取得サブモジュール406a、第8の取得サブモジュール406b、第9の取得サブモジュール406c、第7の計算サブモジュール406d、第8の計算サブモジュール406e、および第2の確立サブモジュール406fを含む。
【０１８９】
第7の取得サブモジュール406aは、顔の正面の顔画像の中の対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報、および正面の顔画像の中の対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報を取得するように構成される。
【０１９０】
第8の取得サブモジュール406bは、対称的な顔特徴点の第1のペアに含まれる各顔特徴点のものであり第7の取得サブモジュール406aにより取得される第3の位置情報に従って、対称的な顔特徴点の第1のペアの第7の対称的な中点の第3の位置情報を取得するように構成される。
【０１９１】
第9の取得サブモジュール406cは、対称的な顔特徴点の第2のペアに含まれる各顔特徴点のものであり第7の取得サブモジュール406aにより取得される第3の位置情報に従って、対称的な顔特徴点の第2のペアの第8の対称的な中点の第3の位置情報を取得するように構成される。
【０１９２】
第7の計算サブモジュール406dは、第5の対称的な中点のものであり第5の取得サブモジュール4061により取得される第2の位置情報、および第6の対称的な中点のものであり第6の取得サブモジュール4062により取得される第2の位置情報に従って、第5の対称的な中点および第6の対称的な中点により形成される第8の線の長さを計算するように構成される。
【０１９３】
第8の計算サブモジュール406eは、第7の対称的な中点のものであり第8の取得サブモジュール406bにより取得される第3の位置情報、および、第8の対称的な中点のものであり第9の取得サブモジュール406cにより取得される第3の位置情報に従って、第7の対称的な中点および第8の対称的な中点により形成される第9の線分の長さを計算するように構成される。
【０１９４】
第2の確立サブモジュール406fは、第8の計算サブモジュール406eにより計算される第9の線分に対する第7の計算サブモジュール406dにより計算される第8の線分の第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するように構成される。
【０１９５】
ある実装形態では、事前に設定された顔回転角は事前に設定された横方向の顔回転角を含む。
【０１９６】
図4Iを参照すると、図4Iは、本発明のさらに別の実施形態による、第2の比と事前に設定された横方向の顔回転角との対応付けを確立するための確立モジュール406の構造ブロック図である。図4Iに示されるように、確立モジュール406はさらに、限定はされないが、第9の計算サブモジュール4066および第3の確立サブモジュール4067を含む。
【０１９７】
第9の計算サブモジュール4066は、第5の対称的な中点のものであり第5の取得サブモジュール4061により取得される第2の位置情報、第6の対称的な中点のものであり第6の取得サブモジュール4062により取得される第2の位置情報、および第1の顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、第1の顔特徴点から第8の線分までの第2の垂直距離を計算するように構成される。
【０１９８】
第3の確立サブモジュール4067は、第8の計算サブモジュール406eにより計算される第9の線分に対する第9の計算サブモジュール4066により計算される第2の垂直距離の第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するように構成される。
【０１９９】
本発明のこの実施形態では、顔回転角を決定するための装置は、電子デバイスを使用することにより実装され得る。装置の中の第1の取得モジュール401、第2の取得モジュール402、第1の決定モジュール403、決定および計算モジュール404、第3の取得モジュール405、確立モジュール406、ならびにモジュールに含まれるサブモジュールはすべて、実際の適用の間、装置の中の中央処理装置(CPU)、デジタル信号プロセッサ(DSP)、マイクロコントローラユニット(MCU)、またはフィールドプログラマブルゲートアレイ(FPGA)により実装され得る。
【０２００】
まとめると、この実施形態において提供される顔回転角を決定するための装置によれば、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の第1の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報が取得され、事前に設定された線分比は、顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って計算され、事前に設定された線分比と顔回転角との間の対応付けが線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を改善する。
【０２０１】
まとめると、本発明のこの実施形態において提供される線分比と事前に設定された顔回転角との間の対応付けを確立するための装置によれば、3次元直交座標系において、正面の顔の3Dモデルが事前に設定された角度に従って回転され、3Dモデルが事前に設定された角度だけ回転されるたびに顔特徴点の座標情報が取得され、線分比と事前に設定された顔回転角との間の対応付けが取得された座標情報に従って確立される。事前に設定された角度が比較的小さいので、対応付けにおける線分比または顔回転角は比較的正確である。その上、対応付けは事前に確立されるので、線分比または顔回転角は、顔回転角を決定するプロセスにおいて対応付けから直接取得することができ、これにより、顔回転角を決定するのに必要な時間を減らし、顔回転角を決定することの効率を改善する。
【０２０２】
前述の実施形態において提供される顔回転角を決定するための装置が顔回転角を決定するとき、機能モジュールの分割の例のみを通じて説明がなされることに留意されたい。実際の適用形態では、機能は、異なる機能モジュールにより実装されることの必要性に従って割り当てられることがあり、すなわち、電子デバイスの内部構造は、上で説明された機能のすべてまたは一部を実装するために、異なる機能モジュールへと分割される。さらに、実施形態により提供される顔回転角を決定するための装置の実施形態は、顔回転角を決定するための方法の実施形態と同じ考えに属し、方法の実施形態は、ここでは繰り返されない方法の具体的な実施のプロセスの詳細に対する参照として機能し得る。
【０２０３】
図5を参照すると、図5は、本発明のいくつかの実施形態による、電子デバイスの構造ブロック図である。電子デバイス500は、前述の実施形態において提供されるサービス処理方法を実施するように構成される。本開示の電子デバイス500は、様々なプロセスおよび方法を完了するためにコンピュータプログラム命令を実行するように構成されるプロセッサ、情報およびプログラム命令を記憶するように構成されるランダムアクセスメモリ(RAM)および読取り専用メモリ(ROM)、データおよび情報を記憶するように構成されるメモリ、I/Oデバイス、インターフェース、アンテナなどの構成要素のうちの1つまたは複数を含み得る。
【０２０４】
具体的には、電子デバイス500は、高周波(RF)回路510、メモリ520、入力ユニット530、ディスプレイユニット540、センサ550、オーディオ回路560、Wi-Fi(ワイヤレスフィデリティ)モジュール570、プロセッサ580、電源582、およびカメラ590などの構成要素を含み得る。図5に示される電子デバイスの構造は端末に対する限定となるものではなく、電子デバイスは図に示されるものよりも多数もしくは少数の構成要素を含んでもよく、または何らかの構成要素が組み合わされてもよく、または異なる構成要素の配置が使用されてもよいことを、当業者は理解し得る。
【０２０５】
電子デバイス500の各構成要素部分が、図5を参照して以下で詳細に説明される。
【０２０６】
RF回路510は、情報の受信および送信のプロセスまたは呼出しプロセスの間に信号を受信しかつ送信するように構成され得る。具体的には、RF回路は、基地局からダウンリンク情報を受信し、次いで処理のためにダウンリンク情報をプロセッサ580に送達し、関連するアップリンクデータを基地局に送信する。一般に、RF回路は、限定はされないが、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、低雑音増幅器(LNA)、およびデュプレクサを含む。加えて、RF回路510はまた、ワイヤレス通信によりネットワークおよび別のデバイスと通信し得る。ワイヤレス通信は、限定はされないが、Global System for Mobile communications (GSM（登録商標）)、General Packet Radio Service (GPRS)、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA（登録商標）)、Long Term Evolution (FTE)、電子メール、ショートメッセージングサービス(SMS)などを含む、任意の通信規格またはプロトコルを使用し得る。
【０２０７】
メモリ520は、ソフトウェアプログラムおよびモジュールを記憶するように構成され得る。プロセッサ580は、電子デバイス500の様々な機能アプリケーションおよびデータ処理を実施するために、メモリ520に記憶されたソフトウェアプログラムおよびモジュールを実行する。メモリ520は主に、プログラム記憶エリアおよびデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、少なくとも1つの機能により要求されるアプリケーションプログラム(音声再生機能および画像表示機能など)などを記憶し得る。データ記憶エリアは、電子デバイス500の使用により作成されるデータ(オーディオデータおよびアドレス帳など)などを記憶し得る。加えて、メモリ520は、高速ランダムアクセスメモリを含むことがあり、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリなどの不揮発性メモリ、または別の揮発性ソリッド記憶デバイスを含むことがある。
【０２０８】
入力ユニット530は、入力された数字または文字の情報を受け取り、電子デバイス500のユーザ設定および機能制御に関するキー信号入力を生成するように構成され得る。具体的には、入力ユニット530は、タッチパネル531および別の入力デバイス532を含み得る。タッチパネル531はまた、タッチスクリーンと呼ばれることがあり、タッチパネル上での、またはその近くでのユーザのタッチ操作(指またはタッチペンなどの任意の適切な物体または付属品を使用することによる、タッチパネル531上での、またはその近くでのユーザの操作など)を収集し、事前に設定されたプログラムに従って対応する接続装置を駆動し得る。任意選択で、タッチパネル531は、タッチ検出装置およびタッチコントローラという2つの部分を含み得る。タッチ検出装置は、ユーザのタッチの場所を検出し、タッチ操作により生成される信号を検出し、信号をタッチコントローラに転送する。タッチコントローラは、タッチ検出装置からのタッチ情報を受信し、タッチ情報をタッチ点座標に変換し、タッチ点座標をプロセッサ580に送信する。その上、タッチコントローラは、プロセッサ580から送信されたコマンドを受信して実行することができる。加えて、タッチパネル531は、抵抗タイプ、静電容量タイプ、赤外線タイプ、および表面音波タイプなどの様々なタイプを使用することにより実装され得る。タッチパネル531に加えて、入力ユニット530はさらに、別の入力デバイス532を含み得る。具体的には、別の入力デバイス532は、限定はされないが、物理キーボード、機能のあるキー(音量制御キーまたはスイッチキーなど)、トラックボール、マウス、ジョイスティックなどのうちの1つまたは複数を含み得る。
【０２０９】
ディスプレイユニット540は、ユーザにより入力される情報またはユーザのために提供される情報、および電子デバイス500の様々なメニューを表示するように構成され得る。ディスプレイユニット540はディスプレイパネル541を含み得る。任意選択で、ディスプレイパネル541は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)などを使用することにより構成され得る。さらに、タッチパネル531はディスプレイパネル541を覆い得る。タッチパネル531の上での、またはその近くでのタッチを検出した後、タッチパネル531は、タッチイベントのタイプを決定するために、タッチ操作をプロセッサ580に伝える。次いで、プロセッサ580が、タッチイベントのタイプに従って、対応する視覚的な出力をディスプレイパネル541上で与える。図5では、タッチパネル531およびディスプレイパネル541は電子デバイス500の入力および出力の機能を実装するための2つの別個の部分として使用されるが、いくつかの実施形態では、タッチパネル531およびディスプレイパネル541は、電子デバイス500の入力および出力の機能を実装するように統合され得る。
【０２１０】
電子デバイス500はさらに、ジャイロスコープセンサ、磁気誘導センサ、光学センサ、モーションセンサ、および別のセンサなどの、少なくとも1つのセンサ550を含み得る。具体的には、光学センサは環境光センサおよび近接センサを含み得る。環境光センサは、環境光の明るさに従ってディスプレイパネル541の明るさを調整し得る。近接センサは、電子デバイス500が耳へと動かされるときにディスプレイパネル541および/またはバックライトをオフにし得る。1つのタイプのモーションセンサとして、加速度センサは、様々な方向(一般には三軸)における加速度の大きさを検出することができ、静止しているときには重力の大きさおよび方向を検出することができ、電子デバイスのジェスチャの適用(水平な画面と垂直な画面の切替え、関連するゲーム、磁力計のジェスチャ較正など)、関連する振動識別の機能(歩数計およびノックなど)を特定するように構成され得る。電子デバイス500において構成され得る、気圧計、湿度計、温度計、および赤外線センサなどの他のセンサは、ここではさらに説明されない。
【０２１１】
オーディオ回路560、ラウドスピーカー561、およびマイクロフォン562は、ユーザと電子デバイス500との間のオーディオインターフェースを提供し得る。オーディオ回路560は、受信されたオーディオデータから変換された電気信号をラウドスピーカー561に送信し得る。ラウドスピーカー561は、電気信号を出力のために音声信号へと変換する。一方、マイクロフォン562は、収集された音声信号を電気信号へと変換する。オーディオ回路560は、電気信号を受信し、電気信号をオーディオデータへと変換し、オーディオデータを処理のためにプロセッサ580に出力する。次いで、プロセッサ580は、たとえば、RF回路510を使用することにより別の端末へオーディオデータを送信し、または、さらなる処理のためにオーディオデータをメモリ520に出力する。
【０２１２】
Wi-Fiは、短距離ワイヤレス送信技術に属する。電子デバイス500は、Wi-Fiモジュール570を使用することによって、ユーザが電子メールを受信しかつ送信すること、ウェブページをブラウジングすること、ストリームメディアにアクセスすることなどを助けることができ、このことはユーザにワイヤレスブロードバンドインターネットアクセスを提供する。図5はWi-Fiモジュール570を示すが、Wi-Fiモジュール570は電子デバイス500の必須の構成要素には属さず、本開示の本質の範囲を変更することなく需要に従って省略されることが可能であることが理解され得る。
【０２１３】
プロセッサ580は、電子デバイス500の制御センターであり、様々なインターフェースおよび線を使用することにより電子デバイス全体の様々な部分に接続する。メモリ520に記憶されたソフトウェアプログラムおよび/またはモジュールを走らせることによって、または実行することによって、およびメモリ520に記憶されているデータを呼び出すことによって、プロセッサ180は、電子デバイス500の様々な機能およびデータ処理を実行し、それにより電子デバイスに対する全体的な監視を実行する。任意選択で、プロセッサ580は1つまたは複数の処理ユニットを含み得る。好ましくは、プロセッサ580はアプリケーションプロセッサおよびモデルを統合し得る。アプリケーションプロセッサは主に、オペレーティングシステム、ユーザインターフェース、アプリケーションプログラムなどを処理する。モデムは主に、ワイヤレス通信を処理する。前述のモデムは、プロセッサ580に統合されないこともあることが理解され得る。
【０２１４】
電子デバイス500はさらに、電力を構成要素に供給するための電源582(電池など)を含む。好ましくは、電源は、電源管理システムを使用することによってプロセッサ582に論理的に接続することができ、これにより、電源管理システムを使用することにより、充電、放電、および電力消費管理などの機能を実施する。
【０２１５】
カメラ590は一般に、レンズ、イメージセンサ、インターフェース、デジタル信号プロセッサ、CPU、ディスプレイ画面などにより形成される。レンズは、イメージセンサの上に固定され、レンズを手動で調整することにより焦点を変更することができる。イメージセンサは、従来のカメラの「フィルム」と等価であり、画像を収集するためのカメラの心臓部である。インターフェースは、フラットケーブルおよび基板間コネクタを使用することにより、およびスプリング接続方式で、カメラを電子デバイスの主基板に接続し、収集された画像をメモリ520に送信するように構成される。デジタル信号プロセッサは、数学的な演算を使用することにより収集された画像を処理し、収集されたアナログ画像をデジタル画像へと変換し、インターフェースを使用することによりデジタル画像をメモリ520に送信する。
【０２１６】
図には示されないが、電子デバイス500はさらに、本明細書ではさらに説明されないBluetooth（登録商標）モジュールなどを含み得る。
【０２１７】
1つまたは複数のプロセッサ580を含むことに加えて、電子デバイス500はさらにメモリと1つまたは複数のプログラムとを含み、1つまたは複数のプログラムは、メモリに記憶され、1つまたは複数のプロセッサによって実行されるように構成される。1つまたは複数のプログラムは、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するステップであって、複数の顔特徴点の数が奇数であり、複数の顔特徴点が対称的な顔特徴点の複数のペアおよび1つの残りの第1の顔特徴点を含み、複数の顔特徴点が同一平面上にない、ステップ、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するステップ、ならびに
顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するステップ
という動作を実行するために使用される命令を含む。
【０２１８】
上記は第1の可能な実装形態であることが想定され、第1の可能な実装形態を基礎として使用することにより提供される第2の可能な実装形態では、電子デバイス500のメモリはさらに、
複数の顔特徴点が5つの顔特徴点を含み、5つの顔特徴点が、対称的な顔特徴点の第1のペアと、対称的な顔特徴点の第2のペアと、1つの残りの第1の顔特徴点とを含む
ような動作を実行するために使用される命令を含む。
【０２１９】
第2の可能な実装形態を基礎として使用することにより提供される第3の可能な実装形態では、電子デバイス500のメモリはさらに、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するステップが、
対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第1のペアの第1の対称的な中点の第1の位置情報を取得するステップと、
対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第2のペアの第2の対称的な中点の第1の位置情報を取得するステップとを含む
ような動作を実行するために使用される命令を含む。
【０２２０】
第3の可能な実装形態を基礎として使用することにより提供される第4の可能な実装形態では、電子デバイス500のメモリはさらに、
顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するステップが、
第1の対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、第1の対称的な中点および第1の顔特徴点により形成される第1の線分の長さを計算するステップと、
第2の対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、第2の対称的な中点および第1の顔特徴点により形成される第2の線分の長さを計算するステップと、
第2の線分の長さに対する第1の線分の長さの第1の比に従って、かつ第1の比と顔ピッチ角との間の対応付けから、決定されることになる顔画像の顔ピッチ角を取得するステップとを含む
ような動作を実行するために使用される命令を含む。
【０２２１】
第3の可能な実装形態を基礎として使用することにより提供される第5の可能な実装形態では、電子デバイス500のメモリはさらに、
顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するステップが、
第1の対称的な中点の第1の位置情報、第2の対称的な中点の第1の位置情報、および第1の顔特徴点の第1の位置情報に従って、第1の顔特徴点から第3の線分までの第1の垂直距離および第3の線分の長さを計算するステップであって、第3の線分が第1の対称的な中点および第2の対称的な中点により形成される線分である、ステップと、
第3の線分の長さおよび決定されることになる顔画像の顔ピッチ角に従って、第4の線分の長さを計算するステップであって、第4の線分が第3の対称的な中点と第4の対称的な中点との間の線分であり、第3の対称的な中点が正面の顔画像の中の顔特徴点の第1のペアの対称的な中点であり、第4の対称的な中点が正面の顔画像の中の顔特徴点の第2のペアの対称的な中点である、ステップと、
第4の線分の長さに対する第1の垂直距離の第2の比に従って、かつ第2の比と横方向の顔回転角との間の対応付けから、決定されることになる顔画像の横方向の顔回転角を取得するステップとを含む
ような動作を実行するために使用される命令を含む。
【０２２２】
第5の可能な実装形態を基礎として使用することにより提供される第6の可能な実装形態では、電子デバイス500のメモリはさらに、
第3の線分の長さおよび決定されることになる顔画像の顔ピッチ角に従って、第4の線分の長さを計算するステップが、
顔ピッチ角に従って、かつ顔ピッチ角と第3の比との間の対応付けから、対応する第3の比を取得するステップと、
第3の比および第3の線分の長さに従って、第4の線分の長さを計算するステップとを含む
ような動作を実行するために使用される命令を含む。
【０２２３】
第1から第6の可能な実装形態のいずれか1つを基礎として使用することにより提供される第7の可能な実装形態では、電子デバイス500のメモリはさらに、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するステップの後で、
決定されることになる顔画像の顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第1の位置情報に従って第5の線分を決定し、第5の線分と水平線との間の角度を計算するステップをさらに含む
という動作を実行するために使用される命令を含む。
【０２２４】
第2から第6の可能な実装形態のいずれか1つを基礎として使用することにより提供される第8の可能な実装形態では、電子デバイス500のメモリはさらに、
決定されることになる顔画像の顔回転角を決定するステップの前に、
第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置情報を取得するステップであって、第1の顔画像が、事前に設定された顔回転角だけ顔が回転した後で撮られた顔画像である、ステップ、および、
事前に設定された複数の顔特徴点の第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するステップをさらに含む
という動作を実行するために使用される命令を含む。
【０２２５】
第8の可能な実装形態を基礎として使用することにより提供される第9の可能な実装形態では、電子デバイス500のメモリはさらに、
事前に設定された顔回転角が事前に設定された顔ピッチ角を含み、
事前に設定された複数の顔特徴点の第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するステップが、
対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第2の位置情報に従って、対称的な顔特徴点の第1のペアの第5の対称的な中点の第2の位置情報を取得するステップと、
対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第2のペアの第6の対称的な中点の第2の位置情報を取得するステップと、
第5の対称的な中点の第2の位置情報および第1の顔特徴点の第2の位置情報に従って、第5の対称的な中点および第1の顔特徴点により形成される第6の線分の長さを計算するステップと、
第6の対称的な中点の第2の位置情報および第1の顔特徴点の第2の位置情報に従って、第6の対称的な中点および第1の顔特徴点により形成される第7の線分の長さを計算するステップと、
第7の線分に対する第6の線分の第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するステップとを含む
ように動作を実行するために使用される命令を含む。
【０２２６】
第9の可能な実装形態を基礎として使用することにより提供される第10の可能な実装形態では、電子デバイス500のメモリはさらに、
事前に設定された複数の顔特徴点の第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するステップがさらに、
顔の正面の顔画像の中の対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報、および正面の顔画像の中の対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報を取得するステップと、
対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報に従って、対称的な顔特徴点の第1のペアの第7の対称的な中点の第3の位置情報を取得するステップと、
対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報に従って、対称的な顔特徴点の第2のペアの第8の対称的な中点の第3の位置情報を取得するステップと、
第5の対称的な中点の第2の位置情報および第6の対称的な中点の第2の位置情報に従って、第5の対称的な中点および第6の対称的な中点により形成される第8の線分の長さを計算するステップと、
第7の対称的な中点の第3の位置情報および第8の対称的な中点の第3の位置情報に従って、第7の対称的な中点および第8の対称的な中点により形成される第9の線分の長さを計算するステップと、
第9の線分に対する第8の線分の第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するステップとを含む
ように動作を実行するために使用される命令を含む。
【０２２７】
第10の可能な実装形態を基礎として使用することにより提供される第11の可能な実装形態では、電子デバイス500のメモリはさらに、
事前に設定された顔回転角が事前に設定された横方向の顔回転角を含み、
事前に設定された複数の顔特徴点の第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するステップがさらに、
第5の対称的な中点の第2の位置情報、第6の対称的な中点の第2の位置情報、および第1の顔特徴点の第2の位置情報に従って、第1の顔特徴点から第8の線分までの第2の垂直距離を計算するステップと、
第9の線分に対する第2の垂直距離の第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するステップとを含む
ように動作を実行するために使用される命令を含む。
【０２２８】
本発明の前述の実施形態の順序番号は説明を目的としたものにすぎず、実施形態の選好を示すものではない。
【０２２９】
本出願において提供されるいくつかの実施形態では、開示されるデバイスおよび方法は他の方式で実装され得ることを理解されたい。説明されたデバイスの実施形態は例示にすぎない。たとえば、ユニットの分割は論理機能の分割にすぎず、実際の実装形態では他の分割もあり得る。たとえば、複数のユニットまたは構成要素が、別のシステムへと合成もしくは統合されることがあり、または何らかの特徴が省略されもしくは実行されないことがある。加えて、構成要素間の、表示または議論された、相互の結合または直接の結合または通信接続は、何らかのインターフェースを通じて実装され得る。デバイスまたはユニット間の間接的な結合または通信接続は、電気的に、機械的に、または他の形式で実装され得る。
【０２３０】
別個の部分として説明されるユニットは、物理的に分離していることまたは分離していないことがあり、ユニットとして表示される部分は、物理的なユニットであることもしくはそうではないことがあり、1つの場所に位置していることがあり、または複数のネットワークユニット上に分散していることがある。ユニットの一部またはすべてが、実施形態の解決法の目的を達成するための実際の必要性に従って選択され得る。
【０２３１】
加えて、本発明の実施形態における機能ユニットは、1つの処理ユニットへとすべて統合されることがあり、またはユニットの各々が1つのユニットとして別々に独立に使用されることがあり、または2つ以上のユニットが1つのユニットへと統合されることがある。統合されたユニットは、ハードウェアの形式で実装されることがあり、または、ハードウェアとソフトウェアの機能ユニットの形式で実装されることがある。
【０２３２】
前述の方法の実施形態を実施するためのすべてのまたはいくつかのステップは、関連するハードウェアに命令するプログラムによって完了されることがあり、前述のプログラムはコンピュータ可読記憶媒体に記憶されることがあり、実行されると、プログラムは前述の方法の実施形態を含むステップを実行することを、当業者は理解し得る。前述の記憶媒体は、取り外し可能記憶デバイス、読取り専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光学ディスクなどの、プログラムコードを記憶できる任意の媒体を含む。
【０２３３】
代替的に、本開示の統合されたユニットがソフトウェア機能モジュールの形式で実装され、独立した製品として販売または使用されるとき、統合されたユニットはコンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本発明の実施形態の技術的な解決法は基本的に、または既存の技術に寄与する部分は、ソフトウェア製品の形式で実装され得る。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態において説明される方法のすべてまたは一部を実行するようにコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイスなどであり得る)に命令するためのいくつかの命令を含む。前述の記憶媒体は、取り外し可能記憶デバイス、ROM、RAM、磁気ディスク、または光学ディスクなどの、プログラムコードを記憶できる任意の媒体を含む。
【０２３４】
前述の説明は、本発明の特定の実施形態にすぎず、本開示の保護範囲を限定することは意図されていない。本開示において開示される技術的な範囲内にあると当業者により容易に理解されるあらゆる変形または置換が、本開示の保護範囲内にあるものとする。したがって、本開示の保護範囲は添付の特許請求の範囲に従うものとする。
【産業上の利用可能性】
【０２３５】
本発明の実施形態の技術的な解決法は、顔回転角が決定できないという問題を解決する。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を大きく改善する。
【符号の説明】
【０２３６】
401  第1の取得モジュール
402  第2の取得モジュール
403  第1の決定モジュール
404  決定および計算モジュール
405  第3の取得モジュール
406  確立モジュール
406a  第7の取得サブモジュール
406b  第8の取得サブモジュール
406c  第9の取得サブモジュール
406d  第7の計算サブモジュール
406e  第8の計算サブモジュール
406f  第2の確立サブモジュール
500  電子デバイス
510  RF回路
520  メモリ
530  入力ユニット
531  タッチパネル
532  別の入力デバイス
540  ディスプレイユニット
541  ディスプレイパネル
550  センサ
560  オーディオ回路
561  ラウドスピーカー
562  マイクロフォン
570  Wi-Fiモジュール
580  プロセッサ
582  電源
590  カメラ
4021  第1の取得サブモジュール
4022  第2の取得サブモジュール
4031  第1の計算サブモジュール
4032  第2の計算サブモジュール
4033  第3の取得サブモジュール
4034  第3の計算サブモジュール
4035  第4の計算サブモジュール
4035a  取得ユニット
4035b  計算ユニット
4036  第4の取得サブモジュール
4061  第5の取得サブモジュール
4062  第6の取得サブモジュール
4063  第5の計算サブモジュール
4064  第6の計算サブモジュール
4065  第1の確立サブモジュール
4066  第9の計算サブモジュール
4067  第3の確立サブモジュール
【図１】
0006668475.tif 000028
【図２Ａ】
0006668475.tif 000029
【図２Ｂ】
0006668475.tif 000030
【図２Ｃ】
0006668475.tif 000031
【図２Ｄ】
0006668475.tif 000032
【図３Ａ】
0006668475.tif 000033
【図３Ｂ】
0006668475.tif 000034
【図３Ｃ】
0006668475.tif 000035
【図３Ｄ】
0006668475.tif 000036
【図３Ｅ】
0006668475.tif 000037
【図３Ｆ】
0006668475.tif 000038
【図４Ａ】
0006668475.tif 000039
【図４Ｂ】
0006668475.tif 000040
【図４Ｃ】
0006668475.tif 000041
【図４Ｄ】
0006668475.tif 000042
【図４Ｅ】
0006668475.tif 000043
【図４Ｆ】
0006668475.tif 000044
【図４Ｇ】
0006668475.tif 000045
【図４Ｈ】
0006668475.tif 000046
【図４Ｉ】
0006668475.tif 000047
【図５】
0006668475.tif 000048