(57)【特許請求の範囲】
【請求項１】
ユーザの状態分析結果によって機能を制御する装置であって、
映像入力部と、
前記映像入力部を通じて入力映像が受信されると、前記入力映像に対して顔検出を遂行し、前記顔検出が失敗すると、前記入力映像に対して目検出を遂行するように制御し、
顔検出結果が受信されると、前記顔検出結果に基づいて予め定められた前記装置の機能を遂行するように制御し、目検出結果が受信されると、前記目検出結果に基づいて予め定められた前記装置の機能を遂行するように制御する制御部と、を含み、
前記制御部は、
目認識アルゴリズムを通じて一つ以上の目候補領域を検出し、検出された目候補領域のうち皮膚色を利用した目検出方式を用いて最終目領域を決定するように制御することを特徴とする装置。
【請求項２】
前記制御部は、
前記顔検出結果が受信されると、前記顔検出結果に基づいてユーザ状態情報を判断し、前記判断されたユーザ状態情報に対応する前記予め定められた前記装置の機能を遂行するように制御し、
前記目検出結果が受信されると、前記目検出結果に基づいて前記ユーザ状態情報を判断し、前記判断されたユーザ状態情報に対応する前記予め定められた前記装置の機能を遂行するように制御し、
前記ユーザ状態情報は、
ユーザの存在有無、ユーザの顔方向、前記装置との距離、及びユーザの顔位置のうち少なくとも一つを含むことを特徴とする請求項１に記載の装置。
【請求項３】
前記制御部は、
予め設定されたイベントの発生時に、前記映像入力部を駆動させることを特徴とする請求項１又は２に記載の装置。
【請求項４】
前記制御部は、
画面ロック状態に転換されると、前記映像入力部を駆動した後、前記映像入力部を通じて入力される映像に対する認識結果が前記ユーザが存在すると判断されると、画面ロック状態を解除した後、予め設定された時間が経過しても以後前記映像入力部を通じて入力される映像に対する認識結果が前記ユーザが存在すると判断されると、前記画面ロック状態の解除を維持することを特徴とする請求項１〜３のいずれか１項に記載の装置。
【請求項５】
前記制御部は、
顔認識アルゴリズムを通じて前記入力映像内に顔が検出されるかを判断し、前記顔が検出されないと、目認識アルゴリズムを通じて目検出を遂行するように制御することを特徴とする請求項１〜４のいずれか１項に記載の装置。
【請求項６】
前記制御部は、
前記検出された目候補領域を横及び縦方向で予め定められた数の領域に分割した後、横方向で分割された領域のうち、中央領域を除外した残りの領域に対する皮膚色の比率及び縦方向で分割された領域のうち一部領域に対する皮膚色でない部分の比率を算出し、算出された皮膚色の比率と皮膚色でない比率が予め定められたそれぞれの閾値より大きい場合、最終目領域として決定するように制御することを特徴とする請求項５に記載の装置。
【請求項７】
前記制御部は、
前記検出された目候補領域のＹ、Ｃｂ、Ｃｒ値を用いて前記皮膚色に該当するピクセル値を決定するように制御することを特徴とする請求項５又は６に記載の装置。
【請求項８】
前記制御部は、
前記最終目領域が決定されると、前記最終目領域の周辺領域を正規化することによって、前記顔の上、下を決定するように制御することを特徴とする請求項６又は７に記載の装置。
【請求項９】
前記制御部は、
顔判断領域を前記入力映像の水平方向または垂直方向でスキャニングすることによって、前記顔判断領域の一部が前記入力映像の縁から外れる位置に移動すると、ミラーリング方式及びテンプレートマッチング方式のうち少なくとも一つを用いて前記顔判断領域内で前記縁から外れた領域を補正するように制御することを特徴とする請求項１〜８のいずれか１項に記載の装置。
【請求項１０】
前記制御部は、
前記顔判断領域が前記入力映像の左側または右側縁から外れる位置に移動すると、前記ミラーリング方式を用いて前記顔判断領域の前記左側または右側縁から外れた領域を前記入力映像内に含まれる顔判断領域のピクセル情報で満たした後、前記補正された領域を含む前記顔判断領域から部分顔を検出するように制御することを特徴とする請求項９に記載の装置。
【請求項１１】
前記制御部は、
前記顔判断領域が前記入力映像の上側または下側縁から外れる位置に移動すると、前記テンプレートマッチング方式を用いて前記上側または下側縁から外れた領域を前記テンプレートマッチング方式に従う映像を取り付けることによって補正した後、前記補正された領域を含む前記顔判断領域から部分顔を検出するように制御することを特徴とする請求項９又は１０に記載の装置。
【請求項１２】
前記制御部は、
前記顔判断領域の一部が前記入力映像のコーナーから外れる位置に移動すると、前記ミラーリング方式及び前記テンプレートマッチング方式を同時に適用して前記顔判断領域内で前記コーナーから外れた領域を補正した後、前記補正された領域を含む前記顔判断領域から部分顔を検出するように制御することを特徴とする請求項９〜１１のいずれか１項に記載の装置。
【請求項１３】
移動端末におけるユーザの状態分析結果によって前記移動端末の機能を制御する方法であって、
予め設定されたイベントの発生時に、前記移動端末の前面に設けられた映像入力部を駆動するステップと、
前記映像入力部を通じて入力映像が受信されると、前記入力映像に対して顔検出を遂行するステップと、
前記顔検出が失敗すると、前記入力映像に対して目検出を遂行するステップと、
顔検出結果が受信されると、前記顔検出結果に基づいて予め定められた前記移動端末の機能を遂行するステップと、
目検出結果が受信されると、前記目検出結果に基づいて予め定められた前記移動端末の機能を遂行するステップと、
を含み、
前記目検出を遂行するステップは、
目認識アルゴリズムを通じて一つ以上の目候補領域を検出するステップと、
検出された目候補領域のうち皮膚色を用いた目検出方式を用いて最終目領域を決定するステップと、を含むことを特徴とする方法。
【請求項１４】
前記顔検出結果に基づいて予め定められた前記移動端末の機能を遂行するステップは、
前記顔検出結果に基づいてユーザ状態情報を判断し、前記判断されたユーザ状態情報に対応する前記予め定められた前記移動端末の機能を遂行するステップを含み、
前記目検出結果に基づいて予め定められた前記移動端末の機能を遂行するステップは、
前記目検出結果に基づいてユーザ状態情報を判断し、前記判断されたユーザ状態情報に対応する前記予め定められた前記移動端末の機能を遂行するステップを含み、
前記ユーザ状態情報は、
ユーザの存在有無、ユーザの顔方向、前記移動端末との距離及びユーザの顔位置のうち少なくとも一つを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記映像入力部を駆動するステップは、
画面ロック状態に転換されると、前記映像入力部を駆動するステップを含むことを特徴とする請求項１３又は１４に記載の方法。
【請求項１６】
前記映像入力部を通じて入力される映像に対する認識結果がユーザが存在すると判断されると、画面ロック状態を解除するステップと、
以後、前記映像入力部を通じて入力される映像に対する認識結果が前記ユーザが存在すると判断されると、前記画面ロック状態の解除を維持するステップと、をさらに含むことを特徴とする請求項１３〜１５のいずれか１項に記載の方法。
【請求項１７】
前記最終目領域は、
前記検出された目候補領域を横及び縦方向で予め定められた数の領域に分割した後、横方向で分割された領域のうち中央領域を除外した残りの領域に対する皮膚色の比率及び縦方向で分割された領域のうち一部領域に対する皮膚色でない部分の比率を算出し、算出された皮膚色の比率と皮膚色でない比率が予め定められたそれぞれの閾値より大きい場合、
前記最終目領域として決定されることを特徴とする請求項１３〜１５のいずれか１項に記載の方法。
【請求項１８】
前記皮膚色に該当するピクセル値は、
前記検出された目候補領域のＹ、Ｃｂ、Ｃｒ値を用いて決定されることを特徴とする請求項１３〜１５又は１７のいずれか１項に記載の方法。
【請求項１９】
顔判断領域を前記入力映像の水平方向または垂直方向でスキャニングするステップと、
前記スキャニングすることによって、前記顔判断領域の一部が前記入力映像の縁から外れる位置に移動すると、ミラーリング方式及びテンプレートマッチング方式のうち少なくとも一つを用いて前記顔判断領域内で前記縁から外れた領域を補正するステップと、をさらに含むことを特徴とする請求項１３〜１８のいずれか１項に記載の方法。
【請求項２０】
前記顔検出を遂行するステップは、
前記顔判断領域が前記入力映像の左側または右側縁から外れる位置に移動すると、前記ミラーリング方式を用いて前記顔判断領域の前記左側または右側縁から外れた領域を前記入力映像内に含まれる顔判断領域のピクセル情報で満たすステップと、
前記補正された領域を含む前記顔判断領域から部分顔を検出するステップと、を含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記顔検出を遂行するステップは、
前記顔判断領域が前記入力映像の上側または下側縁から外れる位置に移動すると、前記テンプレートマッチング方式を用いて前記上側または下側縁から外れた領域を前記テンプレートマッチング方式に従う映像を取り付けることによって補正するステップと、
前記補正された領域を含む前記顔判断領域から部分顔を検出するステップと、を含むことを特徴とする請求項１９又は２０に記載の方法。
【請求項２２】
前記顔検出を遂行するステップは、
前記顔判断領域の一部が前記入力映像のコーナーから外れる位置に移動すると、前記ミラーリング方式及び前記テンプレートマッチング方式を同時に適用して前記顔判断領域内で前記コーナーから外れた領域を補正するステップと、
前記補正された領域を含む前記顔判断領域から部分顔を検出するステップと、を含むことを特徴とする請求項１９〜２１のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置及び方法に関し、特に映像入力部を通じて入力された映像内でユーザの顔分析結果によって移動端末を制御する装置及び方法に関する。
【背景技術】
【０００２】
最近、移動端末機で提供する多様なサービス及び付加機能が順次拡大され、その中でもカメラ機能は必須な機能であると認識されている。このような移動端末機の効用価値を高めてユーザの多様な欲求を満足させるためにカメラを具備した移動端末機とこのような移動端末機の多様なサービス及び付加機能を接目させる活用が必要である。このような活用の一例として、カメラを通じて入力される映像を用いて顔を認識する技術がある。このような顔認識技術は、表情研究、運転手の眠気感知、出入管理などの多くの応用分野で非常に重要であると認識されている。
【０００３】
このような顔認識の方法の中には、カメラからの映像で、ユーザの顔面、目、口、あご、眉毛、顔の輪郭などのような特徴のうち、３箇所以上の特徴を識別した後、基準方向に対して該当映像の回転方向を決定し、決定された回転方向でディスプレイする技術がある。また、前面カメラ部を通じてユーザ顔の輪郭、目、あご、口の位置を認識した後、二つの目をつなぐ両眼線の回転角度を算出して表示情報の表示方向を決定して表示する技術がある。ところが顔認識のためには、映像で顔、目、口、あごなどの複数の顔構成要素や顔で発生する特徴の正確な位置を検出する過程が必要である。
【０００４】
上述したように、従来では、大部分ユーザ顔と共に、目、口、あごなどの顔構成要素を検出することを前提とするので、他の客体によって顔が隠されるか、カメラ画角によって一部分の顔のみがキャプチャーされるなどの映像では、ユーザ顔が検出されないので、正常な顔認識結果を獲得できないだけでなく、顔検出結果に対応する機能が正常に遂行されることができなくなる。
【０００５】
その上、顔認識技術において、正確な顔認識のためには、目の位置を正確に検出する技術が前提にならなければならない。しかしながら、従来では、顔映像内の目位置を検出する方法に重点を置いているので、顔が検出されない状況を考慮していない。したがって、顔が検出されない状況でも目位置を正確に検出する必要性がある。
【０００６】
また、従来では、ユーザが移動端末に所望の動作が遂行されるようにするためには、キーパッド、タッチスクリーンなどのようなハードウェア的なユーザインターフェースを利用せざるを得なかった。もし、ユーザの直接的な入力なしに目検出を通じて移動端末の制御が可能であれば、ユーザの利便性を向上させることができる。
【先行技術文献】
【特許文献】
【０００７】
韓国特許公開１０−２００９−０１０１７３３号公報
韓国特許公開１０−２００９−０１２５２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、少なくとも上述した問題点及び／又は課題に取り組み、少なくとも以下の利便を提供することにある。  
【０００９】
したがって、本発明の目的は、ユーザからの直接的な入力なしに入力映像で顔または目を検出して移動端末を制御することができる装置及び方法を提供することにある。
【００１０】
また、本発明の他の目的は、入力映像で顔が検出されない状態でも目検出を通じて移動端末を制御することができる装置及び方法を提供することにある。
【００１１】
さらに、本発明のさらに他の目的は、入力映像に存在する一部分の顔に対しても顔検出を遂行するための装置及び方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記のような目的を達成するために、本発明の一態様によれば、ユーザの顔分析結果によって移動端末を制御する装置を提供する。上記装置は、映像入力部と、上記映像入力部を通じて入力映像が受信されると、上記入力映像に対して顔または目検出を遂行する映像処理部と、上記映像処理部からの顔認識結果または目認識結果に基づいてユーザ状態情報を判断し、上記ユーザ状態情報に対応して予め定められた移動端末の機能を遂行するように制御する制御部と、を含むことを特徴とする。
【００１３】
本発明の他の態様によれば、移動端末におけるユーザの顔分析結果によって移動端末の機能を制御する方法を提供する。上記方法は、予め設定されたイベントの発生時に、上記移動端末の前面に設けられた映像入力部を駆動するステップと、上記映像入力部を通じて入力映像が受信されると、上記入力映像に対して顔検出を遂行するステップと、  上記顔検出が遂行されないと、上記入力映像に対して目検出を遂行するステップと、  上記映像処理部からの顔認識結果または目認識結果に基づいてユーザ状態情報を判断するステップと、上記ユーザ状態情報に対応して予め定められた移動端末の機能を遂行するステップと、を含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ユーザが予め設定したセッティングによって移動端末が制御されることでなく、入力映像の分析を通じてユーザの顔方向だけでなく、ユーザの存在有無、移動端末とユーザとの距離のようなユーザ状態分析を通じて知能的にハードウェア及びソフトウェアを制御することによってユーザ利便性を高める効果がある。
【００１５】
また、本発明によれば、顔が検出されない状況では目を検出し、該当検出された目情報を用いてユーザの存在有無を判断し、該当判断結果によって表示部上の画面照明時間延長及び画面消えを制御するだけでなく、動映像再生のときに、画面一時静止機能をユーザに提供することができる。
【００１６】
さらに、本発明によれば、移動端末で画一的な制御方式を改善して該当検出された目情報から移動端末での顔方向を推定して画面回転機能を知能的に制御し、目のサイズ変化によって移動端末のボリュームを知能的に制御することができるサービスを提供するなど、移動端末を利用するにあって利便性向上を図ることができる。これによって、ユーザ立場では、移動端末の機能を容易であり、かつ直観的に利用することができ、ユーザ経験を向上させることができる。
【００１７】
なおさら、本発明によれば、映像に部分顔が存在するとしても、その部分顔に対する顔検出を遂行することができ、誤検出の影響も大きく低減しながら、縁に現れる部分顔の検出も可能であり、ユーザに顔検出結果に対応する円滑な機能を提供することができる。
【００１８】
本発明による実施形態の上記及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態による移動端末の内部ブロック構成図である。
【図２】本発明の実施形態による移動端末での動作過程を示した図である。
【図３】図２の顔検出及び目検出の詳細過程を示した図である。
【図４】本発明の実施形態による顔方向によって顔を検出する方法を説明するための例示図である。
【図５】本発明の実施形態による目検出方法を説明するための例示図である。
【図６】本発明の実施形態による目候補領域を検出する方式を説明するための例示図である。
【図７】本発明の実施形態による入力映像で顔が存在できる位置に対する例示を示した図である。
【図８】本発明の実施形態による映像フレームで顔判断領域を利用したスキャニング方法を説明するための図である。
【図９Ａ】本発明の実施形態による映像フレームのスケールにともなう顔判断領域の移動を示した図である。
【図９Ｂ】本発明の実施形態による映像フレームのスケールにともなう顔判断領域の移動を示した図である。
【図１０】本発明の実施形態による映像フレームの縁での顔判断領域とその映像フレーム間の位置関係を示した図である。
【図１１Ａ】本発明の実施形態による映像フレームの右側縁付近に部分顔が存在する場合を示した図である。
【図１１Ｂ】本発明の実施形態によるスキャニング位置に従う顔判断領域に含まれた顔映像を示した図である。
【図１１Ｃ】本発明の実施形態によるミラーリング方式により補正された映像を示した図である。
【図１２】本発明の実施形態によるミラーリング方式を説明するための図である。
【図１３】本発明の実施形態によって映像フレームの下側または右側下側コーナーに部分顔が存在する場合を示した図である。
【図１４】本発明の実施形態によって予め定義された顔テンプレートを示した図である。
【図１５】本発明の実施形態による映像補正方法を示すフローチャートである。
【図１６】本発明の他の実施形態による映像補正方法を示すフローチャートである。
【図１７】本発明のさらに他の実施形態による映像補正方法を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。図面における同様な構成要素に対しては、他の図面に表示されても、同様な参照番号及び符号を付けてあることに注意されたい。また、明瞭性及び簡潔性の観点から、本発明に関連した公知の機能や構成に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳細な説明を省略する。
【００２１】
本発明は、入力映像で顔または目を検出して移動端末を制御することができる方法を提供する。このために本発明は、移動端末の前面に設けられた映像入力部を通じて前方を撮影した映像が入力されると、入力された映像に対して顔認識を遂行して認識結果に基づいてユーザの存在有無、ユーザの顔方向、移動端末との距離、ユーザの顔位置などを含むユーザ状態情報を判断し、そのユーザ状態情報によって予め定められた移動端末の機能を遂行する過程からなる。このようにすることによって、ユーザからの直接的な入力がなくても移動端末の機能を制御できるようになる。
【００２２】
上述したように機能が具現された移動端末の構成要素及びその動作を図１を参照して説明する。
【００２３】
図１は、本発明の望ましい実施形態による移動端末の構成を示す図である。移動端末は、スマートフォン、携帯電話、ゲーム機、ＴＶ、ディスプレイ装置、車両用ヘッドユニット、ノートブック、ラップトップ、タブレット(Tablet)ＰＣ、ＰＭＰ(Personal Media Player)、ＰＤＡ(Personal Digital Assistants)などであり得る。
【００２４】
図１を参照すれば、移動端末は、映像入力部１００、映像処理部１０５、制御部１２０、メモリ１３０、表示部１４０及び通信部１５０を含む。それ以外に移動端末は、マイクなどの構成部をさらに含むことができるが、以下では、本発明と関連した構成部に対してのみ説明する。
【００２５】
映像入力部１００は、移動端末の前面に装着され、ユーザ方向に向けるのでユーザの顔を撮影する役割をする。このような映像入力部１００は、レンズ系、イメージセンサー、フラッシュなどを含むカメラであり得る。ユーザは、映像入力部１００を通じて動映像または静止映像を撮影することができ、前方またはユーザを撮影した映像信号は、映像処理部１０５に伝達される。静止映像または動映像を構成する一つの映像を処理する場合において、ＭｘＮ行列(matrix)構造で配置された複数の画素(pixel)ユニットで構成された該当イメージセンサーから出力される映像信号は、該当画素ユニットから出力される電圧(すなわち、画素値）の集合で構成される。
【００２６】
このような映像入力部１００から出力される映像信号は、一つのフレーム(すなわち、静止映像）を示す。また、上記フレームは、ＭｘＮ画素で構成される。上記イメージセンサーは、ＣＣＤ(charge-coupled device)イメージセンサー、ＣＭＯＳ(complementary metal-oxide semiconductor)イメージセンサーなどであり得る。
【００２７】
この時、一般的に映像入力部１００を通じて撮影される映像は、プリビューのために表示部１４０上に表示されるが、本発明の実施形態では、ユーザが移動端末の機能または特定アプリケーションを使用している状態で、顔検出結果または目検出結果を用いて移動端末の特定機能を知能的に制御することであるから、入力映像が表示部１４０上に表示されないことがある。これによって、ユーザが自身が撮影されていることを認知できなくても、移動端末とユーザ間の距離、目のサイズなどをユーザが調節することができ、移動端末の制御のための直観的な入力が可能である。
【００２８】
映像処理部１０５は、フレーム単位で映像を処理して撮影された映像に対する顔認識を遂行する。ここで、顔認識は、写真撮影のような静止画像だけでなく、動映像に対しても適用され得る。例えば、動映像の場合、連続的な静止映像フレームで構成されることであるから、顔認識のために静止映像フレームが使用されることができる。
【００２９】
このような映像処理部１０５は、入力映像に顔映像が含まれている場合、顔映像を抽出して認識し、顔映像が含まれていない場合、入力映像で目を検出して認識を遂行する。このために映像処理部１０５は、大きく顔検出部１１０と目検出部１１５を含んで構成され得る。このような顔検出部１１０での具体的な動作については後述する。
【００３０】
この時、顔認識の遂行は、移動端末に設けられた顔認識アルゴリズムに基づき、被写体の顔全体輪郭情報を用いて識別する方法を使用するか、顔皮膚の色相及び／または質感、テンプレートなどを利用した顔抽出技術が利用され得る。例えば、映像処理部１０５は、複数の顔映像を通じて顔学習を遂行し、蓄積された顔学習データを用いて入力された映像フレームから顔映像を検出することができる。
【００３１】
また、目認識の遂行も目認識アルゴリズムに基づき、一般的に目検出は、顔をまず検出した後、検出された顔領域の制限された領域内で目を検出する。また、入力映像で左右目の対を用いて目を検出する技術が利用されることができる。特に本発明の実施形態では、入力映像で顔が検出されない場合に、入力映像全体または予め定められた関心領域内で目検出を遂行する方法を利用する。
【００３２】
メモリ１３０は、移動端末の運営システム、多様なアプリケーション、移動端末に入力される情報、データ、ファイルなどと、その内部で生成される情報、データ、ファイルなどを保存する。例えば、メモリ１３０は、写真、動映像などのような映像を保存し、映像入力部１００を通じて入力される被写体顔を認識するための顔認識アルゴリズム及び顔認識に使われるデータなどを保存する。例えば、顔検出に使用する顔に対する情報と、顔認識に使用する予め登録されたユーザ別顔特徴情報を保存することができる。このようにメモリ１３０に保存される顔検出に使用する顔情報は、反復される顔認識によってその情報が学習されアップデートされることができる。
【００３３】
表示部１４０は、制御部１２０から入力された映像信号に応じる映像を表示すると同時に、ユーザ入力データを受信して制御部１２０に出力することができる。表示部１４０は、ＬＣＤ(liquid crystal display)、ＯＬＥＤ(Organic Light Emitting Diodes)、ＬＥＤなどのようなディスプレイユニットと、ディスプレイユニットの下または上に配置されるタッチパネルを含み得る。上記タッチパネルは、ユーザ入力を感知する。該当タッチパネルは、ユーザ入力手段(例えば、指、スタイラスペン(styluspen)など)が表示部の表面を押さえれば、入力位置(または座標)及び／または入力状態(マウスダウン、マウスアップ、マウス移動など)に対する情報を有する感知信号(またはタッチ感知信号)を出力する。例えば、ユーザは、表示部１４０の画面(すなわち、表示部１４０の表面)に表示された多様な実行可能なアイテムをタッチして該当アイテムと関連したアプリケーションを実行する。表示部１４０は、ユーザの入力を受信する手段であり、カメラアプリケーション、画像通信アプリケーションなどのアプリケーションと関連した画面を出力する。この例で、表示部の例としてタッチスクリーンを挙げているが、表示部は、通常のディスプレイユニットだけで構成されることもできる。
【００３４】
通信部１５０は、制御部１２０により生成されたメッセージ、データ、ファイルなどを有線または無線で伝送するか、有線または無線でメッセージ、データ、ファイルなどを受信して制御部１２０に出力する。
【００３５】
センサー部１６０は、移動端末の位置、方位、動きを感知するセンサーとして、加速度系(accelerometer)、ジャイロスコープ(gyroscope)、衝撃センサー(shock sensor)、チルトセンサー(tilt sensor)などの慣性センサー、高度計、重力センサー、地磁気センサー、またはこれらの組み合わせで具現され得る。もちろん、本発明がこれに限定されるものではなく、センサー部１６０は、移動端末の回転方向、動き方向または傾きを感知することができる他の類型のセンサーで具現されることもできる。
【００３６】
スピーカー１７０は、制御部１２０から入力された音声信号(または音声データ)を外部に出力し、制御部１２０の制御の下に顔方向によってステレオ音声の左、右出力を異なるようにして音声信号を出力する。他には制御部１２０の制御の下に、目サイズによってボリュームサイズを異なるようにして音声信号を出力する。
【００３７】
制御部１２０は、中央処理処置として移動端末の全般的な動作を制御し、本発明によるユーザの顔分析結果に従う移動端末の機能制御方法を遂行する役割をする。このような制御部１２０は、タッチスクリーン形態の表示部１４０だけでなく、映像入力部１００を通じて受信される多様なユーザ入力を検出することができる。該当ユーザ入力は、上記タッチだけでなく、ユーザのジェスチャー(gesture)、瞳の動きなど、上記装置１００内に入力される多様な形態の情報を含むことができる。制御部１２０は、該当検出されたユーザ入力に対応する予め定められた動作または機能が移動端末内で遂行されるように制御することができる。
【００３８】
具体的に、制御部１２０は、映像処理部１０５からの顔及び／または目検出結果を用いて顔または目それぞれのサイズ、位置及び角度を推定する。これによって制御部１２０は、顔及び／または目検出結果を用いてユーザ状態情報を判断することができる。ここで、ユーザ状態情報とは、ユーザの存在有無、ユーザの顔方向、移動端末とユーザ間の相対的距離、ユーザの顔位置のうち少なくとも一つを含む。
【００３９】
具体的に、制御部１２０は、入力映像で顔または目が検出されたか否かによってユーザの存在有無を判断し、画面で顔または目が占める比率、すなわち、顔サイズまたは目サイズによって移動端末とユーザ間の相対的距離を推定する。制御部１２０は、入力映像の上、下、左、右方向、例えば、０゜、９０゜、１８０゜、２７０゜のうち、顔が検出された角度及び位置を用いてユーザの顔方向とユーザの顔位置を判断する。制御部１２０は、入力映像で顔が検出されなくても目位置及び角度によってユーザの顔方向とユーザの顔位置を判断することもできる。
【００４０】
次に、制御部１２０は、ユーザ状態情報によって予め定められた機能が遂行されるように制御する。本発明では、ユーザ状態情報によって予め定められた機能を次のような実施形態で区分して説明する。
【００４１】
本発明の第１の実施形態によれば、ユーザが移動端末を使用する途中に、予め指定された時間が経過すれば、制御部１２０は、表示部１４０をオフし画面ロックモードを遂行する。このように画面ロックモードが実行されると、制御部１２０は、映像入力部１００を駆動して前方を撮影するように制御し、映像処理部１０５から顔検出または目検出結果の提供を受けてユーザの存在有無を判断し、ユーザが移動端末の前方に存在すると判断されると、画面ロックを解除するように制御する。以後には、該当予め指定された時間が経過しても制御部１２０は入力映像でユーザの顔が検出される限り、表示部１４０をオン状態で維持する。このような場合には、毎度画面ロックを解除するために特定キー、パスワード、ロックパターンなどの別途の入力をしなくてもよいので、ユーザの利便性が増大する。これとは異なり、ユーザが移動端末の前方に存在しないと判断されると、制御部１２０は画面ロック状態を維持する。
【００４２】
このように本発明の第１の実施形態によれば、制御部１２０は、表示部１４０上の画面照明時間延長及び画面ロックを制御することができる。例えば、ユーザが動映像を視聴している途中、少しの間席を外しても、ユーザが直接一時停止機能を選択しない限り、動映像が継続的に再生されるようになる。しかしながら、本発明によれば、入力映像では、顔及び目が検出されなくてユーザの存在がないと判断されるので、制御部１２０は、別途のキー入力がなくても一時停止機能を遂行することができる。
【００４３】
本発明の第２実施形態によれば、制御部１２０は、センサー部１６０を通じて移動端末の回転が感知されると、映像入力部１００を駆動する。次に、映像処理部１０５から提供された顔及び／または目検出結果を用いてユーザの顔方向を判断する。これによって、制御部１２０はユーザの顔方向によって画面の表示方向を決定する。すなわち、移動端末が回転されてもユーザの顔方向を優先として画面表示方向が決定されるので、ユーザ立場では、常にユーザ方向の画面を見られるようになる。このように本発明の第２実施形態によれば、画面回転機能を知能的に制御することができる。
【００４４】
本発明の第３実施形態によれば、制御部１２０は、ユーザの顔方向によってスピーカー１７０を介したステレオ音声の左、右出力を変更することができる。
【００４５】
本発明の第４実施形態によれば、画像通話または動映像再生のとき、制御部１２０は、顔サイズまたは目サイズから推定された移動端末とユーザ間の距離によって音声出力を変更することができる。
【００４６】
上述したように本発明の実施形態によれば、ユーザの直接的な入力がなくてもユーザが移動端末を使用している状態であれば、ユーザ立場では直観的な制御が可能であり、移動端末立場では知能的な制御が可能になる。
【００４７】
図２は、本発明の実施形態による移動端末での動作過程を示した図である。
【００４８】
図２を参照すれば、制御部１２０は、ステップ２００で予め設定されたイベントが発生すれば、ステップ２０５で映像入力部１００を駆動する。ここで、予め設定されたイベントとは、移動端末の回転、揺れ、照度変化、呼着信、文字メッセージ受信、スマートフォンアプリケーションで発生した通知など、移動端末のハードウェア及びソフトウェアの変化を全部含む。
【００４９】
次に、ステップ２１０で、映像処理部１０５では、映像入力部１００を通じて入力される初期映像フレームを廃棄した後、後続の入力された映像に対する顔認識を遂行する。この時、映像入力部１００の駆動後、入力された初期映像は、露出、フォーカス、ホワイトバランスなどを含むカメラパラメータが周囲環境に合うようにセッティングが完了した状態でないために、映像が暗くて焦点が合わないことがあるので、初期入力映像のうち一つまたは複数の映像フレームをスキップ(skip)処理し、自動セッティングが完了した以後の映像フレームを顔認識に利用することが望ましい。
【００５０】
ステップ２１５で、映像処理部１０５は、入力映像で顔認識アルゴリズムを利用した顔検出が成功したらステップ２２５に進行する。これとは異なり、ステップ２１５で顔検出が失敗すれば、映像処理部１０５は、ステップ２２０で目検出を遂行して目検出が成功したか否かを判断する。目検出が失敗すれば、ステップ２１０に戻って映像入力部１００を通じて映像をさらに受信する。ステップ２２０で目検出が成功したら、ステップ２２５で制御部１２０は映像処理部１０５から提供された顔検出結果及び／または目検出結果に基づいてユーザ状態情報を分析する。具体的に、制御部１２０は、入力映像に顔または目が検出されると、ユーザが存在すると見なし、ユーザの顔方向、移動端末を眺めるユーザの顔位置、ユーザの顔方向及び移動端末との相対的距離などを分析する。
【００５１】
次に、ステップ２３０で分析されたユーザ状態情報によって、移動端末の機能を制御する。例えば、予め設定されたイベントが文字メッセージ受信である場合、文字メッセージ受信を画面を通じてユーザに通知するためには、ユーザが画面を凝視した状態である必要があるので、顔または目が検出された場合、制御部１２０は文字メッセージを表示部１４０に表示する。
【００５２】
一方、図２の入力映像に対する顔認識または目認識を遂行する部分(２４０）を具体的に説明するために図３を参照する。図３は、図２の顔検出及び目検出の詳細過程を示した図面であり、本発明の理解を助けるために図４及び図５を参照する。一般的に、ユーザが移動端末を使用する時、回転角度が０゜、９０゜、１８０゜、２７０゜方向で主に使用するために、図４に示したように入力映像でユーザ顔が０゜(４００)、９０゜(４１０)、１８０゜(４１５)、２７０゜(４２０)方向のうちいずれか一方向に位置することができる。
【００５３】
図３を参照すれば、ステップ３００で映像が入力されると、ステップ３０５乃至ステップ３２０を遂行して映像処理部１０５は、０゜、９０゜、１８０゜、２７０゜方向のうちいずれか一方向に対して顔が検出されるかを判断する。０゜、９０゜、１８０゜、２７０゜方向のうちいずれか一方向に対して顔が検出されると、制御部１２０は、ステップ３５５で映像処理部１０５からの顔検出結果を用いて顔方向を決定する。
【００５４】
これとは異なり、ステップ３０５乃至ステップ３２０を遂行して顔が検出されないと、映像処理部１０５は、ステップ３２５乃至ステップ３４０を遂行して０゜、９０゜、１８０゜、２７０゜方向のうちいずれか一方向に対して目が検出されるかを判断する。例えば、映像入力部１００が駆動され撮影が開始されてもプリビュー画面の代わりに現在ユーザが利用中であるアプリケーション画面などが出力され、ユーザは、自身が撮影されていることを認知していない状態であるから、映像入力部１００の撮影範囲内に正確に位置しないこともあり、これによって、図５に示したように顔の一部５００、５１５、５２０だけが撮影される場合がある。
【００５５】
このような場合には、入力映像で顔が検出されなくても、目５０５、５１５、５２５の検出が可能である。この時、図５に示したように一部の顔５２０で左右両眼５２５が存在する映像が撮影されることができるが、参照番号５００及び５１５のように、単眼５０５、５１５が存在する映像が撮影されることもできる。したがって、本発明では、左右両眼だけでなく単眼に対しても目検出が可能な方法を提案する。
【００５６】
このような目検出のための方法は、後述する。０゜、９０゜、１８０゜、２７０゜方向のうちいずれか一方向に対して目が検出されると、制御部１２０は、ステップ３５０で、顔の上又は下方向を判断する。次に、ステップ３５５で顔方向を決定し、ステップ３６０で決定された顔方向によって表示方式の回転可否を判断する。例えば、ユーザ顔が１８０゜(４１５)方向で検出されると、ユーザが移動端末の上側に位置している状態であり、移動端末の画面がユーザ立場では逆である状態である。したがって、本発明によれば、ユーザ顔が検出された方向に移動端末の画面表示を回転(rotating)させることができる。すなわち、移動端末の画面がユーザ顔方向に回転され表示される。
【００５７】
一方、目検出は、次のような方法を用いて遂行されるが、皮膚色、目テンプレートなどを用いた目検出技術が利用されることができる。特に、本発明の実施形態では、入力映像で左右両眼だけでなく、単眼に対しても目検出が可能な方法を提案する。
【００５８】
具体的に、映像処理部１０５は、入力映像全体または予め定めた関心領域で目検出を遂行する。この時、目検出速度を低めるために、以前映像フレームで得た目検出位置に基づいて局部的な目検出を遂行することもできる。また、皮膚色を用いて目検出を遂行することもでき、皮膚色を用いた目検出方法は、図６を参照して説明する。
【００５９】
映像処理部１０５は、目認識アルゴリズムを通じて一つ以上の目候補領域を検出する。例えば、入力映像を二進化する等の過程を経て目の候補になることができる閉曲線を抽出するか、顔で目の明るさは、黒い瞳孔を有しない西洋人の場合であっても入力映像でのそのカラー特性は、濃灰色(charcoal)性向を示すという特徴を用いて目候補領域を検出する。この時、検出された顔領域で目検出を遂行する一般的な方法に比べて、一つ以上の目候補領域が検出されることができ、検出された目候補領域の中の一部は、実際目でない領域であり得る。
【００６０】
したがって、本発明の実施形態では、目認識アルゴリズムを通じて一つ以上の目候補領域が検出された場合、検出された目候補領域のうち、誤検出目領域を除去するために、皮膚色を用いた目検出方法を提案するものである。
【００６１】
このために映像処理部１０５は、一つ以上の検出された目候補領域のＹ、Ｃｂ、Ｃｒ値を用いて皮膚色の比率と皮膚色でない領域の比率を求めた後、その比率を用いて目検出を遂行する。この時、皮膚色に該当するＹ、Ｃｂ、Ｃｒのそれぞれの範囲は、予め定めた閾値Ｔｙ、Ｂ１、Ｂ２、Ｒ１、Ｒ２によって決定され、下記＜数式１＞を満足するＹ、Ｃｂ、Ｃｒに該当するピクセル値は、皮膚色領域に該当すると判断する。
（Ｙ＞Ｔｙ）and（Ｂ１＜Ｃｂ＜Ｂ２）ａｎｄ（Ｒ１＜Ｃｒ＜Ｒ２）・・・＜数式１＞
【００６２】
該当予め定められた閾値は、人種、照明などのような外部環境によって多様に適用され得る。
【００６３】
ここで、皮膚色と皮膚色でない領域の比率を算出する方法に対する例示は、図６に示したようである。図６を参照すれば、映像処理部１０５の目検出部１１５は、目候補領域を検出した後、該当検出された目候補領域を横方向で３個の領域６００、６０５、６１０で区分し、縦方向で４個の領域で区分する。次に、映像処理部１０５は、横方向で３等分された領域６００、６０５、６１０の中で、中央領域６０５を除外した領域６００、６１０に対した皮膚色の比率Ｓを計算し、中央領域６０５で縦方向に４等分した領域のうち、１／４〜３／４領域６１５に該当する部分に対して皮膚色でない部分の比率ＮＳを計算する。ここで、該当検出された目候補領域のＹ、Ｃｂ、Ｃｒ値を用いて該当皮膚色に該当するピクセル値が決定され、このような皮膚色を決定するための条件は、上記＜数式１＞で説明したようである。
【００６４】
このような方式を通じて目候補領域で皮膚色と皮膚色でない部分の比率Ｓ、ＮＳが求められると、皮膚色と皮膚色でない部分の比率Ｓ、ＮＳの各々を予め定めておいた閾値Ｔｓ、Ｔｎと比較する。このような比較結果が下記＜数式２＞を満足すると、目検出が成功したと決定し、下記＜数式２＞の条件を満足でなければ、誤検出であると判断する。
（Ｓ＞Ｔｓ）ａｎｄ（ＮＳ＞Ｔｎ）・・・＜数式２＞
【００６５】
したがって、一つ以上の目候補領域の中で、＜数式２＞を満足する目候補領域を最終的に目が検出された領域として決定する。上述したように誤検出された目候補領域を除去する方法を利用すると、両眼だけでなく単眼の場合にも目検出が容易である。この時、該当目候補領域を横、縦方向で分けた比率は、図６での例示に限定されない。
【００６６】
例えば、映像処理部１０５は、正常な目映像と、目と誤検出が頻繁な映像を収集して目学習を遂行し、目学習を通じて蓄積された目学習データを用いて入力映像から目検出をすることができる。
【００６７】
このように本発明によれば、図５のように全体顔が検出されなくても、目が検出されたか否かによってユーザの存在有無を把握することができ、移動端末を眺めるユーザの顔方向を推定するために、映像の０°、９０°、１８０°、２７０°方向に対して順次的に目検出を遂行する。顔検出過程を４方向(上、下、左、右)に対してまず遂行した後、検出された顔がある場合には、これを活用して現在ユーザの顔方向を判断し、顔検出が失敗した場合に目検出過程を進行する。この時、顔検出と同様に４方向に対して検出を遂行し、顔検出ときに利用した回転された映像を活用することによって演算量を減らす。４方向に対して目検出が失敗すれば、さらに分析を開始し、特定方向で目が検出されると、顔の上、下方向を判断する過程に進行する。
【００６８】
顔検出とは異なり、目検出は、上、下情報を検出過程だけでは認識できないから、目候補領域の中で最終目領域が決定されても、追加で方向判断のための過程が必要である。例えば、目方向を判断することにあって、検出された単眼あるいは両眼に対して最終目領域の周辺領域の映像を正規化させ、これを活用して顔の上、下を決定する。例えば、目と共に眉毛の位置を検出することによって、顔の上、下を決定することができる。
【００６９】
一方、上述した内容では、ユーザ顔方向を決定することにあたって、顔検出または目検出情報を利用する場合を例に挙げて説明したが、センサー部１６０のセンサー情報を活用することもできる。例えば、センサー部１６０を通じて移動端末の回転が感知されると、感知された移動端末の回転方向、動き方向、傾き状態などの回転情報を活用することができる。このような場合、図４のように入力映像の４方向に対して顔検出を遂行することなく移動端末の回転方向を基準にした方向に対して顔検出を遂行することができる。このような場合、ユーザが画面を見ている状況で移動端末だけを回転させた場合、入力映像での顔分析結果はユーザの顔方向と移動端末の画面が一致しないので、ユーザ視線に合うように画面表示方向を回転させることができる。これとは異なり、ユーザが移動端末を回転させなかったが、ユーザの顔方向が変更されたことを示す顔検出結果が出る場合、ユーザ顔方向に対応するように画面表示方向が変更されることができる。
【００７０】
一方、上記した実施形態では、入力映像内で特定サイズの学習された顔情報を用いるスキャニングを通じて顔を検出する場合を説明した。しかしながら、カメラを用いて撮影する際に、そのカメラの画角(viewing  angle)または顔との距離に従って顔の一部分のみが入力映像の縁部に現れることがある。
【００７１】
図７は、入力映像で顔が存在できる位置に対する例を示す。図７を参照すれば、入力映像内に左上側に存在する顔７００、上側に存在する顔７０５、右上側に存在する顔７１０、左側に存在する顔７１５、中央に存在する顔７２０、右側に存在する顔７２５、左下側に存在する顔７３０、下側に存在する顔７３５、又は右下側に存在する顔７４０を含むことができる。すなわち、部分的な顔は、入力映像の上、下、左、右の縁又はコーナー部分に存在することができる。
【００７２】
したがって、入力映像内に図７の中央に存在する顔７２０を除き、残りの位置７００、７０５、７１０、７１５、７２５、７３０、７３５、７４０に部分的な顔が存在しても、顔は検出されないようになる。顔が一般的に特定サイズの学習顔映像を用いて入力映像に対するスキャニングを通じて検出されるため、全体顔が存在しない場合、部分的な顔は、その入力映像から顔として認識されない。従来の技術において、部分的な顔検出のために左顔検出器と右顔検出器を別途に使用する場合、入力映像は、必ず左又は右顔を含むべきである。この場合、顔検出率は、既存の顔検出器との交換性が低下することによって格段に低下する。さらに、左右の一部分以外の顔に対しては検出に難しさがあり得る。
【００７３】
そのため、本発明の実施形態では、部分顔を含む映像が獲得される場合、次のような方法で顔検出を遂行する。
【００７４】
図８は、映像フレームで顔判断領域を用いるスキャニング方法を説明するための図である。
【００７５】
図８では、顔映像の検出のための顔判断領域８１０を用いて左上側コーナーAから右下側コーナーＩまで映像フレーム８００をスキャニングする経路８３０を示す。顔判断領域８１０は、所定のサイズを有し、予め学習した顔検出器であり得る。図８に示すように、複数の顔映像を含む映像フレーム８００において、その映像フレーム８００の縁の一方に存在する顔映像は、その一部が切られる可能性がある。それによって、その映像フレーム８００の縁には部分顔が存在する可能性が高い。
【００７６】
したがって、本発明では、このようなことを考慮して顔判断領域８１０が映像フレーム８００の縁からその顔判断領域８１０の一部が外れた状態で映像フレーム８００をスキャニングする方式を提案する。
【００７７】
図９Ａ及び図９Ｂは、映像フレーム８００のスケールによる顔判断領域８１０の移動を例示する。
【００７８】
図９Ａ及び図９Ｂを参照すると、相互に異なるサイズの顔を検出するように図９Ａの映像フレーム８００のスケールは、図９Ｂに示すように次第に縮小させることができる。顔判断領域８１０が所定のサイズを有するので、図９Ａでは映像フレーム８００内の顔判断領域８１０と同じ程度の小さい顔は、その顔判断領域８１０を通じて検出が可能であり、図９Ｂでは上記顔判断領域８１０と同じ程度の大きいは、顔判断領域８１０を通じて検出が可能である。このような各映像フレーム８００のスケールは、段階的に変更できる。
【００７９】
図１０は、映像フレーム８００の縁での顔判断領域８１０とその映像フレーム８００との間の位置関係を示す。
【００８０】
図１０を参照すると、映像フレーム８００を取り囲む斜線領域(以下、追加領域と称する)は、顔検出のために補正が必要な領域に該当する。このような追加領域の幅及び高さは、顔判断領域８１０のサイズに従って決定される。例えば、顔判断領域８１０の幅はａであり、その高さはｂであると仮定すれば、顔判断領域８１０の初期位置Ａは、その顔判断領域８１０の中心が映像フレーム８００の左上側のコーナーに位置する。初期位置Ａで、顔判断領域８１０の幅の半分ａ/２は、映像フレーム８００内に含まれ、その残りの半分ａ/２は、斜線領域に含まれるように映像フレーム８００の左側縁を取り囲む追加領域の幅が決定される。
【００８１】
同様に、顔判断領域８１０が初期位置、すなわち左上側コーナー位置Ａから水平方向に右上側コーナーＣに移動する場合に、左側縁を取り囲む追加領域の幅を設定することができる。本発明では、左右縁での追加領域の幅の一例としてａ/２に設定する例を示す。しかしながら、その幅は、設定に従って変わることができ、左側縁での追加領域の幅と右側縁での追加領域の幅も相互に異なるように設定することができる。
【００８２】
また、顔判断領域８１０の高さの半分ｂ/２のみが映像フレーム８００内に含まれるように映像フレーム８００の上下側の縁を取り囲む斜線領域の高さが定められる。同様に、本発明では、上下側の縁での追加領域の高さの一例としてｂ/２に設定された場合を示すが、その高さは、設定によって変わることができ、上下側縁での追加領域の高さは相互に異なるように設定することができる。
【００８３】
一方、顔判断領域８１０が初期位置、すなわち左上側コーナー位置Ａから水平方向に右上側コーナーＣに移動した後に、顔判断領域８１０は、さらに左側縁に移動するようになる。それによって、その顔判断領域８１０の中心は９２０で指示される位置に移動する。このとき、左上側コーナーＡで顔判断領域８１０とｂ/３だけ重なるように顔判断領域８１０が移動するようになる。このような顔判断領域８１０は、最終位置、すなわち右下側コーナーＩの位置に到達するまでスキャニングのために移動される。
【００８４】
図１１Ａは映像フレーム８００の右側縁に片寄った状態で部分顔が存在する場合を示し、図１１Ｂはスキャニング位置による顔判断領域に含まれる顔映像を示す。
【００８５】
図１１Ａを参照すると、右側縁に顔判断領域が位置する場合、その顔判断領域の一部は空き状態となる。相互に異なる部分の顔は、図１１Ａの顔判断領域１０１０、１０３０、１０４０、１０６０のスキャニング位置に従って図１１Ｂに示すように含まれる顔判断領域１０１０、１０３０、１０４０、１０６０が現れることができる。このとき、顔検出が遂行される以前であるため、顔判断領域１０１０、１０３０、１０４０、１０６０内の各領域１０１２、１０３２、１０４２、１０６２に部分顔が存在すると仮定する。実際には、各領域１０１２、１０３２、１０４２、１０６２は、映像フレーム８００の右側縁に該当するピクセルで構成される。
【００８６】
図１１Ａに示すように、各顔判断領域１０１０、１０３０、１０４０、１０６０は、顔判断領域１０１０、１０３０、１０４０、１０６０を用いて映像フレーム８００の右側縁でスキャニングすることに従って図１１Ｂに示すように表現することができる。図１１Ｂのように、各顔判断領域１０１０、１０３０、１０４０、１０６０は、ピクセルで詰められている領域、例えば部分顔が存在すると予測される領域１０１２、１０３２、１０４２、１０６２及び空き領域(斜線領域)１０１５、１０３５、１０４５、１０６５を含む。
【００８７】
本発明では、各顔判断領域１０００、１０３０、１０４０、１０６０での空き領域１０１５、１０３５、１０４５、１０６５を補正することを提案する。
【００８８】
図１１Ｃは、本発明の実施形態によるミラーリング方式により補正された映像を示す。
【００８９】
図１１Ｃを参照すると、図１１Ｂの空き領域１０１５、１０３５、１０４５、１０６５は、部分顔予測領域１０１２、１０３２、１０４２、１０６２のピクセル情報がミラーリング方式で詰められている。したがって、図１１Ｃに示すように、部分顔予測領域１０１２、１０３２、１０４２、１０６２と同一のピクセル情報でその反対側領域１１１５、１１３５、１１４５、１１６５が詰められる。あるいは、ＭＣＴ(Modified Census Transform)、ＬＢＰ(Local  Binary  Pattern)のような他の方式は、反対側領域１１１５、１１３５、１１４５、１１６５を満たすのに使用される。そのように、顔判断領域は、映像フレーム８００内で水平又は垂直方向にスキャニングした後に補正されることにより、補正された映像を図１１Ｃに示すように得ることができる。したがって、顔判断領域が水平又は垂直方向にスキャニングすることによって得られる補正した映像の中には顔検出が可能な映像が存在する。すなわち、ミラーリングを通じて顔の特徴、目、鼻、口などの顔の主要部分が配置された補正映像１０６０を獲得すると、その補正映像１０６０からの顔検出が成功的になされる。したがって、従来技術では全体顔が含まれない場合には顔が検出されないと判断することに対して、本発明では部分顔に対しても顔検出が成功的になされる。
【００９０】
ここで、ミラーリング方式については、図１２を参照して詳細に説明する。
【００９１】
図１２を参照すると、顔判断領域が映像フレーム８００の縁にわたって位置する状態では、その縁から外れたａ領域１２１０は、その顔判断領域のａ’領域１２００と同一の映像、すなわちミラーリングを通じて補正された映像で詰められる。同様に、ｂ領域１２３０は、ｂ’領域１２２０と同一の映像でミラーリングを通じて補正される。
【００９２】
一方、上述したように、上記映像補正方法は、映像フレーム８００の左右側縁でのミラーリング方式を使用して遂行される。他の実施形態では、上下側及びコーナーにおける映像補正方法について説明する。
【００９３】
図１３は、本発明の実施形態により、映像フレーム８００の下側又は右下側コーナーに部分顔が存在する場合を例として示す。
【００９４】
図１３を参照すれば、映像フレーム８００の下側縁に顔判断領域８１０の一部が位置する場合、その下側の縁から外れた領域(斜線領域)１３００は、空き領域で示す。同様に、下側コーナーに顔判断領域８１０の一部が位置するようになると、その顔判断領域８１０内には空き領域１３１０が含まれる。それによって、本発明では、上下側又はコーナーでは所定のテンプレートを用いて顔判断領域８１０の空き領域を補正する方法を提案する。このとき、本発明の他の実施形態により、コーナーではミラーリング方式とテンプレートマッチング方式両方ともが適用可能である。言い換えれば、図１３の右側コーナーに位置する顔判断領域８１０に対して、空き領域１３１０は、映像フレーム８１０の右側縁を基準軸としてミラーリングをすることで、目部分に該当するピクセルで詰められた後、その映像フレーム８１０の右側コーナーの下方にはテンプレートマッチングを通じてテンプレート映像の鼻の下部分を付ける方式で詰められる。
【００９５】
図１４は、上記のような所定の顔テンプレート１４００、１４１０を例として示す。図１４に示すように、所定の顔テンプレートを用いて顔判断領域８１０の空き領域を補正する場合、上下に一部が切り取られた顔領域に対する補正が可能である。このように、本発明では、ミラーリング方式とテンプレートマッチング方式を選択的に、又は同時に適用することにより、縁に位置する部分顔を検出できるので、顔検出性能が向上する効果を期待することができる。
【００９６】
図１５は、本発明の一実施形態による映像補正方法を示すフローチャートである。
【００９７】
図１５を参照すれば、制御部１２０は、ステップ１５００で、映像入力部１００から映像フレームを受信するか、あるいはメモリ１３０から格納されている映像フレームを読み取る。上記方法は、一つの映像フレームに適用されるが、この方法は、順次に入力又は読み取られる映像フレームに対しても各々適用することができる。また、上記方法は、移動端末１００が一対一画像通話又は多者間画像会議を遂行する途中で、カメラによりリアルタイムで入力される映像に適用し、あるいは他のアプリケーションモードでカメラによりリアルタイムで入力される映像に適用することができる。また、図１５では、制御部１２０で顔検出動作を遂行する場合を例示したが、このような動作は、顔検出部１１０で遂行できることはもちろんである。
【００９８】
ステップ１５０５において、制御部１２０は、映像フレームから全体顔が検出されるか否かを判断する。ここで、全体顔検出は、通常の顔検出方法を使用して遂行され、顔の輪郭、顔皮膚の色及び/又は質感、テンプレートなどを用いる顔抽出技術が使用され得る。例えば、制御部１２０は、多数の顔映像を通じて顔学習を遂行し、蓄積された顔学習データを用いて入力された映像フレームから全体顔映像を検出することができる。
【００９９】
全体顔が検出された場合、制御部１２０は、ステップ１５４０で、検出された顔情報を格納する。このように検出された顔情報は、例えば所定の移動端末の機能を制御するのに使用することができる。
【０１００】
一方、全体顔が検出されない場合、ステップ１５１０で、映像フレームから切られたオブジェクトが検出されるか否かを判断する。例えば、縁検出を通じてエッジラインが中断される場合には切られたオブジェクトが存在すると判断できる。この場合、切られたオブジェクトは、部分顔であり得る。したがって、顔検出のために、映像フレーム８００の縁を取り囲まれる追加領域に対する補正が遂行されなければならない。
【０１０１】
切られたオブジェクトが検出されると、制御部１２０は、ステップ１５１５で、ミラーリングが可能であるか否かを判断する。例えば、制御部１２０は、顔判断領域が映像フレーム８００の左右側縁に位置するか、顔の鼻を中心とする垂直軸のようなミラーリングする対称軸があるか、あるいはその対称軸を基準として両側から切られた部分があるかなどの条件のうちいずれか一つに該当するかを判断することができる。
【０１０２】
ミラーリングが可能である場合、制御部１２０は、ステップ１５２０で、図１２に示すようなミラーリング方式を通じてミラーリングを遂行する。一方、ミラーリングが可能でない場合、制御部１２０は、ステップ１５２５で、テンプレートマッチングを遂行する。すると、制御部１２０は、ミラーリング又はテンプレートマッチングを通じて補正された領域を含む顔判断領域に対する顔検出を遂行する。顔判断領域に対する顔検出は、通常の顔検出アルゴリズムを適用することによってなされる。したがって、制御部１２０は、ステップ１５３５で、顔が顔判断領域で検出されるか否かを判断する。その顔判断領域に顔情報が含まれている場合、制御部１２０は、ステップ１５４０で、該当顔情報を検出し、検出された顔情報を格納する。一方、顔が検出されない場合には、制御部１２０は、顔検出過程を終了する。上記したステップ１５１０〜ステップ１５３０は、顔判断領域を映像フレーム内で水平方向又は垂直方向にスキャニングすることにより、反復的に遂行されるべきである。
【０１０３】
ここで、部分顔のサイズ及び画面に表示される程度に従って、適応的にその部分顔に対する有効性を判断する過程を追加して適用できる。例えば、コーナー部分に口を含む部分顔のみが存在する場合には顔として検出されても、検出された顔情報は、移動端末の機能を制御するために使用するのに適合しない可能性があるため、部分顔に対する有効性を判断する過程が追加されることができる。したがって、このような部分顔が有している情報の脆弱性を勘案して本発明では誤検出の可能性を低減するために有効性を判断する過程を追加でき、このような有効性の判断過程は、適用アプリケーションに従って選択的に追加又は排除することができる。
【０１０４】
図１６は、本発明の他の実施形態による映像補正方法を示すフローチャートである。ステップ１６００〜ステップ１６１０は、図１５のステップ１５００〜ステップ１５１０と同一であるため、その具体的な説明を省略する。
【０１０５】
ステップ１６１５において、制御部１２０は、顔判断領域の位置が映像の縁に位置するか否かを判断する。顔判断領域の位置が映像の縁に位置する場合、ステップ１６２０でミラーリングが遂行され、ステップ１６２５でミラーリングを通じて補正された領域を含む顔判断領域に対する顔検出が遂行される。一方、顔が検出されない場合、テンプレートマッチングは、ステップ１６３５でさらに遂行される。その次に、制御部１２０は、ステップ１６４０で、テンプレートマッチングを通じて補正された領域を含む顔判断領域に対する顔検出を遂行する。このようなミラーリングとテンプレートマッチングを同時に適用する方式を映像フレーム８００のコーナーに適用される場合、効果的な部分顔検出を遂行することができる。ステップ１６４５及びステップ１６５０は、図１５のステップ１５３５及びステップ１５４０と同一であるので、その具体的な説明を省略する。一方、図１６では、ミラーリングの遂行後にテンプレートマッチングを遂行する場合を例として説明したが、ミラーリング又はテンプレートマッチングのうちいずれか一つのみが適用されるように実現することができ、両方とも適用される場合、その適用順序は変わることができる。
【０１０６】
図１７は、本発明の他の実施形態による映像補正方法を示すフローチャートである。
【０１０７】
図１７を参照すれば、ステップ１７００及びステップ１７０５は、図１５のステップ１５００及びステップ１５０５と同一であるので、その具体的な説明を省略する。
【０１０８】
ステップ１７１０において、制御部１２０は、顔判断領域の一部が映像の左右縁から外れるか否かを判断する。顔判断領域の一部が左側縁又は右側縁から外れる場合、制御部１２０は、ステップ１７１５で、図１２に示すようなミラーリング方式でミラーリングを遂行する。一方、顔判断領域の一部が映像の左右側縁から外れない場合、制御部１２０は、ステップ１７２０で、左右上側又は左右下側、すなわちコーナーから外れるか否かを判断する。顔判断領域の一部がコーナーから外れる場合、制御部１２０は、ステップ１７２５で、ミラーリングの遂行後にテンプレートマッチングを遂行する。一方、ステップ１７２０で、顔判断領域の一部が左右上側又は左右下側、すなわちコーナーから外れない場合、ステップ１７３０で、映像の上側又は下側から外れるか否かを判断する。映像の上側又は下側から外れる場合に、制御部１２０は、ステップ１７３５で、テンプレートマッチングを遂行する。その後、ステップ１７４０〜ステップ１７５０は、図１５のステップ１５３０〜ステップ１５４０での動作と同一であるため、その具体的な説明を省略する。
【０１０９】
上記した本発明による実施形態は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実現することができる。このような任意のソフトウェアは、例えば、削除可能、又は再記録可能の可否に関係なく、ＲＯＭ(Read-Only Memory)、ＲＡＭ(Random-Access Memory)のような揮発性又は非揮発性格納装置、あるいはＣＤ(Compact  Disc)、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、又は磁気テープのような光学あるいは磁気的に記録可能であると同時に機械読み取り可能な記録媒体に格納され得る。例えばマルチメディアコンテンツプレーヤを搭載したモバイル端末内に含まれるメモリは、本発明の実施形態を実現する指示を含むプログラム又はプログラムを記録するのに適合した機械で読み取り可能な記録媒体の一例であることがわかる。したがって、本発明は、本明細書の任意の請求項に記載された装置又は方法を実現するためのコードを含むプログラム及びこのようなプログラムを記録する機械(コンピュータなど)で読み取る格納媒体を含む。また、このようなプログラムは、有線又は無線接続を通じて伝達される通信信号のような任意の媒体を通じて電子的に移送でき、本発明は、これと均等なものを適切に含む。
【０１１０】
また、上記移動端末は有線または無線で接続するプログラム提供装置から前記プログラムを受信して保存することができる。上記プログラム提供装置は、上記移動端末がユーザの顔分析結果によって移動端末を制御する方法を遂行するようにする指示を含むプログラム、上記ユーザの顔分析結果によって移動端末を制御する方法に必要な情報などを保存するためのメモリと、上記移動端末との有線または無線通信を遂行するための通信部と、上記移動端末の要請または自動で該当プログラムを上記移動端末に伝送する制御部と、を含むことができる。
【符号の説明】
【０１１１】
１００    映像入力部
１０５    映像処理部
１１０    顔検出部
１１５    目検出部
１２０    制御部
１３０    メモリ
１４０    表示部
１５０    通信部
１６０    センサー部
１７０    スピーカー
【図１】
0006362831.tif 000002
【図２】
0006362831.tif 000003
【図３】
0006362831.tif 000004
【図４】
0006362831.tif 000005
【図５】
0006362831.tif 000006
【図６】
0006362831.tif 000007
【図７】
0006362831.tif 000008
【図８】
0006362831.tif 000009
【図９Ａ】
0006362831.tif 000010
【図９Ｂ】
0006362831.tif 000011
【図１０】
0006362831.tif 000012
【図１１Ａ】
0006362831.tif 000013
【図１１Ｂ】
0006362831.tif 000014
【図１１Ｃ】
0006362831.tif 000015
【図１２】
0006362831.tif 000016
【図１３】
0006362831.tif 000017
【図１４】
0006362831.tif 000018
【図１５】
0006362831.tif 000019
【図１６】
0006362831.tif 000020
【図１７】
0006362831.tif 000021