(57)【要約】  本発明は、カメラ（２０）を含むスマートミラー（１００）を制御するための制御方法を開示する。制御方法は、現在のユーザを撮影するようにカメラ（２０）を制御するステップ（Ｓ１２）と、現在のユーザが登録ユーザであるか否かを判断するステップ（Ｓ１４）と、現在のユーザが登録ユーザである場合、スマートミラー（１００）にログインするように現在のユーザを制御するステップ（Ｓ１６）と、現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー（１００）を制御するステップ（Ｓ１８）と、を含む。本発明は、コントローラ（１０）、スマートミラー（１００）及びコンピュータ読み取り可能な記憶媒体をさらに開示する。【選択図】図１
2019537758.tif 000002
【特許請求の範囲】
【請求項１】
カメラを含むスマートミラーを制御するための制御方法であって、前記制御方法は、
現在のユーザを撮影するように前記カメラを制御するステップと、
前記現在のユーザが登録ユーザであるか否かを判断するステップと、
前記現在のユーザが登録ユーザである場合、前記スマートミラーにログインするように  前記現在のユーザを制御するステップと、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御するステップと、を含む、
ことを特徴とする制御方法。
【請求項２】
前記スマートミラーは、全ての前記登録ユーザの登録顔領域の登録特徴情報を含むレジストリを含み、
前記現在のユーザが登録ユーザであるか否かを判断するステップは、
前記カメラによって撮影された前記現在のユーザの第１の画像を処理して前記現在のユーザの被検出顔領域を取得するステップと、
前記被検出顔領域を処理して前記被検出顔領域の被検出特徴点を取得するステップと、
前記被検出特徴点を処理して前記被検出顔領域の特徴情報を抽出するステップと、
前記被検出特徴情報と前記登録特徴情報とを比較して比較結果を取得するステップと、
前記比較結果が所定の閾値より大きい場合、前記現在のユーザが登録ユーザであると確認するステップと、を含む、
ことを特徴とする請求項１に記載の制御方法。
【請求項３】
前記制御方法は、
前記現在のユーザの第２の画像を撮影するように前記カメラを制御するステップと、
前記第２の画像を表示するように前記スマートミラーを制御するステップと、含む、
ことを特徴とする請求項２に記載の制御方法。
【請求項４】
前記インタラクションは、前記第２の画像に対する萌え顔処理を含み、前記スマートミラーは、萌え顔素材ライブラリを含み、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
前記第２の画像を処理して前記現在のユーザの萌え顔の顔領域を取得するステップと、
前記萌え顔の顔領域を処理して前記萌え顔の顔領域の萌え顔特徴点を取得するステップと、
前記現在のユーザの入力に基づいて萌え顔素材を決定するステップと、
前記萌え顔特徴点に基づいて前記萌え顔素材と前記第２の画像とのマッチング融合処理を行って萌え顔画像を取得するステップと、を含む、
ことを特徴とする請求項３に記載の制御方法。
【請求項５】
前記インタラクションは、前記第２の画像に対する美顔処理を含み、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
前記第２の画像を処理して前記現在のユーザの美顔の顔領域を取得するステップと、
前記美顔の顔領域を処理して前記美顔の顔領域の美顔特徴点を取得するステップと、
前記現在のユーザの入力及び前記美顔特徴点に基づいて前記第２の画像に対して美顔処理を行って美顔画像を取得するステップと、を含む、
ことを特徴とする請求項３に記載の制御方法。
【請求項６】
前記美顔処理は、美白フィルタ、赤みフィルタ、顔痩せモジュール、及びビッグアイモジュールのうちの１つ又は複数を含む、
ことを特徴とする請求項５に記載の制御方法。
【請求項７】
前記インタラクションは、前記第２の画像に対する仮想トライアルメイクアップ処理を含み、前記スマートミラーは、メイクアップ素材ライブラリを含み、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
前記第２の画像を処理して前記現在のユーザのトライアルメイクアップ顔領域を取得するステップと、
前記トライアルメイクアップ顔領域を処理して前記トライアルメイクアップ顔領域のトライアルメイクアップ特徴点を取得するステップと、
前記現在のユーザの入力に基づいてメイクアップ素材を決定するステップと、
前記トライアルメイクアップ特徴点に基づいて前記メイクアップ素材と前記第２の画像とのマッチング融合処理を行って仮想トライアルメイクアップ画像を取得するステップと、を含む、
ことを特徴とする請求項３に記載の制御方法。
【請求項８】
前記メイクアップ素材は、アイシャドウ素材、アイライナー素材、ほお紅素材、口紅素材、及び眉毛素材のうちの１つ又は複数を含む、
ことを特徴とする請求項７に記載の制御方法。
【請求項９】
前記インタラクションは、前記第２の画像に対する２Ｄ仮面レンダリング処理を含み、  前記スマートミラーは、２Ｄ仮面素材ライブラリを含み、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
前記第２の画像を処理して前記現在のユーザの２Ｄ仮面レンダリング顔領域を取得するステップと、
前記２Ｄ仮面レンダリング顔領域を処理して前記２Ｄ仮面レンダリング顔領域の２Ｄ仮面レンダリング特徴点を取得するステップと、
前記現在のユーザの入力に基づいて２Ｄ仮面素材を決定するステップと、
前記２Ｄ仮面レンダリング特徴点に基づいて前記２Ｄ仮面素材と前記第２の画像とのマッチング融合処理を行って２Ｄ仮面レンダリング画像を取得するステップと、を含む、
ことを特徴とする請求項３に記載の制御方法。
【請求項１０】
前記インタラクションは、前記第２の画像に対する３Ｄアニメーションキャラクタレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び３Ｄアニメーションキャラクタ素材ライブラリを含み、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
前記第２の画像を処理して前記現在のユーザの３Ｄアニメーションキャラクタレンダリング顔領域を取得するステップと、
前記３Ｄアニメーションキャラクタレンダリング顔領域を処理して前記３Ｄアニメーションキャラクタレンダリング顔領域の３Ｄアニメーションキャラクタレンダリング特徴点を取得するステップと、
前記共通３Ｄ顔モデル及び前記３Ｄアニメーションキャラクタレンダリング特徴点に基づいて前記現在のユーザの第１の姿勢パラメータを取得するステップと
前記現在のユーザの入力に基づいて３Ｄアニメーションキャラクタ素材を決定するステップと、
前記第１の姿勢パラメータ及び前記３Ｄアニメーションキャラクタ素材に基づいて前記第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うように前記３Ｄエンジンを制御するステップと、を含む、
ことを特徴とする請求項３に記載の制御方法。
【請求項１１】
前記インタラクションは、前記第２の画像に対する仮想メガネレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想メガネ素材ライブラリを含み、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
前記第２の画像を処理して前記現在のユーザの仮想メガネレンダリング顔領域を取得するステップと、
前記仮想メガネレンダリング顔領域を処理して前記仮想メガネレンダリング顔領域の仮想メガネレンダリング特徴点を取得するステップと、
前記共通３Ｄ顔モデル及び前記仮想メガネレンダリング特徴点に基づいて前記現在のユーザの第２の姿勢パラメータを取得するステップと、
前記現在のユーザの入力に基づいて仮想メガネ素材を決定するステップと、
前記第２の姿勢パラメータ及び前記仮想メガネ素材に基づいて前記第２の画像に対して仮想メガネレンダリング処理を行うように前記３Ｄエンジンを制御するステップと、を含む、
ことを特徴とする請求項３に記載の制御方法。
【請求項１２】
前記インタラクションは、前記第２の画像に対する仮想ヘアスタイルレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想ヘアスタイル素材ライブラリを含み、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
前記第２の画像を処理して前記現在のユーザの仮想ヘアスタイルレンダリング顔領域を取得するステップと、
前記仮想ヘアスタイルレンダリング顔領域を処理して前記仮想ヘアスタイルレンダリング顔領域の仮想ヘアスタイルレンダリング特徴点を取得するステップと、
前記共通３Ｄ顔モデル及び前記仮想ヘアスタイルレンダリング特徴点に基づいて前記現在のユーザの第３の姿勢パラメータを取得するステップと、
前記現在のユーザの入力に基づいて仮想ヘアスタイル素材を決定するステップと、
前記第３の姿勢パラメータ及び前記仮想ヘアスタイル素材に基づいて前記第２の画像に対して仮想ヘアスタイルレンダリング処理を行うように前記３Ｄエンジンを制御するステップと、を含む、
ことを特徴とする請求項３に記載の制御方法。
【請求項１３】
前記インタラクションは、前記現在のユーザに日常生活ケア指導を提供することをさらに含み、
前記現在のユーザの入力に基づいて前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
前記ユーザの入力に基づいて前記現在のユーザに日常生活ケア指導を提供するステップを含む、
ことを特徴とする請求項１に記載の制御方法。
【請求項１４】
前記制御方法は、
前記登録ユーザを撮影するように前記カメラを制御するステップと、
前記登録ユーザの入力に基づいて前記登録ユーザの個人記録ファイルを作成するステップと、をさらに含む、
ことを特徴とする請求項１に記載の制御方法。
【請求項１５】
カメラを含むスマートミラーを制御するためのコントローラであって、前記コントローラは、
現在のユーザを撮影するように前記カメラを制御する制御装置と、
前記現在のユーザが登録ユーザであるか否かを判断する判断装置と、
前記現在のユーザが登録ユーザである場合、前記スマートミラーにログインするように  前記現在のユーザを制御するログイン装置と、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御するインタラクション装置と、を含む、
ことを特徴とするコントローラ。
【請求項１６】
前記スマートミラーは、全ての前記登録ユーザの登録顔領域の登録特徴情報を含むレジストリを含み、前記判断装置は、
前記カメラによって撮影された前記現在のユーザの第１の画像を処理して前記現在のユーザの被検出顔領域を取得する第１の処理ユニットと、
前記被検出顔領域を処理して前記被検出顔領域の被検出特徴点を取得する第２の処理ユニットと、
前記被検出特徴点を処理して前記被検出顔領域の特徴情報を抽出する第３の処理ユニットと、
前記被検出特徴情報と前記登録特徴情報とを比較して比較結果を取得する比較ユニットと、
前記比較結果が所定の閾値より大きい場合、前記現在のユーザが登録ユーザであると確認する第１の確認ユニットと、を含む、
ことを特徴とする請求項１５に記載のコントローラ。
【請求項１７】
前記制御装置は、さらに、
前記現在のユーザの第２の画像を撮影するように前記カメラを制御し、且つ
前記第２の画像を表示するように前記スマートミラーを制御する、
ことを特徴とする請求項１６に記載のコントローラ。
【請求項１８】
前記インタラクションは、前記第２の画像に対する萌え顔処理を含み、前記スマートミラーは、萌え顔素材ライブラリを含み、
前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの萌え顔の顔領域を取得し、
前記第２の処理ユニットは、さらに、前記萌え顔の顔領域を処理して前記萌え顔の顔領域の萌え顔特徴点を取得し、
前記インタラクション装置は、
前記現在のユーザの入力に基づいて萌え顔素材を決定する第２の確認ユニットと、
前記萌え顔特徴点に基づいて前記萌え顔素材と前記第２の画像とのマッチング融合処理を行って萌え顔画像を取得する第４の処理ユニットと、を含む、
ことを特徴とする請求項１７に記載のコントローラ。
【請求項１９】
前記インタラクションは、前記第２の画像に対する美顔処理を含み、
前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの美顔の顔領域を取得し、
前記第２の処理ユニットは、さらに、前記美顔の顔領域を処理して前記美顔の顔領域の美顔特徴点を取得し、
前記インタラクション装置は、
前記現在のユーザの入力及び前記美顔特徴点に基づいて前記第２の画像に対して美顔処理を行って美顔画像を取得する第４の処理ユニットを含む、
ことを特徴とする請求項１７に記載のコントローラ。
【請求項２０】
前記美顔処理は、美白フィルタ、赤みフィルタ、顔痩せモジュール、及びビッグアイモジュールのうちの１つ又は複数を含む、
ことを特徴とする請求項１９に記載のコントローラ。
【請求項２１】
前記インタラクションは、前記第２の画像に対する仮想トライアルメイクアップ処理を含み、前記スマートミラーは、メイクアップ素材ライブラリを含み、
前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザのトライアルメイクアップ顔領域を取得し、
前記第２の処理ユニットは、さらに、前記トライアルメイクアップ顔領域を処理して前記トライアルメイクアップ顔領域のトライアルメイクアップ特徴点を取得し、
前記インタラクション装置は、
前記現在のユーザの入力に基づいてメイクアップ素材を決定する第２の確認ユニットと、
前記トライアルメイクアップ特徴点に基づいて前記メイクアップ素材と前記第２の画像とのマッチング融合処理を行って仮想トライアルメイクアップ画像を取得する第４の処理ユニットと、を含む、
ことを特徴とする請求項１７に記載のコントローラ。
【請求項２２】
前記メイクアップ素材は、アイシャドウ素材、アイライナー素材、ほお紅素材、口紅素材、及び眉毛素材のうちの１つ又は複数を含む、
ことを特徴とする請求項２１に記載のコントローラ。
【請求項２３】
前記インタラクションは、前記第２の画像に対する２Ｄ仮面レンダリング処理を含み、前記スマートミラーは、２Ｄ仮面素材ライブラリを含み、
前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの２Ｄ仮面レンダリング顔領域を取得し、
前記第２の処理ユニットは、さらに、前記２Ｄ仮面レンダリング顔領域を処理して前記２Ｄ仮面レンダリング顔領域の２Ｄ仮面レンダリング特徴点を取得し、
前記インタラクション装置は、
前記現在のユーザの入力に基づいて２Ｄ仮面素材を決定する第２の確認ユニットと、
前記２Ｄ仮面レンダリング特徴点に基づいて前記２Ｄ仮面素材と前記第２の画像とのマッチング融合処理を行って２Ｄ仮面レンダリング画像を取得する第４の処理ユニットと、を含む、
ことを特徴とする請求項１７に記載のコントローラ。
【請求項２４】
前記インタラクションは、前記第２の画像に対する３Ｄアニメーションキャラクタレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び３Ｄアニメーションキャラクタ素材ライブラリを含み、
前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの３Ｄアニメーションキャラクタレンダリング顔領域を取得し、
前記第２の処理ユニットは、さらに、前記３Ｄアニメーションキャラクタレンダリング顔領域を処理して前記３Ｄアニメーションキャラクタレンダリング顔領域の３Ｄアニメーションキャラクタレンダリング特徴点を取得し、
前記インタラクション装置は、
前記共通３Ｄ顔モデル及び前記３Ｄアニメーションキャラクタレンダリング特徴点に基づいて前記現在のユーザの第１の姿勢パラメータを取得する取得ユニットと、
前記現在のユーザの入力に基づいて３Ｄアニメーションキャラクタ素材を決定する第２の確認ユニットと、
前記第１の姿勢パラメータ及び前記３Ｄアニメーションキャラクタ素材に基づいて前記第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うように前記３Ｄエンジンを制御する第４の処理ユニットと、を含む、
ことを特徴とする請求項１７に記載のコントローラ。
【請求項２５】
前記インタラクションは、前記第２の画像に対する仮想メガネレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想メガネ素材ライブラリを含み、
前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの仮想メガネレンダリング第２顔領域を取得し、
前記第２の処理ユニットは、さらに、前記仮想メガネレンダリング顔領域を処理して前記仮想メガネレンダリング顔領域の仮想メガネレンダリング特徴点を取得し、
前記インタラクション装置は、
前記共通３Ｄ顔モデル及び前記仮想メガネレンダリング特徴点に基づいて前記現在のユーザの第２の姿勢パラメータを取得する取得ユニットと、
前記現在のユーザの入力に基づいて仮想メガネ素材を決定する第２の確認ユニットと、
前記第２の姿勢パラメータ及び前記仮想メガネ素材に基づいて前記第２の画像に対して仮想メガネレンダリング処理を行うように前記３Ｄエンジンを制御する第４の処理ユニットと、を含む、
ことを特徴とする請求項１７に記載のコントローラ。
【請求項２６】
前記インタラクションは、前記第２の画像に対する仮想ヘアスタイルレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想ヘアスタイル素材ライブラリを含み、
前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの仮想ヘアスタイルレンダリング顔領域を取得し、
前記第２の処理ユニットは、さらに、前記仮想ヘアスタイルレンダリング顔領域を処理して前記仮想ヘアスタイルレンダリング顔領域の仮想ヘアスタイルレンダリング特徴点を取得し、
前記インタラクション装置は、
前記共通３Ｄ顔モデル及び前記仮想ヘアスタイルレンダリング特徴点に基づいて前記現在のユーザの第３の姿勢パラメータを取得する取得ユニットと、
前記現在のユーザの入力に基づいて仮想ヘアスタイル素材を決定する第２の確認ユニットと、
前記第３の姿勢パラメータ及び前記仮想ヘアスタイル素材に基づいて前記第２の画像に対して仮想ヘアスタイルレンダリング処理を行うように前記３Ｄエンジンを制御する第４の処理ユニットと、を含む、
ことを特徴とする請求項１７に記載のコントローラ。
【請求項２７】
前記インタラクションは、前記現在のユーザに日常生活ケア指導を提供することをさらに含み、前記インタラクション装置は、
前記ユーザの入力に基づいて前記現在のユーザに日常生活ケア指導を提供する指導ユニットを含む、
ことを特徴とする請求項１５に記載のコントローラ。
【請求項２８】
前記制御装置は、さらに、
前記登録ユーザを撮影するように前記カメラを制御し、
前記コントローラは、前記登録ユーザの入力に基づいて前記登録ユーザの個人記録ファイルを作成する作成装置をさらに含む、
ことを特徴とする請求項１５に記載のコントローラ。
【請求項２９】
カメラと、
請求項１５〜２８のいずれかに記載のコントローラと、を含み、
前記コントローラは、前記カメラに電気的に接続されている、
ことを特徴とするスマートミラー。
【請求項３０】
１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のプログラムと、を含むスマートミラーであって、
前記１つ又は複数のプログラムは、前記メモリに格納され、前記１つまたは複数のプロセッサによって実行されるように構成され、前記プログラムは、請求項１〜１４のいずれかに記載の制御方法を実行するための命令を含む、
ことを特徴とするスマートミラー。
【請求項３１】
画面を表示可能な電子デバイスと組み合わせて使用されるコンピュータプログラムを含むコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されて請求項１〜１４のいずれかに記載の制御方法を実行可能である、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートミラー技術分野に関し、特に、制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
現在のスマートミラーの機能は、主に、天気、ショートメッセージなどのような情報を表示することである。しかしながら、現在のスマートミラーの使用機能が限定されているため、ユーザの体験が良くない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、従来技術における少なくとも１つの技術的課題を解決することを目的とする。そのため、本発明は、制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【０００４】
本発明の実施形態に係る制御方法は、カメラを含むスマートミラーを制御するためのものであり、前記制御方法は、
現在のユーザを撮影するように前記カメラを制御するステップと、
前記現在のユーザが登録ユーザであるか否かを判断するステップと、
前記現在のユーザが登録ユーザである場合、前記スマートミラーにログインするように  前記現在のユーザを制御するステップと、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御するステップと、を含む。
【０００５】
本発明の実施形態に係るコントローラは、カメラを含むスマートミラーを制御するためのものであり、前記コントローラは、
現在のユーザを撮影するように前記カメラを制御する制御装置と、
前記現在のユーザが登録ユーザであるか否かを判断する判断装置と、
前記現在のユーザが登録ユーザである場合、前記スマートミラーにログインするように  前記現在のユーザを制御するログイン装置と、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御するインタラクション装置と、を含む。
【０００６】
本発明の実施形態に係るスマートミラーは、カメラと上記のコントローラとを含み、前記コントローラは、前記カメラに電気的接続されている。
【０００７】
本発明の実施形態に係るスマートミラーは、１つ又は複数のプロセッサと、メモリと、１つ又は複数のプログラムと、を含み、前記１つ又は複数のプログラムは、前記メモリに格納されており、前記１つまたは複数のプロセッサによって実行されるように構成され、前記プログラムは、上記の制御方法を実行するための命令を含む。
【０００８】
本発明の実施形態に係るコンピュータ読み取り可能な記憶媒体は、画面を表示可能な電子デバイスと組み合わせて使用されるコンピュータプログラムを含み、前記コンピュータプログラムは、プロセッサによって実行されて上記の制御方法を実行可能である。
【０００９】
本発明の実施形態に係る制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記録媒体は、ユーザがログインした後に、美容メイク、アニメーションキャラクターレンダリングなどを含む様々なインタラクティブ機能をユーザに提供することができる。このようにすることで、スマートミラーの使用機能がさらに豊かになり、スマートな生活に対するユーザの需要が満たされ、ユーザの使用経験が向上する。
【００１０】
本発明の付加的な特徴及び利点は、以下の説明において一部が示され、一部が以下の説明により明らかになるか、または、本発明の実施により理解され得る。
【図面の簡単な説明】
【００１１】
本発明の上記及び／又は付加的な特徴及び利点は、実施形態を図面を参照して以下に説明することにより、明らかになり、理解され易くなる。
【図１】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図２】本発明の一部の実施形態に係るスマートミラーのモジュールの概略図である。
【図３】本発明の一部の実施形態に係るスマーミラーの構造模式図である。
【図４】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図５】本発明の一部の実施形態に係る判断装置のモジュールの概略図である。
【図６】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図７】本発明の一部の実施形態に係るコントローラのモジュールの概略図である。
【図８】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図９】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図１０】本発明の一部の実施形態に係るインタラクション装置のモジュールの概略図である。
【図１１】本発明の一部の実施形態に係る制御方法の状態模式図である。
【図１２】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図１３】本発明の一部の実施形態に係る制御方法の状態模式図である。
【図１４】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図１５】本発明の一部の実施形態に係る制御方法の状態模式図である。
【図１６】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図１７】本発明の一部の実施形態に係る制御方法の状態模式図である。
【図１８】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図１９】本発明の一部の実施形態に係るインタラクション装置のモジュールの概略図である。
【図２０】本発明の一部の実施形態に係る制御方法の状態模式図である。
【図２１】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図２２】本発明の一部の実施形態に係る制御方法の状態模式図である。
【図２３】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図２４】本発明の一部の実施形態に係る制御方法の状態模式図である。
【図２５】本発明の一部の実施形態に係る制御方法の概略フローチャートである。
【図２６】本発明の一部の実施形態に係るインタラクション装置のモジュールの概略図である。
【図２７】本発明の一部の実施形態に係る制御方法の状態模式図である。
【図２８】本発明の一部の実施形態に係るスマートミラーのモジュールの概略図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施形態を詳細に説明する。前記実施形態の例が図面に示されるが、同一または類似する符号は、常に、同一又は類似する素子、或いは、同一又は類似する機能を有する素子を表す。以下に、図面を参照しながら説明される実施形態は例示するものであり、本発明を解釈するためだけに用いられ、本発明を限定するものと理解してはいけない。
【００１３】
図１〜図３を参照し、本発明の実施形態に係る制御方法は、カメラを含むスマートミラー１００を制御するためのものである。制御方法は、
現在のユーザを撮影するようにカメラ２０を制御するステップＳ１２と、
現在のユーザが登録ユーザであるか否かを判断するステップＳ１４と、
現在のユーザが登録ユーザである場合、スマートミラー１００にログインするように現在のユーザを制御するステップＳ１６と、
現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８と、を含む。
【００１４】
次に、図２を参照し、本発明の実施形態に係る制御方法は、本発明の実施形態に係るコントローラ１０によって実現することができる。本発明の実施形態に係るコントローラ１０は、制御装置１２と、判断装置１４と、ログイン装置１６と、インタラクション装置１８と、を含む。ステップＳ１２は、制御装置１２によって実現することができ、ステップＳ１４は、判断装置１４によって実現することができ、ステップＳ１６は、ログイン装置１６によって実現することができ、ステップＳ１８は、インタラクション装置１８によって実現することができる。
【００１５】
つまり、制御装置１２は、現在のユーザを撮影するようにカメラ２０を制御する。判断装置１４は、現在のユーザが登録ユーザであるか否かを判断する。ログイン装置１６は、現在のユーザが登録ユーザである場合、スマートミラー１００にログインするように現在のユーザを制御する。インタラクション装置１８は、現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御する。
【００１６】
本発明の実施形態に係るコントローラ１０は、本発明の実施形態に係るスマートミラー１００に適用される。つまり、本発明の実施形態に係るスマートミラー１００は、本発明の実施形態に係るコントローラ１０を含む。本発明の実施形態に係るスマートミラー１００は、カメラ２０をさらに含む。カメラ２０は、コントローラ１０に電気的接続されている。
【００１７】
現在のほとんどのスマートミラー１００は、天気やショートメッセージだけを表示することができ、ユーザとのインタラクション機能が少なく、現在のスマートミラー１００の使用機能が限定されているため、ユーザの体験が比較的悪い。
【００１８】
本発明の実施形態に係る制御方法は、ユーザが成功裏にログインした後、美容メイクやアニメーションキャラクタレンダリングなどの様々なエンターテインメントインタラクション及びガイダンス機能をユーザに提供することができる。
【００１９】
具体的に、スマートミラー１００を使用する現在のユーザは、スマートミラー１００の様々なエンターテインメントインタラクション及びガイダンス機能の使用権利を行使することができるために、スマートミラー１００に成功裏にログインする必要がある。つまり、現在のユーザが登録ユーザである場合のみ、スマートミラー１００のエンターテインメントインタラクション及びガイダンス機能を使用することができる。このようにすることで、登録ユーザの個人情報及びプライバシを保護し、スマートミラー１００の使用情報のセキュリティを向上させることができる。また、各登録ユーザは、スマートミラー１００にそれぞれの使用スタイルを設定することができる。このようにすることで、登録ユーザがスマートミラー１００にログインした後、スマートミラー１００は、現在の登録ユーザに応じた使用スタイルを表示し、ユーザの使用体験をさらに向上させる。
【００２０】
現在のユーザがスマートミラー１００に成功裏にログインした後、スマートミラー１００は、インタラクション機能の使用インターフェースを表示する。現在のユーザが使用インターフェースにおけるコンテンツをクリックするだけでスマートミラー１００とのインタラクションを実現することができる。
【００２１】
以上により、本発明の実施形態に係る制御方法、コントローラ１０、スマートミラー１００は、ユーザが成功裏にログインした後に、様々なインタラクティブ機能をユーザに提供することができる。このようにすることで、スマートミラー１００の使用機能がさらに豊かになり、スマートな生活に対するユーザの需要が満たされ、ユーザの使用経験が向上する。
【００２２】
図２及び図４を参照し、一部の実施形態において、スマートミラー１００は、レジストリを含む。レジストリは、全ての登録ユーザの登録顔領域の登録特徴情報を含む。現在のユーザが登録ユーザであるか否かを判断するステップＳ１４は、
カメラ２０によって撮影された現在のユーザの第１の画像を処理して現在のユーザの被検出顔領域を取得するステップＳ１４１と、
被検出顔領域を処理して被検出顔領域の被検出特徴点を取得するステップＳ１４２と、
被検出特徴点を処理して被検出顔領域の特徴情報を抽出するステップＳ１４３と、
被検出特徴情報と登録特徴情報とを比較して比較結果を取得するステップＳ１４４と、
比較結果が所定の閾値より大きい場合、現在のユーザが登録ユーザであると確認するステップＳ１４５と、を含む。
【００２３】
図５を参照し、一部の実施形態において、判断装置１４は、第１の処理ユニット１４１と、第２の処理ユニット１４２と、第３の処理ユニット１４３、比較ユニット１４４と、第１の確認ユニット１４５と、含む。ステップＳ１４１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１４２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１４３は、第３の処理ユニット１４３によって実現することができ、ステップＳ１４４は、比較ユニット１４４によって実現することができ、ステップＳ１４５は、第１の確認ユニット１４５によって実現することができる。
【００２４】
つまり、第１の処理ユニット１４１は、カメラ２０によって撮影された現在のユーザの第１の画像を処理して現在のユーザの被検出顔領域を取得する。第２の処理ユニット１４２は、被検出顔領域を処理して被検出顔領域の被検出特徴点を取得する。第３の処理ユニット１４３は、被検出特徴点を処理して被検出顔領域の特徴情報を抽出する。比較ユニット１４４は、被検出特徴情報と登録特徴情報とを比較して比較結果を取得する。第１の確認ユニット１４５は、比較結果が所定の閾値より大きい場合、現在のユーザが登録ユーザであると確認する。
【００２５】
具体的に、被検出特徴点は、被検出顔領域における目、鼻、口、及び顔輪郭線などの特徴点を含む。登録特徴情報又は被検出特徴情報は、例えば、目、鼻、口などの相対位置及び距離、目、鼻、口の視点及び大きさなどの登録ユーザ又は現在のユーザの顔の特徴情報を含む。現在のユーザの被検出特徴情報と登録ユーザの登録特徴情報とを比較し、比較結果が所定の閾値より大きい場合、現在のユーザと登録ユーザとの顔のマッチング度が高いことを表しているので、現在のユーザが登録ユーザであると判断することができる。現在のユーザが登録ユーザであることが確認された後、現在のユーザは、スマートミラー１００に成功裏にログインするようになる。
【００２６】
このようにすることで、スマートミラー１００が登録ユーザのみに豊かな使用機能を提供するため、登録ユーザの情報セキュリティが確保される。
【００２７】
一部の実施形態において、登録ユーザは、表示インターフェースの色や背景パターンなどのスマートミラー１００の使用スタイルを自ら設定することができる。このようにすることで、現在のユーザがスマートミラー１００に成功裏にログインした後、スマートミラー１００は、現在のユーザが好む使用スタイルを表示することができ、ユーザの体験をさらに向上させることができる。
【００２８】
本発明の実施形態において、現在のユーザのログイン検証は、顔認識によって検証される。他の実施形態では、現在のユーザのログイン検証は、音声認識、指紋認識、虹彩認識などによっても検証することができる。
【００２９】
図２及び図６を参照し、一部の実施形態において、本発明の実施形態に係る制御方法は、
登録ユーザを撮影するようにカメラ２０を制御するステップＳ１１１と、
登録ユーザの入力に基づいて登録ユーザの個人記録ファイルを作成するステップＳ１１２と、をさらに含む。
【００３０】
図７を参照し、一部の実施形態において、コントローラ１０は作成装置１１をさらに含む。ステップＳ１１１は、制御装置１２によって実現することができ、ステップＳ１１２は、作成装置１１によって実現することができる。
【００３１】
つまり、制御装置１２は、さらに、登録ユーザを撮影するようにカメラ２０を制御し、作成装置１２は、登録ユーザの入力に基づいて登録ユーザの個人記録ファイルを作成する。
【００３２】
具体的に、カメラ２０が登録ユーザを撮影した後、スマートミラー１００は、撮影された登録ユーザの画像を処理して登録ユーザの登録特徴点を取得し、登録特徴点をレジストリに格納して後の認識マッチングログインに使用する。登録ユーザは、スマートミラー１００で編集入力を行って、自分の個人記録ファイルを作成することができる。個人記録ファイルは、登録ユーザのニックネーム、アバタ、及び個性署名などを含む。登録ユーザは、自分のアニメーションキャラクタを作成し、個人記録ファイルに保存することもできる。現在のユーザが登録ユーザであること、すなわち現在のユーザがスマートミラー１００に成功裏にログインしたことを確認した後、スマートミラー１００は、現在のユーザの個人記録ファイルにおけるすべての情報を表示するか、又は現在のユーザの個人記録ファイルにおける一部の情報を表示する。
【００３３】
なお、現在のユーザがスマートミラー１００とインタラクションを行った後、現在のユーザは、出力されたインタラクション情報を保存することを選択することができる。この時点で、保存されたインタラクション情報は、個人記録ファイルに保存される。ユーザは、個人記録ファイルを介して、自ら保存したインタラクション情報及び/又は履歴インタラクションコンテンツなどを見ることができる。このようにすることで、ユーザの使用体験をさらに向上させることができる。
【００３４】
図２及び図８を参照し、一部の実施形態において、本発明の実施形態に係る制御方法は、
現在のユーザの第２の画像を撮影するようにカメラ２０を制御するステップＳ１７１と、
第２の画像を表示するようにスマートミラー１００を制御するステップＳ１７２と、含む。
【００３５】
図２を再度に参照し、一部の実施形態において、ステップＳ１７１及びステップＳ１７２は、制御装置１２によって実現することができる。
つまり、制御装置１２は、さらに、
現在のユーザの第２の画像を撮影するようにカメラ２０を制御し、
第２の画像を表示するようにスマートミラー１００を制御する。
【００３６】
このようにすることで、カメラ２０によって撮影された第１の画像は、顔認識のログイン検証に使用される。カメラ２０によって撮影された第２の画像は、現在のユーザとスマートミラー１００とのインタラクションに使用される。
【００３７】
図９を参照し、一部の実施形態において、インタラクションは、第２の画像に対する萌え顔処理を含む。スマートミラーは、萌え顔素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの萌え顔の顔領域を取得するステップＳ１８１１と、
萌え顔の顔領域を処理して萌え顔の顔領域の萌え顔特徴点を取得するステップＳ１８１２と、
現在のユーザの入力に基づいて萌え顔素材を決定するステップＳ１８１３と、
萌え顔特徴点に基づいて萌え顔素材と第２の画像とのマッチング融合処理を行って萌え顔画像を取得するステップＳ１８１４と、を含む。
【００３８】
図５及び図１０を参照し、一部の実施形態において、インタラクション装置１８は、第２の確認ユニット１８１と第４の処理ユニット１８２と含む。ステップＳ１８１１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８１２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８１３は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８１４は、第４の処理ユニット１８２によって実現することができる。
【００３９】
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの萌え顔の顔領域を取得する。第２の処理ユニット１４２は、さらに、萌え顔の顔領域を処理して萌え顔の顔領域の萌え顔特徴点を取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて萌え顔素材を決定する。第４の処理ユニット１８２は、萌え顔特徴点に基づいて萌え顔素材と第２の画像とのマッチング融合処理を行って萌え顔画像を取得する。
【００４０】
図１１を参照し、具体的に、萌え顔特徴点は、目、鼻、口、耳、髪などの特徴点を含む。萌え顔処理は、現在のユーザの萌え顔の顔領域に、検出された萌え顔特徴点に基づいて装飾の効果を重ね合わせることを指し、例えば、顔に可愛い表情を重ね合わせること、頭部にヘアピンなどの仮想装飾を重ね合わせること、頭部に動物耳を重ね合わせること、鼻の位置に動物の鼻を重ね合わせること、頬の位置に動物髭を重ね合わせることなどである。萌え顔素材は、ユーザによって自ら指定することができる。萌え顔画像を得た後、スマートミラー１００は、萌え顔画像の動的フレームごとの表示を採用することにより、楽しさが高いアニメーション効果を形成する。
【００４１】
図１２を参照し、一部の実施形態において、インタラクションは、第２の画像に対する美顔処理を含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの美顔領域を取得するステップＳ１８２１と、
美顔領域を処理して美顔領域の美顔特徴点を取得するステップＳ１８２２と、
現在のユーザの入力及び美顔特徴点に基づいて第２の画像に対して美顔処理を行って美顔画像を取得するステップＳ１８２３と、を含む。
【００４２】
図５及び図１０を再度に参照し、一部の実施形態において、インタラクション装置１８は、第４の処理ユニット１８２を含む。ステップＳ１８２１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８２２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８３は、第４の処理ユニット１８２によって実現することができる。
【００４３】
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの美顔領域を取得する。第２の処理ユニット１４２は、さらに、美顔領域を処理して美顔領域の美顔特徴点を取得する。第４の処理ユニット１８２は、現在のユーザの入力及び美顔特徴点に基づいて第２の画像に対して美顔処理を行って美顔画像を取得する。
【００４４】
美顔処理は、美白フィルタ、赤みフィルタ、顔痩せモジュール、及びビッグアイモジュールのうちの１つ又は複数を含む。美顔特徴点は、顔や目などを含む。ユーザは、美顔処理の操作オプションをクリックすることにより、第２の画像の美顔処理を行うことができる。例えば、図１３に示すように、ユーザが美白フィルタをクリックした後、第４の処理ユニット１８２は、第２の画像における美顔領域に対して顔の美白処理を行う。このようにすることで、ユーザは、美顔機能を自主的に選択して第２の画像に対して美顔処理を行うことができ、処理された美顔画像は、スマートミラー１００に表示される。ユーザは、スマートミラー１００に表示された自分の個人イメージを見ることができ、ユーザの視覚体験を向上させることができる。
【００４５】
さらに、スマートミラー２０は、フレームごとに美顔画像を動的フレームの形態で表示する。つまり、カメラ２０は、現在のユーザをリアルタイムで撮影して現在のユーザの美顔特徴点を取得し、リアルタイムで撮影された画像の美顔処理を行う。このようにすることで、現在のユーザが、例えば、頭部を一定の角度にわたって回転させるような動いている状態にあっても、スマートミラー１００にも現在のユーザの美顔後の画像がリアルタイムで表示される。
【００４６】
図１４を参照し、一部の実施形態において、インタラクションは、第２の画像に対して仮想トライアルメイクアップ処理を含む。スマートミラーは、メイクアップ素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザのトライアルメイクアップ顔領域を取得するステップＳ１８３１と、
トライアルメイクアップ顔領域を処理してトライアルメイクアップ顔領域のトライアルメイクアップ特徴点を取得するステップＳ１８３２と、
現在のユーザの入力に基づいてメイクアップ素材を決定するステップＳ１８３３と、
トライアルメイクアップ特徴点に基づいてメイクアップ素材と第２の画像とのマッチング融合処理を行って仮想トライアルメイクアップ画像を取得するステップＳ１８３４と、を含む。
【００４７】
図５及び図１０を再度に参照し、一部の実施形態において、インタラクション装置１８は、第２の確認ユニット１８１と第４の処理ユニット１８２とを含む。ステップＳ１８３１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８３２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８３３は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８３４は、第４の処理ユニット１８４によって実現することができる。
【００４８】
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザのトライアルメイクアップ顔領域を取得する。第２の処理ユニット１４２は、さらに、トライアルメイクアップ顔領域を処理してトライアルメイクアップ顔領域のトライアルメイクアップ特徴点を取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいてメイクアップ素材を決定する。第４の処理ユニット１８２は、トライアルメイクアップ特徴点に基づいてメイクアップ素材と第２の画像とのマッチング融合処理を行って仮想トライアルメイクアップ画像を取得する。
【００４９】
メイクアップ素材は、アイシャドウ素材、アイライナー素材、ほお紅素材、口紅素材、及び眉毛素材のうちの１つ又は複数を含む。トライアルメイクアップ特徴点は、目、鼻、眉毛、及び頬などの特徴点を含む。現在のユーザがスマートミラー１００の操作インターフェースで対応するメイクアップ素材をクリックした後、第４の処理ユニット１８２は、決定されたトライアルメイクアップ特徴点に基づいて、現在のユーザによってクリックされたメイクアップ素材と第２の画像とのマッチング融合処理を行う。スマートミラー１００は、マッチング融合処理された仮想トライアルメイクアップ画像を表示する。例えば、図１５に示すように、現在のユーザがアイシャドウ素材及びアイライナー素材をクリックした後、スマートミラー１００は、処理された仮想トライアルメイクアップ画像を表示する。実際の使用中に、現在のユーザは、化粧時に、スマートミラー１００に表示された仮想トライアルメイクアップ画像を参考にして自分の好みのメイクを特定することができる。このようにすることで、ユーザとスマートミラー１００とのインタラクションが強化され、ユーザの使用体験が向上する。
【００５０】
さらに、スマートミラー１００は、フレームごとに仮想トライアルメイクアップ画像を動的フレームの形態で表示する。現在のユーザが動いている状態にあっても、スマートミラー１００は、相変わらず仮想トライアルメイクアップ処理された仮想トライアルメイクアップ画像を持続的に表示することができる。
【００５１】
図１６を参照し、一部の実施形態において、インタラクションは、第２の画像に対する２Ｄ仮面レンダリング処理を含む。スマートミラー１００は、２Ｄ仮面素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの２Ｄ仮面レンダリング顔領域を取得するステップＳ１８４１と、
２Ｄ仮面レンダリング顔領域を処理して２Ｄ仮面レンダリング顔領域の２Ｄ仮面レンダリング特徴点を取得するステップＳ１８４２、
現在のユーザの入力に基づいて２Ｄ仮面素材を決定するステップＳ１８４３と、
２Ｄ仮面レンダリング特徴点に基づいて２Ｄ仮面素材と第２の画像とのマッチング融合処理を行って２Ｄ仮面レンダリング画像を取得するステップＳ１８４４と、を含む。
【００５２】
図５及び図１０を再度に参照し、一部の実施形態において、インタラクション装置１８は、第２の確認ユニット１８１と第４の処理ユニット１８２とを含む。ステップＳ１８４１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８４２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８４３は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８４４は、第４の処理ユニット１８２によって実現することができる。
【００５３】
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの２Ｄ仮面レンダリング顔領域を取得する。第２の処理ユニット１４２は、さらに、２Ｄ仮面レンダリング顔領域を処理して２Ｄ仮面レンダリング顔領域の２Ｄ仮面レンダリング特徴点を取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて２Ｄ仮面素材を決定する。第４の確認ユニット１８２は、２Ｄ仮面レンダリング特徴点に基づいて、２Ｄ仮面素材と第２の画像とのマッチング融合処理を行って２Ｄ仮面レンダリング画像を取得する。
【００５４】
具体的に、２Ｄ仮面レンダリング特徴点は、主に、目、鼻、及び口を含む。２Ｄ仮面素材は、古典的な仮面、北京オペラの仮面、動物の顔の仮面、アニメーションキャラクタの仮面などを含む。現在のユーザが２Ｄ仮面素材をクリックした後、第４の処理ユニット１８２は、２Ｄ仮面素材と第２の画像とのマッチング融合処理を行う。スマートミラー１００は、マッチング融合処理された２Ｄ仮面レンダリング画像を表示する。例えば、図１７に示すように、ユーザが白い仮面の２Ｄ仮面素材をクリックすると、スマートミラー１００は、処理された２Ｄ仮面レンダリング画像を表示する。このようにすることで、ユーザは直感的に仮面を着用した効果を感じることができ、スマートミラー１００の使用の楽しさが増える。
【００５５】
さらに、スマートミラー１００は、フレームごとに２Ｄ仮面レンダリング画像を動的フレームの形態で表示する。ユーザの頭部が動いている場合は、２Ｄ仮面は、相変わらず２Ｄ仮面レンダリング顔領域とのマッチングを実現することができる。ユーザは、レンダリング効果を動的に見ることができる。スマートミラー１００は、リアルに仮面を着用してミラーを見ている使用感覚をユーザに提供することができる。
【００５６】
図１８を参照し、一部の実施形態において、インタラクションは、第２の画像に対する３Ｄアニメーションキャラクタレンダリング処理を含む。スマートミラー１００は、３Ｄエンジン、共通３Ｄ顔モデル、及び３Ｄアニメーションキャラクタ素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの３Ｄアニメーションキャラクタレンダリング顔領域を取得するステップＳ１８５１と、
３Ｄアニメーションキャラクタレンダリング顔領域を処理して３Ｄアニメーションキャラクタレンダリング顔領域の３Ｄアニメーションキャラクタレンダリング特徴点を取得するステップＳ１８５２と、
共通３Ｄ顔モデル及び３Ｄアニメーションキャラクタレンダリング特徴点に基づいて現在のユーザの３Ｄアニメーションキャラクタレンダリング姿勢パラメータを取得するステップＳ１８５３と
現在のユーザの入力に基づいて３Ｄアニメーションキャラクタ素材を決定するステップＳ１８５４と、
第１の姿勢パラメータ及び３Ｄアニメーションキャラクタ素材に基づいて第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うように３Ｄエンジンを制御するステップＳ１８５５と、を含む。
【００５７】
図５及び図１９を参照し、インタラクション装置１８は、取得ユニット１８３と、第２の確認ユニット１８１と、第４の処理ユニット１８２と、含む。ステップＳ１８５１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８５２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８５３は、取得ユニット１８３によって実現することができ、ステップＳ１８５４は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８５５は、第４の処理ユニット１８２によって実現することができる。
【００５８】
つまり、第１の取得ユニット１４１は、さらに、第２の画像を処理して現在のユーザの３Ｄアニメーションキャラクタレンダリング顔領域を取得する。第２の処理ユニット１４２は、さらに、３Ｄアニメーションキャラクタレンダリング顔領域を処理して３Ｄアニメーションキャラクタレンダリング顔領域の３Ｄアニメーションキャラクタレンダリング特徴点を取得する。取得ユニット１８３は、共通３Ｄ顔モデル及び３Ｄアニメーションキャラクタレンダリング特徴点に基づいて現在のユーザの３Ｄアニメーションキャラクタレンダリング姿勢パラメータを取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて３Ｄアニメーションキャラクタ素材を決定する。第４の処理ユニット１８２は、第１の姿勢パラメータ及び３Ｄアニメーションキャラクタ素材に基づいて第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うように３Ｄエンジンを制御する。
【００５９】
具体的に、第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うこととは、第２の画像におけるキャラクタの動きを取得し、キャラクタの動きを模倣して追従するように３Ｄアニメーションキャラクタを制御することである。３Ｄアニメーションキャラクタ素材ライブラリは、例えば、スポンジボブ、ドラえもん、カンフーパンダ、プーさんなどの複数の３Ｄアニメーションキャラクタ素材を含む。３Ｄアニメーションキャラクタレンダリング特徴点は、３Ｄアニメーションキャラクタレンダリング顔領域の目、鼻、口、頭部などを含む。第１の姿勢パラメータは、頭部の回転角度、目の開閉、口の動きなどを含む。共通３Ｄ顔モデルと３Ｄアニメーションキャラクタレンダリング特徴点とのマッチングは、カメラ２０によって撮影された２Ｄ平面画像を３Ｄ立体姿勢パラメータ、即ち第１の姿勢パラメータに変換するために使用される。このようにすることで、現在のユーザが３Ｄアニメーションキャラクタ素材をクリックした後、３Ｄエンジンは、第１の姿勢パラメータ及び３Ｄアニメーションキャラクタ素材に基づいて、第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行って、３Ｄアニメーションキャラクタが現在のユーザの頭部及び面部の動きに基づいてキャラクタ動きの３Ｄ立体表示効果を行うことが実現される。例えば、図２０に示すように、現在のユーザによって選択された３Ｄアニメーションキャラクタ素材は、ドラえもんであり、ユーザが目を大きく開きながら、口を開けて大笑い動きをしている場合、ドラえもんは、同時に目を大きく開きながら、口を開けて大笑い動きをして、リアルタイムで模倣して追従することを実現する。このようにすることで、ユーザとスマートミラー１００とのインタラクションの楽しさが向上する。
【００６０】
一部の実施形態において、取得された３Ｄアニメーションキャラクタレンダリング特徴点は、共通３Ｄ顔モデルライブラリにおけるある共通３Ｄ顔モデルとマッチングすることにより、３Ｄ立体姿勢パラメータを取得することができる。共通３Ｄ顔モデルライブラリには、異なる形の共通３Ｄ顔が保存されている。このようにすることで、異なるユーザの頭部、顔、五官などの差異に基づいて異なる共通３Ｄ顔モデルを選定してマッチングさせ、３Ｄ立体姿勢パラメータの精度を向上させて３Ｄアニメーションキャラクタレンダリングの効果をさらに最適化し、３Ｄアニメーションキャラクタの模倣追従をさらに正確にすることができる。
【００６１】
図２１を参照し、一部の実施形態において、インタラクションは、第２の画像に対する仮想メガネレンダリング処理を含む。スマートミラー１００は、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想メガネ素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの仮想メガネレンダリング第２の顔領域を取得するステップＳ１８６１と、
仮想メガネレンダリング顔領域を処理して仮想メガネレンダリング顔領域の仮想メガネレンダリング特徴点を取得するステップＳ１８６２と、
共通３Ｄ顔モデル及び仮想メガネレンダリング特徴点に基づいて現在のユーザの仮想メガネレンダリング姿勢パラメータを取得するステップＳ１８６３と、
現在のユーザの入力に基づいて仮想メガネ素材を決定するステップＳ１８６４と、
第２の姿勢パラメータ及び仮想メガネ素材に基づいて第２の画像に対して仮想メガネレンダリング処理を行うように３Ｄエンジンを制御するステップＳ１８６５と、を含む。
【００６２】
図５及び図１９を再度に参照し、一部の実施形態において、インタラクション装置１８は、取得ユニット１８３と、第２の確認ユニット１８１と、第４の処理ユニット１８２と、含む。ステップＳ１８６１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８６２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８６３は、取得ユニット１８３によって実現することができ、ステップＳ１８６４は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８６５は、第４の処理ユニット１８２によって実現することができる。
【００６３】
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの仮想メガネレンダリング第２の顔領域を取得する。第２の処理ユニット１４２は、さらに、仮想メガネレンダリング顔領域を処理して仮想メガネレンダリング顔領域の仮想メガネレンダリング特徴点を取得する。取得ユニット１８３は、共通３Ｄ顔モデル及び仮想メガネレンダリング特徴点に基づいて現在のユーザの仮想メガネレンダリング姿勢パラメータを取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて仮想メガネ素材を決定する。第４の処理ユニット１８２は、第２の姿勢パラメータ及び仮想メガネ素材に基づいて第２の画像に対して仮想メガネレンダリング処理を行うように３Ｄエンジンを制御する。
【００６４】
具体的に、第２の画像に対して仮想メガネレンダリング処理を行うこととは、第２の画像におけるキャラクタに仮想メガネをかけることであり、仮想メガネは、第２の画像におけるキャラクタの頭部の動きに合わせて動くことができ、模倣追従を実現する。仮想メガネ素材ライブラリは、複数の異なる色及び造型の仮想メガネ素材を含む。仮想メガネレンダリング特徴点は、主に仮想メガネレンダリング顔領域の頭部及び目の部分を含む。仮想メガネレンダリング姿勢パラメータは、頭部及び目の動き状況を含む。共通３Ｄ顔モデルと仮想メガネレンダリング特徴点とのマッチングは、カメラ２０によって撮影された２Ｄ平面画像を３Ｄ立体姿勢パラメータ、即ち第２の姿勢パラメータに変換するために使用される。このようにすることで、現在のユーザが仮想メガネ素材をクリックした後、３Ｄエンジンは、第２の姿勢パラメータ及び仮想メガネ素材に基づいて第２の画像に対して仮想メガネレンダリング処理を行うことができる。この後、現在のユーザは、スマートミラー１００で自分がメガネをかけた後の３Ｄ立体表示効果を見ることができる。現在のユーザの頭部及び目が動いた後、仮想メガネも、頭部に合わせてリアルタイムで動くことができ、これにより、仮想メガネと目の部分との正確なマッチングが実現される。例えば、図２２に示すように、ユーザによってクリックされた仮想メガネ素材が太いフレームの黒メガネである場合、スマートミラー１００にユーザが当該太いフレームの黒メガネをかけている画像が表示される。ユーザの頭部が回転する時に、当該太いフレームの黒メガネは、同様にユーザの眼部と正確にマッチングすることができる。このようにすることで、ユーザは、仮想メガネレンダリング処理後の効果を参考にして自分に似合うメガネのタイプを選択してかけるようにすることができ、スマートミラー１００の使用機能及び実用性をさらに向上させるとともに、スマートミラー１００の使用の楽しさも向上させることができる。
【００６５】
一部の実施形態において、取得された仮想メガネレンダリング特徴点は、共通３Ｄ顔モデルライブラリにおけるある共通３Ｄ顔モデルとマッチングすることにより、３Ｄの立体姿勢パラメータを取得することもできる。共通３Ｄ顔モデルライブラリには、異なる形の共通３Ｄ顔が保存されている。このようにすることで、異なるユーザの頭部、顔、五官などの差異に基づいて異なる共通３Ｄ顔モデルを選定してマッチングさせ、３Ｄ立体姿勢パラメータの精度を向上させて仮想メガネレンダリングの効果を最適化し、仮想メガネとユーザの眼部とのマッチングをより正確にすることができる。
【００６６】
図２３を参照し、一部の実施形態において、インタラクションは、第２の画像に対して仮想ヘアスタイルレンダリング処理を含む。スマートミラー１００は、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想ヘアスタイル素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの仮想ヘアスタイルレンダリング顔領域を取得するステップＳ１８７１と、
仮想ヘアスタイルレンダリング顔領域を処理して仮想ヘアスタイルレンダリング顔領域の仮想ヘアスタイルレンダリング特徴点を取得するステップＳ１８７２と、
３Ｄ顔モデル及び仮想ヘアスタイルレンダリング特徴点に基づいて現在のユーザの第３の  姿勢パラメータを取得するステップＳ１８７３と、
現在のユーザの入力に基づいて仮想ヘアスタイル素材を決定するＳ１８７４ステップと、
第３の姿勢パラメータ及び仮想ヘアスタイル素材に基づいて第２の画像に対して仮想ヘアスタイルレンダリング処理を行うように３Ｄエンジンを制御するステップＳ１８７５と、を含む。
【００６７】
図５及び図１９を再度に参照し、一部の実施形態において、インタラクション装置１８は、取得ユニット１８３と、第２の確認ユニット１８１と、第４の処理ユニット１８２と、を含む。ステップＳ１８７１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８７２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８７３は、取得ユニット１８３によって実現することができ、ステップＳ１８７４は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８７５は、第４の処理ユニット１８２によって実現することができる。
【００６８】
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの仮想ヘアスタイルレンダリング顔領域を取得する。第２の処理ユニット１４２は、さらに、仮想ヘアスタイルレンダリング顔領域を処理して仮想ヘアスタイルレンダリング顔領域の仮想ヘアスタイルレンダリング特徴点を取得する。取得ユニット１８４は、３Ｄ顔モデル及び仮想ヘアスタイルレンダリング特徴点に基づいて現在のユーザの第３の姿勢パラメータを取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて仮想ヘアスタイル素材を決定する。第４の処理ユニット１８２は、第３の姿勢パラメータ及び仮想ヘアスタイル素材に基づいて第２の画像に対して仮想ヘアスタイルレンダリング処理を行うように３Ｄエンジンを制御する。
【００６９】
具体的に、第２の画像に対して仮想ヘアスタイルレンダリング処理を行うこととは、第２の画像におけるキャラクタに仮想ヘアスタイルをかけることであり、仮想ヘアスタイルは、キャラクタの頭の動きに合わせて動くことができる。仮想ヘアスタイル素材ライブラリは、複数の異なる造型及び色の仮想ヘアスタイル素材を含む。仮想ヘアスタイルレンダリング特徴点は、主に現在のユーザの頭部の部分を含む。仮想ヘアスタイルレンダリング姿勢パラメータは、頭部の動き状況を含む。共通３Ｄ顔モデルと仮想ヘアスタイルレンダリング特徴点とのマッチングは、カメラ２０によって撮影された２Ｄ平面画像を３Ｄの立体姿勢パラメータ、即ち、第３の姿勢パラメータに変換するために使用される。このようにすることで、現在のユーザが仮想ヘアスタイル素材をクリックした後、３Ｄエンジンは、第３の姿勢パラメータ及び仮想ヘアスタイル素材に基づいて第２の画像に対して仮想ヘアスタイルレンダリング処理を行うことができる。この後、現在のユーザは、スマートミラー１００で仮想ヘアスタイルをかけた３Ｄ立体表示効果を見ることができる。現在のユーザの頭部が動いた後、仮想ヘアスタイルも、頭部に合わせてリアルタイムで動くことができ、これにより、仮想ヘアスタイルと頭部との正確なマッチングが実現される。例えば、図２４に示すように、現在のユーザによって選択された仮想ヘアスタイル素材がショートヘアである場合、スマートミラー１００は、ユーザが当該ショートヘアをかけた後の画像を表示する。ユーザの頭部が回転する時に、当該ショートヘアは、同様にユーザの頭部と正確にマッチングすることができる。このようにすることで、ユーザは、仮想ヘアスタイルレンダリング処理後の効果を参考にして自分に似合うヘアスタイルを選択することができるとともに、スマートミラー１００の実用性及び使用の楽しさが向上する。
【００７０】
一部の実施形態において、取得された仮想ヘアスタイルレンダリング特徴点は、共通３Ｄ顔モデルライブラリにおけるある共通３Ｄ顔モデルとマッチングして３Ｄ立体姿勢パラメータを取得することもできる。共通３Ｄ顔モデルライブラリには、異なる形の共通３Ｄ顔が保存されている。このようにすることで、異なるユーザの頭部、顔、五官などの差異に基づいて異なる共通３Ｄ顔モデルを選定してマッチングさせ、３Ｄ立体姿勢パラメータの精度を向上させて、仮想ヘアスタイルレンダリングの効果をさらに最適化し、仮想ヘアスタイルとユーザ頭部とのマッチングをさらに正確にすることができる。
【００７１】
図２５を参照し、一部の実施形態において、インタラクションは、現在のユーザに日常生活ケア指導を提供することをさらに含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
ユーザの入力に基づいて現在のユーザに日常生活ケア指導を提供するステップＳ１８８を含む。
【００７２】
図２６を参照し、一部の実施形態において、インタラクション装置１８は、指導ユニット１８５をさらに含む。ステップＳ１８８は、指導ユニット１８５によって実現することができる。
つまり、指導ユニット１８５は、ユーザの入力に基づいて現在のユーザに日常生活ケア指導を提供する。
【００７３】
具体的に、日常生活ケア指導は、歯を適切に磨く方法、顔を適切に洗う方法、顔をマッサージする方法などをユーザに教えることを含む。例えば、図２７に示すように、ユーザが歯磨きの日常生活ケア指導コンテンツをクリックした場合、スマートミラー１００は、ビデオ又は画像の形式で歯磨きの日常生活ケア指導コンテンツを表示する。このようにすることで、スマートミラー１００の実用性が向上する。
【００７４】
なお、上記実施例において、萌え顔処理、仮想トライアルメイクアップ、２Ｄ仮面レンダリング処理、３Ｄアニメーションキャラクタレンダリング処理、仮想メガネレンダリング処理、及び仮想ヘアスタイルレンダリング処理において、第２の確認ユニット１８１は、同じものである。つまり、第２の確認ユニットは、ステップＳ１８１３、ステップＳ１８３３、ステップＳ１８４３、ステップＳ１８５４、ステップＳ１８６５、及び/又はステップＳ１８７４の内容を実行することができる。萌え顔処理、美顔処理、仮想トライアルメイクアップ、２Ｄ仮面レンダリング処理、３Ｄアニメーションキャラクタレンダリング処理、仮想メガネレンダリング処理、及び仮想ヘアスタイルレンダリング処理において、第４の処理ユニット１８２は、同じものである。つまり、第４の処理ユニット１８２は、ステップＳ１８１４、ステップＳ１８２３、ステップＳ１８３４、ステップＳ１８４４、ステップＳ１８５５、ステップＳ１８６５及び/又はステップＳ１８７５の内容を実行することができる。
【００７５】
また、本発明の実施形態に係る制御方法、コントローラ１０、及びスマートミラー１００は、萌え顔処理、仮想トライアルメイクアップ、２Ｄ仮面レンダリング処理、３Ｄアニメーションキャラクタレンダリング処理、仮想メガネレンダリング処理又は仮想ヘアスタイルレンダリング処理のうちの１つ又は複数を同時に又は順次実行することができる。例えば、コントローラ１０は、第２の画像に対して、萌え顔処理、美顔処理、３Ｄアニメーションキャラクタレンダリング処理を同時に実行することができる。コントローラ１０は、第２の画像に対して、美顔処理、仮想トライアルメイクアップ、仮想メガネレンダリング処理、仮想ヘアスタイルレンダリング処理の順に画像処理を行うこともできる。一部の実施形態において、各画像処理方式の処理順は、任意に変更することができる。
【００７６】
図２８を参照し、本発明の実施形態に係るスマートミラー１００は、１つ又は複数のプロセッサ３０、メモリ４０、及び１つ又は複数のプログラム４１を含む。１つ又は複数のプログラム４１は、メモリ４０に格納されており、１つ又は複数のプロセッサ３０によって実行されるように構成される。プログラム４１は、上記いずれかの実施形態における制御方法を実行するための命令を含む。
例えば、プログラム４１は、
現在のユーザを撮影するようにカメラ２０を制御するステップＳ１２と、
現在のユーザが登録ユーザであるか否かを判断するステップＳ１４と、
現在のユーザが登録ユーザである場合、スマートミラー１００にログインするように現在のユーザを制御するステップＳ１６と、
現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８と、を実行するための命令を含む。
【００７７】
本発明の実施形態に係るコンピュータ読み取り可能な記憶媒体は、画面を表示可能な電子装置と組み合わせて使用されるコンピュータプログラムを含む。コンピュータプログラムは、プロセッサによって実行されて上記いずれかの実施形態に記載の制御方法を完成することができる。
例えば、プロセッサは、
現在のユーザを撮影するようにカメラ２０を制御するステップＳ１２と、
現在のユーザが登録ユーザであるか否かを判断するステップＳ１４と、
現在のユーザが登録ユーザである場合、スマートミラー１００にログインするように現在のユーザを制御するステップＳ１６と、
現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８と、を実行可能である。
【００７８】
以上により、本発明の実施形態に係る制御方法、コントローラ１０、スマートミラー１００、及びコンピュータ読み取り可能な記憶媒体は、萌え顔処理、美顔処理、仮想トライアルメイクアップ、２Ｄ仮面レンダリング処理、３Ｄアニメーションキャラクタレンダリング処理、仮想メガネレンダリング処理、仮想ヘアスタイルレンダリング処理、日常生活ケア指導などを含む複数のインタラクション機能を登録ユーザに提供することができる。このようにすることで、スマートミラー１００の使用機能が増え、実用性がさらに向上し、スマートミラー１００使用の楽しさ及びユーザの使用体験も向上する。
【００７９】
本発明の説明において、「一実施例」、「一部の実施例」、「例示的な実施例」、「具体的な実施例」、又は「一部の実施例」などの用語を参照した説明とは、該実施例又は実施例に結合して説明された具体的な特徴、構成、材料又は特徴が、本発明の少なくとも一実施例又は実施例に含まれることを意味する。本明細書において、上記用語に対する例示的な記述は、必ずしも同一の実施例又は実施例を示すことではない。又、説明された具体的な特徴、構成、材料又は特徴は、いずれか１つ又は複数の実施例又は実施例において適切に組み合わせることができる。さらに、互いに矛盾しない場合、当業者であれば、本明細書に記述した異なる実施例又は例、及び異なる実施例又は例示的特徴に対して結合及び組み合わせを行うことができる。
【００８０】
また、「第１」、「第２」の用語は単に説明するためのものであり、比較的な重要性を指示又は暗示するか、又は示された技術的特徴の数を黙示的に指示すると理解してはいけない。従って、「第１」、「第２」が限定された特徴は、少なくとも１つの前記特徴を含むことを明示又は暗示する。本発明の説明において、別途明確且つ具体的な限定がない限り、「複数」とは、少なくとも２つ、例えば、２つ、３つなどを意味する。
【００８１】
フローチャートにおける、又はここで他の形態で記載された任意のプロセス又は方法は、カスタムロジック機能又はプロセスのステップを実現するための１つ又は複数の実行可能な命令コードを含むモジュール、セグメント又は一部を表すと理解されてもよい。また、本発明の好ましい実施形態の範囲は、ここで、示された又は論議された順番ではなく、係る機能に応じてほぼ同時の形態又は逆の順番で機能を実行することができる他の実現を含むことができる。これは、当業者であれば理解すべきものである。
【００８２】
フローチャートで示された又はここで他の形態で説明されたロジック及び/又はステップは、例えば、ロジック機能を実現するための実行可能な命令の順番付けられたリストと見なすことができ、任意のコンピュータ読み取り可能な記憶媒体に具体的に実装されて、命令実行システム、装置、又はデバイス（例えばコンピュータに基づいたシステム、プロセッサを含むシステム、又は他の命令実行システム、装置又はデバイスから命令を獲得して命令を実行するシステム）に利用されるか、又はこれらの命令実行システム、装置又はデバイスと組み合わせて利用される。本願明細書において、「コンピュータ読み取り可能な記憶媒体」は、命令実行システム、装置又はデバイスによって、又は、命令実行システム、装置又はデバイスと組み合わせて使用するためのプログラムを含む、格納する、通信する、伝播する、又は伝送することができる任意の装置であってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例（非限定的なリスト）として、１つ又は複数の配線を備える電気接続部（電子デバイス）、ポータブルコンピュータディスクカートリッジ（磁気デバイス）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバデバイス、及びポータブルコンパクトディスク読み出し専用リメモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な記憶媒体は、前記プログラムが印刷され得る紙又は他の適切な媒体であってもよく、これは、例えば、紙や他の媒体を光学的スキャンし、次に編集し、解釈し、又は必要な場合他の適切な形態で処理して前記プログラムを電子的に取得して、そしてコンピュータメモリに格納するからである。
【００８３】
なお、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって実現することができる。上記実施形態において、複数のステップ又は方法は、メモリに記憶された且つ適切な命令実行システムによって実行されるソフトウェア又はファームウェアによって実現することができる。例えば、ハードウェアで実現される場合、もう１つの実施形態と同様に、本分野において周知である、データ信号に対してロジック機能を実現するためのロジックゲート回路を備える離散ロジック回路、適切な組み合わせロジックゲート回路を備える特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの当分野の周知技術のうちのいずれか１つ又はこれらの組み合わせによって実現することができる。
【００８４】
普通の当業者であれば、上記の実施例に係る方法に含まれる全部又は一部のステップは、プログラムによってハードウェアを命令することで実行することができると理解することができる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に格納することができ、当該プログラムが実行される場合、方法実施例におけるステップの１つ又はそれらの組み合わせが実行される。
【００８５】
また、本発明の各実施例における各機能ユニットは、１つの処理モジュールに集積されてもよいし、それぞれが個別の物理的存在であってもよいし、２つ以上のユニットが１つのモジュールに集積されてもよい。前記集積モジュールは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能モジュールの形態で実現されてもよい。前記集積モジュールがソフト機能モジュールの形態で実現されるとともに、独立した製品として販売又は使用される場合、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
【００８６】
上記の記憶媒体は、読み出し専用メモリ、磁気ディスク、又はＣＤなどであってもよい。なお、以上、本発明の実施例を示して説明したが、上記実施例は例示するものであって、本発明を制限するためのものであると理解してはいけない。普通の当業者であれば、本発明の範囲内で上記実施例に対して変更、修正、取り替え、変形を行うことができる。
【図１】
2019537758.tif 000003
【図２】
2019537758.tif 000004
【図３】
2019537758.tif 000005
【図４】
2019537758.tif 000006
【図５】
2019537758.tif 000007
【図６】
2019537758.tif 000008
【図７】
2019537758.tif 000009
【図８】
2019537758.tif 000010
【図９】
2019537758.tif 000011
【図１０】
2019537758.tif 000012
【図１１】
2019537758.tif 000013
【図１２】
2019537758.tif 000014
【図１３】
2019537758.tif 000015
【図１４】
2019537758.tif 000016
【図１５】
2019537758.tif 000017
【図１６】
2019537758.tif 000018
【図１７】
2019537758.tif 000019
【図１８】
2019537758.tif 000020
【図１９】
2019537758.tif 000021
【図２０】
2019537758.tif 000022
【図２１】
2019537758.tif 000023
【図２２】
2019537758.tif 000024
【図２３】
2019537758.tif 000025
【図２４】
2019537758.tif 000026
【図２５】
2019537758.tif 000027
【図２６】
2019537758.tif 000028
【図２７】
2019537758.tif 000029
【図２８】
2019537758.tif 000030
【国際調査報告】
2019537758.tif 000031
2019537758.tif 000032
2019537758.tif 000033
2019537758.tif 000034
2019537758.tif 000035
2019537758.tif 000036