(57)【要約】本願の実施例は、特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器を開示し、ここで、特殊効果プログラムファイルパッケージの生成方法は、複数のサブ素材を含む１つのサブ素材群をインポートする操作と、前記１つのサブ素材群の再生パラメータのパラメータ値を取得する操作と、前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する操作と、を含む。本願の実施例は、プログラムファイルを手動で書くことなく、レンダリングエンジンにより実行可能な動的特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、動的特殊効果の正確性は効果的に保障された。
2021508883.tif 000002
【特許請求の範囲】
【請求項１】
複数のサブ素材を含む１つのサブ素材群をインポートする操作と、
前記１つのサブ素材群の再生パラメータのパラメータ値を取得する操作と、
前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する操作と、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成方法。
【請求項２】
前記複数のサブ素材は、所定の再生時系列を有することを特徴とする請求項１に記載の方法。
【請求項３】
前記複数のサブ素材の再生時系列は、前記複数のサブ素材のファイル名に基づいて決定されることを特徴とする請求項２に記載の方法。
【請求項４】
１つのサブ素材群をインポートする前記操作は、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートして、前記１つのサブ素材群とする操作を含むことを特徴とする請求項１−３のいずれか一項に記載の方法。
【請求項５】
操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする前記操作は、
前記操作欄における再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作、又は、
前記操作欄の対話インターフェイスで送られた選択コマンドを受け取り、前記選択コマンドで選択された参照部位を、現在、特殊効果を加えようとする目標部位とし、前記操作欄に前記目標部位における再生パラメータ設定画面を表示し、前記再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作を含むことを特徴とする請求項４に記載の方法。
【請求項６】
対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作は、
前記対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダーを取得、表示する操作と、
前記素材フォルダー内のサブ素材に対する選択操作が受け取られたことに応じて、前記サブ素材選択操作で選択された複数のサブ素材をインポートし、及び／又は、前記素材フォルダー内のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて素材フォルダー内のサブ素材の全て又は一部を選択し、事前設定に基づいて選択されたサブ素材をインポートする操作と、を含むことを特徴とする請求項４又は５に記載の方法。
【請求項７】
前記特殊効果プログラムファイルパッケージは、１つのサブ素材群を含むか、又は複数のサブ素材群を含むことを特徴とする請求項１−６のいずれか一項に記載の方法。
【請求項８】
前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする前記操作は、
前記インポートコマンドに前記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれることに応じて、前記表示順序で前記複数のサブ素材を読み取り、インポートし、インポートされた前記複数のサブ素材のファイル名を前記操作欄に前記表示順序で表示する操作、及び／又は、
前記インポートコマンドに前記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれないことに応じて、事前設定順序で前記複数のサブ素材を読み取り、インポートし、インポートされた前記複数のサブ素材のファイル名を前記操作欄に事前設定順序で表示する操作を含むことを特徴とする請求項４−７のいずれか一項に記載の方法。
【請求項９】
前記１つのサブ素材群の再生パラメータのパラメータ値を取得する前記操作は、
前記再生パラメータ設定画面内の対話インターフェイスで送られた、前記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られたことに応じて、前記設定されたパラメータ値を前記１つのサブ素材群の再生パラメータのパラメータ値とする操作、及び／又は、
前記再生パラメータ設定画面内の対話インターフェイスで送られた、前記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記１つのサブ素材群の再生パラメータのパラメータ値とする操作を含むことを特徴とする請求項５−８のいずれか一項に記載の方法。
【請求項１０】
前記１つのサブ素材群の再生パラメータは、
前記複数のサブ素材を表示するか否かを表すための表示パラメータ、
前記複数のサブ素材のうちの隣接する２つのサブ素材を表示するための間隔するフレーム数を表すための間隔パラメータ、
前記複数のサブ素材の表示をトリガするトリガ動作を表すためのトリガ動作パラメータ、
前記複数のサブ素材のリピート再生回数を表すためのリピートパラメータ、
前記複数のサブ素材を遅延表示する時間を表すための遅延トリガパラメータ、
前記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータ、
複数のサブ素材の表示サイズ変化の参照基準を表すための表示サイズパラメータ、
複数のサブ素材と位置の関係種類を表すための位置種類パラメータ、
複数のサブ素材が事前設定参照部位の移動に従って移動するか否かを表すための位置関連付けパラメータ、
複数のサブ素材と事前設定キーポイントとの間の位置結び付け関係を表すための位置パラメータ、
複数のサブ素材の回転基準としてのキーポイントを表すための回転パラメータ、
サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータの中のいずれか一項又は複数項を含むことを特徴とする請求項１−９のいずれか一項に記載の方法。
【請求項１１】
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記位置種類パラメータは、
前景を表すためのパラメータ、
前記複数のサブ素材が顔部位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が手の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が頭部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が肩部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腕の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腰部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腿部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が足部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が人体骨格の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
参照部位に関連する再生位置関係、
背景を表すためのパラメータのいずれか一項を含むことを特徴とする請求項１０又は１１に記載の方法。
【請求項１３】
前記の参照部位に関連する再生位置関係は、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大され、前記複数のサブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大され、前記複数のサブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記複数のサブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記再生パラメータに、前記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係が含まれ、
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする請求項１−１３のいずれか一項に記載の方法。
【請求項１５】
前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記目キーポイントは、左目縁キーポイント、左目瞳中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記１つのサブ素材群の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立する操作、及び／又は、前記１つのサブ素材群の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を更に含むことを特徴とする請求項１４−１６のいずれか一項に記載の方法。
【請求項１８】
コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示する操作を更に含むことを特徴とする請求項１４−１７のいずれか一項に記載の方法。
【請求項１９】
前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記参照人物の少なくとも一部の画像は、前記参照人物の、完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
１つのサブ素材群をインポートする前記操作の後に、
前記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、事前設定表示ポリシーに従って、インポートされた前記１つのサブ素材群内の各サブ素材を前記コンテンツ表示欄に順に表示するか、又はインポートされた前記１つのサブ素材群内の複数のサブ素材を同時に表示する操作、又は、
前記１つのサブ素材群の中のサブ素材に対する選択操作を受け取り、前記コンテンツ表示欄に前記選択操作で選択されたサブ素材を表示する操作を更に含むことを特徴とする請求項１８−２０のいずれか一項に記載の方法。
【請求項２２】
前記コンテンツ表示欄で受け取られた、前記１つのサブ素材群又は前記１つのサブ素材群のうちの１つのサブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記１つのサブ素材群の表示位置を更新し、前記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新する操作を更に含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記コンテンツ表示欄で受け取られた前記１つのサブ素材群又は前記１つのサブ素材群のうちの１つのサブ素材に対するサイズ調整操作により、前記コンテンツ表示欄における前記１つのサブ素材群の表示サイズを更新し、前記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新する操作を更に含むことを特徴とする請求項２１又は２２に記載の方法。
【請求項２４】
前記操作欄の対話インターフェイスで受け取られた、２つ又は２つ以上のサブ素材群に対して送られたレイヤーパラメータ調整コマンドにより、前記２つ又は２つ以上のサブ素材群の間の遮蔽関係を調整し、調整後の遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材群を表示する操作を更に含むことを特徴とする請求項１−２３のいずれか一項に記載の方法。
【請求項２５】
特殊効果プログラムファイルパッケージを生成する前記操作の前に、予め設定された特殊効果プログラムファイル及び前記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記１つのサブ素材群の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記１つのサブ素材群の特殊効果プログラムファイルを表示する操作を更に含むことを特徴とする請求項１−２４のいずれか一項に記載の方法。
【請求項２６】
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成された特殊効果プログラムファイルを含むことを特徴とする請求項２５に記載の方法。
【請求項２７】
受け取ったスタートコマンドによりスタートし、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示する操作を更に含むことを特徴とする請求項１−２６のいずれか一項に記載の方法。
【請求項２８】
前記操作画面は、左側、中部及び右側といった３つの領域を含み、
操作画面を表示する前記操作は、前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示する操作を含むことを特徴とする請求項２７に記載の方法。
【請求項２９】
特殊効果プログラムファイルパッケージを生成する前記操作の後に、受け取った保存コマンドにより、前記保存コマンドに示される位置に前記特殊効果プログラムファイルパッケージを保存する操作を更に含むことを特徴とする請求項１−２８のいずれか一項に記載の方法。
【請求項３０】
受け取った保存コマンドにより、前記保存コマンドに示される位置に前記特殊効果プログラムファイルパッケージを保存する前記操作は、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
前記保存パス選択インターフェイスから送られた保存位置を受け取り、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて、前記特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶する操作と、を含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
前記特殊効果プログラムファイルパッケージ内のサブ素材の大きさは、サブ素材がインポートされる前の大きさに保持されることを特徴とする請求項１−３０のいずれか一項に記載の方法。
【請求項３２】
特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得する操作であって、１つのサブ素材群が複数のサブ素材を含む操作と、
ビデオ画像に対してキーポイント検出を行う操作と、
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する操作と、を含むことを特徴とする特殊効果生成方法。
【請求項３３】
前記特殊効果プログラムファイルパッケージをインポートする操作であって、前記特殊効果プログラムファイルパッケージが、少なくとも１つのサブ素材群、及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含み、前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値が、前記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む操作を更に含むことを特徴とする請求項３２に記載の方法。
【請求項３４】
前記複数のサブ素材は、所定の再生時系列を有することを特徴とする請求項３２又は３３に記載の方法。
【請求項３５】
前記再生パラメータは、前記複数のサブ素材の表示をトリガするトリガイベントを表すためのトリガイベントパラメータを含み、
前記方法は、前記ビデオ画像に前記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作を更に含み、
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、再生しているビデオ上で前記少なくとも１つのサブ素材群の特殊効果を生成する操作は、
前記ビデオ画像に前記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果を前記ビデオ上で生成する操作を含むことを特徴とする請求項３４に記載の方法。
【請求項３６】
前記再生パラメータは、前記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータを更に含み、
前記方法は、
前記ビデオ画像に前記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作と、
前記ビデオ画像に前記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、前記再生しているビデオでの前記少なくとも１つのサブ素材群の特殊効果の生成を終了する操作と、を更に含むことを特徴とする請求項３５に記載の方法。
【請求項３７】
前記再生パラメータは、サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータを含み、
前記方法は、検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する時に、前記美顔／化粧効果パラメータに基づいて、前記ビデオ画像における前記事前設定部位に美顔／化粧効果を表示する操作を更に含むことを特徴とする請求項３５又は３６に記載の方法。
【請求項３８】
特殊効果プログラムファイルパッケージをインポートする前記操作は、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、前記特殊効果プログラムファイルパッケージを解析し、前記少なくとも１つのサブ素材群、及び特殊効果プログラムファイルを取得する操作であって、前記特殊効果プログラムファイルが、前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含む操作と、を含むことを特徴とする請求項３２−３７のいずれか一項に記載の方法。
【請求項３９】
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする請求項３８に記載の方法。
【請求項４０】
前記特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得する前記操作は、
ステッカーハンドルを作成するための第２のインターフェイス関数によってステッカーハンドルを作成する操作と、
前記少なくとも１つのサブ素材群及び前記特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶する操作と、を含むことを特徴とする請求項３８又は３９に記載の方法。
【請求項４１】
前記複数のサブ素材のファイル名に基づいて、前記複数のサブ素材の再生時系列を決定する操作と、
前記ステッカーハンドル内の前記特殊効果プログラムファイルの少なくとも１つのサブ素材群の再生パラメータのパラメータ値及び前記複数のサブ素材の再生時系列に基づいて、前記少なくとも１つのサブ素材群の中の各サブ素材の前記ビデオにおける表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取る操作と、を更に含むことを特徴とする請求項４０に記載の方法。
【請求項４２】
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記再生しているビデオ上で前記少なくとも１つのサブ素材群の特殊効果を生成する前記操作は、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る操作と、
前記検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記表示しようとするサブ素材の現在ビデオ画像における表示位置を決定する操作と、
前記現在ビデオ画像上に表示しようとするサブ素材を前記現在ビデオ画像上の前記表示位置に表示する操作と、を含むことを特徴とする請求項４０又は４１に記載の方法。
【請求項４３】
前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄する操作を更に含むことを特徴とする請求項４０−４２のいずれか一項に記載の方法。
【請求項４４】
前記ビデオ画像に対してキーポイント検出を行う前記操作は、ニューラルネットワークによって、前記ビデオ画像に対して前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力する操作を含むことを特徴とする請求項３３−４３のいずれか一項に記載の方法。
【請求項４５】
前記キーポイント検出結果は、前記対応関係に関わるキーポイントの前記ビデオの中の画像における位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする請求項４４に記載の方法。
【請求項４６】
前記特殊効果プログラムファイルパッケージは、請求項１−３１のいずれか一項に記載の方法を用いて生成されたものであることを特徴とする請求項３２−４５のいずれか一項に記載の方法。
【請求項４７】
複数のサブ素材を含む１つのサブ素材群をインポートするための第１のインポートモジュールと、
前記１つのサブ素材群の再生パラメータのパラメータ値を取得するための第１の取得モジュールと、
前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成装置。
【請求項４８】
前記複数のサブ素材は、所定の再生時系列を有することを特徴とする請求項４７に記載の装置。
【請求項４９】
前記複数のサブ素材の再生時系列は、前記複数のサブ素材のファイル名に基づいて決定されることを特徴とする請求項４８に記載の装置。
【請求項５０】
操作欄を含む操作画面を更に含み、
前記第１のインポートモジュールは、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートして、前記１つのサブ素材群とするために用いられることを特徴とする請求項４７−４９のいずれか一項に記載の装置。
【請求項５１】
前記第１のインポートモジュールは、
前記操作欄における再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作、又は、
前記操作欄の対話インターフェイスで送られた選択コマンドを受け取り、前記選択コマンドで選択された参照部位を、現在、特殊効果を加えようとする目標部位とし、前記操作欄に前記目標部位における再生パラメータ設定画面を表示し、前記再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作、
を実行するために用いられることを特徴とする請求項５０に記載の装置。
【請求項５２】
前記第１のインポートモジュールは、
前記対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダーを取得、表示する操作と、
前記素材フォルダー内のサブ素材に対する選択操作が受け取られたことに応じて、前記サブ素材選択操作で選択された複数のサブ素材をインポートし、及び／又は、前記素材フォルダー内のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー内のサブ素材の全て又は一部を選択し、事前設定に基づいて選択されたサブ素材をインポートする操作と、
を実行するために用いられることを特徴とする請求項５０又は５１に記載の装置。
【請求項５３】
前記特殊効果プログラムファイルパッケージは、１つのサブ素材群を含むか、又は複数のサブ素材群を含むことを特徴とする請求項４７−５２のいずれか一項に記載の装置。
【請求項５４】
前記第１のインポートモジュールは、
前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする時に、前記インポートコマンドに前記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれることに応じて、前記表示順序で前記複数のサブ素材を読み取り、インポートし、インポートされた前記複数のサブ素材のファイル名を前記操作欄に前記表示順序で表示する操作、及び／又は、
前記インポートコマンドに前記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれないことに応じて、事前設定順序で前記複数のサブ素材を読み取り、インポートし、インポートされた前記複数のサブ素材のファイル名を前記操作欄に事前設定順序で表示する操作、
を実行するために用いられることを特徴とする請求項５０−５３のいずれか一項に記載の装置。
【請求項５５】
前記第１の取得モジュールは、
前記再生パラメータ設定画面内の対話インターフェイスで送られた、前記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られたことに応じて、前記設定されたパラメータ値を前記１つのサブ素材群の再生パラメータのパラメータ値とする操作、及び／又は、
前記再生パラメータ設定画面内の対話インターフェイスで送られた、前記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記１つのサブ素材群の再生パラメータのパラメータ値とする操作、
を実行するために用いられることを特徴とする請求項５１−５４のいずれか一項に記載の装置。
【請求項５６】
前記１つのサブ素材群の再生パラメータは、
前記複数のサブ素材を表示するか否かを表すための表示パラメータ、
前記複数のサブ素材のうちの隣接する２つのサブ素材を表示するための間隔するフレーム数を表すための間隔パラメータ、
前記複数のサブ素材の表示をトリガするトリガ動作を表すためのトリガ動作パラメータ、
前記複数のサブ素材のリピート再生回数を表すためのリピートパラメータ、
前記複数のサブ素材を遅延表示する時間を表すための遅延トリガパラメータ、
前記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータ、
複数のサブ素材の表示サイズ変化の参照基準を表すための表示サイズパラメータ、
複数のサブ素材と位置の関係種類を表すための位置種類パラメータ、
複数のサブ素材が事前設定参照部位の移動に従って移動するか否かを表すための位置関連付けパラメータ、
複数のサブ素材と事前設定キーポイントとの間の位置結び付け関係を表すための位置パラメータ、
複数のサブ素材の回転基準としてのキーポイントを表すための回転パラメータ、
サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータの中のいずれか一項又は複数項を含むことを特徴とする請求項５１−５５のいずれか一項に記載の装置。
【請求項５７】
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする請求項５６に記載の装置。
【請求項５８】
前記位置種類パラメータは、
前景を表すためのパラメータ、
前記複数のサブ素材が顔部位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が手の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が頭部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が肩部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腕の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腰部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腿部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が足部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が人体骨格の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
参照部位に関連する再生位置関係、
背景を表すためのパラメータのいずれか一項を含むことを特徴とする請求項５５又は５６に記載の装置。
【請求項５９】
前記の参照部位に関連する再生位置関係は、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大され、前記複数のサブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大され、前記複数のサブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記複数のサブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする請求項５８に記載の装置。
【請求項６０】
、前記再生パラメータに、前記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係が含まれ、
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする請求項４７−５９のいずれか一項に記載の装置。
【請求項６１】
前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項６０に記載の装置。
【請求項６２】
前記目キーポイントは、左目縁キーポイント、左目瞳中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項６１に記載の装置。
【請求項６３】
前記第１の取得モジュールは、更に、
前記１つのサブ素材群の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立する操作、及び／又は、
前記１つのサブ素材群の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立する操作、
を実行するために用いられることを特徴とする請求項４７−６２のいずれか一項に記載の装置。
【請求項６４】
前記操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、且つ前記参照画像におけるキーポイントを表示するためのコンテンツ表示欄を更に含むことを特徴とする請求項６０−６３のいずれか一項に記載の装置。
【請求項６５】
前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする請求項６４に記載の装置。
【請求項６６】
前記参照人物の少なくとも一部の画像は、前記参照人物の、完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする請求項６５に記載の装置。
【請求項６７】
前記コンテンツ表示欄は、更に、
前記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、事前設定表示ポリシーに従って、インポートされた前記１つのサブ素材群内の各サブ素材を前記コンテンツ表示欄に順に表示するか、又はインポートされた前記１つのサブ素材群内の複数のサブ素材を同時に表示する操作、又は、
前記１つのサブ素材群の中のサブ素材に対する選択操作を受け取り、前記コンテンツ表示欄に前記選択操作で選択されたサブ素材を表示する操作に用いられることを特徴とする請求項６４−６６のいずれか一項に記載の装置。
【請求項６８】
前記コンテンツ表示欄で受け取られた、前記１つのサブ素材群又は前記１つのサブ素材群のうちの１つのサブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記１つのサブ素材群の表示位置を更新し、前記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新するための第１の更新モジュールを更に含むことを特徴とする請求項６７に記載の装置。
【請求項６９】
前記コンテンツ表示欄で受け取られた前記１つのサブ素材群又は前記１つのサブ素材群のうちの１つのサブ素材に対するサイズ調整操作により、前記コンテンツ表示欄における前記１つのサブ素材群の表示サイズを更新し、前記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新するための第２の更新モジュールを更に含むことを特徴とする請求項６７又は６８に記載の装置。
【請求項７０】
前記操作欄の対話インターフェイスで受け取られた、２つ又は２つ以上のサブ素材群に対して送られたレイヤーパラメータ調整コマンドにより、前記２つ又は２つ以上のサブ素材群の間の遮蔽関係を調整し、調整後の遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材群を表示するための調整モジュールを更に含むことを特徴とする請求項４７−６９のいずれか一項に記載の装置。
【請求項７１】
前記操作画面は、予め設定された特殊効果プログラムファイル及び前記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記１つのサブ素材群の特殊効果プログラムファイルを生成し、前記１つのサブ素材群の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含むことを特徴とする請求項４７−７０のいずれか一項に記載の装置。
【請求項７２】
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成された特殊効果プログラムファイルを含むことを特徴とする請求項７１に記載の装置。
【請求項７３】
前記操作画面は、左側、中部及び右側といった３つの領域を含み、前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示することを特徴とする請求項４７−７２のいずれか一項に記載の装置。
【請求項７４】
受け取った保存コマンドにより、前記保存コマンドに示される位置に前記特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含むことを特徴とする請求項４７−７３のいずれか一項に記載の装置。
【請求項７５】
前記保存モジュールは、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
前記保存パス選択インターフェイスから送られた保存位置を受け取り、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて、前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶する操作と、
を実行するために用いられることを特徴とする請求項７４に記載の装置。
【請求項７６】
前記特殊効果プログラムファイルパッケージ内のサブ素材の大きさは、前記サブ素材がインポートされる前の大きさに保持されることを特徴とする請求項４７−７５のいずれか一項に記載の装置。
【請求項７７】
特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得するための第２の取得モジュールであって、１つのサブ素材群が複数のサブ素材を含む第２の取得モジュールと、
ビデオ画像に対してキーポイント検出を行うための第１の検出モジュールと、
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成するための第２の生成モジュールと、を含むことを特徴とする特殊効果生成装置。
【請求項７８】
前記特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールを更に含み、前記特殊効果プログラムファイルパッケージが、少なくとも１つのサブ素材群、及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含み、前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値が、前記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする請求項７７に記載の装置。
【請求項７９】
前記複数のサブ素材は、所定の再生時系列を有することを特徴とする請求項７７又は７８に記載の装置。
【請求項８０】
前記再生パラメータは、前記複数のサブ素材の表示をトリガするトリガイベントを表すためのトリガイベントパラメータを含み、
前記ビデオ画像に前記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出するための第２の検出モジュールを更に含み、
前記第２の生成モジュールは、前記ビデオ画像に前記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果を前記ビデオ上で生成するために用いられることを特徴とする請求項７９に記載の装置。
【請求項８１】
前記再生パラメータは、前記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータを更に含み、
前記第２の検出モジュールは、更に、前記ビデオ画像に前記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出するために用いられ、
前記第２の生成モジュールは、更に、前記ビデオ画像に前記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、前記の再生しているビデオでの前記少なくとも１つのサブ素材群の特殊効果の生成を終了するために用いられることを特徴とする請求項８０に記載の装置。
【請求項８２】
前記再生パラメータは、サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータを含み、
前記第２の生成モジュールは、更に、検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する時に、前記美顔／化粧効果パラメータに基づいて、前記ビデオ画像における前記事前設定部位に美顔／化粧効果を表示するために用いられることを特徴とする請求項８０又は８１に記載の装置。
【請求項８３】
前記第２のインポートモジュールは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、
前記動的特殊効果プログラムファイルパッケージを解析し、前記少なくとも１つのサブ素材群、及び特殊効果プログラムファイルを取得する操作と、を実行するために用いられ、
前記特殊効果プログラムファイルが、前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含むことを特徴とする請求項７８−８２のいずれか一項に記載の装置。
【請求項８４】
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする請求項８３に記載の装置。
【請求項８５】
前記第２の取得モジュールは、
ステッカーハンドルを作成するための第２のインターフェイス関数によってステッカーハンドルを作成する操作と、
前記少なくとも１つのサブ素材群及び前記特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶する操作と、
を実行するために用いられることを特徴とする請求項８３又は８４に記載の装置。
【請求項８６】
前記複数のサブ素材のファイル名に基づいて、前記複数のサブ素材の再生時系列を決定するための決定モジュールを更に含み、
第３の取得モジュールは、前記ステッカーハンドル内の前記特殊効果プログラムファイルの少なくとも１つのサブ素材群の再生パラメータのパラメータ値及び前記複数のサブ素材の再生時系列に基づいて、前記少なくとも１つのサブ素材群の中の各サブ素材の前記ビデオにおける表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るために用いられることを特徴とする請求項８５に記載の装置。
【請求項８７】
前記第２の生成モジュールは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る操作と、
前記検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記の表示しようとするサブ素材の現在ビデオ画像における表示位置を決定する操作と、
前記の前記現在ビデオ画像上に表示しようとするサブ素材を前記現在ビデオ画像上の前記表示位置に表示する操作と、
を実行するために用いられることを特徴とする請求項８５又は８６に記載の装置。
【請求項８８】
前記第２の取得モジュールは、更に、前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するために用いられることを特徴とする請求項８５−８７のいずれか一項に記載の装置。
【請求項８９】
前記第１の検出モジュールは、ニューラルネットワークによって、前記ビデオ画像に対して前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられることを特徴とする請求項７７−８８のいずれか一項に記載の装置。
【請求項９０】
前記キーポイント検出結果は、前記対応関係に関わるキーポイントの前記ビデオの中の画像における位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする請求項８９に記載の装置。
【請求項９１】
前記特殊効果プログラムファイルパッケージは、請求項１−３１のいずれか一項に記載の方法、又は請求項４７−７６のいずれか一項に記載の装置を用いて生成されたものであることを特徴とする請求項７７−９０のいずれか一項に記載の装置。
【請求項９２】
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するために用いられ、前記コンピュータプログラムが実行されると、請求項１−４６のいずれか一項に記載の方法を実現するプロセッサと、を含むことを特徴とする電子機器。
【請求項９３】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、上記請求項１−４６のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１８年２月８日に中国特許局に提出された、出願番号がＣＮ２０１８１０１２９９６９．７であり、発明の名称が「特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は、コンピュータビジョン技術に関し、特に、特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器に関する。
【背景技術】
【０００３】
拡張現実技術（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＡＲ）は、現実世界と仮想世界の情報を「シームレスに」統合する新しい技術であり、元々現実世界にあった特定の時間及び空間範囲内の現実情報をシミュレートしてから仮想情報を重畳させ、仮想情報を現実世界に適用し、現実世界の人物、環境及び仮想物体を同一の画面又は空間に同時に存在させるようにリアルタイムに重畳させて、現実を超えた感覚体験を達成する。
【発明の概要】
【課題を解決するための手段】
【０００４】
本願の実施例は、特殊効果プログラムファイルパッケージを生成する技術的解決手段及び特殊効果を生成する技術的解決手段を提供する。
【０００５】
本願の実施例の一態様によれば、
複数のサブ素材を含む１つのサブ素材群をインポートする操作と、
前記１つのサブ素材群の再生パラメータのパラメータ値を取得する操作と、
前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する操作と、を含む特殊効果プログラムファイルパッケージの生成方法を提供する。
【０００６】
選択可能に、別の実施例の特殊効果プログラムファイルパッケージの生成方法では、前記複数のサブ素材は、所定の再生時系列を有する。
【０００７】
選択可能に、別の実施例の特殊効果プログラムファイルパッケージの生成方法では、前記複数のサブ素材の再生時系列は、前記複数のサブ素材のファイル名に基づいて決定される。
【０００８】
選択可能に、別の実施例の特殊効果プログラムファイルパッケージの生成方法では、
本願の実施例のまた１つの態様によれば、
特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得する操作であって、１つのサブ素材群が複数のサブ素材を含む操作と、
ビデオ画像に対してキーポイント検出を行う操作と、
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する操作と、を含む特殊効果生成方法を提供する。
【０００９】
本願の実施例の更にまた１つの態様によれば、
複数のサブ素材を含む１つのサブ素材群をインポートするための第１のインポートモジュールと、
前記１つのサブ素材群の再生パラメータのパラメータ値を取得するための第１の取得モジュールと、
前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含む特殊効果プログラムファイルパッケージの生成装置を提供する。
【００１０】
本願の実施例の更にまた１つの態様によれば、
特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得するための第２の取得モジュールであって、１つのサブ素材群が複数のサブ素材を含む第２の取得モジュールと、
ビデオ画像に対してキーポイント検出を行うための第１の検出モジュールと、
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成するための第２の生成モジュールと、を含む特殊効果生成装置を提供する。
【００１１】
本願の実施例の別の態様によれば、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するために用いられ、前記コンピュータプログラムが実行されると、本願のいずれか１つの実施例に記載の方法を実現するプロセッサと、を含む電子機器を提供する。
【００１２】
本願の実施例の別の態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、本願のいずれか１つの実施例に記載の方法を実現するコンピュータ可読記憶媒体を提供する。
【００１３】
本願の実施例の別の態様によれば、コンピュータコマンドを含むコンピュータプログラムであって、前記コンピュータコマンドが機器のプロセッサで動作すると、本願のいずれか１つの実施例に記載の方法を実現するコンピュータプログラムを提供する。
【００１４】
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージを生成する時に、複数のサブ素材を含む１つのサブ素材群をインポートし、１つのサブ素材群の再生パラメータのパラメータ値を取得し、１つのサブ素材群及び再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成することになり、そのようにして該特殊効果プログラムファイルパッケージに基づいてビデオに対して動的特殊効果処理を行って、再生しているビデオ上で動的特殊効果を実現し、本願の実施例は、プログラムファイルを手動で書くことなく、レンダリングエンジンで実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、動的特殊効果を実現する効率は全体的に高められ、特殊効果の正確性は効果的に保障された。
【００１５】
本願の上記実施例で提供された特殊効果生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得し、１つのサブ素材群が複数のサブ素材を含み、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値及びビデオ画像内のキーポイントによって、ビデオ上で動的特殊効果を生成し、ビデオで動的特殊効果を再生し、ビデオ再生効果を高めることができる。
【００１６】
以下は、図面及び実施例によって本願の技術的解決手段について更に詳細に説明する。
【図面の簡単な説明】
【００１７】
【図１】本願の特殊効果プログラムファイルパッケージの生成方法の一実施例のフローチャートである。
【図２】本願の実施例における特殊効果プログラムファイルパッケージの生成装置の操作画面を例示的に示す図である。
【図３】本願の実施例における参照部位が手である時のサブ素材の再生パラメータ設定画面を例示的に示す一模式図である。
【図４】本願の実施例における手部動作を例示的に示す一模式図である。
【図５】本願の実施例における顔部キーポイントを例示的に示す一模式図である。
【図６】本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例のフローチャートである。
【図７】本願の特殊効果生成方法の一実施例のフローチャートである。
【図８】本願の特殊効果生成方法の別の実施例のフローチャートである。
【図９】本願の特殊効果プログラムファイルパッケージの生成装置の一実施例の構造模式図である。
【図１０】本願の特殊効果プログラムファイルパッケージの生成装置の別の実施例の構造模式図である。
【図１１】本願の特殊効果生成装置の一実施例の構造模式図である。
【図１２】本願の特殊効果生成装置の別の実施例の構造模式図である。
【図１３】本願の電子機器の一適用実施例の構造模式図である。
【発明を実施するための形態】
【００１８】
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
【００１９】
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
【００２０】
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。
【００２１】
更に、本願の実施例では、「複数の」は２つ又は２つ以上を指してよく、「少なくとも１つの」は１つ、２つ又は２つ以上を指してよいことを理解すべきである。
【００２２】
本願の実施例における「第１の」、「第２の」等の用語は、異なるステップ、機器又はモジュール等を区別するためのものに過ぎず、何の特定の技術的意味を表したり、それらの必然的な論理的順序を表したりすることもないことが当業者に理解可能である。
【００２３】
更に、本願の実施例で言及された任意の部材、データ又は構造は、明確に限定され又は明細書の前後で反対的に示唆された場合でなければ、一般的には１つ又は複数と理解してよいことを理解すべきである。
【００２４】
更に、本願ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで一つずつに繰り返して説明しないことを理解すべきである。
【００２５】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００２６】
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。
【００２７】
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
【００２８】
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００２９】
また、本開示の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本願の符号の「／」は、一般的には前後の関連対象が「又は」という関係であることを示す。
【００３０】
本願の実施例は端末装置、コンピュータシステム、サーバ等の電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム、サーバ等の電子機器との併用に適する公知の端末装置、計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【００３１】
端末機器、コンピュータシステム、サーバ等の電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
【００３２】
図１は本願の特殊効果プログラムファイルパッケージの生成方法の一実施例のフローチャートである。本願の各実施例の特殊効果プログラムファイルパッケージの生成方法は、例えば、１つの装置（本願の実施例では特殊効果プログラムファイルパッケージの生成装置と称する）によって実現可能であるが、それに限定されない。図１に示すように、該実施例の特殊効果プログラムファイルパッケージの生成方法は、以下の操作を含む。
【００３３】
１０２において、１つのサブ素材群をインポートする。
【００３４】
本願の各実施例の一実施形態では、１つのサブ素材群内の複数のサブ素材は、所定の再生時系列を有する。一例としては、１つのサブ素材群内の複数のサブ素材の再生時系列は、該複数のサブ素材のファイル名に基づいて決定されてもよい。
【００３５】
選択可能な一例では、該操作１０２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第１のインポートモジュールにより実行されてもよい。
【００３６】
１０４において、上記１つのサブ素材群の再生パラメータのパラメータ値を取得する。
【００３７】
選択可能な一例では、該操作１０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第１の取得モジュールにより実行されてもよい。
【００３８】
１０６において、上記１つのサブ素材群及びその再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する。
【００３９】
選択可能な一例では、該操作１０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第１の生成モジュールにより実行されてもよい。
【００４０】
本願の各実施例では、１つのサブ素材群をインポートしてもよいし、複数のサブ素材群をインポートしてもよい。複数のサブ素材群をインポートする時に、各サブ素材群に対してそれぞれ操作１０２−１０４を実行し、続いて該複数のサブ素材群に対して操作１０６を実行し、複数のサブ素材群及びその再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するようにしてもよく、即ち、特殊効果プログラムファイルパッケージは１つのサブ素材群を含んでもよいし、複数のサブ素材群を含んでもよい。
【００４１】
本願の実施例では、特殊効果プログラムファイルパッケージは、ビデオの特殊効果処理に用いられることができ、ビデオ上で１つのサブ素材群の動的特殊効果を生成し、例えば、ＡＲエンジン又はＡＲ作成機能を有する電子機器によってビデオに対してＡＲ効果のレンダリング処理を行う。
【００４２】
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成方法によれば、特殊効果プログラムファイルパッケージを生成する時に、複数のサブ素材を含む１つのサブ素材群をインポートし、１つのサブ素材群の再生パラメータのパラメータ値を取得し、１つのサブ素材群及び再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成し、そのようにして該特殊効果プログラムファイルパッケージに基づいてビデオに対して動的特殊効果処理を行って、再生しているビデオ上で動的特殊効果を実現し、本願の実施例は、プログラムファイルを手動で書くことなく、レンダリングエンジンで実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、動的特殊効果を実現する効率は全体的に高められ、特殊効果の正確性は効果的に保障された。
【００４３】
本願の各実施例の一実施形態では、特殊効果プログラムファイルパッケージの生成装置は、予め設定された特殊効果プログラムファイルを含んでもよく、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）言語に基づく軽量のデータ交換フォーマット（ＪａｖａＳｃｒｉｐｔ（登録商標）  Ｏｂｊｅｃｔ  Ｎｏｔｉａｔｉｏｎ、ｊｓｏｎ）ファイル、又は他の任意の実行可能なプログラムファイルであってもよい。該特殊効果プログラムファイル内の再生パラメータのパラメータ値は空白のままにするか、デフォルト値にプリセットすることができ、１つのサブ素材群の再生パラメータに対して設定されたパラメータ値を受け取る時に、該特殊効果プログラムファイル内の対応するパラメータ値は、受け取られたパラメータ値に自動的に更新される。選択可能に、上記特殊効果プログラムファイルパッケージの生成装置は、１つのサブ素材群の再生パラメータに対して設定されたパラメータ値を受け取るための少なくとも１つの対話インターフェイスが設定された操作欄を含んでもよく、なお、該特殊効果プログラムファイルパッケージの生成装置は、１つのサブ素材群の再生パラメータのプログラムファイルを表示するためのプログラムファイル表示欄を更に含んでもよく、図２は本願の実施例における特殊効果プログラムファイルパッケージの生成装置の操作画面を例示的に示す図であり、該特殊効果プログラムファイルパッケージの生成装置の操作画面は、操作欄及びプログラムファイル表示欄を含む。該特殊効果プログラムファイルパッケージの生成装置が起動された後、操作欄内の１つのサブ素材群の再生パラメータ設定画面に対応して、この１つのサブ素材群の再生パラメータを空白のままにするか、又はデフォルト値にプリセットした時の特殊効果プログラムファイルがプログラムファイル表示欄に表示され、１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が操作欄の対話インターフェイスによって受け取られた時に、この１つのサブ素材群の再生パラメータに対して設定されたパラメータ値は、直近に受け取られたパラメータ値に更新され、プログラムファイル表示欄は、パラメータ値が更新された後の特殊効果プログラムファイルをリアルタイムに表示する。
【００４４】
本願の各特殊効果プログラムファイルパッケージの生成方法の実施例の一実施形態では、操作１０２は、操作欄の対話インターフェイスで送られたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートして上記１つのサブ素材群とする操作を含んでもよい。
【００４５】
図２に示すように、限定するものではない本願の各実施例の選択可能な一例として、操作欄は少なくとも１つの対話インターフェイスを含む再生パラメータ設定画面を含んでもよく、更に他の領域、例えば参照部位表示領域を含んでもよく、この時の再生パラメータ設定画面は各参照部位における再生パラメータ設定画面であってもよい。本願の各実施例における参照部位は、例えば、耳（ｅａｒ）、手（ｈａｎｄ）、顔（ｆａｃｅ）、髪（ｈａｉｒ）、頸部、肢体の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。図３は本願の実施例で参照部位が手である時の１つのサブ素材群の再生パラメータ設定画面の例示的な模式図を示す。
【００４６】
本願の上記実施形態の選択可能な一例では、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作は、操作欄における再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作を含んでもよい。
【００４７】
又は、本願の上記実施形態の別の選択可能な例では、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作は、操作欄の対話インターフェイスで送られた選択コマンドを受け取り、該選択コマンドで選択された参照部位を、現在、特殊効果を加えようとする目標部位とし、操作欄に目標部位における再生パラメータ設定画面を表示する操作と、再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作と、を含んでもよい。
【００４８】
本願の上記実施形態の更に別の選択可能な例では、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作は、
対話インターフェイスで送られたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダーを取得、表示する操作と、
素材フォルダー内のサブ素材に対する選択操作が受け取られたことに応じて、該複数のサブ素材の選択操作で選択した複数のサブ素材をインポートし、及び／又は、素材フォルダー内のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて素材フォルダー内のサブ素材の全て又は一部を選択し、事前設定に基づいて選択されたサブ素材をインポートする操作と、を含んでもよい。
【００４９】
各素材フォルダーは複数のサブ素材を含んでもよく、例えば、目標部位が耳である時に、素材フォルダーは形状、色が異なるイヤリング、耳覆い等の複数のサブ素材を含んでもよく、本願の各実施例の一実施形態では、複数のサブ素材をインポートする時、ユーザによる素材フォルダー内のサブ素材の選択操作が受け取られていない場合、事前設定に基づいて、該インポートコマンドに示される素材フォルダー内の事前設定位置又は事前設定番号の複数のサブ素材をインポートすることができる。例えば、ユーザがサブ素材を選択していない場合、該素材フォルダー内の１番目〜５番目のサブ素材を選択、インポートようにデフォルトする。
【００５０】
本願の各実施例の一実施形態では、複数のサブ素材の再生パラメータのパラメータ値を取得する操作１０４は、再生パラメータ設定画面内の対話インターフェイスで送られた、上記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られたことに応じて、設定されたパラメータ値を上記１つのサブ素材群の再生パラメータのパラメータ値とする操作、及び／又は、再生パラメータ設定画面内の対話インターフェイスで送られた、上記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を上記１つのサブ素材群の再生パラメータのパラメータ値とする操作を含んでもよい。
【００５１】
本願の実施例は、プログラムファイルを手動で書くことなく、レンダリングエンジンで実行可能なファイルを生成し、ユーザによる操作欄での１つのサブ素材群に対する選択操作及びパラメータ値に対する設定操作に基づいて、特殊効果プログラムパッケージの生成を実現可能であり、操作は簡単であり、必要な時間は短く、動的特殊効果を実現する効率は全体的に高められ、特殊効果の正確性は効果的に保障された。
【００５２】
本願の各実施例の一実施形態では、１つのサブ素材群の再生パラメータのパラメータ値は、設定された後、該１つのサブ素材群の中の全てのサブ素材に利用可能になり、即ち、１つのサブ素材群の中の全てのサブ素材の再生パラメータのパラメータ値は同じものである。１つのサブ素材群の再生パラメータは、例えば、以下のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００５３】
１、表示パラメータ（Ｄｉｓｐｌａｙ）：上記複数のサブ素材を表示するか否かを表すためのものである。そのパラメータ値は「はい（Ｙｅｓ）」及び「いいえ（Ｎｏ）」といった２つのオプションを含み、パラメータ値として「はい（Ｙｅｓ）」が選択された時に、ビデオ再生中に、対応する上記複数のサブ素材を表示する必要があることを意味し、パラメータ値として「いいえ（Ｎｏ）」が選択された時に、ビデオ再生中に上記複数のサブ素材を表示する必要がないことを意味する。
【００５４】
２、間隔パラメータ：上記複数のサブ素材のうちの隣接する２つのサブ素材を表示するための間隔するフレーム数を表すためのものである。
【００５５】
３、トリガ動作パラメータ（ＴｒｉｇｇｅｒＴｙｐｅ）：上記複数のサブ素材の表示をトリガするトリガ動作を表すためのものであり、上記複数のサブ素材の表示をどの動作でトリガするかを意味し、そのパラメータ値は各トリガ動作を含んでもよく、ユーザはトリガ動作として、予め設定された動作集合から少なくとも１つの動作を選択することができる。即ち、ビデオ再生中に、対応するトリガ動作が検出されると、対応する上記複数のサブ素材の表示をトリガすることができ、例えば、ビデオから、該トリガ動作パラメータで規定された「口を開く」トリガ動作が検出されると、虹を吐き出すといった動画の上記複数のサブ素材を再生し始め、該上記複数のサブ素材の表示開始時間、表示終了時間、表示時間等は、具体的には他のパラメータのパラメータ値に基づいて、決定してもよく、例えば、それぞれ遅延トリガパラメータ、終了トリガパラメータ、リピートパラメータのパラメータ値に基づいて、決定してもよい。
【００５６】
４、リピートパラメータ（ＴｒｉｇｇｅｒＬｏｏｐ）：上記複数のサブ素材のリピート再生回数を表すためのものであり、そのパラメータ値としてリピート再生回数の具体的な数値を設定又は選択することができ、例えば、１、５等にしてもよく、パラメータ値が０に設定された場合に無限にリピート再生するようにしてもよい。
【００５７】
５、遅延トリガパラメータ（ＴｒｉｇｇｅｒＤｅｌａｙ）：上記複数のサブ素材を遅延表示する時間を表すためのものであり、即ち、ビデオのうちのあるフレームからトリガ動作パラメータ内のトリガ動作が検出されると、該上記複数のサブ素材を表示開始まで遅延するフレーム数を指し、そのパラメータ値として上記複数のサブ素材を遅延表示する時間を設定又は選択することができる。
【００５８】
６、終了トリガパラメータ（ＴｒｉｇｇｅｒＳｔｏｐ）：上記複数のサブ素材の表示を終了する動作を表すためのものであり、上記複数のサブ素材の表示をどの動作で終了するかを意味し、そのパラメータ値は各トリガ動作を含み、ユーザは上記複数のサブ素材の表示を終了する動作として、事前設定動作集合から少なくとも１つの動作を選択することができる。即ち、ビデオ再生中に、該終了トリガパラメータで規定されたトリガ動作が検出されると、対応する上記複数のサブ素材の表示／再生を終了することができ、例えば、ビデオから、トリガ動作パラメータで規定された「口を開く」トリガ動作が検出されると、虹を吐き出すという上記複数のサブ素材の形成した動画を再生し始め、終了トリガパラメータ内のパラメータ値を「口を閉じる」に設定してもよく、そのようにビデオからこの「口を閉じる」動作が検出されると、虹が消える。
【００５９】
７、表示サイズパラメータ（Ｓｃａｌｅ）：上記複数のサブ素材の表示サイズ変化の参照基準を表すためのものであり、上記複数のサブ素材が近いところで大きく表示し、遠いところで小さく表示するという表示効果を実現するために用いられる。該表示サイズパラメータのパラメータ値（即ち、上記複数のサブ素材の表示サイズ変化の参照基準）は事前設定キーポイントのうちの２つ又は２つ以上のキーポイント（ＰｏｉｎｔＡ及びＰｏｉｎｔＢで示してもよい）であってもよく、この時に、上記複数のサブ素材の表示サイズはビデオにおける参照基準となる２つ又は２つ以上のキーポイントの形成したサイズの比率変化によって変化し、例えば、上記複数のサブ素材が眼鏡であり、選択された表示サイズパラメータのパラメータ値が左目瞳中心を表すキーポイント及び右目瞳中心を表すキーポイントである時に、ビデオ再生に、該上記複数のサブ素材の表示サイズはこれらの２つのキーポイントの間の連結線の長さの比率変化によって変化する。この表示サイズパラメータのパラメータ値が変更されていない場合に、そのデフォルトパラメータ値は上記複数のサブ素材に対応する参照部位にある２つのキーポイントであってもよい。
【００６０】
８、位置種類パラメータ（ＰｏｓｉｔｉｏｎＴｙｐｅ）：上記複数のサブ素材と位置の関係種類を表すためのものである。
【００６１】
９、位置関連付けパラメータ（ＰｏｓｉｔｉｏｎＲｅｌａｔｉｏｎＴｙｐｅ）：上記複数のサブ素材が事前設定参照部位の移動に従って移動するか否かを表すためのものであり、上記複数のサブ素材が参照部位の位置に従って移動するか否かを意味し、「はい（Ｙｅｓ、Ｍｏｖｅ  Ｗｉｔｈ  Ｐｏｓｉｔｉｏｎ）」及び「いいえ（Ｎｏ）」といった２つのオプションを含んでもよく、パラメータ値として「はい（Ｙｅｓ）」を選択した時に上記複数のサブ素材が参照部位の位置に従って移動し、位置種類パラメータのパラメータ値が前景である時に、パラメータ値として「いいえ（Ｎｏ）」を選択し、上記複数のサブ素材が参照部位の位置に従って移動しないことを意味する。
【００６２】
１０、位置パラメータ（Ｐｏｓｉｔｉｏｎ）：上記複数のサブ素材と事前設定キーポイントとの間の位置結び付け関係を表すためのものであり、ビデオ再生内の上記複数のサブ素材と事前設定キーポイントの位置関係を指し、上記複数のサブ素材を事前設定キーポイントのうちのどのキーポイントの位置と結び付けるかを選択することができる。
【００６３】
１１、回転パラメータ（ＲｏｔａｔｅＣｅｎｔｅｒ）：上記複数のサブ素材の回転基準としてのキーポイントを表すためのものであり、該上記複数のサブ素材はビデオ再生中にどのキーポイントに従って回転するかを選択することができる。
【００６４】
そのうちの選択可能な一例では、上記トリガ動作パラメータに対応するトリガ動作は、以下のいずれか一項又は複数項を含む。
【００６５】
無動作トリガ（ＮＵＬＬ）：即ち、動作なしで該上記複数のサブ素材を表示することができる。
【００６６】
目部動作：例えば、まばたきする、目を閉じる、目を開く等。
【００６７】
頭部動作：例えば、頭を横に振る、軽く頭を下げる、頭を傾ける、振り返る等。
【００６８】
眉部動作：例えば、眉を吊り上げる等。
【００６９】
手部動作：例えば、手でハートの形を作る、手で支える、手の平、親指、拱手でお祝いをする、片手でハートの形を作る、手でＯＫの形を作る、手ではさみの形を作る、手で拳銃の形を作る、人差し指等。
【００７０】
口部動作：例えば、口を開く、口を閉じる等。
【００７１】
肩部動作：例えば、肩をすぼめる等。
【００７２】
その他の動作。
【００７３】
図４は本願の実施例における手部動作を例示的に示す一模式図である。
【００７４】
そのうちの選択可能な一例では、上記位置種類パラメータは、例えば、以下のいずれか一項を含む。
【００７５】
前景（Ｆｏｒｅｇｒｏｕｎｄ）を表すためのパラメータ：この場合、対応する上記複数のサブ素材がビデオ再生に前景として表示されることを意味し、該上記複数のサブ素材は、再生中に再生端末のディスプレイのスクリーン位置に関連付けられ、その中心点のディスプレイのスクリーンにおける位置が変わることない。
【００７６】
前記上記複数のサブ素材が顔部位置に従って位置決め及び／又は移動することを表すためのパラメータ：対応の上記複数のサブ素材に対応する参照部位が顔部であり、この場合、該上記複数のサブ素材がビデオ再生中に顔部位置に従って位置決め及び／又は移動することを意味する。
【００７７】
前記上記複数のサブ素材が手の位置に従って位置決め及び／又は移動することを表すためのパラメータ：対応の上記複数のサブ素材に対応する参照部位がジェスチャ（即ち、手）であり、この場合、該上記複数のサブ素材がビデオ再生中に手の位置に従って位置決め及び／又は移動することを意味する。
【００７８】
前記上記複数のサブ素材が頭部の位置に従って位置決め及び／又は移動することを表すためのパラメータ：該上記複数のサブ素材がビデオ再生中に頭部の位置に従って位置決め及び／又は移動することを意味する。
【００７９】
前記上記複数のサブ素材が肩部の位置に従って位置決め及び／又は移動することを表すためのパラメータ：該上記複数のサブ素材がビデオ再生中に肩部の位置に従って移動することを意味する。
【００８０】
前記上記複数のサブ素材が腕の位置に従って位置決め及び／又は移動することを表すためのパラメータ：該上記複数のサブ素材がビデオ再生中に腕の位置に従って位置決め及び／又は移動することを意味する。
【００８１】
前記上記複数のサブ素材が腰部の位置に従って位置決め及び／又は移動することを表すためのパラメータ：該上記複数のサブ素材がビデオ再生中に腰部の位置に従って位置決め及び／又は移動することを意味する。
【００８２】
前記上記複数のサブ素材が腿部の位置に従って位置決め及び／又は移動することを表すためのパラメータ：該上記複数のサブ素材がビデオ再生中に腿部の位置に従って位置決め及び／又は移動することを意味する。
【００８３】
前記上記複数のサブ素材が足部の位置に従って位置決め及び／又は移動することを表すためのパラメータ：該上記複数のサブ素材がビデオ再生中に足部の位置に従って位置決め及び／又は移動することを意味する。
【００８４】
前記上記複数のサブ素材が人体骨格の位置に従って位置決め及び／又は移動することを表すためのパラメータ：該上記複数のサブ素材がビデオ再生中に人体骨格の位置に従って位置決め及び／又は移動することを意味する。
【００８５】
参照部位に関連する再生位置関係：例えば、上記複数のサブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、上記複数のサブ素材が参照部位のサイズに従って縮小拡大される（Ｓｉｚｅ）こと、上記複数のサブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、上記複数のサブ素材が参照部位のサイズに従って縮小拡大され（Ｓｉｚｅ）、上記複数のサブ素材が参照部位の回転に従って奥行き縮小拡大を行われる（Ｄｅｐｔｈ）こと、上記複数のサブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、上記複数のサブ素材が参照部位のサイズに従って縮小拡大され（Ｓｉｚｅ）、上記複数のサブ素材が参照部位の回転に従って奥行き縮小拡大を行われ（Ｄｅｐｔｈ）、上記複数のサブ素材が参照部位の平面回転に従って回転する（Ｒｏｔａｔｉｏｎ）ことのいずれか一項又は複数項の位置関係を含んでもよい。
【００８６】
背景（Ｂａｃｋｇｒｏｕｎｄ）を表すためのパラメータ：対応の上記複数のサブ素材はビデオ再生中に背景として表示され、該上記複数のサブ素材はビデオ再生中に再生端末のディスプレイのスクリーンの位置に関連付けられ、該上記複数のサブ素材のサイズは、該上記複数のサブ素材の４つの頂点座標がディスプレイのスクリーンの４つの頂点と一致するように調整されることを意味する。
【００８７】
本願の各実施例の一実施形態では、上記再生パラメータは、上記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を更に含む。
【００８８】
ここで、上記キーポイントは、例えば、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００８９】
そのうちの選択可能な一例では、頭部キーポイントは、例えば、頭頂部キーポイント、鼻先キーポイント及びあごキーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９０】
そのうちの選択可能な一例では、顔部キーポイントは、例えば、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９１】
一例としては、目キーポイントは、例えば、左目縁キーポイント、左目瞳中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳中心キーポイント、及び右目中心キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。眉毛キーポイントは、例えば、左眉毛キーポイント及び右眉毛キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。鼻キーポイントは、例えば、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。口部キーポイントは、例えば、上口唇キーポイント、及び下口唇キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９２】
そのうちの選択可能な一例では、肩部キーポイントは、例えば、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９３】
そのうちの選択可能な一例では、腕キーポイントは、例えば、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９４】
そのうちの選択可能な一例では、ジェスチャキーポイントは、例えば、ジェスチャボックス（即ち、ジェスチャ検出ボックス）の４つの頂点キーポイント、及びジェスチャボックスの中心キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９５】
そのうちの選択可能な一例では、腿部キーポイントは、例えば、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９６】
そのうちの選択可能な一例では、腰部キーポイントは、例えば、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含んでもよいが、それらに限定されなく、ただし、Ｎが１より大きい。
【００９７】
そのうちの選択可能な一例では、足部キーポイントは、例えば、つま先キーポイント及び踵キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９８】
そのうちの選択可能な一例では、人体骨格キーポイントは、例えば、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【００９９】
本願の各実施例では、上記複数のサブ素材の表示位置とキーポイントの位置を対応関係にするように、複数のキーポイントの位置を予め設定してもよい。上記複数のサブ素材の再生パラメータのパラメータ値を設定する時に、予め設定されたキーポイント集合からキーポイントを直接選択して対応の再生パラメータ内のパラメータ値とすることができる。
【０１００】
例えば、そのうちの一実施形態では、顔検出及びジェスチャ検出に基づいてそれぞれ顔部及びジェスチャ（手部）に対して複数のキーポイントを定義して、特殊効果生成における顔キーポイント又はジェスチャキーポイントに基づく位置関係の対応を実現することができる。
【０１０１】
例えば、図５は本願の実施例における顔部キーポイントを例示的に示す一模式図であり、図５によれば、選択可能な一例では、顔部キーポイントを以下のように定義してもよい。
【０１０２】
【表１】
2021508883.tif 000003
【０１０３】
選択可能な一例では、手部キーポイントを以下のように定義してもよい。
【０１０４】
【表２】
2021508883.tif 000004
【０１０５】
ただし、番号１１０−１１３のキーポイントはそれぞれジェスチャ検出ボックス（即ち、手部の外縁枠）の４つの頂点であり、番号１１４のキーポイントはジェスチャ検出ボックスの中心である。
【０１０６】
なお、本願の上記各実施例では、上記複数のサブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する操作、及び／又は、上記複数のサブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を更に含んでもよい。
【０１０７】
例えば、本願の上記実施例で確立された対応関係においてキーポイントが頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントである時に、上記複数のサブ素材の表示位置と上記キーポイントのうちの少なくとも１つのキーポイントとの間の対応関係を確立してもよく、本願の上記実施例で確立された対応関係においてキーポイントが頭部キーポイント、顔部キーポイント、ジェスチャキーポイント、人体骨格キーポイントである時に、上記複数のサブ素材の表示位置と対応する検出ボックス（例えば、頭部検出ボックス、顔検出ボックス、ジェスチャ検出ボックス、人体検出ボックス）の中心キーポイントとの間の対応関係を確立する。
【０１０８】
なお、更に図２を参照し、本願の実施例の特殊効果プログラムファイルパッケージの生成装置はコンテンツ表示欄を更に含んでもよい。それに対応するように、本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例では、コンテンツ表示欄によって参照画像を表示し、前記参照画像上のキーポイントを表示する操作を更に含んでもよい。ここで、該参照画像は少なくとも１つの参照部位を含む。該参照部位は、例えば、耳、手、顔、髪、頸部、肩等の中のいずれか一項又は複数項を含む。
【０１０９】
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像、例えば、参照人物の、完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像等の中のいずれか一項又は複数項であってもよい。
【０１１０】
なお、本願の特殊効果プログラムファイルパッケージの生成方法のまた１つの実施例では、上記複数のサブ素材をインポートする操作１０２の後に、更に、上記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、インポートされた上記１つのサブ素材群の中の各サブ素材を事前設定表示ポリシーで上記コンテンツ表示欄に順に表示するか、インポートされた上記１つのサブ素材群内の複数のサブ素材を同時に表示する操作、又は、上記１つのサブ素材群の中のサブ素材に対する選択操作を受け取り、上記コンテンツ表示欄に上記選択操作で選択されたサブ素材を表示する操作を更に含んでもよい。
【０１１１】
インポートされた上記１つのサブ素材群をコンテンツ表示欄に表示した後、ユーザは、この表示されている上記１つのサブ素材群又はその中の１つのサブ素材のコンテンツ表示欄での表示位置を変更するか、その表示サイズを調整することができる。そのため、更なる選択可能な実施例では、上記コンテンツ表示欄で受け取られた上記１つのサブ素材群又はその中の１つのサブ素材に対する位置移動操作により、上記１つのサブ素材群の上記コンテンツ表示欄での表示位置を更新し、上記１つのサブ素材群の再生パラメータ内の対応のパラメータ値を更新する操作を更に含んでもよい。及び／又は、上記コンテンツ表示欄で受け取られた上記１つのサブ素材群又はその中の１つのサブ素材に対するサイズ調整操作により、上記１つのサブ素材群の上記コンテンツ表示欄での表示サイズを更新し、上記１つのサブ素材群の再生パラメータ内の対応のパラメータ値を更新する操作を更に含んでもよい。
【０１１２】
例えば、ユーザは、マウスによってコンテンツ表示欄に表示されている上記１つのサブ素材群又はその中の１つのサブ素材を選定し、マウスを選定されたサブ素材の右下の小枠に移動し、該小枠を移動することで選定されたサブ素材を縮小拡大して、この選定されたサブ素材の表示サイズを調整することができ、また、ユーザは、マウスによってコンテンツ表示欄に表示されている１つのサブ素材群又はその中の１つのサブ素材を選定し且つその位置を直接移動し、選定されたサブ素材を正確な位置又は希望する位置に移動することができる。後続の上記複数のサブ素材の特殊効果プログラムファイルパッケージの再生において、該上記複数のサブ素材の再生端末での位置、表示比率は該コンテンツ表示欄での位置、表示比率と一致する。本願の上記のいずれか１つの実施例によれば、ユーザは複数の参照部位に特殊効果を加えることができ、例えば、それぞれ耳、顔、手を現在、特殊効果を加えようとする目標部位として、上記のいずれか１つの実施例を実行して、耳、顔、手部位への１つのサブ素材群の特殊効果を実現することができる。
【０１１３】
ユーザが２つ又は２つ以上の上記サブ素材群をインポートする時に、各サブ素材群の表示レイヤー（即ち、遮蔽関係）を調整することができる。それによって、本願の特殊効果プログラムファイルパッケージの生成方法のまた１つの実施例では、上記操作欄の対話インターフェイスで受け取られた、２つ又は２つ以上のサブ素材群に対して送られたレイヤーパラメータ調整コマンドにより、上記２つ又は２つ以上のサブ素材群の間の遮蔽関係を調整し、調整後の遮蔽関係及び上記再生パラメータのパラメータ値に基づいて、コンテンツ表示欄に２つ又は２つ以上の上記サブ素材群を表示する操作を更に含んでもよい。
【０１１４】
なお、本願の特殊効果プログラムファイルパッケージの生成方法の更に別の実施例では、特殊効果プログラムファイルパッケージを生成する操作の前に、
予め設定された特殊効果プログラムファイル及び上記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記１つのサブ素材群の特殊効果プログラムファイルを生成し、プログラムファイル欄によって上記１つのサブ素材群の特殊効果プログラムファイルを表示する操作を更に含んでもよい。
【０１１５】
一例としては、上記特殊効果プログラムファイルは、例えば、ｊｓｏｎプログラム又は他の実行可能なプログラムで生成した特殊効果プログラムファイルを含んでもよいが、それに限定されない。
【０１１６】
なお、本願の特殊効果プログラムファイルパッケージの生成方法の更に別の実施例では、特殊効果プログラムファイルパッケージの生成装置を受け取ったスタートコマンドによりスタートし、操作欄、コンテンツ表示欄及びプログラムファイル欄を含む操作画面を表示する操作を更に含む。
【０１１７】
図２に示すように、そのうちの選択可能な一例では、上記操作画面は左側、中部及び右側といった３つの領域を含む。それに対応するように、操作画面を表示する上記操作は、操作画面の左側に操作欄を表示し、操作画面の中部にコンテンツ表示欄を表示し、操作画面の右側に前記プログラムファイル欄を表示する操作を含んでもよい。
【０１１８】
ここで、左側操作欄にある対話インターフェイス２０によって上記１つのサブ素材群をインポートすることができ、対話インターフェイス２１によって上記複数のサブ素材群のレイヤーの間の遮蔽関係を調整し、各サブ素材群のレイヤーパラメータを設定することができ、対話インターフェイス２３によって１つのサブ素材群の再生パラメータに対してパラメータ値を設定することができ、コンテンツ表示欄は、平均顔を参照顔とし、インポートされた１つのサブ素材群が全て直接表示され、マウスによって表示されているサブ素材の位置を移動することができ、右側のプログラムファイル表示欄は、その中の表示領域２４によって現在パラメータ値を設定されている１つのサブ素材群の再生プログラムファイルのコンテンツを表示するために用いられ、プログラムファイル表示欄にある保存コマンドインターフェイス２５によって特殊効果プログラムファイルパッケージを読み出すことができ、即ち、該特殊効果プログラムファイルパッケージを生成、保存することができる。
【０１１９】
図６は本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例のフローチャートである。図６に示すように、該実施例の特殊効果プログラムファイルパッケージの生成方法は、以下の操作を含む。
【０１２０】
３０２において、受け取ったスタートコマンドにより、特殊効果プログラムファイルパッケージの生成装置をスタートし、操作画面を表示する。
【０１２１】
該操作画面は、操作欄、コンテンツ表示欄及びプログラムファイル欄を含む。
【０１２２】
３０４において、コンテンツ表示欄によって参照画像を表示し、該参照画像におけるキーポイントを表示する。
【０１２３】
ここで、該参照画像は少なくとも１つの参照部位を含む。
【０１２４】
選択可能な一例では、該操作３０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する操作画面又はコンテンツ表示欄により実行されてもよい。
【０１２５】
３０６において、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートして１つのサブ素材群とする。
【０１２６】
選択可能な一例では、該操作３０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する前記第１のインポートモジュールにより実行されてもよい。
【０１２７】
３０８において、上記１つのサブ素材群の再生パラメータのパラメータ値を取得し、上記複数のサブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する。
【０１２８】
選択可能な一例では、該操作３０８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第１の取得モジュールにより実行されてもよい。
【０１２９】
３１０において、予め設定された特殊効果プログラムファイル及び取得された上記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記１つのサブ素材群の特殊効果プログラムファイルを生成し、プログラムファイル欄によって該１つのサブ素材群の特殊効果プログラムファイルを表示する。
【０１３０】
選択可能な一例では、該操作３１０は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する操作画面又はプログラムファイル欄により実行されてもよい。
【０１３１】
３１２において、上記１つのサブ素材群とその再生パラメータのパラメータ値、その表示位置と所定の少なくとも１つのキーポイントとの間の対応関係、及び特殊効果プログラムファイルに基づいて、特殊効果プログラムファイルパッケージを生成する。
【０１３２】
選択可能な一例では、該操作３１２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第１の生成モジュールにより実行されてもよい。
【０１３３】
なお、本願の上記のいずれか１つの実施例に基づいて特殊効果プログラムファイルパッケージを生成する操作の後に、受け取った保存コマンドにより、該保存コマンドに示される位置に該特殊効果プログラムファイルパッケージを保存する操作を更に含んでもよい。
【０１３４】
そのうちの一実施形態では、受け取った保存コマンドにより、該保存コマンドに示される位置に該特殊効果プログラムファイルパッケージを保存する操作は、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
上記保存パス選択インターフェイスから送られた保存位置を受け取る操作と、上記の圧縮インターフェイスから送られた圧縮方式を受け取り、該圧縮方式により上記複数のサブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
上記圧縮ファイルパッケージを上記保存位置に示されるフォルダーに記憶する操作と、を含んでもよい。
【０１３５】
特殊効果プログラムファイルパッケージが大きい時に、携帯型端末で動作することに適合するものではなく、携帯型端末にインポートされる特殊効果を生成するために、本願の実施例は特殊効果プログラムファイルパッケージを圧縮した後保存することができる。本願の実施例は、特殊効果プログラムファイルパッケージ内のサブ素材の大きさを変更せず、特殊効果プログラムファイルパッケージの大きさのみを圧縮し、即ち、特殊効果プログラムファイルパッケージ内のサブ素材の大きさは該複数のサブ素材がインポートされる前の大きさに保持される。
【０１３６】
本願の上記各実施例に基づいて特殊効果プログラムファイルパッケージを生成した後、該特殊効果プログラムファイルパッケージを端末にインポートし、該端末で再生するビデオに対して動的特殊効果を生成することができる。
【０１３７】
図７は本願の特殊効果生成方法の一実施例のフローチャートである。図７に示すように、該実施例の特殊効果生成方法は、以下の操作を含む。
【０１３８】
４０２において、特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得する。
【０１３９】
ここで、１つのサブ素材群は複数のサブ素材を含む。該複数のサブ素材は、所定の再生時系列を有する。
【０１４０】
選択可能な一例では、該操作４０２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第２の取得モジュールにより実行されてもよい。
【０１４１】
４０４において、ビデオ画像に対してキーポイント検出を行う。
【０１４２】
そのうちの一実施形態では、ニューラルネットワークによってビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するようにしてもよい。
【０１４３】
その中のキーポイント検出結果は、例えば、対応関係に関わるキーポイントのビデオの中の画像における位置、特殊効果プログラムファイルパッケージ内の対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１４４】
選択可能な一例では、該操作４０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第１の検出モジュールにより実行されてもよい。
【０１４５】
４０６において、検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する。
【０１４６】
選択可能な一例では、該操作４０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第２の生成モジュールにより実行されてもよい。
【０１４７】
本願の上記実施例で提供された特殊効果生成方法によれば、特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得し、１つのサブ素材群が複数のサブ素材を含み、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値及びビデオ画像内のキーポイントによって、ビデオ上で動的特殊効果を生成し、ビデオで動的特殊効果を再生し、ビデオ再生効果を高めることができる。
【０１４８】
なお、本願の特殊効果生成方法のまた１つの実施例では、特殊効果プログラムファイルパッケージをインポートする操作を更に含んでもよい。
【０１４９】
ここで、該特殊効果プログラムファイルパッケージは、少なくとも１つのサブ素材群及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含んでもよく、上記１つのサブ素材群の再生パラメータのパラメータ値は上記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
【０１５０】
そのうちの一実施形態では、特殊効果プログラムファイルパッケージをインポートする操作は、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、上記特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、上記特殊効果プログラムファイルパッケージを解析し、上記少なくとも１つのサブ素材群、及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含む特殊効果プログラムファイルを取得する操作と、を含んでもよい。
【０１５１】
そのうちの選択可能な一例では、上記特殊効果プログラムファイルは、ｊｓｏｎプログラム又は他の実行可能なプログラムの特殊効果プログラムファイルを含んでもよい。
【０１５２】
そのうちの一実施形態では、本願の各特殊効果生成方法の実施例における特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの特殊効果プログラムファイルパッケージの生成方法の実施例によって生成したものであってもよい。
【０１５３】
そのうちの一実施形態では、操作４０２は、ステッカーハンドルを作成するための第２のインターフェイス関数によってステッカーハンドルを作成する操作と、上記複数のサブ素材及び特殊効果プログラムファイルパッケージ内の再生パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶する操作と、を含んでもよい。
【０１５４】
なお、本願の特殊効果生成方法のまた１つの実施例では、上記複数のサブ素材のファイル名に基づいて、上記複数のサブ素材の再生時系列を決定する操作と、上記ステッカーハンドル内の上記特殊効果プログラムファイルの少なくとも１つのサブ素材群の再生パラメータのパラメータ値及び上記複数のサブ素材の再生時系列に基づいて、上記少なくとも１つのサブ素材群の中の各サブ素材の上記ビデオにおける表示位置及びビデオフレーム数を取得し、上記ビデオから上記ビデオフレーム数に対応するビデオ画像を予め読み取る操作と、を更に含んでもよい。
【０１５５】
それに対応するように、そのうちの一実施形態では、操作４０６は、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る操作と、上記検出されたキーポイント及び上記再生パラメータのパラメータ値に基づいて、上記の表示しようとするサブ素材の現在ビデオ画像における表示位置を決定する操作と、上記の上記現在ビデオ画像に表示しようとするサブ素材を上記現在ビデオ画像上の上記表示位置に表示する操作と、を含んでもよい。
【０１５６】
そのうちの一実施形態では、特殊効果プログラムファイルパッケージの再生が終了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによってステッカーハンドルを廃棄する操作を更に含んでもよい。
【０１５７】
図８は本願の特殊効果生成方法の別の実施例のフローチャートである。図８に示すように、該実施例の特殊効果生成方法は、以下の操作を含む。
【０１５８】
５０２において、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、該特殊効果プログラムファイルパッケージを内部メモリに読み込む。
【０１５９】
５０４において、該特殊効果プログラムファイルパッケージを解析し、少なくとも１つのサブ素材群、及び１つのサブ素材群の再生パラメータのパラメータ値を含む特殊効果プログラムファイルを取得する。
【０１６０】
ここで、該１つのサブ素材群の再生パラメータのパラメータ値は、該１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
【０１６１】
そのうちの選択可能な一例では、上記特殊効果プログラムファイルは、ｊｓｏｎプログラム又は他の実行可能なプログラムの特殊効果プログラムファイルを含んでもよい。
【０１６２】
そのうちの一実施形態では、本願の各特殊効果生成方法の実施例における特殊効果プログラムファイルパッケージは、本願のいずれか１つの実施例の特殊効果プログラムファイルパッケージの生成方法によって生成したものであってもよい。
【０１６３】
選択可能な一例では、該操作５０２−５０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第２のインポートモジュールにより実行されてもよい。
【０１６４】
５０６において、ステッカーハンドルを作成するための第２のインターフェイス関数によってステッカーハンドルを作成する。
【０１６５】
５０８において、内部メモリから上記少なくとも１つのサブ素材群及び特殊効果プログラムファイル内の再生パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶する。
【０１６６】
選択可能な一例では、該操作５０６−５０８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第２の取得モジュールにより実行されてもよい。
【０１６７】
５１０において、それぞれ各サブ素材群に対して、ステッカーハンドル内の同一のサブ素材群内の複数のサブ素材のファイル名に基づいて、該複数のサブ素材の再生時系列を決定し、ステッカーハンドル内の上記特殊効果プログラムファイルの少なくとも１つのサブ素材群の再生パラメータのパラメータ値及び同一のサブ素材群内の複数のサブ素材の再生時系列に基づいて、上記少なくとも１つのサブ素材群の中の各サブ素材の上記ビデオにおける表示位置及びビデオフレーム数を取得し、上記ビデオから上記ビデオフレーム数に対応するビデオ画像を予め読み取る。
【０１６８】
選択可能な一例では、該操作５１０は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第３の取得モジュールにより実行されてもよい。
【０１６９】
５１２において、ニューラルネットワークによってビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力する。
【０１７０】
選択可能な一例では、該操作５１２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第１の検出モジュールにより実行されてもよい。
【０１７１】
５１４において、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る。
【０１７２】
５１６において、上記検出されたキーポイント及び上記再生パラメータのパラメータ値に基づいて、上記の表示しようとするサブ素材の現在ビデオ画像における表示位置を決定する。
【０１７３】
５１８において、上記の上記現在ビデオ画像に表示しようとするサブ素材を上記現在ビデオ画像上の上記表示位置に表示する。
【０１７４】
選択可能な一例では、該操作５１４−５１８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサで動作する第２の生成モジュールにより実行されてもよい。
【０１７５】
本願の各特殊効果生成方法の実施例は、各種のビデオ再生シーンに用いることができ、例えば、人物を含むビデオ生放送シーンに用いて、該生放送ビデオに対して動的特殊効果を生成し、特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群を人物の対応部位に重ねて再生する。その中の対応部位は、例えば、耳、手、顔、髪、頸部、肩等であってもよい。
【０１７６】
本願の実施例で提供されるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法はデータ処理能力を有するいかなる適切な機器によって実行されてもよく、端末装置とサーバ等を含むが、それらに限定されない。又は、本願の実施例で提供されるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法はプロセッサによって実行されてもよく、例えば、プロセッサはメモリに記憶された対応のコマンドを呼び出すことで本願の実施例におけるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法を実行する。以下、詳細な説明を省略する。
【０１７７】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
【０１７８】
図９は本願の特殊効果プログラムファイルパッケージの生成装置の一実施例の構造模式図である。該実施例の特殊効果プログラムファイルパッケージの生成装置は、本願の上記各特殊効果プログラムファイルパッケージの生成方法の実施例を実現するために用いられる。図９に示すように、該実施例の特殊効果プログラムファイルパッケージの生成装置は、第１のインポートモジュール、第１の取得モジュール及び第１の生成モジュールを含む。
【０１７９】
第１のインポートモジュールは、複数のサブ素材を含む１つのサブ素材群をインポートするために用いられる。
【０１８０】
本願の各実施例の一実施形態では、１つのサブ素材群内の複数のサブ素材は、所定の再生時系列を有し、該複数のサブ素材の再生時系列は該複数のサブ素材のファイル名に基づいて決定可能である。
【０１８１】
第１の取得モジュールは、前記１つのサブ素材群の再生パラメータのパラメータ値を取得するために用いられる。
【０１８２】
第１の生成モジュールは、前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するために用いられる。
【０１８３】
本願の各実施例では、特殊効果プログラムファイルパッケージは１つのサブ素材群又は複数のサブ素材群を含んでもよい。
【０１８４】
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成装置によれば、複数のサブ素材を含む１つのサブ素材群をインポートし、１つのサブ素材群の再生パラメータのパラメータ値を取得し、１つのサブ素材群及び再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成することになり、そのようにして該特殊効果プログラムファイルパッケージに基づいてビデオに対して動的特殊効果処理を行って、再生しているビデオ上で動的特殊効果を実現し、本願の実施例は、プログラムファイルを手動で書くことなく、レンダリングエンジンで実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、動的特殊効果を実現する効率は全体的に高められ、特殊効果の正確性は効果的に保障された。
【０１８５】
図１０は本願の特殊効果プログラムファイルパッケージの生成装置の別の実施例の構造模式図である。図１０に示すように、図９に示した実施例と比べて、該実施例の生成装置は操作欄を含む操作画面を更に含み、図２は操作画面を例示的に示す図である。それに対応するように、該実施例では、第１のインポートモジュールは、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートして上記１つのサブ素材群とするために用いられる。
【０１８６】
そのうちの一実施形態では、第１のインポートモジュールは、操作欄における再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作、又は、操作欄の対話インターフェイスで送られた選択コマンドを受け取り、選択コマンドで選択された参照部位を、現在、特殊効果を加えようとする目標部位とし、操作欄に目標部位における再生パラメータ設定画面を表示し、再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、該インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作に用いられる。
【０１８７】
そのうちの選択可能な一例では、第１のインポートモジュールは、対話インターフェイスで送られたインポートコマンドを受け取り、インポートコマンドに示される素材フォルダーを取得、表示する操作と、素材フォルダー内のサブ素材に対する選択操作が受け取られたことに応じて、サブ素材選択操作で選択した複数のサブ素材をインポートし、及び／又は、素材フォルダー内のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて素材フォルダー内のサブ素材の全て又は一部を選択し、事前設定に基づいて選択されたサブ素材をインポートする操作とに用いられる。
【０１８８】
そのうちの選択可能な一例では、第１のインポートモジュールは、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする時に、インポートコマンドにインポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれることに応じて、複数のサブ素材を表示順序で読み取り、インポートし、インポートされた複数のサブ素材のファイル名を操作欄に表示順序で表示する操作、及び／又は、インポートコマンドにインポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれないことに応じて、複数のサブ素材を事前設定順序で読み取り、インポートし、インポートされた複数のサブ素材のファイル名を操作欄に事前設定順序で表示する操作に用いられる。
【０１８９】
そのうちの一実施形態では、第１の取得モジュールは、再生パラメータ設定画面内の対話インターフェイスで送られた、１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られたことに応じて、設定されたパラメータ値を１つのサブ素材群の再生パラメータのパラメータ値とする操作、及び／又は、再生パラメータ設定画面内の対話インターフェイスで送られた、１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を１つのサブ素材群の再生パラメータのパラメータ値とする操作に用いられる。
【０１９０】
そのうちの一実施形態では、再生パラメータは、１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を更に含んでもよい。
【０１９１】
そのうちの一実施形態では、第１の取得モジュールは、更に、１つのサブ素材群の表示位置と少なくとも１つのキーポイントとの間の対応関係を確立する操作、及び／又は、１つのサブ素材群の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立する操作に用いられる。
【０１９２】
なお、また１つの実施形態では、操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、且つ参照画像上のキーポイントを表示するためのコンテンツ表示欄を更に含んでもよい。図２は操作画面を例示的に示す図である。
【０１９３】
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像、例えば、参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像等の中のいずれか一項又は複数項であってもよい。
【０１９４】
本願の生成装置のまた１つの実施例では、コンテンツ表示欄は、更に、１つのサブ素材群の再生パラメータのパラメータ値に基づいて、インポートされた１つのサブ素材群の中の各サブ素材を事前設定表示ポリシーでコンテンツ表示欄に順に表示するか、インポートされた１つのサブ素材群内の複数のサブ素材を同時に表示する操作、又は、１つのサブ素材群の中のサブ素材に対する選択操作を受け取り、選択操作で選択したサブ素材をコンテンツ表示欄に表示する操作に用いられる。
【０１９５】
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、コンテンツ表示欄で受け取られた１つのサブ素材群又はその中の１つのサブ素材に対する位置移動操作により、１つのサブ素材群のコンテンツ表示欄での表示位置を更新し、１つのサブ素材群の再生パラメータ内の対応パラメータ値を更新するための第１の更新モジュールを更に含んでもよい。
【０１９６】
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、コンテンツ表示欄で受け取られた１つのサブ素材群又はその中の１つのサブ素材に対するサイズ調整操作により、１つのサブ素材群のコンテンツ表示欄での表示サイズを更新し、１つのサブ素材群の再生パラメータ内の対応のパラメータ値を更新するための第２の更新モジュールを更に含んでもよい。
【０１９７】
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、操作欄の対話インターフェイスで受け取られた、２つ又は２つ以上のサブ素材群に対して送られたレイヤーパラメータ調整コマンドにより、２つ又は２つ以上のサブ素材群の間の遮蔽関係を調整し、調整後の遮蔽関係及び再生パラメータのパラメータ値に基づいて２つ又は２つ以上のサブ素材群を表示するための調整モジュールを更に含んでもよい。
【０１９８】
なお、操作画面は、予め設定された特殊効果プログラムファイル及び１つのサブ素材群の再生パラメータのパラメータ値に基づいて、１つのサブ素材群の特殊効果プログラムファイルを生成し、プログラムファイル欄によって１つのサブ素材群の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含んでもよい。その中の特殊効果プログラムファイルは、例えば、ｊｓｏｎプログラムで生成された特殊効果プログラムファイルを含んでもよいが、それに限定されない。
【０１９９】
図２を参照し、該操作画面は左側、中部及び右側といった３つの領域を含んでもよい。ここで、操作画面の左側に操作欄を表示し、操作画面の中部にコンテンツ表示欄を表示し、操作画面の右側にプログラムファイル欄を表示する。
【０２００】
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、受け取った保存コマンドにより保存コマンドに示される位置に特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含んでもよい。
【０２０１】
そのうちの一実施形態では、保存モジュールは、保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、保存パス選択インターフェイスから送られた保存位置を受け取る操作と、圧縮インターフェイスから送られた圧縮方式を受け取り、圧縮方式によりサブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、圧縮ファイルパッケージを保存位置に示されるフォルダーに記憶する操作とに用いられる。
【０２０２】
そのうちの選択可能な一例では、特殊効果プログラムファイルパッケージ内のサブ素材の大きさは、サブ素材がインポートされる前の大きさに保持される。
【０２０３】
本願の各実施例では、特殊効果生成装置は、本願の上記各特殊効果生成方法の実施例を実現することに利用可能であり、ＡＲエンジン又はＡＲ特殊効果作成機能を有する電子機器であってもよいが、それらに限定されない。
【０２０４】
図１１は本願の特殊効果生成装置の一実施例の構造模式図である。図１１に示すように、該実施例の特殊効果生成装置は、第２の取得モジュール、第１の検出モジュール及び第２の生成モジュールを含む。
【０２０５】
第２の取得モジュールは、特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得するために用いられ、１つのサブ素材群が複数のサブ素材を含む。
【０２０６】
そのうちの一実施形態では、上記複数のサブ素材は、所定の再生時系列を有する。
【０２０７】
そのうちの一実施形態では、本願の各特殊効果生成装置の実施例における特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの特殊効果プログラムファイルパッケージの生成方法又は装置の実施例によって生成したものであってもよい。
【０２０８】
第１の検出モジュールは、ビデオ画像に対してキーポイント検出を行うために用いられる。
【０２０９】
第２の生成モジュールは、検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成するために用いられる。
【０２１０】
本願の上記実施例で提供された特殊効果生成装置によれば、特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得し、１つのサブ素材群が複数のサブ素材を含み、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値及びビデオ画像内のキーポイントによって、ビデオ上で動的特殊効果を生成し、ビデオで動的特殊効果を再生し、ビデオ再生効果を高めることができる。
【０２１１】
図１２は本願の特殊効果生成装置の別の実施例の構造模式図である。図１２に示すように、図１１に示した実施例と比べて、該実施例の特殊効果生成装置は、特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールを更に含む。ここで、該特殊効果プログラムファイルパッケージが、少なくとも１つのサブ素材群、及び少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含み、該少なくとも１つのサブ素材群の再生パラメータのパラメータ値が、１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
【０２１２】
本願の特殊効果生成装置の更に別の実施例では、再生パラメータは、複数のサブ素材の表示をトリガするトリガイベントを表すためのトリガイベントパラメータを含む。それに対応するように、更に図１２を参照し、該実施例の特殊効果生成装置は、ビデオ画像にトリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出するための第２の検出モジュールを更に含んでもよい。それに対応するように、該実施例では、第２の生成モジュールは、ビデオ画像にトリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、検出されたキーポイント及び少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、少なくとも１つのサブ素材群に基づく特殊効果をビデオ上で生成するために用いられる。
【０２１３】
本願の特殊効果生成装置の更に別の実施例では、再生パラメータは、複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータを更に含む。それに対応するように、該実施例では、第２の検出モジュールは、更に、ビデオ画像に終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出するために用いられる。第２の生成モジュールは、更に、ビデオ画像に終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、現在再生しているビデオでの少なくとも１つのサブ素材群の特殊効果の生成を終了するために用いられる。
【０２１４】
本願の特殊効果生成装置の更に別の実施例では、再生パラメータは、サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータを更に含む。それに対応するように、該実施例では、第２の生成モジュールは、更に、検出されたキーポイント及び少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する時に、美顔／化粧効果パラメータに基づいて、ビデオ画像内の事前設定部位に美顔／化粧効果を表示するために用いられる。
【０２１５】
そのうちの一実施形態では、第２のインポートモジュールは、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、動的特殊効果プログラムファイルパッケージを解析し、少なくとも１つのサブ素材群、及び特殊効果プログラムファイルを取得する操作とに用いられ、特殊効果プログラムファイルが、少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含む。その中の特殊効果プログラムファイルは、例えば、ｊｓｏｎプログラムの特殊効果プログラムファイルを含む。
【０２１６】
そのうちの選択可能な一例では、第２の取得モジュールは、ステッカーハンドルを作成するための第２のインターフェイス関数によってステッカーハンドルを作成する操作と、少なくとも１つのサブ素材群及び特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を読み取り、ステッカーハンドルに記憶する操作とに用いられる。
【０２１７】
なお、更に図１２を参照し、また１つの実施例では、特殊効果生成装置は、決定モジュール及び第３の取得モジュールを更に含んでもよい。ここで、決定モジュールは、複数のサブ素材のファイル名に基づいて、複数のサブ素材の再生時系列を決定するために用いられる。第３の取得モジュールは、ステッカーハンドル内の特殊効果プログラムファイルの少なくとも１つのサブ素材群の再生パラメータのパラメータ値及び複数のサブ素材の再生時系列に基づいて、少なくとも１つのサブ素材群内の各サブ素材のビデオにおける表示位置及びビデオフレーム数を取得し、ビデオからビデオフレーム数に対応するビデオ画像を予め読み取るために用いられる。
【０２１８】
そのうちの一実施形態では、第２の生成モジュールは、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る操作と、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、表示しようとするサブ素材の現在ビデオ画像における表示位置を決定する操作と、現在ビデオ画像に表示しようとするサブ素材を現在ビデオ画像上の表示位置に表示する操作とに用いられる。
【０２１９】
なお、更に図１２を参照し、本願の特殊効果生成装置の更に別の実施例では、第２の取得モジュールは、更に、特殊効果プログラムファイルパッケージの再生が終了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによってステッカーハンドルを廃棄するために用いられる。
【０２２０】
本願の各特殊効果生成装置の実施例の一実施形態では、第１の検出モジュールは、ニューラルネットワークによって、ビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられる。
【０２２１】
その中のキーポイント検出結果は、例えば、対応関係に関わるキーポイントのビデオの中の画像における位置、対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含む。
【０２２２】
なお、本願の実施例で提供された別の電子機器は、
コンピュータプログラムを記憶するためのメモリと、
メモリに記憶されたコンピュータプログラムを実行するために用いられ、コンピュータプログラムが実行されると、本願のいずれか１つの実施例に記載の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するプロセッサと、を含む。
【０２２３】
図１３は本願の電子機器の一適用実施例の構成模式図である。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構成模式図を示す図１３を参照する。図１３に示すように、該電子機器は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）、及び／又は１つ又は複数の画像プロセッサ（ＧＰＵ）などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）に記憶された実行可能コマンド又は記憶部からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されなく、プロセッサは読み取り専用メモリ及び／又はランダムアクセスメモリと通信して実行可能コマンドを実行し、通信バスを介して通信部に接続され、通信部を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、複数のサブ素材を含む１つのサブ素材群をインポートし、前記１つのサブ素材群の再生パラメータのパラメータ値を取得し、前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する。更に例えば、特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得し、１つのサブ素材群が複数のサブ素材を含み、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する。
【０２２４】
また、ＲＡＭには、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ、ＲＯＭ及びＲＡＭは、通信バスを介して相互に接続される。ＲＡＭを有する場合に、ＲＯＭは選択可能なモジュールである。ＲＡＭは実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭに書き込み、実行可能コマンドによってプロセッサに本願の上記のいずれか１つの実施例に記載の方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インターフェイスも通信バスに接続される。通信部は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【０２２５】
キーボード、マウスなどを含む入力部と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部と、ハードディスクなどを含む記憶部と、ＬＡＮカード、モデムなどのネットワークインターフェイスカードを含む通信部とがＩ／Ｏインターフェイスに接続されている。通信部は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブも必要に応じてＩ／Ｏインターフェイスに接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体は、必要に応じてドライブ上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部にインストールする。
【０２２６】
なお、図１３に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図１３の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてよく、通信部は分離設置するか、またはＣＰＵやＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の開示した保護範囲に属する。
【０２２７】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよい。このような実施例では、該コンピュータプログラムは通信部によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体からインストールされ得る。ＣＰＵによって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能を実行する。
【０２２８】
なお、本願の実施例は、コンピュータコマンドを含むコンピュータプログラムであって、コンピュータコマンドが機器のプロセッサ上で動作する時に、本願のいずれか１つの実施例に記載の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するコンピュータプログラムを更に提供する。
【０２２９】
なお、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、本願の上記のいずれか１つの実施例に記載の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するコンピュータ可読記憶媒体を更に提供する。
【０２３０】
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
【０２３１】
本願の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
【０２３２】
本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
【図１】
2021508883.tif 000005
【図２】
2021508883.tif 000006
【図３】
2021508883.tif 000007
【図４】
2021508883.tif 000008
【図５】
2021508883.tif 000009
【図６】
2021508883.tif 000010
【図７】
2021508883.tif 000011
【図８】
2021508883.tif 000012
【図９】
2021508883.tif 000013
【図１０】
2021508883.tif 000014
【図１１】
2021508883.tif 000015
【図１２】
2021508883.tif 000016
【図１３】
2021508883.tif 000017
【手続補正書】
【提出日】令和2年6月26日(2020.6.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のサブ素材を含む１つのサブ素材群をインポートする操作と、
前記１つのサブ素材群の再生パラメータのパラメータ値を取得する操作と、
前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する操作と、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成方法。
【請求項２】
前記複数のサブ素材は、所定の再生時系列を有し、
前記複数のサブ素材の再生時系列は、前記複数のサブ素材のファイル名に基づいて決定されることを特徴とする請求項１に記載の方法。
【請求項３】
１つのサブ素材群をインポートする前記操作は、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートして、前記１つのサブ素材群とする操作を含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする前記操作は、
前記操作欄における再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作、又は、
前記操作欄の対話インターフェイスで送られた選択コマンドを受け取り、前記選択コマンドで選択された参照部位を、現在、特殊効果を加えようとする目標部位とし、前記操作欄に前記目標部位における再生パラメータ設定画面を表示し、前記再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作を含むことを特徴とする請求項３に記載の方法。
【請求項５】
対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作は、
前記対話インターフェイスで送られたインポートコマンドを受け取り、前記インポートコマンドに示される素材フォルダーを取得、表示する操作と、
前記素材フォルダー内のサブ素材に対する選択操作が受け取られたことに応じて、前記サブ素材選択操作で選択された複数のサブ素材をインポートし、及び／又は、前記素材フォルダー内のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて素材フォルダー内のサブ素材の全て又は一部を選択し、事前設定に基づいて選択されたサブ素材をインポートする操作と、を含むことを特徴とする請求項３又は４に記載の方法。
【請求項６】
前記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする前記操作は、
前記インポートコマンドに前記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれることに応じて、前記表示順序で前記複数のサブ素材を読み取り、インポートし、インポートされた前記複数のサブ素材のファイル名を前記操作欄に前記表示順序で表示する操作、及び／又は、
前記インポートコマンドに前記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれないことに応じて、事前設定順序で前記複数のサブ素材を読み取り、インポートし、インポートされた前記複数のサブ素材のファイル名を前記操作欄に事前設定順序で表示する操作を含むことを特徴とする請求項３−５のいずれか一項に記載の方法。
【請求項７】
前記１つのサブ素材群の再生パラメータのパラメータ値を取得する前記操作は、
前記再生パラメータ設定画面内の対話インターフェイスで送られた、前記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られたことに応じて、前記設定されたパラメータ値を前記１つのサブ素材群の再生パラメータのパラメータ値とする操作、及び／又は、
前記再生パラメータ設定画面内の対話インターフェイスで送られた、前記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記１つのサブ素材群の再生パラメータのパラメータ値とする操作を含むことを特徴とする請求項４−６のいずれか一項に記載の方法。
【請求項８】
前記１つのサブ素材群の再生パラメータは、
前記複数のサブ素材を表示するか否かを表すための表示パラメータ、
前記複数のサブ素材のうちの隣接する２つのサブ素材を表示するための間隔するフレーム数を表すための間隔パラメータ、
前記複数のサブ素材の表示をトリガするトリガ動作を表すためのトリガ動作パラメータ、
前記複数のサブ素材のリピート再生回数を表すためのリピートパラメータ、
前記複数のサブ素材を遅延表示する時間を表すための遅延トリガパラメータ、
前記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータ、
複数のサブ素材の表示サイズ変化の参照基準を表すための表示サイズパラメータ、
複数のサブ素材と位置の関係種類を表すための位置種類パラメータ、
複数のサブ素材が事前設定参照部位の移動に従って移動するか否かを表すための位置関連付けパラメータ、
複数のサブ素材と事前設定キーポイントとの間の位置結び付け関係を表すための位置パラメータ、
複数のサブ素材の回転基準としてのキーポイントを表すための回転パラメータ、
サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータの中のいずれか一項又は複数項を含み、
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含み、
前記位置種類パラメータは、
前景を表すためのパラメータ、
前記複数のサブ素材が顔部位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が手の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が頭部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が肩部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腕の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腰部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が腿部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が足部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
前記複数のサブ素材が人体骨格の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
参照部位に関連する再生位置関係、
背景を表すためのパラメータのいずれか一項を含み、
前記の参照部位に関連する再生位置関係は、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大され、前記複数のサブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記複数のサブ素材が前記参照部位の位置に従って移動し、前記複数のサブ素材が前記参照部位の大きさに従って縮小拡大され、前記複数のサブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記複数のサブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする請求項１−７のいずれか一項に記載の方法。
【請求項９】
前記再生パラメータに、前記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係が含まれ、
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする請求項１−８のいずれか一項に記載の方法。
【請求項１０】
前記１つのサブ素材群の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立する操作、及び／又は、前記１つのサブ素材群の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を更に含むことを特徴とする請求項９に記載の方法。
【請求項１１】
コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示する操作を更に含み、
前記参照画像は、参照人物の少なくとも一部の画像を含み、
前記参照人物の少なくとも一部の画像は、前記参照人物の、完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする請求項９又は１０に記載の方法。
【請求項１２】
１つのサブ素材群をインポートする前記操作の後に、
前記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、事前設定表示ポリシーに従って、インポートされた前記１つのサブ素材群内の各サブ素材を前記コンテンツ表示欄に順に表示するか、又はインポートされた前記１つのサブ素材群内の複数のサブ素材を同時に表示する操作、又は、
前記１つのサブ素材群の中のサブ素材に対する選択操作を受け取り、前記コンテンツ表示欄に前記選択操作で選択されたサブ素材を表示する操作を更に含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記コンテンツ表示欄で受け取られた、前記１つのサブ素材群又は前記１つのサブ素材群のうちの１つのサブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記１つのサブ素材群の表示位置を更新し、前記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新する操作を更に含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記コンテンツ表示欄で受け取られた前記１つのサブ素材群又は前記１つのサブ素材群のうちの１つのサブ素材に対するサイズ調整操作により、前記コンテンツ表示欄における前記１つのサブ素材群の表示サイズを更新し、前記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新する操作を更に含むことを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
前記操作欄の対話インターフェイスで受け取られた、２つ又は２つ以上のサブ素材群に対して送られたレイヤーパラメータ調整コマンドにより、前記２つ又は２つ以上のサブ素材群の間の遮蔽関係を調整し、調整後の遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材群を表示する操作を更に含むことを特徴とする請求項１−１４のいずれか一項に記載の方法。
【請求項１６】
特殊効果プログラムファイルパッケージを生成する前記操作の前に、予め設定された特殊効果プログラムファイル及び前記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記１つのサブ素材群の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記１つのサブ素材群の特殊効果プログラムファイルを表示する操作を更に含むことを特徴とする請求項１−１５のいずれか一項に記載の方法。
【請求項１７】
受け取ったスタートコマンドによりスタートし、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示する操作を更に含み、
前記操作画面は、左側、中部及び右側といった３つの領域を含み、
操作画面を表示する前記操作は、前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示する操作を含むことを特徴とする請求項１−１６のいずれか一項に記載の方法。
【請求項１８】
特殊効果プログラムファイルパッケージを生成する前記操作の後に、受け取った保存コマンドにより、前記保存コマンドに示される位置に前記特殊効果プログラムファイルパッケージを保存する操作を更に含み、
受け取った保存コマンドにより、前記保存コマンドに示される位置に前記特殊効果プログラムファイルパッケージを保存する前記操作は、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
前記保存パス選択インターフェイスから送られた保存位置を受け取り、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて、前記特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶する操作と、を含むことを特徴とする請求項１−１７のいずれか一項に記載の方法。
【請求項１９】
特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得する操作であって、１つのサブ素材群が複数のサブ素材を含む操作と、
ビデオ画像に対してキーポイント検出を行う操作と、
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する操作と、を含むことを特徴とする特殊効果生成方法。
【請求項２０】
前記特殊効果プログラムファイルパッケージをインポートする操作であって、前記特殊効果プログラムファイルパッケージが、少なくとも１つのサブ素材群、及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含み、前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値が、前記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む操作を更に含み、
前記特殊効果プログラムファイルパッケージは、請求項１−１８のいずれか一項に記載の方法を用いて生成されたものである、ことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記複数のサブ素材は、所定の再生時系列を有することを特徴とする請求項１９又は２０に記載の方法。
【請求項２２】
前記再生パラメータは、前記複数のサブ素材の表示をトリガするトリガイベントを表すためのトリガイベントパラメータを含み、
前記方法は、前記ビデオ画像に前記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作を更に含み、
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、再生しているビデオ上で前記少なくとも１つのサブ素材群の特殊効果を生成する操作は、
前記ビデオ画像に前記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果を前記ビデオ上で生成する操作を含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記再生パラメータは、前記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータを更に含み、
前記方法は、
前記ビデオ画像に前記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作と、
前記ビデオ画像に前記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、前記再生しているビデオでの前記少なくとも１つのサブ素材群の特殊効果の生成を終了する操作と、を更に含むことを特徴とする請求項２２に記載の方法。
【請求項２４】
前記再生パラメータは、サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータを含み、
前記方法は、検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する時に、前記美顔／化粧効果パラメータに基づいて、前記ビデオ画像における前記事前設定部位に美顔／化粧効果を表示する操作を更に含むことを特徴とする請求項２２又は２３に記載の方法。
【請求項２５】
特殊効果プログラムファイルパッケージをインポートする前記操作は、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、前記特殊効果プログラムファイルパッケージを解析し、前記少なくとも１つのサブ素材群、及び特殊効果プログラムファイルを取得する操作であって、前記特殊効果プログラムファイルが、前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含む操作と、を含むことを特徴とする請求項１９−２４のいずれか一項に記載の方法。
【請求項２６】
前記特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得する前記操作は、
ステッカーハンドルを作成するための第２のインターフェイス関数によってステッカーハンドルを作成する操作と、
前記少なくとも１つのサブ素材群及び前記特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶する操作と、を含むことを特徴とする請求項２５に記載の方法。
【請求項２７】
前記複数のサブ素材のファイル名に基づいて、前記複数のサブ素材の再生時系列を決定する操作と、
前記ステッカーハンドル内の前記特殊効果プログラムファイルの少なくとも１つのサブ素材群の再生パラメータのパラメータ値及び前記複数のサブ素材の再生時系列に基づいて、前記少なくとも１つのサブ素材群の中の各サブ素材の前記ビデオにおける表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取る操作と、を更に含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記再生しているビデオ上で前記少なくとも１つのサブ素材群の特殊効果を生成する前記操作は、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る操作と、
前記検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記表示しようとするサブ素材の現在ビデオ画像における表示位置を決定する操作と、
前記現在ビデオ画像上に表示しようとするサブ素材を前記現在ビデオ画像上の前記表示位置に表示する操作と、を含むことを特徴とする請求項２６又は２７に記載の方法。
【請求項２９】
前記ビデオ画像に対してキーポイント検出を行う前記操作は、ニューラルネットワークによって、前記ビデオ画像に対して前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力する操作を含み、
前記キーポイント検出結果は、前記対応関係に関わるキーポイントの前記ビデオの中の画像における位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする請求項２０−２８のいずれか一項に記載の方法。
【請求項３０】
複数のサブ素材を含む１つのサブ素材群をインポートするための第１のインポートモジュールと、
前記１つのサブ素材群の再生パラメータのパラメータ値を取得するための第１の取得モジュールと、
前記１つのサブ素材群及び前記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成装置。
【請求項３１】
特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得するための第２の取得モジュールであって、１つのサブ素材群が複数のサブ素材を含む第２の取得モジュールと、
ビデオ画像に対してキーポイント検出を行うための第１の検出モジュールと、
検出されたキーポイント及び前記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、前記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成するための第２の生成モジュールと、を含むことを特徴とする特殊効果生成装置。
【請求項３２】
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するために用いられ、前記コンピュータプログラムが実行されると、請求項１−２９のいずれか一項に記載の方法を実現するプロセッサと、を含むことを特徴とする電子機器。
【請求項３３】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、上記請求項１−２９のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本願の上記実施例で提供された特殊効果生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得し、１つのサブ素材群が複数のサブ素材を含み、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値及びビデオ画像内のキーポイントによって、ビデオ上で動的特殊効果を生成し、ビデオで動的特殊効果を再生し、ビデオ再生効果を高めることができる。
例えば、本願は以下の項目を提供する。
（項目１）
複数のサブ素材を含む１つのサブ素材群をインポートする操作と、
上記１つのサブ素材群の再生パラメータのパラメータ値を取得する操作と、
上記１つのサブ素材群及び上記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する操作と、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成方法。
（項目２）
上記複数のサブ素材は、所定の再生時系列を有することを特徴とする項目１に記載の方法。
（項目３）
上記複数のサブ素材の再生時系列は、上記複数のサブ素材のファイル名に基づいて決定されることを特徴とする項目２に記載の方法。
（項目４）
１つのサブ素材群をインポートする上記操作は、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートして、上記１つのサブ素材群とする操作を含むことを特徴とする項目１−３のいずれか一項に記載の方法。
（項目５）
操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする上記操作は、
上記操作欄における再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作、又は、
上記操作欄の対話インターフェイスで送られた選択コマンドを受け取り、上記選択コマンドで選択された参照部位を、現在、特殊効果を加えようとする目標部位とし、上記操作欄に上記目標部位における再生パラメータ設定画面を表示し、上記再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作を含むことを特徴とする項目４に記載の方法。
（項目６）
対話インターフェイスで送られたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作は、
上記対話インターフェイスで送られたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダーを取得、表示する操作と、
上記素材フォルダー内のサブ素材に対する選択操作が受け取られたことに応じて、上記サブ素材選択操作で選択された複数のサブ素材をインポートし、及び／又は、上記素材フォルダー内のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて素材フォルダー内のサブ素材の全て又は一部を選択し、事前設定に基づいて選択されたサブ素材をインポートする操作と、を含むことを特徴とする項目４又は５に記載の方法。
（項目７）
上記特殊効果プログラムファイルパッケージは、１つのサブ素材群を含むか、又は複数のサブ素材群を含むことを特徴とする項目１−６のいずれか一項に記載の方法。
（項目８）
上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする上記操作は、
上記インポートコマンドに上記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれることに応じて、上記表示順序で上記複数のサブ素材を読み取り、インポートし、インポートされた上記複数のサブ素材のファイル名を上記操作欄に上記表示順序で表示する操作、及び／又は、
上記インポートコマンドに上記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれないことに応じて、事前設定順序で上記複数のサブ素材を読み取り、インポートし、インポートされた上記複数のサブ素材のファイル名を上記操作欄に事前設定順序で表示する操作を含むことを特徴とする項目４−７のいずれか一項に記載の方法。
（項目９）
上記１つのサブ素材群の再生パラメータのパラメータ値を取得する上記操作は、
上記再生パラメータ設定画面内の対話インターフェイスで送られた、上記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られたことに応じて、上記設定されたパラメータ値を上記１つのサブ素材群の再生パラメータのパラメータ値とする操作、及び／又は、
上記再生パラメータ設定画面内の対話インターフェイスで送られた、上記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を上記１つのサブ素材群の再生パラメータのパラメータ値とする操作を含むことを特徴とする項目５−８のいずれか一項に記載の方法。
（項目１０）
上記１つのサブ素材群の再生パラメータは、
上記複数のサブ素材を表示するか否かを表すための表示パラメータ、
上記複数のサブ素材のうちの隣接する２つのサブ素材を表示するための間隔するフレーム数を表すための間隔パラメータ、
上記複数のサブ素材の表示をトリガするトリガ動作を表すためのトリガ動作パラメータ、
上記複数のサブ素材のリピート再生回数を表すためのリピートパラメータ、
上記複数のサブ素材を遅延表示する時間を表すための遅延トリガパラメータ、
上記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータ、
複数のサブ素材の表示サイズ変化の参照基準を表すための表示サイズパラメータ、
複数のサブ素材と位置の関係種類を表すための位置種類パラメータ、
複数のサブ素材が事前設定参照部位の移動に従って移動するか否かを表すための位置関連付けパラメータ、
複数のサブ素材と事前設定キーポイントとの間の位置結び付け関係を表すための位置パラメータ、
複数のサブ素材の回転基準としてのキーポイントを表すための回転パラメータ、
サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目１−９のいずれか一項に記載の方法。
（項目１１）
上記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする項目１０に記載の方法。
（項目１２）
上記位置種類パラメータは、
前景を表すためのパラメータ、
上記複数のサブ素材が顔部位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が手の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が頭部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が肩部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が腕の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が腰部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が腿部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が足部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が人体骨格の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
参照部位に関連する再生位置関係、
背景を表すためのパラメータのいずれか一項を含むことを特徴とする項目１０又は１１に記載の方法。
（項目１３）
上記の参照部位に関連する再生位置関係は、
上記複数のサブ素材が上記参照部位の位置に従って移動し、上記複数のサブ素材が上記参照部位の大きさに従って縮小拡大されること、
上記複数のサブ素材が上記参照部位の位置に従って移動し、上記複数のサブ素材が上記参照部位の大きさに従って縮小拡大され、上記複数のサブ素材が上記参照部位の回転に従って奥行き縮小拡大を行われること、
上記複数のサブ素材が上記参照部位の位置に従って移動し、上記複数のサブ素材が上記参照部位の大きさに従って縮小拡大され、上記複数のサブ素材が上記参照部位の回転に従って奥行き縮小拡大を行われ、上記複数のサブ素材が上記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする項目１２に記載の方法。
（項目１４）
上記再生パラメータに、上記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係が含まれ、
上記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする項目１−１３のいずれか一項に記載の方法。
（項目１５）
上記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、上記Ｎが１より大きく、及び／又は、
上記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目１４に記載の方法。
（項目１６）
上記目キーポイントは、左目縁キーポイント、左目瞳中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目１５に記載の方法。
（項目１７）
上記１つのサブ素材群の表示位置と上記少なくとも１つのキーポイントとの間の対応関係を確立する操作、及び／又は、上記１つのサブ素材群の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を更に含むことを特徴とする項目１４−１６のいずれか一項に記載の方法。
（項目１８）
コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、上記参照画像上のキーポイントを表示する操作を更に含むことを特徴とする項目１４−１７のいずれか一項に記載の方法。
（項目１９）
上記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする項目１８に記載の方法。
（項目２０）
上記参照人物の少なくとも一部の画像は、上記参照人物の、完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする項目１９に記載の方法。
（項目２１）
１つのサブ素材群をインポートする上記操作の後に、
上記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、事前設定表示ポリシーに従って、インポートされた上記１つのサブ素材群内の各サブ素材を上記コンテンツ表示欄に順に表示するか、又はインポートされた上記１つのサブ素材群内の複数のサブ素材を同時に表示する操作、又は、
上記１つのサブ素材群の中のサブ素材に対する選択操作を受け取り、上記コンテンツ表示欄に上記選択操作で選択されたサブ素材を表示する操作を更に含むことを特徴とする項目１８−２０のいずれか一項に記載の方法。
（項目２２）
上記コンテンツ表示欄で受け取られた、上記１つのサブ素材群又は上記１つのサブ素材群のうちの１つのサブ素材に対する位置移動操作により、上記コンテンツ表示欄における上記１つのサブ素材群の表示位置を更新し、上記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新する操作を更に含むことを特徴とする項目２１に記載の方法。
（項目２３）
上記コンテンツ表示欄で受け取られた上記１つのサブ素材群又は上記１つのサブ素材群のうちの１つのサブ素材に対するサイズ調整操作により、上記コンテンツ表示欄における上記１つのサブ素材群の表示サイズを更新し、上記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新する操作を更に含むことを特徴とする項目２１又は２２に記載の方法。
（項目２４）
上記操作欄の対話インターフェイスで受け取られた、２つ又は２つ以上のサブ素材群に対して送られたレイヤーパラメータ調整コマンドにより、上記２つ又は２つ以上のサブ素材群の間の遮蔽関係を調整し、調整後の遮蔽関係及び上記再生パラメータのパラメータ値に基づいて、上記２つ又は２つ以上のサブ素材群を表示する操作を更に含むことを特徴とする項目１−２３のいずれか一項に記載の方法。
（項目２５）
特殊効果プログラムファイルパッケージを生成する上記操作の前に、予め設定された特殊効果プログラムファイル及び上記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記１つのサブ素材群の特殊効果プログラムファイルを生成し、プログラムファイル欄によって上記１つのサブ素材群の特殊効果プログラムファイルを表示する操作を更に含むことを特徴とする項目１−２４のいずれか一項に記載の方法。
（項目２６）
上記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成された特殊効果プログラムファイルを含むことを特徴とする項目２５に記載の方法。
（項目２７）
受け取ったスタートコマンドによりスタートし、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示する操作を更に含むことを特徴とする項目１−２６のいずれか一項に記載の方法。
（項目２８）
上記操作画面は、左側、中部及び右側といった３つの領域を含み、
操作画面を表示する上記操作は、上記操作画面の左側に上記操作欄を表示し、上記操作画面の中部に上記コンテンツ表示欄を表示し、上記操作画面の右側に上記プログラムファイル欄を表示する操作を含むことを特徴とする項目２７に記載の方法。
（項目２９）
特殊効果プログラムファイルパッケージを生成する上記操作の後に、受け取った保存コマンドにより、上記保存コマンドに示される位置に上記特殊効果プログラムファイルパッケージを保存する操作を更に含むことを特徴とする項目１−２８のいずれか一項に記載の方法。
（項目３０）
受け取った保存コマンドにより、上記保存コマンドに示される位置に上記特殊効果プログラムファイルパッケージを保存する上記操作は、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
上記保存パス選択インターフェイスから送られた保存位置を受け取り、上記圧縮インターフェイスから送られた圧縮方式を受け取り、上記圧縮方式に基づいて、上記特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
上記圧縮ファイルパッケージを上記保存位置に示されるフォルダーに記憶する操作と、を含むことを特徴とする項目２９に記載の方法。
（項目３１）
上記特殊効果プログラムファイルパッケージ内のサブ素材の大きさは、サブ素材がインポートされる前の大きさに保持されることを特徴とする項目１−３０のいずれか一項に記載の方法。
（項目３２）
特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得する操作であって、１つのサブ素材群が複数のサブ素材を含む操作と、
ビデオ画像に対してキーポイント検出を行う操作と、
検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する操作と、を含むことを特徴とする特殊効果生成方法。
（項目３３）
上記特殊効果プログラムファイルパッケージをインポートする操作であって、上記特殊効果プログラムファイルパッケージが、少なくとも１つのサブ素材群、及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含み、上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値が、上記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む操作を更に含むことを特徴とする項目３２に記載の方法。
（項目３４）
上記複数のサブ素材は、所定の再生時系列を有することを特徴とする項目３２又は３３に記載の方法。
（項目３５）
上記再生パラメータは、上記複数のサブ素材の表示をトリガするトリガイベントを表すためのトリガイベントパラメータを含み、
上記方法は、上記ビデオ画像に上記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作を更に含み、
検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、再生しているビデオ上で上記少なくとも１つのサブ素材群の特殊効果を生成する操作は、
上記ビデオ画像に上記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記少なくとも１つのサブ素材群に基づく特殊効果を上記ビデオ上で生成する操作を含むことを特徴とする項目３４に記載の方法。
（項目３６）
上記再生パラメータは、上記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータを更に含み、
上記方法は、
上記ビデオ画像に上記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作と、
上記ビデオ画像に上記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、上記再生しているビデオでの上記少なくとも１つのサブ素材群の特殊効果の生成を終了する操作と、を更に含むことを特徴とする項目３５に記載の方法。
（項目３７）
上記再生パラメータは、サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータを含み、
上記方法は、検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する時に、上記美顔／化粧効果パラメータに基づいて、上記ビデオ画像における上記事前設定部位に美顔／化粧効果を表示する操作を更に含むことを特徴とする項目３５又は３６に記載の方法。
（項目３８）
特殊効果プログラムファイルパッケージをインポートする上記操作は、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、上記特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、上記特殊効果プログラムファイルパッケージを解析し、上記少なくとも１つのサブ素材群、及び特殊効果プログラムファイルを取得する操作であって、上記特殊効果プログラムファイルが、上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含む操作と、を含むことを特徴とする項目３２−３７のいずれか一項に記載の方法。
（項目３９）
上記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする項目３８に記載の方法。
（項目４０）
上記特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得する上記操作は、
ステッカーハンドルを作成するための第２のインターフェイス関数によってステッカーハンドルを作成する操作と、
上記少なくとも１つのサブ素材群及び上記特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶する操作と、を含むことを特徴とする項目３８又は３９に記載の方法。
（項目４１）
上記複数のサブ素材のファイル名に基づいて、上記複数のサブ素材の再生時系列を決定する操作と、
上記ステッカーハンドル内の上記特殊効果プログラムファイルの少なくとも１つのサブ素材群の再生パラメータのパラメータ値及び上記複数のサブ素材の再生時系列に基づいて、上記少なくとも１つのサブ素材群の中の各サブ素材の上記ビデオにおける表示位置及びビデオフレーム数を取得し、上記ビデオから上記ビデオフレーム数に対応するビデオ画像を予め読み取る操作と、を更に含むことを特徴とする項目４０に記載の方法。
（項目４２）
検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記再生しているビデオ上で上記少なくとも１つのサブ素材群の特殊効果を生成する上記操作は、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、上記ステッカーハンドルから上記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る操作と、
上記検出されたキーポイント及び上記再生パラメータのパラメータ値に基づいて、上記表示しようとするサブ素材の現在ビデオ画像における表示位置を決定する操作と、
上記現在ビデオ画像上に表示しようとするサブ素材を上記現在ビデオ画像上の上記表示位置に表示する操作と、を含むことを特徴とする項目４０又は４１に記載の方法。
（項目４３）
上記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって上記ステッカーハンドルを廃棄する操作を更に含むことを特徴とする項目４０−４２のいずれか一項に記載の方法。
（項目４４）
上記ビデオ画像に対してキーポイント検出を行う上記操作は、ニューラルネットワークによって、上記ビデオ画像に対して上記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力する操作を含むことを特徴とする項目３３−４３のいずれか一項に記載の方法。
（項目４５）
上記キーポイント検出結果は、上記対応関係に関わるキーポイントの上記ビデオの中の画像における位置、上記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする項目４４に記載の方法。
（項目４６）
上記特殊効果プログラムファイルパッケージは、項目１−３１のいずれか一項に記載の方法を用いて生成されたものであることを特徴とする項目３２−４５のいずれか一項に記載の方法。
（項目４７）
複数のサブ素材を含む１つのサブ素材群をインポートするための第１のインポートモジュールと、
上記１つのサブ素材群の再生パラメータのパラメータ値を取得するための第１の取得モジュールと、
上記１つのサブ素材群及び上記再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成装置。
（項目４８）
上記複数のサブ素材は、所定の再生時系列を有することを特徴とする項目４７に記載の装置。
（項目４９）
上記複数のサブ素材の再生時系列は、上記複数のサブ素材のファイル名に基づいて決定されることを特徴とする項目４８に記載の装置。
（項目５０）
操作欄を含む操作画面を更に含み、
上記第１のインポートモジュールは、操作欄の対話インターフェイスで入力されたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートして、上記１つのサブ素材群とするために用いられることを特徴とする項目４７−４９のいずれか一項に記載の装置。
（項目５１）
上記第１のインポートモジュールは、
上記操作欄における再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作、又は、
上記操作欄の対話インターフェイスで送られた選択コマンドを受け取り、上記選択コマンドで選択された参照部位を、現在、特殊効果を加えようとする目標部位とし、上記操作欄に上記目標部位における再生パラメータ設定画面を表示し、上記再生パラメータ設定画面内の対話インターフェイスで送られたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする操作、
を実行するために用いられることを特徴とする項目５０に記載の装置。
（項目５２）
上記第１のインポートモジュールは、
上記対話インターフェイスで送られたインポートコマンドを受け取り、上記インポートコマンドに示される素材フォルダーを取得、表示する操作と、
上記素材フォルダー内のサブ素材に対する選択操作が受け取られたことに応じて、上記サブ素材選択操作で選択された複数のサブ素材をインポートし、及び／又は、上記素材フォルダー内のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー内のサブ素材の全て又は一部を選択し、事前設定に基づいて選択されたサブ素材をインポートする操作と、
を実行するために用いられることを特徴とする項目５０又は５１に記載の装置。
（項目５３）
上記特殊効果プログラムファイルパッケージは、１つのサブ素材群を含むか、又は複数のサブ素材群を含むことを特徴とする項目４７−５２のいずれか一項に記載の装置。
（項目５４）
上記第１のインポートモジュールは、
上記インポートコマンドに示される素材フォルダー内の複数のサブ素材をインポートする時に、上記インポートコマンドに上記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれることに応じて、上記表示順序で上記複数のサブ素材を読み取り、インポートし、インポートされた上記複数のサブ素材のファイル名を上記操作欄に上記表示順序で表示する操作、及び／又は、
上記インポートコマンドに上記インポートコマンドに示される素材フォルダー内の複数のサブ素材の表示順序が含まれないことに応じて、事前設定順序で上記複数のサブ素材を読み取り、インポートし、インポートされた上記複数のサブ素材のファイル名を上記操作欄に事前設定順序で表示する操作、
を実行するために用いられることを特徴とする項目５０−５３のいずれか一項に記載の装置。
（項目５５）
上記第１の取得モジュールは、
上記再生パラメータ設定画面内の対話インターフェイスで送られた、上記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られたことに応じて、上記設定されたパラメータ値を上記１つのサブ素材群の再生パラメータのパラメータ値とする操作、及び／又は、
上記再生パラメータ設定画面内の対話インターフェイスで送られた、上記１つのサブ素材群の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を上記１つのサブ素材群の再生パラメータのパラメータ値とする操作、
を実行するために用いられることを特徴とする項目５１−５４のいずれか一項に記載の装置。
（項目５６）
上記１つのサブ素材群の再生パラメータは、
上記複数のサブ素材を表示するか否かを表すための表示パラメータ、
上記複数のサブ素材のうちの隣接する２つのサブ素材を表示するための間隔するフレーム数を表すための間隔パラメータ、
上記複数のサブ素材の表示をトリガするトリガ動作を表すためのトリガ動作パラメータ、
上記複数のサブ素材のリピート再生回数を表すためのリピートパラメータ、
上記複数のサブ素材を遅延表示する時間を表すための遅延トリガパラメータ、
上記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータ、
複数のサブ素材の表示サイズ変化の参照基準を表すための表示サイズパラメータ、
複数のサブ素材と位置の関係種類を表すための位置種類パラメータ、
複数のサブ素材が事前設定参照部位の移動に従って移動するか否かを表すための位置関連付けパラメータ、
複数のサブ素材と事前設定キーポイントとの間の位置結び付け関係を表すための位置パラメータ、
複数のサブ素材の回転基準としてのキーポイントを表すための回転パラメータ、
サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目５１−５５のいずれか一項に記載の装置。
（項目５７）
上記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする項目５６に記載の装置。
（項目５８）
上記位置種類パラメータは、
前景を表すためのパラメータ、
上記複数のサブ素材が顔部位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が手の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が頭部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が肩部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が腕の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が腰部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が腿部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が足部の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
上記複数のサブ素材が人体骨格の位置に従って位置決め及び／又は移動することを表すためのパラメータ、
参照部位に関連する再生位置関係、
背景を表すためのパラメータのいずれか一項を含むことを特徴とする項目５５又は５６に記載の装置。
（項目５９）
上記の参照部位に関連する再生位置関係は、
上記複数のサブ素材が上記参照部位の位置に従って移動し、上記複数のサブ素材が上記参照部位の大きさに従って縮小拡大されること、
上記複数のサブ素材が上記参照部位の位置に従って移動し、上記複数のサブ素材が上記参照部位の大きさに従って縮小拡大され、上記複数のサブ素材が上記参照部位の回転に従って奥行き縮小拡大を行われること、
上記複数のサブ素材が上記参照部位の位置に従って移動し、上記複数のサブ素材が上記参照部位の大きさに従って縮小拡大され、上記複数のサブ素材が上記参照部位の回転に従って奥行き縮小拡大を行われ、上記複数のサブ素材が上記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする項目５８に記載の装置。
（項目６０）
、上記再生パラメータに、上記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係が含まれ、
上記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする項目４７−５９のいずれか一項に記載の装置。
（項目６１）
上記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、上記Ｎが１より大きく、及び／又は、
上記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目６０に記載の装置。
（項目６２）
上記目キーポイントは、左目縁キーポイント、左目瞳中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
上記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目６１に記載の装置。
（項目６３）
上記第１の取得モジュールは、更に、
上記１つのサブ素材群の表示位置と上記少なくとも１つのキーポイントとの間の対応関係を確立する操作、及び／又は、
上記１つのサブ素材群の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立する操作、
を実行するために用いられることを特徴とする項目４７−６２のいずれか一項に記載の装置。
（項目６４）
上記操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、且つ上記参照画像におけるキーポイントを表示するためのコンテンツ表示欄を更に含むことを特徴とする項目６０−６３のいずれか一項に記載の装置。
（項目６５）
上記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする項目６４に記載の装置。
（項目６６）
上記参照人物の少なくとも一部の画像は、上記参照人物の、完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする項目６５に記載の装置。
（項目６７）
上記コンテンツ表示欄は、更に、
上記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、事前設定表示ポリシーに従って、インポートされた上記１つのサブ素材群内の各サブ素材を上記コンテンツ表示欄に順に表示するか、又はインポートされた上記１つのサブ素材群内の複数のサブ素材を同時に表示する操作、又は、
上記１つのサブ素材群の中のサブ素材に対する選択操作を受け取り、上記コンテンツ表示欄に上記選択操作で選択されたサブ素材を表示する操作に用いられることを特徴とする項目６４−６６のいずれか一項に記載の装置。
（項目６８）
上記コンテンツ表示欄で受け取られた、上記１つのサブ素材群又は上記１つのサブ素材群のうちの１つのサブ素材に対する位置移動操作により、上記コンテンツ表示欄における上記１つのサブ素材群の表示位置を更新し、上記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新するための第１の更新モジュールを更に含むことを特徴とする項目６７に記載の装置。
（項目６９）
上記コンテンツ表示欄で受け取られた上記１つのサブ素材群又は上記１つのサブ素材群のうちの１つのサブ素材に対するサイズ調整操作により、上記コンテンツ表示欄における上記１つのサブ素材群の表示サイズを更新し、上記１つのサブ素材群の再生パラメータのうちの対応するパラメータ値を更新するための第２の更新モジュールを更に含むことを特徴とする項目６７又は６８に記載の装置。
（項目７０）
上記操作欄の対話インターフェイスで受け取られた、２つ又は２つ以上のサブ素材群に対して送られたレイヤーパラメータ調整コマンドにより、上記２つ又は２つ以上のサブ素材群の間の遮蔽関係を調整し、調整後の遮蔽関係及び上記再生パラメータのパラメータ値に基づいて、上記２つ又は２つ以上のサブ素材群を表示するための調整モジュールを更に含むことを特徴とする項目４７−６９のいずれか一項に記載の装置。
（項目７１）
上記操作画面は、予め設定された特殊効果プログラムファイル及び上記１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記１つのサブ素材群の特殊効果プログラムファイルを生成し、上記１つのサブ素材群の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含むことを特徴とする項目４７−７０のいずれか一項に記載の装置。
（項目７２）
上記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成された特殊効果プログラムファイルを含むことを特徴とする項目７１に記載の装置。
（項目７３）
上記操作画面は、左側、中部及び右側といった３つの領域を含み、上記操作画面の左側に上記操作欄を表示し、上記操作画面の中部に上記コンテンツ表示欄を表示し、上記操作画面の右側に上記プログラムファイル欄を表示することを特徴とする項目４７−７２のいずれか一項に記載の装置。
（項目７４）
受け取った保存コマンドにより、上記保存コマンドに示される位置に上記特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含むことを特徴とする項目４７−７３のいずれか一項に記載の装置。
（項目７５）
上記保存モジュールは、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
上記保存パス選択インターフェイスから送られた保存位置を受け取り、上記圧縮インターフェイスから送られた圧縮方式を受け取り、上記圧縮方式に基づいて、上記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
上記圧縮ファイルパッケージを上記保存位置に示されるフォルダーに記憶する操作と、
を実行するために用いられることを特徴とする項目７４に記載の装置。
（項目７６）
上記特殊効果プログラムファイルパッケージ内のサブ素材の大きさは、上記サブ素材がインポートされる前の大きさに保持されることを特徴とする項目４７−７５のいずれか一項に記載の装置。
（項目７７）
特殊効果プログラムファイルパッケージにおける少なくとも１つのサブ素材群の再生パラメータのパラメータ値を取得するための第２の取得モジュールであって、１つのサブ素材群が複数のサブ素材を含む第２の取得モジュールと、
ビデオ画像に対してキーポイント検出を行うための第１の検出モジュールと、
検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成するための第２の生成モジュールと、を含むことを特徴とする特殊効果生成装置。
（項目７８）
上記特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールを更に含み、上記特殊効果プログラムファイルパッケージが、少なくとも１つのサブ素材群、及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含み、上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値が、上記１つのサブ素材群の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする項目７７に記載の装置。
（項目７９）
上記複数のサブ素材は、所定の再生時系列を有することを特徴とする項目７７又は７８に記載の装置。
（項目８０）
上記再生パラメータは、上記複数のサブ素材の表示をトリガするトリガイベントを表すためのトリガイベントパラメータを含み、
上記ビデオ画像に上記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出するための第２の検出モジュールを更に含み、
上記第２の生成モジュールは、上記ビデオ画像に上記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記少なくとも１つのサブ素材群に基づく特殊効果を上記ビデオ上で生成するために用いられることを特徴とする項目７９に記載の装置。
（項目８１）
上記再生パラメータは、上記複数のサブ素材の表示を終了する動作を表すための終了トリガパラメータを更に含み、
上記第２の検出モジュールは、更に、上記ビデオ画像に上記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出するために用いられ、
上記第２の生成モジュールは、更に、上記ビデオ画像に上記終了トリガパラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、上記の再生しているビデオでの上記少なくとも１つのサブ素材群の特殊効果の生成を終了するために用いられることを特徴とする項目８０に記載の装置。
（項目８２）
上記再生パラメータは、サブ素材を表示する時に事前設定部位に表示される美顔／化粧効果を表すための美顔／化粧効果パラメータを含み、
上記第２の生成モジュールは、更に、検出されたキーポイント及び上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値に基づいて、上記少なくとも１つのサブ素材群に基づく特殊効果をビデオ画像上で生成する時に、上記美顔／化粧効果パラメータに基づいて、上記ビデオ画像における上記事前設定部位に美顔／化粧効果を表示するために用いられることを特徴とする項目８０又は８１に記載の装置。
（項目８３）
上記第２のインポートモジュールは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、上記特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、
上記動的特殊効果プログラムファイルパッケージを解析し、上記少なくとも１つのサブ素材群、及び特殊効果プログラムファイルを取得する操作と、を実行するために用いられ、
上記特殊効果プログラムファイルが、上記少なくとも１つのサブ素材群の再生パラメータのパラメータ値を含むことを特徴とする項目７８−８２のいずれか一項に記載の装置。
（項目８４）
上記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする項目８３に記載の装置。
（項目８５）
上記第２の取得モジュールは、
ステッカーハンドルを作成するための第２のインターフェイス関数によってステッカーハンドルを作成する操作と、
上記少なくとも１つのサブ素材群及び上記特殊効果プログラムファイルパッケージ内の少なくとも１つのサブ素材群の再生パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶する操作と、
を実行するために用いられることを特徴とする項目８３又は８４に記載の装置。
（項目８６）
上記複数のサブ素材のファイル名に基づいて、上記複数のサブ素材の再生時系列を決定するための決定モジュールを更に含み、
第３の取得モジュールは、上記ステッカーハンドル内の上記特殊効果プログラムファイルの少なくとも１つのサブ素材群の再生パラメータのパラメータ値及び上記複数のサブ素材の再生時系列に基づいて、上記少なくとも１つのサブ素材群の中の各サブ素材の上記ビデオにおける表示位置及びビデオフレーム数を取得し、上記ビデオから上記ビデオフレーム数に対応するビデオ画像を予め読み取るために用いられることを特徴とする項目８５に記載の装置。
（項目８７）
上記第２の生成モジュールは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、上記ステッカーハンドルから上記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る操作と、
上記検出されたキーポイント及び上記再生パラメータのパラメータ値に基づいて、上記の表示しようとするサブ素材の現在ビデオ画像における表示位置を決定する操作と、
上記の上記現在ビデオ画像上に表示しようとするサブ素材を上記現在ビデオ画像上の上記表示位置に表示する操作と、
を実行するために用いられることを特徴とする項目８５又は８６に記載の装置。
（項目８８）
上記第２の取得モジュールは、更に、上記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって上記ステッカーハンドルを廃棄するために用いられることを特徴とする項目８５−８７のいずれか一項に記載の装置。
（項目８９）
上記第１の検出モジュールは、ニューラルネットワークによって、上記ビデオ画像に対して上記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられることを特徴とする項目７７−８８のいずれか一項に記載の装置。
（項目９０）
上記キーポイント検出結果は、上記対応関係に関わるキーポイントの上記ビデオの中の画像における位置、上記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする項目８９に記載の装置。
（項目９１）
上記特殊効果プログラムファイルパッケージは、項目１−３１のいずれか一項に記載の方法、又は項目４７−７６のいずれか一項に記載の装置を用いて生成されたものであることを特徴とする項目７７−９０のいずれか一項に記載の装置。
（項目９２）
コンピュータプログラムを記憶するためのメモリと、
上記メモリに記憶されたコンピュータプログラムを実行するために用いられ、上記コンピュータプログラムが実行されると、項目１−４６のいずれか一項に記載の方法を実現するプロセッサと、を含むことを特徴とする電子機器。
（項目９３）
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、上記項目１−４６のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体
【国際調査報告】
2021508883.tif 000018
2021508883.tif 000019
2021508883.tif 000020
2021508883.tif 000021