(57)【要約】本願の実施例は、特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器を開示し、ここで、特殊効果プログラムファイルパッケージの生成方法は、サブ素材をインポートするステップと、前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含む。本願の実施例は、プログラムファイルを手動で書かなくても、レンダリングエンジンにより実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、特殊効果の正確性は効果的に保障される。
2021504827.tif 000002
【特許請求の範囲】
【請求項１】
サブ素材をインポートするステップと、
前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、
前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成方法。
【請求項２】
サブ素材をインポートする前記ステップは、
操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートする前記ステップは、
前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする請求項２に記載の方法。
【請求項４】
対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップは、
前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、
前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップと、を含むことを特徴とする請求項２又は３に記載の方法。
【請求項５】
前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含むことを特徴とする請求項１−４のいずれか一項に記載の方法。
【請求項６】
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする請求項１−５のいずれか一項に記載の方法。
【請求項７】
前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する前記ステップは、
前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップを含むことを特徴とする請求項１−８のいずれか一項に記載の方法。
【請求項１０】
前記サブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、
前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップを含むことを特徴とする請求項３−９のいずれか一項に記載の方法。
【請求項１１】
前記再生パラメータは、
前記サブ素材を表示するか否かを示すための表示パラメータ、
前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含むことを特徴とする請求項１−１０のいずれか一項に記載の方法。
【請求項１２】
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記位置種類パラメータは、
前景を示すためのパラメータ、
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
参照部位に関係する再生位置関係、
背景を示すためのパラメータのいずれか一項を含むことを特徴とする請求項１１又は１２に記載の方法。
【請求項１４】
前記の参照部位に関係する再生位置関係は、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示するステップを更に含むことを特徴とする請求項１−１４のいずれか一項に記載の方法。
【請求項１６】
前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
サブ素材をインポートする前記ステップの後に、
前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を前記コンテンツ表示欄に表示するステップを更に含むことを特徴とする請求項１５−１７のいずれか一項に記載の方法。
【請求項１９】
前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含むことを特徴とする請求項１８又は１９に記載の方法。
【請求項２１】
操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するステップを更に含むことを特徴とする請求項１−２０のいずれか一項に記載の方法。
【請求項２２】
特殊効果プログラムファイルパッケージを生成する前記ステップの前に、
事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記サブ素材の特殊効果プログラムファイルを表示するステップを更に含むことを特徴とする請求項１−２１のいずれか一項に記載の方法。
【請求項２３】
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含むことを特徴とする請求項２２に記載の方法。
【請求項２４】
受け取った起動命令により起動し、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示するステップを更に含むことを特徴とする請求項１−２３のいずれか一項に記載の方法。
【請求項２５】
前記操作画面は、左側、中部及び右側という３つの領域を含み、
操作画面を表示する前記ステップは、
前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示することを含むことを特徴とする請求項２４に記載の方法。
【請求項２６】
特殊効果プログラムファイルパッケージを生成する前記ステップの後に、
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するステップを更に含むことを特徴とする請求項１−２５のいずれか一項に記載の方法。
【請求項２７】
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存する前記ステップは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持されることを特徴とする請求項１−２７のいずれか一項に記載の方法。
【請求項２９】
特殊効果プログラムファイルパッケージをインポートするステップと、
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するステップと、
ビデオ画像に対してキーポイント検出を行うステップと、
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するステップと、を含むことを特徴とする特殊効果生成方法。
【請求項３０】
前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
特殊効果プログラムファイルパッケージをインポートする前記ステップは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を含むことを特徴とする請求項２９又は３０に記載の方法。
【請求項３２】
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする請求項３１に記載の方法。
【請求項３３】
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を含むことを特徴とする請求項３１又は３２に記載の方法。
【請求項３４】
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るステップを更に含むことを特徴とする請求項３３に記載の方法。
【請求項３５】
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する前記ステップは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を含むことを特徴とする請求項３３又は３４に記載の方法。
【請求項３６】
前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するステップを更に含むことを特徴とする請求項３３−３５のいずれか一項に記載の方法。
【請求項３７】
前記ビデオ画像に対してキーポイント検出を行う前記ステップは、
ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するステップを含むことを特徴とする請求項３０−３６のいずれか一項に記載の方法。
【請求項３８】
前記キーポイント検出結果は、
前記ビデオの画像における前記対応関係に関わるキーポイントの位置、
前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする請求項３７に記載の方法。
【請求項３９】
前記特殊効果プログラムファイルパッケージは、請求項１−２８のいずれか一項に記載の方法を用いて生成されたものであることを特徴とする請求項２９−３８のいずれか一項に記載の方法。
【請求項４０】
サブ素材をインポートするための第１のインポートモジュールと、
前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するための第１の取得モジュールと、
前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成装置。
【請求項４１】
操作欄を含む操作画面と、
前記操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするための前記第１のインポートモジュールと、を更に含むことを特徴とする請求項４０に記載の装置。
【請求項４２】
前記第１のインポートモジュールは、
前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、を実行するために用いられることを特徴とする請求項４１に記載の装置。
【請求項４３】
前記第１のインポートモジュールは、
前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップ、
前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップ、を実行するために用いられることを特徴とする請求項４１又は４２に記載の装置。
【請求項４４】
前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含むことを特徴とする請求項４０−４４のいずれか一項に記載の装置。
【請求項４５】
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする請求項４０−４４のいずれか一項に記載の装置。
【請求項４６】
前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項４５に記載の装置。
【請求項４７】
前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項４６に記載の装置。
【請求項４８】
前記第１の取得モジュールは、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する時に、
前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップ、を実行するために用いられることを特徴とする請求項４０−４７のいずれか一項に記載の装置。
【請求項４９】
前記第１の取得モジュールは、前記サブ素材の再生パラメータのパラメータ値を取得する時に、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップ、を実行するために用いられることを特徴とする請求項４２−４９のいずれか一項に記載の装置。
【請求項５０】
前記再生パラメータは、
前記サブ素材を表示するか否かを示すための表示パラメータ、
前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含むことを特徴とする請求項４０−４９のいずれか一項に記載の装置。
【請求項５１】
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする請求項４０に記載の装置。
【請求項５２】
前記位置種類パラメータは、
前景を示すためのパラメータ、
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
参照部位に関係する再生位置関係、
背景を示すためのパラメータのいずれか一項を含むことを特徴とする請求項５０又は５１に記載の装置。
【請求項５３】
前記の参照部位に関係する再生位置関係は、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする請求項５２に記載の装置。
【請求項５４】
前記操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、しかも前記参照画像におけるキーポイントを表示するためのコンテンツ表示欄を更に含むことを特徴とする請求項４０−５３のいずれか一項に記載の装置。
【請求項５５】
前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする請求項５４に記載の装置。
【請求項５６】
前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像のいずれか一項又は複数項を含むことを特徴とする請求項５５に記載の装置。
【請求項５７】
前記コンテンツ表示欄は、更に前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を表示するために用いられることを特徴とする請求項５４−５６のいずれか一項に記載の装置。
【請求項５８】
前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第１の更新モジュールを更に含むことを特徴とする請求項５７に記載の装置。
【請求項５９】
前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第２の更新モジュールを更に含むことを特徴とする請求項５７又は５８に記載の装置。
【請求項６０】
操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するための調整モジュールを更に含むことを特徴とする請求項４０−５９のいずれか一項に記載の装置。
【請求項６１】
前記操作画面は、
事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、且つ前記サブ素材の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含むことを特徴とする請求項４０−６０のいずれか一項に記載の装置。
【請求項６２】
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含むことを特徴とする請求項６１に記載の装置。
【請求項６３】
前記操作画面は、左側、中部及び右側という３つの領域を含み、
前記操作画面の左側は前記操作欄を表示するためのものであり、前記操作画面の中部は前記コンテンツ表示欄を表示するためのものであり、前記操作画面の右側は前記プログラムファイル欄を表示するためのものであることを特徴とする請求項４０−６２のいずれか一項に記載の装置。
【請求項６４】
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含むことを特徴とする請求項４０−６３のいずれか一項に記載の装置。
【請求項６５】
前記保存モジュールは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、
前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を実行するために用いられることを特徴とする請求項６４に記載の装置。
【請求項６６】
前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持されることを特徴とする請求項４０−６５のいずれか一項に記載の装置。
【請求項６７】
特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールと、
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するための第２の取得モジュールと、
ビデオ画像に対してキーポイント検出を行うためのキーポイント検出モジュールと、
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するための第２の生成モジュールと、を含むことを特徴とする特殊効果生成装置。
【請求項６８】
前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする請求項６７に記載の装置。
【請求項６９】
前記第２のインポートモジュールは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を実行するために用いられることを特徴とする請求項６７又は６８に記載の装置。
【請求項７０】
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする請求項６９に記載の装置。
【請求項７１】
前記第２の取得モジュールは、
ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を実行するために用いられることを特徴とする請求項６９又は７０に記載の装置。
【請求項７２】
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るための第３の取得モジュールを更に含むことを特徴とする請求項７１に記載の装置。
【請求項７３】
前記第２の生成モジュールは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を実行するために用いられることを特徴とする請求項７１又は７２に記載の装置。
【請求項７４】
前記第２の取得モジュールは、更に前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するために用いられることを特徴とする請求項７１−７３のいずれか一項に記載の装置。
【請求項７５】
前記キーポイント検出モジュールは、ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられることを特徴とする請求項６８−７４のいずれか一項に記載の装置。
【請求項７６】
前記キーポイント検出結果は、前記ビデオの画像における前記対応関係に関わるキーポイントの位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする請求項７５に記載の装置。
【請求項７７】
前記特殊効果プログラムファイルパッケージは、請求項１−２８のいずれか一項に記載の方法を用いて生成されたものであり、又は請求項４０−６６のいずれか一項に記載の装置で生成されたものであることを特徴とする請求項６７−７６のいずれか一項に記載の装置。
【請求項７８】
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するために用いられるプロセッサと、を含み、前記コンピュータプログラムが実行されると、前記請求項１−３９のいずれか一項に記載の方法を実現することを特徴とする電子機器。
【請求項７９】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、前記請求項１−３９のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１８年１月１９日に中国特許局に提出された、出願番号がＣＮ２０１８１００５５４２９．９であり、発明名称が「特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は、コンピュータビジョン技術に関し、特に、特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器に関する。
【背景技術】
【０００３】
拡張現実技術（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＡＲ）は、現実世界と仮想世界の情報を「シームレスに」統合する新しい技術であり、元々の現実世界にある特定の時間及び空間範囲内の実物情報をシミュレートしてから仮想情報と重畳させ、仮想情報を現実世界に適用し、現実世界の人物、環境及び仮想物体を同一の画面又は空間に同時に存在させるようにリアルタイムに重畳させて、現実を超えた感覚体験を達成する。
【発明の概要】
【課題を解決するための手段】
【０００４】
本願の実施例は、特殊効果を生成する技術的解決手段を提供する。
【０００５】
本願の実施例の一態様によれば、サブ素材をインポートするステップと、前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含む特殊効果プログラムファイルパッケージの生成方法を提供する。
【０００６】
選択可能に、本願の上記各方法の実施例では、サブ素材をインポートする前記ステップは、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含む。
【０００７】
選択可能に、本願の上記各方法の実施例では、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートする前記ステップは、前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位ための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップと、を含む。
【０００８】
選択可能に、本願の上記各方法の実施例では、対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップは、前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップを含む。
【０００９】
選択可能に、本願の上記各方法の実施例では、前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含む。
【００１０】
選択可能に、本願の上記各方法の実施例では、前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含む。
【００１１】
選択可能に、本願の上記各方法の実施例では、前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含む。
【００１２】
選択可能に、本願の上記各方法の実施例では、前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含む。
【００１３】
選択可能に、本願の上記各方法の実施例では、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する前記ステップは、前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップを含む。
【００１４】
選択可能に、本願の上記各方法の実施例では、前記サブ素材の再生パラメータのパラメータ値を取得する前記ステップは、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値し、及び／又は、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップを含む。
【００１５】
選択可能に、本願の上記各方法の実施例では、前記再生パラメータは、前記サブ素材を表示するか否かを示すための表示パラメータ、前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、前記サブ素材のリピート再生回数を示すためのリピートパラメータ、前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータの中のいずれか一項又は複数項を含み、選択可能に、本願の上記各方法の実施例では、前記再生パラメータは、前記サブ素材を表示するか否かを示すための表示パラメータ、前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、前記サブ素材のリピート再生回数を示すためのリピートパラメータ、前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、前記サブ素材と位置の関係種類を示すための位置種類パラメータ、前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含む。
【００１６】
選択可能に、本願の上記各方法の実施例では、前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含む。
【００１７】
選択可能に、本願の上記各方法の実施例では、前記位置種類パラメータは、前景を示すためのパラメータ、前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、参照部位に関係する再生位置関係、背景を示すためのパラメータの中のいずれか一項を含む。
【００１８】
選択可能に、本願の上記各方法の実施例では、前記の参照部位に関係する再生位置関係は、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含む。
【００１９】
選択可能に、本願の上記各方法の実施例では、コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示するステップを更に含む。
【００２０】
選択可能に、本願の上記各方法の実施例では、前記参照画像は、参照人物の少なくとも一部の画像を含む。
【００２１】
選択可能に、本願の上記各方法の実施例では、前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含む。
【００２２】
選択可能に、本願の上記各方法の実施例では、サブ素材をインポートする前記ステップの後に、前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を前記コンテンツ表示欄に表示するステップを更に含む。
【００２３】
選択可能に、本願の上記各方法の実施例では、前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含む。
【００２４】
選択可能に、本願の上記各方法の実施例では、前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含む。
【００２５】
選択可能に、本願の上記各方法の実施例では、操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するステップを更に含む。
【００２６】
選択可能に、本願の上記各方法の実施例では、特殊効果プログラムファイルパッケージを生成する前記ステップの前に、事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記サブ素材の特殊効果プログラムファイルを表示するステップを更に含む。
【００２７】
選択可能に、本願の上記各方法の実施例では、前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含む。
【００２８】
選択可能に、本願の上記各方法の実施例では、受け取った起動命令により起動し、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示するステップを更に含む。
【００２９】
選択可能に、本願の上記各方法の実施例では、前記操作画面は、左側、中部及び右側という３つの領域を含み、操作画面を表示する前記ステップは、前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示するステップを含む。
【００３０】
選択可能に、本願の上記各方法の実施例では、特殊効果プログラムファイルパッケージを生成する前記ステップの後に、受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するステップを更に含む。
【００３１】
選択可能に、本願の上記各方法の実施例では、受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存する前記ステップは、保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、を含む、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶する。
【００３２】
選択可能に、本願の上記各方法の実施例では、前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持される。
【００３３】
本願の実施例のまた１つの態様によれば、特殊効果プログラムファイルパッケージをインポートするステップと、前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するステップと、ビデオ画像に対してキーポイント検出を行うステップと、検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するステップと、を更に含む特殊効果生成方法を提供する。
【００３４】
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
【００３５】
選択可能に、本願の上記各特殊効果生成方法の実施例では、特殊効果プログラムファイルパッケージをインポートする前記ステップは、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を含む。
【００３６】
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含む。
【００３７】
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する前記ステップは、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を含む。
【００３８】
選択可能に、本願の上記各特殊効果生成方法の実施例では、
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るステップを更に含む。
【００３９】
選択可能に、本願の上記各特殊効果生成方法の実施例では、検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する前記ステップは、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を含む。
【００４０】
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するステップを更に含む。
【００４１】
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記ビデオ画像に対してキーポイント検出を行う前記ステップは、ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するステップを含む。
【００４２】
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記キーポイント検出結果は、前記ビデオの画像における前記対応関係に関わるキーポイントの位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含む。
【００４３】
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの実施例に記載の特殊効果プログラムファイルパッケージの生成方法を用いて生成されたものである。
【００４４】
本願の実施例の更にまた１つの態様によれば、サブ素材をインポートするための第１のインポートモジュールと、前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するための第１の取得モジュールと、前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含む特殊効果プログラムファイルパッケージの生成装置を提供する。
【００４５】
選択可能に、本願の上記各装置の実施例では、操作欄を含む操作画面と、前記操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするための前記第１のインポートモジュールと、を更に含む。
【００４６】
選択可能に、本願の上記各装置の実施例では、前記第１のインポートモジュールは、前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、を実行するために用いられる。
【００４７】
選択可能に、本願の上記各装置の実施例では、前記第１のインポートモジュールは、前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップと、を実行するために用いられる。
【００４８】
選択可能に、本願の上記各装置の実施例では、前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含む。
【００４９】
選択可能に、本願の上記各装置の実施例では、前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含む。
【００５０】
選択可能に、本願の上記各装置の実施例では、前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含む。
【００５１】
選択可能に、本願の上記各装置の実施例では、前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含む。
【００５２】
選択可能に、本願の上記各装置の実施例では、前記第１の取得モジュールは、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する時に、前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップ、を実行するために用いられる。
【００５３】
選択可能に、本願の上記各装置の実施例では、前記第１の取得モジュールは、前記サブ素材の再生パラメータのパラメータ値を取得する時に、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするために用いられる。
【００５４】
選択可能に、本願の上記各装置の実施例では、前記再生パラメータは、前記サブ素材を表示するか否かを示すための表示パラメータ、前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、前記サブ素材のリピート再生回数を示すためのリピートパラメータ、前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、前記サブ素材と位置の関係種類を示すための位置種類パラメータ、前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含む。
【００５５】
選択可能に、本願の上記各装置の実施例では、前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含む。
【００５６】
選択可能に、本願の上記各装置の実施例では、前記位置種類パラメータは、前景を示すためのパラメータ、前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、参照部位に関係する再生位置関係、背景を示すためのパラメータの中のいずれか一項を含む。
【００５７】
選択可能に、本願の上記各装置の実施例では、前記の参照部位に関係する再生位置関係は、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含む。
【００５８】
選択可能に、本願の上記各装置の実施例では、前記操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、しかも前記参照画像におけるキーポイントを表示するためのコンテンツ表示欄を更に含む。
【００５９】
選択可能に、本願の上記各装置の実施例では、前記参照画像は、参照人物の少なくとも一部の画像を含む。
【００６０】
選択可能に、本願の上記各装置の実施例では、前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含む。
【００６１】
選択可能に、本願の上記各装置の実施例では、前記コンテンツ表示欄は、更に前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を表示するために用いられる。
【００６２】
選択可能に、本願の上記各装置の実施例では、前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第１の更新モジュールを更に含む。
【００６３】
選択可能に、本願の上記各装置の実施例では、前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第２の更新モジュールを更に含む。
【００６４】
選択可能に、本願の上記各装置の実施例では、操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するための調整モジュールを更に含む。
【００６５】
選択可能に、本願の上記各装置の実施例では、前記操作画面は、事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、且つ前記サブ素材の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含む。
【００６６】
選択可能に、本願の上記各装置の実施例では、前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含む。
【００６７】
選択可能に、本願の上記各装置の実施例では、前記操作画面は、左側、中部及び右側という３つの領域を含み、前記操作画面の左側は前記操作欄を表示するためのものであり、前記操作画面の中部は前記コンテンツ表示欄を表示するためのものであり、前記操作画面の右側は前記プログラムファイル欄を表示するためのものである。
【００６８】
選択可能に、本願の上記各装置の実施例では、受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含む。
【００６９】
選択可能に、本願の上記各装置の実施例では、前記保存モジュールは、保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を実行するために用いられる。
【００７０】
選択可能に、本願の上記各装置の実施例では、前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持される。
【００７１】
本願の実施例の更にまた１つの態様によれば、特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールと、前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するための第２の取得モジュールと、ビデオ画像に対してキーポイント検出を行うためのキーポイント検出モジュールと、検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するための第２の生成モジュールと、を含む特殊効果生成装置を提供する。
【００７２】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
【００７３】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記第２のインポートモジュールは、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を実行するために用いられる。
【００７４】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含む。
【００７５】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記第２の取得モジュールは、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を実行するために用いられる。
【００７６】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、前記サブ素材の前記ビデオで表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るための第３の取得モジュールを更に含む。
【００７７】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記第２の生成モジュールは、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を実行するために用いられる。
【００７８】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記第２の取得モジュールは、更に前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するために用いられる。
【００７９】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記キーポイント検出モジュールは、ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられる。
【００８０】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記キーポイント検出結果は、前記ビデオの画像における前記対応関係に関わるキーポイントの位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含む。
【００８１】
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの実施例に記載の特殊効果プログラムファイルパッケージの生成方法又は装置を用いて生成したものである。本願の実施例の別の態様によれば、コンピュータプログラムを記憶するためのメモリと、前記メモリに記憶されたコンピュータプログラムを実行するために用いられ、前記コンピュータプログラムが実行されると、本願の上記のいずれか１つの実施例に記載の方法を実現するプロセッサと、を含む電子機器を提供する。
【００８２】
本願の実施例に係る別の態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、本願の上記のいずれか１つの実施例に記載の方法を実現するコンピュータ可読記憶媒体を提供する。
【００８３】
本願の実施例の別の態様によれば、コンピュータコマンドを含むコンピュータプログラムであって、前記コンピュータコマンドが機器のプロセッサで動作すると、本願の上記のいずれか１つの実施例に記載の方法を実現するコンピュータプログラムを提供する。
【００８４】
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージを生成する時に、サブ素材をインポートし、該サブ素材の再生パラメータのパラメータ値を取得し、該サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立し、サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成することになり、それによって、該特殊効果プログラムファイルパッケージに基づいてビデオに対して特殊効果処理を行い、本願の実施例は、プログラムファイルを手動で書かなくても、レンダリングエンジンにより実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、プログラムファイルの手動記述によるエラーは回避され、特殊効果の正確性は効果的に保障される。
【００８５】
本願の上記実施例で提供された特殊効果生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージを読み込み、該特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、現在再生しているビデオ上でサブ素材の特殊効果を生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値によって、ビデオ画像に対してキーポイント検出を行い、ビデオ画像上で特殊効果を生成して、ビデオの特殊効果の再生を図って、ビデオ再生効果を高める。
【００８６】
以下は、図面及び実施例によって本願の技術的解決手段について更に詳細に説明する。
【図面の簡単な説明】
【００８７】
【図１】本願の特殊効果プログラムファイルパッケージの生成方法の一実施例のフローチャートである。
【図２】本願の実施例における特殊効果プログラムファイルパッケージの生成装置の操作画面を例示的に示す図である。
【図３】本願の実施例における参照部位が手である時のサブ素材の再生パラメータ設定画面を例示的に示す一模式図である。
【図４】本願の実施例における顔部キーポイントを例示的に示す一模式図である。
【図５】本願の実施例における手部動作を例示的に示す一模式図である。
【図６】本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例のフローチャートである。
【図７】本願の特殊効果生成方法の一実施例のフローチャートである。
【図８】本願の特殊効果生成方法の別の実施例のフローチャートである。
【図９】本願の特殊効果プログラムファイルパッケージの生成装置の一実施例の構造模式図である。
【図１０】本願の特殊効果プログラムファイルパッケージの生成装置の別の実施例の構造模式図である。
【図１１】本願の特殊効果生成装置の一実施例の構造模式図である。
【図１２】本願の特殊効果生成装置の別の実施例の構造模式図である。
【図１３】本願の電子機器の一適用実施例の構造模式図である。
【発明を実施するための形態】
【００８８】
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
【００８９】
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
【００９０】
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。
【００９１】
更に、本願の実施例では、「複数の」は２つ又は２つ以上を指してよく、「少なくとも１つの」は１つ、２つ又は２つ以上を指してよいことを理解すべきである。
【００９２】
本願の実施例における「第１の」、「第２の」等の用語は、異なるステップ、機器又はモジュール等を区別するためのものに過ぎず、何の特定の技術的意味を表したり、それらの必然的な論理的順序を表したりすることもないことが当業者に理解可能である。
【００９３】
更に、本願の実施例で言及された任意の部材、データ又は構造は、明確に限定され又は明細書の前後で反対的に示唆された場合でなければ、一般的には１つ又は複数と理解してよいことを理解すべきである。
【００９４】
更に、本願ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで一つずつに繰り返して説明しないことを理解すべきである。
【００９５】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００９６】
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。
【００９７】
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
【００９８】
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００９９】
また、本願の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本願の符号の「／」は、一般的には前後の関連対象が「又は」という関係であることを示す。
【０１００】
本願の実施例は端末装置、コンピュータシステム、サーバ等の電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム、サーバ等の電子機器との併用に適する公知の端末装置、計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【０１０１】
端末機器、コンピュータシステム、サーバ等の電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
【０１０２】
図１は本願の特殊効果プログラムファイルパッケージの生成方法の一実施例のフローチャートである。本願の各実施例の特殊効果プログラムファイルパッケージの生成方法は、例えば１つの装置（本願の実施例では特殊効果プログラムファイルパッケージの生成装置と称する）によって実現可能であるが、それに限定されない。図１に示すように、該実施例の特殊効果プログラムファイルパッケージの生成方法は、以下の操作を含む。
【０１０３】
１０２において、サブ素材をインポートする。
【０１０４】
本願の各実施例の一実施形態では、サブ素材は、例えば、画像、動画、ビデオ、音声等の中のいずれか一項又は複数項を含んでよいが、それらに限定されない。
【０１０５】
選択可能な一例では、該操作１０２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１のインポートモジュールにより実行されてもよい。
【０１０６】
１０４において、上記サブ素材の再生パラメータのパラメータ値を取得し、且つ上記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する。
【０１０７】
選択可能な一例では、該操作１０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１の取得モジュールにより実行されてもよい。
【０１０８】
１０６において、上記サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する。
【０１０９】
本願の実施例では、特殊効果プログラムファイルパッケージは、ビデオの特殊効果処理に用いられ、ビデオ上でサブ素材の特殊効果を生成することができ、例えば、ビデオに対してＡＲ効果のレンダリング処理を行う。
【０１１０】
選択可能な一例では、該操作１０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１の生成モジュールにより実行されてもよい。
【０１１１】
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成方法によれば、特殊効果プログラムファイルパッケージを生成する時に、サブ素材をインポートし、該サブ素材の再生パラメータのパラメータ値を取得し、該サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立し、サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成し、それによって、該特殊効果プログラムファイルパッケージに基づいて、ビデオに対して特殊効果処理を行い、本願の実施例は、プログラムファイルを手動で書かなくても、レンダリングエンジンにより実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、プログラムファイルの手動記述によるエラーは回避され、特殊効果の正確性は効果的に保障される。
【０１１２】
本願の各実施例の一実施形態では、特殊効果プログラムファイルパッケージの生成装置には、予め設定された特殊効果プログラムファイルを含んでもよく、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）言語に基づく軽量のデータ交換フォーマット（ＪａｖａＳｃｒｉｐｔ（登録商標）  Ｏｂｊｅｃｔ  Ｎｏｔｉａｔｉｏｎ、ｊｓｏｎ）ファイル、又は他の任意の実行可能なプログラムファイルであってもよい。該特殊効果プログラムファイル中の再生パラメータのパラメータ値は空にするか、又はデフォルト値にプリセットすることができ、サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られた時に、該特殊効果プログラムファイル中の対応するパラメータ値は、受け取られたパラメータ値に自動的に更新される。選択可能に、上記特殊効果プログラムファイルパッケージの生成装置は、操作欄を含むことができ、操作欄に少なくとも１つの対話インターフェイスが設定されており、サブ素材の再生パラメータに対して設定されたパラメータ値を受け取るために用いられ、なお、該特殊効果プログラムファイルパッケージの生成装置は、プログラムファイル表示欄を更に含むことができ、サブ素材の再生パラメータのプログラムファイルを表示するために用いられ、図２は、本願の実施例における特殊効果プログラムファイルパッケージの生成装置の操作画面を例示的に示す図であり、該特殊効果プログラムファイルパッケージの生成装置の操作画面は、操作欄及びプログラムファイル表示欄を含む。該特殊効果プログラムファイルパッケージの生成装置が起動された後、操作欄中の１つのサブ素材の再生パラメータ設定画面に対応するように、該サブ素材の再生パラメータが空であるか、又はデフォルト値にプリセットされた時の特殊効果プログラムファイルがプログラムファイル表示欄に表示され、１つのサブ素材の再生パラメータに対して設定されたパラメータ値が操作欄の対話インターフェイスによって受け取られた時に、該サブ素材の再生パラメータに対して設定されたパラメータ値は、直近に受け取られたパラメータ値に更新され、プログラムファイル表示欄はパラメータ値が更新された後の特殊効果プログラムファイルをリアルタイムに表示する。図２においてプログラムファイル表示欄に表示されたプログラムファイルは、特殊効果プログラムファイルパッケージの生成装置の示す操作画面に対して例示的に説明するためのものに過ぎず、本願の実施例は、そのプログラムファイルの表現形式及び具体的な内容に関心せず、制限する必要もなく、該プログラムファイルの表現形式及び具体的な内容は、必要に応じて設定、更新されても良いことである。
【０１１３】
本願の各特殊効果プログラムファイルパッケージの生成方法の実施例の一実施形態では、操作１０２は、操作欄の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることを含んでもよい。
【０１１４】
図２に示すように、限定するものではない本願の各実施例の選択可能な一例として、操作欄が、少なくとも１つの対話インターフェイスを含む特殊効果パラメータ設定画面を含むことができ、更に、参照部位表示領域のような他の領域を含むことができ、この場合、特殊効果パラメータ設定画面が、各参照部位のための特殊効果パラメータ設定画面であり得る。本願の各実施例における参照部位は、例えば、耳（ｅａｒ）、手（ｈａｎｄ）、顔（ｆａｃｅ）、髪（ｈａｉｒ）、頸部、肢体の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。図３は本願の実施例で参照部位が手である場合のサブ素材の再生パラメータ設定画面の例示的な模式図を示す。本願の上記実施形態の選択可能な一例では、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることは、操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることを含んでもよい。
【０１１５】
又は、本願の上記実施形態の別の選択可能な例では、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることは、操作欄の対話インターフェイスによって送られた選択命令を受け取り、該選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、目標部位のための特殊効果パラメータ設定画面を操作欄に表示することと、特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることと、を含んでもよい。
【０１１６】
本願の上記実施形態の更に別の選択可能な例では、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることは、
対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダーを取得、表示することと、
素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、該サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートすることと、を含んでもよい。
【０１１７】
各素材フォルダーには複数のサブ素材を含んでもよく、例えば、目標部位が耳である時に、素材フォルダーには形状、色が異なるイヤリング、耳覆い等のサブ素材を含んでもよく、本願の各実施例の一実施形態では、サブ素材をインポートする時、ユーザによる素材フォルダー中のサブ素材の選択操作が受け取られていない時に、事前設定により、該インポート命令に示される素材フォルダー中の事前設定位置又は事前設定番号のサブ素材をインポートすることができる。例えば、ユーザがサブ素材を選択していない時に、デフォルトで、該素材フォルダー中の１番目のサブ素材を選択、インポートする。
【０１１８】
本願の各実施例の一実施形態では、操作１０４において、サブ素材の再生パラメータのパラメータ値を取得することは、
特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、設定されたパラメータ値をサブ素材の再生パラメータのパラメータ値とし、及び／又は、
特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値をサブ素材の再生パラメータのパラメータ値とすることを含んでもよい。
【０１１９】
本願の実施例は、プログラムファイルを手動で書くことなくレンダリングエンジンにより実行可能なファイルを生成し、ユーザによる操作欄でのサブ素材の選択操作及びパラメータ値の設定操作に基づいて特殊効果プログラムパッケージの生成を実現可能であり、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、プログラムファイルの手動記述によるエラーは回避され、特殊効果の正確性は効果的に保障される。
【０１２０】
本願の各実施例の一実施形態では、キーポイントは、例えば、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１２１】
そのうちの選択可能な一例では、頭部キーポイントは、例えば、頭頂部キーポイント、鼻先キーポイント及びあごキーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１２２】
そのうちの選択可能な一例では、顔部キーポイントは、例えば、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１２３】
一例としては、目キーポイントは、例えば、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。眉毛キーポイントは、例えば、左眉毛キーポイント及び右眉毛キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。鼻キーポイントは、例えば、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。口部キーポイントは、例えば、上口唇キーポイント、及び下口唇キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１２４】
そのうちの選択可能な一例では、肩部キーポイントは、例えば、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１２５】
そのうちの選択可能な一例では、腕キーポイントは、例えば、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１２６】
そのうちの選択可能な一例では、ジェスチャキーポイントは、例えば、ジェスチャボックス（即ち、ジェスチャ検出ボックス）の４つの頂点キーポイント、及びジェスチャボックスの中心キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１２７】
そのうちの選択可能な一例では、腿部キーポイントは、例えば、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１２８】
そのうちの選択可能な一例では、腰部キーポイントは、例えば、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含んでもよいが、それらに限定されなく、ただし、Ｎが１より大きい整数である。
【０１２９】
そのうちの選択可能な一例では、足部キーポイントは、例えば、つま先キーポイント及び踵キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１３０】
そのうちの選択可能な一例では、人体骨格キーポイントは、例えば、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１３１】
本願の各実施例では、サブ素材の表示位置とキーポイントの位置を対応関係にするように、複数のキーポイントの位置を予め設定してもよい。サブ素材の再生パラメータのパラメータ値を設定する時に、予め設定されたキーポイント集合からキーポイントを直接選択して対応の再生パラメータ中のパラメータ値とすることができる。
【０１３２】
例えば、そのうちの一実施形態では、顔検出及びジェスチャ検出に基づいてそれぞれ顔部及びジェスチャ（手部）に対して複数のキーポイントを定義して、特殊効果生成における顔キーポイント又はジェスチャキーポイントに基づく位置関係の対応を実現することができる。
【０１３３】
例えば、図４は本願の実施例における顔部キーポイントを例示的に示す一模式図であり、図４によれば、選択可能な一例では、顔部キーポイントを以下のように定義してもよい。
【０１３４】
【表１】
2021504827.tif 000003
【０１３５】
選択可能な一例では、手部キーポイントを以下のように定義してもよい。
【０１３６】
【表２】
2021504827.tif 000004
【０１３７】
ただし、番号１１０−１１３のキーポイントはそれぞれジェスチャ検出ボックス（即ち、手部の外縁枠）の４つの頂点であり、番号１１４のキーポイントはジェスチャ検出ボックスの中心である。
【０１３８】
本願の各実施例の一実施形態では、操作１０４において、サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立することは、
サブ素材の表示位置と少なくとも１つのキーポイントとの間の対応関係を確立すること、及び／又は、サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立することを含んでもよい。
【０１３９】
例えば、本願の上記実施例で確立される対応関係においてキーポイントが頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントである時に、サブ素材の表示位置と上記キーポイントの中の少なくとも１つのものとの間の対応関係を確立することができ、本願の上記実施例で確立される対応関係においてキーポイントが頭部キーポイント、顔部キーポイント、ジェスチャキーポイント、人体骨格キーポイントである時に、サブ素材の表示位置と対応する検出ボックス（例えば、頭部検出ボックス、顔検出ボックス、ジェスチャ検出ボックス、人体検出ボックス）の中心キーポイントとの間の対応関係を確立する。
【０１４０】
本願の各実施例の一実施形態では、サブ素材の再生パラメータは、例えば、以下のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０１４１】
１、表示パラメータ（Ｄｉｓｐｌａｙ）：サブ素材を表示するか否かを示すためのものである。そのパラメータ値は「はい（Ｙｅｓ）」及び「いいえ（Ｎｏ）」という２つのオプションを含み、パラメータ値として「はい（Ｙｅｓ）」が選択された時に、ビデオ再生中に、対応するサブ素材を表示する必要があることを意味し、パラメータ値として「いいえ（Ｎｏ）」が選択された時に、ビデオ再生に、対応するサブ素材を表示する必要がないことを意味する。
【０１４２】
２、トリガ動作パラメータ（ＴｒｉｇｇｅｒＴｙｐｅ）：サブ素材の表示をトリガするトリガ動作を示すためのものであり、サブ素材の表示をどの動作でトリガするかを意味し、そのパラメータ値は各トリガ動作を含んでもよく、トリガ動作として、ユーザは予め設定された動作集合から少なくとも１つの動作を選択することができる。即ち、ビデオ再生中に、対応するトリガ動作が検出されると、対応するサブ素材の表示をトリガすることができ、例えば、ビデオから、該トリガ動作パラメータで規定された「口を開く」トリガ動作が検出されると、虹を吐き出すという動画サブ素材を再生し始め、該サブ素材の表示開始時間、表示終了時間、表示時間等は、他のパラメータのパラメータ値により決定してもよく、例えば、それぞれ遅延トリガパラメータ、終了トリガパラメータ、リピートパラメータのパラメータ値により決定してもよい。
【０１４３】
３、リピートパラメータ（ＴｒｉｇｇｅｒＬｏｏｐ）：サブ素材のリピート再生回数を示すためのものであり、そのパラメータ値としてリピート再生回数の数値を設定又は選択することができ、例えば、１、５等にしてもよく、パラメータ値が０に設定された場合に無限にリピート再生するようにしてもよい。
【０１４４】
４、遅延トリガパラメータ（ＴｒｉｇｇｅｒＤｅｌａｙ）：サブ素材を遅延表示する時間を示すためのものであり、即ち、ビデオのうちのあるフレームからトリガ動作パラメータ中のトリガ動作が検出されると、どのぐらいのフレーム数を遅延させて該サブ素材を表示し始めるかを指し、そのパラメータ値としてサブ素材を遅延表示する時間を設定又は選択することができる。
【０１４５】
５、終了トリガパラメータ（ＴｒｉｇｇｅｒＳｔｏｐ）：サブ素材の表示を終了する動作を示すためのものであり、サブ素材の表示をどの動作で終了するかを意味し、そのパラメータ値は各トリガ動作を含み、サブ素材の表示を終了する動作として、ユーザは事前設定動作集合から少なくとも１つの動作を選択することができる。即ち、ビデオ再生中に、該終了トリガパラメータで規定されたトリガ動作が検出されると、対応するサブ素材の表示／再生を終了することができ、例えば、ビデオからトリガ動作パラメータで規定された「口を開く」トリガ動作が検出されると、虹を吐き出すという動画サブ素材を再生し始め、終了トリガパラメータ中のパラメータ値を「口を閉じる」に設定することができ、そのようにビデオからこの「口を閉じる」動作が検出されると、虹が消える。
【０１４６】
６、表示サイズパラメータ（Ｓｃａｌｅ）：サブ素材の表示サイズ変化の参照基準を示すためのものであり、近いところが大きく表示して遠いところで小さく表示するというサブ素材の表示効果を実現するために用いられる。該表示サイズパラメータのパラメータ値（即ち、サブ素材の表示サイズ変化の参照基準）は、事前設定キーポイントのうちの２つ又は２つ以上のキーポイント（ＰｏｉｎｔＡ及びＰｏｉｎｔＢで示してもよい）であってもよく、この場合、サブ素材の表示サイズは、ビデオにおける参照基準としての２つ又は２つ以上のキーポイントにより形成されたサイズの比率変化によって変化し、例えば、サブ素材が眼鏡であり、選択された表示サイズパラメータのパラメータ値が左目瞳孔中心を表すキーポイント及び右目瞳孔中心を表すキーポイントである時に、ビデオ再生に、該サブ素材の表示サイズはこれらの２つのキーポイントの間の連結線の長さ比率変化によって変化する。この表示サイズパラメータのパラメータ値を変更していない場合に、そのデフォルトのパラメータ値は、サブ素材に対応する参照部位における２つのキーポイントであってもよい。
【０１４７】
７、位置種類パラメータ（ＰｏｓｉｔｉｏｎＴｙｐｅ）：サブ素材と位置の関係種類を示すためのものである。
【０１４８】
８、位置関連付けパラメータ（ＰｏｓｉｔｉｏｎＲｅｌａｔｉｏｎＴｙｐｅ）：サブ素材が事前設定参照部位に従って移動するか否かを示すためのものであり、サブ素材が参照部位の位置に従って移動するか否かを意味し、「はい（Ｙｅｓ、Ｍｏｖｅ  Ｗｉｔｈ  Ｐｏｓｉｔｉｏｎ）」及び「いいえ（Ｎｏ）」という２つのオプションを含んでもよく、パラメータ値として「はい（Ｙｅｓ）」を選択した時にサブ素材が参照部位の位置に従って移動し、位置種類パラメータのパラメータ値が前景である時に、パラメータ値として「いいえ（Ｎｏ）」を選択し、サブ素材が参照部位の位置に従って移動しないことを意味する。
【０１４９】
９、位置パラメータ（Ｐｏｓｉｔｉｏｎ）：サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すためのものであり、ビデオ再生中のサブ素材と事前設定キーポイントの位置関係を指し、サブ素材を事前設定キーポイントのうちのどのキーポイントの位置と結び付けるかを選択することができる。
【０１５０】
１０、回転パラメータ（ＲｏｔａｔｅＣｅｎｔｅｒ）：サブ素材の回転基準としてのキーポイントを示すためのものであり、該サブ素材はビデオ再生中にどのキーポイントに従って回転するかを選択することができる。
【０１５１】
そのうちの選択可能な一例では、上記トリガ動作パラメータに対応するトリガ動作は、以下のいずれか一項又は複数項を含む。
【０１５２】
無動作トリガ（ＮＵＬＬ）：即ち、動作なしで該サブ素材を表示することができる。
【０１５３】
目部動作：例えば、まばたきする、目を閉じる、目を開く等。
【０１５４】
頭部動作：例えば、頭を横に振る、軽く頭を下げる、頭を傾ける、振り返る等。
【０１５５】
眉部動作：例えば、眉を吊り上げる等。
【０１５６】
手部動作：例えば、手でハートの形を作る、手で支える、手の平、親指、拱手でお祝いをする、片手でハートの形を作る、手でＯＫの形を作る、手ではさみの形を作る、手で拳銃の形を作る、人差し指等。
【０１５７】
口部動作：例えば、口を開く、口を閉じる等。
【０１５８】
肩部動作：例えば、肩をすぼめる等。
【０１５９】
その他の動作。
【０１６０】
図５は本願の実施例における手部動作を例示的に示す一模式図である。
【０１６１】
そのうちの選択可能な一例では、上記位置種類パラメータは、例えば、以下のいずれか一項を含む。
【０１６２】
前景（Ｆｏｒｅｇｒｏｕｎｄ）を示すためのパラメータ：この時に対応するサブ素材がビデオ再生中に前景として表示されることを意味し、該サブ素材は再生中に再生端末の表示器のスクリーンの位置に関連付けられ、その中心点の表示器のスクリーンでの位置が変わることない。
【０１６３】
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ：対応のサブ素材に対応する参照部位が顔部であり、この時に該サブ素材がビデオ再生中に顔部位置に従って位置決め及び／又は移動することを意味する。
【０１６４】
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ：対応のサブ素材に対応する参照部位がジェスチャ（即ち、手）であり、この時に該サブ素材がビデオ再生中に手の位置に従って位置決め及び／又は移動することを意味する。
【０１６５】
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に頭部の位置に従って位置決め及び／又は移動することを意味する。
【０１６６】
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に肩部の位置に従って移動しることを意味する。
【０１６７】
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に腕の位置に従って位置決め及び／又は移動することを意味する。
【０１６８】
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に腰部の位置に従って位置決め及び／又は移動することを意味する。
【０１６９】
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に腿部の位置に従って位置決め及び／又は移動することを意味する。
【０１７０】
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に足部の位置に従って位置決め及び／又は移動することを意味する。
【０１７１】
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に人体骨格の位置に従って位置決め及び／又は移動することを意味する。
【０１７２】
例えば、サブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、サブ素材が参照部位のサイズに従って縮小拡大される（Ｓｉｚｅ）こと、サブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、サブ素材が参照部位のサイズに従って縮小拡大され（Ｓｉｚｅ）、サブ素材が参照部位の回転に従って奥行き縮小拡大を行われる（Ｄｅｐｔｈ）こと、サブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、サブ素材が参照部位のサイズに従って縮小拡大され（Ｓｉｚｅ）、サブ素材が参照部位の回転に従って奥行き縮小拡大を行われ（Ｄｅｐｔｈ）、サブ素材が参照部位の平面回転に従って回転する（Ｒｏｔａｔｉｏｎ）ことのいずれか一項又は複数項の位置関係を含んでもよい参照部位に関係する再生位置関係。
【０１７３】
背景（Ｂａｃｋｇｒｏｕｎｄ）を示すためのパラメータ：対応のサブ素材はビデオ再生中に背景として表示され、該サブ素材はビデオ再生中に再生端末の表示器のスクリーンの位置に関連付けられ、該サブ素材のサイズは、該サブ素材の４つの頂点座標が表示器のスクリーンの４つの頂点と一致するように調整されることを意味する。
【０１７４】
なお、更に図２を参照し、本願の実施例の特殊効果プログラムファイルパッケージの生成装置はコンテンツ表示欄を更に含んでもよい。それに対応するように、本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例では、コンテンツ表示欄によって参照画像を表示し、前記参照画像上のキーポイントを表示することを更に含んでもよい。ここで、該参照画像は少なくとも１つの参照部位を含む。該参照部位は、例えば、耳、手、顔、髪、頸部、肩等の中のいずれか一項又は複数項を含んでもよい。
【０１７５】
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像、例えば、参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像等の中のいずれか一項又は複数項であってもよい。
【０１７６】
なお、本願の特殊効果プログラムファイルパッケージの生成方法のまた１つの実施例では、操作１０２によってサブ素材をインポートした後に、更に、コンテンツ表示欄によって参照画像を表示することを更に含んでもよく、インポートされたサブ素材の再生パラメータのパラメータ値に基づいて、コンテンツ表示欄にインポートされたサブ素材を表示することを含んでもよい。例えば、事前に設定された該サブ素材の表示位置及び表示サイズにより、コンテンツ表示欄に該インポートされたサブ素材を表示してもよい。
【０１７７】
コンテンツ表示欄にインポートされたサブ素材を表示した後、ユーザはこの表示されたサブ素材のコンテンツ表示欄での表示位置を変更したり、その表示サイズを調整することができる。それによって、更なる選択可能な実施例では、コンテンツ表示欄で受け取ったサブ素材に対する位置移動操作により、該サブ素材のコンテンツ表示欄での表示位置を更新し、且つサブ素材の再生パラメータ中の対応パラメータ値を更新することを更に含んでもよい。及び／又は、コンテンツ表示欄で受け取ったサブ素材に対するサイズ調整操作により、該サブ素材のコンテンツ表示欄での表示サイズを更新し、且つサブ素材の再生パラメータ中の対応パラメータ値を更新することを更に含んでもよい。例えば、ユーザは、マウスによってコンテンツ表示欄に表示されている１つのサブ素材を選定し、マウスを該サブ素材の右下の小枠に移動し、該小枠を移動することでサブ素材を縮小拡大して、該サブ素材の表示サイズを調整することができ、また、ユーザは、マウスによってコンテンツ表示欄に表示されている１つのサブ素材を選定し且つその位置を直接移動し、サブ素材を正確な位置又は希望する位置に移動することができる。後続のサブ素材の特殊効果プログラムファイルパッケージの再生において、該サブ素材の再生端末での位置、表示比率は該コンテンツ表示欄での位置、表示比率と一致する。本願の上記のいずれか１つの実施例によれば、ユーザは複数の参照部位に特殊効果を加えることができ、例えば、それぞれ耳、顔、手を現在の特殊効果を加えようとする目標部位として、上記のいずれか１つの実施例を実行して、耳、顔、手部位へのサブ素材の特殊効果の添加を実現することができる。
【０１７８】
ユーザが２つ又は２つ以上のサブ素材をインポートする時に、各サブ素材の表示レイヤー（即ち、遮蔽関係）を調整することができる。それによって、本願の特殊効果プログラムファイルパッケージの生成方法のまた１つの実施例では、操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、これらの２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び上記再生パラメータのパラメータ値に基づいて、コンテンツ表示欄にこれらの２つ又は２つ以上のサブ素材を表示することを更に含んでもよい。
【０１７９】
本願の特殊効果プログラムファイルパッケージの生成方法の更に別の実施例では、受け取った起動命令により、特殊効果プログラムファイルパッケージの生成装置を起動し、操作欄、コンテンツ表示欄及びプログラムファイル欄を含む操作画面を表示することを更に含む。
【０１８０】
図２に示すように、そのうちの選択可能な一例では、上記操作画面は左側、中部及び右側という３つの領域を含む。それに対応するように、上記の操作画面を表示することは、操作画面の左側に操作欄を表示し、操作画面の中部にコンテンツ表示欄を表示し、操作画面の右側に前記プログラムファイル欄を表示することを含んでもよい。
【０１８１】
ここで、左側操作欄にある対話インターフェイス２０によってサブ素材をインポートすることができ、対話インターフェイス２１によってサブ素材のレイヤーの間の遮蔽関係を調整し、各サブ素材のレイヤーパラメータを設定することができ、対話インターフェイス２３によって各サブ素材の再生パラメータに対してパラメータ値を設定することができ、コンテンツ表示欄は、平均顔を基準顔とし、インポートされたサブ素材が全て直接表示され、マウスによって表示されているサブ素材の位置を移動することができ、右側のプログラムファイル表示欄は、その中の表示領域２４によって現在パラメータ値を設定されているサブ素材の再生プログラムファイルのコンテンツを表示するために用いられ、プログラムファイル表示欄にある保存命令インターフェイス２５によって特殊効果プログラムファイルパッケージをエクスポートすることができ、即ち、該特殊効果プログラムファイルパッケージを生成、保存することができる。
【０１８２】
図６は本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例のフローチャートである。図６に示すように、該実施例の特殊効果プログラムファイルパッケージの生成方法は、以下の操作を含む。
【０１８３】
３０２において、受け取った起動命令により、特殊効果プログラムファイルパッケージの生成装置を起動し、操作画面を表示する。
【０１８４】
該操作画面は、操作欄、コンテンツ表示欄及びプログラムファイル欄を含む。
【０１８５】
３０４において、コンテンツ表示欄によって参照画像を表示し、該参照画像におけるキーポイントを表示する。
【０１８６】
ここで、該参照画像は少なくとも１つの参照部位を含む。
【０１８７】
選択可能な一例では、該操作３０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する操作画面にあるコンテンツ表示欄により実行されてもよい。
【０１８８】
３０６において、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートする。
【０１８９】
選択可能な一例では、該操作３０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１のインポートモジュールにより実行されてもよい。
【０１９０】
３０８において、上記サブ素材の再生パラメータのパラメータ値を取得し、且つ上記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する。
【０１９１】
選択可能な一例では、該操作３０８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１の取得モジュールにより実行されてもよい。
【０１９２】
３１０において、事前に設定された特殊効果プログラムファイル及び取得されたサブ素材の再生パラメータのパラメータ値に基づいて、該サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって該サブ素材の特殊効果プログラムファイルを表示する。
【０１９３】
選択可能な一例では、該操作３１０は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する操作画面にあるプログラムファイル欄により実行されてもよい。
【０１９４】
３１２において、上記サブ素材、対応関係及び特殊効果プログラムファイルに基づいて、特殊効果プログラムファイルパッケージを生成する。
【０１９５】
選択可能な一例では、該操作３１２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１の生成モジュールにより実行されてもよい。
【０１９６】
なお、本願の上記のいずれか１つの実施例に基づいて特殊効果プログラムファイルパッケージを生成した後に、受け取った保存命令により、該保存命令に示される位置に該特殊効果プログラムファイルパッケージを保存することを更に含んでもよい。
【０１９７】
そのうちの一実施形態では、受け取った保存命令により、該保存命令に示される位置に該特殊効果プログラムファイルパッケージを保存することは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示することと、
上記保存パス選択インターフェイスから送られた保存位置を受け取ることと、上記の圧縮インターフェイスから送られた圧縮方式を受け取り、該圧縮方式によりサブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成することと、
上記圧縮ファイルパッケージを上記保存位置に示されるフォルダーに記憶することと、を含んでもよい。
【０１９８】
特殊効果プログラムファイルパッケージが大きい時に、携帯型端末の動作に向いていなく、携帯型端末にインポートして特殊効果を生成するために、本願の実施例は特殊効果プログラムファイルパッケージを圧縮した後保存することができる。本願の実施例は、特殊効果プログラムファイルパッケージ中のサブ素材の大きさを変更せず、特殊効果プログラムファイルパッケージの大きさのみを圧縮し、即ち、特殊効果プログラムファイルパッケージ中のサブ素材の大きさは該サブ素材のインポートされる前の大きさに保持される。
【０１９９】
本願の上記各実施例に基づいて特殊効果プログラムファイルパッケージを生成した後、該特殊効果プログラムファイルパッケージを端末にインポートし、該端末で再生するビデオに対して特殊効果を生成することができる。
【０２００】
図７は本願の特殊効果生成方法の一実施例のフローチャートである。図７に示すように、該実施例の特殊効果生成方法は、以下の操作を含む。
【０２０１】
４０２において、特殊効果プログラムファイルパッケージをインポートする。
【０２０２】
ここで、該特殊効果プログラムファイルパッケージはサブ素材及びサブ素材の再生パラメータのパラメータ値を含んでもよく、該サブ素材の再生パラメータのパラメータ値はサブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
【０２０３】
そのうちの一実施形態では、サブ素材の再生パラメータの種類については本願の上記各実施例の記載を参照してもよく、ここで詳細な説明を省略する。
【０２０４】
そのうちの一実施形態では、該操作４０２は、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、該特殊効果プログラムファイルパッケージをメモリに読み込むことと、該特殊効果プログラムファイルパッケージを解析し、サブ素材、及びサブ素材の再生パラメータのパラメータ値を含む特殊効果プログラムファイルを取得することと、を含んでもよい。
【０２０５】
そのうちの選択可能な一例では、上記特殊効果プログラムファイルは、ｊｓｏｎプログラム又は他の実行可能なプログラムの特殊効果プログラムファイルを含んでもよい。
【０２０６】
そのうちの一実施形態では、本願の各特殊効果生成方法の実施例における特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの特殊効果プログラムファイルパッケージの生成方法の実施例によって生成したものであってもよい。
【０２０７】
選択可能な一例では、該操作４０２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２のインポートモジュールにより実行されてもよい。
【０２０８】
４０４において、特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する。
【０２０９】
選択可能な一例では、該操作４０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２の取得モジュールにより実行されてもよい。
【０２１０】
４０６において、ビデオ画像に対してキーポイント検出を行う。
【０２１１】
そのうちの一実施形態では、ニューラルネットワークによってビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するようにしてもよい。
【０２１２】
その中のキーポイント検出結果は、例えば、対応関係に関わるキーポイントのビデオ画像での位置、特殊効果プログラムファイルパッケージ中の対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０２１３】
そのうちの一実施形態では、キーポイントの種類については本願の上記各実施例の記載を参照してもよく、ここで詳細な説明を省略する。
【０２１４】
選択可能な一例では、該操作４０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作するキーポイント検出モジュールにより実行されてもよい。
【０２１５】
４０８において、検出されたキーポイント及び上記再生パラメータのパラメータ値に基づいて、上記ビデオ画像上でサブ素材の特殊効果を生成する。
【０２１６】
選択可能な一例では、該操作１０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２の生成モジュールにより実行されてもよい。
【０２１７】
本願の上記実施例で提供された特殊効果生成方法によれば、特殊効果プログラムファイルパッケージをインポートし、該特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、現在再生しているビデオ上でサブ素材の特殊効果を生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値によって、ビデオ画像に対してキーポイント検出を行い、ビデオ上で特殊効果を生成して、ビデオの特殊効果の再生を図って、ビデオ再生効果を高める。
【０２１８】
そのうちの一実施形態では、操作４０４は、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成することと、サブ素材及び特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶することと、を含んでもよい。
【０２１９】
なお、本願の特殊効果生成方法のまた１つの実施例では、ステッカーハンドル中の特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージ中のビデオにおけるサブ素材の表示位置及びビデオフレーム数を取得し、ビデオからビデオフレーム数に対応するビデオ画像を予め読み取ることを更に含んでもよい。
【０２２０】
それに対応するように、そのうちの一実施形態では、操作４０８は、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取ることと、
検出されたキーポイント及び現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、現在ビデオ画像に表示しようとするサブ素材の現在ビデオ画像での再生状態及び表示位置を決定することと、
現在ビデオ画像上に表示しようとするサブ素材の現在ビデオ画像での再生状態に基づいて、現在ビデオ画像上の表示位置に、現在ビデオ画像に表示しようとするサブ素材を表示することと、を含んでもよい。
【０２２１】
そのうちの一実施形態では、特殊効果プログラムファイルパッケージの再生が終了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによってステッカーハンドルを廃棄することを更に含んでもよい。
【０２２２】
図８は本願の特殊効果生成方法の別の実施例のフローチャートである。図８に示すように、該実施例の特殊効果生成方法は、以下の操作を含む。
【０２２３】
５０２において、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、該特殊効果プログラムファイルパッケージをメモリに読み込む。
【０２２４】
５０４において、該特殊効果プログラムファイルパッケージを解析し、サブ素材、及び特殊効果プログラムファイルを取得し、該特殊効果プログラムファイルがサブ素材の再生パラメータのパラメータ値を含む。
【０２２５】
選択可能な一例では、操作５０２−５０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２のインポートモジュールにより実行されてもよい。
【０２２６】
５０６において、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成する。
【０２２７】
５０８において、メモリからサブ素材及び特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶する。
【０２２８】
選択可能な一例では、操作５０６−５０８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２の取得モジュールにより実行されてもよい。
【０２２９】
５１０において、ステッカーハンドル中の特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージ中のビデオにおけるサブ素材の表示位置及びビデオフレーム数を取得し、ビデオからビデオフレーム数に対応するビデオ画像を予め読み取る。
【０２３０】
選択可能な一例では、該操作５１０は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第３の取得モジュールにより実行されてもよい。
【０２３１】
５１２において、ニューラルネットワークによってビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力する。
【０２３２】
選択可能な一例では、該操作５１２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作するキーポイント検出モジュールにより実行されてもよい。
【０２３３】
５１４において、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る。
【０２３４】
５１６において、検出されたキーポイント及び表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、表示しようとするサブ素材の現在ビデオ画像での再生状態及び表示位置を決定する。
【０２３５】
５１８において、表示しようとするサブ素材の現在ビデオ画像での再生状態に基づいて、現在ビデオ画像上の表示位置に、現在ビデオ画像に表示しようとするサブ素材を表示する。
【０２３６】
選択可能な一例では、操作５１４−５１８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２の生成モジュールにより実行されてもよい。
【０２３７】
本願の各特殊効果生成方法の実施例は各種のビデオ再生シーンに用いられることができ、例えば、人物を含むビデオ生放送シーンに用いられ、該生放送ビデオに対して特殊効果を生成し、サブ素材の特殊効果プログラムファイルパッケージによりサブ素材を人物の対応部位に重ねて再生する。その中の対応部位は、例えば、耳、手、顔、髪、頸部、肩等であってもよい。
【０２３８】
本願の実施例で提供されるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法はデータ処理能力を有するいかなる適切な機器によって実行されてもよく、端末装置とサーバ等を含むが、それらに限定されない。又は、本願の実施例で提供されるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法はプロセッサによって実行されてもよく、例えば、プロセッサはメモリに記憶された対応のコマンドを呼び出すことで本願の実施例におけるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法を実行する。以下、詳細な説明を省略する。
【０２３９】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
【０２４０】
図９は本願の特殊効果プログラムファイルパッケージの生成装置の一実施例の構造模式図である。該実施例の特殊効果プログラムファイルパッケージの生成装置は、本願の上記各特殊効果プログラムファイルパッケージの生成方法の実施例を実現するために用いられる。図９に示すように、該実施例の特殊効果プログラムファイルパッケージの生成装置は、第１のインポートモジュール、第１の取得モジュール及び第１の生成モジュールを含む。
【０２４１】
第１のインポートモジュールは、サブ素材をインポートするために用いられる。本願の各実施例の一実施形態では、サブ素材は、例えば、画像、動画、ビデオ、音声等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
【０２４２】
第１の取得モジュールは、上記サブ素材の再生パラメータのパラメータ値を取得し、且つ上記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するために用いられる。
【０２４３】
そのうちの一実施形態では、キーポイントの種類及びサブ素材の再生パラメータについては、本願の上記各実施例の記載を参照してもよく、ここで詳細な説明を省略する。
【０２４４】
第１の生成モジュールは、上記サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するために用いられる。
【０２４５】
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成装置によれば、特殊効果プログラムファイルパッケージを生成する時に、サブ素材をインポートし、該サブ素材の再生パラメータのパラメータ値を取得し、該サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立し、サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成することになり、それによって、該特殊効果プログラムファイルパッケージに基づいてビデオに対して特殊効果処理を行い、本願の実施例は、プログラムファイルを手動で書かなくても、レンダリングエンジンにより実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、プログラムファイルの手動記述によるエラーは回避され、特殊効果の正確性は効果的に保障される。
【０２４６】
図１０は本願の特殊効果プログラムファイルパッケージの生成装置の別の実施例の構造模式図である。図１０に示すように、図９に示した実施例と比べて、該実施例の生成装置は操作欄を含む操作画面を更に含み、図２は操作画面を例示的に示す図である。それに対応するように、該実施例では、第１のインポートモジュールは、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートするために用いられる。
【０２４７】
そのうちの一実施形態では、第１のインポートモジュールは、操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすること、又は、操作欄の対話インターフェイスによって送られた選択命令を受け取り、選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、目標部位のための特殊効果パラメータ設定画面を操作欄に表示し、特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすること、を実行するために用いられる。
【０２４８】
そのうちの選択可能な一例では、第１のインポートモジュールは、対話インターフェイスによって送られたインポート命令を受け取り、インポート命令に示される素材フォルダーを取得、表示することと、素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、サブ素材選択操作により選択したサブ素材をインポートし、及び／又は、素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定により素材フォルダー中の１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートすることと、を実行するために用いられる。
【０２４９】
そのうちの一実施形態では、サブ素材の再生パラメータのパラメータ値を取得することは、特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、設定されたパラメータ値をサブ素材の再生パラメータのパラメータ値とし、及び／又は、特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値をサブ素材の再生パラメータのパラメータ値とすることを含む。
【０２５０】
なお、また１つの実施形態では、操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、且つ参照画像上のキーポイントを表示するためのコンテンツ表示欄を更に含んでもよい。図２は操作画面を例示的に示す図である。
【０２５１】
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像、例えば、参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像等の中のいずれか一項又は複数項であってもよい。
【０２５２】
本願の生成装置の更にまた１つの実施例では、コンテンツ表示欄は、更に、サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を表示するために用いられる。
【０２５３】
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、コンテンツ表示欄で受け取ったサブ素材に対する位置移動操作により、サブ素材のコンテンツ表示欄での表示位置を更新し、且つサブ素材の再生パラメータ中の対応パラメータ値を更新するための第１の更新モジュールを更に含んでもよい。
【０２５４】
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、コンテンツ表示欄で受け取ったサブ素材に対するサイズ調整操作により、サブ素材のコンテンツ表示欄での表示サイズを更新し、且つサブ素材の再生パラメータ中の対応パラメータ値を更新するための第２の更新モジュールを更に含んでもよい。
【０２５５】
なお、更に１０図を参照し、本願の上記各実施例の生成装置は、操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整後の遮蔽関係及び再生パラメータのパラメータ値に基づいて２つ又は２つ以上のサブ素材を表示するための調整モジュールを更に含んでもよい。
【０２５６】
なお、操作画面は、事前に設定された特殊効果プログラムファイル及びサブ素材の再生パラメータのパラメータ値に基づいて、サブ素材の特殊効果プログラムファイルを生成し、サブ素材の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含んでもよい。その中の特殊効果プログラムファイルは、例えば、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含んでもよいが、それに限定されない。
【０２５７】
図２を参照し、該操作画面は左側、中部及び右側という３つの領域を含んでもよい。ここで、操作画面の左側は操作欄を表示するためのものであり、操作画面の中部はコンテンツ表示欄を表示するためのものであり、操作画面の右側はプログラムファイル欄を表示するためのものである。
【０２５８】
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、受け取った保存命令により保存命令に示される位置に特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含んでもよい。
【０２５９】
そのうちの一実施形態では、保存モジュールは、保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示することと、保存パス選択インターフェイスから送られた保存位置を受け取ることと、圧縮インターフェイスから送られた圧縮方式を受け取り、圧縮方式によりサブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成することと、圧縮ファイルパッケージを保存位置に示されるフォルダーに記憶することと、を実行するために用いられる。
【０２６０】
そのうちの選択可能な一例では、特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、サブ素材のインポートされる前の大きさに保持される。
【０２６１】
図１１は本願の特殊効果生成装置の一実施例の構造模式図である。該実施例の特殊効果生成装置は、本願の上記各特殊効果生成方法の実施例を実現するために用いられる。図１１に示すように、該実施例の特殊効果生成装置は、第２のインポートモジュール、第２の取得モジュール、キーポイント検出モジュール及び第２の生成モジュールを含む。
【０２６２】
第２のインポートモジュールは、特殊効果プログラムファイルパッケージをインポートするために用いられる。ここで、該特殊効果プログラムファイルパッケージはサブ素材及びサブ素材の再生パラメータのパラメータ値を含んでもよく、該サブ素材の再生パラメータのパラメータ値はサブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。そのうちの一実施形態では、本願の各特殊効果生成装置の実施例における特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの特殊効果プログラムファイルパッケージの生成方法又は装置の実施例によって生成したものであってもよい。
【０２６３】
第２の取得モジュールは、特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するために用いられる。
【０２６４】
キーポイント検出モジュールは、ビデオ画像に対してキーポイント検出を行うために用いられる。
【０２６５】
第２の生成モジュールは、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、上記ビデオ画像上でサブ素材の特殊効果を生成するために用いられる。
【０２６６】
本願の上記実施例で提供された特殊効果生成装置によれば、特殊効果プログラムファイルパッケージをインポートし、該特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、現在再生しているビデオ上でサブ素材の特殊効果を生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値によって、ビデオ画像に対してキーポイント検出を行い、ビデオ上で特殊効果を生成して、ビデオの特殊効果の再生を図って、ビデオ再生効果を高める。
【０２６７】
そのうちの一実施形態では、第２のインポートモジュールは、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、特殊効果プログラムファイルパッケージをメモリに読み込むことと、サブ素材の再生パラメータのパラメータ値を含む特殊効果プログラムファイルパッケージを解析し、サブ素材及び特殊効果プログラムファイルを取得することと、を実行するために用いられる。その中の特殊効果プログラムファイルは、例えば、ｊｓｏｎプログラムの特殊効果プログラムファイルを含んでもよい。
【０２６８】
そのうちの選択可能な一例では、第２の取得モジュールは、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成することと、サブ素材及び特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、ステッカーハンドルに記憶することと、を実行するために用いられる。
【０２６９】
図１２は本願の特殊効果生成装置の別の実施例の構造模式図である。図１２に示すように、図１１に示した実施例と比べて、該実施例の特殊効果生成装置は、ステッカーハンドル中の特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおけるサブ素材の表示位置及びビデオフレーム数を取得し、ビデオからビデオフレーム数に対応するビデオ画像を予め読み取るための第３の取得モジュールを更に含む。
【０２７０】
そのうちの一実施形態では、第２の生成モジュールは、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取ることと、検出されたキーポイント及びビデオの現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、ビデオの現在ビデオ画像上に表示しようとするサブ素材の現在ビデオ画像での再生状態及び表示位置を決定することと、ビデオの現在ビデオ画像上に表示しようとするサブ素材の現在ビデオ画像での再生状態に基づいて、現在ビデオ画像上の表示位置に、現在ビデオ画像に表示しようとするサブ素材を表示することと、を実行するために用いられる。
【０２７１】
なお、更に図１２を参照し、本願の特殊効果生成装置の更に別の実施例では、第２の取得モジュールは、更に特殊効果プログラムファイルパッケージの再生が終了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによってステッカーハンドルを廃棄するために用いられる。
【０２７２】
本願の各特殊効果生成装置の実施例の一実施形態では、キーポイント検出モジュールは、ニューラルネットワークによって、ビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられる。
【０２７３】
その中のキーポイント検出結果は、例えば、対応関係に関わるキーポイントのビデオ画像での位置、対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含む。
【０２７４】
なお、本願の実施例で提供された別の電子機器は、
コンピュータプログラムを記憶するためのメモリと、
メモリに記憶されたコンピュータプログラムを実行するために用いられ、コンピュータプログラムが実行されると、本願の上記のいずれか１つの実施例の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するプロセッサと、を含む。
【０２７５】
図１３は本願の電子機器の一適用実施例の構成模式図である。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構成模式図を示す図１３を参照する。図１３に示すように、該電子機器は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）、及び／又は１つ又は複数の画像プロセッサ（ＧＰＵ）などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）に記憶された実行可能コマンド又は記憶部からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されなく、プロセッサは読み取り専用メモリ及び／又はランダムアクセスメモリと通信して実行可能コマンドを実行し、通信バスを介して通信部に接続され、通信部を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、サブ素材をインポートし、前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立し、前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する。更に例えば、特殊効果プログラムファイルパッケージをインポートし、前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する。
【０２７６】
また、ＲＡＭには、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ、ＲＯＭ及びＲＡＭは、通信バスを介して相互に接続される。ＲＡＭを有する場合に、ＲＯＭは選択可能なモジュールである。ＲＡＭは実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭに書き込み、実行可能コマンドによってプロセッサに本願の上記のいずれか１種の方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インターフェイスも通信バスに接続される。通信部は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【０２７７】
キーボード、マウスなどを含む入力部と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部と、ハードディスクなどを含む記憶部と、ＬＡＮカード、モデムなどのネットワークインターフェイスカードを含む通信部とがＩ／Ｏインターフェイスに接続されている。通信部は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブも必要に応じてＩ／Ｏインターフェイスに接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体は、必要に応じてドライブ上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部にインストールする。
【０２７８】
なお、図１３に示す構造は選択可能な一実施形態に過ぎず、実践過程では、実際の必要に応じて上記図１３の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてよく、通信部は分離設置するか、またはＣＰＵやＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の開示した保護範囲に属する。
【０２７９】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよい。このような実施例では、該コンピュータプログラムは通信部によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体からインストールされ得る。ＣＰＵによって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能を実行する。
【０２８０】
なお、本願の実施例は、コンピュータコマンドを含むコンピュータプログラムであって、コンピュータコマンドが機器のプロセッサ上で動作する時に、本願の上記のいずれか１つの実施例の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するコンピュータプログラムを更に提供する。
【０２８１】
なお、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、本願の上記のいずれか１つの実施例の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するコンピュータ可読記憶媒体を更に提供する。
【０２８２】
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
【０２８３】
本願の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
【０２８４】
本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
【図１】
2021504827.tif 000005
【図２】
2021504827.tif 000006
【図３】
2021504827.tif 000007
【図４】
2021504827.tif 000008
【図５】
2021504827.tif 000009
【図６】
2021504827.tif 000010
【図７】
2021504827.tif 000011
【図８】
2021504827.tif 000012
【図９】
2021504827.tif 000013
【図１０】
2021504827.tif 000014
【図１１】
2021504827.tif 000015
【図１２】
2021504827.tif 000016
【図１３】
2021504827.tif 000017
【手続補正書】
【提出日】令和2年5月25日(2020.5.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サブ素材をインポートするステップと、
前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、
前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成方法。
【請求項２】
サブ素材をインポートする前記ステップは、
操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートする前記ステップは、
前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする請求項２に記載の方法。
【請求項４】
対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップは、
前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、
前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップと、を含むことを特徴とする請求項２又は３に記載の方法。
【請求項５】
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする請求項１−４のいずれか一項に記載の方法。
【請求項６】
前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する前記ステップは、
前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップを含むことを特徴とする請求項１−５のいずれか一項に記載の方法。
【請求項７】
前記サブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、
前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップを含むことを特徴とする請求項３−６のいずれか一項に記載の方法。
【請求項８】
前記再生パラメータは、
前記サブ素材を表示するか否かを示すための表示パラメータ、
前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含み、
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含み、
前記位置種類パラメータは、
前景を示すためのパラメータ、
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
参照部位に関係する再生位置関係、
背景を示すためのパラメータのいずれか一項を含み、
前記の参照部位に関係する再生位置関係は、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする請求項１−７のいずれか一項に記載の方法。
【請求項９】
コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示するステップを更に含み、
前記参照画像は、参照人物の少なくとも一部の画像を含み、
前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする請求項１−８のいずれか一項に記載の方法。
【請求項１０】
サブ素材をインポートする前記ステップの後に、
前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を前記コンテンツ表示欄に表示するステップと、
前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップと、
前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップと、を更に含むことを特徴とする請求項９に記載の方法。
【請求項１１】
操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するステップを更に含むことを特徴とする請求項１−１０のいずれか一項に記載の方法。
【請求項１２】
特殊効果プログラムファイルパッケージを生成する前記ステップの前に、
事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記サブ素材の特殊効果プログラムファイルを表示するステップを更に含むことを特徴とする請求項１−１１のいずれか一項に記載の方法。
【請求項１３】
受け取った起動命令により起動し、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示するステップを更に含み、
前記操作画面は、左側、中部及び右側という３つの領域を含み、
操作画面を表示する前記ステップは、
前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示することを含むことを特徴とする請求項１−１２のいずれか一項に記載の方法。
【請求項１４】
特殊効果プログラムファイルパッケージを生成する前記ステップの後に、
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するステップを更に含むことを特徴とする請求項１−１３のいずれか一項に記載の方法。
【請求項１５】
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存する前記ステップは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
特殊効果プログラムファイルパッケージをインポートするステップと、
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するステップと、
ビデオ画像に対してキーポイント検出を行うステップと、
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するステップと、を含むことを特徴とする特殊効果生成方法。
【請求項１７】
前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
特殊効果プログラムファイルパッケージをインポートする前記ステップは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を含むことを特徴とする請求項１６又は１７に記載の方法。
【請求項１９】
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を含み、
前記方法は、
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るステップを更に含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する前記ステップは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記ビデオ画像に対してキーポイント検出を行う前記ステップは、
ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するステップを含み、
前記キーポイント検出結果は、
前記ビデオの画像における前記対応関係に関わるキーポイントの位置、
前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする請求項１７−２０のいずれか一項に記載の方法。
【請求項２２】
前記特殊効果プログラムファイルパッケージは、請求項１−１５のいずれか一項に記載の方法を用いて生成されたものであることを特徴とする請求項１６−２１のいずれか一項に記載の方法。
【請求項２３】
サブ素材をインポートするための第１のインポートモジュールと、
前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するための第１の取得モジュールと、
前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成装置。
【請求項２４】
特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールと、
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するための第２の取得モジュールと、
ビデオ画像に対してキーポイント検出を行うためのキーポイント検出モジュールと、
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するための第２の生成モジュールと、を含むことを特徴とする特殊効果生成装置。
【請求項２５】
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するために用いられるプロセッサと、を含み、前記コンピュータプログラムが実行されると、前記請求項１−２２のいずれか一項に記載の方法を実現することを特徴とする電子機器。
【請求項２６】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、前記請求項１−２２のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
本願の上記実施例で提供された特殊効果生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージを読み込み、該特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、現在再生しているビデオ上でサブ素材の特殊効果を生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値によって、ビデオ画像に対してキーポイント検出を行い、ビデオ画像上で特殊効果を生成して、ビデオの特殊効果の再生を図って、ビデオ再生効果を高める。
例えば、本願は以下の項目を提供する。
（項目１）
サブ素材をインポートするステップと、
前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、
前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成方法。
（項目２）
サブ素材をインポートする前記ステップは、
操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする項目１に記載の方法。
（項目３）
操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートする前記ステップは、
前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする項目２に記載の方法。
（項目４）
対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップは、
前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、
前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップと、を含むことを特徴とする項目２又は３に記載の方法。
（項目５）
前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含むことを特徴とする項目１−４のいずれか一項に記載の方法。
（項目６）
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする項目１−５のいずれか一項に記載の方法。
（項目７）
前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目６に記載の方法。
（項目８）
前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目７に記載の方法。
（項目９）
前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する前記ステップは、
前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップを含むことを特徴とする項目１−８のいずれか一項に記載の方法。
（項目１０）
前記サブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、
前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップを含むことを特徴とする項目３−９のいずれか一項に記載の方法。
（項目１１）
前記再生パラメータは、
前記サブ素材を表示するか否かを示すための表示パラメータ、
前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目１−１０のいずれか一項に記載の方法。
（項目１２）
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする項目１１に記載の方法。
（項目１３）
前記位置種類パラメータは、
前景を示すためのパラメータ、
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
参照部位に関係する再生位置関係、
背景を示すためのパラメータのいずれか一項を含むことを特徴とする項目１１又は１２に記載の方法。
（項目１４）
前記の参照部位に関係する再生位置関係は、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする項目１３に記載の方法。
（項目１５）
コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示するステップを更に含むことを特徴とする項目１−１４のいずれか一項に記載の方法。
（項目１６）
前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする項目１５に記載の方法。
（項目１７）
前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする項目１６に記載の方法。
（項目１８）
サブ素材をインポートする前記ステップの後に、
前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を前記コンテンツ表示欄に表示するステップを更に含むことを特徴とする項目１５−１７のいずれか一項に記載の方法。
（項目１９）
前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含むことを特徴とする項目１８に記載の方法。
（項目２０）
前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含むことを特徴とする項目１８又は１９に記載の方法。
（項目２１）
操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するステップを更に含むことを特徴とする項目１−２０のいずれか一項に記載の方法。
（項目２２）
特殊効果プログラムファイルパッケージを生成する前記ステップの前に、
事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記サブ素材の特殊効果プログラムファイルを表示するステップを更に含むことを特徴とする項目１−２１のいずれか一項に記載の方法。
（項目２３）
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含むことを特徴とする項目２２に記載の方法。
（項目２４）
受け取った起動命令により起動し、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示するステップを更に含むことを特徴とする項目１−２３のいずれか一項に記載の方法。
（項目２５）
前記操作画面は、左側、中部及び右側という３つの領域を含み、
操作画面を表示する前記ステップは、
前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示することを含むことを特徴とする項目２４に記載の方法。
（項目２６）
特殊効果プログラムファイルパッケージを生成する前記ステップの後に、
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するステップを更に含むことを特徴とする項目１−２５のいずれか一項に記載の方法。
（項目２７）
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存する前記ステップは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を含むことを特徴とする項目２６に記載の方法。
（項目２８）
前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持されることを特徴とする項目１−２７のいずれか一項に記載の方法。
（項目２９）
特殊効果プログラムファイルパッケージをインポートするステップと、
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するステップと、
ビデオ画像に対してキーポイント検出を行うステップと、
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するステップと、を含むことを特徴とする特殊効果生成方法。
（項目３０）
前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする項目２９に記載の方法。
（項目３１）
特殊効果プログラムファイルパッケージをインポートする前記ステップは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を含むことを特徴とする項目２９又は３０に記載の方法。
（項目３２）
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする項目３１に記載の方法。
（項目３３）
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を含むことを特徴とする項目３１又は３２に記載の方法。
（項目３４）
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るステップを更に含むことを特徴とする項目３３に記載の方法。
（項目３５）
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する前記ステップは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を含むことを特徴とする項目３３又は３４に記載の方法。
（項目３６）
前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するステップを更に含むことを特徴とする項目３３−３５のいずれか一項に記載の方法。
（項目３７）
前記ビデオ画像に対してキーポイント検出を行う前記ステップは、
ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するステップを含むことを特徴とする項目３０−３６のいずれか一項に記載の方法。
（項目３８）
前記キーポイント検出結果は、
前記ビデオの画像における前記対応関係に関わるキーポイントの位置、
前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする項目３７に記載の方法。
（項目３９）
前記特殊効果プログラムファイルパッケージは、項目１−２８のいずれか一項に記載の方法を用いて生成されたものであることを特徴とする項目２９−３８のいずれか一項に記載の方法。
（項目４０）
サブ素材をインポートするための第１のインポートモジュールと、
前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するための第１の取得モジュールと、
前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成装置。
（項目４１）
操作欄を含む操作画面と、
前記操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするための前記第１のインポートモジュールと、を更に含むことを特徴とする項目４０に記載の装置。
（項目４２）
前記第１のインポートモジュールは、
前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、を実行するために用いられることを特徴とする項目４１に記載の装置。
（項目４３）
前記第１のインポートモジュールは、
前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップ、
前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップ、を実行するために用いられることを特徴とする項目４１又は４２に記載の装置。
（項目４４）
前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含むことを特徴とする項目４０−４４のいずれか一項に記載の装置。
（項目４５）
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする項目４０−４４のいずれか一項に記載の装置。
（項目４６）
前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目４５に記載の装置。
（項目４７）
前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目４６に記載の装置。
（項目４８）
前記第１の取得モジュールは、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する時に、
前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップ、を実行するために用いられることを特徴とする項目４０−４７のいずれか一項に記載の装置。
（項目４９）
前記第１の取得モジュールは、前記サブ素材の再生パラメータのパラメータ値を取得する時に、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップ、を実行するために用いられることを特徴とする項目４２−４９のいずれか一項に記載の装置。
（項目５０）
前記再生パラメータは、
前記サブ素材を表示するか否かを示すための表示パラメータ、
前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目４０−４９のいずれか一項に記載の装置。
（項目５１）
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする項目４０に記載の装置。
（項目５２）
前記位置種類パラメータは、
前景を示すためのパラメータ、
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
参照部位に関係する再生位置関係、
背景を示すためのパラメータのいずれか一項を含むことを特徴とする項目５０又は５１に記載の装置。
（項目５３）
前記の参照部位に関係する再生位置関係は、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする項目５２に記載の装置。
（項目５４）
前記操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、しかも前記参照画像におけるキーポイントを表示するためのコンテンツ表示欄を更に含むことを特徴とする項目４０−５３のいずれか一項に記載の装置。
（項目５５）
前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする項目５４に記載の装置。
（項目５６）
前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像のいずれか一項又は複数項を含むことを特徴とする項目５５に記載の装置。
（項目５７）
前記コンテンツ表示欄は、更に前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を表示するために用いられることを特徴とする項目５４−５６のいずれか一項に記載の装置。
（項目５８）
前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第１の更新モジュールを更に含むことを特徴とする項目５７に記載の装置。
（項目５９）
前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第２の更新モジュールを更に含むことを特徴とする項目５７又は５８に記載の装置。
（項目６０）
操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するための調整モジュールを更に含むことを特徴とする項目４０−５９のいずれか一項に記載の装置。
（項目６１）
前記操作画面は、
事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、且つ前記サブ素材の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含むことを特徴とする項目４０−６０のいずれか一項に記載の装置。
（項目６２）
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含むことを特徴とする項目６１に記載の装置。
（項目６３）
前記操作画面は、左側、中部及び右側という３つの領域を含み、
前記操作画面の左側は前記操作欄を表示するためのものであり、前記操作画面の中部は前記コンテンツ表示欄を表示するためのものであり、前記操作画面の右側は前記プログラムファイル欄を表示するためのものであることを特徴とする項目４０−６２のいずれか一項に記載の装置。
（項目６４）
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含むことを特徴とする項目４０−６３のいずれか一項に記載の装置。
（項目６５）
前記保存モジュールは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、
前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を実行するために用いられることを特徴とする項目６４に記載の装置。
（項目６６）
前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持されることを特徴とする項目４０−６５のいずれか一項に記載の装置。
（項目６７）
特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールと、
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するための第２の取得モジュールと、
ビデオ画像に対してキーポイント検出を行うためのキーポイント検出モジュールと、
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するための第２の生成モジュールと、を含むことを特徴とする特殊効果生成装置。
（項目６８）
前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする項目６７に記載の装置。
（項目６９）
前記第２のインポートモジュールは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を実行するために用いられることを特徴とする項目６７又は６８に記載の装置。
（項目７０）
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする項目６９に記載の装置。
（項目７１）
前記第２の取得モジュールは、
ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を実行するために用いられることを特徴とする項目６９又は７０に記載の装置。
（項目７２）
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るための第３の取得モジュールを更に含むことを特徴とする項目７１に記載の装置。
（項目７３）
前記第２の生成モジュールは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を実行するために用いられることを特徴とする項目７１又は７２に記載の装置。
（項目７４）
前記第２の取得モジュールは、更に前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するために用いられることを特徴とする項目７１−７３のいずれか一項に記載の装置。
（項目７５）
前記キーポイント検出モジュールは、ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられることを特徴とする項目６８−７４のいずれか一項に記載の装置。
（項目７６）
前記キーポイント検出結果は、前記ビデオの画像における前記対応関係に関わるキーポイントの位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする項目７５に記載の装置。
（項目７７）
前記特殊効果プログラムファイルパッケージは、項目１−２８のいずれか一項に記載の方法を用いて生成されたものであり、又は項目４０−６６のいずれか一項に記載の装置で生成されたものであることを特徴とする項目６７−７６のいずれか一項に記載の装置。
（項目７８）
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するために用いられるプロセッサと、を含み、前記コンピュータプログラムが実行されると、前記項目１−３９のいずれか一項に記載の方法を実現することを特徴とする電子機器。
（項目７９）
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、前記項目１−３９のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】
2021504827.tif 000018
2021504827.tif 000019
2021504827.tif 000020
2021504827.tif 000021
2021504827.tif 000022
2021504827.tif 000023