(57)【要約】  情報処理方法及び端末が開示される。方法は、端末が、第１のメディア情報の取得をトリガーするための第１の操作を取得するステップと、第１のメディア情報の取得処理中に、端末が人の顔領域内の予め設定された条件を満たす表情変化又は収集フレーム内のユーザ動作変化を検出したときに、取得された変化をキー情報としてサーバに報告するステップと、端末が、キー情報に対応し且つサーバによりプッシュされた第２のメディア情報を受信するステップと、第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行するステップとを含む。
2019504532.tif 000002
【特許請求の範囲】
【請求項１】
端末により、第１のメディア情報の収集をトリガーするための第１の操作を取得するステップと、
前記第１のメディア情報の前記収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、前記端末により、前記検出された表情変化又はユーザ動作変化の変化量をキー情報としてサーバに報告するステップと、
前記端末により、前記キー情報に対応し且つ前記サーバによりプッシュされた第２のメディア情報を受信するステップと、
前記第１のメディア情報及び前記第２のメディア情報に対してビデオ合成を実行するステップと
を含む情報処理方法。
【請求項２】
前記キー情報は、前記第１のメディア情報内のテキスト情報を更に含み、
前記方法は、
前記第１のメディア情報の前記収集中に前記テキスト情報を検出し、前記検出されたテキスト情報を前記キー情報として前記サーバに報告するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記第１のメディア情報及び前記第２のメディア情報に対してビデオ合成を実行する前に、
前記端末により、前記キー情報に対応し且つ前記サーバによりプッシュされた前記第２のメディア情報の記述ファイルを受信するステップを更に含む、請求項２に記載の方法。
【請求項４】
前記記述ファイルは、前記第１のメディア情報に対する前記第２のメディア情報の位置と、前記第２のメディア情報の表示時間とを含む、請求項３に記載の方法。
【請求項５】
前記第１のメディア情報及び前記第２のメディア情報に対してビデオ合成を実行するステップは、
前記記述ファイルにより指定された前記表示時間内に、前記記述ファイルにより指定された前記第１のメディア情報の前記位置において前記第２のメディア情報を表示するために、前記記述ファイルに従って、前記第１のメディア情報及び前記第２のメディア情報に対してビデオ合成を実行するステップを含む、請求項４に記載の方法。
【請求項６】
前記第２のメディア情報は、以下のもの、すなわち、
表示のために前記表情変化又は前記ユーザ動作変化によりトリガーされる第１タイプのステッカー情報と、
表示のために前記テキスト情報によりトリガーされる第２タイプのステッカー情報と
のうち少なくとも１つを含む、請求項２乃至５のうちいずれか１項に記載の方法。
【請求項７】
前記第２のメディア情報が前記第１タイプのステッカー情報であるときに、前記第１のメディア情報及び前記第２のメディア情報に対してビデオ合成を実行するステップは、
特徴の目標座標又は前記特徴の初期座標から前記特徴の前記目標座標に対して決定された位置領域を使用することにより位置決定された位置点に従って、前記第１タイプのステッカー情報が重ねられる位置を決定するために、前記表情変化又は前記ユーザ動作変化の前記特徴の前記初期座標及び前記特徴の前記目標座標を決定するステップと、
前記第１タイプのステッカー情報の表示時間を取得するために、前記受信した第１タイプのステッカー情報の記述ファイルを解析するステップと、
解析を用いて取得された前記第１タイプのステッカー情報の前記決定された位置及び前記表示時間に従って、前記第１タイプのステッカー情報及び前記第１のメディア情報に対してビデオ合成を実行するステップと
を含む、請求項６に記載の方法。
【請求項８】
前記第２のメディア情報が前記第２タイプのステッカー情報であるときに、前記第１のメディア情報及び前記第２のメディア情報に対してビデオ合成を実行するステップは、
前記第１のメディア情報に対する前記第２タイプのステッカー情報の位置と、前記第２タイプのステッカー情報の表示時間とを取得するために、前記受信した第２タイプのステッカー情報の記述ファイルを解析するステップと、
前記取得された位置及び前記表示時間に従って、前記第２タイプのステッカー情報及び前記第１のメディア情報に対してビデオ合成を実行するステップと
を含む、請求項６に記載の方法。
【請求項９】
第１のメディア情報の収集をトリガーするための第１の操作を取得するように構成されたトリガーユニットと、
前記第１のメディア情報の前記収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、前記検出された表情変化又はユーザ動作変化の変化量をキー情報としてサーバに報告するように構成された検出ユニットと、
前記キー情報に対応し且つ前記サーバによりプッシュされた第２のメディア情報を受信するように構成された受信ユニットと、
前記第１のメディア情報及び前記第２のメディア情報に対してビデオ合成を実行するように構成された合成ユニットと
を含む端末。
【請求項１０】
前記キー情報は、前記第１のメディア情報内のテキスト情報を更に含み、
前記検出ユニットは、前記第１のメディア情報の前記収集中に前記テキスト情報を検出し、前記検出されたテキスト情報を前記キー情報として前記サーバに報告するように更に構成される、請求項９に記載の端末。
【請求項１１】
前記受信ユニットは、前記キー情報に対応し且つ前記サーバによりプッシュされた前記第２のメディア情報の記述ファイルを受信するように更に構成される、請求項１０に記載の端末。
【請求項１２】
前記記述ファイルは、前記第１のメディア情報に対する前記第２のメディア情報の位置と、前記第２のメディア情報の表示時間とを含む、請求項１１に記載の端末。
【請求項１３】
前記合成ユニットは、
前記記述ファイルにより指定された前記表示時間内に、前記記述ファイルにより指定された前記第１のメディア情報の前記位置において前記第２のメディア情報を表示するために、前記記述ファイルに従って、前記第１のメディア情報及び前記第２のメディア情報に対してビデオ合成を実行するように更に構成される、請求項１２に記載の端末。
【請求項１４】
前記第２のメディア情報は、以下のもの、すなわち、
表示のために前記表情変化又は前記ユーザ動作変化によりトリガーされる第１タイプのステッカー情報と、
表示のために前記テキスト情報によりトリガーされる第２タイプのステッカー情報と
のうち少なくとも１つを含む、請求項１０乃至１３のうちいずれか１項に記載の端末。
【請求項１５】
前記第２のメディア情報が前記第１タイプのステッカー情報であるときに、前記合成ユニットは、
特徴の目標座標又は前記特徴の初期座標から前記特徴の前記目標座標に対して決定された位置領域を使用することにより位置決定された位置点に従って、前記第１タイプのステッカー情報が重ねられる位置を決定するために、前記表情変化又は前記ユーザ動作変化の前記特徴の前記初期座標及び前記特徴の前記目標座標を決定し、
前記第１タイプのステッカー情報の表示時間を取得するために、前記受信した第１タイプのステッカー情報の記述ファイルを解析し、
解析を用いて取得された前記第１タイプのステッカー情報の前記決定された位置及び前記表示時間に従って、前記第１タイプのステッカー情報及び前記第１のメディア情報に対してビデオ合成を実行するように更に構成される、請求項１４に記載の端末。
【請求項１６】
前記第２のメディア情報が前記第２タイプのステッカー情報であるときに、前記合成ユニットは、
前記第１のメディア情報に対する前記第２タイプのステッカー情報の位置と、前記第２タイプのステッカー情報の表示時間とを取得するために、前記受信した第２タイプのステッカー情報の記述ファイルを解析し、
前記取得された位置及び前記表示時間に従って、前記第２タイプのステッカー情報及び前記第１のメディア情報に対してビデオ合成を実行するように更に構成される、請求項１４に記載の端末。
【請求項１７】
プログラムを記憶した不揮発性記憶媒体であって、
前記不揮発性記憶媒体に記憶された前記プログラムが１つ以上のプロセッサを含むコンピュータデバイスにより実行されたときに、前記プログラムは、前記コンピュータデバイスに対して請求項１乃至８のうちいずれか１項に記載の情報処理方法を実行させることが可能である不揮発性記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願への相互参照］
この出願は、「INFORMATION  PROCESSING  METHOD  AND  TERMINAL」という名称で2016年3月14日に中国特許庁に出願された中国特許出願第201610143985.2号の優先権を主張し、その全内容を参照により援用する。
【０００２】
［技術分野］
この出願は、通信技術に関し、特に情報処理方法及び端末に関する。
【背景技術】
【０００３】
一般的に見られる情報処理解決策は、移動電話のような端末内のアプリケーションを使用することにより、ユーザがビデオを記録して記録済ビデオを共有することである。ビデオコンテンツに相互に関係するか、或いは相互に関係しない他の情報は、記録済ビデオに更に追加されてもよく、それにより、合成ビデオが取得される。
【０００４】
合成ビデオを取得するために、他の情報を追加する操作が実行される必要があり、これは、非常に複雑であり、ユーザが素材ライブラリからこれらの情報を選択することを必要とする。例えば、ユーザは、素材ライブラリからビデオコンテンツ内のビデオ情報に相互に関係する情報を選択する必要がある。選択された情報が相互関係の要件を満たすとしても、どの位置及び時点において情報がビデオコンテンツに追加されるかのような要因が更に考慮される必要がある。このような相互作用モードは非常に複雑であり、多くの回数の相互作用を必要とし、これは、明らかに低い処理効率をもたらす。その他に、繰り返しの相互作用のため、処理の時間コストが非常に高く、合成ビデオの最終的に取得される効果がほとんど満足なものではない可能性があり、実際のユーザ要件を満たさず、ユーザは合成を再度実行する可能性がある。したがって、端末を使用することによりビデオ合成を実行する情報処理コストは増加し続けている。しかし、関係する技術においてこの問題への有効な解決策は存在しない。
【発明の概要】
【０００５】
このことを鑑みて、この出願の実施例は、既存の技術に存在する問題を少なくとも解決するための情報処理方法及び端末を提供する。
【０００６】
この出願の態様によれば、情報処理方法が提供され、方法は、
端末により、第１のメディア情報の収集をトリガーするための第１の操作を取得するステップと、
第１のメディア情報の収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、端末により、検出された表情変化又はユーザ動作変化の変化量をキー情報としてサーバに報告するステップと、
端末により、キー情報に対応し且つサーバによりプッシュされた第２のメディア情報を受信するステップと、
第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行するステップと
を含む。
【０００７】
この出願の他の態様によれば、端末が提供され、端末は、
第１のメディア情報の収集をトリガーするための第１の操作を取得するように構成されたトリガーユニットと、
第１のメディア情報の収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、検出された表情変化又はユーザ動作変化の変化量をキー情報としてサーバに報告するように構成された検出ユニットと、
キー情報に対応し且つサーバによりプッシュされた第２のメディア情報を受信するように構成された受信ユニットと、
第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行するように構成された合成ユニットと
を含む。
【０００８】
この出願の他の態様によれば、不揮発性記憶媒体が提供され、不揮発性記憶媒体はプログラムを記憶し、不揮発性記憶媒体に記憶されたプログラムが１つ以上のプロセッサを含むコンピュータデバイスにより実行されたときに、プログラムは、コンピュータデバイスに対して前述の情報処理方法を実行させることが可能である。
【０００９】
この出願の実施例における情報処理方法は、端末により、第１のメディア情報の収集をトリガーするための第１の操作を取得するステップと、第１のメディア情報の収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、端末により、取得された変化量をキー情報としてサーバに報告するステップと、端末により、キー情報に対応し且つサーバによりプッシュされた第２のメディア情報を受信するステップと、予め設定された構成に従って第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行するステップとを含む。
【００１０】
この出願の実施例を用いて、第１のメディア情報のリアルタイムの収集中に表情変化又はユーザ動作変化が検出されたときに、対応する第２のメディア情報は、変化量に基づいてサーバから取得され、ビデオ合成は、予め設定された構成に従って第１のメディア情報及び第２のメディア情報に対して実行され、それにより、第１のメディア情報の収集が終了した後に、合成ビデオが再生される。合成ビデオでは、対応する第２のメディア情報が、第１のメディア情報の指定の位置及び指定の時間において表示される。ユーザは、第２のメディア情報を手動で選択して追加する必要はなく、それにより、操作手順が簡略化され、処理効率が改善され、第１のメディア情報の収集中に取得された検出結果（例えば、表情変化又はユーザ動作変化）に従って要求を実行することにより取得された対応する第２のメディア情報も、実際のユーザ要件をより良く満たす。前述の方法を用いることで、第１に、第２のメディア情報のコンテンツは比較的正確であり、第２に、第２のメディア情報が発生する位置及び時間もまた、表情変化又はユーザ動作変化のような検出結果にマッチすることができる。したがって、位置及び時点も正確である。多くの回数の相互作用が低減されるだけでなく、再調整及び再合成がその後に実行される必要もなくなり、それにより、ビデオ合成の情報処理コスト及び時間コストを低減する。
【図面の簡単な説明】
【００１１】
【図１】この出願の実施例に従って情報相互作用を実行する全ての関係者のハードウェアエンティティの概略図である。
【図２】この出願の実施例１による実現手順の概略図である。
【図３】この出願の実施例が適用される適用シナリオの概略図である。
【図４】この出願の実施例が適用されるビデオ記録をトリガーする概略図である。
【図５】既存の技術が使用される複数のシナリオの概略図である。
【図６】既存の技術が使用される複数のシナリオの概略図である。
【図７】この出願の実施例が適用される複数のシナリオの概略図である。
【図８】この出願の実施例が適用される複数のシナリオの概略図である。
【図９】この出願の実施例が適用される複数のシナリオの概略図である。
【図１０】この出願の実施例が適用される複数のシナリオの概略図である。
【図１１】この出願の実施例が適用される複数のシナリオの概略図である。
【図１２】この出願の実施例が適用される複数のシナリオの概略図である。
【図１３】この出願の実施例２による実現手順の概略図である。
【図１４】この出願の実施例３による構成上の構造の概略図である。
【図１５】この出願の実施例４によるハードウェアの構成上の構造の概略図である。
【図１６】RGB及び透明度が別々に記憶され且つこの出願の実施例が適用されるシナリオの概略図である。
【図１７】この出願の実施例が適用される例のシステムアーキテクチャ図である。
【発明を実施するための形態】
【００１２】
技術的解決策の実現方式について、添付図面を参照して以下に詳細に更に説明する。
【００１３】
図１は、この出願の実施例に従って情報相互作用を実行する全ての関係者のハードウェアエンティティの概略図である。図１に、サーバ11及び端末デバイス21、22、23及び24が含まれる。端末デバイス21、22、23及び24は、有線ネットワーク又は無線ネットワークを使用することによりサーバと情報を交換する。端末デバイスは、移動電話、デスクトップコンピュータ、パーソナルコンピュータ（PC）、オールインワンマシン等を含んでもよい。ユーザの日々の要件及び動作要件を満たす複数のアプリケーションが、端末デバイスにインストールされる。ユーザが写真の撮影及びビデオの記録を行うのが好きである場合、ユーザは、写真処理アプリケーション及びビデオ処理アプリケーションのようなアプリケーションを端末デバイスにインストールしてもよく、また、ソーシャルネットワーキング及び共有に対する要件からソーシャルアプリケーションをインストールしてもよい。さらに、写真処理アプリケーション及びビデオ処理アプリケーションを使用することにより取得された処理結果の情報は、ソーシャルアプリケーションを使用することにより共有されてもよい。この出願の実施例を使用することにより、図１に示すシステムに基づいて、端末デバイスは、サーバから各アプリケーションの更新データパケットを定期的に取得し、更新データパケットをローカルに記憶する。端末デバイスがその中のアプリケーションを使用する必要があるときに、端末デバイスは、アプリケーション（ビデオ処理アプリケーション等）を有効にし、第１の操作、例えば、ビデオを記録することを有効にする操作を取得し、それにより、例えば、ビデオの第１のメディア情報の収集をトリガーする。第１のメディア情報の収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、端末デバイスは、取得された変化量をキー情報としてサーバに報告する。例えば、顔領域内の表情変化は微笑でもよく、ユーザ動作変化は、目のまばたき又はVサインのジェスチャでもよい。端末は、キー情報に対応し且つサーバによりプッシュされたステッカーのような第２のメディア情報を受信し、第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行する。この出願の実施例を用いて、第１のメディア情報のリアルタイムの収集中に表情変化又はユーザ動作変化が検出されたときに、対応する第２のメディア情報は、変化量に基づいてサーバから取得され、ビデオ合成は、第１のメディア情報及び第２のメディア情報に対して実行され、それにより、第１のメディア情報の収集が終了した後に、合成ビデオが再生される。合成ビデオでは、対応する第２のメディア情報が、第１のメディア情報の指定の位置及び指定の時間において表示される。ユーザは、第２のメディア情報を手動で選択して追加する必要はなく、それにより、操作手順が簡略化され、処理効率が改善され、第１のメディア情報の収集中に取得された検出結果（例えば、表情変化又はユーザ動作変化）に従って要求を実行することにより取得された対応する第２のメディア情報も、実際のユーザ要件をより良く満たす。前述の方法を用いることで、第１に、第２のメディア情報のコンテンツは比較的正確であり、第２に、第２のメディア情報が発生する位置及び時間もまた、表情変化又はユーザ動作変化のような検出結果にマッチすることができる。したがって、位置及び時点も正確である。多くの回数の相互作用が低減されるだけでなく、再調整及び再合成がその後に実行される必要もなくなり、それにより、ビデオ合成の情報処理コスト及び時間コストを低減する。
【００１４】
図１の前述の例は、この出願の実施例を実現するためのシステムアーキテクチャの単なる例であり、この出願の実施例は、図１に記載のシステムアーキテクチャに限定されない。この出願の全ての実施例は、システムアーキテクチャに基づいて提供される。
【００１５】
［実施例１］
この出願のこの実施例による情報処理方法は図２に示されている。方法は以下を含む。
【００１６】
ステップ101：端末は、第１のメディア情報の収集をトリガーするための第１の操作を取得する。
【００１７】
図３に示す適用シナリオでは、ソファーに横になっているユーザは、移動電話11のような端末デバイスを使用している。移動電話11のユーザインタフェースが図４に示されており、これは、様々な種類のアプリケーションアイコン、例えば、音楽再生アイコン、機能設定アイコン及び電子メール送受信アイコンを含む。ユーザは、第１の操作を実行し、例えば、指でA1により印が付けられたビデオ処理アプリケーションアイコンをタップし、例えば、第１のメディア情報の収集をトリガーするために、ビデオ記録の処理プロセスに入る。例えば、ユーザは、室内場面を記録してもよく、或いはセルフィー（selfie）等を実行してもよい。
【００１８】
ステップ102：第１のメディア情報の収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、端末は、取得された変化量をキー情報としてサーバに報告する。
【００１９】
ここで、ステップ101における適用シナリオを依然として参照して、ビデオ記録の処理プロセスにおいて、端末は、顔認識及び位置決定機構と表情認識機構とを使用することにより、顔領域内の微笑、号泣又は不機嫌のような表情変化をキャプチャしてもよい。さらに、端末デバイスは、収集ボックス（或いはフレーミングボックスと呼ばれる）内のVサインのジェスチャのようなユーザ動作変化を代替として検出してもよい。このような検出は、顔領域内で実行されることに限定されない。顔領域内の表情変化及びユーザ動作変化に対して合成の認識が更に実行されてもよい。例えば、合成の認識は、Vサインと顔の表情の微笑との組み合わせに対して実行される。
【００２０】
顔認識技術は、人の顔の特徴に基づいて、ビデオ記録中に顔画像又はビデオストリームを収集することである。顔認識中に、まず、ビデオストリームに顔が存在するか否かが決定される。顔が存在する場合、顔の位置及びサイズが更に提供され、それぞれの主な顔の器官の位置情報が位置決定され、それにより、顔上の５つの感覚器官のそれぞれの位置及び初期形状が取得される。形状が変化したとき、例えば、人が笑ったときに、彼の上唇及び下唇の位置は初期形状に対して変位及び形状変化を生成し、これは、顔上の５つの感覚器官の顔の表情が変化したことを示す。表情の変化はまた、表情認識機構を使用することにより認識されてもよい。この出願のこの実施例における顔認識は、従来の顔認識とは異なる。従来の顔認識は、顔認識システムを構築することによりユーザアイデンティティを認識し、認識された顔と既知の顔とを比較することであり、それにより、アイデンティティ確認及びアイデンティティ検索を実現する。
【００２１】
表情認識プロセスは、４つの段階、すなわち、顔画像取得及び前処理、顔検出、表情特徴抽出、並びに表情分類を含んでもよい。顔認識及び位置決定機構のみが使用される場合、不正確の問題が存在し得る。しかし、表情認識機構は、より正確な処理ポリシーである。表情認識は、顔認識に密接に相互に関係する。例えば、顔検出中の位置決定は、顔トラッキングのようなリンクにおけるものに類似するが、違いは特徴抽出にある。例えば、顔認識特徴抽出中に、個人の違い及び異なる顔の特徴に主に注意が払われ、顔の表情は干渉信号として存在する。したがって、顔認識中に顔の表情にあまり多くの注意が払われない。しかし、この出願のこの実施例では、対応する第２のメディア情報をトリガーするために、表情の変化に注意が払われる必要があり、したがって、個人の違いは無視されてもよいが、異なる表情モードにおける顔の異なる特徴の特徴抽出に注意が払われる。表情認識は、個人の違いと組み合わされてもよく、或いは個人の違いは、表情認識精度を改善するための干渉信号として処理されてもよく、すなわち、個人の違いにあまり多くの注意が払われない。特徴抽出は、顔の表情認識中の中心的なステップであり、顔認識結果を決定し、認識率の値に影響を与える。特徴抽出は、静止画像特徴抽出と、動画像特徴抽出とを含んでもよい。静止画像特徴抽出に関して、表情の形状変化特徴（或いは表情の一時的特徴と呼ばれる）が抽出される。動画像特徴抽出に関して、各フレーム内の表情の形状変化特徴が動画像について抽出される必要があるだけでなく、連続する系列の動き特徴も抽出される必要がある。形状変化特徴の抽出は、中間の表情又はモデルに依存してもよく、それにより、生成された表情は、形状変化特徴を抽出するために中間の表情と比較される。しかし、動き特徴の抽出は、表情により生成された顔の変化に直接依存する。表情は、様々な分類方式を有する。例えば、表情は、1)その後のマッチング及び認識のための異なる顔の表情の画像ライブラリを設定するために、基本的な表情に従った幸せ、悲しみ、驚き、恐怖、怒り、嫌悪等、2)感情に従った喜び、悲しみ、興奮、冷静、心配、安心等に分類される。
【００２２】
ステップ103：端末は、キー情報に対応し且つサーバによりプッシュされた第２のメディア情報を受信する。
【００２３】
このステップの具体的な実現方式は、キー情報をサーバに送信するステップ102の後に、サーバが、キー情報に従ったマッチングを用いて素材ライブラリからステッカー情報のような対応する第２のメディア情報を見つけ、第２のメディア情報を端末にプッシュし、それにより、ステップ104においてビデオ合成が第１のメディア情報及び第２のメディア情報に対してその後に実行されることでもよい。ユーザは、ステッカー情報を手動で選択する必要はなく、ステッカー情報は、マッチングがキー情報に従って実行された後に自動的に端末にプッシュされる。第１のメディア情報（例えば、ビデオ）の収集中に、端末は、ビデオ処理結果を自動的に合成し（例えば、ビデオ及びステッカー情報を重ね）、第１のメディア情報（例えば、ビデオ）の指定の位置及び指定の時間においてステッカー情報を表示する。
【００２４】
ステップ104：第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行する。
【００２５】
この出願のこの実施例の実現方式では、キー情報は、第１のメディア情報内のテキスト情報を更に含む。
【００２６】
情報処理方法は、第１のメディア情報の収集中にテキスト情報を検出し、検出されたテキスト情報をキー情報としてサーバに報告することを更に含む。
【００２７】
既存の技術では、図５に示すテキスト情報は、ビデオ情報に含まれるA2により印が付けられた「盛り上がっている」というテキスト情報を具体的に含む。ビデオ情報の記録が終了した後に、A2’により印が付けられた「盛り上がっている」というステッカー情報が追加される。ステッカー情報は、端末とサーバとの間の多くの回数の相互作用を用いてサーバの素材ライブラリから手動で選択される。その後、ステッカー情報は、記録されたビデオ情報に追加される。
【００２８】
図６は、既存の技術の他の適用シナリオを示す。具体的には、ビデオ情報は、A3により印が付けられた「ボーイフレンド」というテキスト情報を含む。ビデオ情報の記録が終了した後に、A3’により印が付けられた「ボーイフレンド」というステッカー情報が追加される。ステッカー情報は、端末とサーバとの間の多くの回数の相互作用を用いてサーバの素材ライブラリから手動で選択される。その後、ステッカー情報は、記録されたビデオ情報に追加される。このような処理は、非常に複雑であり、多くの回数のユーザ相互作用を必要とし、ユーザは、その後に見つけられるステッカーを本当に必要としない可能性がある。ユーザがステッカーを本当に必要とするとしても、ユーザは、ステッカーを記録されたビデオ情報に手動で追加する必要があり、例えば、ステッカーをビデオ情報内の適切な位置に動かす必要がある。
【００２９】
この出願のこの実施例を用いて、図７に示すビデオは、A4により印が付けられた「大食いするがやせる」というテキスト情報を含み、テキスト情報は、キー情報としてサーバに送信される。キー情報に基づいて取得されたマッチしたステッカー情報は、A4’により印が付けられる。図８に示すビデオは、A5により印が付けられた「ボーイフレンド」というテキスト情報を含み、テキスト情報は、キー情報としてサーバに送信される。キー情報に基づいて取得されたマッチしたステッカー情報は、A5’により印が付けられる。図７及び図８において、B1は、ビデオ記録中の制御ボタンを示すために使用され、B2は、ビデオ記録が終了した後の再生ボタンを示すために使用される。図９に示すように、図９は、ビデオ記録中に適切な位置及び時点において、ステッカー情報及びビデオに対してビデオ合成が実行された後にビデオを再生する概略図である。図９では、「春節中に大食いするがやせますように」のオーディオが対応する記録済ビデオ情報で再生されたときに、ビデオインタフェースは、オーディオに対応するテキスト情報を表示してもよい。この時点で、ビデオインタフェースは、スクロール形式で開かれて表示された「大食いするがやせる」という動的なステッカー効果である合成ステッカー情報を更に表示してもよい。図１０は、この出願のこの実施例に従って、ビデオ記録中に適切な位置及び時点において、ステッカー情報及びビデオに対してビデオ合成が実行された後にビデオを再生する他の概略図である。「たくさんの賞与」のオーディオが対応する記録済ビデオ情報で再生されたときに、ビデオインタフェースは、オーディオに対応するテキスト情報を表示してもよい。この時点で、ビデオインタフェースは、\のような通貨単位の指標と組み合わせて動的なステッカー効果で「たくさんの賞与」を表示するために、合成ステッカー情報を更に表示してもよく、これにより、指標が「たくさんの賞与」というテキストと組み合わされる。
【００３０】
記録済ビデオが「たくさんの賞与」というテキスト情報を有するときに、対応するコンテンツのステッカー情報が図１０に示すように表示されることに加えて、他のステッカー形式は、顔の表情又はユーザ動作を認識することにより更に取得されてもよい。図１１に示すように、A6により印が付けられた「たくさんの賞与」のオーディオが記録済ビデオ情報で再生されるときに、ユーザ動作は、オーディオと組み合わされてもよい。例えば、ユーザ動作は、ユーザが喜んで目をまばたきすることでもよい。この場合、図１０に示すステッカー情報を表示することに加えて、ビデオインタフェースは、「喜んで目をまばたきする」の時間セグメント内にその上に他のステッカー情報を更に表示してもよい。他のステッカー情報は、例えば、A6’により印が付けられた「目を２つの\に変更すること」でもよい。目をまばたきすることに加えて、ユーザ動作は、代替として指を鳴らすことでもよい。図１１に示すA6’により印が付けられた「目を２つの\に変更すること」又は図１０に示す「たくさんの賞与」というステッカー情報は、表示のためにユーザ動作によりトリガーされる。
【００３１】
図１２は、この出願のこの実施例が使用される他の適用例を示す。図１２では、他のステッカー形式は、顔の表情を認識することにより取得されてもよい。図１２に示すように、A7により印が付けられた「私は本当に美しいですか」のオーディオが対応する記録済ビデオ情報で再生されるときに、ほおの位置が認識され、A7’により印が付けられたステッカー情報がほおの位置に重ねられる。具体的には、ステッカー情報は、５つの感覚器官タイプのステッカーの赤面、顔の赤らみ又はほお紅である。この場合、ビデオインタフェース上で「私は本当に美しいですか」を表示する時間セグメント内に、ビデオインタフェースはまた、顔にほお紅を付けた合成ステッカー情報を表示する。
【００３２】
［実施例２］
この出願のこの実施例による情報処理方法は図１３に示されている。方法は以下を含む。
【００３３】
ステップ201：端末は、アプリケーションを有効にし、第１のメディア情報の収集をトリガーするための第１の操作を取得する。
【００３４】
図３に示す適用シナリオでは、ソファーに横になっているユーザは、移動電話11のような端末デバイスを使用している。移動電話11のユーザインタフェースが図４に示されており、これは、様々な種類のアプリケーションアイコン、例えば、音楽再生アイコン、機能設定アイコン及び電子メール送受信アイコンを含む。ユーザは、第１の操作を実行し、例えば、指でA1により印が付けられたビデオ処理アプリケーションアイコンをタップし、例えば、第１のメディア情報の収集をトリガーするために、ビデオ記録の処理プロセスに入る。例えば、ユーザは、室内場面を記録してもよく、或いはセルフィー等を実行してもよい。
【００３５】
ステップ202：第１のメディア情報の収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、端末は、取得された変化量をキー情報としてサーバに報告する。
【００３６】
ここで、ステップ201における適用シナリオを依然として参照して、ビデオ記録の処理プロセスにおいて、端末デバイスは、顔認識及び位置決定機構と表情認識機構とを使用することにより、顔領域内の微笑、号泣又は不機嫌のような表情変化をキャプチャしてもよい。さらに、端末デバイスは、収集ボックス（或いはフレーミングボックスと呼ばれる）内のVサインのジェスチャのようなユーザ動作変化を代替として検出してもよい。このような検出は、顔領域内で実行されることに限定されない。顔領域内の表情変化及びユーザ動作変化に対して合成の認識が更に実行されてもよい。例えば、合成の認識は、Vサインと顔の表情の微笑との組み合わせに対して実行される。
【００３７】
顔認識技術は、人の顔の特徴に基づいて、ビデオ記録中に顔画像又はビデオストリームを収集することである。顔認識中に、まず、ビデオストリームに顔が存在するか否かが決定される。顔が存在する場合、顔の位置及びサイズが更に提供され、それぞれの主な顔の器官の位置情報が位置決定され、それにより、顔上の５つの感覚器官のそれぞれの位置及び初期形状が取得される。形状が変化したとき、例えば、人が笑ったときに、彼の上唇及び下唇の位置は初期形状に対して変位及び形状変化を生成し、これは、顔上の５つの感覚器官の顔の表情が変化したことを示す。表情の変化はまた、表情認識機構を使用することにより認識されてもよい。この出願のこの実施例における顔認識は、従来の顔認識とは異なる。従来の顔認識は、顔認識システムを構築することによりユーザアイデンティティを認識し、認識された顔と既知の顔とを比較することであり、それにより、アイデンティティ確認及びアイデンティティ検索を実現する。
【００３８】
表情認識プロセスは、４つの段階、すなわち、顔画像取得及び前処理、顔検出、表情特徴抽出、並びに表情分類を含んでもよい。顔認識及び位置決定機構のみが使用される場合、不正確の問題が存在し得る。しかし、表情認識機構は、より正確な処理ポリシーである。表情認識は、顔認識に密接に相互に関係する。例えば、顔検出中の位置決定は、顔トラッキングのようなリンクにおけるものに類似するが、違いは特徴抽出にある。例えば、顔認識特徴抽出中に、個人の違い及び異なる顔の特徴に主に注意が払われ、顔の表情は干渉信号として存在する。すなわち、顔の表情にあまり多くの注意が払われない。しかし、この出願のこの実施例では、対応する第２のメディア情報をトリガーするために、表情の変化に注意が払われる必要があり、したがって、個人の違いは無視されてもよいが、異なる表情モードにおける顔の異なる特徴の特徴抽出に注意が払われる。表情認識は、個人の違いと組み合わされてもよく、或いは個人の違いは、表情認識精度を改善するための干渉信号として処理されてもよく、すなわち、個人の違いにあまり多くの注意が払われない。特徴抽出は、顔の表情認識中の中心的なステップであり、顔認識結果を決定し、認識率の値に影響を与える。特徴抽出は、静止画像特徴抽出と、動画像特徴抽出とを含んでもよい。静止画像特徴抽出に関して、表情の形状変化特徴（或いは表情の一時的特徴と呼ばれる）が抽出される。動画像特徴抽出に関して、各フレーム内の表情の形状変化特徴が動画像について抽出される必要があるだけでなく、連続する系列の動き特徴も抽出される必要がある。形状変化特徴の抽出は、中間の表情又はモデルに依存してもよく、それにより、生成された表情は、形状変化特徴を抽出するために中間の表情と比較される。しかし、動き特徴の抽出は、表情により生成された顔の変化に直接依存する。表情は、様々な分類方式を有する。例えば、表情は、1)その後のマッチング及び認識のための異なる顔の表情の画像ライブラリを設定するために、基本的な表情に従った幸せ、悲しみ、驚き、恐怖、怒り、嫌悪等、2)感情に従った喜び、悲しみ、興奮、冷静、心配、安心等に分類される。
【００３９】
ステップ203：サーバは、素材ライブラリからキー情報に対応する第２のメディア情報と、第２のメディア情報の記述ファイルとを選択する。
【００４０】
ステップ204：端末は、キー情報に対応し且つサーバによりプッシュされた第２のメディア情報と、第２のメディア情報の記述ファイルとを受信する。
【００４１】
このステップの具体的な実現方式は、キー情報をサーバに送信するステップ202の後に、サーバが、キー情報に従ったマッチングを用いて素材ライブラリからステッカー情報のような対応する第２のメディア情報を見つけ、第２のメディア情報を端末にプッシュし、それにより、ステップ205においてビデオ合成が第１のメディア情報及び第２のメディア情報に対してその後に実行されることでもよい。ユーザは、ステッカー情報を手動で選択する必要はなく、ステッカー情報は、マッチングがキー情報に従って実行された後に自動的に端末にプッシュされる。第１のメディア情報（例えば、ビデオ）の収集中に、端末は、ビデオ処理結果を自動的に合成し（例えば、ビデオ及びステッカー情報を重ね）、第１のメディア情報（例えば、ビデオ）の指定の位置及び指定の時間においてステッカー情報を表示する。
【００４２】
ここで、ステップ204において、キー情報に対応する第２のメディア情報の記述ファイルと第２のメディア情報とは、同時に送信されてもよく、或いは別々に送信されてもよい。これは、その時間におけるネットワーク状態に依存する。ネットワーク状態が望ましい場合、記述ファイルと第２のメディア情報とは同時に送信されてもよい。ネットワーク状態が望ましくない場合、悪いネットワークによるデータロスを回避するために、記述ファイルと第２のメディア情報とは別々に送信されてもよい。
【００４３】
ステップ205：第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行する。
【００４４】
この出願のこの実施例の実現方式では、キー情報は、第１のメディア情報内のテキスト情報を更に含む。
【００４５】
したがって、方法は、第１のメディア情報の収集中にテキスト情報を検出し、検出されたテキスト情報をキー情報としてサーバに報告することを更に含む。
【００４６】
既存の技術では、図５に示すテキスト情報は、ビデオ情報に含まれるA2により印が付けられた「盛り上がっている」というテキスト情報を具体的に含む。ビデオ情報の記録が終了した後に、A2’により印が付けられた「盛り上がっている」というステッカー情報が追加される。ステッカー情報は、端末とサーバとの間の多くの回数の相互作用を用いてサーバの素材ライブラリから手動で選択される。その後、ステッカー情報は、記録されたビデオ情報に追加される。
【００４７】
図６は、既存の技術の他の適用シナリオを示す。具体的には、ビデオ情報は、A3により印が付けられた「ボーイフレンド」というテキスト情報を含む。ビデオ情報の記録が終了した後に、A3’により印が付けられた「ボーイフレンド」というステッカー情報が追加される。ステッカー情報は、端末とサーバとの間の多くの回数の相互作用を用いてサーバの素材ライブラリから手動で選択される。その後、ステッカー情報は、記録されたビデオ情報に追加される。このような処理は、非常に複雑であり、多くの回数のユーザ相互作用を必要とし、ユーザは、その後に見つけられるステッカーを本当に必要としない可能性がある。ユーザがステッカーを本当に必要とするとしても、ユーザは、ステッカーを記録されたビデオ情報に手動で追加する必要があり、例えば、ステッカーをビデオ情報内の適切な位置に動かす必要がある。
【００４８】
この出願のこの実施例を用いて、図７に示すビデオは、A4により印が付けられた「大食いするがやせる」というテキスト情報を含み、テキスト情報は、キー情報としてサーバに送信される。キー情報に基づいて取得されたマッチしたステッカー情報は、A4’により印が付けられる。図８に示すビデオは、A5により印が付けられた「ボーイフレンド」というテキスト情報を含み、テキスト情報は、キー情報としてサーバに送信される。キー情報に基づいて取得されたマッチしたステッカー情報は、A5’により印が付けられる。図７及び図８において、B1は、ビデオ記録中の制御ボタンを示すために使用され、B2は、ビデオ記録が終了した後の再生ボタンを示すために使用される。図９に示すように、図９は、ビデオ記録中に適切な位置及び時点において、ステッカー情報及びビデオに対してビデオ合成が実行された後にビデオを再生する概略図である。図９では、「春節中に大食いするがやせますように」のオーディオが対応する記録済ビデオ情報で再生されたときに、ビデオインタフェースは、オーディオに対応するテキスト情報を表示してもよい。この時点で、ビデオインタフェースは、スクロール形式で開かれて表示された「大食いするがやせる」という動的なステッカー効果である合成ステッカー情報を更に表示してもよい。図１０は、この出願のこの実施例に従って、ビデオ記録中に適切な位置及び時点において、ステッカー情報及びビデオに対してビデオ合成が実行された後にビデオを再生する他の概略図である。「たくさんの賞与」のオーディオが対応する記録済ビデオ情報で再生されたときに、ビデオインタフェースは、オーディオに対応するテキスト情報を表示してもよい。この時点で、ビデオインタフェースは、\のような通貨単位の指標と組み合わせて動的なステッカー効果で「たくさんの賞与」を表示するために、合成ステッカー情報を更に表示してもよく、これにより、指標が「たくさんの賞与」というテキストと組み合わされる。
【００４９】
記録済ビデオが「たくさんの賞与」というテキスト情報を有するときに、対応するコンテンツのステッカー情報が図１０に示すように表示されることに加えて、他のステッカー形式は、顔の表情又はユーザ動作を認識することにより更に取得されてもよい。図１１に示すように、A6により印が付けられた「たくさんの賞与」のオーディオが記録済ビデオ情報で再生されるときに、ユーザ動作は、オーディオと組み合わされてもよい。例えば、ユーザ動作は、ユーザが喜んで目をまばたきすることでもよい。この場合、図１０に示す対応するステッカー情報を表示することに加えて、ビデオインタフェースは、「喜んで目をまばたきする」の時間セグメント内にその上に他のステッカー情報を更に表示してもよい。他のステッカー情報は、例えば、A6’により印が付けられた「目を２つの\に変更すること」でもよい。目をまばたきすることに加えて、ユーザ動作は、代替として指を鳴らすことでもよい。図１１に示すA6’により印が付けられた「目を２つの\に変更すること」又は図１０に示す「たくさんの賞与」というステッカー情報は、表示のためにユーザ動作によりトリガーされる。
【００５０】
図１２は、この出願のこの実施例が使用される他の適用例を示す。図１２では、他のステッカー形式は、顔の表情を認識することにより取得されてもよい。図１２に示すように、A7により印が付けられた「私は本当に美しいですか」のオーディオが対応する記録済ビデオ情報で再生されるときに、ほおの位置が認識され、A7’により印が付けられたステッカー情報がほおの位置に重ねられる。具体的には、ステッカー情報は、５つの感覚器官タイプのステッカーの赤面、顔の赤らみ又はほお紅である。この場合、ビデオインタフェース上で「私は本当に美しいですか」を表示する時間セグメント内に、ビデオインタフェースはまた、顔にほお紅を付けた合成ステッカー情報を表示する。
【００５１】
この出願のこの実施例の実現方式では、第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行することは、
第１の実現解決策において、指定の時点において或いは指定の時間セグメント内に、第１のメディア情報により指定された位置において第２のメディア情報を表示するために、対応する特徴検出結果を取得し、表情変化又はユーザ動作変化に応じて、特徴検出結果及び第２のメディア情報の記述ファイルの構成に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行すること、又は
第２の実現解決策において、指定の時点において或いは指定の時間セグメント内に、第１のメディア情報により指定された位置において第２のメディア情報を表示するために、テキスト情報に応じて、第２のメディア情報の記述ファイルの構成に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行すること
を含む。
【００５２】
２つの解決策の違いは以下にある。第１の解決策では、特徴座標（これは特徴検出結果の情報の一部又は全部である）が取得される必要があり、これにより、特徴座標と組み合わせて、ステッカー情報がビデオ情報に配置される適切な指定の位置が決定される。第２のメディア情報は、時点を決定してもよい。ステッカー情報は、位置及び時間における固定の要件に従って配置され、図１２に示す「顔にほお紅を付ける」のシナリオで行われたように、指定の位置及び時点に従って、ステッカー情報は、適切な位置及び適切な時点においてビデオ情報に重ねられることができる。第２の解決策では、特徴座標は考慮される必要はない。第２のメディア情報は、ステッカーの時点及びサイズのような属性を決定してもよく、ステッカー情報の中心点の位置を更に含んでもよい。ステッカーは、位置及び時間における固定の要件に従って配置されるが、ステッカーは、第１の解決策で行われる方法と比べてより自由に配置される。図７に示すように、「大食いするがやせる」が発生することを提供することが望ましいが、「大食いするがやせる」が必ずしも顔領域に対応する特定の位置において表示されるべきであることに限定されない。第１の解決策では、ステッカー要求は、表情変化又はユーザ動作変化によりトリガーされ、したがって、ステッカーは、表情変化又はユーザ動作変化と連携して表示される必要がある。
【００５３】
この出願のこの実施例の実現方式では、第２のメディア情報は、以下のもの、すなわち、1)５つの感覚器官タイプのステッカー又はトリガータイプのステッカーのような、表示のために表情変化又はユーザ動作変化によりトリガーされる第１タイプのステッカー情報と、2)一般的ステッカー及び背景ステッカーのような、表示のために表情変化又はユーザ動作変化以外の他の変化によりトリガーされる第２タイプのステッカー情報と
のうち少なくとも１つを含む。
【００５４】
この出願のこの実施例の実現方式では、対応する特徴検出結果を取得し、表情変化又はユーザ動作変化に応じて、特徴検出結果及び第２のメディア情報の記述ファイルの構成に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行することは、
a1.第１タイプのステッカー情報及び第１タイプのステッカー情報の記述ファイルを要求するために、表情変化又はユーザ動作変化に応じて、検出された特徴変化量をサーバに報告し、
a2.表情変化又はユーザ動作変化により引き起こされた特徴座標変化を検出し、目標座標又は初期座標から目標座標に対して規定された位置領域を使用することにより位置決定された位置点に従って、第１タイプのステッカー情報が重ねられる位置を決定するために、初期座標から目標座標への位置決定を実行し、
a3.第１タイプのステッカー情報の表示時間を取得するために、受信した第１タイプのステッカー情報の記述ファイルを解析し、
a4.解析を用いて取得された第１タイプのステッカー情報の決定された位置及び表示時間に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行することを含む。
【００５５】
この出願のこの実施例の実現方式では、テキスト情報に応じて、第２のメディア情報の記述ファイルの構成に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行することは、
b1.第２タイプのステッカー情報及び第２タイプのステッカー情報の記述ファイルを要求するために、テキスト情報に応じて、検出されたテキスト情報をサーバに報告し、
b2.第１のメディア情報に対する第２タイプのステッカー情報の位置と、第２タイプのステッカー情報の表示時間とを取得するために、受信した第２タイプのステッカー情報の記述ファイルを解析し、位置は、第２タイプのステッカー情報において表示される中心点の位置を含み、
b3.取得された位置及び表示時間に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行することを含む。
【００５６】
［実施例３］
端末がこの出願のこの実施例に従って提供される。図１４に示すように、端末は、第１のメディア情報の収集をトリガーするための第１の操作を取得するように構成されたトリガーユニット21と、第１のメディア情報の収集中に、顔領域内の予め設定された条件を満たす表情変化又は収集ボックス内の予め設定された条件を満たすユーザ動作変化を検出したときに、取得された変化量をキー情報としてサーバに報告するように構成された検出ユニット22と、キー情報に対応し且つサーバによりプッシュされた第２のメディア情報を受信するように構成された受信ユニット23と、第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行するように構成された合成ユニット24とを含む。
【００５７】
図３に示す適用シナリオでは、ソファーに横になっているユーザは、移動電話11のような端末デバイスを使用している。移動電話11のユーザインタフェースが図４に示されており、これは、様々な種類のアプリケーションアイコン、例えば、音楽再生アイコン、機能設定アイコン及び電子メール送受信アイコンを含む。ユーザは、第１の操作を実行し、例えば、指でA1により印が付けられたビデオ処理アプリケーションアイコンをタップし、例えば、第１のメディア情報の収集をトリガーするために、ビデオ記録の処理プロセスに入る。例えば、ユーザは、室内場面を記録してもよく、或いはセルフィー等を実行してもよい。ビデオ記録の処理プロセスにおいて、端末は、顔認識及び位置決定機構と表情認識機構とを使用することにより、顔領域内の微笑、号泣又は不機嫌のような表情変化をキャプチャしてもよい。さらに、端末デバイスは、収集ボックス（或いはフレーミングボックスと呼ばれる）内のVサインのジェスチャのようなユーザ動作変化を代替として検出してもよい。顔領域内の表情変化及びユーザ動作変化に対して合成の認識が更に実行されてもよい。例えば、合成の認識は、Vサインと顔の表情の微笑との組み合わせに対して実行される。
【００５８】
顔認識技術は、人の顔の特徴に基づいて、ビデオ記録中に顔画像又はビデオストリームを収集することである。顔認識中に、まず、ビデオストリームに顔が存在するか否かが決定される。顔が存在する場合、顔の位置及びサイズが更に提供され、それぞれの主な顔の器官の位置情報が位置決定され、それにより、顔上の５つの感覚器官のそれぞれの位置及び初期形状が取得される。形状が変化したとき、例えば、人が笑ったときに、彼の上唇及び下唇の位置は初期形状に対して変位及び形状変化を生成し、これは、顔上の５つの感覚器官の顔の表情が変化したことを示す。表情の変化はまた、表情認識機構を使用することにより認識されてもよい。この出願のこの実施例における顔認識は、従来の顔認識とは異なる。従来の顔認識は、顔認識システムを構築することによりユーザアイデンティティを認識し、認識された顔と既知の顔とを比較することであり、それにより、アイデンティティ確認及びアイデンティティ検索を実現する。
【００５９】
表情認識プロセスは、４つの段階、すなわち、顔画像取得及び前処理、顔検出、表情特徴抽出、並びに表情分類を含んでもよい。顔認識及び位置決定機構のみが使用される場合、不正確の問題が存在し得る。しかし、表情認識機構は、より正確な処理ポリシーである。表情認識は、顔認識に密接に相互に関係する。例えば、顔検出中の位置決定は、顔トラッキングのようなリンクにおけるものに類似するが、違いは特徴抽出にある。例えば、顔認識特徴抽出中に、個人の違い及び異なる顔の特徴に主に注意が払われ、顔の表情は干渉信号として存在する。したがって、顔認識中に顔の表情にあまり多くの注意が払われない。しかし、この出願のこの実施例では、対応する第２のメディア情報をトリガーするために、表情の変化に注意が払われる必要があり、したがって、個人の違いは無視されてもよいが、異なる表情モードにおける顔の異なる特徴の特徴抽出に注意が払われる。表情認識は、個人の違いと組み合わされてもよく、或いは個人の違いは、表情認識精度を改善するための干渉信号として処理されてもよく、すなわち、個人の違いにあまり多くの注意が払われない。特徴抽出は、顔の表情認識中の中心的なステップであり、顔認識結果を決定し、認識率の値に影響を与える。特徴抽出は、静止画像特徴抽出と、動画像特徴抽出とを含んでもよい。静止画像特徴抽出に関して、表情の形状変化特徴（或いは表情の一時的特徴と呼ばれる）が抽出される。動画像特徴抽出に関して、各フレーム内の表情の形状変化特徴が動画像について抽出される必要があるだけでなく、連続する系列の動き特徴も抽出される必要がある。形状変化特徴の抽出は、中間の表情又はモデルに依存してもよく、それにより、生成された表情は、形状変化特徴を抽出するために中間の表情と比較される。しかし、動き特徴の抽出は、表情により生成された顔の変化に直接依存する。表情は、様々な分類方式を有する。例えば、表情は、1)その後のマッチング及び認識のための異なる顔の表情の画像ライブラリを設定するために、基本的な表情に従った幸せ、悲しみ、驚き、恐怖、怒り、嫌悪等、2)感情に従った喜び、悲しみ、興奮、冷静、心配、安心等に分類される。
【００６０】
この出願のこの実施例の実現方式では、キー情報は、第１のメディア情報内のテキスト情報を更に含む。
【００６１】
検出ユニット22は、第１のメディア情報の収集中にテキスト情報を検出し、検出されたテキスト情報をキー情報としてサーバに報告するように更に構成される。
【００６２】
既存の技術では、図５に示すテキスト情報は、ビデオ情報に含まれるA2により印が付けられた「盛り上がっている」というテキスト情報を具体的に含む。ビデオ情報の記録が終了した後に、A2’により印が付けられた「盛り上がっている」というステッカー情報が追加される。ステッカー情報は、端末とサーバとの間の多くの回数の相互作用を用いてサーバの素材ライブラリから手動で選択される。その後、ステッカー情報は、記録されたビデオ情報に追加される。
【００６３】
図６は、既存の技術の他の適用シナリオを示す。具体的には、ビデオ情報は、A3により印が付けられた「ボーイフレンド」というテキスト情報を含む。ビデオ情報の記録が終了した後に、A3’により印が付けられた「ボーイフレンド」というステッカー情報が追加される。ステッカー情報は、端末とサーバとの間の多くの回数の相互作用を用いてサーバの素材ライブラリから手動で選択される。その後、ステッカー情報は、記録されたビデオ情報に追加される。このような処理は、非常に複雑であり、多くの回数のユーザ相互作用を必要とし、ユーザは、その後に見つけられるステッカーを本当に必要としない可能性がある。ユーザがステッカーを本当に必要とするとしても、ユーザは、ステッカーを記録されたビデオ情報に手動で追加する必要があり、例えば、ステッカーをビデオ情報内の適切な位置に動かす必要がある。
【００６４】
この出願のこの実施例を用いて、図７に示すビデオは、A4により印が付けられた「大食いするがやせる」というテキスト情報を含み、テキスト情報は、キー情報としてサーバに送信される。キー情報に基づいて取得されたマッチしたステッカー情報は、A4’により印が付けられる。図８に示すビデオは、A5により印が付けられた「ボーイフレンド」というテキスト情報を含み、テキスト情報は、キー情報としてサーバに送信される。キー情報に基づいて取得されたマッチしたステッカー情報は、A5’により印が付けられる。図７及び図８において、B1は、ビデオ記録中の制御ボタンを示すために使用され、B2は、ビデオ記録が終了した後の再生ボタンを示すために使用される。図９に示すように、図９は、ビデオ記録中に適切な位置及び時点において、ステッカー情報及びビデオに対してビデオ合成が実行された後にビデオを再生する概略図である。図９では、「春節中に大食いするがやせますように」のオーディオが対応する記録済ビデオ情報で再生されたときに、ビデオインタフェースは、オーディオに対応するテキスト情報を表示してもよい。この時点で、ビデオインタフェースは、スクロール形式で開かれて表示された「大食いするがやせる」という動的なステッカー効果である合成ステッカー情報を更に表示してもよい。図１０は、この出願のこの実施例に従って、ビデオ記録中に適切な位置及び時点において、ステッカー情報及びビデオに対してビデオ合成が実行された後にビデオを再生する他の概略図である。「たくさんの賞与」のオーディオが対応する記録済ビデオ情報で再生されたときに、ビデオインタフェースは、オーディオに対応するテキスト情報を表示してもよい。この時点で、ビデオインタフェースは、\のような通貨単位の指標と組み合わせて動的なステッカー効果で「たくさんの賞与」を表示するために、合成ステッカー情報を更に表示してもよく、これにより、指標が「たくさんの賞与」というテキストと組み合わされる。
【００６５】
記録済ビデオが「たくさんの賞与」というテキスト情報を有するときに、対応するコンテンツのステッカー情報が図１０に示すように表示されることに加えて、他のステッカー形式は、顔の表情又はユーザ動作を認識することにより更に取得されてもよい。図１１に示すように、A6により印が付けられた「たくさんの賞与」のオーディオが記録済ビデオ情報で再生されるときに、ユーザ動作は、オーディオと組み合わされてもよい。例えば、ユーザ動作は、ユーザが喜んで目をまばたきすることでもよい。この場合、図１０に示すステッカー情報を表示することに加えて、ビデオインタフェースは、「喜んで目をまばたきする」の時間セグメント内にその上に他のステッカー情報を更に表示してもよい。他のステッカー情報は、例えば、A6’により印が付けられた「目を２つの\に変更すること」でもよい。目をまばたきすることに加えて、ユーザ動作は、代替として指を鳴らすことでもよい。図１１に示すA6’により印が付けられた「目を２つの\に変更すること」又は図１０に示す「たくさんの賞与」というステッカー情報は、表示のためにユーザ動作によりトリガーされる。
【００６６】
図１２は、この出願のこの実施例が使用される他の適用例を示す。図１２では、他のステッカー形式は、顔の表情を認識することにより取得されてもよい。図１２に示すように、A7により印が付けられた「私は本当に美しいですか」のオーディオが対応する記録済ビデオ情報で再生されるときに、ほおの位置が認識され、A7’により印が付けられたステッカー情報がほおの位置に重ねられる。具体的には、ステッカー情報は、５つの感覚器官タイプのステッカーの赤面、顔の赤らみ又はほお紅である。この場合、ビデオインタフェース上で「私は本当に美しいですか」を表示する時間セグメント内に、ビデオインタフェースはまた、顔にほお紅を付けた合成ステッカー情報を表示する。
【００６７】
この出願のこの実施例の実現方式では、受信ユニット24は、キー情報に対応し且つサーバによりプッシュされた第２のメディア情報の記述ファイルを受信するように更に構成される。
【００６８】
記述ファイルは、第１のメディア情報に対する第２のメディア情報の位置と、第２のメディア情報の表示時間とを含む。
【００６９】
この出願のこの実施例の実現方式では、合成ユニット24は、記述ファイルにより指定された表示時間内に、記述ファイルにより指定された第１のメディア情報の位置において第２のメディア情報を表示するために、記述ファイルに従って、第１のメディア情報及び第２のメディア情報に対してビデオ合成を実行するように構成される。具体的には、合成ユニット24は２つの具体的な実現方式を含む。
【００７０】
第１の具体的な実現方式では、指定の時点において或いは指定の時間セグメント内に、第１のメディア情報により指定された位置において第２のメディア情報を表示するために、対応する特徴検出結果を取得し、表情変化又はユーザ動作変化に応じて、特徴検出結果及び第２のメディア情報の記述ファイルの構成に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行するか、或いは
第２の具体的な実現方式では、指定の時点において或いは指定の時間セグメント内に、第１のメディア情報により指定された位置において第２のメディア情報を表示するために、テキスト情報に応じて、第２のメディア情報の記述ファイルの構成に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行する。
【００７１】
この出願のこの実施例の実現方式では、第２のメディア情報は、以下のもの、すなわち、
表示のために表情変化又はユーザ動作変化によりトリガーされる第１タイプのステッカー情報と、
表示のために表情変化又はユーザ動作変化以外の他の変化によりトリガーされる第２タイプのステッカー情報と
のうち少なくとも１つを含む。
【００７２】
この出願のこの実施例の実現方式では、合成ユニット24は、
第１タイプのステッカー情報及び第１タイプのステッカー情報の記述ファイルを要求するために、表情変化又はユーザ動作変化に応じて、検出された特徴変化量をサーバに報告し、
表情変化又はユーザ動作変化により引き起こされた特徴座標変化を検出し、目標座標又は初期座標から目標座標に対して規定された位置領域を使用することにより位置決定された位置点に従って、第１タイプのステッカー情報を重ねるために、初期座標から目標座標への位置決定を実行し、
第１タイプのステッカー情報の表示されるべき指定の時間を取得するために、受信した第１タイプのステッカー情報の記述ファイルを解析し、
位置領域により指定された位置点又は位置及び指定の時間に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行するように更に構成される。
【００７３】
この出願のこの実施例の実現方式では、合成ユニットは、
第２タイプのステッカー情報及び第２タイプのステッカー情報の記述ファイルを要求するために、テキスト情報に応じて、検出されたテキスト情報をサーバに報告し、
第１タイプのステッカー情報の表示されるべき指定の位置及び表示されるべき指定の時間を取得するために、受信した第２タイプのステッカー情報の記述ファイルを解析し、指定の位置は、第１タイプのステッカー情報において表示される中心点の位置を含み、
指定の位置及び指定の時間に従って、第２のメディア情報及び第１のメディア情報に対してビデオ合成を実行するように更に構成される。
【００７４】
［実施例４］
ここで、前述の端末は、PCのような電子デバイスでもよく、或いはPAD、タブレットコンピュータ、ラップトップコンピュータのようなポータブル電子デバイスでもよく、或いは移動電話のようなインテリジェント移動端末でもよい点に留意すべきである。端末は、ここでの説明に限定されない。前述のサーバは、クラスタシステムを使用することにより構築されて全てのユニットの機能を実現するために統合された電子デバイスでもよく、或いはクラスタシステムを使用することにより構築されて全てのユニットの機能が別々に提供される電子デバイスでもよい。端末及びサーバの双方は、データ記憶のためのデータベースと、データ処理のためのプロセッサとを少なくとも含むか、或いはサーバ内に配置された記憶媒体又は独立して配置された記憶媒体を含む。
【００７５】
データ処理のためのプロセッサについて、処理の実行中に、プロセッサは、マイクロプロセッサ、中央処理装置（CPU）、デジタルシグナルプロセッサ（DSP）又はフィールドプログラマブルゲートアレイ（FPGA）を使用することにより実現されてもよい。記憶媒体について、操作命令が含まれる。操作命令は、操作命令を使用することによりこの出願の実施例による情報処理方法の手順における各ステップを実行するコンピュータ実行可能コードでもよい。
【００７６】
端末及びサーバは、ハードウェアエンティティS11の例として図１５に示されている。装置は、プロセッサ41と、記憶媒体42と、少なくとも１つの外部通信インタフェース43とを含む。プロセッサ41、記憶媒体42及び外部通信インタフェース43は、バス44を使用することにより相互に接続される。
【００７７】
ここで、端末及びサーバの前述の説明は、方法のものと同様である点に留意すべきである。端末及びサーバの有利な効果の説明は、方法のものと同様であり、再び説明しない。この出願の端末及びサーバに開示されていない技術的な詳細について、この出願の方法の実施例の説明を参照する。
【００７８】
この出願のこの実施例について、例として実際の適用シナリオを使用することにより以下に説明する。
【００７９】
まず、適用シナリオについて説明する。第１に、いくつかの相互に関係する動的なステッカーは、通常では、素材により再生されるコンテンツに従ってビデオ素材に通常され、それにより、ビデオがより豊富なコンテンツを再生する。A)例えば、新年の訪問についてのビデオにおいて、幸運が表されるときに、いくつかの金貨が降ってくることが想定されてもよい。B)他の例として、キャラクタの内気な状態がビデオコンテンツで提示される必要があるときに、ユーザの顔上にほお紅を追加する特殊効果が想定されてもよい。第２に、ビデオ内で星と共に写真を撮影するような要件が存在してもよい。この場合、星の写真は、背景ステッカーとして使用されてもよく、それにより、ユーザは、星と共に写真を撮影することができる。既存の技術において、ビデオ処理技術を使用することにより取得される概略図は、図５及び図６に示されている。図５に示すテキスト情報は、ビデオ情報に含まれるA2により印が付けられた「盛り上がっている」というテキスト情報を具体的に含む。ビデオ情報の記録が終了した後に、A2’により印が付けられた「盛り上がっている」というステッカー情報が追加される。ステッカー情報は、端末とサーバとの間の多くの回数の相互作用を用いてサーバの素材ライブラリから手動で選択される。その後、ステッカー情報は、記録されたビデオ情報に追加される。
【００８０】
図６は、既存の技術の他の適用シナリオを示す。具体的には、ビデオ情報は、A3により印が付けられた「ボーイフレンド」というテキスト情報を含む。ビデオ情報の記録が終了した後に、A3’により印が付けられた「ボーイフレンド」というステッカー情報が追加される。ステッカー情報は、端末とサーバとの間の多くの回数の相互作用を用いてサーバの素材ライブラリから手動で選択される。その後、ステッカー情報は、記録されたビデオ情報に追加される。このような処理は、非常に複雑であり、多くの回数のユーザ相互作用を必要とし、ユーザは、その後に見つけられるステッカーを本当に必要としない可能性がある。ユーザがステッカーを本当に必要とするとしても、ユーザは、ステッカーを記録されたビデオ情報に手動で追加する必要があり、例えば、ステッカーをビデオ情報内の適切な位置に動かす必要がある。
【００８１】
図５及び図６に示すシナリオでは、既存の処理技術が使用される。アプリケーション（APP）は、いくつかの固定のステッカーを提供し、ユーザは、まずビデオを記録する。ビデオが記録された後に、ユーザは、ステッカー素材ライブラリからビデオに相互に関係すると考える素材を選択し、複雑な相互作用を用いて、各ステッカーが追加される時点と、各ステッカーが追加される時間セグメントとを決定する。さらに、いくつかのAPPは、ステッカーが動くのを許容し、次に、ユーザは、ステッカーが動かされる具体的な位置を決定するために、ステッカーをホールド及びドラッグする必要がある。その後、端末とサーバとの間で多くの回数の複雑な相互作用が実行される必要があり、処理効率が低く、ステッカーは、ビデオが記録された後に最終的な合成のために手動で選択され、ビデオ処理コストが高く、時間が浪費され、ユーザ要件が必ずしも満たされない。
【００８２】
前述の適用シナリオについて、この出願のこの実施例は、ビデオに相互に関係するリアルタイムの動的な効果のステッカー解決策である。この出願における顔認識及び位置決定機構、表情認識機構並びにビデオ合成及び処理機構を使用することにより、ユーザは、複雑な操作を実行して大量の素材からビデオ素材に相互に関係するステッカー情報を選択する必要はなく、その代わりに素材ビデオを選択する。記録中に、ユーザは、対応するステッカー情報が対応する位置及び対応する時間において発生することを認識し、すなわち、対応するステッカー情報は、図７〜図１２に示すように、ビデオコーディング中に対応する指定の時点において対応する指定の位置にリアルタイムで重ねられる。
【００８３】
この出願のこの実施例を用いて、図７に示すビデオは、A4により印が付けられた「大食いするがやせる」というテキスト情報を含み、テキスト情報は、キー情報としてサーバに送信される。キー情報に基づいて取得されたマッチしたステッカー情報は、A4’により印が付けられる。図８に示すビデオは、A5により印が付けられた「ボーイフレンド」というテキスト情報を含み、テキスト情報は、キー情報としてサーバに送信される。キー情報に基づいて取得されたマッチしたステッカー情報は、A5’により印が付けられる。図７及び図８において、B1は、ビデオ記録中の制御ボタンを示すために使用され、B2は、ビデオ記録が終了した後の再生ボタンを示すために使用される。図９に示すように、図９は、ビデオ記録中に適切な位置及び時点において、ステッカー情報及びビデオに対してビデオ合成が実行された後にビデオを再生する概略図である。図９では、「春節中に大食いするがやせますように」のオーディオが対応する記録済ビデオ情報で再生されたときに、ビデオインタフェースは、オーディオに対応するテキスト情報を表示してもよい。この時点で、ビデオインタフェースは、スクロール形式で開かれて表示された「大食いするがやせる」という動的なステッカー効果である合成ステッカー情報を更に表示してもよい。図１０は、この出願のこの実施例に従って、ビデオ記録中に適切な位置及び時点において、ステッカー情報及びビデオに対してビデオ合成が実行された後にビデオを再生する他の概略図である。「たくさんの賞与」のオーディオが対応する記録済ビデオ情報で再生されたときに、ビデオインタフェースは、オーディオに対応するテキスト情報を表示してもよい。この時点で、ビデオインタフェースは、\のような通貨単位の指標と組み合わせて動的なステッカー効果で「たくさんの賞与」を表示するために、合成ステッカー情報を更に表示してもよく、これにより、指標が「たくさんの賞与」というテキストと組み合わされる。
【００８４】
記録済ビデオが「たくさんの賞与」というテキスト情報を有するときに、対応するコンテンツのステッカー情報が図１０に示すように表示されることに加えて、他のステッカー形式は、顔の表情又はユーザ動作を認識することにより更に取得されてもよい。図１１に示すように、A6により印が付けられた「たくさんの賞与」のオーディオが記録済ビデオ情報で再生されるときに、ユーザ動作は、オーディオと組み合わされてもよい。例えば、ユーザ動作は、ユーザが喜んで目をまばたきすることでもよい。この場合、図１０に示すステッカー情報を表示することに加えて、ビデオインタフェースは、「喜んで目をまばたきする」の時間セグメント内にその上に他のステッカー情報を更に表示してもよい。他のステッカー情報は、例えば、A6’により印が付けられた「目を２つの\に変更すること」でもよい。目をまばたきすることに加えて、ユーザ動作は、代替として指を鳴らすことでもよい。図１１に示すA6’により印が付けられた「目を２つの\に変更すること」又は図１０に示す「たくさんの賞与」というステッカー情報は、表示のためにユーザ動作によりトリガーされる。
【００８５】
図１２は、この出願のこの実施例が使用される他の適用例を示す。図１２では、他のステッカー形式は、顔の表情を認識することにより取得されてもよい。図１２に示すように、A7により印が付けられた「私は本当に美しいですか」のオーディオが対応する記録済ビデオ情報で再生されるときに、ほおの位置が認識され、A7’により印が付けられたステッカー情報がほおの位置に重ねられる。具体的には、ステッカー情報は、５つの感覚器官タイプのステッカーの赤面、顔の赤らみ又はほお紅である。この場合、ビデオインタフェース上で「私は本当に美しいですか」を表示する時間セグメント内に、ビデオインタフェースはまた、顔にほお紅を付けた合成ステッカー情報を表示する。
【００８６】
記録が終了したときに、対応するステッカー情報はまた、ビデオで発生している。
【００８７】
ここで、ステッカー情報は以下のタイプを含む点に留意すべきである。
【００８８】
A)金貨が降ってくること、紅包を振ること、及び開花した花を含む一般的なステッカー
B)顔上のほお紅及び眼鏡のような、５つの感覚器官の具体的な位置において発生して５つの感覚器官が動くと共に動くように指定され得る５つの感覚器官のステッカー
C)具体的な動作が検出されたときに発生する変化するステッカーのグループであるトリガータイプのステッカーであり、発生するステッカーのグループは、一般的なステッカーでもよく、或いは５つの感覚器官のステッカーでもよい
D)図８に示す「大食いするがやせる」というフレームタイプのステッカーのような、ビデオの一番上をカバーし且つ繰り返し再生されるビデオのいくつかのフレームである背景ステッカー
前述の４つのタイプのステッカー情報の中で、図１７に示すトリガータイプのステッカー及び５つの感覚器官タイプのステッカーは、ステッカー情報と、記録済みビデオと合成される特徴座標との組み合わせを必要とする。トリガータイプのステッカー及び５つの感覚器官タイプのステッカーは、表情、動作及び５つの感覚器官の変化と共に座標が変化するため、図１７における特徴検出器及び素材分析器と共に相互作用し、次に、ビデオ合成器と相互作用する必要がある。しかし、トリガータイプのステッカー及び５つの感覚器官タイプのステッカー以外の他のタイプのステッカー（一般的なステッカー及び背景ステッカー）について、ステッカー情報は、記録済みビデオと直接合成される。すなわち、他のタイプのステッカーは、通常では座標が変化しないため、図１７のビデオ合成器のみと相互作用する。
【００８９】
図１７〜図１２に示す最終的な効果を達成するために、以下の内容が技術的な実現方式に含まれる。
【００９０】
第１に、各ビデオのステッカー情報は、素材パケット内の素材の一部として使用され、素材と共に配信される。ステッカー情報に加えて、素材は、ステッカー情報の記述ファイル等を更に含む。
【００９１】
第２に、動的な素材は、２つの部分を含む。
【００９２】
A)３つのフォーマット、すなわち、i)静的なチャートレット（chartlet）、ii)動的なグラフィックス・インターチェンジ・フォーマット（Gif）画像、及びiii)ビデオを主に有するステッカー情報の初期形式。画像タイプのステッカー情報ファイル（静的なチャートレット及び動的なGif画像等）について、ビデオ合成は、ポータブル・ネットワーク・グラフィック・フォーマット（PNG）画像のように透明度を有する画像を重ねることにより実現されてもよい。しかし、ほとんどのビデオタイプのステッカー情報ファイル（ビデオ等）について、ビデオタイプのステッカー情報ファイルは透明度を有さず、したがって、ビデオが素材として使用されるときに、素材ビデオの解像度は、撮影済ビデオのものの２倍である。半分の画素がステッカーのRGB値を示すために使用され、他の半分の画素がステッカーの透明度を示すために使用される。具体的には、ビデオタイプのステッカー情報の記憶方式は、図１６に示すように、RGB及び透明度が別々のチャネルにあり、撮影済ビデオが素材RGBの半分及び素材透明度の他の半分で記憶されることである。RGBのようなカラーモードは、カラー標準である。様々な色は、３つの色、すなわち、赤（R）、緑（G）及び青（B）のチャネルの変化と、３つの色の間の重ね合わせとを用いて取得される。RGBは、R、G及びBのチャネルの色を表す。この標準は、人間の視力により感知可能な全ての色をほとんど含む。
【００９３】
合成ビデオを取得するために、ステッカー情報及び撮影済ビデオに対してビデオの重ね合わせが実行されるときに、ステッカー情報上の画素の透明度がaである場合、合成ビデオのRGB値=a*ビデオタイプのステッカー情報のRGB値+(1-a)*撮影済ビデオのRGB値である。
【００９４】
B)i)チャートレット内で発生する中心点の位置、及びii)チャートレットが発生する時間のような情報を含むステッカーの記述ファイル。したがって、端末は、ステッカー情報及びステッカーの記述ファイルに従って、ステッカーを積極的にプッシュしてもよく、それにより、適切な動的なステッカーが記録されたビデオの適切な時点において適切な位置に重ねられてもよく、ユーザは、ステッカーを手動で選択する必要はない。チャートレットが発生する時間は、a)１回再生される動的なチャートレットについて、開始時間が設定される必要があり、b)繰り返し再生される動的なチャートレットについて、開始時間及び終了時間が設定される必要があることを含む。
【００９５】
C)i)頭頂、ii)目、iii)ほお、iv)口、及びv)鼻についての情報を含む５つの感覚器官の情報が、５つの感覚器官タイプのステッカーについて設定される必要がある。
【００９６】
D)i)口を開くこと、ii)目をまばたきすること、iii)笑うこと、及びiv)まゆを上げることを具体的に含むトリガー条件が、トリガータイプのステッカーについて設定される必要がある。
【００９７】
E)異なる素材の間の階層関係
第３に、素材がプレビューされるときに、動的なステッカーのファイルが解析される。
【００９８】
第４に、ビデオ記録中に、動的なステッカーは、ステッカー情報の記述ファイルに従って描画され、それにより、動的なステッカーがリアルタイムで見える。動的なステッカーが５つの感覚器官タイプのステッカー又はトリガータイプのステッカーである場合、動的なステッカーは、システムコンポーネントとして顔検出アルゴリズムを更に含む。顔検出アルゴリズムは、既存の顔検出アルゴリズムを使用し、顔検出アルゴリズムは、特許の範囲内に入らない点に留意する必要がある。全体システムの概略図である図１７に示すように、ステッカーの描画中に、ステッカーは、顔検出結果に従って適切な位置に描画される。実施例では、図１７に示すモジュールは、端末側に位置する。トリガータイプのステッカー及び５つの感覚器官タイプのステッカーについて、ステッカー情報は、特徴座標と組み合わされる必要があり、次に、記録済ビデオと合成される。すなわち、トリガータイプのステッカー及び５つの感覚器官タイプのステッカーは、表情、動作及び５つの感覚器官の変化と共に座標が変化するため、特徴検出器及び素材分析器と共に相互作用し、次に、ビデオ合成器と相互作用する必要がある。具体的には、端末は、アプリケーション（例えば、カメラアプリケーション）を使用することにより元のビデオを撮影する。撮影中に、端末は、分析を用いて具体的な特徴パラメータ及び対応する特徴座標を取得するために、特徴検出器を使用することにより、元のビデオ内の各画像内の顔領域又はフレーミングボックス内のユーザ動作の特徴を検出する。特徴座標は、元の座標と、形状変化後の目標座標とを含む。マッチングを用いてサーバにより取得された特徴パラメータに基づいてサーバにより送信されたステッカー情報及びステッカー情報の記述ファイルを受信した後に、端末は、ステッカー情報及びその属性のような情報と、重ね合わせ位置及び重ね合わせ時点を取得するために、素材分析器を使用することにより、ステッカー情報及びステッカーの記述ファイルを解析する。ビデオ合成は、ビデオ合成器を使用することにより、特徴座標と、ステッカー情報の記述ファイルにより示される重ね合わせ位置及び重ね合わせ時点のようなステッカー情報についての情報と、現在撮影されている元のビデオとに従って実行され、それにより、ステッカー情報を含むビデオ処理結果が生成される。トリガータイプのステッカー及び５つの感覚器官のステッカー以外の他のタイプのステッカー（一般的なステッカー及び背景ステッカー）について、ステッカー情報は、記録済みビデオと直接合成され、すなわち、ステッカー情報は、座標が一般的に変化しないため、ビデオ合成器のみと相互作用する。具体的には、端末は、アプリケーション（例えば、カメラアプリケーション）を使用することにより元のビデオを撮影する。撮影中に、マッチングを用いてサーバにより取得されたテキスト情報に基づいてサーバにより送信されたステッカー情報及びステッカー情報の記述ファイルを受信した後に、端末は、ステッカー情報及びその属性のような情報と、重ね合わせ位置及び重ね合わせ時点を取得するために、素材分析器を使用することにより、ステッカー情報及びステッカーの記述ファイルを解析する。ビデオ合成は、ビデオ合成器を使用することにより、特徴座標と、ステッカー情報の記述ファイルにより示される重ね合わせ位置及び重ね合わせ時点のようなステッカー情報についての情報と、現在撮影されている元のビデオとに従って実行され、それにより、ステッカー情報を含むビデオ処理結果が生成される。
【００９９】
第５に、動的なステッカーは、ビデオ記録中にビデオに最終的に記録され、ビデオ記録が終了する。
【０１００】
この出願において提供されるいくつかの実施例では、開示のデバイス及び方法は他の方式で実現されてもよいことが理解されるべきである。記載のデバイスの実施例は、単なる例である。例えば、ユニットの分割は、単に論理的な機能分割であり、実際の実現方式中に他の分割になってもよい。例えば、複数のユニット又はコンポーネントは結合されてもよく、或いは他のシステムに統合されてもよく、或いはいくつかの特徴が無視されてもよく或いは実行されなくてもよい。さらに、コンポーネントの間の表示又は説明した相互結合若しくは直接結合又は通信接続は、いくつかのインタフェースを通じて実現されてもよく、デバイス又はユニットの間の間接結合又は通信接続は、電気的な接続、機械的な接続又は他の形式の接続でもよい。
【０１０１】
別々の部分として記載したユニットは、物理的に分離されてもよく或いは分離されなくてもよい。表示ユニットとして使用される部分は、物理的なユニットでもよく或いは物理的なユニットでなくてもよい。すなわち、ユニットは、同じ場所に位置してもよく、或いは多くのネットワークユニットに分散されてもよい。ユニットの一部又は全部は、実施例の解決策の目的を実現するために、実際の要件に従って選択される必要がある。
【０１０２】
さらに、この出願の実施例における機能ユニットは、全て第２の処理ユニットに統合されてもよく、各ユニットがユニットとして別々に使用されるか、或いは２つ以上のユニットがユニットに統合される。統合されたユニットは、ハードウェアの形式で実現されてもよく、或いはハードウェアに加えてソフトウェア機能ユニットの形式で実現されてもよい。
【０１０３】
当業者は、方法の実施例を実現するためのステップの一部又は全部がプログラム命令に関するソフトウェアを使用することにより実現されてもよいことを理解し得る。プログラムは、コンピュータ読み取り可能記憶媒体に記憶されてもよい。プログラムが実行されるときに、方法の実施例を含むステップが実行される。しかし、記憶媒体は、プログラムコードを記憶し得る様々な種類の媒体、例えば、モバイル記憶デバイス、読み取り専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、磁気ディスク又は光ディスクを含む。
【０１０４】
代替として、この出願において、ソフトウェア機能モジュールの形式で実現されて独立したプロダクトとして販売又は使用される場合、統合されたモジュールは、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような理解に基づいて、本質的にこの出願の実施例の技術的解決策又は従来技術に寄与する部分は、ソフトウェアプロダクトの形式で実現されてもよい。コンピュータソフトウェアプロダクトは、記憶媒体に記憶され、コンピュータデバイス（PC、サーバ又はネットワークデバイス等でもよい）に対してこの出願の実施例に記載の方法の全部又は一部を実行するように命令するいくつかの命令を含む。前述の記憶媒体は、取り外し可能記憶デバイス、ROM、RAM、磁気ディスク又は光ディスクのようなプログラムコードを記憶できるいずれかの媒体を含む。
【０１０５】
前述の説明は、この出願の単なる具体的な実現方式であり、この出願の保護範囲を限定することを意図するものではない。この出願に開示された技術的範囲内で当業者により容易に理解される如何なる変更又は置換も、この出願の保護範囲内に入るものとする。したがって、この出願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
【図１】
2019504532.tif 000003
【図２】
2019504532.tif 000004
【図３】
2019504532.tif 000005
【図４】
2019504532.tif 000006
【図５】
2019504532.tif 000007
【図６】
2019504532.tif 000008
【図７】
2019504532.tif 000009
【図８】
2019504532.tif 000010
【図９】
2019504532.tif 000011
【図１０】
2019504532.tif 000012
【図１１】
2019504532.tif 000013
【図１２】
2019504532.tif 000014
【図１３】
2019504532.tif 000015
【図１４】
2019504532.tif 000016
【図１５】
2019504532.tif 000017
【図１６】
2019504532.tif 000018
【図１７】
2019504532.tif 000019
【国際調査報告】
2019504532.tif 000020
2019504532.tif 000021
2019504532.tif 000022
2019504532.tif 000023