(57)【要約】      （修正有）【課題】複数のニュースの冗長情報を除去してナレーションとナレーションに対応する映像を生成する方法及び装置を提供する。【解決手段】映像を生成するための方法２００は、各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタに対してナレーションを確定するステップ２０１と、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成するステップ２０２と、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するステップ２０３と、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するステップと２０４、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成するステップ２０５とを含む。【選択図】図２Ａ
2020174342.tif 000002
【特許請求の範囲】
【請求項１】
各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定するステップと、
音声合成技術を利用して、前記ナレーションにおける各段落に対応する音声を生成するステップと、
前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するステップと、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するステップと、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するステップと、を含む映像を生成するための方法。
【請求項２】
前記方法は、目標ニュースクラスタのナレーションを確定する前に、
目標ニュースクラスタを確定するステップをさらに含む請求項１に記載の方法。
【請求項３】
前記目標ニュースクラスタを確定するステップは、
最近の第１所定持続時間内に生成されたニュースからなる少なくとも１つのニュースクラスタを取得することと、
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することと、を含む請求項２に記載の方法。
【請求項４】
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することは、
前記少なくとも１つのニュースクラスタのそれぞれを前記目標ニュースクラスタとして確定することを含む請求項３に記載の方法。
【請求項５】
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することは、
前記少なくとも１つのニュースクラスタのそれぞれを、該ニュースクラスタにおける最近の第２所定持続時間内に生成されたニュースの数の降順に従ってソートすることと、
前記少なくとも１つのニュースクラスタのうち、所定ソート範囲内でソートされた各ニュースクラスタを前記目標ニュースクラスタとして確定することと、を含む請求項３に記載の方法。
【請求項６】
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することは、
前記少なくとも１つのニュースクラスタのうち、高品質ニュースクラスタのそれぞれを前記目標ニュースクラスタとして確定することを含み、ここで、高品質ニュースクラスタにおいて、ニュースに含まれる画像の数を所定の最小画像数より大きくし、且つ、ニュースに含まれる映像の数を所定の最小映像数より大きくする請求項３に記載の方法。
【請求項７】
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することは、
前記少なくとも１つのニュースクラスタのそれぞれに対して、該ニュースクラスタにおける各ニュースに基づいて、該ニュースクラスタに対応するニュースイベントトピックス、及び、確定されたニュースイベントトピックスの現在の出現頻度を確定することと、
前記少なくとも１つのニュースクラスタのそれぞれに対応するニュースイベントトピックスの現在の出現頻度から該ニュースイベントトピックスの過去の出現頻度を引いた頻度差を確定することと、
前記少なくとも１つのニュースクラスタのうち、対応するニュースイベントトピックスの頻度差が所定の頻度差閾値よりも大きいニュースクラスタを、前記目標ニュースクラスタとして確定することと、を含む請求項３に記載の方法。
【請求項８】
前記目標ニュースクラスタのナレーションを確定するステップは、
前記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定することと、
前記目標ニュースクラスタにおけるナレーションの生成に適する点数が最も高いニュースを目標ニュースとして確定することと、
前記目標ニュースに基づいて、前記目標ニュースクラスタのナレーションを生成することと、を含む請求項１に記載の方法。
【請求項９】
前記目標ニュースに基づいて、前記目標ニュースクラスタのナレーションを生成することは、
前記目標ニュースに含まれるテキストを目標テキストとして確定することと、
前記目標テキストに含まれるナレーションに不適切なテキストを削除することであって、ここで、ナレーションに不適切なテキストとは、予め確定されたナレーションに不適切なテキストのセットにおけるテキストであることと、
前記目標テキストに含まれる書き言葉を同じ意味の話し言葉に置き換えることと、
前記目標テキストから要約を抽出することにより得られた要約テキストを前記目標ニュースクラスタのナレーションとして確定することと、を含む請求項８に記載の方法。
【請求項１０】
前記目標テキストから要約を抽出することにより得られた要約テキストを前記目標ニュースクラスタのナレーションとして確定することは、
所定の最大話速と所定の最大音声持続時間に従ってナレーションの最大文字数を確定することと、
前記目標テキストから要約を抽出し、且つ抽出された要約テキストの文字数を前記ナレーションの最大文字数より少なくすることと、
抽出された要約テキストを前記目標ニュースクラスタのナレーションとして確定することと、を含む請求項９に記載の方法。
【請求項１１】
前記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定することは、
該ニュースの少なくとも１種の特徴における特徴値を抽出することと、
抽出された少なくとも１種の特徴値に基づき、該ニュースのナレーションの生成に適する点数を確定することと、を含む請求項８に記載の方法。
【請求項１２】
前記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定することは、
該ニュースに含まれるテキストを予めトレーニングされた点数計算モデルに入力して、該ニュースのナレーションの生成に適する点数を取得することを含み、
ここで、前記点数計算モデルは、テキストと、テキストの、ナレーションの生成に適する点数との対応関係を特徴付けることに用いられる請求項８に記載の方法。
【請求項１３】
前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する候補素材リソースセットを確定するステップは、
前記目標ニュースクラスタに含まれる映像と画像を、前記ナレーションに対応する候補素材リソースセットとして確定することを含む請求項１に記載の方法。
【請求項１４】
前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する候補素材リソースセットを確定するステップは、
前記目標ニュースクラスタに含まれる各映像に対して意味的分割を行うことにより得られた少なくとも１つの映像セグメントを目標映像セットとして確定することと、
前記目標ニュースクラスタに含まれる各画像を目標画像セットとして確定することと、
前記目標映像セットと前記目標画像セットに基づき、前記ナレーションに対応する候補素材リソースのセットを確定することと、を含み、ここで、候補素材リソースは映像又は画像である請求項１に記載の方法。
【請求項１５】
前記目標映像セットと前記目標画像セットに基づき、前記ナレーションに対応する候補素材リソースセットを確定することは、
前記目標映像セットと前記目標画像セットを合併して前記ナレーションに対応する候補素材リソースセットを取得することを含む請求項１４に記載の方法。
【請求項１６】
前記目標映像セットと前記目標画像セットに基づき、前記ナレーションに対応する候補素材リソースセットを確定することは、
前記目標映像セットにおける各目標映像に対して、該目標映像を予めトレーニングされたビビット映像検出モデルに入力して、該目標映像に対応するビビット映像検出結果を取得し、ここで、前記ビビット映像検出モデルは、映像と、ビビット映像であるか否かを示すためのビビット映像検出結果との対応関係を特徴付けることに用いられることと、
前記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられた目標映像を削除することと、
前記目標映像セットと前記目標画像セットを合併して前記ナレーションに対応する候補素材リソースセットを取得することと、を含む請求項１４に記載の方法。
【請求項１７】
前記方法は、前記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられた目標映像を削除した後、
前記目標映像セットにおける映像再生持続時間が所定の最小候補映像持続時間よりも短い映像を削除するステップをさらに含む請求項１６に記載の方法。
【請求項１８】
前記ナレーションに対応する映像における画像の再生持続時間は、所定の画像再生持続時間であり、及び、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するステップは、
前記ナレーションにおける各段落に対し、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定することと、
前記ナレーションにおける各段落と各前記候補素材リソースとのマッチング度、各前記候補素材リソースの再生持続時間及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することと、を含む請求項１に記載の方法。
【請求項１９】
前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定することは、
前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを確定することと、
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを確定することと、
前記ナレーションにおける各段落に対応する意味ベクトルと前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定することと、を含む請求項１８に記載の方法。
【請求項２０】
前記ナレーションにおける各段落に対応する意味ベクトルと前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定することは、
該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースに対して意味的分割を行い、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに基づいて該候補素材リソースに対応する意味ベクトルを確定することと、
該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースに対してダウンサンプリングを行い、少なくとも１つのサンプル画像を得ることと、
前記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像に対して意味的分割を行い、該サンプル画像に対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルに基づいて該サンプル画像に対応する意味ベクトルを確定することと、
各前記サンプル画像に対応する意味ベクトルに基づき、該候補素材リソースに対応する意味ベクトルを確定することと、を含む請求項１９に記載の方法。
【請求項２１】
前記ナレーションにおける各段落と各前記候補素材リソースとのマッチング度、各前記候補素材リソースの再生持続時間及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することは、
前記ナレーションにおける各段落に対して、第１プリセット最適化アルゴリズムを利用し、該段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、該段落に対応する候補素材リソースシーケンスと該段落とのマッチング度が最大であることを最適化目標とし、該段落に対応する候補素材リソースシーケンスを確定することを含む請求項１８に記載の方法。
【請求項２２】
前記ナレーションにおける各段落と各前記候補素材リソースとのマッチング度、各前記候補素材リソースの再生持続時間及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することは、
第２プリセット最適化アルゴリズムを利用し、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスと対応する段落とのマッチング度の合計が最大であることを最適化目標とし、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することを含む請求項１８に記載の方法。
【請求項２３】
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスにおける候補素材リソースが互いに異なる請求項２１又は２２に記載の方法。
【請求項２４】
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するステップは、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第１音声を得ることと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第１映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であることと、
得られた第１音声と第１映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定することと、を含む請求項１に記載の方法。
【請求項２５】
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するステップは、
前記ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、前記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間の間の対応関係を特徴付けることに用いられることと、
前記ナレーションにおける最後の段落以外の各段落に対して、前記ナレーションにおける該段落の前から後への順序に基づき、段落映像クリップステップを実行することであって、該段落映像クリップステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を映像クリップ持続時間として確定し、該段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、該段落に対応する映像を取得し、該段落に対応する映像末尾から前記映像クリップ持続時間分の映像を切り抜くことを行うことと、
前記ナレーションにおける最後の段落に対応する候補素材リソースシーケンスの中の各候補素材リソースを順次接続して、最後の段落に対応する映像を得ることと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第２映像を得ることと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第２音声を得ることと、
得られた第２音声と第２映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定することと、を含む請求項１に記載の方法。
【請求項２６】
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するステップは、
前記ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、前記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間の間の対応関係を特徴付けることに用いられることと、
前記ナレーションにおける最後の段落以外の各段落に対して、前記ナレーションにおける該段落の前から後への順序に基づき、段落音声延長ステップを実行することであって、該段落音声延長ステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を音声延長時間長として確定し、該段落に対応する音声末尾に、確定された音声延長時間長の無音再生持続時間を追加することを行うことと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第３音声を得ることと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第３映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であることと、
得られた第３音声と第３映像をそれぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定することと、を含む請求項１に記載の方法。
【請求項２７】
前記方法は、前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成する前に、前記ナレーションにおける各段落に対して、単色素材リソース検出ステップを実行するステップをさらに含み、
ここで、前記単色素材リソース検出ステップは、
該段落に対応する候補素材リソースシーケンスにおける各素材リソースに対して、該素材リソースが単色画像フレームの存在する映像であると判定されたことに応答して、該素材リソースにおける単色画像フレームを削除することと、
該素材リソースが単色画像であると判定されたことに応答して、該段落に対応する候補素材リソースシーケンスから該素材リソースを削除することを行う請求項１に記載の方法。
【請求項２８】
前記方法は、前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成する前に、
前記ナレーションにおける各段落に対して整列検出ステップを実行するステップをさらに含み、
ここで、該整列検出ステップは、
該段落に対応する音声の再生持続時間が該段落に対応する候補素材リソースシーケンスの再生持続時間より長いと判定されたことに応答して、該段落に対応する候補素材リソースシーケンスにおける画像タイプの候補素材リソースの再生持続時間を延長するか、或いは、前記候補素材リソースセットから候補素材リソースを選択して、該段落に対応する候補素材リソースシーケンスの中に追加し、それにより、該段落に対応する音声の再生持続時間を、該段落に対応する候補素材リソースシーケンスの再生持続時間に等しくすることを行う請求項２７に記載の方法。
【請求項２９】
前記方法は、前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成した後、
前記ナレーションに対応する映像を端末装置に送信するステップをさらに含む請求項１に記載の方法。
【請求項３０】
前記方法は、
目標ニュースクラスタのナレーションの確定から、前記ナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を取得するステップと、
前記ナレーションに対応する映像の映像評価点数を確定するステップと、
前記少なくとも１つのパラメータの現在値に対して特徴抽出を行い、特徴表現を得るステップと、
前記特徴表現と確定された映像評価点数を予めトレーニングした評価ネットワークに入力して、予測映像評価点数を得るステップと、
前記特徴表現と前記予測映像評価点数を予めトレーニングした行動ネットワークに入力して、現在の行動情報を得るステップと、
前記現在の行動情報により、前記少なくとも１つのパラメータの現在値を調整するステップとをさらに含む請求項１に記載の方法。
【請求項３１】
前記方法は、
前記少なくとも１つのパラメータの現在値により、目標ニュースクラスタのナレーションの確定から、前記ナレーションに対応する映像の生成までのプロセスを再び実行するステップをさらに含む請求項３０に記載の方法。
【請求項３２】
映像を生成するための装置であって、
各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定するように構成されるナレーション確定ユニットと、
音声合成技術を利用して、前記ナレーションにおける各段落に対応する音声を生成するように構成される音声生成ユニットと、
前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するように構成される素材リソースセット確定ユニットと、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される素材リソースシーケンス確定ユニットと、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するように構成される映像生成ユニットと、を備える装置。
【請求項３３】
前記装置は、
目標ニュースクラスタのナレーションを確定する前に、目標ニュースクラスタを確定するように構成される目標ニュースクラスタ確定ユニットをさらに備える請求項３２に記載の装置。
【請求項３４】
前記目標ニュースクラスタ確定ユニットは、
最近の第１所定期間内に生成されたニュースからなる少なくとも１つのニュースクラスタを取得するように構成されるニュースクラスタ取得モジュールと、
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定するように構成される目標ニュースクラスタ確定モジュールと、を備える請求項３３に記載の装置。
【請求項３５】
前記目標ニュースクラスタ確定モジュールはさらに、
前記少なくとも１つのニュースクラスタのそれぞれを前記目標ニュースクラスタとして確定するように構成される請求項３４に記載の装置。
【請求項３６】
前記目標ニュースクラスタ確定モジュールはさらに、
前記少なくとも１つのニュースクラスタのそれぞれを、該ニュースクラスタにおける最近の第２所定期間内に生成されたニュースの数の降順によってソートし、
前記少なくとも１つのニュースクラスタのうち、所定ソート範囲内でソートされた各ニュースクラスタを前記目標ニュースクラスタとして確定するように構成される請求項３４に記載の装置。
【請求項３７】
前記目標ニュースクラスタ確定モジュールはさらに、
前記少なくとも１つのニュースクラスタのうち、高品質ニュースクラスタのそれぞれを前記目標ニュースクラスタとして確定し、ここで、高品質ニュースクラスタにおいて、ニュースに含まれる画像の数を所定の最小画像数より大きくし、且つ、ニュースに含まれる映像の数を所定の最小映像数より大きくするように構成される請求項３４に記載の装置。
【請求項３８】
前記目標ニュースクラスタ確定モジュールはさらに、
前記少なくとも１つのニュースクラスタのそれぞれに対して、該ニュースクラスタにおける各ニュースに基づいて、該ニュースクラスタに対応するニュースイベントトピックス、及び、確定されたニュースイベントトピックスの現在の出現頻度を確定し、
前記少なくとも１つのニュースクラスタのそれぞれに対応するニュースイベントトピックスの現在の出現頻度から該ニュースイベントトピックスの過去の出現頻度を引いた頻度差を確定し、
前記少なくとも１つのニュースクラスタのうち、対応するニュースイベントトピックスの頻度差が所定の頻度差閾値より大きいニュースクラスタを、前記目標ニュースクラスタとして確定するように構成される請求項３４に記載の装置。
【請求項３９】
前記ナレーション確定ユニットは、
前記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定するように構成される点数確定モジュールと、
前記目標ニュースクラスタにおけるナレーションの生成に適する点数が最も高いニュースを目標ニュースとして確定するように構成される目標ニュース確定モジュールと、
前記目標ニュースに基づいて、前記目標ニュースクラスタのナレーションを生成するように構成されるナレーション生成モジュールと、を備える請求項３２に記載の装置。
【請求項４０】
前記ナレーション生成モジュールはさらに、
前記目標ニュースに含まれるテキストを目標テキストとして確定し、
前記目標テキストに含まれるナレーションに不適切なテキストを削除し、ここで、ナレーションに不適切なテキストとは、予め確定したナレーションに不適切なテキストのセットにおけるテキストであり、
前記目標テキストに含まれる書き言葉を同じ意味の話し言葉に置き換え、
前記目標テキストから要約を抽出することにより得られた要約テキストを前記目標ニュースクラスタのナレーションとして確定するように構成される請求項３９に記載の装置。
【請求項４１】
前記目標テキストから要約を抽出することにより得られた要約テキストを前記目標ニュースクラスタのナレーションとして確定することは、
所定の最大話速と所定の最大音声時間によってナレーションの最大文字数を確定することと、
前記目標テキストから要約を抽出し、且つ抽出された要約テキストの文字数を前記ナレーションの最大文字数より少なくすることと、
抽出された要約テキストを前記目標ニュースクラスタのナレーションとして確定することと、を含む請求項４０に記載の装置。
【請求項４２】
前記点数確定モジュールはさらに、
該ニュースの少なくとも１種の特徴における特徴値を抽出し、
抽出された少なくとも１種の特徴値に基づき、該ニュースのナレーションの生成に適する点数を確定するように構成される請求項３９に記載の装置。
【請求項４３】
前記点数確定モジュールはさらに、
該ニュースに含まれるテキストを予めトレーニングされた点数計算モデルに入力して、該ニュースのナレーションの生成に適する点数を取得するように構成され、ここで、前記点数計算モデルは、テキストと、ナレーションの生成に適するテキストの点数との対応関係を特徴付けることに用いられる請求項３９に記載の装置。
【請求項４４】
前記素材リソースセット確定ユニットはさらに、
前記目標ニュースクラスタに含まれる映像と画像を、前記ナレーションに対応する候補素材リソースセットとして確定するように構成される請求項３２に記載の装置。
【請求項４５】
前記素材リソースセット確定ユニットは、
前記目標ニュースクラスタに含まれる各映像に対して意味的分割を行うことにより得られた少なくとも１つの映像セグメントを目標映像セットとして確定するように構成される目標映像セット確定モジュールと、
前記目標ニュースクラスタに含まれる各画像を目標画像セットとして確定するように構成される目標画像セット確定モジュールと、
前記目標映像セットと前記目標画像セットに基づき、前記ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するように構成される素材リソースセット確定モジュールと、を備える請求項３２に記載の装置。
【請求項４６】
前記素材リソースセット確定モジュールはさらに、
前記目標映像セットと前記目標画像セットを合併して前記ナレーションに対応する候補素材リソースセットを取得するように構成される請求項４５に記載の装置。
【請求項４７】
前記素材リソースセット確定モジュールはさらに、
前記目標映像セットにおける各目標映像に対して、該目標映像を予めトレーニングされたビビット映像検出モデルに入力して、該目標映像に対応するビビット映像検出結果を取得し、ここで、前記ビビット映像検出モデルは、映像と、ビビット映像であるか否かを示すためのビビット映像検出結果との対応関係を特徴付けることに用いられ、
前記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられた目標映像を削除し、
前記目標映像セットと前記目標画像セットを合併して前記ナレーションに対応する候補素材リソースセットを取得するように構成される請求項４５に記載の装置。
【請求項４８】
前記素材リソースセット確定モジュールはさらに、
前記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられた目標映像を削除した後、前記目標映像セットにおける映像の再生持続時間が所定の最小候補映像再生持続時間よりも短い映像を削除するように構成される請求項４７に記載の装置。
【請求項４９】
前記ナレーションに対応する映像における画像の再生持続時間は、所定の画像再生持続時間であり、及び、
前記素材リソースシーケンス確定ユニットは、
前記ナレーションにおける各段落に対し、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成されるマッチング度確定モジュールと、
前記ナレーションにおける各段落と各前記候補素材リソースとのマッチング度、各前記候補素材リソースの再生持続時間及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される素材リソースシーケンス確定モジュールと、を備える請求項３２に記載の装置。
【請求項５０】
前記マッチング度確定モジュールはさらに、
前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを確定し、
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを確定し、
前記ナレーションにおける各段落に対応する意味ベクトルと前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するように構成される請求項４９に記載の装置。
【請求項５１】
前記ナレーションにおける各段落に対応する意味ベクトルと前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定することは、
該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースに対して意味的分割を行い、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに基づいて該候補素材リソースに対応する意味ベクトルを確定することと、
該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースに対してダウンサンプリングを行い、少なくとも１つのサンプル画像を得ることと、
前記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像に対して意味的分割を行い、該サンプル画像に対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルに基づいて該サンプル画像に対応する意味ベクトルを確定することと、
各前記サンプル画像に対応する意味ベクトルに基づき、該候補素材リソースに対応する意味ベクトルを確定することと、を含む請求項５０に記載の装置。
【請求項５２】
前記素材リソースシーケンス確定モジュールはさらに、
前記ナレーションにおける各段落に対して、第１プリセット最適化アルゴリズムを利用し、該段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、該段落に対応する候補素材リソースシーケンスと該段落とのマッチング度が最大であることを最適化目標とし、該段落に対応する候補素材リソースシーケンスを確定するように構成される請求項４９に記載の装置。
【請求項５３】
前記素材リソースシーケンス確定モジュールはさらに、
第２プリセット最適化アルゴリズムを利用し、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスと対応する段落とのマッチング度の合計が最大であることを最適化目標とし、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される請求項４９に記載の装置。
【請求項５４】
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスにおける候補素材リソースが互いに異なる請求項５２又は５３に記載の装置。
【請求項５５】
前記映像生成ユニットはさらに、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第１音声を取得し、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第１映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であり、
得られた第１音声と第１映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定するように構成される請求項３２に記載の装置。
【請求項５６】
前記映像生成ユニットはさらに、
前記ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、前記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間の間の対応関係を特徴付けることに用いられ、
前記ナレーションにおける最後の段落以外の各段落に対して、前記ナレーションにおける該段落の前から後への順序に基づき、段落映像クリップステップを実行し、ここで、該段落映像クリップステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を映像クリップ持続時間として確定し、該段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、該段落に対応する映像を取得し、該段落に対応する映像末尾から前記映像クリップ持続時間分の映像を切り抜くことを行い、
前記ナレーションにおける最後の段落に対応する候補素材リソースシーケンスの中の各候補素材リソースを順次接続して、最後の段落に対応する映像を取得し、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第２映像を取得し、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第２音声を取得し、
得られた第２音声と第２映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定するように構成される請求項３２に記載の装置。
【請求項５７】
前記映像生成ユニットはさらに、
前記ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、前記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間の間の対応関係を特徴付けることに用いられ、
前記ナレーションにおける最後の段落以外の各段落に対して、前記ナレーションにおける該段落の前から後への順序に基づき、段落音声延長ステップを実行し、ここで、該段落音声延長ステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を音声延長時間長として確定し、該段落に対応する音声末尾に、確定された音声延長時間長の無音再生持続時間を追加することを行い、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第３音声を取得し、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第３映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であり、
得られた第３音声と第３映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定するように構成される請求項３２に記載の装置。
【請求項５８】
前記装置は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成する前に、前記ナレーションにおける各段落に対して、単色素材リソース検出ステップを実行するように構成される単色素材リソース検出ユニットであって、前記単色素材リソース検出ステップは、該段落に対応する候補素材リソースシーケンスにおける各素材リソースに対して該素材リソースが単色画像フレームの存在する映像であると判定されたことに応答して、該素材リソースにおける単色画像フレームを削除することと、該素材リソースが単色画像であると判定されたことに応答して、該段落に対応する候補素材リソースシーケンスから該素材リソースを削除することとを含む単色素材リソース検出ユニットをさらに含む請求項３２に記載の装置。
【請求項５９】
前記装置は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成する前に、前記ナレーションにおける各段落に対して整列検出ステップを実行するように構成される整列検出ユニットであって、前記整列検出ステップは、該段落に対応する音声の再生持続時間が該段落に対応する候補素材リソースシーケンスの再生持続時間より長いと判定されたことに応答して、該段落に対応する候補素材リソースシーケンスにおける画像タイプの候補素材リソースの再生持続時間を延長するか、或いは、前記候補素材リソースセットから候補素材リソースを選択して、該段落に対応する候補素材リソースシーケンスの中に追加し、それにより、該段落に対応する音声の再生持続時間を、該段落に対応する候補素材リソースシーケンスの再生持続時間に等しくすることを含む整列検出ユニットをさらに含む請求項５８に記載の装置。
【請求項６０】
前記装置は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成した後、前記ナレーションに対応する映像を端末装置に送信するように構成される映像送信ユニットをさらに含む請求項３２に記載の装置。
【請求項６１】
前記装置は、
目標ニュースクラスタのナレーションの確定から、前記ナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を取得するように構成されるパラメータ現在値取得ユニットと、
前記ナレーションに対応する映像の映像評価点数を確定するように構成される映像評価点数確定ユニットと、
前記少なくとも１つのパラメータの現在値に対して特徴抽出を行い、特徴表現を得るように構成される特徴抽出ユニットと、
前記特徴表現と確定された映像評価点数を予めトレーニングした評価ネットワークに入力して、予測映像評価点数を得るように構成される第１入力ユニットと、
前記特徴表現と前記予測映像評価点数を予めトレーニングした行動ネットワークに入力して、現在の行動情報を得るように構成される第２入力ユニットと、
前記現在の行動情報により、前記少なくとも１つのパラメータの現在値を調整するように構成されるパラメータ調整ユニットと、をさらに含む請求項３２に記載の装置。
【請求項６２】
前記装置は、
前記少なくとも１つのパラメータの現在値により、目標ニュースクラスタのナレーションの確定から、前記ナレーションに対応する映像の生成までのプロセスを再び実行するように構成される映像再生成ユニットをさらに含む請求項６１に記載の装置。
【請求項６３】
１つ又は複数のプロセッサと、
１つ又は複数のプログラムが記憶される記憶装置と、を備えるサーバであって、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１〜３１のいずれか１項に記載の方法を実現させるサーバ。
【請求項６４】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムが１つ又は複数のプロセッサにより実行されると、請求項１〜３１のいずれか１項に記載の方法を実現するコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願の実施例はコンピュータの技術分野に関し、具体的には、映像を生成するための方法及び装置に関する。
【背景技術】
【０００２】
ネットワーク技術の発展に伴い、世界中の様々な種類のニュースを様々なメディアを通じてユーザに公開できる。同じニュースイベントに対しても、さまざまなメディア（例えば、ニュースウェブサイトやニュースアプリケーションなど）が異なるニュースに編集してしまうことがあり、異なるメディアによるニュースの眼目には多少の違いがあるが、同一ニュースイベントを報道した各ニュースには多少重なる情報がある。
【０００３】
ユーザにとって、必要な情報を抽出するために複数のニュース記事を読む必要があり、その結果、ユーザがニュースを取得する効率が低下する恐れがある。ユーザのニュース取得効率を向上させるために、同一ニュースイベントを対象とする複数のニュースを集約して、複数のニュースの中の冗長情報を除去して、ニュースイベントのみに関するナレーションを抽出することができる。
【発明の概要】
【０００４】
本出願の実施例は、映像を生成するための方法及び装置を開示する。
【０００５】
第１態様において、本出願の実施例は映像を生成するための方法を提供し、各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定するステップと、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成するステップと、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するステップと、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するステップと、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成するステップとを含む。
【０００６】
第２態様において、本出願の実施例は映像を生成するための装置を提供し、該装置は、各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定するように構成されるナレーション確定ユニットと、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成するように構成される音声生成ユニットと、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するように構成される素材リソースセット確定ユニットと、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される素材リソースシーケンス確定ユニットと、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成するように構成される映像生成ユニットを備える。
【０００７】
第３態様において、本出願の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプログラムが記憶される記憶装置を備えるサーバであって、上記１つ又は複数のプログラムが上記１つ又は複数のプロセッサにより実行される際、上記１つ又は複数のプロセッサに第１態様におけるいずれかの実現方式に記載の方法を実現させるサーバを提供する。
【０００８】
第４態様において、本出願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムが１つ又は複数のプロセッサにより実行される際に第１態様におけるいずれかの実現方式に記載の方法を実現するコンピュータ可読記憶媒体を提供する。
【０００９】
第５態様において、本出願の実施例は、インターフェースと、１つ又は複数のプログラムが記憶されるメモリと、動作上に上記インターフェースと上記メモリに接続される１つ又は複数のプロセッサであって、各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定するステップと、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成するステップと、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するステップと、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するステップと、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成するステップに用いられる１つ又は複数のプロセッサとを備えるほかのサーバを提供する。
【００１０】
第６態様において、本出願の実施例は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、ここで、上記コンピュータプログラムが１つ又は複数のプロセッサにより実行される際、上記１つ又は複数のプロセッサは、各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定するステップと、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成するステップと、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するステップと、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するステップと、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成するステップを実行する。
【００１１】
ユーザがニュースを取得する効率を高めるように、従来技術において常にニュースクラスタのナレーションを生成し、ユーザが文字形式のナレーションを読むことによりニュースの要約を取得する必要があり、ナレーションに対応する映像が生成されていない。本出願の実施例により提供される映像を生成するための方法と装置は、まず、各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定し、その後、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成し、また、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する候補素材リソースのセットを確定し、ここで、候補素材リソースは映像又は画像であり、次に、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定し、最後、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成することで、目標ニュースクラスタに対してナレーションとナレーションに対応する映像を生成することを実現した。
【図面の簡単な説明】
【００１２】
以下の図面を合わせた非制限性実施例に対する詳しい説明を閲覧することを通して、本出願のほかの特徴、目的及びメリットがさらに明確になる。
【図１】本出願の１つの実施例を適用できる例示的なシステムアーキテクチャ図である。
【図２Ａ】本出願による映像を生成するための方法の一実施例のフローチャートである。
【図２Ｂ】本出願によるステップ２０１の一実施例の分解フローチャートである。
【図２Ｃ】本出願によるステップ２０１２の一実施例の分解フローチャートである。
【図２Ｄ】本出願によるステップ２０３の一実施例の分解フローチャートである。
【図２Ｅ】本出願によるステップ２０３３の一実施例の分解フローチャートである。
【図２Ｆ】本出願によるステップ２０４の一実施例の分解フローチャートである。
【図２Ｇ】本出願によるステップ２０４１の一実施例の分解フローチャートである。
【図２Ｈ】本出願によるステップ２０４１２の一実施例の分解フローチャートである。
【図２Ｉ】本出願によるステップ２０５の一実施例の分解フローチャートである。
【図２Ｊ】本出願によるステップ２０５のもう１つの実施例の分解フローチャートである。
【図３】本出願による映像を生成するための方法の１つの適用シーンの概略図である。
【図４Ａ】本出願による映像を生成するための方法のもう１つの実施例のフローチャートである。
【図４Ｂ】本出願によるステップ４０１の一実施例の分解フローチャートである。
【図５】本出願による学習ネットワークトレーニングステップを強調した一実施例の分解フローチャートである。
【図６】本出願による映像を生成するための装置の一実施例の構造概略図である。
【図７】本出願の実施例を実現するためのサーバに適するコンピュータシステムの構造概略図である。
【発明を実施するための形態】
【００１３】
次に図面及び実施例を参照しながら本出願をさらに詳しく説明する。ここに説明する具体的な実施例は関連発明を解釈するためのものであり、本出願を限定するものではないことを理解すべきである。なお、説明の便宜上、図面中に関連発明に関する部分のみを示す。
【００１４】
なお、矛盾しない場合、本出願における実施例及び実施例における特徴は互いに組み合わせることができる。次に図面を合わせて実施例を結合して本出願を詳しく説明する。
【００１５】
図１は、本出願の映像を生成するための方法、又は映像を生成するための装置の実施例を適用できる例示的なシステムアーキテクチャ１００を示す。
【００１６】
図１に示すように、システムアーキテクチャ１００は端末装置１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでもよい。ネットワーク１０４は端末装置１０１、１０２、１０３とサーバ１０５の間に通信リンクの媒体を提供することに用いられる。ネットワーク１０４は様々な接続タイプ、例えば、有線、無線通信リンク又は光ファイバケーブルなどを含んでもよい。
【００１７】
ユーザは、メッセージなどを受信又は送信するように、端末装置１０１、１０２、１０３を用いて、ネットワーク１０４を介してサーバ１０５とのインタラクションを行うことができる。端末装置１０１、１０２、１０３に、ウェブブラウザーアプリケーション、ショッピングアプリケーション、検索アプリケーション、インスタントメッセージングツール、電子メールクライアント、ソーシャルプラットフォームソフトウェアなどの様々な通信クライアントアプリケーションをインストールできる。
【００１８】
端末装置１０１、１０２、１０３はハードウェアであってもよく、ソフトウェアであってもよい。端末装置１０１、１０２、１０３がハードウェアである場合、スマートフォン、タブレット、電子書籍リーダー、ＭＰ３（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩ，動画専門家集団による音響形式第３層型）プレーヤー、ＭＰ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＶ，動画専門家集団による音響形式第４層型）プレーヤー、ラップトップコンピュータ、デスクトップコンピュータなどのディスプレイ付きの様々な電子機器であってもよい。端末装置１０１、１０２、１０３がソフトウェアである場合、上記電子機器にインストールすることができる。それらは複数のソフトウェア又はソフトウェアモジュールとして実現されてもよく、さらに、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここで特に限定しない。
【００１９】
サーバ１０５は端末装置１０１、１０２、１０３に表示されるニュースウェブサイトをサポートするバックグラウンドウェブサイトサーバなどの様々なサービスを提供するサーバであってもよい。バックグラウンドウェブサイトサーバは、受信したニュースウェブサイトのページリクエストなどのデータに対して分析などの処理を行い、且つ処理結果（例えば、ニュースウェブサイトのページデータ）を端末装置にフィードバックできる。
【００２０】
なお、本出願の実施例により提供される映像を生成するための方法は通常サーバ１０５により実行され、対応して、映像を生成するための装置は通常サーバ１０５の中に設置される。
【００２１】
なお、サーバ１０５はハードウェアであってもよく、ソフトウェアであってもよい。サーバ１０５はハードウェアである場合、複数のサーバからなる分散型サーバクラスタとして実現されてもよく、さらに、単一のサーバとして実現されてもよい。サーバ１０５はソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、ニュースウェブサイトのページサービスを提供することに用いられる）として実現されてもよく、さらに、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよく、ここで特に限定しない。
【００２２】
図１における端末装置、ネットワーク及びサーバの数は例示的なものであることを理解すべきである。実現の需要に応じて、任意の数の端末装置、ネットワーク及びサーバを備えてもよい。
【００２３】
引き続き、本出願による映像を生成するための方法の一実施例のフロー２００を示す図２Ａを参照されたい。この映像を生成するための方法は、以下のステップを含む。
【００２４】
ステップ２０１において、目標ニュースクラスタのナレーションを確定する。
【００２５】
本実施例において、映像を生成するための方法の実行主体（例えば、図１に示されるサーバ）はまず、上記実行主体としてのネットワークに接続される電子機器から目標ニュースクラスタをローカル又はリモートで取得することができる。ここで、目標ニュースクラスタは同一ニュースイベントを対象とする少なくとも１つのニュースにより構成される。
【００２６】
ここで、ニュースイベントとは、最近の第３所定持続時間内（例えば、３ヶ月以内）に発生したイベントを指す。
【００２７】
ここで、ニュースは、様々な形式のニュースイベントを対象とする電子データであってもよく、且つニュースにはいずれも対応する生成時間を対応して注釈することができる。ニュースは、テキスト、画像、音声及び映像の少なくとも１項を含むことができる。例えば、ニュースはウェブページであってもよく、また、テキスト、画像、音声及び映像の少なくとも１項を含む様々なドキュメントであってもよい。ニュースはテキスト、画像又は映像のみであってもよい。
【００２８】
実際に、取得されたニュースには対応するニュースイベントがマークアップされることができる。それにより、上記実行主体はまず、最近の第１所定持続時間内（例えば、１日以内）に生成したニュースを取得し、その後に取得した少なくとも１つのニュースを、対応するニュースイベントによって異なるニュースクラスタとして構成することができる。
【００２９】
取得したニュースには対応するニュースイベントがマークアップされていない場合、上記実行主体はまず、最近の第１所定持続時間内（例えば、１日以内）に生成したニュースを取得し、その後に取得したニュースに対して様々なに実現方式を用いてクラスタリングを行い、クラスタリングにより取得した同一カテゴリのニュースを１つのニュースクラスタとして構成し、異なるクラスタリングにより取得したニュースは異なるニュースクラスタに属し、さらに、少なくとも１つのニュースクラスタを取得することができることが理解される。例えば、実際に、ニュースは通常、ニュースヘッドラインを備え、上記実行主体は取得した各ニュースのニュースヘッドラインに対してクラスタリングを行い、ニュースヘッドラインのクラスタを該ニュースヘッドラインに対応するニュースのクラスタとすることができる。
【００３０】
その後、上記実行主体（例えば、図１に示すサーバ）は、様々な実現方式を用いて目標ニュースクラスタのナレーションを確定することができる。ここで、上記ナレーションは少なくとも１つの段落を含むことができる。
【００３１】
本実施例の一部の選択可能な実現方式において、ステップ２０１は図２Ｂに示すステップ２０１１からステップ２０１２を含んでもよい。本出願によるステップ２０１の一実施例の分解フローチャートを示す図２Ｂを参照されたい。
【００３２】
ステップ２０１１、目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定する。
【００３３】
ここで、上記実行主体は様々な実現方式を用いて、目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定することができる。
【００３４】
一部の実現方式において、ステップ２０１１は下記の通りに行うことができる。
【００３５】
まず、該ニュースの少なくとも１種の特徴における特徴値を抽出する。
【００３６】
例えば、少なくとも１種の特徴は、ニュースに含まれる文字数、ニュースに含まれる異なる単語の単語数、ニュースに含まれる画像の数、ニュースに含まれる映像の数、ニュースが閲覧される回数、ニュースが転送される回数、目標ニュースクラスタにおける各ニュースに含まれる文字の文字数の合計、目標ニュースクラスタにおける各ニュースに含まれる異なる単語の単語数の合計、目標ニュースクラスタにおける各ニュースに含まれる画像の数の合計、目標ニュースクラスタにおける各ニュースに含まれる映像の数の合計、目標ニュースクラスタにおける各ニュースが閲覧された回数の合計、目標ニュースクラスタにおける各ニュースが転送された回数の合計を含むことができるが、それらに限定されない。
【００３７】
次に、抽出された少なくとも１種の特徴値に基づき、該ニュースのナレーションの生成に適する点数を確定する。
【００３８】
ここで、様々な実現方式を用いて、上記抽出された少なくとも１種の特徴値に基づき、該ニュースのナレーションの生成に適する点数を確定することができる。
【００３９】
例えば、上記抽出された少なくとも１種の特徴値を、各種の特徴の予め設定された重みによって加重合計を行い、且つ加重合計の結果を該ニュースのナレーションの生成に適する点数として確定することができる。
【００４０】
さらに、例えば、以下の比率を先に確定することができる。
【００４１】
（１）ニュースに含まれる文字数と目標ニュースクラスタにおける各ニュースに含まれる文字数の合計との比率；
【００４２】
（２）ニュースに含まれる異なる単語の単語数と目標ニュースクラスタにおける各ニュースに含まれる異なる単語の単語数の合計との比率；
【００４３】
（３）ニュースに含まれる画像の数と目標ニュースクラスタにおける各ニュースに含まれる画像の数の合計との比率；
【００４４】
（４）ニュースに含まれる映像の数と目標ニュースクラスタにおける各ニュースに含まれる映像の数の合計との比率；
【００４５】
（５）ニュースの閲覧回数と目標ニュースクラスタにおける各ニュースの閲覧回数の合計との比率；
【００４６】
（６）ニュースの転送回数と目標ニュースクラスタにおける各ニュースの転送回数の合計との比率。
【００４７】
その後、上記確定された各比率を、該比率の予め確定された重みによって加重合計を行い、且つ加重合計の結果を該ニュースのナレーションの生成に適する点数として確定することができる。
【００４８】
一部の実現方式において、ステップ２０１１は下記の通りに行ってもよい。
【００４９】
該ニュースに含まれるテキストを、予めトレーニングした点数計算モデルに入力し、該ニュースのナレーションの生成に適する点数を得る。
【００５０】
ここで、点数計算モデルは、テキストと、ナレーションの生成に適するテキストの点数との対応関係を特徴付けることに用いられる。
【００５１】
例として、点数計算モデルは、技術者がテキストに対して特徴抽出を行うことにより得られた大量の特徴ベクトルと該テキストのナレーションの生成に適する点数注釈結果の統計に基づいて予め作成した、複数の特徴ベクトルとナレーションの生成に適する点数との対応関係を記憶する対応関係表であってもよく、また、技術者が大量データの統計に基づいて予め設定して上記電子機器の中に記憶した、テキストに対して特徴抽出を行うことにより得られた特徴ベクトルにおける１つ又は複数の数値を計算して取得した該テキストのナレーションの生成に適する点数を特徴付けるための計算式であってもよい。
【００５２】
一部の実現方式において、上記電子機器は予め以下の点数計算モデルのトレーニングステップによってトレーニングして点数計算モデルを取得できる。
【００５３】
まず、第１トレーニングサンプルセットを取得できる。
【００５４】
ここで、第１トレーニングサンプルは、過去のニュースに含まれるテキストと過去のニュースに対応するナレーションの生成に適する注釈点数を含んでもよい。例えば、過去のニュースに対してナレーションの生成に適する注釈点数を手動で注釈することができる。
【００５５】
次に、初期点数計算モデルのモデル構造を確定し、及び初期点数計算モデルのモデルパラメータを初期化することができる。
【００５６】
ここで、点数計算モデルのトレーニングステップの実行主体は映像を生成するための方法の実行主体と同じても、異なっていてもよい。同じである場合、点数計算モデルのトレーニングステップの実行主体はトレーニングにより点数計算モデルを取得した後に、トレーニング済み点数計算モデルのモデル構造情報とモデルパラメータのパラメータ値をローカルに記憶することができる。異なる場合、点数計算モデルのトレーニングステップの実行主体はトレーニングにより点数計算モデルを取得した後に、トレーニング済み点数計算モデルのモデル構造情報とモデルパラメータのパラメータ値を、映像を生成するための方法の実行主体に送信することができる。
【００５７】
ここで、点数計算モデルは様々なタイプの計算モデルを含むことができるため、異なるタイプの計算モデルに対して、確定する必要があるモデル構造情報も異なる。
【００５８】
選択可能に、初期点数計算モデルは畳み込みニューラルネットワークを含むことができる。畳み込みニューラルネットワークは多層ニューラルネットワークであるため、各層は複数の二次元平面により構成され、各平面が複数の独立したニューロンにより構成され、ここで、畳み込みニューラルネットワークタイプの初期特徴抽出モデルがどの層（例えば、畳み込み層、プーリング層、活性化関数層など）を含むか、層間の接続順序関係、及び各層がどのようなパラメータ（例えば、重みｗｅｉｇｈｔ、バイアスｂｉａｓ、畳み込みのストライド）を含むかなどを確定する必要がある。ここで、畳み込み層は特徴抽出に利用され得る。各畳み込み層に対して、いくつかの畳み込みカーネルがあるか、各畳み込みカーネルのサイズ、各畳み込みカーネルにおける各ニューロンの重み、各畳み込みカーネルに対応するバイアスアイテム、隣接する２回の畳み込み間のストライド、充填する必要があるか、充填する必要がある画素点、及び充填用の数値（通常０である）などを確定することができる。プーリング層は、データとパラメータの量を圧縮して、過剰適合を減少するために、入力された情報に対してダウンサンプリング（Ｄｏｗｎ  Ｓａｍｐｌｅ）を行うことができる。各プーリング層に対して該プーリング層のプーリング方法（例えば、区域平均値又は区域最大値を取る）を確定することができる。活性化関数層は入力された情報に対して非線形計算を行うことに用いられる。各活性化関数層に対して具体的な活性化関数を確定することができる。例えば、活性化関数はＲｅＬＵ及びＲｅＬＵの様々な変換活性化関数、Ｓｉｇｍｏｉｄ関数、Ｔａｎｈ（双曲線正接）関数、Ｍａｘｏｕｔ関数などであってもよい。
【００５９】
その後、初期点数計算モデルのモデルパラメータを初期化することができる。実際に、初期点数計算モデルの各モデルパラメータを異なる小さな乱数で初期化を行うことができる。「小さな乱数」は、重みが大きすぎることにより、モデルが飽和状態になることを原因で、トレーニングの失敗をもたらすことを回避できるように確保し、「異なる乱数」によりモデルの正常な学習を確保できる。
【００６０】
次に、第１トレーニングサンプルセットにおける第１トレーニングサンプルの中の過去のニュースに含まれるテキストと過去のニュースに対応するナレーションの生成に適する点数をそれぞれ初期点数計算モデルの入力と所望出力とし、機械学習方法を利用して初期点数計算モデルをトレーニングする。
【００６１】
具体的に、まず、第１トレーニングサンプルセットにおける第１トレーニングサンプルの中の過去のニュースに含まれるテキストを初期点数計算モデルに入力して、過去のニュースに含まれるテキストに対応する点数を取得できる。その後、得られた点数と該第１トレーニングサンプルにおける注釈点数との差を計算することができる。最後に、計算により取得した差に基づいて、初期点数計算モデルのモデルパラメータを調整し、且つ所定の第１トレーニング終了要件を満たす状況において、トレーニングを終了する。例えば、ここで、所定の第１トレーニング終了要件は、トレーニング時間が第４所定持続時間を超えること、トレーニング回数が第１所定回数を超えること、計算により取得した差が第１所定差閾値より小さいことのうち少なくとも１項を含むことができる。
【００６２】
ここで、様々な実現方式を用いて、得られた点数と該第１トレーニングサンプルにおける注釈点数との差に基づいて、初期点数計算モデルのモデルパラメータを調整することができる。例えば、確率的勾配降下（ＳＧＤ，Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）、ニュートン法（Ｎｅｗｔｏｎ’ｓ  Ｍｅｔｈｏｄ）、準ニュートン法（Ｑｕａｓｉ−Ｎｅｗｔｏｎ  Ｍｅｔｈｏｄｓ）、共役勾配法（Ｃｏｎｊｕｇａｔｅ  Ｇｒａｄｉｅｎｔ）、ヒューリスティックな最適化手法及びほかの既知又は未来に開発しようとする様々な最適化アルゴリズムを用いることができる。
【００６３】
最後に、トレーニングにより取得した初期点数計算モデルを予めトレーニングした点数計算モデルとして確定することができる。
【００６４】
ステップ２０１２：目標ニュースに基づいて、目標ニュースクラスタのナレーションを生成する。
【００６５】
ステップ２０１１において、目標ニュースクラスタにおける各ニュースのナレーションの生成に適する点数が既に確定され、ここで、上記実行主体はまず目標ニュースクラスタの中のナレーションの生成に適する点数が最も高いニュースを目標ニュースとして確定することができる。その後、様々な実現方式を用いて、目標ニュースに基づいて、目標ニュースクラスタのナレーションを生成することができる。
【００６６】
一部の実現方式において、ステップ２０１２は下記のとおりに実行され得る。目標ニュースに含まれるテキストに対して要約抽出を行い、且つ要約抽出により得られた要約テキストを目標ニュースクラスタのナレーションとして確定する。
【００６７】
一部の実現方式において、ステップ２０１２は図２Ｃに示されるステップ２０１２１からステップ２０１２４を含んでもよい。本出願によるステップ２０１２の一実施例の分解フローチャートを示す図２Ｃを参照されたい。
【００６８】
ステップ２０１２１：目標ニュースに含まれるテキストを目標テキストとして確定する。
【００６９】
ここで、上記実行主体はまず目標ニュースクラスタにおけるナレーションの生成に適する点数が最も高いニュースを目標ニュースとして確定することができる。その後、目標ニュースに含まれるテキストを目標テキストとして確定することができる。
【００７０】
ステップ２０１２２：目標テキストに含まれるナレーションに不適切なテキストを削除する。
【００７１】
ここで、上記実行主体は目標テキストに含まれるナレーションに不適切なテキストを削除することができる。ここで、ナレーションに不適切なテキストは予め確定したナレーションに不適切なテキストのセットにおけるテキストであってもよい。実際に、ナレーションに不適切なテキストのセットは技術者が大量過去のニュースにおける抽出されたナレーションに不適切なテキスト（例えば、「当社記者から」、「上図に示すように」、「下図に示すように」、「現場からの報道」、「現場記者からの重大なニュース」、「現場発の報道」、「記者の現場の観衆へのインタビューにより」）の統計に基づいて予め作成したテキストのセットであってもよい。
【００７２】
ステップ２０１２２により、目標テキストにおける無効情報を減少し、さらに、最後に生成するナレーションの有効情報内容の比率を増やすことができる。
【００７３】
ステップ２０１２３：目標テキストに含まれる書き言葉を同じ意味の話し言葉に置き換える。
【００７４】
ここで、上記実行主体は、様々な実現方式を用いて目標テキストに含まれる書き言葉を同じ意味の話し言葉に置き換えることができる。ここで、上記書き言葉と話し言葉はそれぞれ予め確定した書き言葉と話し言葉の対応関係表における書き言葉と対応する話し言葉であってもよい。実際に、上記書き言葉と話し言葉の対応関係表は技術者が大量コーパスから抽出した書き言葉と対応する同じ意味の話し言葉に対する統計に基づいて予め作成した対応関係表であってもよい。
【００７５】
ステップ２０１２３により、目標テキストにおける書き言葉が話し言葉に置き換えられることで、目標テキストがさらにナレーションに適するようになる。
【００７６】
ステップ２０１２４：目標テキストから要約を抽出することにより得られた要約テキストを目標ニュースクラスタのナレーションとして確定する。
【００７７】
一部の実現方式において、上記実行主体は、目標テキストから要約を抽出することにより得られた要約テキストを目標ニュースクラスタのナレーションとして直接確定することができる。
【００７８】
一部の実現方式において、ステップ２０１２４は下記の通りに行っていてもよい。
【００７９】
まず、所定最大話速と所定最大音声持続時間に応じてナレーションの最大文字数を確定する。
【００８０】
ここで、所定最大話速は、ナレーションの対応する音声を生成しようとする場合、生成した音声単位時間（例えば、１秒）内に含まれる最大文字数を表す。
【００８１】
ここで、所定最大音声持続時間は、ナレーションの対応する音声を生成しようとする場合、生成した音声の最大再生持続時間を表す。例えば、ナレーションの対応する短い映像を生成しようとする場合、所定最大音声持続時間は９０秒間であってもよい。
【００８２】
ここで、所定最大話速と所定最大映像持続時間は技術者によって事前確定されたものであってもよく、当然ながら、所定最大話速と所定最大映像持続時間を修正するように、所定最大話速と所定最大映像持続時間を修正するインターフェースを提供してもよい。
【００８３】
所定最大話速と所定最大音声持続時間を取得すると、所定最大話速と所定最大音声持続時間との積をナレーションの最大文字数として確定することができる。
【００８４】
次に、目標テキストに対して要約抽出を行う。
【００８５】
ここで、様々な実現方式を用いて目標テキストから要約を抽出し、且つ抽出された要約テキストの文字数が確定されたナレーションの最大文字数より少ない。
【００８６】
最後に、抽出された要約テキストを目標ニュースクラスタのナレーションとして確定する。
【００８７】
ここで、抽出された文字数がナレーションの最大文字数より少ない要約テキストを目標ニュースクラスタのナレーションとして確定することができる。
【００８８】
上記実現方式に基づいて確定したナレーションの文字数は、所定最大話速と所定最大音声持続時間の要件を満たすことができる。
【００８９】
なお、テキストに対して要約抽出を行うことは、現在で幅広く研究と応用している従来技術であり、ここで贅言しない。
【００９０】
図２Ｃに示される選択可能な実現方式のステップ２０１２を用いれば、目標ニュースに含まれるテキストからナレーションに不適切なテキストの比率を減少し、さらに、ナレーションに適するテキストの比率を増やし、及び書き言葉を話し言葉に置き換えることで、目標ニュースに含まれるテキストがさらに人間の話し習慣に沿うナレーションに適するようになる。
【００９１】
ステップ２０２：音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成する。
【００９２】
ここで、上記実行主体は音声合成技術を利用して、目標ニュースクラスタのナレーションにおける各段落に対応する音声を生成することができる。
【００９３】
なお、音声合成技術は、現在で幅広く研究と応用している従来技術であり、ここで贅言しない。
【００９４】
ステップ２０３：目標ニュースクラスタに含まれる映像と画像に基づいて、ナレーションに対応する候補素材リソースセットを確定する。
【００９５】
本実施例において、上記実行主体は、様々な実現方式を用いて、目標ニュースクラスタに含まれる映像と画像に基づいて、ナレーションに対応する候補素材リソースセットを確定することができる。
【００９６】
本実施例の一部の選択可能な実現方式において、ステップ２０３は下記の通りに行っていてもよい。目標ニュースクラスタに含まれる映像と画像を、ナレーションに対応する候補素材リソースセットとして確定する。
【００９７】
本実施例の一部の選択可能な実現方式において、ステップ２０３は図２Ｄに示されるステップ２０３１からステップ２０３３を含んでもよい。本出願によるステップ２０３の一実施例の分解フローチャートを示す図２Ｄを参照されたい。
【００９８】
ステップ２０３１：目標ニュースクラスタに含まれる各映像に対して意味的分割を行うことにより得られた少なくとも１つの映像セグメントを目標映像セットとして確定する。
【００９９】
ステップ２０３２：目標ニュースクラスタに含まれる各画像を目標画像セットとして確定する。
【０１００】
ステップ２０３３：目標映像セットと目標画像セットに基づいて、ナレーションに対応する候補素材リソースセットを確定する。
【０１０１】
ここで、候補素材リソースは映像又は画像であってもよい。
【０１０２】
一部の実現方式において、ステップ２０３３は図２Ｅに示されるステップ２０３３１からステップ２０３３３を含んでもよい。本出願によるステップ２０３３の一実施例の分解フローチャートを示す図２Ｅを参照されたい。
【０１０３】
ステップ２０３３１：目標映像セットにおける各目標映像に対して、該目標映像を、予めトレーニングしたビビット映像検出モデルに入力して、該目標映像に対応するビビット映像検出結果を取得する。
【０１０４】
なお、上記ビビット映像検出モデルは、映像と、ビビット映像であるか否かを示すビビット映像検出結果との対応関係を特徴付けることに用いられる。ここで、ビビット映像検出モデルは、下記のビビット映像検出モデルトレーニングステップに基づいて予めトレーニングして取得することができる。
【０１０５】
まず、第２トレーニングサンプルセットを取得できる。
【０１０６】
ここで、ビビット映像検出モデルトレーニングステップの実行主体は映像を生成するための方法の実行主体と同じものにしてもよく、異なるものにしてもよい。実行主体が同じの場合、ビビット映像検出モデルトレーニングステップの実行主体はトレーニングによりビビット映像検出モデルを取得した後に、トレーニング済みビビット映像検出モデルのモデル構造情報とモデルパラメータのパラメータ値をローカルに記憶することができる。実行主体が異なる場合、ビビット映像検出モデルトレーニングステップの実行主体はトレーニングによりビビット映像検出モデルを取得した後に、トレーニング済みビビット映像検出モデルのモデル構造情報とモデルパラメータのパラメータ値を映像生成方法の実行主体に送信することができる。
【０１０７】
ここで、第２トレーニングサンプルは、過去のニュース映像と、過去の映像がビビット映像であるか否かを示すための注釈結果とを含んでもよい。実際に、過去のニュース映像がビビット映像であるか否かを示すための注釈結果を手動で行うことができる。
【０１０８】
ここで、ビビット映像は、ユーザが関心を持ち且つ見たい映像であり、非ビビット映像はユーザが関心を持たず且つ見たくない映像である。
【０１０９】
例えば、司会者がテレビスタジオに座って、「今日は２０１９年２月１日、金曜日です」という映像セグメントは非ビビット映像として注釈することができ、ある国家の指導者が飛行機から降りてほかの国の指導者に会う映像セグメントはビビット映像として注釈することができる。
【０１１０】
次に、初期ビビット映像検出モデルのモデル構造を確定し、及びビビット映像検出モデルのモデルパラメータを初期化することができる。
【０１１１】
ここで、ビビット映像検出モデルは様々なタイプのモデルを含むことができるため、異なるタイプのモデルに対して、確定する必要があるモデル構造情報も異なる。
【０１１２】
選択可能に、初期ビビット映像検出モデルはニューラルネットワークを含むことができ、ここで、初期ビビット映像検出モデルの層（例えば、畳み込み層、プーリング層、活性化関数層など）、層間の接続順序関係、及び各層のパラメータ（例えば、重みｗｅｉｇｈｔ、バイアスｂｉａｓ、畳み込みのストライド）を確定する必要がある。
【０１１３】
その後、初期ビビット映像検出モデルのモデルパラメータを初期化することができる。実際に、初期ビビット映像検出モデルの各モデルパラメータを異なる小さな乱数で初期化を行うことができる。「小さな乱数」は、重みが大きすぎることにより、モデルが飽和状態になり、トレーニングの失敗をもたらすことを回避できるように確保し、「異なる」はモデルが正常に学習できることを確保する。
【０１１４】
次に、第２トレーニングサンプルセットにおける第２トレーニングサンプルの中の過去のニュース映像と過去のニュース映像に対応する注釈結果をそれぞれ初期ビビット映像検出モデルの入力と所望出力とし、機械学習方法を利用して初期ビビット映像検出モデルをトレーニングすることができる。
【０１１５】
具体的に、まず、第２トレーニングサンプルセットにおける第２トレーニングサンプルの中の過去のニュース映像を初期ビビット映像検出モデルに入力し、過去のニュース映像がビビット映像であるか否かという実際のビビット映像検出結果を得ることができる。その後、得られた実際のビビット映像検出結果と該第２トレーニングサンプルにおける注釈結果との差を計算することができる。最後に、計算により取得した差に基づいて、初期ビビット映像検出モデルのモデルパラメータを調整し、且つ所定の第２トレーニング終了要件を満たす状況において、トレーニングを終了することができる。例えば、ここで、所定の第２トレーニング終了要件は、トレーニング時間が第５所定持続時間を超えること、トレーニング回数が第２所定回数を超えること、計算により取得した差が第２所定差閾値より小さいことのうち、少なくとも１項を含むことができる。
【０１１６】
ここで、様々な実現方式を用いて、計算により得られた実際のビビット映像検出結果と該トレーニングサンプルにおける注釈点数との差に基づいて、初期ビビット映像検出モデルのモデルパラメータを調整することができる。例えば、確率的勾配降下、ニュートン法、準ニュートン法、共役勾配法、ヒューリスティックな最適化手法及びほかの既知又は未来に開発しようとする様々な最適化アルゴリズムを用いることができる。
【０１１７】
最後に、トレーニングにより取得した初期ビビット映像検出モデルを予めトレーニングしたビビット映像検出モデルとして確定することができる。
【０１１８】
ステップ２０３３２：目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられる目標映像を削除する。
【０１１９】
即ち、ここで、目標映像セットにおける非ビビット映像が削除され、目標映像セットにおけるビビット映像が残される。
【０１２０】
ステップ２０３３３：目標映像セットと目標画像セットを合併して、ナレーションに対応する候補素材リソースセットを取得する。
【０１２１】
図２Ｅに示される実現方式に基づいて取得した候補素材リソースセットにおける映像において、非ビビット映像が削除され、ビビット映像が残される。候補素材リソースセットにおける素材リソースの数が減ったため、後続のナレーションにおける各段落に対応する候補素材シーケンスの確定に必要なコンピュータのリソース（例えば、ＣＰＵリソース、記憶リソースとＩ／Ｏリソース）の消耗を減少することができる。
【０１２２】
一部の実現方式において、上記実行主体はさらにステップ２０３３３を実行する前に以下のステップ２０３３４を実行することができる。
【０１２３】
ステップ２０３３４：目標映像セットにおける映像の再生持続時間が所定最小候補映像持続時間よりも短い映像を削除する。
【０１２４】
ここで、目標映像セットにおける再生持続時間が所定最小候補映像持続時間よりも短い映像に対して、該映像に示される内容が少なすぎるため、該映像が存在する価値がない可能性があり、候補素材リソースセットにおける素材リソースの数を減らすために、該映像を目標映像セットから削除する必要があり、それにより、後続のナレーションにおける各段落に対応する候補素材シーケンスの確定に必要なコンピュータのリソース（例えば、ＣＰＵリソース、記憶リソース及びＩ／Ｏリソース）の消耗を減少することができる。
【０１２５】
本実施例の一部の選択可能な実現方式において、ステップ２０３はさらに下記のように行うことができる。
【０１２６】
まず、目標ニュースクラスタに含まれる各映像に対して意味的分割を行うことにより得られた少なくとも１つの映像セグメントを目標映像セットとして確定する。
【０１２７】
次に、目標ニュースクラスタに含まれる各画像を目標画像セットとして確定する。
【０１２８】
その後、目標映像セットにおける映像の再生持続時間が所定最小候補映像持続時間よりも短い映像を削除する。
【０１２９】
最後に、目標映像セットと目標画像セットを合併して、ナレーションに対応する候補素材リソースセットを取得する。
【０１３０】
ステップ２０４：ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定する。
【０１３１】
本実施例において、上記実行主体は様々な実現方式を用いて、ナレーションにおける各段落に対し、ステップ２０３により確定した候補素材リソースセットから候補素材リソースを選択して、該段落に対応する候補素材リソースシーケンスを生成することができる。
【０１３２】
本実施例の一部の選択可能な実現方式において、ステップ２０４は図２Ｆに示されるステップ２０４１からステップ２０４２を含んでもよい。本出願によるステップ２０４の一実施例の分解フローチャートを示す図２Ｆを参照されたい。
【０１３３】
ステップ２０４１：ナレーションにおける各段落に対し、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定する。
【０１３４】
ここで、上記実行主体は様々な実現方式を用いることができ、ナレーションにおける各段落に対し、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定する。
【０１３５】
具体的に、候補素材リソースは映像又は画像であり得るため、ここで、テキストと映像とのマッチング度を計算する様々な方法を用いてナレーションにおける各段落と候補素材リソースセットにおける映像とのマッチング度を計算し、及び、テキストと画像とのマッチング度を計算する様々な方法を用いてナレーションにおける各段落と候補素材リソースセットにおける画像とのマッチング度を計算することができ、ここで具体的に限定しない。
【０１３６】
本実施例の一部の選択可能な実現方式において、ステップ２０４１は図２Ｇに示されるステップ２０４１１からステップ２０４１３を含んでもよい。本出願によるステップ２０４１の一実施例の分解フローチャートを示す図２Ｇを参照されたい。
【０１３７】
ステップ２０４１１：ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを確定する。
【０１３８】
ここで、様々な実現方式を用いて、段落に対応する意味ベクトルを確定することができ、即ち、計算の便宜上、段落をベクトル形式で表示することができる。
【０１３９】
例えば、バッグオブワードモデルを用いて段落に対応する意味ベクトルを生成することができる。具体的に言えば、Ｖをバッグオブワードモデルの中の辞書に含まれる単語の数にすれば、段落Ｐにとって、Ｐに含まれる辞書における１番目の単語からＶ番目の単語までの数をそれぞれｘ１からｘＶにすると、段落Ｐに対応するベクトルは｛ｘ１，ｘ２，…，ｘＶ｝である。
【０１４０】
また、例えば、段落に対して単語分割処理を行い、段落に対応する分割単語シーケンスを取得し、得られた分割単語シーケンスにおける各単語に対して、予め確定した単語ベクトル表において該分割単語に対応する単語ベクトルを検索し、その後、得られた分割単語シーケンスにおける各単語に対応する単語ベクトルによって該段落に対応する意味ベクトルを確定することができる。例えば、得られた分割単語シーケンスにおける各単語に対応する単語ベクトルの平均値ベクトルを、該段落に対応する意味ベクトルとして確定することができる。さらに、例えば、得られた分割単語シーケンスにおける各分割単語に対応する単語ベクトルの各次元値の中間値に対応するベクトルを、該段落に対応する意味ベクトルとして確定することができる。ここで、単語ベクトル表は単語と単語ベクトルとの対応関係を示す。単語ベクトル表は予めトレーニングして取得できる。例えば、統計に基づく方法又は言語モデルに基づく方法を用いて単語ベクトル表をトレーニングして取得することができる。
【０１４１】
例えば、統計に基づく方法は共起行列法であってもよく、それは事前にサイズを指定したウィンドウ内の単語の共起回数を統計することで、単語周辺の単語の共起回数を現在の単語の単語ベクトルとする。具体的に言えば、大量コーパステキストから共起行列を作成することにより、該コーパステキストに出現した単語における各単語に対応する単語ベクトルを定義して、単語ベクトル表を得ることができる。
【０１４２】
また、統計に基づく方法は特異値分解法であってもよい。共起行列法に高次元性とスパース性の問題が存在するため、特異値分解法は共起行列法により得られた行列に対して、特異値分解を行い、行列直交行列を取得し、直交行列に対して正規化を行って行列を取得して、該コーパステキストに出現した単語における各単語に対応する単語ベクトルを定義し、続いて単語ベクトル表を得る。
【０１４３】
言語モデルに基づいて単語ベクトル表を生成することは、ニューラルネットワーク言語モデル（ＮＮＬＭ，Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ｌａｎｇｕａｇｅ  Ｍｏｄｅｌ）のトレーニングにおいて、単語ベクトル表が言語モデルの付随品として作成されるものである。ＮＮＬＭの背後にある基本的な考え方は、コンテキストに現れる単語を予測することであり、このようなコンテキストに対する予測は実質的に共起統計特徴に対する学習である。例として、ＮＮＬＭを用いて単語ベクトルを生成する方法はＳｋｉｐ−ｇｒａｍ、ＣＢＯＷ、ＬＢＬ、ＮＮＬＭ、Ｃ＆Ｗ、ＧｌｏＶｅなどの方法を含むことができるが、それらに限定されない。
【０１４４】
ステップ２０４１２：候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを確定する。
【０１４５】
ここで、様々な実現方式を用いて候補素材リソースに対応する意味ベクトルを確定することができる。
【０１４６】
一部の実現方式において、ステップ２０４１２は図２Ｈに示されるステップ２０４１２１からステップ２０４１２３を含んでもよい。本出願によるステップ２０４１２の一実施例の分解フローチャートを示す図２Ｈを参照されたい。
【０１４７】
ステップ２０４１２１：該候補素材リソースが画像であるか、または映像であるかを判定する。
【０１４８】
該候補素材リソースが画像であると判定されると、ステップ２０４１２２へ進む。
【０１４９】
該候補素材リソースが映像であると判定されると、ステップ２０４１２２’ へ進む。
【０１５０】
ステップ２０４１２２：該画像候補素材リソースに対して意味的分割を行い、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を得る。
【０１５１】
ここで、ステップ２０４１２１において、該候補素材リソースが画像であると判定された状況において、様々な実現方式を用いて該画像候補素材リソースに対して意味的分割を行い、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を取得し、ここで、各意味注釈結果は１つの単語又はフレーズであり得る。例えば、該画像候補素材リソースが、草原でカモシカを追いかけるライオンの画像である場合、該画像に対して意味的分割を行うことにより取得した少なくとも１つの意味注釈結果は｛「ライオン」，「草原」，「カモシカ」｝であってもよい。
【０１５２】
なお、画像に対して意味的分割を如何に行うことは、現在で幅広く研究と応用している従来技術であり、ここで贅言しない。
【０１５３】
ステップ２０４１２３：得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに基づいて該候補素材リソースに対応する意味ベクトルを確定する。
【０１５４】
ステップ２０４１２２において少なくとも１つの意味注釈結果をすでに取得したが、ここで、先にステップ２０４１２２で得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルを確定することができる。その後、少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに基づいて該候補素材リソースに対応する意味ベクトルを確定することができ、例えば、平均値ベクトル又は中間値ベクトルの方法を用いることができる。
【０１５５】
ここで、各意味注釈結果に対応する単語ベクトルを確定する方法はステップ２０４１１における関連記述を参照することができる。
【０１５６】
ステップ２０４１２３を経て、ステップ２０４１２が終了する。
【０１５７】
ステップ２０４１２２’：該映像候補素材リソースに対してダウンサンプリングを行い、少なくとも１つのサンプル画像を得る。
【０１５８】
ここで、ステップ２０４１２１において該候補素材リソースが映像であると判定された状況において、様々な実現方式を用いて該映像候補素材リソースに対してダウンサンプリングを行い、少なくとも１つのサンプル画像を得ることができる。例えば、該候補素材リソースにおいて第１所定数（例えば、１０）のフレームの画像おきに第２所定数（例えば、１）のフレームの画像をサンプリングし、少なくとも１つのサンプル画像を得ることができる。
【０１５９】
ステップ２０４１２３’：少なくとも１つのサンプル画像における各サンプル画像に対して、該サンプル画像に対して意味的分割を行い、該サンプル画像に対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに基づいて該サンプル画像に対応する意味ベクトルを確定する。
【０１６０】
ここで、ステップ２０４１２３’において各サンプル画像に対して意味的分割を行い、及び、各サンプル画像に対して、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに基づいて、該サンプル画像に対応する意味ベクトルを確定する具体的な操作は、ステップ２０４１２３に記述した対応する具体的な操作と実質的に同じであり、ここで贅言しない。
【０１６１】
ステップ２０４１２４’：各サンプル画像に対応する意味ベクトルに基づき、該候補素材リソースに対応する意味ベクトルを確定する。
【０１６２】
ステップ２０４１２３’において各サンプル画像に対応する意味ベクトルをすでに取得したので、ここで、ステップ２０４１２３’により得られた各サンプル画像に対応する意味ベクトルに基づいて、該候補素材リソースに対応する意味ベクトルを確定することができる。例えば、各サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして確定することができる。さらに、例えば、各サンプル画像に対応する意味ベクトルの各次元の取り得る値の中間値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして確定することができる。
【０１６３】
ステップ２０４１２４’を経て、ステップ２０４１２が終了する。
【０１６４】
ステップ２０４１３：ナレーションにおける各段落に対応する意味ベクトルと候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定する。
【０１６５】
ここで、ベクトル同士間の類似度を計算する様々な方法を用いてナレーションにおける各段落に対応する意味ベクトルと候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を計算することができる。例えば、ベクトル同士間のユークリッド距離、マンハッタン距離、チェビシェフ距離、ミンコフスキー距離、標準化ユークリッド距離、マハラノビス距離、コサイン類似度、ハミング距離、ジャカード距離、ジャカード類似度係数、相関係数、相関距離および情報エントロピーなどを計算することにより、ベクトル同士間の類似度を確定することができる。
【０１６６】
ステップ２０４２：ナレーションにおける各段落と各候補素材リソースとのマッチング度、各候補素材リソースの再生持続時間及びナレーションにおける各段落のテキストの長さに基づいて、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定する。
【０１６７】
ここで、上記実行主体は様々な実現方式を用いて、ステップ２０４１に確定されたナレーションにおける各段落と各候補素材リソースとのマッチング度、各候補素材リソースの再生持続時間及びナレーションにおける各段落のテキストの長さに基づいて、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することができる。ここで、画像の再生持続時間は所定画像再生持続時間である。
【０１６８】
なお、ここで、映像タイプの候補素材リソースの再生持続時間は映像タイプの候補素材リソースの固有属性であり、不変である。画像タイプの候補素材リソースに対して、ここで、各画像タイプの候補素材リソースの再生持続時間を、一定の所定画像再生持続時間（例えば、３秒間）に設定することができる。それにより、すべての候補素材リソースはいずれも一定の再生持続時間属性を備えることができる。
【０１６９】
一部の実現方式において、ステップ２０４２は下記の通りに行っていてもよい。
【０１７０】
ナレーションにおける各段落に対して、第１プリセット最適化アルゴリズムを利用し、該段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、該段落に対応する候補素材リソースシーケンスと該段落のマッチング度が最も高いことを最適化目標とし、該段落に対応する候補素材リソースシーケンスを確定する。
【０１７１】
即ち、それぞれナレーションにおける各段落に対し、ステップ２０３に確定された候補素材リソースセットから順次配列された候補素材リソースを選択して、該段落に対応する候補素材リソースシーケンスを構成し、且つ、選択された該段落に対応する候補素材リソースシーケンスの再生持続時間は該段落に対応する再生持続時間に等しい。
【０１７２】
ここで、候補素材リソースシーケンスの再生持続時間は候補素材リソースシーケンスにおける各候補素材リソースの再生持続時間の合計である。段落に対応する再生持続時間は段落における文字数及び所定話速により確定される。例えば、所定話速は１秒間あたりＮ文字数である場合、段落における文字数はＭ個文字であれば、段落に対応する再生持続時間はＬ秒であり、ここで、ＬはＭをＮで割った比率である。
【０１７３】
ここで、第１プリセット最適化アルゴリズムは、制約要件と最適化目標を備える問題を解決できる様々な最適化アルゴリズムであってもよい。例えば、第１プリセット最適化アルゴリズムは動的計画アルゴリズムと経路最短最適化アルゴリズムを含むことができるが、それらに限定されない。
【０１７４】
一部の実現方式において、ステップ２０４２は下記の通りに行っていてもよい。
【０１７５】
第２プリセット最適化アルゴリズムを利用し、ナレーションにおける各段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、ナレーションにおける各段落に対応する候補素材リソースシーケンスと対応する段落のマッチング度の合計が最も大きいことを最適化目標とし、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定する。
【０１７６】
上記の選択可能な実現方式に比べて、ここでの最適化目標は上記の選択可能な実現方式の最適化目標と異なる。上記の選択可能な実現方式において各段落に対してそれぞれ最適化を行い、各段落と該段落に対応する候補素材リソースシーケンスのマッチング度が最も高いことを最適化目標とする。ここで、選択可能な実現方式は、ナレーションにおける各段落全体に対して最適化を行い、ナレーションにおける各段落に対応する候補素材リソースシーケンスと対応する段落とのマッチング度の合計が最も高いことを最適化目標とする。
【０１７７】
ここで、第２プリセット最適化アルゴリズムは、制約要件と最適化目標を備える問題を解決できる様々な最適化アルゴリズムであってもよい。例えば、第２プリセット最適化アルゴリズムは動的計画アルゴリズムと経路最短最適化アルゴリズムを含むことができるが、それらに限定されない。
【０１７８】
一部の実現方式において、ステップ２０４２により確定されたナレーションにおける各段落に対応する候補素材リソースシーケンスの中の候補素材リソースが互いに異なっていてもよい。それにより、後続のナレーションに対応する映像を生成するプロセス中に重複する画像又は映像が現れなく、生成された映像の読みやすさと鮮明さを高めることができる。ステップ２０４２で確定されたナレーションにおける各段落に対応する候補素材リソースシーケンスの中の候補素材リソースが互いに異なる場合、上記２種類の選択可能な実現方式における制約要件に、確定されたナレーションにおける各段落に対応する候補素材リソースシーケンスの中の候補素材リソースが互いに異なるという制約要件を追加する必要があることを理解できる。
【０１７９】
ステップ２０５：ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成する。
【０１８０】
本実施例において、上記実行主体は、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成することができる。
【０１８１】
一部の実現方式において、ステップ２０５は下記の通りに行っていてもよい。
【０１８２】
まず、ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第１音声を取得することができる。
【０１８３】
次に、ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第１映像を取得することができる。
【０１８４】
ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像である。
【０１８５】
最後に、得られた第１音声と第１映像を、それぞれナレーションに対応する映像における音声部分と映像部分として確定する。
【０１８６】
一部の実現方式において、ステップ２０５は図２Ｉに示されるステップ２０５１からステップ２０５６を含んでもよい。本出願によるステップ２０５の一実施例の分解フローチャートを示す図２Ｉを参照されたい。
【０１８７】
ステップ２０５１：ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得する。
【０１８８】
ここで、映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間との間の対応関係を表すことに用いられる。
【０１８９】
実際に、手動で編集されたニュース映像は通常司会者が発言する前に、映像が既に短時間再生された状態である。ナレーションを対象として生成した映像を人間の視聴習慣に合わせ、手動で編集されたニュース映像とさらに類似するように、予め大量の第３トレーニングサンプルに基づいて、映像アドバンス再生持続時間確定モデルをトレーニングすることができ、ここで、第３トレーニングサンプルはニュース映像サンプルに含まれるテキストと該ニュース映像サンプルにおけるナレーションの音声より早い映像の注釈時間を含むことができる。映像アドバンス再生持続時間確定モデルをトレーニングするステップは、上記点数計算モデルのトレーニングステップ又はビビット映像検出モデルのトレーニングステップとほぼ同じにすることができ、ここで贅言しない。
【０１９０】
ステップ２０５２：ナレーションにおける最後の段落以外の各段落に対して、ナレーションにおける該段落の前から後への順序に基づいて、映像段落編集ステップを実行する。
【０１９１】
ここで、映像段落編集ステップは以下の操作を含むことができる。
【０１９２】
第１、該段落の次の段落に対応する映像アドバンス再生持続時間を映像クリップ持続時間として決定する。
【０１９３】
第２、該段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、該段落に対応する映像を得る。
【０１９４】
第３、該段落に対応する映像末尾から映像クリップ持続時間分の映像を切り抜く。
【０１９５】
即ち、該解決手段は、ナレーションにおける第１段落以外の各段落に対応する映像をアドバンス再生し、且つ該段落の直前の段落の映像末尾を上書きすることであり、映像アドバンス再生と映像上書きの時間はステップ２０５１で確定した該段落に対応する映像アドバンス再生持続時間である。
【０１９６】
ステップ２０５３：ナレーションにおける最後の段落に対応する候補素材リソースシーケンスの中の各候補素材リソースを順次接続して、最後の段落に対応する映像を取得する。
【０１９７】
ステップ２０５４：ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第２映像を取得する。
【０１９８】
ステップ２０５５：ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第２音声を取得する。
【０１９９】
ステップ２０５６：得られた第２音声と第２映像を、それぞれナレーションに対応する映像における音声部分と映像部分として確定する。
【０２００】
本実施例の一部の選択可能な実現方式において、ステップ２０５は図２Ｊに示されるステップ２０５１’からステップ２０５５’を含んでもよい。本出願によるステップ２０５のもう１つの実施例の分解フローチャートを示す図２Ｊを参照されたい。
【０２０１】
ステップ２０５１’：ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得する。
【０２０２】
ここで、ステップ２０５１’の具体的な操作はステップ２０５１の操作とほぼ同じであり、ここで贅言しない。
【０２０３】
ステップ２０５２’：ナレーションにおける最後の段落以外の各段落に対して、ナレーションにおける該段落の前から後への順序に基づいて、音声段落延長ステップを実行する。
【０２０４】
ここで、音声段落延長ステップは以下の操作を含むことができる。
【０２０５】
第１、該段落の次の段落に対応する映像アドバンス再生持続時間を音声延長時間として決定する。
【０２０６】
第２、該段落に対応する音声末尾に決定された音声延長時間分の無音再生持続時間を追加する。
【０２０７】
即ち、該解決手段は、ナレーションにおける第１段落以外の各段落に対応する映像をアドバンス再生し、且つ該段落の直前の段落の音声末尾に無音再生持続時間を追加することであり、映像アドバンス再生と音声延長時間はステップ２０５１’で確定された該段落に対応する映像アドバンス再生持続時間である。
【０２０８】
ステップ２０５３’：ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第３音声を取得する。
【０２０９】
ステップ２０５４’：ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第３映像を取得する。
【０２１０】
ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像である。
【０２１１】
ステップ２０５５’：得られた第３音声と第３映像を、それぞれナレーションに対応する映像における音声部分と映像部分として決定する。
【０２１２】
引き続き、本実施例による映像を生成するための方法の適用シーンの概略図である図３を参照されたい。図３の適用シーンにおいて、ニュースウェブサイトをサポートするサーバ３０１は、まず目標ニュースクラスタ３０２のナレーション３０３を決定し、その後、サーバ３０１は音声合成技術を利用して、ナレーション３０３における各段落に対応する音声３０４を生成し、次に、サーバ３０１は目標ニュースクラスタ３０２に含まれる映像と画像に基づいて、ナレーションに対応する候補素材リソースセット３０５を確定し、その後、サーバ３０１はナレーション３０３における各段落に対応する候補素材リソースシーケンス３０６を確定し、最後に、サーバ３０１はナレーション３０３における各段落に対応する音声３０４と候補素材リソースシーケンス３０６に基づいて、ナレーションに対応する映像３０７を生成することができる。
【０２１３】
本出願の上記実施例により提供される方法は、まず、それぞれのニュースが同一ニュースイベントを対象とする目標ニュースクラスタのナレーションを確定し、その後、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成し、次に、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する候補素材リソースセットを確定し、ここで、候補素材リソースは映像又は画像であり、次に、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定し、最後に、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成する。これによって、目標ニュースクラスタのためのナレーション付きの映像の生成が実現される。
【０２１４】
さらに、映像を生成するための方法のもう１つの実施例のフロー４００を示す図４Ａを参照されたい。該映像を生成するための方法のフロー４００は、以下のステップを含む。
【０２１５】
ステップ４０１：目標ニュースクラスタを決定する。
【０２１６】
本実施例において、映像を生成するための方法の実行主体（例えば、図１に示されるサーバ）は、様々な実現方式を用いて目標ニュースクラスタを確定することができ、ここで、目標ニュースクラスタは同一ニュースイベントを対象とする少なくとも１つのニュースからなる。
【０２１７】
本実施例の一部の選択可能な実現方式において、ステップ４０１は図４Ｂに示されるステップ４０１１からステップ４０１２を含んでもよい。本出願によるステップ４０１の一実施例の分解フローチャートを示す図４Ｂを参照されたい。
【０２１８】
ステップ４０１１：最近の第１所定持続時間内に生成されたニュースからなる少なくとも１つのニュースクラスタを取得する。
【０２１９】
ここで、上記実行主体（例えば、図１に示されるサーバ）は、上記実行主体にネットワークを介して接続される電子機器から最近の第１所定持続時間内に生成されたニュースからなる少なくとも１つのニュースクラスタをローカル又はリモートで取得することができ、ここで、各ニュースクラスタにおける各ニュースが同一ニュースイベントを対象とし、異なるニュースクラスタが異なるニュースイベントを対象とする。
【０２２０】
実際に、取得されたニュースに対して対応するニュースイベントを注釈することができる。それにより、上記実行主体はまず、最近の第１所定持続時間内（例えば、１日以内）に生成されたニュースを取得し、その後に取得した少なくとも１つのニュースを対象に、対応するニュースイベント別に異なるニュースクラスタを構成することができる。
【０２２１】
取得したニュースには対応するニュースイベントが注釈されていない場合、上記実行主体はまず、最近の第１所定持続時間内（例えば、１日以内）に生成されたニュースを取得し、その後に取得したニュースに対して様々なに実現方式を用いてクラスタリングを行い、同じカテゴリに分類されたニュースは１つのニュースクラスタとして構成され、異なるカテゴリに分類されたニュースは異なるニュースクラスタに属し、そうすると、少なくとも１つのニュースクラスタを取得することができることが理解され得る。例えば、実際に、ニュースは通常ニュースヘッドラインを備え、上記実行主体は取得した各ニュースのニュースヘッドラインに対してクラスタリングを行い、ニュースヘッドラインのクラスタを該ニュースヘッドラインに対応するニュースのクラスタとすることができる。
【０２２２】
ステップ４０１２：少なくとも１つのニュースクラスタに基づいて目標ニュースクラスタを確定する。
【０２２３】
ここで、上記実行主体（例えば、図１に示されるサーバ）は様々な実現方式を用いて少なくとも１つのニュースクラスタに基づいて目標ニュースクラスタを確定することができる。
【０２２４】
ここで、目標ニュースクラスタは１つのニュースクラスタであってもよく、少なくとも２つのニュースクラスタであってもよい。
【０２２５】
目標ニュースクラスタが１つのニュースクラスタである場合、上記実行主体は確定された１つのニュースクラスタを目標ニュースクラスタとして、後続のステップ４０２からステップ４０８を実行することができる。
【０２２６】
確定された目標ニュースクラスタが少なくとも２つのニュースクラスタである場合、上記実行主体は確定された少なくとも２つのニュースクラスタにおける各ニュースクラスタをそれぞれ目標ニュースクラスタとして、ステップ４０２からステップ４０８を実行することができる。即ち、確定された目標ニュースクラスタがＮ個のニュースクラスタであり、Ｎが２以上の正の整数である場合、上記実行主体は確定されたＮ個のニュースクラスタにおける各ニュースクラスタに対して、いずれも該ニュースクラスタを目標ニュースクラスタとしてステップ４０２からステップ４０８を実行することができる。
【０２２７】
一部の実現方式において、ステップ４０１２は下記の通りに行っていてもよい。
【０２２８】
まず、ステップ４０１１で確定された少なくとも１つのニュースクラスタにおける各ニュースクラスタを、該ニュースクラスタにおける最近の第２所定持続時間内に生成されたニュースの数の降順によってソートすることができる。
【０２２９】
ここで、第２所定持続時間は第１所定持続時間と同じであっても、異なっていてもよい。
【０２３０】
次に、少なくとも１つのニュースクラスタにおける所定ソート範囲内でソートされた各ニュースクラスタを目標ニュースクラスタとして確定する。
【０２３１】
ここで、所定ソート範囲は様々な形式のものであってもよい。例えば、所定ソート範囲は比率又は百分率の形式であり得る。例として、所定ソート範囲はトップ１０％からトップ２０％の間にあり得る。また、例えば、ソート範囲は、ソート順番の範囲であり得る。例として、所定ソート範囲はソート順番の上位１０名から２０名の間であり得る。
【０２３２】
実際に、所定ソート範囲によって確定された目標ニュースクラスタは、少なくとも１つのニュースクラスタにおける最近の第２所定持続時間内に生成されたニュースの数が最大及び最小のニュースクラスタを除去することができ、即ち、目標ニュースクラスタは最も人気があるニュースイベントや最も人気のないニュースイベントを対象としなく、中間程度の人気のニュースイベントを対象とするものである。最もホットなニュースイベントに対して、多くの人がこのニュースイベントを既に知るため、ユーザが最もホットなニュースイベントのナレーションとナレーションに対応する映像を視聴する確率が低く、そのため、最もホットなニュースイベントに対応するニュースクラスタのナレーションとナレーションに対応する映像を生成しないことは、リソース（例えば、ＣＰＵリソース、記憶リソース及びＩ／Ｏリソース）の消費を減少することができる。逆に、もっとも人気のないニュースイベントに対して、人々がこのニュースイベントに興味を持たないことを意味するため、このニュースイベントを知る人がほとんどいなく、このようなニュースイベントに対してナレーションとナレーションに対応する映像を生成しても、ユーザが興味を持たないため、このようなニュースイベントのために生成されたナレーションとナレーションに対応する映像を視聴する確率も低く、そのため、最も人気のないニュースイベントに対応するニュースクラスタのためのナレーションとナレーションに対応する映像を生成しないことも、リソース（例えば、ＣＰＵリソース、記憶リソース及びＩ／Ｏリソース）の消費を減少することができる。ここで、最も人気のあるニュースイベント又は最も人気のないニュースイベントは少なくとも１つのニュースイベントであり得ることを理解できる。
【０２３３】
一部の実現方式において、ステップ４０１２はさらに下記の通りに行っていてもよい。
【０２３４】
少なくとも１つのニュースクラスタにおける各高品質ニュースクラスタを目標ニュースクラスタとして確定する。
【０２３５】
ここで、高品質ニュースクラスタにおけるニュースに含まれる画像の数が、所定最小画像数より大きく、ニュースに含まれる映像の数が、所定最小映像数より大きい。例えば、所定最小画像数と所定最小映像数が５であり得る。
【０２３６】
ここで、所定最小画像数と所定最小映像数は技術者が大量の過去のニュースに対する統計分析に基づいて予め設定した数であってもよい。所定最小画像数と所定最小映像数はニーズに応じて改めて設定されてもよい。
【０２３７】
実際に、ニュースクラスタにおけるニュースに含まれる画像数が多く、且つ含まれる映像の数も多い場合、該ニュースクラスタが鮮明で面白く、ユーザの興味を起こしやすいことがわかり、そのようなニュースクラスタのために生成されたナレーションとナレーションに対応する映像も、ユーザの興味を起こす可能性が大きく、続いて、ユーザが高品質ニュースクラスタのために生成されたナレーションとナレーションに対応する映像を視聴する確率も高まる。そのため、高品質ニュースクラスタとしてのニュースクラスタのみにナレーションとナレーションに対応する映像を生成することは、リソース（例えば、ＣＰＵリソース、記憶リソース及びＩ／Ｏリソース）の消費を減少することができる。
【０２３８】
一部の実現方式において、ステップ４０１２は下記の通りに行っていてもよい。
【０２３９】
まず、少なくとも１つのニュースクラスタにおける各ニュースクラスタに対して、該ニュースクラスタにおける各ニュースに基づいて、該ニュースクラスタに対応するニュースイベントのトピックス、及び、確定されたニュースイベントのトピックスの現在の出現頻度を確定する。
【０２４０】
ここで、様々な実現方式を用いてニュースクラスタに対応するニュースイベントのトピックス、及び、確定されたニュースイベントのトピックスの現在の出現頻度を確定することができる。ここで、ニュースクラスタに対応するニュースイベントのトピックスは、ニュースクラスタにおける各ニュースが表現する意味を示す。実際に、ニュースイベントのトピックスは少なくとも１つの単語又はフレーズを含むことができ、確定されたニュースイベントのトピックスの現在の出現頻度は、確定されたニュースイベントのトピックスの、該ニュースクラスタの各ニュースにおける出現頻度を指す。
【０２４１】
例えば、ＬＤＡ（ドキュメントトピックス生成モデル、Ｌａｔｅｎｔ  Ｄｉｒｉｃｈｌｅｔ  Ａｌｌｏｃａｔｉｏｎ）を用いて、ステップ４０１１で確定された該ニュースクラスタにおける各ニュースに基づいて、該ニュースクラスタにおける各ニュースに対応するニュースイベントのトピックスを確定し、且つ確定されたニュースイベントのトピックスの確率分布値を、確定されたニュースイベントのトピックスの現在の出現頻度として確定する。
【０２４２】
次に、少なくとも１つのニュースクラスタにおける各ニュースクラスタに対応するニュースイベントのトピックスの現在の出現頻度から、該ニュースイベントのトピックスの過去の出現頻度を引いた頻度差を確定する。
【０２４３】
ここで、該ニュースイベントの過去の出現頻度は、過去のニュースにおける該ニュースクラスタに対応するニュースイベントのトピックスと同じである過去のニュースに基づいて確定できる。
【０２４４】
最後に、少なくとも１つのニュースクラスタにおける対応するニュースイベントのトピックスの頻度差が所定頻度差閾値より大きいニュースクラスタを目標ニュースクラスタとして確定する。
【０２４５】
ここで、ニュースクラスタに対応するニュースイベントのトピックスの頻度差が所定頻度差閾値より大きい場合、該ニュースクラスタに対応するニュースイベントが本来目立たなかったが、突然に注目されることがわかり、この場合、該ニュースクラスタが重要視されるべきであり、このようなニュースクラスタに対して生成されたナレーションとナレーションに対応する映像は、もっと多くのユーザにより視聴される可能性がある。
【０２４６】
なお、上記実行主体はさらに上記第１種、第２種及び第３種の選択可能な実現方式の少なくとも２種類の実現方式を組み合わせて目標ニュースクラスタを確定することができる。
【０２４７】
ステップ４０２：目標ニュースクラスタのナレーションを確定する。
【０２４８】
ステップ４０３：音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成する。
【０２４９】
ステップ４０４：目標ニュースクラスタに含まれる映像と画像に基づいて、ナレーションに対応する候補素材リソースセットを確定する。
【０２５０】
ステップ４０５：ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定する。
【０２５１】
本実施例において、ステップ４０２、ステップ４０３、ステップ４０４及びステップ４０５の具体的な操作は図２Ａに示される実施例の中のステップ２０１、ステップ２０２、ステップ２０３及びステップ２０４の操作とほぼ同じであり、ここで贅言しない。
【０２５２】
ステップ４０６：ナレーションにおける各段落に対して、単色素材リソース検出ステップを実行する。
【０２５３】
本実施例において、上記実行主体はナレーションにおける各段落に対して、単色素材リソース検出ステップを実行する。前記単色素材リソース検出ステップは、該段落に対応する候補素材リソースシーケンスにおける各素材リソースに対して、該素材リソースが映像であると判定されたことと該映像素材リソースに単色画像フレームが存在することとに応答して、該素材リソースにおける単色画像フレームを削除するステップと、該素材リソースが画像であると判定されたことと該画像素材リソースが単色画像であることとに応答して、該段落に対応する候補素材リソースシーケンスから該素材リソースを削除するステップとを含む。
【０２５４】
ここで、単色画像又は単色画像フレームに１種の画素値が存在し、単色画像又は単色画像フレームの各画素点において、画素値は、該画素値の画素点の数と単色画像又は単色画像フレームに含まれる画素点の数との比が所定比率を超え、例えば、所定比率が０．８であり得る。例えば、黒い画像におけるすべての画素点の画素値はいずれも黒い色を示す。
【０２５５】
実際に、単色画像又は単色画像フレームに含まれる情報が限られるか、或いは情報が含まれないため、単色画像又は単色画像フレームを残すと、後続に生成されるナレーションに対応する映像は実質的に有効情報が含まれず、そのため、単色画像又は単色画像フレームを削除する必要がある。
【０２５６】
ステップ４０７：ナレーションにおける各段落に対して、アライメント検出ステップを実行する。
【０２５７】
本実施例において、ステップ４０６でナレーションにおける段落に対応する候補素材リソースシーケンスの中の単色画像又は単色画像フレームが削除された可能性があるため、ナレーションにおける段落に対応する音声の持続時間が、該段落に対応する候補素材シーケンスの再生持続時間より長いことをもたらす可能性があり、そのため、上記実行主体は以下のアライメント検出ステップを実行することができる。ここで、アライメント検出ステップは、以下の操作を含むことができる。該段落に対応する音声の再生持続時間が該段落に対応する候補素材リソースシーケンスの再生持続時間よりも長いという判定に応答して、該段落に対応する候補素材リソースシーケンスにおける画像タイプの候補素材リソースの再生持続時間を延長するか、或いは、候補素材リソースセットから候補素材リソースを選択して、該段落に対応する候補素材リソースシーケンスの中に追加し、それにより、該段落に対応する音声の再生持続時間が、該段落に対応する候補素材リソースシーケンスの再生持続時間に等しくなる。
【０２５８】
ステップ４０７を経て、ナレーションにおける各段落に対して、該段落に対応する音声の再生持続時間が、いずれも該段落に対応する候補素材リソースシーケンスの再生持続時間に等しい。
【０２５９】
ステップ４０８：ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成する。
【０２６０】
本実施例において、ステップ４０８の具体的な操作は図２Ａに示される実施例の中のステップ２０５の操作とほぼ同じであり、ここで贅言しない。
【０２６１】
ステップ４０９：ナレーションに対応する映像を端末装置に送信する。
【０２６２】
本実施例において、上記実行主体はステップ４０８で生成されたナレーションに対応する映像を端末装置に送信することができる。ここで、端末装置は上記実行主体とネットワークを介して接続される電子機器であってもよい。それにより、上記端末装置は、上記実行主体により送信された映像に応答して、受信された映像を表示し、さらに端末装置に目標ニュースクラスタのナレーションに対応する映像を表示することを実現することができる。ユーザは端末装置で表示される目標ニュースクラスタのナレーションに対応する映像を視聴することにより、目標ニュースクラスタの対象となるニュースイベントを素早く把握でき、ユーザが文字を閲覧することにより目標ニュースクラスタの対象となるニュースイベントを把握する必要がなくなり、ユーザがニュースイベント情報を取得する効率を高めることができる。
【０２６３】
本実施例の一部の選択可能な実現方式において、上記実行主体はさらにステップ４０９を実行した後に、以下のステップ４１０からステップ４１５を実行することができる。
【０２６４】
ステップ４１０：目標ニュースクラスタのナレーションの確定から、ナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を取得する。
【０２６５】
即ち、ここで、上記実行主体はステップ４０１からステップ４０８までの実行中に係る少なくとも１つのパラメータの現在値を取得する必要がある。例えば、少なくとも１つのパラメータは、第１所定持続時間、第２所定持続時間、第３所定持続時間、所定最大話速、所定最大音声持続時間、所定最大映像持続時間、所定最小候補映像持続時間、第１プリセット最適化アルゴリズム、第２プリセット最適化アルゴリズム、所定画像再生持続時間、所定ソート範囲、所定最小画像数、所定最小映像数、所定頻度差閾値及び所定比率のうち、少なくとも１項を含むことができる。
【０２６６】
ステップ４１１：ナレーションに対応する映像の映像評価点数を確定する。
【０２６７】
ここで、上記実行主体は様々な実現方式を用いてナレーションに対応する映像の映像評価点数を確定することができる。ここで、ナレーションに対応する映像の映像評価点数は、ユーザがナレーションに対応する映像をいろんな方面から評価する総合的な点数を反映し、例えば、映像評価点数は、ユーザが該映像を視聴したいか、生成された映像とナレーションのマッチング度、生成された映像と手動で編集された映像とのマッチング度、生成された映像とニュースクラスタの対象となるニュースイベントとのマッチング度のうち、少なくとも１項を反映することができる。
【０２６８】
一部の実現方式において、上記実行主体又は上記実行主体とネットワークを介して接続されるほかの電子機器（例えば、図１に示される端末装置）で、少なくとも１つのパラメータの現在値によって生成された、目標ニュースクラスタのナレーションに対応する映像を対象として評価するユーザインターフェースをユーザに提供することができる。その後、上記実行主体は、ユーザが少なくとも１つのパラメータの現在値によって生成された目標ニュースクラスタのナレーションに対応する映像を対象として上記ユーザインターフェースで入力した評価点数をローカル又はリモートで上記電子機器から受信することができる。それにより、上記実行主体は、少なくとも１人のユーザが少なくとも１つのパラメータの現在値によって生成されたナレーションに対応する映像を視聴する映像評価点数を取得し、また、取得された各映像評価点数の平均値を、クラスタにおける少なくとも１つのパラメータの現在値によって生成されたナレーションに対応する映像の映像評価点数として確定することができる。
【０２６９】
一部の実現方式において、ステップ４１１は下記の通りに行っていてもよい。
【０２７０】
まず、少なくとも１人のユーザがナレーションに対応する映像を視聴する視聴行動情報を取得する。ここで、視聴行動情報は、ユーザがナレーションに対応する映像を視聴するプロセス中の様々な行動を特徴付ける。
【０２７１】
一部の実現方式において、視聴行動情報は、映像識別子、ユーザ識別子、ユーザ画像情報、映像が開いたか否かを示す識別子、映像視聴総時間、映像を閉じる時の映像再生持続時間のうちの少なくとも１項を含むことができる。ここで、映像識別子は少なくとも１つのパラメータの現在値によって生成されたナレーションに対応する映像を一意に示すことに用いられる。ユーザ識別子は少なくとも１つのパラメータの現在値によって生成されたナレーションに対応する映像を視聴するユーザを一意に示すことに用いられる。ユーザ画像情報はユーザの様々な関連情報を説明することに用いられる。例えば、ユーザ画像情報は、ユーザの性別、年齢、興味、出身地、仕事場所、居住地、職業、消費習慣、生活習慣などを含むことができるが、それらに限定されない。映像が開いたか否かを示す識別子は、ユーザ識別子により示されるユーザが映像識別子により示される映像を開いたか否かを示すことに用いられる。映像視聴総時間は、ユーザ識別子により示されるユーザが映像識別子により示される映像を視聴した総時間を示すことに用いられる。映像を閉じる時の映像再生持続時間は、ユーザ識別子により示されるユーザが映像識別子により示される映像を閉じた時の該映像の現在再生持続時間を示すことに用いられる。
【０２７２】
その後、取得された各視聴行動情報に対して、該視聴行動情報に対応する映像評価点数を確定する。
【０２７３】
ここで、様々な実現方式を用いて、取得された各視聴行動情報に対して、該視聴行動情報に対応する映像評価点数を確定することができる。
【０２７４】
一部の実現方式において、視聴行動情報に含まれる映像評価に関連する項目のそれぞれに対して、対応する重みを事前設定し、その後、視聴行動情報における映像評価に関連する各項目の取り得る値と対応する重みの加重合計結果を計算し、加重合計結果を、該視聴行動情報に対応する映像評価点数として確定することができる。例えば、映像が開いたか否かを示す識別子が０である場合、ユーザが映像を開いていないことを示し、映像が開いたか否かを示す識別子が１である場合、ユーザが映像を開いたことを示す。映像が開いたか否かを示す識別子と映像評価点数とが正の相関関係になるように、映像が開いたか否かを示す識別子に対応する重みを設定するすることができる。さらに、例えば、映像視聴総時間と映像評価点数とが正の相関関係になるように、映像視聴総時間に対応する重みを設定することができ、さらに、映像を閉じる時の映像再生持続時間と映像評価点数とが正の相関関係になるように、映像を閉じる時の映像再生持続時間に対応する重みを設定することができる。さらに、例えば、視聴行動情報には、転送したか否かを示す識別子、いいねをしたか否かを示す識別子など、ユーザが該映像を気に入り、続いて気に入りに対応する操作を行ったことが含まれ得る場合、映像が開いたか否かを示す識別子と同様に、転送したか否かを示す識別子が０である場合、ユーザが映像を転送していないことを示し、転送したか否かを示す識別子が１である場合、ユーザが映像を転送したことを示す。転送したか否かを示す識別子と映像評価点数とが正の相関関係になるように、転送したか否かを示す識別子に対応する重みを設定することができる。いいねをしたか否かを示す識別子にも同様な操作を行うことができ、ここで贅言しない。
【０２７５】
一部の実現方式において、映像視聴総時間と映像識別子により示される映像の総時間との比を、該視聴行動情報に対応する映像評価点数として決定することができる。
【０２７６】
最後に、確定された各映像評価点数の平均値を、少なくとも１つのパラメータの現在の取り得る値によって生成されたナレーションに対応する映像の映像評価点数として決定することができる。
【０２７７】
ステップ４１２：少なくとも１つのパラメータの現在値に対して特徴抽出を行い、特徴表現を得る。
【０２７８】
ここで、上記実行主体は、様々な実現方式を用いて、少なくとも１つのパラメータの現在の取り得る値に対して特徴抽出を行い、特徴表現を得ることができる。ここで、特徴表現は様々な形式であってもよく、例えば、特徴表現はベクトル形式、即ち、特徴ベクトルであってもよい。実際に、特徴表現は少なくとも１つのパラメータの現在の取り得る値に対して次元数がより低くて計算できる特徴を示している。
【０２７９】
目標ニュースクラスタのナレーションの確定から、目標クラスタのナレーションに対応する映像の生成までのプロセスに係るパラメータが異なるため、少なくとも１つのパラメータの現在の取り得る値に対して特徴抽出を行う方法も異なる場合があることが理解される。例えば、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ，ＰＣＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ，ＩＣＡ）及び線形判別分析（Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ，ＬＤＡ）などの方法を用いて特徴抽出を行うことができる。
【０２８０】
ステップ４１３：特徴表現と確定された映像評価点数を予めトレーニングした評価ネットワークに入力して、予測映像評価点数を得る。
【０２８１】
ここで、評価ネットワークは人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ，ＡＮＮ）であってもよい。なお、上記評価ネットワークは、特徴表現及び映像評価点数と、予測映像評価点数との間の対応関係を表すことに用いられる。
【０２８２】
ステップ４１４：特徴表現と予測映像評価点数を予めトレーニングした行動ネットワークに入力して、現在の行動情報を得る。
【０２８３】
ここで、上記行動ネットワークは人工ニューラルネットワークであってもよい。なお、上記行動ネットワークは、特徴表現及び映像評価点数の両者と、行動情報との間の対応関係を表すことに用いられ、ここで、行動情報は、目標ニュースクラスタのナレーションの確定から目標ニュースクラスタのナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在の取り得る値を如何に調整することを示す。
【０２８４】
一部の実現方式において、上記行動ネットワークと評価ネットワークは集中学習ネットワークトレーニングステップによって予めトレーニングすることにより取得できる。本出願に係る予めトレーニングした行動ネットワークと評価ネットワークの集中学習ネットワークトレーニングステップの一実施例のフロー５００を示す図５を参照されたい。該集中学習ネットワークトレーニングステップは、以下のステップ５０１からステップ５０５を含むことができる。
【０２８５】
ステップ５０１：初期行動ネットワークのネットワーク構造を確定し、且つ初期行動ネットワークのネットワークパラメータを初期化する。
【０２８６】
ここで、集中学習ネットワークトレーニングステップの実行主体は、映像を生成するための方法の実行主体と同じであってもよく、異なっていてもよい。実行主体が同じである場合、集中学習ネットワークトレーニングステップの実行主体は、トレーニングにより行動ネットワークと評価ネットワークを取得した後にトレーニング済みの行動ネットワークと評価ネットワークのネットワーク構造情報とネットワークパラメータのパラメータ値をローカルに記憶することができる。実行主体が異なる場合、集中学習ネットワークトレーニングステップの実行主体はトレーニングにより行動ネットワークと評価ネットワークを取得した後にトレーニング済みの行動ネットワークと評価ネットワークのネットワーク構造情報とネットワークパラメータのパラメータ値を、映像を生成するための方法の実行主体に送信することができる。
【０２８７】
ここで、集中学習ネットワークトレーニングステップの実行主体は、まず初期行動ネットワークのネットワーク構造を確定することができる。ここで、初期行動ネットワークは人工ニューラルネットワークであってもよい。ここで、初期行動ネットワークにはどの層が含まれるか、層間の接続順序関係、及び各層にはどのようなニューロンが含まれるか、各ニューロンに対応する重みとバイアス、各層の活性化関数などを確定できる。初期行動ネットワークは様々なタイプのニューラルネットワークを含むことができ、異なるタイプのニューラルネットワークに対して、確定すべきネットワーク構造も異なることが理解され得る。
【０２８８】
その後、集中学習ネットワークトレーニングステップの実行主体は、初期行動ネットワークのネットワークパラメータを初期化することができる。実際に、初期行動ネットワークの各ネットワークパラメータ（例えば、重みパラメータとバイアスパラメータ）を異なる小さな乱数で初期化することができる。「小さな乱数」を用いれば、重みが大きすぎることを原因でネットワークが飽和状態になり、トレーニングの失敗をもたらすことを回避できるように確保し、「異なる」とはネットワークが正常に学習できるようにするためのものである。
【０２８９】
ステップ５０２：初期評価ネットワークのネットワーク構造を確定し、且つ初期評価ネットワークのネットワークパラメータを初期化する。
【０２９０】
ここで、集中学習ネットワークトレーニングステップの実行主体は、まず初期評価ネットワークのネットワーク構造を確定することができる。その後、集中学習ネットワークトレーニングステップの実行主体は、初期評価ネットワークのネットワークパラメータを初期化することができる。
【０２９１】
ここで、初期評価ネットワークは人工ニューラルネットワークであってもよく、人工ニューラルネットワークのネットワーク構造を如何に確定するか、及び、人工ニューラルネットワークのネットワークパラメータを如何に初期化するかは、ステップ５０１における関連説明を参照することができるため、ここで贅言しない。
【０２９２】
ステップ５０３：少なくとも１つのパラメータの現在値を初期化する。
【０２９３】
ここで、集中学習ネットワークトレーニングステップの実行主体は、目標ニュースクラスタのナレーションの確定から、目標ニュースクラスタのナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を初期化することができる。
【０２９４】
ステップ５０４：所定の第３トレーニング終了要件を満たすまでパラメータ調整ステップを実行する。
【０２９５】
ここで、集中学習ネットワークトレーニングステップの実行主体は、所定の第３トレーニング終了要件を満たすまでパラメータ調整ステップを実行することができ、パラメータ調整ステップは、サブステップ５０４１からサブステップ５０４６を含むことができる。
【０２９６】
サブステップ５０４１：少なくとも１つのパラメータの現在値に対して特徴抽出を行い、サンプル特徴表現を得る。
【０２９７】
サブステップ５０４２：少なくとも１つのパラメータの現在値に対応する注釈映像評価点数を取得する。
【０２９８】
ここで、集中学習ネットワークトレーニングステップの実行主体は、集中学習ネットワークトレーニングステップの実行主体とネットワークを介して接続されるほかの電子機器から、少なくとも１つのパラメータの現在値に対応する注釈映像評価点数をローカル或いはリモートで取得できる。ここで、少なくとも１つのパラメータの現在値に対応する注釈映像評価点数は、少なくとも１つのパラメータの現在値によって生成された目標ニュースクラスタのナレーションに対応する映像を視聴した後、視聴された映像を手動で注釈する映像評価点数であってもよい。
【０２９９】
サブステップ５０４３：サンプル特徴表現と注釈映像評価点数を初期評価ネットワークに入力して、サンプル予測映像評価点数を得る。
【０３００】
ここで、サブステップ５０４１で得られたサンプル特徴表現とサブステップ５０４２で得られた注釈映像評価点数を初期評価ネットワークに入力して、サンプル予測映像評価点数を得ることができる。
【０３０１】
サブステップ５０４４：サンプル特徴表現とサンプル予測映像評価点数を初期行動ネットワークに入力して、予測行動情報を得る。
【０３０２】
ここで、サブステップ５０４１で得られたサンプル特徴表現とサブステップ５０４３で得られたサンプル予測映像評価点数を初期行動ネットワークに入力して、予測行動情報を得ることができる。
【０３０３】
サブステップ５０４５：予測行動情報に基づいて少なくとも１つのパラメータの現在値を調整する。
【０３０４】
ここで、行動情報は、目標ニュースクラスタのナレーションの確定から目標ニュースクラスタのナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を如何に調整することを示すため、ここで、サブステップ５０４４で得られた予測行動情報に応じて、少なくとも１つのパラメータの現在値を調整することができる。
【０３０５】
サブステップ５０４６：サンプル予測映像評価点数と取得された注釈映像評価点数との差に基づいて評価ネットワークのネットワークパラメータを調整し、及び、得られた注釈映像評価点数を最大化することを最適化目標として、行動ネットワークのネットワークパラメータを調整する。
【０３０６】
ここで、様々な実現方式を用いて、サンプル予測映像評価点数と取得された注釈映像評価点数との差に基づいて評価ネットワークのネットワークパラメータを調整し、得られた注釈映像評価点数を最大化することを最適化目標として、行動ネットワークのネットワークパラメータを調整することができる。
【０３０７】
例えば、確率的勾配降下、ニュートン法、準ニュートン法、共役勾配法、ヒューリスティックな最適化手法及びほかの既知又は未来に開発しようとする様々な最適化アルゴリズムを用いることができる。
【０３０８】
例えば、ここで、所定の第３トレーニング終了要件は、トレーニング時間が第６所定持続時間を超えること、トレーニング回数が第３所定回数を超えること、サンプル予測映像評価点数と取得された注釈映像評価点数との差が第３所定差閾値よりも小さいことのうちの少なくとも１項を含むことができる。
【０３０９】
ステップ５０５：初期行動ネットワークと初期評価ネットワークを、それぞれ予めトレーニングした行動ネットワークと評価ネットワークとして決定する。
【０３１０】
上記ステップ５０１からステップ５０５により、行動ネットワークと評価ネットワークをトレーニングして取得することができる。
【０３１１】
ステップ４１４を経て、現在の行動情報を取得する。
【０３１２】
ステップ４１５：現在の行動情報により、少なくとも１つのパラメータの現在値を調整する。
【０３１３】
行動情報は、目標ニュースクラスタのナレーションの確定から目標ニュースクラスタのナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を如何に調整することを示すため、ステップ４１４で得られた現在の行動情報にも、目標ニュースクラスタのナレーションの確定から目標ニュースクラスタのナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を如何に調整する情報が含まれ、したがって、ここで、上記実行主体は様々な実現方式を用いて、現在の行動情報に基づいて、少なくとも１つのパラメータの現在値を調整することができる。例えば、現在の行動情報は、あるパラメータの現在値への増減分、乗算係数、或いは、どの値に直接設定するかを示すことができる。
【０３１４】
ステップ４１５を実行した後、上記実行主体は引き続きステップ４０１を実行することができ、調整後の少なくとも１つのパラメータのパラメータ値に基づいて、目標ニュースクラスタのナレーションの確定から、目標ニュースクラスタのナレーションに対応する映像の生成までのプロセスを再実行する。ステップ４１５において少なくとも１つのパラメータのパラメータ値を既に調整したため、調整後のパラメータは調整前のパラメータに比べてさらに最適化されており、行動ネットワークと評価ネットワークの最適化目標がガイドされ得るため、調整後のパラメータに基づいて生成された目標ニュースクラスタのナレーションに対応する映像の映像評価点数は、調整前のパラメータに基づいて生成された目標ニュースクラスタのナレーションに対応する映像の映像評価点数よりも高い。
【０３１５】
図４Ａから分かるように、図２Ａに対応する実施例に比べて、本実施例における映像を生成するための方法のフロー４００では、目標ニュースクラスタの確定、単色素材リソースの検出、アライメント検出、及びナレーションに対応する映像を端末装置に送信するステップが追加された。そのため、本実施例により記述される技術案は、受信された目標ニュースクラスタに対応する映像を端末装置に表示することができる。ユーザは端末装置で表示された目標ニュースクラスタのナレーションに対応する映像を視聴することにより、目標ニュースクラスタの対象となるニュースイベントを素早く把握でき、ユーザが文字を閲覧することにより目標ニュースクラスタの対象となるニュースイベントを把握する必要がなくなり、端末装置を介してニュースイベントを取得する効率が高まれ、端末装置の情報表示機能が拡張された。
【０３１６】
さらに図６に示すように、上記各図に示される方法の実現として、本出願は映像を生成するための装置の一実施例を提供し、該装置の実施例は図２に示される方法の実施例に対応しており、該装置は具体的に様々な電子機器に適用できる。
【０３１７】
図６に示すように、本実施例の映像を生成するための装置６００は、ナレーション確定ユニット６０１、音声生成ユニット６０２、素材リソースセット確定ユニット６０３、素材リソースシーケンス確定ユニット６０４及び映像生成ユニット６０５を備える。ここで、ナレーション確定ユニット６０１は、それぞれのニュースが同一ニュースイベントを対象とする目標ニュースクラスタのナレーションを確定するように構成される。音声生成ユニット６０２は、音声合成技術を利用して、前記ナレーションにおける各段落に対応する音声を生成するように構成される。素材リソースセット確定ユニット６０３は、前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する候補素材リソースセットを確定するように構成され、ここで、候補素材リソースは映像又は画像である。素材リソースシーケンス確定ユニット６０４は、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される。映像生成ユニット６０５は、前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するように構成される。
【０３１８】
本実施例において、映像を生成するための装置６００のナレーション確定ユニット６０１、音声生成ユニット６０２、素材リソースセット確定ユニット６０３、素材リソースシーケンス確定ユニット６０４及び映像生成ユニット６０５の具体的な処理及びそれらによる技術的効果は、それぞれ図２Ａに対応する実施例におけるステップ２０１、ステップ２０２、ステップ２０３、ステップ２０４及びステップ２０５の関連説明を参照することができるため、ここで贅言しない。
【０３１９】
本実施例の一部の選択可能な実現方式において、上記装置６００は、目標ニュースクラスタのナレーションを確定する前に、目標ニュースクラスタを確定するように構成される目標ニュースクラスタ確定ユニット（図示せず）をさらに備えることができる。
【０３２０】
本実施例の一部の選択可能な実現方式において、上記目標ニュースクラスタ確定ユニット（図示せず）は、最近の第１所定持続時間内に生成されたニュースからなる少なくとも１つのニュースクラスタを取得するように構成されるニュースクラスタ取得モジュール（図示せず）と、上記少なくとも１つのニュースクラスタに基づいて上記目標ニュースクラスタを確定するように構成される目標ニュースクラスタ確定モジュール（図示せず）を備えることができる。
【０３２１】
本実施例の一部の選択可能な実現方式において、上記目標ニュースクラスタ確定モジュール（図示せず）はさらに、上記少なくとも１つのニュースクラスタにおける各ニュースクラスタを上記目標ニュースクラスタとして確定するように構成され得る。
【０３２２】
本実施例の一部の選択可能な実現方式において、上記目標ニュースクラスタ確定モジュール（図示せず）はさらに、上記少なくとも１つのニュースクラスタにおける各ニュースクラスタを、該ニュースクラスタ内の最近の第２所定持続時間内に生成されたニュースの数の降順に従ってソートし、上記少なくとも１つのニュースクラスタにおける所定ソート範囲内にソートされた各ニュースクラスタを上記目標ニュースクラスタとして確定するように構成され得る。
【０３２３】
本実施例の一部の選択可能な実現方式において、上記目標ニュースクラスタ確定モジュール（図示せず）はさらに、上記少なくとも１つのニュースクラスタにおける各高品質ニュースクラスタを上記目標ニュースクラスタとして確定するように構成され得る。ここで、高品質ニュースクラスタにおけるニュースに含まれる画像の数が、所定最小画像数より大きく、及び、含まれた映像の数が、所定最小映像数より大きい。
【０３２４】
本実施例の一部の選択可能な実現方式において、上記目標ニュースクラスタ確定モジュール（図示せず）はさらに、上記少なくとも１つのニュースクラスタのそれぞれに対して、該ニュースクラスタにおける各ニュースに基づいて該ニュースクラスタに対応するニュースイベントのトピックス及び確定されたニュースイベントのトピックスの現在の出現頻度に基づいて、上記少なくとも１つのニュースクラスタのそれぞれに対応するニュースイベントのトピックスの現在の出現頻度から該ニュースイベントのトピックスの過去の出現頻度を引いた頻度差を確定し、上記少なくとも１つのニュースクラスタにおける対応するニュースイベントのトピックスの頻度差が所定頻度差閾値より大きいニュースクラスタを上記目標ニュースクラスタとして確定するように構成され得る。
【０３２５】
本実施例の一部の選択可能な実現方式において、上記ナレーション確定ユニット６０１は、上記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定するように構成される点数確定モジュール（図示せず）と、上記目標ニュースクラスタにおけるナレーションの生成に適する点数が最も高いニュースを目標ニュースとして確定するように構成される目標ニュース確定モジュール（図示せず）と、上記目標ニュースに基づいて、上記目標ニュースクラスタのナレーションを生成するように構成されるナレーション生成モジュール（図示せず）とを備えることができる。
【０３２６】
本実施例の一部の選択可能な実現方式において、上記ナレーション生成モジュール（図示せず）はさらに、上記目標ニュースに含まれるテキストを目標テキストとして確定し、上記目標テキストに含まれるナレーションに不適切なテキストを削除し、ここで、ナレーションに不適切なテキストは予め確定されたナレーションに不適切なテキストのセットにおけるテキストであり、上記目標テキストに含まれる書き言葉を同じ意味の話し言葉に置き換え、上記目標テキストに対して要約抽出を行って取得した要約テキストを上記目標ニュースクラスタのナレーションとして確定するように構成され得る。
【０３２７】
本実施例の一部の選択可能な実現方式において、上記した上記目標テキストに対して要約抽出を行って取得した要約テキストを上記目標ニュースクラスタのナレーションとして確定することは、所定最大話速と所定最大音声持続時間に応じてナレーションの最大文字数を確定することと、上記目標テキストに対して要約抽出を行い、且つ抽出された要約テキストの文字数を上記ナレーションの最大文字数よりも少なくすることと、抽出された要約テキストを上記目標ニュースクラスタのナレーションとして確定することとを含むことができる。
【０３２８】
本実施例の一部の選択可能な実現方式において、上記点数確定モジュール（図示せず）はさらに、該ニュースの少なくとも１種の特徴における特徴値を抽出し、抽出された少なくとも１種の特徴値に基づいて、該ニュースのナレーションの生成に適する点数を確定するように構成され得る。
【０３２９】
本実施例の一部の選択可能な実現方式において、上記点数確定モジュール（図示せず）はさらに、該ニュースに含まれるテキストを、テキストとナレーションの生成に適するテキストの点数との対応関係を表すための予めトレーニングされた点数計算モデルに入力して、該ニュースのナレーションの生成に適する点数を取得するように構成され得る。
【０３３０】
本実施例の一部の選択可能な実現方式において、上記素材リソースセット確定ユニット６０３はさらに、上記目標ニュースクラスタに含まれる映像と画像を、上記ナレーションに対応する候補素材リソースセットとして確定するように構成され得る。
【０３３１】
本実施例の一部の選択可能な実現方式において、上記素材リソースセット確定ユニット６０３は、上記目標ニュースクラスタに含まれる各映像に対して意味的分割を行って取得した少なくとも１つの映像セグメントを目標映像セットとして確定するように構成される目標映像セット確定モジュール（図示せず）と、上記目標ニュースクラスタに含まれる各画像を目標画像セットとして確定するように構成される目標画像セット確定モジュール（図示せず）と、上記目標映像セットと上記目標画像セットに基づいて、上記ナレーションに対応する映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するように構成される素材リソースセット確定モジュール（図示せず）とを含むことができる。
【０３３２】
本実施例の一部の選択可能な実現方式において、上記素材リソースセット確定モジュール（図示せず）はさらに、上記目標映像セットと上記目標画像セットを合併して、上記ナレーションに対応する候補素材リソースセットを取得するように構成され得る。
【０３３３】
本実施例の一部の選択可能な実現方式において、上記素材リソースセット確定モジュール（図示せず）はさらに、上記目標映像セットにおける各目標映像に対して、該目標映像を、映像とビビット映像であるか否かを示すためのビビット映像検出結果との対応関係を表すための予めトレーニングされたビビット映像検出モデルに入力して、該目標映像に対応するビビット映像検出結果を取得し、上記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示す目標映像を削除し、上記目標映像セットと上記目標画像セットを合併して、上記ナレーションに対応する候補素材リソースセットを得るように構成され得る。
【０３３４】
本実施例の一部の選択可能な実現方式において、上記素材リソースセット確定モジュール（図示せず）はさらに、上記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示す目標映像を削除した後、上記目標映像セットにおける映像再生持続時間が所定最小候補映像持続時間よりも短い映像を削除するように構成され得る。
【０３３５】
本実施例の一部の選択可能な実現方式において、上記ナレーションに対応する映像における画像の再生持続時間は所定画像再生持続時間であってもよく、及び、上記素材リソースシーケンス確定ユニット６０４は、上記ナレーションにおける各段落に対して、該段落と上記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成されるマッチング度確定モジュール（図示せず）と、上記ナレーションにおける各段落と各上記候補素材リソースとのマッチング度、各上記候補素材リソースの再生持続時間及び上記ナレーションにおける各段落のテキストの長さに基づいて、上記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される素材リソースシーケンス確定モジュール（図示せず）とを備えることができる。
【０３３６】
本実施例の一部の選択可能な実現方式において、上記マッチング度確定モジュール（図示せず）はさらに、上記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを確定し、上記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを確定し、上記ナレーションにおける各段落に対応する意味ベクトルと上記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するように構成され得る。
【０３３７】
本実施例の一部の選択可能な実現方式において、上記した上記ナレーションにおける各段落に対応する意味ベクトルと上記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとのマッチング度を、対応する段落と対応する候補素材リソースとのマッチング度として確定することは、該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースに対して意味的分割を行い、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルによって、該候補素材リソースに対応する意味ベクトルを確定し、該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースに対してダウンサンプリングを行い、少なくとも１つのサンプル画像を取得し、上記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像に対して意味的分割を行い、該サンプル画像に対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルによって、該サンプル画像に対応する意味ベクトルを確定し、各上記サンプル画像に対応する意味ベクトルによって、該候補素材リソースに対応する意味ベクトルを確定することを含むことができる。
【０３３８】
本実施例の一部の選択可能な実現方式において、上記素材リソースシーケンス確定モジュール（図示せず）はさらに、上記ナレーションにおける各段落に対して、第１プリセット最適化アルゴリズムを利用し、該段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、該段落に対応する候補素材リソースシーケンスと該段落とのマッチング度が最大であることを最適化目標とし、該段落に対応する候補素材リソースシーケンスを確定するように構成され得る。
【０３３９】
本実施例の一部の選択可能な実現方式において、上記素材リソースシーケンス確定モジュール（図示せず）はさらに、第２プリセット最適化アルゴリズムを利用し、上記ナレーションにおける各段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、上記ナレーションにおける各段落に対応する候補素材リソースシーケンスと対応する段落とのマッチング度の合計が最大であることを最適化目標とし、上記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成され得る。
【０３４０】
本実施例の一部の選択可能な実現方式において、上記ナレーションにおける各段落に対応する候補素材リソースシーケンスにおける候補素材リソースが互いに異なる。
【０３４１】
本実施例の一部の選択可能な実現方式において、上記映像生成ユニット６０５はさらに、上記ナレーションにおける各段落の前から後への順序によって、各段落に対応する音声を接続して、第１音声を取得し、上記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第１映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であり、得られた第１音声と第１映像をそれぞれ上記ナレーションに対応する映像における音声部分と映像部分として確定するように構成され得る。
【０３４２】
本実施例の一部の選択可能な実現方式において、上記映像生成ユニット６０５はさらに、上記ナレーションにおける各段落に対して、該段落を、予めトレーニングした映像アドバンス再生持続時間確定モデルに入力して、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、上記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間との対応関係を示し、上記ナレーションにおける最後の段落以外の各段落に対して、該段落の上記ナレーションにおける前から後への順序に従って、段落映像編集ステップを実行するように構成され得る。前記段落映像編集ステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を映像クリップ持続時間として確定し、該段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、該段落に対応する映像を取得し、該段落に対応する映像末尾から上記映像クリップ持続時間分の映像を切り抜き、上記ナレーションにおける最後の段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、最後の段落に対応する映像を取得し、上記ナレーションにおける各段落の前から後への順序に従って、各段落に対応する映像を接続して第２映像を取得し、及び、上記ナレーションにおける各段落の前から後への順序に従って、各段落に対応する音声を接続して、第２音声を取得し、得られた第２音声と第２映像をそれぞれ上記ナレーションに対応する映像における音声部分と映像部分として確定することを含む。
【０３４３】
本実施例の一部の選択可能な実現方式において、上記映像生成ユニット６０５はさらに、上記ナレーションにおける各段落に対して、該段落を、予めトレーニングした映像アドバンス再生持続時間確定モデルに入力して、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、上記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間との対応関係を示し、上記ナレーションにおける最後の段落以外の各段落に対して、該段落の上記ナレーションにおける前から後への順序に従って、段落音声延長ステップを実行するように構成され得る。前記段落音声延長ステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を音声延長持続時間として確定し、該段落に対応する音声末尾に、確定された音声延長持続時間分の無音再生持続時間を追加し、上記ナレーションにおける各段落の前から後への順序に従って、各段落に対応する音声を接続して、第３音声を取得し、上記ナレーションにおける各段落の前から後への順序に従って、各段落に対応する映像を接続して、第３映像を取得し、ここで、段落に対応する映像は、該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であり、得られた第３音声と第３映像をそれぞれ上記ナレーションに対応する映像における音声部分と映像部分として確定することを含む。
【０３４４】
本実施例の一部の選択可能な実現方式において、上記装置６００はさらに、上記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づいて、上記ナレーションに対応する映像を生成する前に、上記ナレーションにおける各段落に対して、該段落に対応する候補素材リソースシーケンスにおける各素材リソースに対して、単色素材リソース検出ステップを実行するように構成される単色素材リソース検出ユニット（図示せず）を含んでもよい。前記単色素材リソース検出ステップは、該素材リソースが映像であると判定されたことと、該映像素材リソースに単色画像フレームが存在することとに応答して、該素材リソースにおける単色画像フレームを削除するステップと、該素材リソースが画像であると判定されたことと、該画像素材リソースが単色画像であることとに応答して、該段落に対応する候補素材リソースシーケンスから該素材リソースを削除するステップとを含む。
【０３４５】
本実施例の一部の選択可能な実現方式において、上記装置６００はさらに、上記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づいて、上記ナレーションに対応する映像を生成する前に、上記ナレーションにおける各段落に対して、アライメント検出ステップを実行するように構成されるアライメント検出ユニット（図示せず）を含んでもよい。前記アライメント検出ステップは、該段落に対応する音声の再生持続時間が該段落に対応する候補素材リソースシーケンスの再生持続時間より長いと判定されたことに応答して、該段落に対応する候補素材リソースシーケンスにおける画像タイプの候補素材リソースの再生持続時間を延長するか、或いは、該段落に対応する音声の再生持続時間を、該段落に対応する候補素材リソースシーケンスの再生持続時間に等しくするように、上記候補素材リソースセットから候補素材リソースを選択して、該段落に対応する候補素材リソースシーケンスの中に追加することを含む。
【０３４６】
本実施例の一部の選択可能な実現方式において、上記装置６００は、上記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、上記ナレーションに対応する映像を生成した後、上記ナレーションに対応する映像を端末装置に送信するように構成される映像送信ユニット（図示せず）をさらに含んでもよい。
【０３４７】
本実施例の一部の選択可能な実現方式において、上記装置６００は、目標ニュースクラスタのナレーションの確定から、上記ナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在の取り得る値を取得するように構成されるパラメータ現在値取得ユニット（図示せず）と、上記ナレーションに対応する映像の映像評価点数を確定するように構成される映像評価点数確定ユニット（図示せず）と、上記少なくとも１つのパラメータの現在値に対して特徴抽出を行い、特徴表現を得るように構成される特徴抽出ユニット（図示せず）と、上記特徴表現と確定された映像評価点数を予めトレーニングした評価ネットワークに入力して、予測映像評価点数を得るように構成される第１入力ユニット（図示せず）と、上記特徴表現と上記予測映像評価点数を予めトレーニングした行動ネットワークに入力して、現在の行動情報を得るように構成される第２入力ユニット（図示せず）と、上記現在の行動情報に応じて、上記少なくとも１つのパラメータの現在値を調整するように構成されるパラメータ調整ユニット（図示せず）とをさらに含んでもよい。
【０３４８】
本実施例の一部の選択可能な実現方式において、上記装置６００は、上記少なくとも１つのパラメータの現在値により、目標ニュースクラスタのナレーションの確定から、上記ナレーションに対応する映像の生成までのプロセスを再実行するように構成される映像再生成ユニット（図示せず）をさらに含んでもよい。
【０３４９】
なお、本出願の実施例により提供される映像を生成するための装置における各ユニットの実現詳細と技術的効果は本出願のほかの実施例における説明を参照することができるため、ここで贅言しない。
【０３５０】
次に、本出願の実施例を実現するためのサーバに適するコンピュータシステム７００の構造概略図を示す図７を参照されたい。図７に示されるサーバはあくまでも一例に過ぎなく、本出願の実施例の機能と使用範囲を制限するものではない。
【０３５１】
図７に示すように、コンピュータシステム７００は、読み取り専用メモリ（ＲＯＭ，Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に格納されたプログラム又は記憶部分７０８からランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０３にローディングされたプログラムによって様々な適切な行動と処理を実行することができる１つまたは複数の中央処理装置(ＣＰＵ，Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)７０１を含み得る。ＲＡＭ７０３において、システム７００の操作に必要な様々なプログラムとデータがさらに格納される。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３はバス７０４を介して互いに接続される。入力／出力（Ｉ／Ｏ，Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース７０５もバス７０４に接続される。
【０３５２】
キーボード、マウスなどが含まれる入力部７０６、陰極線管（ＣＲＴ，Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、液晶ディスプレイ（ＬＣＤ，Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）など及びスピーカなどが含まれる出力部７０７と、ハードウェアなどが含まれる記憶部７０８、及びＬＡＮ（ローカルエリアネットワーク，Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）カード、モデムなどのネットワークインターフェースカードなどが含まれる通信部７０９という構成要素がＩ／Ｏインターフェース７０５に接続される。通信部７０９はインターネットなどのネットワークを介して通信処理を行う。ドライバ７１０も所望によりＩ／Ｏインターフェース７０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディア７１１が所望によりドライバ７１０に取り付けられ、それにより、それらの媒体から読み取られたコンピュータプログラムが必要に応じて記憶部７０８にインストールされる。
【０３５３】
特に、本開示の実施例により、フローチャートを合わせて説明したプロセスは、コンピュータソフトウェアプログラムとして実装されることができる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは、コンピュータ可読媒体に格納されたコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは通信部７０９を介してネットワークからダウンロードされてインストールされ、及び／又は、リムーバブルメディア７１１からインストールされてもよい。該コンピュータプログラムが中央処理装置（ＣＰＵ）７０１により実行される時、本出願の方法に限定される上記機能を実行する。なお、本出願の上記コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両者のいずれかの組み合わせであってもよい。コンピュータ可読記憶媒体は電気、磁気、光学、電磁気、赤外線、或いは、半導体のシステム、装置又はデバイス、或いは、以上のいずれかの組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体のさらなる具体的な例は、１本又は複数本のワイヤを備える電気接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュディスク）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記いずれかの適切な組み合わせを含んでもよいが、それらに限定されない。本出願において、コンピュータ可読記憶媒体はプログラムを含むか又は格納するいずれかの有形媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスに使用されるか又はそれと合わせて使用される。本出願では、コンピュータ可読信号媒体はベースバンドに含まれるか、またはキャリアの一部として伝播されるデータ信号を含み得る。コンピュータ可読信号媒体には、コンピュータで読み取り可能なプログラムコードが記憶されている。そのような伝播されるデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがこれらに限定されない様々な形態をとることができる。コンピュータ可読信号媒体はさらに、命令実行システム、装置もしくはデバイスによって使用されるか、または組み合わせて使用されるプログラムを送信、伝播、または伝送できる、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であり得る。コンピュータ可読媒体に記憶されているプログラムコードは、ワイヤレス、ワイヤ、光ファイバケーブル、ＲＦ（無線周波数）など、または上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって送信され得る。
【０３５４】
本出願の動作を実行するためのコンピュータプログラムコードは、１つまたは複数のプログラミング言語、またはそれらの組み合わせで書くことができる。前記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語や、「Ｃ」言語または類似するプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、完全にユーザーのコンピュータ上で実行されることも、部分的にユーザーのコンピュータ上で実行されることも、スタンドアロンソフトウェアパッケージとして実行されることも、部分的にユーザーのコンピュータ上で実行されながら部分的にリモートコンピュータ上で実行されることも、または完全にリモートコンピュータまたはサーバー上で実行されることも可能である。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザーのコンピュータに接続されることができる。または、外部のコンピュータに接続されることができる（例えば、インターネットサービスプロバイダーによるインターネット経由で接続される）。
【０３５５】
添付図面のうちのフローチャートおよびブロック図は、本出願の様々な実施例に係るシステム、方法、およびコンピュータプログラム製品の実施可能なアーキテクチャ、機能、および動作を示している。ここで、フローチャートまたはブロック図における各ブロックは、モジュール、プログラムセグメント、またはコードの一部を表すことができる。該モジュール、プログラムセグメント、またはコードの一部は、指定されたロジック機能を実施するための１つまたは複数の実行可能な命令を含む。また、いくつかの代替的な実施形態では、ブロックに記載されている機能は、図面に示されているものとは異なる順序で発生する場合があることにも留意されたい。例えば、連続して表されている２つのブロックは、実際にほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。これは関連する機能によって決まる。また、ブロック図および/またはフローチャートにおける各ブロック、並びにブロック図および/またはフローチャートにおけるブロックの組み合わせは、指定された機能または動作を実行する専用のハードウェアベースのシステムで実施することも、または専用のハードウェアとコンピュータの命令の組み合わせで実施することも可能であることに留意されたい。
【０３５６】
本出願の実施例に記載されたユニットはソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。記載されたユニットはプロセッサに設置されてもよく、例えば、ナレーション確定ユニット、音声生成ユニット、素材リソースセット確定ユニット、素材リソースシーケンス確定ユニット及び映像生成ユニットを備えるプロセッサとして記載することができる。ここで、これらのユニットの名称は、特定の状況下では当該ユニット自体に対する制限を構成するものではなく、例えば、ナレーション確定ユニットは、目標ニュースクラスタのナレーションを確定するユニットとして記載されてもよい。
【０３５７】
ほかの１つの態様として、本出願はさらにコンピュータ可読媒体を提供し、該コンピュータ可読媒体は上記実施例に記載の装置に含まれてもよく、該装置に組み込まれずに別個に存在してもよい。上記コンピュータ可読媒体は１つ又は複数のプログラムを格納し、上記１つ又は複数のプログラムが該装置により実行される時、該装置は、それぞれ同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定し、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成し、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する候補素材リソースセットを確定し、ここで、候補素材リソースは映像又は画像であり、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定し、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成する。
【０３５８】
もう１つの態様として、本出願の実施例は、インターフェースと、１つ又は複数のプログラムが記憶されるメモリと、それぞれが同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定することと、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成することと、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定することと、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することと、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成することに用いられる操作上に上記インターフェースと上記メモリに接続される１つ又は複数のプロセッサと、を備えるほかのサーバをさらに提供する。
【０３５９】
さらに１つの態様として、本出願の実施例は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、ここで、上記コンピュータプログラムが１つ又は複数のプロセッサにより実行される際、上記１つ又は複数のプロセッサは、それぞれが同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定し、音声合成技術を利用して、ナレーションにおける各段落に対応する音声を生成し、目標ニュースクラスタに含まれる映像と画像に基づき、ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定し、ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定し、ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、ナレーションに対応する映像を生成する。
【０３６０】
上記の説明は、あくまでも本出願の好ましい実施例および応用技術原理の説明にすぎない。本出願に係る発明の範囲は、上記の技術的特徴の特定の組み合わせによって形成された技術的解決手段に限定されず、上記の発明の構想から逸脱しない範囲で上記の技術的特徴またはその同等の技術的特徴の任意の組み合わせによって形成されたその他の技術的解決手段、例えば、上記の特徴と本出願に開示された同様の機能を有する技術的特徴（それだけに限定されない）とが相互に代替することによって形成された技術的解決手段もカバーしていることを当業者は理解すべきである。
【図１】
2020174342.tif 000003
【図２Ａ】
2020174342.tif 000004
【図２Ｂ】
2020174342.tif 000005
【図２Ｃ】
2020174342.tif 000006
【図２Ｄ】
2020174342.tif 000007
【図２Ｅ】
2020174342.tif 000008
【図２Ｆ】
2020174342.tif 000009
【図２Ｇ】
2020174342.tif 000010
【図２Ｈ】
2020174342.tif 000011
【図２Ｉ】
2020174342.tif 000012
【図２Ｊ】
2020174342.tif 000013
【図３】
2020174342.tif 000014
【図４Ａ】
2020174342.tif 000015
【図４Ｂ】
2020174342.tif 000016
【図５】
2020174342.tif 000017
【図６】
2020174342.tif 000018
【図７】
2020174342.tif 000019
【手続補正書】
【提出日】令和2年1月8日(2020.1.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定するステップと、
音声合成技術を利用して、前記ナレーションにおける各段落に対応する音声を生成するステップと、
前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するステップと、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するステップと、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するステップと、を含む映像を生成するための方法。
【請求項２】
前記方法は、
目標ニュースクラスタのナレーションを確定する前に、目標ニュースクラスタを確定するステップをさらに含む請求項１に記載の方法。
【請求項３】
前記目標ニュースクラスタを確定するステップは、
最近の第１所定持続時間内に生成されたニュースからなる少なくとも１つのニュースクラスタを取得することと、
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することと、を含む請求項２に記載の方法。
【請求項４】
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することは、
前記少なくとも１つのニュースクラスタのそれぞれを前記目標ニュースクラスタとして確定することを含む請求項３に記載の方法。
【請求項５】
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することは、
前記少なくとも１つのニュースクラスタのそれぞれを、該ニュースクラスタにおける最近の第２所定持続時間内に生成されたニュースの数の降順に従ってソートすることと、
前記少なくとも１つのニュースクラスタのうち、所定ソート範囲内でソートされた各ニュースクラスタを前記目標ニュースクラスタとして確定することと、を含む請求項３に記載の方法。
【請求項６】
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することは、
前記少なくとも１つのニュースクラスタのうち、高品質ニュースクラスタのそれぞれを前記目標ニュースクラスタとして確定することを含み、ここで、高品質ニュースクラスタにおいて、ニュースに含まれる画像の数を所定の最小画像数より大きくし、且つ、ニュースに含まれる映像の数を所定の最小映像数より大きくする請求項３に記載の方法。
【請求項７】
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定することは、
前記少なくとも１つのニュースクラスタのそれぞれに対して、該ニュースクラスタにおける各ニュースに基づいて、該ニュースクラスタに対応するニュースイベントトピックス、及び、確定されたニュースイベントトピックスの現在の出現頻度を確定することと、
前記少なくとも１つのニュースクラスタのそれぞれに対応するニュースイベントトピックスの現在の出現頻度から該ニュースイベントトピックスの過去の出現頻度を引いた頻度差を確定することと、
前記少なくとも１つのニュースクラスタのうち、対応するニュースイベントトピックスの頻度差が所定の頻度差閾値よりも大きいニュースクラスタを、前記目標ニュースクラスタとして確定することと、を含む請求項３に記載の方法。
【請求項８】
前記目標ニュースクラスタのナレーションを確定するステップは、
前記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定することと、
前記目標ニュースクラスタにおけるナレーションの生成に適する点数が最も高いニュースを目標ニュースとして確定することと、
前記目標ニュースに基づいて、前記目標ニュースクラスタのナレーションを生成することと、を含む請求項１に記載の方法。
【請求項９】
前記目標ニュースに基づいて、前記目標ニュースクラスタのナレーションを生成することは、
前記目標ニュースに含まれるテキストを目標テキストとして確定することと、
前記目標テキストに含まれるナレーションに不適切なテキストを削除することであって、ここで、ナレーションに不適切なテキストとは、予め確定されたナレーションに不適切なテキストのセットにおけるテキストであることと、
前記目標テキストに含まれる書き言葉を同じ意味の話し言葉に置き換えることと、
前記目標テキストから要約を抽出することにより得られた要約テキストを前記目標ニュースクラスタのナレーションとして確定することと、を含む請求項８に記載の方法。
【請求項１０】
前記目標テキストから要約を抽出することにより得られた要約テキストを前記目標ニュースクラスタのナレーションとして確定することは、
所定の最大話速と所定の最大音声持続時間に従ってナレーションの最大文字数を確定することと、
前記目標テキストから要約を抽出し、且つ抽出された要約テキストの文字数を前記ナレーションの最大文字数より少なくすることと、
抽出された要約テキストを前記目標ニュースクラスタのナレーションとして確定することと、を含む請求項９に記載の方法。
【請求項１１】
前記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定することは、
該ニュースの少なくとも１種の特徴における特徴値を抽出することと、
抽出された少なくとも１種の特徴値に基づき、該ニュースのナレーションの生成に適する点数を確定することと、を含む請求項８に記載の方法。
【請求項１２】
前記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定することは、
該ニュースに含まれるテキストを予めトレーニングされた点数計算モデルに入力して、該ニュースのナレーションの生成に適する点数を取得することを含み、ここで、前記点数計算モデルは、テキストと、テキストの、ナレーションの生成に適する点数との対応関係を特徴付けることに用いられる請求項８に記載の方法。
【請求項１３】
前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する候補素材リソースセットを確定するステップは、
前記目標ニュースクラスタに含まれる映像と画像を、前記ナレーションに対応する候補素材リソースセットとして確定することを含む請求項１に記載の方法。
【請求項１４】
前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する候補素材リソースセットを確定するステップは、
前記目標ニュースクラスタに含まれる各映像に対して意味的分割を行うことにより得られた少なくとも１つの映像セグメントを目標映像セットとして確定することと、
前記目標ニュースクラスタに含まれる各画像を目標画像セットとして確定することと、
前記目標映像セットと前記目標画像セットに基づき、前記ナレーションに対応する候補素材リソースのセットを確定することと、を含み、ここで、候補素材リソースは映像又は画像である請求項１に記載の方法。
【請求項１５】
前記目標映像セットと前記目標画像セットに基づき、前記ナレーションに対応する候補素材リソースセットを確定することは、
前記目標映像セットと前記目標画像セットを合併して前記ナレーションに対応する候補素材リソースセットを取得することを含む請求項１４に記載の方法。
【請求項１６】
前記目標映像セットと前記目標画像セットに基づき、前記ナレーションに対応する候補素材リソースセットを確定することは、
前記目標映像セットにおける各目標映像に対して、該目標映像を予めトレーニングされたビビット映像検出モデルに入力して、該目標映像に対応するビビット映像検出結果を取得し、ここで、前記ビビット映像検出モデルは、映像と、ビビット映像であるか否かを示すためのビビット映像検出結果との対応関係を特徴付けることに用いられることと、
前記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられた目標映像を削除することと、
前記目標映像セットと前記目標画像セットを合併して前記ナレーションに対応する候補素材リソースセットを取得することと、を含む請求項１４に記載の方法。
【請求項１７】
前記方法は、前記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられた目標映像を削除した後、前記目標映像セットにおける映像再生持続時間が所定の最小候補映像持続時間よりも短い映像を削除するステップをさらに含む請求項１６に記載の方法。
【請求項１８】
前記ナレーションに対応する映像における画像の再生持続時間は、所定の画像再生持続時間であり、及び、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するステップは、
前記ナレーションにおける各段落に対し、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定することと、
前記ナレーションにおける各段落と各前記候補素材リソースとのマッチング度、各前記候補素材リソースの再生持続時間及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することと、を含む請求項１に記載の方法。
【請求項１９】
前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定することは、
前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを確定することと、
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを確定することと、
前記ナレーションにおける各段落に対応する意味ベクトルと前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定することと、を含む請求項１８に記載の方法。
【請求項２０】
前記ナレーションにおける各段落に対応する意味ベクトルと前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定することは、
該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースに対して意味的分割を行い、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに基づいて該候補素材リソースに対応する意味ベクトルを確定することと、
該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースに対してダウンサンプリングを行い、少なくとも１つのサンプル画像を得ることと、
前記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像に対して意味的分割を行い、該サンプル画像に対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルに基づいて該サンプル画像に対応する意味ベクトルを確定することと、
各前記サンプル画像に対応する意味ベクトルに基づき、該候補素材リソースに対応する意味ベクトルを確定することと、を含む請求項１９に記載の方法。
【請求項２１】
前記ナレーションにおける各段落と各前記候補素材リソースとのマッチング度、各前記候補素材リソースの再生持続時間及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することは、
前記ナレーションにおける各段落に対して、第１プリセット最適化アルゴリズムを利用し、該段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、該段落に対応する候補素材リソースシーケンスと該段落とのマッチング度が最大であることを最適化目標とし、該段落に対応する候補素材リソースシーケンスを確定することを含む請求項１８に記載の方法。
【請求項２２】
前記ナレーションにおける各段落と各前記候補素材リソースとのマッチング度、各前記候補素材リソースの再生持続時間及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することは、
第２プリセット最適化アルゴリズムを利用し、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスと対応する段落とのマッチング度の合計が最大であることを最適化目標とし、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定することを含む請求項１８に記載の方法。
【請求項２３】
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスにおける候補素材リソースが互いに異なる請求項２１又は２２に記載の方法。
【請求項２４】
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するステップは、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第１音声を得ることと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第１映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であることと、
得られた第１音声と第１映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定することと、を含む請求項１に記載の方法。
【請求項２５】
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するステップは、
前記ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、前記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間の間の対応関係を特徴付けることに用いられることと、
前記ナレーションにおける最後の段落以外の各段落に対して、前記ナレーションにおける該段落の前から後への順序に基づき、段落映像クリップステップを実行することであって、該段落映像クリップステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を映像クリップ持続時間として確定し、該段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、該段落に対応する映像を取得し、該段落に対応する映像末尾から前記映像クリップ持続時間分の映像を切り抜くことを行うことと、
前記ナレーションにおける最後の段落に対応する候補素材リソースシーケンスの中の各候補素材リソースを順次接続して、最後の段落に対応する映像を得ることと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第２映像を得ることと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第２音声を得ることと、
得られた第２音声と第２映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定することと、を含む請求項１に記載の方法。
【請求項２６】
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するステップは、
前記ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、前記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間の間の対応関係を特徴付けることに用いられることと、
前記ナレーションにおける最後の段落以外の各段落に対して、前記ナレーションにおける該段落の前から後への順序に基づき、段落音声延長ステップを実行することであって、該段落音声延長ステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を音声延長時間長として確定し、該段落に対応する音声末尾に、確定された音声延長時間長の無音再生持続時間を追加することを行うことと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第３音声を得ることと、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第３映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であることと、
得られた第３音声と第３映像をそれぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定することと、を含む請求項１に記載の方法。
【請求項２７】
前記方法は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成する前に、前記ナレーションにおける各段落に対して、単色素材リソース検出ステップを実行するステップをさらに含み、
ここで、前記単色素材リソース検出ステップは、
該段落に対応する候補素材リソースシーケンスにおける各素材リソースに対して、該素材リソースが単色画像フレームの存在する映像であると判定されたことに応答して、該素材リソースにおける単色画像フレームを削除することと、
該素材リソースが単色画像であると判定されたことに応答して、該段落に対応する候補素材リソースシーケンスから該素材リソースを削除することを行う請求項１に記載の方法。
【請求項２８】
前記方法は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成する前に、
前記ナレーションにおける各段落に対して整列検出ステップを実行するステップをさらに含み、
ここで、該整列検出ステップは、
該段落に対応する音声の再生持続時間が該段落に対応する候補素材リソースシーケンスの再生持続時間より長いと判定されたことに応答して、該段落に対応する候補素材リソースシーケンスにおける画像タイプの候補素材リソースの再生持続時間を延長するか、或いは、前記候補素材リソースセットから候補素材リソースを選択して、該段落に対応する候補素材リソースシーケンスの中に追加し、それにより、該段落に対応する音声の再生持続時間を、該段落に対応する候補素材リソースシーケンスの再生持続時間に等しくすることを行う請求項２７に記載の方法。
【請求項２９】
前記方法は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成した後、前記ナレーションに対応する映像を端末装置に送信するステップをさらに含む請求項１に記載の方法。
【請求項３０】
前記方法は、
目標ニュースクラスタのナレーションの確定から、前記ナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を取得するステップと、
前記ナレーションに対応する映像の映像評価点数を確定するステップと、
前記少なくとも１つのパラメータの現在値に対して特徴抽出を行い、特徴表現を得るステップと、
前記特徴表現と確定された映像評価点数を予めトレーニングした評価ネットワークに入力して、予測映像評価点数を得るステップと、
前記特徴表現と前記予測映像評価点数を予めトレーニングした行動ネットワークに入力して、現在の行動情報を得るステップと、
前記現在の行動情報により、前記少なくとも１つのパラメータの現在値を調整するステップとをさらに含む請求項１に記載の方法。
【請求項３１】
前記方法は、
前記少なくとも１つのパラメータの現在値により、目標ニュースクラスタのナレーションの確定から、前記ナレーションに対応する映像の生成までのプロセスを再び実行するステップをさらに含む請求項３０に記載の方法。
【請求項３２】
映像を生成するための装置であって、
各々が同一ニュースイベントを対象とするニュースからなる目標ニュースクラスタのナレーションを確定するように構成されるナレーション確定ユニットと、
音声合成技術を利用して、前記ナレーションにおける各段落に対応する音声を生成するように構成される音声生成ユニットと、
前記目標ニュースクラスタに含まれる映像と画像に基づき、前記ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するように構成される素材リソースセット確定ユニットと、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される素材リソースシーケンス確定ユニットと、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成するように構成される映像生成ユニットと、を備える装置。
【請求項３３】
前記装置は、
目標ニュースクラスタのナレーションを確定する前に、目標ニュースクラスタを確定するように構成される目標ニュースクラスタ確定ユニットをさらに備える請求項３２に記載の装置。
【請求項３４】
前記目標ニュースクラスタ確定ユニットは、
最近の第１所定期間内に生成されたニュースからなる少なくとも１つのニュースクラスタを取得するように構成されるニュースクラスタ取得モジュールと、
前記少なくとも１つのニュースクラスタに基づいて前記目標ニュースクラスタを確定するように構成される目標ニュースクラスタ確定モジュールと、を備える請求項３３に記載の装置。
【請求項３５】
前記目標ニュースクラスタ確定モジュールはさらに、
前記少なくとも１つのニュースクラスタのそれぞれを前記目標ニュースクラスタとして確定するように構成される請求項３４に記載の装置。
【請求項３６】
前記目標ニュースクラスタ確定モジュールはさらに、
前記少なくとも１つのニュースクラスタのそれぞれを、該ニュースクラスタにおける最近の第２所定期間内に生成されたニュースの数の降順によってソートし、
前記少なくとも１つのニュースクラスタのうち、所定ソート範囲内でソートされた各ニュースクラスタを前記目標ニュースクラスタとして確定するように構成される請求項３４に記載の装置。
【請求項３７】
前記目標ニュースクラスタ確定モジュールはさらに、
前記少なくとも１つのニュースクラスタのうち、高品質ニュースクラスタのそれぞれを前記目標ニュースクラスタとして確定し、ここで、高品質ニュースクラスタにおいて、ニュースに含まれる画像の数を所定の最小画像数より大きくし、且つ、ニュースに含まれる映像の数を所定の最小映像数より大きくするように構成される請求項３４に記載の装置。
【請求項３８】
前記目標ニュースクラスタ確定モジュールはさらに、
前記少なくとも１つのニュースクラスタのそれぞれに対して、該ニュースクラスタにおける各ニュースに基づいて、該ニュースクラスタに対応するニュースイベントトピックス、及び、確定されたニュースイベントトピックスの現在の出現頻度を確定し、
前記少なくとも１つのニュースクラスタのそれぞれに対応するニュースイベントトピックスの現在の出現頻度から該ニュースイベントトピックスの過去の出現頻度を引いた頻度差を確定し、
前記少なくとも１つのニュースクラスタのうち、対応するニュースイベントトピックスの頻度差が所定の頻度差閾値より大きいニュースクラスタを、前記目標ニュースクラスタとして確定するように構成される請求項３４に記載の装置。
【請求項３９】
前記ナレーション確定ユニットは、
前記目標ニュースクラスタにおける各ニュースに対して、該ニュースのナレーションの生成に適する点数を確定するように構成される点数確定モジュールと、
前記目標ニュースクラスタにおけるナレーションの生成に適する点数が最も高いニュースを目標ニュースとして確定するように構成される目標ニュース確定モジュールと、
前記目標ニュースに基づいて、前記目標ニュースクラスタのナレーションを生成するように構成されるナレーション生成モジュールと、を備える請求項３２に記載の装置。
【請求項４０】
前記ナレーション生成モジュールはさらに、
前記目標ニュースに含まれるテキストを目標テキストとして確定し、
前記目標テキストに含まれるナレーションに不適切なテキストを削除し、ここで、ナレーションに不適切なテキストとは、予め確定したナレーションに不適切なテキストのセットにおけるテキストであり、
前記目標テキストに含まれる書き言葉を同じ意味の話し言葉に置き換え、
前記目標テキストから要約を抽出することにより得られた要約テキストを前記目標ニュースクラスタのナレーションとして確定するように構成される請求項３９に記載の装置。
【請求項４１】
前記目標テキストから要約を抽出することにより得られた要約テキストを前記目標ニュースクラスタのナレーションとして確定することは、
所定の最大話速と所定の最大音声時間によってナレーションの最大文字数を確定することと、
前記目標テキストから要約を抽出し、且つ抽出された要約テキストの文字数を前記ナレーションの最大文字数より少なくすることと、
抽出された要約テキストを前記目標ニュースクラスタのナレーションとして確定することと、を含む請求項４０に記載の装置。
【請求項４２】
前記点数確定モジュールはさらに、
該ニュースの少なくとも１種の特徴における特徴値を抽出し、
抽出された少なくとも１種の特徴値に基づき、該ニュースのナレーションの生成に適する点数を確定するように構成される請求項３９に記載の装置。
【請求項４３】
前記点数確定モジュールはさらに、
該ニュースに含まれるテキストを予めトレーニングされた点数計算モデルに入力して、該ニュースのナレーションの生成に適する点数を取得するように構成され、ここで、前記点数計算モデルは、テキストと、ナレーションの生成に適するテキストの点数との対応関係を特徴付けることに用いられる請求項３９に記載の装置。
【請求項４４】
前記素材リソースセット確定ユニットはさらに、
前記目標ニュースクラスタに含まれる映像と画像を、前記ナレーションに対応する候補素材リソースセットとして確定するように構成される請求項３２に記載の装置。
【請求項４５】
前記素材リソースセット確定ユニットは、
前記目標ニュースクラスタに含まれる各映像に対して意味的分割を行うことにより得られた少なくとも１つの映像セグメントを目標映像セットとして確定するように構成される目標映像セット確定モジュールと、
前記目標ニュースクラスタに含まれる各画像を目標画像セットとして確定するように構成される目標画像セット確定モジュールと、
前記目標映像セットと前記目標画像セットに基づき、前記ナレーションに対応する、映像又は画像である候補素材リソースからなる候補素材リソースセットを確定するように構成される素材リソースセット確定モジュールと、を備える請求項３２に記載の装置。
【請求項４６】
前記素材リソースセット確定モジュールはさらに、
前記目標映像セットと前記目標画像セットを合併して前記ナレーションに対応する候補素材リソースセットを取得するように構成される請求項４５に記載の装置。
【請求項４７】
前記素材リソースセット確定モジュールはさらに、
前記目標映像セットにおける各目標映像に対して、該目標映像を予めトレーニングされたビビット映像検出モデルに入力して、該目標映像に対応するビビット映像検出結果を取得し、ここで、前記ビビット映像検出モデルは、映像と、ビビット映像であるか否かを示すためのビビット映像検出結果との対応関係を特徴付けることに用いられ、
前記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられた目標映像を削除し、
前記目標映像セットと前記目標画像セットを合併して前記ナレーションに対応する候補素材リソースセットを取得するように構成される請求項４５に記載の装置。
【請求項４８】
前記素材リソースセット確定モジュールはさらに、
前記目標映像セットにおける対応するビビット映像検出結果が非ビビット映像を示すことに用いられた目標映像を削除した後、前記目標映像セットにおける映像の再生持続時間が所定の最小候補映像再生持続時間よりも短い映像を削除するように構成される請求項４７に記載の装置。
【請求項４９】
前記ナレーションに対応する映像における画像の再生持続時間は、所定の画像再生持続時間であり、及び、
前記素材リソースシーケンス確定ユニットは、
前記ナレーションにおける各段落に対し、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成されるマッチング度確定モジュールと、
前記ナレーションにおける各段落と各前記候補素材リソースとのマッチング度、各前記候補素材リソースの再生持続時間及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される素材リソースシーケンス確定モジュールと、を備える請求項３２に記載の装置。
【請求項５０】
前記マッチング度確定モジュールはさらに、
前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを確定し、
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを確定し、
前記ナレーションにおける各段落に対応する意味ベクトルと前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するように構成される請求項４９に記載の装置。
【請求項５１】
前記ナレーションにおける各段落に対応する意味ベクトルと前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定することは、
該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースに対して意味的分割を行い、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに基づいて該候補素材リソースに対応する意味ベクトルを確定することと、
該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースに対してダウンサンプリングを行い、少なくとも１つのサンプル画像を得ることと、
前記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像に対して意味的分割を行い、該サンプル画像に対応する少なくとも１つの意味注釈結果を取得し、及び、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルに基づいて該サンプル画像に対応する意味ベクトルを確定することと、
各前記サンプル画像に対応する意味ベクトルに基づき、該候補素材リソースに対応する意味ベクトルを確定することと、を含む請求項５０に記載の装置。
【請求項５２】
前記素材リソースシーケンス確定モジュールはさらに、
前記ナレーションにおける各段落に対して、第１プリセット最適化アルゴリズムを利用し、該段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、該段落に対応する候補素材リソースシーケンスと該段落とのマッチング度が最大であることを最適化目標とし、該段落に対応する候補素材リソースシーケンスを確定するように構成される請求項４９に記載の装置。
【請求項５３】
前記素材リソースシーケンス確定モジュールはさらに、
第２プリセット最適化アルゴリズムを利用し、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約要件とし、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスと対応する段落とのマッチング度の合計が最大であることを最適化目標とし、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを確定するように構成される請求項４９に記載の装置。
【請求項５４】
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスにおける候補素材リソースが互いに異なる請求項５２又は５３に記載の装置。
【請求項５５】
前記映像生成ユニットはさらに、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第１音声を取得し、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第１映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であり、
得られた第１音声と第１映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定するように構成される請求項３２に記載の装置。
【請求項５６】
前記映像生成ユニットはさらに、
前記ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、前記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間の間の対応関係を特徴付けることに用いられ、
前記ナレーションにおける最後の段落以外の各段落に対して、前記ナレーションにおける該段落の前から後への順序に基づき、段落映像クリップステップを実行し、ここで、該段落映像クリップステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を映像クリップ持続時間として確定し、該段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、該段落に対応する映像を取得し、該段落に対応する映像末尾から前記映像クリップ持続時間分の映像を切り抜くことを行い、
前記ナレーションにおける最後の段落に対応する候補素材リソースシーケンスの中の各候補素材リソースを順次接続して、最後の段落に対応する映像を取得し、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第２映像を取得し、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第２音声を取得し、
得られた第２音声と第２映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定するように構成される請求項３２に記載の装置。
【請求項５７】
前記映像生成ユニットはさらに、
前記ナレーションにおける各段落に対して、予めトレーニングした映像アドバンス再生持続時間確定モデルに該段落を入力し、該段落に対応する映像アドバンス再生持続時間を取得し、ここで、前記映像アドバンス再生持続時間確定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間の間の対応関係を特徴付けることに用いられ、
前記ナレーションにおける最後の段落以外の各段落に対して、前記ナレーションにおける該段落の前から後への順序に基づき、段落音声延長ステップを実行し、ここで、該段落音声延長ステップは、該段落の次の段落に対応する映像アドバンス再生持続時間を音声延長時間長として確定し、該段落に対応する音声末尾に、確定された音声延長時間長の無音再生持続時間を追加することを行い、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する音声を接続して、第３音声を取得し、
前記ナレーションにおける各段落の前から後への順序により、各段落に対応する映像を接続して、第３映像を取得し、ここで、段落に対応する映像は該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して取得した映像であり、
得られた第３音声と第３映像を、それぞれ前記ナレーションに対応する映像における音声部分と映像部分として確定するように構成される請求項３２に記載の装置。
【請求項５８】
前記装置は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成する前に、前記ナレーションにおける各段落に対して、単色素材リソース検出ステップを実行するように構成される単色素材リソース検出ユニットであって、前記単色素材リソース検出ステップは、該段落に対応する候補素材リソースシーケンスにおける各素材リソースに対して該素材リソースが単色画像フレームの存在する映像であると判定されたことに応答して、該素材リソースにおける単色画像フレームを削除することと、該素材リソースが単色画像であると判定されたことに応答して、該段落に対応する候補素材リソースシーケンスから該素材リソースを削除することとを含む単色素材リソース検出ユニットをさらに含む請求項３２に記載の装置。
【請求項５９】
前記装置は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成する前に、前記ナレーションにおける各段落に対して整列検出ステップを実行するように構成される整列検出ユニットであって、前記整列検出ステップは、該段落に対応する音声の再生持続時間が該段落に対応する候補素材リソースシーケンスの再生持続時間より長いと判定されたことに応答して、該段落に対応する候補素材リソースシーケンスにおける画像タイプの候補素材リソースの再生持続時間を延長するか、或いは、前記候補素材リソースセットから候補素材リソースを選択して、該段落に対応する候補素材リソースシーケンスの中に追加し、それにより、該段落に対応する音声の再生持続時間を、該段落に対応する候補素材リソースシーケンスの再生持続時間に等しくすることを含む整列検出ユニットをさらに含む請求項５８に記載の装置。
【請求項６０】
前記装置は、
前記ナレーションにおける各段落に対応する音声と候補素材リソースシーケンスに基づき、前記ナレーションに対応する映像を生成した後、前記ナレーションに対応する映像を端末装置に送信するように構成される映像送信ユニットをさらに含む請求項３２に記載の装置。
【請求項６１】
前記装置は、
目標ニュースクラスタのナレーションの確定から、前記ナレーションに対応する映像の生成までのプロセスにおける少なくとも１つのパラメータの現在値を取得するように構成されるパラメータ現在値取得ユニットと、
前記ナレーションに対応する映像の映像評価点数を確定するように構成される映像評価点数確定ユニットと、
前記少なくとも１つのパラメータの現在値に対して特徴抽出を行い、特徴表現を得るように構成される特徴抽出ユニットと、
前記特徴表現と確定された映像評価点数を予めトレーニングした評価ネットワークに入力して、予測映像評価点数を得るように構成される第１入力ユニットと、
前記特徴表現と前記予測映像評価点数を予めトレーニングした行動ネットワークに入力して、現在の行動情報を得るように構成される第２入力ユニットと、
前記現在の行動情報により、前記少なくとも１つのパラメータの現在値を調整するように構成されるパラメータ調整ユニットと、をさらに含む請求項３２に記載の装置。
【請求項６２】
前記装置は、
前記少なくとも１つのパラメータの現在値により、目標ニュースクラスタのナレーションの確定から、前記ナレーションに対応する映像の生成までのプロセスを再び実行するように構成される映像再生成ユニットをさらに含む請求項６１に記載の装置。
【請求項６３】
１つ又は複数のプロセッサと、
１つ又は複数のプログラムが記憶される記憶装置と、を備えるサーバであって、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１〜３１のいずれか１項に記載の方法を実現させるサーバ。
【請求項６４】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムが１つ又は複数のプロセッサにより実行されると、請求項１〜３１のいずれか１項に記載の方法を実現するコンピュータ可読記憶媒体。
【請求項６５】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜３１のいずれか１項に記載の方法を実現する、コンピュータプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本出願の実施例はコンピュータの技術分野に関し、具体的には、映像を生成するための方法、装置、サーバ、コンピュータ可読記憶媒体およびコンピュータプログラムに関する。
【外国語明細書】
2020174342.tif 000020
2020174342.tif 000021
2020174342.tif 000022
2020174342.tif 000023
2020174342.tif 000024
2020174342.tif 000025
2020174342.tif 000026
2020174342.tif 000027
2020174342.tif 000028
2020174342.tif 000029
2020174342.tif 000030
2020174342.tif 000031
2020174342.tif 000032
2020174342.tif 000033
2020174342.tif 000034
2020174342.tif 000035
2020174342.tif 000036
2020174342.tif 000037
2020174342.tif 000038
2020174342.tif 000039
2020174342.tif 000040
2020174342.tif 000041
2020174342.tif 000042
2020174342.tif 000043
2020174342.tif 000044
2020174342.tif 000045
2020174342.tif 000046
2020174342.tif 000047
2020174342.tif 000048
2020174342.tif 000049
2020174342.tif 000050
2020174342.tif 000051
2020174342.tif 000052
2020174342.tif 000053
2020174342.tif 000054
2020174342.tif 000055
2020174342.tif 000056
2020174342.tif 000057
2020174342.tif 000058
2020174342.tif 000059
2020174342.tif 000060
2020174342.tif 000061
2020174342.tif 000062
2020174342.tif 000063
2020174342.tif 000064
2020174342.tif 000065
2020174342.tif 000066
2020174342.tif 000067
2020174342.tif 000068
2020174342.tif 000069
2020174342.tif 000070
2020174342.tif 000071
2020174342.tif 000072
2020174342.tif 000073
2020174342.tif 000074
2020174342.tif 000075
2020174342.tif 000076
2020174342.tif 000077
2020174342.tif 000078
2020174342.tif 000079
2020174342.tif 000080
2020174342.tif 000081
2020174342.tif 000082
2020174342.tif 000083
2020174342.tif 000084
2020174342.tif 000085
2020174342.tif 000086
2020174342.tif 000087
2020174342.tif 000088
2020174342.tif 000089
2020174342.tif 000090
2020174342.tif 000091
2020174342.tif 000092
2020174342.tif 000093
2020174342.tif 000094
2020174342.tif 000095
2020174342.tif 000096
2020174342.tif 000097
2020174342.tif 000098