(57)【要約】      （修正有）【課題】複数のニュースを集約し、冗長な情報を削除してニュースイベントに対するナレーションを抽出することができる情報の生成方法を提供する。【解決手段】各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割することにより得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定するステップと、ターゲットニュースクラスタのナレーションを決定するステップと、ターゲット映像セットと、ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、ナレーションに対応する候補素材リソースセットを決定するステップと、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するステップとを含む。【選択図】図２Ａ
2020174338.tif 000002
【特許請求の範囲】
【請求項１】
各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも１つの映像セグメントを、ターゲット映像セットとして決定するステップと、
前記ターゲットニュースクラスタのナレーションを決定するステップと、
前記ターゲット映像セットと前記ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するステップと、
前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するステップとを含む、
情報を生成するための方法。
【請求項２】
前記方法は、さらに、
前記ナレーションにおける各段落と各前記候補素材リソースとの間のマッチング度、各前記候補素材リソースの再生持続時間、及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定するステップと、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するステップとを含む、
請求項１に記載の方法。
【請求項３】
前記方法は、前記ナレーションに対応する映像を端末デバイスに送信するステップをさらに含み、
前記映像は前記端末デバイスで再生するためのものである、
請求項２に記載の方法。
【請求項４】
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するステップは、
前記ナレーションにおける各段落に対して、音声合成技術を使用して該段落に対応する音声を生成するステップと、
前記ナレーションにおける各段落に対応する音声及び候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するステップとを含む、
請求項３に記載の方法。
【請求項５】
前記ターゲット映像セットとターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するステップは、
前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るステップを含む、
請求項４に記載の方法。
【請求項６】
前記ターゲット映像セットとターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するステップは、
前記ターゲット映像セットにおける各ターゲット映像に対して、該ターゲット映像を予めトレーニングされたビビット映像検出モデルに入力して、該ターゲット映像に対応するビビット映像検出結果を得るステップであって、前記ビビット映像検出モデルは、映像と、ビビッド映像であるかどうかを示すためのビビッド映像検出結果との対応関係を特徴付けるように構成されるステップと、
前記ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除するステップと、
前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るステップとを含む、
請求項４に記載の方法。
【請求項７】
前記ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除した後、前記方法は、さらに、
前記ターゲット映像セットにおいて、映像の再生持続時間が予め設定された最短候補映像持続時間よりも短い映像を削除するステップを含む、
請求項６に記載の方法。
【請求項８】
前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するステップは、
前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを決定するステップと、
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するステップと、
前記ナレーションにおける各段落に対応する意味ベクトルと、前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するステップとを含む、
請求項４に記載の方法。
【請求項９】
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するステップは、
該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースを意味的に分割して、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルによって該候補素材リソースに対応する意味ベクトルを決定するステップと、
該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースをダウンサンプリングして、少なくとも１つのサンプル画像を得るステップと、
前記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像を意味的に分割して、該サンプル画像に対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルに応じて該サンプル画像に対応する意味ベクトルを決定するステップと、
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップとを含む、
請求項８に記載の方法。
【請求項１０】
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップは、
各前記サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む、
請求項９に記載の方法。
【請求項１１】
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップは、
各前記サンプル画像に対応する意味ベクトルの各次元の取り得る値の中央値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む、
請求項１０に記載の方法。
【請求項１２】
各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも１つの映像セグメントを、ターゲット映像セットとして決定するように構成された意味的分割ユニットと、
前記ターゲットニュースクラスタのナレーションを決定するように構成されたナレーション決定ユニットと、
前記ターゲット映像セットと前記ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するように構成された候補素材リソースセット決定ユニットと、
前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成されたマッチング度確定ユニットとを含む、
情報を生成するための装置。
【請求項１３】
前記装置は、さらに、
前記ナレーションにおける各段落と各前記候補素材リソースとの間のマッチング度、各前記候補素材リソースの再生持続時間、及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定するように構成された候補素材リソースシーケンス決定ユニットと、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するように構成された映像生成ユニットとを含む、
請求項１２に記載の装置。
【請求項１４】
前記装置は、前記ナレーションに対応する映像を端末デバイスに送信するように構成された映像送信ユニットをさらに含み、
前記映像は前記端末デバイスで再生するためのものである、
請求項１３に記載の装置。
【請求項１５】
前記映像生成ユニットは、
前記ナレーションにおける各段落に対して、音声合成技術を使用して該段落に対応する音声を生成するように構成された音声合成モジュールと、
前記ナレーションにおける各段落に対応する音声及び候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するように構成された映像生成モジュールとを含む、
請求項１４に記載の装置。
【請求項１６】
前記候補素材リソースセット決定ユニットはさらに、
前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るように構成される、
請求項１５に記載の装置。
【請求項１７】
前記候補素材リソースセット決定ユニットはさらに、
前記ターゲット映像セットにおける各ターゲット映像に対して、該ターゲット映像を予めトレーニングされたビビット映像検出モデルに入力して、該ターゲット映像に対応するビビット映像検出結果を得、ここで、前記ビビット映像検出モデルは、映像と、ビビッド映像であるかどうかを示すためのビビッド映像検出結果との対応関係を特徴付けるように構成され、
前記ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除し、
前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るように構成される、
請求項１５に記載の装置。
【請求項１８】
前記候補素材リソースセット決定ユニットはさらに、
前記ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除した後、
前記ターゲット映像セットにおいて、映像の再生持続時間が予め設定された最短候補映像持続時間よりも短い映像を削除するように構成される、
請求項１７に記載の装置。
【請求項１９】
前記マッチング度確定ユニットは、
前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを決定するように構成される段落意味ベクトル決定モジュールと、
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するように構成される候補素材リソース意味ベクトル決定モジュールと、
前記ナレーションにおける各段落に対応する意味ベクトルと、前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するように構成されるマッチング度確定モジュールとを含む、
請求項１５に記載の装置。
【請求項２０】
前記候補素材リソース意味ベクトル決定モジュールはさらに、
該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースを意味的に分割して、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルによって該候補素材リソースに対応する意味ベクトルを決定し、
該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースをダウンサンプリングして、少なくとも１つのサンプル画像を得、
前記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像を意味的に分割して、該サンプル画像に対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルに応じて該サンプル画像に対応する意味ベクトルを決定し、
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するように構成される、
請求項１９に記載の装置。
【請求項２１】
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定することは、
各前記サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして決定することを含む、
請求項２０に記載の装置。
【請求項２２】
各前記サンプル画像に対応する意味ベクトルによって、該候補素材リソースに対応する意味ベクトルを決定することは、
各前記サンプル画像に対応する意味ベクトルの各次元の取り得る値の中央値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む、
請求項２１に記載の装置。
【請求項２３】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムが格納されている記憶装置とを備え、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサが請求項１〜１１のいずれか１項に記載の方法を実現するようにするサーバー。
【請求項２４】
コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、
前記コンピュータプログラムが１つまたは複数のプロセッサにより実行されるとき、請求項１〜１１のいずれか１項に記載の方法を実現するコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の実施形態はコンピュータ技術分野に関し、詳しくは、情報を生成するための方法及び装置に関する。
【背景技術】
【０００２】
ネットワークテクノロジーの成長に伴い、世界中のいろんな種類のニュースが様々なメディアを介してユーザーに配信され得る。同じニュースイベントに対して、様々なメディア（ニュースＷｅｂサイトやニュースアプリケーションなど）によって異なるニュースに編集されることがあり、異なるメディアから発信されたニュースの焦点にはある程度の違いがあるが、同じニュースイベントを報道する各ニュースは多かれ少なかれ重なる情報が存在する。
【０００３】
ユーザーの場合、自分に必要な情報を抽出するには、複数のニュース記事を読まなければならないので、ユーザーのニュースを取得する効率が低下してしまう。ユーザーのニュース取得効率を向上させるために、同じニュースイベントに対する複数のニュースを集約し、複数のニュースにおける冗長な情報を削除して、ニュースイベントに対するナレーションを抽出することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願の実施形態は、情報を生成するための方法及び装置を提示する。
【０００５】
第１の態様では、本願の実施形態は情報を生成するための方法を提供し、該方法は、各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定するステップと、ターゲットニュースクラスタのナレーションを決定するステップと、ターゲット映像セットとターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、ナレーションに対応する候補素材リソースセットを決定するステップと、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するステップとを含む。
【０００６】
いくつかの実施形態では、該方法はさらに、ナレーションにおいて各段落と各候補素材リソースとのマッチング度、各候補素材リソースの再生持続時間、及びナレーションにおいて各段落のテキストの長さに基づいて、ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定するステップと、ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成するステップとを含む。
【０００７】
いくつかの実施形態では、該方法はさらに、ナレーションに対応する映像を端末デバイスに送信するステップを含み、前記映像は端末デバイスで再生するためのものである。
【０００８】
いくつかの実施形態では、ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成するステップは、ナレーションにおける各段落に対して、音声合成技術を使用して該段落に対応する音声を生成するステップと、ナレーションにおける各段落に対応する音声及び候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成するステップとを含む。
【０００９】
いくつかの実施形態では、ターゲット映像セット及びターゲット画像セットに基づいて、ナレーションに対応する候補素材リソースセットを決定するステップは、ターゲット映像セット及びターゲット画像セットを併合してナレーションに対応する候補素材リソースセットを得るステップを含む。
【００１０】
いくつかの実施形態では、ターゲット映像セット及びターゲット画像セットに基づいて、ナレーションに対応する候補素材リソースセットを決定するステップは、ターゲット映像セットにおける各ターゲット映像に対して、該ターゲット映像を予めトレーニングされたビビット映像検出モデルに入力して、該ターゲット映像に対応するビビット映像検出結果を得るステップであって、ビビット映像検出モデルは、映像と、ビビッド映像であるかどうかを示すためのビビッド映像検出結果との対応関係を特徴付けるように構成されるステップと、ターゲット映像セットにおいて対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除するステップと、ターゲット映像セット及びターゲット画像セットを併合してナレーションに対応する候補素材リソースセットを得るステップとを含む。
【００１１】
いくつかの実施形態では、ターゲット映像セットにおいて対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除した後、該方法はさらに、ターゲット映像セットにおいて映像の再生持続時間が予め設定された最短候補映像持続時間よりも短い映像を削除するステップを含む。
【００１２】
いくつかの実施形態では、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するステップは、ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを決定するステップと、候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するステップと、ナレーションにおける各段落に対応する意味ベクトルと、候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するステップとを含む。
【００１３】
いくつかの実施形態では、候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するステップは、該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースを意味的に分割して、該画像候補素材リソースに対応する少なくとも1つの意味注釈結果を得、得られた少なくとも1つの意味注釈結果のそれぞれに対応する意味ベクトルによって該候補素材リソースに対応する意味ベクトルを決定するステップと、該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースをダウンサンプリングして、少なくとも1つのサンプル画像を得るステップと、少なくとも1つのサンプル画像のそれぞれに対して、該サンプル画像を意味的に分割して、該サンプル画像に対応する少なくとも1つの意味注釈結果を得、得られた少なくとも1つの意味注釈結果のそれぞれに対応する意味ベクトルに応じて該サンプル画像に対応する意味ベクトルを決定するステップと、各サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップとを含む。
【００１４】
いくつかの実施形態では、各サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップは、各サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む。
【００１５】
いくつかの実施形態では、各サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップは、各サンプル画像に対応する意味ベクトルの各次元の取り得る値の中央値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む。
【００１６】
第２の態様では、本願の実施形態は情報を生成するための装置を提供し、該装置は、各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントを、ターゲット映像セットとして決定するように構成された意味的分割ユニットと、ターゲットニュースクラスタのナレーションを決定するように構成されたナレーション決定ユニットと、ターゲット映像セットとターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、ナレーションに対応する候補素材リソースセットを決定するように構成された候補素材リソースセット決定ユニットと、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成されたマッチング度確定ユニットとを含む。
【００１７】
いくつかの実施形態では、該装置は、さらに、ナレーションにおける各段落と各候補素材リソースとの間のマッチング度、各候補素材リソースの再生持続時間、及びナレーションにおける各段落のテキストの長さに基づいて、ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定するように構成された候補素材リソースシーケンス決定ユニットと、ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成するように構成された映像生成ユニットとを含む。
【００１８】
いくつかの実施形態では、該装置は、ナレーションに対応する映像を端末デバイスに送信するように構成された映像送信ユニットをさらに含み、前記映像は端末デバイスで再生するためのものである。
【００１９】
いくつかの実施形態では、映像生成ユニットは、ナレーションにおける各段落に対して、音声合成技術を使用して該段落に対応する音声を生成するように構成された音声合成モジュールと、ナレーションにおける各段落に対応する音声及び候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成するように構成された映像生成モジュールとを含む。
【００２０】
いくつかの実施形態では、候補素材リソースセット決定ユニットはさらに、ターゲット映像セット及びターゲット画像セットを併合してナレーションに対応する候補素材リソースセットを得るように構成される。
【００２１】
いくつかの実施形態では、候補素材リソースセット決定ユニットはさらに、ターゲット映像セットにおける各ターゲット映像に対して、該ターゲット映像を予めトレーニングされたビビット映像検出モデルに入力して、該ターゲット映像に対応するビビット映像検出結果を得、ここで、ビビット映像検出モデルは、映像と、ビビッド映像であるかどうかを示すためのビビッド映像検出結果との対応関係を特徴付けるように構成され、ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除し、ターゲット映像セット及びターゲット画像セットを併合してナレーションに対応する候補素材リソースセットを得るように構成される。
【００２２】
いくつかの実施形態では、候補素材リソースセット決定ユニットはさらに、ターゲット映像セットにおいて対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除した後、ターゲット映像セットにおいて映像の再生持続時間が予め設定された最短候補映像持続時間よりも短い映像を削除するように構成される。
【００２３】
いくつかの実施形態では、マッチング度確定ユニットは、ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを決定するように構成される段落意味ベクトル決定モジュールと、候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するように構成される候補素材リソース意味ベクトル決定モジュールと、ナレーションにおける各段落に対応する意味ベクトルと、候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するように構成されるマッチング度確定モジュールとを含む。
【００２４】
いくつかの実施形態では、候補素材リソース意味ベクトル決定モジュールはさらに、該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースを意味的に分割して、該画像候補素材リソースに対応する少なくとも1つの意味注釈結果を得、得られた少なくとも1つの意味注釈結果のそれぞれに対応する意味ベクトルによって該候補素材リソースに対応する意味ベクトルを決定し、該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースをダウンサンプリングして、少なくとも1つのサンプル画像を得、少なくとも1つのサンプル画像のそれぞれに対して、該サンプル画像を意味的に分割して、該サンプル画像に対応する少なくとも1つの意味注釈結果を得、得られた少なくとも1つの意味注釈結果のそれぞれに対応する意味ベクトルに応じて、該サンプル画像に対応する意味ベクトルを決定し、各サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するように構成される。
【００２５】
いくつかの実施形態では、各サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定することは、各サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして決定することを含む。
【００２６】
いくつかの実施形態では、各サンプル画像に対応する意味ベクトルによって、該候補素材リソースに対応する意味ベクトルを決定することは、各サンプル画像に対応する意味ベクトルの各次元の取り得る値の中央値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む。
【００２７】
第３の態様では、本願の実施形態はサーバーを提供し、１つまたは複数のプロセッサと、１つまたは複数のプログラムが格納されている記憶装置とを備え、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサが第１態様のいずれかの実施形態に記載の方法を実現するようにする。
【００２８】
第４の態様では、本願の実施形態は、コンピュータプログラムが格納されているコンピュータ可読記憶媒体を提供し、該コンピュータプログラムが１つまたは複数のプロセッサにより実行されるとき、第１態様のいずれかの実施形態に記載の方法を実現する。
【００２９】
第５の態様では、本願の実施形態はもう一つのサーバーであって、インターフェースと、１つまたは複数のプログラムが格納されているメモリと、前記インターフェース及び前記メモリに動作可能に接続される１つまたは複数のプロセッサとを備えるサーバーを提供し、前記プロセッサは、各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定し、ターゲットニュースクラスタのナレーションを決定し、ターゲット映像セットとターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、ナレーションに対応する候補素材リソースセットを決定し、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成される。
【００３０】
第６の態様では、本願の実施形態はコンピュータプログラムが格納されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムが１つまたは複数のプロセッサにより実行されるとき、１つまたは複数のプロセッサは、各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定し、ターゲットニュースクラスタのナレーションを決定し、ターゲット映像セットと、ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、ナレーションに対応する候補素材リソースセットを決定し、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成される。
【００３１】
ユーザーによるニュース取得効率を向上させるために、従来技術では、通常にニュースクラスタに対応するナレーションが生成され、ナレーションに対応する映像が生成されていない。ユーザーはニュース要約を取得するために文字形式のナレーションを読む必要がある。本願実施形態による情報を生成するための方法及び装置は、ターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントとターゲットニュースクラスタに含まれる各画像とに基づいて、ターゲットニュースクラスタのナレーションに対応する候補素材リソースセットを決定し、ナレーションにおける各段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を算出することで、後で候補素材リソースに基づいてターゲットニュースクラスタのナレーションに対応する映像を生成するためのデータソースを提供し、後で生成されるナレーションに対応する映像とナレーションとの間の適合度を向上させることができる。さらに、従来技術では、テキストに対応する候補素材リソースを決定する際、多くの場合、素材リソース（映像又は画像など）とテキストの間のマッチング度を直接算出するが、本願の実施形態による情報を生成するための方法及び装置は、ターゲットニュースクラスタに含まれる各映像を意味的に分割してターゲット映像セットを得、さらにターゲット映像セットにおける映像は独立した意味を有することで、ターゲット映像セットにおける映像とナレーションの段落の間のマッチング度を算出するとき、算出されたマッチング度の正確率を高めることができ、後で生成されるナレーションに対応する映像とナレーションとの間のより細かい粒度での適合度をさらに向上させることができる。
【図面の簡単な説明】
【００３２】
以下、添付図面を参照しながら非限定的実施形態を詳細に説明することで、本願のその他の特徴、目的及び利点は一層明確になる。
【００３３】
【図１】本願の一実施形態が適用可能な例示的システムアーキテクチャを示す図である。
【図２Ａ】本願による情報を生成するための方法の一実施形態のフローチャートである。
【図２Ｂ】本願によるステップ２０２の一実施形態の分解フローチャートである。
【図２Ｃ】本願によるステップ２０２２の一実施形態の分解フローチャートである。
【図２Ｄ】本願によるステップ２０３の一実施形態の分解フローチャートである。
【図２Ｅ】本願によるステップ２０４の一実施形態の分解フローチャートである。
【図２Ｆ】本願によるステップ２０４２の一実施形態の分解フローチャートである。
【図３】本願による情報を生成するための方法の一応用シナリオの概略図である。
【図４Ａ】本願による情報を生成するための方法のもう一つの実施形態のフローチャートである。
【図４Ｂ】本願によるステップ４０６の一実施形態の分解フローチャートである。
【図４Ｃ】本願によるステップ４０６２の一実施形態の分解フローチャートである。
【図４Ｄ】本願によるステップ４０６２のもう一つの実施形態の分解フローチャートである。
【図５】本願による情報を生成するための装置の一実施形態の構造概略図である。
【図６】本願の実施形態を実現するためのサーバーに適したコンピュータシステムの構造概略図である。
【発明を実施するための最良の形態】
【００３４】
以下、添付図面及び実施形態に合わせて本願をさらに詳細に説明する。本明細書に記載された特定の実施形態は、関連発明を解釈するためのものであり、本願を限定するためのものではないことを理解されたい。なお、説明の便宜上、図面には関連発明に関わる部分のみが示されていることに留意されたい。
【００３５】
また、本願における実施形態及び実施形態における特徴は、衝突しない限り、互いに組み合わせ可能であることに留意されたい。以下、添付図面を参照し、実施形態に合わせて本願を詳細に説明する。
【００３６】
図１は、本願を適用することができる情報を生成するための方法、または、情報を生成するための装置の実施形態の例示的システムアーキテクチャ１００を示した。
【００３７】
図１に示されるように、システムアーキテクチャ１００は、端末デバイス１０１、１０２、１０３、ネットワーク１０４、及びサーバー１０５を含むことができる。ネットワーク１０４は、端末デバイス１０１、１０２、１０３とサーバー１０５との間に通信リンクのための媒体を提供するために使用される。ネットワーク１０４は、例えば、有線、無線通信リンク又は光ファイバーケーブルなどの様々な接続タイプを含むことができる。
【００３８】
ユーザーは、端末デバイス１０１、１０２、１０３を使用してネットワーク１０４を介してサーバー１０５と相互作用して、メッセージなどを送受信することができる。端末デバイス１０１、１０２、１０３には、例えば、ウェブブラウザアプリ、買い物系アプリ、検索系アプリ、インスタントメッセージ系アプリ、クライアントメールボックス、ソーシャルプラットフォームソフトウェア等のような各種のクライアント通信アプリがインストールされても良い。
【００３９】
端末デバイス１０１、１０２、１０３は、ハードウェアであっても良く、ソフトウェアであっても良い。端末デバイス１０１、１０２、１０３がハードウェアである場合は、表示画面を有する様々な電子機器であってもよく、スマートフォン、タブレット、電子ブックリーダー、ＭＰ３（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ａｕｄｉｏ    Ｌａｙｅｒ  ＩＩＩ、動画専門家集団による音響形式第３層型）プレーヤー、ＭＰ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＶ、動画専門家集団による音響形式第４層型）プレーヤー、ラップトップポータブルコンピュータ及びデスクトップコンピュータ等を含むが、これらに限定されない。端末デバイス１０１、１０２、１０３がソフトウェアである場合は、上記例に挙げられた電子機器にインストールされても良い。これは、複数のソフトウェアまたはソフトウェアモジュールとして実現されても良く、単一のソフトウェアまたはソフトウェアモジュールとして実現されても良い。ここでは、具体的な限定をしない。
【００４０】
サーバー１０５は、例えば、端末デバイス１０１、１０２、１０３に表示されるニュースウェブサイトにサポートを提供するバックエンドウェブサーバーなど、各種のサービスを提供するサーバーであっても良い。バックエンドウェブサーバーは、受信したニュースページ要求などのデータを分析など処理し、処理結果（例えば、ニュースウェブページページデータ）を端末デバイスにフィードバックすることができる。
【００４１】
なお、本願の実施形態による情報を生成するための方法は一般的にサーバー１０５によって実行され、それに応じて、情報を生成するための装置は一般的にサーバー１０５に設けられる。
【００４２】
サーバー１０５はハードウェアであってもよく、ソフトウェアであってもよい。サーバー１０５がハードウェアである場合、複数のサーバーからなる分散型サーバークラスタとして実現されてもよく、単一のサーバーとして実現されてもよい。サーバー１０５がソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、ニュースウェブページのページサービスを提供するためのもの）として実現されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよく、ここで特に限定しない。
【００４３】
図１における端末デバイス、ネットワーク及びサーバーの数は単なる例示的なものであると理解されたい。実現の必要に応じて、任意の数の端末デバイス、ネットワーク及びサーバーを有することができる。
【００４４】
続けて、本願による情報を生成するための方法の一実施形態のフロー２００を示す図２Ａを参照する。該情報を生成するための方法は、以下のステップを含む。
【００４５】
ステップ２０１では、ターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも１つの映像セグメントをターゲット映像セットとして決定する。
【００４６】
本実施例において、情報を生成するための実行主体（例えば、図１に示されるサーバー１０５）はまず、前記実行主体にネットワーク接続された電子機器からターゲットニュースクラスタを得ることができる。ここで、ターゲットニュースクラスタは同じニュースイベントを対象とする少なくとも一つのニュースからなる。
【００４７】
ここで、ニュースイベントは最近第１所定持続時間内（例えば、三か月以内）に発生したイベントを指す。
【００４８】
ここで、ニュースはニュースイベントを対象とする様々な形式の電子データであってもよく、ニュースには、対応する生成時間が対応してマークアップすることができる。ニュースは、テキスト、画像、音声及び映像のうち少なくとも１つを含むことができる。例えば、ニュースはウェブページであってもよく、様々なドキュメントであってもよく、ドキュメントにはテキスト、画像、音声及び映像のうち少なくとも１つを含むことができる。ニュースはただのテキスト、画像または映像であってもよい。実際において、取得したニュースには対応するニュースイベントがマークされていてもよい。
【００４９】
その後、前記実行主体は、ターゲットニュースクラスタに含まれる各ニュースにおける各映像を意味的に分割して、少なくとも１つの映像セグメントを得、得られた各映像セグメントをターゲット映像セットとして決定することができる。
【００５０】
映像を如何に意味的に分割するかは現在幅広く研究及び使用されている先行技術であり、本明細書ではこれ以上説明しないことに留意されたい。
【００５１】
ステップ２０２では、ターゲットニュースクラスタのナレーションを決定する。
【００５２】
本実施例において、前記実行主体（例えば、図１に示されるサーバー）は様々な実現方法を使用してターゲットニュースクラスタのナレーションを決定することができる。うち、前記ナレーションは少なくとも一つの段落を含むことができる。
【００５３】
本実施例のいくつかの選択可能な実現方法において、ステップ２０２は図２Ｂに示されるステップ２０２１〜ステップ２０２２を含むことができる。本願によるステップ２０２の一実施形態の分解フローチャートを示す図２Ｂを参照する。
【００５４】
ステップ２０２１では、ターゲットニュースクラスタにおける各ニュースに対して、ナレーションの生成に適した該ニュースのスコアを確定する。
【００５５】
ここで、前記実行主体は様々な実現方法を使用して、ターゲットニュースクラスタにおける各ニュースに対して、ナレーションの生成に適した該ニュースのスコアを確定することができる。
【００５６】
いくつかの実現方法では、ステップ２０２１は以下のように行うことができる。
【００５７】
まず、該ニュースの少なくとも1つの特徴における特徴値を抽出する。
【００５８】
例えば、少なくとも1つの特徴は、ニュースに含まれる文字数、ニュースに含まれる異なる単語の単語数、ニュースに含まれる画像数、ニュースに含まれる映像数、ニュースが読まれた回数、ニュースが転送された回数、ターゲットニュースクラスタの各ニュースに含まれる文字数の和、ターゲットニュースクラスタの各ニュースに含まれる異なる単語の単語数の和、ターゲットニュースクラスタの各ニュースに含まれる画像数の和、ターゲットニュースクラスタの各ニュースに含まれる映像数の和、ターゲットニュースクラスタの各ニュースが読まれた回数の和、及びターゲットニュースクラスタの各ニュースが転送された回数の和を含むが、これらに限定されない。
【００５９】
次に、抽出された少なくとも１つの特徴値に基づいて、該ニュースのナレーションの生成に適したスコアを確定する。
【００６０】
ここで、様々な実現方法を使用して前記抽出された少なくとも１つの特徴値に基づいて、該ニュースのナレーションの生成に適したスコアを確定することができる。
【００６１】
例えば、前記抽出された少なくとも１つの特徴値を、各特徴に対して予め設定された重みに従って加重合計を行い、加重合計の結果を該ニュースのナレーションの生成に適したスコアとして確定することができる。
【００６２】
また別の例では、まず次の比率を確定してもよい。
（１）ニュースに含まれる文字数とターゲットニュースクラスタの各ニュースに含まれる文字数の和との比率、
（２）ニュースに含まれる異なる単語の単語数とターゲットニュースクラスタの各ニュースに含まれる異なる単語の単語数の和との比率、
（３）ニュースに含まれる画像数とターゲットニュースクラスタの各ニュースに含まれる画像数の和との比率、
（４）ニュースに含まれる映像数とターゲットニュースクラスタの各ニュースに含まれる映像数の和との比率、
（５）ニュースが読まれた回数とターゲットニュースクラスタの各ニュースが読まれた回数の和との比率、
（６）ニュースが転送された回数とターゲットニュースクラスタの各ニュースが転送された回数の和との比率。
【００６３】
それから、上記で確定された各比率に対して、該比率に対して予め確定された重みに従って加重合計を行い、加重合計の結果を該ニュースのナレーションの生成に適したスコアとして確定することができる。
【００６４】
いくつかの実現方法では、ステップ２０２１は次のように行われてもよい。
【００６５】
該ニュースに含まれるテキストを予めトレーニングされたスコア計算モデルに入力し、該ニュースのナレーションの生成に適したスコアを得る。
【００６６】
ここで、スコア計算モデルはテキストと、テキストのナレーションの生成に適したスコアとの対応関係を特徴付けるために使用される。
【００６７】
例として、スコア計算モデルは、技術者がテキストの特徴抽出によって得られた大量の特徴ベクトルと、該テキストのナレーションの生成に適したスコア注釈結果との統計に基づいて予め作成された、複数の特徴ベクトルとナレーションの生成に適したスコアとの対応関係が記憶された対応関係リストであってもよく、また、技術者が大量のデータに対する統計に基づいて前記電子機器に予め設けられるとともに記憶された、テキストから特徴を抽出して得られた特徴ベクトルの1つまたは複数の値に対して数値計算を実行して、該テキストのナレーションの生成に適したスコアを表すための計算式であってもよい。
【００６８】
いくつかの実現方法では、前記電子機器は予め以下のスコア計算モデルトレーニングステップに従ってスコア計算モデルをトレーニングして得ることができる。
【００６９】
まず、第１のトレーニングサンプルセットを得ることができる。
【００７０】
ここで、第１のトレーニングサンプルは、過去のニュースに含まれるテキストと、過去のニュースに対応するナレーションの生成に適した注釈スコアとを含むことができる。例えば、過去のニュースに対してナレーションの生成に適した注釈スコアを手動でマークすることができる。
【００７１】
次に、初期スコア計算モデルのモデル構造と初期スコア計算モデルを初期化するモデルパラメータを確定することができる。
【００７２】
ここで、スコア計算モデルトレーニングステップの実行主体は、情報を生成するための方法の実行主体と同じであっても異なっていてもよい。同じである場合、スコア計算モデルトレーニングステップの実行主体は、トレーニングによりスコア計算モデルを取得した後、トレーニングされたスコア計算モデルのモデル構造情報とモデルパラメータのパラメータ値をローカルに保存してもよい。異なる場合、スコア計算モデルトレーニングステップの実行主体は、トレーニングによりスコア計算モデルを取得した後、トレーニングされたスコア計算モデルのモデル構造情報とモデルパラメータのパラメータ値を、情報を生成するための方法の実行主体に送信することができる。
【００７３】
ここで、スコア計算モデルには様々なタイプの計算モデルが含まれてもよいため、異なるタイプの計算モデルに対しては、確定すべきモデル構造情報も異なってくる。
【００７４】
任意選択で、初期スコア計算モデルは畳み込みニューラルネットワークを含んでもよい。畳み込みニューラルネットワークが多層のニューラルネットワークであって、各層が複数の２次元平面で構成され、各平面が複数の独立したニューロンで構成されているため、畳み込みニューラルネットワークタイプの初期特徴抽出モデルが、例えば、畳み込み層、プーリング層、活性化関数層などのどれを含むか、層間の接続順位関係、及び各層に含まれるパラメータ（例えば、重みｗｅｉｇｈｔ、バイアスｂｉａｓ、畳み込みストライドなど）を判定しなければならない。うち、畳み込み層は特徴の抽出に使用することができる。各畳み込み層に対して、畳み込みカーネルの数、各畳み込みカーネルのサイズ、各畳み込みカーネルにおける各ニューロンの重み、各畳み込みカーネルに対応するバイアス項、隣接する２回畳み込み間のストライド、充填する必要があるかどうか、充填するピクセル数及び充填用数値（通常は０と充填される）などを判定することができる。プーリング層を使用して入力情報をダウンサンプリング（Ｄｏｗｎ  Ｓａｍｐｌｅ）して、データとパラメータの量を圧縮し、過剰適合を減らすことができる。各プーリング層に対しては該プーリング層のプーリング方法（例えば、区域の平均値を取るか、区域の最大値を取るか）を判定することができる。活性化関数層は入力情報に対して非線形計算を実行するために使用される。各活性化関数層に対しては具体的な活性化関数を決定することができる。例えば、活性化関数はＲｅＬＵ及びＲｅＬＵの様々なバリアント活性化関数、Ｓｉｇｍｏｉｄ関数、Ｔａｎｈ（双曲線正接）関数、Ｍａｘｏｕｔ関数などであってもよい。
【００７５】
その後、初期スコア計算モデルのモデルパラメータを初期化することができる。実際には、初期スコア計算モデルの各モデルパラメータはいくつかの異なる小さな乱数で初期化することができる。「小さな乱数」は、モデルが過大の重みが原因で飽和状態になることで、トレーニングが失敗してしまうことが発生しないように確保し、「異なる」は、モデルが正常に学習できるように確保する。
【００７６】
続けて、第１トレーニングサンプルセット中の第１トレーニングサンプルにおける過去のニュースに含まれるテキストと過去のニュースの、ナレーションの生成に適したスコアをそれぞれ初期スコア計算モデルの入力及び所望出力とし、機械学習法を用いて初期スコア計算モデルをトレーニングすることができる。
【００７７】
具体的には、まず、第１トレーニングサンプルセット中の第１トレーニングサンプルにおける過去のニュースに含まれるテキストを初期スコア計算モデルに入力し、過去のニュースに含まれるテキストに対応するスコアを得ることができる。次に、得られたスコアと該第１トレーニングサンプルにおける注釈スコアとの差を計算することができる。最後に、計算された差に基づいて初期スコア計算モデルのモデルパラメータを調整し、所定の第１トレーニング終了条件が満たされた場合に、トレーニングを終了することができる。例えば、ここで、所定の第１トレーニング終了条件は、トレーニング時間が第２所定持続時間を超えること、トレーニングの回数が第１所定回数を超えること、計算された差が第１所定の差の閾値よりも小さいことのうちの少なくとも１つを含むことができる。
【００７８】
ここで、様々な実現方法を用いて得られたスコアと該第１トレーニングサンプルにおける注釈スコアとの差に基づいて初期スコア計算モデルのモデルパラメータを調整することができる。例えば、確率的勾配降下（ＳＧＤ、Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）、ニュートン法（Ｎｅｗｔｏｎ’ｓ  Ｍｅｔｈｏｄ）、準ニュートン法（Ｑｕａｓｉ−Ｎｅｗｔｏｎ  Ｍｅｔｈｏｄｓ）、共役勾配（Ｃｏｎｊｕｇａｔｅ  Ｇｒａｄｉｅｎｔ）、ヒューリスティクス最適化方法及びその他の現在知られているか或いは将来開発される様々な最適化アルゴリズムを使用することができる。
【００７９】
最後に、トレーニングによって得られた初期スコア計算モデルを予めトレーニングされたスコア計算モデルとして確定することができる。
【００８０】
ステップ２０２２では、ターゲットニュースに基づいて、ターゲットニュースクラスタのナレーションを生成する。
【００８１】
ステップ２０２１では、ターゲットニュースクラスタにおける各ニュースのナレーションの生成に適したスコアがすでに確定されており、ここで、前記実行主体は、まず、ターゲットニュースクラスタにおいてナレーションの生成に適したスコアが最高のニュースをターゲットニュースとして決定することができる。次に、様々な実現方法を使用して、ターゲットニュースに基づいてターゲットニュースクラスタのナレーションを生成することができる。
【００８２】
いくつかの実現方法において、ステップ２０２２は、ターゲットニュースに含まれるテキストから要約を抽出し、要約抽出によって取得された要約テキストをターゲットニュースクラスタのナレーションとして決定することができる。
【００８３】
いくつかの実現方法では、ステップ２０２２は、図２Ｃに示されるステップ２０２２１から２０２２４を含むこともできる。
【００８４】
本願によるステップ２０２２の一実施例の分解フローチャートを示す図２Ｃを参照されたい。
【００８５】
ステップ２０２２１は、ターゲットニュースに含まれるテキストをターゲットテキストとして決定する。
【００８６】
ここで、前記実行主体はまず、ターゲットニュースクラスタにおいてナレーションの生成に適したスコアが最高のニュースをターゲットニュースとして決定してもよい。それから、ターゲットニュースに含まれるテキストをターゲットテキストとして決定することができる。
【００８７】
ステップ２０２２２では、ターゲットテキストに含まれるナレーションに不適切なテキストを削除する。
【００８８】
ここで、前記実行主体は、ターゲットテキストに含まれるナレーションに不適切なテキストを削除することができる。うち、ナレーションに不適切なテキストは、予め決定されたナレーションに不適切なテキストセットにおけるテキストであってもよい。実際には、ナレーションに不適切なテキストセットは、技術者により大量の過去のニュースから抽出したナレーションに不適切なテキスト（例えば、「本新聞社の記者による報道」、「上の図をご覧ください」、「下の図をご覧ください」、「前方記者からの報道」、「前方記者からの重大ニュース」、「前方記者から報道が送信されてきた」、「新聞記者が現場の人々にインタビューした」など）に対する統計に基づいて事前作成されたテキストセットであってもよい。
【００８９】
ステップ２０２２２を通じて、ターゲットテキストにおける無効情報を減らすことができ、最後に生成されるナレーションの有効情報含有率を上げることができる。
【００９０】
ステップ２０２２３では、ターゲットテキストに含まれる書き言葉を同じ意味の話し言葉に置き替える。
【００９１】
ここで、前記実行主体は、様々な実現方法を使用してターゲットテキストに含まれる書き言葉を同じ意味の話し言葉に置き替えることができる。ここで、前記書き言葉及び話し言葉はそれぞれ事前決定された書き言葉と話し言葉の対応関係表における書き言葉及び対応する話し言葉であってもよい。実際には、前記書き言葉と話し言葉の対応関係表は、技術者により大量のコーパスから抽出された書き言葉と対応する同じ意味の話し言葉に対する統計に基づいて予め作成された対応関係表であってもよい。
【００９２】
ステップ２０２２３を通じて、ターゲットテキストにおける書き言葉が話し言葉に置き換えられ、ターゲットテキストがナレーションへの使用にいっそう適したものになる。
【００９３】
ステップ２０２２４では、ターゲットテキストに対して要約抽出することによって得られた要約テキストをターゲットニュースクラスタのナレーションとして決定する。
【００９４】
いくつかの実現方法では、前記実行主体はターゲットテキストから要約を直接抽出することによって得られた要約テキストをターゲットニュースクラスタのナレーションとして決定することができる。
【００９５】
いくつかの実現方法では、ステップ２０２２４は次のように行われてもよい。
【００９６】
まずは、所定の最大話速と所定の最大音声持続時間に従ってナレーションの最大文字数を確定する。
【００９７】
ここで、所定の最大話速は、ナレーションに対応する音声を生成する場合、生成された音声の単位時間（例えば、１秒）内に含む最大文字数を表す。
【００９８】
ここで、所定の最大音声持続時間は、ナレーションに対応する音声を生成する場合、生成された音声の最大再生持続時間を表す。例えば、ナレーションに対応する短い映像を生成する場合、所定の最大音声持続時間は９０秒であってもよい。
【００９９】
ここで、所定の最大話速及び所定の最大映像持続時間は、技術者によって予め決定されたものであってもよい。もちろん、所定の最大話速と所定の最大映像持続時間を変更するために、所定の最大話速及び所定の最大映像持続時間を変更するための界面を提供することもできる。
【０１００】
所定の最大話速及び所定の最大音声持続時間があれば、所定の最大話速と所定の最大音声持続時間の積をナレーションの最大文字数として確定することができる。
【０１０１】
次に、ターゲットテキストから要約を抽出する。
【０１０２】
ここでは、様々な実現方法を用いて、ターゲットテキストから要約を抽出し、抽出された要約テキストの文字数を決定されたナレーションの最大文字数よりも少なくする。
【０１０３】
最後に、抽出された要約テキストをターゲットニュースクラスタのナレーションとして決定する。
【０１０４】
ここで、抽出された文字数がナレーションの最大文字数よりも少ない要約テキストをターゲットニュースクラスタのナレーションとして決定することができる。
【０１０５】
上記の実現方法に従って決定されたナレーションの文字数は、所定の最大話速及び所定の最大音声持続時間の要件を満たすことができる。
【０１０６】
テキストに対する要約抽出技術は現在幅広く研究及び使用されている先行技術であり、本明細書では説明されないことに留意されたい。
【０１０７】
図２Ｃに示される選択可能な実現方法を使用して実現したステップ２０２２では、ターゲットニュースに含まれるテキストに対する、ナレーションに不適切なテキストの割合を減らすことができて、ナレーションに適したテキストの割合が増加し、書き言葉を話し言葉に置き替えることにより、ターゲットニュースに含まれるテキストが、人間話し習慣に合うナレーションを生成するのにいっそう適するようになる。
【０１０８】
ステップ２０３では、ターゲット映像セット及びターゲット画像セットに基づいて、ナレーションに対応する候補素材リソースセットを決定する。
【０１０９】
この実施例では、前記実行主体は様々な実現方法を採用して、ターゲット映像セット及びターゲット画像セットに基づいて、ナレーションに対応する候補素材リソースセットを決定することができる。ここで、ターゲット画像セットは、ターゲットニュースクラスタに含まれる各画像で構成される。決定された候補リソースセットにおける候補素材リソースは映像または画像であってもよいことに留意されたい。
【０１１０】
本実施例のいくつかの選択可能な実現方法では、ステップ２０３は、ターゲット映像セットとターゲット画像セットを併合して、ナレーションに対応する候補素材リソースセットを得ることができる。
【０１１１】
本実施例のいくつかの選択可能な実現方法において、ステップ２０３は図２Ｄに示されるステップ２０３１〜ステップ２０３３を含むことができる。本願によるステップ２０３の一実施例の分解フローチャートを示す図２Ｄを参照されたい。
【０１１２】
ステップ２０３１では、ターゲット映像セットにおける各ターゲット映像に対して、該ターゲット映像を予めトレーニングされたビビット映像検出モデルに入力して、該ターゲット映像に対応するビビット映像検出結果を得る。
【０１１３】
前記ビビット映像検出モデルは、映像と、ビビット映像であるかどうかを示すためのビビット映像検出結果との間の対応関係を特徴付けるために使用されることに留意されたい。ここで、ビビット映像検出モデルは、次のビビット映像検出モデルのトレーニングステップによって予めトレーニングされたものであってもよい。
【０１１４】
まず、第２のトレーニングサンプルセットを得ることができる。
【０１１５】
ここで、ビビット映像検出モデルのトレーニングステップの実行主体は、情報を生成するための方法の実行主体と同じであっても異なっていてもよい。同じである場合、ビビット映像検出モデルトレーニングステップの実行主体は、トレーニングによりビビット映像検出モデルを取得した後、トレーニングされたビビット映像検出モデルのモデル構造情報とモデルパラメータのパラメータ値をローカルに保存してもよい。異なっている場合、ビビット映像検出モデルトレーニングステップの実行主体は、トレーニングによりビビット映像検出モデルを取得した後、トレーニングされたビビット映像検出モデルのモデル構造情報とモデルパラメータのパラメータ値を、情報を生成するための方法の実行主体に送信することができる。
【０１１６】
ここで、第２のトレーニングサンプルは、過去のニュース映像と、過去の映像がビビット映像であるかどうかを表すための注釈結果とを含むことができる。実際には、過去のニュース映像がビビット映像であるかどうかの結果を手動でマークアップすることができる。
【０１１７】
ここで、ビビット映像とは、ユーザーが興味を持ち、見たい映像であり、非ビビット映像は、ユーザーが興味がなく、見たくない映像である。
【０１１８】
例えば、司会者がスタジオに座って「今日は２０１９年２月１日、金曜日です」と話す映像セグメントは非ビビット映像としてマークアップし、ある国の指導者が飛行機を降りて他の国の指導者と会見する映像セグメントはビビット映像としてマークアップするなどできる。
【０１１９】
次に、初期ビビット映像検出モデルのモデル構造とビビット映像検出モデルのモデルパラメータを確定することができる。
【０１２０】
ここで、ビビット映像検出モデルには様々なタイプのモデルを含むことができるため、異なるタイプのモデルに対して、決定すべきモデル構造情報も異なる。
【０１２１】
任意選択で、初期ビビット映像検出モデルはニューラルネットワークを含むことができ、初期ビビット映像検出モデルが、例えば、畳み込み層、プーリング層、活性化関数層などのどれを含むか、層間の接続順位関係、及び各層に含まれるパラメータ（例えば、重みｗｅｉｇｈｔ、バイアスｂｉａｓ、畳み込みストライドなど）を決定しなければならない。
【０１２２】
その後、初期ビビット映像検出モデルのモデルパラメータを初期化することができる。実際には、初期ビビット映像検出モデルの各モデルパラメータはいくつかの異なる小さな乱数で初期化することができる。「小さな乱数」は、モデルが過大の重みが原因で飽和状態になることでトレーニングが失敗してしまうことが発生しないように確保し、「異なる」は、モデルが正常に学習できるようにすることが確保できる。
【０１２３】
次いで、第２トレーニングサンプルセット中の第２トレーニングサンプルにおける過去のニュース映像と過去のニュース映像に対応する注釈結果それぞれを初期ビビット映像検出モデルの入力及び所望出力とし、機械学習法を用いて初期ビビット映像検出モデルをトレーニングすることができる。
【０１２４】
具体的には、最初に、第２トレーニングサンプルセット中の第２トレーニングサンプルにおける過去のニュース映像を初期ビビット映像検出モデルに入力し、過去のニュース映像がビビット映像であるか否かを判定する実際ビビット映像検出結果を得ることができる。それから、得られた実際ビビット映像検出結果と該第２トレーニングサンプルにおける注釈結果との差を計算することができる。最後に、計算された差に基づいて初期ビビット映像検出モデルのモデルパラメータを調整し、所定の第２トレーニング終了条件が満たされる場合、トレーニングを終了することができる。例えば、ここで所定の第２トレーニング終了条件は、トレーニング時間が第３所定持続時間を超えること、トレーニングの回数が第２所定回数を超えること、計算された差が第２所定の差の閾値よりも小さいことのうちの少なくとも１つを含むことができる。
【０１２５】
ここで、様々な実現方法を使用して計算によって得られた実際のビビット映像検出結果と該トレーニングサンプルの注釈結果との差に基づいて初期ビビット映像検出モデルのモデルパラメータを調整することができる。例えば、確率的勾配降下法、ニュートン法、準ニュートン法、共役勾配法、ヒューリスティクス最適化法、及びその他の現在知られているかまたは今後開発される様々な最適化アルゴリズムを採用することができる。
【０１２６】
最後に、トレーニングによって取得された初期ビビット映像検出モデルを予めトレーニングされたビビット映像検出モデルとして決定することができる。
【０１２７】
ステップ２０３２では、ターゲット映像セットにおいて対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除する。
【０１２８】
つまり、ここで、ターゲット映像セットにおける非ビビット映像が削除され、ターゲット映像セットにおけるビビット映像が残される。
【０１２９】
ステップ２０３３では、ターゲット映像セット及びターゲット画像セットを併合してナレーションに対応する候補素材リソースセットを得る。
【０１３０】
図２Ｄに示される実現方法に従って得られた候補素材リソースセットにおける映像から非ビビット映像が除去され、ビビット映像が残されている。候補素材リソースセットにおける素材リソースの数が削減されたので、後続のナレーションにおける各段落と候補素材リソースセットにおける各素材リソースとの間のマッチング度を計算する際の計算回数を低減でき、コンピュータのリソース（例えば、ＣＰＵリソースやストレージリソース及びＩ／Ｏリソースなど）の消費を削減できる。
【０１３１】
いくつかの実現方法では、前記実行主体はステップ２０３３を実行する前に次のステップ２０３４を実行することができる。
【０１３２】
ステップ２０３４では、ターゲット映像セットにおいて、映像再生持続時間が所定の最短候補映像持続時間よりも短い映像を削除する。
【０１３３】
ここで、ターゲット映像セットにおいて再生持続時間が所定の最短候補映像持続時間よりも短い映像の場合、該映像により具現する内容が少なすぎるため、該映像には存在する価値がない場合があり、候補素材リソースセットにおける素材リソースの数を低減するために該映像をターゲット映像セットから削除する必要があり、後続のナレーションにおける各段落と候補素材リソースセットにおける各素材リソースとの間のマッチング度を計算する際の計算回数が削減され、コンピュータのリソース（例えば、ＣＰＵリソースやストレージリソース及びＩ／Ｏリソースなど）の消費が削減される。
【０１３４】
本実施例のいくつかの選択可能な実現方法では、ステップ２０３は次のように実行されてもよい。
【０１３５】
まず、ターゲット映像セットにおいて、映像の再生持続時間が所定の最短候補映像持続時間よりも短い映像を削除する。
【０１３６】
それから、ターゲット映像セット及びターゲット画像セットを併合してナレーションに対応する候補素材リソースセットを得る。
【０１３７】
ステップ２０４で、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定する。
【０１３８】
本実施例では、前記実行主体は様々な実現方法を採用して、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定する。
【０１３９】
具体的には、候補素材リソースは映像または画像であってもよいため、ここでは、テキストと映像との間のマッチング度を計算するための様々な方法を使用してナレーションにおける各段落と候補素材リソースセットにおける映像との間のマッチング度を計算することができ、そして、テキストと画像との間のマッチング度を計算するための様々な方法を使用して、ナレーションにおける各段落と候補素材リソースセットにおける画像との間のマッチング度を計算することができ、本願はこれに対して特に制限しない。
【０１４０】
本実施例のいくつかの選択可能な実現方法において、ステップ２０４は図２Ｅに示されるステップ２０４１〜ステップ２０４３を含むことができる。本願によるステップ２０４の一実施例の分解フローチャートを示す図２Ｅを参照されたい。
【０１４１】
ステップ２０４１では、ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを決定する。
【０１４２】
ここで、様々な実現方法を使用して、段落に対応する意味ベクトルを決定することができる。つまり、計算を容易にするために段落がベクトル形式で表される。
【０１４３】
例えば、バッグ・オブ・ワーズモデルを使用して、段落に対応する意味ベクトルを生成することができる。具体的には、Ｖをバッグ・オブ・ワーズモデルにおける辞書に含まれる単語の数とし、段落Ｐに対して、Ｐに含まれる辞書の１番目の単語からＶ番目の単語の数をそれぞれｘ１からｘＶとすると、段落Ｐに対応する意味ベクトルは｛Ｘ１，Ｘ２，．．．，ＸＶ｝である。
【０１４４】
また例えば、段落に対して単語分割処理を実行して、段落に対応する単語分割シーケンスを取得し、次に、得られた単語分割シーケンスにおける各分割単語について、予め決定された単語ベクトルテーブルから該分割単語に対応する単語ベクトルを検索した後、取得された単語分割シーケンスにおける各分割単語に対応する単語ベクトルに従って該段落に対応する意味ベクトルを決定することができる。例えば、取得された単語分割シーケンスにおける各分割単語に対応する単語ベクトルの平均値ベクトルを該段落に対応する意味ベクトルとして決定することができる。また例えば、取得された単語分割シーケンスにおける各分割単語に対応する単語ベクトルの各次元の取り得る値の中央値に対応するベクトルを該段落に対応する意味ベクトルとして決定することができる。ここで、単語ベクトルテーブルは、単語と単語ベクトルとの間の対応関係を特徴付ける。単語ベクトルテーブルは予めトレーニングされたものであってもよい。例えば、単語ベクトルテーブルは、統計ベースの方法または言語モデルベースの方法を使用してトレーニングして得ることができる。
【０１４５】
例えば、統計ベースの方法は共起行列法であってもよく、これは、事前指定されたサイズのウィンドウにおける単語の共起数を統計することで、単語の周囲の共起単語の数を現在の単語の単語ベクトルとする。具体的には、大量のコーパステキストから共起行列を作成することで該コーパステキストで出現する単語における各単語に対応する単語ベクトルを定義し、そして単語ベクトルテーブルを得ることができる。
【０１４６】
また、例えば、統計ベースの方法は特異値分解法であってもよい。共起行列法には高次元性とスパース性の問題が存在するので、特異値分解法は、共起行列法により得られた行列を特異値分解することで直交行列を取得し、さらに、直交行列を正規化して行列を取得することで、該コーパステキストに出現される単語における各単語に対応する単語ベクトルを定義し、そして単語ベクトルテーブルを得ることができる。
【０１４７】
言語モデルに基づいた単語ベクトルテーブルの生成は、ニューラルネットワーク言語モデル（ＮＮＬＭ、Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ｌａｎｇｕａｇｅ  Ｍｏｄｅｌ）をトレーニングすることで、言語モデルの付属として単語ベクトルテーブルを生成することである。ＮＮＬＭの背後の基本的な考え方は、コンテキスト環境に出現する単語を予測することであり、このようなコンテキスト環境に対する予測は、本質的には共起統計特徴に対する学習である。例として、ＮＮＬＭを使用して単語ベクトルを生成する方法には、Ｓｋｉｐ−ｇｒａｍ、ＣＢＯＷ、ＬＢＬ、ＮＮＬＭ、Ｃ＆Ｗ、ＧｌｏＶｅなどが含まれるが、これらに限定されない。
【０１４８】
ステップ２０４２では、候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定する。
【０１４９】
ここで、様々な実現方法を使用して候補素材リソースに対応する意味ベクトルを決定することができる。
【０１５０】
いくつかの実現方法では、ステップ２０４２は、図２Ｆに示されるステップ２０４２１から２０４２３を含むことができる。本願によるステップ２０４２の一実施例の分解フローチャートを示す図２Ｆを参照されたい。
【０１５１】
ステップ２０４２１では、該候補素材リソースが画像であるか又は映像であるかを判定する。
【０１５２】
該候補素材リソースが画像であると判定された場合、ステップ２０４２２へ進む。
【０１５３】
該候補素材リソースが映像であると判定された場合、ステップ２０４２２’へ進む。
【０１５４】
ステップ２０４２２では、該画像候補素材リソースに対して意味的分割を行い、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を得る。
【０１５５】
ここで、ステップ２０４２１で該候補素材リソースが画像であると判定された場合、様々な実現方法を使用して該画像候補素材リソースに対して意味的分割を行って該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を取得し、うち、各意味注釈結果は一つの単語または句であってもよい。例えば、該画像候補素材リソースが、ライオンが草原でカモシカを追いかけているのを描いた一枚の画像である場合、該画像を意味的に分割して得られた少なくとも１つの意味注釈結果は、｛「ライオン」，「草原」，「カモシカ」｝であってもよい。
【０１５６】
画像を如何に意味的に分割するかは現在幅広く研究及び使用されている先行技術であり、本明細書では説明されないことに留意されたい。
【０１５７】
ステップ２０４２３では、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定する。
【０１５８】
ステップ２０４２２で少なくとも1つの意味注釈結果が取得されており、ここで、まずステップ２０４２２で得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルを決定することができる。次に、少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに応じて該候補素材リソースに対応する意味ベクトルを決定することができ、例えば、平均値ベクトルまたは中央値ベクトルの方法を採用することができる。
【０１５９】
ここで、各意味注釈結果に対応する単語ベクトルを決定する方法は、ステップ２０４１の関連説明を参照することができる。
【０１６０】
ステップ２０４２３を経た後、ステップ２０４２が完了する。
【０１６１】
ステップ２０４２２’では、該映像候補素材リソースに対してダウンサンプリングを行って、少なくとも１つのサンプル画像を得る。
【０１６２】
ここで、ステップ２０４１で該候補素材リソースが映像であると判定された場合、様々な実現方法を採用して該映像候補素材リソースに対してダウンサンプリングを行って、少なくとも１つのサンプル画像を得ることができる。例えば、該候補素材リソースにおいて、第１の所定数（例えば１０）のフレームの画像おきに第２の所定数（例えば１）のフレームの画像をサンプリングして、少なくとも１つのサンプル画像を得ることができる。
【０１６３】
ステップ２０４２３’では、少なくとも１つのサンプル画像の各サンプル画像に対して、該サンプル画像を意味的に分割して、該サンプル画像に対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに応じて該サンプル画像に対応する意味ベクトルを決定する。
【０１６４】
ここで、ステップ２０４２３’で各サンプル画像を意味的に分割し、各サンプル画像に対して、取得された少なくとも１つの意味注釈結果における各意味注釈結果に対応する意味ベクトルに応じて、該サンプル画像に対応する意味ベクトルを決定する具体的な操作が、ステップ２０４２３で説明した対応する具体的な操作と実質的に同じであり、ここではこれ以上説明しない。
【０１６５】
ステップ２０４２４’では、各サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定する。
【０１６６】
ステップ２０４２３’で各サンプル画像に対応する意味ベクトルが取得されたので、ここでは、ステップ２０４２３’で取得した各サンプル画像に対応する意味ベクトルに従って、該候補素材リソースに対応する意味ベクトルを決定することができる。例えば、各サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして決定することができる。また、例えば、各サンプル画像に対応する意味ベクトルの各次元の取り得る値の中央値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして決定することもできる。
【０１６７】
ステップ２０４２４’を経た後、ステップ２０４２が完了する。
【０１６８】
ステップ２０４３では、ナレーションにおける各段落に対応する意味ベクトルと、候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定する。
【０１６９】
ここで、ベクトルとベクトル間の類似度を計算する様々な方法を採用して、ナレーションにおける各段落に対応する意味ベクトルと、候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を計算することができる。例えば、ベクトル同士間のユークリッド距離、マンハッタン距離、チェビシェフ距離、ミンコフスキー距離、標準化ユークリッド距離、マハラノビス距離、コサイン類似度、ハミング距離、ジャカード距離、ジャカード類似度係数、相関係数、相関距離及び情報エントロピーなどを計算することにより、ベクトル同士間の類似度を計算することができる。
【０１７０】
続けて、本実施例による情報を生成するための方法の一応用シナリオの概略図である図３を参照されたい。図３の応用シナリオでは、ニュースＷｅｂサイトにサポートを提供するサーバー３０１は、ターゲットニュースクラスタ３０２に含まれる各映像を意味的に分割して得られた少なくとも１つの映像セグメントをターゲット映像セット３０３として決定することができ、次に、サーバー３０１はターゲットニュースクラスタのナレーション３０４を決定することができ、次に、サーバー３０１は、ターゲット映像セット及びターゲット画像セットに基づいて、ナレーションに対応する候補素材リソースセット３０５を決定することができ、最後に、サーバー３０１は、ナレーションの各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度３０６を確定することができる。
【０１７１】
通常、多くの場合は、同じニュースイベントを対象とする複数のニュースクラスのみにナレーションが生成され、ニュースイベントの内容をすばやく理解するには、ユーザーはニュースの要約を取得するために文字形式のナレーションを読む必要があり、ニュースクラスタに対応する解説映像が生成されていない。本願の上記実施形態による情報を生成するための方法は、ターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも１つの映像セグメント及びターゲットニュースクラスタに含まれる各画像に基づいて、ターゲットニュースクラスタのナレーションに対応する候補素材リソースセットを決定し、ナレーションにおける各段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を算出し、後で候補素材リソースを使用してナレーションに対応する映像を生成するためのデータソースを提供し、それによって、後で生成されるナレーションに対応する映像とナレーションとの間の適合度を向上させることができる。さらに、従来技術では、テキストに対応する候補素材リソースを決定する際、多くの場合、素材リソース（映像又は画像など）とテキストの間のマッチング度を直接算出するが、本願の上記実施形態による情報を生成するための方法は、まず、ターゲットニュースクラスタに含まれる各映像を意味的に分割してターゲット映像セットを取得し、ターゲット映像セットにおける各映像に独立した意味を持たせ、ターゲット映像セットにおける映像とナレーションの段落との間のマッチング度を算出するとき、算出されたマッチング度の正確率を高めることができ、後で生成されるナレーションに対応する映像とナレーションとの間のより細かい粒度での適合度をさらに向上させることができる。
【０１７２】
さらに、情報を生成するための方法のもう一つの実施例のプロセス４００を示す図４Ａを参照されたい。該情報を生成するための方法のプロセス４００は以下のステップを含む。
【０１７３】
ステップ４０１では、ターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも１つの映像セグメントをターゲット映像セットとして決定する。
【０１７４】
ステップ４０２では、ターゲットニュースクラスタのナレーションを決定する。
【０１７５】
ステップ４０３では、ターゲット映像セット及びターゲット画像セットに基づいて、ナレーションに対応する候補素材リソースセットを決定する。
【０１７６】
ステップ４０４では、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定する。
【０１７７】
本実施例では、ステップ４０１、ステップ４０２、ステップ４０３及びステップ４０４の具体的な操作は、図２Ａに示される実施例のステップ２０１、ステップ２０２、ステップ２０３及びステップ２０４の操作と実質的に同じであり、ここではこれ以上説明しない。
【０１７８】
ステップ４０５では、ナレーションにおける各段落と各候補素材リソースとの間のマッチング度、各候補素材リソースの再生持続時間、及びナレーションにおける各段落のテキストの長さに基づいて、ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定する。
【０１７９】
本実施例では、情報を生成するための方法の実行主体（例えば、図１に示されるサーバー１０５）は、ステップ４０４でナレーションにおける各段落と候補素材リソースセットにおける各候補素材リソースとの間のマッチング度が確定された後、ナレーションにおける各段落と各候補素材リソースとの間のマッチング度、各候補素材リソースの再生持続時間、及びナレーションにおける各段落のテキストの長さに基づいて、ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定する。ここで、映像タイプの候補素材リソースの再生持続時間は、映像タイプの候補素材リソースの固有特性であり、不変的であることに留意されたい。画像タイプの候補素材リソースの場合、実際には、各画像タイプの候補素材リソースの再生持続時間を一定で変わらない所定の再生持続時間（例えば、３秒）に設定することができる。したがって、このようなすべての候補素材リソースは一定の再生持続時間属性を持つことができる。
【０１８０】
本実施例のいくつかの選択可能な実現方法では、ステップ４０５は次のように実行されてもよい。
【０１８１】
ナレーションの各段落に対して、第１の所定の最適化アルゴリズムを使用し、該段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約条件とし、該段落に対応する候補素材リソースシーケンスと該段落とのマッチング度を最大にすることを最適化目標として、該段落に対応する候補素材リソースシーケンスを決定する。
【０１８２】
つまり、ナレーションの各段落について、ステップ４０３で決定された候補素材リソースセットから順番に配列された候補素材リソースを選択して該段落に対応する候補素材リソースシーケンスを構成し、選択された該段落に対応する候補素材リソースシーケンスの再生持続時間を該段落に対応する再生持続時間に等しくする。
【０１８３】
ここで、候補素材リソースシーケンスの再生持続時間は、候補素材リソースシーケンスにおける各候補素材リソースの再生持続時間の和である。段落に対応する再生持続時間は、段落における文字数及び所定の話速によって決定されたものである。例えば、所定の話速を１秒あたりＮ文字とし、段落における文字数をＭ個文字とすると、段落に対応する再生持続時間はＬ秒で、ＬはＭをＮで割った比である。
【０１８４】
ここで、第１の所定の最適化アルゴリズムは制約条件と最適化目標を解決できる様々な最適化アルゴリズムであってもよい。例えば、第１の所定の最適化アルゴリズムは動的計画法アルゴリズムと経路最短最適化アルゴリズムを含むことができるが、これらに限定されない。
【０１８５】
本実施例のいくつかの選択可能な実現方法では、ステップ４０５は次のように実行されてもよい。
【０１８６】
第２の所定の最適化アルゴリズムを使用して、ナレーションにおける各段落に対応する候補素材リソースシーケンスの再生持続時間が該段落に対応する再生持続時間に等しいことを制約条件とし、ナレーションにおける各段落に対応する候補素材リソースシーケンスと相応する段落とのマッチング度の和を最大にすることを最適化目標として、ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定する。
【０１８７】
上記の選択可能な実現方法に比して、ここでの最適化目標は、上記の選択可能な実現方法の最適化目標とは異なる。上記の選択可能な実現方法では、各段落を個別に最適化し、各段落と該段落に対応する候補素材リソースシーケンスとのマッチング度が最大であることを最適化目標としたが、ここでの選択可能な実現方法は、ナレーションにおける各段落全体を最適化して、ナレーションにおける各段落に対応する候補素材リソースシーケンスと相応する段落とのマッチング度の和が最大であることを最適化目標としている。
【０１８８】
ここで、第２の所定の最適化アルゴリズムは制約条件と最適化目標を解決できる様々な最適化アルゴリズムであってもよい。例えば、第２の所定の最適化アルゴリズムは動的計画法アルゴリズムと経路最短最適化アルゴリズムを含むことができるが、これらに限定されない。
【０１８９】
本実施例のいくつかの選択可能な実現方法では、ステップ４０５で決定されたナレーションにおいて、各段落に対応する候補素材リソースシーケンスにおける候補素材リソースは互いに異なっていてもよい。このようにして、後でナレーションに対応する映像を生成する際に重複する画像や映像が出現されることがなく、生成された映像の可読性と鮮明さを高めることができる。ステップ４０５で決定されたナレーションの各段落に対応する候補素材リソースシーケンスにおける候補素材リソースが互いに異なる場合、上記２つの選択可能な実現方法における制約条件に対して、決定されたナレーションにおいて各段落に対応する候補素材リソースシーケンスにおける候補素材リソースが互いに異なるという制約条件を追加する必要があることが理解され得る。
【０１９０】
ステップ４０６では、ナレーションの各段落に対応する候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成する。
【０１９１】
本実施例では、前記実行主体は、ステップ４０５で決定されたナレーションの各段落に対応する候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成することができる。
【０１９２】
本実施例のいくつかの選択可能な実現方法において、ステップ４０６は図４Ｂに示されるステップ４０６１〜ステップ４０６２を含むことができる。本願によるステップ４０６の一実施例の分解フローチャートを示す図４Ｂを参照されたい。
【０１９３】
ステップ４０６１では、ナレーションにおける各段落に対して、音声合成技術を使用して該段落に対応する音声を生成する。
【０１９４】
音声合成技術は現在幅広く研究及び使用されている先行技術であり、本明細書では説明されないことに留意されたい。
【０１９５】
ステップ４０６２では、ナレーションの各段落に対応する音声及び候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成する。
【０１９６】
いくつかの実現方法では、ステップ４０６２は以下のように行うことができる。
【０１９７】
まず、ナレーションの各段落の前から後への順序に従って、各段落に対応する音声を接続して、第１の音声を得ることができる。
【０１９８】
次に、ナレーションの各段落の前から後への順序に従って、各段落に対応する映像を接続して、第１の映像を得ることができる。
【０１９９】
ここで、段落に対応する映像は、該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して得られた映像である。
【０２００】
最後に、得られた第１の音声及び第１の映像をそれぞれ、ナレーションに対応する映像における音声部分及び映像部分として決定する。
【０２０１】
いくつかの実現方法では、ステップ４０６２は、図４Ｃに示されるステップ４０６２１から４０６２６を含むこともできる。本願によるステップ４０６２の一実施例の分解フローチャートを示す図４Ｃを参照されたい。
【０２０２】
ステップ４０６２１では、ナレーションの各段落に対して、該段落を予めトレーニングされた映像アドバンス再生時間決定モデルに入力し、該段落に対応する映像アドバンス再生持続時間を得る。
【０２０３】
ここで、映像アドバンス再生時間決定モデルは、テキストとテキストに対応する映像アドバンス再生持続時間との間の対応関係を特徴付けるために使用される。
【０２０４】
実際には、手動で編集されたニュース映像は通常司会者が発言する前に、映像がすでに短時間再生開始していた。ナレーション用に生成された映像をより人間の視聴習慣に合わせるために、さらに手動編集されたようなニュース映像になるように、予め大量の第３トレーニングサンプルに基づいて映像アドバンス再生時間決定モデルをトレーニングすることができ、ここで、第３のトレーニングサンプルにはサンプルニュース映像に含まれるテキストと該サンプルニュース映像における映像のナレーション音声に先立つ注釈時間とを含むことができる。映像アドバンス再生時間決定モデルをトレーニングするステップは、上記スコア計算モデルをトレーニングするステップまたはビビット映像検出モデルをトレーニングするステップと実質的に同じであり得、ここではこれ以上説明しない。
【０２０５】
ステップ４０６２２では、ナレーションにおける最後の段落を除く各段落に対して、該段落のナレーションにおける前から後への順序に従って、段落映像クリップステップを実行する。
【０２０６】
ここで、段落映像クリップステップには次の操作を含むことができる。
【０２０７】
第１に、該段落の次の段落に対応する映像アドバンス再生持続時間を映像クリップ持続時間として決定する。
【０２０８】
第２に、該段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、該段落に対応する映像を得る。
【０２０９】
第３に、該段落に対応する映像の尾部から、映像クリップ持続時間分の映像をクリップする。
【０２１０】
つまり、該技術案は、ナレーションにおいて最初の段落を除く各段落を使用し、該段落に対応する映像をアドバンス再生するとともに、該段落の直前の段落の映像の尾部をオーバーレイし、映像アドバンス再生と映像オーバーレイの持続時間は、ステップ４０６２１で決定された該段落に対応する映像アドバンス再生持続時間である。
【０２１１】
ステップ４０６２３では、ナレーションの最後の段落に対応する候補素材リソースシーケンスにおける各候補素材リソースを順次接続して、最後の段落に対応する映像を得る。
【０２１２】
ステップ４０６２４では、ナレーションにおける各段落の前から後への順序に従って、各段落に対応する映像を接続して、第２の映像を得る。
【０２１３】
ステップ４０６２５では、ナレーションにおける各段落の前から後への順序に従って、各段落に対応する音声を接続して、第２の音声を得る。
【０２１４】
ステップ４０６２６では、得られた第２の音声及び第２の映像をそれぞれナレーションに対応する映像における音声部分及び映像部分として決定する。
【０２１５】
いくつかの実現方法では、ステップ４０６２は、図４Ｄに示されるステップ４０６２１’から４０６２５’を含むこともできる。本願によるステップ４０６２のもう一つの実施例の分解フローチャートを示す図４Ｄを参照されたい。
【０２１６】
ステップ４０６２１’では、ナレーションの各段落に対して、該段落を予めトレーニングされた映像アドバンス再生時間決定モデルに入力し、該段落に対応する映像アドバンス再生持続時間を得る。
【０２１７】
ここで、ステップ４０６２１’の具体的な操作はステップ４０６２１の操作と実質的に同じであり、ここではこれ以上説明しない。
【０２１８】
ステップ４０６２２’では、ナレーションにおける最後の段落を除く各段落に対して、該段落のナレーションにおける前から後への順序に従って、段落音声延長ステップを実行する。
【０２１９】
ここで、段落音声延長ステップは以下の操作を含むことができる。
【０２２０】
第１に、該段落の次の段落に対応する映像アドバンス再生持続時間を音声延長持続時間として決定する。
【０２２１】
第２に、該段落に対応する音声の尾部に、決定された音声延長持続時間分の無音再生持続時間が追加される。
【０２２２】
つまり、該技術案は、ナレーションにおいて最初の段落を除く各段落に対して、該段落に対応する映像をアドバンス再生するとともに、該段落の直前の段落の音声の尾部に無音再生持続時間を追加させ、映像アドバンス再生と音声延長の持続時間は、ステップ４０６２１’で決定された該段落に対応する映像アドバンス再生持続時間である。
【０２２３】
ステップ４０６２３’では、ナレーションにおける各段落の前から後への順序に従って、各段落に対応する音声を接続して、第３の音声を得る。
【０２２４】
ステップ４０６２４’では、ナレーションにおける各段落の前から後への順序に従って、各段落に対応する映像を接続して、第３の映像を得る。
【０２２５】
ここで、段落に対応する映像は、該段落に対応する候補素材リソースシーケンスにおける候補素材リソースを順次接続して得られた映像である。
【０２２６】
ステップ４０６２５’では、得られた第３の音声及び第３の映像をそれぞれナレーションに対応する映像における音声部分及び映像部分として決定する。
【０２２７】
ステップ４０７では、ナレーションに対応する映像を端末デバイスに送信する。
【０２２８】
本実施例では、前記実行主体は、ステップ４０６で生成されたナレーションに対応する映像を端末デバイスに送信することができる。ここで、端末デバイスは前記実行主体にネットワーク接続された電子機器であってもよい。このようにして、前記端末デバイスは前記実行主体によって送信された映像の受信に応答して受信した映像を提示し、そうすると、端末デバイスにおいてターゲットニュースクラスタのナレーションに対応する映像の表示が実現された。ユーザーは端末デバイスで提示されたターゲットニュースクラスタのナレーションに対応する映像を視聴することで、ターゲットニュースクラスタの対象となるニュースイベントをすばやく知ることができ、ターゲットニュースクラスタの対象となるニュースイベントを知るために文字を読む必要がなくなり、ユーザーのニュースイベント取得効率が向上した。
【０２２９】
図４Ａからわかるように、図２Ａに対応する実施例と比較して、本実施例における情報を生成するための方法のプロセス４００では、ナレーションの各段落に対応する候補素材リソースシーケンスを決定し、ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、ナレーションに対応する映像を生成し、ナレーションに対応する映像を端末デバイスに送信するステップが追加されている。したがって、本実施例で説明される手段により、受信されたターゲットニュースクラスタに対応する映像を端末デバイスで表示することができる。ユーザーは端末デバイスで提示されたターゲットニュースクラスタのナレーションに対応する映像を視聴することで、ターゲットニュースクラスタの対象となるニュースイベントをすばやく知ることができ、ターゲットニュースクラスタの対象となるニュースイベントを知るために文字を読む必要がなくなり、ユーザーが端末デバイスを介してニュースイベントを得る効率が向上し、すなわち端末デバイスの情報提示機能が拡張される。
【０２３０】
図５をさらに参照すると、上記各図に示されている方法の具現として、本願は情報を生成するための装置の一実施例を提供し、該装置の実施例は図２Ａに示される方法の実施例に対応しており、該装置は具体的に様々な電子機器に適用することができる。
【０２３１】
図５に示すように、本実施例の情報生成装置５００は、意味的分割ユニット５０１、ナレーション決定ユニット５０２、候補素材リソースセット決定ユニット５０３及びマッチング度確定ユニット５０４を含む。うち、意味的分割ユニット５０１は、同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定するように構成され、ナレーション決定ユニット５０２は、前記ターゲットニュースクラスタのナレーションを決定するように構成され、候補素材リソースセット決定ユニット５０３は、前記ターゲット映像セットと、前記ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するように構成され、マッチング度確定ユニット５０４は、前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成される。
【０２３２】
本実施形態において、情報生成装置５００の意味的分割ユニット５０１、ナレーション決定ユニット５０２、候補素材リソースセット決定ユニット５０３及びマッチング度確定ユニット５０４の具体的な処理及び奏する技術的効果はそれぞれ図２Ａの対応する実施例におけるステップ２０１、ステップ２０２、ステップ２０３及びステップ２０４の関連する説明を参照することができ、ここではこれ以上説明しない。
【０２３３】
本実施形態のいくつかの選択可能な実現方法では、前記装置５００はさらに、前記ナレーションにおける各段落と各前記候補素材リソースとの間のマッチング度、各前記候補素材リソースの再生持続時間、及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定するように構成された候補素材リソースシーケンス決定ユニット５０５と、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するように構成された映像生成ユニット５０６とを含んでもよい。
【０２３４】
本実施形態のいくつかの選択可能な実現方法では、前記装置５００はさらに、端末デバイスで前記ナレーションに対応する映像を再生するために、前記映像を前記端末デバイスに送信するように構成された映像送信ユニット５０７を含んでもよい。
【０２３５】
本実施形態のいくつかの選択可能な実現方法では、前記映像生成ユニット５０６は、前記ナレーションにおける各段落に対して、音声合成技術を使用して該段落に対応する音声を生成するように構成された音声合成モジュール５０６１と、前記ナレーションにおける各段落に対応する音声及び候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するように構成された映像生成モジュール５０６２とを含んでもよい。
【０２３６】
本実施形態のいくつかの選択可能な実現方法では、前記候補素材リソースセット決定ユニット５０３はさらに、前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るように構成され得る。
【０２３７】
本実施形態のいくつかの選択可能な実現方法では、前記候補素材リソースセット決定ユニット５０３はさらに、前記ターゲット映像セットにおける各ターゲット映像に対して、予めトレーニングされた、映像と、ビビッド映像であるかどうかを示すためのビビッド映像検出結果との対応関係を特徴付けるためのビビット映像検出モデルに、該ターゲット映像を入力して、該ターゲット映像に対応するビビット映像検出結果を得、前記ターゲット映像セットにおいて対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除し、前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るように構成され得る。
【０２３８】
本実施形態のいくつかの選択可能な実現方法では、前記候補素材リソースセット決定ユニットはさらに、前記ターゲット映像セットにおいて対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除した後、前記ターゲット映像セットにおいて映像の再生持続時間が予め設定された最短候補映像持続時間よりも短い映像を削除するように構成され得る。
【０２３９】
本実施形態のいくつかの選択可能な実現方法では、前記マッチング度確定ユニット５０４は、前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを決定するように構成される段落意味ベクトル決定モジュール５０４１と、前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するように構成される候補素材リソース意味ベクトル決定モジュール５０４２と、前記ナレーションにおける各段落に対応する意味ベクトルと、前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するように構成されるマッチング度確定モジュール５０４３とを含み得る。
【０２４０】
本実施形態のいくつかの選択可能な実現方法では、前記候補素材リソース意味ベクトル決定モジュール５０４２はさらに、該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースを意味的に分割して、該画像候補素材リソースに対応する少なくとも1つの意味注釈結果を得、得られた少なくとも1つの意味注釈結果のそれぞれに対応する意味ベクトルによって該候補素材リソースに対応する意味ベクトルを決定し、該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースをダウンサンプリングして、少なくとも1つのサンプル画像を得、前記少なくとも1つのサンプル画像のそれぞれに対して、該サンプル画像を意味的に分割して、該サンプル画像に対応する少なくとも1つの意味注釈結果を得、得られた少なくとも1つの意味注釈結果のそれぞれに対応する意味ベクトルによって該サンプル画像に対応する意味ベクトルを決定し、各前記サンプル画像に対応する意味ベクトルによって、該候補素材リソースに対応する意味ベクトルを決定するように構成され得る。
【０２４１】
本実施形態のいくつかの選択可能な実現方法では、各前記サンプル画像に対応する意味ベクトルによって、該候補素材リソースに対応する意味ベクトルを決定するステップは、各前記サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含んでもよい。
【０２４２】
本実施形態のいくつかの選択可能な実現方法では、各前記サンプル画像に対応する意味ベクトルによって、該候補素材リソースに対応する意味ベクトルを決定するステップは、各前記サンプル画像に対応する意味ベクトルの各次元の取り得る値の中央値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含んでもよい。
【０２４３】
本出願の実施形態による情報を生成するための装置における各ユニットの実現詳細及び技術的効果は、本出願の他の実施形態の説明を参照することができ、ここではこれ以上説明しないことに留意されたい。
【０２４４】
以下、本願の実施形態を実現するためのサーバーに適したコンピュータシステム６００の構造概略図を示す図６を参照されたい。図６に示されたサーバーは一例に過ぎず、本願の実施形態の機能及び使用範囲に対して制限するものではない。
【０２４５】
図６に示すように、コンピュータシステム６００は、少なくとも１つの中央処理ユニット（ＣＰＵ、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６０１を含み、これは、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６０２に記憶されたプログラム、又は記憶部６０８からランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６０３にロードされたプログラムに従って、様々な適切な動作及び処理を実行することができる。ＲＡＭ６０３には、システム６００の操作に必要な様々なプログラム及びデータがさらに記憶されている。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
【０２４６】
Ｉ／Ｏインターフェース６０５には、キーボード、マウスなどを含む入力部６０６、陰極線管（ＣＲＴ、Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、液晶ディスプレイ（ＬＣＤ，Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）など、及びスピーカなどを含む出力部６０７、ハードディスクなどを含む記憶部６０８、及びＬＡＮ（ローカルエリアネットワーク、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）カード、モデムなどのネットワークインターフェースカードを含む通信部６０９が接続されている。通信部６０９は、例えば、インターネットのようなネットワークを介して通信処理を実行する。ドライバ６１０は、必要に応じてＩ／Ｏインターフェース６０５に接続される。リムーバブルメディア６１１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ６１０に取り付けられ、したがって、リムーバブルメディア６１１から読み出されたコンピュータプログラムが必要に応じて記憶部６０８にインストールされる。
【０２４７】
特に、本開示の実施形態によれば、上記のフローチャートを参照しながら説明された過程はコンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施形態は、コンピュータ可読媒体にロードされるコンピュータプログラムを含むコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施形態において、該コンピュータプログラムは、通信部６０９を介してネットワークからダウンロードしてインストールされ、及び／又はリムーバブルメディア６１１からインストールされてもよい。該コンピュータプログラムは、中央処理ユニット（ＣＰＵ）６０１により実行される場合に、本願の方法に限定される前記機能を実行する。説明すべきことは、本願に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又はこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、或いは半導体のシステム、装置又はデバイス、或いはこれらの任意の組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体についてのより具体的な例は、一本又は複数本の導線を含む電気的な接続、携帯可能なコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ又はフラッシュ）、光ファイバ、携帯可能なコンパクト磁気ディスク読取専用メモリ（ＣＤ−ＲＯＭ）、光学記憶素子、磁気記憶素子、或いは前記任意の適当の組み合わせを含むが、それらに限定されない。本願において、コンピュータ可読記憶媒体は、プログラムを含むか記憶する任意の有形の媒体であっても良く、該プログラムは、命令実行システム、装置又はデバイスにより使用され得るか、或いはそれらに組み合わせて使用され得る。本願において、コンピュータ可読信号媒体は、ベースバンドに伝送され或いはキャリアの一部として伝送され、コンピュータ可読プログラムコードがロードされるデータ信号を含んでもよい。このような伝送されるデータ信号は、各種類の形式を採用しても良く、電磁気信号、光信号又はこれらの任意の適当な組み合わせを含むが、それらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であっても良く、該コンピュータ可読媒体は、命令実行システム、装置又はデバイスにより使用され得るか又はそれらと組み合わせて使用され得るプログラムを送信し、伝播し又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適当の媒体で伝送されても良く、無線、電線、光ケーブル、ＲＦなど、或いはこれらの任意の適当な組み合わせを含むが、それらに限定されない。
【０２４８】
一つ又は複数種のプログラミング言語又はそれらの組み合わせで、本願の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語には、オブジェクト向けのプログラミング言語、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋が含まれ、通常の手続き型プログラミング言語、例えば「Ｃ」言語又は類似しているプログラミング言語も含まれる。プログラムコードは、完全にユーザーコンピュータにて実行されてもよく、部分的にユーザーコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザーコンピュータにおいて実行され且つ部分的にリモートコンピュータにおいて実行されてもよく、又は完全にリモートコンピュータ又はサーバーにおいて実行されてもよい。リモートコンピュータに係る場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザーコンピュータ、又は、外部コンピュータに接続できる（例えば、インターネットサービスプロバイダーを利用してインターネットを介して接続できる）。
【０２４９】
図面におけるフローチャート及びブロック図は、本願の各実施形態によるシステム、方法及びコンピュータプログラム製品により実現可能なシステム構造、機能及び操作を示した。この点において、フローチャート又はブロック図における各ブロックは、一つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、該モジュール、プログラムセグメント、又はコードの一部には、一つ又は複数の所定のロジック機能を実現するための実行可能なコマンドが含まれる。幾つかのオプションとしての実現において、ブロックに示される機能は図面に示される順序と異なって発生されてもよいことに留意されたい。例えば、二つの接続的に表示されるブロックは実際にほぼ並列に実行されてもよく、場合によっては反対の順序で実行されてもよく、係る機能によって決定される。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアによるシステムで実現されてもよく、或いは専用のハードウェアとコンピュータコードの組み合わせで実現されてもよいことに留意されたい。
【０２５０】
本願の実施形態に説明されたユニットは、ソフトウェアの方法で実現されてもよく、ハードウェアの方法で実現されてもよい。説明されたユニットはサーバーに設置されてもよい。例えば、意味的分割ユニット、ナレーション決定ユニット、候補素材リソースセット決定ユニット及びマッチング度確定ユニットを含むプロセッサとして説明されても良い。これらのユニットの名称は場合によってユニットの自身に対する限定とされない。例えば、意味的分割ユニットは「ターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定するユニット」として説明されてもよい。
【０２５１】
もう一つの態様として、本願は更にコンピュータ可読媒体を提供し、該コンピュータ可読媒体は、前記実施形態に説明された装置に含まれたものであっても良く、該装置に実装されずに別途に存在するものであってもよい。前記コンピュータ可読媒体には一つ又は複数のプログラムがインストールされ、前記一つ又は複数のプログラムが該装置により実行されるとき、該装置は、各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定し、ターゲットニュースクラスタのナレーションを決定し、ターゲット映像セットと、ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、ナレーションに対応する候補素材リソースセットを決定し、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するようにする。
【０２５２】
もう一つの態様として、本願の実施形態はもう一つのサーバーであって、インターフェースと、１つまたは複数のプログラムが格納されているメモリと、前記インターフェース及び前記メモリに動作可能に接続される１つまたは複数のプロセッサとを備えるサーバーを提供し、前記プロセッサは、各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定し、ターゲットニュースクラスタのナレーションを決定し、ターゲット映像セットと、ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、ナレーションに対応する候補素材リソースセットを決定し、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するために用いられる。
【０２５３】
もう一つの態様として、本願の実施形態はコンピュータプログラムが格納されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムが１つまたは複数のプロセッサにより実行されるとき、前記１つまたは複数のプロセッサは、各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも1つの映像セグメントをターゲット映像セットとして決定し、ターゲットニュースクラスタのナレーションを決定し、ターゲット映像セットと、ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、ナレーションに対応する候補素材リソースセットを決定し、ナレーションにおける各段落に対して、該段落と候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するようにする。
【０２５４】
上記の説明は、あくまでも本願の好ましい実施形態および応用技術原理の説明にすぎない。本願に係る発明の範囲は、上記の技術的特徴の特定の組み合わせによって形成された技術的解決手段に限定されず、上記の発明の構想から逸脱しない範囲で上記の技術的特徴またはその同等の技術的特徴の任意の組み合わせによって形成されたその他の技術的解決手段、例えば、上記の特徴と本願に開示された同様の機能を有する技術的特徴（それだけに限定されない）とが相互に代替することによって形成された技術的解決手段もカバーしていることを当業者は理解すべきである。
【図１】
2020174338.tif 000003
【図２Ａ】
2020174338.tif 000004
【図２Ｂ】
2020174338.tif 000005
【図２Ｃ】
2020174338.tif 000006
【図２Ｄ】
2020174338.tif 000007
【図２Ｅ】
2020174338.tif 000008
【図２Ｆ】
2020174338.tif 000009
【図３】
2020174338.tif 000010
【図４Ａ】
2020174338.tif 000011
【図４Ｂ】
2020174338.tif 000012
【図４Ｃ】
2020174338.tif 000013
【図４Ｄ】
2020174338.tif 000014
【図５】
2020174338.tif 000015
【図６】
2020174338.tif 000016
【手続補正書】
【提出日】令和2年1月8日(2020.1.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも１つの映像セグメントを、ターゲット映像セットとして決定するステップと、
前記ターゲットニュースクラスタのナレーションを決定するステップと、
前記ターゲット映像セットと前記ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するステップと、
前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するステップとを含む、
情報を生成するための方法。
【請求項２】
前記方法は、さらに、
前記ナレーションにおける各段落と各前記候補素材リソースとの間のマッチング度、各前記候補素材リソースの再生持続時間、及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定するステップと、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するステップとを含む、
請求項１に記載の方法。
【請求項３】
前記方法は、前記ナレーションに対応する映像を端末デバイスに送信するステップをさらに含み、
前記映像は前記端末デバイスで再生するためのものである、
請求項２に記載の方法。
【請求項４】
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するステップは、
前記ナレーションにおける各段落に対して、音声合成技術を使用して該段落に対応する音声を生成するステップと、
前記ナレーションにおける各段落に対応する音声及び候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するステップとを含む、
請求項３に記載の方法。
【請求項５】
前記ターゲット映像セットとターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するステップは、
前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るステップを含む、
請求項４に記載の方法。
【請求項６】
前記ターゲット映像セットとターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するステップは、
前記ターゲット映像セットにおける各ターゲット映像に対して、該ターゲット映像を予めトレーニングされたビビット映像検出モデルに入力して、該ターゲット映像に対応するビビット映像検出結果を得るステップであって、前記ビビット映像検出モデルは、映像と、ビビッド映像であるかどうかを示すためのビビッド映像検出結果との対応関係を特徴付けるように構成されるステップと、
前記ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除するステップと、
前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るステップとを含む、
請求項４に記載の方法。
【請求項７】
前記方法は、さらに、
前記ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除した後、
前記ターゲット映像セットにおいて、映像の再生持続時間が予め設定された最短候補映像持続時間よりも短い映像を削除するステップを含む、
請求項６に記載の方法。
【請求項８】
前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するステップは、
前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを決定するステップと、
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するステップと、
前記ナレーションにおける各段落に対応する意味ベクトルと、前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するステップとを含む、
請求項４に記載の方法。
【請求項９】
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するステップは、
該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースを意味的に分割して、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルによって該候補素材リソースに対応する意味ベクトルを決定するステップと、
該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースをダウンサンプリングして、少なくとも１つのサンプル画像を得るステップと、
前記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像を意味的に分割して、該サンプル画像に対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルに応じて該サンプル画像に対応する意味ベクトルを決定するステップと、
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップとを含む、
請求項８に記載の方法。
【請求項１０】
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップは、
各前記サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む、
請求項９に記載の方法。
【請求項１１】
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するステップは、
各前記サンプル画像に対応する意味ベクトルの各次元の取り得る値の中央値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む、
請求項１０に記載の方法。
【請求項１２】
各々が同じニュースイベントを対象とするニュースからなるターゲットニュースクラスタに含まれる各映像を意味的に分割して得られた少なくとも１つの映像セグメントを、ターゲット映像セットとして決定するように構成された意味的分割ユニットと、
前記ターゲットニュースクラスタのナレーションを決定するように構成されたナレーション決定ユニットと、
前記ターゲット映像セットと前記ターゲットニュースクラスタに含まれる各画像からなるターゲット画像セットとに基づいて、前記ナレーションに対応する候補素材リソースセットを決定するように構成された候補素材リソースセット決定ユニットと、
前記ナレーションにおける各段落に対して、該段落と前記候補素材リソースセットにおける各候補素材リソースとのマッチング度を確定するように構成されたマッチング度確定ユニットとを含む、
情報を生成するための装置。
【請求項１３】
前記装置は、さらに、
前記ナレーションにおける各段落と各前記候補素材リソースとの間のマッチング度、各前記候補素材リソースの再生持続時間、及び前記ナレーションにおける各段落のテキストの長さに基づいて、前記ナレーションにおける各段落に対応する候補素材リソースシーケンスを決定するように構成された候補素材リソースシーケンス決定ユニットと、
前記ナレーションにおける各段落に対応する候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するように構成された映像生成ユニットとを含む、
請求項１２に記載の装置。
【請求項１４】
前記装置は、前記ナレーションに対応する映像を端末デバイスに送信するように構成された映像送信ユニットをさらに含み、
前記映像は前記端末デバイスで再生するためのものである、
請求項１３に記載の装置。
【請求項１５】
前記映像生成ユニットは、
前記ナレーションにおける各段落に対して、音声合成技術を使用して該段落に対応する音声を生成するように構成された音声合成モジュールと、
前記ナレーションにおける各段落に対応する音声及び候補素材リソースシーケンスに基づいて、前記ナレーションに対応する映像を生成するように構成された映像生成モジュールとを含む、
請求項１４に記載の装置。
【請求項１６】
前記候補素材リソースセット決定ユニットはさらに、
前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るように構成される、
請求項１５に記載の装置。
【請求項１７】
前記候補素材リソースセット決定ユニットはさらに、
前記ターゲット映像セットにおける各ターゲット映像に対して、該ターゲット映像を予めトレーニングされたビビット映像検出モデルに入力して、該ターゲット映像に対応するビビット映像検出結果を得、ここで、前記ビビット映像検出モデルは、映像と、ビビッド映像であるかどうかを示すためのビビッド映像検出結果との対応関係を特徴付けるように構成され、
前記ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除し、
前記ターゲット映像セット及び前記ターゲット画像セットを併合して前記ナレーションに対応する候補素材リソースセットを得るように構成される、
請求項１５に記載の装置。
【請求項１８】
前記候補素材リソースセット決定ユニットはさらに、
前記ターゲット映像セットにおいて、対応するビビット映像検出結果が非ビビット映像を示すターゲット映像を削除した後、
前記ターゲット映像セットにおいて、映像の再生持続時間が予め設定された最短候補映像持続時間よりも短い映像を削除するように構成される、
請求項１７に記載の装置。
【請求項１９】
前記マッチング度確定ユニットは、
前記ナレーションにおける各段落に対して、該段落に対応する意味ベクトルを決定するように構成される段落意味ベクトル決定モジュールと、
前記候補素材リソースセットにおける各候補素材リソースに対して、該候補素材リソースに対応する意味ベクトルを決定するように構成される候補素材リソース意味ベクトル決定モジュールと、
前記ナレーションにおける各段落に対応する意味ベクトルと、前記候補素材リソースセットにおける各候補素材リソースに対応する意味ベクトルとの類似度を、対応する段落と対応する候補素材リソースとのマッチング度として確定するように構成されるマッチング度確定モジュールとを含む、
請求項１５に記載の装置。
【請求項２０】
前記候補素材リソース意味ベクトル決定モジュールはさらに、
該候補素材リソースが画像であると判定されたことに応答して、該画像候補素材リソースを意味的に分割して、該画像候補素材リソースに対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルによって該候補素材リソースに対応する意味ベクトルを決定し、
該候補素材リソースが映像であると判定されたことに応答して、該映像候補素材リソースをダウンサンプリングして、少なくとも１つのサンプル画像を得、
前記少なくとも１つのサンプル画像のそれぞれに対して、該サンプル画像を意味的に分割して、該サンプル画像に対応する少なくとも１つの意味注釈結果を得、得られた少なくとも１つの意味注釈結果のそれぞれに対応する意味ベクトルに応じて該サンプル画像に対応する意味ベクトルを決定し、
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定するように構成される、
請求項１９に記載の装置。
【請求項２１】
各前記サンプル画像に対応する意味ベクトルに応じて、該候補素材リソースに対応する意味ベクトルを決定することは、
各前記サンプル画像に対応する意味ベクトルの平均値ベクトルを、該候補素材リソースに対応する意味ベクトルとして決定することを含む、
請求項２０に記載の装置。
【請求項２２】
各前記サンプル画像に対応する意味ベクトルによって、該候補素材リソースに対応する意味ベクトルを決定することは、
各前記サンプル画像に対応する意味ベクトルの各次元の取り得る値の中央値に対応するベクトルを、該候補素材リソースに対応する意味ベクトルとして決定するステップを含む、
請求項２１に記載の装置。
【請求項２３】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムが格納されている記憶装置とを備え、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサが請求項１〜１１のいずれか１項に記載の方法を実現するようにするサーバー。
【請求項２４】
コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、
前記コンピュータプログラムが１つまたは複数のプロセッサにより実行されるとき、請求項１〜１１のいずれか１項に記載の方法を実現するコンピュータ可読記憶媒体。
【請求項２５】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜１１のいずれか１項に記載の方法を実現する、コンピュータプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本願の実施形態はコンピュータ技術分野に関し、詳しくは、情報を生成するための、装置、サーバー、コンピュータ可読記憶媒体およびコンピュータプログラムに関する。
【外国語明細書】
2020174338.tif 000017
2020174338.tif 000018
2020174338.tif 000019
2020174338.tif 000020
2020174338.tif 000021
2020174338.tif 000022
2020174338.tif 000023
2020174338.tif 000024
2020174338.tif 000025
2020174338.tif 000026
2020174338.tif 000027
2020174338.tif 000028
2020174338.tif 000029
2020174338.tif 000030
2020174338.tif 000031
2020174338.tif 000032
2020174338.tif 000033
2020174338.tif 000034
2020174338.tif 000035
2020174338.tif 000036
2020174338.tif 000037
2020174338.tif 000038
2020174338.tif 000039
2020174338.tif 000040
2020174338.tif 000041
2020174338.tif 000042
2020174338.tif 000043
2020174338.tif 000044
2020174338.tif 000045
2020174338.tif 000046
2020174338.tif 000047
2020174338.tif 000048
2020174338.tif 000049
2020174338.tif 000050
2020174338.tif 000051
2020174338.tif 000052
2020174338.tif 000053
2020174338.tif 000054
2020174338.tif 000055
2020174338.tif 000056
2020174338.tif 000057
2020174338.tif 000058
2020174338.tif 000059
2020174338.tif 000060
2020174338.tif 000061
2020174338.tif 000062
2020174338.tif 000063
2020174338.tif 000064
2020174338.tif 000065
2020174338.tif 000066
2020174338.tif 000067
2020174338.tif 000068
2020174338.tif 000069
2020174338.tif 000070
2020174338.tif 000071
2020174338.tif 000072