(57)【要約】      （修正有）【課題】スクリプトに従ってビデオ番組を自動的に生成するＡＩ支援型又は自動ビデオ制作のための方法、装置及びシステムを提供する。【解決手段】様々なメディアアセットが、各メディアアセットに関連するメタデータと共にコンテンツデータベースに記録および／または格納される。各メディアアセットは、メタデータをメディアアセットと関連付けるユニークなコンテンツＩＤでタグ付けされる。その後、メディアアセットが索引付けされる。次に、スクリプトからテキストが、自然言語処理を使用して解析され、1つ以上の関連する索引付きメディアアセットが見つけられる。見つけられた１つ又は複数のメディアアセットは、スクリプトに従ってビデオ番組に組み立てられる。【選択図】図１
2019195156.tif 000002
【特許請求の範囲】
【請求項１】
スクリプトに従ってビデオプログラムを自動的に生成するための方法であって、
様々なメディアアセットを、各メディアアセットに関連するメタデータと共にコンテンツデータベースに記録すること及び格納することのうちの少なくとも１つと、
前記メディアアセットのそれぞれを、メタデータを前記メディアアセットと関連付けるユニークなコンテンツＩＤでタグ付けすること、
前記メディアアセットの索引付けを行うことと、
１つ又は複数の関連する索引付きメディアアセットを見つけるために、自然言語処理を使用してスクリプトからテキストを解析することと、
前記スクリプトに従って、前記見つけられた１つ又は複数のメディアアセットをビデオプログラムに組み立てることと、
を含む方法。
【請求項２】
さらに、
メディアアセットの各フレームにタイムコードを割り当てることと、
前記タイムコードを対応するメディアアセットの前記メタデータに関連付けことと、
を含む請求項１に記載の方法
【請求項３】
前記タイムコードが、タイムスタンプ又はシーケンス番号のうちの１つを含む、請求項２に記載の方法。
【請求項４】
前記索引付けを行うことが、
前記メディアアセットからの画像を解析して、アイテム、アクション、及び人々のうちの少なくとも１つを含む特徴を認識することと、
前記特徴の少なくともいくつかと関連するキーワードを決定することと、
前記メディアアセットからのスピーチをテキストに変換することと、
前記特徴、キーワード、及びテキストを、前記メディアアセットの前記コンテンツＩＤと、前記メディアアセット内の機能、キーワード、及びテキストの位置を識別するタイムコードとともに、関連付けることと、
前記特徴、キーワード、及びテキストを、関連付けられたコンテンツID及びタイムコードとともに前記コンテンツデータベースに格納することと、を含む、請求項２に記載の方法。
【請求項５】
前記１つ以上の関連メディアアセットを見つけるためにスクリプトからテキストを解析することが、
前記スクリプトのテキストをスクリプトキーワードに解析することと、
前記自然言語処理を使用して、前記コンテンツデータベースを検索して、格納されているメタデータ、特徴、キーワード、又はスクリプトキーワードに関連するテキストを見つけることと、
対応するメタデータ、特徴、キーワード、又はテキストのコンテンツＩＤ及びタイムコードに基づいて、前記見つけられたメタデータ、特徴、キーワード、又はテキストに対応する１つ又は複数のメディアアセットを取得することと、
を含む請求項４に記載の方法。
【請求項６】
前記メディアアセットからの特徴、キーワード、及びテキストを決定する際に人間の入力を利用することをさらに含む、請求項４に記載の方法。
【請求項７】
前記メディアアセットが、ビデオ、ビデオの一部、ビデオの単一のフレーム、ビデオの複数のフレーム、及び静止画像のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項８】
前記ビデオプログラムが、ニュースプログラム、スポーツプログラム、天気プログラム、ライブプログラム、ライブイベント、又はエンターテイメントプログラムのうちの１つを含む、請求項１に記載の方法。
【請求項９】
前記メディアアセットが、ユーザの記録デバイス、生のビデオ映像の記録、テレビジョン制作ビデオコンテンツ、第三者のコンテンツプロバイダ、ユーザコンピュータ上のローカルストレージ、及びクラウドストレージから取得される、請求項１に記載の方法。
【請求項１０】
前記メタデータが、対応するメディアアセット記録の日時情報、及び記録中の記録装置の記録位置を示す地理的位置情報のうちの少なくとも一方を含む、請求項１に記載の方法。
【請求項１１】
前記メタデータがさらに、記録デバイスの位置、ビデオの長さ、ビデオ及びオーディオフォーマット、タイムコード、ビデオファイルのサイズ、記録デバイス識別情報、所有権及び著作権情報、並びにユーザにより事前定義又は動的に記録された追加のメタデータ情報の少なくとも１つを含む、請求項１０に記載の方法。
【請求項１２】
前記追加のメタデータ情報が、割り当て名、地理的位置、ユーザ名、ストーリーのタイトル、主題参照、プログラム名、ソース情報、記録装置のタイプ、及びユーザのコメントのうちの少なくとも１つを含み、
前記追加のメタデータがテキスト又は音声で入力され、メディアアセットに関連付けられる、請求項１１に記載の方法。
【請求項１３】
前記各メディアアセットをコンテンツＩＤでタグ付けすることが、前記コンテンツＩＤを定期的に前記メディアアセットのビデオストリームに挿入することを含む、請求項１に記載の方法。
【請求項１４】
前記各メディアアセットをコンテンツＩＤでタグ付けすることが、
前記メディアアセットの圧縮ビデオストリームにコンテンツIDを埋め込むことと、
前記メディアアセットの圧縮オーディオストリームにコンテンツIDを埋め込むことと、
前記メディアアセットの非圧縮ビデオストリームに透かしとしてコンテンツＩＤを埋め込むことと、
前記メディアアセットの非圧縮オーディオストリームに透かしとしてコンテンツIDを埋め込むことと、
前記メディアアセットのファイル名としてコンテンツIDを埋め込むことと、
前記メディアアセットに対するシリアルデジタルインターフェイス（SDI）信号にコンテンツIDを埋め込むことと、
のうちの一つを含む、請求項１に記載の方法。
【請求項１５】
前記メディアアセットの少なくとも特定のものが、特殊効果グラフィック及びビデオクリップを含み、
前記スクリプト内の特殊効果キーワードに応答して、前記ビデオプログラム内の特殊効果を含む、請求項１に記載の方法。
【請求項１６】
さらに、ターゲットプロファイルに従って、前記ビデオプログラムを、対象となる個人又は対象となるグループのうちの１つに合わせることをさらに含む、請求項１に記載の方法。
【請求項１７】
スクリプトに従ってビデオプログラムを自動的に制作するためのシステムであって、
様々なメディアアセットを、各メディアアセットに関連するメタデータと共に格納するためのコンテンツデータベースと、
前記メタデータを前記メディアアセットと関連付けるユニークなコンテンツＩＤで、各メディアアセットをタグ付けし、
前記メディアアセットを索引付けし、
自然言語処理を使用してスクリプトからテキストを解析して、１つ又は複数の関連する索引付きメディアアセットを見つけ、
前記スクリプトに従って、前記見つけられた１つ又は複数のメディアアセットをビデオプログラムに組み立てるための、
プロセッサ及び1つ又は複数の関連ソフトウェアプラットフォームと、
を含むシステム。
【請求項１８】
タイムコードがメディアアセットの各フレームに割り当てられ、
前記タイムコードは、対応するメディアアセットのメタデータに関連付けられる、請求項１７に記載のシステム。
【請求項１９】
前記タイムコードが、タイムスタンプ又はシーケンス番号のうちの１つを含む、請求項１８に記載のシステム。
【請求項２０】
前記索引付けが、
前記メディアアセットからの画像を解析して、アイテム、アクション、及び人々のうちの少なくとも１つを含む特徴を認識し、
前記特徴の少なくともいくつかと関連するキーワードを決定し、
前記メディアアセットからの音声をテキストに変換し、
前記特徴、キーワード、及びテキストを、前記メディアアセット内の特徴、キーワード、及びテキストの位置を識別するタイムコードとともに、前記メディアアセットの前記コンテンツＩＤと関連付け、
前記特徴、キーワード、及びテキストを、関連付けられているコンテンツID及び前記コンテンツデータベースのタイムコードとともに格納する、
ことを含む、請求項１８に記載のシステム。
【請求項２１】
前記１つ又は複数の関連メディアアセットを見つけるためにスクリプトからテキストを解析することが、
前記スクリプトのテキストをスクリプトのキーワードに解析し、
自然言語処理を使用して、前記コンテンツデータベースを検索して、格納されているメタデータ、特徴、キーワード、又はスクリプトキーワードに関連するテキストを見つけ、
前記見つけられたメタデータ、機能、キーワード、又はテキストに対応する１つ又は複数のメディアアセットを、前記対応するメタデータ、特徴、キーワード、又はテキストのコンテンツＩＤ及びタイムコードに基づいて、取得する、
ことを含む、請求項２０に記載のシステム。
【請求項２２】
さらに、前記メディアアセットから特徴、キーワード、及びテキストを決定する際に人間の入力を利用することをさらに含む、請求項２０に記載のシステム。
【請求項２３】
前記メディアアセットが、ビデオ、ビデオの一部、ビデオの単一のフレーム、ビデオの複数のフレーム、及び静止画像のうちの少なくとも１つを含む、請求項１７に記載のシステム。
【請求項２４】
前記ビデオプログラムは、ニュースプログラム、スポーツプログラム、天気プログラム、ライブプログラム、ライブイベント、又はエンターテイメントプログラムのうちの１つを含む、請求項１７に記載のシステム。
【請求項２５】
前記メディアアセットが、ユーザの記録デバイス、生のビデオ映像の記録、テレビジョン制作ビデオコンテンツ、第三者のコンテンツプロバイダ、ユーザコンピュータ上のローカルストレージ、及びクラウドストレージから取得される、請求項１７に記載のシステム。
【請求項２６】
前記メタデータが、前記対応するメディアアセット記録の日時情報、及び記録中の記録装置の記録位置を示す地理的位置情報のうちの少なくとも一つを含む、請求項１７に記載のシステム。
【請求項２７】
前記メタデータがさらに、記録デバイスの位置、ビデオの長さ、ビデオ及びオーディオフォーマット、タイムコード、ビデオファイルのサイズ、記録装置識別情報、所有権及び著作権情報、並びにユーザによって事前定義または動的に記録される追加のメタデータ情報の少なくとも１つを含む、請求項２６に記載のシステム。
【請求項２８】
前記追加のメタデータ情報が、割り当て名、地理的位置、ユーザ名、ストーリーのタイトル、主題参照、プログラム名、ソース情報、記録デバイスのタイプ、及びユーザのコメントのうちの少なくとも１つを含み、
前記追加のメタデータが、テキストまたは音声で入力され、前記メディアアセットに関連付けられる、請求項２７に記載のシステム。
【請求項２９】
前記各メディアアセットをコンテンツＩＤでタグ付けすることが、前記コンテンツＩＤを定期的に前記メディアアセットのビデオストリームに挿入することを含む、請求項１７に記載のシステム。
【請求項３０】
前記各メディアアセットをコンテンツＩＤでタグ付けすることが、
前記メディアアセットの圧縮ビデオストリームにコンテンツIDを埋め込むこと、
前記メディアアセットの圧縮オーディオストリームにコンテンツIDを埋め込むこと、
前記メディアアセットの非圧縮ビデオストリームに透かしとしてコンテンツＩＤを埋め込むこと、
前記メディアアセットの非圧縮オーディオストリームに透かしとしてコンテンツIDを埋め込むこと、
前記メディアアセットのファイル名としてコンテンツIDを埋め込むこと、 及び
前記メディアアセットのシリアルデジタルインターフェイス（SDI）信号にコンテンツIDを埋め込こと、
のうちの１つを含む、請求項１７に記載のシステム。
【請求項３１】
前記メディアアセットの少なくとも特定のものが、特殊効果グラフィック及びビデオクリップを含み、
前記スクリプト内の特殊効果キーワードに応答して、前記ビデオプログラム内の特殊効果を含む、
請求項１７に記載のシステム。
【請求項３２】
前記ビデオプログラムが、ターゲットプロファイルに従って、対象となる個人又は対象となるグループのうちの１つに合わせられる、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１８年４月５日に出願された米国特許仮出願第６２ ／ ６５３，０６６号（付録を含む）に基づくものである（これは全ての目的のために参照により本明細書に組み込まれる）。
【０００２】
本発明はビデオ制作の分野に関する。 より具体的には、本発明は、自動制作プロセスを作成するために様々な機能モジュールを使用してメディアコンテンツがタグ付けされ、索引付けされ、組み合わされる方法を含む、ビデオコンテンツの自動制作に関する。本発明は、書かれたスクリプトに従ってビデオプログラムを自動的に作成するための方法、システム、および装置を提供する。
【背景技術】
【０００３】
ビデオ制作プロセスは非常に人間主導のプロセスである。生のビデオ素材が、ビデオ制作プロセスにおける受動的な要素と見なされる。最終的なビデオプログラムを制作するには、現在、制作プロセスのすべてのステップに人間が参加する必要がある。制作者がスクリプトから作業していて、意図した観客についてすべてを知っていても、制作費は非常に高い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
制作コストを削減し、ビデオ制作プロセスのいくつか又はすべてを自動化し、少なくとも人間の関与の一部を排除することは有利となる。
【０００５】
本発明の方法、装置、及びシステムは、上記および他の利点を提供する。
【課題を解決するための手段】
【０００６】
本発明は、書かれたスクリプトに従ってビデオプログラムを自動的に作成するための方法、システム、及び装置に関する。
【０００７】
スクリプトに従ってビデオプログラムを自動的に生成する方法の例示的実施形態によれば、様々なメディアアセットが、各メディアアセットに関連するメタデータと共にコンテンツデータベースに記録及び／又は格納される。各メディアアセットは、メタデータをメディアアセットと関連付けるユニークなコンテンツIDでタグ付けされる。その後、メディアアセットが索引付けされる。次に、スクリプトからのテキストが、自然言語処理を使用して解析され、１つ又は複数の関連する索引付きメディアアセットが見つけられる。見つけられた１つ又は複数のメディアアセットは、スクリプトに従ってビデオプログラムに組み立てられる。
【０００８】
本方法はさらに、メディアアセットの各フレームにタイムコードを割り当てることと、タイムコードを、対応するメディアアセットのメタデータと関連付けることとを含んでよい。タイムコードは、タイムスタンプ又はシーケンス番号のうちの１つを含んでよい。
【０００９】
索引付けは、アイテム、アクション、及び人々のうちの少なくとも１つを含む特徴を認識するためにメディアアセットからの画像を解析することを含んでよい。少なくともいくつかの特徴に関連するキーワードを決定することができる。メディアアセットからのスピーチはテキストに変換することができる。特徴、キーワード、及びテキストは、メディアアセット内の特徴、キーワード、およびテキストの位置を識別するタイムコードとともに、メディアアセットのコンテンツＩＤと関連付けることができる。特徴、キーワード、及びテキストは、関連付けられているコンテンツID及びタイムコードとともにコンテンツデータベースに格納することができる。
【００１０】
１つ又は複数の関連メディアアセットを見つけるためのスクリプトからテキストを解析することは、スクリプトからテキストをスクリプトキーワードに構文解析することを含み得る。次いで、コンテンツデータベースを検索して、自然言語処理を使用して、スクリプトキーワードに関連する格納されたメタデータ、機能、キーワード、またはテキストを見つけることができる。見つけられたメタデータ、特徴、キーワード、又はテキストに対応する１つ又は複数のメディアアセットが、対応するメタデータ、特徴、キーワード、又はテキストのコンテンツＩＤ及びタイムコードに基づいて、取得され得る。
【００１１】
本方法は、メディアアセットから特徴、キーワード、及びテキストを決定する際に人間の入力を利用することをさらに含み得る。
【００１２】
メディアアセットは、ビデオ、ビデオの一部、ビデオの単一のフレーム、ビデオの複数のフレーム、及び静止画像のうちの少なくとも１つを含み得る。
【００１３】
ビデオプログラムは、ニュースプログラム、スポーツプログラム、天気プログラム、ライブプログラム、ライブイベント、エンターテイメントプログラムなどのうちの１つを含み得る。
【００１４】
メディアアセットは、ユーザの記録デバイス、生のビデオ映像の記録、テレビジョン制作ビデオコンテンツ、第三者コンテンツプロバイダ、ユーザコンピュータ上のローカルストレージ、クラウドストレージなどから取得される。
【００１５】
メタデータは、対応するメディアアセット記録の日時情報、及び記録中の記録装置の記録位置を示す地理的位置情報のうちの少なくとも一方を含み得る。メタデータは、記録デバイスの位置、ビデオの長さ、ビデオ及びオーディオフォーマット、タイムコード、ビデオファイルのサイズ、記録装置識別情報、所有権及び著作権情報、ユーザによって事前定義又は動的に記録された追加のメタデータ情報の少なくとも１つをさらに含み得る。
【００１６】
追加のメタデータ情報は、割り当て名、地理的位置、ユーザ名、ストーリータイトル、主題参照、プログラム名、ソース情報、記録デバイスのタイプ、及びユーザコメントのうちの少なくとも１つを含んでよい。この追加のメタデータは、テキスト又は音声によって入力され、そしてメディアアセットに関連付けられてよい。
【００１７】
各メディアアセットをコンテンツＩＤでタグ付けすることは、コンテンツＩＤをメディアアセットのビデオストリームに規則的な間隔で挿入することを含み得る。各メディアアセットをコンテンツＩＤでタグ付けすることは、次のうちの１つを含むことができる。メディアアセットの圧縮ビデオストリームにコンテンツＩＤを埋め込むこと。メディアアセットの圧縮オーディオストリームにコンテンツIDを埋め込む。メディアアセットの非圧縮ビデオストリームに透かしとしてコンテンツＩＤを埋め込む。メディアアセットの非圧縮オーディオストリームに透かしとしてコンテンツIDを埋め込む。メディアアセットのファイル名としてコンテンツIDを埋め込む。メディアアセットのシリアルデジタルインターフェース（ＳＤＩ）信号にコンテンツＩＤを埋め込む。
【００１８】
メディアアセットの少なくとも特定のものは、特殊効果グラフィックおよびビデオクリップを含み得る。そのような特殊効果は、スクリプト内の特殊効果キーワードに応じてビデオプログラムに含め得る。
【００１９】
本方法はさらに、ターゲットプロファイルに従ってビデオプログラムを、対象となる個人又は対象となるグループのうちの１つに合わせることを含み得る。
【００２０】
本発明はまた、その方法を実行するための装置及びシステムを含む。 スクリプトに従ってビデオプログラムを自動的に生成するためのシステムの例示的な実施形態は、各メディアアセットに関するメタデータとともに、様々なメディアアセットを格納するためのコンテンツデータベース、並びに各メディアアセットを、メタデータをメディアアセットと関連付けるユニークなコンテンツＩＤでタグ付けし、メディアアセットを索引付けし、自然言語処理を使用してスクリプトからテキストを解析して、１つ又は複数の関連する索引付きメディアアセットを見つけ、スクリプトに従って、見つけられた１つ又は複数のメディアアセットをビデオ番組に組み立てるためのプロセッサ及び１つまたは複数の関連ソフトウェアプラットフォームを含み得る。
【００２１】
本発明のシステム及び装置はまた、上述した方法の実施形態の様々な特徴を含み得る。
本発明は以下で、参照符号が付された添付図面を参照して説明される。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明に従ってビデオプログラムを自動的に生成するためのシステムのブロック図を示す。
【発明を実施するための形態】
【００２３】
以下の詳細な説明は例示的な実施形態のみを提供し、そして本発明の範囲、適用性、又は構成を限定することを意図しない。むしろ、例示的な実施形態の以下の詳細な説明は、本発明の実施形態を実施するための実施可能な説明を当業者に提供するであろう。添付の特許請求の範囲に記載の本発明の思想及び範囲から逸脱することなく、要素の機能及び配置に様々な変更を加えることができることを理解されたい。
【００２４】
本発明は、特定の視聴者に合わせて調整することができるスクリプト用のビデオプログラムを自動的に作成するための方法、システム、及び装置に関する。
【００２５】
テレビ局は、ビデオプログラムの制作業者と考えることができる。ビデオプログラムを制作するプロセスは、ビデオプログラムを作成するために、素材の取得（素材を取得するためのビデオ素材の撮影）、制作施設へのビデオ素材の送信、及び制作（生放送又は非ライブのいずれかのための素材の組み立て）からなる。次に、ビデオプログラムを視聴者に（無線放送、オンデマンド、ストリーミングなどで）配信することができる。本発明は、このビデオ制作プロセスの全部ではないにしても大部分を自動化するためのコンピュータ化された方法、装置、及びシステムを提供する。
【００２６】
現在のビデオ制作プロセスでは、生のビデオ映像が特定のスクリプトのために特に撮影されてよい。ほとんどの場合、生のビデオ映像の95％は使用されていないか、又は破棄される。生のビデオ映像の残りの部分は、その特定のプログラムにのみ使用される。本発明では、生のビデオコンテンツについて、それが容易に検索可能となるように索引付けすることができ、ビデオコンテンツを、それが関連し得る他の任意のビデオプログラムに使用することを可能にする。さらに、ビデオコンテンツは、それを再利用することが可能な任意のプログラムに対して積極的にプッシュされるか、そうでなければ利用可能にされ得る。このプロセスは、録画コンテンツ又はライブコンテンツに適用することができる。
【００２７】
さらに、メディア会社（例えば、テレビ局、ニュースアウトレットなど）は、放送、１つ又は複数のソーシャルメディアアウトレット、デジタルメディア配信プラットフォームなど、複数の異なるプラットフォームからなることが非常に多い。したがって、特定のプラットフォームや視聴者を対象とした異なるスクリプトを使用して、同じストーリーを作成する必要があることがよくある。本発明は、異なるプラットフォーム及び視聴者のためのスクリプトに対する修正に従ってビデオ映像を自動的に修正することを可能にする。
【００２８】
特に、本発明は、対象となる個人（又はグループ）のプロファイルに、ストーリー又はスクリプトに従って、対象となる個人（又はグループ）に合わせて特別に調整されたビデオプログラムの自動作成を可能にする。システムは、書かれたストーリーやスクリプトを特定の視聴者に合わせたビデオ番組に自動的に変換する。例えば、デトロイト自動車ショーについてのストーリーを作成する際に、スクリプトは概観（新しい車種を示している）であるかもしれない。ビデオプログラムが家族の車に興味がある誰かに合わせられるならば、ビデオプログラムは家族の車を示すために修正されるであろう。同様に、同じビデオプログラムは、そのスポーツプログラム（番組）に興味がある人のために、そのビデオプログラム中にスポーツカーを見せることによって自動的に修正されてよい。最終的なビデオコンテンツは、スクリプト及び顧客（またはグループ）のプロファイルに従って、コンテンツが顧客に提供されるときに自動的に作成されてよい。
【００２９】
様々な顧客、視聴者、グループ、又は個人のプロファイルが、中央サーバの位置に、又はビデオ番組を録画又は作成するために使用されるユーザデバイスにローカルに格納されてよい。
【００３０】
本システムは、ニュースプログラム、スポーツプログラム、天気プログラムプログラム、ライブプログラム又はイベント、娯楽などを含む様々なタイプのビデオプログラムを作成するために使用されてよい。
【００３１】
本システムは完全に又は部分的に自動化されてよい。しかし、完全に自動化されていなくても、本発明は依然としてビデオ制作プロセスにおいて著しい改善および利点を提供するだろう。一例として、本発明では、関連する生ビデオクリップは、彼／彼女のストーリー及びスクリプトに従ってプロデューサに自動的に配信されてよい。 次いで、制作者は、どのビデオコンテンツを使用するか、さらに自分のビデオプログラムを構築する際にこのビデオコンテンツをどのように使用するかに関して最終的な決定を下すことができる。
【００３２】
図１は、本発明による自動ビデオ制作のためのシステムの例示的実施形態を示す。本システムは、限定的ではないが、コントリビューションオートメーション１２、ＡＩサービス１４（転記者サービス１６及びオブジェクト認識サービス１８を含む）、メタデータサービス２０、メディア検索エンジン２２、ワークフローエンジン２４、オープンＡＰＩ２６、プロデューサ２８、及びアラートサービス３０を含むいくつかの機能モジュールからなるハードウェア／ソフトウェアプラットフォーム１０を含む。システムはまた、ネットワーク４０を介してハードウェア／ソフトウェアプラットフォーム１０と通信する１つ又は複数のコンテンツデータベース３２、ニュースシステム３４、及びスケジューリングシステム３６を含む。さらに、１つ又は複数のビデオレコーダ３８は、メディアアセット（例えば生のビデオコンテンツ又はビデオコンテンツの一部）を、ネットワーク４０を介して、コンテンツデータベース３２（本明細書では「メディアストレージ」という）及びハードウェア／ソフトウェアプラットフォーム１０へ提供してよい。メディアアセットは、以下で詳細に説明されるように、プラットフォーム１０の機能モジュールによって使用されてよい。
【００３３】
ユーザインターフェースを有するユーザデバイス４４は、ハードウェア／ソフトウェアプラットフォーム１０とのユーザ対話を可能にする。ユーザインターフェースは、インターネット対応のユーザデバイス上で動作するアプリケーション又はウェブブラウザのうちの１つを含み得る。ユーザデバイス４４は、コンピュータ、ラップトップコンピュータ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、パーソナルコンピューティングデバイス、インターネット対応デバイスなどのうちの１つを含んでよい。
【００３４】
ビデオレコーダ３８は、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、ＩＰ又はウェブカメラなどのうちの１つまたは複数を備えてよい。
【００３５】
ネットワーク４０は、有線又は無線ネットワークを含んでよい。さらに、プラットフォーム１０の様々な機能モジュールは、ソフトウェア、ハードウェア、又はハードウェアとソフトウェアとの組み合わせで実装されてもよく、単一のデバイスに組み合わされてもよく、別々のデバイス、又は1つ又は複数のコンピュータプロセッサを使用するコンピュータプラットフォームに実装されてもよいことは当業者であれば認識するであろう。
【００３６】
メディアアセットは、１つ又は複数のビデオレコーダ３８によって記録され、自動的にコンテンツデータベース３２に格納されてもよい。メディアアセットが、１つ又は複数のデータベース３２に格納され、又は他のソース（例えば、ユーザの記録装置、生のビデオ映像の記録、テレビジョン制作ビデオコンテンツ（例えば、 ニュースシステム３４）、第三者のコンテンツプロバイダ、ユーザのコンピュータ上のローカルストレージ、クラウドストレージ又は他のストレージデバイスなど）からえられ得ることは当業者であれば分かるであろう。メディアアセットは、ビデオコンテンツだけでなくオーディオコンテンツも含み得る。メディアアセットの自動取得は、コントリビューションオートメーションモジュール１２によって管理されてもよく、それはまた、コンテンツがすべての接続されたデバイスにプッシュされることを可能にする。
【００３７】
メディアアセットのそれぞれに関するメタデータも、データベースに記録及び格納することができる。当業者であれば、メタデータをメディアアセットと共にコンテンツデータベース３２に格納することができ、又は別個のメタデータデータベースに格納することができることは理解できるであろう。例えば、メタデータサービスモジュール２０の一部として別個のメタデータデータベースを提供することができる。
【００３８】
メタデータは、記録の日時情報及び記録中の記録デバイス３８の記録位置を示す地理的位置情報（例えば、ＧＰＳデータ）を含んでよい。メタデータ情報はさらに、記録デバイスの位置、ビデオの長さ、ビデオ及びオーディオフォーマット、タイムコード、ビデオファイルのサイズ、記録デバイス識別情報、所有権及び著作権情報、並びにユーザによって事前定義又は動的に記録される追加のメタデータ情報の少なくとも１つを含んでよい。追加のメタデータ情報（ユーザによって事前定義または記録されたメタデータ情報）は、割り当て名、地理的位置、ユーザ名、ストーリーのタイトル、主題参照、プログラム名、ソース情報、記録デバイスのタイプ、ユーザコメントなどを含んでよい。追加のメタデータは、テキスト又は音声によって入力され、コントリビューションオートメーションモジュール１２を介してメディアアセットに関連付けられてよい。また、メタデータは、メディアアセット内のスピーチおよびオブジェクトの認識に使用するためにＡＩサービス１４によって作成されてよい。これらのコンテンツ固有のメタデータは、メディアアセット内の音声及びオブジェクトの位置を示すユニークなコンテンツID及びタイムコードによってメディアアセットに関連付けられる。メディアアセットは、任意のメタデータ情報又は任意のメタデータ情報の組み合わせによって検索可能である。
【００３９】
ＡＩサービス１４は、スピーチからテキストへの認識を可能にし、その結果、メディアアセット内のいかなるスピーチもテキストに変換することができる。テキストをコンテンツデータベース３２に格納し、コンテンツＩＤ及びタイムコードを使用してメディアアセットに関連付けることができる。ＡＩサービス１４はまた、オブジェクト、人物、行動、又はメディアアセット内の特定の個人さえも識別されるように、オブジェクト認識能力を提供する。キーワード（例えば、オブジェクト、アクション、人々または個人に関連するオブジェクト名、人々の名前、対応する記述子など）を決定し、コンテンツデータベース３２に格納し、ユニークなコンテンツＩＤ及びタイムコードによってメディアアセットに関連付けることができる。
【００４０】
本明細書で使用されるメディアアセットという用語は、オーディオの有無にかかわらず、あらゆるタイプの記録されたメディア又はビデオコンテンツ、並びに（ビデオコンテンツの単一または複数のフレームを含む）記録されたビデオコンテンツの部分、及び静止画を含むことは、当業者には分かるであろう。
【００４１】
関連メタデータをメディアアセットとよりよく関連付けるために、各メディアアセットは、ビデオレコーダ３８によって、又はユニークなコンテンツＩＤがまだビデオストリームに提示されていない場合に、中間処理装置（エンコーダまたは送信機など）によって、ユニークなコンテンツＩＤでタグ付けされる。コンテンツＩＤはメタデータをメディアアセットに関連付ける。コンテンツＩＤはビデオストリームに埋め込むことができる。コンテンツＩＤに加えて、各ビデオストリーム内の各フレームは、例えばユニークなタイムコード（例えば、タイムスタンプ又はシーケンス番号）を使用して索引付けされる。したがって、コンテンツIDとタイムコードを使用して、任意のフレームをユニークに識別できる。 メディアアセットを確実に識別できるように、ユニークなIDは、一定の間隔でビデオストリームに挿入される。ユニークなIDは、以下の1つ以上の方法で埋め込むことができる。
１．メディアアセットの圧縮ビデオストリームに埋め込まれ、
２．メディアアセットの圧縮オーディオストリームに埋め込まれ、
３．メディアアセットの非圧縮ビデオストリームに透かしとして埋め込まれ、
４．メディアアセットの非圧縮オーディオストリームに透かしとして埋め込まれ、
５．メディアアセットのファイル名として埋め込まれ、及び／又は
６．メディアアセットのシリアルデジタルインターフェイス（SDI）信号に埋め込まれる。
【００４２】
メディアアセットは、いったんユニークなIDが埋め込まれると、ソートされ、分類され、及び索引付けされ得る。システムは、コンテンツに関連するメタデータを解析し、またメディアアセット内のサウンド、スピーチ、画像、アイテム、オブジェクト、アクション、及び人々などのコンテンツの様々な特徴を認識するために、人間の入力、人工知能（ＡＩ）サービス１４、又は人間の入力とＡＩサービス１４の両方の組み合わせを利用する。これらの機能は、コンテンツのユニークなIDとユニークなタイムコードに関連付けられる。索引付けは、各メディアアセットに対して提供されてよい。メディアアセットが、ビデオコンテンツ全体、ビデオコンテンツの一部、ビデオコンテンツフレーム、又はいくつかのビデオコンテンツフレームから構成され得る。言い換えると、システムは、特定のサウンド、スピーチ、オブジェクト、アクション、人々などを有するビデオコンテンツを識別してよく、あるいはそのような特徴を有するメディアアセットの１つ又は複数のフレームを識別してもよい。 そのような特徴は、キーワード又は追加のメタデータとして格納されてよく、メディアアセット及び／又はメディアアセットのフレームに関連付けられてもよい。
【００４３】
メディアアセットに関連するすべての情報は、検索のためにリアルタイムで利用可能になる。検索エンジンモジュール２２は、単語、文章、段落、オブジェクト、行動、人々の存在、特定の人物、又はスクリプトからのテキストのセクションに関するビデオコンテンツからの正確なフレーム又はコレクションフレーム、又はビデオコンテンツをシステムが識別することを可能にする。例えば、スクリプト又はスクリプトの一部は（例えば、ユーザインターフェースを有するユーザデバイス４４を介して）サーチエンジン２２に入力されてよい。検索エンジン２２は、スクリプトをキーワード（本明細書では「スクリプトキーワード」という）に構文解析し、自然言語処理技術を使用してコンテンツデータベース３２内のメディアアセット及び関連する索引付き情報（メタデータ、キーワード、機能、テキスト（スピーチから変換）など）を検索し、スクリプト又はその一部に関連するビデオコンテンツ又はビデオコンテンツの１つ又は複数のフレームを見つける。
【００４４】
データベース及びプラットフォームの検索エンジン部分が、ソフトウェア及び／又はハードウェアにおいて、別々に又は単一のモジュールとして実装され得ることは、当業者であれば理解するであろう。
【００４５】
メディア検索エンジン２２によって見つけられた関連ビデオコンテンツはワークフローエンジン２４（それはシステムが様々な異なるワークフローに適応されることを可能にし、またワークフローが進化することを可能にする）に提供される。例えば、ワークフローエンジン２４は、スクリプトに従って、関連データベースをコンテンツデータベース３２からプロデューサモジュール２８に自動的にプッシュする。アラートサービス３０は、システムに提供された新しいストーリー又はコンテンツに関するアラートを提供する。オープンＡＰＩモジュール２６は、新しい取得ユニット（ビデオレコーダ３８）、ニュースシステム３４、受信機、ルータ、エンコーダなどの他の機能ユニットをプラットフォーム１０に統合すること及び／又はプラットフォーム１０に接続することを可能にする。
【００４６】
ニュースシステム３４は、プラットフォーム１０を使用してニュース番組を制作するため、又はニュースコンテンツをプラットフォーム１０に、又はコンテンツデータベース３２（ストーリー、スクリプト、及び生の材料などのニュースプログラムに関連するすべての関連資料を計画及び編成することを含む）に提供するためのニュース制作プラットフォームを含んでよい。スケジューリングシステム３６は、スケジュールに従って機器及びカメラオペレータを様々な場所に割り当てるなどのリソース管理を含む、プラットフォーム１０を使用して生成されたプログラム（番組）の制作、配信、又は放送をスケジューリングするための様々なテレビ又はメディア制作スケジューリングプラットフォームを含み得る。
【００４７】
制作者モジュール２８は、スクリプトに従って自動的にコンテンツを作成、又はユーザデバイス４４を介してユーザによる手動によるコンテンツを作成／編集することを可能にする。（システムによって自動的に又はユーザによって手動で）選択されると、ビデオコンテンツは、ビデオプログラムファイル又はライブビデオ出力を含み得るビデオプログラムに組み立てられる。
【００４８】
さらに、制作プロセスにおける特殊効果グラフィック又は特殊効果ビデオクリップの追加は、スクリプト内の特殊効果キーワードに応答してビデオプログラムに含めることができる。例えば、スポーツイベントのためのスクリプトに現れる「スコアを表示する」というテキストは、最終的なビデオプログラムのビデオコンテンツの上にスコアオーバーレイが表示されることになる。
【００４９】
サンプル作成
メディアアセットは、取得されると、ユニークなＩＤでタグ付けされ、コンテンツデータベース３２に格納される。システムは、すべてのコンテンツを認識し、それを索引付けし、その後、コンテンツは一緒に格納されてすべてのメタデータ及び識別情報がデータベース３２に格納される。ユーザがユーザデバイス４４にスクリプトを書くときに、ユーザは、システムを使用して、ビデオコンテンツを作成することができる。スクリプトは、検索エンジン２２によってスクリプトキーワードに解析される。検索エンジン２２は、自動的に、スクリプトのキーワードに従ってコンテンツデータベース３２から関連コンテンツを識別し、1つ又は複数のメディアアセットから適切なコンテンツや効果を選択する。関連するビデオコンテンツは、スクリプトに従ってビデオプログラムを編集するために順番に組み立てられる。ユーザがスクリプトを完成させると、システムは完全なビデオプログラムを（ファイルに又はライブビデオストリームとして）出力する。
【００５０】
本発明では、スクリプトはコンピュータプログラムが使用される方法と同様にシステムによって使用される（システムはスクリプトを使用して出力（この場合はビデオプログラム（番組））を生成する）。コンピュータプログラミング言語を使用する代わりに、本発明は、自然言語処理を使用して、スクリプト（スクリプトキーワード）からのテキストを格納されたメディアアセットに関連する情報（メタデータ、機能、及び／又はキーワード）に関連付け、対応するビデオコンテンツをスクリプトに従ってビデオプログラムにする。
【００５１】
例えば、ニュース記事のスクリプトには、「大統領はホワイトハウスから、米国には北朝鮮との取引に選択肢があると述べた」と書かれている。朝鮮民主主義人民共和国は、中国からの支援を受けており、金大統領は中国のXi（習）と直接会談したばかりだった。本発明では、このスクリプトをシステムに入力することができ、システムは自然言語処理を使用してテキストを解析し、テキストに関連するビデオコンテンツを見つける。そして、システムはスクリプトに従ってビデオを組み立てることができる。この例では、システムはホワイトハウスでの大統領を示すビデオコンテンツと、中国でのキム（金）とXi（習）の会議を示すビデオコンテンツを別々に見つけることができる。システムは、ホワイトハウスでの大統領のビデオ（「大統領はホワイトハウスから北朝鮮に対処するための選択肢が開いていると言った」との声明を読みあげる間に示されている）で開始し、「北朝鮮は中国からの支持を得ているが、キム（金）大統領は中国のXi（習）と直接対面した」との声明中に、キム（金）とXi（習）の会議が中国で行われたことを示すビデオに移行する。
【００５２】
本プラットフォームが、自動ビデオ制作に使用できるだけでなく、人々がコンテンツを検索して発見するのに役立つことが分かるであろう。タイムコードベースのメタデータを使用すると、ユーザは検索から関心のあるビデオアセット内の場所に直接移動できる。これは他のメディアアセット管理ソフトウェア（そこでは物理的に現在のユーザは彼らが興味あるものを見つけるために材料を視覚的にスキャンしなければならない）に勝る利点を提供する。また、本発明で提供されるクラウドベースの検索エンジン及びグローバルメタデータデータベースを用いて、ユーザは彼ら自身の組織の外部にあるコンテンツ（例えば、第三者のコンテンツ又は他のソースからのコンテンツ）を発見することができる。本発明は、ビデオコンテンツの購入、販売、及び配信を可能にするビデオ市場及び／又はビデオ配信システムに統合することができる。
【００５３】
本発明が、スクリプトに従ってビデオプログラム（番組）を自動的に生成するための有利な方法および装置を提供することを理解されたい。
【００５４】
本発明が様々な例示の実施形態に関連して説明されてきたが、特許請求の範囲に記載されている本発明の思想及び範囲から逸脱することなく、数多くの修正及び適応が可能である。
【図１】
2019195156.tif 000003
【外国語明細書】
2019195156000001.pdf