(57)【要約】      （修正有）【課題】オーディオ・ビデオデータからテキスト情報を抽出するオーディオ・ビデオデータ処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。【解決手段】オーディオ・ビデオデータ処理方法は、オーディオ・ビデオデータからテキスト情報を抽出することと、テキスト情報に応じて、複数階層のアウトラインアイテムを含むテキストアウトライン及び複数階層のアウトラインアイテムと関連する複数の時間区間を生成することと、テキストアウトライン及び複数の時間区間に応じて、オーディオ・ビデオデータに対する掲示フィールドを生成することと、掲示フィールドをオーディオ・ビデオデータへ追加して、更新されたオーディオ・ビデオデータが得られることと、を含む。【選択図】図２
2022000972.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ・ビデオデータからテキスト情報を抽出することと、
前記テキスト情報に応じて、複数階層のアウトラインアイテムを含むテキストアウトライン及び前記複数階層のアウトラインアイテムと関連する複数の時間区間を生成することと、
前記テキストアウトライン及び前記複数の時間区間に応じて、前記オーディオ・ビデオデータに対する掲示フィールドを生成することと、
前記掲示フィールドを前記オーディオ・ビデオデータへ追加して、更新されたオーディオ・ビデオデータが得られることと、を含む、
ことを特徴とするオーディオ・ビデオデータ処理方法。
【請求項２】
前記テキスト情報に応じてテキストアウトライン及び複数の時間区間を生成することは、
前記テキスト情報を複数の第１のテキスト段落に区画することと、
前記複数の第１のテキスト段落のうち、それぞれの第１のテキスト段落に対して、１階層アウトラインアイテムとして、第１のテキスト段落タイトルを生成することと、
前記複数の第１のテキスト段落に基づいてテキスト段落セットを作成することと、
前記テキスト段落セットにおけるそれぞれの第１のテキスト段落のデータ量がいずれも所定の閾値未満になるまで、前記テキスト段落セットにおけるそれぞれの第１のテキスト段落に対して、
前記第１のテキスト段落のデータ量と前記所定の閾値とを比較し、
前記第１のテキスト段落のデータ量が前記所定の閾値以上である場合に、
前記第１のテキスト段落を複数の第２のテキスト段落に区画し、
前記複数の第２のテキスト段落のうち、それぞれの第２のテキスト段落に対して、第２のテキスト段落タイトルを生成して、前記第２のテキスト段落タイトルを当該第１のテキスト段落から生成された第１のテキスト段落タイトルの次の階層のアウトラインアイテムとし、
前記複数の第２のテキスト段落をそれぞれ第１のテキスト段落として前記テキスト段落セットへ追加する、
という操作を実行することと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１のテキスト段落を複数の第２のテキスト段落に区画することは、
第１の深層学習モデルで前記第１のテキスト段落に対して要約抽出を行い、要約テキスト段落が得られることと、
第２の深層学習モデルで前記要約テキスト段落に対して段落分けを行って、複数の第２のテキスト段落が得られることと、を含む、
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記テキスト情報に応じてテキストアウトライン及び複数の時間区間を生成することは、
前記オーディオ・ビデオデータに応じて、前記テキスト情報に含まれるそれぞれのテキスト語句の開始時刻及び終了時刻をマーキングすることと、
前記テキスト情報に含まれるそれぞれのテキスト語句の開始時刻及び終了時刻に応じて前記時間区間を特定することと、をさらに含む、
ことを特徴とする請求項２に記載の方法。
【請求項５】
前記テキスト情報に含まれるそれぞれのテキスト語句の開始時刻及び終了時刻に応じて前記時間区間を特定することは、
前記複数の第１のテキスト段落のうち、それぞれの第１のテキスト段落に対して、１階層アウトラインアイテムとして第１のテキスト段落タイトルを生成した後、
前記第１のテキスト段落における１番目のテキスト語句の開始時刻を特定して、前記１階層アウトラインアイテムと関連する時間区間の開始時刻とすることと、
前記第１のテキスト段落における最後のテキスト語句の終了時刻を特定して、前記１階層アウトラインアイテムと関連する時間区間の終了時刻とすることと、を含む、
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記テキスト情報に含まれるそれぞれのテキスト語句の開始時刻及び終了時刻に応じて前記時間区間を特定することは、
前記複数の第２のテキスト段落のうち、それぞれの第２のテキスト段落に対して、第２のテキスト段落タイトルを生成し、前記第２のテキスト段落タイトルを当該第１のテキスト段落から生成された第１のテキスト段落タイトルの次の階層のアウトラインアイテムとした後、
前記第２のテキスト段落における１番目のテキスト語句の開始時刻を特定して、前記次の階層のアウトラインアイテムと関連する時間区間の開始時刻とすることと、
前記第２のテキスト段落における最後のテキスト語句の終了時刻を特定して、前記次の階層のアウトラインアイテムと関連する時間区間の終了時刻とすることと、をさらに含む、
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記テキストアウトラインと前記複数の時間区間に応じて、前記オーディオ・ビデオデータに対する掲示フィールドを生成することは、
互いに関連する前記テキストアウトラインにおける階層ごとのアウトラインアイテムと、前記複数の時間区間のうち、それぞれの時間区間とをデータペアに組み合わせることと、
前記データペアを複数階層のアウトラインアイテム間の階層関係に従って文字列タイプ変数又はセットタイプ変数に記憶され、前記掲示フィールドとすることと、を含む、
ことを特徴とする請求項５又は６に記載の方法。
【請求項８】
請求項１〜７のいずれか一項に記載の方法によって生成された、更新されたオーディオ・ビデオデータを取得することと、
前記更新されたオーディオ・ビデオデータから掲示フィールドを抽出して、前記掲示フィールドに応じて掲示コントロールを作成することと、を含む、
ことを特徴とするオーディオ・ビデオデータ処理方法。
【請求項９】
前記掲示コントロールは、フローティングコントロールと複数のサブコントロールとを含んでおり、
前記掲示フィールドに応じて掲示コントロールを作成することは、
前記掲示フィールドが空きでない場合に、フローティングコントロールを作成することと、
前記掲示フィールドを解析して、複数階層のアウトラインアイテムが得られることと、
前記複数階層のアウトラインアイテムに応じて前記フローティングコントロールへ階層ずつサブコントロールを追加することと、を含む、
ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記掲示コントロールに対してクリックイベントを追加することをさらに含んでおり、
前記クリックイベントは、１つのサブコントロールをクリックすることに応答して、当該サブコントロールの掲示するアウトラインアイテムと関連する時間区間を取得し、プレーヤーを呼び出して前記時間区間内のオーディオ・ビデオデータを復号し、前記時間区間内のオーディオ・ビデオデータを再生する、
ことを特徴とする請求項９に記載の方法。
【請求項１１】
オーディオ・ビデオデータからテキスト情報を抽出するように配置されている情報抽出モジュールと、
前記テキスト情報に応じて、複数階層のアウトラインアイテムを含むテキストアウトライン及び前記複数階層のアウトラインアイテムと関連する複数の時間区間を生成するように配置されている第１の生成モジュールと、
前記テキストアウトライン及び前記複数の時間区間に応じて、前記オーディオ・ビデオデータに対する掲示フィールドを生成するように配置されている第２の生成モジュールと、
前記掲示フィールドを前記オーディオ・ビデオデータへ追加して、更新されたオーディオ・ビデオデータが得られるように配置されているフィールド追加モジュールと、を含む、
ことを特徴とするオーディオ・ビデオデータ処理装置。
【請求項１２】
請求項１〜７のいずれか一項に記載の方法によって生成された、更新されたオーディオ・ビデオデータを取得するように配置されている取得モジュールと、
前記更新されたオーディオ・ビデオデータから掲示フィールドを抽出して、前記掲示フィールドに応じて掲示コントロールを作成するように配置されている作成モジュールと、を含む、
ことを特徴とするオーディオ・ビデオデータ処理装置。
【請求項１３】
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリとを含んでおり、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサが請求項１〜７又は請求項８〜１０のいずれか一項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
ことを特徴とする電子機器。
【請求項１４】
コンピュータに請求項１〜７又は請求項８〜１０のいずれか一項に記載の方法を実行させるコンピュータ命令を記憶した、
ことを特徴とする非一時的コンピュータ読み取り可能な記憶媒体。
【請求項１５】
プロセッサによって実行される時に請求項１〜７又は請求項８〜１０のいずれか一項に記載の方法を実現する、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は自然言語処理技術分野に関し、具体的に、自然言語の語義理解に関し、特にオーディオ・ビデオデータ処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関している。
【背景技術】
【０００２】
オーディオ・ビデオデータを消費することで情報を取得することは、現在の知識伝播の主な手段の１つである。ユーザはオーディオ又はビデオを視聴する時に、オーディオ又はビデオの時間長さが相対的に短ければ、所望のオーディオ又はビデオ内容により快速に位置決めし易くなる。しかし、オーディオ又はビデオの時間長さが相対的に長ければ、限られた時間内に、快速で正確に所望のオーディオ又はビデオ内容に位置決めできない恐れがあり、ユーザに良くない体験を与える。特に、オーディオ又はビデオ時間長さが長くなるにつれて、或いはオーディオ又はビデオにユーザが興味を持たない内容が大量に存在する場合、ユーザの注意力と興味ともこれにつれて低下し、引き続き消費する意図を中断した。
【発明の概要】
【０００３】
本開示は、オーディオ・ビデオデータ処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供した。
【０００４】
本開示の一局面によると、
オーディオ・ビデオデータからテキスト情報を抽出することと、
前記テキスト情報に応じて、複数階層のアウトラインアイテムを含むテキストアウトライン及び前記複数階層のアウトラインアイテムと関連する複数の時間区間を生成することと、
前記テキストアウトライン及び前記複数の時間区間に応じて、前記オーディオ・ビデオデータに対する掲示フィールドを生成することと、
前記掲示フィールドを前記オーディオ・ビデオデータへ追加して、更新されたオーディオ・ビデオデータが得られることと、を含む、
オーディオ・ビデオデータ処理方法を提供した。
【０００５】
本開示のもう１つの局面によると、
上記の方法によって生成された、更新されたオーディオ・ビデオデータを取得することと、
前記更新されたオーディオ・ビデオデータから掲示フィールドを抽出して、前記掲示フィールドに応じて掲示コントロールを作成することと、を含む、
オーディオ・ビデオデータ処理方法を提供した。
【０００６】
本開示のもう１つの局面によると、
オーディオ・ビデオデータからテキスト情報を抽出するように配置されている情報抽出モジュールと、
前記テキスト情報に応じて、複数階層のアウトラインアイテムを含むテキストアウトライン及び前記複数階層のアウトラインアイテムと関連する複数の時間区間を生成するように配置されている第１の生成モジュールと、
前記テキストアウトライン及び前記複数の時間区間に応じて、前記オーディオ・ビデオデータに対する掲示フィールドを生成するように配置されている第２の生成モジュールと、
前記掲示フィールドを前記オーディオ・ビデオデータへ追加して、更新されたオーディオ・ビデオデータが得られるように配置されているフィールド追加モジュールと、を含む、
オーディオ・ビデオデータ処理装置を提供した。
【０００７】
本開示のもう１つの局面によると、
上記の方法によって生成された、更新されたオーディオ・ビデオデータを取得するように配置されている取得モジュールと、
前記更新されたオーディオ・ビデオデータから掲示フィールドを抽出して、前記掲示フィールドに応じて掲示コントロールを作成するように配置されている作成モジュールと、を含む、
オーディオ・ビデオデータ処理装置を提供した。
【０００８】
本開示のもう１つの局面によると、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリとを含んでおり、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサが上記の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
電子機器を提供した。
【０００９】
本開示のもう１つの局面によると、
コンピュータに上記の方法を実行させるコンピュータ命令を記憶した、
非一時的コンピュータ読み取り可能な記憶媒体を提供した。
【００１０】
本開示のもう１つの局面によると、
プロセッサによって実行される時に上記の方法を実現する、
ことを特徴とするコンピュータプログラムを提供した。
【００１１】
この部分で説明した内容は、本開示の実施例の肝心な又は重要な特徴を表記するためのものでもなく、本開示の範囲を限定するためのものでもないと理解すべきである。本開示の他の特徴は、以下の明細書によって理解し易くなるであろう。
【図面の簡単な説明】
【００１２】
図面は、本案がよりよく理解されるためのものであり、本願に対する限定を構成しない。
【図１】図１は本開示実施例に係る適用シーンの模式図である。
【図２】図２は本開示実施例によるオーディオ・ビデオデータ処理方法のフローチャートである。
【図３】図３は本開示実施例によるテキストアウトラインと複数の時間区間を生成するプロセスの模式図である。
【図４】図４は本開示実施例によるテキストアウトラインを生成する例である。
【図５】図５は本開示実施例によるテキストアウトラインの構成例である。
【図６】図６は本開示実施例による時間区間を生成する例である。
【図７】図７は本開示の別の実施例によるオーディオ・ビデオデータ処理方法のフローチャートである。
【図８】図８は本開示実施例によるテキストアウトラインの掲示例である。
【図９】図９は本開示実施例によるオーディオ・ビデオデータ処理装置のブロック図である。
【図１０】図１０は本開示の別の実施例によるオーディオ・ビデオデータ処理装置のブロック図である。
【図１１】図１１は本開示実施例のオーディオ・ビデオデータ処理方法を実現するための電子機器のブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面に合わせて本開示の例示的な実施例について説明する。その中、理解に役立つように本開示の実施例の各詳細を含み、これらはあくまで例示的なものであると理解すべきである。そのため、当業者は、本開示の範囲及び趣旨から逸脱せずに、ここで説明した実施例に対して、様々な変更や、修正をなし得ることに認識すべきである。同様に、明確及び簡明のために、以下の説明において公知の機能及び構成に対する説明を省略している。
【００１４】
従来のオーディオ・ビデオサービスは、内容概観機能を提供していない。快速に所望の内容に位置決めするために、ユーザがクライアントのインターフェース上にプレーヤーのプログレスバーをドラッグすることで所望の内容を検索することは必要となる。このような形態は、正確的な位置決めを実現できないとともに、重要な内容を漏れる可能性がある。クライアントにダウンロードされていないオーディオ・ビデオデータに対する閲覧について、バッファ時間が長すぎて、引き続き検索を行うことができないおそれがある。一部のビデオウェブサイトにおいて、ユーザがビデオ内容を閲覧する便宜上で、長いビデオを複数の比較的短いビデオに分割する方法が用いられる。このような形態には、ビデオ段落分けを精細に計画する必要となり、段落分けビデオを作成する手順は複雑で時間がかかるので、作成コストを増加した。また、上記２種の形態はいずれも生放送ビデオの再生に適用できず、生放送の再生ビデオは一般的に非常に長い（例えば数時間と長い）とともに、生放送の再生ビデオは一般的に特定のプラットフォーム上に記憶されており、再生時にダウンロードする必要はない。本開示の実施例は、オーディオ・ビデオデータのテキスト情報を抽出することでテキストアウトラインを作成し、テキストアウトラインによって冗長なビデオに対するプレビューと快速位置決めとを実現できるオーディオ・ビデオデータの処理方法を提供している。
【００１５】
図１は本開示実施例に係る適用シーンの模式図である。図１においては、複数の端末機器１０１、サーバ１０２及びネットワーク１０３を示した。ネットワーク１０３は、端末機器１０１とサーバ１０２との間に通信リンクを提供するための媒体である。ネットワーク１０３は、各種接続タイプ、例えば有線及び／又は無線通信リンクなどを含んでよい。端末機器１０１はビデオ又はオーディオ再生をサポートする各種電子機器であってよく、端末機器１０１上には、オーディオ・ビデオ再生類アプリケーションのクライアントが実装されており、ユーザは当該クライアントによって、サーバ１０２へオーディオ・ビデオデータを要求して端末機器１０１に再生してよい。端末機器１０１の例示はパーソナルコンピュータ、ノート型パソコン、タブレットコンピュータ、携帯電話、スマートフォン、パーソナルデジタルアシスタントＰＤＡ、ウェアラブルデバイスなどを含んでいるが、これらに限定されていない。サーバ１０２はオーディオ・ビデオデータサービスを提供できる計算機器である。例えば、サーバ１０２はビデオウェブサイト又は生放送プラットフォームのマスタであってよい。サーバ１０２にはユーザが必要とするオーディオ・ビデオデータ、又は生放送後のストリームデータが大量に記憶されている。ユーザは端末機器１０１を介してサーバ１０２に接続されるとともに、例えばビデオウェブサイトを介してオンラインにビデオを視聴したり、ビデオをダウンロードしたりできる。或いは、ユーザは、端末機器１０１を介してサーバ１０２に接続され、例えば生放送プラットフォームによって他人へ生放送を行ってもよい。サーバ１０２は、個別のサーバであってもよいし、複数のサーバからなるクラスタであってもよい。図１に示すようなシステムアーキテクチャーは単に実例であり、本開示実施例によるオーディオ・ビデオデータ処理方法は、任意の適宜なシーンに適用して、オーディオ・ビデオデータに対する処理を実現できる。
【００１６】
図２は本開示実施例によるオーディオ・ビデオデータ処理方法２００のフローチャートである。当該オーディオ・ビデオデータ処理方法２００は、オーディオ・ビデオデータサービスを提供するサーバに適用でき、オーディオ・ビデオデータを処理するために用いられる。図２に示すように、当該オーディオ・ビデオデータ処理方法２００は以下のステップを含んでいる。
【００１７】
ステップＳ２１０において、オーディオ・ビデオデータからテキスト情報を抽出する。
【００１８】
ステップＳ２２０において、テキスト情報に応じてテキストアウトラインと複数の時間区間を生成する。
【００１９】
ステップＳ２３０において、テキストアウトラインと複数の時間区間に応じて、オーディオ・ビデオデータに対する掲示フィールドを生成する。
【００２０】
ステップＳ２４０において、オーディオ・ビデオデータへ掲示フィールドが追加されて、更新されたオーディオ・ビデオデータが得られる。
【００２１】
実施例によれば、処理対象のデータはオーディオデータであれば、オーディオデータから直接的にテキスト情報を抽出できる。例えば、処理対象のオーディオデータが音声識別機能を有している音声識別モジュールへ入力され、音声識別モジュールは入力されたオーディオデータを元テキスト情報として識別できる。実施例によれば、処理対象のデータはビデオデータであれば、ビデオデータからオーディオ部分の元ＰＣＭ（Pulse Code Modulation、パルス符号変調）データを抽出して、当該元ＰＣＭデータを音声識別モジュールに入力して識別し、元テキスト情報が得られる。上記例示における音声識別モジュールは任意の適宜な従来技術構造に基づいてもよく、本開示の実施例はこれを限定しない。
【００２２】
実施例によれば、テキストアウトラインは、複数階層のアウトラインアイテムを含んでよく、複数階層のアウトラインアイテムは複数の時間区間と関連づけてよい。テキスト情報には一般的に内的ロジック構成を有している。このようなロジック構成は、１段落のテキスト情報内容が同様又は類似の主題を述べるために用いられると表現している。本開示の実施例において、テキストアウトラインにおける、各階層のアウトラインアイテムは、いずれもこのような同様又は類似の主題を示すために用いられる。テキストアウトラインで、テキストを快速にプレビューし、テキスト情報の概要ならびにテキスト情報内容の分布状況を取得できる。テキスト情報がオーディオ・ビデオデータから抽出されて得られたので、テキスト情報におけるテキスト語句は、オーディオ又はビデオの１つの時間区間に対応づけられて、これによって、テキストアウトラインによってオーディオ又はビデオ内容に対する概観を実現できる。
【００２３】
実施例によれば、掲示フィールドでテキストアウトラインと時間区間、ならびにテキストアウトラインにおける複数のアウトラインアイテムと複数の時間区間との間の関連関係が記憶されている。具体的な実施例において、互いに関連するテキストアウトラインにおける階層ごとのアウトラインアイテムと複数の時間区間のうちのそれぞれの時間区間とを、データペアとして組み合わせて、掲示フィールドとして、データペアを複数階層のアウトラインアイテム間の階層関係に従って専門のデータ構成に記憶している。実施例によれば、文字列タイプ変数又はセットタイプ変数で、データペアが記憶されてもよいが、本開示の実施例はこれに限定されておらず、他の適宜な形式で掲示フィールドを記憶してもよい。
【００２４】
実施例によれば、掲示フィールドがオーディオ・ビデオデータへ追加されて、このように、ユーザの取得要求に応答してビデオ情報を配信する時に、ビデオリンク、カバーリンクなどの元のオーディオ・ビデオデータに加えて、掲示フィールドも一緒にユーザに用いられるクライアントへ配信されている。テキストアウトラインによってビデオを快速に位置決めするように、掲示フィールドはクライアントにテキストアウトラインを表示するために用いられる。
【００２５】
本開示の実施例において、オーディオ・ビデオデータから抽出されたテキスト情報に応じてテキストアウトライン及びテキストアウトラインに関連する時間区間を生成して、テキストアウトラインと時間区間に応じて掲示フィールドを生成し、掲示フィールドはユーザにオーディオ・ビデオに関する概観を提供でき、ユーザが所望の内容を快速に位置決めすることに助け、ユーザ体験を向上する。
【００２６】
図３は本開示実施例によるテキストアウトラインと複数の時間区間を生成するプロセスの模式図である。図３に示すように、ステップＳ３１０において、ビデオからオーディオデータ、例えば元ＰＣＭデータを抽出する。ステップＳ３２０において、抽出されたオーディオを文字に変換し、例えば音声識別モジュールを使用する。ステップＳ３１０とステップＳ３２０の具体的な操作は前述の実施例を参考してよいが、ここでは贅言しない。続いて、ステップＳ３３０とステップＳ３４０は得られたテキスト情報を前処理するためのステップである。
【００２７】
ステップＳ３３０において、テキスト情報について話し言葉除去処理を行い、後続処理を妨害する重要でないテキスト内容を消去している。具体的な実施例において、トレーニングされた深層学習モデルにて話し言葉除去の操作を完成させる。例えば、深層学習モデルへ「ええと、この五千元で十分ですか？」が入力されると、深層学習モデルは文字列「ＩＯＯＯＯＯＩＯＯＯＩ」を出力し、文字「Ｉ」が所在する箇所での該当文字を削除してよいことを示す。つまり、話し言葉除去処理の後、「ええと、この五千元で十分ですか？」という入力は、「この五千元で十分ですか？」として処理されている。ここでは単に例示であり、本開示はこれに限定されていない。
【００２８】
ステップＳ３４０において、テキスト情報（又は話し言葉除去処理を経たテキスト情報）について誤り訂正を行い、つまり、テキストにおける曖昧さを招来可能な誤りテキストを見出し、後続処理に曖昧さに起因して処理結果を影響することを避ける。具体的な実施例において、同様にトレーニングされた深層学習モデルにて、テキストの誤り訂正処理を完成できる。例えば、深層学習モデルへ「ＸＸは人工技能会社です」が入力されば、深層学習モデルは入力を「ＸＸは人工知能会社」に訂正することができる。ここでは単に例示であり、本開示はこれに限定されていない。
【００２９】
なお、ステップＳ３３０とステップＳ３４０に用いられる深層学習モデルは、任意の適宜な深層学習モデルであってよく、本開示の実施例はこれを限定しない。
【００３０】
続いて、ステップＳ３５０、ステップＳ３６０及びステップＳ３７０において、前処理されたテキスト情報に基づいてインテリジェント段落分けを行い、テキスト段落タイトルとテキスト段落要約を生成する処理を行う。
【００３１】
具体的に、ステップＳ３５０において、前処理されたテキストに対して段落分けを行う。元オーディオ・ビデオデータから生成されたテキスト情報は、一般的には１段落全体の内容となり、インテリジェント段落分けは、ロジック上でより近いテキスト内容を１つの個別の段落へ区画でき、具体的な実施例には、段落分け処理はトレーニングされた深層学習モデルによって完成してもよい。ステップＳ３６０において、段落分けされたテキストに対して、テキスト段落タイトルを生成する。テキスト段落タイトルは、テキスト段落に対する極めて集中した概括であり、トレーニングされた深層学習モデルによって生成されてよい。ステップＳ３７０において、段落分けされたテキストに対して、要約の生成を行う。テキスト段落の要約は１つ段落のコア情報であると考えられている。具体的な実施例には、適宜な深層学習モデルにて要約を生成できる。例えば、テキスト段落とテキスト段落に対するテキストタイトルとがモデルへ入力されることで、当該テキスト段落に対する要約が得られる。
【００３２】
例えば、以下の１つ段落の文字に対して、
「お酒を飲み過ぎることによって吐き気や嘔吐などをもたらすと、オレンジティーを飲むことができ、オレンジは迅速に酔いを醒まして、人体の不快感を緩和することができる。１００グラムの新鮮なオレンジの皮を５００ミリリットルの水に入れて煮込み、少量の塩を入れて均一に振り、お茶として飲むと、酔いを覚ますことができる。お酒を飲む前に蜂蜜を摂取することは、酒酔いを予防するには一定の効果がある。お酒を飲む前の一時間程度に、蜂蜜が体内に入った後に人体の各器官のアルコールに対する吸収を減少させることによって、酒酔いを予防する効果を果たす。酔っぱらった後、温水で蜂蜜を希釈してから、何杯だけ多く飲むことができる。蜂蜜が人体に入ると、迅速に吸収されて、人体の解毒機能を増加させることができ、肝臓ができるだけ早くアルコールを体外に排出するように助けることができ、このように酔いを覚ます目的も達成できる。食塩は人々の生活において非常によく見られるものであり、それも酔いを覚ますための良い薬であり、酒酔いの後に食塩を用いることによって、胃中のアルコール濃度を低下させ、血液中のアルコール濃度を低下させて、酔い覚ましに寄与することができる。方法は、以下の通りである。すなわち、お湯を一杯取り、少量の食塩を入れて直接的に飲めばよい。ある人はお酒を痛飲することが多く、それらの酔い覚ましの秘訣は正にヨーグルトであり、一旦お酒を飲みすぎると、ヨーグルトを飲み、ヨーグルトは胃粘膜を保護し、アルコールの吸収を遅延させることができる。ヨーグルトにおけるカルシウムの含有量が豊富であるため、飲酒後不安定の症状を緩和するには特に有効である。ナツメは、いくつかの地域ではマリーゴールドとも呼ばれ、それを用いて水を煮込んで酒を覚めす効果は一流である。ナツメは、大菌のグルコースとリンゴ酸カルシウムを含有し、強い利尿作用を有し、エタノールの分解及び排出を促進し、血液中のエタノール濃度を大幅に低下させることができ、エタノールが体内で生成したフリーラジカルを除去し、パーオキシエステル質の形成を阻碍することができ、それによりエタノールの肝組織への損傷を軽減し、アルコール中毒による様々な代謝異常を回避することができる。ナツメはさらに、過剰な体脂肪を消化して体重を減らすことができる。梨は乾きや火を和らげ、アルコールや毒を和らげることができ、酒酔い者に梨を食べさせる場合、一般的に、２〜３個の梨で酔いを醒ますことができ、酒酔い者が酩酊になっている場合、梨の搾り汁を飲用させてもよく、迅速に酔いを覚ます効果もある。水を大量に飲み、アルコールを希釈し、新たな代謝を加速し、迅速に排出することができ、さらに２本のブドウ糖を飲み、または蜂蜜でお茶を入れて飲むこともでき、このようにして迅速に酔いを醒ますことができ、飲酒後の頭痛が発生するとブドウを食べることができる。」
【００３３】
これがテキストタイトルを生成するための深層学習モデルへ入力され、以下に示すようなテキストタイトルを生成できる。
「酔いを覚ます方法は何ですか？」
【００３４】
さらに、生成したテキストタイトルと上記テキスト段落の文字とを、テキスト要約を生成するための深層学習モデルへ入力され、以下に示すような要約が得られる。
【００３５】
「お酒を飲む前に蜂蜜を摂取することは、酒酔いを予防するには一定の効果がある。お酒を飲む前の一時間程度に、蜂蜜が体内に入った後に人体の各器官のアルコールに対する吸収を減少させることによって、酒酔いを予防する効果を果たす。ヨーグルトにおけるカルシウムの含有量が豊富であるため、飲酒後不安定の症状を緩和するには特に有効である。ナツメは、いくつかの地域ではマリーゴールドとも呼ばれ、それを用いて水を煮込んで酒を覚めす効果は一流である。梨は乾きや火を和らげ、アルコールや毒を和らげることができ、酒酔い者に梨を食べさせる場合、一般的に、２〜３個の梨で酔いを醒ますことができ、酒酔い者が酩酊になっている場合、梨の搾り汁を飲用させてもよく、迅速に酔いを覚ます効果もある。」
【００３６】
ステップＳ３８０において、テキスト情報に対応するビデオ時間区間をマーキングする。以下、テキスト情報に応じてテキストアウトラインと時間区間を生成するプロセスについて、詳細に説明する。
【００３７】
実施例によれば、テキスト情報に応じてテキストアウトラインを生成するには、テキスト情報を複数の第１のテキスト段落に区画され、複数の第１のテキスト段落のうち、それぞれの第１のテキスト段落に対して、１階層アウトラインアイテムとして、第１のテキスト段落タイトルを生成することが含まれる。続いて、複数の第１のテキスト段落に基づいてテキスト段落セットを作成し、テキスト段落セットにおける第１のテキスト段落のそれぞれのデータ量がいずれも所定の閾値未満になるまでに、テキスト段落セットにおける第１のテキスト段落のそれぞれに対して、第１のテキスト段落のデータ量と所定の閾値とを比較し、第１のテキスト段落のデータ量が所定の閾値以上である場合に、第１のテキスト段落が複数の第２のテキスト段落に区画され、複数の第２のテキスト段落のうち、それぞれの第２のテキスト段落について、第２のテキスト段落タイトルを生成して、第２のテキスト段落タイトルを当該第１のテキスト段落によって生成された第１のテキスト段落タイトルの次の階層のアウトラインアイテムとし、複数の第２のテキスト段落がそれぞれ第１のテキスト段落としてテキスト段落セットへ追加されるという操作を実行する。
【００３８】
図４は本開示実施例によるテキストアウトラインを生成する例である。図４に示すように、テキスト情報４０１は、まず複数の第１のテキスト段落４０２に区画され、例えば、上記のテキスト段落についてインテリジェント段落分けを行うための深層学習モデルによって完成される。第１のテキスト段落４０２に対して生成された第１のテキスト段落タイトルは、テキストアウトラインの１階層アウトラインアイテムとする。図４に示すように、それぞれの第１のテキスト段落に対して１つの対応する１階層アウトラインアイテムが生成されたことで、複数の１階層アウトラインアイテムが得られ、このプロセスは、上記のテキスト段落に対するテキストタイトルを生成するための深層学習モデルによって完成される。続いて、１番目の第１のテキスト段落４０２を例として、以降の処理プロセスを説明し、以下の説明には「１番目の」という限定を省略する。
【００３９】
第１のテキスト段落４０２のデータ量と所定のデータ量閾値とを比較する。第１のテキスト段落４０２のデータ量が所定の閾値以上であれば、引き続き第１のテキスト段落４０２について次の階層のアウトラインアイテムを生成する。ここで、所定の閾値はテキストアウトラインの深さ又は粒度に応じて特定でき、例えば、所定の閾値が元テキスト情報データ量の５０％に設けられている。当該第１のテキスト段落４０２およびその対応する１階層アウトラインアイテムが上記のテキスト段落要約を生成するための深層学習モデル（第１の深層学習モデル）に入力され、第１のテキスト段落４０２の要約テキスト段落が得られる。その後、生成した要約テキスト段落が、上記のインテリジェント段落分けための深層学習モデル（第２の深層学習モデル）に入力され、要約テキスト段落について段落分けを行って、複数の第２のテキスト段落４０３が得られる。図４に示すように、第１のテキスト段落４０２に対して上記の区画がなされることで、３つの第２のテキスト段落４０３が得られる。各第２のテキスト段落４０３に対して、それぞれテキスト段落タイトルを生成でき、当該テキスト段落タイトルは第１のテキスト段落タイトルの次の階層のアウトラインアイテムである２階層アウトラインアイテムとしている。
【００４０】
続いて、それぞれの第２のテキスト段落４０３に対して、上記のような第１のテキスト段落４０２に対して実行される操作を実行する。第２のテキスト段落４０３のデータ量と所定の閾値とを比較し、第２のテキスト段落４０３のデータ量が所定の閾値以上であれば、引き続き第２のテキスト段落４０３に対して次の階層のアウトラインアイテムを生成する。図４に示すように、比較によって、２番目の第２のテキスト段落４０３しか引き続き区画する要求を満足しないので、２番目の第２のテキスト段落４０３のみに対して要約の生成及びインテリジェント段落分けを実行し、２つの第２のテキスト段落４０４（ここで、第２のテキスト段落４０３を第１のテキスト段落４０２として処理できるので、得られたテキスト段落は第２のテキスト段落となる）が得られる。これら２つの第２のテキスト段落４０４に対して、第２のテキスト段落４０３の次の階層のアウトラインアイテムである３階層アウトラインアイテムとして、テキスト段落タイトルを生成する。これら２つの第２のテキスト段落４０４には、さらに、引き続き区画する要求を満足する第２のテキスト段落があれば、引き続き上記のように処理を行う。
【００４１】
以上説明したのは、１つの（１番目の）第１のテキスト段落４０２に対するプロセスであるが、それぞれの第１のテキスト段落４０２に対して上記のプロセスを繰り返して実行することで、テキストアウトラインに含まれる複数階層のアウトラインアイテムが得られ、図５に示すような構成を有し得る。図５に示すように、各階層アウトラインアイテムがツリー状構造として示されている。異なる数の文字「Ｘ」は異なるテキストタイトルである異なる階層のアウトラインアイテムを示す。図５において、ツリー状構造のルートノードに位置するタイトルは、テキスト全体に対するタイトルであってよく、上記のテキスト段落タイトルを生成するための深層学習モデルによって得られ、オーディオ・ビデオデータに対する総括としている。
【００４２】
本開示の実施例によれば、テキスト情報に対して階層ずつ分析することでテキスト情報に対するテキストアウトラインが得られ、テキストアウトラインによってテキストのロジック構成が明らかに掲示されたので、ユーザの検索に有利となる。
【００４３】
実施例によれば、テキスト情報に応じて複数の時間区間を生成するには、オーディオ・ビデオデータに応じて、テキスト情報に含まれるテキスト語句ごとの開始時刻と終了時刻とをマーキングすること、ならびに、テキスト情報に含まれるテキスト語句ごとの開始時刻と終了時刻に応じて時間区間を特定すること、を含んでいる。
【００４４】
実施例によれば、テキスト情報に含まれるテキスト語句ごとの開始時刻と終了時刻に応じて時間区間を特定するには、複数の第１のテキスト段落のうち、それぞれの第１のテキスト段落に対して、１階層アウトラインアイテムとして第１のテキスト段落タイトルを生成した後、１階層アウトラインアイテムに関連する時間区間の開始時刻として、第１のテキスト段落における１番目のテキスト語句の開始時刻を特定すること、ならびに、１階層アウトラインアイテムに関連する時間区間の終了時刻として、第１のテキスト段落における最後のテキスト語句の終了時刻を特定すること、を含んでいる。
【００４５】
実施例によれば、テキスト情報に含まれるテキスト語句ごとの開始時刻と終了時刻に応じて時間区間を特定するには、複数の第２のテキスト段落のうち、それぞれの第２のテキスト段落に対して第２のテキスト段落タイトルを生成し、第２のテキスト段落タイトルを当該第１のテキスト段落から生成された第１のテキスト段落タイトルの次の階層のアウトラインアイテムとした後、次の階層のアウトラインアイテムに関連する時間区間の開始時刻として、第２のテキスト段落における１番目のテキスト語句の開始時刻を特定すること、ならびに、次の階層アウトラインアイテムに関連する時間区間の終了時刻として、第２のテキスト段落における最後のテキスト語句の終了時刻を特定すること、をさらに含んでよい。
【００４６】
図６は本開示実施例による時間区間を生成する例である。図６に示すように、元テキスト情報６０１には、５つのテキスト語句が含まると仮定し、オーディオ・ビデオデータにおける時間情報に応じてこれら５つのテキスト語句の開始時刻と終了時刻とをそれぞれマーキングする。図６には、マーキングした１番目のテキスト語句の開始時刻と終了時刻とを示した。例えば、１番目のテキスト語句の開始時刻は３分１５秒であり、終了時刻は１５分２２秒である。類似的に他のテキスト語句の開始時刻と終了時刻とをマーキングできるが、図６に示されていない。ここで、図６に示された１番目のテキスト語句の開始時刻は０分０秒ではないことは、相関するオーディオ・ビデオが０分０秒から３分１５秒までの間に音声（又はテキスト情報）がないからである。
【００４７】
図６に示すように、元テキスト情報６０１を区画することで２つの第１のテキスト段落６０２と６０３が得られた。ただし、第１のテキスト段落６０２には２つのテキスト語句丸付き数字１及び丸付き数字２を含んでいる。第１のテキスト段落６０３には３つのテキスト語句丸付き数字３、丸付き数字４及び丸付き数字５を含んでいる。第１のテキスト段落６０２の時間区間を特定する時に、テキスト語句丸付き数字１の開始時刻を時間区間の開始時刻とし、テキスト語句丸付き数字２の終了時刻を時間区間の終了時刻としている。第１のテキスト段落６０３の時間区間を特定する時に、テキスト語句丸付き数字３の開始時刻を時間区間の開始時刻とし、テキスト語句丸付き数字５の終了時刻を時間区間の終了時刻としている。
【００４８】
実施例によれば、第１のテキスト段落６０２と６０３に対応する１階層アウトラインアイテムをそれぞれ上記の時間区間と関連付けることで、テキストアウトラインにおけるアイテムと時間区間とを関連づけて、このような関連関係を掲示フィールドに記憶することができる。本開示実施例による掲示フィールドは、ユーザにオーディオ・ビデオに関する概観を提供でき、ユーザが快速に所望の内容に位置決めすることに寄与でき、ユーザの体験を向上できる。
【００４９】
図７は本開示の別の実施例によるオーディオ・ビデオデータ処理方法７００のフローチャートである。当該オーディオ・ビデオデータ処理方法７００は端末機器に適用されたり、端末機器に実装されたＡＰＰクライアントより提供されたりする。また、容易に理解されるように、当該オーディオ・ビデオデータ処理方法７００は、オーディオ・ビデオデータサービスを提供するサーバに適用されてもよく、サーバのオーディオ・ビデオデータに対して要求する主体によるものであるが、本開示はこれを限定しない。図７に示すように、当該オーディオ・ビデオデータ処理方法７００には、以下のステップを含んでいる。
【００５０】
ステップＳ７１０において、更新されたオーディオ・ビデオデータを取得する。
【００５１】
ステップＳ７２０において、更新されたオーディオ・ビデオデータから掲示フィールドを抽出し、掲示フィールドに応じて掲示コントロールを作成する。
【００５２】
実施例によれば、取得した更新されたオーディオ・ビデオデータは、前述のオーディオ・ビデオデータ処理方法によって処理された、掲示フィールドが含まれているオーディオ・ビデオデータであってもよい。
【００５３】
実施例によれば、掲示フィールドに応じて掲示コントロールを作成し、掲示コントロールによって、オーディオ・ビデオデータに対応するテキストアウトラインを掲示する。掲示コントロールは、フローティングコントロールと複数のサブコントロールとを含んでおり、掲示フィールドに応じて掲示コントロールを作成するには、掲示フィールドが空きでない場合に、フローティングコントロールを作成して、掲示フィールドを解析することで、複数階層のアウトラインアイテムが得られること、ならびに、複数階層のアウトラインアイテムに応じてフローティングコントロールへ階層ずつサブコントロールを追加すること、を含んでいる。
【００５４】
実施例によれば、さらに、掲示コントロールに対してクリックイベントを追加し、クリックイベントはサブコントロールをクリックすることに応答して、当該サブコントロールの掲示したアウトラインアイテムに関連する時間区間を取得しており、プレーヤーを呼び出して時間区間内のオーディオ・ビデオデータを復号することで、時間区間内のオーディオ・ビデオデータを再生する。
【００５５】
実施例によれば、掲示フィールドが文字列の形式であれば、例えば、掲示フィールドが「タイトル（０、１２００００）[１階層アウトラインアイテム（３０００、２００００）[２階層アウトラインアイテム（８０００、１５０００）]] [１階層アウトラインアイテム（３００００、８０００００）[２階層アウトラインアイテム（３００００、７００００）[３階層アウトラインアイテム（５００００、６００００）３階層アウトラインアイテム（６００００、７００００）]]] [１階層アウトラインアイテム（１０００００、１２００００）]」である。このような場合に、正則式にて掲示フィールドを解析して、ツリー構造で内蔵メモリに解析されている。
【００５６】
実施例によれば、掲示フィールドがセットの形式であれば、例えば、掲示フィールドが、「{ content：//実際に掲示必要なテキスト内容、例えばタイトル、アウトラインアイテムなどが記憶されている
Id：//現在の唯一なマック
ParentId：//現在の親ノードのID
videoStart：//対応するビデオ開始時刻
videoEnd：//対応するビデオ終了時刻}」となっている。
【００５７】
このような場合に、セットをそのままトラバースして、ツリー構造で内蔵メモリに解析されている。
【００５８】
図８は本開示実施例によるテキストアウトラインの掲示例である。図８に示すように、サーバが掲示フィールドをクライアントへ配信した後、クライアントは当該掲示フィールドを解析し、当該掲示フィールドが空きでないと判定すれば、フローティングコントロールを追加して、テキストアウトライン入り口ボタン（図８にタイトルに示すように）を表示する。クライアントはサーバによって配信された掲示フィールドを解析して、その中のテキストアウトラインならびにテキストアウトラインと関連する時間区間を取得する。解析完成後に、階層ごとに、サブコントロールを動的に追加して、当該階層のサブコントロールのアウトラインアイテムを表示する。続いて、クライアントはサブコントロールにクリックイベントを追加する。ユーザがビデオを視聴する時に、あるサブコントロールをクリックしてよい。クライアントはクリックイベントを受信した後、現在のサブコントロールが位置する階層のデータ構成を解析し、時間区間の開始時刻を取得してから、現在のプレーヤーのインスタンスを呼び出し、プレーヤーＳeek方法を呼び出し、パラメーターが取得した時間区間の開始時刻となる。その後、プレーヤーは、内部復号器でビデオを開始時刻までに復号し、画面を改めてレンダリングして、当該時間区間内のビデオをユーザに掲示する。
【００５９】
本開示実施例のオーディオ・ビデオデータ処理方法によれば、ユーザはビデオをドラッグせずに、掲示されたテキストアウトラインによって、ビデオを概観でき、快速で正確に所望のビデオに位置決めできる。
【００６０】
本開示の実施例は、オーディオ・ビデオデータ処理装置をさらに提供している。
【００６１】
図９に本開示実施例によるオーディオ・ビデオデータ処理装置９００のブロック図を示した。図９に示すように、当該オーディオ・ビデオデータ処理装置９００は情報抽出モジュール９１０、第１の生成モジュール９２０、第２の生成モジュール９３０及びフィールド追加モジュール９４０を含んでいる。
【００６２】
実施例によれば、情報抽出モジュール９１０は、オーディオ・ビデオデータからテキスト情報を抽出するように配置されている。第１の生成モジュール９２０は、テキスト情報に応じて、複数階層のアウトラインアイテムを含むテキストアウトラインと、複数階層のアウトラインアイテムに関連する複数の時間区間とを生成するように配置されている。第２の生成モジュール９３０は、テキストアウトライン及び複数の時間区間に応じて、オーディオ・ビデオデータに対する掲示フィールドを生成するように配置されている。フィールド追加モジュール９４０は、掲示フィールドをオーディオ・ビデオデータへ追加して、更新されたオーディオ・ビデオデータが得られるように配置されている。
【００６３】
以上、各機能モジュールの具体的な操作は前述の実施例におけるオーディオ・ビデオデータ処理方法２００の操作ステップを参照して取得できるが、ここでは贅言しない。
【００６４】
図１０に本開示実施例によるオーディオ・ビデオデータ処理装置１０００のブロック図を示した。図１０に示すように、当該オーディオ・ビデオデータ処理装置１０００は取得モジュール１０１０と作成モジュール１０２０とを含んでいる。
【００６５】
実施例によれば、取得モジュール１０１０は、前述のオーディオ・ビデオデータ処理方法によって処理された、掲示フィールドを含む更新されたオーディオ・ビデオデータを取得するように配置されている。作成モジュール１０２０は、更新されたオーディオ・ビデオデータから掲示フィールドを抽出して、掲示フィールドに応じて掲示コントロールを作成するように配置されている。
【００６６】
以上、各機能モジュールの具体的な操作は前述の実施例におけるオーディオ・ビデオデータ処理方法７００の操作ステップを参照して取得できるが、ここでは贅言しない。
【００６７】
図１１に本開示の実施例を実施するための例示的電子機器１１００の模式的なブロック図を示した。電子機器とは、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータである。電子機器は、例えば、パーソナルデジタルプロセッシング、セルフォン、スマートフォン、ウェアラブルデバイス、及び他の類似なコンピューティングデバイス等、様々な形態のモバイルデバイスであってもよい。本明細書に示される部品、それらの接続及び関係、並びにそれらの機能は、単なる例示であり、本明細書に記載及び／又は請求される本開示の実施を限定しない。
【００６８】
図１１に示すように、機器１１００は、計算手段１１０１を含み、それがリードオンリーメモリ（ＲＯＭ）１１０２に記憶されたコンピュータプログラム又は記憶手段１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされたコンピュータプログラムに基づいて、各種の適宜な動作及び処理を実行することができる。ＲＡＭ１１０３には、機器１１００の操作に必要な各種プログラム及びデータが記憶されてもよい。計算手段１１０１と、ＲＯＭ １１０２と、ＲＡＭ１１０３とは、バス１１０４を介して接続される。入力・出力（Ｉ／Ｏ）インターフェース１１０５もバス１１０４に接続される。
【００６９】
機器１１００における複数の部品は、Ｉ／Ｏインターフェース１１０５に接続され、キーボード、マウスなどの入力手段１１０６と、各種タイプのディスプレイ、スピーカなどの出力手段１１０７と、磁気ディスク、光ディスクなどの記憶手段１１０８と、ネットワークカード、モデム、無線通信送受信機などの通信手段１１０９とを含む。通信手段１１０９は、機器１１００がインターネットといったコンピュータネットワーク及び／又は各種電気通信ネットワークを介して他の機器と情報・データをやりとりすることが可能にする。
【００７０】
計算手段１１０１は、各種の処理及び計算能力を有する汎用及び／又は専用処理コンポーネントであってもよい。計算手段１１０１の幾つかの例示は、中央処理ユニット（ＣＰＵ）と、図形処理ユニット（ＧＰＵ）と、各種の専用の人工知能（ＡＩ）計算チップと、各種の機器学習モデルアルゴリズムを実行する計算ユニットと、デジタル信号プロセッサ（ＤＳＰ）と、任意の適宜なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限られない。計算手段１１０１は、前文で説明した各方法及び処理、例えばオーディオ・ビデオデータ処理方法を実行する。例えば、幾つかの実施例において、オーディオ・ビデオデータ処理方法は、コンピュータソフトウェアプログラムとして実現されてもよく、それが機器読取可能な媒体、例えば記憶手段１１０８に有形的に含まれる。幾つかの実施例において、コンピュータプログラムの一部又は全部がＲＯＭ１１０２及び／又は通信手段１１０９を介して機器１１００上にロード及び／又はインストールされ得る。コンピュータプログラムがＲＡＭ１１０３にロードされ、計算手段１１０１によって実行される時に、前文で説明したオーディオ・ビデオデータ処理方法の１つ又は複数のステップを実行することができる。選択的に、他の実施例において、計算手段１１０１が他の任意の適宜な方式を介して（例えば、ファームウェアを介して）オーディオ・ビデオデータ処理方法を実行するように配置される。
【００７１】
本文で以上に説明したシステム及び技術の各種実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システム・オン・チップのシステム（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せで実現され得る。これらの各種実施形態は、１つ又は複数のコンピュータプログラムで実行されることを含んでもよく、この１つ又は複数のコンピュータプログラムが、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上に実行及び／又は解釈されてもよく、このプログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであり、記憶システムと、少なくとも１つの入力装置と、少なくとも１つの出力装置とから、データ及びコマンドを受信し、データ及びコマンドをこの記憶システムと、この少なくとも１つの入力装置と、及びこの少なくとも１つの出力装置とに転送してもよい。
【００７２】
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組合せによって書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されて、プログラムコードがプロセッサ又はコントローラによって実行される時にフローチャート及び／又はブロック図に規定された機能・操作が実施されるようにしてもよい。プログラムコードは、完全に機器上に実行されてもよいし、部分的に機器上に実行されてもよく、独立ソフトウェアパッケージとして部分的に機器上に実行され且つ部分的に遠隔機器上に実行され、或いは完全に遠隔機器又はサーバ上に実行される。
【００７３】
本開示のコンテキストにおいて、機器読取可能な媒体は、有形的な媒体であってもよく、それが、コマンド実行システム、装置又は機器に使用され、又はコマンド実行システム、装置又は機器と組合せて使用されるプログラムを含み、或いは記憶してもよい。機器読取可能な媒体は、機器読取可能な信号媒体や、機器読取可能な記憶媒体であってもよい。機器読取可能な媒体は、電子的なもの、磁性的なもの、光学的なもの、電磁的なもの、赤外のもの、又は半導体システム、装置又は機器、或いは上記内容の任意の適宜な組合せを含むが、これらに限られない。機器読取可能な記憶媒体のより具体的な例示は、１つ又は複数のラインによる電気接続、携帯コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯コンパクトディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光学的記憶デバイス、磁気的記憶デバイス、又は上記内容の任意の適宜な組合せを含む。
【００７４】
ユーザとのインタラクションを提供するために、コンピュータでここで説明したシステム及び技術を実施してもよく、このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレ）モニタ）と、キーボード及び指向装置（例えば、マウス又はトラックボール）とを有し、ユーザは、このキーボード及びこの指向装置によって、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するためのものであってもよく、例えば、ユーザに提供するフィードバックは、任意の形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（声入力、語音入力、又は触覚入力を含む）でユーザからの入力を受信してもよい。
【００７５】
ここで説明したシステム及び技術は、バックグラウンド部品を含む計算システム（例えば、データサーバとする）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含む計算システム（例えば、グラフィカル・ユーザ・インターフェース又はネットワークブラウザを有するユーザコンピュータ、ユーザはこのグラフィカル・ユーザ・インターフェース又はこのネットワークブラウザを介してここで説明したシステム及び技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、或いはフロントエンド部品の任意の組合せを含む計算システムで実施されてもよい。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介してシステムの部品を相互に接続してもよい。通信ネットワークの例示は、ローカルエリアネットワーク（ＬＡＮ）と、広域ネットワーク（ＷＡＮ）と、インターネットとを含む。
【００７６】
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバとは、一般的に互いに離れて、且つ通常に通信ネットワークを介してインタラクションする。相応するコンピュータで実行されるとともに、互いにクライアント-サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係を形成する。
【００７７】
上記に示した様々な形式のフローを利用して、ステップを並び替え、追加又は削除することができると理解すべきである。例えば、本開示に記載された各ステップは、並行に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本開示が開示した技術案が所望する結果を実現できる限り、本文はここで限定しない。
【００７８】
上述した具体的な実施形態は、本開示の保護範囲に対する限定を構成しない。当業者は、設計要求や他の要因に応じて、さまざまな修正、組合、サブ組合及び置換を行うことができると理解すべきである。本開示の趣旨及び原則の範囲内になされた任意の修正、等価な置換、改進などは、いずれも本開示の保護範囲内に含まれるべきである。
【図１】
2022000972.tif 000003
【図２】
2022000972.tif 000004
【図３】
2022000972.tif 000005
【図４】
2022000972.tif 000006
【図５】
2022000972.tif 000007
【図６】
2022000972.tif 000008
【図７】
2022000972.tif 000009
【図８】
2022000972.tif 000010
【図９】
2022000972.tif 000011
【図１０】
2022000972.tif 000012
【図１１】
2022000972.tif 000013