(57)【要約】      （修正有）【課題】ビデオデータにマッチングする音楽データを迅速に確定できるビデオデータの処理方法を提供する。【解決手段】トレーニング済み深層学習アルゴリズムモデルに基づいて入力ビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、ビデオデータのタグベクトルを取得し、音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定し、各推薦スコアに基づき、ビデオデータにマッチングする音楽データを背景音楽とすることで、深層学習アルゴリズムモデル及び推薦アルゴリズムを用いることにより、ビデオデータにマッチングする音楽データを迅速に確定でき、これにより音楽ライブラリでビデオデータの背景音楽を検索するデータ処理効率を効果的に向上させ、人的コストを低減することができる。【選択図】図２
2020017295.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータの処理方法であって、
予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得するステップと、
音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定するステップと、
各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力するステップと、を含むことを特徴とするビデオデータの処理方法。
【請求項２】
前記トレーニング済み深層学習アルゴリズムモデルは少なくとも畳み込みニューラルネットワーク及び多層パーセプトロンを含み、
前記予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、前記ビデオデータのタグベクトルを取得する前記ステップは、
前記処理すべきビデオデータを前記畳み込みニューラルネットワークに入力し、前記ビデオデータの特徴情報を抽出して取得することと、
前記ビデオデータの特徴情報を前記多層パーセプトロンに入力することにより、前記多層パーセプトロンが予め設定されたタグタイプに基づいて前記特徴情報に対してベクトル次元のマッピングを行い、前記ビデオデータのタグベクトルを取得することと、を含むことを特徴とする請求項１に記載のビデオデータの処理方法。
【請求項３】
予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理する前記ステップの前に、さらに、
音楽データを収集して取得し、前記トレーニング済み深層学習アルゴリズムモデルを用いて収集して取得した音楽データを処理し、前記音楽データのタグベクトルを取得するステップと、
前記音楽データ及び対応するタグベクトルを前記音楽ライブラリに記憶するステップと、を含むことを特徴とする請求項１に記載のビデオデータの処理方法。
【請求項４】
音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定する前記ステップは、
前記ビデオデータのタグベクトル及び前記音楽ライブラリにおける各音楽データのタグベクトルに応じ、推薦アルゴリズムに基づいて前記ビデオデータ及び各音楽データのタグベクトルの類似度を順次取得することと、
前記各類似度に基づいて前記ビデオデータに対する各音楽データの推薦スコアを確定することと、を含むことを特徴とする請求項１に記載のビデオデータの処理方法。
【請求項５】
各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力する前記ステップは、
各推薦スコアに従って前記各音楽データをソートし、推薦スコアが予め設定された閾値より大きい所定数の音楽データを前記ビデオデータにマッチングする音楽データとして出力することを含むことを特徴とする請求項１に記載のビデオデータの処理方法。
【請求項６】
ビデオデータの処理方法であって、
トレーニングすべき深層学習アルゴリズムモデルを構築するステップと、
マーキング済みビデオデータ及び／又はマーキング済み音楽データに基づいて前記トレーニングすべき深層学習アルゴリズムモデルをトレーニングし、請求項１〜請求項５のいずれか一項に記載のビデオデータの処理方法に適用されるトレーニング済み深層学習アルゴリズムモデルを取得するステップと、を含むことを特徴とするビデオデータの処理方法。
【請求項７】
ビデオデータの処理装置であって、
予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得し、さらに音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定するための第１処理モジュールと、
各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力するための出力モジュールと、を含むことを特徴とするビデオデータの処理装置。
【請求項８】
ビデオデータの処理装置であって、
トレーニングすべき深層学習アルゴリズムモデルを構築するための第２処理モジュールと、
マーキング済みビデオデータ及び／又はマーキング済み音楽データに基づいて前記トレーニングすべき深層学習アルゴリズムモデルをトレーニングし、請求項１〜請求項５のいずれか一項に記載のビデオデータの処理方法に適用されるトレーニング済み深層学習アルゴリズムモデルを取得するための第３処理モジュールと、を含むことを特徴とするビデオデータの処理装置。
【請求項９】
メモリと、
前記メモリに接続されたプロセッサと、
前記メモリに記憶され、且つ前記プロセッサ上で実行可能なコンピュータプログラムと、を含むビデオデータの処理装置であって、
前記プロセッサが前記コンピュータプログラムを実行する時に請求項１〜請求項６のいずれか一項に記載の方法を実行することを特徴とするビデオデータの処理装置。
【請求項１０】
読み取り可能な記憶媒体であって、
端末上で実行されると、端末に請求項１〜請求項６のいずれか一項に記載の方法を実行させるプログラムを含むことを特徴とする読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ技術に関し、特にビデオデータの処理方法、装置及び読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
ビデオに基づいて背景音楽をマッチングすることは、ビデオが撮影又はクリップされた後、ビデオデータのコンテンツ、スタイル、リズムなどの特徴に基づいてビデオデータにマッチングする背景音楽を選択・確定するプロセスを指す。
【０００３】
従来技術では、上記のプロセスは、手動で実行され、即ちビデオデータの背景音楽製作者は、ビデオデータのコンテンツ、スタイル、リズムなどの属性を解読し、経験に基づいて予め設定された音楽ライブラリで適切な背景音楽を検索する必要がある。
【０００４】
しかしながら、大容量の音楽ライブラリで適切な背景音楽を手動で見つけるのに必要な時間が長く、且つ製作者の経験蓄積及びビデオデータの解読能力に対する要求が高いので、ビデオデータにマッチングする背景音楽を検索するというデータ処理の効率が低く、人的コストが高い。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように言及したビデオデータにマッチングする背景音楽を検索するというデータ処理の効率が低く、人的コストが高いという従来の問題に対し、本発明は、ビデオデータの処理方法、装置及び読み取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
第１態様によれば、本発明にて提供されるビデオデータの処理方法は、
予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得するステップと、
音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定するステップと、
各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力するステップと、を含む。
【０００７】
１つの選択可能な実施形態において、前記トレーニング済み深層学習アルゴリズムモデルは少なくとも畳み込みニューラルネットワーク及び多層パーセプトロンを含み、
前記予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、前記ビデオデータのタグベクトルを取得する前記ステップは、
前記処理すべきビデオデータを前記畳み込みニューラルネットワークに入力し、前記ビデオデータの特徴情報を抽出して取得することと、
前記ビデオデータの特徴情報を前記多層パーセプトロンに入力することにより、前記多層パーセプトロンが予め設定されたタグタイプに基づいて前記特徴情報に対してベクトル次元のマッピングを行い、前記ビデオデータのタグベクトルを取得することと、を含む。
【０００８】
１つの選択可能な実施形態において、予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理する前記ステップの前に、さらに、
音楽データを収集して取得し、前記トレーニング済み深層学習アルゴリズムモデルを用いて収集して取得した音楽データを処理し、前記音楽データのタグベクトルを取得するステップと、
前記音楽データ及び対応するタグベクトルを前記音楽ライブラリに記憶するステップと、を含む。
【０００９】
１つの選択可能な実施形態において、音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定する前記ステップは、
前記ビデオデータのタグベクトル及び前記音楽ライブラリにおける各音楽データのタグベクトルに応じ、推薦アルゴリズムに基づいて前記ビデオデータ及び各音楽データのタグベクトルの類似度を順次取得することと、
前記各類似度に基づいて前記ビデオデータに対する各音楽データの推薦スコアを確定することと、を含む。
【００１０】
１つの選択可能な実施形態において、各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力する前記ステップは、
各推薦スコアに従って前記各音楽データをソートし、推薦スコアが予め設定された閾値より大きい所定数の音楽データを前記ビデオデータにマッチングする音楽データとして出力することを含む。
【００１１】
別の態様によれば、本発明にて提供されるビデオデータの処理方法は、
トレーニングすべき深層学習アルゴリズムモデルを構築するステップと、
マーキング済みビデオデータ及び／又はマーキング済み音楽データに基づいて前記トレーニングすべき深層学習アルゴリズムモデルをトレーニングし、請求項１〜請求項５のいずれか一項に記載のビデオデータの処理方法に適用されるトレーニング済み深層学習アルゴリズムモデルを取得するステップと、を含む。
【００１２】
さらに別の態様によれば、本発明にて提供されるビデオデータの処理装置は、
予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得し、さらに音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定するための第１処理モジュールと、
各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力するための出力モジュールと、を含む。
【００１３】
さらに別の態様によれば、本発明にて提供されるビデオデータの処理装置は、
トレーニングすべき深層学習アルゴリズムモデルを構築するための第２処理モジュールと、
マーキング済みビデオデータ及び／又はマーキング済み音楽データに基づいて前記トレーニングすべき深層学習アルゴリズムモデルをトレーニングし、前述のいずれか一項に記載のビデオデータの処理方法に適用されるトレーニング済み深層学習アルゴリズムモデルを取得するための第３処理モジュールと、を含む。
【００１４】
さらに他の態様によれば、本発明にて提供されるビデオデータの処理装置は、メモリと、前記メモリに接続されたプロセッサと、前記メモリに記憶され、且つ前記プロセッサ上で実行可能なコンピュータプログラムと、を含み、前記プロセッサが前記コンピュータプログラムを実行する時に前述のいずれか一項に記載の方法を実行する。
【００１５】
最後の態様によれば、本発明にて提供される読み取り可能な記憶媒体は、端末上で実行されると、端末に前述の方法を実行させるプログラムを含む。
【発明の効果】
【００１６】
本発明の提供するビデオデータの処理方法、装置及び読み取り可能な記憶媒体は、予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得し、音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定し、各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを背景音楽とする技術的手段を採用することにより、深層学習アルゴリズムモデル及び推薦アルゴリズムを用いることにより、ビデオデータにマッチングする音楽データを迅速に確定でき、これにより音楽ライブラリでビデオデータの背景音楽を検索するデータ処理効率を効果的に向上させ、人的コストを低減する。
【図面の簡単な説明】
【００１７】
上記図面には、本開示の明確な実施例が示されているが、以下、より詳細に説明する。これらの図面及びテキストによる説明は、何らかの方式で本開示の構想の範囲を制限するものではなく、特定の実施例を参照しながら当業者のために本開示の概念を説明するためである。
【図１】本発明の基となるネットワークアーキテクチャの模式図である。
【図２】本発明の実施例１によるビデオデータの処理方法のフローチャートである。
【図３】本発明の実施例２によるビデオデータの処理方法のフローチャートである。
【図４】本発明の実施例３によるビデオデータの処理装置の構造模式図である。
【図５】本発明の実施例４によるビデオデータの処理装置の構造模式図である。
【図６】本発明の実施例５によるビデオデータの処理装置のハードウェア模式図である。  ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本開示に合致する実施例を示し、明細書とともに本開示の原理を解釈することに用いられる。
【発明を実施するための形態】
【００１８】
本発明の実施例の目的、技術的解決手段及び利点をより明らかにするために、以下は本発明の実施例における図面を参照し、本発明の実施例における技術的解決手段を明確、完全に説明する。
【００１９】
ビデオに基づいて背景音楽をマッチングすることは、ビデオが撮影又はクリップされた後、ビデオデータのコンテンツ、スタイル、リズムなどの特徴に基づいてビデオデータにマッチングする背景音楽を選択・確定するプロセスを指す。
【００２０】
従来技術では、上記のプロセスは、手動で実行され、即ちビデオデータの背景音楽製作者は、ビデオデータのコンテンツ、スタイル、リズムなどの属性を解読し、経験に基づいて予め設定された音楽ライブラリで適切な背景音楽を検索する必要がある。
【００２１】
しかしながら、大容量の音楽ライブラリで適切な背景音楽を手動で見つけるのに必要な時間が長く、且つ製作者の経験蓄積及びビデオデータの解読能力に対する要求が高いので、ビデオデータにマッチングする背景音楽を検索するというデータ処理の効率が低く、人的コストが高い。
【００２２】
上記言及した技術的問題に対し、本発明は、ビデオデータの処理方法、装置及び読み取り可能な記憶媒体を提供する。説明すべきものとして、本出願によるビデオデータの処理方法、装置及び読み取り可能な記憶媒体はビデオデータにマッチングする音楽を検索する必要があるアプリケーションシーンに広く応用され、それらのアプリケーションシーンは、映画ビデオ又は娯楽ビデオの音楽製作、娯楽ビデオサイト又はショートビデオソフトウェアにおけるビデオ背景音楽の自動選択又は自動推薦などを含むが、それらに限定されない。
【００２３】
図１は、本発明の基となるネットワークアーキテクチャの模式図であり、図１に示すように、本出願において、ユーザはデータ入力ポート１を利用し、ビデオデータをビデオデータの処理装置２に入力することにより、ビデオデータの処理装置２がそれを処理した後、出力ポート３を介してユーザにビデオデータにマッチングする音楽データを出力する。ただし、該ビデオデータの処理装置は具体的には、ローカルに架設されるか又はクラウドに架設されたサーバ又はサーバクラスタであってもよく、また音楽ライブラリの基となるデータサーバ４と協働して音楽データの記憶、処理及び読み取りなどの機能を実現することができる。
【００２４】
また、前述したデータ入力ポート１、ビデオデータの処理装置２及び出力ポート３は、異なるアプリケーションシーンに基づいて異なる形態を有する。
【００２５】
例えば、前述した映画ビデオ又は娯楽ビデオに対する音楽製作のシーンでは、データ入力ポート１及び出力ポート３は、映画ビデオ又は娯楽ビデオのビデオクリップインタフェースに存在し、つまり、ユーザは、ビデオクリップソフトウェアのインタフェースで提供されるデータアップロードトリガコンポーネント（即ちデータ入力ポート１）を介して、処理すべきビデオデータをローカルのビデオクリップソフトウェア（即ちビデオデータの処理装置２）にアップロードでき、その処理後、処理結果をビデオクリップソフトウェアのインタフェースで提供される表示コンポーネント（即ちデータ出力ポート３）に表示する。
【００２６】
また例えば、前述した娯楽ビデオサイト又はショートビデオソフトウェアにおけるビデオ背景音楽の自動選択又は自動推薦のシーンでは、データ入力ポート１は具体的には娯楽ビデオサイト又はショートビデオソフトウェアのクライアントが提供するビデオ製作ポートと結合でき、即ちユーザは娯楽ビデオサイトクライアント又はショートビデオソフトウェアクライアントのビデオ製作コンポーネント（即ちデータ入力ポート１）をトリガすることにより、処理すべきビデオデータを娯楽ビデオサイト又はショートビデオソフトウェアの基となるサーバ（即ちビデオデータの処理装置２）にアップロードでき、その処理後、処理結果を娯楽ビデオサイトクライアント又はショートビデオソフトウェアクライアントに返し、且つクライアントの指定された位置の表示コンポーネント（即ちデータ出力ポート３）に表示する。
【００２７】
上記の各構造は具体的なシーンと結合すべきであり、その存在形式も多種の可能性を備えており、本実施形態はこれについて限定しない。
【００２８】
図２は、本発明の実施例１によるビデオデータの処理方法のフローチャートである。
【００２９】
図２に示すように、該ビデオデータの処理方法は、
予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得するステップ１０１と、
音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定するステップ１０２と、
各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力するステップ１０３と、を含む。
【００３０】
なお、本発明の提供するビデオデータの処理方法の実行主体は具体的には、図１に示すビデオデータの処理装置であってもよい。
【００３１】
具体的には、本発明はビデオデータの処理方法を提供し、まず、ビデオデータの処理装置はユーザがデータ入力ポートを介してアップロードした処理すべきビデオデータを受信し、前記ビデオデータは具体的にはユーザが予め録画又は製作したものであってもよく、ユーザがリアルタイムで録画したものであってもよい。
【００３２】
続いて、ビデオデータの処理装置は予め設定されたトレーニング済み深層学習アルゴリズムモデルを用いて該処理すべきビデオデータを処理し、該トレーニング済み深層学習アルゴリズムモデルによって、ビデオデータの処理装置はビデオデータの対応するタグベクトルを取得する。ただし、タグベクトルはビデオデータのタグ成分を表すために使用され、即ちタグベクトルはビデオデータの各タグにおける信頼性スコアを含む。具体的には、ビデオデータと音楽データとの高速マッチングを達成するために、トレーニング済み深層学習アルゴリズムモデルなどの機械学習アルゴリズムを利用してビデオデータに対して特徴分類分析を実行できる。ただし、タグは予め設定されたものであってもよく、複数の次元における複数の特徴を含むべきであり、例えば感情次元における悲しみ、喜び、平淡などであり、また例えばリズム次元における高速、低速、平穏などであり、さらに例えば色調次元における暖かさ、寒さ、突然、白黒などであり、その他例えばプロット特徴におけるコンパクト、緩みなどである。
【００３３】
タグベクトルは、各次元におけるビデオデータの各特徴についての信頼性スコアを含むべきであり、タグベクトルは例えば、
［（感情）悲しみ、喜び、平淡、浮き沈み、（リズム）高速、低速、平穏、変動、（色調）暖かさ、寒さ、突然、白黒、（プロット）コンパクト、緩み、起伏多く、乱雑］＝［０、０．２５、０．０１、０．０２、０．２５、０、０、０．０２、０．２、０、０．０１、０．０１、０．１８、０．０１、０．０１、０．０３］。
【００３４】
当然のことながら、本実施形態はタグベクトルにおけるタグタイプを限定しない。
【００３５】
選択的に、本実施形態におけるトレーニング済み深層学習アルゴリズムモデルは少なくとも畳み込みニューラルネットワーク及び多層パーセプトロンを含み、それに応じて、該トレーニング済み深層学習アルゴリズムモデルを用いてビデオデータを処理するプロセスは前記処理すべきビデオデータを前記畳み込みニューラルネットワークに入力し、前記ビデオデータの特徴情報を抽出して取得することと、前記ビデオデータの特徴情報を前記多層パーセプトロンに入力することにより、前記多層パーセプトロンが予め設定されたタグタイプに基づいて前記特徴情報に対してベクトル次元のマッピングを行い、前記ビデオデータのタグベクトルを取得することと、を含むことができる。なお、畳み込みニューラルネットワーク及び多層パーセプトロンはいずれも成熟したネットワークアーキテクチャに属し、本実施形態はそのアーキテクチャ構成を限定しない。しかしながら、ビデオデータを分析して対応するタグベクトルを取得するために、本出願は畳み込みニューラルネットワーク及び多層パーセプトロンを利用して上記ステップを順次実行することにより、対応する機能を実現する。
【００３６】
続いて、ビデオデータの処理装置は音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定する。
【００３７】
具体的には、音楽ライブラリには、予め記憶されている各音楽データ及び各音楽データのタグベクトルを含む。さらに、音楽ライブラリを構築する時に、音楽データを収集して取得し、前記トレーニング済み深層学習アルゴリズムモデルを用いて、その収集して取得した音楽データを処理し、前記音楽データのタグベクトルを取得し、前記音楽データ及び対応するタグベクトルを前記音楽ライブラリに記憶するという方式を採用できる。なお、本実施形態にて提供されるトレーニング済み深層学習アルゴリズムモデルはビデオデータを処理することに用いられるだけでなく、また音楽データを処理することに用いられ、その処理方式は前述の実施形態と同様であり、ここでは説明を省略する。
【００３８】
さらに、本実施形態において、ビデオデータの処理装置は前記ビデオデータのタグベクトル及び前記音楽ライブラリにおける各音楽データのタグベクトルに応じ、潜在係数アルゴリズムに基づいて前記ビデオデータ及び各音楽データのタグベクトルの類似度を順次取得し、前記各類似度に基づいて前記ビデオデータに対する各音楽データの推薦スコアを確定することができる。例えば、潜在係数アルゴリズムは採点ベクトルに基づいてマッチング度計算を行う推薦アルゴリズムであり、本実施形態において、潜在係数アルゴリズムを含む推薦アルゴリズムを採用し、音楽ライブラリにおける各音楽データのタグベクトルとビデオデータのタグベクトルとの間の類似度を順次計算し、各音楽データの推薦スコアを得て、推薦スコアはビデオデータ及び音楽データが同じ構成要素を備える割合又は構成要素の類似度として理解でき、つまり、推薦スコアが高いほど音楽データが該ビデオデータにマッチングすることを意味し、即ち該音楽データはビデオデータの背景音楽により適合することを意味する。
【００３９】
最後、ビデオデータの処理装置は、各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力する。具体的には、ビデオデータの処理装置は複数の方式を採用して出力でき、例えば、各推薦スコアに従って前記各音楽データをソートし、推薦スコアが予め設定された閾値より大きい所定数の音楽データを前記ビデオデータにマッチングする音楽データとして出力する。当然のことながら、推薦スコアが最も高い音楽データのみを出力するようにしてもよい。出力された音楽データはユーザのさらなるスクリーニングに用いることができ、またバックエンドコンポーネントが該音楽データ及びビデオデータを利用してさらにクリップ、統合などの処理を行うことに用いることもできる。
【００４０】
本発明の実施例１によるビデオデータの処理方法は、予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得し、音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定し、各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを背景音楽とする技術的手段を採用することにより、深層学習アルゴリズムモデル及び推薦アルゴリズムを用いることにより、ビデオデータにマッチングする音楽データを迅速に確定でき、これにより音楽ライブラリでビデオデータの背景音楽を検索するデータ処理効率を効果的に向上させ、人的コストを低減する。
【００４１】
上記実施例１に基づき、本実施例２はビデオデータの処理方法を提供し、図３は、本発明の実施例２によるビデオデータの処理方法のフローチャートである。
【００４２】
図３に示すように、該ビデオデータの処理方法は、
トレーニングすべき深層学習アルゴリズムモデルを構築するステップ２０１と、
マーキング済みビデオデータ及び／又はマーキング済み音楽データに基づいて前記トレーニングすべき深層学習アルゴリズムモデルをトレーニングし、トレーニング済み深層学習アルゴリズムモデルを取得するステップ２０２と、を含む。
【００４３】
ただし、前記トレーニング済み深層学習アルゴリズムモデルは実施例１に記載のビデオデータの処理方法に用いられる。
【００４４】
具体的には、本実施例２によるビデオデータの処理方法の実行主体は図１に示すビデオデータの処理装置であるべきである。
【００４５】
本実施形態において、まず、トレーニングすべき深層学習アルゴリズムモデルを構築でき、ただし、ビデオデータに対する処理を容易にするために、該トレーニングすべき深層学習アルゴリズムモデルには少なくとも畳み込みニューラルネットワーク及び多層パーセプトロン構造を含み、実施例１に記載のように、畳み込みニューラルネットワークはビデオデータ及び／又は音楽データの特徴情報を抽出することに用いることができ、多層パーセプトロン構造は予め設定されたタグタイプに基づいて前記特徴情報に対してベクトル次元のマッピングを行い、ビデオデータ及び／又は音楽データのタグベクトルを取得することに用いることができる。
【００４６】
続いて、深層学習アルゴリズムモデルの構築を完了した後、マーキング済みビデオデータ及び／又はマーキング済み音楽データに基づいて前記トレーニングすべき深層学習アルゴリズムモデルをトレーニングし、トレーニング済み深層学習アルゴリズムモデルを取得する。ただし、マーキング済みビデオデータ及び／又はマーキング済み音楽データは手動でマーキングされて得られたものであり、即ち予め設定されたタグ次元及び特徴次元に基づき、手動で採点して対応するマーキング情報を得て、それらのマーキング済みデータを利用し、構築された深層学習アルゴリズムモデルに対するトレーニングを実現でき、それによって得られたトレーニング済み深層学習アルゴリズムモデルは手動マーキングの概念を学習し、処理すべきビデオデータを処理し、対応するタグベクトルを得る。
【００４７】
また、説明すべきものとして、本実施形態で得られたトレーニング済み深層学習アルゴリズムモデルは実施例１における処理すべきビデオデータに対する処理に用いられ、その処理プロセスは実施例１と同様であり、ここでは説明を省略する。
【００４８】
本発明の実施例２によるビデオデータの処理方法は、トレーニングすべき深層学習アルゴリズムモデルを構築し、マーキング済みビデオデータ及び／又はマーキング済み音楽データに基づいて前記トレーニングすべき深層学習アルゴリズムモデルをトレーニングし、トレーニング済み深層学習アルゴリズムモデルを取得し、ただし、トレーニング済み深層学習アルゴリズムモデルは入力した処理すべきビデオデータを処理し、ビデオデータのタグベクトルを取得することに用いられる。それから、予め設定された推薦アルゴリズムを利用して該ビデオデータのタグベクトル及び音楽ライブラリにおける各音楽データのタグベクトルを処理し、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定し、各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを背景音楽とし、これにより音楽ライブラリでビデオデータの背景音楽を検索するデータ処理効率を効果的に向上させ、人的コストを低減する。
【００４９】
図４は、本発明の実施例３によるビデオデータの処理装置の構造模式図であり、図４に示すように、該ビデオデータの処理装置は、
予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得し、さらに音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定するための第１処理モジュール１０と、
各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを出力するための出力モジュール１１と、を含む。
【００５０】
選択的に、前記トレーニング済み深層学習アルゴリズムモデルは少なくとも畳み込みニューラルネットワーク及び多層パーセプトロンを含み、第１処理モジュール１０は具体的には、前記処理すべきビデオデータを前記畳み込みニューラルネットワークに入力し、前記ビデオデータの特徴情報を抽出して取得し、前記ビデオデータの特徴情報を前記多層パーセプトロンに入力することにより、前記多層パーセプトロンが予め設定されたタグタイプに基づいて前記特徴情報に対してベクトル次元のマッピングを行い、前記ビデオデータのタグベクトルを取得することに用いられる。
【００５１】
選択的に、第１処理モジュール１０は予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理する前に、さらに、音楽データを収集して取得し、前記トレーニング済み深層学習アルゴリズムモデルを用いて、その収集して取得した音楽データを処理し、前記音楽データのタグベクトルを取得し、前記音楽データ及び対応するタグベクトルを前記音楽ライブラリに記憶することに用いられる。
【００５２】
選択的に、第１処理モジュール１０は具体的には、前記ビデオデータのタグベクトル及び前記音楽ライブラリにおける各音楽データのタグベクトルに応じ、潜在係数アルゴリズムに基づいて前記ビデオデータ及び各音楽データのタグベクトルの類似度を順次取得し、前記各類似度に基づいて前記ビデオデータに対する各音楽データの推薦スコアを確定することに用いられる。
【００５３】
選択的に、出力モジュール１１は具体的には、各推薦スコアに従って前記各音楽データをソートし、推薦スコアが予め設定された閾値より大きい所定数の音楽データを前記ビデオデータにマッチングする音楽データとして出力することに用いられる。
【００５４】
本発明の実施例３によるビデオデータの処理装置は、予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得し、音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定し、各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを背景音楽とする技術的手段を採用することにより、深層学習アルゴリズムモデル及び推薦アルゴリズムを用いることにより、ビデオデータにマッチングする音楽データを迅速に確定でき、これにより音楽ライブラリでビデオデータの背景音楽を検索するデータ処理効率を効果的に向上させ、人的コストを低減する。
【００５５】
図５は、本発明の実施例４によるビデオデータの処理装置の構造模式図であり、図５に示すように、該ビデオデータの処理装置は、
トレーニングすべき深層学習アルゴリズムモデルを構築するための第２処理モジュール２０と、
マーキング済みビデオデータ及び／又はマーキング済み音楽データに基づいて前記トレーニングすべき深層学習アルゴリズムモデルをトレーニングし、前述のいずれか一項に記載のビデオデータの処理方法に適用されるトレーニング済み深層学習アルゴリズムモデルを取得するための第３処理モジュール２１と、を含む。
【００５６】
なお、本実施例の提供するビデオデータの処理装置は具体的には実施例３のビデオデータの処理装置と同一の機器であってもよく、実施例３のビデオデータの処理装置と異なる機器であってもよい。
【００５７】
本発明の実施例４によるビデオデータの処理装置は、予め設定されたトレーニング済み深層学習アルゴリズムモデルに基づいて入力した処理すべきビデオデータを処理し、ビデオデータの各タグにおける信頼性スコアを含む、前記ビデオデータのタグベクトルを取得し、音楽ライブラリにおける各音楽データのタグベクトル及び予め設定された推薦アルゴリズムに基づき、前記ビデオデータのタグベクトルに対する各音楽データのタグベクトルの推薦スコアを確定し、各推薦スコアに基づき、前記ビデオデータにマッチングする音楽データを背景音楽とする技術的手段を採用することにより、深層学習アルゴリズムモデル及び推薦アルゴリズムを用いることにより、ビデオデータにマッチングする音楽データを迅速に確定でき、これにより音楽ライブラリでビデオデータの背景音楽を検索するデータ処理効率を効果的に向上させ、人的コストを低減する。
【００５８】
図６は、本発明の実施例５によるビデオデータの処理装置のハードウェア模式図である。図６に示すように、該ビデオデータの処理装置は、メモリ４１、プロセッサ４２及びメモリ４１に記憶され、且つプロセッサ４２上で実行可能なコンピュータプログラムを含み、プロセッサ４２はコンピュータプログラムを実行する時に上記実施例の方法を実行する。
【００５９】
本発明はさらに読み取り可能な記憶媒体を提供し、端末上で実行されると、端末に上記いずれかの実施例の方法を実行させるプログラムを含む。
【００６０】
当業者であれば理解できるように、上記各方法例の全部又は一部のステップは、プログラム命令に関連するハードウェアによって達成することができる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。該プログラムを実行する時、上記各方法例を含むステップを実行する。前記記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶できる各種の媒体を含む。
【００６１】
最後に説明すべきように、以上の各実施例が、本発明の技術的解決手段を説明することにのみ用いられ、これらに限定されるものではないことである。前述各実施例を参照して本発明について詳細に説明したが、当業者であれば理解すべきように、それは、依然として前述各実施例に記載された技術的解決手段を修正し、又はそのうちの一部又は全部の技術的特徴に対して同等の置換を行うことが可能である。これらの修正又は置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の範囲から逸脱させるものではない。
【図１】
2020017295.tif 000003
【図２】
2020017295.tif 000004
【図３】
2020017295.tif 000005
【図４】
2020017295.tif 000006
【図５】
2020017295.tif 000007
【図６】
2020017295.tif 000008