(57)【要約】  本願は、マルチメディアリソースのマッチング方法、装置、記憶媒体および電子装置を開示する。ここで、当該方法は、ターゲット機器が、マルチメディアリソースセットにおいて第１メディアリソースセットを検索するステップであって、第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、第１ターゲットフレーム画像の特徴が、マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たす特徴である、ステップと、ターゲット機器が、第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定するステップであって、第２ターゲットフレーム画像の特徴が、マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２一致条件を満たす特徴である、ステップと、ターゲット機器が、第２ターゲットフレーム画像のマッチング情報を取得するステップであって、マッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を指示する、ステップとを含む。本願は、関連技術において、マルチメディアリソースのマッチング効率が低いという技術的課題を解決する。【選択図】図１
2021518005.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアリソースのマッチング方法であって、
ターゲット機器が、マルチメディアリソースセットにおいて第１メディアリソースセットを検索するステップであって、前記第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、前記第１ターゲットフレーム画像の特徴が、マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たす特徴である、ステップと、
前記ターゲット機器が、前記第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定するステップであって、前記第２ターゲットフレーム画像の特徴が、前記マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２一致条件を満たす特徴である、ステップと、
前記ターゲット機器が、前記第２ターゲットフレーム画像のマッチング情報を取得するステップであって、前記マッチング情報は、ターゲットメディアリソースにおける前記第２ターゲットフレーム画像の総持続時間および再生時間を指示し、前記ターゲットメディアリソースは、前記第２ターゲットフレーム画像が配置されているメディアリソースである、ステップと、
を含む、マルチメディアリソースのマッチング方法。
【請求項２】
前記ターゲット機器が、前記マルチメディアリソースセットにおいて前記第１メディアリソースセットを検索する前記ステップは、
前記ターゲット機器が、前記マルチメディアリソースセットにおけるマルチメディアリソースのフレーム画像から前記ターゲット条件を満たす前記第１ターゲットフレーム画像を決定するステップと、
前記ターゲット機器が、前記第１ターゲットフレーム画像が属する第１マルチメディアリソースを取得するステップであって、前記第１メディアリソースセットは前記第１マルチメディアリソースを含む、ステップと、
を含む、請求項１に記載のマルチメディアリソースのマッチング方法。
【請求項３】
前記ターゲット機器が、前記マルチメディアリソースセットにおけるマルチメディアリソースのフレーム画像から前記ターゲット条件を満たす前記第１ターゲットフレーム画像を決定する前記ステップは、
前記ターゲット機器が、前記マッチングの対象となるマルチメディアリソースのフレーム画像から第１特徴を抽出するステップと、
前記ターゲット機器が、対応関係を有する特徴とフレーム画像セットから、前記第１特徴に対応するターゲットフレーム画像セットを取得するステップであって、前記ターゲットフレーム画像セットは、前記第１メディアリソースセットのマルチメディアリソースのうち、前記第１特徴を有するフレーム画像を含み、前記ターゲットフレーム画像セットにおけるフレーム画像の特徴が、前記マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ前記第１一致条件を満たす特徴である、ステップと、
前記ターゲット機器が、前記ターゲットフレーム画像セットにおけるフレーム画像が属する第２マルチメディアリソースを取得するステップと、
前記ターゲット機器が、前記第２マルチメディアリソースのうち、前記第１特徴を有する連続するフレーム画像の数を取得するステップと、
前記ターゲット機器が、前記第１特徴を有する連続するフレーム画像の数がターゲット数の閾値範囲内にある、前記第２マルチメディアリソースにおける、前記第１特徴を有するフレーム画像を、前記ターゲット条件を満たす前記第１ターゲットフレーム画像として決定するステップと、
前記ターゲット機器が、前記ターゲット条件を満たす前記第１ターゲットフレーム画像が配置されているメディアリソースを前記第１メディアリソースセットとして決定するステップと、
を含む、請求項２に記載のマルチメディアリソースのマッチング方法。
【請求項４】
前記ターゲット機器が、前記マッチングの対象となるマルチメディアリソースのフレーム画像から前記第１特徴を抽出する前記ステップは、
前記ターゲット機器が、複数のマルチメディアリソースサンプルおよび類似度データを使用して分類ネットワークモデルをトレーニングして、ターゲット分類ネットワークモデルを取得するステップであって、前記類似度データは、前記複数のマルチメディアリソースサンプル間の類似度を指示するデータであり、前記分類ネットワークモデルの損失関数は、コントラスト損失関数に設定され、前記ターゲット分類ネットワークモデルの入力パラメータは、マルチメディアリソースのフレーム画像であり、前記ターゲット分類ネットワークモデルの出力パラメータは、前記マルチメディアリソースのフレーム画像に対応する特徴である、ステップと、
前記ターゲット機器が、前記マッチングの対象となるマルチメディアリソースのフレーム画像を前記ターゲット分類ネットワークモデルに入力して、前記ターゲット分類ネットワークモデルによって出力される前記第１特徴を取得するステップと、
を含む、請求項３に記載のマルチメディアリソースのマッチング方法。
【請求項５】
前記ターゲット機器が、前記第１ターゲットフレーム画像において前記第２ターゲットフレーム画像を決定する前記ステップは、
前記ターゲット機器が、前記第１ターゲットフレーム画像から第２特徴を抽出し、前記マッチングの対象となるマルチメディアリソースのフレーム画像から第３特徴を抽出するステップと、
前記ターゲット機器が、前記第１ターゲットフレーム画像と前記マッチングの対象となるマルチメディアリソースのフレーム画像との間の対応関係を取得するステップと、
前記ターゲット機器が、前記対応関係を有する、前記第１ターゲットフレーム画像の前記第２特徴と前記マッチングの対象となるマルチメディアリソースのフレーム画像の前記第３特徴における、一致する特徴の数および一致しない特徴の数を取得するステップと、
前記ターゲット機器が、前記一致する特徴の数と前記一致しない特徴の数の比率を取得するステップと、
前記ターゲット機器が、前記比率が第１比率範囲内にある前記第１ターゲットフレーム画像を前記第２ターゲットフレーム画像として決定するステップであって、前記比率が前記第１比率範囲内にあるフレーム画像は、特徴が前記マッチングの対象となるマルチメディアリソースのフレーム画像の特徴とマッチングし、且つ第２一致条件を満たすものであるフレーム画像である、ステップと、
を含む、請求項１に記載のマルチメディアリソースのマッチング方法。
【請求項６】
前記ターゲット機器が、前記第２ターゲットフレーム画像のマッチング情報を取得する前記ステップは、
前記ターゲット機器が、前記第２ターゲットフレーム画像が配置されているターゲットメディアリソースを取得するステップと、
前記ターゲット機器が、前記ターゲットメディアリソースにおける各ターゲットメディアリソースに含まれる前記第２ターゲットフレーム画像の数および前記各ターゲットメディアリソースのフレームレート値を決定するステップであって、前記フレームレート値は、前記ターゲットメディアリソースごとに１秒間に再生されるフレーム画像の数を指示する、ステップと、
前記ターゲット機器が、前記各ターゲットメディアリソースに含まれる前記第２ターゲットフレーム画像の数と前記各ターゲットメディアリソースのフレームレート値の積を前記各ターゲットメディアリソースに対応する前記総持続時間として決定し、前記各ターゲットメディアリソースにおける、前記各ターゲットメディアリソースに含まれる第２ターゲットフレーム画像の再生時点を前記各ターゲットメディアリソースに対応する前記再生時間として決定するステップと、
を含む、請求項１に記載のマルチメディアリソースのマッチング方法。
【請求項７】
前記ターゲット機器が前記第２ターゲットフレーム画像のマッチング情報を取得した後、当該方法は、
前記ターゲット機器が、前記総持続時間と前記ターゲットメディアリソースの持続時間の比率を取得するステップと、
前記ターゲット機器が、前記総持続時間と前記ターゲットメディアリソースの持続時間の比率が第２比率範囲内にある場合に、前記マッチングの対象となるマルチメディアリソースが前記ターゲットメディアリソースの著作権を侵害したと決定するステップであって、前記ターゲットメディアリソースは、著作権を有するマルチメディアリソースである、ステップと、
をさらに含む、請求項６に記載のマルチメディアリソースのマッチング方法。
【請求項８】
マルチメディアリソースのマッチング装置であって、
１つまたは複数のプロセッサ、およびプログラムユニットを記憶する１つまたは複数のメモリを含み、前記プログラムユニットは前記プロセッサによって実行され、前記プログラムユニットは、
マルチメディアリソースセットにおいて第１メディアリソースセットを検索するように構成される検索モジュールであって、前記第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、前記第１ターゲットフレーム画像の特徴が、マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たす特徴である、検索モジュールと、
前記第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定するように構成される第１決定モジュールであって、前記第２ターゲットフレーム画像の特徴が、前記マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２一致条件を満たす特徴である、第１決定モジュールと、
前記第２ターゲットフレーム画像のマッチング情報を取得するように構成される第１取得モジュールであって、前記マッチング情報は、ターゲットメディアリソースにおける前記第２ターゲットフレーム画像の総持続時間および再生時間を指示し、前記ターゲットメディアリソースは、前記第２ターゲットフレーム画像が配置されているメディアリソースである、第１取得モジュールと、
を含む、マルチメディアリソースのマッチング装置。
【請求項９】
前記検索モジュールは、
前記マルチメディアリソースセットにおけるマルチメディアリソースのフレーム画像から前記ターゲット条件を満たす前記第１ターゲットフレーム画像を決定するように構成される第１決定ユニットと、
前記第１ターゲットフレーム画像が属する第１マルチメディアリソースを取得するように構成される第１取得ユニットであって、前記第１メディアリソースセットは前記第１マルチメディアリソースを含む、第１取得ユニットと、
を含む、請求項８に記載のマルチメディアリソースのマッチング装置。
【請求項１０】
前記第１決定モジュールは、
前記第１ターゲットフレーム画像から第２特徴を抽出し、前記マッチングの対象となるマルチメディアリソースのフレーム画像から第３特徴を抽出し、
前記第１ターゲットフレーム画像と前記マッチングの対象となるマルチメディアリソースのフレーム画像との間の対応関係を取得し、
前記対応関係を有する前記第１ターゲットフレーム画像の前記第２特徴と前記マッチングの対象となるマルチメディアリソースのフレーム画像の前記第３特徴における、一致する特徴の数および一致しない特徴の数を取得し、
前記一致する特徴の数と前記一致しない特徴の数の比率を取得し、
前記比率が第１比率範囲内にある前記第１ターゲットフレーム画像を前記第２ターゲットフレーム画像として決定し、前記比率が前記第１比率範囲内にあるフレーム画像は、特徴が前記マッチングの対象となるマルチメディアリソースのフレーム画像の特徴とマッチングし、且つ第２一致条件を満たすものであるフレーム画像であり、
前記ターゲット条件を満たす前記第１ターゲットフレーム画像が配置されているメディアリソースを前記第１メディアリソースセットとして決定する、
ように構成される、請求項８に記載のマルチメディアリソースのマッチング装置。
【請求項１１】
前記第１取得モジュールは、
前記第２ターゲットフレーム画像が配置されているターゲットメディアリソースを取得するように構成される第２取得ユニットと、
前記ターゲットメディアリソースにおける各ターゲットメディアリソースに含まれる前記第２ターゲットフレーム画像の数および前記各ターゲットメディアリソースのフレームレート値を決定するように構成される第２決定ユニットであって、前記フレームレート値は、前記ターゲットメディアリソースごとに１秒間に再生されるフレーム画像の数を指示する、第２決定ユニットと、
前記各ターゲットメディアリソースに含まれる前記第２ターゲットフレーム画像の数と前記各ターゲットメディアリソースのフレームレート値の積を前記各ターゲットメディアリソースに対応する前記総持続時間として決定し、前記各ターゲットメディアリソースにおける、前記各ターゲットメディアリソースに含まれる第２ターゲットフレーム画像の再生時点を前記各ターゲットメディアリソースに対応する前記再生時間として決定するように構成される第３決定ユニットと、
を含む、請求項８に記載のマルチメディアリソースのマッチング装置。
【請求項１２】
当該装置は、
前記総持続時間と前記ターゲットメディアリソースの持続時間の比率を取得するように構成される第２取得モジュールと、
前記総持続時間と前記ターゲットメディアリソースの持続時間の比率が第２比率範囲内にある場合に、前記マッチングの対象となるマルチメディアリソースが前記ターゲットメディアリソースの著作権を侵害したと決定するように構成される第２決定モジュールであって、前記ターゲットメディアリソースは、著作権を有するマルチメディアリソースである、第２決定モジュールと、
をさらに含む、請求項８に記載のマルチメディアリソースのマッチング装置。
【請求項１３】
コンピュータプログラムであって、
実行されるときに請求項１ないし７のいずれか一項に記載の方法を実行するように構成される、コンピュータプログラム。
【請求項１４】
電子装置であって、
メモリおよびプロセッサを含み、前記メモリは、コンピュータプログラムを記憶し、前記プロセッサは、前記コンピュータプログラムを介して、請求項１ないし７のいずれか一項に記載の方法を実行するように構成される、電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年０４月１３日に中国特許局に提出された、出願番号がＣＮ２０１８１０３３３８０５６であり、発明の名称が「マルチメディアリソースのマッチング方法、装置、記憶媒体および電子装置」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれる。
【０００２】
本願は、コンピュータ分野、具体的に、マルチメディアリソースのマッチング方法、装置、記憶媒体および電子装置に関するものである。
【背景技術】
【０００３】
コンピュータおよびネットワーク技術の急速な発展に伴い、人々はネットワーク上でますます多くのマルチメディアリソースにアクセスできる。マルチメディアリソースの提供プラットフォームは、マルチメディアリソースに対して後続の処理を実行するために、時々マルチメディアリソースをマッチングする必要がある場合がある。しかしながら、マルチメディアリソースの現在のマッチング方式の精度とマッチング効率は低い。マルチメディアリソースを高い精度と効率でマッチングする方法は、マルチメディアリソース処理効率を向上させるための鍵となっている。
【０００４】
上述の課題について、効果的な技術案がまだ提案されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願実施例は、少なくとも関連技術におけるマルチメディアリソースのマッチング効率が低いという技術的課題を解決するために、マルチメディアリソースのマッチング方法、装置、記憶媒体および電子装置を開示する。
【課題を解決するための手段】
【０００６】
本願実施例の一態様によれば、マルチメディアリソースのマッチング方法を開示し、当該方法は、マルチメディアリソースセットにおいて第１メディアリソースセットを検索するステップであって、前記第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、前記第１ターゲットフレーム画像の特徴が、マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たす、ステップと、前記第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定するステップであって、前記第２ターゲットフレーム画像の特徴が、前記マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２一致条件を満たす、ステップと、前記第２ターゲットフレーム画像のマッチング情報を取得するステップであって、前記マッチング情報は、ターゲットメディアリソースにおける前記第２ターゲットフレーム画像の総持続時間および再生時間を指示し、前記ターゲットメディアリソースは、第２ターゲットフレーム画像が配置されているメディアリソースである、ステップとを含む。
【０００７】
例示的に、本実施例において、前記マルチメディアリソースのマッチング方法はターゲット機器が実行する。
【０００８】
例示的に、本実施例において、前記ターゲット機器は、端末機器またはサーバ機器を備える。
【０００９】
本願実施例の別の態様によれば、マルチメディアリソースのマッチング装置をさらに開示し、前記装置は、マルチメディアリソースセットにおいて第１メディアリソースセットを検索するように構成される検索モジュールであって、前記第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、前記第１ターゲットフレーム画像の特徴が、マッチングの対象となるマルチメディアリソースのフレーム画像の特徴とマッチングし、且つ第１一致条件を満たす、検索モジュールと、前記第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定するように構成される第１決定モジュールであって、前記第２ターゲットフレーム画像の特徴が、前記マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２一致条件を満たす、第１決定モジュールと、前記第２ターゲットフレーム画像のマッチング情報を取得するように構成される第１取得モジュールであって、前記マッチング情報は、ターゲットメディアリソースにおける前記第２ターゲットフレーム画像の総持続時間および再生時間を指示し、前記ターゲットメディアリソースは、第２ターゲットフレーム画像が配置されているメディアリソースである、第１取得モジュールとを含む。
【００１０】
本願実施例の別の態様によれば、記憶媒体をさらに開示し、前記記憶媒体はコンピュータプログラムを記憶し、ここで、前記コンピュータプログラムは、実行されるときに上述のいずれか１つに記載の方法を実行するように構成される。
【００１１】
本願実施例の別の態様によれば、電子装置をさらに開示し、前記電子装置は、メモリおよびプロセッサを含み、前記メモリは、コンピュータプログラムを記憶し、前記プロセッサは、前記コンピュータプログラムを介して、上述のいずれか１つに記載の方法を実行するように構成される。
【発明の効果】
【００１２】
本願実施例において、先ず、マルチメディアリソースセットから、含まれる第１ターゲットフレーム画像の特徴が、マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし且つ第１一致条件を満たし、さらに、これらの第１ターゲットフレーム画像がターゲット条件を満たすメディアリソースを検索し、それにより、リソースライブラリのうち、マッチングの対象となるマルチメディアリソースと類似するメディアリソースを見つけて、第１メディアリソースセットを構成し、次に、第１メディアリソースセットにおけるメディアリソースの第１ターゲットフレーム画像から、その特徴が、マッチングの対象となるマルチメディアリソースのフレーム画像における特徴とマッチングし且つ第２一致条件を満たすものである、第２ターゲットフレーム画像を決定し、第２ターゲットフレーム画像のマッチング情報を取得し、それにより、マッチングの対象となるマルチメディアリソースと類似するマルチメディアリソースから類似度のより高いマルチメディアリソースを選別して、特定のマッチング情報を取得して、マルチメディアリソースのマッチング効率を向上させるという技術的効果を実現するため、関連技術におけるマルチメディアリソースのマッチング効率が低いという技術的課題を解決する。
【図面の簡単な説明】
【００１３】
ここで説明する図面は本願を一層理解させるためのものであり、本願の一部を構成し、本願の例示的な実施例及びその説明は本願を解釈するもので、本願を不適切に限定するものではない。
【図１】本願実施例に係る例示的なマルチメディアリソースのマッチング方法の概略図である。
【図２】本願実施例に係る例示的なマルチメディアリソースのマッチング方法の適用環境の概略図である。
【図３】本願の例示的な実施形態に係る例示的なマルチメディアリソースのマッチング方法の概略図である。
【図４】本願の例示的な実施形態に係る例示的なマルチメディアリソースのマッチング方法の概略図である。
【図５】本願実施例に係る例示的なマルチメディアリソースのマッチング装置の概略図である。
【図６】本願実施例に係る例示的なマルチメディアリソースのマッチング方法の適用シナリオの概略図である。
【図７】本願実施例に係る例示的な電子装置の概略図である。
【発明を実施するための形態】
【００１４】
当業者が本願の技術案を一層簡単に理解できるようにするために、以下、本願実施例の図面を結合して、本願実施例の技術案を明確且つ完全に説明し、明らかに、説明される実施例は、単に本願実施例の一部であり、実施例の全てではない。本願実施例に基づき、当業者が創造性のある労働を必要とせずに得られる他の実施例の全ては、本願の保護範囲に含まれるべきである。
【００１５】
本願の明細書、特許請求の範囲及び上述の添付図面中の「第１」、「第２」等の用語は、特定の順番または前後順番を記述するために使用される必要がなく、類似する対象を区別するものである。このように使用されるデータは、本明細書で説明される本願実施例が本明細書で図示されまたは説明されるもの以外の順序で実施できるために、適切な場合に交換できることを理解されたい。また、「含む」、「有する」及びこれらの任意の変形の用語は、非排他的包含を網羅することが意図され、例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品またはデバイスは、明確に列挙されたそれらのステップまたはユニットに必ずしも限定されず、明確に列挙されない他のステップまたはユニット、またはこれらのプロセス、方法、製品またはデバイスに固有の他のステップまたはユニットを含み得る。
【００１６】
本願実施例の一態様によれば、マルチメディアリソースのマッチング方法を開示し、図１に示されたように、当該方法は、次のステップを含む。
【００１７】
ステップＳ１０２において、ターゲット機器は、マルチメディアリソースセットにおいて第１メディアリソースセットを検索し、ここで、第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、第１ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たす。
【００１８】
ステップＳ１０４において、ターゲット機器は、第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定し、ここで、第２ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２一致条件を満たす。
【００１９】
ステップＳ１０６において、ターゲット機器は、第２ターゲットフレーム画像のマッチング情報を取得し、ここで、マッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を指示し、ターゲットメディアリソースは、第２ターゲットフレーム画像が配置されているメディアリソースである。
【００２０】
例示的に、本実施例において、上述のマルチメディアリソースのマッチング方法は、図２に示されたターゲット機器２０２で構成されるハードウェア環境に適用することができる。図２に示されたように、ターゲット機器２０２は、マルチメディアリソースセットにおいて第１メディアリソースセットを検索し、ここで、第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、第１ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たす。第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定し、ここで、第２ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像の特徴とマッチングし、且つ第２一致条件を満たす。第２ターゲットフレーム画像のマッチング情報を取得し、ここで、マッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を指示する。
【００２１】
例示的に、本実施例において、上述のターゲット機器２０２は、端末機器であってもよいが、これに限定されず、または、サーバ機器であってもよいが、これに限定されない。例えば、携帯電話、タブレットコンピュータ、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ、ＰＣと略称）など、マルチメディアを実装してサポートできるクライアントの端末機器であってもよい。または、マルチメディアをサポートするクライアントに対応するサーバであってもよい。上記したものは、例示的なものに過ぎず、本実施例ではこれらを限定しない。
【００２２】
例示的に、本実施例において、上述のマルチメディアリソースのマッチング方法は、マルチメディアリソースをマッチングするシナリオに適用することができるが、これに限定されない。ここで、上述のクライアントは、例えば、オンライン教育アプリケーション、インスタントメッセージングアプリケーション、コミュニティスペースアプリケーション、ゲームアプリケーション、ショッピングアプリケーション、ブラウザアプリケーション、金融アプリケーション、マルチメディアアプリケーション（ビデオアプリケーション、オーディオアプリケーションなど）、ライブストリーミングアプリケーションなどのさまざまなタイプのアプリケーションであり得るが、これらに限定されない。例示的に、マルチメディアリソースのマッチング効率を向上させるために、上述のビデオアプリケーションでビデオリソースをマッチングするシナリオに適用することができるが、これに限定されず、または、インスタントメッセージングアプリケーションでオーディオリソースをマッチングするシナリオにも適用することができるが、これに限定されない。上記したものは、例示的なものに過ぎず、本実施例ではこれらを限定しない。
【００２３】
例示的に、本実施例において、上述のマルチメディアリソースは、ビデオリソース（ビデオファイル、ビデオストリームなど）、オーディオリソース（オーディオファイル、オーディオストリームなど）、イメージリソース（動画、音声付きイメージなど）、テキストリソースなどであり得るが、これらに限定されない。
【００２４】
例示的に、本実施例において、上述の第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像が満たすべきターゲット条件は、２つのマルチメディアリソースの類似度を決定するために使用される条件であり得るが、これに限定されない。例えば、１つのマルチメディアリソースにおいて、第１ターゲット画像の数が第１数より多いこと、１つのマルチメディアリソースにおいて、当該マルチメディアリソースにおける第１ターゲット画像の比率が第１比率より高いこと、１つのマルチメディアリソースにおいて、時間的に連続する第１ターゲット画像の数が第２数より多いこと、当該マルチメディアリソースにおける上述の連続する第１ターゲット画像の数の比率が第２比率より高いことなどである。
【００２５】
例示的に、本実施例において、第１ターゲットフレーム画像の特徴が満たすべき第１一致条件は、第１ターゲットフレーム画像が、マッチング対象のマルチメディアリソースのフレーム画像と同じ第１タイプの特徴を有することであり得るが、これに限定されない。例えば、第１タイプの特徴は深層学習により抽出した特徴であり得るなど、各フレーム画像から１つまたは複数の当該第１タイプの特徴を抽出することができ、２つのフレーム画像からそれぞれ抽出された第１タイプの特徴における全部または一部の特徴が同じである場合、２つのフレーム画像が類似すると決定することができる。
【００２６】
例示的に、本実施例において、第２ターゲットフレーム画像の特徴と、マッチング対象のマルチメディアリソースのフレーム画像の特徴が満たすべき第２一致条件は、第２ターゲットフレーム画像から抽出された第２タイプの特徴と、マッチング対象のマルチメディアリソースのフレーム画像から抽出された第２タイプの特徴とのうち、同じまたは類似する特徴の数がターゲット値より高いこと、または両方の特徴の総数に対する当該同じまたは類似する特徴の数の比率が特定値より高いことであってもよいが、これらに限定されない。例えば、特徴抽出アルゴリズム（例えば、スケール不変特徴変換（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ、ｓｉｆｔと略称）アルゴリズム、加速ロバスト特徴（ｓｐｅｅｄｅｄ  ｕｐ  ｒｏｂｕｓｔ  ｆｅａｔｕｒｅｓ、ｓｕｒｆと略称）アルゴリズムなど）を介して１つのフレーム画像から第２タイプの特徴を抽出することができ、２つのフレーム画像における同じまたは類似する第２タイプの特徴が特定の数に達すると、２つのフレーム画像が同じフレーム画像であると見なされることができる。
【００２７】
例示的に、本実施例において、第２ターゲットフレーム画像のマッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を含み得るが、これに限定されない。または、マッチング情報は、ターゲットメディアリソースと、マッチング対象のメディアリソースとの間の一致するセグメントのスケーリング関係、ターゲットメディアリソースの持続時間に対する、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間のパーセンテージなども含み得るが、これに限定されない。
【００２８】
例示的に、本実施例において、第２ターゲットフレーム画像のマッチング情報を取得した後に、これらのマッチング情報を使用して、マッチング対象のマルチメディアリソースを処理することができる。例えば、当該リソースが著作権を侵害したかどうかを判定したり、マルチメディアリソースをプッシュしたり、インターフェイスのマルチメディアリソースをタイプセットしたりする。
【００２９】
一例示的な実施形態において、ビデオリソースを例として、図３に示されたように、マッチングするビデオリソース（ＦＴ）を深層学習ネットワーク（例えば、ビジュアルジオメトリグループネットワーク（Ｖｉｓｕａｌ  Ｇｅｏｍｅｔｒｙ  Ｇｒｏｕｐ  Ｎｅｔ、ＶＧＧＮｅｔと略称）など）に入力し、ＦＴにおける各フレームのＶＧＧ特徴を抽出して、これらのＶＧＧ特徴をマルチメディアリソースセットにおけるマルチメディアリソースのフレーム画像のＶＧＧ特徴とマッチングさせ、マルチメディアリソースセットのうち、これらのＶＧＧ特徴を有する第１ターゲットフレーム画像を選別して、これらの第１ターゲットフレーム画像が配置されるマルチメディアリソースを第１メディアリソースセットにおけるメディアリソースとして決定する。次に、マッチング対象のマルチメディアリソースのフレーム画像からｓｉｆｔ特徴を抽出し、マッチング対象のマルチメディアリソースのフレーム画像のｓｉｆｔ特徴は第１ターゲットフレーム画像のｓｉｆｔ特徴とマッチングされ、第１ターゲットフレーム画像のうち、マッチングを成功したフレーム画像を第２ターゲットフレーム画像として決定し、第２ターゲットフレーム画像のマッチング情報を取得する。
【００３０】
上記のステップを通じて、先ず、マルチメディアリソースセットから、含まれた第１ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし且つ第１一致条件を満たし、さらに、これらの第１ターゲットフレーム画像がターゲット条件を満たすものであるメディアリソースを検索し、それにより、リソースライブラリのうち、マッチング対象のマルチメディアリソースと類似するメディアリソースを見つけて、第１メディアリソースセットを構成し、次に、第１メディアリソースセットにおけるメディアリソースの第１ターゲットフレーム画像から、特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし且つ第２一致条件を満たすものである第２ターゲットフレーム画像を決定し、第２ターゲットフレーム画像のマッチング情報を取得し、それにより、マッチング対象のマルチメディアリソースと類似するマルチメディアリソースから類似度のより高いマルチメディアリソースを選別して、特定のマッチング情報を取得し、それにより、マルチメディアリソースのマッチング効率を向上させるという技術的効果を実現するため、関連技術におけるマルチメディアリソースのマッチング効率が低いという技術的課題を解決することが分かる。
【００３１】
一例示的な技術案として、ターゲット機器が、マルチメディアリソースセットにおいて第１メディアリソースセットを検索するステップは、次のステップを含む。
【００３２】
ステップＳ１において、ターゲット機器は、マルチメディアリソースセットにおけるマルチメディアリソースのフレーム画像からターゲット条件を満たす第１ターゲットフレーム画像を決定する。
【００３３】
ステップＳ２において、ターゲット機器は、第１ターゲットフレーム画像が属する第１マルチメディアリソースを取得し、ここで、第１メディアリソースセットは第１マルチメディアリソースを含む。
【００３４】
例示的に、本実施例において、マルチメディアリソースセットにおける記憶形式は、特徴−フレーム画像ペアの形式であり得るが、これに限定されず、ここで、フレーム画像は、マルチメディアリソース識別子および再生時点の座標の形式で表されることができる。例えば、
2021518005.tif 000003
などである。ここで、
2021518005.tif 000004
および
2021518005.tif 000005
は特徴であり、ｔは時点であり、
2021518005.tif 000006
はビデオのｉｄ番号である。この形式により、第１マルチメディアリソースセットにおけるどのマルチメディアリソースのどのフレーム画像が、マッチング対象のマルチメディアリソースのフレーム画像と同じまたは類似する特徴を有するかを選別することができる。
【００３５】
例示的に、本実施例において、ターゲット条件を満たす第１ターゲットフレーム画像を取得した後、第１ターゲットフレーム画像をマルチメディアリソースに従って集約して、第１ターゲットフレーム画像が属する第１マルチメディアリソースを見つけることができる。それにより、第１メディアリソースセットを取得する。
【００３６】
一例示的な技術案として、ターゲット機器が、マルチメディアリソースセットにおけるマルチメディアリソースのフレーム画像からターゲット条件を満たす第１ターゲットフレーム画像を決定するステップは、次のステップを含む。
【００３７】
ステップＳ１において、ターゲット機器は、マッチング対象のマルチメディアリソースのフレーム画像から第１特徴を抽出する。
【００３８】
ステップＳ２において、ターゲット機器は、対応関係を有する特徴とフレーム画像セットから、第１特徴に対応するターゲットフレーム画像セットを取得し、ここで、ターゲットフレーム画像セットは、第１メディアリソースセットのマルチメディアリソースのうち、第１特徴を有するフレーム画像を含み、ターゲットフレーム画像セットにおけるフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たす。
【００３９】
ステップＳ３において、ターゲット機器は、ターゲットフレーム画像セットにおけるフレーム画像が属する第２マルチメディアリソースを取得する。
【００４０】
ステップＳ４において、ターゲット機器は、第２マルチメディアリソースのうち、第１特徴を有する連続するフレーム画像の数を取得する。
【００４１】
ステップＳ５において、ターゲット機器は、第１特徴を有する連続するフレーム画像の数がターゲット数の閾値範囲内にある、第２マルチメディアリソースにおける、第１特徴を有するフレーム画像を、ターゲット条件を満たす第１ターゲットフレーム画像として決定する。
【００４２】
ステップＳ６において、ターゲット機器は、前記ターゲット条件を満たす前記第１ターゲットフレーム画像が配置されるメディアリソースを前記第１メディアリソースセットとして決定する。
【００４３】
例示的に、本実施例において、以下の方式により、マッチング対象のマルチメディアリソースのフレーム画像の第１特徴を抽出することができる。複数のマルチメディアリソースサンプルおよび類似度データを使用して分類ネットワークモデルをトレーニングして、ターゲット分類ネットワークモデルを取得し、ここで、類似度データは、複数のマルチメディアリソースサンプル間の類似度を指示するデータであり、分類ネットワークモデルの損失関数をコントラスト損失関数に設定し、ターゲット分類ネットワークモデルの入力パラメータはマルチメディアリソースのフレーム画像であり、ターゲット分類ネットワークモデルの出力パラメータは、マルチメディアリソースのフレーム画像に対応する特徴であり、マッチング対象のマルチメディアリソースのフレーム画像をターゲット分類ネットワークモデルに入力して、ターゲット分類ネットワークモデルによって出力される前記第１特徴を取得する。
【００４４】
例示的に、本実施例において、上述の分類ネットワークモデルは、ＶＧＧネットワーク、グーグルネットワーク（ＧｏｏｇｌｅＮｅｔ）、残差ネットワーク（Ｒｅｓｎｅｔ）などを含み得るが、これらに限定されない。
【００４５】
一例示的な技術案として、ターゲット機器が、第１ターゲットフレーム画像における第２ターゲットフレーム画像を決定することは、次のステップを含む。
【００４６】
ステップＳ１において、ターゲット機器は、第１ターゲットフレーム画像から第２特徴を抽出し、マッチング対象のマルチメディアリソースのフレーム画像から第３特徴を抽出する。
【００４７】
ステップＳ２において、ターゲット機器は、第１ターゲットフレーム画像と、マッチング対象のマルチメディアリソースのフレーム画像との間の対応関係を取得する。
【００４８】
ステップＳ３において、ターゲット機器は、対応関係を有する第１ターゲットフレーム画像の第２特徴と、マッチング対象のマルチメディアリソースのフレーム画像の第３特徴における、一致する特徴の数および一致しない特徴の数を取得する。
【００４９】
ステップＳ４において、ターゲット機器は、一致する特徴の数と、一致しない特徴の数の比率を取得する。
【００５０】
ステップＳ５において、ターゲット機器は、比率が第１比率範囲内にある第１ターゲットフレーム画像を第２ターゲットフレーム画像として決定し、ここで、比率が第１比率範囲内にあるフレーム画像は、特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし且つ第２一致条件を満たすものであるフレーム画像である。
【００５１】
一例示的な実施形態において、図４に示されたように、対応関係を有する第１ターゲットフレーム画像の第２特徴は、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１０を含み、マッチング対象のマルチメディアリソースのフレーム画像の第３特徴は、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１１を含み、この場合、両者間の一致する特徴はＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９であり、一致する特徴の数は９であり、両者間の一致しない特徴は、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１０、Ｓ１１であり、一致しない特徴の数は１１であるため、一致する特徴の数と、一致しない特徴の数の比率は９／１１であり、第１比率範囲が３／４より大きいと仮定すると、当該比率である９／１１は３／４より大きいため、当該第１ターゲットフレーム画像を第２ターゲットフレーム画像として決定することができる。
【００５２】
一例示的な技術案として、ターゲット機器が、第２ターゲットフレーム画像のマッチング情報を取得するステップは、以下のステップを含む。
【００５３】
ステップＳ１において、ターゲット機器は、第２ターゲットフレーム画像が配置されるターゲットメディアリソースを取得する。
【００５４】
ステップＳ２において、ターゲット機器は、ターゲットメディアリソースにおける各ターゲットメディアリソースに含まれる第２ターゲットフレーム画像の数および各ターゲットメディアリソースのフレームレート値を決定し、フレームレート値は、ターゲットメディアリソースごとに１秒間に再生されるフレーム画像の数を指示する。
【００５５】
ステップＳ３において、ターゲット機器は、各ターゲットメディアリソースに含まれる第２ターゲットフレーム画像の数と各ターゲットメディアリソースのフレームレート値の積を各ターゲットメディアリソースに対応する前記総持続時間として決定し、各ターゲットメディアリソースにおける、各ターゲットメディアリソースに含まれる第２ターゲットフレーム画像の再生時点を各ターゲットメディアリソースに対応する前記再生時間として決定する。
【００５６】
例示的に、本実施例において、１つのマルチメディアリソースにおける第２ターゲットフレーム画像の数および当該マルチメディアリソースのフレームレートを介して、マッチング対象のマルチメディアリソースが当該マルチメディアリソースと一致する総持続時間を決定することができるが、これに限定されない。
【００５７】
例示的に、本実施例において、対応関係を有する第２ターゲットフレーム画像と、マッチング対象のフレーム画像の時点との間のマッピング関係を構築することにより、マルチメディアリソースにおける一致する部分のスケーリング関係を決定することもできるが、これに限定されない。例えば、
2021518005.tif 000007
である時点マッピング関係（ｔ１は、入力されるビデオの時点であり、ｔ２は、マッチング対象のビデオの時点である）を構築することにより、ビデオマッチングの時間領域のスケーリング関係を推算することができる。最小二乗法（Ｌｅａｓｔ  ｓｑｕａｒｅｓ  ｅｒｒｏｒ）を採用してビデオの時間領域変形の情報を推定する。
【００５８】
一例示的な技術案として、ターゲット機器が第２ターゲットフレーム画像のマッチング情報を取得した後、次のステップをさらに含む。
【００５９】
ステップＳ１において、ターゲット機器は、総持続時間とターゲットメディアリソースの持続時間の比率を取得する。
【００６０】
ステップＳ２において、ターゲット機器は、総持続時間とターゲットメディアリソースの持続時間の比率が第２比率範囲内にある場合、マッチング対象のマルチメディアリソースがターゲットメディアリソースの著作権を侵害したと決定し、ここで、ターゲットメディアリソースは、著作権を有するマルチメディアリソースである。
【００６１】
例示的に、本実施例において、取得したマッチング情報に従って、マッチング対象のマルチメディアリソースに対して著作権侵害の判定を実行することができる。例えば、マッチング対象のビデオがビデオライブラリにおける特定のビデオと一致する総持続時間が当該ビデオの総持続時間の５０％を超えると、マッチング対象のビデオが当該ビデオの著作権を侵害したと決定することができる。
【００６２】
留意されたいことは、上述した各方法の実施例について、説明を簡単にするために、全て一連の動作の組み合わせとして表現したが、本願によれば、特定のステップは他の順番で、または同時に実行できるため、当業者は、本願が記述された動作の順番に限定されないことを知っているはずである。次に、当業者は、明細書で説明された実施例のすべては好ましい実施例に属し、関する動作及びモジュールは本願によって必ずしも必要とされないことも知っているはずである。
【００６３】
以上の実施形態による説明を通じて、当業者は、上記の実施例に係る方法が、ソフトウェアと必要な汎用ハードウェアプラットフォームの形で実現できることはもちろん、ハードウェアによって実現することもできることを明確に理解できるが、多くの場合、前者がより好ましい実施形態である。このような理解に基づき、本願の技術的解決策の実質的な部分または関連技術に対する貢献度のある部分は、ソフトウェアプロダクトの形に実装することができる。当該コンピュータソフトウェアプロダクトは、記録媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなど）に記憶され、端末機器（携帯電話、コンピュータ、サーバ、またはネットワーク機器等であり得る）に本願の各実施例に記載の方法を実行させるためのいくつかの命令を含む。
【００６４】
本願実施例の別の態様によれば、上述のマルチメディアリソースのマッチング方法を実施するように構成されるマルチメディアリソースのマッチング装置をさらに開示し、図５に示されたように、当該装置は、
マルチメディアリソースセットにおいて第１メディアリソースセットを検索するように構成される検索モジュール５２であって、第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、第１ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たす、検索モジュール５２と、
第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定するように構成される第１決定モジュール５４であって、第２ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２一致条件を満たす、第１決定モジュール５４と、
第２ターゲットフレーム画像のマッチング情報を取得するように構成される第１取得モジュール５６であって、マッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を指示し、ターゲットメディアリソースは、第２ターゲットフレーム画像が配置されているメディアリソースである、第１取得モジュール５６とを含む。
【００６５】
例示的に、本実施例において、上述のマルチメディアリソースのマッチング装置は、図２に示された、ターゲット機器２０２で構成されたハードウェア環境に適用することができる。図２に示されたように、ターゲット機器２０２は、マルチメディアリソースセットにおいて第１メディアリソースセットを検索し、ここで、第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、第１ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングされ、且つ第１一致条件を満たす。第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定し、ここで、第２ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２一致条件を満たす。第２ターゲットフレーム画像のマッチング情報を取得し、ここで、マッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を指示する。
【００６６】
例示的に、本実施例において、上述のターゲット機器２０２は、端末機器であってもよいが、これに限定されず、または、サーバ機器であってもよいが、これに限定されない。例えば、携帯電話、タブレットコンピュータ、ＰＣコンピュータなど、マルチメディアを実装してサポートできるクライアントの端末機器であってもよい。または、マルチメディアをサポートするクライアントに対応するサーバであってもよい。上記したものは、具現例に過ぎず、本実施例ではこれらを限定しない。
【００６７】
例示的に、本実施例において、上述のマルチメディアリソースのマッチング装置は、マルチメディアリソースをマッチングするシナリオに適用することができるが、これに限定されない。ここで、上述のクライアントは、例えば、オンライン教育アプリケーション、インスタントメッセージングアプリケーション、コミュニティスペースアプリケーション、ゲームアプリケーション、ショッピングアプリケーション、ブラウザアプリケーション、金融アプリケーション、マルチメディアアプリケーション（ビデオアプリケーション、オーディオアプリケーションなど）、ライブストリーミングアプリケーションなどのさまざまなタイプのアプリケーションであり得るが、これらに限定されない。例示的に、マルチメディアリソースのマッチング効率を向上させるために、上述のビデオアプリケーションでビデオリソースをマッチングするシナリオに適用することができるが、これに限定されず、または、インスタントメッセージングアプリケーションでオーディオリソースをマッチングするシナリオにも適用することができるがこれに限定されない。上記したものは、例示的なものに過ぎず、本実施例ではこれらを限定しない。
【００６８】
例示的に、本実施例において、上述のマルチメディアリソースは、ビデオリソース（ビデオファイル、ビデオストリームなど）、オーディオリソース（オーディオファイル、オーディオストリームなど）、イメージリソース（動画、音声付きイメージなど）、テキストリソースなどであり得るが、これらに限定されない。
【００６９】
例示的に、本実施例において、上述の第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像が満たすべきターゲット条件は、２つのマルチメディアリソースの類似度を決定するために使用される条件であり得るが、これに限定されない。例えば、１つのマルチメディアリソースにおいて、第１ターゲット画像の数が第１数より多いこと、１つのマルチメディアリソースにおいて、当該マルチメディアリソースにおける第１ターゲット画像の比率が第１比率より高いこと、１つのマルチメディアリソースにおいて、時間的に連続する第１ターゲット画像の数が第２数より多いこと、当該マルチメディアリソースにおける上述の連続する第１ターゲット画像の数の比率が第２比率より高いことなどである。
【００７０】
例示的に、本実施例において、第１ターゲットフレーム画像の特徴が満たすべき第１一致条件は、第１ターゲットフレーム画像が、マッチング対象のマルチメディアリソースのフレーム画像と同じ第１タイプの特徴を有することであり得るが、これに限定されない。例えば、第１タイプの特徴は深層学習により抽出した特徴であり得るなど、各フレーム画像から１つまたは複数の当該第１タイプの特徴を抽出することができ、２つのフレーム画像からそれぞれ抽出された第１タイプの特徴における全部または一部の特徴が同じである場合、２つのフレーム画像が類似すると決定することができる。
【００７１】
例示的に、本実施例において、第２ターゲットフレーム画像の特徴と、マッチング対象のマルチメディアリソースのフレーム画像の特徴が満たすべき第２一致条件は、第２ターゲットフレーム画像から抽出された第２タイプの特徴と、マッチング対象のマルチメディアリソースのフレーム画像から抽出された第２タイプの特徴とのうち、同じまたは類似する特徴の数がターゲット値より高いこと、または両方の特徴の総数に対する当該同じまたは類似する特徴の数の比率が特定の値より高いことであってもよいが、これらに限定されない。例えば、特徴抽出アルゴリズム（例えば、ｓｉｆｔアルゴリズム、ｓｕｒｆアルゴリズムなど）を介して１つのフレーム画像から第２タイプの特徴を抽出することができ、２つのフレーム画像における同じまたは類似する第２タイプの特徴が特定の数に達すると、２つのフレーム画像が同じフレーム画像であると見なされることができる。
【００７２】
例示的に、本実施例において、第２ターゲットフレーム画像のマッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を含み得るが、これらに限定されない。または、マッチング情報は、ターゲットメディアリソースと、マッチング対象のメディアリソースとの間の一致するセグメントのスケーリング関係、ターゲットメディアリソースの持続時間に対する、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間のパーセンテージなども含み得るが、これらに限定されない。
【００７３】
例示的に、本実施例において、第２ターゲットフレーム画像のマッチング情報を取得した後に、これらのマッチング情報を使用して、マッチング対象のマルチメディアリソースを処理することができる。例えば、当該リソースが著作権を侵害したかどうかを判定したり、マルチメディアリソースをプッシュしたり、インターフェイスのマルチメディアリソースをタイプセットしたりする。
【００７４】
一例示的な実施形態において、ビデオリソースを例として、マッチング対象のビデオリソース（ＦＴ）を深層学習ネットワーク（例えば、ＶＧＧネットワークなど）に入力し、ＦＴの各フレームのＶＧＧ特徴を抽出して、これらのＶＧＧ特徴をマルチメディアリソースセットにおけるマルチメディアリソースのフレーム画像のＶＧＧ特徴とマッチングさせ、マルチメディアリソースセットのうち、これらのＶＧＧ特徴を有する第１ターゲットフレーム画像を選別して、これらの第１ターゲットフレーム画像が配置されているマルチメディアリソースを第１メディアリソースセットにおけるメディアリソースとして決定する。次に、マッチング対象のマルチメディアリソースのフレーム画像からｓｉｆｔ特徴を抽出し、マッチング対象のマルチメディアリソースのフレーム画像のｓｉｆｔ特徴が第１ターゲットフレーム画像のｓｉｆｔ特徴とマッチングされ、第１ターゲットフレーム画像のうち、マッチングを成功したフレーム画像を第２ターゲットフレーム画像として決定し、第２ターゲットフレーム画像のマッチング情報を取得する。
【００７５】
上記の装置を介して、先ず、マルチメディアリソースセットから、含まれた第１ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たし、さらに、これらの第１ターゲットフレーム画像がターゲット条件を満たすものであるメディアリソースを検索し、それにより、リソースライブラリのうち、マッチング対象のマルチメディアリソースと類似するメディアリソースを見つけて、第１メディアリソースセットを構成し、次に、第１メディアリソースセットにおけるメディアリソースの第１ターゲットフレーム画像から、特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし且つ第２一致条件を満たすものである第２ターゲットフレーム画像を決定し、第２ターゲットフレーム画像のマッチング情報を取得し、それにより、マッチング対象のマルチメディアリソースと類似するマルチメディアリソースから類似度のより高いマルチメディアリソースを選別して、特定のマッチング情報を取得し、それにより、マルチメディアリソースのマッチング効率を向上させるという技術的効果を実現するため、関連技術におけるマルチメディアリソースのマッチング効率が低いという技術的課題を解決することが分かる。
【００７６】
一例示的な技術案として、検索モジュールは、
マルチメディアリソースセットにおけるマルチメディアリソースのフレーム画像からターゲット条件を満たす第１ターゲットフレーム画像を決定するように構成される第１決定ユニットと、
第１ターゲットフレーム画像が属する第１マルチメディアリソースを取得するように構成される第１取得ユニットであって、第１メディアリソースセットは第１マルチメディアリソースを含む、第１取得ユニットとを含む。
【００７７】
例示的に、本実施例において、マルチメディアリソースセットにおける記憶形式は、特徴−フレーム画像ペアの形式であり得るが、これに限定されず、ここで、フレーム画像は、マルチメディアリソース識別子および再生時点の座標の形式で表されることができる。例えば、
2021518005.tif 000008
などである。ここで、
2021518005.tif 000009
および
2021518005.tif 000010
は特徴であり、ｔは時点であり、
2021518005.tif 000011
はビデオのｉｄ番号である。この形式により、第１マルチメディアリソースセットにおけるどのマルチメディアリソースのどのフレーム画像が、マッチング対象のマルチメディアリソースのフレーム画像と同じまたは類似する特徴を有するかを選別することができる。
【００７８】
例示的に、本実施例において、ターゲット条件を満たす第１ターゲットフレーム画像を取得した後、第１ターゲットフレーム画像をマルチメディアリソースに従って集約して、第１ターゲットフレーム画像が属する第１マルチメディアリソースを見つけることができる。それにより、第１メディアリソースセットを取得する。
【００７９】
一例示的な技術案として、第１決定ユニットは、
マッチング対象のマルチメディアリソースのフレーム画像から第１特徴を抽出し、
対応関係を有する特徴とフレーム画像セットから、第１特徴に対応するターゲットフレーム画像セットを取得し、ここで、ターゲットフレーム画像セットは、第１メディアリソースセットのマルチメディアリソースのうち、第１特徴を有するフレーム画像を含み、ターゲットフレーム画像セットにおけるフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１一致条件を満たし、
ターゲットフレーム画像セットにおけるフレーム画像が属する第２マルチメディアリソースを取得し、
第２マルチメディアリソースのうち、第１特徴を有する連続するフレーム画像の数を取得し、
第１特徴を有する連続するフレーム画像の数がターゲット数の閾値範囲内にある、第２マルチメディアリソースにおける、第１特徴を有するフレーム画像を、ターゲット条件を満たす第１ターゲットフレーム画像として決定し、
前記ターゲット条件を満たす前記第１ターゲットフレーム画像が配置されるメディアリソースを前記第１メディアリソースセットとして決定するように構成される。
【００８０】
例示的に、本実施例において、第１決定ユニットは、複数のマルチメディアリソースサンプルおよび類似度データを使用して分類ネットワークモデルをトレーニングして、ターゲット分類ネットワークモデルを取得し、ここで、類似度データは、複数のマルチメディアリソースサンプル間の類似度を指示するデータであり、分類ネットワークモデルの損失関数をコントラスト損失関数に設定し、ターゲット分類ネットワークモデルの入力パラメータはマルチメディアリソースのフレーム画像であり、ターゲット分類ネットワークモデルの出力パラメータは、マルチメディアリソースのフレーム画像に対応する特徴であり、マッチング対象のマルチメディアリソースのフレーム画像をターゲット分類ネットワークモデルに入力して、ターゲット分類ネットワークモデルによって出力される前記第１特徴を取得するように構成される。
【００８１】
例示的に、本実施例において、上述の分類ネットワークモデルは、ＶＧＧネットワーク、ＧｏｏｇｌｅＮｅｔネットワーク、Ｒｅｓｎｅｔネットワークなどを含み得るが、これらに限定されない。
【００８２】
一例示的な技術案として、第１決定モジュールは、第１ターゲットフレーム画像から第２特徴を抽出し、マッチング対象のマルチメディアリソースのフレーム画像から第３特徴を抽出し、第１ターゲットフレーム画像と、マッチング対象のマルチメディアリソースのフレーム画像との間の対応関係を取得し、対応関係を有する第１ターゲットフレーム画像の第２特徴と、マッチング対象のマルチメディアリソースのフレーム画像の第３特徴における、一致する特徴の数および一致しない特徴の数を取得し、一致する特徴の数と、一致しない特徴の数の比率を取得し、比率が第１比率範囲内にある第１ターゲットフレーム画像を第２ターゲットフレーム画像として決定するように構成され、ここで、比率が第１比率範囲内にあるフレーム画像は、特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし且つ第２一致条件を満たすものであるフレーム画像である。
【００８３】
一例示的な実施形態において、対応関係を有する第１ターゲットフレーム画像の第２特徴は、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１０を含み、マッチング対象のマルチメディアリソースのフレーム画像の第３特徴は、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１１を含み、この場合、両者間の一致する特徴はＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９であり、一致する特徴の数は９であり、両者間の一致しない特徴は、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１０、Ｓ１１であり、一致しない特徴の数は１１であるため、一致する特徴の数と、一致しない特徴の数の比率は９／１１であり、第１比率範囲が３／４より大きいと仮定すると、当該比率である９／１１は３／４より大きいため、当該第１ターゲットフレーム画像を第２ターゲットフレーム画像として決定することができる。
【００８４】
一例示的な技術案として、第１取得モジュールは、
第２ターゲットフレーム画像が配置されるターゲットメディアリソースを取得するように構成される第２取得ユニットと、
ターゲットメディアリソースにおける各ターゲットメディアリソースに含まれる第２ターゲットフレーム画像の数および各ターゲットメディアリソースのフレームレート値を決定するように構成される第２決定ユニットであって、フレームレート値は、ターゲットメディアリソースごとに１秒間に再生されるフレーム画像の数を指示する、第２決定ユニットと、
各ターゲットメディアリソースに含まれる第２ターゲットフレーム画像の数と各ターゲットメディアリソースのフレームレート値の積を各ターゲットメディアリソースに対応する前記総持続時間として決定し、各ターゲットメディアリソースにおける、各ターゲットメディアリソースに含まれる第２ターゲットフレーム画像の再生時点を各ターゲットメディアリソースに対応する前記再生時間として決定するように構成される第３決定ユニットとを含む。
【００８５】
例示的に、本実施例において、１つのマルチメディアリソースにおける第２ターゲットフレーム画像の数および当該マルチメディアリソースのフレームレートを介して、マッチング対象のマルチメディアリソースが当該マルチメディアリソースと一致する総持続時間を決定することができるが、これに限定されない。
【００８６】
例示的に、本実施例において、対応関係を有する第２ターゲットフレーム画像と、マッチング対象のフレーム画像の時点との間のマッピング関係を構築することにより、マルチメディアリソースにおける一致する部分のスケーリング関係を決定することもできるが、これに限定されない。例えば、
2021518005.tif 000012
である時点マッピング関係（ｔ１は、入力されるビデオの時点であり、ｔ２は、マッチング対象のビデオの時点である）を構築することにより、ビデオマッチングの時間領域のスケーリング関係を推算することができる。最小二乗法（Ｌｅａｓｔ  ｓｑｕａｒｅｓ  ｅｒｒｏｒ）を採用してビデオの時間領域変形の情報を推定する。
【００８７】
一例示的な技術案として、上述の装置は、
総持続時間とターゲットメディアリソースの持続時間の比率を取得するように構成される第２取得モジュールと、
総持続時間とターゲットメディアリソースの持続時間の比率が第２比率範囲内にある場合、マッチング対象のマルチメディアリソースがターゲットメディアリソースの著作権を侵害したと決定するように構成される第２決定モジュールであって、ターゲットメディアリソースは、著作権を有するマルチメディアリソースである、第２決定モジュールとをさらに含む。
【００８８】
例示的に、本実施例において、取得したマッチング情報に従って、マッチング対象のマルチメディアリソースに対して著作権侵害の判定を実行することができる。例えば、マッチング対象のビデオがビデオライブラリにおける特定のビデオと一致する総持続時間が当該ビデオの総持続時間の５０％を超えると、マッチング対象のビデオが当該ビデオの著作権を侵害したと決定することができる。
【００８９】
本願実施例の適用環境は、上述実施例の適用環境を参照してもよいが、これに限定されず、本実施例では繰り返して説明はしない。本願実施例は、上述のリアルタイム通信の接続方法を実現するために使用される一例示的な応用例を開示する。
【００９０】
一例示的な実施例として、上述のマルチメディアリソースのマッチング方法は、図６に示された、ビデオリソースをマッチングするシナリオに適用することができるが、これに限定されない。このシナリオでは、ビデオのマッチングプロセスは、ＶＧＧのハッシュ特徴のマッチングプロセスおよびｒｏｏｔｓｉｆｔの特徴マッチングプロセスの２つの特徴マッチングのプロセスを含む。先ず、ＶＧＧのハッシュ特徴を使用して、ビデオの類似度マッチング（ＶＧＧのハッシュフィンガープリントデータベースとは、著作権で保護されたビデオの特徴セットを指す）を実行する。ＶＧＧの特徴マッチングプロセスにおいて、類似しない場合、結果を直接に出力する。類似する場合、二回目の校正−−ｒｏｏｔｓｉｆｔの特徴マッチングを実行する。ｒｏｏｔｓｉｆｔの特徴マッチングを通じて、最後に、修正後の結果を統合的に出力する。
【００９１】
例示的に、本実施例において、以下の方式により、ビデオ特徴の抽出を実行する。入力されたビデオ（上述のマッチング対象のマルチメディアリソースに該当する）のフレームレートを、先ず、Ｋフレーム／秒（例えば、Ｋは３である）に変更する。その後、深層学習の特徴抽出および従来の特徴抽出の２つの特徴抽出方法を適用する。
【００９２】
例示的に、本実施例において、深層学習の特徴抽出では、従来の分類ネットワーク（ＶＧＧ、ＧｏｏｇｌｅＮｅｔ、Ｒｅｓｎｅｔなど）を使用する。トレーニング済みの分類ネットワーク内で（例えば、１０００個の物体を分類するＶＧＧネットワークを有し、開示されたデータセット（ｉｍａｇｅＮｅｔ）をトレーニングして取得する）転移学習する。画像のバッチの類似するデータセットを収集し、分類するネットワークＶＧＧ（ここでは、ＶＧＧを例に挙げるが、他のネットワークにも適用する）の最後の損失層をコントラスト損失（ｃｏｎｔｒａｓｔｉｖｅ  Ｌｏｓｓ）に変更することにより、２つの画像の類似度を測定する。その後、転移学習して、イメージの類似度区別機能を備えたネットワークを取得する。ＶＧＧによって抽出された特徴に基づき、各イメージは１つの特徴のみを有し、ここで、Ｆｄｔと表記され、ｔは特定の時点を表す。抽出された特徴は、中央値カット（ｍｅｄｉａｎ  ｃｕｔ）後にハッシュに変換され、
2021518005.tif 000013
と表記する。
【００９３】
例示的に、本実施例において、従来の特徴抽出では、ｒｏｏｔＳｉｆｔ方法を採用する。先ず、抽出されたビデオフレームに対してｓｉｆｔ特徴抽出を実行して、Ｐ個の特徴を取得する。その後、Ｐ個の特徴に対して正規化の操作を実行する。正規化は抗音声機能を向上させることができる。
【００９４】
元のｓｉｆｔベクトル： 
2021518005.tif 000014
変形された式：
2021518005.tif 000015
正規化された特徴に対して、中央値カット変換（ｍｅｄｉａｎ  ｃｕｔ）を実行し、各フレームはＰ個のハッシュ値を取得し、
2021518005.tif 000016
と表記され、ここで、
2021518005.tif 000017
である。
【００９５】
例示的に、本実施例において、以下の方式により、ビデオフィンガープリントのマッチングのプロセスを実行する。ビデオフィンガープリントのマッチングは、ＶＧＧの特徴マッチングおよびｒｏｏｔｓｉｆｔの特徴マッチングの２つのプロセスを含む。そのプロセスは、次の通りである。入力されたビデオは、先ず、ＶＧＧの特徴マッチングを実行するが、ＶＧＧによって抽出された特徴が抽象的であり、さらに、ハッシュの数が少ないため、最初のビデオマッチングのフィルタとして非常に適切である。ＶＧＧの特徴マッチングは高い再現率を有し得る。ＶＧＧの特徴マッチングの後、ビデオの類似度を計算することができ、類似度が閾値より高い場合、ｒｏｏｔｓｉｆｔのマッチング分析を採用して、ビデオのマッチング情報をさらに確認する。ｒｏｏｔｓｉｆｔは優れた詳細的な説明があるため、精度をよりよく確保することができる。
【００９６】
例示的に、本実施例において、ＶＧＧの特徴マッチングプロセスは、フィンガープリント特徴抽出、ハッシュ変換および時間領域マッチング分析を含む。入力されたビデオは、先ず、ビデオフィンガープリントの特徴抽出を実行した後、中央値カット変換により、一連のハッシュ特徴値およびハッシュに対応する時点を取得する。フィンガープリントデータベースは、著作権のあるビデオの特徴（Ｄｔ、
2021518005.tif 000018
、ｔ）を記憶し、ｔは時点であり、
2021518005.tif 000019
はビデオのｉｄ番号である。そして、当該タイプの特徴を、反転リストのデータ構造に従って記憶する。
2021518005.tif 000020
マッチングする時に、入力されたビデオをＫｓ（現在、Ｋは５である）の複数のセグメントに分割し、各セグメントを個別にマッチングする。一秒あたり３つの特徴的なフレームを取る場合、Ｋが５であると、１つのスライスは、合計１５個のハッシュ値
2021518005.tif 000021
を持つ。各
2021518005.tif 000022
において、前記ハッシュ値をフィンガープリントデータベースの特徴と比較して、同じハッシュ特徴値（如Ｄｔ相等的データ）を持つ対応するビデオの情報
2021518005.tif 000023
を見つけ、その後、
2021518005.tif 000024
に従って集約して、
2021518005.tif 000025
において時間的に連続して一致するフレーム画像の数を数えた後、１５で割って、類似度を取得する。類似度値が０．８より大きいビデオセグメントを、一致するセグメントとして使用する。以上の方法によれば、Ｋｓの各セグメントに対して類似度の計算を実行することができ、最後に、入力されたビデオと類似する各ビデオのセグメントの数Ｒを取得する。類似するセグメントの数を介して、ビデオの類似度：
2021518005.tif 000026
を計算することができる。ｄｕｒは、一致するビデオの長さである。
【００９７】
例示的に、本実施例において、ＶＧＧの特徴マッチングを実行して計算した類似度ＭａｔｃｈＰｅｒが特定の閾値（例えば、Ｑであり、Ｑは５０である）より大きい場合、ｒｏｏｔｓｉｆｔの特徴マッチングを実行する。ＶＧＧの特徴マッチングの後、ＶＧＧによって一致した
2021518005.tif 000027
リストを取得することができる。ｒｏｏｔｓｉｆｔが一致する時、入力されたビデオおよびＶＧＧによって一致した
2021518005.tif 000028
に対して２回目のマッチングの校正を実行する。先ず、入力されたビデオはｒｏｏｔｓｉｆｔ特徴抽出を受け、ＶＧＧによって一致したビデオｒｏｏｔｓｉｆｔ特徴は、フィンガープリントデータベースから読み取る。
【００９８】
マッチングするプロセスでは、ペアでマッチングする戦略を採用して、即ち、入力されたビデオおよび
2021518005.tif 000029
リストにおけるビデオを１つずつマッチングする。一致する情報を見つける。ここで、各フレームの画像の類似度は、以下の方式により計算する。
2021518005.tif 000030
ここで、Ｓは類似度であり、
2021518005.tif 000031
は、入力されたビデオのｔ１時間のビデオ特徴であり、
2021518005.tif 000032
は、ｔ２時間における
2021518005.tif 000033
リストの特徴のビデオ特徴である。２つのビデオ特徴の類似点の数を説明し、
2021518005.tif 000034
は、２つのビデオ特徴における異なるハッシュタイプの特徴の総数を説明する。２つのビデオの類似度を説明し、
2021518005.tif 000035
が特定の閾値Ｅ（例えば、Ｅは０．０１１である）より小さい場合、ビデオフレーム
2021518005.tif 000036
は
2021518005.tif 000037
に一致し、一致する時間情報（ｔ１，ｔ２）を記録する。
【００９９】
ビデオをペアでマッチングするプロセスでは、２つのビデオのマッチング時点の情報を取得する。
2021518005.tif 000038
である時点マッピング関係（ｔ１は、入力されるビデオの時点であり、ｔ２は、マッチング対象ビデオの時点である）を構築することにより、ビデオマッチングの時間領域のスケーリング関係を推算することができる。最小二乗法（Ｌｅａｓｔ  ｓｑｕａｒｅｓ  ｅｒｒｏｒ）を採用してビデオの時間領域変形の情報を推定する。最後に、一致する時点を分析することにより、一致する持続時間を取得することができる。ビデオの一致するパーセンテージは、一致期間および入力されたビデオの長さに従って計算して取得することができる（パーセンテージの計算は、関連するサービスロジックに従って調整することができる）。最後に、パーセンテージまたは一致期間の情報を介して、ビデオの一致状況を決定する。ｒｏｏｔｓｉｆｔの二回目のマッチングでは、
2021518005.tif 000039
のリストにおけるビデオを順次にペアでマッチングする。最後は、マッチングの結果（一致時点、一致期間）を出力する。
【０１００】
上述の方式により、高品質なユーザが製作したビデオのオリジナリティを保護し、ユーザにオリジナリティ保護を提供し、広告共有を提供することができる。いくつかの高品質なビデオ製作者が、より高品質なコンテンツをプラットフォームに提供するように励む。さらに、映画、ドラマ、バラエティー番組などの、著作権の著作権保護も提供する。
【０１０１】
もう一方では、ビデオの重複検出にも適用することができる。ビデオプラットフォームのストックビデオを精製して、プラットフォームのビデオ品質を向上させることだけでなく、アップケーションで推薦する時に、推薦されるビデオをフィルタリングすることもできる。
【０１０２】
本願実施例のさらに別の態様によれば、上述のマルチメディアリソースのマッチングを実施するように構成される電子装置をさらに開示し、図７に示されたように、当該電子装置は、１つまたは複数の（図では１つのみを示す）プロセッサ７０２、メモリ７０４、センサ７０６、エンコーダ７０８および伝送装置７１０を含み、当該メモリは、コンピュータプログラムを記憶し、当該プロセッサは、コンピュータプログラムを介して上述のいずれか１つの方法の実施例におけるステップを実行するように構成される。
【０１０３】
例示的に、本実施例において、上述の電子装置は、コンピュータネットワークの複数のネットワーク機器のうちの少なくとも１つのネットワーク機器に実装することができる。
【０１０４】
例示的に、本実施例において、上述のプロセッサは、コンピュータプログラムを介して以下のステップを実行するように構成されることができる。
【０１０５】
ステップＳ１において、マルチメディアリソースセットにおける第１メディアリソースセットを検索し、ここで、第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、第１ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１マッチング条件を満たす。
【０１０６】
ステップＳ２において、第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定し、ここで、第２ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２マッチング条件を満たす。
【０１０７】
ステップＳ３において、第２ターゲットフレーム画像のマッチング情報を取得し、ここで、マッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を指示し、ターゲットメディアリソースは、第２ターゲットフレーム画像が配置されているメディアリソースである。
【０１０８】
例示的に、図７に示される構造が例示的なものに過ぎず、電子装置は、スマートフォン（例えば、Ａｎｄｒｏｉｄ携帯電話、ｉＯＳ携帯電話等）、タブレットＰＣ、ハンドヘルドコンピュータ及びモバイルインターネットデバイス（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅｓ、ＭＩＤと略称）、ＰＡＤ等の端末機器でもよいことは、当業者なら知るはずである。図７は、上記の電子装置を限定するものではない。例えば、端末が、更に図７に示されるものより多いまたはより少ない部品（例えば、ネットワークインタフェース、表示装置等）を含んでもよく、または、図７に示されたものとは異なる構成を有してもよい。
【０１０９】
ここで、メモリ７０２は、本願実施例におけるマルチメディアリソースのマッチング方法および装置に対応するプログラム命令／モジュールなどの、ソフトウェアプログラムおよびモジュールを記憶するように構成され、プロセッサ７０４は、メモリ７０２に記憶されたソフトウェアプログラムおよびモジュールを実行することにより、様々な機能アプリケーションおよびデータ処理を実行する、即ち、上述のターゲットコンポーネントの制御方法を実現する。メモリ７０２が、高速ランダムアクセスメモリを含んでもよく、一つ以上の磁気記憶装置、フラッシュメモリ、または他の不揮発性固体メモリ等の不揮発性メモリも含んでもよい。一部の具現例では、メモリ７０２は、プロセッサ７０４に対して遠隔に設置されたメモリを含んでもよく、これらの遠隔メモリはネットワークを介して端末に接続することができる。上述のネットワークの具現例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
【０１１０】
上述の伝送装置７１０は、１つのネットワークを介してデータを受信または送信するように構成される。上述のネットワークの例示的な具現例が、有線ネットワークおよび無線ネットワークを含んでもよい。一具現例では、伝送装置７１０は、１つのネットワークアダプタ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃｏｎｔｒｏｌｌｅｒ、ＮＩＣと略称）を含み、ネットワークケーブルを介して、他のネットワーク機器およびルータに接続することができ、それにより、インターネットまたはローカルエリアネットワークとの通信を行うことができる。一具現例では、伝送装置７１０は、無線方式でインターネットと通信するように構成される、無線周波数（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称）モジュールである。
【０１１１】
ここで、例示的に、メモリ７０２は、アプリケーションプログラムを記憶するように構成される。
【０１１２】
本願実施例は、記憶媒体をさらに開示し、当該記憶媒体はコンピュータプログラムを記憶し、ここで、当該コンピュータプログラムは、実行されると、上述のいずれか１つの方法の実施例におけるステップを実行するために使用される。
【０１１３】
例示的に、本実施例において、上述の記憶媒体は、以下のステップを実行するためのコンピュータプログラムを記憶するように構成されることができる。
【０１１４】
ステップＳ１において、マルチメディアリソースセットにおける第１メディアリソースセットを検索し、ここで、第１メディアリソースセットにおける各メディアリソースの第１ターゲットフレーム画像はターゲット条件を満たし、第１ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第１マッチング条件を満たす。
【０１１５】
ステップＳ２において、第１ターゲットフレーム画像において第２ターゲットフレーム画像を決定し、ここで、第２ターゲットフレーム画像の特徴が、マッチング対象のマルチメディアリソースのフレーム画像における特徴とマッチングし、且つ第２マッチング条件を満たす。
【０１１６】
ステップＳ３において、第２ターゲットフレーム画像のマッチング情報を取得し、ここで、マッチング情報は、ターゲットメディアリソースにおける第２ターゲットフレーム画像の総持続時間および再生時間を指示し、ターゲットメディアリソースは、第２ターゲットフレーム画像が配置されているメディアリソースである。
【０１１７】
例示的に、記憶媒体は、さらに、上述の実施例における方法に含まれるステップを実行するためのコンピュータプログラムを記憶するように構成され、本実施例では繰り返して説明はしない。
【０１１８】
例示的に、本実施例では、上述の実施例における様々な方法の全部または一部は、プログラムによって、端末機器に関連するハードウェアに命令することによって完了してもよいことを当業者なら自明である。当該プログラムは、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。記憶媒体は、フラッシュディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭと略称）、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭと略称）、磁気ディスクまたは光ディスクなどを含んでもよい。
【０１１９】
上述の本願実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。
【０１２０】
上述の実施例における統合されたユニットがソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売または使用される場合、上述のコンピュータ読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本願の実質的な技術的特徴、関連技術に対する貢献度のある部分、または当該技術的特徴の全部または一部は、ソフトウェア製品に実装することができる。当該コンピュータソフトウェア製品が記憶媒体に記憶されることは、一つ以上のコンピュータデバイス（パーソナルコンピュータ、サーバまたはネットワークデバイス等であってもよい）に本願の各実施例に記載される方法のステップの全部または一部を実行させる複数の命令を含む。
【０１２１】
本願の上述の実施例では、各実施例の説明は、それぞれの着眼点があるため、ある実施例で詳しく説明していない部分は、他の実施例の関連部分の説明を参照してもよい。
【０１２２】
本願実施例が開示したクライアントが、他の形態でも代替することができることを理解されたい。ここで、上記で説明された装置実施例は例示的なものに過ぎず、例えば、前記ユニットの分離は、論理機能の分離に過ぎず、実際の実現時には別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論された相互結合または直接結合または通信接続は、電気的または他の形態であり得、一部のインターフェース、ユニットまたはモジュールを介した間接的な結合または通信接続であり得る。
【０１２３】
前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際のニーズに従って、その中のユニットの一部または全部を選択して本実施例の技術案の目的を実現することができる。
【０１２４】
また、本願の各実施例における各機能ユニットを一つの処理ユニットに統合してもよく、各ユニットを別々に１つのユニットとして使用してもよいし、２つ以上のユニットを一つのユニットに統合してもよい。前記統合されたユニットは、ハードウェアの形で実装されてもよく、ソフトウェア機能ユニットの形で実装されてもよい。
【０１２５】
以上に述べたものは、本願における好ましい実施例に過ぎず、当業者にとって、本出願の原理から逸脱することなく、いくつかの改善または修正を加えることもでき、これらの改善及び修正も本願の保護範囲と見なされるべきであることに留意されたい。
【図１】
2021518005.tif 000040
【図２】
2021518005.tif 000041
【図３】
2021518005.tif 000042
【図４】
2021518005.tif 000043
【図５】
2021518005.tif 000044
【図６】
2021518005.tif 000045
【図７】
2021518005.tif 000046
【国際調査報告】
2021518005.tif 000047
2021518005.tif 000048
2021518005.tif 000049
2021518005.tif 000050