(57)【特許請求の範囲】
【請求項１】
メディア特徴の比較方法であって、
第１のメディア対象における、順次配列された複数の第１のメディア特徴単体を含む第１のメディア特徴シーケンスと、第２のメディア対象における、順次配列された複数の第２のメディア特徴単体を含む第２のメディア特徴シーケンスとを取得すること、
前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度を特定すること、
前記単体類似度に基づいて前記第１のメディア特徴シーケンスと前記第２のメディア特徴シーケンスとの間の類似度行列を特定すること、
前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することを含み、
前記複数の第１のメディア特徴単体は、前記第１のメディア特徴シーケンスにおいて時間順で配列され、
前記複数の第２のメディア特徴単体は、前記第２のメディア特徴シーケンスにおいて時間順で配列され、
前記類似度行列における点は、前記単体類似度に一対一で対応し、
前記類似度行列の点は、横方向では前記第１のメディア特徴シーケンスにおける各前記第１のメディア特徴単体の前後順で配列され、且つ、縦方向では前記第２のメディア特徴シーケンスにおける各前記第２のメディア特徴単体の前後順で配列され、
前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することは、
前記類似度行列における直線に基づいて前記第１のメディア対象と前記第２のメディア対象との類似度合いとマッチングセグメントを特定することを含む
メディア特徴の比較方法。
【請求項２】
前記類似度行列における直線に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することは
勾配度が予め設定された勾配度設定値である複数の直線を候補直線に定義し、各前記候補直線に含まれた単体類似度の平均値または総計値に基づいて、前記候補直線の直線類似度を特定することと、
複数の前記候補直線から、前記直線類似度を一番大きくする候補直線を取り、第１のマッチング直線に定義することと、
前記第１のマッチング直線の前記直線類似度に基づいて前記第１のメディア対象と前記第２のメディア対象との類似度合いを特定し、前記第１のマッチング直線の始点及び終点に基づいて、前記第１のメディア対象と前記第２のメディア対象とのマッチングセグメントの開始時間及び終了時間を特定することとを含む
請求項１に記載のメディア特徴の比較方法。
【請求項３】
前記勾配度設定値は複数であり、前記候補直線は、勾配度が前記複数の勾配度設定値のうちのいずれか１つである直線である
請求項２に記載のメディア特徴の比較方法。
【請求項４】
メディア特徴の比較方法であって、
第１のメディア対象における、順次配列された複数の第１のメディア特徴単体を含む第１のメディア特徴シーケンスと、第２のメディア対象における、順次配列された複数の第２のメディア特徴単体を含む第２のメディア特徴シーケンスとを取得すること、
前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度を特定すること、
前記単体類似度に基づいて前記第１のメディア特徴シーケンスと前記第２のメディア特徴シーケンスとの間の類似度行列を特定すること、
前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することを含み、
前記複数の第１のメディア特徴単体は、前記第１のメディア特徴シーケンスにおいて時間順で配列され、
前記複数の第２のメディア特徴単体は、前記第２のメディア特徴シーケンスにおいて時間順で配列され、
前記類似度行列における点は、前記単体類似度に一対一で対応し、
前記類似度行列の点は、横方向では前記第１のメディア特徴シーケンスにおける各前記第１のメディア特徴単体の前後順で配列され、且つ、縦方向では前記第２のメディア特徴シーケンスにおける各前記第２のメディア特徴単体の前後順で配列され、
前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することは、
前記類似度行列から、前記単体類似度の大きさ順が上のほうである複数の点を類似度極点として取ることと、
前記複数の類似度極点に基づいて、前記類似度行列から１つの直線を第２のマッチング直線としてフィッティングすることと、
前記第２のマッチング直線に含まれた前記単体類似度の平均値または総計値に基づいて、前記第１のメディア対象と前記第２のメディア対象との類似度合いを特定し、前記第２のマッチング直線の始点及び終点に基づいて前記第１のメディア対象と前記第２のメディア対象とのマッチングセグメントの開始時間及び終了時間を特定することとを含む
メディア特徴の比較方法。
【請求項５】
前記複数の類似度極点に基づいて、前記類似度行列から１つの直線を第２のマッチング直線としてフィッティングすることは、ランダムサンプルコンセンサス法によって、前記類似度行列から、勾配度が予め設定された勾配度設定値であるか、または、勾配度が予め設定された勾配度設定値に近い１つの直線を、第２のマッチング直線としてフィッティングすることを含む
請求項４に記載のメディア特徴の比較方法。
【請求項６】
前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することは、さらに、
勾配度が予め設定された勾配度設定値である複数の直線を候補直線に定義し、各前記候補直線に含まれた単体類似度の平均値または総計値に基づいて、前記候補直線の直線類似度を特定することと、
複数の前記候補直線から、前記直線類似度を一番大きくする候補直線を取り、第１のマッチング直線に定義することと、
前記第１のマッチング直線または前記第２のマッチング直線の先端と末端の点が予め設定された単体類似度設定値に達するか否かを判断し、前記先端と前記末端から前記単体類似度設定値に達しない部分を取り除くことで、中央の一区間の直線を残し、第３のマッチング直線に定義することと、
前記第３のマッチング直線の前記直線類似度に基づいて、前記第１のメディア対象と前記第２のメディア対象との類似度合いを特定し、前記第３のマッチング直線の始点及び終点に基づいてマッチングセグメントの開始時間及び終了時間を特定することとを含む
請求項４に記載のメディア特徴の比較方法。
【請求項７】
メディア特徴の比較装置であって、
第１のメディア対象における、順次配列された複数の第１のメディア特徴単体を含む第１のメディア特徴シーケンスと、第２のメディア対象における、順次配列された複数の第２のメディア特徴単体を含む第２のメディア特徴シーケンスとを取得することためのメディア特徴シーケンス取得モジュールと、
前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度を特定するための単体類似度特定モジュールと、
前記単体類似度に基づいて前記第１のメディア特徴シーケンスと前記第２のメディア特徴シーケンスとの間の類似度行列を特定するための類似度行列特定モジュールと、
前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定するための類似状況特定モジュールとを含み、
前記複数の第１のメディア特徴単体は、前記第１のメディア特徴シーケンスにおいて時間順で配列され、
前記複数の第２のメディア特徴単体は、前記第２のメディア特徴シーケンスにおいて時間順で配列され、
前記類似度行列における点は、前記単体類似度に一対一で対応し、
前記類似度行列の点は、横方向では前記第１のメディア特徴シーケンスにおける各前記第１のメディア特徴単体の前後順で配列され、且つ、縦方向では前記第２のメディア特徴シーケンスにおける各前記第２のメディア特徴単体の前後順で配列され、
前記類似状況特定モジュールは、前記類似度行列における直線に基づいて前記第１のメディア対象と前記第２のメディア対象との類似度合いとマッチングセグメントを特定する
メディア特徴の比較装置。
【請求項８】
請求項２乃至６のうちのいずれか１項に記載のステップのモジュールをさらに含む
請求項７に記載のメディア特徴の比較装置。
【請求項９】
メディア特徴比較ハードウェア装置であって、
非一時的なコンピューター読み取り可能な指令を記憶するためのメモリーと、
前記コンピューター読み取り可能な指令を実行させることで、プロセッサーが実行する場合、請求項１乃至６のいずれか１項に記載のメディア特徴の比較方法を実現させるプロセッサーとを含む
メディア特徴比較ハードウェア装置。
【請求項１０】
非一時的なコンピューター読み取り可能な指令を記憶するためのコンピューター読み取り可能な記憶媒体であって、
前記非一時的なコンピューター読み取り可能な指令がコンピューターによって実行される場合、前記コンピューターに請求項１乃至６のいずれか１項に記載のメディア特徴の比較方法を実行させる
コンピューター読み取り可能な記憶媒体。
【請求項１１】
請求項７または８に記載のメディア特徴の比較装置を含む端末機器。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、出願番号が２０１８１０２７３６７３．２であり、出願日が２０１８年３月２９日である中国特許出願の優先権を主張し、当該文献のすべての内容は参照により本願に組み入れられる。
【０００２】
本発明は、メディア処理技術分野に関し、特に、メディア特徴の比較方法及び装置に関する。
【背景技術】
【０００３】
ビデオ特徴、オーディオ特徴などのメディア特徴（または、メディア指紋とも呼ばれる）及びメディア特徴比較、メディア特徴検索は、現在の「マルチメディア情報社会」で広く適用されている。メディア特徴比較を使用することで、ビデオやオーディオの重複されたアップロードを回避することができ、メディアの盗み使いを防止し、メディアの記憶を最適化させることができ、また、メディア特徴比較を使用することで、メディア内容をモニタリングすることや、著作権を検出することなどもできる。
【０００４】
従来のメディア特徴比較方法には、正確性が悪く、効率が低いという課題が存在し、これは演算資源及び記憶資源のいずれに対しても巨大な消耗を生じさせる。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示の目的は、新たなメディア特徴の比較方法及び装置を提供することにある。
【０００６】
本開示の目的は、以下の技術方案で達成される。本開示によるメディア特徴の比較方法によれば、第１のメディア対象における、順次配列された複数の第１のメディア特徴単体を含む第１のメディア特徴シーケンスと、第２のメディア対象における、順次配列された複数の第２のメディア特徴単体を含む第２のメディア特徴シーケンスとを取得することと、前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度を特定することと、前記単体類似度に基づいて前記第１のメディア特徴シーケンスと前記第２のメディア特徴シーケンスとの間の類似度行列を特定することと、前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することとを含む。
【０００７】
本開示の目的は、さらに以下の技術対策で達成することもできる。
【０００８】
前述のメディア特徴の比較方法は、前記第１のメディア特徴単体と前記第２のメディア特徴単体は、浮動小数点数特徴であり、前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度を特定することは、前記第１のメディア特徴単体と前記第２のメディア特徴単体との間のコサイン距離に基づいて、前記単体類似度を特定することを含む。
【０００９】
前述のメディア特徴の比較方法は、前記第１のメディア特徴単体と前記第２のメディア特徴単体は二値化特徴であり、且つ、同じ特徴単体長さを有し、前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度を特定することは、前記第１のメディア特徴単体と前記第２のメディア特徴単体との間のハミング距離に基づいて、前記単体類似度を特定することを含む。
【００１０】
前述のメディア特徴の比較方法は、第１のメディア対象における第１のメディア特徴シーケンスと第２のメディア対象における第２のメディア特徴シーケンスを取得することは、第１のメディア対象の複数の類別の前記第１のメディア特徴シーケンスを取得し、第２のメディア対象の複数の類別の前記第２のメディア特徴シーケンスを取得することを含み、前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度を特定することは、同一類別の前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度をそれぞれ特定することで、複数種類の前記単体類似度を得ることを含み、前記単体類似度に基づいて前記第１のメディア特徴シーケンスと前記第２のメディア特徴シーケンスとの間の類似度行列を特定することは、前記複数種類の単体類似度の平均値または最小値を特定し、前記複数種類の単体類似度の平均値または最小値に基づいて前記類似度行列を特定することを含む。
【００１１】
前述のメディア特徴の比較方法は、前記複数の第１のメディア特徴単体は、前記第１のメディア特徴シーケンスにおいて時間順で配列され、前記複数の第２のメディア特徴単体は、前記第２のメディア特徴シーケンスにおいて時間順で配列される。
【００１２】
前述のメディア特徴の比較方法は、前記類似度行列における点は、前記単体類似度に一対一で対応し、前記類似度行列の点は、横方向では前記第１のメディア特徴シーケンスにおける各前記第１のメディア特徴単体の前後順で配列され、且つ、縦方向では前記第２のメディア特徴シーケンスにおける各前記第２のメディア特徴単体の前後順で配列される。
【００１３】
前述のメディア特徴の比較方法は、前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することは、前記類似度行列における直線に基づいて前記第１のメディア対象と前記第２のメディア対象との類似度合いとマッチングセグメントを特定することを含む。
【００１４】
前述のメディア特徴の比較方法は、前記類似度行列における直線に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することは、勾配度が予め設定された勾配度設定値である複数の直線を候補直線に定義し、各前記候補直線に含まれた単体類似度の平均値または総計値に基づいて、前記候補直線の直線類似度を特定することと、複数の前記候補直線から、前記直線類似度を一番大きくする候補直線を取り、第１のマッチング直線に定義することと、前記第１のマッチング直線の前記直線類似度に基づいて前記第１のメディア対象と前記第２のメディア対象との類似度合いを特定し、前記第１のマッチング直線の始点及び終点に基づいて、前記第１のメディア対象と前記第２のメディア対象とのマッチングセグメントの開始時間及び終了時間を特定することとを含む。
【００１５】
前述のメディア特徴の比較方法は、前記勾配度設定値は複数であり、前記候補直線は、勾配度が前記複数の勾配度設定値のうちのいずれか１つである直線である。
【００１６】
前述のメディア特徴の比較方法は、前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することは、前記類似度行列から、前記単体類似度を一番大きくする複数の点を類似度極点として取ることと、前記複数の類似度極点に基づいて、前記類似度行列から１つの直線を第２のマッチング直線としてフィッティングすることと、前記第２のマッチング直線に含まれた前記単体類似度の平均値または総計値に基づいて、前記第１のメディア対象と前記第２のメディア対象との類似度合いを特定し、前記第２のマッチング直線の始点及び終点に基づいて前記第１のメディア対象と前記第２のメディア対象とのマッチングセグメントの開始時間及び終了時間を特定することとを含む。
【００１７】
前述のメディア特徴の比較方法は、前記複数の類似度極点に基づいて、前記類似度行列から１つの直線を第２のマッチング直線としてフィッティングすることは、ランダムサンプルコンセンサス法によって、前記類似度行列から、勾配度が予め設定された勾配度設定値であるか、または、勾配度が予め設定された勾配度設定値に近い１つの直線を、第２のマッチング直線としてフィッティングすることを含む。
【００１８】
前述のメディア特徴の比較方法は、前記の前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定することは、さらに、前記第１のマッチング直線または前記第２のマッチング直線の先端と末端の点が予め設定された単体類似度設定値に達するか否かを判断し、前記先端と前記末端から前記単体類似度設定値に達しない部分を取り除くことで、中央の一区間の直線を残し、第３のマッチング直線に定義することと、前記第３のマッチング直線の前記直線類似度に基づいて、前記第１のメディア対象と前記第２のメディア対象との類似度合いを特定し、前記第３のマッチング直線の始点及び終点に基づいてマッチングセグメントの開始時間及び終了時間を特定することとを含む。
【００１９】
本開示の目的は、さらに以下の技術方案で実現される。本開示によるメディア特徴の比較装置は、第１のメディア対象における、順次配列された複数の第１のメディア特徴単体を含む第１のメディア特徴シーケンスと、第２のメディア対象における、順次配列された複数の第２のメディア特徴単体を含む第２のメディア特徴シーケンスとを取得するためのメディア特徴シーケンス取得モジュールと、前記第１のメディア特徴単体と前記第２のメディア特徴単体との間の単体類似度を特定するための単体類似度特定モジュールと、前記単体類似度に基づいて前記第１のメディア特徴シーケンスと前記第２のメディア特徴シーケンスとの間の類似度行列を特定するための類似度行列特定モジュールと、前記類似度行列に基づいて前記第１のメディア対象と前記第２のメディア対象との類似状況を特定するための類似状況特定モジュールとを含む。
【００２０】
本開示の目的は、また、以下の技術対策によってさらに達成することができる。
【００２１】
前述のメディア特徴の比較装置は、前述のいずれか１項のメディア特徴の比較方法ステップのモジュールをさらに含む。
【００２２】
本開示の目的は、さらに以下の技術方案で実現される。本開示によるメディア特徴比較ハードウェア装置は、非一時的なコンピューター読み取り可能な指令を記憶するためのメモリーと、前記コンピューター読み取り可能な指令を実行させることで、前記プロセッサーが実行する場合、前述のいずれか１項のメディア特徴の比較方法を実現するためのプロセッサーを含む
【００２３】
本開示の目的は、さらに以下の技術方案で実現される。本開示による端末機器は、前述のいずれか１項のメディア特徴比較装置を含む。
【００２４】
本開示の目的は、さらに以下の技術方案で実現される。本開示による非一時的なコンピューター読み取り可能な指令を記憶するためのコンピューター読み取り可能な記憶媒体は、前記非一時的なコンピューター読み取り可能な指令がコンピューターによって実行される場合、前記コンピューターに前述のいずれか１項のメディア特徴の比較方法を実行させる。
【００２５】
上記の説明は、単に本開示の技術態様の概略であり、本開示の技術手段をより明確に理解させるために、明細書の内容に従って実施することができ、また、本開示の上記及びその他の目的、特徴、及び利点をより明確且つ分かりやすくするために、以下で、良好な実施例を挙げるとともに、図面を参照して詳しく説明する。
【図面の簡単な説明】
【００２６】
【図１】本開示の一実施例のメディア特徴の比較方法のプロセスブロック図である。
【図２】本開示の一実施例による類似度行列に対応するグレースケール図である。
【図３】本開示の一実施例による動的計画法で比較するプロセスブロック図である。
【図４】本開示の一実施例による線形メディア法で比較するプロセスブロック図である。
【図５】本開示の一実施例による複数の類別のメディア特徴シーケンスに基づいて類似度行列を特定するプロセスブロック図である。
【図６】本開示の一実施例のメディア特徴の比較装置の構成ブロック図である。
【図７】本開示の一実施例による類似状況特定モジュールの構成ブロック図である。
【図８】本開示の別の実施例による類似状況特定モジュールの構成ブロック図である。
【図９】本開示の一実施例の複数の類別メディア特徴シーケンスに基づいて類似度行列を特定するメディア特徴比較装置の構成ブロック図である。
【図１０】本開示の一実施例のメディア特徴比較ハードウェア装置のハードウェアブロック図である。
【図１１】本開示の一実施例のコンピューター読み取り可能な記憶媒体の模式図である。
【図１２】本開示の一実施例の端末機器の構成ブロック図である。  本発明による一種類の選択可能な液体案内部品を示す図である。
【発明を実施するための形態】
【００２７】
以下、本開示の予定の発明目的を達成するために使う技術手段と機能・効果をさらに説明するために、図面及び良好な実施例を参照して、本開示によるメディア特徴の比較方法及び装置の具体的な実施態様、構成、特徴、及びその機能・効果は、以下で詳細に説明する。
【００２８】
図１は、本開示のメディア特徴の比較方法における一実施例の概略プロセスブロック図。図１を参照すると、本開示に例示されたメディア特徴の比較方法は、主に、ステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４０を含む。
【００２９】
ステップＳ１０において、第１のメディア対象のメディア特徴シーケンスを第１のメディア特徴シーケンスとして取得し、第２のメディア対象のメディア特徴シーケンスを第２のメディア特徴シーケンスとして取得する。ここでの第１のメディア対象、第２のメディア対象は比較対象である２つのメディアとして、例えばオーディオ、ビデオ、連続撮影された複数の写真などの各類別のメディアであることができる。ここでのメディア特徴シーケンスは、オーディオ特徴、ビデオ特徴、または画像特徴などであることができ、事実上、本開示の方法に従って、ビデオ対象のオーディオ特徴を取得することでビデオ対象を比較することができる。
【００３０】
具体的には、第１のメディア特徴シーケンスは順次配列された複数の第１のメディア特徴単体を含み、第２のメディア特徴シーケンスは順次配列された複数の第２のメディア特徴単体を含むため、第１のメディア特徴シーケンス、第２のメディア特徴シーケンスの長さは、それぞれＭ１とＭ２（ここでのＭ１とＭ２は正の整数である）であると仮定すると、即ち、第１のメディア特徴シーケンスはＭ１個の第１のメディア特徴単体を含み、第２のメディア特徴シーケンスはＭ２個の第２のメディア特徴単体を含む。その後、処理はステップＳ２０に進む。
【００３１】
さらに、いくつかの実施例において、ここでいう順序配列とは、第１／第２のメディア特徴シーケンスで当該複数の第１／第２のメディア特徴単体は時間の前後順で配列されたものである。例えば、事前のメディア特徴の抽出過程において、まず、メディア対象に対してフレーム抽出を行ってから、フレームごとに１つのメディア特徴単体を生成することで、各メディア特徴単体とメディア対象の各フレームとが対応し、それから、各メディア特徴単体を、各フレームのメディア対象での時間順に従って配列してメディア特徴シーケンスを得る。従って、前述のメディア特徴単体をフレーム特徴と称し、前述のメディア特徴シーケンスをメディア特徴と称することもできる。
【００３２】
なお、メディア特徴シーケンスの抽出方法、及びメディア特徴シーケンスの類別は限定されないが、第１のメディア特徴シーケンスと第２のメディア特徴シーケンスとは、同じ種類の特徴抽出方法によって得られた同一類別のメディア特徴であるべきだ。本開示の１つの例示において、第１のメディア対象及び第２のメディア対象の浮動小数点数特徴シーケンスを、第１のメディア特徴シーケンス及び第２のメディア特徴シーケンスとして同時に取得することができ、浮動小数点数特徴シーケンスのうち各メディア特徴単体は、一浮動小数点数である。一方、別の例示において、第１のメディア対象及び第２のメディア対象の二値数特徴シーケンスを同時に取得するか、または得られた他の類別のメディア特徴を二値化し、二値数特徴シーケンスを得る。ここで、二値数特徴シーケンスのうち各特徴単体は、０／１からなる１つのビット列であり、同じ種類の方法によって抽出されて得たメディア特徴単体は同じ長さ（または、ビット数と称する）を有する。
【００３３】
ステップＳ２０において、各第１のメディア特徴単体と各第２のメディア特徴単体との間の単体類似度を特定し、Ｍ１×Ｍ２個の単体類似度を得る。各単体類似度は、２つのメディア特徴単体同士の類似度合いを示し、具体的には、単体類似度を大きいほど、類似すると示してもよい。その後、処理はステップＳ３０に進む。
【００３４】
具体的には、メディア特徴の類別に基づいて、２つのメディア特徴の類似度合いを判断可能な距離またはメトリックを当該単体類似度として選択することができる。
【００３５】
本開示の実施例において、第１のメディア特徴シーケンスと第２のメディア特徴シーケンスがともに浮動小数点数特徴である場合、第１のメディア特徴単体と第２のメディア特徴単体との間のコサイン距離（または、コサイン類似度と呼ぶ）に基づいて、当該単体類似度を特定することができ、一般的には、当該コサイン距離をそのまま単体類似度として特定することができる。
【００３６】
本開示の実施例において、第１のメディア特徴シーケンスと第２のメディア特徴シーケンスがともに二値数特徴である場合、第１のメディア特徴単体と第２のメディア特徴単体との間のハミング距離（Ｈａｍｍｉｎｇ  ｄｉｓｔａｎｃｅ）に基づいて、当該単体類似度を特定することができる。具体的には、まず、第１のメディア特徴単体と第２のメディア特徴単体との間のハミング距離（Ｈａｍｍｉｎｇ  ｄｉｓｔａｎｃｅ）を算出してから、特徴単体の長さ（ビット数）と当該ハミング距離の差分を算出し、当該差分と当該特徴単体長さとの比率を、２つの二値化特徴のうち同じビットの占める割合を示すための単体類似度に特定する。ここでのハミング距離は、情報理論分野でよく使われるメトリックであり、同じ長さを有する２つの文字列同士のハミング距離は、２つの文字列のうち対応する位置でのキャラクタが異なる個数である。実際に、ハミング距離を算出する際、２つの文字列に対して、排他的論理和演算を行うことができる、結果が１である数を統計し、この数が即ちハミング距離である。
【００３７】
なお、コサイン距離またはハミング距離で当該単体類似度を示すことに限らず、２つのメディア特徴単体の類似度合いを判断可能な距離またはメトリックのすべてで示すことができる。
【００３８】
なお、各メディア特徴単体とメディア対象の各フレームとが対応すれば、単体類似度をフレーム間類似度と称することもできる。
【００３９】
ステップＳ３０において、各単体類似度に基づいて、第１のメディア特徴シーケンスと第２のメディア特徴シーケンスとの間の類似度行列（Ｓｉｍｉｌａｒｉｔｙ  Ｍａｔｒｉｘ）を特定することができる。
【００４０】
具体的には、当該類似度行列のうちの各点が１つの単体類似度に対応することによって、当該類似度行列に各第１のメディア特徴単体と各第２のメディア特徴単体との間の単体類似度が記録されている。そして、当該類似度行列の各点は、横方向では、第１のメディア特徴シーケンスにおける各第１のメディア特徴単体の前後順で配列され、且つ、縦方向では、第２のメディア特徴シーケンスにおける各第２のメディア特徴単体の前後順で配列されている。よって、ｉ行目、ｊ列目に位置する点は、第１のメディア対象におけるｉ個目第１のメディア特徴単体と第２のメディア対象におけるｊ個目の第２のメディア特徴単体との間の単体類似度を示し、当該類似度行列が１つのＭ１×Ｍ２行列となる。その後、処理はステップＳ４０に進む。
【００４１】
分かりやすくするために、当該類似度行列を図２に示すようなグレースケール図に転換してもよく、図２において、各点のグレー値で類似度行列のうち対応する位置の単体類似度の大きさを示す。具体的には、１つの点のグレー値が白い色に近いほど、当該点に対応する単体類似度が高いことを示し、一例としては、図２に図示されたＩ箇所の点である。一方、１つの点のグレー値が黒い色に近いほど、当該点に対応する単体類似度が低いことを示し、一例としては、図２に図示されたＩＩ箇所の点である。
【００４２】
なお、実際の操作において、必ずしも、まずステップＳ２０の各単体類似度の算出を行ってから、ステップＳ３０の類似度行列の特定を行うのではなく、類似度行列を直接特定し、当該類似度行列の各点を特定する過程で対応する単体類似度を算出してもよい。
【００４３】
ステップＳ４０において、当該類似度行列に基づいて、第１のメディア対象と第２のメディア対象との類似状況を特定する。具体的には、いわゆる類似状況を特定することは、当該類似度行列に基づいて第１のメディア対象と第２のメディア対象との類似度合いを特定し比較スコアで当該類似度合いを示すことができること、及び／又は、当該類似度行列に基づいて第１のメディア対象と第２のメディア対象とのマッチングセグメントの開始時間及び終了時間を特定することを含む。ここで、比較スコアは、０〜１の間の分数であることができ、数字が大きいほど、２つのメディア対象が類似することを示す。
【００４４】
本開示実施例のメディア特徴の比較方法は、２つのメディア対象同士の類似度行列に基づいてメディア対象同士の類似状況を特定することで、メディア比較の効率及び正確率を向上させることができる。
【００４５】
本開示のいくつかの実施例において、ステップＳ４０は、類似度行列における直線に基づいて第１のメディア対象と第２のメディア対象との類似状況を特定することを含む。
【００４６】
なお、一般的には、メディア特徴シーケンスが有限の複数のメディア特徴単体を含むため、類似度行列は有限行列となり、よって、実際的にはいわゆる「直線」とは、類似度行列のうちの複数の点からなる、有限の長さを有する線分である。当該直線は勾配度を有し、当該勾配度は、直線に含まれる複数の点が連結された直線の配度である。また、当該直線の始点及び終点は、類似度行列のうちのいずれの点であってもよく、縁部に位置する点でなくてもよい。
【００４７】
本開示で言う直線は、類似度行列のうちの対角線と、当該対角線に対して平行する各線分たちが類似度行列での勾配度が１である左上側から右下側への直線（図２に図示された直線ＩＩＩ）とを含み、さらに、勾配度が１ではない直線も含む。例えば、メディア比較のロバスト性を高めるように、勾配度が１に近似する直線であってもよく、速度調整後のメディア対象の比較に対応するように、勾配度が２、３、．．．または、１／２、１／３、．．．などである直線であってもよく、さらに、逆再生処理後のメディア対象に対応するように、勾配度がマイナス数である直線（類似度行列のうちの左下側から右上下側への直線）であってもよい。ここでの対角線は、（１，１）、（２，２）、（３，３）．．．に位置する点からなる線分（事実上、左上側隅の点を始点とし、勾配度が１である１つの直線である）である。
【００４８】
事実上、類似度行列のうちの各直線は、いずれも順次配列された複数の単体類似度からなることによって、各直線は順次配列された複数のメディア特徴単体の類似状況を表すため、１つの第１のメディア対象セグメントと１つの第２のメディア対象セグメントとの類似度合いを表すことができる。ここで、各メディア特徴単体ペアは、１つの第１のメディア特徴単体と１つの第２のメディア特徴単体とを含む。即ち、各直線は、順次配列された複数の第１のメディア特徴単体と順次配列された複数の第２のメディア特徴単体との間の類似度合いを表す。また、直線の勾配度、始点、終点は、２つのメディアセグメントの長さと位置を表す。例えば、（１，１）、（２，３）、（３，５）、（４，７）からなる直線は、序数が１である第１のメディア特徴単体と序数が１である第２のメディア特徴単体との間の類似状況、序数が２である第１のメディア特徴単体と序数が３である第２のメディア特徴単体との間の類似状況、．．．、を表すため、当該直線は、序数が１、２、３、４である第１のメディア特徴単体に対する第１のメディア対象の１つのセグメントと序数が１、３、５、７である第２のメディア特徴単体に対応する第２のメディア対象の１つのセグメントとの間の類似状況を反映可能である。
【００４９】
従って、類似度行列のうちの直線で２つのメディア対象の類似状況を特定することができるということは、１つの直線に含まれた各単体類似度の平均状況（または整体状況）を当該直線の直線類似度として定義すると、当該直線類似度が、対応される複数の第１のメディア特徴単体と複数の第２のメディア特徴単体との間の類似状況を表現可能であること、類似度行列から直線類似度が一番高い１つの直線を特定し、マッチング直線と称すること、マッチング直線の直線類似度を第１のメディア対象と第２のメディア対象との類似度合いとして特定すること、及び／又はマッチング直線に対応する複数の第１のメディア特徴単体と複数の第２のメディア特徴単体に基づいて第１のメディア対象と第２のメディア対象とのマッチングセグメントを特定することを含む。
【００５０】
ここでの類似度行列のうちの直線（例えば、マッチング直線）に基づいてマッチングセグメントを特定する具体的な方法は、以下の通りである。直線の始点に対応する第１のメディア特徴単体の序数（または、類似度行列のうちの横座標である）に基づいて第１のメディア対象のうちのマッチングセグメントの開始時間を特定し、当該始点に対応する第２のメディア特徴単体の序数（または、類似度行列のうちの縦座標である）に基づいて第２のメディア対象のうちのマッチングセグメントの開始時間を特定することである。類似的には、直線の終点の横座標に基づいて第１のメディア対象におけるマッチングセグメントの終了時間を特定し、当該終点の縦座標に基づいて第２のメディア対象におけるマッチングセグメントの終了時間を特定する。
【００５１】
なお、マッチング直線を特定する過程において、予め設定された複数の直線から直線類似度が一番高い１つの直線を特定してもよく、例えば、当該予め設定された複数の直線は勾配度が予め設定された勾配度設定値である（例えば、勾配度が１である）すべての直線であり、または、まず、類似度行列から、単体類似度の大きさ順が上のほうである複数の点を取ってから、これらの点に基づいて１つの直線をフィッティングし、直線類似度を相対的に一番高くする直線を生成させる。
【００５２】
本開示実施例のメディア特徴の比較方法は、類似度行列における直線に基づいて２つのメディア対象同士の類似度合い及び／又はマッチングセグメントを特定し、メディア比較の効率と正確率を大幅に向上させることができる。
【００５３】
本開示の具体的な一実施例において、動的計画法で、類似度行列に基づいて２つのメディア対象同士の類似状況を特定することができる。図３は、本開示の一実施例による動的計画法で比較する概略プロセスブロック図。図３を参照すると、１つの実施例において、本開示のステップＳ４０は具体的に、ステップＳ４１ａ、ステップＳ４１ｂ、及びステップＳ４１ｃを含む。
【００５４】
ステップＳ４１ａにおいて、類似度行列のうちの、勾配度が予め設定された勾配度設定値である複数の直線を候補直線として定義し、各候補直線に含まれた各単体類似度に基づいて当該候補直線の直線類似度を特定する。具体的には、１つの直線の直線類似度は、当該直線に含まれた各単体類似度の平均値にしてもよく、または、当該直線に含まれた各単体類似度の総計値にしてもよい。１つの具体的な例示において、勾配度設定値を１にし、即ち、前述の候補直線は、類似度行列における対角線及び当該対角線に対して平行する直線となる。その後、処理はステップＳ４１ｂに進む。
【００５５】
なお、本開示の一実施例において、ステップＳ４１ａは、さらに、まず候補直線から所有する単体類似度の数が予め設定された直線の長さ設定値よりも少ない直線を除いてから、ステップＳ４１ｂに進むことを含む。あるいは、本実施例において、候補直線は、さらに、所有する単体類似度の数が予め設定された直線の長さ設定値に達することを満たす必要がある。単体類似度が少なすぎる直線を除くことで、直線に含まれる単体類似度が少なすぎて、最終的に得られる比較結果の正確性に影響を及ぼすという課題を回避することができる。
【００５６】
ステップＳ４１ｂにおいて、当該複数の候補直線から、当該直線類似度を一番大きくする候補直線を特定し、第１のマッチング直線として定義する。その後、処理はステップＳ４１ｃに進む。
【００５７】
ステップＳ４１ｃにおいて、当該第１のマッチング直線の直線類似度を、第１のメディア対象と第２のメディア対象との類似度合いを表現するための比較スコアに特定し、当該第１のマッチング直線の始点及び終点に基づいて２つのメディア対象におけるマッチングセグメントの開始時間及び終了時間を特定する。
【００５８】
なお、本開示のいくつかの実施例において、ステップＳ４１ａにて予め設定された勾配度設定値は複数であってもよく、即ち、候補直線は、勾配度と複数の勾配度設定値のいずれか１つに等しい直線であり、例えば、候補直線は勾配度が１、−１、２、１／２などである直線であってもよく、また、ステップＳ４１ｂにおいて、勾配度が複数の勾配度設定値のいずれか１つである複数の候補直線から、１つの第１のマッチング直線を特定する。
【００５９】
本開示によるメディア特徴比較方法は、動的計画法で、比較スコアを特定すること及び／又はお互いにマッチングするメディアセグメントを特定することで、比較の正確性と比較の速度を向上させることができる。
【００６０】
本開示の別の具体実施例において、線形メディア法（等速メディア法：linear media method）で、類似度行列に基づいて２つのメディア対象同士の類似状況を特定することもできる。図４は、本開示の一実施例による線形メディア法で比較する概略プロセスブロック図である。図４を参照すると、一実施例において、本開示のステップＳ４０は、具体的に、ステップＳ４２ａ、ステップＳ４２ｂ、及びステップＳ４２ｃを含む。
【００６１】
ステップＳ４２ａにおいて、類似度行列から単体類似度が一番大きい複数の点を取り、類似度極点として定義する。取られる類似度極点の具体的な数は、予め設定されたものであってもよい。その後、処理はステップＳ４２ｂに進む。
【００６２】
ステップＳ４２ｂにおいて、当該複数の類似度極点に基づいて、当該類似度行列からフィッティングされた１つの直線を第２のマッチング直線とする。いくつかの具体的な例示において、当該複数の類似度極点に基づいて、予め設定された勾配度設定値を有するか、または、予め設定された勾配度設定値に近い１つの直線を、第２のマッチング直線としてフィッティングし、例えば、勾配度が１に近い直線をフィッティングする。具体的には、ランダムサンプルコンセンサス法（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ法と省略できる）によって、当該類似度行列から勾配度が勾配度設定値に近い直線をフィッティングすることができる。ここでのＲＡＮＳＡＣ法は、よく使われる異常データを含む１つのサンプルデータセットに基づいて、データの数学模型参数を算出し、有効なサンプルデータを得る方法である。その後、処理はステップＳ４２ｃに進む。
【００６３】
ステップＳ４２ｃにおいて、当該第２のマッチング直線に含まれた複数の単体類似度に基づいて、第１のメディア対象と第２のメディア対象との類似度合いを表現するための比較スコアを特定する。具体的には、当該第２のマッチング直線上の各単体類似度の平均値を当該比較スコアとして特定することができる。また、当該第２のマッチング直線の始点及び終点に基づいて、２つのメディア対象におけるマッチングセグメントの開始時間及び終了時間を特定することができる。
【００６４】
本開示によるメディア特徴比較方法は、線形メディア法によって比較スコアを特定すること及び／又はお互いにマッチングされるメディアセグメントを特定することで、比較の正確性と比較の速度を向上させることができる。
【００６５】
本開示のいくつかの実施例（例えば、前述の図３と図４に示される実施例）において、ステップＳ４０は、さらに、得られた第１のマッチング直線または第２のマッチング直線の先端部分と末端部分を検出し、当該第１のマッチング直線／第２のマッチング直線の先端部分と末端部分の点（単体類似度）が予め設定された単体類似度設定値に達するか否かを判断して、第１のマッチング直線／第２のマッチング直線の先端と末端から当該単体類似度設定値（即ち、単体類似度が高くない）に達していない部分を取り除くことで、中央の一区間の直線を残し、第３のマッチング直線に定義すること、当該第３のマッチング直線の直線類似度に基づいて第１のメディア対象と第２のメディア対象との類似度合いを特定すること、及び／又は当該第３のマッチング直線の始点及び終点に基づいて第１のメディア対象と第２のメディア対象とのマッチングセグメントの開始時間及び終了時間を特定することを含む。マッチング直線の先端及び末端から類似度の高くない部分を取り除くことで、中央の類似度が比較的に高い一区間の直線を残してから、第１のメディア対象と第２のメディア対象との類似状況を特定することによって、比較の正確性を向上させることができ、より正確にマッチングセグメントの開始時間及び終了時間を得ることができる。
【００６６】
ここでのマッチング直線の先端／末端から当該単体類似度設定値に達していない部分を取り除く方法としては、具体的に、マッチング直線の始点／終点から中央に向かって順番に検査して、当該単体類似度設定値に達しているか否かを判断し、１個目の当該単体類似度設定値に達した点が見つかってから、当該点から始点／終点までの間にある複数の点を取り除くことができる。
【００６７】
なお、当該単体類似度設定値は、１つの単体類似度の具体的な数値であってもよく、検査する際１つの点が当該数値に達しているか否かを判断することができ、１つの割合値であってもよく、検査する際１つの点の、第１のマッチング直線／第２のマッチング直線に含まれた全ての点の平均値または一番大きい値に対する比値が、当該割合値に達するか否かを判断する。
【００６８】
さらに、ここでの類似度行列は、複数種類のメディア類似度から、総合的に考えて得られたものであってもよい。具体的には、本開示の実施例において、複数種類の抽出方法で得られた第１のメディア対象の複数の類別の第１のメディア特徴シーケンスと第２のメディア対象の複数の類別の第２のメディア特徴シーケンスとをともに取得し、複数の類別の第１のメディア特徴シーケンスと複数の類別の第２のメディア特徴シーケンスに基づいて類似度行列を特定することができる。そして、複数の類別のメディア特徴シーケンスによる類似度行列を利用して、２つのメディア対象の類似状況を特定する。
【００６９】
図５は、本開示の一実施例の複数の類別の第１のメディア特徴シーケンスと第２のメディア特徴シーケンスに基づいて類似度行列を特定することで、メディア特徴の比較を行う概略プロセスブロック図である。図５を参照すると、本開示の一実施例のメディア特徴の比較方法は、具体的にステップＳ５１、ステップＳ５２、ステップＳ５３を含む。
【００７０】
ステップＳ５１において、複数種類の抽出方法で得られた第１のメディア対象の複数の類別の第１のメディア特徴シーケンスと第２のメディア対象の複数の類別の第２のメディア特徴シーケンスをともに取得し、各種類の第１のメディア特徴シーケンスは複数の第１のメディア特徴単体を含み、各種類の第２のメディア特徴シーケンスは、複数の第２のメディア特徴単体を含む。例えば、第１のメディア対象と第２のメディア対象の前述の浮動小数点数特徴シーケンスと二値化特徴シーケンスとをともに取得する。その後、処理はステップＳ５２に進む。
【００７１】
ステップＳ５２において、複数種類の第１のメディア特徴シーケンスと複数種類の第２のメディア特徴シーケンスとのそれぞれに対して、同一類別である第１のメディア特徴単体と第２のメディア特徴単体との間の単体類似度を算出し、具体的には、前述実施例におけるステップＳ２０で示された過程によって、各単体類似度を特定することができる。よって、複数の類別のメディア特徴シーケンスに対応し、複数種類の単体類似度を得る。その後、処理はステップＳ５３に進む。
【００７２】
ステップＳ５３において、当該複数種類の単体類似度の平均値を特定し、当該複数種類の単体類似度の平均値に基づいて第１のメディア特徴シーケンスと第２のメディア特徴シーケンスとの間の類似度行列を特定するか、または、複数種類の単体類似度の最小値を特定し、当該複数種類の単体類似度の最小値に基づいて当該類似度行列を特定する。具体的には、前述実施例におけるステップＳ３０で示された過程によって、類似度行列を特定することができる。
【００７３】
その後、処理は前述に例示されたステップＳ４０に進み、ステップＳ４０において、複数の類別単体類似度に基づいて得られた当該類似度行列を利用して、第１のメディア対象と第２のメディア対象との類似状況を特定する。
【００７４】
複数種類の類似度の平均値または最小値を利用して類似度行列を特定する効果は、単一種類のメディア特徴を利用して類似度（例えば、前述の類似度行列、直線類似度など）を得て、メディア特徴の比較を行うと、誤ってマッチングする状況が存在するおそれがあるが、複数種類のメディア特徴の類似度の平均値を取るか、または最小値を取ることによって、当該誤ってマッチングする課題を減少させるか回避することができ、メディア特徴の比較の正確性を向上させる。
【００７５】
なお、複数種類の単体類似度の平均値または最小値を取る前に、各種類の単体類似度が一致する値の取り範囲を有することを確保すべきであり、例えば、全ての類別の単体類似度の、値の取り範囲をいずれも、予め０〜１に設定することができ、事実上、前述のコサイン距離に基づいて特定される単体類似度の例示及びハミング距離に基づいて特定される単体類似度の例示は、既に、特定される単体類似度の値の取り範囲を０〜１に設定している。
【００７６】
図６は、本開示のメディア特徴の比較装置１００の一実施例の概略構成図である。図６を参照すると、本開示に例示されたメディア特徴の比較装置１００は、主に、メディア特徴シーケンス取得モジュール１１０、単体類似度特定モジュール１２０、類似度行列特定モジュール１３０、及び類似状況特定モジュール１４０を含む。
【００７７】
当該メディア特徴シーケンス取得モジュール１１０は、第１のメディア対象のメディア特徴シーケンスを第１のメディア特徴シーケンスとして取得し、第２のメディア対象のメディア特徴シーケンスを第２のメディア特徴シーケンスとして取得するためのものである。ここでの第１のメディア対象と第２のメディア対象は、比較対象の２つのメディアである。具体的には、第１のメディア特徴シーケンスは、順次配列された複数の第１のメディア特徴単体を含み、第２のメディア特徴シーケンスは、順次配列された複数の第２のメディア特徴単体を含む。
【００７８】
当該単体類似度特定モジュール１２０は、各第１のメディア特徴単体と各第２のメディア特徴単体との間の単体類似度を特定するものである。各単体類似度は、２つのメディア特徴単体同士の類似度合いを示すためのものであり、具体的には、単体類似度が大きいほど、類似することを示してもよい。
【００７９】
本開示の実施例において、メディア特徴シーケンス取得モジュール１１０によって取得された第１のメディア特徴シーケンスと第２のメディア特徴シーケンスとがともに浮動小数点数特徴である場合、当該単体類似度特定モジュール１２０は、第１のメディア特徴単体と第２のメディア特徴単体との間のコサイン距離（または、コサイン類似度と呼ぶ）に基づいて当該単体類似度を特定するために、１つのサブモジュールを含む。
【００８０】
本開示の実施例において、メディア特徴シーケンス取得モジュール１１０によって取得された第１のメディア特徴シーケンスと第２のメディア特徴シーケンスとがともに二値化特徴である場合、当該単体類似度特定モジュール１２０は、第１のメディア特徴単体と第２のメディア特徴単体との間のハミング距離（Ｈａｍｍｉｎｇ  ｄｉｓｔａｎｃｅ）に基づいて当該単体類似度を特定するために、１つのサブモジュールを含む。
【００８１】
当該類似度行列特定モジュール１３０は、各単体類似度に基づいて、第１のメディア特徴シーケンスと第２のメディア特徴シーケンスとの間の類似度行列を特定するためのものである。
【００８２】
なお、実際の操作において、単体類似度特定モジュール１２０と類似度行列特定モジュール１３０とは、必ずしも別々のものではなく、単体類似度特定モジュール１２０が類似度行列特定モジュール１３０のうちの１サブモジュールであり、当該類似度行列特定モジュール１３０が類似度行列を特定し、当該類似度行列の各点を特定する過程において対応する単体類似度を算出するためのものであってもよい。
【００８３】
当該類似状況特定モジュール１４０は、当該類似度行列に基づいて、第１のメディア対象と第２のメディア対象との類似状況を特定するためのものである。具体的には、類似状況特定モジュール１４０は、当該類似度行列に基づいて第１のメディア対象と第２のメディア対象との類似度合いを特定し、比較スコアで当該類似度合いを表すことができる、及び／又は、当該類似度行列に基づいて第１のメディア対象と第２のメディア対象とのマッチングセグメントの開始時間及び終了時間を特定するためのものである。
【００８４】
本開示のいくつかの実施例において、類似状況特定モジュール１４０は１つのサブモジュールを含み、類似度行列における直線に基づいて第１のメディア対象と第２のメディア対象との類似状況を特定するためのものである。具体的には、当該サブモジュールは、類似度行列から直線類似度が一番高い直線を特定し、マッチング直線と呼ぶこと、マッチング直線の直線類似度を第１のメディア対象と第２のメディア対象との類似度合いに特定すること、及び／又はマッチング直線に対応する複数の第１のメディア特徴単体と複数の第２のメディア特徴単体に基づいて、第１のメディア対象と第２のメディア対象とのマッチングセグメントを特定することを行うためのものである。
【００８５】
本開示の１つの具体実施例において、当該類似状況特定モジュール１４０は、動的計画法で、類似度行列に基づいて２つのメディア対象同士の類似状況を特定するための動的計画比較サブモジュール（不図示）を含むことができる。図７は本開示の一実施例による動的計画比較サブモジュールを含む各ユニットの類似状況特定モジュール１４０の概略構成図である。図７を参照すると、一実施例において、本開示に例示された類似状況特定モジュール１４０は、直線類似度特定ユニット１４１、第１のマッチング直線特定ユニット１４２、及び第１の比較ユニット１４３を含む。
【００８６】
直線類似度特定ユニット１４１は、各候補直線に含まれた各単体類似度に基づいて、当該候補直線の直線類似度を特定するためのものである。ここで、候補直線は、類似度行列のうちの、勾配度が予め設定された勾配度設定値である複数の直線である。具体的には、１つの直線の直線類似度は、当該直線に含まれた各単体類似度の平均値に設定されるか、または、当該直線に含まれた各単体類似度の総計値に設定されることができる。
【００８７】
なお、本開示の一実施例において、直線類似度特定ユニット１４１は、さらに、候補直線から所有する単体類似度の数が予め設定された直線長さ設定値より少ない直線を除くための１つのサブユニットを含む。あるいは、直線類似度特定ユニット１４１で利用される候補直線は、さらに、所有する単体類似度の数が予め設定された直線長さ設定値に達することを満たす必要がある。
【００８８】
第１のマッチング直線特定ユニット１４２は、当該複数の候補直線から、当該直線類似度を一番大きくする１つの候補直線を特定し、第１のマッチング直線に定義するためのものである。
【００８９】
第１の比較ユニット１４３は、当該第１のマッチング直線の直線類似度を、第１のメディア対象と第２のメディア対象との類似度合いを表すための比較スコアに特定するためのもの、及び／又は、当該第１のマッチング直線の始点及び終点に基づいて２つのメディア対象におけるマッチングセグメントの開始時間及び終了時間を特定するためのものである。
【００９０】
本開示の１つの具体実施例において、当該類似状況特定モジュール１４０は、線形メディア法で、類似度行列に基づいて２つのメディア対象の類似状況を特定するための等速メディア比較サブモジュール（不図示）を含むことができる。図８は、本開示の一実施例による等速メディア比較サブモジュールを含む各ユニットの類似状況特定モジュール１４０の概略構成図である。図８を参照すると、一実施例において、本開示に例示された類似状況特定モジュール１４０は、極点特定ユニット１４４、第２のマッチング直線特定ユニット１４５、第２の比較ユニット１４６を含む。
【００９１】
極点特定ユニット１４４は、類似度行列から単体類似度が一番大きい複数の点を取り、類似度極点に定義するためのものである。
【００９２】
第２のマッチング直線特定ユニット１４５は、当該複数の類似度極点に基づいて、当該類似度行列から１つの直線をフィッティングして、第２のマッチング直線とするためのものである。いくつかの例示において、当該第２のマッチング直線特定ユニット１４５は、具体的に、当該複数の類似度極点に基づいて、予め設定された勾配度設定値または予め設定された勾配度設定値に近い値を有する１つの直線をフィッティングして、第２のマッチング直線とするためのものである。具体的には、当該第２のマッチング直線特定ユニット１４５は、ランダムサンプルコンセンサス法で、当該類似度行列から勾配度が勾配度設定値に近い１つの直線をフィッティングするためのものであってもよい。
【００９３】
第２の比較ユニット１４６は、当該第２のマッチング直線に含まれた複数の単体類似度に基づいて、第１のメディア対象と第２のメディア対象との類似度合いを表すための比較スコアを特定する（例えば、当該第２のマッチング直線上の各単体類似度の平均値を、当該比較スコアに特定することができる）ためのもの、及び／又は、当該第２のマッチング直線の始点及び終点に基づいて、２つのメディア対象におけるマッチングセグメントの開始時間及び終了時間を特定するためのものである。
【００９４】
本開示のいくつかの実施例において、当該類似状況特定モジュール１４０は、さらに、第３のマッチング直線特定ユニット（不図示）と第３の比較ユニット（不図示）とを含む。ここで、当該第３のマッチング直線特定ユニットは、前述の第１のマッチング直線または第２のマッチング直線の先端部分と末端部分を検出し、当該第１のマッチング直線／第２のマッチング直線の先端部分と末端部分の点（単体類似度）が予め設定された単体類似度設定値に達するか否かを判断して、第１のマッチング直線／第２のマッチング直線の先端と末端のうち、当該単体類似度設定値に達していない（即ち、単体類似度が高くない）部分を取り除くことで、中央の一区間の直線を残し、第３のマッチング直線に定義するためのものである。当該第３の比較ユニット（不図示）は、当該第３のマッチング直線の直線類似度に基づいて当該比較スコアを特定し、当該第３のマッチング直線の始点及び終点に基づいてマッチングセグメントの開始時間及び終了時間を特定するためのものである。
【００９５】
さらに、ここで類似度行列は、複数種類のメディア類似度から、総合的に考えて得られたものであってもよい。図９は本開示の一実施例における複数の類別の第１のメディア特徴シーケンス、第２のメディア特徴シーケンスに基づいて、類似度行列を特定するメディア特徴比較装置１００の構成ブロック図である。図９を参照すると、本開示の一実施例のメディア特徴の比較装置１００は、具体的に、複数類別メディア特徴シーケンスサブモジュール１１１、複数類別単体類似度特定サブモジュール１２１、複数類別のメディア特徴に基づく類似度行列特定サブモジュール１３１を含む。
【００９６】
複数類別メディア特徴シーケンスサブモジュール１１１は、複数種類の抽出方法で得られた第１のメディア対象の複数の類別の第１のメディア特徴シーケンスと第２のメディア対象の複数の類別の第２のメディア特徴シーケンスをともに取得するためのものであり、各種類の第１のメディア特徴シーケンスは、複数の第１のメディア特徴単体を含み、各種類の第２のメディア特徴シーケンスは、複数の第２のメディア特徴単体を含む。
【００９７】
複数類別単体類似度特定サブモジュール１２１は、複数種類の第１のメディア特徴シーケンスと複数種類の第２のメディア特徴シーケンスのそれぞれに対して、同一類別の第１のメディア特徴単体と第２のメディア特徴単体との間の単体類似度を算出し、複数種類の単体類似度を得るためのものである。
【００９８】
複数類別メディア特徴に基づく類似度行列特定サブモジュール１３１は、当該複数種類の単体類似度の平均値または最小値を特定し、当該複数種類の単体類似度の平均値または最小値に基づいて第１のメディア特徴シーケンスと第２のメディア特徴シーケンスとの間の類似度行列を特定するためのものである。
【００９９】
そして、類似状況特定モジュール１４０は、具体的に、当該複数の類別単体類似度で得られた類似度行列を利用して、第１のメディア対象と第２のメディア対象との類似状況を特定するためのものである。
【０１００】
図１０は本開示の実施例によるメディア特徴比較ハードウェア装置を図示するハードウェアブロック図である。図１０に示すように、本開示の実施例によるメディア特徴比較ハードウェア装置２００は、メモリー２０１とプロセッサー２０２とを含む。メディア特徴比較ハードウェア装置２００における各コンポーネントは、バスシステム及び／又は他の形式の接続機構（未図示）を介してお互いに接続される。
【０１０１】
当該メモリー２０１は、非一時的なコンピューター読み取り可能な指令を記憶するためのものである。具体的には、メモリー２０１は、１つまたは複数のコンピュータープログラム製品を含むことができ、当該コンピュータープログラム製品は、様々なコンピューター読み取り可能な記憶媒体、例えば、揮発性メモリー及び／又は不揮発性メモリーを含むことができる。当該揮発性メモリーは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリー（ｃａｃｈｅ）などを含むことができる。当該不揮発性メモリーは、例えば、リードオンリーメモリ（ＲＯＭ）、ハードディスク、及び、フラッシュメモリなどを含むことができる。
【０１０２】
当該プロセッサー２０２は、中央処理装置（ＣＰＵ）、または、データ処理能力及び／又は指令実行能力を有する他の形式の処理ユニットであることでき、メディア特徴比較ハードウェア装置２００におけるその他のコンポーネントを、所望の機能を実行するように制御することができる。本開示の一実施例において、当該プロセッサー２０２は、当該メモリー２０１に記憶された当該コンピューター読み取り可能な指令を実行させることで、当該メディア特徴比較ハードウェア装置２００に前述の本開示の各実施例におけるメディア特徴の比較方法のステップの全部または一部を実行させる。
【０１０３】
図１１は本開示の実施例によるコンピューター読み取り可能な記憶媒体を図示する模式図である。図１１に示すように、本開示の実施例によるコンピューター読み取り可能な記憶媒体３００は、それに非一時的なコンピューター読み取り可能な指令３０１が記憶されている。当該非一時的なコンピューター読み取り可能な指令３０１がプロセッサーによって実行される場合、前述の本開示の各実施例におけるメディア特徴の比較方法のステップの全部または一部を実行する。
【０１０４】
図１２は本開示の実施例による端末機器を図示するハードウェア構成の模式図である。端末機器は、様々な形で実施されることができ、本開示における端末機器は、携帯電話、スマートフォン、ノートパソコン、デジタル放送受信機、ＰＤＡ（携帯情報端末）、ＰＡＤ（タブレット）、ＰＭＰ（便携式マルチメディア播放器）、ナビゲーション装置、車載端末機器、車載表示端末、車載電子バックミラーなどのような移動端末機器、及び、デジタルテレビ、デスクトップコンピューターなどのような固定端末機器を含むが、これらに限定されない。
【０１０５】
図１２に示すように、端末機器１１００は、無線通信ユニット１１１０、Ａ／Ｖ（オーディオ／ビデオ）入力ユニット１１２０、ユーザー入力ユニット１１３０、センサーユニット１１４０、出力ユニット１１５０、メモリー１１６０、インタフェースユニット１１７０、コントローラ１１８０、及び、電源ユニット１１９０などを含むことができる。図１２には、各種のコンポーネントを有する端末機器が示されているが、示されたコンポーネントの全てを実施することを要求するのではないと理解すべきである。代わりに、より多いまたはより少ないコンポーネントを実施してもよい。
【０１０６】
ここで、無線通信ユニット１１１０は、端末機器１１００と無線通信システムまたはネットワークとの間の無線電気通信を許可する。Ａ／Ｖ入力ユニット１１２０は、オーディオまたはビデオ信号を受信するためのものである。ユーザー入力ユニット１１３０は、ユーザーによって入力された命令に基づいて、キー入力データを生成して、端末機器の各種の操作を制御可能にする。センサーユニット１１４０は、端末機器１１００の現在の状態、端末機器１１００の位置、ユーザーの端末機器１１００へのタッチ入力の有無、端末機器１１００の向き、端末機器１１００の加速または減速移動及び方向などを検出し、端末機器１１００を制御するための操作の命令または信号を生成させる。インタフェースユニット１１７０は、少なくとも１つの外部装置と端末機器１１００との接続を介することができるインタフェースとして使われる。出力ユニット１１５０は、視覚、オーディオ及び／又は触覚方式によって出力信号を提供するように構成されている。メモリー１１６０は、コントローラ１１８０によって実行される処理と制御操作のソフトウェアプログラムなどを記憶することができるか、または、出力済みまたは出力されるデータを一時的に記憶することができる。メモリー１１６０は、少なくとも１つの類別の記憶媒体を含むことができる。そして、端末機器１１００は、ネットワークの接続によってメモリー１１６０の記憶機能を実行可能なネットワーク記憶装置と連携することができる。コントローラ１１８０は、通常、端末機器の全体的な操作を制御する。また、コントローラ１１８０は、マルチメディアデータを複製または再生するためのマルチメディアモジュールを含むことができる。コントローラ１１８０は、タッチスクリーンで実行された手書き入力、または、イメージ作成による入力を、キャラクタまたは画像として認識するように、モード認識別処理を実行することができる。電源ユニット１１９０は、コントローラ１１８０の制御下で、外部電力または内部電力を受信し、各エレメントとコンポーネントを操作するのに必要な適切な電力を提供する。
【０１０７】
本開示によるメディア特徴の比較方法の各種の実施態様は、例えば、コンピューターソフトウェア、ハードウェア、または、これらのいかなる組み合わせであるコンピューター読み取り可能な媒体を利用して、実施されることができる。ハードウェアによる実施の場合、本開示によるメディア特徴の比較方法の各種の実施態様は、特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサー、コントローラ、マイクロコントローラ、マイクロプロセッサ、本明細書で説明する機能を実行するように設計された電サブユニットのうちの少なくとも一方を利用することによって実施されることができ、いくつかの場合には、本開示によるメディア特徴の比較方法の各種の実施態様はコントローラ１１８０で実施されることができる。ソフトウェアによる実施の場合、本開示によるメディア特徴の比較方法の各種の実施態様は、少なくとも１つの機能または操作の実行が許容される単独のソフトウェアモジュールと一緒に、実施されることができる。ソフトウェアのコードは、いかなる適切なプログラミング言語で記述されたソフトウェア応用プログラム（または、プログラム）によって実施されることができ、ソフトウェアコードは、メモリー１１６０に記憶され、コントローラ１１８０によって実行されることができる。
【０１０８】
以上のように、本開示実施例のメディア特徴の比較方法、装置、ハードウェア装置、コンピューター読み取り可能な記憶媒体及び端末機器によると、２つのメディア対象同士の類似度行列に基づいてメディア対象同士の類似状況を特定することで、メディア比較の効率と正確率を向上させることができる。さらに、類似度行列における直線に基づいて２つのメディア対象同士の類似度合い及び／又はマッチングセグメントを特定することで、メディア比較の効率と正確率を大幅に向上させることができる一方、複数の類別のメディア特徴シーケンスに基づいてメディア特徴の比較を行うことで、メディア比較の正確率を大幅に向上させることができる。
【０１０９】
なお、以上で具体的な実施例とともに本開示の基本原理を説明したが、本開示で言及された利点、長所、効果などは、単に例示として、限定的なものではないため、これらの利点、長所、効果などを本開示の各実施例が必ず有すると認定してはならない。また、上記に開示された具体的な細部は、単に、例示し分かりやすくするためのものとして、限定的なものではなく、上述した細部は、本開示が必ず上述した具体的な細部によって実現されることを限定しない。
【０１１０】
本開示にかかわるデバイス、装置、機器、システムのブロック図は、単に、例示的な例として、要求または暗示、必ずブロック図に示された方式で接続、配設、配置することを要求したり暗示したりすることを意図しない。当業者であれば分かるように、いずれの方式でこれらのデバイス、装置、機器、システムを接続、配設、配置することができる。「含む」、「備える」、「有する」などのような単語は、開放的な単語として、「含むが、これに限定されない」ということを意味し、これと交換して使うことができる。ここで単語の「または」と「及び」とは、文脈上明確に他の指示がない限り、「及び／又は」を意味し、これと交換して使うことができる。ここでいう単語の「のような」とは、連語の「のようなものであるが、これに限定されない」を意味し、これと交換して使うことができる。
【０１１１】
また、ここで使われる、「少なくとも１つの」を始まりとする事項の開始の項の列挙において使われる「または」は分ける列挙を指し、例えば、「Ａ、Ｂ、またはＣの少なくとも１つの」の列挙は、ＡまたはＢまたはＣ、あるいは、ＡＢまたはＡＣまたはＢＣ、あるいは、ＡＢＣ（即ち、ＡとＢとＣ）を意味する。なお、用語の「例示」は、説明された例が好ましい例か、または、他の例より優れていることを意味しない。
【０１１２】
なお、本開示のシステムと方法において、各部品または各ステップは、分解及び／又は再組合せすることができる。これらの分解及び／又は再組合せを、本開示の同等の態様として認められるべきである。
【０１１３】
添付の請求項によって定義された教示技術から離れることなく、本明細書に記載された技術に対して各種の変化、置き換え、変更を行うことができる。なお、本開示の特許請求の範囲は、上記のような処理、機器、製造、事件の構成、手段、方法と動作の具体的な面に限定されない。本明細書に記載された対応する面によって、基本的に同じく機能するか、または、基本的に同じ結果である、現在存在するかまたは後で開発される処理、機器、製造、事件の構成、手段、方法、または動作を実現する。従って、添付の請求項は、その範囲内でのこのような処理、機器、製造、事件の構成、手段、方法、または動作を含む。
【０１１４】
開示された面にかかわる以上の説明は、当業者であれば、本開示にたどり着くか、または、本開示を利用することを可能にする。これらの面での種々の修正は、当業者にとって自明なことであり、ここで定義される通常の原理は、他の面に適用可能であり、本開示の範囲から外れない。従って、本開示は、本明細書に記載された面に限定されることを意図せず、本明細書に開示された原理と新たな特徴とに一致するもっとも広い範囲通りにする。
【０１１５】
例示及び説明のために、以上のような記載を提供した。なお、本明細書の説明は、本開示の実施例をここに開示された形式に限定することを意図しない。以上で既に複数の例示面と実施例について検討したが、当業者は、その何らか変形、修正、変更、追加、及びそのサブ組合せとを想到できる。
【符号の説明】
【０１１６】
100  メディア特徴の比較装置
110  メディア特徴シーケンス取得モジュール
111  複数類別メディア特徴シーケンスサブモジュール
120  単体類似度特定モジュール
121  複数類別単体類似度特定サブモジュール
130  類似度行列特定モジュール
131  複数類別メディア特徴に基づく類似度行列特定サブモジュール
140  類似状況特定モジュール
141  直線類似度特定ユニット
142  第１のマッチング直線特定ユニット
143  第１の比較ユニット
144  極点特定ユニット
145  第２のマッチング直線特定ユニット
146  第２の比較ユニット
200  メディア特徴比較ハードウェア装置
201  メモリー
202  プロセッサー
300  コンピューター読み取り可能な記憶媒体
301  非一時的なコンピューター読み取り可能な指令
1110  無線通信ユニット
1120  Ａ／Ｖ（オーディオ／ビデオ）入力ユニット
1130  ユーザー入力ユニット
1140  センサーユニット
1150  出力ユニット
1160  メモリー
1170  インタフェースユニット
1180  コントローラ
1190  電源ユニット
【図１】
0006987987.tif 000002
【図２】
0006987987.tif 000003
【図３】
0006987987.tif 000004
【図４】
0006987987.tif 000005
【図５】
0006987987.tif 000006
【図６】
0006987987.tif 000007
【図７】
0006987987.tif 000008
【図８】
0006987987.tif 000009
【図９】
0006987987.tif 000010
【図１０】
0006987987.tif 000011
【図１１】
0006987987.tif 000012
【図１２】
0006987987.tif 000013