(57)【要約】本願の実施例は、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各ショットの画像特徴を取得するステップと、全てのショットの画像特徴により、ショットのグローバル特徴を取得するステップと、ショットの画像特徴とグローバル特徴によりショットの重みを決定するステップと、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体を開示する。
2021503123.tif 000002
【特許請求の範囲】
【請求項１】
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記ショットの画像特徴を取得するステップと、
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得するステップと、
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定するステップと、
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法。
【請求項２】
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、全ての前記ショットの画像特徴を処理して、前記ショットのグローバル特徴を取得するステップを含む請求項１に記載の方法。
【請求項３】
記憶ニューラルネットワークにより前記全てのショットの画像特徴を処理して、前記ショットのグローバル特徴を取得する前記ステップは、
前記全てのショットの画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列にマッピングして、入力記憶と出力記憶を取得するステップと、
前記ショットの画像特徴、前記入力記憶及び前記出力記憶により、前記ショットのグローバル特徴を取得するステップと、を含む請求項２に記載の方法。
【請求項４】
前記ショットの画像特徴、前記入力記憶及び前記出力記憶により、前記ショットのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を第３埋め込み行列にマッピングして、前記ショットの特徴ベクトルを取得するステップと、
前記特徴ベクトルと前記入力記憶に対して内積演算を行って、前記ショットの重みベクトルを取得するステップと、
前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って、前記グローバルベクトルを取得して、前記グローバルベクトルを前記グローバル特徴とするステップと、を含む請求項３に記載の方法。
【請求項５】
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定する前記ステップは、
前記ショットの画像特徴と前記ショットのグローバル特徴に対して内積演算を行って、重み特徴を取得するステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記ショットの重みを取得するステップと、を含む請求項１〜４のいずれか一項に記載の方法。
【請求項６】
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットのグローバル特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットの少なくとも２つのグローバル特徴を取得するステップを含む請求項２〜５のいずれか一項に記載の方法。
【請求項７】
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットの少なくとも２つのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれマッピングして、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、
少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得するステップと、を含む請求項６に記載の方法。
【請求項８】
少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を第３埋め込み行列にマッピングして、前記ショットの特徴ベクトルを取得するステップと、
前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って、前記ショットの少なくとも２つの重みベクトルを取得するステップと、
前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って、少なくとも２つのグローバルベクトルを取得して、前記少なくとも２つのグローバルベクトルを前記少なくとも２つのグローバル特徴とするステップと、を含む請求項７に記載の方法。
【請求項９】
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定する前記ステップは、
前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記ショットの少なくとも２つのグローバル特徴のうちの第２グローバル特徴を第１グローバル特徴とするステップであって、前記第２グローバル特徴が、前記少なくとも２つのグローバル特徴のうちの第１グローバル特徴以外のグローバル特徴であるステップと、
前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記ショットの少なくとも２つのグローバル特徴に第２グローバル特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記ショットの重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記ショットの重みを取得するステップと、を含む請求項６〜８のいずれか一項に記載の方法。
【請求項１０】
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、前記ショットの画像特徴を取得する前記ステップの前に、
前記被処理ビデオストリームに対してショット分割を行って前記ショットシーケンスを取得するステップを更に含む請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記被処理ビデオストリームに対してショット分割を行って前記ショットシーケンスを取得する前記ステップは、
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、前記ショットシーケンスを取得するステップを含む請求項１０に記載の方法。
【請求項１２】
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、前記ショットシーケンスを取得する前記ステップは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得するステップと、を含む請求項１１に記載の方法。
【請求項１３】
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定する前記ステップは、
前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、前記分割が正確であると決定するステップと、
前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、前記分割が正確ではないと決定するステップと、を含む請求項１２に記載の方法。
【請求項１４】
前記分割が正確であることに応じて、前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得する前記ステップは、
前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記ショットとして、前記ショットシーケンスを取得するステップを含む請求項１２又は１３に記載の方法。
【請求項１５】
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各々の前記ショットの画像特徴を取得する前記ステップは、
前記ショット内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
全ての前記画像特徴の平均特徴を取得して、前記平均特徴を前記ショットの画像特徴とするステップと、を含む請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得する前記ステップは、
前記ビデオ要約の限定時間長を取得するステップと、
前記ショットの重みと前記ビデオ要約の限定時間長により、前記被処理ビデオストリームのビデオ要約を取得するステップと、を含む請求項１〜１５のいずれか一項に記載の方法。
【請求項１７】
特徴抽出ネットワークと記憶ニューラルネットワークにより、実現される方法であって、
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各々の前記ショットの画像特徴を取得する前記ステップの前に、
サンプルビデオストリームに基づいて、前記特徴抽出ネットワークと記憶ニューラルネットワークに対して統合トレーニングを行うステップを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプルショットを含み、前記サンプルショット毎にアノテーション重みが含まれる、請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記ショットの画像特徴を取得するように構成される特徴抽出ユニットと、
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得するように構成されるグローバル特徴ユニットと、
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定するように構成される重み取得ユニットと、
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するように構成される要約生成ユニットと、を含むビデオ要約生成装置。
【請求項１９】
前記グローバル特徴ユニットは、記憶ニューラルネットワークにより、全ての前記ショットの画像特徴を処理して、前記ショットのグローバル特徴を取得するように構成される請求項１８に記載の装置。
【請求項２０】
前記グローバル特徴ユニットは、前記全てのショットの画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列にマッピングして入力記憶と出力記憶を取得し、前記ショットの画像特徴、前記入力記憶及び前記出力記憶により前記ショットのグローバル特徴を取得するように構成される請求項１９に記載の装置。
【請求項２１】
前記グローバル特徴ユニットは、前記ショットの画像特徴、前記入力記憶及び前記出力記憶により前記ショットのグローバル特徴を取得する時に、前記ショットの画像特徴を第３埋め込み行列にマッピングして前記ショットの特徴ベクトルを取得し、前記特徴ベクトルと前記入力記憶に対して内積演算を行って前記ショットの重みベクトルを取得し、前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って前記グローバルベクトルを取得して前記グローバルベクトルを前記グローバル特徴とするように構成される請求項２０に記載の装置。
【請求項２２】
前記重み取得ユニットは、前記ショットの画像特徴と前記ショットのグローバル特徴に対して内積演算を行って重み特徴を取得し、前記重み特徴を全結合ニューラルネットワークによって処理し前記ショットの重みを取得するように構成される請求項１８〜２１のいずれか一項に記載の装置。
【請求項２３】
前記グローバル特徴ユニットは、記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットの少なくとも２つのグローバル特徴を取得するように構成される請求項１９〜２２のいずれか一項に記載の装置。
【請求項２４】
前記グローバル特徴ユニットは、前記ショットの画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれマッピングして、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得するステップと、を実行するように構成される請求項２３に記載の装置。
【請求項２５】
前記グローバル特徴ユニットは、少なくとも２つの前記記憶セットと前記ショットの画像特徴により前記ショットの少なくとも２つのグローバル特徴を取得する時に、前記ショットの画像特徴を第３埋め込み行列にマッピングして前記ショットの特徴ベクトルを取得し、前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って前記ショットの少なくとも２つの重みベクトルを取得し、前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って少なくとも２つのグローバルベクトルを取得して前記少なくとも２つのグローバルベクトルを前記少なくとも２つのグローバル特徴とするように構成される請求項２４に記載の装置。
【請求項２６】
前記重み取得ユニットは、前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記ショットの少なくとも２つのグローバル特徴のうちの第２グローバル特徴を第１グローバル特徴とするステップであって、前記第２グローバル特徴が、前記少なくとも２つのグローバル特徴のうちの第１グローバル特徴以外のグローバル特徴であるステップと、
前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記ショットの少なくとも２つのグローバル特徴に第２グローバル特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記ショットの重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記ショットの重みを取得するステップと、を実行するように構成される請求項２３〜２５のいずれか一項に記載の装置。
【請求項２７】
前記被処理ビデオストリームに対してショット分割を行って前記ショットシーケンスを取得するように構成されるショット分割ユニットを更に含む請求項１８〜２６のいずれか一項に記載の装置。
【請求項２８】
前記ショット分割ユニットは、前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、前記ショットシーケンスを取得するように構成される請求項２７に記載の装置。
【請求項２９】
前記ショット分割ユニットは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得するステップと、を実行するように構成される請求項２８に記載の装置。
【請求項３０】
前記ショット分割ユニットは、前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて前記分割が正確であるか否かを決定する時に、前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて前記分割が正確であると決定し、前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて前記分割が正確ではないと決定するように構成される請求項２９に記載の装置。
【請求項３１】
前記ショット分割ユニットは、前記分割が正確であることに応じて前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得する時に、前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記ショットとして、前記ショットシーケンスを取得するように構成される請求項２９又は３０に記載の装置。
【請求項３２】
前記特徴抽出ユニットは、前記ショット内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って少なくとも１つの画像特徴を取得し、全ての前記画像特徴の平均特徴を取得して前記平均特徴を前記ショットの画像特徴とするように構成される請求項１８〜３１のいずれか一項に記載の装置。
【請求項３３】
前記要約生成ユニットは、前記ビデオ要約の限定時間長を取得し、前記ショットの重みと前記ビデオ要約の限定時間長により前記被処理ビデオストリームのビデオ要約を取得するように構成される請求項１８〜３２のいずれか一項に記載の装置。
【請求項３４】
サンプルビデオストリームに基づいて、前記特徴抽出ネットワークと記憶ニューラルネットワークに対して統合トレーニングを行うように構成される統合トレーニングユニットを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプルショットを含み、前記サンプルショット毎にアノテーション重みが含まれる請求項１８〜３３のいずれか一項に記載の装置。
【請求項３５】
請求項１８〜３４のいずれか一項に記載のビデオ要約生成装置を備えるプロセッサを含む電子機器。
【請求項３６】
実行可能コマンドを記憶するように構成されるメモリと、
前記メモリと通信して前記実行可能コマンドを実行して請求項１〜１７のいずれか一項に記載のビデオ要約生成方法の操作を完了するように構成されるプロセッサと、を含む電子機器。
【請求項３７】
コンピュータ可読コマンドを記憶し、前記コマンドが実行される時に請求項１〜１７のいずれか一項に記載のビデオ要約生成方法の操作が実行されるように構成されるコンピュータ記憶媒体。
【請求項３８】
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動する時に、前記機器におけるプロセッサが請求項１〜１７のいずれか一項に記載のビデオ要約生成方法を実現するように構成されるコマンドを実行するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、出願番号が２０１８１１２２４１６９．Ｘで、出願日が２０１８年１０月１９日である中国特許出願に基づいて提出され、且つ該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【０００２】
本願は、コンピュータビジョン技術に関するが、それに限定されるものではなく、特に、ビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体に関する。
【背景技術】
【０００３】
ビデオデータが高速に増加するに伴って、短い時間でこれらのビデオに高速に目を通すために、ビデオ要約は重要な役割を果たしてきている。ビデオ要約は新興のビデオ理解技術である。ビデオ要約は、長いビデオからいくつかのショットを抽出して合成される、最初ビデオの筋又は素晴らしいショットを含む新しい短ビデオである。
【０００４】
人工知能技術により、例えば画像分類等の多くのコンピュータビジョン課題に対して優れた解决手段を得ており、ひいては人間よりも優れた面を示しているが、それが明確な目標に対するものに限っている。他のコンピュータビジョンタスクと比べて、ビデオ要約はより抽象的なものであり、もっとビデオ全体に対する理解を求められている。ビデオ要約内のショットの取捨は、このショットそのものの情報に頼るだけでなく、更にビデオ全体に表現される情報に頼る。
【発明の概要】
【課題を解決するための手段】
【０００５】
本願の実施例は、ビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体を提供する。
【０００６】
本願の実施例の一態様によれば、
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記ショットの画像特徴を取得するステップと、
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得するステップと、
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定するステップと、
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法を提供する。
【０００７】
本願の実施例の別の態様によれば、
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記ショットの画像特徴を取得するように構成される特徴抽出ユニットと、
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得するように構成されるグローバル特徴ユニットと、
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定するように構成される重み取得ユニットと、
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するように構成される要約生成ユニットと、を含むビデオ要約生成装置を提供する。
【０００８】
本願の実施例の更に別の態様によれば、上記のいずれか一項に記載のビデオ要約生成装置を備えるプロセッサを含む電子機器を提供する。
【０００９】
本願の実施例のまた１つの態様によれば、実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して上記のいずれか一項に記載のビデオ要約生成方法の操作を完了するためのプロセッサと、を含む電子機器を提供する。
【００１０】
本願の実施例の更にまた１つの態様によれば、コンピュータ可読コマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行される時に上記のいずれか一項に記載のビデオ要約生成方法の操作が実行されるコンピュータ記憶媒体を提供する。
【００１１】
本願の実施例の別の態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動する時に、前記機器におけるプロセッサが上記のいずれか一項に記載のビデオ要約生成方法を実現するためのコマンドを実行するコンピュータプログラム製品を提供する。
【００１２】
本願の上記実施例で提供されるビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体によれば、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って各ショットの画像特徴を取得する。ショット毎にには少なくとも１フレームのビデオ画像が含まれ、全てのショットの画像特徴によりショットのグローバル特徴を取得し、ショットの画像特徴とグローバル特徴によりショットの重みを決定し、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得し、画像特徴とグローバル特徴に基づいて各ショットの重みを決定して、ビデオ全体の角度からビデオを理解することが実現され、各ショットとビデオ全体との関係が利用され、本実施例のショットの重みに基づいて決定されるビデオ要約は、ビデオコンテンツを全体的に表現可能であり、ビデオ要約が全面的でないという問題を減少する。
【００１３】
以下、図面及び実施例を通じて本願の技術的手段をさらに詳しく説明する。
【図面の簡単な説明】
【００１４】
【図１】本願の実施例で提供されるビデオ要約生成方法の一実施例のフローを模式的に示す図である。
【図２】本願の実施例で提供されるビデオ要約生成方法の別の実施例のフローを模式的に示す図である。
【図３】本願の実施例で提供されるビデオ要約生成方法の選択可能な一例の一部のフローを模式的に示す図である。
【図４】本願の実施例で提供されるビデオ要約生成方法の別の選択可能な一例の一部のフローを模式的に示す図である。
【図５】本願の実施例で提供されるビデオ要約生成方法のまた１つの実施例のフローを模式的に示す図である。
【図６】本願の実施例で提供されるビデオ要約生成方法のいくつかの選択可能な例の模式図である。
【図７】本願の実施例で提供されるビデオ要約生成方法のまた１つの実施例のフローを模式的に示す図である。
【図８】本願の実施例で提供されるビデオ要約生成方法のまた１つの選択可能な例の一部のフローを模式的に示す図である。
【図９】本願の実施例で提供されるビデオ要約生成装置の一実施例の構造模式図である。
【図１０】本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構造模式図である。
【発明を実施するための形態】
【００１５】
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
【００１６】
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
【００１７】
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。
【００１８】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００１９】
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。
【００２０】
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
【００２１】
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００２２】
図１は本願の実施例で提供されるビデオ要約生成方法の一実施例のフローを模式的に示す図である。該方法は、端末装置、サーバ、携帯装置等のような任意のビデオ要約抽出装置により実行されてもよく、図１に示すように、該実施例の方法は、以下のステップを含む。
【００２３】
ステップ１１０において、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各ショットの画像特徴を取得する。
【００２４】
前記ビデオ要約は、元のビデオストリームからキー情報や主旨情報を抽出して生成されるビデオ要約であり、元のビデオストリームと比べてデータストリームがより小さくなると共に、元のビデオストリームの主旨コンテンツやキーコンテンツを含み、後続の元のビデオストリームの検索等に利用可能である。
【００２５】
本実施例では、例えば、前記ビデオストリーム中の特定目標の運動変化を解析することによって、同一な目標のビデオストリームでの運動軌跡を表現するビデオ要約を生成する。ここで例を挙げただけであり、具体的な実施形態が上記の例に限定されないのはもちろんのことである。
【００２６】
本実施例では、被処理ビデオストリームは、ビデオ要約を取得される、少なくとも１フレームのビデオ画像を含むビデオストリームである。異なるフレームのビデオ画像で構成された画像集合に過ぎないことを回避するように取得されたビデオ要約にコンテンツ意味を持たせるために、本願の実施例は、少なくとも１フレームのビデオ画像を含むショットをビデオ要約の構成単位とする。
【００２７】
いくつかの実施例では、本願の実施例における特徴抽出は任意の特徴抽出ネットワークに基づいて実現されてもよく、特徴抽出ネットワークに基づいて各ショットに対してそれぞれ特徴抽出を行って、少なくとも２つの画像特徴を取得し、本願は具体的な特徴抽出プロセスを限定するものではない。
【００２８】
ステップ１２０において、全てのショットの画像特徴により、ショットのグローバル特徴を取得する。
【００２９】
いくつかの実施例では、ビデオストリームに対応する全ての画像特徴に対して処理（例えば、マッピング又は埋め込み等）を行ってビデオストリーム全体に対応する変換特徴シーケンスを取得し、変換特徴シーケンス及び各画像特徴に対して計算して、各ショットとビデオストリーム内の他のショットとの関連関係を表現可能である、各ショットに対応するグローバル特徴（グローバル注目度）を取得する。
【００３０】
ここのグローバル特徴は、１つのショットの複数のビデオ画像内の同一な画像要素同士の対応関係又は位置関係を表現する画像特徴を含むが、それに限定されない。上記の関連関係が前記対応関係及び／又は位置関係に限定されないことに注意すべきである。
【００３１】
ステップ１３０において、ショットの画像特徴とグローバル特徴によりショットの重みを決定する。
【００３２】
ショットの画像特徴及びそのグローバル特徴によって該ショットの重みを決定し、それにより得られた重みは該ショット自身に加えて、更に該ショットとビデオストリーム全体の他のショットとの関連関係に基づくものになって、ビデオ全体の角度からショットの重要性を評価することが実現される。
【００３３】
ステップ１４０において、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【００３４】
本実施例では、ショットの重みによってショットシーケンス内のショットの重要性を決定し、しかし、ビデオ要約を決定するには、ショットの重要性を基にすることに加えて、ビデオ要約の長さを抑える必要もあり、即ち、ショットの重み及びショットの時間長（フレーム数）の両方に基づいてビデオ要約を決定しなければならない。具体的には、前記重みと前記ショットの重要性及び／又はビデオ要約の長さ等は正相関する。本実施例では、ナップザックアルゴリズムを用いてビデオ要約を決定してもよいし、他のアルゴリズムを用いて決定してもよく、ここで一つずつ説明しない。
【００３５】
上記実施例で提供されるビデオ要約生成方法によれば、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って少なくとも１フレームのビデオ画像を含む各ショットの画像特徴を取得し、全てのショットの画像特徴によりショットのグローバル特徴を取得し、ショットの画像特徴とグローバル特徴によりショットの重みを決定し、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得し、そのようにして画像特徴とグローバル特徴に基づいて各ショットの重みを決定して、ビデオ全体の角度からビデオを理解することが実現され、各ショットとビデオストリーム全体とのグローバル関連関係が利用され、本実施例に基づいて決定されるビデオ要約は、ビデオコンテンツを全体的に表現可能であり、ビデオ要約が全面的でないという問題を減少する。
【００３６】
図２は本願の実施例で提供されるビデオ要約生成方法の別の実施例のフローを模式的に示す図である。図２に示すように、本実施例の方法は、以下のステップを含む。
【００３７】
ステップ２１０において、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各ショットの画像特徴を取得する。
【００３８】
本願の実施例では、ステップ２１０は、上記実施例のステップ１１０と類似しており、このステップを理解するために上記実施例を参照してもよく、ここで再度説明することを省略する。
【００３９】
ステップ２２０において、記憶ニューラルネットワークにより、全てのショットの画像特徴を処理して、ショットのグローバル特徴を取得する。
【００４０】
いくつかの実施例では、記憶ニューラルネットワークは、少なくとも２つの埋め込み行列を含んでよく、ビデオストリームの全てのショットの画像特徴をそれぞれ少なくとも２つの埋め込み行列に入力することによって、該ショットとビデオストリーム内の他のショットとの関連関係を表現可能な各ショットのグローバル特徴を埋め込み行列の出力で取得し、ショットの重みから言えば、重みが大きいほど、該ショットと他のショットとの関連性が大きく、ビデオ要約に含まれる可能性が高い。
【００４１】
ステップ２３０において、ショットの画像特徴とグローバル特徴によりショットの重みを決定する。
【００４２】
本願の実施例では、ステップ２３０は、上記実施例のステップ１３０と類似しており、このステップを理解するために上記実施例を参照してもよく、ここで再度説明することを省略する。
【００４３】
ステップ２４０において、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【００４４】
本願の実施例では、ステップ２４０は、上記実施例のステップ１４０と類似しており、このステップを理解するために上記実施例を参照してもよく、ここで再度説明することを省略する。
【００４５】
本願の実施例は、記憶ニューラルネットワークによって、人間がビデオ要約を作る時の仕方をまね、即ち、ビデオ全体の角度からビデオを理解し、記憶ニューラルネットワークを用いてビデオストリーム全体の情報を記憶し、それぞれのショットとビデオのグローバル関係に基づいてその重要性を决定して、ビデオ要約とするショットを選択する。
【００４６】
図３は本願の実施例で提供されるビデオ要約生成方法の選択可能な一例の一部のフローを模式的に示す図である。図３に示すように、上記実施例中のステップ２２０には、以下のステップを含む。
【００４７】
ステップ３１０において、全てのショットの画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列にマッピングして、入力記憶と出力記憶を取得する。
【００４８】
本実施例における入力記憶と出力記憶はそれぞれビデオストリームの全てのショットに対応し、各埋め込み行列は１つの記憶（入力記憶又は出力記憶）に対応し、全てのショットの画像特徴を１つの埋め込み行列にマッピングすることによって、１組の新しい画像特徴、つまり１つの記憶を取得することができる。
【００４９】
ステップ３２０において、ショットの画像特徴、入力記憶及び出力記憶により、ショットのグローバル特徴を取得する。
【００５０】
入力記憶、出力記憶及び該ショットの画像特徴に基づいて、該ショットのグローバル特徴を取得でき、該グローバル特徴は該ショットとビデオストリーム内の全てのショットとの関連を表現し、それによってグローバル特徴に基づいて取得されたショットの重みがビデオストリーム全体と関連し、更により全面的なビデオ要約が取得される。
【００５１】
１つ又は複数の実施例では、各ショットは少なくとも２つのグローバル特徴に対応してもよく、少なくとも２つのグローバル特徴は少なくとも２つの埋め込み行列セットによって取得されてもよく、それぞれの埋め込み行列セットの構造が上記実施例における第１埋め込み行列と第２埋め込み行列と類似し、
ショットの画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれマッピングして、少なくとも２つの記憶セットを取得し、埋め込み行列セット毎に２つの埋め込み行列が含まれ、記憶セット毎に入力記憶と出力記憶とが含まれ、
少なくとも２つの記憶セットとショットの画像特徴により、ショットの少なくとも２つのグローバル特徴を取得する。
【００５２】
本願の実施例では、ショットの重みのグローバル性を高めるために、少なくとも２つの記憶セットによって少なくとも２つのグローバル特徴を取得し、複数のグローバル特徴に基づいてショットの重みを取得し、ここで、それぞれの埋め込み行列セットに含まれる埋め込み行列が異なり又は同じであり、埋め込み行列セット同士が異なる時に、得られたグローバル特徴はショットとビデオ全体との関連をより好適に表現可能である。
【００５３】
図４は本願の実施例で提供されるビデオ要約生成方法の別の選択可能な一例の一部のフローを模式的に示す図である。図４に示すように、上記実施例中のステップ３２０には、以下のステップを含む。
【００５４】
ステップ４０２において、ショットの画像特徴を第３埋め込み行列にマッピングして、ショットの特徴ベクトルを取得する。
【００５５】
いくつかの実施例では、該第３埋め込み行列は画像特徴の転置を実現可能であり、即ち、該ショットの画像特徴を転置してショットの特徴ベクトルを取得し、例えば、ショットシーケンス内のｉ番目のショットに対応する画像特徴
【００５６】
【化１】
2021503123.tif 000003
【００５７】
を転置して特徴ベクトル
【００５８】
【化２】
2021503123.tif 000004
【００５９】
を取得する。
【００６０】
ステップ４０４において、特徴ベクトルと入力記憶に対して内積演算を行って、ショットの重みベクトルを取得する。
【００６１】
いくつかの実施例では、入力記憶がショットシーケンスに対応し、従って、入力記憶には少なくとも２つのベクトル（数量がショット数量に対応）を含み、特徴ベクトルと入力記憶に対して内積演算を行う時に、Ｓｏｆｔｍａｘ活性化関数によって、特徴ベクトルと入力記憶中の複数のベクトルに対して内積を計算して得られた結果を（０，１）区間内にマッピングして、複数の確率形式の値を得て、複数の確率形式の値を該ショットの重みベクトルとすることができ、例えば、式（１）によって重みベクトルを取得することができる。
【００６２】
【化３】
2021503123.tif 000005
【００６３】
ただし、
【００６４】
【化４】
2021503123.tif 000006
【００６５】
はｉ番目のショットの画像特徴、即ち、現在重みを計算されるショットに対応する画像特徴を表し、
【００６６】
【化５】
2021503123.tif 000007
【００６７】
は入力記憶を表し、
【００６８】
【化６】
2021503123.tif 000008
【００６９】
はｉ番目の画像特徴と入力記憶との関連性の重みベクトルを表し、Ｓｏｆｔｍａｘ活性化関数は多クラス分類プロセスに用いられて、複数のニューロンの出力を（０，１）区間内にマッピングするものであり、確率として理解してもよく、ただし、ｉの値はショットシーケンスのショット数量であり、式（１）によれば、ｉ番目の画像特徴とショットシーケンスとの関連性を表現する重みベクトルが取得可能になる。
【００７０】
ステップ４０６において、重みベクトルと出力記憶に対して重み付け重畳演算を行って、グローバルベクトルを取得して、グローバルベクトルをグローバル特徴とする。
【００７１】
いくつかの実施例では、以下の式（２）によってグローバルベクトルを取得する。
【００７２】
【化７】
2021503123.tif 000009
【００７３】
ただし、
【００７４】
【化８】
2021503123.tif 000010
【００７５】
は第２埋め込み行列に基づいて取得された出力記憶を表し、
【００７６】
【化９】
2021503123.tif 000011
【００７７】
はｉ番目の画像特徴と出力記憶に対して計算して取得されたグローバルベクトルを表す。
【００７８】
本実施例は画像特徴と入力記憶によって内積演算を行って、該画像特徴と各ショットとの関連性を取得し、選択可能に、内積演算を行う前に、画像特徴と入力記憶内のベクトルの内積演算が可能であることを保証するために、該画像特徴に対して転置処理を行ってもよく、この時に取得された重みベクトルは複数の確率値を含み、各確率値は、該ショットとショットシーケンス内の各ショットの関連性を表し、大きいほど、関連性が強く、各確率値と出力記憶内の複数のベクトルに対してそれぞれ内積演算を行って、該ショットのグローバルベクトルを取得してグローバル特徴とする。
【００７９】
一実施例では、各ショットが少なくとも２つのグローバル特徴に対応する時に、少なくとも２つの記憶セットによりショットの少なくとも２つのグローバル特徴を取得するステップは、
ショットの画像特徴を第３埋め込み行列にマッピングして、ショットの特徴ベクトルを取得するステップと、
特徴ベクトルと少なくとも２つの入力記憶に対して内積演算を行って、ショットの少なくとも２つの重みベクトルを取得するステップと、
重みベクトルと少なくとも２つの出力記憶に対して重み付け重畳演算を行って、少なくとも２つのグローバルベクトルを取得して、少なくとも２つのグローバルベクトルを少なくとも２つのグローバル特徴とするステップと、を含む。
【００８０】
ここで、各重みベクトルとグローバルベクトルの計算プロセスは上記実施例と類似し、参照しながら理解してもよく、ここで再度説明することを省略する。選択可能に、重みベクトルを取得する公式は上記式（１）を変形させて式（５）を得ることで実現可能である。
【００８１】
【化１０】
2021503123.tif 000012
【００８２】
ただし、
【００８３】
【化１１】
2021503123.tif 000013
【００８４】
はｉ番目のショットの画像特徴、即ち、現在重みを計算されるショットに対応する画像特徴を表し、
【００８５】
【化１２】
2021503123.tif 000014
【００８６】
はｉ番目のショットの特徴ベクトルを表し、
【００８７】
【化１３】
2021503123.tif 000015
【００８８】
はｋ番目の記憶セット内の入力記憶を表し、
【００８９】
【化１４】
2021503123.tif 000016
【００９０】
はｉ番目の画像特徴とｋ番目の記憶セット内の入力記憶との関連性の重みベクトルを表し、Ｓｏｆｔｍａｘ活性化関数は多クラス分類プロセスに用いられて、複数のニューロンの出力を（０，１）区間内にマッピングするものであり、確率として理解してもよく、ただし、ｋの値は１〜Ｎであり、式（５）によれば、ｉ番目の画像特徴とショットシーケンスとの関連性を表現する少なくとも２つの重みベクトルが取得可能になる。
【００９１】
いくつかの実施例では、上記式（２）を変形させて式（６）を得ることによって本実施例における少なくとも２つのグローバルベクトルを取得する。
【００９２】
【化１５】
2021503123.tif 000017
【００９３】
ここで、
【００９４】
【化１６】
2021503123.tif 000018
【００９５】
はｋ番目の記憶セット内の出力記憶に基づくことを表し、
【００９６】
【化１７】
2021503123.tif 000019
【００９７】
はｉ番目の画像特徴とｋ番目の記憶セット内の出力記憶に対して計算して取得されたグローバルベクトルを表し、式（６）に基づけば、該ショットの少なくとも２つのグローバルベクトルが取得可能になる。
【００９８】
図５は本願の実施例で提供されるビデオ要約生成方法のまた１つの実施例のフローを模式的に示す図である。図５に示すように、
ステップ５１０において、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各ショットの画像特徴を取得する。
【００９９】
本願の実施例では、ステップ５１０は、上記実施例のステップ１１０と類似しており、このステップを理解するために上記実施例を参照してもよく、ここで再度説明することを省略する。
【０１００】
ステップ５２０において、全てのショットの画像特徴により、ショットのグローバル特徴を取得する。
【０１０１】
本願の実施例では、ステップ５２０は、上記実施例のステップ１２０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【０１０２】
ステップ５３０において、ショットの画像特徴とショットのグローバル特徴に対して内積演算を行って、重み特徴を取得する。
【０１０３】
いくつかの実施例では、ショットの画像特徴とショットのグローバル特徴によって内積演算を行って、取得された重み特徴にショットのビデオ全体での重要性を表現させると共に、ショット自身の情報にも頼らせ、選択可能に、以下の式（３）によって重み特徴を取得可能である。
【０１０４】
【化１８】
2021503123.tif 000020
【０１０５】
ここで、
【０１０６】
【化１９】
2021503123.tif 000021
【０１０７】
はｉ番目のショットの重み特徴を表し、
【０１０８】
【化２０】
2021503123.tif 000022
【０１０９】
はｉ番目のショットのグローバルベクトルを表し、
【０１１０】
【化２１】
2021503123.tif 000023
【０１１１】
は点乗積、即ち内積演算を表す。
【０１１２】
ステップ５４０において、重み特徴を全結合ニューラルネットワークによって処理し、ショットの重みを取得する。
【０１１３】
重みはショットの重要性を表現するためのものであるので、数値で表現することが要求され、選択可能に、本実施例は全結合ニューラルネットワークによって重み特徴の次元を変換して、１次元ベクトルで表現されるショットの重みを取得する。
【０１１４】
いくつかの実施例では、以下の式（４）に基づいてショットの重みを取得することができる
【０１１５】
【化２２】
2021503123.tif 000024
【０１１６】
ただし、
【０１１７】
【化２３】
2021503123.tif 000025
【０１１８】
はｉ番目のショットの重みを表し、
【０１１９】
【化２４】
2021503123.tif 000026
【０１２０】
はそれぞれ目標画像特徴の全結合ネットワークによる重みと偏差量を表す。
【０１２１】
ステップ５５０において、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【０１２２】
本実施例は、ショットの画像特徴とショットのグローバル特徴に基づいてショットの重みを決定し、該ショットの情報を表現すると共に、ショットとビデオ全体との関連をも基にして、ビデオ局所とビデオ全体の角度からビデオを理解することを実現し、取得されたビデオ要約が人間の習慣に更に合致する。
【０１２３】
いくつかの実施例では、ショットの画像特徴とグローバル特徴によりショットの重みを決定するステップは、
ショットの画像特徴とショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
第１重み特徴を画像特徴とし、ショットの少なくとも２つのグローバル特徴のうちの第２グローバル特徴を第１グローバル特徴とするステップであって、２グローバル特徴が、少なくとも２つのグローバル特徴のうちの第１グローバル特徴以外のグローバル特徴であるステップと、
ショットの画像特徴とショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
ショットの少なくとも２つのグローバル特徴に第２グローバル特徴が含まれなくなるまで実行してから、第１重み特徴をショットの重み特徴とするステップと、
重み特徴を全結合ニューラルネットワークによって処理し、ショットの重みを取得するステップと、を含む。
【０１２４】
本実施例では、グローバル特徴が複数あるので、毎回、画像特徴とグローバル特徴の内積演算結果を次回の演算の画像特徴として、循環を実現し、毎回の演算は上記式（３）を変更させて得られた式（７）に基づいて実現可能である。
【０１２５】
【化２５】
2021503123.tif 000027
【０１２６】
ただし、
【０１２７】
【化２６】
2021503123.tif 000028
【０１２８】
はｉ番目の画像特徴とｋ番目の記憶セット内の出力記憶に基づいて計算して得られたグローバルベクトルを表し、
【０１２９】
【化２７】
2021503123.tif 000029
【０１３０】
は第１重み特徴を表し、
【０１３１】
【化２８】
2021503123.tif 000030
【０１３２】
は点乗積を表し、ｋ＋１番目の記憶セット内の出力記憶に基づいてグローバルベクトルを計算して得るまで循環して来た時に、
【０１３３】
【化２９】
2021503123.tif 000031
【０１３４】
を用いて
【０１３５】
【化３０】
2021503123.tif 000032
【０１３６】
を取り替えてｉ番目のショットの画像特徴を表し、この時に
【０１３７】
【化３１】
2021503123.tif 000033
【０１３８】
に変わり、全ての記憶セットの演算が完了するまで実行してから、出力
【０１３９】
【化３２】
2021503123.tif 000034
【０１４０】
をショットの重み特徴とし、重み特徴によるショット重みの決定は上記実施例と類似し、ここで再度説明することを省略する。
【０１４１】
図６は本願の実施例で提供されるビデオ要約生成方法のいくつかの選択可能な例の模式図である。図６に示すように、この例では、複数の記憶セットを含み、ここで記憶セットの数量がｎであり、ビデオストリームを分割することによって複数の行列を取得し、画像特徴に対して上記式（５）、（６）、（７）、（４）に基づいて計算することによって、ｉ番目のショットの重み
【０１４２】
【化３３】
2021503123.tif 000035
【０１４３】
を取得可能であり、具体的な重み取得プロセスについては上記実施例の説明を参照してもよく、ここで再度説明することを省略する。
【０１４４】
図７は本願の実施例で提供されるビデオ要約生成方法のまた１つの実施例のフローを模式的に示す図である。図７に示すように、該実施例の方法は、以下のステップを含む。
【０１４５】
ステップ７１０において、被処理ビデオストリームに対してショット分割を行ってショットシーケンスを取得する。
【０１４６】
いくつかの実施例では、被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、ショットシーケンスを取得する。
【０１４７】
いくつかの実施例では、２フレームのビデオ画像に対応する特徴間の距離（例えば、ユークリッド距離、コサイン距離等）によって２フレームのビデオ画像の間の類似度を決定することができ、２フレームのビデオ画像の間の類似度が高いほど、２フレームのビデオ画像が同一なショットに属する可能性が大きいことを示し、本実施例はビデオ画像の間の類似度によって、著しく異なっているビデオ画像を異なるショットに分割でき、正確なショット分割が実現される。
【０１４８】
ステップ７２０において、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各ショットの画像特徴を取得する。
【０１４９】
本願の実施例では、ステップ７２０は、上記実施例のステップ１１０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【０１５０】
ステップ７３０において、全てのショットの画像特徴により、ショットのグローバル特徴を取得する。
【０１５１】
本願の実施例では、ステップ７３０は、上記実施例のステップ１２０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【０１５２】
ステップ７４０において、ショットの画像特徴とグローバル特徴によりショットの重みを決定する。
【０１５３】
本願の実施例では、ステップ７４０は、上記実施例のステップ１３０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【０１５４】
ステップ７５０において、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【０１５５】
本願の実施例では、ステップ７５０は、上記実施例のステップ１４０と類似しており、このステップを理解するために上記のいずれか１つの実施例を参照してもよく、ここで再度説明することを省略する。
【０１５６】
本願の実施例はショットを要約抽出単位とし、まず、ビデオストリームに基づいて少なくとも２つのショットを取得する必要があり、ショット分割方法は、ニューラルネットワークによって分割してもよいし、撮影ショットが知られており又は人為的に判断する等の方法によって実現してもよく、本願の実施例はショット分割の具体的な手段を限定するものではない。
【０１５７】
図８は本願の実施例で提供されるビデオ要約生成方法のまた１つの選択可能な例の一部のフローを模式的に示す図である。図８に示すように、上記実施例中のステップ７１０には、以下のステップを含む。
【０１５８】
ステップ８０２において、少なくとも２つのサイズの異なる分割間隔でビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得する。
【０１５９】
ここで、各ビデオクリップグループには少なくとも２つのビデオクリップを含み、分割間隔が１フレーム以上である。
【０１６０】
本願の実施例では、例えば、１フレーム、４フレーム、６フレーム、８フレーム等のような複数のサイズの異なる分割間隔でビデオストリームを分割し、１つの分割間隔でビデオストリームを所定の大きさ（例えば、６フレーム）の複数のビデオクリップに分割する。
【０１６１】
ステップ８０４において、各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、分割が正確であるか否かを決定する。
【０１６２】
ここで、カットフレームがビデオクリップ内の第１フレームであり、選択可能に、少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、分割が正確であると決定し、
少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、分割が正確ではないと決定する。
【０１６３】
いくつかの実施例では、２フレームのビデオ画像同士の関連は特徴同士の類似度に基づいて決定可能であり、類似度が大きいほど、同一なショットに属する可能性が大きい。撮影角度から言えば、シーンの切り替えは、ショットのシーンを直接切り替えるか、長いショットによりシーンを徐々に変化させるという２種の場合を含み、本願の実施例は主にシーンの変化をショット分割の根拠とし、即ち、同一の長いショットで撮影したビデオクリップであっても、あるフレーム画像とこの長いショットの第１フレーム画像との関連性が設定値以下である時に、ショット分割が行われる。
【０１６４】
ステップ８０６において、分割が正確であることに応じて、ビデオクリップをショットとして決定し、ショットシーケンスを取得する。
【０１６５】
本願の実施例では、複数の異なる分割間隔でビデオストリームを分割し、更に連続した２つのビデオクリップのカットフレームの間の類似度を判断して、該位置の分割が正確であるか否かを決定し、２つの連続したカットフレームの間の類似度が所定の値を超えた時に、該位置の分割が正確ではないことになり、即ち、これらの２つのビデオクリップが１つのショットに属し、正確な分割によってショットシーケンスを取得可能である。
【０１６６】
いくつかの実施例では、ステップ８０６には、
カットフレームが少なくとも２つの分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記ショットとして、ショットシーケンスを取得するステップを含む。
【０１６７】
１つのカット箇所のカットフレームが同時に少なくとも２つの分割間隔で分割した継ぎ目である時に、例えば、８フレームの画像を含むビデオストリームに対してそれぞれ２フレームと４フレームを第１分割間隔と第２分割間隔とし、第１分割間隔で４つのビデオクリップが取得され、その中で第１フレーム、第３フレーム、第５フレーム及び第７フレームがカットフレームになり、第２分割間隔で２つのビデオクリップが取得され、その中で第１フレームと第５フレームがカットフレームになり、この時に、第５フレームと第７フレームのカットフレームに対応する分割が正確であると決定したら、第５フレームが第１分割間隔のカットフレームになると共に、第２分割間隔のカットフレームにもなり、この時に、第１分割間隔に準ずり、即ち、該ビデオストリーム分割で３つのショットが取得され、第１フレーム〜第４フレームが１つのショットに属し、第５フレームと第６フレームが１つのショットに属し、第７フレームと第８フレームが１つのショットに属することになり、第２分割間隔で第５フレーム〜第８フレームを１つのショットとするというわけではない。
【０１６８】
１つ又は複数の実施例では、ステップ１１０には、
ショット内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
全ての画像特徴の平均特徴を取得し、平均特徴をショットの画像特徴とするステップと、を含む。
【０１６９】
いくつかの実施例では、特徴抽出ネットワークによってショット内の各フレームのビデオ画像に対してそれぞれ特徴抽出を行い、１つのショットに１フレームのビデオ画像しか含まない時に、該画像特徴を画像特徴とし、複数フレームのビデオ画像を含む時に、複数の画像特徴の平均値を算出し、平均特徴を該ショットの画像特徴とする。
【０１７０】
１つ又は複数の実施例では、ステップ１４０には、以下のステップを含む。
【０１７１】
（１）ビデオ要約の限定時間長を取得する。
【０１７２】
ビデオ要約は凝縮ビデオとも呼ばれ、ビデオコンテンツを簡単に要約したものであり、ビデオの表現する主なコンテンツを比較的短い時間で表現可能であり、ビデオの主なコンテンツを表現することを実現すると共に、ビデオ要約の時間長を限定することが要求され、そうでなければ要約するという機能が実現されなく、ビデオ全体に目を通すことと同様になる。本願の実施例は、限定時間長によってビデオ要約の時間長を制限し、即ち、取得されたビデオ要約の時間長が限定時間長以下であることが要求され、限定時間長の具体的な値は実際に応じて設定可能である。
【０１７３】
（２）ショットの重みとビデオ要約の限定時間長により、被処理ビデオストリームのビデオ要約を取得する。
【０１７４】
いくつかの実施例では、本願の実施例は、０１ナップザックアルゴリズムによってビデオ要約の抽出を実現し、０１ナップザックアルゴリズムを本実施例に適用して解決する問題は、ショットシーケンスに複数のショットを含み、各ショットが対応する長さ（一般的には異なっている長さ）を有し、各ショットが対応する重み（一般的には異なっている重み）を有し、限定時間長のビデオ要約を取得するには、ビデオ要約の限定時間長での重みの総和が最大になることをどのように保証するかということである。従って、本願の実施例はナップザックアルゴリズムによって最適なコンテンツのビデオ要約を取得することができる。この時に、取得された重みが最大な少なくとも２つのショットのうちに長さが第２設定フレーム数より大きいショットが存在するという特別な場合に、長さが第２設定フレーム数より大きいショットを削除し、取得されたあるショットの重要性スコアが高いが、その長さが第２設定フレーム数（例えば、第１設定フレーム数の半分）より大きい時に、該ショットをビデオ要約に加えれば、ビデオ要約中のコンテンツが少なすぎることになるので、該ショットをビデオ要約に加えない。
【０１７５】
１つ又は複数の選択可能な実施例では、本願の実施例の方法は、特徴抽出ネットワークと記憶ニューラルネットワークにより、実現され、
ステップ１１０を実行するステップの前に、
サンプルビデオストリームに基づいて、特徴抽出ネットワークと記憶ニューラルネットワークに対して統合トレーニングを行うステップを更に含み、サンプルビデオストリームが少なくとも２つのサンプルショットを含み、サンプルショット毎にアノテーション重みが含まれる。
【０１７６】
正確な重みを取得するために、重みを取得する前に特徴抽出ネットワークと記憶ニューラルネットワークをトレーニングする必要があり、特徴抽出ネットワークと記憶ニューラルネットワークを別々にトレーニングしても本願の実施例の目的を実現できるが、特徴抽出ネットワークと記憶ニューラルネットワークを統合トレーニングして得られたパラメータは本願の実施例に更に適合し、より正確な予測重みを提供可能であり、該トレーニングプロセスについては、サンプルビデオストリームがすでに少なくとも２つのサンプルショットに分割されたと仮定され、該分割プロセスはトレーニングされた分割ニューラルネットワーク又は他の手段を基にすることが可能であり、本願の実施例は限定するものではない。
【０１７７】
いくつかの実施例では、統合トレーニングのプロセスには、
特徴抽出ネットワークを用いてサンプルビデオストリームに含まれる少なくとも２つのサンプルショットのうちの各サンプルショットに対して特徴抽出を行って、少なくとも２つのサンプル画像特徴を取得するステップと、
記憶ニューラルネットワークを用いてサンプルショット特徴に基づいて各サンプルショットの予測重みを決定するステップと、
予測重みとアノテーション重みに基づいて損失を決定し、損失に基づいて特徴抽出ネットワークと記憶ニューラルネットワークのパラメータを調整するステップと、を含んでよい。
【０１７８】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
【０１７９】
図９は本願の実施例で提供されるビデオ要約生成装置の一実施例の構造模式図である。該実施例の装置は本願の上記各方法の実施例を実現することに利用可能である。図９に示すように、該実施例の装置は、以下を含む。
【０１８０】
特徴抽出ユニット９１は、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各ショットの画像特徴を取得するように構成される。
【０１８１】
本実施例では、被処理ビデオストリームは、ビデオ要約を取得される、少なくとも１フレームのビデオ画像を含むビデオストリームである。異なるフレームのビデオ画像で構成された画像集合に過ぎないことを回避するように取得されたビデオ要約にコンテンツ意味を持たせるために、本願の実施例は、少なくとも１フレームのビデオ画像を含むショットをビデオ要約の構成単位とする。選択可能に、本願の実施例における特徴抽出は任意の特徴抽出ネットワークに基づいて実現されてもよく、特徴抽出ネットワークに基づいて各ショットに対してそれぞれ特徴抽出を行って、少なくとも２つの画像特徴を取得し、本願は具体的な特徴抽出プロセスを限定するものではない。
【０１８２】
グローバル特徴ユニット９２は、全てのショットの画像特徴により、ショットのグローバル特徴を取得するように構成される。
【０１８３】
いくつかの実施例では、ビデオストリームに対応する全ての画像特徴に対して処理（例えば、マッピング又は埋め込み等）を行ってビデオストリーム全体に対応する変換特徴シーケンスを取得し、変換特徴シーケンス及び各画像特徴に対して計算して、各ショットとビデオストリーム内の他のショットとの関連関係を表現可能である、各ショットに対応するグローバル特徴（グローバル注目度）を取得する。
【０１８４】
重み取得ユニット９３は、ショットの画像特徴とグローバル特徴によりショットの重みを決定するように構成される。
【０１８５】
ショットの画像特徴及びそのグローバル特徴によって該ショットの重みを決定し、それにより得られた重みは該ショット自身に加えて、更に該ショットとビデオストリーム全体の他のショットとの関連関係に基づくものになって、ビデオ全体の角度からショットの重要性を評価することが実現される。
【０１８６】
要約生成ユニット９４は、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得するように構成される。
【０１８７】
いくつかの実施例では、本願の実施例はショットの重みによって各ショットの重要性を表現し、ショットシーケンス内の重要なショットを決定でき、しかし、ビデオ要約を決定するには、ショットの重要性を基にすることに加えて、ビデオ要約の長さを抑える必要もあり、即ち、ショットの重み及び時間長（フレーム数）の両方に基づいてビデオ要約を決定しなければならなく、選択可能に、ナップザックアルゴリズムを用いてビデオ要約を取得することができる。
【０１８８】
上記実施例で提供されるビデオ要約生成装置によれば、画像特徴とグローバル特徴に基づいて各ショットの重みを決定し、ビデオ全体の角度からビデオを理解することが実現され、各ショットとビデオストリーム全体とのグローバル関連関係が利用され、本実施例に基づいて決定されるビデオ要約は、ビデオコンテンツを全体的に表現可能であり、ビデオ要約が全面的でないという問題を回避する。
【０１８９】
１つ又は複数の選択可能な実施例では、グローバル特徴ユニット９２は、記憶ニューラルネットワークにより、全てのショットの画像特徴を処理して、ショットのグローバル特徴を取得するように構成される。
【０１９０】
いくつかの実施例では、記憶ニューラルネットワークは、少なくとも２つの埋め込み行列を含んでよく、ビデオストリームの全てのショットの画像特徴をそれぞれ少なくとも２つの埋め込み行列に入力することによって、該ショットとビデオストリーム内の他のショットとの関連関係を表現可能な各ショットのグローバル特徴を埋め込み行列の出力で取得し、ショットの重みから言えば、重みが大きいほど、該ショットと他のショットとの関連性が大きく、ビデオ要約に含まれる可能性が高い。
【０１９１】
いくつかの実施例では、グローバル特徴ユニット９２は、全てのショットの画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列にマッピングして入力記憶と出力記憶を取得し、ショットの画像特徴、入力記憶及び出力記憶によりショットのグローバル特徴を取得するように構成される。
【０１９２】
いくつかの実施例では、グローバル特徴ユニット９２は、ショットの画像特徴、入力記憶及び出力記憶によりショットのグローバル特徴を取得する時に、ショットの画像特徴を第３埋め込み行列にマッピングしてショットの特徴ベクトルを取得し、特徴ベクトルと入力記憶に対して内積演算を行ってショットの重みベクトルを取得し、重みベクトルと出力記憶に対して重み付け重畳演算を行ってグローバルベクトルを取得してグローバルベクトルをグローバル特徴とするように構成される。
【０１９３】
１つ又は複数の選択可能な実施例では、重み取得ユニット９３は、ショットの画像特徴とショットのグローバル特徴に対して内積演算を行って重み特徴を取得し、重み特徴を全結合ニューラルネットワークによって処理しショットの重みを取得するように構成される。
【０１９４】
本実施例は、ショットの画像特徴とショットのグローバル特徴に基づいてショットの重みを決定し、該ショットの情報を表現すると共に、ショットとビデオ全体との関連をも基にして、ビデオ局所とビデオ全体の角度からビデオを理解することを実現し、取得されたビデオ要約が人間の習慣に更に合致する。
【０１９５】
１つ又は複数の選択可能な実施例では、グローバル特徴ユニット９２は、記憶ニューラルネットワークにより、ショットの画像特徴を処理して、ショットの少なくとも２つのグローバル特徴を取得するように構成される。
【０１９６】
本願の実施例では、ショットの重みのグローバル性を高めるために、少なくとも２つの記憶セットによって少なくとも２つのグローバル特徴を取得し、複数のグローバル特徴に基づいてショットの重みを取得し、ここで、それぞれの埋め込み行列セットに含まれる埋め込み行列が異なり又は同じであり、埋め込み行列セット同士が異なる時に、得られたグローバル特徴はショットとビデオ全体との関連をより好適に表現可能である。
【０１９７】
いくつかの実施例では、グローバル特徴ユニット９２は、前記ショットの画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれマッピングして、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得するステップと、を実行するように構成される。
【０１９８】
いくつかの実施例では、グローバル特徴ユニット９２は、少なくとも２つの記憶セットとショットの画像特徴によりショットの少なくとも２つのグローバル特徴を取得する時に、ショットの画像特徴を第３埋め込み行列にマッピングしてショットの特徴ベクトルを取得し、特徴ベクトルと少なくとも２つの入力記憶に対して内積演算を行ってショットの少なくとも２つの重みベクトルを取得し、重みベクトルと少なくとも２つの出力記憶に対して重み付け重畳演算を行って少なくとも２つのグローバルベクトルを取得して少なくとも２つのグローバルベクトルを少なくとも２つのグローバル特徴とするように構成される。
【０１９９】
いくつかの実施例では、重み取得ユニット９３は、ショットの画像特徴とショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、第１重み特徴を画像特徴とし、ショットの少なくとも２つのグローバル特徴のうちの第２グローバル特徴を第１グローバル特徴とするステップであって、第２グローバル特徴が、少なくとも２つのグローバル特徴のうちの第１グローバル特徴以外のグローバル特徴であるステップと、ショットの画像特徴とショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、をショットの少なくとも２つのグローバル特徴に第２グローバル特徴が含まれなくなるまで実行してから、第１重み特徴をショットの重み特徴とするステップと、重み特徴を全結合ニューラルネットワークによって処理し、ショットの重みを取得するステップとを実行するように構成される。
【０２００】
１つ又は複数の選択可能な実施例では、装置は、
被処理ビデオストリームに対してショット分割を行ってショットシーケンスを取得するためのショット分割ユニットを更に含む。
【０２０１】
いくつかの実施例では、被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、ショットシーケンスを取得する。
【０２０２】
いくつかの実施例では、２フレームのビデオ画像に対応する特徴間の距離（例えば、ユークリッド距離、コサイン距離等）によって２フレームのビデオ画像の間の類似度を決定することができ、２フレームのビデオ画像の間の類似度が高いほど、２フレームのビデオ画像が同一なショットに属する可能性が大きいことを示し、本実施例はビデオ画像の間の類似度によって、著しく異なっているビデオ画像を異なるショットに分割でき、正確なショット分割が実現される。
【０２０３】
いくつかの実施例では、ショット分割ユニットは、被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、ショットシーケンスを取得するように構成される。
【０２０４】
いくつかの実施例では、ショット分割ユニットは、少なくとも２つのサイズが異なる分割間隔に基づいて、ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、分割間隔が１フレーム以上であるステップと、各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、分割が正確であるか否かを決定するステップであって、カットフレームが、ビデオクリップ内の第１フレームであるステップと、分割が正確であることに応じて、ビデオクリップをショットとして決定し、ショットシーケンスを取得するステップと、を実行するように構成される。
【０２０５】
いくつかの実施例では、ショット分割ユニットは、各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて分割が正確であるか否かを決定する時に、少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、分割が正確であると決定し、少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、分割が正確ではないと決定するように構成される。
【０２０６】
いくつかの実施例では、ショット分割ユニットは、分割が正確であることに応じてビデオクリップをショットとして決定し、ショットシーケンスを取得する時に、カットフレームが少なくとも２つの分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップをショットとして、ショットシーケンスを取得するように構成される。
【０２０７】
１つ又は複数の選択可能な実施例では、特徴抽出ユニット９１は、ショット内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って少なくとも１つの画像特徴を取得し、全ての画像特徴の平均特徴を取得して平均特徴をショットの画像特徴とするように構成される。
【０２０８】
いくつかの実施例では、特徴抽出ネットワークによってショット内の各フレームのビデオ画像に対してそれぞれ特徴抽出を行い、１つのショットに１フレームのビデオ画像しか含まない時に、該画像特徴を画像特徴とし、複数フレームのビデオ画像を含む時に、複数の画像特徴の平均値を算出し、平均特徴を該ショットの画像特徴とする。
【０２０９】
１つ又は複数の選択可能な実施例では、要約生成ユニットは、ビデオ要約の限定時間長を取得し、ショットの重みとビデオ要約の限定時間長により被処理ビデオストリームのビデオ要約を取得するように構成される。
【０２１０】
ビデオ要約は凝縮ビデオとも呼ばれ、ビデオコンテンツを簡単に要約したものであり、ビデオの表現する主なコンテンツを比較的短い時間で表現可能であり、ビデオの主なコンテンツを表現することを実現すると共に、ビデオ要約の時間長を限定することが要求され、そうでなければ要約するという機能が実現されなく、ビデオ全体に目を通すことと同様になり、本願の実施例は、限定時間長によってビデオ要約の時間長を制限し、即ち、取得されたビデオ要約の時間長が限定時間長以下であることが要求され、限定時間長の具体的な値は実際に応じて設定可能である。
【０２１１】
１つ又は複数の実施例では、本願の実施例の装置は、
サンプルビデオストリームに基づいて、前記特徴抽出ネットワークと記憶ニューラルネットワークに対して統合トレーニングを行うように構成される統合トレーニングユニットを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプルショットを含み、前記サンプルショット毎にアノテーション重みが含まれる。
【０２１２】
正確な重みを取得するために、重みを取得する前に特徴抽出ネットワークと記憶ニューラルネットワークをトレーニングする必要があり、特徴抽出ネットワークと記憶ニューラルネットワークを別々にトレーニングしても本願の実施例の目的を実現できるが、特徴抽出ネットワークと記憶ニューラルネットワークを統合トレーニングして得られたパラメータは本願の実施例に更に適合し、より正確な予測重みを提供可能であり、該トレーニングプロセスについては、サンプルビデオストリームがすでに少なくとも２つのサンプルショットに分割されたと仮定され、該分割プロセスはトレーニングされた分割ニューラルネットワーク又は他の手段を基にすることが可能であり、本願の実施例は限定するものではない。
【０２１３】
本願の実施例の別の態様によれば、上記のいずれか一項の実施例で提供されるビデオ要約生成装置を備えるプロセッサを含む電子機器を更に提供する。
【０２１４】
本願の実施例の更に別の態様によれば、実行可能コマンドを記憶するように構成されるメモリと、
該メモリと通信して前記実行可能コマンドを実行して上記のいずれか一項の実施例で提供されるビデオ要約生成方法の操作を完了するように構成されるプロセッサと、を含む電子機器を更に提供する。
【０２１５】
本願の実施例のまた１つの態様によれば、コンピュータ可読コマンドを記憶し、該コマンドが実行される時に上記のいずれか一項の実施例で提供されるビデオ要約生成方法の操作が実行されるように構成されるコンピュータ記憶媒体を更に提供する。
【０２１６】
本願の実施例の更にまた１つの態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動する時に、該機器におけるプロセッサが上記のいずれか一項の実施例で提供されるビデオ要約生成方法を実現するためのコマンドを実行するコンピュータプログラム製品を更に提供する。
【０２１７】
本願の実施例は、例えば、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどであってよい電子機器を更に提供する。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器１０００の構造模式図を示す図１０を参照し、図１０に示すように、電子機器１０００は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）１００１、及び／又は１つ又は複数の専用プロセッサであり、専用プロセッサは加速ユニット１０１３としてよく、画像プロセッサ（ＧＰＵ）、ＦＰＧＡ、ＤＳＰ及び他のＡＳＩＣチップのような専用プロセッサ等を含むが、それらに限定されなく、プロセッサは、読み取り専用メモリ（ＲＯＭ）１００２に記憶された実行可能コマンド又は記憶部１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部１０１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されない。
【０２１８】
プロセッサは読み取り専用メモリ１００２及び／又はランダムアクセスメモリ１００３と通信して実行可能コマンドを実行し、通信バス１００４を介して通信部１０１２に接続され、通信部１０１２を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各ショットの画像特徴を取得し、全てのショットの画像特徴により、ショットのグローバル特徴を取得し、ショットの画像特徴とグローバル特徴によりショットの重みを決定し、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得する。
【０２１９】
また、ＲＡＭ１００３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３は、通信バス１００４を介して相互に接続される。ＲＡＭ１００３を有する場合に、ＲＯＭ１００２は選択可能なモジュールである。ＲＡＭ１００３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ１００２に書き込み、実行可能コマンドによって中央処理ユニット１００１に上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インターフェイス１００５も通信バス１００４に接続される。通信部１０１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【０２２０】
キーボード、マウスなどを含む入力部１００６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部１００７と、ハードディスクなどを含む記憶部１００８と、ＬＡＮカード、モデムなどのネットワークインターフェイスカードを含む通信部１００９とがＩ／Ｏインターフェイス１００５に接続されている。通信部１００９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ１０１０も必要に応じてＩ／Ｏインターフェイス１００５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体１０１１は、必要に応じてドライブ１０１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部１００８にインストールする。
【０２２１】
なお、図１０に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図１０の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット１０１３とＣＰＵ１００１は分離設置するかまたは加速ユニット１０１３をＣＰＵ１００１に統合するようにしてよく、通信部は分離設置するか、またはＣＰＵ１００１や加速ユニット１０１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
【０２２２】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよく、例えば、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各ショットの画像特徴を取得し、全てのショットの画像特徴により、ショットのグローバル特徴を取得し、ショットの画像特徴とグローバル特徴によりショットの重みを決定し、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得する。このような実施例では、該コンピュータプログラムは通信部１００９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体１０１１からインストールされ得る。中央処理ユニット（ＣＰＵ）１００１によって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能の操作を実行する。
【０２２３】
本願の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
【０２２４】
本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
【図１】
2021503123.tif 000036
【図２】
2021503123.tif 000037
【図３】
2021503123.tif 000038
【図４】
2021503123.tif 000039
【図５】
2021503123.tif 000040
【図６】
2021503123.tif 000041
【図７】
2021503123.tif 000042
【図８】
2021503123.tif 000043
【図９】
2021503123.tif 000044
【図１０】
2021503123.tif 000045
【手続補正書】
【提出日】令和2年4月28日(2020.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記ショットの画像特徴を取得するステップと、
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得するステップと、
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定するステップと、
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法。
【請求項２】
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、全ての前記ショットの画像特徴を処理して、前記ショットのグローバル特徴を取得するステップを含む請求項１に記載の方法。
【請求項３】
記憶ニューラルネットワークにより前記全てのショットの画像特徴を処理して、前記ショットのグローバル特徴を取得する前記ステップは、
前記全てのショットの画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列にマッピングして、入力記憶と出力記憶を取得するステップと、
前記ショットの画像特徴、前記入力記憶及び前記出力記憶により、前記ショットのグローバル特徴を取得するステップと、を含む請求項２に記載の方法。
【請求項４】
前記ショットの画像特徴、前記入力記憶及び前記出力記憶により、前記ショットのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を第３埋め込み行列にマッピングして、前記ショットの特徴ベクトルを取得するステップと、
前記特徴ベクトルと前記入力記憶に対して内積演算を行って、前記ショットの重みベクトルを取得するステップと、
前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って、前記グローバルベクトルを取得して、前記グローバルベクトルを前記グローバル特徴とするステップと、を含む請求項３に記載の方法。
【請求項５】
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定する前記ステップは、
前記ショットの画像特徴と前記ショットのグローバル特徴に対して内積演算を行って、重み特徴を取得するステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記ショットの重みを取得するステップと、を含む請求項１〜４のいずれか一項に記載の方法。
【請求項６】
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットのグローバル特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットの少なくとも２つのグローバル特徴を取得するステップを含む請求項２〜５のいずれか一項に記載の方法。
【請求項７】
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットの少なくとも２つのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれマッピングして、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、
少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得するステップと、を含む請求項６に記載の方法。
【請求項８】
少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を第３埋め込み行列にマッピングして、前記ショットの特徴ベクトルを取得するステップと、
前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って、前記ショットの少なくとも２つの重みベクトルを取得するステップと、
前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って、少なくとも２つのグローバルベクトルを取得して、前記少なくとも２つのグローバルベクトルを前記少なくとも２つのグローバル特徴とするステップと、を含む請求項７に記載の方法。
【請求項９】
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定する前記ステップは、
前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記ショットの少なくとも２つのグローバル特徴のうちの第２グローバル特徴を第１グローバル特徴とするステップであって、前記第２グローバル特徴が、前記少なくとも２つのグローバル特徴のうちの第１グローバル特徴以外のグローバル特徴であるステップと、
前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記ショットの少なくとも２つのグローバル特徴に第２グローバル特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記ショットの重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記ショットの重みを取得するステップと、を含む請求項６〜８のいずれか一項に記載の方法。
【請求項１０】
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、前記ショットの画像特徴を取得する前記ステップの前に、
前記被処理ビデオストリームに対してショット分割を行って前記ショットシーケンスを取得するステップを更に含む請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記被処理ビデオストリームに対してショット分割を行って前記ショットシーケンスを取得する前記ステップは、
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、前記ショットシーケンスを取得するステップを含む請求項１０に記載の方法。
【請求項１２】
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、前記ショットシーケンスを取得する前記ステップは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得するステップと、を含む請求項１１に記載の方法。
【請求項１３】
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定する前記ステップは、
前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、前記分割が正確であると決定するステップと、
前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、前記分割が正確ではないと決定するステップと、を含む請求項１２に記載の方法。
【請求項１４】
前記分割が正確であることに応じて、前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得する前記ステップは、
前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記ショットとして、前記ショットシーケンスを取得するステップを含む請求項１２又は１３に記載の方法。
【請求項１５】
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各々の前記ショットの画像特徴を取得する前記ステップは、
前記ショット内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
全ての前記画像特徴の平均特徴を取得して、前記平均特徴を前記ショットの画像特徴とするステップと、を含む請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得する前記ステップは、
前記ビデオ要約の限定時間長を取得するステップと、
前記ショットの重みと前記ビデオ要約の限定時間長により、前記被処理ビデオストリームのビデオ要約を取得するステップと、を含む請求項１〜１５のいずれか一項に記載の方法。
【請求項１７】
特徴抽出ネットワークと記憶ニューラルネットワークにより、実現される方法であって、
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各々の前記ショットの画像特徴を取得する前記ステップの前に、
サンプルビデオストリームに基づいて、前記特徴抽出ネットワークと記憶ニューラルネットワークに対して統合トレーニングを行うステップを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプルショットを含み、前記サンプルショット毎にアノテーション重みが含まれる、請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記ショットの画像特徴を取得するように構成される特徴抽出ユニットと、
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得するように構成されるグローバル特徴ユニットと、
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定するように構成される重み取得ユニットと、
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するように構成される要約生成ユニットと、を含むビデオ要約生成装置。
【請求項１９】
請求項１８に記載のビデオ要約生成装置を備えるプロセッサを含む電子機器。
【請求項２０】
実行可能コマンドを記憶するように構成されるメモリと、
前記メモリと通信して前記実行可能コマンドを実行して請求項１〜１７のいずれか一項に記載のビデオ要約生成方法の操作を完了するように構成されるプロセッサと、を含む電子機器。
【請求項２１】
コンピュータ可読コマンドを記憶し、前記コマンドが実行される時に請求項１〜１７のいずれか一項に記載のビデオ要約生成方法の操作が実行されるように構成されるコンピュータ記憶媒体。
【請求項２２】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器上で作動する時に、前記機器におけるプロセッサが請求項１〜１７のいずれか一項に記載のビデオ要約生成方法を実現するように構成されるコマンドを実行するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本願の上記実施例で提供されるビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体によれば、被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って各ショットの画像特徴を取得する。ショット毎にには少なくとも１フレームのビデオ画像が含まれ、全てのショットの画像特徴によりショットのグローバル特徴を取得し、ショットの画像特徴とグローバル特徴によりショットの重みを決定し、ショットの重みに基づいて被処理ビデオストリームのビデオ要約を取得し、画像特徴とグローバル特徴に基づいて各ショットの重みを決定して、ビデオ全体の角度からビデオを理解することが実現され、各ショットとビデオ全体との関係が利用され、本実施例のショットの重みに基づいて決定されるビデオ要約は、ビデオコンテンツを全体的に表現可能であり、ビデオ要約が全面的でないという問題を減少する。
例えば、本願は以下の項目を提供する。
（項目１）
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記ショットの画像特徴を取得するステップと、
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得するステップと、
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定するステップと、
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するステップと、を含むビデオ要約生成方法。
（項目２）
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、全ての前記ショットの画像特徴を処理して、前記ショットのグローバル特徴を取得するステップを含む項目１に記載の方法。
（項目３）
記憶ニューラルネットワークにより前記全てのショットの画像特徴を処理して、前記ショットのグローバル特徴を取得する前記ステップは、
前記全てのショットの画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列にマッピングして、入力記憶と出力記憶を取得するステップと、
前記ショットの画像特徴、前記入力記憶及び前記出力記憶により、前記ショットのグローバル特徴を取得するステップと、を含む項目２に記載の方法。
（項目４）
前記ショットの画像特徴、前記入力記憶及び前記出力記憶により、前記ショットのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を第３埋め込み行列にマッピングして、前記ショットの特徴ベクトルを取得するステップと、
前記特徴ベクトルと前記入力記憶に対して内積演算を行って、前記ショットの重みベクトルを取得するステップと、
前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って、前記グローバルベクトルを取得して、前記グローバルベクトルを前記グローバル特徴とするステップと、を含む項目３に記載の方法。
（項目５）
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定する前記ステップは、
前記ショットの画像特徴と前記ショットのグローバル特徴に対して内積演算を行って、重み特徴を取得するステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記ショットの重みを取得するステップと、を含む項目１〜４のいずれか一項に記載の方法。
（項目６）
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットのグローバル特徴を取得する前記ステップは、
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットの少なくとも２つのグローバル特徴を取得するステップを含む項目２〜５のいずれか一項に記載の方法。
（項目７）
記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットの少なくとも２つのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれマッピングして、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、
少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得するステップと、を含む項目６に記載の方法。
（項目８）
少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得する前記ステップは、
前記ショットの画像特徴を第３埋め込み行列にマッピングして、前記ショットの特徴ベクトルを取得するステップと、
前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って、前記ショットの少なくとも２つの重みベクトルを取得するステップと、
前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って、少なくとも２つのグローバルベクトルを取得して、前記少なくとも２つのグローバルベクトルを前記少なくとも２つのグローバル特徴とするステップと、を含む項目７に記載の方法。
（項目９）
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定する前記ステップは、
前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記ショットの少なくとも２つのグローバル特徴のうちの第２グローバル特徴を第１グローバル特徴とするステップであって、前記第２グローバル特徴が、前記少なくとも２つのグローバル特徴のうちの第１グローバル特徴以外のグローバル特徴であるステップと、
前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記ショットの少なくとも２つのグローバル特徴に第２グローバル特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記ショットの重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記ショットの重みを取得するステップと、を含む項目６〜８のいずれか一項に記載の方法。
（項目１０）
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、前記ショットの画像特徴を取得する前記ステップの前に、
前記被処理ビデオストリームに対してショット分割を行って前記ショットシーケンスを取得するステップを更に含む項目１〜９のいずれか一項に記載の方法。
（項目１１）
前記被処理ビデオストリームに対してショット分割を行って前記ショットシーケンスを取得する前記ステップは、
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、前記ショットシーケンスを取得するステップを含む項目１０に記載の方法。
（項目１２）
前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、前記ショットシーケンスを取得する前記ステップは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得するステップと、を含む項目１１に記載の方法。
（項目１３）
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定する前記ステップは、
前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて、前記分割が正確であると決定するステップと、
前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて、前記分割が正確ではないと決定するステップと、を含む項目１２に記載の方法。
（項目１４）
前記分割が正確であることに応じて、前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得する前記ステップは、
前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記ショットとして、前記ショットシーケンスを取得するステップを含む項目１２又は１３に記載の方法。
（項目１５）
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各々の前記ショットの画像特徴を取得する前記ステップは、
前記ショット内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って、少なくとも１つの画像特徴を取得するステップと、
全ての前記画像特徴の平均特徴を取得して、前記平均特徴を前記ショットの画像特徴とするステップと、を含む項目１〜１４のいずれか一項に記載の方法。
（項目１６）
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得する前記ステップは、
前記ビデオ要約の限定時間長を取得するステップと、
前記ショットの重みと前記ビデオ要約の限定時間長により、前記被処理ビデオストリームのビデオ要約を取得するステップと、を含む項目１〜１５のいずれか一項に記載の方法。
（項目１７）
特徴抽出ネットワークと記憶ニューラルネットワークにより、実現される方法であって、
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、各々の前記ショットの画像特徴を取得する前記ステップの前に、
サンプルビデオストリームに基づいて、前記特徴抽出ネットワークと記憶ニューラルネットワークに対して統合トレーニングを行うステップを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプルショットを含み、前記サンプルショット毎にアノテーション重みが含まれる、項目１〜１６のいずれか一項に記載の方法。
（項目１８）
被処理ビデオストリームのショットシーケンス内のショットに対して特徴抽出を行って、少なくとも１フレームのビデオ画像を含む各々の前記ショットの画像特徴を取得するように構成される特徴抽出ユニットと、
全ての前記ショットの画像特徴により、前記ショットのグローバル特徴を取得するように構成されるグローバル特徴ユニットと、
前記ショットの画像特徴と前記グローバル特徴により前記ショットの重みを決定するように構成される重み取得ユニットと、
前記ショットの重みに基づいて前記被処理ビデオストリームのビデオ要約を取得するように構成される要約生成ユニットと、を含むビデオ要約生成装置。
（項目１９）
前記グローバル特徴ユニットは、記憶ニューラルネットワークにより、全ての前記ショットの画像特徴を処理して、前記ショットのグローバル特徴を取得するように構成される項目１８に記載の装置。
（項目２０）
前記グローバル特徴ユニットは、前記全てのショットの画像特徴をそれぞれ第１埋め込み行列と第２埋め込み行列にマッピングして入力記憶と出力記憶を取得し、前記ショットの画像特徴、前記入力記憶及び前記出力記憶により前記ショットのグローバル特徴を取得するように構成される項目１９に記載の装置。
（項目２１）
前記グローバル特徴ユニットは、前記ショットの画像特徴、前記入力記憶及び前記出力記憶により前記ショットのグローバル特徴を取得する時に、前記ショットの画像特徴を第３埋め込み行列にマッピングして前記ショットの特徴ベクトルを取得し、前記特徴ベクトルと前記入力記憶に対して内積演算を行って前記ショットの重みベクトルを取得し、前記重みベクトルと前記出力記憶に対して重み付け重畳演算を行って前記グローバルベクトルを取得して前記グローバルベクトルを前記グローバル特徴とするように構成される項目２０に記載の装置。
（項目２２）
前記重み取得ユニットは、前記ショットの画像特徴と前記ショットのグローバル特徴に対して内積演算を行って重み特徴を取得し、前記重み特徴を全結合ニューラルネットワークによって処理し前記ショットの重みを取得するように構成される項目１８〜２１のいずれか一項に記載の装置。
（項目２３）
前記グローバル特徴ユニットは、記憶ニューラルネットワークにより、前記ショットの画像特徴を処理して、前記ショットの少なくとも２つのグローバル特徴を取得するように構成される項目１９〜２２のいずれか一項に記載の装置。
（項目２４）
前記グローバル特徴ユニットは、前記ショットの画像特徴を、少なくとも２つの埋め込み行列セットにそれぞれマッピングして、少なくとも２つの記憶セットを取得するステップであって、前記埋め込み行列セット毎に２つの埋め込み行列が含まれ、前記記憶セット毎に入力記憶と出力記憶とが含まれるステップと、少なくとも２つの前記記憶セットと前記ショットの画像特徴により、前記ショットの少なくとも２つのグローバル特徴を取得するステップと、を実行するように構成される項目２３に記載の装置。
（項目２５）
前記グローバル特徴ユニットは、少なくとも２つの前記記憶セットと前記ショットの画像特徴により前記ショットの少なくとも２つのグローバル特徴を取得する時に、前記ショットの画像特徴を第３埋め込み行列にマッピングして前記ショットの特徴ベクトルを取得し、前記特徴ベクトルと少なくとも２つの前記入力記憶に対して内積演算を行って前記ショットの少なくとも２つの重みベクトルを取得し、前記重みベクトルと少なくとも２つの前記出力記憶に対して重み付け重畳演算を行って少なくとも２つのグローバルベクトルを取得して前記少なくとも２つのグローバルベクトルを前記少なくとも２つのグローバル特徴とするように構成される項目２４に記載の装置。
（項目２６）
前記重み取得ユニットは、前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、
前記第１重み特徴を前記画像特徴とし、前記ショットの少なくとも２つのグローバル特徴のうちの第２グローバル特徴を第１グローバル特徴とするステップであって、前記第２グローバル特徴が、前記少なくとも２つのグローバル特徴のうちの第１グローバル特徴以外のグローバル特徴であるステップと、
前記ショットの画像特徴と前記ショットの少なくとも２つのグローバル特徴のうちの第１グローバル特徴に対して内積演算を行って、第１重み特徴を取得するステップと、を、
前記ショットの少なくとも２つのグローバル特徴に第２グローバル特徴が含まれなくなるまで実行してから、前記第１重み特徴を前記ショットの重み特徴とするステップと、
前記重み特徴を全結合ニューラルネットワークによって処理し、前記ショットの重みを取得するステップと、を実行するように構成される項目２３〜２５のいずれか一項に記載の装置。
（項目２７）
前記被処理ビデオストリームに対してショット分割を行って前記ショットシーケンスを取得するように構成されるショット分割ユニットを更に含む項目１８〜２６のいずれか一項に記載の装置。
（項目２８）
前記ショット分割ユニットは、前記被処理ビデオストリーム内の少なくとも２フレームのビデオ画像の間の類似度に基づいてショット分割を行って、前記ショットシーケンスを取得するように構成される項目２７に記載の装置。
（項目２９）
前記ショット分割ユニットは、
少なくとも２つのサイズが異なる分割間隔に基づいて、前記ビデオストリーム内のビデオ画像を分割して、少なくとも２つのビデオクリップグループを取得するステップであって、前記ビデオクリップグループ毎に少なくとも２つのビデオクリップが含まれ、前記分割間隔が１フレーム以上であるステップと、
前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて、前記分割が正確であるか否かを決定するステップであって、前記カットフレームが、前記ビデオクリップ内の第１フレームであるステップと、
前記分割が正確であることに応じて、前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得するステップと、を実行するように構成される項目２８に記載の装置。
（項目３０）
前記ショット分割ユニットは、前記各ビデオクリップグループ内の少なくとも２つのカットフレームの間の類似度に基づいて前記分割が正確であるか否かを決定する時に、前記少なくとも２つのカットフレームの間の類似度が設定値以下であることに応じて前記分割が正確であると決定し、前記少なくとも２つのカットフレームの間の類似度が設定値より大きいことに応じて前記分割が正確ではないと決定するように構成される項目２９に記載の装置。
（項目３１）
前記ショット分割ユニットは、前記分割が正確であることに応じて前記ビデオクリップを前記ショットとして決定し、前記ショットシーケンスを取得する時に、前記カットフレームが少なくとも２つの前記分割間隔に対応することに応じて、サーズの小さい分割間隔で取得されたビデオクリップを前記ショットとして、前記ショットシーケンスを取得するように構成される項目２９又は３０に記載の装置。
（項目３２）
前記特徴抽出ユニットは、前記ショット内の少なくとも１フレームのビデオ画像に対して特徴抽出を行って少なくとも１つの画像特徴を取得し、全ての前記画像特徴の平均特徴を取得して前記平均特徴を前記ショットの画像特徴とするように構成される項目１８〜３１のいずれか一項に記載の装置。
（項目３３）
前記要約生成ユニットは、前記ビデオ要約の限定時間長を取得し、前記ショットの重みと前記ビデオ要約の限定時間長により前記被処理ビデオストリームのビデオ要約を取得するように構成される項目１８〜３２のいずれか一項に記載の装置。
（項目３４）
サンプルビデオストリームに基づいて、前記特徴抽出ネットワークと記憶ニューラルネットワークに対して統合トレーニングを行うように構成される統合トレーニングユニットを更に含み、前記サンプルビデオストリームが少なくとも２つのサンプルショットを含み、前記サンプルショット毎にアノテーション重みが含まれる項目１８〜３３のいずれか一項に記載の装置。
（項目３５）
項目１８〜３４のいずれか一項に記載のビデオ要約生成装置を備えるプロセッサを含む電子機器。
（項目３６）
実行可能コマンドを記憶するように構成されるメモリと、
前記メモリと通信して前記実行可能コマンドを実行して項目１〜１７のいずれか一項に記載のビデオ要約生成方法の操作を完了するように構成されるプロセッサと、を含む電子機器。
（項目３７）
コンピュータ可読コマンドを記憶し、前記コマンドが実行される時に項目１〜１７のいずれか一項に記載のビデオ要約生成方法の操作が実行されるように構成されるコンピュータ記憶媒体。
（項目３８）
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動する時に、前記機器におけるプロセッサが項目１〜１７のいずれか一項に記載のビデオ要約生成方法を実現するように構成されるコマンドを実行するコンピュータプログラム製品。
【国際調査報告】
2021503123.tif 000046
2021503123.tif 000047
2021503123.tif 000048
2021503123.tif 000049
2021503123.tif 000050