(57)【要約】      （修正有）【課題】複数のメディアセグメントを備えるメディアファイルのサマリを生成する方法、プログラム、およびメディア分析デバイスを提供する。【解決手段】方法は、ニューラルネットワークにより、メディアセグメントの各々に関連付けられたコンテンツの特徴およびターゲッティング手法に基づいて、メディアセグメントの各々についてのそれぞれの重要度スコアを計算することと、計算された重要度スコアに基づいてメディアセグメントから少なくとも１つのメディアセグメントを選択することと、選択されたメディアセグメントに関連付けられたコンテンツの特徴に基づいて、選択されたメディアセグメント用のキャプションを生成することと、キャプションに基づいてメディアファイルのサマリを生成することとを含む。【選択図】図１
2018124969.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより実行される、複数のメディアセグメントを備えるメディアファイルのサマリを生成する方法であって、
ニューラルネットワークにより、前記複数のメディアセグメントの各々に関連付けられたコンテンツの特徴およびターゲッティング手法に基づいて、前記複数のメディアセグメントの各々についてのそれぞれの重要度スコアを計算することと、
前記計算された重要度スコアに基づいて、前記複数のメディアセグメントから少なくとも１つのメディアセグメントを選択することと、
前記選択された少なくとも１つのメディアセグメントに関連付けられた前記コンテンツの特徴に基づいて、前記選択された少なくとも１つのメディアセグメント用のキャプションを生成することと、
前記キャプションに基づいて前記メディアファイルのサマリを生成することと
を備える、方法。
【請求項２】
前記サマリが前記メディアファイルを表すかどうかを判定することと、
前記生成されたサマリに基づいて、前記メディアファイルを他の複数のメディアセグメントに再セグメント化することと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記ニューラルネットワークにより、前記他の複数のメディアセグメントの各々に関連付けられた他のコンテンツの特徴および前記ターゲッティング手法に基づいて、前記他の複数のメディアセグメントの各々についてのそれぞれの他の重要度スコアを計算することと、
前記他の重要度スコアに基づいて、前記他の複数のメディアセグメントから少なくとも１つの他のメディアセグメントを選択することと、
前記選択された少なくとも１つの他のメディアセグメントに関連付けられた前記他のコンテンツの特徴に基づいて、前記少なくとも１つの他のメディアセグメント用の他のキャプションを自動的に生成することと、
前記他のキャプションに基づいて前記メディアファイルの他のサマリを生成することと
をさらに備える、請求項２に記載の方法。
【請求項４】
前記ターゲッティング手法が、
前記メディアファイルの間に発生する１つまたは複数のイベントを要約すること、
前記メディアファイルの間に発生する１つまたは複数のイベントを異常と分類すること、
前記メディアファイル内に表されているエンティティのグループから選択されたエンティティに関連付けられた活動を要約すること、および
前記メディアファイルの間に発生するイベントに関連付けられたエンティティの状態を検出し要約すること
のうちの１つまたは複数を備える複数のターゲッティング手法から選択される、請求項１に記載の方法。
【請求項５】
前記キャプションを生成することが、前記ニューラルネットワークとは異なる他のニューラルネットワークを使用して実施され、
前記ニューラルネットワークおよび前記他のニューラルネットワークが共同で訓練される、
請求項１に記載の方法。
【請求項６】
前記他のニューラルネットワークにより、複数のトレーニングセグメントを備えるトレーニングメディアファイルを受信すること、
前記他のニューラルネットワークにより、前記複数のトレーニングセグメントの各々に関連付けられたコンテンツの特徴を検出すること、
前記複数のトレーニングセグメントの各々についてのキャプションを受信すること、
前記他のニューラルネットワークにより、前記トレーニングセグメントごとの受信された前記キャプションをセマンティクスに区分化すること、および
前記他のニューラルネットワークにより、検出された前記コンテンツの特徴を区分化された前記セマンティクスと関連付けて、キャプション生成モデルを生成すること
により、前記他のニューラルネットワークを訓練することをさらに備える、請求項５に記載の方法。
【請求項７】
前記ニューラルネットワークにより、複数のトレーニングセグメントを備えるトレーニングメディアファイルを受信すること、
前記ターゲッティング手法を受信すること、
前記ニューラルネットワークにより、前記複数のトレーニングセグメントの各々に関連付けられたコンテンツの特徴を検出すること、
前記ニューラルネットワークにより、前記複数のトレーニングセグメントの各々についての重要度スコアを受信すること、および
前記ニューラルネットワークにより、前記コンテンツの特徴、前記受信されたターゲッティング手法、および前記受信された重要度スコアを関連付けて、重要度スコア予測モデルを生成すること
により、前記ニューラルネットワークを訓練することをさらに備える、請求項１に記載の方法。
【請求項８】
複数のメディアセグメントを備えるメディアファイルのサマリを生成する方法をコンピュータに実行させるためのプログラムであって、前記方法が、
ニューラルネットワークにより、前記複数のメディアセグメントの各々に関連付けられたコンテンツの特徴およびターゲッティング手法に基づいて、前記複数のメディアセグメントの各々についてのそれぞれの重要度スコアを計算することと、
前記計算された重要度スコアに基づいて、前記複数のメディアセグメントから少なくとも１つのメディアセグメントを選択することと、
前記選択された少なくとも１つのメディアセグメントに関連付けられた前記コンテンツの特徴に基づいて、前記選択された少なくとも１つのメディアセグメント用のキャプションを生成することと、
前記キャプションに基づいて前記メディアファイルのサマリを生成することと
を備える、プログラム。
【請求項９】
前記方法が、
前記サマリが前記メディアファイルを表すかどうかを判定することと、
前記生成されたサマリに基づいて、前記メディアファイルを他の複数のメディアセグメントに再セグメント化することと
をさらに備える、請求項８に記載のプログラム。
【請求項１０】
前記方法が、
前記ニューラルネットワークにより、前記他の複数のメディアセグメントの各々に関連付けられた他のコンテンツの特徴および前記ターゲッティング手法に基づいて、前記他の複数のメディアセグメントの各々についてのそれぞれの他の重要度スコアを計算することと、
前記他の重要度スコアに基づいて、前記他の複数のメディアセグメントから少なくとも１つの他のメディアセグメントを選択することと、
前記選択された少なくとも１つの他のメディアセグメントに関連付けられた前記他のコンテンツの特徴に基づいて、前記少なくとも１つの他のメディアセグメント用の他のキャプションを自動的に生成することと、
前記他のキャプションに基づいて前記メディアファイルの他のサマリを生成することと
をさらに備える、請求項９に記載のプログラム。
【請求項１１】
前記ターゲッティング手法が、
前記メディアファイルの間に発生する１つまたは複数のイベントを要約すること、
前記メディアファイルの間に発生する１つまたは複数のイベントを異常と分類すること、
前記メディアファイル内に表されているエンティティのグループから選択されたエンティティに関連付けられた活動を要約すること、および
前記メディアファイルの間に発生するイベントに関連付けられたエンティティの状態を検出し要約すること
のうちの１つまたは複数を備える複数のターゲッティング手法から選択される、請求項８に記載のプログラム。
【請求項１２】
前記キャプションを生成することが、前記ニューラルネットワークとは異なる他のニューラルネットワークを使用して実施され、
前記ニューラルネットワークおよび前記他のニューラルネットワークが共同で訓練される、
請求項８に記載のプログラム。
【請求項１３】
前記方法が、
前記他のニューラルネットワークにより、複数のトレーニングセグメントを備えるトレーニングメディアファイルを受信すること、
前記他のニューラルネットワークにより、前記複数のトレーニングセグメントの各々に関連付けられたコンテンツの特徴を検出すること、
前記複数のトレーニングセグメントの各々についてのキャプションを受信すること、
前記他のニューラルネットワークにより、前記トレーニングセグメントごとの前記受信されたキャプションをセマンティクスに区分化すること、および
前記他のニューラルネットワークにより、前記検出されたコンテンツの特徴を前記区分化されたセマンティクスと関連付けて、キャプション生成モデルを生成すること
により、前記他のニューラルネットワークを訓練することをさらに備える、請求項１２に記載のプログラム。
【請求項１４】
前記方法が、
前記ニューラルネットワークにより、複数のトレーニングセグメントを備えるトレーニングメディアファイルを受信すること、
前記ターゲッティング手法を受信すること、
前記ニューラルネットワークにより、前記複数のトレーニングセグメントの各々に関連付けられたコンテンツの特徴を検出すること、
前記ニューラルネットワークにより、前記複数のトレーニングセグメントの各々についての重要度スコアを受信すること、および
前記ニューラルネットワークにより、前記コンテンツの特徴、前記受信されたターゲッティング手法、および前記受信された重要度スコアを関連付けて、重要度スコア予測モデルを生成すること
により、前記ニューラルネットワークを訓練することをさらに備える、請求項８に記載のプログラム。
【請求項１５】
複数のメディアセグメントを備えるメディアファイルを受信するように構成された通信バスと、
前記メディアファイルを記憶するように構成されたメモリと、
ニューラルネットワークにより、前記複数のメディアセグメントの各々に関連付けられたコンテンツの特徴およびターゲッティング手法に基づいて、前記複数のメディアセグメントの各々についてのそれぞれの重要度スコアを計算することと、
前記計算された重要度スコアに基づいて、前記複数のメディアセグメントから少なくとも１つのメディアセグメントを選択することと、
前記選択された少なくとも１つのメディアセグメントに関連付けられた前記コンテンツの特徴に基づいて、前記選択された少なくとも１つのメディアセグメント用のキャプションを生成することと、
前記キャプションに基づいて前記メディアファイルのサマリを生成することと
を備えるプロセスを実行するプロセッサと
を備える、メディア分析デバイス。
【請求項１６】
前記プロセッサが、
前記サマリが前記メディアファイルを表すかどうかを判定することと、
前記生成されたサマリに基づいて、前記メディアファイルを他の複数のメディアセグメントに再セグメント化することと
を備える前記プロセスをさらに実行する、請求項１５に記載のメディア分析デバイス。
【請求項１７】
前記プロセッサが、
前記ニューラルネットワークにより、前記他の複数のメディアセグメントの各々に関連付けられたコンテンツの特徴および前記ターゲッティング手法に基づいて、前記他の複数のメディアセグメントの各々についてのそれぞれの他の重要度スコアを計算することと、
前記他の重要度スコアに基づいて、前記他の複数のメディアセグメントから少なくとも１つの他のメディアセグメントを選択することと、
前記選択された少なくとも１つの他のメディアセグメントに関連付けられた前記他のコンテンツの特徴に基づいて、前記少なくとも１つの他のメディアセグメント用の他のキャプションを自動的に生成することと、
前記他のキャプションに基づいて前記メディアファイルの他のサマリを生成することと
を備える前記プロセスをさらに実行する、請求項１６に記載のメディア分析デバイス。
【請求項１８】
前記ターゲッティング手法が、
前記メディアファイルの間に発生する１つまたは複数のイベントを要約すること、
前記メディアファイルの間に発生する１つまたは複数のイベントを異常と分類すること、
前記メディアファイル内に表されているエンティティのグループから選択されたエンティティに関連付けられた活動を要約すること、および
前記メディアファイルの間に発生するイベントに関連付けられたエンティティの状態を検出し要約すること
のうちの１つまたは複数を備える複数のターゲッティング手法から選択される、請求項１５に記載のメディア分析デバイス。
【請求項１９】
前記キャプションを生成することが、前記ニューラルネットワークとは異なる他のニューラルネットワークを使用して実施され、
前記ニューラルネットワークおよび前記他のニューラルネットワークが共同で訓練される、
請求項１５に記載のメディア分析デバイス。
【請求項２０】
前記プロセッサが、
前記ニューラルネットワークにより、複数のトレーニングセグメントを備えるトレーニングメディアファイルを受信すること、
前記ターゲッティング手法を受信すること、
前記ニューラルネットワークにより、前記複数のトレーニングセグメントの各々に関連付けられたコンテンツの特徴を検出すること、
前記ニューラルネットワークにより、前記複数のトレーニングセグメントの各々についての重要度スコアを受信すること、および
前記ニューラルネットワークにより、前記コンテンツの特徴、前記受信されたターゲッティング手法、および前記受信された重要度スコアを関連付けて、重要度スコア予測モデルを生成すること
により、前記ニューラルネットワークを訓練することと、
前記他のニューラルネットワークにより、複数のトレーニングセグメントを備えるトレーニングメディアファイルを受信すること、
前記他のニューラルネットワークにより、前記複数のトレーニングセグメントの各々に関連付けられたコンテンツの特徴を検出すること、
前記複数のトレーニングセグメントの各々についてのキャプションを受信すること、
前記他のニューラルネットワークにより、前記トレーニングセグメントごとの前記受信されたキャプションをセマンティクスに区分化すること、および
前記他のニューラルネットワークにより、前記検出されたコンテンツの特徴を前記区分化されたセマンティクスと関連付けて、キャプション生成モデルを生成すること
により、前記他のニューラルネットワークを訓練することと
を備える前記プロセスをさらに実行する、請求項１９に記載のメディア分析デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、キャプションを生成し、メディアファイルのサマリ（要約）を生成する方法、プログラムおよびメディア分析デバイスに関する。
【背景技術】
【０００２】
記録デバイスの普及が拡大するとともに、ビデオおよびオーディオは、何が起きたか、どこでそれが起きたか、および誰に対してそれが起きたかを追跡するために使用される場合がある。たとえば、監視ビデオおよび／またはライフログビデオは、ある場所またはある人の人生において発生するイベントを追跡するために使用される場合がある。
【０００３】
デバイスからビデオまたはオーディオのコンテンツを見直し、ナビゲートすることは、特に、いかなる編集もせずに、追跡の目的で取り込まれた長いメディアファイルのビデオの場合、時間がかかる処理となることがある。たとえば、監視ビデオは、数分しか続かないイベントを見つけるために、動きがなく繰り返される何時間もの静的な状況を見続けなければならない場合がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＣＯＬＬＯＢＥＲＴ，  ＲＯＮＡＮ；  ＷＥＳＴＯＮ，  ＪＡＳＯＮ；  「Ａ  ＵＮＩＦＩＥＤ  ＡＲＣＨＩＴＥＣＴＵＲＥ  ＦＯＲ  ＮＡＴＵＲＡＬ  ＬＡＮＧＵＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ：  ＤＥＥＰ  ＮＥＵＲＡＬ  ＮＥＴＷＯＲＫＳ  ＷＩＴＨ  ＭＵＬＴＩＴＡＳＫ  ＬＥＡＲＮＩＮＧ」、ＩＣＭＬ２００８抄録、全８頁
【非特許文献２】ＳＥＮＩＮＡ，  ＡＮＮＡ；  ＲＯＨＲＢＡＣＨ，  ＭＡＲＣＵＳ；  ｅｔ  ａｌ．，  「ＣＯＨＥＲＥＮＴ  ＭＵＬＴＩ−ＳＥＮＴＥＮＣＥ  ＶＩＤＥＯ  ＤＥＳＣＲＩＰＴＩＯＮ  ＷＩＴＨ  ＶＡＲＩＡＢＬＥ  ＬＥＶＥＬ  ＯＦ  ＤＥＴＡＩＬ」、ＧＣＰＲ２０１４抄録、全１０頁
【非特許文献３】ＶＥＮＵＧＯＰＡＬＡＮ，  ＳＵＢＨＡＳＨＩＮＩ；  ＲＯＨＲＢＡＣＨ，  ＭＡＲＣＵＳ；  ｅｔ  ａｌ．，  「ＳＥＱＵＥＮＣＥ  ＴＯ  ＳＥＱＵＥＮＣＥ−ＶＩＤＥＯ  ＴＯ  ＴＥＸＴ」、ＩＣＣＶ２０１５抄録、全９頁
【非特許文献４】ＹＵ，  ＨＡＯＮＡＮ；  ＷＡＮＧ，  ＪＩＡＮＧ；  ｅｔ  ａｌ．，  「ＶＩＤＥＯ  ＰＡＲＡＧＲＡＰＨ  ＣＡＰＴＩＯＮＩＮＧ  ＵＳＩＮＧ  ＨＩＥＲＡＲＣＨＩＣＡＬ  ＲＥＣＵＲＲＥＮＴ  ＮＥＵＲＡＬ  ＮＥＴＷＯＲＫＳ」、ＣＶＰＲ  ２０１６  抄録、１０頁
【非特許文献５】ＺＨＡＮＧ，  ＫＥ；  ＣＨＡＯ，  ＷＥＩ−ＬＵＮ；  ｅｔ  ａｌ．，  「ＶＩＤＥＯ  ＳＵＭＭＡＲＩＺＡＴＩＯＮ  ＷＩＴＨ  ＬＯＮＧ  ＳＨＯＲＴ−ＴＥＲＭ  ＭＥＭＯＲＹ」、ＥＣＣＶ２０１６抄録、全２４頁
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事実を考慮し、的を絞ったキャプションを生成し、長い連続メディアファイルを要約することを課題とする。
【課題を解決するための手段】
【０００６】
本出願の態様は、コンピュータにより実行される、複数のメディアセグメントを備えるメディアファイルのサマリを生成する方法を含んでもよい。方法は、ニューラルネットワークにより、複数のメディアセグメントの各々に関連付けられたコンテンツの特徴およびターゲッティング手法に基づいて、複数のメディアセグメントの各々についてのそれぞれの重要度スコアを計算することと、計算された重要度スコアに基づいて複数のメディアセグメントから少なくとも１つのメディアセグメントを選択することと、選択された少なくとも１つのメディアセグメントに関連付けられたコンテンツの特徴に基づいて、選択された少なくとも１つのメディアセグメント用のキャプションを生成することと、キャプションに基づいてメディアファイルのサマリを生成することとを含む。
【０００７】
本出願のさらなる態様は、複数のメディアセグメントを備えるメディアファイルのサマリを生成する方法をコンピュータに実行させるためのプログラムを含んでもよい。方法は、ニューラルネットワークにより、複数のメディアセグメントの各々に関連付けられたコンテンツの特徴およびターゲッティング手法に基づいて、複数のメディアセグメントの各々についてのそれぞれの重要度スコアを計算することと、計算された重要度スコアに基づいて複数のメディアセグメントから少なくとも１つのメディアセグメントを選択することと、選択された少なくとも１つのメディアセグメントに関連付けられたコンテンツの特徴に基づいて、選択された少なくとも１つのメディアセグメント用のキャプションを生成することと、キャプションに基づいてメディアファイルのサマリを生成することとを含む。
【０００８】
本出願の追加の態様は、複数のメディアセグメントを備えるメディアファイルを受信するように構成された通信バスと、メディアファイルを記憶するように構成されたメモリと、プロセッサとを含むメディア分析デバイスを含んでもよい。プロセッサは、ニューラルネットワークにより、複数のメディアセグメントの各々に関連付けられたコンテンツの特徴およびターゲッティング手法に基づいて、複数のメディアセグメントの各々についてのそれぞれの重要度スコアを計算することと、計算された重要度スコアに基づいて複数のメディアセグメントから少なくとも１つのメディアセグメントを選択することと、選択された少なくとも１つのメディアセグメントに関連付けられたコンテンツの特徴に基づいて、選択された少なくとも１つのメディアセグメント用のキャプションを生成することと、キャプションに基づいてメディアファイルのサマリを生成することとを含むプロセスを実行してもよい。
【０００９】
本出願のまたさらなる態様は、複数のメディアセグメントを備えるメディアファイルを受信するための手段と、メディアファイルを記憶するための手段と、ニューラルネットワークにより、メディアセグメントの各々に関連付けられたコンテンツの特徴およびターゲッティング手法に基づいて、メディアセグメントの各々についてのそれぞれの重要度スコアを計算するための手段と、計算された重要度スコアに基づいてメディアセグメントから１つのメディアセグメントを選択するための手段と、選択されたメディアセグメントに関連付けられたコンテンツの特徴に基づいて、選択されたメディアセグメント用のキャプションを生成するための手段と、キャプションに基づいてメディアファイルのサマリを生成するための手段とを含むメディア分析デバイスを含んでもよい。
【発明の効果】
【００１０】
本発明によれば、的を絞ったキャプションを生成し、長い連続メディアファイルを要約することができる。
【図面の簡単な説明】
【００１１】
【図１】本出願の例示的な実装形態による、キャプションおよびメディアサマリを生成するためのプロセスの例示的な流れ図である。
【図２】本出願の例示的な実装形態による、重要度スコアを計算するようにニューラルネットワークを訓練するためのプロセスの例示的な流れ図である。
【図３】本出願の例示的な実装形態による、キャプションを生成するようにニューラルネットワークを訓練するためのプロセスの例示的な流れ図である。
【図４】本出願の例示的な実装形態において使用可能なキャプションおよびメディアサマリを生成するために使用されるユーザインターフェースを示す図である。
【図５】本出願の例示的な実装形態の概略図である。
【図６】本出願の例示的な実装形態において使用可能な共同モデルの概略図である。
【図７】本出願の例示的な実装形態に従って生成された例示的なメディアサマリを示す図である。
【図８】いくつかの例示的な実装形態における使用に適した例示的なコンピュータデバイスおよび適したメディア記録デバイスを有する例示的な環境を示す図である。
【発明を実施するための形態】
【００１２】
以下の発明を実施するための形態は、図および本出願の例示的な実装形態のさらなる詳細を提供する。明確にするために、図の間の冗長要素の参照番号および説明は省略される。説明全体にわたって使用される用語は例として提供され、限定的なものではない。たとえば、「自動的」という用語は、本出願の実装形態を実践する当業者の所望の実装形態に応じて、実装形態のいくつかの態様に対するユーザまたは事業者の制御を伴う、全自動または半自動の実装形態を含んでもよい。
【００１３】
関連するシステムの問題に対処するために、本出願の例示的な実装形態は、的を絞ったビデオのキャプショニングを使用して、特定の目的のために自動的に選択されたメディアコンテンツ用のキャプションを生成してもよい（たとえば、ターゲッティング手法）。特定のコンテンツに的を絞る機能は、ユーザが対象のメディアセグメントに焦点を合わせることを支援し、見直しを必要とするセグメントのコンパクトさを改善することができる。その上、生成されたキャプションは、メディアファイル全体のより効率的な見直しおよびナビゲーションのために、対応するビデオコンテンツの意味のあるテキスト記述を提示することができる。
【００１４】
図１は、本出願の例示的な実装形態による、キャプションおよびメディアサマリを生成するためのプロセス１００の例示的な流れ図を示す。１０５において、メディアファイルが複数のセグメントに分割される。メディアファイルのタイプには、ビデオファイル、オーディオファイル、またはセグメントに分割されることが可能な任意の他の連続メディアファイルが含まれる可能性がある。メディアファイルは、（ビデオカメラなどの）ビデオ記録デバイス、（マイクロフォンおよびデジタルレコーダなどの）オーディオ記録デバイス、または当業者には明らかであり得る任意の他のメディア記録デバイスを使用して、取り込まれる場合がある。
【００１５】
各セグメントのサイズは特に制限されない。いくつかの例示的な実装形態では、各セグメントは、ビデオの単一の静止フレーム、数秒のビデオ、または当業者には明らかであるかも知れない任意の長さのビデオセグメントであり得る。他の例示的な実装形態では、各セグメントは、１秒のオーディオ、数秒のオーディオ、または当業者には明らかであるかも知れない任意の長さのオーディオセグメントであり得る。
【００１６】
セグメント化のプロセスは特に限定されず、ユーザによって実施される手動プロセス、機械学習を使用して実施される全自動プロセス、または一部の自動化および一部のユーザ制御を伴うハイブリッドプロセスであり得る。たとえば、いくつかの例示的な実装形態では、ユーザはメディアファイルを手動でセグメント化してもよい。他の例示的な実装形態では、メディアファイルは、ニューラルネットワークがメディアファイル内のコンテンツの中の変化を検出し、コンテンツの中の検出された変化に基づいてビデオをセグメントに分割することにより、自動的にセグメント化されてもよい。コンテンツの検出は下記でさらに詳細に説明される。たとえば、ビデオ内の景観変化（たとえば、屋内から屋外への変化、または夜から昼への変化）が検出される場合があり、ビデオは景観変化に基づいてセグメント化されてもよい。ハイブリッドプロセスでは、ニューラルネットワークは、コンテンツの変化を検出することによってセグメントを提案してもよく、ユーザは、提案されたセグメントを手動で承認、拒否、または修正してもよい。ユーザの承認／拒否は、ニューラルネットワークをさらに訓練するために使用されてもよい。
【００１７】
１１０において、ニューラルネットワークを使用して、ターゲッティング手法に基づいてセグメントごとに重要度スコアが計算される。いくつかの例示的な実装形態では、選択されるターゲッティング手法は、ユーザが図４に示されたＵＩ４００などのユーザインターフェース（ＵＩ）を使用することにより、手動で選択されてもよい。他の例示的な実装形態では、ターゲッティング手法は、メディアファイル内で検出されたコンテンツに基づいて、ニューラルネットワークによって選択または提案されてもよい。コンテンツの検出は下記でさらに詳細に説明される。選択または提案されたターゲッティング手法を承認、拒否、および／または修正するオプションは、ユーザに対して提供される場合もある。
【００１８】
様々なターゲッティング手法が使用されてもよい。例示的なターゲッティング手法には、以下が含まれてもよい。
・一般的なハイライト手法：長いメディアファイルの一般的なハイライトまたはイベントを要約するためにキャプションを生成する（たとえば、長い旅行で撮られたビデオのストーリーを伝える）。
・ハイリスク手法：監視メディア記録のハイリスクまたは異常なイベントを識別するためにキャプションを生成する（たとえば、衝突事故または争いのテキスト警告を生成する）。
・人名手法：群衆／スポーツ／家族のメディアファイル内の対象人物（またはエンティティ）の活動を要約するためにキャプションを生成する（たとえば、子供またはカップルをフィーチャし、ビデオ内の各人物が個別にフィーチャされることを可能にする）。
・幸せ／悲しみの瞬間手法：ライフログメディアファイルの感情（またはエンティティの状態）セグメントを要約するためにキャプションを生成する（たとえば、人生の中の幸せまたは悲しみの瞬間の日記をつける）。
・注意手法：一人称視点メディアファイル内の注意の間隔を要約するためにキャプションを生成する（たとえば、一人称視点カメラを身に着けている買い物客が注意を払っているものを記述する）。
【００１９】
特定のターゲッティング手法が識別されたが、とり得るターゲッティング手法はこれらの例に限定されない。他のターゲッティング手法が使用されてもよく、これらのターゲッティング手法が結合、修正、または、当業者には明らかであり得る様々な組合せで融合されもよい。
【００２０】
重要度スコアを計算するために、ニューラルネットワークは、１つまたは複数のコンテンツ検出技法を使用して、各セグメントからコンテンツの特徴を抽出してもよい。たとえば、画像コンテンツを特定するために、メディアファイルのセグメント内の画像に、物体認識技法、文字認識技法、および／または顔認識技法が適用されてもよい。同様に、スピーカの変化を検出し、オーディオ内の音声を認識して音声コンテンツを識別するために、メディアファイルのセグメント内のオーディオに、オーディオ認識技法が適用されてもよい。加えて、メディアファイルに関連付けられた日時情報を検出するために、メディアファイルのセグメントに関連付けられたメタデータが分析されてもよい。さらに、メタデータは、メディアファイルのセグメントが取り込まれた位置を検出するために使用される可能性がある、ＧＰＳ情報などの位置データを含む場合もある。
【００２１】
ニューラルネットワークは、検出されたコンテンツの特徴に基づいて、各セグメントに重要度スコアを割り当てる場合がある。いくつかの例示的な実装形態では、重要度スコアは、各セグメントに関連付けられたコンテンツの特徴がターゲッティング手法方式にどのように関係するかに基づいて、ニューラルネットワークによって割り当てられた定性的尺度であり得る。たとえば、「ハイリスク」ターゲッティング手法では、多くの活動が行われていることを示すコンテンツの特徴を有するセグメントが高い重要度スコア（たとえば、「１０」）を割り当てられてもよく、活動が行われていないことを示すコンテンツの特徴を有するセグメントが低い重要度スコア（たとえば、「０」）を割り当てられてもよい。別の例として、「人名」ターゲッティング手法では、特定の人物を示すコンテンツの特徴を有するセグメントが高い重要度スコア（たとえば、「１０」）を割り当てられてもよく、特定の人物を示すコンテンツの特徴を有していないセグメントが低い重要度スコア（たとえば、「０」）を割り当てられてもよい。ニューラルネットワークによる重要度スコアの計算は、図５および図６に関して下記でさらに詳細に説明される。ニューラルネットワークは、図２に示されたプロセス２００などのトレーニングプロセスを使用して、重要度スコアを割り当てるように手動で訓練されてもよい。
【００２２】
１１５において、重要度スコアに基づいて、複数のセグメントから１つまたは複数のセグメントが選択されてもよい。セグメントは、重要度スコアに基づいてセグメントをランク付けし、選択されたターゲッティング手法について最も高い重要度スコアを有する１つまたは複数のセグメントを選択することによって選択されてもよい。セグメントの選択は、メディアファイル全体にわたるセグメントの分布を考慮してもよい。選択されるセグメントの数は、いくつかの例示的な実装形態では、ユーザが図４のユーザインターフェース４００を使用してキャプションの数を指定することにより、手動で決定されてもよい。他の例示的な実装形態では、セグメントの数は、セグメントの総数および／またはしきい値を超える重要度スコアを有するセグメントの数に基づいて、ニューラルネットワークにより自動的に選択されてもよい。たとえば、メディアファイルが１００個のセグメントに分割され、１０個のセグメントが「６」よりも大きい重要度スコアを有する場合、１０個のセグメントが選択されてもよい。
【００２３】
１２０において、選択されたセグメント各々についてキャプションが自動的に生成されてもよい。いくつかの例示的な実装形態では、キャプションは、候補セグメントの各々から抽出されたコンテンツの特徴に基づいて、セマンティックライブラリからセマンティクス（たとえば、シラブル、ワード、およびフレーズなどの字句単位）を選択することにより、生成されてもよい。さらに、いくつかの例示的な実施形態では、キャプションは、図５および図６に関して下記でさらに詳細に説明されるように、ニューラルネットワークによって生成されてもよい。ニューラルネットワークは、図３に示されたプロセス３００などのトレーニングプロセスを使用して訓練されてもよい。いくつかの例示的な実装形態では、それぞれ１１０および１２０において、異なるニューラルネットワークが使用されてもよい。
【００２４】
キャプションが生成されると、１２５において、キャプションに基づいてメディアサマリが生成されてもよい。いくつかの例示的な実装形態では、生成されたメディアサマリは、メディアファイル内でセグメントが発生する順序で配列された、生成されたキャプションの集合であり得る。他の例示的な実装形態では、メディアサマリは、関連付けられたセグメントが始まる（および／もしくは終わる）時間の記号、またはキャプションに関連付けられたセグメントの開始へのリンクとともに、キャプションの集合を含んでもよい。図７は、生成されたメディアサマリ７００の例示的な実装形態を示す。生成されたキャプションに基づいてメディアサマリを自動的に生成した後、長いメディアファイルは、より効率的にユーザによって見直されてもよい。
【００２５】
いくつかの例示的な実装形態では、プロセス１００は、メディアサマリが生成されると終了してもよい。他の例示的な実装形態では、生成されたメディアサマリは、１３０において、それがメディアファイルのコンテンツを完全に表すどうかを判定するために評価されてもよい。この評価は、いくつかの例示的な実装形態では、ユーザがメディアサマリを見直し、メディアサマリが許容できるかどうかを示すことにより、手動で行われてもよい。他の例示的な実装形態では、メディアサマリは、メディアサマリを生成するために使用されるセグメントがメディアファイル全体の比例分布を表すかどうかをコンピューティングデバイスが判定することにより、自動的に評価されてもよい。たとえば、キャプショニングされたセグメントがメディアファイル全体にわたって分布する（たとえば、１つまたは複数のキャプショニングされたセグメントがメディアファイルの始まりの近くにあり、１つまたは複数のキャプショニングされたセグメントがメディアファイルの中間で発生し、１つまたは複数のキャプショニングされたセグメントがメディアファイルの終わりの近くにある）場合、メディアサマリは、メディアファイル全体の正確なサマリであると判定されてもよい。反対に、すべてのキャプショニングされたセグメントがメディアファイルの小さい部分のみからである（たとえば、すべてのセグメントがメディアファイルの始まりまたはメディアファイルの終わりからである）場合、メディアサマリは、メディアファイル全体の正確なサマリではないと判定されてもよい。
【００２６】
生成されたメディアサマリがメディアファイルを完全に表すと判定された場合（１３０における「はい」）、プロセス１００は終了してもよい。生成されたメディアサマリがメディアファイルを完全に表さないと判定された場合（１３０における「いいえ」）、プロセス１００は１１０に戻って、再びセグメントごとの重要度スコアを計算し、重要度スコアに基づいてキャプショニングの追加の候補を選択してもよい。いくつかの例示的な実装形態では、選択された追加のセグメントは、前に選択されたセグメントよりも低い重要度スコアを有するが、前に選択されたセグメントによって表されないメディアファイルの部分に位置してもよい（たとえば、前に選択された候補がすべてメディアファイルの始まりに位置していたときに追加のセグメントがメディアファイルの終わりから選択されるか、または前に選択された候補がすべてメディアファイルの終わりに位置していたときに追加のセグメントがメディアファイルの始まりから選択される）。
【００２７】
加えて、いくつかの例示的な実装形態では、メディアファイルは、場合によっては、２度目（または３度目、４度目など）にセグメントごとの重要度スコアを計算するより前に、１３５において、生成されたメディアサマリに基づいて再セグメント化されてもよい。たとえば、メディアファイルの始まりにあるセグメントを要約する生成されたメディアサマリに基づいて、メディアファイルは、メディアファイルのキャプショニングされていない部分（たとえば、終わり）をより小さいセグメントに分割して、１回目のセグメント化において認識されなかったか、または表されなかった可能性があるコンテンツを抽出するように、再セグメント化されてもよい。他の再セグメント化方式が当業者には明らかであり得る。メディアファイルが再セグメント化されると、プロセス１００は上記で説明されたように１１０に戻ってもよい。
【００２８】
生成されたメディアサマリがメディアファイルを完全に表すと判定された場合（１３０における「はい」）、プロセス１００は終了してもよい。加えて、いくつかの例示的な実装形態では、プロセス１００はまた、定義された数の反復の後に自動的に終了してもよい。（たとえば、プロセス１００は、ステップ１１０〜１２５が２回、３回、または当業者には明らかであり得る任意の回数実施された後、自動的に終了してもよい。）反復の回数はユーザによって指定されてもよい。
【００２９】
図２は、本出願の例示的な実装形態による、重要度スコアを計算するようにニューラルネットワークを訓練するためのプロセス２００の例示的な流れ図を示す。訓練されたニューラルネットワークは、図１に示されたプロセス１００などのプロセスの間に、メディアファイルのメディアセグメントについての重要度スコアを計算するために使用される、重要度スコア予測モデルまたはマトリクスを生成してもよい。
【００３０】
プロセス２００では、２０５において、セグメント化されたトレーニングメディアファイルがニューラルネットワークによって受信されてもよい。トレーニングメディアファイルは、（ビデオカメラなどの）ビデオ記録デバイス、（マイクロフォンおよびデジタルレコーダなどの）オーディオ記録デバイス、または当業者には明らかであり得る任意の他のメディア記録デバイスを使用して、取り込まれてもよい。いくつかの例示的な実装形態では、トレーニングプロセスは、セグメント化された複数のトレーニングメディアファイルを使用して実施されてもよく、プロセス２００はセグメント化された複数のトレーニングメディアファイルの各々について反復される。
【００３１】
セグメント化されたトレーニングメディアファイルは、限定はしないが、ＵＳＢ接続、シリアル接続、パラレル接続、またはワイヤレス通信接続を含む、当業者には明らかであり得る任意のデータ通信機構によって受信されてもよい。トレーニングメディアファイルは、ビデオファイル、オーディオファイル、またはセグメントに分割されることが可能な任意の他の連続メディアファイルであり得る。加えて、いくつかの例示的な実装形態では、複数のトレーニングメディアファイルが使用されてもよく、複数のトレーニングメディアファイルは、ビデオファイル、オーディオファイル、または、当業者には明らかであり得る任意の他のタイプの連続メディアファイルの任意の組合せであり得る。
【００３２】
繰り返すと、各セグメントのサイズは特に制限されない。いくつかの例示的な実装形態では、各セグメントは、ビデオの単一の静止フレーム、数秒のビデオ、または当業者には明らかであるかも知れない任意の長さのビデオセグメントであり得る。他の例示的な実装形態では、各セグメントは、１秒のオーディオ、数秒のオーディオ、または当業者には明らかであるかも知れない任意の長さのオーディオセグメントであり得る。
【００３３】
メディアファイルは、図１のプロセス１００の１０５に関して上記で説明されたように、ユーザによって実施される手動プロセス、全自動プロセス、または、一部の自動化および一部のユーザ制御を伴うハイブリッドプロセスによってセグメント化されてもよい。
【００３４】
２１０において、ニューラルネットワークがターゲッティング手法を受信してもよい。ターゲッティング手法は、限定はしないが、ＵＳＢ接続、シリアル接続、パラレル接続、またはワイヤレス通信接続を含む、当業者には明らかであり得る任意のデータ通信機構によって受信されてもよい。ターゲッティング手法は、図１のプロセス１００の１１０に関して上記で説明された例示的なターゲッティング手法を含む、様々なターゲッティング手法から選択されてもよい。
【００３５】
２１５において、ニューラルネットワークは、１つまたは複数のコンテンツ検出技法を使用して、トレーニングメディアファイルの各トレーニングセグメントに関連付けられた１つまたは複数のコンテンツの特徴を検出する。たとえば、画像コンテンツを特定するために、トレーニングセグメント内の画像に、物体認識技法、文字認識技法、および／または顔認識技法が適用されてもよい。同様に、スピーカの変化を検出し、オーディオ内の音声を認識して音声コンテンツを識別するために、トレーニングセグメント内のオーディオに、オーディオ認識技法が適用されてもよい。加えて、トレーニングメディアファイルに関連付けられた日時情報を検出するために、メディアファイルのトレーニングセグメントに関連付けられたメタデータが分析されてもよい。さらに、メタデータは、トレーニングメディアファイルのセグメントが取り込まれた位置を検出するために使用される可能性がある、ＧＰＳ情報などの位置データを含んでもよい。
【００３６】
２３０において、ニューラルネットワークは、ターゲッティング手法およびメディアコンテンツに基づいて、トレーニングセグメントごとの重要度スコアを受信する。重要度スコアは、ユーザによって手動で決定されるか、または、ニューラルネットワークが重要度スコアを計算し、ユーザが計算された重要度スコアを承認、拒否、もしくは調整することを含むハイブリッドプロセスによって計算されてもよい。
【００３７】
いくつかの例示的な実装形態では、トレーニングセグメントごとに受信された重要度スコアは、ユーザがニューラルネットワークからの照会に応答してトレーニングセグメントを見直すことにより、リアルタイムで提供されてもよい。他の例示的な実装形態では、２０５においてトレーニングセグメントがニューラルネットワークによって受信される前に、または受信されたときに、重要度スコアはトレーニングセグメントに関連付けられてもよい。
【００３８】
検出されたコンテンツの特徴、受信されたターゲッティング手法、および受信された重要度スコアに基づいて、ニューラルネットワークは、２３５において、検出されたコンテンツの特徴を重要度スコアおよび受信されたターゲッティング手法と関連付けることにより、最適化または微調整されてもよい。ニューラルネットワークが２３５において最適化または微調整されると、プロセス２００は終了してもよい。訓練されると、ニューラルネットワークは、図１のプロセス１００などのプロセス内の１１０において重要度スコアを計算するために使用されてもよい。
【００３９】
上記で説明されたように、ニューラルネットワークのトレーニングは、複数のセグメント化されたトレーニングメディアファイルについてプロセス２００を反復することを含んでもよい。いくつかの例示的な実装形態では、トレーニングプロセスは、「ＴＶＳＵＭ」、「Ｖｉｄｅｏｓｅｔ」、「ＳｕｍＭｅ」、または任意の他の公開されているデータセットなどの、１つまたは複数の公開ベンチマークデータセットを使用することによって実施されてもよい。
【００４０】
図３は、本出願の例示的な実装形態による、キャプションを生成するようにニューラルネットワークを訓練するためのプロセス３００の例示的な流れ図を示す。ニューラルネットワークを訓練することは、図１に示されたプロセス１００などのプロセスの間に、メディアファイルのメディアセグメントについてのキャプションを生成するために使用され得る、キャプション生成モデルを生成してもよい。
【００４１】
プロセス３００では、３０５において、セグメント化されたトレーニングメディアファイルがニューラルネットワークによって受信されてもよい。トレーニングメディアファイルは、（ビデオカメラなどの）ビデオ記録デバイス、（マイクロフォンおよびデジタルレコーダなどの）オーディオ記録デバイス、または当業者には明らかであり得る任意の他のメディア記録デバイスを使用して、取り込まれてもよい。いくつかの例示的な実装形態では、トレーニングプロセスは、セグメント化された複数のトレーニングメディアファイルを使用して実施されてもよく、プロセス３００はセグメント化された複数のトレーニングメディアファイルの各々について反復される。
【００４２】
セグメント化されたトレーニングメディアファイルは、限定はしないが、ＵＳＢ接続、シリアル接続、パラレル接続、またはワイヤレス通信接続を含む、当業者には明らかであり得る任意のデータ通信機構によって受信されてもよい。トレーニングメディアファイルは、ビデオファイル、オーディオファイル、またはトレーニングセグメントに分割されることが可能な任意の他の連続メディアファイルであり得る。繰り返すと、各トレーニングセグメントのサイズは特に制限されない。いくつかの例示的な実装形態では、各トレーニングセグメントは、ビデオの単一の静止フレーム、数秒のビデオ、または当業者には明らかであるかも知れない任意の長さのビデオセグメントであり得る。他の例示的な実装形態では、各トレーニングセグメントは、１秒のオーディオ、数秒のオーディオ、または当業者には明らかであるかも知れない任意の長さのオーディオセグメントであり得る。
【００４３】
メディアファイルは、図１のプロセス１００の１０５に関して上記で説明されたように、ユーザによって実施される手動プロセス、全自動プロセス、または、一部の自動化および一部のユーザ制御を伴うハイブリッドプロセスによってセグメント化されてもよい。
【００４４】
３１０において、ニューラルネットワークは、１つまたは複数のコンテンツ検出技法を使用して、トレーニングメディアファイルの各トレーニングセグメントに関連付けられた１つまたは複数のコンテンツの特徴を検出してもよい。たとえば、画像コンテンツを特定するために、トレーニングセグメント内の画像に、物体認識技法、文字認識技法、および／または顔認識技法が適用されてもよい。同様に、スピーカの変化を検出し、オーディオ内の音声を認識して音声コンテンツを識別するために、トレーニングセグメント内のオーディオに、オーディオ認識技法が適用されてもよい。加えて、トレーニングメディアファイルに関連付けられた日時情報を検出するために、メディアファイルのセグメントに関連付けられたメタデータが分析されてもよい。さらに、メタデータは、メディアファイルのセグメントが取り込まれた位置を検出するために使用される可能性がある、ＧＰＳ情報などの位置データを含んでもよい。
【００４５】
３１５において、ニューラルネットワークは、トレーニングセグメントごとに１つまたは複数のキャプションを受信する。キャプションは、ユーザによって手動で決定されるか、または、ニューラルネットワークがキャプション生成モデルに基づいてキャプションを生成し、ユーザが生成されたキャプションを承認、拒否、もしくは調整することを含むハイブリッドプロセスによって生成されてもよい。
【００４６】
いくつかの例示的な実装形態では、トレーニングセグメントごとに受信されたキャプションは、ユーザがニューラルネットワークからの照会に応答してトレーニングセグメントを見直すことにより、リアルタイムで提供されてもよい。他の例示的な実装形態では、上記で説明された３０５においてトレーニングセグメントがニューラルネットワークによって受信される前に、または受信されたときに、受信されたキャプションはトレーニングセグメントに関連付けられてもよい。
【００４７】
キャプションが受信された後、ニューラルネットワークは、３２０において、テキストまたは音声の認識に使用される既知の言語区分化アルゴリズムに基づいて、キャプションをセマンティクスに区分化してもよい。いくつかの例示的な実装形態では、ニューラルネットワークは、受信されたキャプション内で表されている主題を検出するために、キャプションをセマンティクス（たとえば、シラブル、ワード、およびフレーズなどの字句単位）に区分化してもよい。
【００４８】
セグメントごとに受信されたキャプションがセマンティクスに区分化されると、ニューラルネットワークは、３２５において、検出されたコンテンツの特徴を区分化されたセマンティクスと関連付けることにより、最適化または微調整されてもよい。ニューラルネットワークが３２５において最適化または微調整されると、プロセス３００は終了してもよい。訓練されると、ニューラルネットワークは、図１のプロセス１００などのプロセス内の１２０において使用されてもよい。
【００４９】
上記で説明されたように、ニューラルネットワークのトレーニングは、複数のセグメント化されたトレーニングメディアファイルについてプロセス３００を反復することを含んでもよい。いくつかの例示的な実装形態では、トレーニングプロセスは、「ＭＳＲ−ＶＴＴ」、「ＭＳＶＤ」、「Ｖｉｄｅｏｓｅｔ」、または任意の他の公開されているデータセットなどの、１つまたは複数の公開ベンチマークデータセットを使用することによって実施されてもよい。
【００５０】
図４は、本出願の例示的な実装形態において使用可能なキャプションおよびメディアサマリを生成するために使用されるユーザインターフェース（ＵＩ）４００を示す。ＵＩ４００は、コンピューティングデバイスに関連付けられたディスプレイデバイス、メディア編集デバイス、またはユーザに情報を表示することが可能な任意の他のデバイスに表示されてもよい。ＵＩ４００は、マウス、タッチパッド、トラックボール、キーボード、または当業者には明らかであり得る任意の他のユーザ入力デバイスなどの、ユーザ入力デバイスを使用して制御されてもよい。図示されたように、ＵＩ４００は、キャプショニングおよび要約の対象となっているメディアファイル５７０のグラフィカル表現４０５を含む。ＵＩ４００は、ユーザがターゲッティング手法を選択することを可能にする制御インターフェース４１０も含む。図示されたように、制御インターフェース４１０は選択可能なテキストリストであってもよいが、制御ボタン、ドロップダウンリスト、または任意の他の制御インターフェースなどの、他の例示的な制御インターフェースが使用されてもよい。
【００５１】
重要度スコアを計算する際およびキャプショニングする際の使用に的を絞るべきコンテンツの特徴は、ユーザによって選ばれたターゲッティング手法に基づいて修正されてもよい。たとえば、ターゲッティング手法のオプションは、様々な目的または用途を満たすように設計された、「一般的なハイライト」、「ハイリスク」、「人名」、「幸せな瞬間」、「注意」などを含んでもよい。とり得るターゲッティング手法は、図１に関して上記でより詳細に説明されている。
【００５２】
ＵＩ４００は、ユーザが制御インターフェース４３０を使用して所与のメディアファイルについて生成されるべきキャプションの数を調整することも可能にする。いくつかの例示的な実装形態では、指定されるキャプションの数はまた、重要度スコアに基づいて選択されるメディアセグメントの数を決定してもよい。図示されたように、制御インターフェース４３０はスライダ制御であってもよいが、制御ボタン、ドロップダウンリスト、テキスト入力ボックス、または明らかであり得る任意の他の制御インターフェースなどの、他の例示的な制御インターフェースが使用されてもよい。制御インターフェース４１０および４３０を調整すると、図１のプロセス１００、またはそのプロセスの一部が再実行されるようになる場合がある。
【００５３】
制御インターフェース４１０および４３０とのユーザ対話に基づいて、１つまたは複数のキャプション４１５、４２０、４２５が生成され、ＵＩ４００に表示されてもよい。加えて、ＵＩ４００は、メディアファイル５７０のグラフィカル表現４０５上で、表示されたキャプション４１５、４２０、４２５に対応するセグメント４３５、４４０、４４５を強調する場合もある。図示されたように、セグメント４３５はキャプション４１５に対応し、セグメント４４０はキャプション４２０に対応し、セグメント４４５はキャプション４２５に対応する。
【００５４】
表示されたキャプション４１５、４２０、４２５は、制御インターフェース４１０を使用して選択されたターゲッティング手法の基準に関して最も高い重要度スコアを有するメディアグメント４３５、４４０、４４５に対応するキャプションである。制御インターフェース４３０の設定に基づいて、より多くのキャプションが表示されてもよく、より多くのセグメントが強調される。生成されるべきキャプションの数を増やすことにより、より多くのセグメントの高水準のセマンティクス（たとえば、シラブル、ワード、およびフレーズなどの字句単位）がユーザに明らかにされてもよく、ユーザは、テキスト内でより多くの詳細に目を通すことができるが、依然として的を絞りたいコンテンツに焦点を合わせる。反対に、メディアファイルのより速い見直しおよびナビゲーションが望ましいか、または必要とされる場合、ユーザは、制御インターフェース４３０を使用して、生成されるキャプションの数を減らすことにより、詳細をスキップすることができてもよい。
【００５５】
ＵＩ４００は、メディアファイル内のセグメントの順番に基づいて、生成されたキャプション４１５、４２０、４２５を集め、順序付けることにより、メディアファイル５７０のサマリ４５０も提供する。この図示されたＵＩ４００は例にすぎず、例示的な実装形態はそれに限定されない。ＵＩの他の例が当業者には明らかであり得る。
【００５６】
図５は、本出願の例示的な実装形態によるシステム５０５の概略図５００を示す。概略図５００は、２つの異なるフェーズ（トレーニングフェーズ５１０およびテスティングフェーズ５１５）の間の、システム５０５の入力５２０と出力５２５の両方を示す。
【００５７】
トレーニングフェーズ５１０の間、システム５０５は、トレーニングデータの１つまたは複数のシーケンス（５３０によって図示されている）を受信する。各データシーケンス５３０は、少なくとも３つの構成要素である、１）重要度スコア５３５、２）トレーニングセグメントのシーケンスからなるトレーニングメディアファイル５４０、および３）キャプション５４５、を含んでもよい。トレーニングメディアファイル５４０内の各トレーニングセグメントは、対応する重要度スコア５３５を有する。各セグメントの重要度スコア５３５は、ターゲッティング手法の様々なオプション（たとえば、図１に関して上記で説明されたような「一般的なハイライト」、「ハイリスクシーン」、「人名」など）に対して変化してもよい。トレーニングメディアファイル５４０内の各トレーニングセグメントは、１つまたは複数のフレームを備えてもよく、対応するキャプション５４５を有する。
【００５８】
システム５０５は、２つの主要モジュール：各セグメントの重要度スコアを計算して、重要なメディアセグメントを選択することを可能にするトレーニングメディアサマリモジュール５５０、およびメディアセグメントのキャプションを生成するトレーニングメディアキャプショニングモジュール５５５を含んでもよい。各モジュール５５０、５５５は、ニューラルネットワークであって、単一の複合ニューラルネットワークまたは一対の別個のニューラルネットワークのいずれかによって具現化されてもよい。トレーニングメディアサマリモジュール５５０は、図２に示されたトレーニングプロセス２００を実施してもよい。トレーニングメディアキャプショニングモジュール５５５は、図３に示されたトレーニングプロセス３００を実施してもよい。２つのモジュール５５０および５５５は、共同最適化方法としてのマルチタスク学習を介して共同で訓練されてもよい。トレーニングフェーズ５１０の間のシステム５０５の出力は、共同モデル５６０である。上記で説明されたターゲッティング手法のオプションごとに異なる共同モデル５６０が生成されてもよい。共同モデル５６０は、図６に関して下記でより詳細に説明される。
【００５９】
共同モデル５６０は、次いで、テスティングフェーズ５１５の間にシステム５０５によって使用されてもよい。具体的には、テスティングフェーズ５１５の間、システム５０５は、ターゲッティング手法およびキャプションの数のオプション５６５を受信することにより、ユーザと対話する。ターゲッティング手法およびキャプションの数のオプション５６５は、ユーザがＵＩ４００に示された制御インターフェース４１０、４３０を使用することによって、または当業者には明らかであるかも知れない任意の他のユーザ入力によって入力されてもよい。
【００６０】
テスティングフェーズ５１５の入力データは、ターゲッティング手法およびキャプションの数のオプション５６５、ならびにキャプショニングおよび要約の対象となる複数のセグメントを備えるメディアファイル５７０を含む。メディアファイル５７０は、図４に関して上記で説明されたものと同じメディアファイル５７０であり得る。システム５０５は、次いで、選択されたターゲッティング手法およびキャプションの数のオプション５６５を使用して、どの共同モデル５６０が使用されるべきかを判定する。上記で説明されたように、各ターゲッティング手法は、計算された重要度スコアの割当てに影響するセグメントの重要度を決定することに関して異なる基準を有してもよいので、各ターゲッティング手法は、異なる共同モデル５６０に対応してもよい。
【００６１】
共同モデル５６０がターゲッティング手法およびキャプションの数のオプション５６５に基づいて選択されると、システム５０５は、次いで、メディアファイル５７０のセグメントごとの重要度スコアを計算してもよい。システム５０５は、次いで、計算された重要度スコアに基づいてキャプショニング用のメディアセグメントを選択してもよく、それに応じてキャプションを生成し、図１のプロセス１００などのプロセスを使用して、テキスト記述を有するメディアサマリをもたらす。テスティングフェーズ５１５の間のシステム５０５の出力５２５は、メディアファイル５７０の（図４のＵＩ４００からの）グラフィカル表現４０５、ならびに（図４のＵＩ４００からの）複数のキャプション４１５および４２０であり得る。
【００６２】
図６は、本出願の例示的な実装形態において使用可能な共同モデル５６０の概略図を示す。図６は、図５に関して上記で説明されなかった共同モデル５６０のアーキテクチャについての追加の詳細を示す。図示されたように、共同モデル５６０は、３つの主要な構成要素：メディア特徴抽出ユニット６０５、入力された重要度スコアおよび対応するメディアセグメントに基づく損失関数で構成された重要度スコア予測モデル６１０、ならびに、入力されたキャプションおよび対応するメディアセグメントに基づく損失関数で構成されたキャプション生成モデル６１５を含んでもよい。重要度スコア予測モデル６１０の損失関数は、図２のプロセス２００などのトレーニングプロセスの間に構成されてもよい。キャプション生成モデル６１５の損失関数は、図３のプロセス３００などのトレーニングプロセスの間に構成されてもよい。
【００６３】
メディア特徴抽出ユニット６０５は、受信されたメディアファイルを時間順序で配列された複数のメディアファイルセグメントにセグメント化してもよい（時間セグメント化６２０）。重畳ニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）６２５および一連の反復ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＲＮＮ）６３０は、次いで、セグメントの各々からメディアコンテンツの特徴を検出または抽出してもよい。抽出されたメディアコンテンツの特徴は、次いで、重要度スコア予測モデル６１０とキャプション生成モデル６１５の両方に供給されてもよい。
【００６４】
重要度スコア予測モデル６１０では、ＲＮＮ６３０から抽出されたメディアコンテンツの特徴は、セグメントの各々についての重要度スコア６４０の分布を計算しマッピングするために、多層パーセプトロンニューラルネットワーク（Ｍｕｌｔｉ−Ｌａｙｅｒ  Ｐｅｒｃｅｐｔｒｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＭＬＰ）６３５に供給される。分布の計算およびマッピングは、図２のトレーニングプロセス２００を使用する重要度スコア予測モデル６１０のトレーニングおよび損失関数の構成に基づく。重要度スコア６４０の分布がマッピングされると、キャプションを生成するために使用されるべきセグメント（またはショット）を選択するために、最も高い重要度スコアを有するメディアコンテンツの特徴が使用される（ショット選択６４５）。
【００６５】
キャプション生成モデル６１５では、ＲＮＮ６３０から抽出されたメディアコンテンツの特徴および重要度スコア予測モデル６１０によって予測された重要度スコアは、一連のセマンティクス（たとえば、シラブル、ワード、およびフレーズなどの字句単位）６５５を選択し配列する一連のＲＮＮ６５０に供給される。選択され配列されたセマンティクス６５５に基づいて、選択されたセグメントごとにキャプション６６０が生成される。さらに、選択されたセグメントごとに生成されたキャプション６６０に基づいて、メディアファイルのコンテンツの特徴のテキスト記述を有するメディアサマリ６６５が生成される。
【００６６】
加えて、重要度スコア予測モデル６１０に関連付けられた損失関数は、キャプション生成モデル６１５の出力に基づいて最適化されてもよい。同様に、キャプション生成モデル６１５に関連付けられた損失関数は、重要度スコア予測モデル６１０からの出力に基づいて最適化されてもよい。さらに、重要度スコア予測モデル６１０とキャプション生成モデル６１５の両方の最適化損失は、逆伝搬を介してメディア特徴抽出ユニット６０５のパラメータを改良して、コンテンツの特徴がどのように抽出されるかを変更するために使用されてもよい。これらの共同最適化プロセスは、マルチタスク学習を使用することによって実装されてもよい。
【００６７】
図示されたように、共同モデル５６０は、ユーザによって要求された特定の視点に的を絞る（ターゲッティング手法）ために、選択されたビデオセグメントのキャプショニングを可能にしてもよい。機械学習モジュールは、ビデオキャプショニングのコンテキストを使用して、ビデオサマリに影響を及ぼす場合があり、その逆も同様である。さらに、生成されたキャプションは、対応するビデオコンテンツの意味のあるテキスト記述を提示する場合があり、レベルの詳細は、自動的に、またはユーザ入力に基づいて、生成されたキャプションの数を増減することによって調整されてもよい。
【００６８】
図７は、本出願の例示的な実装形態に従って生成された例示的なメディアサマリ７００を示す。メディアサマリ７００は、コンピューティングデバイスに関連付けられたディスプレイデバイス、メディア編集デバイス、またはユーザに情報を表示することが可能な任意の他のデバイスに表示される双方向ユーザインターフェースＵＩであり得る。メディアサマリ７００は、マウス、タッチパッド、トラックボール、キーボード、または当業者には明らかであり得る任意の他のユーザ入力デバイスなどの、ユーザ入力デバイスを使用して制御されてもよい。
【００６９】
図示されたように、メディアサマリ７００は、メディアファイルのプレイバックウィンドウ７０５を含んでもよい。プレイバックウィンドウ７０５の近くに、メディアファイルのテキストサマリ７１０が提供されてもよい。テキストサマリ７１０は、メディアファイルの様々なセグメントの一連のキャプション７１５、７２０、７２５、７３０、７３５を含んでもよい。キャプション７１５、７２０、７２５、７３０、７３５は、メディアファイル内のセグメントの順序に基づく順番で配列されてもよい。加えて、いくつかの例示的な実装形態では、キャプション７１５、７２０、７２５、７３０、７３５は、関連付けられたセグメントにナビゲートするためにアクティブ化され得るリンクであり得る。たとえば、キャプション７２５のリンクをアクティブ化すると、キャプション７２５に関連付けられたセグメントにプレイバックウィンドウ７０５がジャンプするようになる場合がある。
【００７０】
例示的なキャプション生成評価結果
【００７１】
本出願の例示的な実装形態を従来技術のシステムと比較するために、２つの公開ベンチマークデータセットＴＶＳＵＭおよびＭＳＲ−ＶＴＴを使用して、実験が行われた。ＴＶＳＵＭデータセットは、共同モデルが従来技術のビデオ要約システムよりも正確な重要度スコアを予測する可能性があるかどうかを評価するために使用される場合があり、ＭＳＲ−ＶＴＴデータセットは、共同モデルが従来技術のビデオキャプショニングシステムよりも多くの関連するキャプションを生成することができるかどうかを評価するために使用されてもよい。これらの比較の結果が下記の表１および表２に示される。
【００７２】
【表１】
2018124969.tif 000003
【００７３】
表１に示されたように、共同モデルの例示的な実装形態は、従来技術のビデオ要約システムと比べて、精度およびリ再現度の尺度であるＦスコアにおいて３％の改善をもたらした。
【００７４】
【表２】
2018124969.tif 000004
【００７５】
表２に示されたように、共同モデルの例示的な実装形態は、両方ともグラウンドトゥルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）キャプションに対する関連性を反映する、ＢＬＥＵ＠４とＭＥＴＥＯＲの両方の尺度において測定されたように、従来技術のビデオ要約システムを超える改善をもたらした。
【００７６】
例示的な環境
【００７７】
図８は、いくつかの例示的な実装形態における使用に適した例示的なコンピューティングデバイス８０５およびメディア記録デバイス１０を有する例示的な環境８００を示す。メディア記録デバイス１０は、ビデオカメラ、ウェブカメラ、監視カメラ、または当業者には明らかであり得る任意の他のビデオキャプチャデバイスなどの、ビデオ記録デバイスであり得る。メディア記録デバイス１０はまた、ビデオレコーダ、オーディオレコーダに接続されたマイクロフォン、または当業者には明らかであり得る任意の他のオーディオ記録デバイスなどの、オーディオ記録デバイスであってもよい。メディア記録デバイス１０はまた、当業者には明らかであり得る任意の他のメディアキャプチャデバイスであってもよい。
【００７８】
コンピューティング環境８００内のコンピューティングデバイス８０５は、１つ以上の処理ユニット、コア、もしくはプロセッサ８１０、メモリ８１５（たとえば、ＲＡＭ、ＲＯＭおよび／もしくはこれに類するもの）、内部ストレージ８２０（たとえば、磁気ストレージ、光ストレージ、半導体ストレージ、および／もしくは有機ストレージ）、ならびに／またはＩ／Ｏインターフェース８２５を含むことができ、それらのうちのいずれも、情報を通信するための通信機構もしくはバス８３０上で結合されるか、またはコンピューティングデバイス８０５に組み込まれてもよい。
【００７９】
コンピューティングデバイス８０５は、入力／ユーザインターフェース８３５および出力デバイス／インターフェース８４０に通信可能に結合され得る。入力／ユーザインターフェース８３５および出力デバイス／インターフェース８４０のうちのいずれか１つまたは両方は、有線またはワイヤレスのインターフェースであり得るし、着脱可能であり得る。入力／ユーザインターフェース８３５は、物理または仮想の任意のデバイス、構成要素、センサ、またはインターフェースを含んでもよく、それらは、入力（たとえば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、動きセンサ、光学リーダー、など）を提供するために使用され得る。出力デバイス／インターフェース８４０は、ディスプレイ、テレビジョン、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的な実装形態では、入力／ユーザインターフェース８３５および出力デバイス／インターフェース８４０は、コンピューティングデバイス８０５に組み込まれるか、または物理的に結合され得る。他の例示的な実装形態では、他のコンピューティングデバイスが、コンピューティングデバイス８０５用の入力／ユーザインターフェース８３５および出力デバイス／インターフェース８４０として機能するか、またはそれらの機能を提供してもよい。
【００８０】
コンピューティングデバイス８０５の例には、限定はしないが、高度モバイルデバイス（たとえば、スマートフォン、車両および他の機械内のデバイス、人間および動物によって運ばれるデバイスなど）、モバイルデバイス（たとえば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビジョン、ラジオなど）、ならびに移動用に設計されていないデバイス（たとえば、デスクトップコンピュータ、サーバデバイス、他のコンピュータ、情報キオスク、１つまたは複数のプロセッサが組み込まれている、および／または結合されているテレビジョン、ラジオなど）が含まれ得る。
【００８１】
コンピューティングデバイス８０５は、外部ストレージ８４５、メディア記録デバイス１０、ならびに、ネットワーク８５０であって、任意の数のネットワーク化された構成要素、デバイス、および同じまたは異なる構成の１つ以上のコンピューティングデバイスを含むシステムと通信するためのネットワーク８５０に、（たとえば、Ｉ／Ｏインターフェース８２５を介して）通信可能に結合され得る。コンピューティングデバイス８０５または任意の接続されたコンピューティングデバイスは、サーバ、クライアント、シンサーバ（ｔｈｉｎ  ｓｅｒｖｅｒ）、汎用機械、専用機械、またはその他の装置として機能するか、それらのサービスを提供するか、またはそのように呼ばれ得る。
【００８２】
Ｉ／Ｏインターフェース８２５には、限定はしないが、少なくともコンピューティング環境８００内のすべての接続された構成要素、デバイス、およびネットワークとの間で情報を通信するための、任意の通信またはＩ／Ｏのプロトコルまたは規格（たとえば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラーネットワークプロトコルなど）を使用する有線インターフェースおよび／またはワイヤレスインターフェースが含まれ得る。ネットワーク８５０は、任意のネットワークまたはネットワーク（たとえば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）の組合せであり得る。
【００８３】
コンピューティングデバイス８０５は、一時的媒体および非一時的媒体を含む、コンピュータ使用可能媒体またはコンピュータ可読媒体を使用すること、および／または使用して通信することができる。一時的媒体には、伝送媒体（たとえば、メタルケーブル、光ファイバ）、信号、搬送波などが含まれる。非一時的媒体には、磁気媒体（たとえば、ディスクおよびテープ）、光学媒体（たとえば、ＣＤ  ＲＯＭ、デジタルビデオディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、半導体媒体（たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、半導体ストレージ）、ならびに他の非一時的なストレージまたはメモリが含まれる。
【００８４】
コンピューティングデバイス８０５は、いくつかの例示的なコンピューティング実施形態において、技法、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に記憶され、非一時的媒体から取り出され得る。実行可能命令は、任意のプログラミング言語、スクリプト言語、および機械語（たとえば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１つまたは複数が起源であり得る。
【００８５】
プロセッサ８１０は、ネイティブ環境または仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット８５５と、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット８６０と、入力ユニット８６５と、出力ユニット８７０と、メディアセグメント化ユニット８７５と、採点および要約ユニット８８０と、セグメント選択ユニット８８５と、キャプション生成器ユニット８９０と、様々なユニットが互いに、ＯＳと、他のアプリケーション（図示せず）と通信するためのユニット間通信機構８９５とを含む、１つまたは複数のアプリケーションを配置することができる。たとえば、メディアセグメント化ユニット８７５、採点および要約ユニット８８０、セグメント選択ユニット８８５、キャプション生成器ユニット８９０は、図１〜図３に示された１つまたは複数のプロセスを実装してもよい。記載されたユニットおよび要素は、設計、機能、構成、および実装において変更され得るし、提供された説明に限定されない。
【００８６】
いくつかの例示的な実装形態では、情報または実行命令がＡＰＩユニット８６０によって受信されると、それは、１つまたは複数の他のユニット（たとえば、論理ユニット８５５、入力ユニット８６５、出力ユニット８７０、メディアセグメント化ユニット８７５、採点および要約ユニット８８０、セグメント選択ユニット８８５、キャプション生成器ユニット８９０）に通信されてもよい。たとえば、メディアファイルが入力ユニット８６５を介してメディア記録デバイス１０から受信されると、メディアセグメント化ユニット８７５は、そのメディアファイルをセグメントに分割してもよい。さらに、採点および要約ユニット８８０は、各セグメントを分析して重要度スコアを決定し、セグメントコンテンツを要約してもよい。加えて、採点および要約ユニット８８０が重要度スコアを計算した後、セグメント選択ユニット８８５は、キャプションを生成するために１つまたは複数のセグメントを選択してもよく、キャプション生成器ユニット８９０は、出力ユニット８７０を使用して出力され得る、選択されたセグメント用のキャプションを生成してもよい。
【００８７】
場合によっては、論理ユニット８５５は、上述されたいくつかの例示的な実装形態において、ユニットの間の情報フローを制御し、ＡＰＩユニット８６０、入力ユニット８６５、出力ユニット８７０、メディアセグメント化ユニット８７５、採点および要約ユニット８８０、セグメント選択ユニット８８５、キャプション生成器ユニット８９０によって提供されるサービスを指示するように構成されてもよい。たとえば、１つまたは複数のプロセスまたは実装形態のフローは、論理ユニット８５５単独により、またはＡＰＩユニット８６０と連携して制御されてもよい。
【００８８】
いくつかの例示的な実装形態が表示および記載されたが、これらの例示的な実装形態は、本明細書に記載された主題をこの分野に精通している人々に伝達するために提供される。本明細書に記載された主題は、記載された例示的な実装形態に限定されることなく、様々な形態で実装される場合があることを理解されたい。本明細書に記載された主題は、それらの具体的に定義または記載された物事なしに、または記載されていない他のもしくは異なる要素もしくは物事とともに実践され得る。添付の特許請求の範囲およびそれらの均等物に定義されたように、本明細書に記載された主題から逸脱することなく、これらの例示的な実装形態において変更が行われる場合があることを、当業者なら理解されよう。
【図１】
2018124969.tif 000005
【図２】
2018124969.tif 000006
【図３】
2018124969.tif 000007
【図４】
2018124969.tif 000008
【図５】
2018124969.tif 000009
【図６】
2018124969.tif 000010
【図７】
2018124969.tif 000011
【図８】
2018124969.tif 000012