(57)【要約】単語シーケンスを生成するシステムは、命令を記憶するメモリ及び１つ以上の記憶デバイスと接続する１つ以上のプロセッサを備え、この命令により、第１の入力ベクトル及び第２の入力ベクトルを受信することと、第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、第１の重みのセット及び第２の重みのセットを推定することと、第１の重みのセット及び第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、第２のコンテンツベクトルを計算することと、第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、第２のコンテンツベクトルを、所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、モーダルアテンション重みのセットを推定することと、モーダルアテンション重みのセット並びに第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルから所定の次元を有する重み付きコンテンツベクトルを生成することと、シーケンス生成器を用いて予測単語を生成することとを含む動作が引き起こされる。
2019535063.tif 000002
【特許請求の範囲】
【請求項１】
マルチモーダル入力ベクトルから単語シーケンスを生成するシステムであって、
命令を記憶するメモリ及び１つ以上の記憶デバイスと接続する１つ以上のプロセッサであって、前記命令は、該１つ以上のプロセッサによって実行されると、
第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、
それぞれ前記第１の入力及び前記第２の入力から、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、
それぞれ前記第１の特徴ベクトル及び前記第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、
前記第１の重みのセット及び前記第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、前記第２の重みのセット及び前記第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、
前記第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、前記第２のコンテンツベクトルを、前記所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、
前記プリステップコンテキストベクトル並びに前記第１のコンテンツベクトル及び前記第２のコンテンツベクトル又は前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、
前記モーダルアテンション重みのセット並びに前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルから前記所定の次元を有する重み付きコンテンツベクトルを生成することと、
前記重み付きコンテンツベクトルから前記単語シーケンスを生成するために前記シーケンス生成器を用いて予測単語を生成することと、
を含む動作を、該１つ以上のプロセッサに実行させるように動作可能であるもの、
を備える、システム。
【請求項２】
前記第１のシーケンス間隔及び前記第２のシーケンス間隔は、同一の間隔である、請求項１に記載のシステム。
【請求項３】
前記第１の入力ベクトル及び前記第２の入力ベクトルは、異なるモダリティである、請求項１に記載のシステム。
【請求項４】
前記動作は、
前記予測単語を前記メモリ又は前記１つ以上の記憶デバイスに蓄積して、前記単語シーケンスを生成すること、
を更に含む、請求項１に記載のシステム。
【請求項５】
前記蓄積することは、終了ラベルが受信されるまで継続される、請求項４に記載のシステム。
【請求項６】
前記動作は、
前記シーケンス生成器から生成された前記予測単語を送信すること、
を更に含む、請求項１に記載のシステム。
【請求項７】
前記第１の特徴抽出器及び前記第２の特徴抽出器は、画像又はビデオ分類タスクについてトレーニングされた事前トレーニング済みの畳み込みニューラルネットワーク（ＣＮＮ）である、請求項１に記載のシステム。
【請求項８】
前記特徴抽出器は、長期短期記憶（ＬＳＴＭ）ネットワークである、請求項１に記載のシステム。
【請求項９】
前記重み付きコンテンツベクトル及び前記プリステップコンテキストベクトルから与えられる全てのあり得る単語内で、最高確率を有する前記予測単語が求められる、請求項１に記載のシステム。
【請求項１０】
前記シーケンス生成器は、長期短期メモリ（ＬＳＴＭ）ネットワークを利用する、請求項１に記載のシステム。
【請求項１１】
前記第１の入力ベクトルは、第１の入力／出力（Ｉ／Ｏ）インターフェースを介して受信されるとともに、前記第２の入力ベクトルは、第２のＩ／Ｏインターフェースを介して受信される、請求項１に記載のシステム。
【請求項１２】
実行時に、
第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、
それぞれ前記第１の入力及び前記第２の入力から、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、
それぞれ前記第１の特徴ベクトル及び前記第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、
前記第１の重みのセット及び前記第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、前記第２の重みのセット及び前記第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、
前記第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、前記第２のコンテンツベクトルを、前記所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、
前記プリステップコンテキストベクトル並びに前記第１のコンテンツベクトル及び前記第２のコンテンツベクトル又は前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、
前記モーダルアテンション重みのセット並びに前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルから前記所定の次元を有する重み付きコンテンツベクトルを生成することと、
前記重み付きコンテンツベクトルから単語シーケンスを生成するために前記シーケンス生成器を用いて予測単語を生成することと、
を含む動作を、メモリと接続する１つ以上のプロセッサに実行させる、前記１つ以上のプロセッサによって実行可能である命令を含むソフトウェアを記憶する非一時的コンピューター可読媒体。
【請求項１３】
前記第１のシーケンス間隔及び前記第２のシーケンス間隔は、同一の間隔である、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１４】
前記第１の入力ベクトル及び前記第２の入力ベクトルは、異なるモダリティである、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１５】
前記動作は、
前記予測単語を前記メモリ又は前記１つ以上の記憶デバイスに蓄積して、前記単語シーケンスを生成すること、
を更に含む、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１６】
前記蓄積することは、終了ラベルが受信されるまで継続される、請求項１５に記載の非一時的コンピューター可読媒体。
【請求項１７】
前記動作は、
前記シーケンス生成器から生成された前記予測単語を送信すること、
を更に含む、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１８】
前記第１の特徴抽出器及び前記第２の特徴抽出器は、画像又はビデオ分類６タスクについてトレーニングされた事前トレーニング済みの畳み込みニューラルネットワーク（ＣＮＮ）である、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１９】
マルチモーダル入力から単語シーケンスを生成する方法であって、
第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、
それぞれ前記第１の入力及び前記第２の入力から、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、
それぞれ前記第１の特徴ベクトル及び前記第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、
前記第１の重みのセット及び前記第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、前記第２の重みのセット及び前記第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、
前記第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、前記第２のコンテンツベクトルを、前記所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、
前記プリステップコンテキストベクトル並びに前記第１のコンテンツベクトル及び前記第２のコンテンツベクトル又は前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、
前記モーダルアテンション重みのセット並びに前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルから前記所定の次元を有する重み付きコンテンツベクトルを生成することと、
前記重み付きコンテンツベクトルから前記単語シーケンスを生成するために前記シーケンス生成器を用いて予測単語を生成することと、
を含む、方法。
【請求項２０】
前記第１のシーケンス間隔及び前記第２のシーケンス間隔は、同一の間隔である、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、マルチモーダルデータを記述する方法及びシステムに関し、より具体的には、ビデオ記述のための方法及びシステムに関する。
【背景技術】
【０００２】
ビデオキャプショニングとして知られる自動ビデオ記述は、入力ビデオを説明する自然言語記述（例えば、センテンス）の自動生成を指す。ビデオ記述は、ビデオ検索、ホームムービー又はオンラインでアップロードされたビデオクリップの自動記述、視覚障害者のためのビデオ記述、監視システムの警告生成及び人間と機械との間の知識共有のためのシーン理解を含む、広範な用途とすることができる。
【０００３】
ビデオ記述システムは、何らかのオブジェクトを表す画像特徴、何らかのアクションを表すモーション特徴、及び何らかのイベントを示すオーディオ特徴等のマルチモーダル特徴である場合がある、ビデオデータからの顕著な特徴を抽出し、記述内の単語がこれらの抽出された特徴に関連するとともに自然言語として適切に順序付けられるように、イベントを説明する記述を生成する。
【０００４】
ビデオ記述における１つの本質的な問題は、ビデオ特徴のシーケンスと記述内の単語のシーケンスとが同期されていないことである。事実、オブジェクト及びアクションは、センテンス内で現れる順序とは異なる順序でビデオ内に現れる場合がある。或る事物を記述する正しい単語を選択する場合、そのオブジェクト又はアクションに直接対応する特徴のみが関連を有し、他の特徴は、乱れの源である。加えて、いくつかのイベントは、常に全ての特徴において観測されるというわけではない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、異なる特徴を内包的又は選択的に用いて記述の各単語を推測することで、高品質ビデオ記述を達成することが必要とされている。
【課題を解決するための手段】
【０００６】
本開示のいくつかの実施の形態は、複数のモダリティを含む入力データからコンテンツベクトルを生成することに基づいている。いくつかの場合、モダリティは、ビデオ信号に含まれるオーディオ信号、ビデオ信号（画像信号）及びモーション信号とすることができる。
【０００７】
本開示は、複数のモダリティを含む入力データからコンテンツベクトルを生成するマルチモーダルフュージョンシステムに基づいている。いくつかの場合、マルチモーダルフュージョンシステムは、画像（ビデオ）信号、モーション信号及びオーディオ信号を含む入力信号を受信し、入力信号に関連したイベントを説明する記述を生成する。
【０００８】
本開示の実施の形態によれば、マルチモーダル入力ベクトルから単語シーケンスを生成するシステムは、１つ以上のプロセッサと、命令を記憶する１つ以上のストレージデバイスとを備え、この命令は、１つ以上のプロセッサによって実行されると、第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、それぞれ第１の入力及び第２の入力から、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、それぞれ第１の特徴ベクトル及び第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、第１の重みのセット及び第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、第２の重みのセット及び第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、第２のコンテンツベクトルを、所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、プリステップコンテキストベクトル並びに第１のコンテンツベクトル及び第２のコンテンツベクトル又は第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、モーダルアテンション重みのセット並びに第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルから所定の次元を有する重み付きコンテンツベクトルを生成することと、重み付きコンテンツベクトルから単語シーケンスを生成するためにシーケンス生成器を用いて予測単語を生成することとを含む動作を、１つ以上のプロセッサに実行させるように動作可能である。
【０００９】
さらに、本開示のいくつかの実施の形態は、実行時に、動作を１つ以上のプロセッサに実行させる、１つ以上のプロセッサによって実行可能である命令を含むソフトウェアを記憶する非一時的コンピューター可読媒体を提供する。動作は、第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、それぞれ第１の入力及び第２の入力から、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、それぞれ第１の特徴ベクトル及び第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、第１の重みのセット及び第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、第２の重みのセット及び第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、第２のコンテンツベクトルを、所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、プリステップコンテキストベクトル並びに第１のコンテンツベクトル及び第２のコンテンツベクトル又は第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、モーダルアテンション重みのセット並びに第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルから所定の次元を有する重み付きコンテンツベクトルを生成することと、重み付きコンテンツベクトルから単語シーケンスを生成するためにシーケンス生成器を用いて予測単語を生成することとを含む。
【００１０】
本開示の別の実施の形態によれば、マルチモーダル入力ベクトルからマルチモーダル入力ベクトルから単語シーケンスを生成する方法は、第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、それぞれ第１の入力及び第２の入力から、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、それぞれ第１の特徴ベクトル及び第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、第１の重みのセット及び第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、第２の重みのセット及び第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、第２のコンテンツベクトルを、所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、プリ−ステップコンテキストベクトル並びに第１のコンテンツベクトル及び第２のコンテンツベクトル又は第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、モーダルアテンション重みのセット並びに第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルから所定の次元を有する重み付きコンテンツベクトルを生成することと、重み付きコンテンツベクトルから単語シーケンスを生成するためにシーケンス生成器を用いて予測単語を生成することとを含む。
【００１１】
ここに開示されている実施の形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、その代わり、一般的に、ここに開示されている実施の形態の原理を示すことに強調が置かれている。
【図面の簡単な説明】
【００１２】
【図１】本開示のいくつかの実施の形態によるマルチモーダルフュージョンシステムを示すブロック図である。
【図２Ａ】本開示の実施の形態による単純マルチモーダル方法を示すブロック図である。
【図２Ｂ】本開示の実施の形態によるマルチモーダルアテンション方法を示すブロック図である。
【図３】本開示の実施の形態による、ＬＳＴＭベースの符号化器−復号器アーキテクチャの一例を示すブロック図である。
【図４】本開示の実施の形態による、ビデオからのアテンションベースセンテンス生成器の一例を示すブロック図である。
【図５】本開示の実施の形態による、ビデオからのアテンションベースセンテンス生成器の一拡張形態を示すブロック図である。
【図６】本開示の実施の形態による単純特徴フュージョン手法（単純マルチモーダル方法）を示す図である。
【図７】本開示の実施の形態による、センテンス生成器のアーキテクチャを示す図である。
【図８】従来の方法によって得られた性能結果と、本開示の実施の形態による、マルチモーダルアテンション方法によって得られた性能結果との比較を示す図である。
【図９Ａ】従来の方法によって得られた性能結果と、本開示の実施の形態による、マルチモーダルアテンション方法によって得られた性能結果との比較を示す図である。
【図９Ｂ】従来の方法によって得られた性能結果と、本開示の実施の形態による、マルチモーダルアテンション方法によって得られた性能結果との比較を示す図である。
【図９Ｃ】従来の方法によって得られた性能結果と、本開示の実施の形態による、マルチモーダルアテンション方法によって得られた性能結果との比較を示す図である。
【図９Ｄ】従来の方法によって得られた性能結果と、本開示の実施の形態による、マルチモーダルアテンション方法によって得られた性能結果との比較を示す図である。
【発明を実施するための形態】
【００１３】
上記で明らかにされた図面は、ここに開示されている実施の形態を記載しているが、この論述において言及されるように、他の実施の形態も意図されている。この開示は、限定ではなく代表例として例示の実施の形態を提示している。ここに開示されている実施の形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施の形態を当業者は考案することができる。
【００１４】
以下の説明は、例示的な実施の形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施の形態の以下の説明は１つ以上の例示的な実施の形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。
【００１５】
以下の説明では、実施の形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施の形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施の形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施の形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。
【００１６】
また、個々の実施の形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施の形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。
【００１７】
さらに、開示された主題の実施の形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。
【００１８】
本開示の実施の形態によれば、マルチモーダル入力ベクトルから単語シーケンスを生成するシステムは、動作可能である命令を記憶する１つ以上のメモリ及び１つ以上の記憶デバイスと接続する１つ以上のプロセッサを備える。命令が１つ以上のプロセッサによって実行されると、命令は、第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、それぞれ第１の入力及び第２の入力から、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、それぞれ第１の特徴ベクトル及び第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、第１の重み及び第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、第２の重み及び第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、第２のコンテンツベクトルを、所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、プリ−ステップコンテキストベクトル並びに第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、モーダルアテンション重みのセット並びに第１のコンテンツベクトル及び第２のコンテンツベクトルから所定の次元を有する重み付きコンテンツベクトルを生成することと、重み付きコンテンツベクトルから単語シーケンスを生成するためにシーケンス生成器を用いて予測単語を生成することとを含む動作を、１つ以上のプロセッサに実行させる。
【００１９】
この場合、第１のモーダルコンテンツベクトル、第２のモーダルコンテンツベクトル及び重み付きコンテンツベクトルは、同じ所定の次元を有する。これにより、システムがマルチモーダルフュージョンモデルを実行することが可能になる。換言すれば、同一の次元を有するように入力ベクトル及び重み付きコンテンツベクトルの次元を設計するか又は求めることによって、これらのベクトルは、同一の次元を有する同一のデータフォーマットの使用によって表現されるので、マルチモーダルフュージョンモデルのデータ処理において容易に取り扱うことができる。データ処理は、同一の次元を有するように変換されたデータを用いることによって単純化されるので、本開示の実施の形態によるマルチモーダルフュージョンモデル方法又はシステムにより、マルチモーダル入力ベクトルから単語シーケンスを生成するための中央処理装置の使用及び電力消費を低減することができる。
【００２０】
当然ながら、ベクトルの数は、システム設計の要件に従って所定のＮ個のベクトルに変更することができる。例えば、所定のＮが３に設定される場合、３つの入力ベクトルを、システムに含まれる入力／出力インターフェースを介して受信される画像データ、ビデオ信号及びオーディオ信号から得られる画像特徴、モーション特徴及びオーディオ特徴とすることができる。
【００２１】
いくつかの場合、第１のシーケンス間隔及び第２のシーケンス間隔を同一の間隔とすることができ、第１のベクトル及び第２のベクトルを異なるモダリティとすることができる。
【００２２】
図１は、本開示のいくつかの実施の形態によるマルチモーダルフュージョンシステム１００のブロック図を示している。マルチモーダルフュージョンシステム１００は、キーボード１１１及びポインティングデバイス／メディア１１２、マイクロフォン１１３と接続可能な入力／出力（Ｉ／Ｏ）インターフェースを有するヒューマンマシンインターフェース（ＨＭＩ）１１０、受信機１１４、送信機１１５、３Ｄセンサー１１６、全地球測位システム（ＧＰＳ）１１７、１つ以上のＩ／Ｏインターフェース１１８、プロセッサ１２０、記憶デバイス１３０、メモリ１４０、ローカルエリアネットワーク及びインターネットネットワーク（図示せず）を含むネットワーク１５５と接続可能なネットワークインターフェースコントローラー１５０（ＮＩＣ）、ディスプレイデバイス１６５に接続されたディスプレイインターフェース１６０、撮像デバイス１７５と接続可能な撮像インターフェース１７０、印刷デバイス１８５と接続可能なプリンターインターフェース１８０を備えることができる。Ｉ／Ｏインターフェースを有するＨＭＩ１１０は、アナログ／デジタル変換器及びデジタル／アナログ変換器を含むことができる。Ｉ／Ｏインターフェースを有するＨＭＩ１１０は、無線インターネット接続又は無線ローカルエリアネットワークを介して、複数の３Ｄ点群を構築することを可能にする、他の３Ｄ点群ディスプレイシステム又は他のコンピューターと通信することができる無線通信インターフェースを含む。３Ｄ点群システム１００は、電源１９０を備えることができる。電源１９０は、外部電源（図示せず）からＩ／Ｏインターフェース１１８を介して充電可能なバッテリーとすることができる。用途に応じて、電源１９０は、任意選択で、システム１００の外部に配置することができる。
【００２３】
ＨＭＩ及びＩ／Ｏインターフェース１１０及びＩ／Ｏインターフェース１１８は、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含む別のディスプレイデバイス（図示せず）に接続するように適応させることができる。
【００２４】
マルチモーダルフュージョンシステム１００は、ＮＩＣ１５０に接続したネットワーク１５５を介して発話データを含む電子テキスト／撮像文書１９５を受信することができる。記憶デバイス１３０は、シーケンス生成モデル１３１、特徴抽出モデル１３２及びマルチモーダルフュージョンモデル２００を含み、このシーケンス生成モデル１３１、特徴抽出モデル１３２及びマルチモーダルフュージョンモデル２００のアルゴリズムは、記憶装置１３０にプログラムコードデータとして記憶される。モデル１３１及び１３２及び２００のアルゴリズムは、コンピューター可読記録媒体（図示せず）に記憶することができ、プロセッサ１２０が、この媒体からアルゴリズムをロードすることによってモデル１３１及び１３２及び２００のアルゴリズムを実行することができるようになっている。さらに、ポインティングデバイス／メディア１１２は、コンピューター可読記録媒体上に記憶されたプログラムを読み出して実行するモジュールを含むことができる。
【００２５】
モデル１３１及び１３２及び２００のアルゴリズムの実行を開始するために、キーボード１１１、ポインティングデバイス／メディア１１２を用いて、又は無線ネットワーク若しくは他のコンピューター（図示せず）に接続したネットワーク１５５を介してシステム１００に命令を送信することができる。記憶装置１３０に記憶されたプリインストール済みの従来的な発話認識プログラムを用いて、マイクロフォン１１３によってユーザーの音響信号を受信することに応答して、モデル１３１及び１３２及び２００のアルゴリズムを開始することができる。さらに、システム１００は、ユーザーがシステム１００の動作を開始／停止するのを可能にするオン／オフスイッチ（図示せず）を備える。
【００２６】
ＨＭＩ及びＩ／Ｏインターフェース１１０は、アナログ／デジタル（Ａ／Ｄ）変換器、デジタル／アナログ（Ｄ／Ａ）変換器、及びネットワーク１５５に接続するための無線信号アンテナを備えることができる。さらに、１つ又は２つ以上のＩ／Ｏインターフェース１１８は、ケーブルテレビ（ＴＶ）ネットワーク又はＴＶ信号を受信する従来的なテレビ（ＴＶ）アンテナに接続可能とすることができる。インターフェース１１８を介して受信された信号は、デジタル画像及びオーディオ信号に変換することができ、これらは、プロセッサ１２０及びメモリ１４０と接続するモデル１３１及び１３２及び２００のアルゴリズムに従って処理することができ、それにより、ビデオスクリプトが生成されて、デジタル画像のピクチャフレームでディスプレイデバイス１６５上に表示される一方で、ＴＶ信号の音響の音がスピーカー１１９を介して出力されるようになっている。スピーカーは、システム１００に含めることもできるし、外部スピーカーをインターフェース１１０又はＩ／Ｏインターフェース１１８を介して接続することもできる。
【００２７】
プロセッサ１２０は、１つ以上のグラフィック処理ユニット（ＧＰＵ）を含む複数のプロセッサとすることができる。記憶装置１３０は、マイクロフォン１１３を介して得られる発話信号を認識することができる発話認識アルゴリズム（図示せず）を含むことができる。
【００２８】
マルチモーダルフュージョンシステムモジュール２００、シーケンス生成モデル１３１及び特徴抽出モデル１３２は、ニューラルネットワークによって形成することができる。
【００２９】
図２Ａは、本開示の実施の形態による単純マルチモーダル方法を示すブロック図である。単純マルチモーダル方法は、記憶装置１３０に記憶されたシーケンス生成モデル１３１、特徴抽出モデル１３２及びマルチモーダルフュージョンモデル２００のプログラムを実行するプロセッサ１２０によって実行することができる。シーケンス生成モデル１３１、特徴抽出モデル１３２及びマルチモーダルフュージョンモデル２００は、コンピューター可読記録媒体に記憶することができ、それにより、プロセッサ１２０がシーケンス生成モデル１３１、特徴抽出モデル１３２及びマルチモーダルフュージョンモデル２００のアルゴリズムをロードして実行すると、単純マルチモーダル方法を実行することができるようになっている。単純マルチモーダル方法は、シーケンス生成モデル１３１、特徴抽出モデル１３２及びマルチモーダルフュージョンモデル２００の組み合わせにおいて実行される。さらに、単純マルチモーダル方法は、特徴抽出器２１１、２２１及び２３１（特徴抽出器１〜Ｋ）、アテンション推定器２１２、２２２及び２３２（アテンション推定器１〜Ｋ）、重み付き和プロセッサ２１３、２２３及び２３３（重み付き和プロセッサ（計算器）１〜Ｋ）、特徴変換モジュール２１４、２２４及び２３４（特徴変換モジュール１〜Ｋ）、単純和プロセッサ（計算器）２４０並びにシーケンス生成器２５０を用いる。
【００３０】
図２Ｂは、本開示の実施の形態によるマルチモーダルアテンション方法を示すブロック図である。特徴抽出器１〜Ｋ、アテンション推定器１〜Ｋ、重み付き和プロセッサ１〜Ｋ、特徴変換モジュール１〜Ｋ及びシーケンス生成器２５０に加えて、マルチモーダルアテンション方法は、単純和プロセッサ２４０を用いる代わりに、モーダルアテンション推定器２５５及び重み付き和プロセッサ２４５を更に備える。マルチモーダルアテンション方法は、シーケンス生成モデル１３１、特徴抽出モデル１３２及びマルチモーダルフュージョンモデル２００の組み合わせにおいて実行される。双方の方法において、シーケンス生成モデル１３１は、シーケンス生成器２５０を提供するとともに、特徴抽出モデル１３２は、特徴抽出器１〜Ｋを提供する。さらに、特徴変換モジュール１〜Ｋ、モーダルアテンション推定器２５５並びに重み付き和プロセッサ１〜Ｋ及び重み付き和プロセッサ２４５は、マルチモーダルフュージョンモデル２００によって提供することができる。
【００３１】
Ｋ≧２でありかつモダリティのうちのいくつかは同じとすることができるようなＫ個のモダリティを含むマルチモーダルビデオデータが与えられると、そのデータについて特徴抽出器２１１、アテンション推定器２１２及び重み付き和プロセッサ２１３を用いて、モーダル−１データが固定次元コンテンツベクトルにコンバートされ、ここで、特徴抽出器２１１は、データから複数の特徴ベクトルを抽出し、アテンション推定器２１２は、抽出された特徴ベクトルごとに各重みを推定し、重み付き和プロセッサ２１３は、推定された重みを用いて、抽出された特徴ベクトルの重み付き和として計算されたコンテンツベクトルを出力する（生成する）。データについて特徴抽出器２２１、アテンション推定器２２２及び重み付き和プロセッサ２２３を用いて、モーダル−２データが固定次元コンテンツベクトルにコンバートされる。モーダル−Ｋデータまで、Ｋ個の固定次元コンテンツベクトルが得られ、ここで、特徴抽出器２３１、アテンション推定器２３２及び重み付き和プロセッサ２３３がモーダル−Ｋデータについて用いられる。モーダル−１データ、モーダル−２データ、…、モーダル−Ｋデータの各々は、或る間隔を有する時系列順、又は所定の時間間隔を有する他の所定の順序のシーケンスデータとすることができる。
【００３２】
次に、Ｋ個のコンテンツベクトルの各々は、各特徴変換モジュール２１４、２２４、及び２３４によってＮ次元ベクトルに変換（コンバート）され、Ｋ個の変換されたＮ次元ベクトルが得られ、ここで、Ｎは、事前に定義された正の整数である。
【００３３】
図２Ａの単純マルチモーダル方法では、Ｋ個の変換されたＮ次元ベクトルが加算されて単一のＮ次元コンテンツベクトルにされる一方で、図２Ｂのマルチモーダルアテンション方法では、ベクトルは、モーダルアテンション推定器２５５及び重み付き和プロセッサ２４５を用いて単一のＮ次元コンテンツベクトルにコンバートされる。ここで、モーダルアテンション推定器２５５は、変換されたＮ次元ベクトルごとに各重みを推定し、重み付き和プロセッサ２４５は、推定された重みを用いて、Ｋ個の変換されたＮ次元ベクトルの重み付き和として計算されたＮ次元コンテンツベクトルを出力する（生成する）。
【００３４】
シーケンス生成器２５０は、単一のＮ次元コンテンツベクトルを受信して、ビデオデータを記述する一センテンスのうちの一単語に対応する１つのラベルを予測する。次の単語を予測するにあたり、シーケンス生成器２５０は、アテンション重みを推定して適切なコンテンツベクトルを得るために、アテンション推定器２１２、２２２、２３２及びモーダルアテンション推定器２５５に、以前に生成された単語を表すベクトル等のセンテンスのコンテキスト情報を提供する。このベクトルは、プリ−ステップ（又はプリステップ）コンテキストベクトルと呼ぶことができる。
【００３５】
シーケンス生成器２５０は、センテンス開始トークン（start-of-sentence token）「＜ｓｏｓ＞」から始めて次の単語を予測して、「センテンス終了（end of sentence）」に対応する特別なシンボル「＜ｅｏｓ＞」が予測されるまで次の単語（予測単語）を反復的に予測することによって記述的な単数又は複数のセンテンスを生成する。換言すれば、シーケンス生成器２５０は、マルチモーダル入力ベクトルから単語シーケンスを生成する。いくつかの場合、マルチモーダル入力ベクトルは、ＨＭＩ及びＩ／Ｏインターフェース１１０又は１つ以上のＩ／Ｏインターフェース１１８等の異なる入力／出力インターフェースを介して受信することができる。
【００３６】
各生成プロセスにおいて、予測単語は、重み付きコンテンツベクトル及びプリステップコンテキストベクトルから与えられる全てのあり得る単語内で最高確率を有するように生成される。さらに、予測単語は、メモリ１４０、記憶デバイス１３０又は更なる記憶デバイス（図示せず）に蓄積して、単語シーケンスを生成することができ、この蓄積プロセスは、特別なシンボル（シーケンス終了）が受信されるまで継続することができる。システム１００は、シーケンス生成器２５０から生成された予測単語を、ＮＩＣ１５０並びにネットワーク１５５、ＨＭＩ及びＩ／Ｏインターフェース１１０又は１つ以上のＩ／Ｏインターフェース１１８を介して送信することができ、それにより、予測単語のデータを、他のコンピューター１９５又は他の出力デバイス（図示せず）上で用いることができるようになっている。
【００３７】
Ｋ個のコンテンツベクトルの各々が別個のモダリティデータから及び／又は別個の特徴抽出器を通じて到来する場合、Ｋ個の変換されたベクトルの重み付き和を用いるモダリティフュージョン又は特徴フュージョンにより、センテンスのコンテキスト情報に従って異なるモダリティ及び／又は異なる特徴に注目することによって各単語のより良好な予測が可能になる。したがって、このマルチモーダルアテンション方法は、異なるモダリティ又は特徴にわたってアテンション重みを用いて、異なる特徴を内包的又は選択的に利用することで、記述の各単語を推測することができる。
【００３８】
さらに、システム１００内のマルチモーダルフュージョンモデル２００は、データ分配モジュール（図示せず）を含み、このデータ分配モジュールは、Ｉ／Ｏインターフェース１１０又は１１８を介して複数の時系列データを受信し、この受信されたデータをモーダル−１データ、モーダル−２データ、…、モーダル−Ｋデータに分配し、各分配された時系列データを所定の単数又は複数の間隔に従って分割し、その後、モーダル−１データ、モーダル−２データ、…、モーダル−Ｋデータをそれぞれ特徴抽出器１〜Ｋに提供する。
【００３９】
いくつかの場合、複数の時系列データは、ビデオクリップ内に含まれるビデオ信号及びオーディオ信号とすることができる。ビデオクリップがモーダルデータについて用いられる場合、システム１００は、図２Ｂにおける特徴抽出器２１１、２２１及び２３１（セットＫ＝３）を用いる。ビデオクリップは、Ｉ／Ｏインターフェース１１０又は１１８を介してシステム１００内の特徴抽出器２１１、２２１及び２３１に提供される。特徴抽出器２１１、２２１及び２３１は、ビデオクリップからそれぞれ画像データ、オーディオデータ及びモーションデータを、モーダル−１データ、モーダル−２データ、モーダル−３（図２Ｂにおいて例えばＫ＝３）として抽出することができる。この場合、特徴抽出器２１１、２２１及び２３１は、ビデオクリップのデータストリームからそれぞれ第１の間隔、第２の間隔及び第３の間隔に従ってモーダル−１データ、モーダル−２データ、モーダル−３を受信する。
【００４０】
いくつかの場合、データ分配モジュールは、画像特徴、モーション特徴、又はオーディオ特徴を異なる時間間隔で捕捉することができる場合、それぞれ所定の異なる時間間隔で複数の時系列データを分割することができる。
【００４１】
符号化器−復号器ベースのセンテンス生成器
ビデオ記述に対する一手法は、シーケンスツーシーケンス（sequence-to-sequence）学習に基づくものとすることができる。入力シーケンス、すなわち画像シーケンスは、まず、固定次元セマンティックベクトルに符号化される。その後、このセマンティックベクトルから、出力シーケンス、すなわち単語シーケンスが生成される。この場合、符号化器及び復号器（又は生成器）の双方は、通常、長期短期記憶（ＬＳＴＭ：Long Short-Term Memory）ネットワークとしてモデル化される。
【００４２】
図３は、ＬＳＴＭベースの符号化器−復号器アーキテクチャの一例を示している。画像のシーケンスＸ＝ｘ１，ｘ２，…，ｘＬが与えられると、各画像は、まず、ＧｏｏｇＬｅＮｅｔ、ＶＧＧＮｅｔ、又はＣ３Ｄ等の画像又はビデオ分類タスクについて事前トレーニング済みの畳み込みニューラルネットワーク（ＣＮＮ）とすることができる特徴抽出器にフィードされる。各入力画像についてＣＮＮの全結合層の活性化ベクトルを抽出化することによって、画像特徴のシーケンスＸ’＝ｘ’１，ｘ’２，…，ｘ’Ｌが得られる。特徴ベクトルのシーケンスは、その後、ＬＳＴＭ符号化器にフィードされ、ＬＳＴＭの隠れ状態が以下によって得られる。
【００４３】
【数１】
2019535063.tif 000003
【００４４】
ここで、符号化器ネットワークλＥのＬＳＴＭ関数は、以下のように計算される。
【００４５】
【数２】
2019535063.tif 000004
【００４６】
ここで、σ（）は、要素単位シグモイド関数であり、ｉｔ、ｆｔ、ｔｏ及びｃｔは、それぞれ第ｔの入力ベクトルについての、入力ゲート、忘却ゲート、出力ゲート、及びセル活性化ベクトルである。重み行列Ｗｚｚ（λ）及びバイアスベクトルｂＺ（λ）が、下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される。例えば、Ｗｈｉは、隠れ入力ゲート行列であり、Ｗｘｏは、入力−出力ゲート行列である。この手順において、覗き穴結合（peephole connections）は用いられない。
【００４７】
復号器は、センテンス開始トークン「＜ｓｏｓ＞」から開始して、センテンス終了トークン「＜ｅｏｓ＞」を予測するまで、反復的に次の単語を予測する。センテンス開始トークンは、開始ラベルと呼ぶことができ、センテンス終了トークンは、終了ラベルと呼ぶことができる。
【００４８】
復号器状態ｓｉ−１が与えられると、復号器ネットワークλＤは、次単語確率分布を、
【００４９】
【数３】
2019535063.tif 000005
【００５０】
と推測し、最高確率を有する単語ｙｉを、
【００５１】
【数４】
2019535063.tif 000006
【００５２】
に従って生成する。ここで、Ｖは、語彙を示している。復号器状態は、復号器のＬＳＴＭネットワークを用いて以下のように更新され、
【００５３】
【数５】
2019535063.tif 000007
【００５４】
ここで、ｙ’ｉは、ｙｍの単語埋め込みベクトルであり、初期状態ｓ０は、図３におけるような最終符号化器状態ｈＬ及びｙ’０＝Ｅｍｂｅｄ（＜ｓｏｓ＞）から得られる。
【００５５】
トレーニングフェーズにおいて、参照としてＹ＝ｙ１，…，ｙＭが与えられる。しかしながら、テストフェーズにおいて、最良の単語シーケンスを、以下に基づいて発見する必要がある。
【００５６】
【数６】
2019535063.tif 000008
【００５７】
したがって、テストフェーズにおけるビームサーチを用いて、各第ｍのステップにおける最高累積確率を有する複数の状態及び仮説を保持し、センテンス終了トークンに到達したこれらの仮説から最良の仮説を選択することができる。
【００５８】
アテンションベースセンテンス生成器
ビデオ記述に対する別の手法は、アテンションベースシーケンス生成器とすることができ、これは、ネットワークが、現在のコンテキストに依拠して特定の時間又は空間領域から特徴を強調することを可能にし、次の単語がより正確に予測されることを可能にする。上述した基本的な手法と比較して、アテンションベース生成器は、入力コンテキスト及び出力コンテキストに従って入力特徴を選択的に利用することができる。アテンションモデルの有効性は、機械翻訳等の多くのタスクにおいて示されている。
【００５９】
図４は、ビデオからのアテンションベースセンテンス生成器の一例を示すブロック図であり、このアテンションベースセンテンス生成器は、入力画像シーケンスに対する時間アテンションメカニズムを有する。入力画像シーケンスは、所定の時間間隔を有する時系列順とすることができる。特徴ベクトルの入力シーケンスは、１つ以上の特徴抽出器を用いて得られる。この場合、アテンションベース生成器は、双方向ＬＳＴＭ（ＢＬＳＴＭ）又はゲート付き再帰型ユニット（ＧＲＵ：Gated Recurrent Units）に基づく符号化器を利用して、図５におけるように特徴ベクトルシーケンスを更にコンバートし、各ベクトルがそのコンテキスト情報を含むようにすることができる。
【００６０】
しかしながら、ビデオ記述タスクにおいて、次元を削減するために、ＣＮＮベース特徴を直接用いることもできるし、更に１つフィードフォワード層を追加することもできる。
【００６１】
図５におけるように特徴抽出に後続してＢＬＳＴＭ符号化器が用いられる場合、活性化ベクトル（すなわち、符号化器状態）は、以下のように得ることができ、
【００６２】
【数７】
2019535063.tif 000009
【００６３】
ここで、ｈｔ（ｆ）及びｈｔ（ｂ）は、前方隠れ活性化ベクトル及び後方隠れ活性化ベクトル、すなわち、
【００６４】
【数８】
2019535063.tif 000010
【００６５】
である。
【００６６】
フィードフォワード層が用いられる場合、活性化ベクトルは以下のように計算され、
【００６７】
【数９】
2019535063.tif 000011
【００６８】
ここで、Ｗｐは、重み行列であり、ｂｐは、バイアスベクトルである。さらに、ＣＮＮ特徴が直接用いられる場合、ｈｔ＝ｘｔであることが仮定される。
【００６９】
入力シーケンス全体にわたって隠れ活性化ベクトルにアテンション重みを用いることによってアテンションメカニズムが実現される。これらの重みにより、ネットワークが、次の出力単語を予測するのに最も重要な時間ステップから特徴を強調することが可能になる。
【００７０】
第ｉの出力単語及び第ｔの入力特徴ベクトルとの間のアテンション重みをαｉ，ｔとする。第ｉの出力について、隠れユニット活性化ベクトルの重み付き和として入力シーケンスの関連コンテンツを表すベクトルが得られる。すなわち、
【００７１】
【数１０】
2019535063.tif 000012
【００７２】
である。
【００７３】
復号器ネットワークは、コンテンツベクトルｃｉを有する出力ラベルシーケンスを生成するアテンションベース再帰型シーケンス生成器（ＡＲＳＧ：Attention-based Recurrent Sequence Generator）である。ネットワークは、ＬＳＴＭ復号器ネットワークも有し、ここで、復号器状態は、式（９）と同様に更新することができる。その場合、出力ラベル確率は、以下のように計算され、
【００７４】
【数１１】
2019535063.tif 000013
【００７５】
単語ｙｉは、以下に従って生成される。
【００７６】
【数１２】
2019535063.tif 000014
【００７７】
基本的な符号化器−復号器の式（７）及び式（８）とは対照的に、確率分布は、コンテンツベクトルｃｉについて条件を設けられ、このことにより、各後続の単語を予測するのに最も関連した特定の特徴が強調される。ソフトマックス層の前に、更に１つフィードフォワード層を挿入することができる。この場合、確率は、以下のように計算される。
【００７８】
【数１３】
2019535063.tif 000015
【００７９】
及び、
【００８０】
【数１４】
2019535063.tif 000016
【００８１】
アテンション重みは、以下のように計算することができ、
【００８２】
【数１５】
2019535063.tif 000017
【００８３】
及び、
【００８４】
【数１６】
2019535063.tif 000018
【００８５】
ここで、ＷＡ及びＶＡは、行列であり、ｗＡ及びｂＡは、ベクトルであり、ｅｉ，ｔは、スカラーである。
【００８６】
アテンションベースマルチモーダルフュージョン
本開示の実施の形態は、複数のモダリティのフュージョンを取り扱うのにアテンションモデルを提供し、ここで、各モダリティは、それ自体の特徴ベクトルのシーケンスを有する。ビデオ記述について、画像特徴、モーション特徴、及びオーディオ特徴等のマルチモーダル入力が利用可能である。さらに、異なる特徴抽出方法からの複数の特徴の組み合わせが、多くの場合に記述精度を改善するのに効果的である。
【００８７】
いくつかの場合、ＶＧＧＮｅｔ（画像特徴）からのコンテンツベクトル及びＣ３Ｄ（時空間モーション特徴）からのコンテンツベクトルを組み合わせて、次の単語を予測するのに用いられる１つのベクトルにすることができる。これは、フュージョン層において実行することができる。モダリティの数、すなわち入力特徴ベクトルのシーケンスの数をＫとすると、以下の活性化ベクトルが、式（１９）の代わりに計算され、
【００８８】
【数１７】
2019535063.tif 000019
【００８９】
ここで、
【００９０】
【数１８】
2019535063.tif 000020
【００９１】
であり、ｃｋ，ｉは、第ｋの特徴抽出器又はモダリティに対応する第ｋのコンテンツベクトルである。
【００９２】
図６は、Ｋ＝２を仮定した単純特徴フュージョン手法（単純マルチモーダル方法）を示しており、ここで、コンテンツベクトルは、それぞれ個々の入力シーケンスｘ１１，…，ｘ１Ｌ及びｘ２１’，…，ｘ２Ｌ’についてアテンション重みを用いて得られる。しかしながら、これらのコンテンツベクトルは、センテンス生成ステップにおいて共通して用いられる重み行列Ｗｃ１及びＷｃ２と組み合わされる。したがって、各特徴タイプ（又は１つのモダリティ）からのコンテンツベクトルは、復号器状態にかかわらず、常に同じ重みを用いて融合される。このアーキテクチャは、（各モダリティの）各特徴タイプの関連重みがコンテキストに基づいて変化することを可能にするために、複数のタイプの特徴を効果的に利用する能力を導入することができる。
【００９３】
本開示の実施の形態によれば、アテンションメカニズムを、マルチモーダルフュージョンに拡張することができる。現在の復号器状態に基づいてマルチモーダルアテンションメカニズムを用いて、復号器ネットワークは、入力の特定のモダリティ（又は特定の特徴タイプ）に選択的に注目して、次の単語を予測することができる。本開示の実施の形態によるアテンションベース特徴フュージョンは、
【００９４】
【数１９】
2019535063.tif 000021
【００９５】
を用いて実行することができ、ここで、
【００９６】
【数２０】
2019535063.tif 000022
【００９７】
である。
【００９８】
時間アテンションメカニズムと同様にしてマルチモーダルアテンション重みβｋ，ｉが得られる。すなわち、
【００９９】
【数２１】
2019535063.tif 000023
【０１００】
であり、ここで、
【０１０１】
【数２２】
2019535063.tif 000024
【０１０２】
であり、ここで、ＷＢ及びＶＢｋは、行列であり、ｗＢ及びｂＢｋは、ベクトルであり、ｖｋ，ｉは、スカラーである。
【０１０３】
図７は、マルチモーダルアテンションメカニズムを含む、本開示の実施の形態による、センテンス生成器のアーキテクチャを示している。図６における単純マルチモーダルフュージョン方法とは異なり、図７において、特徴レベルアテンション重みは、復号器状態及びコンテンツベクトルに従って変化することができ、これにより、記述における各後続の単語を予測するときに、復号器ネットワークが特徴及び／又はモダリティの異なるセットに注目することが可能になる。
【０１０４】
評価のためのデータセット
本開示の一実施の形態による特徴フュージョンを論じるために、Ｙｏｕｔｕｂｅ（登録商標）２Ｔｅｘｔビデオコーパスを用いたいくつかの実験結果が以下に記載される。このコーパスは、自動ビデオ記述生成モデルをトレーニング及び評価するのに良く適している。このデータセットは、複数の自然言語記述を有する１９７０個のビデオクリップを有する。各ビデオクリップは、異なるＭｅｃｈａｎｉｃａｌ  Ｔｕｒｋｅｒｓによって提供される複数の並列文でアノテートされている。計８０８３９文のセンテンスがあり、１クリップあたり約４１文のアノテートされたセンテンスを有する。各センテンスは、平均して約８個の単語を含む。全てのセンテンス内に含まれる単語により、１３０１０の一意の語彙エントリからなる語彙が構成される。このデータセットは、オープンドメインであるとともに、スポーツ、動物及び音楽を含む幅広いトピックをカバーしている。このデータセットは、１２００個のビデオクリップのトレーニングセット、１００個のクリップのバリデーションセット、及び残りの６７０個のクリップからなるテストセットに分割される。
【０１０５】
ビデオ前処理
各ビデオクリップから、毎秒２４フレームからなり、かつ２２４×２２４ピクセル画像に再スケーリングされた画像データが抽出される。画像特徴を抽出するために、事前トレーニング済みのＧｏｏｇＬｅＮｅｔ  ＣＮＮ（M. Lin, Q. Chen, and S. Yan. Network in network. CoRR, abs/1312.4400, 2013.）が用いられて、Ｃａｆｆｅにおける一般的な実施（Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell. Caffe: Convolutional architecture for fast feature embedding. arXiv preprint arXiv:1408.5093, 2014.）の援助を得て固定長表現が抽出される。特徴は、隠れ層ｐｏｏｌ５／７×７  ｓ１から抽出される。各ビデオクリップから１６フレーム毎に１つのフレームを選び出し、これらのフレームをＣＮＮにフィードして１０２４次元フレーム単位特徴ベクトルを得る。
【０１０６】
また、本発明者らは、ＩｍａｇｅＮｅｔデータセット（A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 25, pages 1097-1105. Curran Associates, Inc., 2012.）上で事前トレーニングされたＶＧＧＮｅｔ（K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. CoRR, abs/1409.1556, 2014.）も用いる。画像特徴を得るために全結合層ｆｃ７の隠れ活性化ベクトルが用いられ、これにより、４０９６次元特徴ベクトルのシーケンスが生成される。さらに、本発明者らは、モーション及び短期時空間アクティビティをモデル化するために、事前トレーニング済みのＣ３Ｄを用いる（D. Tran, L. D. Bourdev, R. Fergus, L. Torresani, and M. Paluri. Learning spatiotemporal features with 3d convolutional networks. In 2015 IEEE International Conference on Computer Vision, ICCV 2015, Santiago, Chile, December 7-13, 2015, pages 4489-4497, 2015.）（これは、Ｓｐｏｒｔｓ−１Ｍデータセット（A. Karpathy, G. Toderici, S. Shetty, T. Leung, R. Sukthankar, and L. Fei-Fei. Large-scale video classification with convolutional neural networks. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages1725-1732, 2014.）上でトレーニングされた）。Ｃ３Ｄネットワークは、ビデオ内のシーケンスフレームを読み出し、１６フレーム毎に固定長特徴ベクトルを出力する。４０９６次元特徴を有する全結合層ｆｃ６−１から活性化ベクトルを抽出した。
【０１０７】
オーディオ処理
本開示の実施の形態によるアテンションベース特徴フュージョン方法において用いるためにオーディオ特徴が組み込まれる。ＹｏｕＴｕｂｅ２Ｔｅｘｔコーパスは、オーディオトラックを含まないので、元のビデオのＵＲＬを介してオーディオデータを抽出した。ビデオのうちの一部は現在ではＹｏｕＴｕｂｅ上で視聴可能ではなかったものの、本発明者らは、コーパスのうちの８４％をカバーする、１６４９個のビデオクリップについてオーディオデータを収集することができた。４４ｋＨｚでサンプリングされたオーディオデータが１６ｋＨｚでダウンサンプリングされ、各々２５ｍｓのシフトを有する５０ｍｓ時間ウィンドウからメル周波数ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstral Coefficients）が抽出される。その後、１３次元ＭＦＣＣ特徴のシーケンスが２０個の連続フレームのグループ毎から１つのベクトルに連結され、これにより、２６０次元ベクトルのシーケンスがもたらされる。トレーニングセット内の平均ベクトル及び分散ベクトルが０及び１であるように、ＭＦＣＣ特徴が正規化される。バリデーションセット及びテストセットも、トレーニングセットの元の平均ベクトル及び分散ベクトルを用いて調整される。画像特徴と異なり、本発明者らは、復号器ネットワークを用いて共同でトレーニングされる、ＢＬＳＴＭ符号化器ネットワークをＭＦＣＣ特徴について適用する。ビデオクリップにオーディオデータが欠落している場合、単にゼロベクトルのシーケンスである偽ＭＦＣＣ特徴のシーケンスを絶え間なくフィードする（feed in）。
【０１０８】
マルチモーダルデータを記述するためのセットアップ
キャプション生成モデル、すなわち復号器ネットワークは、トレーニングセットを用いて交差エントロピー基準を最小化するようにトレーニングされる。画像特徴は、５１２ユニットからなる１つの射影層を通じて復号器ネットワークにフィードされる一方で、オーディオ特徴、すなわちＭＦＣＣは、復号器ネットワークが後続するＢＬＳＴＭ符号化器にフィードされる。符号化器ネットワークは、５１２ユニットからなる１つの射影層及び５１２セルからなる双方向ＬＳＴＭ層を有する。復号器ネットワークは、５１２セルを有する１つのＬＳＴＭ層を有する。各単語は、ＬＳＴＭ層にフィードされるとき、２５６次元ベクトルに埋め込まれる。本発明者らは、パラメーターを更新するために、アテンションモデルを最適化するのに広く用いられるＡｄａＤｅｌｔａ最適化器（M. D. Zeiler. ADADELTA: an adaptive learning rate method. CoRR, abs/1212.5701, 2012.）を適用する。ＬＳＴＭモデル及びアテンションモデルは、Ｃｈａｉｎｅｒ（S. Tokui, K. Oono, S. Hido, and J. Clayton. Chainer: a next generation open source framework for deep learning. In Proceedings of Workshop on Machine Learning Systems (Learn-7 ingSys) in The Twenty-ninth Annual Conference on Neural Information Processing Systems (NIPS), 2015）を用いて実施した。
【０１０９】
グラウンドトゥルースと自動ビデオ記述結果との類似度が、機械翻訳向けメトリック、すなわちＢＬＥＵ（K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, July 6-12, 2002, Philadelphia, PA, USA., pages 311-318, 2002.）、ＭＥＴＥＯＲ（M. J. Denkowski and A. Lavie. Meteor universal: Language specific translation evaluation for any target language. In Proceedings of the Ninth Workshop on Statistical Machine Translation, WMT@ACL 2014, June 26-27, 2014, Baltimore, Maryland, USA, pages 376-380, 2014.）、及び画像記述の他のメトリックである、ＣＩＤＥｒ（R. Vedantam, C. L. Zitnick, and D. Parikh. Cider: Consensus-based image description evaluation. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2015, Boston, MA, USA, June 7-12, 2015, pages 4566-4575, 2015.）を用いて評価される。本発明者らは、画像キャプショニングの課題のために用意された公に利用可能な評価スクリプトを用いた（X. Chen, H. Fang, T. Lin, R. Vedantam, S. Gupta, P. Doll´ar, and C. L. Zitnick. Microsoft COCO captions: Data collection and evaluation server. CoRR, abs/1504.00325, 2015.）。
【０１１０】
評価結果
図８は、Ｙｏｕｔｕｂｅ２ｔｅｘｔデータセットに関する、従来の方法によって得られた性能結果と、本開示の実施の形態による、マルチモーダルアテンション方法によって得られた性能結果との比較を示している。従来の方法は、単純加法的マルチモーダルフュージョン（単純マルチモーダル）、時間アテンションを用いるユニモーダルモデル（ユニモーダル）であり、時間アテンションを用いたベースラインシステムが実行される。
【０１１１】
表の最初の３行は、時間アテンションを用いるが１つのモダリティ（１つの特徴タイプ）のみを用いている。次の２行は、単純マルチモーダルフュージョン（図６を参照）又は本発明で提案されるマルチモーダルアテンションメカニズム（図７を参照）を用いて２つのモダリティ（画像及び時空間）のマルチモーダルフュージョンを行っている。また、更に次の２行は、今度は３つのモダリティ（画像特徴、時空間特徴、及びオーディオ特徴）のマルチモーダルフュージョンを実行している。各列において、上位２つの方法のスコアが太字で示される。
【０１１２】
単純マルチモーダルモデルは、ユニモーダルモデルよりも良好に機能した。一方で、マルチモーダルアテンションモデルは、単純マルチモーダルモデルよりも機能が優れていた。いくつかのＹｏｕＴｕｂｅデータは、ビデオコンテンツに無関連である背景音楽等のノイズを含むので、オーディオ特徴は、ベースラインの性能を劣化させている。マルチモーダルアテンションモデルは、オーディオ特徴のノイズの影響を軽減した。その上、本発明で提案される方法を用いてオーディオ特徴を組み合わせることにより、全ての実験条件についてＣＩＤＥｒの最高性能に達した。
【０１１３】
したがって、マルチモーダルアテンションモデルは、単純マルチモーダルを改善する。
【０１１４】
図９Ａ、図９Ｂ、図９Ｃ及び図９Ｄは、従来の方法によって得られた性能結果と、本開示の実施の形態による、マルチモーダルアテンション方法によって得られた性能結果との比較を示している。
【０１１５】
図９Ａ〜図９Ｃは、アテンションベースマルチモーダルフュージョン方法（ＶＧＧ及びＣ３Ｄを用いる時間及びマルチモーダルアテンション）がＣＩＤＥｒの尺度で単一モーダル方法（ＶＧＧを用いる時間アテンション）及び単純モーダルフュージョン方法（ＶＧＧ及びＣ３Ｄを用いる時間アテンション）よりも機能が優れていた３つの例示のビデオクリップを示している。図９Ｄは、オーディオ特徴を含むアテンションベースマルチモーダルフュージョン方法（時間及びマルチモーダルアテンション）が、オーディオ特徴を用いる／用いない単一モーダル方法（ＶＧＧを用いる時間アテンション）、単純モーダルフュージョン方法（ＶＧＧ、Ｃ３Ｄを用いる時間アテンション）よりも機能が優れていた、一例示のビデオクリップを示している。これらの例は、マルチモーダルアテンションメカニズムの有効性を示している。
【０１１６】
本開示のいくつかの実施の形態において、上述したマルチモーダルフュージョンモデルがコンピューターシステムにインストールされると、より少ない計算能力でビデオスクリプトを効果的に生成することができ、したがって、マルチモーダルフュージョンモデル方法又はシステムの使用により、中央処理装置の使用及び電力消費を低減することができる。
【０１１７】
さらに、本開示による実施の形態は、マルチモーダルフュージョンモデルを実行する効果的な方法を提供し、したがって、マルチモーダルフュージョンモデルを用いる方法及びシステムの使用により、中央処理装置（ＣＰＵ）の使用、電力消費及び／又はネットワーク帯域幅の使用を低減することができる。
【０１１８】
本開示の上記で説明した実施の形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施の形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピューターに設けられるのか又は複数のコンピューター間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
【０１１９】
また、本明細書において略述された様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのうちの任意の１つを用いる１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、複数の適したプログラミング言語及び／又はプログラミングツール若しくはスクリプティングツールのうちの任意のものを用いて記述することができ、実行可能機械語コード、又はフレームワーク若しくは仮想機械上で実行される中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、様々な実施の形態において所望に応じて組み合わせることもできるし、分散させることもできる。
【０１２０】
さらに、本開示の実施の形態は、方法として具現化することができ、この方法の一例が提供されている。この方法の一部として実行される動作は、任意の適した方法で順序付けることができる。したがって、例示したものと異なる順序で動作が実行される実施の形態を構築することができ、この順序は、いくつかの動作が例示の実施の形態では順次的な動作として示されていても、それらの動作を同時に実行することを含むことができる。さらに、請求項の要素を修飾する、特許請求の範囲における第１、第２等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１】
2019535063.tif 000025
【図２Ａ】
2019535063.tif 000026
【図２Ｂ】
2019535063.tif 000027
【図３】
2019535063.tif 000028
【図４】
2019535063.tif 000029
【図５】
2019535063.tif 000030
【図６】
2019535063.tif 000031
【図７】
2019535063.tif 000032
【図８】
2019535063.tif 000033
【図９Ａ】
2019535063.tif 000034
【図９Ｂ】
2019535063.tif 000035
【図９Ｃ】
2019535063.tif 000036
【図９Ｄ】
2019535063.tif 000037
【手続補正書】
【提出日】平成31年3月11日(2019.3.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本開示の別の実施の形態によれば、マルチモーダル入力ベクトルから単語シーケンスを生成する方法は、第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、それぞれ第１の入力及び第２の入力から、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、それぞれ第１の特徴ベクトル及び第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、第１の重みのセット及び第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、第２の重みのセット及び第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、第２のコンテンツベクトルを、所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、プリ−ステップコンテキストベクトル並びに第１のコンテンツベクトル及び第２のコンテンツベクトル又は第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、モーダルアテンション重みのセット並びに第１のモーダルコンテンツベクトル及び第２のモーダルコンテンツベクトルから所定の次元を有する重み付きコンテンツベクトルを生成することと、重み付きコンテンツベクトルから単語シーケンスを生成するためにシーケンス生成器を用いて予測単語を生成することとを含む。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
いくつかの場合、複数の時系列データは、ビデオクリップ内に含まれるビデオ信号及びオーディオ信号とすることができる。ビデオクリップがモーダルデータについて用いられる場合、システム１００は、図２Ｂにおける特徴抽出器２１１、２２１及び２３１（セットＫ＝３）を用いる。ビデオクリップは、Ｉ／Ｏインターフェース１１０又は１１８を介してシステム１００内の特徴抽出器２１１、２２１及び２３１に提供される。特徴抽出器２１１、２２１及び２３１は、ビデオクリップからそれぞれ画像データ、オーディオデータ及びモーションデータを、モーダル−１データ、モーダル−２データ、モーダル−３データ（図２Ｂにおいて例えばＫ＝３）として抽出することができる。この場合、特徴抽出器２１１、２２１及び２３１は、ビデオクリップのデータストリームからそれぞれ第１の間隔、第２の間隔及び第３の間隔に従ってモーダル−１データ、モーダル−２データ、モーダル−３データを受信する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
ここで、σ（）は、要素単位シグモイド関数であり、ｉｔ、ｆｔ、ｏｔ及びｃｔは、それぞれ第ｔの入力ベクトルについての、入力ゲート、忘却ゲート、出力ゲート、及びセル活性化ベクトルである。重み行列Ｗｚｚ（λ）及びバイアスベクトルｂＺ（λ）が、下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される。例えば、Ｗｈｉは、隠れ入力ゲート行列であり、Ｗｘｏは、入力−出力ゲート行列である。この手順において、覗き穴結合（peephole connections）は用いられない。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチモーダル入力ベクトルから単語シーケンスを生成するシステムであって、
命令を記憶するメモリ及び１つ以上の記憶デバイスと接続する１つ以上のプロセッサであって、前記命令は、該１つ以上のプロセッサによって実行されると、
第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、
それぞれ前記第１の入力ベクトル及び前記第２の入力ベクトルから、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、
それぞれ前記第１の特徴ベクトル及び前記第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、
前記第１の重みのセット及び前記第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、前記第２の重みのセット及び前記第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、
前記第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、前記第２のコンテンツベクトルを、前記所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、
前記プリステップコンテキストベクトル並びに前記第１のコンテンツベクトル及び前記第２のコンテンツベクトル又は前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、
前記モーダルアテンション重みのセット並びに前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルから前記所定の次元を有する重み付きコンテンツベクトルを生成することと、
前記重み付きコンテンツベクトルから前記単語シーケンスを生成するために前記シーケンス生成器を用いて予測単語を生成することと、
を含む動作を、該１つ以上のプロセッサに実行させるように動作可能であるもの、
を備える、システム。
【請求項２】
前記第１のシーケンス間隔及び前記第２のシーケンス間隔は、同一の間隔である、請求項１に記載のシステム。
【請求項３】
前記第１の入力ベクトル及び前記第２の入力ベクトルは、異なるモダリティである、請求項１に記載のシステム。
【請求項４】
前記動作は、
前記予測単語を前記メモリ又は前記１つ以上の記憶デバイスに蓄積して、前記単語シーケンスを生成すること、
を更に含む、請求項１に記載のシステム。
【請求項５】
前記蓄積することは、終了ラベルが受信されるまで継続される、請求項４に記載のシステム。
【請求項６】
前記動作は、
前記シーケンス生成器から生成された前記予測単語を送信すること、
を更に含む、請求項１に記載のシステム。
【請求項７】
前記第１の特徴抽出器及び前記第２の特徴抽出器は、画像又はビデオ分類タスクについてトレーニングされた事前トレーニング済みの畳み込みニューラルネットワーク（ＣＮＮ）である、請求項１に記載のシステム。
【請求項８】
前記第１および第２の特徴抽出器は、長期短期記憶（ＬＳＴＭ）ネットワークである、請求項１に記載のシステム。
【請求項９】
前記重み付きコンテンツベクトル及び前記プリステップコンテキストベクトルから与えられる全てのあり得る単語内で、最高確率を有する前記予測単語が求められる、請求項１に記載のシステム。
【請求項１０】
前記シーケンス生成器は、長期短期メモリ（ＬＳＴＭ）ネットワークを利用する、請求項１に記載のシステム。
【請求項１１】
前記第１の入力ベクトルは、第１の入力／出力（Ｉ／Ｏ）インターフェースを介して受信されるとともに、前記第２の入力ベクトルは、第２のＩ／Ｏインターフェースを介して受信される、請求項１に記載のシステム。
【請求項１２】
実行時に、
第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、
それぞれ前記第１の入力ベクトル及び前記第２の入力ベクトルから、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、
それぞれ前記第１の特徴ベクトル及び前記第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、
前記第１の重みのセット及び前記第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、前記第２の重みのセット及び前記第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、
前記第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、前記第２のコンテンツベクトルを、前記所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、
前記プリステップコンテキストベクトル並びに前記第１のコンテンツベクトル及び前記第２のコンテンツベクトル又は前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、
前記モーダルアテンション重みのセット並びに前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルから前記所定の次元を有する重み付きコンテンツベクトルを生成することと、
前記重み付きコンテンツベクトルから単語シーケンスを生成するために前記シーケンス生成器を用いて予測単語を生成することと、
を含む動作を、メモリと接続する１つ以上のプロセッサに実行させる、前記１つ以上のプロセッサによって実行可能である命令を含むソフトウェアを記憶する非一時的コンピューター可読媒体。
【請求項１３】
前記第１のシーケンス間隔及び前記第２のシーケンス間隔は、同一の間隔である、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１４】
前記第１の入力ベクトル及び前記第２の入力ベクトルは、異なるモダリティである、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１５】
前記動作は、
前記予測単語を前記メモリ又は前記１つ以上の記憶デバイスに蓄積して、前記単語シーケンスを生成すること、
を更に含む、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１６】
前記蓄積することは、終了ラベルが受信されるまで継続される、請求項１５に記載の非一時的コンピューター可読媒体。
【請求項１７】
前記動作は、
前記シーケンス生成器から生成された前記予測単語を送信すること、
を更に含む、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１８】
前記第１の特徴抽出器及び前記第２の特徴抽出器は、画像又はビデオ分類タスクについてトレーニングされた事前トレーニング済みの畳み込みニューラルネットワーク（ＣＮＮ）である、請求項１２に記載の非一時的コンピューター可読媒体。
【請求項１９】
マルチモーダル入力から単語シーケンスを生成する方法であって、
第１のシーケンス間隔及び第２のシーケンス間隔に従って第１の入力ベクトル及び第２の入力ベクトルを受信することと、
それぞれ前記第１の入力ベクトル及び前記第２の入力ベクトルから、第１の特徴抽出器及び第２の特徴抽出器を用いて第１の特徴ベクトル及び第２の特徴ベクトルを抽出することと、
それぞれ前記第１の特徴ベクトル及び前記第２の特徴ベクトル並びにシーケンス生成器のプリステップコンテキストベクトルから、第１の重みのセット及び第２の重みのセットを推定することと、
前記第１の重みのセット及び前記第１の特徴ベクトルから第１のコンテンツベクトルを計算するとともに、前記第２の重みのセット及び前記第２の特徴ベクトルから第２のコンテンツベクトルを計算することと、
前記第１のコンテンツベクトルを、所定の次元を有する第１のモーダルコンテンツベクトルに変換するとともに、前記第２のコンテンツベクトルを、前記所定の次元を有する第２のモーダルコンテンツベクトルに変換することと、
前記プリステップコンテキストベクトル並びに前記第１のコンテンツベクトル及び前記第２のコンテンツベクトル又は前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルからモーダルアテンション重みのセットを推定することと、
前記モーダルアテンション重みのセット並びに前記第１のモーダルコンテンツベクトル及び前記第２のモーダルコンテンツベクトルから前記所定の次元を有する重み付きコンテンツベクトルを生成することと、
前記重み付きコンテンツベクトルから前記単語シーケンスを生成するために前記シーケンス生成器を用いて予測単語を生成することと、
を含む、方法。
【請求項２０】
前記第１のシーケンス間隔及び前記第２のシーケンス間隔は、同一の間隔である、請求項１９に記載の方法。
【国際調査報告】
2019535063.tif 000038
2019535063.tif 000039
2019535063.tif 000040