(57)【要約】  ビデオストリームのためのアクションラベルを予測する方法が、ビデオストリームを受信することと、ビデオストリームの連続フレームのオプティカルフローを計算することとを含む。アテンションマップが、ビデオストリームの現在のフレームと計算されたオプティカルフローとから生成される。アクションラベルが、オプティカルフローと、前の隠れ状態と、アテンションマップとに基づいて、現在のフレームのために予測される。
2019509566.tif 000002
【特許請求の範囲】
【請求項１】
ビデオストリームのためのアクションラベルを予測する方法であって、
前記ビデオストリームを受信することと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算することと、
前記ビデオストリームの前記現在のフレームと前記計算されたオプティカルフローとからアテンションマップを生成することと、
前記オプティカルフローと、前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測することと
を備える、方法。
【請求項２】
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算することと、
前記オプティカルフローと、前記前の隠れ状態と、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測することと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、請求項２に記載の方法。
【請求項４】
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測することをさらに備える、請求項１に記載の方法。
【請求項５】
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、請求項４に記載の方法。
【請求項６】
ビデオストリームのためのアクションラベルを予測するための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサが、
前記ビデオストリームを受信することと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算することと、
前記ビデオストリームの前記現在のフレームと前記計算されたオプティカルフローとからアテンションマップを生成することと、
前記オプティカルフローと、前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測することと
を行うように構成された、
装置。
【請求項７】
前記少なくとも１つのプロセッサが、
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算することと、
前記オプティカルフローと、前記前の隠れ状態と、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測することと
を行うようにさらに構成された、請求項６に記載の装置。
【請求項８】
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、請求項７に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するようにさらに構成された、請求項６に記載の装置。
【請求項１０】
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、請求項９に記載の装置。
【請求項１１】
ビデオストリームのためのアクションラベルを予測するための装置であって、
前記ビデオストリームを受信するための手段と、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するための手段と、
前記ビデオストリームの前記現在のフレームと前記計算されたオプティカルフローとからアテンションマップを生成するための手段と、
前記オプティカルフローと、前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測するための手段と
を備える、装置。
【請求項１２】
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算するための手段と、
前記オプティカルフローと、前記前の隠れ状態と、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測するための手段と
をさらに備える、請求項１１に記載の装置。
【請求項１３】
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、請求項１２に記載の装置。
【請求項１４】
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するための手段をさらに備える、請求項１１に記載の装置。
【請求項１５】
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、請求項１４に記載の装置。
【請求項１６】
ビデオストリームのためのアクションラベルを予測するためのプログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードが、プロセッサによって実行され、
前記ビデオストリームを受信するためのプログラムコードと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するためのプログラムコードと、
前記ビデオストリームの前記現在のフレームと前記計算されたオプティカルフローとからアテンションマップを生成するためのプログラムコードと、
前記オプティカルフローと、前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測するためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
【請求項１７】
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算するためのプログラムコードと、
前記オプティカルフローと、前記前の隠れ状態と、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測するためのプログラムコードと
をさらに備える、請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項１８】
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項１９】
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するためのプログラムコードをさらに備える、請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項２０】
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]  本出願は、その開示全体が参照により本明細書に明確に組み込まれる、２０１６年３月１１日に出願された、「RECURRENT NETWORKS WITH MOTION-BASED ATTENTION FOR VIDEO UNDERSTANDING」と題する米国仮特許出願第６２／３０６，９７２号の利益を主張する。
【０００２】
[0002]  本開示のいくつかの態様は、一般に機械学習（machine learning）に関し、より詳細には、ビデオストリーム（video stream）のためのラベル（label）を予測する（predict）システムおよび方法を改善することに関する。
【背景技術】
【０００３】
[0003]  人工ニューロン（artificial neuron）（たとえば、ニューロンモデル）の相互結合されたグループを備え得る人工ニューラルネットワーク（artificial neural network）は、計算デバイスであるか、または計算デバイスによって実施されるべき方法を表す。
【０００４】
[0004]  畳み込みニューラルネットワーク（convolutional neural networks）は、フィードフォワード人工ニューラルネットワーク（feed-forward artificial neural network）のタイプである。畳み込みニューラルネットワークは、各々が受容野（receptive field）を有し、入力空間（input space）を集合的にタイリングするニューロンの集合を含み得る。畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）は多数の適用例（application）を有する。特に、ＣＮＮは、パターン認識および分類（pattern recognition and classification）の領域内で広く使用されている。
【０００５】
[0005]  リカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）は、ネットワークのノードまたはユニット間の循環結合（cyclical connection）を含む、ニューラルネットワーク（neural network）のクラスである。循環結合は、ＲＮＮが動的システムをモデル化することを可能にするメモリ（memory）として働き得る内部状態（internal state）を作成する。すなわち、これらの循環結合は、ＲＮＮにメモリを符号化する能力を提供し、したがって、これらのネットワークは、正常にトレーニングされた場合、シーケンス学習適用例（sequence learning application）に好適である。
【０００６】
[0006]  長短期メモリ（ＬＳＴＭ：long short-term memory）は、ゲーティング機能および乗算器を使用してメモリに値を記憶するための、複数のユニットから構成されたマイクロ回路中のＲＮＮのタイプである。ＬＳＴＭは、任意の時間の長さの間メモリに値を保持することが可能である。したがって、ＬＳＴＭは、学習、分類システム（たとえば、手書き文字および音声認識システム）、および他の適用例において有用であり得る。
【発明の概要】
【０００７】
[0007]  本開示の一態様では、ビデオストリームのためのアクションラベルを予測する方法が提示される。本方法は、ビデオストリームを受信することを含む。本方法はまた、ビデオストリームの現在のフレーム（current frame）および次のフレーム（next frame）のオプティカルフロー（optical flow）を計算する（calculate）ことを含む。本方法は、さらに、ビデオストリームの現在のフレームと計算されたオプティカルフロー（calculated optical flow）とからアテンションマップ（attention map）を生成する（generate）ことを含む。本方法は、さらに、オプティカルフローと、前の隠れ状態（previous hidden state）と、アテンションマップとに基づいて、現在のフレームのためのアクションラベルを予測することを含む。
【０００８】
[0008]  本開示の別の態様では、ビデオストリームのためのアクションラベルを予測するための装置（apparatus）が提示される。本装置は、メモリと、メモリに結合された少なくとも１つのプロセッサ（processor）とを含む。１つまたは複数のプロセッサは、ビデオストリームを受信するように構成される。（１つまたは複数の）プロセッサはまた、ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するように構成される。（１つまたは複数の）プロセッサは、さらに、ビデオストリームの現在のフレームと計算されたオプティカルフローとからアテンションマップを生成するように構成される。（１つまたは複数の）プロセッサは、さらに、オプティカルフローと、前の隠れ状態と、アテンションマップとに基づいて、現在のフレームのためのアクションラベルを予測するように構成される。
【０００９】
[0009]  本開示のまた別の態様では、ビデオストリームのためのアクションラベルを予測するための装置が提示される。本装置は、ビデオストリームを受信するための手段を含む。本装置はまた、ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するための手段を含む。本装置は、さらに、ビデオストリームの現在のフレームと計算されたオプティカルフローとからアテンションマップを生成するための手段を含む。本装置は、さらに、オプティカルフローと、前の隠れ状態と、アテンションマップとに基づいて、現在のフレームのためのアクションラベルを予測するための手段を含む。
【００１０】
[0010]  本開示のさらに別の態様では、非一時的コンピュータ可読媒体（non-transitory computer-readable medium）が提示される。非一時的コンピュータ可読媒体は、ビデオストリームのためのアクションラベルを予測するためのプログラムコード（program code）をその上に符号化している。プログラムコードは、プロセッサによって実行され、ビデオストリームを受信するためのプログラムコードを含む。プログラムコードはまた、ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するためのプログラムコードを含む。プログラムコードは、さらに、ビデオストリームの現在のフレームと計算されたオプティカルフローとからアテンションマップを生成するためのプログラムコードを含む。プログラムコードは、さらに、オプティカルフローと、前の隠れ状態と、アテンションマップとに基づいて、現在のフレームのためのアクションラベルを予測するためのプログラムコードを含む。
【００１１】
[0011]  本開示の追加の特徴および利点が、以下で説明される。本開示は、本開示の同じ目的を実行するための他の構造を変更または設計するための基礎として容易に利用され得ることを、当業者は諒解されたい。また、そのような等価な構成が、添付の特許請求の範囲に記載の本開示の教示から逸脱しないことを、当業者は了解されたい。さらなる目的および利点とともに、本開示の編成と動作の方法の両方に関して、本開示を特徴づけると考えられる新規の特徴は、添付の図に関連して以下の説明を検討するとより良く理解されよう。ただし、図の各々は、例示および説明のみの目的で与えられたものであり、本開示の限界を定めるものではないことを明確に理解されたい。
【００１２】
[0012]  本開示の特徴、特性、および利点は、全体を通じて同様の参照符号が同様のものを指す図面とともに、以下に記載される発明を実施するための形態を読めばより明らかになろう。
【図面の簡単な説明】
【００１３】
【図１】[0013]  本開示のいくつかの態様による、汎用プロセッサを含むシステムオンチップ（ＳＯＣ：system-on-a-chip）を使用してニューラルネットワークを設計する例示的な実装形態を示す図。
【図２】[0014]  本開示の態様による、システムの例示的な実装形態を示す図。
【図３Ａ】[0015]  本開示の態様による、ニューラルネットワークを示す図。
【図３Ｂ】[0016]  本開示の態様による、例示的な深層畳み込みネットワーク（ＤＣＮ：deep convolutional network）を示すブロック図。
【図４】[0017]  本開示の態様による、リカレントニューラルネットワーク（ＲＮＮ）を示す概略図。
【図５Ａ】[0018]  本開示の態様による、ラベルがそれのために予測されるべきであるビデオフレーム（video frame）中の画像（image）を示す図。
【図５Ｂ】[0019]  本開示の態様による、ビデオフレーム中のアクション（action）を予測するための例示的なアーキテクチャを示す図。
【図６】[0020]  本開示の態様による、ビデオフレーム中のアクションを予測するための例示的なアーキテクチャを示す図。
【図７】[0021]  本開示の態様による、ビデオストリーム中のラベルを予測するための方法を示す図。
【発明を実施するための形態】
【００１４】
[0022]  添付の図面に関して以下に記載される発明を実施するための形態は、様々な構成を説明するものであり、本明細書で説明される概念が実施され得る構成のみを表すものではない。発明を実施するための形態は、様々な概念の完全な理解を与えるための具体的な詳細を含む。ただし、これらの概念はこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。いくつかの事例では、そのような概念を不明瞭にしないように、よく知られている構造および構成要素がブロック図の形式で示される。
【００１５】
[0023]  これらの教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載された態様をいくつ使用しても、装置は実装され得るか、または方法は実施され得る。さらに、本開示の範囲は、記載された本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示される本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
【００１６】
[0024]  「例示的（exemplary）」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明されるいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈されるべきであるとは限らない。
【００１７】
[0025]  本明細書では特定の態様が説明されるが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、それらのいくつかが、例として、図および好適な態様についての以下の説明において示される。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
ビデオ理解のためのアテンションおよび動きを用いたリカレントネットワーク（Recurrent Networks with Attention and Motion for Video Understanding）
[0026]  動き情報（motion information）は、旧来、密な軌跡を使用する旧来のビデオ符号化、またはより最近の２ストリーム深層畳み込みニューラルネットワークアーキテクチャ（two-stream deep convolutional neural network architecture）の両方のための、自動ビデオ理解（automated video understanding）における重要な要素（important ingredient）であった。画像を対象とする畳み込みニューラルネットワークとは異なり、リカレントネットワーク（recurrent network）は、当初、連続データ（sequential data）を的確に（elegantly）モデル化するために提案された。リカレントネットワークの普及している変形態は、長短期メモリ（ＬＳＴＭ）アーキテクチャである。このモデルは、勾配消失（vanishing gradient）を扱うことができ、したがって、より長いシーケンス（longer sequence）をモデル化するのにより良く適している。したがって、ＬＳＴＭを使用することは、ビデオの連続時間構造（sequential temporal structure）をモデル化することと、オーディオビジュアルコンテンツ（audiovisual content）をより良く理解することとのために有益であり得る。
【００１８】
[0027]  従来のＬＳＴＭアーキテクチャは、所与のビデオフレーム中の様々な空間ロケーション（spatial location）間を区別しない。むしろ、従来のＬＳＴＭアーキテクチャは、ビデオフレーム中のすべてのロケーションを等しく扱う。しかしながら、ビデオを理解するために、アクション（action）が行為者（actor）によって行われる（perform）と見なすことが有用であり、他の領域よりも興味深いかまたは適切であるいくつかの領域がある。いくつかの従来の手法は、対象のアクション（actions of interest）により関連する特定のフレームロケーション（frame location）により多くの重要性を与える、アクション分類のためのアテンションＬＳＴＭを提案した。このアテンションは、ビデオフレーム中のどこに焦点を合わせるべきかをＬＳＴＭネットワークに命令する、顕著性マップ（saliency map）（たとえば、目立つ領域のマップ）の形態をとる。従来のアテンションＬＳＴＭは、フレームｔ＋１のためのアテンションを生成するために、フレームｔにおけるＬＳＴＭ状態を使用し、次のフレーム中のアクションのロケーションを効果的に予測する。しかしながら、従来のアテンションＬＳＴＭモデルは、外観のみに依拠し、有益な動き情報を無視する。
【００１９】
[0028]  したがって、本開示の態様は、アテンション顕著性マップ（attention saliency map）を生成するために外観（appearance）および動き情報（motion information）を利用する、リカレントニューラルネットワーク（ＲＮＮ）など、人工ニューラルネットワークを対象とする。さらに、本開示の態様は、生成されたアテンションマップに基づいて、ビデオストリームのビデオフレームのためのアクションラベル（たとえば、対象の物体（object of interest）による動きのアクティビティ（activity）のためのラベル）を予測することを対象とする。
【００２０】
[0029]  図１は、本開示のいくつかの態様による、汎用プロセッサ（ＣＰＵ）またはマルチコア汎用プロセッサ（ＣＰＵ）１０２を含み得るシステムオンチップ（ＳＯＣ：system-on-a-chip）１００を使用する、ビデオストリームのためのアクションラベルを予測するための例示的な実装形態を示す。変数（たとえば、ニューラル信号およびシナプス荷重（synaptic weight））、計算デバイスに関連するシステムパラメータ（たとえば、重みをもつニューラルネットワーク）、遅延、周波数ビン情報、およびタスク情報が、ニューラル処理ユニット（ＮＰＵ：neural processing unit）１０８に関連するメモリブロックに記憶されるか、ＣＰＵ１０２に関連するメモリブロックに記憶されるか、グラフィックス処理ユニット（ＧＰＵ：graphics processing unit）１０４に関連するメモリブロックに記憶されるか、デジタル信号プロセッサ（ＤＳＰ：digital signal processor）１０６に関連するメモリブロックに記憶されるか、専用メモリブロック１１８に記憶され得るか、または複数のブロックにわたって分散され得る。汎用プロセッサ１０２において実行される命令が、ＣＰＵ１０２に関連するプログラムメモリからロードされ得るか、または専用メモリブロック１１８からロードされ得る。
【００２１】
[0030]  ＳＯＣ１００はまた、ＧＰＵ１０４、ＤＳＰ１０６など、特定の機能に適合された追加の処理ブロックと、第４世代ロングタームエボリューション（４Ｇ  ＬＴＥ（登録商標））接続性、無認可Ｗｉ−Ｆｉ（登録商標）接続性、ＵＳＢ接続性、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続性などを含み得る接続性ブロック（connectivity block）１１０と、たとえば、ジェスチャーを検出および認識し得るマルチメディアプロセッサ１１２とを含み得る。一実装形態では、ＮＰＵは、ＣＰＵ、ＤＳＰ、および／またはＧＰＵにおいて実装される。ＳＯＣ１００はまた、センサープロセッサ１１４、画像信号プロセッサ（ＩＳＰ：image signal processor）、および／または全地球測位システムを含み得るナビゲーション１２０を含み得る。
【００２２】
[0031]  ＳＯＣ１００はＡＲＭ命令セットに基づき得る。本開示の一態様では、汎用プロセッサ１０２にロードされる命令は、ビデオストリームを受信するためのコードを備え得る。汎用プロセッサ１０２にロードされる命令は、ビデオストリームの現在のフレームおよび前のフレーム、または現在のフレームおよび次のフレームのいずれかのオプティカルフローを計算するためのコードをも備え得る。さらに、汎用プロセッサ１０２にロードされる命令は、ビデオストリームの現在のフレームと、計算されたオプティカルフローとからアテンションマップを生成するためのコードを備え得る。さらに、汎用プロセッサ１０２にロードされる命令は、オプティカルフローと、前の隠れ状態と、アテンションマップとに基づいて、現在のフレームのためのアクションラベルを予測するためのコードを備え得る。
【００２３】
[0032]  図２に、本開示のいくつかの態様による、システム２００の例示的な実装形態を示す。図２に示されているように、システム２００は、本明細書で説明される方法の様々な動作を実施し得る複数のローカル処理ユニット（local processing unit）２０２を有し得る。各ローカル処理ユニット２０２は、ローカル状態メモリ２０４と、ニューラルネットワークのパラメータを記憶し得るローカルパラメータメモリ２０６とを備え得る。さらに、ローカル処理ユニット２０２は、ローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ：local (neuron) model program）メモリ２０８と、ローカル学習プログラムを記憶するためのローカル学習プログラム（ＬＬＰ：local learning program）メモリ２１０と、ローカル接続メモリ２１２とを有し得る。さらに、図２に示されているように、各ローカル処理ユニット２０２は、ローカル処理ユニットのローカルメモリのための構成を与えるための構成プロセッサユニット（configuration processor unit ）２１４、およびローカル処理ユニット２０２間のルーティングを与えるルーティング接続処理ユニット（routing connection processing unit）２１６とインターフェースし得る。
【００２４】
[0033]  ニューラルネットワークは、様々な結合性パターン（connectivity pattern）を用いて設計され得る。フィードフォワードネットワーク（feed-forward network）では、情報が下位層（lower layer）から上位層（higher layer）に受け渡され、所与の層における各ニューロンは、上位層におけるニューロンに通信する。上記で説明されたように、フィードフォワードネットワークの連続する層において、階層表現（hierarchical representation）が蓄積され得る。ニューラルネットワークはまた、リカレント（recurrent）または（トップダウンとも呼ばれる）フィードバック結合を有し得る。リカレント結合では、所与の層におけるニューロンからの出力は、同じ層における別のニューロンに通信され得る。リカレントアーキテクチャは、ニューラルネットワークに順次配信される入力データチャンクのうちの２つ以上にわたるパターンを認識するのに役立ち得る。所与の層におけるニューロンから下位層におけるニューロンへの結合は、フィードバック（またはトップダウン）結合と呼ばれる。高レベルの概念の認識が、入力の特定の低レベルの特徴を弁別することを助け得るとき、多くのフィードバック結合をもつネットワークが役立ち得る。
【００２５】
[0034]  図３Ａを参照すると、ニューラルネットワークの層間の結合は全結合（fully connected）３０２または局所結合（locally connected）３０４であり得る。全結合ネットワーク３０２では、第１の層におけるニューロンは、第２の層における各ニューロンが第１の層におけるあらゆるニューロンから入力を受信するように、それの出力を第２の層におけるあらゆるニューロンに通信し得る。代替的に、局所結合ネットワーク３０４では、第１の層におけるニューロンは、第２の層における限られた数のニューロンに結合され得る。畳み込みネットワーク（convolutional network）３０６は、局所結合であり得、第２の層における各ニューロンのための入力に関連する結合強度（connection strength）が共有されるようにさらに構成される（たとえば、３０８）。より一般的には、ネットワークの局所結合層は、層における各ニューロンが同じまたは同様の結合性パターンを有するように構成されるが、異なる値を有し得る結合強度で構成され得る（たとえば、３１０、３１２、３１４、および３１６）。局所結合の結合性パターンは、所与の領域中の上位層ニューロンが、ネットワークへの総入力のうちの制限された部分のプロパティにトレーニングを通して調整された入力を受信し得るので、上位層において空間的に別個の受容野を生じ得る。
【００２６】
[0035]  局所結合ニューラルネットワークは、入力の空間ロケーションが有意味である問題に好適であり得る。たとえば、車載カメラからの視覚特徴を認識するように設計されたネットワーク３００は、画像の下側部分対上側部分とのそれらの関連付けに依存して、異なるプロパティをもつ上位層ニューロンを発達させ得る。画像の下側部分に関連するニューロンは、たとえば、車線区分線（lane marking）を認識するように学習し得るが、画像の上側部分に関連するニューロンは、交通信号、交通標識などを認識するように学習し得る。
【００２７】
[0036]  深層畳み込みネットワーク（ＤＣＮ）が、教師あり学習（supervised learning）を用いてトレーニングされ得る。トレーニング中に、ＤＣＮは、速度制限標識のクロップされた画像３２６など、画像を提示され得、次いで、出力３２２を生成するために、「フォワードパス（forward pass）」が計算され得る。出力３２２は、「標識（sign）」、「６０」、および「１００」など、特徴に対応する値のベクトルであり得る。ネットワーク設計者は、ＤＣＮが、出力特徴ベクトルにおけるニューロンのうちのいくつか、たとえば、トレーニングされたネットワーク３００のための出力３２２に示されているように「標識」および「６０」に対応するニューロンについて、高いスコアを出力することを希望し得る。トレーニングの前に、ＤＣＮによって生成された出力は不正確である可能性があり、したがって、実際の出力とターゲット出力との間で誤差が計算され得る。次いで、ＤＣＮの重みは、ＤＣＮの出力スコアがターゲットとより密接に整合されるように調節され得る。
【００２８】
[0037]  重みを調節するために、学習アルゴリズムは、重みのための勾配ベクトル（gradient vector）を計算し得る。勾配（gradient）は、重みがわずかに調節された場合に、誤差が増加または減少する量を示し得る。最上層において、勾配は、最後から２番目の層における活性化されたニューロンと出力層におけるニューロンとを結合する重みの値に直接対応し得る。下位層では、勾配は、重みの値と、上位層の計算された誤差勾配とに依存し得る。次いで、重みは、誤差を低減するように調節され得る。重みを調節するこの様式は、それがニューラルネットワークを通して「バックワードパス（backward pass）」を伴うので、「バックプロパゲーション（back propagation）」と呼ばれることがある。
【００２９】
[0038]  実際には、重みの誤差勾配は、計算された勾配が真の誤差勾配を近似するように、少数の例にわたって計算され得る。この近似方法は、確率的勾配降下（stochastic gradient descent）と呼ばれることがある。システム全体の達成可能な誤差レートが減少しなくなるまで、または誤差レートがターゲットレベルに達するまで、確率的勾配降下が繰り返され得る。
【００３０】
[0039]  学習の後に、ＤＣＮは新しい画像３２６を提示され得、ネットワークを通したフォワードパスは、ＤＣＮの推論または予測と見なされ得る出力３２２をもたらし得る。
【００３１】
[0040]  深層畳み込みネットワーク（ＤＣＮ：Deep convolutional network）は、追加のプーリング層（pooling layer）および正規化層（normalization layer）で構成された、畳み込みネットワークのネットワークである。ＤＣＮは、多くのタスクに関して最先端の性能を達成している。ＤＣＮは、入力と出力ターゲットの両方が、多くの標本について知られており、勾配降下方法の使用によってネットワークの重みを変更するために使用される、教師あり学習を使用してトレーニングされ得る。
【００３２】
[0041]  ＤＣＮは、フィードフォワードネットワークであり得る。さらに、上記で説明されたように、ＤＣＮの第１の層におけるニューロンから次の上位層におけるニューロンのグループへの結合は、第１の層におけるニューロンにわたって共有される。ＤＣＮのフィードフォワードおよび共有結合は、高速処理のために活用され得る。ＤＣＮの計算負担は、たとえば、リカレントまたはフィードバック結合を備える同様のサイズのニューラルネットワークのそれよりもはるかに少ないことがある。
【００３３】
[0042]  畳み込みネットワークの各層の処理は、空間的に不変のテンプレートまたは基底投射（basis projection）と見なされ得る。入力が、カラー画像の赤色、緑色、および青色チャネルなど、複数のチャネルに最初に分解された場合、その入力に関してトレーニングされた畳み込みネットワークは、画像の軸に沿った２つの空間次元と、色情報をキャプチャする第３の次元とをもつ、３次元であると見なされ得る。畳み込み結合の出力は、後続の層３１８および３２０において特徴マップ（feature map）を形成すると考えられ、特徴マップ（たとえば、３２０）の各要素が、前の層（たとえば、３１８）における様々なニューロンから、および複数のチャネルの各々から入力を受信し得る。特徴マップにおける値は、整流（rectification）、ｍａｘ（０，ｘ）など、非線形性を用いてさらに処理され得る。隣接するニューロンからの値は、さらにプールされ得、これは、ダウンサンプリングに対応し、さらなる局所不変性（local invariance）と次元削減（dimensionality reduction）とを与え得る。白色化（whitening）に対応する正規化（normalization）はまた、特徴マップにおけるニューロン間のラテラル抑制（lateral inhibition）によって適用され得る。
【００３４】
[0043]  図３Ｂは、例示的な深層畳み込みネットワーク３５０を示すブロック図である。深層畳み込みネットワーク３５０は、結合性および重み共有に基づく、複数の異なるタイプの層を含み得る。図３Ｂに示されているように、例示的な深層畳み込みネットワーク３５０は、複数の畳み込みブロック（たとえば、Ｃ１およびＣ２）を含む。畳み込みブロックの各々は、畳み込み層（convolution layer）と、正規化層（ＬＮｏｒｍ）と、プーリング層とで構成され得る。畳み込み層は、１つまたは複数の畳み込みフィルタを含み得、これは、特徴マップを生成するために入力データに適用され得る。２つの畳み込みブロックのみが示されているが、本開示はそのように限定しておらず、代わりに、設計選好に従って、任意の数の畳み込みブロックが深層畳み込みネットワーク３５０中に含まれ得る。正規化層は、畳み込みフィルタの出力を正規化するために使用され得る。たとえば、正規化層は、白色化またはラテラル抑制を行い得る。プーリング層は、局所不変性および次元削減のために、空間にわたってダウンサンプリングアグリゲーション（down sampling aggregation）を行い得る。
【００３５】
[0044]  たとえば、深層畳み込みネットワークの並列フィルタバンクは、高性能および低電力消費を達成するために、随意にＡＲＭ命令セットに基づいて、ＳＯＣ１００のＣＰＵ１０２またはＧＰＵ１０４にロードされ得る。代替実施形態では、並列フィルタバンクは、ＳＯＣ１００のＤＳＰ１０６またはＩＳＰ１１６にロードされ得る。さらに、ＤＣＮは、センサー１１４およびナビゲーション１２０に専用の処理ブロックなど、ＳＯＣ上に存在し得る他の処理ブロックにアクセスし得る。
【００３６】
[0045]  深層畳み込みネットワーク３５０はまた、１つまたは複数の全結合層（たとえば、ＦＣ１およびＦＣ２）を含み得る。深層畳み込みネットワーク３５０は、ロジスティック回帰（ＬＲ：logistic regression）層をさらに含み得る。深層畳み込みネットワーク３５０の各層の間には、更新されるべき重み（図示せず）がある。各層の出力は、第１の畳み込みブロックＣ１において供給された入力データ（たとえば、画像、オーディオ、ビデオ、センサーデータおよび／または他の入力データ）から階層特徴表現（hierarchical feature representation）を学習するために、深層畳み込みネットワーク３５０中の続く層の入力として働き得る。
【００３７】
[0046]  図４は、リカレントニューラルネットワーク（ＲＮＮ）４００を示す概略図である。リカレントニューラルネットワーク４００は、入力層（input layer）４０２と、リカレント結合（recurrent connection）をもつ隠れ層（hidden layer）４０４と、出力層（output layer）４０６とを含む。複数の入力ベクトルｘT（たとえば、Ｘ＝｛ｘ0，ｘ1，ｘ2．．．ｘT｝）をもつ入力シーケンスＸを仮定すれば、リカレントニューラルネットワーク４００は、出力シーケンスＺ（たとえば、Ｚ＝｛ｚ0．．．ｚT｝）の各出力ベクトルｚTのための分類ラベル（classification label）ｙtを予測することになる。図４の場合、
【００３８】
【数１】
2019509566.tif 000003
【００３９】
、
【００４０】
【数２】
2019509566.tif 000004
【００４１】
、および
【００４２】
【数３】
2019509566.tif 000005
【００４３】
である。図４に示されているように、Ｍ個のユニット（たとえば、ｈo．．．ｈt）をもつ隠れ層４０４が、入力層４０２と出力層４０６との間で指定される。隠れ層４０４のＭ個のユニットは、入力シーケンスＸの前の値
【００４４】
【数４】
2019509566.tif 000006
【００４５】
に関する情報を記憶する。Ｍ個のユニットは計算ノード（たとえば、ニューロン）であり得る。一構成では、リカレントニューラルネットワーク４００は、入力ｘTを受信し、以下の式を反復することによって、出力ｚTの分類ラベルｙtを生成する。
【００４６】
【数５】
2019509566.tif 000007
【００４７】
【数６】
2019509566.tif 000008
【００４８】
【数７】
2019509566.tif 000009
【００４９】
【数８】
2019509566.tif 000010
【００５０】
ここで、Ｗhx、Ｗhh、およびＷyhは重み行列（weight matrix）であり、ｂhおよびｂyはバイアス（bias）であり、
【００５１】
【数９】
2019509566.tif 000011
【００５２】
および
【００５３】
【数１０】
2019509566.tif 000012
【００５４】
は、それぞれ、隠れ層４０４および出力層４０６への入力であり、ｆおよびｇは非線形関数（nonlinear function）である。関数ｆは、整流線形ユニット（ＲＥＬＵ：rectifier linear unit）を備え得、いくつかの態様では、関数ｇは、線形関数（linear function）またはソフトマックス関数（softmax function）を備え得る。さらに、隠れ層ノードは、ｔ＝０においてｈo＝ｂｉであるような固定バイアスｂｉに初期化される。いくつかの態様では、ｂｉはゼロに設定され得る（たとえば、ｂｉ＝０）。単一のトレーニングペア（training pair）（ｘ，ｙ）をもつリカレントニューラルネットワークのための、目的関数（objective function）Ｃ（θ）は、Ｃ（θ）＝ΣtＬt（ｚ，ｙ（θ））として定義され、ここで、θは、リカレントニューラルネットワークにおけるパラメータのセット（重みおよびバイアス）を表す。回帰問題の場合、Ｌt＝｜｜（ｚt−ｙt）2｜｜であり、マルチクラス分類問題の場合、Ｌt＝−Σjｚtjｌｏｇ（ｙtj）である。
【００５５】
[0047]  図５Ａは、分類ラベルがそれのために予測されるべきであるフレームのシーケンス（たとえば、ビデオ）からのフレーム（たとえば、画像）を示す図である。図５Ａを参照すると、フレーム（Ｉt）５０４が、リカレントニューラルネットワークなど、ニューラルネットワークへの入力として与えられる。フレーム５０４に対応するアテンションマップ（ａt）５０２が、たとえば、ニューラルネットワーク（たとえば、ＲＮＮ）への入力として前の隠れ状態および現在の特徴マップ（Ｘt）を使用して、多層パーセプトロン（multi-layer perceptron）によって予測され得る。アテンションマップ（ａt）５０２は、フレーム５０４から生成された特徴マップ（Ｘt）と組み合わせられ得る。特徴マップは、たとえば、畳み込みニューラルネットワークの上位畳み込み層（たとえば、図３Ｂ中のＦＣ２）から、またはリカレントニューラルネットワークを介して生成され得る。特徴マップは、外観、オプティカルフロー、動き境界（motion boundary）（たとえば、オプティカルフローの勾配）、特徴レベルにおけるセマンティックセグメンテーション（semantic segmentation）などのための、２次元（２Ｄ）または３次元（３Ｄ）特徴マップ（two-dimensional (2D) or three-dimensional (3D) feature map）であり得る。
【００５６】
[0048]  アテンションマップ５０２は、リカレントニューラルネットワーク（ＲＮＮ）または長短期メモリネットワーク（ＬＳＴＭ）にフレーム５０４中のアクションのロケーションを与える。アクションは、外観動き情報を使用することによって決定され得る。図５Ａに示されているように、アテンションマップａtおよび特徴マップＸtは、ＲＮＮ（またはＬＳＴＭ）への入力として、重み付けされた特徴マップｘt（たとえば、
【００５７】
【数１１】
2019509566.tif 000013
【００５８】
）を計算するために、フレーム５０４中のすべての空間ロケーションにわたる重み付き和によって組み合わせられ得、ここで、
【００５９】
【数１２】
2019509566.tif 000014
【００６０】
は、各ロケーションｋにおける特徴マップＸt中の特徴ベクトル（スライス）を示し、
【００６１】
【数１３】
2019509566.tif 000015
【００６２】
は、フレーム中のそれのロケーションにおけるアテンションマップ中の重みである。
【００６３】
[0049]  図５Ｂは、フレーム中のアクションを予測するためのアテンションリカレントニューラルネットワーク（attention recurrent neural network）のアーキテクチャ５００の一例を示す。例示的なアーキテクチャ５００は、長短期メモリ（たとえば、アテンション長短期メモリ（ＬＳＴＭ）ネットワーク）など、リカレントニューラルネットワークを備え得る。例示的なアーキテクチャ５００は、入力ユニット（たとえば、ｘ1，ｘ2，ｘ3，．．．）をもつ入力層と、隠れユニット（hidden unit）（たとえば、ｒ1，ｒ2，ｒ3，．．．）を有する隠れ層と、出力ユニット（たとえば、ｙ1，ｙ2，ｙ3，．．．）をもつ出力層と、アテンションマップ（たとえば、ａ1，ａ2，ａ3，．．．）とを含み得る。ユニットの各々は、たとえば、人工ニューロンまたはニューラルユニットを備え得る。図５Ｂに示されているように、（たとえば、フレームのシーケンス中の）第１のフレームのために、アテンションマップａ1および特徴マップＸtが、供給され、アテンションリカレントニューラルネットワークの第１の隠れユニットｒ1への第１の入力ｘ1を計算するために使用される。いくつかの態様では、第１のフレーム（Ｘ1）の特徴マップは、外観情報（appearance information）（たとえば、フレームのコンテンツからの視覚情報（visual information））を備え得る。
【００６４】
[0050]  第１の隠れユニットｒ1は、第１の分類ラベルｙ1を予測し、第２のフレームのための第２のアテンションマップａ2（たとえば、後続のアテンションマップ）を生成するために使用される第１の隠れ状態（hidden state）ｈ1を出力する。分類ラベルは、ラベル、対象のクラス（class of interest）、またはアクションラベルと呼ばれることがある。さらに、分類ラベルは、アクション、物体（object）、フレーム中のイベントおよび／またはフレームのシーケンスを示す。第１の隠れユニットｒ1はまた、第１の隠れ状態ｈ1を第２の隠れユニットｒ2に出力する。時間ステップにおける隠れ状態は、その時間ステップにおけるニューラルネットワーク（たとえば、アテンションＲＮＮ）の内部表現である。
【００６５】
[0051]  特徴マップＸ2および第２のアテンションマップａ2は、（第２の隠れ状態ｈ2を生成する）第２の隠れユニットｒ2への入力である、アテンションＲＮＮの第２の入力ｘ2を決定するために使用され得る。次いで、第２の隠れユニットｒ2の隠れ状態は、第３のアテンションマップａ3と、第２のフレームのための第２の分類ラベルｙ2（たとえば、アクション）とを予測するために使用される。
【００６６】
[0052]  特徴マップＸ3およびアテンションマップａ3は、第３の隠れユニットｒ3に供給される、アテンションＲＮＮの入力ｘ3を決定するために使用され得る。第３の隠れユニットｒ3の隠れ状態は、次のアテンションマップと、第３のフレームのためのアクションラベルｙ3（たとえば、フレーム３のアクション）とを予測するために使用される。次いで、このプロセスは、続く各時間ステップにおける各後続のフレームについて繰り返され得る。
【００６７】
[0053]  図６は、本開示の態様による、フレームおよび／またはフレームのシーケンス中のアクションを予測するための例示的なアーキテクチャ６００を示す図である。例示的なアーキテクチャ６００は、上位層リカレントニューラルネットワークおよび下位層リカレントニューラルネットワーク（たとえば、リカレントニューラルネットワークの２つの層）を含む層化ネットワーク（stratified network）として構成され得る。アーキテクチャ６００はリカレントニューラルネットワーク（ＬＳＴＭ）を含むが、他のニューラルネットワークアーキテクチャも考えられるので、これは例示的である。たとえば、上位層は、リカレントニューラルネットワークであり得、下位層は、畳み込みニューラルネットワークの上位畳み込み層であり得る。別の例では、上位層または下位層は、リカレントニューラルネットワークを備え得、上位層または下位層は、複数の積層リカレントニューラルネットワークまたは長短期メモリ層を備え得る。
【００６８】
[0054]  下位層リカレントニューラルネットワークは、現在のフレームｔのためのアテンション顕著性マップを生成するために、前のフレームからの動き情報ｆtおよび隠れ状態を使用する。動き情報ｆtは、現在のフレームおよび次のフレームを使用して推定され得る、オプティカルフローから生成され得る。動き情報ｆtは、ＣＮＮの上位畳み込み層を介して生成され得る。たとえば、下位層リカレントニューラルネットワークユニットｒ12は、第２のフレームのためのアテンションマップａ2を生成するために、動き情報ｆ2とともに、前の隠れユニットｒ11の隠れ状態、上位層リカレントニューラルネットワークユニットｒp1の隠れ状態ｈp1を使用し得る。したがって、下位層リカレントニューラルネットワークは、アテンションマップを上位層リカレントニューラルネットワークに与え得る。層ユニットは、人工ニューロンまたはニューラルユニットであり得る。
【００６９】
[0055]  現在のフレームのための生成されたアテンションマップａtは、フレームのシーケンス（たとえば、ビデオストリーム）の現在のフレームの表現と組み合わせられ得る。フレーム表現は、上位層リカレントニューラルネットワークのための入力ｘtを作成するためのフレーム特徴マップＸtであり得る。次に、上位層リカレントニューラルネットワークは、現在のフレームｔのための分類ラベルｙtを出力するように構成され得る。さらに、上位層リカレントニューラルネットワークｒptは、下位層リカレントニューラルネットワークの後続の隠れユニットｒltに供給され、後続のフレームａt+1のためのアテンションマップを計算または推論するために使用され得る、上位層リカレントニューラルネットワーク（ＲＮＮ）ユニットの隠れ状態ｈtを出力し得る。
【００７０】
[0056]  動作中、図６に示されているように、第１のフレーム（時間ステップｔ1）のために、アテンションマップａ1が、層化ネットワークの下位層への入力として動き情報ｆtを受信する、第１の下位隠れユニットｒl1を使用して予測され得る。動き情報は、第１のフレームおよび第２のフレームを使用して計算され得る、オプティカルフローから生成され得る。一構成では、オプティカルフローは、２つの隣接するフレーム（たとえば、ビデオのフレーム）を使用して計算される。アテンションマップａ1は、組み合わせられた特徴を備える入力ｘ1を計算するために、フレーム特徴マップＸ1に適用される。第１の入力ｘ1の組み合わせられた特徴は、第１の分類ラベルｙ1を予測し得る、第１の上位隠れ層ｒp1に出力される。たとえば、第１の分類ラベルは、図５Ａのフレーム５０４に示されているように、ダイバー（diver）を含んでいるものとしてフレームをラベリングし得る。
【００７１】
[0057]  さらに、第１の上位層ユニットｒp1は、次のフレームにおける後続の下位隠れユニットｒl2への入力としてそれの隠れ状態ｈp1を出力する。この例では、第２の下位隠れユニットｒl2は、第１の下位隠れユニットｒl1から下位ユニット隠れ状態ｈl1を受信する。第１の上位隠れユニットｒp1の隠れ状態はまた、上位層の第２の上位隠れユニットｒp2に与えられる。隠れユニットｒl2はまた、オプティカルフローから生成された動き入力ｆ2を受信する。オプティカルフロー入力は、フレーム（たとえば、フレームｔ）のピクセル（pixel）が次のフレーム（たとえば、フレームｔ＋１）におけるピクセルにどのように移動することになるかを予測するベクトルのフィールド（field）であり得る。たとえば、オプティカルフローベクトル（optical flow vector）が、ｘ，ｙにおける２，３として表された２Ｄベクトルである場合、オプティカルフローは、フレームｔのピクセルが、後続のフレームｔ＋１中で右に２ピクセルおよび上に３ピクセル移動することになることを示す。すなわち、オプティカルフローは、ピクセル中のアクションを追跡し、ビデオのフレームまたはフレームのシーケンス内の最も顕著な特徴を予測するために動きについて考える。
【００７２】
[0058]  オプティカルフロー、および前の隠れユニットｒp1およびｒl1からの隠れ状態（たとえば、ｈp1およびｈl1）を使用して、新しいアテンションマップａ2が、隠れ層ユニットｒl2を介して推論され得る。第２のアテンションマップａ2は、第２の上位隠れユニットｒp2への第２の入力ｘ2を計算するために、第２のフレームＸ2のフレーム外観特徴マップ（frame appearance feature map）とともに使用され得る。動き情報（たとえば、オプティカルフロー）を含み得る第２のアテンションマップａ2は、前のフレームと比較して、フレーム中の対象の領域（regions of interest）（たとえば、行為者）の識別を改善し得る。したがって、第２のアテンションマップはラベル予測（label prediction）を改善し得る。
【００７３】
[0059]  次いで、第２の上位隠れユニットｒp2は、第２の分類ラベルｙ2を推論する新しい隠れ状態ｈp2を予測し得る。第２の上位隠れユニットｒp2の隠れ状態は、第３の下位隠れユニットｒl3に出力され得、第３のフレームのための第３のアテンションマップａ3を計算するために、第２の下位隠れユニットｒl2の隠れ状態ならびに動き入力（たとえば、オプティカルフロー）ｆ3とともに使用され得る。第３のアテンションマップａ3は、第３のフレームのための分類ラベルを推論する新しい隠れ状態を予測する、第３の上位隠れユニットｒp3のための第３の入力ｘ3を計算するために、第３のフレームの特徴表現（たとえば、第３のフレーム特徴マップＸ3）とともに使用され得る。その後、プロセスは繰り返され得る。
【００７４】
[0060]  本開示の態様は、図５Ｂおよび図６に示されているニューラルネットワークの例示的な隠れユニットの数に限定されない。もちろん、ニューラルネットワークのより多いまたはより少ない隠れユニットも企図される。
【００７５】
[0061]  一構成では、ビデオストリームを受信するために、機械学習モデルが構成される。モデルはまた、ビデオストリームの現在のフレームおよび前のフレーム、または現在のフレームおよび次のフレームのいずれかのオプティカルフローを計算するために構成される。さらに、モデルは、ビデオストリームの現在のフレームと計算されたオプティカルフローとからアテンションマップを生成するために構成される。さらに、モデルは、オプティカルフローと、前の隠れ状態と、アテンションマップとに基づいて、現在のフレームのためのアクションラベルを予測するために構成される。モデルは、受信手段、オプティカルフローを計算するための手段、アテンションマップを生成するための手段および／またはアクションラベルを予測するための手段を含む。一態様では、受信手段、計算手段、生成手段および／または予測手段は、具陳された機能を実施するように構成された、汎用プロセッサ１０２、汎用プロセッサ１０２に関連するプログラムメモリ、メモリブロック１１８、ローカル処理ユニット２０２、およびまたはルーティング接続処理ユニット２１６であり得る。別の構成では、上述の手段は、上述の手段によって具陳された機能を実施するように構成された任意のモジュールまたは任意の装置であり得る。
【００７６】
[0062]  本開示のいくつかの態様によれば、各ローカル処理ユニット２０２は、モデルの所望の１つまたは複数の機能的特徴に基づいてモデルのパラメータを決定し、決定されたパラメータがさらに適合、調整および更新されるように、１つまたは複数の機能的特徴を所望の機能的特徴のほうへ発達させるように構成され得る。
【００７７】
[0063]  図７は、ビデオストリームのためのアクションラベルを予測する方法７００を示す。ブロック７０２において、プロセスはビデオストリームを受信する。たとえば、ニューラルネットワークは、分類ラベルがそれのために予測されるべきであるフレームのシーケンス（たとえば、ビデオ）からのフレーム（たとえば、画像）を受信する。図５Ａを参照すると、フレーム（Ｉt）５０４は、リカレントニューラルネットワークなど、ニューラルネットワークへの入力として与えられる。ブロック７０４において、プロセスはオプティカルフローを計算する。オプティカルフローは、ビデオストリームの現在のフレームおよび次のフレームについて計算され得る。いくつかの態様では、オプティカルフローは、ビデオストリームの連続フレーム（consecutive frames）から計算され得る。
【００７８】
[0064]  ブロック７０６において、プロセスは、ビデオストリームの現在のフレームと計算されたオプティカルフローとからアテンションマップを生成する。たとえば、図５Ａに見られるように、フレーム５０４に対応するアテンションマップ（ａt）５０２は、たとえば、ニューラルネットワーク（たとえば、ＲＮＮ）への入力として前の隠れ状態および現在の特徴マップ（Ｘt）を使用して、多層パーセプトロンによって予測され得る。
【００７９】
[0065]  随意に、ブロック７０８において、プロセスは、ビデオストリームの現在のフレームとオプティカルフローとから２Ｄまたは３Ｄ特徴マップ（2D or 3D feature map）を計算する。たとえば、特徴マップは、畳み込みニューラルネットワークの上位畳み込み層（たとえば、図３Ｂ中のＦＣ２）から、またはリカレントニューラルネットワークを介して生成され得る。２Ｄまたは３Ｄ特徴マップは、フレーム外観（frame appearance）、オプティカルフロー（たとえば、動き境界）、スペクトログラム画像（spectrogram image）（オーディオ）、セマンティックセグメンテーション（たとえば、物体ラベル）またはそれらの組合せに基づいて決定され得る。
【００８０】
[0066]  さらに、ブロック７１０において、プロセスは、ビデオフレームと、前の隠れ状態と、アテンションマップとに基づいて、現在のフレームのためのアクションラベルを予測する。アクションラベルは、たとえば、ビデオストリームのフレーム中の対象の物体によって実行されるアクション、動きまたはアクティビティ（たとえば、ダイビング（diving）、ランニング（running））について説明し得る。いくつかの態様では、リカレントニューラルネットワーク（ＲＮＮ）はアクションラベルを予測する。いくつかの構成では、ＲＮＮは長短期メモリネットワークを含み得る。
【００８１】
[0067]  プロセスは、さらに、随意のブロック７１２において第２のアクションラベル（second action label）を予測する。第２のアクションラベルは、オプティカルフローと、前の隠れ状態と、２Ｄまたは３Ｄ特徴マップと、アテンションマップとに基づいて、次のフレームのために予測される。
【００８２】
[0068]  いくつかの態様では、方法７００は、ＳＯＣ１００（図１）またはシステム２００（図２）によって実施され得る。すなわち、方法７００の要素の各々は、たとえば、限定はしないが、ＳＯＣ１００またはシステム２００または１つまたは複数のプロセッサ（たとえば、ＣＰＵ１０２およびローカル処理ユニット２０２）および／あるいは本明細書中に含まれる他の構成要素によって実施され得る。
【００８３】
[0069]  上記で説明された方法の様々な動作は、対応する機能を実施することが可能な任意の好適な手段によって実施され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。
【００８４】
[0070]  本明細書で使用される「決定すること（determining）」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること（calculating）、計算すること（computing）、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。さらに、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
【００８５】
[0071]  本明細書で使用される、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。
【００８６】
[0072]  本開示に関連して説明された様々な例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明された機能を実施するように設計されたそれらの任意の組合せを用いて実装または実施され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【００８７】
[0073]  本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体であり得る。
【００８８】
[0074]  本明細書で開示された方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲から逸脱することなく変更され得る。
【００８９】
[0075]  説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路など、様々な他の回路をリンクし得るが、それらは当該技術分野でよく知られており、したがってこれ以上説明されない。
【００９０】
[0076]  プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行することができる他の回路がある。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
【００９１】
[0077]  ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加として、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。局所構成要素など、説明された様々な構成要素は、特定のロケーションを有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素など、様々な方法で構成され得る。
【００９２】
[0078]  処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、本明細書で説明されたニューロンモデルとニューラルシステムのモデルとを実装するための１つまたは複数の神経形態学的プロセッサを備え得る。別の代替として、処理システムは、プロセッサをもつ特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明された様々な機能を実施することができる回路の任意の組合せを用いて、実装され得る。当業者は、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明された機能を最も良く実装し得るかを理解されよう。
【００９３】
[0079]  機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実施させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。さらに、本開示の態様が、そのような態様を実装するプロセッサ、コンピュータ、機械、または他のシステムの機能に改善を生じることを諒解されたい。
【００９４】
[0080]  ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【００９５】
[0081]  したがって、いくつかの態様は、本明細書で提示された動作を実施するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明された動作を実施するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
【００９６】
[0082]  さらに、本明細書で説明された方法および技法を実施するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明された方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明された様々な方法は、ユーザ端末および／または基地局が記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段によって提供され得る。その上、本明細書で説明された方法および技法をデバイスに提供するための任意の他の好適な技法が利用され得る。
【００９７】
[0083]  特許請求の範囲は、上記で示された厳密な構成および構成要素に限定されないことを理解されたい。上記で説明された方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
【図１】
2019509566.tif 000016
【図２】
2019509566.tif 000017
【図３Ａ】
2019509566.tif 000018
【図３Ｂ】
2019509566.tif 000019
【図４】
2019509566.tif 000020
【図５Ａ】
2019509566.tif 000021
【図５Ｂ】
2019509566.tif 000022
【図６】
2019509566.tif 000023
【図７】
2019509566.tif 000024
【手続補正書】
【提出日】平成30年11月7日(2018.11.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオストリームのためのアクションラベルを予測する方法であって、
前記ビデオストリームを受信することと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算することと、
前記ビデオストリームの前記現在のフレームと、人工ニューラルネットワークの第１の層からの第１の前の隠れ状態と、前記人工ニューラルネットワークの第２の層からの第２の前の隠れ状態と、前記計算されたオプティカルフローとからアテンションマップを生成することと、
前記オプティカルフローと、前記第２の前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測することと
を備える、方法。
【請求項２】
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算することと、
前記オプティカルフローと、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測することと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、請求項２に記載の方法。
【請求項４】
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測することをさらに備える、請求項１に記載の方法。
【請求項５】
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、請求項４に記載の方法。
【請求項６】
ビデオストリームのためのアクションラベルを予測するための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサが、
前記ビデオストリームを受信することと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算することと、
前記ビデオストリームの前記現在のフレームと、人工ニューラルネットワークの第１の層からの第１の前の隠れ状態と、前記人工ニューラルネットワークの第２の層からの第２の前の隠れ状態と、前記計算されたオプティカルフローとからアテンションマップを生成することと、
前記オプティカルフローと、前記第２の前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測することと
を行うように構成された、
装置。
【請求項７】
前記少なくとも１つのプロセッサが、
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算することと、
前記オプティカルフローと、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測することと
を行うようにさらに構成された、請求項６に記載の装置。
【請求項８】
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、請求項７に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するようにさらに構成された、請求項６に記載の装置。
【請求項１０】
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、請求項９に記載の装置。
【請求項１１】
ビデオストリームのためのアクションラベルを予測するための装置であって、
前記ビデオストリームを受信するための手段と、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するための手段と、
前記ビデオストリームの前記現在のフレームと、人工ニューラルネットワークの第１の層からの第１の前の隠れ状態と、前記人工ニューラルネットワークの第２の層からの第２の前の隠れ状態と、前記計算されたオプティカルフローとからアテンションマップを生成するための手段と、
前記オプティカルフローと、前記第２の前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測するための手段と
を備える、装置。
【請求項１２】
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算するための手段と、
前記オプティカルフローと、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測するための手段と
をさらに備える、請求項１１に記載の装置。
【請求項１３】
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、請求項１２に記載の装置。
【請求項１４】
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するための手段をさらに備える、請求項１１に記載の装置。
【請求項１５】
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、請求項１４に記載の装置。
【請求項１６】
ビデオストリームのためのアクションラベルを予測するためのプログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードが、プロセッサによって実行され、
前記ビデオストリームを受信するためのプログラムコードと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するためのプログラムコードと、
前記ビデオストリームの前記現在のフレームと、人工ニューラルネットワークの第１の層からの第１の前の隠れ状態と、前記人工ニューラルネットワークの第２の層からの第２の前の隠れ状態と、前記計算されたオプティカルフローとからアテンションマップを生成するためのプログラムコードと、
前記オプティカルフローと、前記第２の前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測するためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
【請求項１７】
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算するためのプログラムコードと、
前記オプティカルフローと、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測するためのプログラムコードと
をさらに備える、請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項１８】
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項１９】
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するためのプログラムコードをさらに備える、請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項２０】
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
[0083]  特許請求の範囲は、上記で示された厳密な構成および構成要素に限定されないことを理解されたい。上記で説明された方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオストリームのためのアクションラベルを予測する方法であって、
前記ビデオストリームを受信することと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算することと、
前記ビデオストリームの前記現在のフレームと前記計算されたオプティカルフローとからアテンションマップを生成することと、
前記オプティカルフローと、前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測することと
を備える、方法。
［Ｃ２］
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算することと、
前記オプティカルフローと、前記前の隠れ状態と、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、Ｃ２に記載の方法。
［Ｃ４］
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測することをさらに備える、Ｃ１に記載の方法。
［Ｃ５］
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、Ｃ４に記載の方法。
［Ｃ６］
ビデオストリームのためのアクションラベルを予測するための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサが、
前記ビデオストリームを受信することと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算することと、
前記ビデオストリームの前記現在のフレームと前記計算されたオプティカルフローとからアテンションマップを生成することと、
前記オプティカルフローと、前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測することと
を行うように構成された、
装置。
［Ｃ７］
前記少なくとも１つのプロセッサが、
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算することと、
前記オプティカルフローと、前記前の隠れ状態と、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測することと
を行うようにさらに構成された、Ｃ６に記載の装置。
［Ｃ８］
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、Ｃ７に記載の装置。
［Ｃ９］
前記少なくとも１つのプロセッサが、リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するようにさらに構成された、Ｃ６に記載の装置。
［Ｃ１０］
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、Ｃ９に記載の装置。
［Ｃ１１］
ビデオストリームのためのアクションラベルを予測するための装置であって、
前記ビデオストリームを受信するための手段と、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するための手段と、
前記ビデオストリームの前記現在のフレームと前記計算されたオプティカルフローとからアテンションマップを生成するための手段と、
前記オプティカルフローと、前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測するための手段と
を備える、装置。
［Ｃ１２］
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算するための手段と、
前記オプティカルフローと、前記前の隠れ状態と、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測するための手段と
をさらに備える、Ｃ１１に記載の装置。
［Ｃ１３］
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、Ｃ１２に記載の装置。
［Ｃ１４］
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するための手段をさらに備える、Ｃ１１に記載の装置。
［Ｃ１５］
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、Ｃ１４に記載の装置。
［Ｃ１６］
ビデオストリームのためのアクションラベルを予測するためのプログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードが、プロセッサによって実行され、
前記ビデオストリームを受信するためのプログラムコードと、
前記ビデオストリームの現在のフレームおよび次のフレームのオプティカルフローを計算するためのプログラムコードと、
前記ビデオストリームの前記現在のフレームと前記計算されたオプティカルフローとからアテンションマップを生成するためのプログラムコードと、
前記オプティカルフローと、前の隠れ状態と、前記アテンションマップとに基づいて、前記現在のフレームのためのアクションラベルを予測するためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
［Ｃ１７］
前記ビデオストリームの前記現在のフレームと前記アテンションマップとから２次元（２Ｄ）または３次元（３Ｄ）特徴マップを計算するためのプログラムコードと、
前記オプティカルフローと、前記前の隠れ状態と、前記２Ｄまたは３Ｄ特徴マップと、前記アテンションマップとに基づいて、前記次のフレームのための第２のアクションラベルを予測するためのプログラムコードと
をさらに備える、Ｃ１６に記載の非一時的コンピュータ可読媒体。
［Ｃ１８］
前記２Ｄまたは３Ｄ特徴マップが、フレーム外観、前記オプティカルフロー、スペクトログラム画像、またはセマンティックセグメンテーションのうちの１つまたは複数に基づく、Ｃ１７に記載の非一時的コンピュータ可読媒体。
［Ｃ１９］
リカレントニューラルネットワーク（ＲＮＮ）を用いて前記アクションラベルを予測するためのプログラムコードをさらに備える、Ｃ１６に記載の非一時的コンピュータ可読媒体。
［Ｃ２０］
前記ＲＮＮが長短期メモリ（ＬＳＴＭ）ネットワークを備える、Ｃ１９に記載の非一時的コンピュータ可読媒体。
【国際調査報告】
2019509566.tif 000025
2019509566.tif 000026