(57)【要約】知的なカメラネットワークがワイヤレスネットワーク上で画像を共同して取得する。ネットワークは、トリガに基づいて、画像を自動的にキャプチャする。トリガは、他の画像キャプチャリングデバイスからのメッセージを含み得る。第１の画像キャプチャデバイスが、少なくとも１つの他の画像キャプチャデバイスからのメッセージに基づいて、画像を取得するようにトリガされる。
2018531543.tif 000002
【特許請求の範囲】
【請求項１】
共同した写真撮影の方法であって、
第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガすること
を備える、方法。
【請求項２】
前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データに少なくとも部分的に基づいて導出される、請求項１に記載の方法。
【請求項３】
前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データの予測に少なくとも部分的に基づいて導出される、請求項１に記載の方法。
【請求項４】
前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、請求項１に記載の方法。
【請求項５】
前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、請求項１に記載の方法。
【請求項６】
トリガすることはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づく、請求項１に記載の方法。
【請求項７】
共同した写真撮影のための装置であって、
第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガするための手段と、
前記画像を取得するための手段と、
を備える、装置。
【請求項８】
前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データに少なくとも部分的に基づいて導出される、請求項７に記載の装置。
【請求項９】
前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データの予測に少なくとも部分的に基づいて導出される、請求項７に記載の装置。
【請求項１０】
前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、請求項７に記載の装置。
【請求項１１】
前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、請求項７に記載の装置。
【請求項１２】
トリガするための前記手段はさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づく、請求項７に記載の装置。
【請求項１３】
共同した写真撮影のための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサと、
を備え、
前記少なくとも１つのプロセッサは、
第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガする
ように構成される、装置。
【請求項１４】
前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データに少なくとも部分的に基づいて導出される、請求項１３に記載の装置。
【請求項１５】
前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データの予測に少なくとも部分的に基づいて導出される、請求項１３に記載の装置。
【請求項１６】
前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、請求項１３に記載の装置。
【請求項１７】
前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、請求項１３に記載の装置。
【請求項１８】
前記少なくとも１つのプロセッサはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づいてトリガするように構成される、請求項１３に記載の装置。
【請求項１９】
非一時的なプログラムコードを記憶した共同した写真撮影のための非一時的なコンピュータ読み取り可能な記憶媒体であって、前記プログラムコードは、
第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガするためのプログラムコード
を備える、非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２０】
前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データに少なくとも部分的に基づいて導出される、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２１】
前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データの予測に少なくとも部分的に基づいて導出される、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２２】
前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２３】
前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２４】
前記プログラムコードはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づいてトリガするように構成される、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本開示のある特定の態様は、一般に、機械学習に関し、より具体的には、共同した写真撮影メカニズム（cooperative photography mechanism）を通じて画像を自動的にキャプチャすることを含む、ワイヤレスネットワーク上でマルチメディアを管理するシステムおよび方法に関する。
【背景技術】
【０００２】
[0002]  人工ニューラルネットワークは、（ニューロンモデル等の）人工ニューロンの相互結合されたグループを備え得るものであって、計算デバイスであるか、または計算デバイスによって実施される方法を表す（represent）。
【０００３】
[0003]  畳み込みニューラルネットワークは、フィードフォワード人工ニューラルネットワーク（feed-forward artificial neural network）の１つのタイプである。畳み込みニューラルネットワークは、各々が受容野（receptive field）を有し、かつ入力空間を集合的にタイリングする（tile）ニューロンの集合体を含み得る。畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）の用途は非常に幅広い。特に、ＣＮＮはパターン認識および分類の分野で広く使用されてきた。
【０００４】
[0004]  深層信念ネットワークおよび深層畳み込みネットワーク等の深層学習アーキテクチャは、層状（layered）のニューラルネットワークアーキテクチャであり、そこでは第１の層のニューロンの出力が第２の層のニューロンへの入力となり、第２の層のニューロンの出力が第３の層のニューロンとなり、および入力し、以降同様に続く。深層ニューラルネットワークは、特徴の階層を認識するように訓練され得、よって、それらはオブジェクト認識アプリケーションで使用されることが次第に多くなってきている。畳み込みニューラルネットワークのように、これらの深層学習アーキテクチャにおける計算は、処理ノードの集団（population）にわたって分散（distributed）され得、それは１つまたは複数の計算チェーンで構成され得る。これらの多層アーキテクチャは、一度に１層が訓練され得、逆伝播（back propagation）を使用して微調整（fine-tuned）され得る。
【０００５】
[0005]  他のモデルもまたオブジェクト認識のために利用可能である。例えば、サポートベクトルマシン（ＳＶＭ）は、分類のために適用されることができる学習ツールである。サポートベクトルマシンは、データをカテゴライズする分離超平面（a separating hyperplane）（例えば、決定境界）を含む。超平面は、教師あり学習（supervised learning）によって定義される。所望の超平面は、訓練データのマージンを増加させる。言い換えれば、超平面は、最大の、訓練例への最小距離（the greatest minimum distance to the training examples）を有するべきである。
【０００６】
[0006]  これらの解決策は、いくつかの分類ベンチマークに対して優れた結果を出すが、それらの計算複雑性は極端に高い可能性がある。さらに、モデルの訓練は、難しいものであり得る。
【発明の概要】
【０００７】
[0007]  一態様では、共同した写真撮影の方法が開示される。方法は、第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガすることを含む。
【０００８】
[0008]  別の態様は、第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガするための手段を含む、共同した写真撮影のための装置を開示する。装置はまた、画像を取得するための手段を含む。
【０００９】
[0009]  別の態様は、メモリと、メモリに結合された少なくとも１つのプロセッサとを有するワイヤレス通信を開示する。（１つまたは複数の）プロセッサは、第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガするように構成される。
【００１０】
[0010]  別の態様は、共同した写真撮影のための非一時的なコンピュータ読み取り可能な記憶媒体を開示する。コンピュータ読み取り可能な媒体は、（１つまたは複数の）プロセッサによって実行されると、（１つまたは複数の）プロセッサに、第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガする動作を実施させる非一時的なプログラムコードを記録する。
【００１１】
[0011]  本開示の追加的な特徴および利点が、以下に説明される。本開示と同じ目的を実行するために他の構造を修正または設計するための基礎として本開示が容易に利用され得ることは、当業者によって認識されるはずである。そのような同等の構造が添付の特許請求の範囲に記載された本開示の教示から逸脱しないことも、当業者によって十分理解されるはずである。本開示の特性と考えられる新規の特徴は、それの構造および動作方法の両方について、さらなる目的および利点と共に、添付の図面に関連して考えられたときに以下の説明からより良く理解されることになる。しかしながら、それら図の各々は、例示および説明のためのみに提供されており、本開示の限定の定義として意図されてはいないことは明確に理解されるべきである。
【図面の簡単な説明】
【００１２】
[0012]  本開示の特徴、性質、および利点は、同様の参照文字が全体を通じた対応を特定する図面と合わせられるとき、以下に記載される詳細な説明からより明らかになるだろう。
【図１】[0013]  図１は、本開示のある特定の態様による、汎用プロセッサを含むシステムオンチップ（ＳＯＣ）を使用してニューラルネットワークを設計することの例示的なインプリメンテーションを例示する。
【図２】[0014]  図２は、本開示の態様によるシステムの例示的なインプリメンテーションを例示する。
【図３Ａ】[0015]  図３Ａは、本開示の態様によるニューラルネットワークを例示する図である。
【図３Ｂ】[0016]  図３Ｂは、本開示の態様による例示的な深層畳み込みネットワーク（ＤＣＮ）を例示するブロック図である。
【図４】[0017]  図４は、本開示の態様による、人工知能（ＡＩ）機能をモジュール化し得る例示的なソフトウェアアーキテクチャを例示するブロック図である。
【図５】[0018]  図５は、本開示の態様による、スマートフォン上でのＡＩアプリケーションの実行時動作（run-time operation）を例示するブロック図である。
【図６Ａ】[0019]  図６Ａは、本開示の態様による、スマートフォン上でマルチメディアを管理するためのＡＩアプリケーションの実行時動作を例示するブロック図である。
【図６Ｂ】[0020]  図６Ｂは、本開示の態様による、共同した写真撮影のための動作を例示するブロック図である。
【図７Ａ】[0021]  図７Ａは、本開示の態様による、画像を順位付けする（rank）ためのＤＣＮの訓練を例示するブロック図である。
【図７Ｂ】図７Ｂは、本開示の態様による、画像を順位付けするためのＤＣＮの訓練を例示するブロック図である。
【図７Ｃ】[0022]  図７Ｃは、本開示の態様による、画像を順位付けする訓練されたＤＣＮを例示するブロック図である。
【図８】[0023]  図８は、本開示の態様に従ってマルチメディアを管理するための方法を例示する。
【詳細な説明】
【００１３】
[0024]  添付図面に関連して以下に記載される詳細な説明は、様々な構成の説明として意図されており、ここに説明される概念が実施され得るのはこれらの構成においてのみであることを表すようには意図されていない。詳細な説明は、様々な概念の徹底した理解を提供することを目的として特定の詳細を含む。しかしながら、これらの概念がこれらの特定の詳細なしに実施され得ることは、当業者に明らかであろう。いくつかの事例では、そのような概念をあいまいにすることを避けるために、周知の構造およびコンポーネントはブロック図の形式で示される。
【００１４】
[0025]  本教示に基づいて、当業者は、本開示の任意の他の態様から独立してインプリメントされようがまたは本開示の任意の他の態様と組み合わせてインプリメントされようが、本開示の範囲は、本開示のいかなる態様もカバーするように意図されていることを認識するはずである。例えば、記載されるいくつの態様を使用しても、装置はインプリメントされ得る、または方法は実行され得る。加えて、本開示の範囲は、記載される本開示の様々な態様に加えて、またはそれら以外の、他の構造、機能性、または構造および機能性を使用して実施されるそのような方法または装置をカバーするように意図されている。開示される本開示のいずれの態様も、特許請求の範囲の１つまたは複数の要素によって具現化され得ることは理解されるべきである。
【００１５】
[0026]  「例示的な（exemplary）」という用語は、ここで「例、事例、または例示としての役割を果たす」という意味で使用される。「例示的」であるとここで説明されたいずれの態様も、必ずしも、他の態様よりも好ましいまたは有利であると解釈されるべきではない。
【００１６】
[0027]  特定の態様がここに説明されるが、これらの態様の多くの変形および置換が、本開示の範囲に含まれる。好ましい態様のいくつかの利益および利点が述べられるが、本開示の範囲は、特定の利益、用途、または目的に限定されるようには意図されていない。むしろ、本開示の態様は、異なる技術、システム構成、ネットワークおよびプロトコルに広く適用可能なように意図されており、それらのいくつかは、好ましい態様の以下の説明に、および図に、例として例示される。詳細な説明および図面は、本開示を限定するものではなくそれを単に例示するものであり、本開示の範囲は、添付の特許請求の範囲およびそれらの同等物によって定義される。
【００１７】
[0028]  本開示の態様は、共同した写真撮影のためのシステムおよび方法を対象とし、具体的には、写真（photographs）を自動的にキャプチャするためのトリガを対象とする。さらに、オプションの態様は、（サブスクリプションベースのネットワーク（subscription based network）を含む）ワイヤレスネットワーク上で、キャプチャされたピクチャおよび画像ファイルを管理することを対象とする。取得された画像／写真（photos）は、一般的な順位付け、ユーザによって定義された順位付け基準、および他の基準に基づいて、ネットワーク上で順位付けされる。高い順位付けの写真が、ユーザデバイス（例えば、モバイルデバイス）に分配（distributed to）され、および二次的な順位付けが各ユーザのデバイスにおいて発生する。二次的な順位付けは、ユーザ基準によって決定される。
【００１８】
[0029]  図１は、本開示のある特定の態様による、汎用プロセッサ（ＣＰＵ）またはマルチコア汎用プロセッサ（ＣＰＵ）１０２を含み得るシステムオンチップ（ＳＯＣ）１００を使用した、前述の共同した写真撮影システムおよび／またはマルチメディア管理システムの例示的なインプリメンテーション１００を例示する。（ニューラル信号およびシナプス荷重（synaptic weights）等の）変数、（重みを有するニューラルネットワーク等の）計算デバイスに関連するシステムパラメータ、遅延、周波数ビン情報、およびタスク情報は、ニューラル処理ユニット（ＮＰＵ）１０８に関連するメモリブロックに記憶され得るか、ＣＰＵ１０２に関連するメモリブロックに記憶され得るか、グラフィックスプロセシングユニット（ＧＰＵ）１０４に関連するメモリブロックに記憶され得るか、デジタルシグナルプロセッサ（ＤＳＰ）１０６に関連するメモリブロックに記憶され得るか、専用のメモリブロック１１８に記憶され得るか、または複数のブロックにわたって分散され得る。汎用プロセッサ１０２において実行される命令は、ＣＰＵ１０２に関連するプログラムメモリからロードされ得るか、または専用のメモリブロック１１８からロードされ得る。
【００１９】
[0030]  ＳＯＣ１００はまた、ＧＰＵ１０４や、ＤＳＰ１０６や、第４世代ロングタームエボリューション（４Ｇ  ＬＴＥ（登録商標））接続性、アンライセンスＷｉ−Ｆｉ接続性、ＵＳＢ接続性、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続性等を含み得る接続性ブロック１１０や、例えばジェスチャを検出および認識し得るマルチメディアプロセッサ１１２等の、特定の機能に適合（tailored to）された追加的な処理ブロックを含み得る。１つのインプリメンテーションでは、ＮＰＵは、ＣＰＵ、ＤＳＰ、および／またはＧＰＵにおいてインプリメントされる。ＳＯＣ１００はまた、センサプロセッサ１１４、画像信号プロセッサ（ＩＳＰ：image signal processor）、および／またはグローバルポジショニングシステムを含み得るナビゲーション１２０を含み得る。
【００２０】
[0031]  ＳＯＣは、ＡＲＭ命令セットに基づき得る。本開示の一態様では、汎用プロセッサ１０２へとロードされる命令は、ワイヤレスネットワークにおける複数のユーザから集められる写真を順位付けするためのコードを備え得る。命令はまた、順位付けおよびユーザの好み（preferences）の第２のセットに基づいて、写真をユーザに分配するためのコードを含み得る。さらに、汎用プロセッサ１０２は、画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイス（例えば、別のカメラ）からのメッセージに基づいて、トリガするためのコードを備え得る。
【００２１】
[0032]  図２は、本開示のある特定の態様による、システム２００の例示的なインプリメンテーションを例示する。図２に例示されるように、システム２００は、ここに説明される方法の様々な動作を実施し得る複数の局所処理ユニット（local processing unit）２０２を有し得る。各局所処理ユニット２０２は、ニューラルネットワークのパラメータを記憶し得る局所パラメータメモリ２０６および局所状態メモリ２０４を備え得る。加えて、局所処理ユニット２０２は、局所モデルプログラムを記憶するための局所（ニューロン）モデルプログラム（ＬＭＰ）メモリ２０８、局所学習プログラムを記憶するための局所学習プログラム（ＬＬＰ）メモリ２１０、および局所結合メモリ２１２を有し得る。さらに、図２に例示されるように、各局所処理ユニット２０２は、局所処理ユニットの局所メモリに関する構成を提供するための構成プロセッサユニット２１４との、および複数の局所処理ユニット２０２間のルーティングを提供するルーティング結合処理ユニット（routing connection processing unit）２１６との、インタフェースをとり得る。
【００２２】
[0033]  深層学習アーキテクチャは、各層において抽象の連続的により高いレベルで（at successively higher levels of abstraction）入力を表現するように学習し、それにより入力データの有益な特徴表現を形成（building up）することによって、オブジェクト認識タスクを実施し得る。このようにして、深層学習は、伝統的な機械学習の主要なボトルネックに対処する。深層学習が出現する前は、オブジェクト認識問題に対する機械学習のアプローチは、場合によってはシャロー分類器（shallow classifier）と組み合わせて、人間によって設計された特徴（human engineered features）に大いに依存してきた可能性がある。シャロー分類器は、例えば、特徴ベクトルコンポーネントの重み付き和（weighted sum）が、入力がどのクラスに属するかを予測するためにしきい値と比較され得る２クラス線形分類器であり得る。人間によって設計された特徴は、領域の専門知識を持った技術者（engineers with domain expertise）によって特定の問題領域に適合されたカーネルまたはテンプレートであり得る。対照的に、深層学習アーキテクチャは、人間の技術者が設計し得るものと同様な特徴を表現すように、ただし訓練を通して、学習し得る。さらに、深層ネットワークは、人間が考慮してこなかった可能性がある新しいタイプの特徴を表現および認識するように学習し得る。
【００２３】
[0034]  深層学習アーキテクチャは、特徴の階層を学習し得る。視覚データで提示される場合、例えば、第１の層は、入力ストリームにおいて、エッジのようなシンプルな特徴を認識するように学習し得る。聴覚データで提示される場合、第１の層は、特定の周波数におけるスペクトルパワーを認識するように学習し得る。第２の層は、第１の層の出力を入力として受け、聴覚データについては音の組合せ、または視覚データについては複数のシンプルな形状のような、特徴の組合せを認識するように学習し得る。上位層（higher layers）は、視覚データにおける複雑な形状、または聴覚データにおける単語を表現するように学習し得る。さらなる上位層は、共通した（common）視覚的オブジェクトまたは発話フレーズを認識するように学習し得る。
【００２４】
[0035]  深層学習アーキテクチャは、自然な階層構造を有する問題に適用されたとき、とりわけ優れて機能し得る。例えば、モーター付き車両の分類は、初めに車輪、フロントガラス、および他の特徴を認識するように学習することから恩恵を受け得る。これらの特徴は、車、トラック、および飛行機を認識するように、上位層において異なる方法で組み合わせられ得る。
【００２５】
[0036]  ニューラルネットワークは、多様な結合パターンを用いて設計され得る。フィードフォワードネットワークでは、情報は、所与の層における各ニューロンが上位層におけるニューロンに伝達（communicating）する、というようにして、下位層から上位層へと渡される。階層表現が、上述したようにフィードフォワードネットワークの連続した層において形成され得る。ニューラルネットワークはまた、再帰型（recurrent）またはフィードバック（トップダウンとも呼ばれる）結合を有し得る。再帰型結合では、所与の層におけるニューロンからの出力は、同じ層における別のニューロンに伝達される。再帰型アーキテクチャは、時間的に展開する（unfold in time）パターンを認識するのに役立ち得る。所与の層におけるニューロンから下位層（lower layer）のニューロンへの結合は、フィードバック（またはトップダウン）結合と呼ばれる。多くのフィードバック結合を有するネットワークは、高レベルの概念の認識が入力の特定の低レベルの特徴を判別する助けとなり得る場合に、役立ち得る。
【００２６】
[0037]  図３Ａを参照すると、ニューラルネットワークの層と層との間の結合は、全結合（fully connected）３０２または局所結合（locally connected）３０４であり得る。全結合ネットワーク３０２では、所与の層におけるニューロンは、次の層におけるすべてのニューロンにそれの出力を伝達し得る。代替的に、局所結合ネットワーク３０４では、所与の層におけるニューロンは、次の層における限られた数のニューロンに結合され得る。畳み込みネットワーク３０６は、局所結合され得、それはさらに、所与の層における各ニューロンに関連する結合強度が共有される特別なケースである（例えば、３０８）。より一般的には、ネットワークの局所結合層は、ある層における各ニューロンが、同一または同様の結合パターンを、ただし異なる値を有し得る結合強度で、有することになるように構成され得る（例えば、３１０、３１２、３１４、および３１６）。局所結合された結合パターンは、所与の領域（region）における上位層のニューロンがネットワークへの総入力の限られた部分の特性についての訓練を通して調整された入力を受け取り得ることにより、上位層において空間的に別個の（spatially distinct）受容野を生じさせ得る。
【００２７】
[0038]  局所結合されたニューラルネットワークは、入力の空間ロケーションが有意味である問題によく適し得る。例えば、車載カメラからの視覚特徴を認識するように設計されたネットワーク３００は、上位層（high layer）のニューロンを、画像の下部対上部とのそれらの関連に応じて異なる特性で発達させ（develop）得る。画像の下部に関連するニューロンは、例えば、車線区分線を認識するように学習し得、一方画像の上部に関連するニューロンは、信号機、交通標識等を認識するように学習し得る。
【００２８】
[0039]  深層畳み込みネットワーク（ＤＣＮ）は、教師あり学習を用いて訓練され得る。訓練の間、ＤＣＮは、速度制限標識の切り取られた画像（cropped image）のような画像３２６を提示され得、次いで出力３２８を生み出すように「前方へのパス（forward pass）」が計算され得る。出力３２８は、「標識」、「６０」、および「１００」のような特徴に対応する値のベクトルであり得る。ネットワーク設計者は、例えば、訓練されたネットワーク３００についての出力３２８に示されるような「標識」および「６０」に対応するもの等の、出力特徴ベクトルにおけるニューロンのうちのいくつかのものについて、ＤＣＮが高いスコアを出力することを望み得る。訓練の前は、ＤＣＮによって生み出される出力は、不正確なものとなる可能性が高く、よって実際の出力とターゲット出力との間で誤差が算出され得る。次いで、ＤＣＮの出力スコアがターゲットとより近く整合され（aligned）得るようにＤＣＮの重みが調整（adjust）され得る。
【００２９】
[0040]  重みを適切に調整するために、学習アルゴリズムは、重みについての勾配ベクトル（gradient vector）を計算し得る。勾配は、重みがわずかに調整された場合に誤差が増加または減少するであろう量を示し得る。最上位層（the top layer）では、勾配は、最後から２番目の層における活性化されたニューロンと出力層におけるニューロンとを結合する重みの値に直接的に対応し得る。下位層（lower layers）においては、勾配は、重みの値に、および上位層の計算された誤差勾配に、依存し得る。重みは次いで、誤差を減少させるように調整され得る。重みを調整するこの方法は、それがニューラルネットワークを通した「後方へのパス（backward pass）」に関わるので、「逆伝播」と呼ばれ得る。
【００３０】
[0041]  実際には、重みの誤差勾配は、算出された勾配が真の誤差勾配を近似する（approximates）ように、少数の例にわたって算出され得る。この近似法は、確率的勾配降下法（stochastic gradient descent）と呼ばれ得る。確率的勾配降下法は、システム全体の達成可能な誤差レートが減少しなくなるまで、または誤差レートがターゲットレベルに達するまで、繰り返され得る。
【００３１】
[0042]  学習の後、ＤＣＮは新しい画像３２６を提示され得、ネットワークを通した前方へのパスが、ＤＣＮの予測または推論と見なされ得る出力３２８を生じさせ（yield）得る。
【００３２】
[0043]  深層信念ネットワーク（ＤＢＮ：Deep belief network）は、隠れノードの複数の層を備える確率モデルである。ＤＢＮは、訓練データセットの階層的な表現を抽出するために使用され得る。ＤＢＮは、制約ボルツマンマシン（ＲＢＭ：Restricted Boltzmann Machine）の層を積層することによって得られ得る。ＲＢＭは、入力のセットにわたる確率分布を学習することができる人工ニューラルネットワークの１つのタイプである。ＲＢＭは各入力がカテゴライズされるべきクラスについての情報がなくても確率分布を学習することができるので、ＲＢＭは教師なし学習（unsupervised learning）でしばしば使用される。教師なしと教師ありとのハイブリッドなパラダイムを使用して、ＤＢＮの最下層のＲＢＭら（the bottom RBMs）は、教師なしの方法で訓練され得、特徴抽出器の役割を果たし得、また最上位のＲＢＭ（the top RBM）は、（ターゲットクラスおよび前の層からの入力の同時分布（joint distribution）で）教師ありの方法で訓練され得、分類器の役割を果たし得る。
【００３３】
[0044]  深層畳み込みネットワーク（ＤＣＮ）は、追加的なプーリングおよび正規化層（pooling and normalization layers）を用いて構成された畳み込みネットワークのネットワークである。ＤＣＮは、多くのタスクに対して最先端のパフォーマンスを達成している。ＤＣＮは、入力および出力ターゲットの両方が、多くの標本（exemplars）について知られており、勾配降下法の使用によりネットワークの重みを修正するために使用される、教師あり学習を使用して訓練されることができる。
【００３４】
[0045]  ＤＣＮは、フィードフォワードネットワーク（feed-forward networks）であり得る。加えて、上述したように、ＤＣＮの第１の層におけるニューロンからすぐ上の上位層におけるニューロンのグループへの結合は、第１の層における複数のニューロンにわたって共有される。ＤＣＮのフィードフォワードおよび共有される結合は、高速処理のために活用され得る。ＤＣＮの計算負担は、例えば、再帰型またはフィードバック結合を備える同様のサイズのニューラルネットワークの計算負担に比べて、格段に小さい可能性がある。
【００３５】
[0046]  畳み込みネットワークの各層の処理は、空間的に不変のテンプレートまたは基底射影（basis projection）と考えられ得る。入力が初めにカラー画像の赤、緑、および青チャネルのようなマルチプルなチャネルに分解される場合、次いでその入力について訓練された畳み込みネットワークは、画像の軸に沿った２つの空間次元と、色情報をキャプチャする第３の次元とを有する、３次元と見なされ得る。畳み込み結合の出力は、後続の層３１８、３２０、および３２２において特徴マップを形成すると見なされ得、特徴マップ（例えば、３２０）の各要素は、前の層（例えば、３１８）におけるある範囲のニューロンから、および複数のチャネルの各々から、入力を受け取る。特徴マップにおける値は、正規化（rectification）、ｍａｘ（０，ｘ）のような非線形性でさらに処理され得る。隣接したニューロンからの値はさらに、プーリング３２４され得、それはダウンサンプリングに対応するものであり、そして追加的な局所不変性および次元削減を提供し得る。正規化（Normalization）は、白色化に対応するものであり、それはまた特徴マップにおけるニューロン間の側抑制（lateral inhibition）を通して適用され得る。
【００３６】
[0047]  深層学習アーキテクチャのパフォーマンスは、利用可能となるラベル付けされたデータポイントが多いほど、または計算能力が増加するほど、向上し得る。現代の深層ニューラルネットワークは、ほんの１５年前に一般の研究者に利用可能であったものの数千倍の計算リソースで日常的に（routinely）訓練される。新しいアーキテクチャおよび訓練パラダイムは、深層学習のパフォーマンスをさらに向上させ得る。正規化線形ユニット（Rectified linear units）は、勾配消失（vanishing gradient）として知られる訓練課題を減少させ得る。新しい訓練技法は、過剰適合（over-fitting）を減少させ得、故により大きなモデルがより良い汎化（generalization）を達成することを可能にし得る。カプセル化技法は、所与の受容野におけるデータを抽象化し、全体的な（overall）パフォーマンスをさらに向上させ得る。
【００３７】
[0048]  図３Ｂは、例示的な深層畳み込みネットワーク３５０を例示するブロック図である。深層畳み込みネットワーク３５０は、結合（connectivity）および重み共有に基づいて、複数の異なるタイプの層を含み得る。図３Ｂに示されるように、例示的な深層畳み込みネットワーク３５０は、複数の畳み込みブロック（例えば、Ｃ１およびＣ２）を含む。畳み込みブロックの各々は、畳み込み層、正規化層（Ｌノルム）、およびプーリング層で構成され得る。畳み込み層は、特徴マップを生成するために入力データに適用され得る１つまたは複数の畳み込みフィルタを含み得る。２つの畳み込みブロックのみが示されているが、本開示は、そのように限定されるわけではなく、代わりに、任意の数の畳み込みブロックが、設計選好に従って、深層畳み込みネットワーク３５０に含まれ得る。正規化層は、畳み込みフィルタの出力を正規化するために使用され得る。例えば、正規化層は、白色化または側抑制を提供し得る。プーリング層は、局所不変性および次元削減のために空間にわたってダウンサンプリングアグリゲーションを提供し得る。
【００３８】
[0049]  例えば深層畳み込みネットワークの、並列なフィルタバンクは、高パフォーマンスと低電力消費とを達成するために、オプションとして、ＡＲＭ命令セットに基づいて、ＳＯＣ１００のＣＰＵ１０２またはＧＰＵ１０４上にロードされ得る。代替的な実施形態では、並列なフィルタバンクは、ＳＯＣ１００のＤＳＰ１０６またはＩＳＰ１１６上にロードされ得る。加えて、ＤＣＮは、センサ１１４およびナビゲーション１２０に専用の処理ブロックのような、ＳＯＣ上に存在し得る他の処理ブロックにアクセスし得る。
【００３９】
[0050]  深層畳み込みネットワーク３５０はまた、１つまたは複数の全結合層（例えば、ＦＣ１およびＦＣ２）を含み得る。深層畳み込みネットワーク３５０は、ロジスティック回帰（ＬＲ）層をさらに含み得る。深層畳み込みネットワーク３５０の各層間には、更新されるべき重み（示されていない）がある。各層の出力は、第１の畳み込みブロックＣ１において供給される入力データ（例えば、画像、オーディオ、ビデオ、センサデータ、および／または他の入力データ）から階層的な特徴表現を学習するために、深層畳み込みネットワーク３５０における次の層（a succeeding layer）の入力の役割を果たし得る。
【００４０】
[0051]  図４は、人工知能（ＡＩ）機能をモジュール化し得る例示的なソフトウェアアーキテクチャ４００を例示するブロック図である。このアーキテクチャを使用して、ＳＯＣ４２０（例えば、ＣＰＵ４２２、ＤＳＰ４２４、ＧＰＵ４２６、および／またはＮＰＵ４２８）の様々な処理ブロックに、アプリケーション４０２の実行時動作の間の計算をサポートすることを実施させ得るアプリケーション４０２が設計され得る。
【００４１】
[0052]  ＡＩアプリケーション４０２は、例えば、デバイスが現在動作するロケーションを示すシーンの検出および認識を提供し得る、ユーザ空間４０４において定義された機能を呼び出すように構成され得る。ＡＩアプリケーション４０２は、例えば、認識されたシーンがオフィスであるか、講堂であるか、レストランであるか、または湖のような屋外環境であるかに応じて、異なった方法で、マイクロフォンおよびカメラを構成し得る。ＡＩアプリケーション４０２は、現在のシーンの推定を提供するように、シーン検出アプリケーションプログラミングインタフェース（ＡＰＩ：SceneDetect application programming interface）４０６において定義されたライブラリに関連するコンパイルされたプログラムコードに対して要求を行い得る。この要求は、例えば、ビデオおよびポジショニングデータに基づいてシーン推定を提供するように構成される、深層ニューラルネットワークの出力に、最終的に依存し得る。
【００４２】
[0053]  実行時エンジン４０８は、実行時フレームワークのコンパイルされたコードであり得、それはさらに、ＡＩアプリケーション４０２にアクセス可能であり得る。ＡＩアプリケーション４０２は、実行時エンジンに、例えば、特定の時間間隔における、またはアプリケーションのユーザインタフェースによって検出されたイベントによってトリガされる、シーン推定を要求させ得る。シーンを推定させられるとき、実行時エンジンは今度は、ＳＯＣ４２０上で実行中のＬｉｎｕｘ（登録商標）カーネル４１２のようなオペレーティングシステム４１０に信号を送り得る。オペレーティングシステム４１０は、今度は、ＣＰＵ４２２、ＤＳＰ４２４、ＧＰＵ４２６、ＮＰＵ４２８、またはそれらの何らかの組合せ上で計算が実施されるようにし得る。ＣＰＵ４２２は、オペレーティングシステムによって直接的にアクセスされ得、他の処理ブロックは、ＤＳＰ４２４のための、ＧＰＵ４２６のための、またはＮＰＵ４２８のためのドライバ４１４〜４１８のようなドライバを通して、アクセスされ得る。例示的な例では、深層ニューラルネットワークは、ＣＰＵ４２２およびＧＰＵ４２６のような処理ブロックの組合せ上で実行するように構成され得る、または、存在する場合にはＮＰＵ４２８上で実行し得る。
【００４３】
[0054]  図５は、スマートフォン５０２上のＡＩアプリケーションの実行時動作５００を例示するブロック図である。ＡＩアプリケーションは、画像５０６のフォーマットを変換し、次いで画像５０８をクロップおよび／またはサイズ変更（resize）するように（例えば、ＪＡＶＡ（登録商標）プログラミング言語を使用して）構成され得る前処理モジュール５０４を含み得る。前処理された画像は次いで、視覚入力に基づいて、シーンを検出および分類するように（例えば、Ｃプログラミング言語を使用して）構成され得るシーン検出バックエンドエンジン（SceneDetect Backend Engine）５１２を含む分類アプリケーション５１０に伝達され得る。シーン検出バックエンドエンジン５１２は、スケーリング５１６およびクロッピング５１８によって、画像をさらに前処理５１４するように構成され得る。例えば、画像は、結果的な画像が２２４ピクセル×２２４ピクセルとなるようにスケーリングおよびクロップされ得る。これらの次元は、ニューラルネットワークの入力次元にマッピングし得る。ニューラルネットワークは、ＳＯＣ１００の様々な処理ブロックに深層ニューラルネットワークを用いて画像ピクセルをさらに処理させるように、深層ニューラルネットワークブロック５２０によって構成され得る。深層ニューラルネットワークの結果は次いで、しきい値処理（thresholded）５２２され、分類アプリケーション５１０における指数平滑化（exponential smoothing）ブロック５２４を通過させられ得る。平滑化された結果は次いで、スマートフォン５０２の設定および／または表示の変更を引き起こし得る。
【００４４】
クラウドソースの写真撮影の管理
[0055]  本開示の態様は、画像を共同して取得する知的なカメラネットワークを対象とする。具体的には、ネットワークは、他の画像キャプチャリングデバイスからのメッセージを含み得るトリガに基づいて、画像を自動的にキャプチャするように構成される。さらに、ネットワークは、「最良の（best）」画像を撮影する（take）ように構成される。ネットワークは、オプションとして、同じイベントから撮影された複数のクラウドソースのピクチャを分配し得る。１つの態様は、複数の人々／デバイスがピクチャを撮影しているイベントの「最良の」画像をクラウドソーシングすることを含む。例えば、サッカーイベントのような、多くの異なる人々がいるイベントにおいて、本開示の態様は、ユーザに、特定のユーザのための最良の写真を提供する。例えば、サッカー選手がゴールを決める場合、サッカースタジアムの一方の側にいるファンは、スタジアムの反対側にいるファンに比べてより良いビューポイントを有し得、より良い写真をキャプチャし得る。本開示の態様は、ゴールを決める選手のより良い写真のコピーをファンが得ることを可能にする。
【００４５】
[0056]  図６Ａは、マルチメディア管理システム６００の例示的な動作を例示するブロック図である。ブロック６０２において、ユーザは、写真共有ストリームまたはサービスにサブスクライブ（subscribes）するまたは参加する。ストリームまたはサービスは、無料であり得るか、または有料（fee based）であり得る。例えば、ダウンロードされる写真ごとに料金がかかり得る。一部のケースでは、例えば専門家等のある特定の人々が撮影した写真に割増料金（premium）が課されることができる。一態様では、サブスクリプション共有サービス（subscription sharing service）が利用される。サービスは、ユーザデバイス（例えば、スマートフォン）上のソフトウェアアプリケーションに関連し得る。ブロック６０４において、写真が取得される。一態様では、写真は自動的に取得される。システム６００は、画像が「興味を引く（interesting）」ものであるときにユーザデバイスが写真の自動的なキャプチャを開始することができる自動キャプチャ能力を含み得る。興味を引くとは、多くのアクティビティ、ピークアクティビティ、（ゴールのような）重要なオブジェクトに近い動き等、を指し得る。興味深さ（interestingness）の測定は、デバイス自身上での計算（computations）に基づき得る。代わりに、興味深さの測定は、オフデバイスの計算（off device calculations）に基づき得る。
【００４６】
[0057]  別の態様では、デバイスは、自動的に写真キャプチャを開始するように構成され得る。多くの異なる要因が、画像の自動的な取得をトリガし得る。一例では、メタデータが取得をトリガし得る。例えば、メタデータは、イベントにおけるスコアがたった今変化したかどうかを示し得る。さらに、メタデータは、自動的にピクチャを撮影するようにデバイスをその後トリガし得る、イベントにつながりのあるツイートに関連し得る。デバイスは、スマートフォンおよびカメラを含み得るが、それらに限定されるわけではない。一例では、カメラは、メタデータストリームへのアクセスを有し、また、何か興味を引くものがメタデータに示されるとき、ピクチャを自動的に撮影するように構成される。
【００４７】
[0058]  一態様では、共同した写真撮影システムが画像の自動的なキャプチャのために利用される。図６Ｂは、画像および写真の取得用に使用するための、共同した写真撮影システム６４０の例を例示する。画像キャプチャデバイス６４２は、メッセージキュレータ６４４およびカメラトリガ６４６を含む。画像キャプチャデバイスの例は、カメラ、インターネットプロトコル（ＩＰ）カメラ、ビデオカメラ、スマートフォン等を含み得るが、それらに限定されるわけではない。画像キャプチャデバイス６４２は、他の画像キャプチャデバイス６４８ａ−ｄと通信状態である。例えば、画像キャプチャデバイス６４２は、メッセージキュレータ６４４を介して他の画像キャプチャデバイス６４８ａ−ｄへの通信を送り得るおよび受信し得る。画像キャプチャデバイス６４８ａ−ｄは、同じタイプの画像キャプチャデバイスであり得るか、または異なるタイプの画像キャプチャデバイスであり得る。さらに、画像キャプチャデバイス６４２は、画像キャプチャデバイス６４８ａ−ｄのうちの任意のものと同じであり得るか、または異なったものであり得る。
【００４８】
[0059]  一態様では、メッセージキュレータ６４４は、カメラトリガ６４６に画像６５０を取得するように促すメッセージを画像キャプチャデバイス６４８ａ−ｄのうちの１つから受信する。メッセージは、事前に定義されたトリガ要因（triggering factor）の検出または予測に基づいて、導出され得る。トリガ要因は、指定された（specified）動きシーケンス、シーン内のエンティティ／オブジェクトのアイデンティティ（identity）、ロケーションデータ、行動パターン、構図（composition）および時間的データ（temporal data）を含み得る。深層ニューラルネットワークは、事前に定義されたトリガ要因の発生を予測するために利用され得る。
【００４９】
[0060]  一態様では、受信されるメッセージは、関連するまたは指定された動きシーケンスを検出することに基づく。例えば、スポーツイベント中、ゴールキーパーがすばらしいセーブをする時のような、試合中の心を動かされる瞬間（intense moments）をキャプチャすることが望ましい。ゴールキーパーがセーブをするのを検出すると、画像キャプチャデバイス６４２は、ゴールキーパーのセーブの画像を自動的にキャプチャするようにトリガされる。
【００５０】
[0061]  別の例では、メッセージは、関連する指定された動きシーケンスを予測することに基づく。例えば、スポーツイベント中、画像キャプチャデバイス６４２は、選手のムーブメントを詳述（detailing）する指定された動きシーケンス情報を含み得る入力を、他の画像キャプチャデバイス６４８ａ−ｄから受信する。受信された入力および動きシーケンス情報の分析に基づいて、選手がいつゴールでシュートをし得るかが予測され得る。ゴールでのシュートを予測すると、画像キャプチャデバイス６４２は、選手がシュートする写真をキャプチャするために準備をするようにトリガされる。
【００５１】
[0062]  画像の取得をトリガするように構成されるメッセージはまた、シーン内のエンティティおよび／またはオブジェクトのアイデンティティの検出または予測に基づき得る。具体的には、メッセージは、シーン中の特定のオブジェクト、人間、動物、またはペットに基づき得る。例えば、共同した写真撮影システム６４０は、野外の野生動植物の生息地（a wild outdoor habitat）において、動物の行動をキャプチャするために利用され得る。本開示の態様によれば、特定の動物の画像がキャプチャされ得る。具体的には、システム６４０が、白ヒョウの画像のみをキャプチャして他の動物の画像はキャプチャしないように、共同した写真撮影システム６４０が白ヒョウと他の動物とを見分けることができる状況で、白ヒョウのピクチャが撮影され得る。特定の動物（例えば、白ヒョウ）の検出の際、画像キャプチャデバイス６４２は、画像６５０を取得するようにトリガされる。さらに、別の態様では、他の画像キャプチャデバイスは、写真を撮影する準備をいつすべきかを注意喚起（alerted）され得る。例えば、デバイス６４８ａが興味を引く動物（例えば、白ヒョウ）を検出するとき、それはメッセージキュレータ６４４に注意喚起し（例えば、メッセージを送り）、それは興味を引く動物が近づいていることを他のデバイス６４２および６４８ｂ−ｄに注意喚起する。デバイス６４２および６４８ｂ−ｄは、白ヒョウの画像をキャプチャする準備をする。別の態様では、最良のアングルを有するデバイス６４２または６４８ｂ−ｄが、白ヒョウの画像をキャプチャするようにトリガされる。
【００５２】
[0063]  画像の取得をトリガするように構成されるメッセージは、行動および／または感情のパターンに基づき得る。例えば、スポーツイベント中は、チームがチャンピオンシップゲームに勝つときのような、感情をかき立てる瞬間の写真を撮影することが望ましい。感情をかき立てる瞬間は、試合のスコア、また試合開始から経過した時間の長さのようなメタデータの組合せに基づいて予測され得る。サッカーを例にすると、９０分が過ぎて勝利チームがお祝いモードになりつつあると、画像キャプチャデバイス６４２は、画像をキャプチャする準備を始めることができる。
【００５３】
[0064]  別の例では、画像キャプチャデバイス６４８ａ−ｄは、ソーシャルネットワークの一部であり得る。多くのデバイスがピクチャを撮影しているとき、それは何か興味を引くことが発生しているインジケーションであり得る。ピクチャを撮影している多くのデバイスに関係する行動パターンは次いで、画像キャプチャをトリガするためにメッセージを送ることを促し得る。
【００５４】
[0065]  画像取得をトリガするように構成されるメッセージは、構図に基づき得る。例えば、夕日を前にした家族のピクチャの場合には、太陽が沈み始めるとシーンは素早く変化し得る。写真を撮影するための最良の瞬間は、光の条件（lighting conditions）とともに太陽のパーフェクトなシルエットを考慮し得る。最良の構図が利用可能となった時点で、画像キャプチャデバイス６４２は、シーンを自動的にキャプチャするようにトリガされ得る。さらに、時刻、地理的なロケーション等のようなメタデータ情報が、夕日のピクチャを撮影する最良の時間を予測するために利用され得る。メッセージキュレータ６４４は、予測された最良の時間についてのメッセージを受信し、画像キャプチャデバイス６４２がその最良の時間に夕日の画像をキャプチャするための準備をするように、トリガし得る。
【００５５】
[0066]  別の態様では、メッセージは、カメラ設定、方向についての命令（directional instructions）、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを含み得る。具体的には、画像の取得をトリガするためのメッセージは、限定するわけではないが、例えば、フラッシュ、露出（exposure）、絞り等のようなカメラ要素についての制御コマンドまたはカメラ設定を含み得る。例えば、第１のカメラは、別のカメラに、第１のカメラが撮影している写真のためにフラッシュをトリガすることを要求し得る。カメラのグループは、光の条件を協力し合って決定し得る。
【００５６】
[0067]  さらに、メッセージは、タイミングおよびロケーション情報を含み得る。例えば、メッセージは、現在のロケーションおよび／または時間においてピクチャを撮影するためのコマンドを含み得る。オプションとして、メッセージは、将来の場所および／または時間においてピクチャを撮影するコマンドを含み得る。別の態様では、メッセージは、キャプチャされるべきシーン（例えば、ビデオまたは写真）の説明を含む。一態様では、含まれた説明に基づいて、画像キャプチャデバイス６４２は、写真を取得しないことを決定し得る。例えば、ロケーション情報により、画像を取得することが非実用的（impractical）とされる場合、デバイス６４２は、写真を撮影しないことを決定し得る。
【００５７】
[0068]  メッセージは、方向についての命令および／または方向についての情報（directional information）を含み得る。例えば、ネットワーク６４０におけるカメラのうちのいくつかは、柱に取り付けられたカメラ（pole-mounted cameras）を含み得る。スポーツイベント中、柱に取り付けられたカメラは、最良の瞬間をキャプチャするように構成される。カメラは、ゴールの瞬間が近づいていること、またカメラが写真をキャプチャするために自身を最良のアングルに設定することによって準備をするべきであることを、ネットワークにおける別のカメラによって通知され得る。メッセージキュレータ６４４は、来たるゴールの画像をキャプチャするようにデバイスに準備をさせるための、アングルおよびロケーションに関するコマンドを有するメッセージを送る。また、異なる複数のカメラからの複数の画像が、３Ｄ画像を作り出すために組み合わせられ得る。
【００５８】
[0069]  別の態様では、共同した写真撮影システム６４０は、興味を引くオブジェクトと画像をキャプチャするための正確なロケーションとを検出するように構成される。システム６４０はまた、画像をキャプチャするための最良のロケーションおよび最良のカメラを利用するように構成される。画像が自動的にキャプチャされた後、深層ニューラルネットワークが、どの画像が最良であるかを決定するために利用され得る。深層ニューラルネットワークは、画像を所望の（例えば、使い道のある（useable）／最良の）画像のサブセットにソートし得る。
【００５９】
[0070]  再び図６Ａを参照すると、ユーザ（例えば、ワイヤレスネットワークにおける複数のユーザ）から写真が取得された後、それら写真は、ブロック６０６において、順位付けされることができる。順位付けは、特徴ベクトルおよび分類されたラベルに基づき得る。特徴ベクトルおよび分類されたラベルは、写真のピクセル、メタデータおよび／またはユーザの好みから導出され得る。メタデータは、イベントについての外部のデータ、画像タグ、画像ラベル、および／またはイベントについてのインターネットトラフィック（例えば、特定のハッシュタグを有するツイートの数）を含み得るが、それらに限定されるわけではない。
【００６０】
[0071]  さらに、順位付けは、一般的な順位付けおよびユーザによって定義された順位付け基準に基づき得る。例えば、写真は、画像の品質ならびに画像のコンテンツ等、画像自体に基づいて、順位付けされ得る。順位付け処理はまた、ある時間期間内に撮影されたピクチャの数に基づき得る。例えば、多くの他の写真が撮影されたのと同じ時間に撮影された写真は、興味を引くイベントを示し得、これらの写真は、重要性が高められて順位付けされ得る（ranked with increased importance）。写真の順位付けはまた、外部要因によって影響を受け得る。例えば、スポーツイベントにおいてスコアが変化した直前に撮影されたすべての写真は、興味を引くものであり得、より高く順位付けされ得る。試合の情報のオンラインストリーミング（または無線ブロードキャストさえも）が、スコアが変化した時間を決定するために利用され得る。さらに、順位付けは、（特徴ベクトルによって定義される）スポーツイベントでの声援（cheering）のような周辺のエリアにおけるデシベルレベルに基づき得る。
【００６１】
[0072]  写真が順位付けされた後、高く順位付けされた写真が、順位付けおよびユーザの好みに基づいて、ブロック６０８において、ユーザデバイスに分配される。第２の順位付けが、ユーザの好みに基づいて、ユーザのデバイスにおいて発生し得る。例えば、１００枚の写真がユーザのデバイスにプッシュされる場合、ユーザは、これらの写真を拒否（reject）または気に入る（like）ことができる。この情報は、ユーザのデバイスにおいて受信される写真をユーザの個人的な好みに、より良くパーソナライズするために、写真順位付けアルゴリズムにフィードバックされる。ある時間の期間の後、管理システム６００は、ユーザの個人的な好みを学習する。ユーザは次いで、ブロック６１０において、総合的な品質（overall quality）の観点から、またユーザ自身の個人的な好みの観点から、イベントの最良の写真を受信する。
【００６２】
[0073]  別の態様は、画像の望ましさを順位付けするために、深層畳み込みネットワーク（ＤＣＮ）のようなニューラルネットワークを訓練することを対象とする。ラベル付けされた画像およびメタデータが、ＤＣＮを訓練するために利用され得る。訓練ラベルは、正規化された望ましさのスコアを含み得る。さらに、一次分類器は、各画像の望ましさについての正規化された順位付けを学習するために、ＤＣＮから直接的に入力を受け取り得る。図７Ａ〜図７Ｂは、画像を順位付けするためにＤＣＮを訓練するための例示的な処理を例示する。
【００６３】
[0074]  図７Ａは、画像の望ましさの正規化された順位付けを学習するためにＤＣＮを訓練するための処理７００を例示する。この順位付けは、ユーザ固有の順位付けとは対照的に、一般的なガイドラインである。具体的には、ＤＣＮは、例えば、「良い」および「悪い」写真を理解するように訓練され得る。写真７０２が取得され、前処理ユニット７０４に与えられる（fed to）。処理された画像は次いで、ＤＣＮ７０６に与えられる。さらに、タグ７０８がＤＣＮ７０６に送られる。タグ７０８は、画像が「良い」か「悪い」かに関する一般的なタグである。一態様では、一般的なタグ７０８は、人々の一般的な集団から生じる（originates from a general population of people）。オプションとして、非視覚入力７０５もまた、ＤＣＮ７０６に与えられ得る。非視覚入力７０５の例は、写真が撮影された時間における特定のハッシュタグを有するツイートの数、試合のスコア、それが写真を撮影した時間にデバイスによって測定されたデシベルレベル等を含み得るが、それらに限定されるわけではない。
【００６４】
[0075]  図７Ｂは、ユーザ固有の「良い」および「悪い」写真を理解するためにＤＣＮを訓練するための例示的な処理７１０を例示する。このケースでは、二次的な分類器は、ユーザ固有であり、ユーザフィードバックに基づいて訓練される。写真７１２が撮影され、前処理ユニット７１４において前処理を受ける。画像は次いで、ＤＣＮ７１６に送られる。ユーザ７１１は、画像に、良いまたは悪いとタグ付けし、タグ７１８をＤＣＮ７１６に与えることができる。二次的な分類器は、ユーザごとに存在し得、ユーザフィードバックに基づいて訓練される。順位付けは次いで、ユーザフィードバックに基づいて調整され得る。具体的には、タグ７１８はユーザ固有である。例えば、皆はある写真のことを良いと思い得るのだがユーザ７１１はその写真を悪いと考える場合、ユーザ７１１は、写真７１２についてユーザ固有のタグ（例えば、「悪い」）を入力することになる。例えば、多くのピクチャ（例えば、１００枚）の集まりにおいて、ユーザは「悪い」ピクチャを識別する。ＤＣＮは、「悪い」特徴を学習し、ユーザタグがパフォーマンスを強化（reinforce）する。悪い特徴は、悪い光（bad lighting）、ヒストグラム、ゆがんだ線（skewed lines）、フレーム内の部分的な顔／体、被写体のぶれ（motion blur）、同じ画像が多すぎる、等を含み得るが、それらに限定されるわけではない。さらに、いくつかの態様では、ＤＣＮ特徴とともにバイナリリワード／パニッシュメントモデル（a binary reward/punishment mode）が利用され得る。
【００６５】
[0076]  別の態様では、正規化は、気に入り（likes）、表示（views）、シェア、ヒットの総数、または他のユーザフィードバック測定値に基づく。さらに、特別なステータスを有するユーザ（例えば、チームのコーチ）は、正規化された望ましさのスコアのスペクトルのハイエンド（at the high end）に重み付けされたフィードバックを提供することができる。さらに、ユーザフィードバックは、接触ベースの入力を通して提供される良い／悪い（例えば、気に入る（likes）または気に入らない（not liked））の形式、および／またはデバイスを伴って成されるジェスチャの形式であり得る。
【００６６】
[0077]  図７Ｃは、最良の写真をエンドユーザに届ける（deliver）ために訓練されたＤＣＮを利用する例示的な処理７２０を例示する。具体的には、ＤＣＮ７２６が訓練された後、写真７２２は前処理ユニット７２４に送られる。画像は次いで、分類および順位付けのためにＤＣＮ７２６に送られる。具体的には、訓練されたＤＣＮ７２６は、分類７２８（例えば、良い／悪い）および画像順位付け７２９を出力する。最良の写真（例えば、最も高く順位付けされた良い写真ら（photos））が、ユーザ７２１に送られる。
【００６７】
[0078]  多様な方法が、ユーザデバイスにおいて受信される写真を限定するためにインプリメントされ得る。すべての最良の写真を受け入れるのではなく、ユーザは、ユーザデバイスにプッシュされる写真の数を限定するために、様々な設定およびフィルタを開始（initiate）し得る。これらのフィルタ／設定は、ある特定の基準および／またはユーザ設定に基づき得る。例えば、ユーザは、１０枚の写真のみを受け入れることを望み得る。ユーザは、ユーザデバイスにプッシュされる写真の数を限定するように設定を構成し得る。さらに、ユーザは、ある特定の人々のピクチャを受け取ることのみを望み得る。例えば、ユーザは、彼の子供の画像を受信することのみを望み得る。このタイプの設定は、ダウンロードするために提案された写真に対する顔認識を用いてインプリメントおよび実施され得る。さらに、ユーザは、受信される写真を、人々のあるグループのみに限定し得る。さらに、別の態様では、受信される写真は、コンテキストによって限定され得る。例えば、ユーザは、空中のボールが映った写真のみを受信することを決め得る。分類器は、特定のコンテキストの（例えば、バスケットボール選手が空中にボールを投げている）写真をＤＣＮに与えることによって訓練され得る。
【００６８】
[0079]  別の態様では、ユーザは、それらが既にダウンロードされているものよりも高いスコアを有しない限り、写真を拒否することができる。これは、ユーザデバイスにおけるメモリ管理を可能にする。さらに、ユーザは、順位付けメカニズムにフィードバックを提供することができる。例えば、より全体的な気に入りを伴う写真（photos with more overall likes）は、高く順位付けされる可能性がより高い。
【００６９】
[0080]  一構成では、機械学習モデルは、ワイヤレスネットワーク内での共同した写真撮影のために構成される。機械学習モデルは、トリガするための手段を含む。一態様では、トリガするための手段は、記載された機能を実施するように構成された、汎用プロセッサ１０２、汎用プロセッサ１０２に関連するプログラムメモリ、メモリブロック１１８、局所処理ユニット２０２、および／またはルーティング結合処理ユニット２１６であり得る。別の構成では、機械学習モデルは、画像を取得するための手段を含む。別の構成では、前述の手段は、前述の手段によって記載された機能を実施するように構成された、いかなるモジュールまたはいかなる装置でもあり得る。
【００７０】
[0081]  本開示のある特定の態様によれば、各局所処理ユニット２０２は、ネットワークの所望の１つまたは複数の機能的特徴に基づいて機械学習ネットワークのパラメータを決定し、決定されたパラメータがさらに適合（adapted）、調整（tuned）、および更新されるときに１つまたは複数の機能的特徴を所望の機能的特徴を目指して発展させるように構成され得る。
【００７１】
[0082]  図８は、共同した写真撮影のための方法８００を例示する。ブロック８０２において、第１の画像キャプチャデバイスが、第２の画像キャプチャデバイスからのメッセージに基づいて、画像を取得するようにトリガされる。ブロック８０４において、第１の画像キャプチャデバイスは、画像を取得する。
【００７２】
[0083]  上に説明された方法の様々な動作は、対応する機能を実施することが可能であるいかなる好適な手段によっても実施され得る。これら手段は、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサに限定されるわけではないがそれらを含む、様々なハードウェアおよび／またはソフトウェアコンポーネント（１つまたは複数）および／またはモジュール（１つまたは複数）を含み得る。一般に、図に例示された動作が存在する場合、それらの動作は、同様の番号を有する、対応するカウンターパートのミーンズプラスファンクションコンポーネントを有し得る。
【００７３】
[0084]  ここで使用される場合、「決定すること（determining）」という用語は、多種多様なアクションを包含する。例えば、「決定すること」は、算出／計算すること（calculating）、計算すること（computing）、処理すること（processing）、導出すること（deriving）、調査すること（investigating）、調べること（looking up）（例えば、表、データベース、または別のデータ構造を調べること）、確かめること（ascertaining）等を含み得る。さらに、「決定すること」は、受け取る／受信すること（receiving）（例えば、情報を受け取る／受信すること）、アクセスすること（accessing）（例えば、メモリ内のデータにアクセスすること）等を含み得る。さらに、「決定すること」は、解決すること（resolving）、選択すること（selecting）、選ぶこと（choosing）、確立すること（establishing）等を含み得る。
【００７４】
[0085]  ここで使用される場合、項目のリスト「のうちの少なくとも１つ」に言及する表現は、単一のメンバ（members）を含む、それらの項目のうちの任意の組合せに言及するものである。例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーするように意図されている。
【００７５】
[0086]  本開示に関連して説明された様々な例示的な論理ブロック、モジュールおよび回路は、ここに説明された機能を実施するように設計された、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイシグナル（ＦＰＧＡ）、または他のプログラマブル論理デバイス（ＰＬＤ）、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいはそれらの任意の組合せを用いてインプリメントまたは実施され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替の方法では、プロセッサは、いかなる市販のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでもあり得る。プロセッサはまた、コンピューティングデバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連結した１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成としてもインプリメントされ得る。
【００７６】
[0087]  本開示に関連して説明されたアルゴリズムまたは方法のステップは、直接的にハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはそれら２つの組合せにおいて、具現化され得る。ソフトウェアモジュールは、当該技術分野において知られているいかなる形態の記憶媒体にも存在し得る。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ等を含む。ソフトウェアモジュールは、単一の命令または多くの命令を含み得、いくつかの異なるコードセグメントにわたって、異なるプログラムの間で、および、複数の記憶媒体にわたって、分散され得る。記憶媒体は、プロセッサが記憶媒体から情報を読み取ることができるように、また記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。別の方法では、記憶媒体は、プロセッサと一体化され得る。
【００７７】
[0088]  ここに開示された方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。これら方法のステップおよび／またはアクションは、特許請求の範囲の適用範囲（the scope）から逸脱することなく、互いに置き換えられ得る。言い換えれば、ステップまたはアクションの特定の順序が規定されていない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲の適用範囲から逸脱することなく修正され得る。
【００７８】
[0089]  説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいてインプリメントされ得る。ハードウェアでインプリメントされる場合、例示的なハードウェア構成は、デバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いてインプリメントされ得る。バスは、処理システムの特定の用途および全体的な設計制約に応じて、相互接続バスおよびブリッジをいくつでも含み得る。バスは、プロセッサ、機械読み取り可能な媒体、およびバスインタフェースを含む様々な回路を互いにリンクさせ得る。バスインタフェースは、バスを介してネットワークアダプタをとりわけ処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能をインプリメントするために使用され得る。ある特定の態様については、ユーザインタフェース（例えば、キーパッド、ディスプレイ、マウス、ジョイスティック等）もまたバスに接続され得る。バスはまた、例えばタイミングソース、周辺機器、電圧レギュレータ、電力管理回路等の様々な他の回路をリンクし得るが、それらは当該技術分野において周知であるので、これ以上説明されることはない。
【００７９】
[0090]  プロセッサは、機械読み取り可能な媒体に記憶されたソフトウェアの実行を含む、一般的な処理およびバスの管理を担い得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いてインプリメントされ得る。例は、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行することができる他の回路構成を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその他の名称に関わらず、命令、データ、またはそれらの任意の組合せを意味するように広く解釈されるべきである。機械読み取り可能な媒体は、例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光学ディスク、ハードドライブ、または任意の他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械読み取り可能な媒体は、コンピュータプログラム製品において具現化され得る。コンピュータプログラム製品は、パッケージング素材を備え得る。
【００８０】
[0091]  ハードウェアインプリメンテーションでは、機械読み取り可能な媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者が容易に認識することになるように、機械読み取り可能な媒体またはその任意の部分は、処理システムの外部に存在し得る。例として、機械読み取り可能な媒体は、送信線、データによって変調される搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得、それらのすべては、バスインタフェースを通してプロセッサによってアクセスされ得る。代替的に、または追加的に、機械読み取り可能な媒体またはその任意の部分は、プロセッサに統合され得、そのような場合にはキャッシュおよび／または汎用レジスタファイルを伴い得る。説明された様々なコンポーネントは、局所コンポーネントのように特定のロケーションを有するものとして説明され得るが、それらはまた、例えば、ある特定のコンポーネントは分散された計算システム（distributed computing system）の一部として構成されるなど、様々な方法で構成され得る。
【００８１】
[0092]  処理システムは、外部のバスアーキテクチャを通してすべてが他のサポーティング回路構成とリンクしている、機械読み取り可能な媒体の少なくとも一部を提供する外部のメモリと、プロセッサの機能性を提供する１つまたは複数のマイクロプロセッサと、を有する汎用処理システムとして構成され得る。代替的に、処理システムは、ここに説明されたニューラルシステムのモデルおよびニューロンモデルをインプリメントするための１つまたは複数のニューロン形態学的プロセッサ（neuromorphic processors）を備え得る。別の代替としては、処理システムは、プロセッサ、バスインタフェース、ユーザインタフェース、サポーティング回路構成、および単一のチップに統合された機械読み取り可能な媒体の少なくとも一部、を有する特定用途向け集積回路（ＡＳＩＣ）を用いて、または、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム可能な論理デバイス（ＰＬＤ）、コントローラ、ステートマシン、ゲート論理、ディスクリートハードウェアコンポーネント、または任意の他の好適な回路構成、あるいは本開示を通して説明された様々な機能性を実施することができる回路の任意の組合せを用いて、インプリメントされ得る。当業者は、特定の用途およびシステム全体に課せられた全体的な設計制約に応じて、処理システムのための説明された機能性をどのように最良にインプリメントするかを認識することになる。
【００８２】
[0093]  機械読み取り可能な媒体は、いくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されると、処理システムに様々な機能を実施させる命令を含む。ソフトウェアモジュールは、送信モジュールおよび受信モジュールを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス内に存在し得るか、複数の記憶デバイスにわたって分散され得る。例として、ソフトウェアモジュールは、トリガイベントが起こるとき、ハードドライブからＲＡＭへとロードされ得る。ソフトウェアモジュールの実行の間に、プロセッサは、アクセス速度を増すために、命令のうちのいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインは、プロセッサによる実行のために汎用レジスタファイルへとロードされ得る。以下でソフトウェアモジュールの機能性に言及するとき、そのような機能性は、そのソフトウェアモジュールからの命令を実行するときにプロセッサによってインプリメントされることは、理解されることになる。さらに、本開示の態様は、そのような態様をインプリメントするプロセッサ、コンピュータ、マシン、または他のシステムの機能に改善をもたらすことは認識されるべきである。
【００８３】
[0094]  ソフトウェアでインプリメントされる場合、それら機能は、コンピュータ読み取り可能な媒体上の１つまたは複数の命令またはコードとして記憶または送信され得る。コンピュータ読み取り可能な媒体は、１つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体とコンピュータ記憶媒体との両方を含む。記憶媒体は、コンピュータによってアクセスされることができるいかなる利用可能な媒体でもあり得る。限定ではなく例として、そのようなコンピュータ読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、命令またはデータ構造の形態で所望のプログラムコードを搬送または記憶するために使用されることができ、コンピュータによってアクセスされることができる、任意の他の媒体を備えることができる。さらに、いかなる接続（connection）も、コンピュータ読み取り可能な媒体と適切に称される。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。本明細書で使用される場合、ディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多目的ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disks）は、通常磁気的にデータを再生し、一方ディスク（discs）は、レーザーを用いて光学的にデータを再生する。したがって、いくつかの態様では、コンピュータ読み取り可能な媒体は、非一時的なコンピュータ読み取り可能な媒体（例えば、有形の媒体）を備え得る。加えて、他の態様については、コンピュータ読み取り可能な媒体は、一時的なコンピュータ読み取り可能な媒体（例えば、信号）を備え得る。上記の組合せもまた、コンピュータ読み取り可能な媒体の範囲内に含まれるべきである。
【００８４】
[0095]  したがって、ある特定の態様は、ここに提示された動作を実施するためのコンピュータプログラム製品を含み得る。例えば、そのようなコンピュータプログラム製品は、命令を記憶（および／または符号化）したコンピュータ読み取り可能な媒体を備え得、それら命令は、ここに説明された動作を実施するために１つまたは複数のプロセッサによって実行可能である。ある特定の態様については、コンピュータプログラム製品は、パッケージング素材を含み得る。
【００８５】
[0096]  さらに、ここに説明された方法および技法を実施するためのモジュールおよび／または他の適切な手段は、適用可能な場合、ダウンロードされるおよび／またはそうでなければユーザ端末および／または基地局によって得られることができることは認識されるべきである。例えば、そのようなデバイスは、ここに説明された方法を実施するための手段の転送を容易にするために、サーバに接続されることができる。代替的に、ここに説明された様々な方法は、デバイスに記憶手段を提供するまたは結合する際に、ユーザ端末および／または基地局が様々な方法を得ることができるように、記憶手段（例えば、コンパクトディスク（ＣＤ）またはフロッピーディスクのような物理記憶媒体、ＲＯＭ、ＲＡＭ等）を通じて提供されることができる。さらに、ここに説明された方法および技法をデバイスに提供するためのいかなる他の好適な技法も利用されることができる。
【００８６】
[0097]  本願の特許請求の範囲が上に例示されたまさにその構成およびコンポーネントに限定されないことは理解されるべきである。特許請求の範囲の適用範囲から逸脱することなく、上で説明された装置および方法の詳細、動作、および配列において、様々な修正、変更、および変形がなされ得る。
【図１】
2018531543.tif 000003
【図２】
2018531543.tif 000004
【図３Ａ】
2018531543.tif 000005
【図３Ｂ】
2018531543.tif 000006
【図４】
2018531543.tif 000007
【図５】
2018531543.tif 000008
【図６Ａ】
2018531543.tif 000009
【図６Ｂ】
2018531543.tif 000010
【図７Ａ】
2018531543.tif 000011
【図７Ｂ】
2018531543.tif 000012
【図７Ｃ】
2018531543.tif 000013
【図８】
2018531543.tif 000014
【手続補正書】
【提出日】平成30年5月29日(2018.5.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
共同した写真撮影の方法であって、
第１のユーザによって動作される第１の画像キャプチャデバイスにおいて、第２のユーザによって動作される第２の画像キャプチャデバイスからのメッセージを受信することと、前記メッセージは、前記第２の画像キャプチャデバイスによる指定された動きシーケンスの予測に少なくとも部分的に基づいてトリガされる、
前記第１の画像キャプチャデバイスによって、前記メッセージに少なくとも部分的に基づいて、興味を引くオブジェクトの画像を取得することと、
を備える、方法。
【請求項２】
前記メッセージは、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、時間的データ、またはそれらの任意の組合せに少なくとも部分的に基づいて導出される、請求項１に記載の方法。
【請求項３】
前記メッセージは、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、または時間的データのうちの１つまたは複数のものの予測に少なくとも部分的に基づいて導出される、請求項１に記載の方法。
【請求項４】
前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、請求項１に記載の方法。
【請求項５】
前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、請求項１に記載の方法。
【請求項６】
前記取得することはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づく、請求項１に記載の方法。
【請求項７】
共同した写真撮影のための装置であって、
第１のユーザによって動作される第１の画像キャプチャデバイスにおいて、第２のユーザによって動作される第２の画像キャプチャデバイスからのメッセージを受信するための手段と、前記メッセージは、前記第２の画像キャプチャデバイスによる指定された動きシーケンスの予測に少なくとも部分的に基づいてトリガされる、
前記第１の画像キャプチャデバイスによって、前記メッセージに少なくとも部分的に基づいて、興味を引くオブジェクトの画像を取得するための手段と、
を備える、装置。
【請求項８】
前記メッセージは、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、時間的データ、またはそれらの任意の組合せに少なくとも部分的に基づいて導出される、請求項７に記載の装置。
【請求項９】
前記メッセージは、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、または時間的データのうちの１つまたは複数のものの予測に少なくとも部分的に基づいて導出される、請求項７に記載の装置。
【請求項１０】
前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、請求項７に記載の装置。
【請求項１１】
前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、請求項７に記載の装置。
【請求項１２】
取得するための前記手段はさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づく、請求項７に記載の装置。
【請求項１３】
共同した写真撮影のための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサと、
を備え、
前記少なくとも１つのプロセッサは、
第１のユーザによって動作される第１の画像キャプチャデバイスにおいて、第２のユーザによって動作される第２の画像キャプチャデバイスからのメッセージを受信することと、前記メッセージは、前記第２の画像キャプチャデバイスによる指定された動きシーケンスの予測に少なくとも部分的に基づいてトリガされる、
前記第１の画像キャプチャデバイスによって、前記メッセージに少なくとも部分的に基づいて、興味を引くオブジェクトの画像を取得することと、
を行うように構成される、装置。
【請求項１４】
前記メッセージは、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、時間的データ、またはそれらの任意の組合せに少なくとも部分的に基づいて導出される、請求項１３に記載の装置。
【請求項１５】
前記メッセージは、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、または時間的データのうちの１つまたは複数のものの予測に少なくとも部分的に基づいて導出される、請求項１３に記載の装置。
【請求項１６】
前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、請求項１３に記載の装置。
【請求項１７】
前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、請求項１３に記載の装置。
【請求項１８】
前記少なくとも１つのプロセッサはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づいて取得するように構成される、請求項１３に記載の装置。
【請求項１９】
非一時的なプログラムコードを記憶した共同した写真撮影のための非一時的なコンピュータ読み取り可能な記憶媒体であって、前記プログラムコードは、
第１のユーザによって動作される第１の画像キャプチャデバイスにおいて、第２のユーザによって動作される第２の画像キャプチャデバイスからのメッセージを受信するためのプログラムコードと、前記メッセージは、前記第２の画像キャプチャデバイスによる指定された動きシーケンスの予測に少なくとも部分的に基づいてトリガされる、
前記第１の画像キャプチャデバイスによって、前記メッセージに少なくとも部分的に基づいて、興味を引くオブジェクトの画像を取得するためのプログラムコードと、
を備える、非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２０】
前記メッセージは、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、時間的データ、またはそれらの任意の組合せに少なくとも部分的に基づいて導出される、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２１】
前記メッセージは、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、または時間的データのうちの１つまたは複数のものの予測に少なくとも部分的に基づいて導出される、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２２】
前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２３】
前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２４】
前記プログラムコードはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づいて取得するように構成される、請求項１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項２５】
前記指定された動きシーケンスは、前記第２の画像キャプチャデバイスから受信される、請求項１に記載の方法。
【請求項２６】
前記第２の画像キャプチャデバイスによる前記指定された動きシーケンスの前記予測は、メタデータに少なくとも部分的に基づく、請求項１に記載の方法。
【請求項２７】
前記メタデータは、イベントに関連する外部のデータ、画像タグ、画像ラベル、前記イベントに関連するソーシャルメディアポスト、またはそれらの組合せを備える、請求項２６に記載の方法。
【請求項２８】
前記指定された動きシーケンスは、前記第２の画像キャプチャデバイスから受信される、請求項７に記載の装置。
【請求項２９】
前記第２の画像キャプチャデバイスによる前記指定された動きシーケンスの前記予測は、メタデータに少なくとも部分的に基づく、請求項７に記載の装置。
【請求項３０】
前記メタデータは、イベントに関連する外部のデータ、画像タグ、画像ラベル、前記イベントに関連するソーシャルメディアポスト、またはそれらの組合せを備える、請求項２９に記載の装置。
【請求項３１】
前記メッセージは、前記興味を引くオブジェクトに対する前記第１の画像キャプチャデバイスのロケーションに少なくとも部分的に基づいて受信される、請求項１に記載の方法。
【請求項３２】
前記メッセージは、前記興味を引くオブジェクトに対する前記第１の画像キャプチャデバイスのロケーションに少なくとも部分的に基づいて受信される、請求項７に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
[0097]  本願の特許請求の範囲が上に例示されたまさにその構成およびコンポーネントに限定されないことは理解されるべきである。特許請求の範囲の適用範囲から逸脱することなく、上で説明された装置および方法の詳細、動作、および配列において、様々な修正、変更、および変形がなされ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]  共同した写真撮影の方法であって、
第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガすること
を備える、方法。
[Ｃ２]  前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データに少なくとも部分的に基づいて導出される、Ｃ１に記載の方法。
[Ｃ３]  前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データの予測に少なくとも部分的に基づいて導出される、Ｃ１に記載の方法。
[Ｃ４]  前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、Ｃ１に記載の方法。
[Ｃ５]  前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、Ｃ１に記載の方法。
[Ｃ６]  トリガすることはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づく、Ｃ１に記載の方法。
[Ｃ７]  共同した写真撮影のための装置であって、
第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガするための手段と、
前記画像を取得するための手段と、
を備える、装置。
[Ｃ８]  前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データに少なくとも部分的に基づいて導出される、Ｃ７に記載の装置。
[Ｃ９]  前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データの予測に少なくとも部分的に基づいて導出される、Ｃ７に記載の装置。
[Ｃ１０]  前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、Ｃ７に記載の装置。
[Ｃ１１]  前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、Ｃ７に記載の装置。
[Ｃ１２]  トリガするための前記手段はさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づく、Ｃ７に記載の装置。
[Ｃ１３]  共同した写真撮影のための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサと、
を備え、
前記少なくとも１つのプロセッサは、
第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガする
ように構成される、装置。
[Ｃ１４]  前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データに少なくとも部分的に基づいて導出される、Ｃ１３に記載の装置。
[Ｃ１５]  前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データの予測に少なくとも部分的に基づいて導出される、Ｃ１３に記載の装置。
[Ｃ１６]  前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、Ｃ１３に記載の装置。
[Ｃ１７]  前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、Ｃ１３に記載の装置。
[Ｃ１８]  前記少なくとも１つのプロセッサはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づいてトリガするように構成される、Ｃ１３に記載の装置。
[Ｃ１９]  非一時的なプログラムコードを記憶した共同した写真撮影のための非一時的なコンピュータ読み取り可能な記憶媒体であって、前記プログラムコードは、
第１の画像キャプチャデバイスが画像を取得するように、少なくとも１つの他の画像キャプチャデバイスからのメッセージに少なくとも部分的に基づいて、トリガするためのプログラムコード
を備える、非一時的なコンピュータ読み取り可能な記憶媒体。
[Ｃ２０]  前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データに少なくとも部分的に基づいて導出される、Ｃ１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
[Ｃ２１]  前記メッセージは、指定された動きシーケンス、シーン内のエンティティのアイデンティティ、ロケーションデータ、行動パターン、構図、および／または時間的データの予測に少なくとも部分的に基づいて導出される、Ｃ１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
[Ｃ２２]  前記メッセージは、カメラ設定、方向についての命令、およびキャプチャされるべきシーンの説明のうちの少なくとも１つを備える、Ｃ１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
[Ｃ２３]  前記第１の画像キャプチャデバイスは、前記メッセージをパースするモジュールを含む、Ｃ１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
[Ｃ２４]  前記プログラムコードはさらに、深層ニューラルネットワークの出力に少なくとも部分的に基づいてトリガするように構成される、Ｃ１９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【国際調査報告】
2018531543.tif 000015
2018531543.tif 000016
2018531543.tif 000017