(57)【要約】  オーディオビジュアルコンテンツをキュレーションするためのシステム、方法、およびデバイスが、提供される。モバイル型の画像キャプチャデバイスが、1つまたは複数の画像をキャプチャし、音声信号を受け取り、音声イベントを記述する第1の音声分類器ラベルを決定するために第1の機械学習されたモデルによって音声信号の少なくとも一部を分析し、第1の音声分類器ラベルに関連する第1の画像を特定し、第1の画像によって示されるシーンの望ましさを決定するために第2の機械学習されたモデルによって第1の画像を分析し、第1の画像によって示されるシーンの望ましさに少なくとも部分的に基づいて、第1の音声分類器ラベルに関連する第1の画像のコピーをモバイル型の画像キャプチャデバイスの不揮発性メモリに記憶すべきかまたは第1の画像のコピーを記憶することなく第1の画像を破棄すべきかどうかを判定するように動作可能であり得る。
2021507550.tif 000002
【特許請求の範囲】
【請求項１】
モバイル型の画像キャプチャデバイスであって、前記モバイル型の画像キャプチャデバイスが、
ネットワークインターフェースと、
電源と、
イメージセンサと、
音声センサと、
少なくとも1つのプロセッサと、
複数の機械学習されたモデルを記憶するメモリであって、前記複数の機械学習されたモデルが、音声分類器ラベルを決定するように構成された第1の機械学習されたモデル、および画像によって示されるシーンの望ましさを決定するように構成された第2の機械学習されたモデルを含み、前記メモリが、少なくとも、一時的な画像バッファ、音声バッファ、および不揮発性メモリを含む、メモリとを含み、
前記モバイル型の画像キャプチャデバイスが、
音声信号を受け取り、
音声イベントを記述する第1の音声分類器ラベルを決定するために前記第1の機械学習されたモデルによって前記音声信号の少なくとも一部を分析し、
前記音声イベントを記述する前記第1の音声分類器ラベルを決定することに応じて、前記音声イベントを記述する前記第1の音声分類器ラベルに関連する第1の画像を特定し、
前記第1の画像によって示されるシーンの望ましさを決定するために前記第2の機械学習されたモデルによって前記第1の画像を分析し、
前記第1の画像によって示される前記シーンの前記望ましさに少なくとも部分的に基づいて、前記第1の音声分類器ラベルに関連する前記第1の画像のコピーを前記モバイル型の画像キャプチャデバイスの前記不揮発性メモリに記憶すべきかまたは前記第1の画像のコピーを記憶することなく前記第1の画像を破棄すべきかどうかを判定するように動作可能であり、
前記第1の画像が、前記モバイル型の画像キャプチャデバイスによってキャプチャされた画像を含む、
モバイル型の画像キャプチャデバイス。
【請求項２】
前記第1の画像が、前記音声イベントから時間的にずらされ、
前記第1の画像を特定するために、前記モバイル型の画像キャプチャデバイスが、前記第1の音声分類器ラベルに関連する時間のずれに基づいて前記第1の画像を特定するように動作可能である、
請求項1に記載のモバイル型の画像キャプチャデバイス。
【請求項３】
前記時間のずれが、前記音声イベントに先立つ時間の期間を含む、
請求項2に記載のモバイル型の画像キャプチャデバイス。
【請求項４】
前記第1の音声分類器ラベルが、笑いを含む、
請求項3に記載のモバイル型の画像キャプチャデバイス。
【請求項５】
前記時間のずれが、前記音声イベントの後の時間の期間を含む、
請求項2に記載のモバイル型の画像キャプチャデバイス。
【請求項６】
前記第1の音声分類器ラベルが、画像キャプチャのきっかけを含む、
請求項5に記載のモバイル型の画像キャプチャデバイス。
【請求項７】
前記第1の音声分類器ラベルに関連する前記第1の画像が、前記音声イベントと同時にキャプチャされた画像を含む、
請求項1に記載のモバイル型の画像キャプチャデバイス。
【請求項８】
前記第2の機械学習されたモデルが、
各画像の前記シーン内の1つまたは複数の顔の存在を検出する顔検出ニューラルネットワーク、
各画像の前記シーン内の1つまたは複数の顔を1つまたは複数のその他の顔とマッチングする顔認識ニューラルネットワーク、
各画像の前記シーン内の1つまたは複数の顔の様々な顔の特徴を検出する顔属性ニューラルネットワーク、
各画像の前記シーンを説明する1つまたは複数の意味ラベルを出力する画像内容ニューラルネットワーク、および
各入力画像の様々な写真品質の特徴を説明する写真スコアを出力する写真品質ニューラルネットワークのうちの1つまたは複数を含む、
請求項1から7のいずれか一項に記載のモバイル型の画像キャプチャデバイス。
【請求項９】
前記モバイル型の画像キャプチャデバイスが、
複数の画像をキャプチャし、
前記複数の画像の中のそれぞれのキャプチャされた画像のコピーを前記一時的な画像バッファに保有するようにさらに動作可能であり、
前記第1の音声分類器ラベルに関連する前記第1の画像が、前記複数の画像の中の前記キャプチャされた画像のうちの1つを含む、
請求項1から8のいずれか一項に記載のモバイル型の画像キャプチャデバイス。
【請求項１０】
前記第1の音声分類器ラベルを決定するために前記第1の機械学習されたモデルによって前記音声信号を分析するために、前記モバイル型の画像キャプチャデバイスが、
前記音声信号のコピーを前記音声バッファに保有し、
前記音声信号の前記コピーの少なくとも一部を前記第1の機械学習されたモデルに入力し、
前記第1の機械学習されたモデルの出力として音声イベントを記述する前記第1の音声分類器ラベルを受け取るように動作可能である、
請求項1から9のいずれか一項に記載のモバイル型の画像キャプチャデバイス。
【請求項１１】
環境音声トラックを含む編集された動画を生成するための方法であって、
1つまたは複数のコンピューティングデバイスによって、複数の連続した画像フレームおよび関連する音声信号を含む動画ストリームを示すデータを取得するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記音声信号の複数の部分に関連する複数の音声分類器ラベルを決定するために機械学習された音声分類器モデルによって前記音声信号を分析するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記複数の音声分類器ラベルに少なくとも部分的に基づいて、前記音声信号の少なくとも第1の部分を含む環境音声トラックを生成するステップであって、前記複数の音声分類器ラベルに少なくとも部分的に基づいて、前記環境音声トラックを生成するステップが、前景音に関連する音声分類器ラベルを有する前記音声信号の部分を拒絶しながら環境音に関連する音声分類器ラベルを有する前記音声信号の部分を前記環境音声トラックに含めるために選択することを含む、ステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記複数の連続した画像フレームの少なくともサブセットを含む画像ストリームを生成するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記環境音声トラックおよび前記画像ストリームを含む編集された動画を生成するステップとを含む、
方法。
【請求項１２】
前記動画ストリームを示す前記データが、モバイル型の画像キャプチャデバイスによって取得される、
請求項11に記載の方法。
【請求項１３】
前記1つまたは複数のコンピューティングデバイスが、前記方法がモバイル型の画像キャプチャデバイスによって実行されるように前記モバイル型の画像キャプチャデバイスからなる、
請求項11または12に記載の方法。
【請求項１４】
前記1つまたは複数のコンピューティングデバイスによって、ユーザから第1の音声分類器ラベルを記述する音声選択入力を受け取るステップをさらに含み、
前記1つまたは複数のコンピューティングデバイスによって、前記環境音声トラックを生成するステップが、前記1つまたは複数のコンピューティングデバイスによって、前記環境音声トラックに含めるために前記第1の音声分類器ラベルをラベル付けされた前記音声信号の少なくとも1つの部分を選択することを含む、
請求項11から13のいずれか一項に記載の方法。
【請求項１５】
前景音に関連する前記音声分類器ラベルが、人の発話に関連する音声分類器ラベルを含む、
請求項11から14のいずれか一項に記載の方法。
【請求項１６】
前記1つまたは複数のコンピューティングデバイスによって、シーンを記述する1つまたは複数の画像ラベルを決定するために1つまたは複数の画像分析の機械学習されたモデルによって前記複数の連続した画像フレームの少なくとも一部を分析するステップをさらに含み、
前記環境音声トラックが、前記1つまたは複数の画像ラベルに少なくとも部分的に基づいてさらに生成される、
請求項11から15のいずれか一項に記載の方法。
【請求項１７】
前記1つまたは複数のコンピューティングデバイスによって、前記複数の連続した画像の少なくともサブセットを含む前記画像ストリームを生成するステップが、
前記1つまたは複数のコンピューティングデバイスによって、複数の連続しない画像フレームを選択することを含み、
前記画像ストリームが、連続的に配列された前記複数の連続しない画像フレームを含むハイパーラプス画像ストリームを含む、
請求項11から16のいずれか一項に記載の方法。
【請求項１８】
前記1つまたは複数のコンピューティングデバイスによって、前記複数の連続した画像の少なくともサブセットを含む前記画像ストリームを生成するステップが、
前記1つまたは複数のコンピューティングデバイスによって、連続した画像フレームの第1のサブセットを選択すること、
前記1つまたは複数のコンピューティングデバイスによって、連続した画像フレームの第2のサブセットを選択することを含み、
前記画像ストリームが、連続的に配列された連続した画像フレームの前記第1のサブセットおよび連続した画像フレームの前記第2のサブセットを含む短縮された画像ストリームを含む、
請求項11から17のいずれか一項に記載の方法。
【請求項１９】
画像をキャプチャするための方法であって、
画像キャプチャデバイスのイメージセンサによって1つまたは複数の画像をキャプチャするステップと、
前記画像キャプチャデバイスによって、1つまたは複数のキャプチャされた画像のコピーを前記画像キャプチャデバイスの一時的な画像バッファに保有するステップと、
前記画像キャプチャデバイスによって音声信号を受け取るステップと、
前記画像キャプチャデバイスによって、音声イベントを記述する第1の音声分類器ラベルを決定するために機械学習された音声分類器モデルによって前記音声信号の少なくとも一部を分析するステップと、
前記第1の音声分類器ラベルを決定することに応じて、前記画像キャプチャデバイスによって、前記第1の音声分類器ラベルに関連する時間のずれの量を決定するステップと、
前記画像キャプチャデバイスによって、前記一時的な画像バッファに保有された前記1つまたは複数のキャプチャされた画像から前記第1の音声分類器ラベルに関連する第1のキャプチャされた画像を特定するために前記時間のずれの量を使用するステップであって、前記第1のキャプチャされた画像が、前記時間のずれの量だけ前記第1の音声分類器ラベルをラベル付けされた前記音声信号の部分から時間的にずらされる、ステップと、
前記画像キャプチャデバイスによって、前記画像キャプチャデバイスの不揮発性メモリに前記第1のキャプチャされた画像のコピーを記憶するステップとを含む、
方法。
【請求項２０】
前記第1の音声分類器ラベルが、笑いラベルを含み、前記時間のずれの量が、前記画像キャプチャデバイスが前記笑いラベルをラベル付けされた前記音声信号の部分を受け取る前の時間に前記画像キャプチャデバイスによってキャプチャされた前記第1のキャプチャされた画像を特定するように時間の負の量を含む、
請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権の主張
本出願は、出願日が2018年4月3日である米国非仮出願第15/944,415号に基づき、その利益を主張するものであり、この米国非仮出願は、参照により本明細書に組み込まれる。
【０００２】
本開示は、概して、オーディオビジュアルコンテンツをインテリジェントにキャプチャする画像キャプチャデバイスを含むオーディオビジュアルコンテンツキャプチャ、キュレーション、および編集システムに関する。より詳細には、本開示は、画像キャプチャデバイスにおいて画像を選択的に記憶し、編集された動画を生成するために機械学習を利用するシステムおよび方法に関する。
【背景技術】
【０００３】
画像キャプチャデバイスは、様々な視点からオーディオビジュアルコンテンツをキャプチャすることができ、これは、様々な目的のために有用である可能性がある。1つの例示的な応用として、画像キャプチャデバイスは、ユーザの日常生活において起こる様々な出来事を記録に残すために時間のある期間にわたって画像キャプチャデバイスによって画像、画像ストリーム、および一部の実装においては関連する音声がキャプチャされるライフログを実行するために使用され得る。ライフログは、高齢者が記憶を保持するのを助けるため、ユーザの視点もしくは体験を他の人達と共有するため、またはユーザが体験する様々な出来事をユーザが将来見直し、それらの回想を楽しむことができるようにそのような出来事を単に記録に残すために実行され得る。たとえば、親が、自分の子供がバースデーケーキのろうそくを吹き消す画像を見直すことを楽しむ可能性がある。
【０００４】
したがって、画像キャプチャデバイスは、人がその人の生活における特定の出来事を記録するために通常のカメラを使用するのとほぼ同じ方法でそのような出来事をキャプチャするために使用され得る。しかし、画像キャプチャデバイスは、ユーザが出来事をキャプチャするために出来事の間にカメラを能動的に操作しなくてよいというさらなる利点を提供する可能性がある。その代わりに、ユーザは、画像キャプチャデバイスが出来事の画像および場合によっては音声をキャプチャする間に出来事に全面的に携わり、それを楽しむことができる。たとえば、親が、後で楽しむためにシーンの画像を引き続き取得しながらも、カメラの操作に気をとられることなく、自分の子供がバースデーケーキのろうそくを吹き消すことを楽しみ、そこに参加することができる。
【０００５】
さらに、画像キャプチャデバイスは、通常のカメラに比べて素の瞬間の画像などのオーディオビジュアルコンテンツをキャプチャし、キュレーションすることにより長けている可能性がある。特に、写真を撮るためにカメラが使用されるとき、人はよくポーズをとりまたはそうでなければその表情を不自然に変える。この意味で、通常のカメラが、被写体がよくあるポーズをとりまたは「チーズと言う」画像により制限される一方、画像キャプチャデバイスは、会話中の笑いまたは心からのしかし一瞬の笑顔などの本当のユーザの体験をより正確に反映する画像をキャプチャすることができる可能性がある。
【０００６】
しかし、画像キャプチャデバイスの設計および使用が直面する主な課題は、それらの画像キャプチャデバイスが動作するリソースが限られた環境である。特に、画像キャプチャデバイスの設計および使用は、概して、以下の制約、すなわち、時間のかなりの期間にわたる画像の記憶のために使用される限られた量のメモリ、画像を継続的に処理する限られた量の処理パワーもしくは能力、時間の長い期間にわたって動作するために利用可能な限られた量のエネルギー、および/または放散され得る限られた量の熱出力(つまり、デバイスのオーバーヒートまたは場合によってはモバイル型の画像キャプチャデバイスを身につける可能性があるユーザの不快感を防止するために超えられるべきでないデバイス温度)に拘束される。
【０００７】
さらに、連続的な画像ストリームの分析などの画像キャプチャデバイスによってキャプチャされたオーディオビジュアルコンテンツの分析を実行することは、多量のリソースを消費し得る。たとえば、画像処理チップのサイズおよび能力の進歩にもかかわらず、画像キャプチャデバイスは、なおも、概して、任意の所与の瞬間に使用され得る限られた量の計算能力と、さらには、分析プロセスの電力を供給するための限られたバッテリリソースとを有する。加えて、画像および任意の関連する音声などのオーディオビジュアルコンテンツの圧縮、記憶、および送信が、最も多大な量の電力を消費する典型的な処理サイクルの部分である可能性がある。たとえば、ノーカットの動画ファイルを記憶し、送信することは、画像キャプチャデバイスのバッテリの蓄えをあっという間に使い果たし得る。したがって、画像キャプチャの機会を特定し、分析のための候補画像をインテリジェントに選択し、よりリソースの消費が少ない送信のために短縮され、編集された動画ファイルを効率的に生成する能力が、望ましい。
【発明の概要】
【課題を解決するための手段】
【０００８】
本開示の態様および利点は、以下の説明に部分的に記載されるか、または説明から明らかである可能性があるか、または本開示の実施形態の実施を通じて学ばれる可能性がある。
【０００９】
本開示の1つの例示的な態様は、モバイル型の画像キャプチャデバイスを対象とする。モバイル型の画像キャプチャデバイスは、ネットワークインターフェースと、電源と、イメージセンサと、音声センサと、少なくとも1つのプロセッサと、複数の機械学習されたモデルを記憶するメモリとを含み得る。複数の機械学習されたモデルは、音声分類器ラベルを決定するように構成された第1の機械学習されたモデルおよび画像によって示されるシーンの望ましさを決定するように構成された第2の機械学習されたモデルを含み得る。メモリは、少なくとも一時的な画像バッファ、音声バッファ、および不揮発性メモリを含む。モバイル型の画像キャプチャデバイスは、音声信号を受け取るように動作可能であり得る。モバイル型の画像キャプチャデバイスは、音声イベントを記述する第1の音声分類器ラベルを決定するために第1の機械学習されたモデルによって音声信号の少なくとも一部を分析するようにさらに動作可能であり得る。音声イベントを記述する第1の音声分類器ラベルを決定することに応じて、モバイル型の画像キャプチャデバイスは、音声イベントを記述する第1の音声分類器ラベルに関連する第1の画像を特定するようにさらに動作可能であり得る。モバイル型の画像キャプチャデバイスは、第1の画像によって示されるシーンの望ましさを決定するために第2の機械学習されたモデルによって第1の画像を分析するようにさらに動作可能であり得る。モバイル型の画像キャプチャデバイスは、第1の画像によって示されるシーンの望ましさに少なくとも部分的に基づいて、第1の音声分類器ラベルに関連する第1の画像のコピーをモバイル型の画像キャプチャデバイスの不揮発性メモリに記憶すべきかまたは第1の画像のコピーを記憶することなく第1の画像を破棄すべきかどうかを判定するようにさらに動作可能であり得る。第1の画像は、モバイル型の画像キャプチャデバイスによってキャプチャされた画像であることが可能である。
【００１０】
本開示の別の例示的な態様は、環境音声トラック(ambient soundtrack)を含む編集された動画を生成するための方法を対象とする。方法は、1つまたは複数のコンピューティングデバイスによって、複数の連続した画像フレームおよび関連する音声信号を含む動画ストリームを示すデータを取得するステップを含み得る。方法は、1つまたは複数のコンピューティングデバイスによって、音声信号の複数の部分に関連する複数の音声分類器ラベルを決定するために機械学習された音声分類器モデルによって音声信号を分析するステップをさらに含み得る。方法は、1つまたは複数のコンピューティングデバイスによって、複数の音声分類器ラベルに少なくとも部分的に基づいて音声信号の少なくとも第1の部分を含む環境音声トラックを生成するステップをさらに含み得る。複数の音声分類器ラベルに少なくとも部分的に基づいて環境音声トラックを生成するステップは、前景音に関連する音声分類器ラベルを有する音声信号の部分を拒絶しながら環境音に関連する音声分類器ラベルを有する音声信号の部分を環境音声トラックに含めるために選択するステップを含み得る。方法は、1つまたは複数のコンピューティングデバイスによって、複数の連続した画像フレームの少なくともサブセットを含む画像ストリームを生成するステップをさらに含み得る。方法は、1つまたは複数のコンピューティングデバイスによって、環境音声トラックおよび画像ストリームを含む編集された動画を生成するステップをさらに含み得る。
【００１１】
本開示の別の例示的な態様は、画像をキャプチャするための方法を対象とする。方法は、画像キャプチャデバイスのイメージセンサによって1つまたは複数の画像をキャプチャするステップを含み得る。方法は、画像キャプチャデバイスによって、1つまたは複数のキャプチャされた画像のコピーを画像キャプチャデバイスの一時的な画像バッファに保有するステップをさらに含み得る。方法は、画像キャプチャデバイスによって音声信号を受け取るステップをさらに含み得る。方法は、画像キャプチャデバイスによって、音声イベントを記述する第1の音声分類器ラベルを決定するために機械学習された音声分類器モデルによって音声信号の少なくとも一部を分析するステップをさらに含み得る。第1の音声分類器ラベルを決定することに応じて、方法は、画像キャプチャデバイスによって、第1の音声分類器ラベルに関連する時間のずれの量を決定するステップをさらに含み得る。方法は、画像キャプチャデバイスによって、一時的な画像バッファに保有された1つまたは複数のキャプチャされた画像から第1の音声分類器ラベルに関連する第1のキャプチャされた画像を特定するために時間のずれの量を使用するステップをさらに含み得る。第1のキャプチャされた画像は、時間のずれの量だけ第1の音声分類器ラベルをラベル付けされた音声信号の部分から時間的にずらされ得る。方法は、画像キャプチャデバイスによって、画像キャプチャデバイスの不揮発性メモリに第1のキャプチャされた画像のコピーを記憶するステップをさらに含み得る。
【００１２】
本開示のその他の態様は、様々なシステム、装置、非一時的コンピュータ可読媒体、ユーザインターフェース、および電子デバイスを対象とする。
【００１３】
本開示のこれらのおよびその他の特徴、態様、および利点は、以下の説明および添付の請求項を参照するとより深く理解されるようになるであろう。本明細書の一部に組み込まれ、本明細書の一部をなす添付の図面は、本開示の実施形態を示し、説明とともに、本開示の原理を説明する働きをする。
【００１４】
当業者を対象とする本開示の十分なおよび実施を可能にする説明が、本明細書に記載され、その説明は、添付の図面を参照する。
【図面の簡単な説明】
【００１５】
【図１】本開示の例示的な態様による例示的な画像キャプチャ、キュレーション、および編集システムを示す図である。
【図２】本開示の例示的な態様による例示的な音声アナライザモデルのブロック図である。
【図３】本開示の例示的な態様による例示的な画像処理フレームワークにおけるデータフロー対時間の視覚的表現を示す図である。
【図４】本開示の例示的な態様による例示的なモバイル型の画像キャプチャデバイスの例示的な画像キャプチャモードの視覚的表現を示す図である。
【図５】本開示の例示的な態様による例示的な画像処理フレームワークの概略図である。
【図６】本開示の例示的な態様による例示的な画像処理フレームワークを示す図である。
【図７】本開示の例示的な態様による例示的な画像処理フレームワークを示す図である。
【図８】本開示の例示的な態様による例示的な画像処理フレームワークを示す図である。
【図９】本開示の例示的な態様による例示的な画像パイプラインを示す図である。
【図１０】本開示の例示的な態様による例示的な画像パイプラインを示す図である。
【図１１】本開示の例示的な態様による例示的なシーンアナライザを示す図である。
【図１２】本開示の例示的な態様によるシーンアナライザにおけるモデルの例示的な構成を示す図である。
【図１３】本開示の例示的な態様による例示的な短縮された動画生成フレームワークの視覚的表現を示す図である。
【図１４】本開示の例示的な態様による例示的な短縮された動画生成フレームワークの視覚的表現を示す図である。
【図１５】本開示の例示的な態様による例示的なハイパーラプス動画生成フレームワークの視覚的表現を示す図である。
【図１６】本開示の例示的な態様による例示的なハイパーラプス動画生成フレームワークの視覚的表現を示す図である。
【図１７】本開示の例示的な態様によるユーザ入力を取得するための例示的なユーザインターフェースを示す図である。
【図１８】本開示の例示的な態様によるユーザ入力を取得するための例示的なユーザインターフェースを示す図である。
【図１９】本開示の例示的な態様によるモバイル型の画像キャプチャデバイスにおいてキャプチャされた画像をキュレーションするための例示的な方法を示す図である。
【図２０】本開示の例示的な態様による環境音声トラックを含む編集された動画を生成するための例示的な方法を示す図である。
【図２１】本開示の例示的な態様による画像キャプチャデバイスによってキャプチャされた画像を記憶するための例示的な方法を示す図である。
【発明を実施するための形態】
【００１６】
本開示は、画像キャプチャデバイスによってキャプチャされたオーディオビジュアルコンテンツの選択的な保持および編集のためのシステムおよび方法を提供する。特に、本開示の例示的なシステムは、スマートフォン、ラップトップ、またはタブレットなどのユーザコンピューティングデバイスと選択的に通信可能なように接続し得る画像キャプチャデバイスを含み得る。動作中のとき、画像キャプチャデバイスは、画像および/または関連する音声のフレームを継続的にキャプチャすることができ、画像および/または音声のそのようなフレームのうちの特定のものを選択的に保持することができる。ユーザコンピューティングデバイスは、画像のキュレーション、編集、記憶、共有、およびその他のタスクを実行することができる。システムは、ライフログまたはその他の没入型の画像キャプチャ体験または目的のために使用され得る。
【００１７】
より詳細には、本開示の態様によれば、モバイル型の画像キャプチャデバイスは、圧縮および記憶のためにキャプチャされた画像および/または音声のうちの特定のもののみを選択するのを助けるデバイス搭載型インテリジェンスを含む。例として、モバイル型の画像キャプチャデバイスは、1つまたは複数の音声イベントを示すデータなどの音声信号を取得することができる音声センサ(たとえば、マイクロフォン)を含み得る。音声データ(またはその一部)は、1つまたは複数の音声イベントを記述する1つまたは複数の音声分類器ラベルを決定するためにモバイル型の画像キャプチャデバイスの音声アナライザによって分析され得る。それから、モバイル型の画像キャプチャデバイスは、画像分析のために1つまたは複数の音声分類器ラベルに関連する1つまたは複数の画像を選択することができる。モバイル型の画像キャプチャデバイスは、画像によって示されるシーンを分析してそのようなシーンの望ましさを評価し、そのような望ましさに少なくとも部分的に基づいて、そのような画像および/または1つもしくは複数のその他の画像を記憶すべきであるか、あるいはさらに記憶することなくそのような画像および/またはその他の画像を破棄すべきであるかどうかを判定するシーンアナライザをさらに含み得る。一部の実装において、シーンアナライザは、入力画像のシーンの望ましさの記述子を出力するディープニューラルネットワークまたはその他の多層非線形モデルなどの1つまたは複数のニューラルネットワークを含む。画像の圧縮、記憶、および送信は最も大きなエネルギー消費を必要とする画像処理サイクルの段階であるので、デバイス搭載型インテリジェンスによって案内される画像の選択的な保持は、モバイル型の画像キャプチャデバイスの電力消費を大幅に削減し、制限されたエネルギーリソース(たとえば、バッテリ)およびデバイス温度の制約の下での優れた性能をもたらす。同様に、デバイス搭載型インテリジェンスによって案内される画像および/または音声の選択的な保持は、経時的なモバイル型の画像キャプチャデバイスのメモリ消費も大幅に削減する。さらに、画像キャプチャおよび保持のプロセスにおいて入力として音声を使用することは、他の方法ではキャプチャされなかった可能性がある画像のキャプチャおよび保持を可能にし得る。
【００１８】
一部の実装において、マイクロフォンなどのモバイル型の画像キャプチャデバイスの音声センサは、連続的にまたはローリング式になど、モバイル型の画像キャプチャデバイスによってその後分析され得る音声信号を取得することができる。一部の実装においては、音声信号処理パイプラインが、たとえば、1つまたは複数のアナログ-デジタルコンバータによってアナログ音声信号を、音声信号を示すデータなどのデジタル信号に変換し得る。一部の実装において、音声信号を示すデータは、分析中、音声バッファに一時的に保有されることが可能であり、分析後に破棄されることが可能である。
【００１９】
音声信号を示すデータは、モバイル型の画像キャプチャデバイスの音声アナライザニューラルネットワークなどの機械学習されたモデルによって分析され得る。一部の実装においては、その他の種類の機械学習されたモデルが使用され得る。たとえば、一部の実装においては、音声信号を示すデータまたはその一部が、1つまたは複数の音声イベントを記述する1つまたは複数の音声分類器ラベルを決定するように構成された機械学習された音声分類器モデルによって分析され得る。一部の実装において、音声信号は、モバイル型の画像キャプチャデバイスのメモリの音声バッファに音声信号のコピー(および/または音声信号を示すデータ)を保有することによって分析され得る。音声信号の少なくとも一部が、機械学習された音声分類器モデルに入力され得る。そのとき、音声イベントを記述する音声分類器ラベルが、機械学習された音声分類器モデルの出力として受け取られ得る。一部の実装においては、音声バッファに保有された音声信号および/または音声信号を示すデータが、分析後に破棄されることが可能であり、それによって、その場に居合わせた人のプライバシーを守るのを助ける。
【００２０】
たとえば、一部の実装において、音声信号を示すデータは、音声信号が音声センサおよび/または音声信号処理パイプラインによって取得されるときに音声信号を機械学習された音声分類器モデルにローリング式にまたは連続的に入力することによるなどしてデータが受け取られるときに分析され得る。一部の実装においては、音声信号のローリングウィンドウ(rolling window)が、分析され得る。一部の実装においては、音声信号の1つまたは複数の部分が、分析され得る。分析の後、音声信号は、破棄され得るおよび/または上書きされ得る。
【００２１】
機械学習された音声分類器モデルは、1つまたは複数の音声イベントを記述する音声分類器ラベルを決定するように構成され得る。たとえば、音声イベントは、音声信号の少なくとも一部の音、雑音、またはその他の意味的記述であることが可能であり、特定の「行為」である必要はない。一部の実装において、機械学習された音声分類器モデルは、人の発話の音と発話以外の音とを区別するように構成され得る。たとえば、一部の実装において、機械学習された音声分類器モデルは、笑い、泣き、拍手喝采、足音、ドアが開く音、床の軋み、破壊音(crash)および/もしくは衝突音(bang)などの高強度の音、ならびに/またはその他の音などの複数の発話以外の音を分類するように構成され得る。
【００２２】
一部の実装において、機械学習された音声分類器モデルは、1つまたは複数の画像キャプチャのきっかけを特定し、画像キャプチャのきっかけのラベルを出力するように構成され得る。たとえば、カウントダウンシーケンス(たとえば、「3...2...1...」)、歌(たとえば、「ハッピーバースデーソング」)、口頭のコマンド(たとえば、「画像をキャプチャして」もしくは「写真を撮って」)、またはその他の好適な音声のきっかけもしくはコマンドが、可能な画像キャプチャの機会が発生している可能性があるかまたは間近に迫っている可能性があることを示し得る。
【００２３】
一部の実装において、機械学習された音声分類器モデルは、新聞のカサカサいう音、足音、発話、および/またはその他の音を特定することによるなどして1人または複数の人の存在を判定し、したがって、画像キャプチャモードを開始するように構成され得る。たとえば、一部の実装において、モバイル型の画像キャプチャデバイスは、省電力モードで連続的になど、音声信号を分析し、1つまたは複数の画像キャプチャのきっかけなどの1つまたは複数の可能な画像キャプチャの機会を示す1つまたは複数の音声イベントを特定すると、1つまたは複数の画像をキャプチャするために画像キャプチャモードに切り替わるように構成され得る。たとえば、モバイル型の画像キャプチャデバイスは、画像キャプチャおよび分析を開始するために省電力モードから「醒める」ことができる。画像キャプチャプロセスにおいて音声信号を入力として使用する利点は、音声信号を分析することが画像を分析することよりもずっと少ない処理パワーを使用することができ、それが、モバイル型の画像キャプチャデバイスのバッテリ寿命を延ばすのを助けることができることである。
【００２４】
音声イベントを記述する音声分類器ラベルを特定したことに応じて、モバイル型の画像キャプチャデバイスは、特定の音声分類器ラベルに関連する1つまたは複数の画像を分析するように構成され得る。一部の実装においては、1つまたは複数のキャプチャされた画像が、音声分類器ラベルに少なくとも部分的に基づいて画像分析のためにモバイル型の画像キャプチャデバイスによって特定され得る。
【００２５】
一部の実装において、音声分類器ラベルは、音声イベントから時間的にずらされた1つまたは複数の画像が画像分析のために選択されるべきであることを示し得る。たとえば、一部の実装において、時間のずれは、音声イベントに先立つ時間の期間であることが可能である。例として、笑いを含む音声分類器ラベルを特定すると、笑いに先立つ1つまたは複数の画像が、分析のために選択され得る。一部の実装においては、音声イベントに関連する時間の期間内にキャプチャされたすべての画像が、分析され得る。たとえば、笑いの3秒前にキャプチャされたすべての画像が、画像分析のために選択され得る。
【００２６】
たとえば、一部の実装において、モバイル型の画像キャプチャデバイスは、1つまたは複数の画像をキャプチャし、それぞれのキャプチャされた画像のコピーを一時的な画像バッファに保有するように構成され得る。笑いを含む音声分類器ラベル(またはその他の好適なラベル)を特定したことに応じて、モバイル型の画像キャプチャデバイスは、音声イベントに先立つ時間の期間にキャプチャされた画像(たとえば、笑いが起こる1秒前にキャプチャされた画像)などの音声イベントに関連する一時的な画像バッファに保有された1つまたは複数のキャプチャされた画像を特定することができる。同様に、破壊音または衝突音を含む音声分類器ラベルが、破壊音または衝突音に関連する1つまたは複数のキャプチャされた画像を特定するために使用され得る。このようにして、モバイル型の画像キャプチャデバイスは、笑い(またはその他の音声イベント)の原因を捉えた可能性があり、したがって、人が関心を持つ可能性がある画像を分析するように構成され得る。
【００２７】
一部の実装において、時間のずれは、音声イベントに続く時間の期間であることが可能である。たとえば、カウントダウンシーケンス、「ハッピーバースデーソング」、またはその他の画像キャプチャのきっかけは、間近に迫っている時間にキャプチャされた1つまたは複数の画像が画像分析のために選択されるべきであることを示し得る。たとえば、「ハッピーバースデーソング」の終わりに、ケーキのろうそくを吹き消す人を含んでいそうな可能性がある1つまたは複数の画像が、キャプチャされ得る。機械学習された音声分類器モデルは、そのような間近に迫っている画像キャプチャの機会に関連する1つまたは複数の音声分類器ラベルを与えることができ、モバイル型の画像キャプチャデバイスは、画像分析のために1つまたは複数の音声分類器ラベルに関連する1つまたは複数の画像をキャプチャし、特定することができる。
【００２８】
一部の実装において、モバイル型の画像キャプチャデバイスは、画像分析のために音声イベントと同時にキャプチャされた1つまたは複数の画像を特定するように構成され得る。たとえば、衝突音または破壊音は、予想外のことが起こっていることを示すことが可能であり、したがって、興味深い画像キャプチャの機会を提供する可能性がある。一部の実装において、モバイル型の画像キャプチャデバイスは、画像分析のために音声イベントと同時にキャプチャされた1つまたは複数の画像を選択し得る。
【００２９】
このようにして、モバイル型の画像キャプチャデバイスは、音声イベントを記述する音声分類器ラベルに関連する1つまたは複数の画像を特定することができ、音声分類器ラベルに関連する1つまたは複数の画像を分析することができる。たとえば、一部の実装において、モバイル型の画像キャプチャデバイスのシーンアナライザは、画像によって示されるシーンの望ましさが音声分類器ラベルに関連する1つまたは複数の画像を分析するために使用され得ると判定するように構成され得る。
【００３０】
モバイル型の画像キャプチャデバイスは、シーンアナライザによるなどして画像分析をするための画像をキャプチャするためにいくつかの異なるキャプチャモードによって動作し得る。異なるキャプチャモードは、異なる画像解像度およびフレームレートの様々な組合せに対応し得る。さらに、異なるキャプチャモードは、異なるエネルギー消費特性またはプロファイルを有する可能性がある。たとえば、より大きな画像解像度および/またはフレームレートを用いるキャプチャモードは、概して、デバイスによるより大きなエネルギー消費を必要とする。
【００３１】
したがって、本開示の別の態様によれば、モバイル型の画像キャプチャデバイスのデバイス搭載型インテリジェンス(たとえば、シーンアナライザ)は、画像キャプチャデバイスのキャプチャモードに関する制御の判断も行い得る。たとえば、最近キャプチャされた画像が非常に望ましいシーンを示すとシーンアナライザが判定する場合、シーンアナライザは、画像キャプチャデバイスをより大きな画像解像度および/またはフレームレートを有するキャプチャモードに遷移させ、それによって、望ましいシーンのより高い解像度の画像をキャプチャすることができる。そのようにして、モバイル型の画像キャプチャデバイスは、キャプチャするために利用可能な景色が比較的興味深くないまたは望ましくない時間の期間中は省エネルギーキャプチャモードで動作しながら、比較的興味深いまたは望ましいシーンが画像キャプチャのために利用可能である時間の期間のために比較的多くの量のエネルギーを消費するキャプチャモードでの動作を取っておくことができる。
【００３２】
一部の実装においては、フレームレートおよび解像度に加えて、モバイル型の画像キャプチャデバイスのデバイス搭載型インテリジェンス(たとえば、シーンアナライザ)は、キャプチャされた画像の分析に基づいて画像キャプチャデバイスの露出時間、ゲイン、関心のある領域もしくはクロップ(crop)、ビニングモード、またはその他のパラメータのうちの1つまたは複数を調整することができる。たとえば、上述のパラメータを制御するためにモバイル型の画像キャプチャデバイスのイメージセンサに制御信号が与えられ得る。一部の実装において、上述のパラメータは、画像キャプチャデバイスのキャプチャモードを変更することなく調整され得る。しかし、画像キャプチャデバイスの異なるキャプチャモードは、上述のパラメータに関する異なる設定にそれぞれ対応する可能性がある。
【００３３】
一部の実装において、モバイル型の画像キャプチャデバイスは、いくつかの異なるキャプチャモードのためにそれぞれ異なる構成および/またはワークフローを有する低電力フレームワークを持ち得る。したがって、モバイル型の画像デバイスの先進的なシーン分析および制御の特徴は、電源、メモリの利用可能性、計算能力、およびデバイス温度の制約を有するにもかかわらず時間のかなりの期間のモバイル型の画像キャプチャデバイスの動作を可能にする。
【００３４】
一部の実装において、画像キャプチャデバイスは、1つもしくは複数のレンズ(たとえば、広角レンズ)、イメージセンサ、音声センサ、1つもしくは複数の画像処理構成要素を含むイメージングパイプライン、シーンアナライザ、音声アナライザ、1つもしくは複数の慣性モーションユニット(IMU: inertial motion unit)、ネットワークインターフェース、および/またはバッテリなどの電源を含み得る。画像キャプチャデバイスは、1つまたは複数のプロセッサと、たとえば、揮発性メモリ(たとえば、DRAM)および不揮発性メモリ(たとえば、フラッシュメモリ)を含む1つまたは複数のメモリユニットとをさらに含み得る。一部の実装において、画像キャプチャデバイスは、あちこちに移動させられ得るモバイル型の画像キャプチャデバイスであることが可能である。
【００３５】
一部の実装においては、少なくとも、動作のいくつかのモードの間、画像キャプチャデバイスは、複数の画像を継続的にキャプチャする(たとえば、少なくとも1フレーム毎秒のフレームレートで画像を継続的にキャプチャする)。しかし、上述のように、モバイル型の画像キャプチャデバイスは、最終的に、継続的にキャプチャされた画像のうちの特定の選択された画像のみを記憶する可能性がある。
【００３６】
特に、本開示の態様によれば、動作のいくつかのモードにおいて、モバイル型の画像キャプチャデバイスは、複数のシーンをそれぞれ示す複数の画像をキャプチャし、複数の画像の各々の第1のコピーを一時的な画像バッファに保有し、音声信号を受け取り、音声イベントを記述する1つまたは複数の音声分類器ラベルを特定するために音声信号の少なくとも一部を分析し、1つまたは複数の音声分類器ラベルに関連する1つまたは複数のキャプチャされた画像を特定し、キャプチャされた画像のうちの少なくとも1つによって示されるシーンの望ましさを決定し、少なくとも1つのキャプチャされた画像のシーンの望ましさに少なくとも部分的に基づいて、そのようなキャプチャされた画像および/またはその他のキャプチャされた画像のうちの1つもしくは複数の第2のコピーをモバイル型の画像キャプチャデバイスの不揮発性メモリに記憶すべきであるか、あるいは不揮発性メモリにそのような画像の第2のコピーを記憶することなく一時的な画像バッファからそのような画像の第1のコピーを破棄すべきであるかどうかを判定するように動作可能であり得る。
【００３７】
より詳細には、上述のように、モバイル型の画像キャプチャデバイスは、画像のシーンの望ましさを分析してそのような画像および/または1つもしくは複数のその他の同時期の画像を記憶すべきかどうかを判定するために少なくとも動作のいくつかのモードにおいて実装されるシーンアナライザを含み得る。たとえば、1つの例示的な実装において、モバイル型の画像キャプチャデバイスは、互いに時間的に近い画像フレームのシーケンス(たとえば、15フレーム毎秒の3秒の「動画」)をキャプチャする(およびバッファリングする)。シーンアナライザは、フレームによって示されるシーンの望ましさを決定するためにフレームのサブセット(たとえば、「動画」に含まれる45フレームのうちの3フレーム)のみを分析し得る。そのような分析に基づいて、シーンアナライザは、フレームのシーケンスのすべてまたは一部を保存すべきであるかどうかを判定し得る。シーンアナライザは、キャプチャされた画像の分析に基づいて、カメラのキャプチャモード、またはフレームレート、解像度、露出、ゲイン、関心のある領域、クロップ、およびビニングモードなどのその他のキャプチャパラメータを調整する可能性もある。加えて、一部の実装において、シーンアナライザは、RAW未処理画像を分析し、イメージングパイプラインによって画像を処理することについての判断を行うまたは行うことを支援することができる。
【００３８】
例として、一部の実装において、モバイル型の画像キャプチャデバイスのシーンアナライザは、少なくとも1つのニューラルネットワークを含み、そのようなニューラルネットワークを使用して上述のようにそれぞれの分析された画像のシーンの望ましさの少なくとも1つの記述子を得る。特に、シーンアナライザは、画像を少なくとも1つのニューラルネットワークに入力し、その少なくとも1つのニューラルネットワークの出力として少なくとも1つの記述子を受け取ることができる。
【００３９】
さらなる例として、一部の実装において、シーンアナライザの少なくとも1つのニューラルネットワークは、少なくとも1つの畳み込みニューラルネットワークを含む。さらに別の例として、一部の実装において、シーンアナライザは、各入力画像の複数の異なる特徴をそれぞれ分析する複数のディープニューラルネットワークまたはその他の多層非線形モデルを含む。ディープニューラルネットワークの各々は、そのようなディープニューラルネットワークに入力される各画像に関する少なくとも1つの記述子を出力し得る。例として、各ニューラルネットワークは、入力画像のシーンの特徴を説明するアノテーションを出力として提供し得る。画像は、アノテーションによって注釈を付けられ得る。
【００４０】
例として、ディープニューラルネットワークは、以下、すなわち、各入力画像のシーン内の1つまたは複数の顔の存在および/または位置を検出する顔検出ディープニューラルネットワーク、各入力画像のシーン内の1つまたは複数の顔を1つまたは複数のその他の顔とマッチングする顔認識ディープニューラルネットワーク、各入力画像のシーン内の1つまたは複数の顔の様々な顔の特徴を検出する顔属性ディープニューラルネットワーク、顔の姿勢および表情の写真映えのレベルを表すスコアを出力する顔写真映えモデル、目の位置、鼻の位置、またはその他の顔のランドマーク(facial landmark)などの1つまたは複数の顔のランドマークを検出する顔のランドマーク検出ディープニューラルネットワーク、各入力画像のシーンを説明する1つまたは複数の意味ラベルを出力する画像内容ディープニューラルネットワーク、ならびに各入力画像の様々な写真品質の特徴を説明する写真スコアを出力する写真品質ディープニューラルネットワークのうちの1つまたは複数を含み得る。入力画像の様々なその他の特徴を分析する様々なその他のニューラルネットワークも、実装されるまたは使用されることが可能である。ニューラルネットワークは、非再帰型、再帰型、またはこれらの組合せであることが可能である。さらに、一部の実装において、上述の特定のニューラルネットワーク(たとえば、顔検出ニューラルネットワーク)は、単一のニューラルネットワークよりも複数のニューラルネットワークのカスケードを含むかまたはそのようなカスケードとして実装され得る。
【００４１】
一部の実装において、シーンアナライザは、入力の単一の組を受け取り、複数の出力を提供する少なくとも1つの多角的ディープニューラルネットワークを含む。複数の出力は、各入力画像のシーンの望ましさの複数の記述子をそれぞれ含み得る。一例として、上述のニューラルネットワークのうちの2つ以上が、多角的ディープニューラルネットワークを形成するために組み合わされ得る。たとえば、顔認識ディープニューラルネットワークが、多角的ニューラルネットワークを形成するために顔属性ディープニューラルネットワークと組み合わされ得る。特に、一例として、顔検出ディープニューラルネットワークからの出力に基づいて選択された画像の一部(たとえば、顔検出ディープニューラルネットワークによって検出された顔を含む画像のクロップ)が、顔認識ディープニューラルネットワークと顔属性ディープニューラルネットワークとの組合せを表す多角的ニューラルネットワークへの入力として働き得る。2つの目的のために2つの別々のネットワークを持つよりもむしろ、顔認識ディープニューラルネットワークと顔属性ディープニューラルネットワークとの多角的組合せが、顔認識の出力(たとえば、顔埋め込み(face embedding))と顔属性の情報との両方を出力することができる。
【００４２】
一部の実装においては、シーンアナライザの様々な部分からの出力が、画像を処理するイメージングパイプライン内でより良い判断を行うために使用され得る。たとえば、顔検出ディープニューラルネットワークの出力は、顔が十分に露出されるような方法でイメージングパイプラインにおいて露出を設定または調整するために使用され得る。
【００４３】
本開示の別の態様によれば、シーンアナライザがニューラルネットワークなどの複数のモデルを含む一部の実装において、シーンアナライザは、シーン分析のために(もしあれば)どのモデルに画像が入力されるかを制御するモデルセレクタも含み得る。モデルセレクタは、計算の消費の考慮事項、エネルギー消費の考慮事項、および/または画像のシーンの最初の分析の結果を含むいくつかの基準に応じてどのモデルを使用すべきかを選択し得る。一例として、モデルセレクタは、単に予め定義されたスケジュールを実施することができ、または使用するモデルの順序付けもしくは構成に関する何らかの定義された論理を実施することができる。別の例として、モデルセレクタは、それ自体が、多層非線形モデル(たとえば、ディープニューラルネットワーク)などのモデル(たとえば、ニューラルネットワーク)である可能性がある。
【００４４】
一部の実装において、モデルセレクタは、入力画像の一部のみを分析するアテンションモデル(attention model)を含む。アテンションモデルは、各入力画像がさらなるシーン分析のために下流のモデルのうちの少なくとも1つに入力されるべきかどうかのインジケーションを出力し得る。したがって、アテンションモデルは、シーンアナライザに含まれるその他のディープニューラルネットワークへの前置フィルタとして動作し得る。一例として、アテンションモデルは、一連の画像中で顔を追跡し、それぞれの分析される画像が喜びを体験している顔を示す確率を出力する再帰型ディープニューラルネットワークであることが可能である。アテンションモデルは、次の入力画像のどの部分をアテンションモデルが分析すべきであるかの記述を出力することもできる。加えて、一部の実装において、アテンションモデルは、第2の画像をキャプチャし、分析する前にどれだけの時間が経過すべきかを出力することもできる。
【００４５】
このようにしてアテンションモデルを使用することは、そのキャプチャおよび/または分析を画像の一部のみに制限するアテンションモデルが画像全体を分析するおよび/またはより多くの計算の消費を必要とする可能性がある特定の下流のモデルを守るので、モバイル型の画像キャプチャデバイスのエネルギー消費を大きく削減することができる。さらに、画像を再びキャプチャし、分析する前にアテンションモデルによって推奨される時間の期間を遅らせることが、電力の節約になり得る。その他の実装において、アテンションモデルは、画像の記憶および/またはキャプチャモードの判断を導くためにその他のモデルの代わりに使用され得る。さらなる実装において、上で検討された様々なディープニューラルネットワークのうちの1つまたは複数は、そのようなネットワークのアテンションモデルバージョンによって置き換えられ得る。
【００４６】
したがって、シーンアナライザは、入力画像によって示されるシーンを分析し、入力画像のシーンの望ましさを説明する(たとえば、シーンの望ましさに影響を与える様々な画像の特徴を説明する)様々な記述子(たとえば、アノテーション)を出力するいくつかのモデルを含み得る。述べられたように、シーンアナライザは、そのような記述子に基づいて画像の記憶および/またはキャプチャモードに関するインテリジェントな判断を行うことができる。特に、シーンアナライザは、保存コントローラ、転送コントローラ、および/またはモードコントローラを含み得る。保存コントローラは、モデルからのアノテーションのすべてを入力として取得し、そのようなアノテーションを使用して、画像を処理、圧縮、および/または記憶すべきか否かを判断することができる。転送コントローラは、モデルからのアノテーションのすべてを入力として取得し、そのようなアノテーションを使用して、画像を送信すべきか否かを判断することができる。その他の実装において、転送コントローラは、画像キャプチャデバイスよりもむしろユーザコンピューティングデバイスに含まれる。モードコントローラは、そのようなアノテーションに基づいてモバイル型の画像キャプチャデバイスのキャプチャモードを変更すべきかどうかを判定することができる。保存コントローラ、転送コントローラ、およびモードコントローラは、別々の構成要素であることが可能であり、または単一の構成要素へと組み合わされることが可能である。
【００４７】
本開示のさらなる態様によれば、一部の実装においては、モバイル型の画像キャプチャデバイスのコンピューティングデバイスおよび/または別のコンピューティングデバイスが、環境音声トラックを含む編集された動画を生成するようにさらに構成され得る。たとえば、一部の実装において、モバイル型の画像キャプチャデバイスは、モバイル型の画像キャプチャデバイスが複数の連続した画像フレームおよび関連する音声信号をキャプチャする動画ストリームモードで動作可能であり得る。一部の実装において、複数の連続した画像フレームは、15、30、または60フレーム毎秒などの滑らかな視聴に好適なレートでキャプチャされ得る。同時期の音声信号が、マイクロフォンなどのモバイル型の画像キャプチャデバイスの音声センサによってキャプチャされ得る。
【００４８】
一部の実装において、音声信号は、音声信号の1つまたは複数の部分に関連する1つまたは複数の音声分類器ラベルを決定するために音声分類器ニューラルネットワークなどの音声アナライザによって分析され得る。たとえば、一部の実装においては、環境または背景音などの発話以外の音が、音声アナライザによって特定され、ラベル付けされ得る。例として、そのような音は、波、風、雨、雷、木の葉のそよぐ音などの周囲の音、鳥のさえずり、虫の鳴き声、もしくはその他の動物の音などの動物の音、乗り物の通行、拍手、足音、しゃべり声、レストランのどよめき、笑い、泣きなどの人の活動の騒音、および/またはその他の音を含み得る。音声アナライザは、音声信号を分析し、音声信号の1つまたは複数の部分に関する1つまたは複数の音声分類器ラベルを決定するように構成され得る。
【００４９】
1つまたは複数のコンピューティングデバイスは、1つまたは複数の音声分類器ラベルに少なくとも部分的に基づいて音声信号の少なくとも一部を含む環境音声トラックをさらに生成することができる。一部の実装において、1つまたは複数のコンピューティングデバイスは、1つまたは複数のニューラルネットワークなどの1つまたは複数の機械学習されたモデルを使用して環境音声トラックをインテリジェントに生成するように構成され得る。たとえば、一部の実装において、1つまたは複数のコンピューティングデバイスは、動画ストリームがキャプチャされた場所にいるのがどのような感じであったかの本質または感触を捉える1つまたは複数の背景または環境音声の部分を選択するように構成され得る。たとえば、浜辺でキャプチャされた動画ストリームに関して、音声信号は、浜に砕ける波の音、カモメの上げる大きな鳴き声、風が砂を吹き飛ばす音、および/またはその他の音を含む可能性がある。一部の実装において、環境音声トラックは、波、カモメ、および/または風の音を含む1つまたは複数の音声の部分を含み得る。
【００５０】
一部の実装においては、特定の音が、分類され、拒絶されるかまたは環境音声トラックから除外され得る。たとえば、大きな破壊音、衝突音、または人の発話などの前景音が、特定され、分類されることが可能であり、1つまたは複数のコンピューティングデバイスは、環境音声トラックからそのような音を含む音声の部分を除外し得る。発話などの特定の音を除外することによって、その場に居合わせた人のプライバシーが守られ得る。
【００５１】
一部の実装においては、環境音声トラックが、ユーザから入力された音声の選択に少なくとも部分的に基づいて生成され得る。たとえば、一部の実装において、モバイル型の画像キャプチャデバイスの音声アナライザは、音声信号の1つまたは複数の部分に関連する1つまたは複数の音声分類器ラベルを特定し、ユーザ入力の選択のための1つまたは複数の候補の音を選択することができる。モバイル型の画像キャプチャデバイスは、1つまたは複数の音声分類器ラベルなどの1つまたは複数の候補の音を示すデータをネットワークを介してスマートフォンまたはラップトップなどのユーザコンピューティングデバイスに伝達するように構成され得る。一部の実装において、ユーザが1つまたは複数の音声の部分に関連する1つまたは複数の音声分類器ラベルを吟味し、どの音声の部分をおよび/または各部分のうちのどれだけを環境音声トラックに含めるかを選択することを可能にするためのユーザインターフェースが、提供され得る。たとえば、選択ボックス、スライダバー、パーセンテージ、またはその他のユーザ入力オプションなどの様々なユーザ入力オプションが、ユーザインターフェースに提供され得る。ユーザは、1つまたは複数の音声分類器ラベルを選択することができ、ユーザ入力の選択が、画像キャプチャデバイスに伝達され得る。そして、環境音声トラックが、環境音声トラックに含めるために選択された音声分類器ラベルを有する音声信号の1つまたは複数の部分を選択することによって生成され得る。環境音声トラックに含めるための1つまたは複数の候補の音を特定し、音自体よりもむしろ候補の音の説明をユーザに伝達することによってもたらされる利点は、ユーザ入力の選択を得るために必要とされる処理パワーおよびその他のリソースの量が削減され得ることである。
【００５２】
一部の実装においては、環境音声トラックに含めるために複数の音声の部分が選択され得る。たとえば、浜に砕ける波などの音声信号の第1の部分が、含めるために選択されることが可能であり、カモメの鳴き声などの音声信号の第2の部分も、環境音声トラックに含めるために選択されることが可能である。一部の実装において、環境音声トラックは、第1の部分から第2の部分に遷移することによって生成され得る。たとえば、浜に砕ける波を含む第1の部分が、まず環境音声トラックに含められることが可能であり、カモメを含む第2の部分が、第1の部分の後に環境音声トラックに含められることが可能である。一部の実装において、環境音声トラックは、第1の部分から第2の部分にクロスフェードするなど、第1の部分から第2の部分に遷移することによって生成され得る。
【００５３】
一部の実装において、1つまたは複数のコンピューティングデバイスは、複数の連続した画像フレームの少なくとも一部を分析して、シーンを記述する1つまたは複数の画像ラベルを決定し、1つまたは複数の画像ラベルに少なくとも部分的に基づいて環境音声トラックを生成することができる。たとえば、本明細書において説明されるように、1つまたは複数のニューラルネットワークが、1つまたは複数の画像フレームを分析するために使用され得る。一部の実装において、1つまたは複数のニューラルネットワークは、画像フレームのシーンを説明する1つまたは複数の意味ラベル(つまり、画像ラベル)を特定するなど、画像の様々な側面を特定するように構成され得る。たとえば、海のシーンに1つまたは複数の波を含む画像を分析するニューラルネットワークは、波を相応に特定し、波を記述する1つまたは複数の意味ラベルを提供することができる。一部の実装において、1つまたは複数のコンピューティングデバイスは、1つまたは複数の画像ラベルに少なくとも部分的に基づいて環境音声トラックを生成することができる。たとえば、一部の実装においては、波を記述する1つまたは複数の意味画像ラベルを含む画像フレームに対応する波の音を含む音声の部分が、選択され得る。
【００５４】
1つまたは複数のコンピューティングデバイスは、複数の連続した画像フレームの少なくともサブセットを含む画像ストリームをさらに生成し得る。たとえば、一部の実装において、サブセットは、スピードアップされたまたはハイパーラプス画像ストリームを生成するために使用され得る。
【００５５】
たとえば、1つまたは複数のコンピューティングデバイスは、複数の連続した画像フレームから複数の連続しない画像フレームを選択し、連続しない画像フレームを連続的に配列することができる。たとえば、一部の実装においては、1フレームおきのフレーム、2フレームおきのフレーム、3フレームおきのフレームなどが、ハイパーラプス画像ストリームを生成するために選択され、連続的に配列され得る。一部の実装においては、ハイパーラプス画像ストリームの見やすさを高めるために、ハイパーラプス画像ストリームを生成するために各画像フレームの1つまたは複数のプロパティに基づいて個々の連続しない画像フレームが選択され、連続的に配列され得る。たとえば、パターン(たとえば、2画像フレームおき)に従って画像フレームを選択するよりもむしろ、シーンからシーンへまたはフレームからフレームへより滑らかに遷移するために個々の画像フレームが選択され得る。
【００５６】
一部の実装において、1つまたは複数のコンピューティングデバイスは、連続した画像フレームの第1のサブセットを選択し、連続した画像フレームの第2のサブセットを選択し、連続的に配列された連続した画像フレームの第1のサブセットおよび連続した画像フレームの第2のサブセットを含む短縮された画像ストリームを生成し得る。たとえば、1つまたは複数のコンピューティングデバイスは、動画ストリームの第1の部分(たとえば、浜辺の部分)に対応する画像フレームの第1のサブセットを選択し、動画ストリームの第2の部分(たとえば、公園の部分)に対応する画像フレームの第2のサブセットを選択し、連続的に見られるようにそれらのサブセットを配列することができる。各サブセットは、画像フレームのサブセットがキャプチャされた速度に対応する速度などの通常の再生速度で再生され得る。
【００５７】
1つまたは複数のコンピューティングデバイスは、編集された動画を生成するために(ハイパーラプス画像ストリームまたは短縮された画像ストリームなどの)画像ストリームを環境音声トラックとさらに組み合わせることができる。一部の実装において、1つまたは複数のコンピューティングデバイスは、編集された動画を生成するために、ハイパーラプスモードでキャプチャされた複数の連続した画像フレームを環境音声トラックと組み合わせることができる。たとえば、(たとえば、ハイパーラプスまたは短縮された)画像ストリームが、体験の視覚的な要約を提供するために再生され得る一方、環境音声トラックは、「そこにいるのがどのような感じであったか」の感触を与えるのに役立ち得る。
【００５８】
一部の実装においては、環境音声トラックに含まれる音声の部分が、編集された動画のためにやはり選択された1つまたは複数の画像フレームと同時期でない動画ストリームの一部から選択され得る。たとえば、浜辺のシーンを示す画像フレームのサブセットが、画像に示されたシーンの望ましさに基づいて含めるために選択される可能性がある。しかし、同時期に取得された音声の部分は、大きな雑音または人の発話などの望ましくない音声を含む可能性がある。1つまたは複数のコンピューティングデバイスは、浜辺のシーンを示す画像フレームと同時に再生されるための波の音を含む音声の部分などの同時期でない音声の部分を選択し、不必要な、気を散らす、または耳障りな前景音なしに体験の本質または感触を捉える編集された動画にそれら2つを組み合わせるように構成され得る。
【００５９】
一部の実装において、ユーザは、(ハイパーラプスもしくは短縮などの)どの種類の編集された動画を生成すべきかおよび/または動画の長さを選択するユーザ入力を与えることができる。たとえば、ユーザが動画の種類および/または動画の長さを選択することができるユーザインターフェースが、スマートフォンなどのユーザのコンピューティングデバイス上で提供され得る。一部の実装において、ユーザ入力は、第1のコンピューティングデバイス(たとえば、スマートフォン)上で受け取られ、ネットワークを介して第2のコンピューティングデバイス(たとえば、モバイル型の画像キャプチャデバイス)に伝達され得る。一部の実装においては、それから、第2のコンピューティングデバイス(たとえば、モバイル型の画像キャプチャデバイス)が、ユーザ入力に少なくとも部分的に基づいて編集された動画を生成し得る。
【００６０】
一部の実装においては、モバイル型の画像キャプチャデバイスが、複数の連続した画像フレームおよび関連する音声信号を含む動画ストリームを取得し、編集された動画をインテリジェントに生成し得る。たとえば、モバイル型の画像キャプチャデバイスは、動画ストリームを取得し、音声ストリームを分析して1つまたは複数の音声分類器ラベルを生成し、1つまたは複数の音声分類器ラベルに少なくとも部分的に基づいて音声信号の少なくとも一部を含む環境音声トラックを生成し、複数の連続した画像フレームの少なくともサブセットを含む画像ストリームを生成し、環境音声トラックおよび画像ストリームを含む編集された動画を生成するように構成され得る。たとえば、モバイル型の画像キャプチャデバイスは、1つまたは複数のニューラルネットワークを使用して画像フレームに示されるシーンの望ましさに少なくとも部分的に基づいて連続した画像フレームの1つまたは複数のサブセットをインテリジェントに選択することによって画像ストリームを生成し得る。同様に、モバイル型の画像キャプチャデバイスは、機械学習された音声分類器モデルを使用して1つまたは複数の音声の部分をインテリジェントに選択することによって環境音声トラックを生成し得る。このようにして、モバイル型の画像キャプチャデバイスは、環境音声トラックおよび画像ストリームを含む編集された動画を生成し得る。
【００６１】
編集された動画を生成するためにモバイル型の画像キャプチャデバイス上で画像分析および/または音声分析を実行することによってもたらされる利点は、動画ストリームを送信するために必要とされる処理パワーおよび電力の量が削減され得ることである。さらに、編集された動画を生成する前に人の発話などの特定の前景音を特定し、除外することによって、その場に居合わせた人のプライバシーが、高められ得る。
【００６２】
本開示の例示的な態様によるシステムおよび方法は、いくつかの技術的な効果および恩恵をもたらし得る。たとえば、本明細書において提供されるシステムおよび方法は、音声信号がインテリジェントな画像キャプチャプロセスにおいて使用されることを可能にする。たとえば、画像キャプチャおよび保持のために分析される、時間的にずらされた画像フレームを含む画像フレームを特定するために音声信号の分析が使用され得る。したがって、笑いに先立つ面白い出来事を捉える画像などの、他の方法ではキャプチャおよび保持のために考慮されなかった可能性がある画像が、分析され、キャプチャされ得る。加えて、本開示のシステムおよび方法は、特定の音声信号が受信されるときにデバイスが「ウェークアップ」する省電力モードでモバイル型の画像キャプチャデバイスが動作することを可能にすることによるなどして、モバイル型の画像キャプチャデバイスによって消費される電力の削減を可能にし得る。
【００６３】
さらに、本開示のシステムおよび方法は、インテリジェントな編集された動画がモバイル型の画像キャプチャデバイスによって生成されることを可能にし得る。たとえば、環境音声トラックを含めることによって特定の体験の本質または感触を捉えるハイパーラプスまたは短縮された動画が、生成され得る。さらに、発話などの特定の音声の部分を除外し、破棄することによって、その場に居合わせた人のプライバシーが守られ得る。
【００６４】
さらに、1つまたは複数のニューラルネットワークを利用することによって、本開示のシステムおよび方法は、モバイル型の画像キャプチャデバイスの計算効率を高めることができる。たとえば、インテリジェントな画像キャプチャプロセスにおいてその後使用され得る特定の音を分類するために訓練されることが可能である機械学習された音声分類器モデルが、モバイル型の画像キャプチャデバイスに含まれ得る。加えて、モバイル型の画像キャプチャデバイスによってキャプチャされた1つまたは複数の画像によって示されるシーンの望ましさを分析するために、1つまたは複数のニューラルネットワークが、モバイル型の画像キャプチャデバイスに含まれ得る。このようにして、望ましい画像が、効率的にキャプチャされ、特定され、記憶され得る。
【００６５】
また、本開示のシステムおよび方法は、コンピューティングテクノロジーに改善をもたらす。特に、1つまたは複数のプロセッサおよびメモリを含むモバイル型の画像キャプチャデバイスが、音声信号を受け取り、音声イベントを記述する第1の音声分類器ラベルを特定するために第1のニューラルネットワークによって音声信号の少なくとも一部を分析し得る。そして、モバイル型の画像キャプチャデバイスは、第1の画像によって示されるシーンの望ましさを決定するために第2のニューラルネットワークによって音声イベントを記述する第1の音声分類器ラベルに関連する第1の画像を分析し得る。一部の実装において、第1の画像は、音声イベントに先立つまたは音声イベントに続く時間の期間からなど、音声イベントから時間的にずらされ得る。一部の実装において、第1の画像は、一時的な画像バッファに保有された、モバイル型の画像キャプチャデバイスによってキャプチャされた画像であることが可能である。そして、モバイル型の画像キャプチャデバイスは、第1の画像によって示されるシーンの望ましさに少なくとも部分的に基づいて第1の音声分類器ラベルに関連する第1の画像のコピーを記憶すべきかまたは第1の画像を破棄すべきかどうかを判定し得る。たとえば、モバイル型の画像キャプチャデバイスは、第1の画像のコピーを不揮発性メモリに記憶すべきかまたは第1の画像を破棄すべきかどうかを判断し得る。
【００６６】
さらに、1つまたは複数のコンピューティングデバイスは、複数の連続した画像フレームおよび関連する音声信号を含む動画ストリームを示すデータを取得することができる。一部の実装において、動画ストリームは、モバイル型の画像キャプチャデバイスによって取得され得る。一部の実装において、1つまたは複数のコンピューティングデバイスは、編集された動画を生成し得るモバイル型の画像キャプチャデバイスであることが可能である。1つまたは複数のコンピューティングデバイスは、音声信号の1つまたは複数の部分に関連する1つまたは複数の音声分類器ラベルを決定するために機械学習された音声分類器モデルによって音声信号を分析し得る。1つまたは複数のコンピューティングデバイスは、1つまたは複数の音声分類器ラベルに少なくとも部分的に基づいて音声信号の少なくとも一部を含む環境音声トラックを生成することができる。たとえば、環境音に関連する音声分類器ラベルを有する音声信号の部分が、環境音声トラックに含めるために選択され得る一方、前景音に関連する音声分類器ラベルを有する部分は、拒絶されるかまたは環境音声トラックから除外され得る。1つまたは複数のコンピューティングデバイスは、複数の連続した画像フレームの少なくともサブセットを含む画像ストリームを生成し得る。一部の実装において、画像ストリームは、ハイパーラプス画像ストリームまたは短縮された画像ストリームであることが可能である。1つまたは複数のコンピューティングデバイスは、環境音声トラックおよび画像ストリームを含む編集された動画を生成し得る。
【００６７】
ここで図を参照して、本開示の例示的な実施形態が、さらに詳細に検討される。
【００６８】
図1は、本開示の例示的な実施形態による例示的なオーディオビジュアルコンテンツキャプチャ、キュレーション、および編集システム100を示す。システム100は、少なくとも1つの画像キャプチャデバイス102およびユーザコンピューティングデバイス130を含み得る。画像キャプチャデバイス102は、たとえば、モバイル型の画像キャプチャデバイス102であることが可能である。システム100は、1つまたは複数のさらなるモバイル型の画像キャプチャデバイス104および106ならびに/またはサーバコンピューティングデバイス150も含む可能性がある。
【００６９】
モバイル型の画像キャプチャデバイスは、1つまたは複数のプロセッサ112およびメモリ114を含み得る。1つまたは複数のプロセッサ112は、任意の好適な処理デバイスであることが可能であり、1つのプロセッサまたは動作可能なように接続される複数のプロセッサであることが可能である。一部の実装において、プロセッサ112は、電力が制約された環境において高性能なマシンビジョンおよび視覚的認識をもたらす専用の視覚処理プラットフォームを含む。たとえば、プロセッサ112は、高性能低電力のコンピュータによるイメージングのために設計されたシステムオンチップ(SoC)であることが可能である。一部の実装において、プロセッサ112は、チップ上で完全な画像処理パイプラインを実行するために選択的に使用可能なハードウェア、ソフトウェア、および/またはファームウェアを含む。一部の実装において、プロセッサ112は、視覚処理のワークロードに最適化された複数のベクトルプロセッサを含む。
【００７０】
メモリ114は、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、およびこれらの組合せなどの1つまたは複数の非一時的コンピュータ可読媒体を含み得る。一部の例示的な実装において、メモリ114は、少なくとも第1のDRAMメモリおよび第2の不揮発性メモリを含む。たとえば、第1のDRAMメモリが、画像データおよび/または音声データなどの様々な種類のデータの一時的な記憶のために使用され得る一方、第2の不揮発性メモリは、様々な種類のデータの非一時的な記憶のために使用され得る。一部の実装において、不揮発性メモリは、フラッシュメモリカードを含む。一部の実装において、フラッシュメモリカードは、セキュアデジタル(SD)カードである。
【００７１】
モバイル型の画像キャプチャデバイス102は、レンズカバー116、1つまたは複数のレンズ118、およびイメージセンサ120も含み得る。イメージセンサ120は、入射する光またはその他の電磁放射を検出し、シーンの画像を生成するのに十分なデータを出力するセンサであることが可能である。たとえば、イメージセンサ120は、CMOSセンサまたはCCDセンサであることが可能である。一部の実装において、1つまたは複数のレンズ118は、イメージセンサ120によって出力されたデータに由来する画像が広角画像であるような広角レンズを含み得る。
【００７２】
一部の実装において、モバイル型の画像キャプチャデバイス102のレンズカバー116は、レンズ118およびイメージセンサ120を光学的に遮蔽する位置とレンズ118およびイメージセンサ120を光学的に遮蔽しない位置との間で手動で調整可能であり得る。レンズカバー116がレンズ118およびイメージセンサ120を光学的に遮蔽する位置に置かれるとき、モバイル型の画像キャプチャデバイス102は、画像が能動的にキャプチャされない超低電力モードで動作することによって応答する。しかし、レンズカバー116が取り外されるかまたはそれ以外の方法でレンズ118およびイメージセンサ120を光学的に遮蔽しない位置に置かれるとき、モバイル型の画像キャプチャデバイスは、複数の画像を継続的にキャプチャし、処理するように動作し得る。
【００７３】
一部の実装において、レンズカバー116は、視覚的に区別のつく外向きの面を持ち得る。そのようにして、レンズカバー116がレンズ118を覆っているとき、モバイル型の画像キャプチャデバイス102が画像を能動的にキャプチャしていないことは、画像キャプチャデバイス102の見える範囲内の人にすぐに分かる。たとえば、レンズカバー116が、モバイル型の画像キャプチャデバイス102の現在のキャプチャステータスに関する一見して分かるインジケーションを提供する明るい色のおよび/または模様のついたデザインを持ち得る。
【００７４】
一部の実装において、ユーザは、モバイル型の画像キャプチャデバイス102に関する入力制御信号を与えるためにレンズカバー116を調整することができる。一例として、一部の実装において、ユーザが特定のパターンに従ってレンズカバー116を開閉する場合(たとえば、閉じてから開けるを3回続ける)、モバイル型の画像キャプチャデバイス102は、最近キャプチャされた画像の特定の期間(たとえば、最後の5分)を消去することによって応答し得る。そのようなことは、ユーザが望ましくない景色を示す画像の消去をさせるための迅速で容易な制御入力を可能にする可能性がある。その他の動作も、レンズカバーの操作の特定のその他のパターンによって実行され得る。
【００７５】
一部の実装において、ユーザは、モバイル型の画像キャプチャデバイス102の視野内で特定の認識可能なジェスチャ(たとえば、手のジェスチャ)を行うことによってモバイル型の画像キャプチャデバイス102に関する制御信号を与えることもできる。例として、ユーザは、片手または両手(たとえば、人差し指および親指)を使用して特定のシーンの「枠」の1つまたは2つの角を形成することができる。モバイル型の画像キャプチャデバイス102は、そのようなジェスチャを認識し、「枠で囲まれた」シーンを含む画像をキャプチャすることができる。たとえば、上述のように最近キャプチャされた画像を消去するためのジェスチャを含む様々なその他のジェスチャも、制御入力として使用され得る。
【００７６】
上述のように、イメージセンサ120は、イメージセンサ120によって見られるシーンの画像を生成するのに十分なデータを出力することができる。モバイル型の画像キャプチャデバイス102は、そのような画像を生成するためにイメージセンサ120からのそのようなデータを処理するための様々な追加的な構成要素を含み得る。一例として、モバイル型の画像キャプチャデバイスは、イメージングパイプライン122を含み得る。イメージングパイプライン122は、画像を生成するためにイメージセンサ120からのRAWデータを処理するように動作可能である1つまたは複数の画像処理構成要素を含み得る。本開示による例示的なイメージングパイプライン122は、図9および図10をさらに参照して下で検討される。
【００７７】
本開示の別の態様によれば、モバイル型の画像キャプチャデバイス102は、シーンアナライザ124をさらに含み得る。一部の実装において、シーンアナライザ124は、モバイル型の画像キャプチャデバイス102によってキャプチャされた画像によって示されるシーンを分析してそのようなシーンの望ましさを評価し、そのような望ましさに少なくとも部分的に基づいて、そのような画像および/または1つもしくは複数のその他の同時期にキャプチャされた画像を記憶すべきか、あるいはさらに記憶することなくそのような画像および/または1つもしくは複数のその他の画像を破棄すべきかどうかを判定するように動作可能である。一部の実装において、シーンアナライザ124は、入力画像のシーンの望ましさの記述子を出力するニューラルネットワーク(たとえば、ディープニューラルネットワーク)またはその他の多層非線形モデルなどの1つまたは複数の機械学習されたモデルを含む。加えて、一部の実装において、シーンアナライザ124は、(たとえば、示されるシーンの望ましさに基づいて)モバイル型の画像キャプチャデバイス102のキャプチャモードに関する制御の判断も行い得る。本開示による例示的なシーンアナライザ124は、図11および図12をさらに参照して下で検討される。
【００７８】
モバイル型の画像キャプチャデバイス102は、1つまたは複数の音声センサ121をさらに含み得る。音声センサ121は、たとえば、マイクロフォン、または音声信号を取得するように構成されたその他の音声センサであることが可能である。たとえば、様々な音(発話、笑い、周囲の音など)が、1つまたは複数の音声センサ121によって音声信号として受け取られ得る。
【００７９】
モバイル型のキャプチャデバイスは、1つまたは複数の音声パイプライン123をさらに含み得る。たとえば、音声パイプライン123は、音声センサ121によって受け取られた音声信号を処理または変換するように構成され得る。たとえば、様々なコンバータ(たとえば、アナログ-デジタルコンバータ)、増幅器、圧縮器/エンコーダ、またはその他の音声信号処理構成要素が、音声処理パイプライン123に含まれ得る。一部の実装において、音声パイプライン123は、音声信号を受け取り、音声信号を音声信号を示すデータに変換することができる。たとえば、音声信号を示すデータは、未圧縮のファイルフォーマット(.WAV、.AIFF、.AUなど)、圧縮されたファイルフォーマット(.MPEG4、.WMA、.MP3など)、またはその他の好適な音声フォーマットであることが可能である。一部の実装において、音声信号を示すデータは、メモリ114内などの音声バッファに一時的になど記憶され得る。
【００８０】
本開示の別の態様によれば、モバイル型の画像キャプチャデバイス102は、音声アナライザ125をさらに含み得る。一部の実装において、音声アナライザ125は、機械学習されたモデルに入力された音声信号/音声データに基づいて音声分類器ラベルを決定するように構成された1つまたは複数のニューラルネットワークなどの1つまたは複数の機械学習されたモデルを含み得る。たとえば、一部の実装において、音声アナライザ125は、音声信号を分析し、音声信号の1つまたは複数の部分に1つまたは複数の音声分類器ラベルをラベル付けするように構成され得る。1つまたは複数の音声分類器ラベルは、笑い、拍手、泣き、足音、風、波、動物、発話、またはその他の音などの様々な音声イベントを記述し得る。本開示の例示的な態様による例示的な音声アナライザ125は、図2に関連してより詳細に検討される。
【００８１】
モバイル型の画像キャプチャデバイス102は、1つまたは複数の慣性測定ユニット(IMU)126をさらに含み得る。慣性測定ユニット126は、モバイル型の画像キャプチャデバイス102に適用されるかまたはそれ以外の方法で関連する速度、および向き、および重力のうちの1つまたは複数を測定し、レポートする電子デバイスであることが可能である。たとえば、慣性測定ユニット126は、1つまたは複数の加速度計、ジャイロスコープ、および/または磁力計を含み得る。一部の実装において、1つまたは複数の慣性測定ユニット126からのデータは、慣性測定ユニット126によってそのようなデータが生成された時間付近にキャプチャされた画像に付加され得る。したがって、たとえば、モバイル型の画像キャプチャデバイス102によってキャプチャされた画像は、キャプチャ時に慣性測定ユニット126によって提供された情報を関連するメタデータとして持ち得る。そのような情報は、たとえば、モバイル型の画像キャプチャデバイスの意図しない移動、衝突、またはその他の物理的な乱れ(たとえば、ユーザの足取りの結果として生じる物理的な乱れ)に帰せられるぼけ、動き、またはその他の望ましくない属性が原因である特定の画像の選択(または拒絶)の際に下流のプロセスによって使用可能であり得る。したがって、画像キャプチャのタイミングが、IMU 126からのデータに基づくことが可能である。
【００８２】
一部の実装において、モバイル型の画像キャプチャデバイス102は、慣性測定ユニット126によって出力されたデータを使用して、現在の移動のパターンが望ましいハイパーラプスのキャプチャをもたらすかどうかを判定することができる。たとえば、歩行パターンを示す慣性データが、ハイパーラプスのキャプチャをトリガし得る。一部の実装において、ハイパーラプス画像キャプチャは、再生レート未満のフレームレートでキャプチャされ得る(たとえば、3秒毎に1フレーム対30フレーム毎秒)。一部の実装において、モバイル型の画像キャプチャデバイス102は、ハイパーラプスを構成するためにフレームを選択および/または保持することに関する判断を支援するために慣性測定ユニット126からのデータを分析し得る。たとえば、互いにきれいに揃っている画像フレームが、ハイパーラプスを構成するために選択され得る。
【００８３】
一部の実装においては、慣性測定ユニット126によって出力されたデータが、ユーザがモバイル型の画像キャプチャデバイス102をタップすることを示す慣性測定データを検出するために監視され得る。より詳細には、一部の実装においては、(たとえば、たとえば、3回の連続したタップなどの特定のパターンに従って)ユーザがモバイル型の画像キャプチャデバイス102をタップしたことをモバイル型の画像キャプチャデバイス102が検出する場合、モバイル型の画像キャプチャデバイス102は、画像の記憶の確率を高めること、短期間の間、シーン分析なしに画像のキャプチャおよび記憶を実行すること、モバイル型の画像キャプチャデバイス102を異なるキャプチャモード(たとえば、バースト(burst)キャプチャモード)に遷移させること、ならびに/または最近キャプチャされた画像を消去することによってそのようなタップに応答し得る。様々なタッチ入力が、様々なタッチ出力にマッピングされ得る。その他の実装において、モバイル型の画像キャプチャデバイス102は、慣性測定ユニット126によって出力されたデータを監視することと代替的にまたは追加的にユーザがタップすることを検出するためのその他のタッチ感知構成要素を含み得る。
【００８４】
モバイル型の画像キャプチャデバイス102は、ネットワークインターフェース128をさらに含む。ネットワークインターフェース128は、ネットワーク化された通信を提供するための任意の数の構成要素(たとえば、トランシーバ、アンテナ、コントローラ、カードなど)を含み得る。一部の実装において、モバイル型の画像キャプチャデバイス102は、たとえば、Bluetooth(登録商標)および/またはBluetooth(登録商標)低エネルギー(Bluetooth(登録商標) Low Energy)などの近距離ワイヤレスプロトコルを使用して通信するように動作可能な第1のネットワークインターフェースと、さらに、たとえば、Wi-Fiなどのその他のワイヤレスネットワークプロトコルを使用して通信するように動作可能な第2のネットワークインターフェースとを含む。一例において、モバイル型の画像キャプチャデバイス102、104、および106は、Bluetooth(登録商標)低エネルギーなどの近距離ワイヤレスプロトコルを使用して互いに通信するように動作可能である。さらに、画像キャプチャデバイス102は、(たとえば、ユーザ入力オプションを送信するための)近距離ワイヤレスプロトコルかまたは(たとえば、キャプチャされた画像および/もしくは編集された動画の転送のための)Wi-Fiもしくはその他のより堅牢なネットワーキングプロトコルかのどちらかを使用してユーザコンピューティングデバイス130と通信するように動作可能であり得る。
【００８５】
モバイル型の画像キャプチャデバイス102は、電源129をさらに含み得る。概して、電源129は、搭載されたリチウムイオンバッテリなどの搭載されたバッテリである。モバイル型の画像キャプチャデバイス102は、商用電力またはその他の適切に定格化された電力の壁付きコンセントまたはその他のソースに(たとえば、マイクロUSBポートまたはその他の電気的なおよび/もしくはデータ接続ポートを介して)電気的に接続可能でもあり得る。モバイル型の画像キャプチャデバイス102を壁付きコンセントにつなぐことは、搭載されたバッテリを充電することができる。一部の実装において、モバイル型の画像キャプチャデバイス102は、モバイル型の画像キャプチャデバイス102が壁付きコンセントなどの外部電源に接続されるときにのみネットワーク180を介してユーザコンピューティングデバイス130に画像を転送するかまたはその他のエネルギー消費の多いタスクを実行するように構成される。
【００８６】
一部の実装において、モバイル型の画像キャプチャデバイス102は、ウェアラブル画像キャプチャデバイスであることが可能である。例として、モバイル型の画像キャプチャデバイス102は、メダリオン形であることが可能である。たとえば、モバイル型の画像キャプチャデバイス102は、円形の外周を有する筐体を持ち得る。モバイル型の画像キャプチャデバイス102のレンズ118およびイメージセンサ120は、筐体の中心を外れた位置に(たとえば、円形の筐体の同心円の中心から外れて)置かれることが可能である。筐体は、外周を面取りされ得る。さらに、一部の実装において、モバイル型の画像キャプチャデバイス102は、ひもで吊されてユーザの首の周りに身につけられ得る。その他の実装において、モバイル型の画像キャプチャデバイス102は、ユーザがモバイル型の画像キャプチャデバイス102を衣類またはその他の身の回りの物に留めることを可能にするクリップを含み得る。
【００８７】
本開示の別の態様によれば、モバイル型の画像キャプチャデバイス102は、同じおおまかなエリア内にあるその他のモバイル型の画像キャプチャデバイス(たとえば、デバイス104および106)と通信するように動作可能である可能性がある。一例として、モバイル型の画像キャプチャデバイス102は、モバイル型の画像キャプチャデバイスの近傍にある1つまたは複数のその他のモバイル型の画像キャプチャデバイス(たとえば、デバイス104および106)によってワイヤレスで受信され得る刺激信号(excitement signal)を送信するようにおよびその逆を行うように動作可能である可能性がある。刺激信号は、モバイル型の画像キャプチャデバイス102によって最近キャプチャされた複数の画像のうちの1つによって示されるシーンが比較的高い望ましさを有することを示す。したがって、モバイル型の画像キャプチャデバイス102は、興奮させる、興味深い、またはそれ以外で望ましいシーンがキャプチャのために利用可能であることを近くのデバイス(たとえば、デバイス104および106)に知らせるためのワイヤレス信号(たとえば、Bluetooth(登録商標)低エネルギーのブロードキャスト)を送信する可能性がある。
【００８８】
さらに、一部の実装においては、(たとえば、デバイス104または106のうちの1つからの)刺激信号の受信に応答して、モバイル型の画像キャプチャデバイス102は、以下、すなわち、モバイル型の画像キャプチャデバイス102が最近キャプチャされた画像の非一時的なコピーを記憶する確率を高めること、最近キャプチャされた画像内で刺激信号に含まれる1つまたは複数の埋め込み(embedding)に関する一致を特定しようと試みること、およびモバイル型の画像キャプチャデバイス102のイメージセンサ120のフレームレートまたは解像度のうちの1つまたは複数を上げることのうちの少なくとも1つを実行する。
【００８９】
一例として、一部の実装において、別のデバイスからの刺激信号の受信は、(たとえば、シーンアナライザ124の保存コントローラの部分によって実装される様々な閾値を下げることおよび/またはシーンアナライザ124に含まれる1つもしくは複数のモデルへの入力として刺激信号を与えることによって)受信する画像キャプチャデバイス102のシーンアナライザ124にその記憶の判断をより寛容に行うようにさせる可能性がある。
【００９０】
別の例として、一部の実装において、刺激信号は、画像が送信する画像キャプチャデバイスを刺激した同じシーンまたはその一部を示すかどうかを受信する画像キャプチャデバイス102が判定することを可能にする情報を含み得る。したがって、受信する画像キャプチャデバイス102は、その受信する画像キャプチャデバイス102の現在見られているシーンの抽象表現(abstraction)を受信された抽象表現と比較して、その受信する画像キャプチャデバイス102が同じシーンを見ているかどうかを判定することができる。受信する画像キャプチャデバイス102が同じシーンを見ているとその受信する画像キャプチャデバイス102が判定する場合、その受信する画像キャプチャデバイス102は、そのようなシーンの強化されたキャプチャおよび記憶を実施し得る。
【００９１】
刺激信号は、キャプチャの同期のためにも使用され得る。特に、同じ出来事における複数の画像キャプチャデバイスの所有者は、それらの所有者のモバイル型の画像キャプチャデバイスによって画像を同時にキャプチャすることから何らかの恩恵を受ける可能性がある。たとえば、ユーザがイベントからのそれらのユーザの映像(reflection)を後で共有する場合、異なる角度からの同じシーンのより多くの写真が複数の画像キャプチャデバイスの組によって撮られているので、望ましいシーンがキャプチャされる尤度がより高くなり、特別なアーティファクトを生み出す潜在力がより大きくなる。刺激信号は、モバイル型の画像キャプチャデバイスに重要な瞬間について知らせるための、表情および凝視経路(gaze path)のようなコンピュータビジョンのシグナルの後押し(booster)としても働く可能性がある。
【００９２】
しかし、すべての関係者のプライバシーを保障するために、刺激信号に含まれる情報は、受信する画像キャプチャデバイスが送信する画像キャプチャデバイスによって見られた特定のシーンを特定または再現するのに十分でない。その代わりに、刺激信号に含まれる情報は、概して、受信するキャプチャデバイスが同じシーンまたはその一部を現在見ているかどうかをその受信するキャプチャデバイスが(何らかの確率の範囲内で)判定するのに足るだけの情報を提供するシーンの抽象表現またはその他の低次元の表現である。たとえば、そのような抽象表現は、様々な画像の特徴(たとえば、色など)のヒストグラムを含む可能性があり、または送信する画像キャプチャデバイスのシーンアナライザに含まれるモデルのうちの1つもしくは複数の隠れ層のうちの1つもしくは複数から取り出された埋め込みである可能性がある。
【００９３】
再び図1を参照すると、システム100は、ユーザコンピューティングデバイス130およびサーバコンピューティングデバイス150をさらに含む。一部の実装において、モバイル型の画像キャプチャデバイス102が、ネットワーク180のローカルエリアネットワーク部分を介してユーザコンピューティングデバイス130に通信可能なように接続し、一方、ユーザコンピューティングデバイス130は、ネットワーク180の広域ネットワーク部分を介してサーバコンピューティングデバイス150に通信可能なように接続する。その他の実装において、モバイル型の画像キャプチャデバイス102は、広域ネットワークを介して直接サーバコンピューティングデバイス150に通信可能なように接続する。
【００９４】
ユーザコンピューティングデバイス130は、オーディオビジュアルコンテンツのキュレーションを実行し、ユーザ入力の選択を取得し、画像および/または動画のユーザの編集を可能にし得る。特に、一部の実装においては、モバイル型の画像キャプチャデバイス102に接続されるとき(たとえば、キャプチャセッションが完了された後)、ユーザコンピューティングデバイス130は、ユーザコンピューティングデバイス130に転送するために画像キャプチャデバイスに記憶された画像のうちの特定のものを選択し得る。ユーザコンピューティングデバイス130は、ユーザが転送された画像を選択的に編集することを可能にするユーザインターフェースを提供することもできる。特に、ユーザインターフェースは、コンピュテーショナルフォトグラフィ(computational photography)、カメラ再配置(camera repositioning)などの様々な先進的な画像編集技術を可能にし得る。
【００９５】
一部の実装において、ユーザインターフェースは、編集された動画を生成するための様々な入力を取得するためにさらに使用され得る。たとえば、一部の実装において、モバイル型の画像キャプチャデバイス102は、1つまたは複数の音声分類器ラベル(またはそれらを示すデータ)をユーザコンピューティングデバイス130に伝達することができる。1つまたは複数の音声分類器ラベルは、たとえば、音声信号の分析の後に取得されることが可能であり、音声信号の様々な部分を説明し得る。ユーザは、編集された動画に含まれるように環境音声トラックに含めるために音声分類器ラベルのうちの1つまたは複数を選択し得る。同様に、ユーザは、生成される動画の種類(たとえば、ハイパーラプスまたは短縮された動画)および動画がどれだけの長さであるべきかなどのその他の入力を与えることができる。編集された動画を生成するためのユーザ入力の選択を取得するための例示的なユーザインターフェースは、図17および図18を参照してより詳細に検討される。
【００９６】
ユーザコンピューティングデバイス130は、たとえば、ワイヤレスモバイルデバイス、携帯情報端末(PDA)、スマートフォン、タブレット、ラップトップ、デスクトップコンピュータ、コンピューティング対応ウォッチ、コンピューティング対応メガネ、またはその他のそのようなデバイス/システムなどの、プロセッサ132およびメモリ134を有するコンピューティングデバイスであることが可能である。要するに、ユーザコンピューティングデバイス130は、本開示を実施するために(たとえば、データを送信および受信することによって)、モバイル型の画像キャプチャデバイス102とインタラクションすることができる任意のコンピュータ、デバイス、またはシステムであることが可能である。
【００９７】
ユーザコンピューティングデバイス130のプロセッサ132は、任意の好適な処理デバイスであることが可能であり、1つのプロセッサまたは動作可能なように接続される複数のプロセッサであることが可能である。メモリ134は、任意の数のコンピュータ可読命令138またはその他の記憶されたデータ136を含み得る。特に、メモリ134に記憶される命令138は、1つまたは複数のアプリケーションを含み得る。プロセッサ132によって実施されるとき、1つまたは複数のアプリケーションは、たとえば、画像の記憶、キュレーション、編集、および共有アプリケーションを実行するなど、本開示に合致する動作をプロセッサ132にそれぞれ実行させるかまたは実行するようにプロセッサ132に命令し得る。メモリ134は、モバイル型の画像キャプチャデバイス102および/またはユーザコンピューティングデバイス130によってキャプチャされた任意の数の画像を記憶することもできる。
【００９８】
ユーザコンピューティングデバイス130は、ディスプレイをさらに含み得る。ディスプレイは、タッチ式ディスプレイテクノロジーを含む、ユーザに対して情報を表示するための多くの異なるテクノロジーのいずれか1つであることが可能である。
【００９９】
ユーザコンピューティングデバイス130は、転送コントローラ140も含む。特に、一部の実装においては、モバイル型の画像キャプチャデバイス102に接続されるとき(たとえば、キャプチャセッションが完了された後)、転送コントローラ140は、ユーザコンピューティングデバイス130に転送するために画像キャプチャデバイス102に記憶された画像のうちの特定のものを選択し得る。たとえば、そのような選択は、記憶された画像に関してそれぞれモバイル型の画像キャプチャデバイス102によって提供される様々なメタデータのアノテーションに反映された様々な画像の属性によって導かれ得る。概して、画像の多様性を保ちながら、最も望ましい画像が転送のために選択される。
【０１００】
一部の実装において、転送コントローラ140は、モバイル型の画像キャプチャデバイス102のメモリ114に記憶された画像のうちのどれを転送のために要求するか選択するために最適化アルゴリズムを実行し得る。最適化アルゴリズムは、引き続き最も望ましい画像の転送を要求しながら、たとえば、少なくとも周囲の状況の多様性および示される人の多様性を含む複数の関連する目的を持ち得る。一部の実装において、転送コントローラ140は、どの画像を転送のために要求するか選択するための下位モジュール機能を実装し得る。
【０１０１】
一部の実装において、ユーザコンピューティングデバイス130は、モバイル型の画像キャプチャデバイス102から転送された編集された動画内で使用される音声信号の部分を受信し得る。たとえば、本明細書においてより詳細に説明されるように、音声信号の分析の後、音声信号の1つまたは複数の部分が、環境音声トラックに含めるために選択され得る。たとえば、人の発話などの特定の前景音が除外され得る一方、環境または背景音などのその他の音は含めるために選択され得る。一部の実装においては、そのような環境または背景音を含む1つまたは複数の音声の部分が、モバイル型の画像キャプチャデバイス102からユーザコンピューティングデバイス130に転送され得る。さらに、一部の実装においては、本明細書において説明されるように、動画ストリームが、同様に転送されることが可能であり、編集された動画が、ユーザコンピューティングデバイス102において生成されることが可能である。一部の実装においては、編集された動画が、モバイル型の画像キャプチャデバイス102によって生成され、ユーザコンピューティングデバイス130に転送され得る。一部の実装において、転送コントローラ140は、編集された動画および/または編集された動画の一部をモバイル型の画像キャプチャデバイス102からユーザコンピューティングデバイス130に転送するために使用され得る。
【０１０２】
一部の実装において、ユーザコンピューティングデバイス130は、ベストショットセレクタ142をさらに含む。ベストショットセレクタ142は、画像のグループから少なくとも1つのハイライト画像(たとえば、映像内の各瞬間に関する少なくとも1つのハイライト画像)を選択するように実装され得る。たとえば、ベストショットセレクタ142は、画像の各々に関して含まれるアノテーションまたはその他のメタデータに基づいてハイライト画像を選択し得る。一部の実装において、ベストショットセレクタ142は、ハイライトの選択を実行する前に、ある瞬間の各画像をそのような瞬間の中のその同等の画像に対して正規化する。したがって、各瞬間に関するハイライト画像の選択は、そのような瞬間に含まれる少なくとも1つのその他の画像のアノテーションに対するそのような瞬間に含まれる各画像のアノテーションの比較に少なくとも部分的に基づくことが可能である。
【０１０３】
一部の実装において、ベストショットセレクタ142は、1つまたは複数の画像に関する推奨される構図を決定するために実装されることも可能である。たとえば、推奨される構図は、画像の一部(たとえば、広角画像の歪み補正された部分)のみに対応する可能性がある。推奨される構図は、画像に対する仮想カメラの特定の視点に対応する可能性もある。ベストショットセレクタ142は、画像に関連するアノテーションまたはその他のメタデータに少なくとも部分的に基づいて推奨される構図を決定し得る。たとえば、推奨される構図は、ユーザにとって高い重要性を有する主体の組に含まれる主体に対応する顔のみを含む広角画像の歪み補正された部分に対応する可能性がある。
【０１０４】
一部の実装において、画像によって示される被写体の凝視角が、そのような画像に関する推奨される構図を決定するために使用され得る。例として、人間の被写体の顔の極端な角度(たとえば、上/下、左/右)が、周りの領域のどれだけがクロップに(たとえば、推奨される構図に)含まれるべきかを決定するのを助けるために使用され得る。一部の実装において、推奨される構図を決定することは、フレーム内の最も際立った、十分に照明の当たった、および/または構図として面白い部分を選択することを含み得る。
【０１０５】
さらに実装において、ユーザコンピューティングデバイス130のベストショットセレクタ142および/またはその他の構成要素は、(たとえば、バウンディングボックスによるよりもむしろピクセルレベルの)意味的なシーンのセグメント分けを実行し得る。意味的なシーンのセグメント分けは、構図、ぼけ、または画像の特定の部分へのその他の編集技術の選択的適用に関して使用され得る。
【０１０６】
ユーザコンピューティングデバイス130は、ユーザインターフェースコントローラ144も含む。ユーザインターフェースコントローラ144は、ユーザが映像内の画像を時間的および/または空間的に探索することを可能にするユーザインターフェースを提供するように実装され得る。特に、ユーザインターフェースコントローラ144は、特定のユーザ入力を検出し、適切なユーザインターフェースのインタラクションによって応答するように実装され得る。
【０１０７】
ユーザコンピューティングデバイス130は、コンピュテーショナルフォトグラファ146も含む。コンピュテーショナルフォトグラファ146は、映像に含まれる画像に関連して様々な画像編集または画像合成技術を実行するように実装され得る。一例として、ユーザがカメラの視点を調整した後、コンピュテーショナルフォトグラファ146は、新しい視点の結果として生じる1つまたは複数のカメラパラメータ(たとえば、焦点、レンズ歪み、照明など)を再計算することによって選択された視点に対応する新しい画像を合成し得る。その他の例として、コンピュテーショナルフォトグラファ146は、超解像、ハイパーラプス、テクスチャマッピング、深度マッピング、視点合成などの先進的な画像処理技術を実行するように実装され得る。同様に、コンピュテーショナルフォトグラファ146は、ISO、被写界深度、手ぶれ補正(stabilization)、およびその他の画像パラメータまたは特徴に関する調整可能な制御を提供するように実装され得る。
【０１０８】
転送コントローラ140、ベストショットセレクタ142、ユーザインターフェースコントローラ144、およびコンピュテーショナルフォトグラファ146の各々は、所望の機能を提供するために利用されるコンピュータ論理を含み得る。したがって、転送コントローラ140、ベストショットセレクタ142、ユーザインターフェースコントローラ144、およびコンピュテーショナルフォトグラファ146の各々は、ハードウェア、ファームウェア、および/または汎用プロセッサを制御するソフトウェアに実装され得る。一部の実装において、転送コントローラ140、ベストショットセレクタ142、ユーザインターフェースコントローラ144、およびコンピュテーショナルフォトグラファ146の各々は、ストレージデバイスに記憶され、メモリ134にロードされ、プロセッサ132によって実行されるプログラムコードファイルを含むか、あるいはコンピュータプログラム製品、たとえば、たとえばRAMディスクもしくはカードまたはその他のコンピュータ可読光もしくは磁気媒体などの有形のコンピュータ可読ストレージ媒体に記憶されるコンピュータが実行可能な命令138から提供され得る。
【０１０９】
サーバコンピューティングデバイス150は、1つまたは複数のサーバコンピューティングデバイスを使用して実装されることが可能であり、プロセッサ152およびメモリ154を含むことが可能である。サーバコンピューティングデバイス150が複数のサーバデバイスからなる場合、そのようなサーバデバイスは、並列コンピューティングアーキテクチャ、分散コンピューティングアーキテクチャ、またはこれらの組合せを含む任意のコンピューティングアーキテクチャによって動作し得る。
【０１１０】
プロセッサ152は、任意の好適な処理デバイスであることが可能であり、1つのプロセッサまたは動作可能なように接続される複数のプロセッサであることが可能である。メモリ154は、本開示を実施するための動作をプロセッサ152に実行させる命令158を記憶し得る。
【０１１１】
サーバコンピューティングデバイス150は、モデルトレーナ160も含み得る。サーバコンピューティングデバイス150は、多層非線形モデル(たとえば、ディープニューラルネットワーク)などの1つまたは複数のモデル(たとえば、ニューラルネットワーク)を訓練および/または再訓練するためのモデルトレーナ160を実装し得る。例として、モデルトレーナ160は、モデルを訓練するためにバッチ勾配降下法または確率的勾配降下法などの逆伝播技術を実行し得る。モデルトレーナ160は、モデルの過学習を防止するためのドロップアウト技術を利用することもできる。モデルトレーナ160は、訓練画像として処理された画像および/または未処理の画像を使用してモデルを訓練し得る。
【０１１２】
したがって、一部の実装において、サーバコンピューティングデバイス150は、新しいモデルを訓練するかまたは既存のモデルの更新バージョンを追加的な訓練データに関して訓練するためのモデルトレーナ160を実装し得る。例として、モデルトレーナ160は、入力画像の望ましさに関する出力を提供するように1つまたは複数のモデルを訓練するために望ましいと手作業でラベル付けされた画像を使用し得る。特に、一部の実装において、追加的な訓練データは、編集インターフェースを通じてユーザが作成した画像であることが可能である。別の例として、モデルトレーナ160は、編集された動画に含めるための音声の部分および画像ストリームをインテリジェントに選択するように1つまたは複数のモデルを訓練するために、環境音声トラックを含む編集された動画クリップを使用し得る。したがって、画像キャプチャデバイス102のモデルの更新されたバージョンは、ユーザの特定の嗜好を満足させる画像および/または動画をよりうまく推察し、キャプチャし、記憶するように、パーソナライズされたデータセットに関してモデルトレーナ160によって訓練され得る。その他の場合、追加的な訓練データは、匿名化され、集約されたユーザのフィードバックであることが可能である。
【０１１３】
サーバコンピューティングデバイス150は、シーンアナライザ124、音声アナライザ125に含まれる1つもしくは複数のモデルまたはその他のモデルの1つまたは複数の更新されたバージョンをモバイル型の画像キャプチャデバイス102に周期的に提供し得る。更新されたモデルは、ユーザコンピューティングデバイス130を経由して、またはネットワーク180を介して直接モバイル型の画像キャプチャデバイス102に送信され得る。その他の実装において、ユーザコンピューティングデバイス130も、特定のモバイル型の画像キャプチャデバイス102に関して上で説明されたようにパーソナライズされたモデルの訓練を実行するモデルトレーナを含み得る。
【０１１４】
モデルトレーナ160は、所望の機能を提供するために利用されるコンピュータ論理を含み得る。したがって、モデルトレーナ160は、ハードウェア、ファームウェア、および/または汎用プロセッサを制御するソフトウェアに実装され得る。一部の実装において、モデルトレーナ160は、ストレージデバイスに記憶され、メモリ154にロードされ、プロセッサ152によって実行されるプログラムコードファイルを含むか、あるいはコンピュータプログラム製品、たとえば、たとえばRAMハードディスクもしくはカードまたはその他のコンピュータ可読光もしくは磁気媒体などの有形のコンピュータ可読ストレージ媒体に記憶されるコンピュータが実行可能な命令から提供され得る。
【０１１５】
ネットワーク180は、ローカルエリアネットワーク(たとえば、イントラネット)、広域ネットワーク(たとえば、インターネット)、またはこれらの何らかの組合せなどの任意の種類の通信ネットワークであることが可能であり、任意の数の有線またはワイヤレスリンクを含むことが可能である。概して、サーバコンピューティングデバイス150とユーザコンピューティングデバイス130との間の通信は、多種多様な通信プロトコル(たとえば、TCP/IP、HTTP、SMTP、FTP)、符号化もしくはフォーマット(たとえば、HTML、XML)、および/または保護方式(たとえば、VPN、セキュアHTTP、SSL)を使用して任意の種類の有線および/またはワイヤレス接続を介して運ばれ得る。サーバコンピューティングデバイス150は、データを送信および受信することによってネットワーク180を介してユーザコンピューティングデバイス130と通信し得る。
【０１１６】
さらに、サーバコンピューティングデバイス150に記憶されるかまたはサーバコンピューティングデバイス150によって実行されるものと説明されたプロセス、動作、プログラム、アプリケーション、または命令のいずれも、その代わりに、全体がまたは一部がユーザコンピューティングデバイス130に記憶されるかまたはユーザコンピューティングデバイス130によって実行されることが可能であり、その逆も可能である。特に、一部の実装において、モバイル型の画像キャプチャデバイス102は、サーバコンピューティングデバイス150に通信可能なように直接接続することができ、サーバコンピューティングデバイス150は、本開示の他の箇所でユーザコンピューティングデバイス130に帰せられた画像のキュレーション、編集、記憶、および共有機能を(たとえば、webアプリケーションを介して)実行し得る。同様に、モバイル型の画像キャプチャデバイス102に記憶されるかまたはモバイル型の画像キャプチャデバイス102によって実行されるものと説明されたプロセス、動作、プログラム、アプリケーション、または命令のいずれも、その代わりに、全体がまたは一部がユーザコンピューティングデバイス130に記憶されるかまたはユーザコンピューティングデバイス130によって実行されることが可能であり、その逆も可能である。たとえば、一部の実装において、転送コントローラ140は、ユーザコンピューティングデバイス130よりもむしろモバイル型の画像キャプチャデバイス102に置かれることが可能である。
【０１１７】
図2は、本開示の例示的な態様による例示的な音声アナライザモデル250のブロック図を示す。音声アナライザモデル250は、音声分類器ラベル256を決定するように構成された機械学習されたモデルであることが可能である。一部の実装において、音声アナライザモデル250は、音声信号を記述する入力データ254の組を受け取るように訓練される。たとえば、音声信号は、マイクロフォンによって受け取られ、処理される/音声データ254に変換されることが可能である。音声データ254は、音声アナライザモデル250に入力され、音声データ254を受け取った結果として、音声イベントを記述する音声分類器ラベル256を提供することができる。したがって、一部の実装において、音声アナライザモデル250は、1つまたは複数の音声イベントを特定し、1つまたは複数の音声イベントを記述する音声分類器ラベル256を出力するように動作可能である機械学習された音声分類器モデル252を含み得る。一部の実装において、機械学習された音声分類器モデル252は、ニューラルネットワーク(たとえば、ディープニューラルネットワーク)であることが可能である。
【０１１８】
一部の実装において、機械学習された音声分類器モデル252は、様々な人の発話の音および/または発話以外の音を分類し、発話の音と発話以外の音とを区別するように構成され得る。たとえば、一部の実装において、機械学習された音声分類器モデルは、笑い、泣き、拍手喝采、足音、ドアが開く音、床の軋み、破壊音および/もしくは衝突音などの高強度の音、しゃべり声、レストランのどよめき、乗り物の通行、ならびに/またはその他の音などの複数の発話以外の音を分類するように訓練され得る。一部の実装においては、波、風、雨、雷、木の葉のそよぐ音、またはその他の周囲の音などの様々な周囲の音が、分類され得る。一部の実装においては、鳥のさえずり、虫の鳴き声、犬の吠え声、またはその他の動物の音などの様々な動物の音が、分類され得る。
【０１１９】
一部の実装において、機械学習された音声分類器モデル252は、様々な音分類ラベルをラベル付けされた訓練データセットを使用して訓練され得る。たとえば、クローズドキャプションラベル(たとえば、「[笑い]」)を含む動画クリップが、様々な発話の音および発話以外の音を分類するように機械学習された音声分類器モデル252を訓練するための訓練データセットとして使用され得る。
【０１２０】
一部の実装において、機械学習された音声分類器モデル252は、1つまたは複数の画像キャプチャのきっかけを特定し、画像キャプチャのきっかけの識別子ラベルを出力するように構成され得る。たとえば、一部の実装においては、カウントダウンシーケンス(たとえば、「3...2...1...」)、歌(たとえば、「ハッピーバースデーソング」)、口頭のコマンド(「画像をキャプチャして」)、またはその他の発話などの特定の発話の音が、分類され得る。
【０１２１】
一部の実装において、音声データ254(つまり、音声信号を示すデータ)は、音声データ254が音声センサ121および/または音声信号処理パイプライン123によって取得されるときにローリング式にまたは連続的に音声データ254を音声アナライザモデル250に入力することによるなどして、音声データ254が受け取られるときに分析され得る。一部の実装においては、音声データ254のローリングウィンドウが、分析され得る。一部の実装においては、音声データ254の1つまたは複数の部分が、分析され得る。一部の実装において、音声データ254は、音声データ254が画像キャプチャプロセスにおいて使用されるときなど、分析後に破棄され得るおよび/または上書きされ得る。一部の実装においては、本明細書において説明されるように、編集された動画の環境音声トラックに含めるために選択される音声データ254の部分などの音声データ254の特定の部分のみが、保有され得る。たとえば、人の発話などの特定の前景音が、本明細書において開示されるように環境音声トラックから除外され、分析後に破棄され得る。
【０１２２】
図3は、本開示の例示的な態様による例示的な画像処理フレームワークにおけるデータフロー対時間の視覚的表現300を示す。特に、図3は、音声イベントに先立つ時間の期間の時間のずれに基づいて画像を選択および/またはキャプチャするために音声信号が使用される画像キャプチャプロセスにおけるデータフローの1つの例示的なタイミングを示す。その他の実装において、画像は、音声イベントに続く時間の期間の時間のずれに基づいて、または音声イベントと同時に画像キャプチャのためにキャプチャされ得る。一部の実装において、図3に示される画像処理フレームワークは、図1に示された画像キャプチャデバイスなどの画像キャプチャデバイスに実装され得る。
【０１２３】
示されるように、音声データ302などの音声信号が、画像キャプチャデバイスの音声センサによるなどして受け取られ得るまたは取得され得る。音声信号は、本明細書において開示されるように処理され得るおよび/または変換され得る。
【０１２４】
306において、音声データ302が、音声分類器ラベルを決定するように構成された機械学習されたモデルによるなどして分析され得る。たとえば、様々な実装において、音声データ302は、ローリング式にまたは連続的になど、音声データ302が受け取られるときに分析され得る。一部の実装においては、音声データ302のウィンドウが、分析され得る。一部の実装において、離散的な音声の部分などの異なる音声の部分が、分析され得る。
【０１２５】
たとえば、図3に示されるように、音声データ302を受け取った後、音声の一部分304が、機械学習されたモデルによって分析され得る。したがって、示されるように、306において、音声データ302の少なくとも一部分304が、分析され得る。一部の実装においては、音声イベントを記述する1つまたは複数の音声分類器ラベルが、音声分析306の間に決定され得る。
【０１２６】
たとえば、1つの実装においては、音声の一部分304が、306において分析されることが可能であり、笑いを含む音声分類器ラベルが、特定されることが可能である。たとえば、機械学習されたモデルは、笑いおよび/またはその他の人の発話の音もしくは発話以外の音を分類するように訓練され得る。音声分析306の後、音声分類器ラベルに関連する1つまたは複数の画像が、画像キャプチャまたはさらなる画像分析のためになど、特定され得る。
【０１２７】
たとえば、一部の実装においては、画像キャプチャデバイスが、連続キャプチャモードにおいて一定の間隔などで画像データ308を取得するように構成され得る。たとえば、示されるように、複数の画像(つまり、画像データ308A〜F)が、経時的にキャプチャされ得る。一部の実装において、複数の画像データ308A〜Fは、画像キャプチャデバイスによってキャプチャされ、一時的な画像バッファに保有され得る。たとえば、それぞれのキャプチャされた画像308A〜Fのコピーが、画像キャプチャデバイスのメモリの一時的な画像バッファに一時的に保有され得る。
【０１２８】
一部の実装においては、音声イベントを記述する音声分類器ラベルを決定することに応じて、音声分類器ラベルに関連する時間のずれの量が、決定され得る。たとえば、一部の実装においては、笑いを含む音声分類器ラベルに関して、負の時間のずれの量が、決定され得る。たとえば、音声分類器ラベルに関連する音声イベントの前の1〜3秒の時間のずれが、決定され得る。
【０１２９】
一部の実装においては、画像キャプチャのきっかけを含む音声分類器ラベルに関して、正の時間のずれの量が、決定され得る。たとえば、カウントダウンシーケンスラベル(たとえば、「3...、2...、1...」)に関して、カウントダウンシーケンスの終わりに対応する時間のずれが、決定され得る。
【０１３０】
一部の実装において、時間のずれの量は、音声分類器ラベルに関連する1つまたは複数の画像を特定するために使用され得る。音声イベントに先立ってまたは音声イベントの後にキャプチャされた画像など、1つまたは複数の画像は、音声イベントから時間的にずらされ得る。たとえば、音声イベントが笑いである1つの実装においては、笑いラベルをラベル付けされた音声信号302の音声の一部分304を受け取る前の時間にキャプチャされた画像308Aが、特定され得る。笑いイベントに先立って発生した画像を特定することによって、笑いの原因を捉えた可能性がある画像が、記憶および/またはさらなる分析のために選択され得る。
【０１３１】
同様に、一部の実装においては、音声の一部分304が、画像キャプチャのきっかけのラベルをラベル付けされることが可能であり、音声の一部分304の後の時間にキャプチャされた画像308Fが、特定され得る。さらに、これは、画像キャプチャモードを開始すべきかどうかなど、画像をいつキャプチャすべきかおよび画像をキャプチャすべきであるかどうかを判断するために使用され得る。たとえば、一部の実装において、画像キャプチャデバイスは、画像キャプチャデバイスが音声信号302の少なくとも一部分304を分析し、分析に続いて、画像キャプチャプロセスを開始する低電力または省電力モードで動作し得る。たとえば、画像キャプチャデバイスは、「ウェークアップ」し、画像308E〜Fなどの、音声分析306の後の1つまたは複数の画像をキャプチャし得る。
【０１３２】
さらに、衝突音または破壊音を含む音声分類器ラベルなどの一部の実装においては、同時にキャプチャされた画像が、特定され得る。たとえば、破壊音ラベルを含む音声の一部分304に関して、同時にキャプチャされた画像308Bが、特定され得る。
【０１３３】
一部の実装においては、音声分類器ラベルに関連するキャプチャされた画像308A〜Fなどの特定された画像が、記憶され得る。たとえば、笑いラベルを含む音声分類器ラベルに関して、負の時間のずれの量が、音声信号302の笑いラベルをラベル付けされた音声の一部分304を受け取る前の時間に画像キャプチャデバイスによってキャプチャされた画像308Aを特定するために使用され得る。たとえば、一部の実装において、画像キャプチャデバイスは、キャプチャされた画像308Aのコピーを画像キャプチャデバイスの不揮発性メモリに記憶し得る。同様に、その他の時間のずれの量(または同時に特定された画像に関してゼロのずれ)を使用して、同時にキャプチャされた画像308Bおよび/または将来の時間にキャプチャされた画像308Fが、画像キャプチャデバイスの不揮発性メモリに記憶され得る。このようにして、時間のずれの量が、音声分類器ラベルに少なくとも部分的に基づいて決定されることが可能であり、時間のずれの量が、音声分類器ラベルに関連する1つまたは複数のキャプチャされた画像を特定するために使用されることが可能である。さらに、1つまたは複数の特定された画像が、それから、不揮発性メモリになど、画像キャプチャデバイスに記憶され得る。したがって、本開示の例示的な態様によれば、一部の実装において、少なくとも音声の一部分304の分析が、記憶のために1つまたは複数の画像を特定するために使用され得る。
【０１３４】
一部の実装においては、音声分類器ラベルに関連する1つまたは複数の画像が、特定されることが可能であり、さらに分析されることが可能である。たとえば、笑いラベルに関連する画像308Aが、特定され、画像分析310のために選択され得る。たとえば、一部の実装においては、音声分類器ラベルに関連する画像が、画像によって示されるシーンの望ましさを決定するように構成された機械学習されたモデルによって分析され得る。たとえば、本明細書において開示されるように、1つまたは複数のニューラルネットワークが、画像によって示されるシーンの望ましさを決定するために使用され得る。
【０１３５】
一部の実装においては、画像分析310の後、画像308Aが、画像記憶プロセス312においてなど、記憶され得る。一部の実装において、画像308Aは、画像308Aのコピーを画像キャプチャデバイスの不揮発性メモリに記憶することによって記憶され得る。一部の実装において、画像キャプチャデバイスは、画像308Aによって示されるシーンの望ましさに少なくとも部分的に基づいて、画像308Aのコピーを記憶すべきかまたは画像308Aのコピーを記憶することなく画像308Aを破棄すべきかどうかを判定し得る。たとえば、一部の実装においては、人をキャプチャしなかった画像が、破棄され得る。同様に、本明細書において開示されるように、顔認識スコアもしくは顔属性スコア、写真品質スコア、1つもしくは複数の意味ラベル、または望ましさのその他の記述子などの画像308Aによって示されるシーンの望ましさのその他の記述子が、使用され得る。
【０１３６】
このようにして、音声信号の少なくとも一部が、音声イベントを記述する音声分類器ラベルを決定するために使用され得る。音声イベントから時間的にずらされた1つまたは複数の画像などの音声分類器ラベルに関連する1つまたは複数の画像が、特定され得る。1つまたは複数の画像は、それから、画像によって示されるシーンの望ましさを決定するためになどさらに分析され、および/または不揮発性メモリになど記憶するために選択され得る。さらに、一部の実装において、1つまたは複数の画像は、1つまたは複数の画像によって示されるシーンの望ましさに少なくとも部分的に基づいて記憶のために選択され得るかまたは破棄され得る。
【０１３７】
図4は、本開示の例示的な実施形態による例示的な画像キャプチャデバイスの例示的なキャプチャモードの視覚的表現400を示す。視覚的表現400において、縦棒は、キャプチャされた画像を表し、棒の縦の長さは、キャプチャされた画像の解像度を表す。特に、より短い棒(たとえば、棒402)が、低い解像度の画像を表す一方、より長い棒(たとえば、棒404)は、高いまたは完全な解像度の画像を表す。横に厚い棒は、圧縮および記憶のために選択される画像を表す。
【０１３８】
通常のデジタルカメラおよびモバイル型の撮像装置とは異なり、本開示の画像キャプチャデバイスは、キャプチャフレームレートおよび解像度をオンザフライで変更することができる。特定の例示的なキャプチャモードが、図4に示される。しかし、モバイル型の画像キャプチャデバイスは、その他のキャプチャモードによっても動作し得る。
【０１３９】
視覚的表現400の左側は、通常のまたは持続的なキャプチャ状態の視覚的表現である。画像キャプチャデバイスの通常のキャプチャ状態の間、画像キャプチャデバイスは、低解像度の画像キャプチャモードと高解像度の画像キャプチャモードとの間を周期的に遷移する可能性がある。そのようにして、高い解像度のまたは完全な解像度のフレームが、比較的に低い頻度で(たとえば、平均0.1から5フレーム毎秒(fps)で)キャプチャされることが可能であり、一方、低い解像度のフレームは、より高い頻度で(たとえば、平均5から20fpsで)キャプチャされることが可能である。本明細書における「キャプチャされた」は、イメージセンサのレベルを意味する。しかし、画像がイメージセンサによって「キャプチャされる」が、必ずしもすべての画像が圧縮および記憶のために選択されるとは限らないことに留意されたい。
【０１４０】
一部の実装において、高いまたは完全な解像度のフレームは、12メガピクセル(MP)の画像であることが可能である。高い解像度のフレームは、イメージセンサの最大解像度のフレーム全体であることが可能である。これらの高い解像度のフレームは、最終的な圧縮および記憶のための最も有力な候補であることが可能である。完全な解像度の画像のためのフレームレートは、異なるキャプチャモードにおいて上げられることが可能であり、これは、下でさらに検討される。
【０１４１】
一部の実装において、低い解像度のフレームは、1.33MPの画像であることが可能である。低い解像度のフレームは、シーン分析のために使用されることが可能であり、希望に応じて(たとえば、500×375に)さらに縮小される可能性さえある。低い解像度のフレームは、ユーザがユーザコンピューティングデバイスにおける表示(たとえば、画像のサムネイル(たとえば、100×75)に基づくキャプチャの視覚化)によって画像をプレビューすることを可能にすること、ハイパーラプス(コンピュータビジョン)アーティファクトを生成すること、および/または時間的に緊密に関連する完全な解像度のフレームに基づいて低い解像度の画像の一部の解像度が高められる超解像技術を実行することなどの様々なその他の目的のために使用されることも可能である。
【０１４２】
さらに、一部の実装においては、高い解像度の画像および低い解像度の画像に加えて、イメージセンサは、たとえば、3MPである中間の解像度の画像を提供するようにさらに動作可能である可能性がある。一部の実装において、中間の解像度の画像は、バーストキャプチャモード中に最大30fpsでキャプチャされ得る。中間の解像度の画像は、低照度ビニングを含む筋書きに有用である可能性がある。特に、雑音の量を減らすために、センサの時間雑音(temporal noise)が削減されるようにセンサにおいてビニングを実行することが望ましい可能性がある。これは確かに空間解像度を犠牲にするが、露出時間がさらに増やされない可能性があるとき、そのような動作を実行することが望ましい可能性がある。場合によっては、画像キャプチャデバイスの露出時間は、モーションブラーの量を削減するために比較的短い可能性がある。2×2のビニングは、画像の雑音を標準偏差で見て2分の1に削減する。
【０１４３】
画像キャプチャデバイスは、図4において通常の持続的な状態の後に示されるバーストキャプチャモードまたはバースト状態で動作することもできる。画像キャプチャデバイスは、シーンアナライザからの信号に基づいてまたはユーザからの手動のトリガに応じてバースト状態に遷移することができる。したがって、バーストキャプチャモードは、概して、非常に望ましいシーンが認識されたときに実行され、デバイスは、そのようなシーンのキャプチャされた画像の量を最大化しようと試みる。よって、バーストキャプチャモード中に、画像キャプチャデバイスは、比較的高いフレームレート(たとえば、高い解像度に関して15fpsまたは中間の解像度に関して30fps)で中間のまたは高い解像度の画像をキャプチャすることができる。代替的に、低い解像度の画像は、高いフレームレートでキャプチャされることが可能であり、低い解像度の画像は、最終的な高い解像度のデータを得るために超解像を経ることが可能である。一部の実装において、バーストキャプチャモードは、動画ストリーム内の複数の連続した画像フレームを得るために使用され得る。
【０１４４】
一部の実装において、バーストモード中にキャプチャされた画像のすべては、ほとんどまたはまったくシーン分析が実行されずに圧縮され、不揮発性メモリに記憶される。特に、ほとんどまたはまったくシーン分析を実行しないことによって、画像キャプチャデバイスの限られたリソースが、高いまたは中間の解像度の画像の圧縮および記憶に自由に投入され得る。たとえば、不揮発性メモリへの書き込みは、20から25MB毎秒ほどで実行され得る。しかし、バーストキャプチャが後で超解像を経る可能性がある低い解像度の画像を含むときは、より多くのリソースが、シーン分析に投入される可能性がある。バーストキャプチャモードは、時間のある期間の間持続されることが可能であり、その期間の後、画像キャプチャデバイスは、通常の状態に戻る。一部の実装において、バーストモード中にキャプチャされた画像は、本明細書において開示されるように、編集された動画を作成するためになど後で分析され得る。
【０１４５】
一部の実装において、画像キャプチャデバイスは、ハイパーラプスキャプチャモードで動作することが可能である可能性もあり、これが、図4の右側に示される。手ぶれ補正されたハイパーラプス動画を生成するために使用可能な画像のキャプチャを目的としているハイパーラプスキャプチャモードにおいて、画像キャプチャデバイスは、時間の長期間の間、低いまたは中間の解像度の画像をキャプチャすることができる。
【０１４６】
特に、ハイパーラプスキャプチャ状態において、1つの力点は、ショット間の滑らかな遷移にある。低いまたは中間の解像度の画像は、比較的高いフレームレート(たとえば、15fps)でキャプチャされ得る。フレームのすべてが、処理され、圧縮され、保存される訳ではない。たとえば、ハイパーラプスキャプチャのための分析は、出力がおおよそ毎秒1つの保存されたフレームであるようにフレームを選択し得る。特に、急な動きをともなうキャプチャされたフレームは、破棄され得る。ゆえに、動き分析は、ハイパーラプスフレームの選択の中心的な構成要素であり得る。したがって、ハイパーラプスキャプチャ状態の間に実行されるシーン分析は、通常のキャプチャ状態とは異なる目的を持つことができ、または概してより軽い可能性がある。さらに、一部の実装において、高い解像度の画像は、ハイパーラプスキャプチャモードにおいては低いまたは中間の解像度の画像を間に差し込まれ得る。一部の実装において、ハイパーラプスキャプチャは、本明細書において開示されるように、編集された動画を生成するために環境音声トラックと組み合わされ得る。
【０１４７】
図5は、本開示の例示的な実施形態による例示的な画像処理フレームワーク200の概略図を示す。特に、図5に示される概略図は、フレームワーク200中の複数の潜在的なデータ経路またはワークフローを認める構成要素間の関係を示す。画像処理フレームワーク200は、画像キャプチャデバイスに含まれ得る。
【０１４８】
画像処理フレームワーク200は、RAW画像データを出力するイメージセンサ202を含む。たとえば、RAW画像データは、ベイヤーRAW画像であることが可能である。RAW画像データは、第1のメモリ204および/またはイメージングパイプライン206に伝達され得る。一例として、イメージセンサ202によって出力されたRAW画像データを記憶する第1のメモリ204は、一時的なRAWデータバッファと呼ばれることが可能であり、たとえば、DRAMメモリであることが可能である。一部の実装において、イメージングパイプライン206は、RAW画像データをイメージセンサ202から直接ストリーミングする。そのような筋書きにおいて、一時的なデータバッファは、任意で、RAW画像データの代わりに処理された画像を記憶する可能性がある。
【０１４９】
イメージングパイプライン206は、イメージセンサ202から受け取られたRAW画像データを取得し、そのようなRAW画像データを処理して画像を生成する。たとえば、処理された画像は、RGB画像、YUV画像、YCbCr画像、またはその他の色空間による画像であり得る。加えて、イメージングパイプライン206は、システムプロセッサ214に動作可能なように接続され得る。システムプロセッサ214は、イメージングパイプライン206がデベイヤーフィルタリング、RAWフィルタリング、LSCフィルタリング、またはその他の画像処理動作を実行するのを支援するハードウェアブロック216を含み得る。RAWフィルタ段階は、リアルタイムの自動露出および/または自動ホワイトバランス動作のための画像統計216を提供し得る。ソフトウェアフィルタも、使用される可能性がある。例示的なイメージングパイプラインの追加の検討が、図9および図10に関連して与えられる。
【０１５０】
画像キャプチャデバイスのキャプチャモードおよび/またはその他のパラメータに応じて、イメージングパイプライン206は、画像を任意のスケーラ208または第2のメモリ222に提供することができ、これは、下でさらに検討される。スケーラ208は、受け取られた画像をダウンサンプリングして画像のより低い解像度のバージョンを出力することができる。したがって、一部の実装において、スケーラ208は、ダウンサンプラと呼ばれ得る。
【０１５１】
スケーラ208は、画像を第3のメモリ210に提供する。第3のメモリ210は、第2のメモリ222と同じメモリまたは異なるメモリである可能性がある。第2のメモリ222および/または第3のメモリ210は、画像の一時的なコピーを記憶し得る。したがって、第2のメモリ222および/または第3のメモリ210は、一時的な画像バッファと呼ばれ得る。一部の実装において、第2のメモリ222および/または第3のメモリ210は、DRAMである。加えて、一部の実装においては、イメージングパイプラインがより低い解像度で実行され、より大きく電力を節約することを可能にされるように、ダウンサンプリングがイメージングパイプラインの初めに実行され得る。
【０１５２】
第2のメモリ222および/または第3のメモリ210は、画像情報をシーンアナライザ212に提供し得る。一部の実装において、シーンアナライザ212は、画像によって示されるシーンを分析してそのようなシーンの望ましさを評価し、そのような望ましさに少なくとも部分的に基づいて、そのような画像の非一時的なコピーを記憶すべきかまたはさらに記憶することなくそのような画像の一時的なコピーを破棄すべきかどうかを判定するように動作可能である。シーンアナライザ212は、システムプロセッサ214に記憶された様々なデータ218にアクセスすることもできる。
【０１５３】
画像の非一時的なコピーが記憶されるべきであるとシーンアナライザ212が判定する場合、シーンアナライザ212は、画像を圧縮構成要素226に提供し得る。その他の実装において、圧縮構成要素226は、第2のメモリ222および/または第3のメモリ210から画像を受け取ることができる。さらにその他の実装においては、画像の非一時的なコピーが記憶されるべきであるとシーンアナライザが判定する場合、第1のメモリ204に記憶されたRAW画像データが、イメージングパイプライン206によって取り出され、処理され、結果として得られる処理された画像が、圧縮構成要素226に提供される。
【０１５４】
圧縮構成要素226は、受け取られた画像を圧縮する。圧縮構成要素226は、ハードウェア構成要素であり得るかまたはプロセッサ(たとえば、システムプロセッサ214)上で実施される画像圧縮ソフトウェアであり得る。圧縮の後、画像の非一時的なコピーが、不揮発性メモリ228に書き込まれる。たとえば、不揮発性メモリ228は、SDカードであることが可能である。
【０１５５】
一部の実装において、音声分類器ラベルに関連する1つまたは複数の画像は、初めにシーンアナライザ212によって分析されることなく記憶され得る。たとえば、音声分類器ラベルに関連する時間のずれが、音声分類器ラベルに関連する1つまたは複数の画像を特定するために使用されることが可能であり、1つまたは複数の画像は、不揮発性メモリ228になど記憶され得る。
【０１５６】
一部の実装において、点線の四角内に記された画像圧縮経路220は、画像が圧縮および記憶のために選択されないとき、アクティブでない可能性があることに留意されたい。したがって、一部の実装において、シーンアナライザ212の出力は、画像圧縮経路220をオンにするかまたはイメージセンサ202を制御するかのどちらかのために使用され得る。特に、以下でさらに検討されるように、(たとえば、システムプロセッサ214と連携した)シーンアナライザ212が、イメージセンサ202を制御するためにセンサ制御信号230を与えることができる。さらに、一部の実装において、シーンアナライザ212の出力は、イメージングパイプライン経路をオンにするかまたはオフにするかのどちらかのためにやはり使用され得る。加えて、一部の実装および/またはキャプチャモードにおいて、シーン分析の一部は、低い解像度の画像に関連して実行されることが可能であり、一方、シーン分析のその他の部分は、高い解像度の画像のクロップに対して実行されることが可能である(たとえば、表情分析は、高い解像度の画像のクロップを必要とする可能性がある)。
【０１５７】
一部の実装において、イメージセンサ202からの出力は、イメージングパイプライン206を通じてタイミングのほとんどを制御することができる。たとえば、イメージングパイプライン206における画像処理は、イメージセンサレシーバ(image sensor receiver)(たとえば、MIPIレシーバ)における転送とおおよそフレーム同期され得る。画像処理206の段階の各々は、出力を入力よりも数イメージセンサ行分遅らせるいくらかの遅延を持ち得る。この遅延の量は、パイプライン206において起こる処理の量を前提として一定であり得る。
【０１５８】
シーンアナライザ212は、イメージングパイプライン206が1つの画像のすべてのラインをメモリに書き込んだ後すぐに開始し得る。その他の実装において、シーンアナライザ212は、イメージングパイプライン206が1つの画像のすべてのラインをメモリに書き込み終わる前であっても開始する。たとえば、シーンアナライザに含まれる特定のモデル(たとえば、顔検出器モデル)は、一度に画像のサブセットに対して動作することが可能であり、したがって、画像のラインのすべてがメモリに書き込まれることを必要としない。圧縮は、画像が保存および圧縮をするに値するとシーンアナライザが判定した後に実行され得る。その他の実装においては、画像処理パイプライン206によって完全に処理され終わった画像を分析する代わりに、シーンアナライザ212は、ベイヤーRAW画像またはイメージングパイプラインによって軽く処理されただけの画像を分析し得る。一部の実装においては、本明細書において説明されるように、1つまたは複数の音声分類器ラベルに関連する画像のみが、シーンアナライザ212による分析のために選択される。
【０１５９】
図6は、本開示の例示的な実施形態による例示的な画像処理フレームワーク500を示す。特に、画像処理フレームワーク500は、モバイル型の画像キャプチャデバイスが低い解像度のキャプチャモードで動作しているときに使用され得る。
【０１６０】
画像処理フレームワーク500は、イメージセンサ502、イメージセンサレシーバ504、およびイメージングパイプライン508を含む。特に、低い解像度のキャプチャモードにおいて、イメージセンサ502は、低い解像度のRAW画像データ506を提供し得る。
【０１６１】
一部の実装において、イメージセンサ502は、低い解像度のRAW画像データ506の出力をもたらすビニングおよび/またはダウンサンプリングを実行する。たとえば、イメージセンサ502は、以下のビニング/サブサンプリングモード、すなわち、2H×2Vビニング、3H×3Vダウンサンプル(3×3ビニング)、3H×3Vダウンサンプル(ビニング+スキップ)、2H×4Vダウンサンプル、3H×9Vダウンサンプル(ビニングおよびスキップ)、3H×17Vダウンサンプル(ビニングおよびスキップ)のうちの1つまたは複数によって動作し得る。したがって、一例において、4000×3000のセンサアレイサイズを仮定して、イメージセンサ502は、1.33MP(1332×1000)の低い解像度の画像を生成するのに十分な低い解像度のRAW画像データ506を出力するために(ビニングおよびスキップによる)3×3ダウンサンプリングを実行し得る。イメージセンサ502は、シーン分析またはその他の目的のためにより低い解像度のサムネイルを提供するためにより一層のダウンサンプリングを実行し得る。さらに、水平方向と垂直方向との間の異なるスケーリングの比率を有するセンサのビニング/スキップモードに関して、イメージングパイプライン508は、アナモルフィックスケーリング(anamorphic scaling)を実行し得る。
【０１６２】
イメージングパイプライン508は、(たとえば、データがメモリに行くことなく)イメージセンサレシーバ504からの低い解像度のRAW画像データ506をストリーミングし得る。イメージングパイプライン508は、RAW画像データ506を処理して低い解像度の画像510(たとえば、1.33MPの画像)を生成し得る。代替的にまたは追加的に、イメージングパイプライン508は、RAW画像データ506を処理して超低解像度の画像512(たとえば、0.18MPの画像)を生成し得る。
【０１６３】
画像510および画像512のどちらかまたは両方が、シーンアナライザ514に提供され得る。たとえば、分析のインテリジェンスと計算の消費とのバランスを取るために、シーンアナライザの特定の部分が、画像510を分析する可能性がある一方、その他の部分が、画像512を分析する。
【０１６４】
シーンアナライザ514は、入力された画像を分析し、そのような分析に基づいて、1つまたは複数の制御信号516を出力することができる。特に、制御信号516は、画像510が圧縮され、記憶されるかどうか、または画像510が記憶することなく破棄されるかどうかを制御することができる。さらに、一部の実装において、制御信号516は、画像キャプチャデバイスのキャプチャモードを制御することができ、またはキャプチャモードを形式上変更することによって単純にフレームレートもしくは解像度を上げるもしくは下げることができる。一部の実装において、シーンアナライザ514は、システムプロセッサの1つまたは複数のSHAVEコアにおいて実施され得る。
【０１６５】
画像510が記憶されるべきであるとシーンアナライザ514が示す場合、画像510は、画像圧縮構成要素518に提供され、画像圧縮構成要素518が、画像510を圧縮する。それから、圧縮された画像510が、ストレージ520に書き込まれる。たとえば、ストレージ520は、不揮発性メモリであることが可能である。
【０１６６】
低解像度モードが読み出し、処理するピクセルの数が比較的少ないとすると、このモードにおける電力消費は、ずっと少ない。したがって、概して、低い解像度のフレームは、そのような動作を実行することによって電力消費が少なくされ得るので、完全な解像度のフレームよりも高いフレームレートで流され得る。図8は、低い解像度のキャプチャモードにおける経時的な例示的なデータフローを示す。
【０１６７】
図7は、本開示の例示的な実施形態による例示的な画像処理フレームワーク600を示す。特に、画像処理フレームワーク600は、モバイル型の画像キャプチャデバイスが高い解像度のキャプチャモードで動作しているときに使用され得る。
【０１６８】
画像処理フレームワーク600は、イメージセンサ602、イメージセンサレシーバ604、ダウンサンプラ610、およびイメージングパイプライン612を含む。特に、高い解像度のキャプチャモードにおいて、イメージセンサ602は、高い解像度のRAW画像データ606を提供し得る。たとえば、高い解像度のRAW画像データ606は、たとえば、12MPの高い解像度の画像を生成するのに十分なデータであり得る。高い解像度のRAW画像データ606のコピー608が、メモリに(たとえば、一時的なRAW画像データバッファに)一時的に記憶され得る。
【０１６９】
ダウンサンプラ610は、イメージセンサレシーバ604からの高い解像度のRAW画像データ606をストリーミングすることができ、高い解像度のRAW画像データ606をダウンサンプリングして低い解像度のRAW画像データ611を出力することができる。たとえば、ダウンサンプラ610は、ビニングおよび/またはスキップを実行し得る。低い解像度のRAW画像データ611は、たとえば、たとえば1.33MPの画像などの低い解像度の画像を生成するのに十分なRAW画像データであることが可能である。ダウンサンプラ610は、ハードウェアまたはプロセッサを制御するソフトウェアに実装され得る。
【０１７０】
イメージングパイプライン612は、ダウンサンプラ610からの低い解像度のRAW画像データ611をストリーミングし得る。イメージングパイプライン612は、低い解像度のRAW画像データ611を処理して低い解像度の画像614(たとえば、1.33MPの画像)を生成し得る。代替的にまたは追加的に、イメージングパイプライン612は、RAW画像データ606を処理して1つまたは複数の超低解像度の画像616(たとえば、0.18MPの画像または0.33MPの画像)を生成し得る。画像614および616のうちの1つまたは複数は、シーンアナライザ618に提供され得る。
【０１７１】
シーンアナライザ618は、入力された画像を分析し、そのような分析に基づいて、1つまたは複数の制御信号を出力することができる。特に、制御信号は、画像が高い解像度のRAW画像データ606から生成され、それから圧縮され、記憶されるかどうか、または高い解像度のRAW画像データ606ならびに画像614および616がさらに記憶することなく破棄されるかどうかを制御することができる。さらに、一部の実装において、制御信号は、画像キャプチャデバイスのキャプチャモードを制御することができる。
【０１７２】
画像が記憶されるべきであるとシーンアナライザ618が示す場合、高い解像度のRAW画像データ606の一時的に記憶されたコピー608が、イメージングパイプライン612に提供される。たとえば、高い解像度のRAW画像データ606のコピー608は、一時的なRAW画像データバッファから取り出され、メモリからメモリへと処理され得る。イメージングパイプライン612は、高い解像度のRAW画像データ606を処理して高い解像度の画像619を生成することができる。たとえば、高い解像度の画像619は、12MPの画像であることが可能である。
【０１７３】
そして、高い解像度の画像619は、画像圧縮構成要素620に提供され、画像圧縮構成要素620が、画像619を圧縮する。それから、圧縮された画像619が、ストレージ622に書き込まれる。たとえば、ストレージ622は、不揮発性メモリであることが可能である。
【０１７４】
一部の実装においては、低い解像度の画像614も、画像圧縮構成要素620に提供されることが可能であり、画像圧縮構成要素620が、画像614を圧縮する。それから、圧縮された画像614が、ストレージ622に書き込まれる。たとえば、ストレージ622は、不揮発性メモリであることが可能である。
【０１７５】
図8は、本開示の例示的な実施形態による例示的な画像処理フレームワーク800を示す。特に、画像処理フレームワーク800は、モバイル型の画像キャプチャデバイスがバーストキャプチャモードで動作しているときに使用され得る。
【０１７６】
画像処理フレームワーク800は、イメージセンサ802、イメージセンサレシーバ804、およびイメージングパイプライン806を含む。特に、高い解像度のキャプチャモードにおいて、イメージセンサ802は、高い解像度のRAW画像データ805を提供し得る。
【０１７７】
イメージングパイプライン806は、(たとえば、データがメモリに行くことなく)イメージセンサレシーバ804からの高い解像度のRAW画像データ805をストリーミングすることができる。イメージングパイプライン806は、RAW画像データ805を処理して高い解像度の画像807(たとえば、12MPの画像)を生成することができる。代替的にまたは追加的に、イメージングパイプライン806は、RAW画像データ805を処理して様々なより低い解像度の画像808を生成することができる。
【０１７８】
そして、画像807は、画像圧縮構成要素809に提供され、画像圧縮構成要素809が、画像807を圧縮する。それから、圧縮された画像807が、ストレージ810に書き込まれる。たとえば、ストレージ810は、不揮発性メモリであることが可能である。一部の実装において、圧縮は、ストリーム内(in-stream)で実行され、これは、メモリに一時的に書き込む電力の必要をなくす。
【０１７９】
フレームワーク500および600とは異なり、バーストキャプチャモードのフレームワーク800は、保持/破棄の判断を行うためにシーンアナライザに画像807を提供しない可能性がある。その代わりに、画像807(および任意で任意の数の画像808)が、単に圧縮され、記憶される。特に、バーストキャプチャが、概して、興味深いシーンが利用可能であることをデバイスが(たとえば、以前のフレームから)検出した後に実行されるので、徹底した画像分析は実行する必要がない可能性がある。これは、デバイスがエネルギーおよび計算能力のほとんどをイメージングパイプラインおよび圧縮を実行することに投入することを可能にする。
【０１８０】
しかし、一部の実装において、モバイル型の画像キャプチャデバイスは、保持/破棄の判断の目的のためにバーストキャプチャモードの間にシーン分析を実行するのに十分なリソースを有する可能性がある。これは、バースト画像キャプチャの解像度および/またはフレームレートの要件/パラメータ値を引き下げることによって可能にされる可能性もある。
【０１８１】
一部の実装において、バーストキャプチャは、動画ストリーム内の複数の画像フレームを得るために実行され得る。たとえば、複数の画像フレームは、関連する音声信号と同時にキャプチャされ得る。一部の実装において、本明細書において説明されるように、バーストキャプチャの複数の画像フレームは、編集された動画を生成するためになど、後で分析するために記憶され得る。
【０１８２】
図9および図10は、本開示の例示的な実施形態による例示的なイメージングパイプライン900および1050を示す。パイプライン900および1050は、別々のパイプラインであることが可能であり、または単一のパイプラインを形成するために組み合わされることが可能である。
【０１８３】
画像キャプチャデバイスに含まれるイメージングパイプラインは、画像キャプチャデバイスによって生成される画像の品質に影響を与え得る。イメージングパイプラインは、イメージセンサからRAW画像データを取得することができ、イメージングシステムのイメージセンサおよび光学素子の画像の欠陥および非理想的特性を減らすために必要な処理を実行し、それによって、見た目の良い高品質な画像を生成する。モバイル型の画像キャプチャデバイスの電力消費が通常制約されることを前提として、イメージングパイプラインの計算の多くは、ハードウェアブロックにおいて実行されることが可能であり、これは、ソフトウェアの実装よりも効率的である。
【０１８４】
まず図9を参照すると、イメージングパイプライン900は、RAW-RAWベイヤーパイプラインを実行する1つの例示的なイメージングパイプラインを示す。RAWベイヤー画像データ901は、イメージセンサから直接ストリーミングされるかまたはメモリから読まれるかのどちらかである。電力消費を抑え、メモリ帯域幅を減らすために、センサから直接ストリーミングすることが望ましい。第1のステップは、ブロック902において不良ピクセルを削除することである。これは、センサにおいて適用されるアナログゲインおよび静的な欠陥テーブル(static defect table)の知識を必要とする。不良ピクセルの以前のx-y座標は、任意であり、不良ピクセルの補正に役立つ可能性がある。
【０１８５】
次に、ブロック904において、RAWピクセルが、容易に雑音除去される可能性がある。そのようなRAW雑音除去ブロック904の1つの利点は、デモザイク状態の間に迷路状のアーティファクトをつけないように何らかの雑音を削除することである。やはり、センサに適用されるアナログゲインおよびセンサ用に較正された雑音テーブル(noise table)が、改善された性能のために有用である。
【０１８６】
ブロック906において、黒レベル(ペデスタル(pedestal))が、削除され得る。ピクセル強度(pixel intensity)のヒストグラムは、黒レベルを削除するのに有用である。任意で、追加的な処理を代償としてホワイトバランスの後に別のブロックにおいてフレア補正が実行される可能性がある。
【０１８７】
レンズシェーディング補正(lens shading correction)が、ブロック908において実行され得る。レンズシェーディング補正は、較正されたデバイス毎のシェーディングテーブル(shading table)を取得することによって適用され得る。このテーブルは、較正中に取得され得る。ブロック910において、ホワイトバランスゲインが、AWBの結果を使用して適用され得る。加えて、小さな色比率(color ratio)のデバイス毎の較正結果が、適用可能な場合は適用され得る。
【０１８８】
ここで図10を参照すると、パイプライン1050は、RGB/YCbCrパイプラインである。RAWベイヤー画像データ1051が、デモザイカブロック1052に渡され、それから、欠けた色成分に関する補間を実行するために使用される。たとえば、「R」ピクセルに関して、デモザイクブロック1052は、不自然な輪郭強調アーティファクト(sharpening artifact)なしに非常に良好なシャープネスが保たれ得るような最適な「G」および「B」ピクセルを計算する。これは、ピクセル値がsRGB空間(または任意のその他の色空間)内にあるような一連の変換(たとえば、ブロック1054および1056)を経る。
【０１８９】
エンハンストまたはダイナミックレンジ(enhanced or dynamic range)内のコントラストがより小さなビット深度のディスプレイ上にレンダリングされる可能性があるように圧縮されるように、ブロック1058において任意のトーンマッピングが実行され得る。次に、ピクセル値1061がYCbCrピクセル領域にあるように、ブロック1060において色空間の変換が実行され得る。
【０１９０】
ピクセル値1061がYCbCr領域に入ると、そのピクセル値1061は、静止画像(たとえば、JPEGまたはその他のフォーマット)圧縮ブロックに渡される可能性がある。輝度チャネルに対して雑音除去および輪郭強調が実行され得ることに留意されたい。加えて、特に低照度画像に関して、クロミナンス雑音が大幅に抑制され得る。特殊効果などのさらなるブロックも、任意で適用され得る。
【０１９１】
図11は、本開示の例示的な実施形態による例示的なシーンアナライザ1102を示す。シーンアナライザ1102は、モデルスケジューラ/セレクタ1104、入力画像の特徴を分析する複数の機械学習されたモデル、保存コントローラ1110、およびモードコントローラ1112を含む。一部の実装において、複数のモデルは、複数のディープニューラルネットワーク(たとえば、ディープニューラルネットワーク1106および1108)またはその他の多層非線形モデルである。一部の実装において、保存コントローラ1110およびモードコントローラ1112は、同じ構成要素(たとえば、「保存およびモードコントローラ」)として実装され得る。
【０１９２】
シーンアナライザ1102は、1つまたは複数の画像1114を受け取り得る。シーンアナライザ1102は、それぞれの受信画像1114を分析し、そのような分析に少なくとも部分的に基づいて1つまたは複数の制御信号1118および1120を出力し得る。特に、制御信号1118は、1つまたは複数の画像1114が圧縮され、メモリ(たとえば、不揮発性メモリ)に書き込まれるかどうかを制御することができる。制御信号1120は、イメージセンサまたはモバイル型の画像キャプチャデバイス全体のキャプチャモードを制御することができる。
【０１９３】
受け取られた画像1114は、高い解像度の画像および/または低い解像度の画像を含み得る。一部の実装においては、シーンアナライザ1102の特定の部分が、画像1114の低い解像度のバージョンを分析することができ、一方、その他の部分(たとえば、顔の特徴を分析する部分)は、画像1114の高い解像度のバージョンのクロップされた部分を分析する。
【０１９４】
モデルスケジューラ1104は、(もしあれば)どのモデルに画像がシーン分析のために入力されるかを制御し得る。モデルセレクタ1104は、計算の消費の考慮事項、エネルギー消費の考慮事項、および/または画像のシーンの最初の分析の結果を含むいくつかの基準に応じてどのモデルを使用すべきかを選択し得る。一例として、モデルセレクタ1104は、単に予め定義されたスケジュールを実施することができ、または使用するモデルの順序付けもしくは構成に関する何らかの定義された論理を実施することができる。別の例として、モデルセレクタ1104は、それ自体が、多層非線形モデル(たとえば、ディープニューラルネットワーク)などのモデル(たとえば、ニューラルネットワーク)である可能性がある。
【０１９５】
一部の実装において、モデルセレクタ1104は、入力画像の一部のみを分析するアテンションモデル1116を含む。アテンションモデル1116は、各入力画像がさらなるシーン分析のために下流のモデルのうちの少なくとも1つに入力されるべきかどうかのインジケーションを出力し得る。したがって、アテンションモデル1116は、シーンアナライザ1102に含まれる下流のモデル(たとえば、ディープニューラルネットワーク1106および1108)への前置フィルタとして動作し得る。
【０１９６】
一例として、アテンションモデル1116は、一連の画像1114中で顔を追跡し、それぞれの分析される画像が喜びを体験している顔を示す確率を出力する再帰型ディープニューラルネットワークであることが可能である。アテンションモデル1116は、次の入力画像のどの部分をアテンションモデル1116が分析すべきであるかの記述を出力することもできる。一部の実装においては、教師ありの目的関数が、何が注目に値するのかをアテンションモデル1116に知らせる。
【０１９７】
このようにしてアテンションモデル1116を使用することは、その分析を画像の一部のみに制限するアテンションモデル1116が画像全体を分析するおよび/またはより多くの計算の消費を必要とする可能性がある特定の下流のモデル(たとえば、ディープニューラルネットワーク1106および1108)を守るので、モバイル型の画像キャプチャデバイスのエネルギー消費を大きく削減することができる。
【０１９８】
その他の実装において、アテンションモデル1116は、画像の記憶および/またはキャプチャモードの判断を導くためにその他のモデル(たとえば、モデル1106および1108)の代わりに使用され得る。さらなる実装において、様々なディープニューラルネットワーク(たとえば、1106および1108)のうちの1つまたは複数は、そのようなネットワークのアテンションモデルバージョンによって置き換えられ得る。
【０１９９】
シーンアナライザ1102は、入力画像1114によって示されるシーンを分析し、入力画像1114のシーンの望ましさを説明する(たとえば、シーンの望ましさに影響を与える様々な画像の特徴を説明する)様々な記述子(たとえば、アノテーション)を出力する任意の数の機械学習されたモデル(たとえば、ディープニューラルネットワーク1106および1108)をさらに含み得る。シーンアナライザ1102は、そのような記述子に基づいて画像の記憶および/またはキャプチャモードに関するインテリジェントな判断を行うことができる。ニューラルネットワークは、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、順伝播型(feed forward)ニューラルネットワーク、またはこれらの組合せであることが可能である。
【０２００】
特に、保存コントローラ1110は、モデルからのアノテーションのすべてを入力として取得し、そのようなアノテーションを使用して、画像を圧縮し、記憶すべきか否かを判断することができる。同様に、モードコントローラ1112は、そのようなアノテーションに基づいてモバイル型の画像キャプチャデバイスのキャプチャモードを変更すべきかどうかを判定することができる。
【０２０１】
一部の実装において、保存コントローラ1110および/またはモードコントローラ1112は、何らかの手作りの論理を適用する1つまたは複数の決定木、モデル、および/またはアルゴリズムを含み得る。保存コントローラ1110およびモードコントローラ1112の各々は、所望の機能を提供するために利用されるコンピュータ論理を含み得る。したがって、保存コントローラ1110およびモードコントローラ1112の各々は、ハードウェア、ファームウェア、および/または汎用プロセッサを制御するソフトウェアに実装され得る。一部の実装において、保存コントローラ1110およびモードコントローラ1112の各々は、ストレージデバイスに記憶され、メモリにロードされ、プロセッサによって実行されるプログラムコードファイルを含むか、あるいはコンピュータプログラム製品、たとえば、たとえばRAMディスクもしくはカードまたはその他のコンピュータ可読光もしくは磁気媒体などの有形のコンピュータ可読ストレージ媒体に記憶されるコンピュータが実行可能な命令から提供され得る。
【０２０２】
一部の実装において、シーンアナライザ1102は、画像1114のキャプチャと非同期に実施される。言い換えると、一部の実装において、画像キャプチャのフレームレートは、(少なくともいくつかの場合)シーンアナライザ1102が画像1114を分析する頻度と異なる。さらに、一部の実装においては、1つまたは複数の音声分類器ラベルに関連する画像などの特定の画像1114のみが、分析される。
【０２０３】
一部の実装においては、画像1114を入力として受け取ることに加えて、シーンアナライザ1102は、キャプチャパラメータまたはIMUデータなどの追加的なより低次元のデータも受け取ることができる。たとえば、IMUデータは、画像キャプチャ中に存在する動きの相対的な量を示し得る。歩行周波数(walking frequency)の分析が、ユーザが歩くときにモバイル型の画像キャプチャデバイスが「適切な」キャプチャの瞬間を選ぶことを可能にする可能性がある。露出時間などのキャプチャパラメータも、それに応じて調整され得る。
【０２０４】
品質を高めるためにマルチフレームキャプチャを実行すべきかどうかを判定するために、低レベルの分析が実行されることも可能である。たとえば、露出値が非常に低く、大きなモーションブラーまたは多量の雑音が予測される場合、モバイル型の画像キャプチャデバイスは、品質を高めるためにバーストをキャプチャし得る。それから、マルチフレーム雑音除去が、モバイル型の画像キャプチャデバイスかまたはユーザコンピューティングデバイスかのどちらかにおいて実行され得る。
【０２０５】
図12は、本開示の例示的な実施形態によるシーンアナライザにおけるモデルの例示的な構成1200を示す。特に、図12は、シーンアナライザ内で動作する異なる構成要素およびそれらの構成要素の間のデータフローを示す。示されるように、実行の特定の部分は、並列化され得る。
【０２０６】
さらに、図12に関連する以下の検討は、様々な機械学習されたモデルに言及する。一部の実装において、そのようなモデルのうちの1つまたは複数(たとえば、すべて)は、ディープニューラルネットワークである。各モデルは、画像の特徴を説明する少なくとも1つの記述子を出力し得る。画像は、そのような記述子によって注釈を付けられ得る。したがって、モデルの出力は、アノテーションと呼ばれる。一部の実装において、モデルは、アノテーションによって画像に注釈を付ける保存およびモードコントローラ1250にアノテーションを提供する。
【０２０７】
構成1200は、画像のフレーム1202を入力として受け取る。たとえば、フレーム1202は、分析のためにモデルスケジューラによって選択された可能性がある。
【０２０８】
画像のフレーム1202は、顔検出または追跡モデル1204に提供される。顔検出または追跡モデル1204は、フレーム1202によって示される1つまたは複数の顔を検出し、1つまたは複数の検出された顔のそれぞれの位置を示す1つまたは複数の顔バウンディングボックス1206を出力する。顔バウンディングボックス1206は、フレーム1202に注釈として付けられることが可能であり、顔属性モデル1208および顔認識モデル1216にフレーム1202と一緒に入力として与えられることも可能である。
【０２０９】
一部の実装において、顔検出または追跡モデル1204は、単なる顔検出よりもむしろ顔追跡を実行する。一部の実装において、モデル1204は、検出またはトラッキングのうちのどちらを実行すべきかを選択する可能性がある。顔追跡は、顔検出のより高速な代替である。顔追跡は、画像の以前のフレームからの顔検出バウンディングボックス1206を追加的な入力として取得し得る。顔追跡モデル1204は、バウンディングボックス1206の位置を更新するが、新しい顔を検出しない。
【０２１０】
重要なことに、顔検出も顔追跡も、検出された顔のいずれの人の身元(identity)を判定または確認しようとも試みない。その代わりに、顔検出または追跡モデル1204は、単に、画像のフレーム1202内の顔の位置を説明する顔バウンディングボックス1206を出力する。したがって、モデル1204は、顔を身元とマッチングしようとまったく試みずに顔のRAW検出(raw detection)(たとえば、「顔のような」示された画像の特徴の認識)のみを実行する。
【０２１１】
顔属性モデル1208は、画像のフレーム1202の1つまたは複数のクロップ(たとえば、比較的高い解像度のクロップ)を入力として受け取ることが可能であり、1つまたは複数のクロップは、バウンディングボックス1206の座標によって定義されるフレーム1202の部分に対応する。顔属性モデル1208は、検出された顔が特定の顔属性1210を含むというインジケーション(たとえば、確率)を出力し得る。たとえば、顔属性モデル1208は、検出された顔が笑顔、開いた目、特定の姿勢、特定の表情、表情の多様性、またはその他の顔属性1210を含むそれぞれの確率を出力し得る。
【０２１２】
顔属性1210は、顔写真映えモデル1212に画像のフレーム1202と一緒に入力として提供され得る。顔写真映えモデル1212は、検出された顔の姿勢、表情、および/またはその他の特徴もしくは属性の写真映えのレベルを表す単一の顔スコア1214を出力し得る。
【０２１３】
顔検出または追跡モデル1204の出力に戻ると、顔認識モデル1216は、画像のフレーム1202の1つまたは複数のクロップ(たとえば、比較的高い解像度のクロップ)を入力として受け取ることが可能であり、1つまたは複数のクロップは、バウンディングボックス1206の座標によって定義されるフレーム1202の部分に対応する。顔認識モデル1216は、検出された顔の各々に関する顔シグネチャ(face signature)を出力し得る。顔シグネチャは、顔の埋め込みもしくはテンプレートまたは顔の特徴などの顔の抽象表現であることが可能である。
【０２１４】
重要なことに、顔認識モデル1216は、検出された顔の人の身元を判定または確認しようと試みない。したがって、顔認識モデル1216は、顔に関する名前を判定しようと試みず、またはそうではなく顔を公的なプロフィールもしくはその他のそのような情報とマッチングしようと試みない。その代わりに、顔認識モデル1216は、単純に、検出された顔の抽象表現(たとえば、埋め込みまたはその他の低次元の表現)を以前「認識された」顔に関連するそれぞれのその他の抽象表現とマッチングする。一例として、顔認識モデル1216は、入力画像に示される顔の抽象表現が以前キャプチャされた画像に示される顔の抽象表現に合致する確率(たとえば、0.0から1.0までの信頼のレベル)を提供する可能性がある。したがって、顔認識モデル1216は、画像1202内で検出された顔が以前キャプチャされた画像内にも示されている可能性が高いことを(たとえば、顔シグネチャ1218内で)示す可能性があるが、人の身元の文脈の意味でこの顔が誰に属すかを特定しようと試みない。同様に、顔認識モデル1216は、入力画像に示される顔の抽象表現がモバイル型の画像キャプチャデバイスのユーザにとって高い重要性を有するものと既に示された顔の抽象表現に合致する確率を提供する可能性がある。したがって、顔認識モデル1216は、画像1202内で検出された顔が高い性能を有するものとユーザが示した顔の組にやはり含まれる可能性が高いことを示す可能性があるが、人の身元の文脈の意味でこの顔が誰に属すかを特定しようと試みない。
【０２１５】
画像のフレーム1202は、画像内容モデル1220にも入力として提供され得る。画像内容モデル1220は、1つまたは複数の意味的特徴ベクトル1222および1つまたは複数の意味ラベル1224を出力することができる。意味的特徴ベクトル1222は、(たとえば、2つの顔が似ていると判定するために顔埋め込みが使用される方法と同様に)2つの画像が似た内容を含むと判定するために使用され得る。意味ラベル1224は、画像のフレーム1202内で検出された1つまたは複数の意味的特徴(たとえば、「犬」、「日没」、「山」、「エッフェル塔」など)を特定し得る。画像間の類似性の概念は、キャプチャされた画像の多様性を保証するために使用され得る。
【０２１６】
一部の実装において、意味ラベル1224は、編集された動画内の環境音声トラックを生成するために使用され得る。たとえば、一部の実装において、意味ラベル1224(画像ラベルとも呼ばれる)は、1つまたは複数の音声分類器ラベルに対応するかまたはそうでなければ関連付けられる意味的特徴を特定し得る。たとえば、意味ラベル1224は、画像のフレーム1202が浜に砕ける1つまたは複数の波を含むことを示し得る。一部の実装において、関連する音声分類器ラベル(たとえば、波)を含む音声の部分が、画像のフレーム1202からの関連する意味ラベル1224に少なくとも部分的に基づいて環境音声トラックに含めるために選択され得る。
【０２１７】
一部の実装において、画像内容モデル1220は、画像の分類のために訓練されたディープ畳み込みニューラルネットワークのバージョンである。一部の実装において、モバイル型の画像キャプチャデバイスのユーザにとって特に重要である意味クラス(semantic class)のサブセット(たとえば、動物、犬、猫、日没、バースデーケーキなど)が、確立されることが可能であり、画像内容モデル1220は、高い重要性を有する意味クラスのそのようなサブセットに関して検出/分類に特に重視し得る。
【０２１８】
画像のフレーム1202は、視覚的特徴エクストラクタモデル1226にも入力として提供され得る。視覚的特徴エクストラクタモデル1226は、フレーム1202の1つまたは複数の視覚的特徴(たとえば、色ヒストグラム、配色、ぼけの量のインジケーション、照明品質のインジケーションなど)を説明する1つまたは複数の視覚的特徴ベクトル1228を出力し得る。
【０２１９】
意味的特徴ベクトル1222、意味ラベル1224、および視覚的特徴ベクトル1228は、写真品質モデル1230にフレーム1202と一緒に入力として提供され得る。写真品質モデル1230は、入力に基づいて写真品質スコア1232を出力し得る。概して、写真品質モデル1230は、(たとえば、意味ラベル1224によって示される)画像1202の面白さ、(たとえば、ぼけおよび/もしくは照明を説明する視覚的特徴ベクトル1228によって示される)画像1202の技術的品質、ならびに/または(たとえば、意味的実体(semantic entity)および視覚的特徴の相対的位置によって示される)画像1202の構図の品質に基づいて写真品質スコア1232を決定する。
【０２２０】
保存およびモードコントローラ1250は、アノテーション1206、1210、1214、1218、1222、1224、1228、および1232のすべてを入力として取得し、画像のフレーム1202またはその高い解像度のバージョンを保存すべきか否かおよびさらにデバイスのキャプチャモードを変更すべきか否かの判断を行う。一部の実装において、保存コントローラ1250は、最終キュレーション機能(たとえば、転送コントローラおよび/またはベストショットセレクタ)が選択したいフレームを保存しようと試み、したがって、そのようなキュレーション機能のオンライン/リアルタイムの近似と見なされ得る。
【０２２１】
一部の実装において、保存およびモードコントローラ1250は、フレーム1202に関する保存およびモードの判断が同等の画像に関連してなされ得るようにインメモリのアノテーションインデックスまたはその他のフレームのバッファリングを含む。その他の実装において、保存およびモードコントローラ1250は、現在のフレーム1202についての情報のみに基づいて判断を行う。
【０２２２】
一部の実装においては、単に例を示すために、保存およびモードコントローラ1250が、キャプチャされた画像のおよそ5%が圧縮および記憶のために選択されるように設計される可能性がある。一部の実装においては、保存およびモードコントローラ1250が画像の記憶をトリガするときにはいつでも、記憶をトリガした画像の周辺のある期間の画像が記憶される。
【０２２３】
一部の実装において、モデルのうちの様々なモデルが、多角的モデルを形成するために組み合わされ得る。一例として、顔属性モデル1208、顔認識モデル1216、および/または顔写真映えモデル1212が、入力の単一の組を受け取り、複数の出力を提供する多角的モデルを形成するために合併されるかまたはその他の方法で組み合わされ得る。
【０２２４】
構成1200は、1つの例示的な構成として与えられるに過ぎない。構成1200と異なるモデルの多くのその他の構成が、シーンアナライザによって使用され得る。特に、一部の実装において、シーンアナライザのモデルスケジューラ/セレクタは、画像が入力として与えられるモデルの構成を動的に再構成することができる。
【０２２５】
ここで図13および図14を参照すると、本開示の例示的な態様による環境音声トラックを含む編集された動画およびより詳細には短縮された動画を生成するための例示的なフレームワークの視覚的表現1300が、示される。視覚的表現1300において、縦棒は、キャプチャされた画像フレームを表す。たとえば、一部の実装において、画像キャプチャデバイスは、複数の連続した画像フレームおよび関連する音声信号を含む動画ストリームを取得するように構成され得る。たとえば、音声信号は、複数の連続した画像フレームと同時にキャプチャされ得る。一部の実装において、画像フレームは、バーストモードまたは複数の連続した画像フレームが取得されるその他の「動画」キャプチャモードなどにおいてモバイル型の画像キャプチャデバイスによってキャプチャされ得る。たとえば、一部の実装において、モバイル型の画像キャプチャデバイスは、15〜30フレーム毎秒のレートで複数の連続した画像フレームをキャプチャし得る。
【０２２６】
図13に示されるように、動画ストリームは、複数の連続した画像フレーム1310および関連する音声信号1320を含み得る。たとえば、一部の実装において、複数の連続した画像フレーム1310は、画像キャプチャデバイスのイメージセンサによってキャプチャされることが可能であり、関連する音声信号1320は、画像キャプチャデバイスの音声センサによってキャプチャされ得る。たとえば、音声信号1320は、複数の連続した画像フレーム1310と同時にキャプチャされ得る。本明細書において開示されるように、複数の連続した画像フレーム1310および/または関連する音声信号1320は、処理され、変換され、保有され、および/または様々なデータフォーマットで記憶され得る。
【０２２７】
本開示の例示的な態様によれば、環境音声トラックを含む編集された動画が、画像キャプチャデバイス、ユーザコンピューティングデバイス、またはこれら両方などの1つまたは複数のコンピューティングデバイスによって生成され得る。編集された動画は、複数の連続した画像フレームの少なくともサブセットおよび環境音声トラックを含み得る。
【０２２８】
たとえば、音声信号1320は、機械学習された音声分類器モデルによって分析され得る。一部の実装において、機械学習された音声分類器モデルは、本明細書において開示されるように、画像キャプチャデバイスに含まれるかまたはそうでなければ画像キャプチャデバイスの一部であることが可能である。機械学習された音声分類器モデルは、音声信号1320の1つまたは複数の部分に関連する1つまたは複数の音声分類器ラベルを決定することができる。たとえば、音声信号1320の様々な部分が、それぞれの音声の部分に関連する様々な音声イベントを記述する音声分類器ラベルをラベル付けされ得る。
【０２２９】
たとえば、一部の実装において、機械学習された音声分類器モデルは、発話以外の音などの環境音を分類することができる。例として、そのような音は、波、風、雨、雷、木の葉のそよぐ音などの周囲の音、鳥のさえずり、虫の鳴き声、もしくはその他の動物の音などの動物の音、乗り物の通行、拍手、足音、しゃべり声、レストランのどよめき、笑い、泣きなどの人の活動の騒音、および/またはその他の音を含み得る。機械学習された音声分類器モデルは、音声信号1320を分析し、音声信号の1つまたは複数の部分に関する1つまたは複数の音声分類器ラベルを決定するように構成され得る。異なる音声の部分は、それらのそれぞれの音声分類器ラベルによってラベル付けされ得る。たとえば、第1の音声の部分1322が、第1の音声分類器ラベルをラベル付けされた1つまたは複数の環境音を含むことが可能であり、第2の音声の部分1324が、第2の音声分類器ラベルをラベル付けされた1つまたは複数の環境音を含むことが可能である。音声信号1320のその他の部分が、環境音ラベルおよび/または前景音ラベルなどのそれぞれの音声分類器ラベルで同様にラベル付けされ得る。
【０２３０】
さらに、一部の実装において、機械学習された音声分類器モデルは、特定の前景音を分類し得る。例として、そのような音は、人の発話、破壊音、衝突音、鐘の音、笛、警笛、サイレン、および/またはその他の音を含み得る。そのような前景音を含む音声の部分は、それぞれの音声分類器ラベルをラベル付けされ得る。
【０２３１】
本開示の例示的な態様によれば、環境音声トラックが、環境音に関連する音声分類器ラベルを有する音声信号1320の部分を環境音声トラックに含めるために選択することによって生成され得る。さらに、前景音に関連する音声分類器ラベルを有する音声信号1320の部分が、拒絶され得る。たとえば、第1の音声の部分1322および第2の音声の部分1324が、環境音声トラックに含めるために選択され得る。
【０２３２】
一部の実装においては、1つまたは複数の音声の部分が、環境音声トラックおよび/または短縮された画像ストリームを生成するように訓練された機械学習されたモデルによって含めるために選択され得る。
【０２３３】
一部の実装において、第1の音声の部分1322および/または第2の音声の部分1324は、ユーザから受け取られた1つまたは複数の音声分類器ラベルを記述する音声選択入力に少なくとも部分的に基づいて含めるために選択され得る。たとえば、図18を参照してより詳細に検討されるように、一部の実装においては、ユーザが、ユーザインターフェースを介して1つまたは複数の音声選択入力を与えることができる。
【０２３４】
加えて、複数の連続した画像フレーム1310の少なくともサブセットを含む画像ストリームが、生成され得る。たとえば、一部の実装において、複数の連続した画像フレーム1310は、画像キャプチャデバイスのシーンアナライザによるなどして画像フレームによって示されるシーンの望ましさを判定するように構成された1つまたは複数の機械学習されたモデルによって分析され得る。一部の実装においては、連続した画像フレームの様々なサブセットが、1つまたは複数の画像ラベル(意味ラベル)でラベル付けされ得る。たとえば、連続した画像フレームの第1のサブセット1312が、第1の画像ラベルをラベル付けされることが可能であり、連続した画像フレームの第2のサブセット1314が、第2の画像ラベルをラベル付けされることが可能である。一部の実装においては、連続した画像フレームの1つまたは複数のサブセットが、サブセットによって示されるシーンの望ましさに基づいて含めるために選択され得る。
【０２３５】
一部の実装において、第1の音声の部分1322および/または第2の音声の部分1324は、画像ストリームに含めるために選択された連続した画像フレームのサブセットに関連する1つまたは複数の画像ラベルに少なくとも部分的に基づいて含めるために選択され得る。たとえば、複数の連続した画像フレーム1310の少なくともサブセットが、シーンを記述する1つまたは複数の画像ラベルを決定するために分析されることが可能であり、環境音声トラックが、1つまたは複数の画像ラベルに少なくとも部分的に基づいて生成されることが可能である。たとえば、連続した画像フレームの第1のサブセット1312が、波が浜辺で砕けている浜辺のシーンを含むことが可能であり、第1の音声の部分1322が、波などの関連する音声分類器ラベルを含む可能性がある。一部の実装において、第1の音声の部分1322は、連続した画像フレームの第1のサブセット1312に関連する1つまたは複数の画像ラベルに少なくとも部分的に基づいて含めるために選択され得る。
【０２３６】
一部の実装においては、連続した画像フレームの1つまたは複数のサブセットが、ユーザ入力に少なくとも部分的に基づいて画像ストリームに含めるために選択され得る。たとえば、一部の実装においては、ユーザが、編集された動画に含めるために動画ストリームの1つまたは複数の部分を選択することができる。さらに、一部の実装においては、図17に関連してより詳細に説明されるように、ユーザが、ユーザインターフェースを介するなどして生成される動画の長さおよび/または動画の種類を選択することができる。
【０２３７】
一部の実装において、画像ストリームは、連続した画像フレームの第1のサブセット1312を選択し、連続した画像フレームの第2のサブセット1314を選択し、連続的に配列された連続した画像フレームの第1のサブセット1312と連続した画像フレームの第2のサブセット1314との両方を含む短縮された画像ストリーム1410を生成することによって生成され得る。たとえば、図14に示されるように、短縮された画像ストリーム1410は、連続的に配列された連続した画像フレームの第1のサブセット1312および連続した画像フレームの第2のサブセット1314を含み得る。
【０２３８】
一部の実装において、環境音声トラックは、第1の音声の部分1322および第2の音声の部分1324を組み合わせることによって生成され得る。たとえば、環境音声トラックは、連続的に再生されるように第1の音声の部分1322および第2の音声の部分1324を配列することによって生成され得る。一部の実装においては、クロスフェードなどの1つまたは複数の遷移効果が、環境音声トラック内で第1の音声の部分1322から第2の音声の部分1324に遷移するために使用され得る。たとえば、図14に示されるように、環境音声トラック1420は、連続的に再生されるように第1の音声の部分1322および第2の音声の部分1324を含めることによって生成され得る。一部の実装において、環境音声トラックは、単一の音声の部分のみを含む可能性がある。その他の実装において、環境音声トラックは、任意の数の音声の部分を含み得る。
【０２３９】
短縮された画像ストリーム1410および環境音声トラック1420を組み合わせることによって、編集された動画が、生成され得る。たとえば、短縮された画像ストリーム1410および環境音声トラック1420は、単一のデータファイルに組み合わされることが可能であり、同時に再生されるように構成されることが可能である。
【０２４０】
重要なことに、環境音声トラック1420に含めるために選択された1つまたは複数の音声の部分は、短縮された画像ストリーム1410に含めるために選択された連続した画像フレームの1つまたは複数のサブセットと同時にキャプチャされた音声の部分でなくてもよい。たとえば、連続した画像フレームの第1のサブセット1312と同時にキャプチャされた音声の部分は、人の発話などの特定の前景音を含む可能性がある。本開示の例示的な態様によれば、そのような前景音は、環境音声トラック1420に含めることを拒絶され得る。このようにして、体験の全体的な「感触」から気を逸らす可能性がある耳障りな音および/または人の発話などのこれらの前景音が、除外されることが可能であり、感触または本質を捉える環境音のみが、含められることが可能である。さらに、特に人の発話の音を拒絶し、破棄することによって、その場に居合わせた人のプライバシーが守られ得る。
【０２４１】
ここで図15および図16を参照すると、本開示の例示的な態様による編集された動画およびより詳細にはハイパーラプス動画を生成するための別の例示的なフレームワークの視覚的表現1500が、示される。視覚的表現1500において、縦棒は、キャプチャされた画像を表し、横に比較的太い棒は、ハイパーラプス画像ストリームに含めるために選択された画像を表す。フレームワーク1300と同様に、動画ストリームは、複数の連続した画像フレーム1510および関連する音声信号1520を含み得る。
【０２４２】
フレームワーク1300と同様に、音声信号1520は、それぞれの音声分類器ラベルを有する様々な部分を分類するために分析され得る。同様に、第1の音声の部分1522などの1つまたは複数の音声の部分が、環境音声トラックに含めるために選択され得る。本明細書において開示されるように、第1の音声の部分1522などの1つまたは複数の部分が、ユーザ入力、特定の前景音を除外するための画像分析、またはその他の選択プロセスに基づいて環境音声トラックに含めるために選択され得る。たとえば、図16に示されるように、環境音声トラック1620が、第1の音声の部分1522を含み得る。
【０２４３】
しかし、一部の実装において、編集された動画の画像ストリームは、複数の連続しない画像フレームを含み得る。たとえば、複数の連続する画像フレーム1510は、15フレーム毎秒などの特定のフレームレートでキャプチャされた連続した画像フレームを含み得る。しかし、一部の実装においては、画像フレームのうちの特定のもののみが、編集された動画の画像ストリームに含めるために選択され得る。たとえば、一部の実装においては、複数の連続しない画像フレームが、特定のパターンに従うなどして含めるために選択され得る。たとえば、図15に示されるように、比較的太い太線によって表される4画像フレームおきの画像フレームが、含めるために選択され得る。それから、選択された連続しない画像フレームは、画像ストリームを生成するために、連続的に配列されるなど、組み合わされ得る。たとえば、図16に示されるように、複数の連続しない画像フレームは、ハイパーラプス画像ストリーム1610および環境音声トラック1620を含む編集された動画を生成するために連続的に配列され、環境音声トラック1620と組み合わされ得る。
【０２４４】
一部の実装において、複数の連続しない画像フレームは、画像分析に少なくとも部分的に基づいて選択され得る。たとえば、特定のパターンに従って個々の画像フレームを選択するよりもむしろ、複数の連続した画像フレーム1510が、分析されることが可能であり、複数の連続しない画像フレームが、滑らかなハイパーラプス画像ストリームを生成するために選択されることが可能である。たとえば、個々の画像フレームは、滑らかなハイパーラプス画像ストリームを生成するためにそれらの画像フレームの個々の特徴に基づいて選択され得る。一部の実装において、個々の画像フレームは、本明細書において開示されるように、滑らかなハイパーラプス画像ストリームを生成するためにGPSデータなどのその他の特徴に基づいて選択され得る。このようにして、ハイパーラプス画像ストリーム1610は、編集された動画を生成するために生成され、環境音声トラック1620と組み合わされ得る。
【０２４５】
一部の実装においては、複数の連続した画像フレームが、ハイパーラプスキャプチャモードでキャプチャされ得る。たとえば、画像キャプチャデバイスが、ハイパーラプスキャプチャモードで構成されることが可能であり、個々の画像フレームが、画像分析、GPS、またはその他の入力に基づいてキャプチャされる。本開示のさらなる例示的な態様によれば、一部の実装において、ハイパーラプスモードでキャプチャされた複数の連続した画像フレーム(またはそのサブセット)が、本明細書において説明されるように、環境音声トラックと組み合わされ得る。たとえば、1つまたは複数の音声の部分が、環境音声トラックに含めるために選択されることが可能であり、環境音声トラックを含むハイパーラプス動画を生成するためにハイパーラプスモードでキャプチャされた複数の連続する画像と組み合わされ得る。
【０２４６】
図13〜図16を全体的に参照すると、一部の実装においては、編集された動画が、画像キャプチャデバイスによって生成され得る。一部の実装においては、環境音声トラックまたはその一部などの編集された動画の一部が、画像キャプチャデバイスによって生成され得る。たとえば、人の発話またはその他の前景音を含む音声信号1320/1520の部分が、破棄されることが可能であり、環境音を含む部分のみが、不揮発性メモリに記憶されるか画像キャプチャデバイスから転送される可能性がある。述べられたように、一部の実装においては、ユーザ入力が、ユーザコンピューティングデバイスを介して受け取られることが可能であり、編集された動画が、ユーザ入力に少なくとも部分的に基づいて画像キャプチャデバイスによって生成されることが可能である。たとえば、1つまたは複数の選択された音声分類器ラベルを記述する音声入力の選択が、ユーザコンピューティングデバイスを介して受け取られることが可能であり、画像キャプチャデバイスが、環境音声トラックに含めるために選択された音声分類器ラベルを有する1つまたは複数の音声の部分を選択することによって環境音声トラックを生成することが可能である。
【０２４７】
図17は、編集された動画を生成するために使用され得るユーザ入力を取得するための例示的なユーザインターフェース1700を示す。ユーザインターフェース1700は、ユーザ入力を取得するための1つの例示的なユーザインターフェースを示すに過ぎない。その他の好適なユーザインターフェースが、同様に使用され得る。一部の実装において、ユーザインターフェース1700は、スマートフォン、ラップトップ、またはその他のパーソナルコンピューティングデバイスなどのパーソナルコンピューティングデバイス上に表示され得る。一部の実装において、ユーザインターフェース1700を介して受け取られるユーザ入力は、モバイル型の画像キャプチャデバイスなどの画像キャプチャデバイスに提供されることが可能であり、編集された動画が、ユーザインターフェース1700を介して受け取られたユーザ入力に少なくとも部分的に基づいて生成されることが可能である。
【０２４８】
図17に示されるように、一部の実装においては、ユーザが、動画の種類1710を選択することができる。たとえば、一部の実装においては、ユーザが、スピードアップされた動画1712を選択することができる。スピードアップされた動画1712は、たとえば、ハイパーラプス画像ストリームを生成するために複数の連続しない画像フレームを選択し、画像フレームを連続的に配列することによって生成された動画であることが可能である。一部の実装において、ユーザは、スピードアップオプション1712に関連するラジオボタン1716Aをクリックするか、押下するか、またはそれ以外の方法で選択することによってスピードアップ1712オプションを選択することができる。同様に、チェックボックスまたはその他の入力オプションが、ユーザインターフェース1700において使用され得る。
【０２４９】
一部の実装において、ユーザは、通常速度の動画1714を選択し得る。たとえば、通常速度の動画1714オプションは、本明細書において開示されるように、連続した画像フレームの1つまたは複数のサブセットを含む短縮された画像ストリームを含む編集された動画を生成するために使用され得る。一部の実装において、ユーザは、通常速度オプション1714に関連するラジオボタン1716Bをクリックするか、押下するか、またはそれ以外の方法で選択することによって通常速度1714オプションを選択することができる。一部の実装において、スピードアップオプション1712および通常速度オプション1714は、一度に1つのオプションのみが選択される可能性があるように互いに排他的であることが可能である。
【０２５０】
ユーザインターフェース1700は、動画長入力1720も含み得る。たとえば、一部の実装においては、スライダバー1722が、動画リンクを選択するために使用され得る。一部の実装においては、図17に示されるように、動画の長さが、パーセンテージで示され得る(たとえば、スライダバーの一端が0%およびスライダバーの他端が100%)。その他の実装においては、スライダバーが、選択された動画の全長を示すことが可能であり、ユーザが、スライダバーを動かして編集された動画がどれだけの長さであるべきか(たとえば、10分の動画の30秒)を選択することができる。その他の動画長入力オプションが、ユーザインターフェース1700において同様に使用され得る。
【０２５１】
一部の実装においては、ハイパーラプスモードでキャプチャされた動画のためになど、ユーザインターフェース1700がその他のオプションを含むことが可能であり、および/またはその他のユーザインターフェースが使用されることが可能である。たとえば、ハイパーラプスモードでキャプチャされた動画に関して、動画の種類1710入力オプションが提供されない可能性があり、一方、動画長1720オプションは提供される可能性がある。
【０２５２】
図18は、編集された動画のための環境音声トラックを生成するために使用され得るユーザ入力を取得するための例示的なユーザインターフェース1800を示す。ユーザインターフェース1800は、ユーザ入力を取得するための1つの例示的なユーザインターフェースを示すに過ぎない。その他の好適なユーザインターフェースが、同様に使用され得る。一部の実装において、ユーザインターフェース1800は、スマートフォン、ラップトップ、またはその他のパーソナルコンピューティングデバイスなどのパーソナルコンピューティングデバイス上に表示され得る。一部の実装において、ユーザインターフェース1800を介して受け取られるユーザ入力は、モバイル型の画像キャプチャデバイスなどの画像キャプチャデバイスに提供されることが可能であり、編集された動画が、ユーザインターフェース1800を介して受け取られたユーザ入力に少なくとも部分的に基づいて生成されることが可能である。
【０２５３】
ユーザインターフェース1800は、たとえば、ユーザから音声選択入力を取得するために使用され得る。たとえば、一部の実装においては、本明細書において開示されるように、画像キャプチャデバイスが、音声信号を分析し、それぞれの環境音を記述する音声分類器ラベルで音声信号の様々な部分をラベル付けするために使用され得る。一部の実装において、画像キャプチャデバイスは、1つまたは複数の音声分類器ラベルを示すデータをユーザコンピューティングデバイスに伝達することができる。それから、1つまたは複数の音声分類器ラベルは、ユーザインターフェース1800を介してユーザに対して表示され得る。
【０２５４】
たとえば、1つまたは複数の音声分類器ラベルが、環境音声入力1810オプションインターフェースに表示され得る。たとえば、第1の音声分類器ラベル「波」1812、第2の音声分類器ラベル「カモメ」1814、および第3の音声分類器ラベル「風」1816が、表示され得る。各音声分類器ラベル1812、1814、および1816は、対応する音声分類器ラベルをラベル付けされた1つまたは複数の音声の部分に対応し得る。一部の実装において、ユーザは、環境音声トラックに含める音声の様々な種類を選択するために、各音声分類器ラベル1812、1814、および1816に関連するラジオボタン1822、1824、または1826をそれぞれ選択することができる。同様に、チェックボックスまたはその他の入力オプションが、ユーザインターフェース1800において使用され得る。たとえば、示されるように、第1の音声分類器ラベル「波」1812および第2の音声分類器ラベル「カモメ」1814が選択されている一方、第3の音声分類器ラベル「風」1816は選択されていない。
【０２５５】
一部の実装においては、対応する音声分類器ラベル1812および1814が選択されたとき、スライダバー1832および1834が、ユーザインターフェース1800に含まれ得る。スライダバー1832および1834は、たとえば、各種類の音声のうちのどれだけを環境音声トラックに含めるかを決定するために使用され得る。一部の実装においては、図18に示されるように、相対的な音声の量が、パーセンテージで示され得る(たとえば、スライダバーの一端が0%およびスライダバーの他端が100%)。その他の実装において、スライダバーは、環境音声トラックを生成するために使用される様々な比率を表し得る。その他の音声量入力オプションが、ユーザインターフェース1800において同様に使用され得る。
【０２５６】
一部の実装においては、ユーザが音声選択を行うと、1つまたは複数の音声分類器ラベルを記述する音声選択入力が、環境音声トラックを生成するために使用され得る。たとえば、第1の音声分類器ラベル「波」1812および第2の音声分類器ラベル「カモメ」を記述する音声選択入力が、環境音声トラックを生成するために使用され得る。たとえば、対応する音声分類器ラベルをラベル付けされた音声信号の1つまたは複数の音声の部分が、環境音声トラックに含めるために選択され得る。
【０２５７】
一部の実装においては、第1の音声分類器ラベルを記述する音声選択入力が、ネットワークを介するなどして画像キャプチャデバイスに伝達されることが可能であり、画像キャプチャデバイスは、環境音声トラックに含めるために第1の音声分類器ラベルを有する音声信号の少なくとも1つの部分を選択することによって環境音声トラックを生成することができる。このようにして、1つまたは複数の音声分類器ラベルを記述する音声選択入力が、受け取られることが可能であり、環境音声トラックが、環境音声トラックに音声分類器ラベルをラベル付けされた音声の部分を含めることによって生成されることが可能である。
【０２５８】
一部の実装においては、環境音声トラックが生成されると、環境音声トラックは、不揮発性メモリに記憶および/または保有されることが可能であり、音声信号は、破棄され得る。さらに、編集された動画が生成されると、画像キャプチャデバイスは、編集された動画をユーザコンピューティングデバイスに転送することができる。そのようなフレームワークによってもたらされる利点は、背景音および/または環境音を含む音声信号の部分のみが保存され得るおよび/または画像キャプチャデバイスから転送され得るので、その場に居合わせた人のプライバシーが守られ得ることである。
【０２５９】
図19は、本開示の例示的な態様によるモバイル型の画像キャプチャデバイスにおいてキャプチャされた画像をキュレーションするための例示的な方法(1900)の流れ図を示す。方法(1900)は、図1に示されたモバイル型の画像キャプチャデバイスなどのモバイル型の画像キャプチャデバイスによって実施され得る。加えて、図19は、図示および検討を目的として特定の順序で実行されるステップを示す。本明細書において提供される開示を使用する当業者は、本明細書において検討される方法のいずれかのステップが、本開示の範囲を逸脱することなく様々な方法で適合されるか、再配列されるか、拡張されるか、省略されるか、または修正され得ることを理解するであろう。
【０２６０】
(1902)において、方法(1900)は、モバイル型の画像キャプチャデバイスのイメージセンサによって1つまたは複数の画像をキャプチャするステップを含み得る。たとえば、モバイル型の画像キャプチャデバイスは、本明細書において説明されるように、低解像度、高解像度、バーストキャプチャ、動画キャプチャ、またはその他のキャプチャモードなどの様々なモードで画像をキャプチャするように構成され得る。
【０２６１】
(1904)において、方法(1900)は、1つまたは複数のキャプチャされた画像のコピーを一時的な画像バッファに保有するステップを含み得る。たとえば、画像キャプチャデバイスは、一時的な画像バッファを含むことが可能であるメモリを含み得る。一部の実装においては、1つまたは複数のキャプチャされた画像のコピーが、一時的な画像バッファに保有され得る。
【０２６２】
(1906)において、方法(1900)は、音声信号を受け取るステップを含み得る。たとえば、画像キャプチャデバイスは、音声信号を取得するように構成され得るマイクロフォンなどの音声センサを含み得る。一部の実装において、音声信号は、音声バッファに一時的に保有され得る。
【０２６３】
(1908)において、方法(1900)は、音声イベントを記述する第1の音声分類器ラベルを特定するために第1の機械学習されたモデルによって音声信号の少なくとも一部を分析するステップを含み得る。たとえば、様々な実装において、機械学習されたモデルは、本明細書において開示されるように、様々な発話、および/または笑い、泣き、画像キャプチャのきっかけ、もしくはその他の音などの発話以外の音を分類するように構成され得る。
【０２６４】
第1の音声分類器ラベルを特定したことに応じて、(1910)において、方法(1900)は、第1の音声分類器ラベルに関連する第1のキャプチャされた画像を特定するステップを含み得る。たとえば、一部の実装において、第1のキャプチャされた画像は、音声イベントから時間的にずらされ得る。たとえば、画像キャプチャデバイスは、第1の音声分類器ラベルに関連する時間のずれに基づいて第1の画像を特定するように動作可能であり得る。
【０２６５】
たとえば、笑いに関して、時間のずれは、音声イベントに先立つ時間の期間であることが可能であり、笑いが起こる前にキャプチャされた1つまたは複数の画像が、特定され得る。画像キャプチャのきっかけに関して、時間のずれは、音声イベントに続く時間の期間であることが可能であり、音声イベントの後にキャプチャされた1つまたは複数の画像が、特定され得る。一部の実装においては、音声イベントと同時にキャプチャされた画像が、特定され得る。このようにして、音声分類器ラベルに関連する1つまたは複数の画像が、特定され得る。
【０２６６】
(1912)において、方法は、第1のキャプチャされた画像によって示されるシーンの望ましさを決定するために第2の機械学習されたモデルによって第1のキャプチャされた画像を分析するステップを含み得る。たとえば、一部の実装においては、顔検出ニューラルネットワークが、第1のキャプチャされた画像のシーン内の1つまたは複数の顔の存在を検出するために第1のキャプチャされた画像を分析し得る。一部の実装においては、顔認識ニューラルネットワークが、第1のキャプチャされた画像のシーン内の1つまたは複数の顔を1つまたは複数のその他の顔とマッチングするために第1のキャプチャされた画像を分析し得る。一部の実装においては、顔属性ニューラルネットワークが、第1のキャプチャされた画像によって示されるシーン内の1つまたは複数の顔の様々な顔の特徴を検出するために第1のキャプチャされた画像を分析し得る。一部の実装においては、画像内容ニューラルネットワークが、第1のキャプチャされた画像のシーンを説明する1つまたは複数の意味ラベルを出力し得る。一部の実装においては、写真品質ニューラルネットワークが、第1のキャプチャされた画像の様々な写真品質の特徴を説明する写真スコアを出力し得る。
【０２６７】
(1914)において、方法(1900)は、第1の画像によって示されるシーンの望ましさに少なくとも部分的に基づいて、第1の音声分類器ラベルに関連する第1の画像のコピーをモバイル型の画像キャプチャデバイスの不揮発性メモリに記憶すべきかまたは第1の画像のコピーを記憶することなく第1のキャプチャされた画像を破棄すべきかどうかを判定するステップを含み得る。たとえば、一部の実装において、人の顔を含まない笑い分類器ラベルに関連する画像が、破棄され得る。
【０２６８】
図20は、本開示の例示的な態様による環境音声トラックを含む編集された動画を生成するための例示的な方法(2000)の流れ図を示す。方法(2000)は、1つもしくは複数のモバイル型の画像キャプチャデバイスおよび/または1つもしくは複数のパーソナルコンピューティングデバイスなどの1つまたは複数のコンピューティングデバイスによって実施され得る。加えて、図20は、図示および検討を目的として特定の順序で実行されるステップを示す。本明細書において提供される開示を使用する当業者は、本明細書において検討される方法のいずれかのステップが、本開示の範囲を逸脱することなく様々な方法で適合されるか、再配列されるか、拡張されるか、省略されるか、または修正され得ることを理解するであろう。
【０２６９】
(2002)において、方法(2000)は、複数の連続した画像フレームおよび関連する音声信号を含む動画ストリームを示すデータを取得するステップを含み得る。一部の実装において、動画ストリームを示すデータは、モバイル型の画像キャプチャデバイスによって取得され得る。
【０２７０】
(2004)において、方法(2000)は、音声信号の複数の部分に関連する複数の音声分類器ラベルを決定するために機械学習された音声分類器モデルによって音声信号を分析するステップを含み得る。たとえば、音声信号の様々な部分が、それぞれの部分内で特定された発話または発話以外の音などの1つまたは複数の音を記述するそれぞれの音声分類器ラベルをラベル付けされ得る。
【０２７１】
(2006)において、方法(2000)は、ユーザから音声分類器ラベルを記述する音声選択入力を受け取るステップを含み得る。たとえば、一部の実装においては、音声信号の1つまたは複数の音声の部分に対応する1つまたは複数の音声分類器ラベルを含み得るユーザインターフェースが、パーソナルコンピューティングデバイス上に表示され得る。
【０２７２】
(2008)において、方法(2000)は、複数の音声分類器ラベルに少なくとも部分的に基づいて音声信号の少なくとも第1の部分を含む環境音声トラックを生成するステップを含み得る。たとえば、環境音に関連する音声分類器ラベルを有する音声信号の部分が、環境音声トラックに含めるために選択され得る一方、前景音に関連する音声分類器ラベルを有する音声信号の部分は、拒絶され得る。たとえば、前景音に関連する音声分類器ラベルは、人の発話に関連する音声分類器ラベルを含み得る。一部の実装において、環境音声トラックを生成するステップは、環境音声トラック内のユーザによって選択された音声分類器ラベルを有する音声信号の少なくとも1つの部分を選択することを含み得る。一部の実装においては、複数の連続した画像フレームの中の1つまたは複数の画像フレームが、画像フレームによって示されるシーンを記述する1つまたは複数の画像ラベルを決定するために1つまたは複数の画像分析の機械学習されたモデルによって分析されることが可能であり、環境音声トラックが、1つまたは複数の画像ラベルに少なくとも部分的に基づいて生成されることが可能である。
【０２７３】
(2010)において、方法(2000)は、複数の連続した画像フレームの少なくともサブセットを含む画像ストリームを生成するステップを含み得る。たとえば、一部の実装においては、連続した画像フレームの第1のサブセットが、選択されることが可能であり、連続した画像フレームの第2のサブセットが、選択されることが可能であり、画像ストリームが、連続的に配列された連続した画像フレームの第1のサブセットおよび連続した画像フレームの第2のサブセットを含む短縮された画像ストリームであることが可能である。一部の実装において、画像ストリームは、複数の連続しない画像フレームを選択し、複数の連続しない画像フレームを連続的に配列することによって生成されたハイパーラプス画像ストリームであることが可能である。一部の実装において、画像ストリームは、ハイパーラプスモードでキャプチャされた複数の連続した画像フレームであることが可能である。
【０２７４】
(2012)において、方法(2000)は、環境音声トラックおよび画像ストリームを含む編集された動画を生成するステップを含み得る。たとえば、画像ストリームおよび環境音声トラックは、同時に再生されるように単一のファイルフォーマットに組み合わされ得る。
【０２７５】
一部の実装において、方法(2000)は、編集された動画をパーソナルコンピューティングデバイスに転送するステップ、および/またはパーソナルコンピューティングデバイスを介するなどして表示するために編集された動画を提供するステップをさらに含み得る。
【０２７６】
図21は、本開示の例示的な態様による画像キャプチャデバイスによってキャプチャされた画像を記憶するための例示的な方法(2100)の流れ図を示す。方法(2100)は、図1に示されたモバイル型の画像キャプチャデバイスまたはその他の画像キャプチャデバイスなどの画像キャプチャデバイスによって実施され得る。加えて、図21は、図示および検討を目的として特定の順序で実行されるステップを示す。本明細書において提供される開示を使用する当業者は、本明細書において検討される方法のいずれかのステップが、本開示の範囲を逸脱することなく様々な方法で適合されるか、再配列されるか、拡張されるか、省略されるか、または修正され得ることを理解するであろう。
【０２７７】
(2102)において、方法(2100)は、画像キャプチャデバイスのイメージセンサによって1つまたは複数の画像をキャプチャするステップを含み得る。たとえば、画像キャプチャデバイスは、本明細書において説明されるように、低解像度、高解像度、バーストキャプチャ、動画キャプチャ、またはその他のキャプチャモードなどの様々なモードで画像をキャプチャするように構成され得る。
【０２７８】
(2104)において、方法(2100)は、1つまたは複数のキャプチャされた画像のコピーを一時的な画像バッファに保有するステップを含み得る。たとえば、画像キャプチャデバイスは、一時的な画像バッファを含むことが可能であるメモリを含み得る。一部の実装においては、1つまたは複数のキャプチャされた画像のコピーが、一時的な画像バッファに保有され得る。
【０２７９】
(2106)において、方法(2100)は、音声信号を受け取るステップを含み得る。たとえば、画像キャプチャデバイスは、音声信号を取得するように構成され得るマイクロフォンなどの音声センサを含み得る。一部の実装において、音声信号は、音声バッファに一時的に保有され得る。
【０２８０】
(2108)において、方法(2100)は、音声イベントを記述する第1の音声分類器ラベルを特定するために機械学習された音声分類器モデルによって音声信号の少なくとも一部を分析するステップを含み得る。たとえば、様々な実装において、機械学習されたモデルは、本明細書において開示されるように、様々な発話、および/または笑い、泣き、画像キャプチャのきっかけ、もしくはその他の音などの発話以外の音を分類するように構成され得る。
【０２８１】
第1の音声分類器ラベルを特定したことに応じて、(2110)において、方法(2100)は、第1の音声分類器モデルに関連する時間のずれの量を特定するステップを含み得る。たとえば、笑いに関して、時間のずれの量は、時間の負の量であることが可能である。画像キャプチャのきっかけに関して、時間のずれの量は、時間の正の量であることが可能である。
【０２８２】
(2112)において、方法(2100)は、一時的な画像バッファに保有された1つまたは複数のキャプチャされた画像から第1の音声分類器ラベルに関連する第1のキャプチャされた画像を特定するために時間のずれの量を使用するステップを含み得る。たとえば、第1のキャプチャされた画像は、時間のずれの量だけ第1の音声分類器ラベルをラベル付けされた音声信号の部分から時間的にずらされ得る。たとえば、笑いに関して、画像キャプチャデバイスは、笑いラベルをラベル付けされた音声信号の部分を受け取る前の時間に画像キャプチャデバイスによってキャプチャされた第1のキャプチャされた画像を特定し得る。
【０２８３】
(2114)において、方法(2100)は、画像キャプチャデバイスの不揮発性メモリに第1の画像のコピーを記憶するステップを含み得る。
【０２８４】
本明細書において検討されたテクノロジーは、サーバ、データベース、ソフトウェアアプリケーション、およびその他のコンピュータに基づくシステム、ならびに行われるアクション、およびそのようなシステムに送信され、そのようなシステムから送信される情報に言及する。コンピュータに基づくシステムの固有の柔軟性が、構成要素の間のタスクおよび機能の非常に多様な可能な構成、組合せ、および分割を可能にする。たとえば、本明細書において検討されたサーバプロセスは、単一のサーバまたは組合せで働く複数のサーバを使用して実装される可能性がある。データベースおよびアプリケーションは、単一のシステム上に実装されるか、または複数のシステムに分散される可能性がある。分散された構成要素は、逐次的にまたは並列的に動作する可能性がある。
【０２８５】
本対象がその特定の例示的な実施形態および方法に関連して詳細に説明されたが、上記の内容を理解すると、当業者はそのような実施形態に対する代替、変更、および均等物を容易に生み出す可能性があることは、理解されるであろう。したがって、本開示の範囲は、限定ではなく例示のためのものであり、対象の開示は、当業者に容易に分かるように、本対象に対するそのような修正、変更、および/または追加を包含することを除外しない。
【０２８６】
さらに、本開示がモバイル型の画像キャプチャデバイスに関連して全体的に検討されているが、本開示は、たとえば、監視カメラ、セキュリティシステム、ダッシュボードカメラ、ロボット制御システムのカメラ、またはその他の画像キャプチャデバイスを含むその他の形態の画像キャプチャデバイスにもやはり適用可能である。さらに、キュレーションおよび編集の部分などの本開示の態様は、任意の時間に任意のその他のカメラからキャプチャされたオーディオビジュアルコンテンツに適用され得る。
【符号の説明】
【０２８７】
100  オーディオビジュアルコンテンツキャプチャ、キュレーション、および編集システム
102  画像キャプチャデバイス、モバイル型の画像キャプチャデバイス
104  モバイル型の画像キャプチャデバイス
106  モバイル型の画像キャプチャデバイス
112  プロセッサ
114  メモリ
116  レンズカバー
118  レンズ
120  イメージセンサ
121  音声センサ
122  イメージングパイプライン
123  音声パイプライン
124  シーンアナライザ
125  音声アナライザ
126  慣性測定ユニット(IMU)
128  ネットワークインターフェース
129  電源
130  ユーザコンピューティングデバイス
132  プロセッサ
134  メモリ
136  データ
138  命令
140  転送コントローラ
142  ベストショットセレクタ
144  ユーザインターフェースコントローラ
146  コンピュテーショナルフォトグラファ
150  サーバコンピューティングデバイス
152  プロセッサ
154  メモリ
158  命令
160  モデルトレーナ
180  ネットワーク
200  画像処理フレームワーク
202  イメージセンサ
204  第1のメモリ
206  イメージングパイプライン
208  スケーラ
210  第3のメモリ
212  シーンアナライザ
214  システムプロセッサ
216  ハードウェアブロック、画像統計
218  データ
220  画像圧縮経路
222  第2のメモリ
226  圧縮構成要素
228  不揮発性メモリ
230  センサ制御信号
250  音声アナライザモデル
252  機械学習された音声分類器モデル
254  音声データ
256  音声分類器ラベル
300  データフロー対時間の視覚的表現
302  音声データ
304  音声の一部分
306  音声分析
308  画像データ
308A〜F  画像データ
310  画像分析
312  画像記憶プロセス
400  キャプチャモードの視覚的表現
402  棒
404  棒
500  画像処理フレームワーク
502  イメージセンサ
504  イメージセンサレシーバ
506  低い解像度のRAW画像データ
508  イメージングパイプライン
510  低い解像度の画像
512  超低解像度の画像
514  シーンアナライザ
516  制御信号
518  画像圧縮構成要素
520  ストレージ
600  画像処理フレームワーク
602  イメージセンサ
604  イメージセンサレシーバ
606  高い解像度のRAW画像データ
608  コピー
610  ダウンサンプラ
611  低い解像度のRAW画像データ
612  イメージングパイプライン
614  低い解像度の画像
616  超低解像度の画像
618  シーンアナライザ
619  高い解像度の画像
620  画像圧縮構成要素
622  ストレージ
800  画像処理フレームワーク
802  イメージセンサ
804  イメージセンサレシーバ
805  高い解像度のRAW画像データ
806  イメージングパイプライン
807  高い解像度の画像
808  より低い解像度の画像
809  画像圧縮構成要素
810  ストレージ
900  イメージングパイプライン
901  RAWベイヤー画像データ
902  ブロック
904  ブロック
906  ブロック
908  ブロック
910  ブロック
1050  イメージングパイプライン
1051  RAWベイヤー画像データ
1052  デモザイカブロック、デモザイクブロック
1054  ブロック
1056  ブロック
1058  ブロック
1060  ブロック
1061  ピクセル値
1102  シーンアナライザ
1104  モデルスケジューラ/セレクタ
1106  ディープニューラルネットワーク
1108  ディープニューラルネットワーク
1110  保存コントローラ
1112  モードコントローラ
1114  画像
1116  アテンションモデル
1118  制御信号
1120  制御信号
1200  構成
1202  画像のフレーム
1204  顔検出または追跡モデル
1206  顔バウンディングボックス、アノテーション
1208  顔属性モデル
1210  顔属性、アノテーション
1212  顔写真映えモデル
1214  顔スコア、アノテーション
1216  顔認識モデル
1218  顔シグネチャ、アノテーション
1220  画像内容モデル
1222  意味的特徴ベクトル、アノテーション
1224  意味ラベル、アノテーション
1226  視覚的特徴エクストラクタモデル
1228  視覚的特徴ベクトル、アノテーション
1230  写真品質モデル
1232  写真品質スコア、アノテーション
1250  保存およびモードコントローラ
1300  フレームワークの視覚的表現
1310  画像フレーム
1312  連続した画像フレームの第1のサブセット
1314  連続した画像フレームの第2のサブセット
1320  音声信号
1322  第1の音声の部分
1324  第2の音声の部分
1410  短縮された画像ストリーム
1420  環境音声トラック
1500  フレームワークの視覚的表現
1510  画像フレーム
1520  音声信号
1522  第1の音声の部分
1610  ハイパーラプス画像ストリーム
1620  環境音声トラック
1700  ユーザインターフェース
1710  動画の種類
1712  スピードアップされた動画
1714  通常速度の動画
1716A  ラジオボタン
1716B  ラジオボタン
1720  動画長入力
1722  スライダバー
1800  ユーザインターフェース
1810  環境音声入力
1812  第1の音声分類器ラベル
1814  第2の音声分類器ラベル
1816  第3の音声分類器ラベル
1822  ラジオボタン
1824  ラジオボタン
1826  ラジオボタン
1900  方法
2000  方法
2100  方法
【図１】
2021507550.tif 000003
【図２】
2021507550.tif 000004
【図３】
2021507550.tif 000005
【図４】
2021507550.tif 000006
【図５】
2021507550.tif 000007
【図６】
2021507550.tif 000008
【図７】
2021507550.tif 000009
【図８】
2021507550.tif 000010
【図９】
2021507550.tif 000011
【図１０】
2021507550.tif 000012
【図１１】
2021507550.tif 000013
【図１２】
2021507550.tif 000014
【図１３】
2021507550.tif 000015
【図１４】
2021507550.tif 000016
【図１５】
2021507550.tif 000017
【図１６】
2021507550.tif 000018
【図１７】
2021507550.tif 000019
【図１８】
2021507550.tif 000020
【図１９】
2021507550.tif 000021
【図２０】
2021507550.tif 000022
【図２１】
2021507550.tif 000023
【手続補正書】
【提出日】令和2年6月26日(2020.6.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モバイル型の画像キャプチャデバイスであって、前記モバイル型の画像キャプチャデバイスが、
ネットワークインターフェースと、
電源と、
イメージセンサと、
音声センサと、
少なくとも1つのプロセッサと、
複数の機械学習されたモデルを記憶するメモリであって、前記複数の機械学習されたモデルが、音声分類器ラベルを決定するように構成された第1の機械学習されたモデル、および画像によって示されるシーンの望ましさを決定するように構成された第2の機械学習されたモデルを含み、前記メモリが、少なくとも、一時的な画像バッファ、音声バッファ、および不揮発性メモリを含む、メモリとを含み、
前記モバイル型の画像キャプチャデバイスが、
音声信号を受け取り、
音声イベントを記述する第1の音声分類器ラベルを決定するために前記第1の機械学習されたモデルによって前記音声信号の少なくとも一部を分析し、
前記音声イベントを記述する前記第1の音声分類器ラベルを決定することに応じて、前記音声イベントを記述する前記第1の音声分類器ラベルに関連する第1の画像を特定し、
前記第1の画像によって示されるシーンの望ましさを決定するために前記第2の機械学習されたモデルによって前記第1の画像を分析し、
前記第1の画像によって示される前記シーンの前記望ましさに少なくとも部分的に基づいて、前記第1の音声分類器ラベルに関連する前記第1の画像のコピーを前記モバイル型の画像キャプチャデバイスの前記不揮発性メモリに記憶すべきかまたは前記第1の画像のコピーを記憶することなく前記第1の画像を破棄すべきかどうかを判定するように動作可能であり、
前記第1の画像が、前記モバイル型の画像キャプチャデバイスによってキャプチャされた画像を含む、
モバイル型の画像キャプチャデバイス。
【請求項２】
前記第1の画像が、前記音声イベントから時間的にずらされ、
前記第1の画像を特定するために、前記モバイル型の画像キャプチャデバイスが、前記第1の音声分類器ラベルに関連する時間のずれに基づいて前記第1の画像を特定するように動作可能である、
請求項1に記載のモバイル型の画像キャプチャデバイス。
【請求項３】
前記時間のずれが、前記音声イベントに先立つ時間の期間を含む、
請求項2に記載のモバイル型の画像キャプチャデバイス。
【請求項４】
前記第1の音声分類器ラベルが、笑いを含む、
請求項3に記載のモバイル型の画像キャプチャデバイス。
【請求項５】
前記時間のずれが、前記音声イベントの後の時間の期間を含む、
請求項2に記載のモバイル型の画像キャプチャデバイス。
【請求項６】
前記第1の音声分類器ラベルが、画像キャプチャのきっかけを含む、
請求項5に記載のモバイル型の画像キャプチャデバイス。
【請求項７】
前記第1の音声分類器ラベルに関連する前記第1の画像が、前記音声イベントと同時にキャプチャされた画像を含む、
請求項1に記載のモバイル型の画像キャプチャデバイス。
【請求項８】
前記第2の機械学習されたモデルが、
各画像の前記シーン内の1つまたは複数の顔の存在を検出する顔検出ニューラルネットワーク、
各画像の前記シーン内の1つまたは複数の顔を1つまたは複数のその他の顔とマッチングする顔認識ニューラルネットワーク、
各画像の前記シーン内の1つまたは複数の顔の様々な顔の特徴を検出する顔属性ニューラルネットワーク、
各画像の前記シーンを説明する1つまたは複数の意味ラベルを出力する画像内容ニューラルネットワーク、および
各入力画像の様々な写真品質の特徴を説明する写真スコアを出力する写真品質ニューラルネットワークのうちの1つまたは複数を含む、
請求項1に記載のモバイル型の画像キャプチャデバイス。
【請求項９】
前記モバイル型の画像キャプチャデバイスが、
複数の画像をキャプチャし、
前記複数の画像の中のそれぞれのキャプチャされた画像のコピーを前記一時的な画像バッファに保有するようにさらに動作可能であり、
前記第1の音声分類器ラベルに関連する前記第1の画像が、前記複数の画像の中の前記キャプチャされた画像のうちの1つを含む、
請求項1に記載のモバイル型の画像キャプチャデバイス。
【請求項１０】
前記第1の音声分類器ラベルを決定するために前記第1の機械学習されたモデルによって前記音声信号を分析するために、前記モバイル型の画像キャプチャデバイスが、
前記音声信号のコピーを前記音声バッファに保有し、
前記音声信号の前記コピーの少なくとも一部を前記第1の機械学習されたモデルに入力し、
前記第1の機械学習されたモデルの出力として音声イベントを記述する前記第1の音声分類器ラベルを受け取るように動作可能である、
請求項1に記載のモバイル型の画像キャプチャデバイス。
【請求項１１】
環境音声トラックを含む編集された動画を生成するための方法であって、
1つまたは複数のコンピューティングデバイスによって、複数の連続した画像フレームおよび関連する音声信号を含む動画ストリームを示すデータを取得するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記音声信号の複数の部分に関連する複数の音声分類器ラベルを決定するために機械学習された音声分類器モデルによって前記音声信号を分析するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記複数の音声分類器ラベルに少なくとも部分的に基づいて、前記音声信号の少なくとも第1の部分を含む環境音声トラックを生成するステップであって、前記複数の音声分類器ラベルに少なくとも部分的に基づいて、前記環境音声トラックを生成するステップが、前景音に関連する音声分類器ラベルを有する前記音声信号の部分を拒絶しながら環境音に関連する音声分類器ラベルを有する前記音声信号の部分を前記環境音声トラックに含めるために選択することを含む、ステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記複数の連続した画像フレームの少なくともサブセットを含む画像ストリームを生成するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記環境音声トラックおよび前記画像ストリームを含む編集された動画を生成するステップとを含む、
方法。
【請求項１２】
前記動画ストリームを示す前記データが、モバイル型の画像キャプチャデバイスによって取得される、
請求項11に記載の方法。
【請求項１３】
前記1つまたは複数のコンピューティングデバイスが、前記方法がモバイル型の画像キャプチャデバイスによって実行されるように前記モバイル型の画像キャプチャデバイスからなる、
請求項11に記載の方法。
【請求項１４】
前記1つまたは複数のコンピューティングデバイスによって、ユーザから第1の音声分類器ラベルを記述する音声選択入力を受け取るステップをさらに含み、
前記1つまたは複数のコンピューティングデバイスによって、前記環境音声トラックを生成するステップが、前記1つまたは複数のコンピューティングデバイスによって、前記環境音声トラックに含めるために前記第1の音声分類器ラベルをラベル付けされた前記音声信号の少なくとも1つの部分を選択することを含む、
請求項11に記載の方法。
【請求項１５】
前景音に関連する前記音声分類器ラベルが、人の発話に関連する音声分類器ラベルを含む、
請求項11に記載の方法。
【請求項１６】
前記1つまたは複数のコンピューティングデバイスによって、シーンを記述する1つまたは複数の画像ラベルを決定するために1つまたは複数の画像分析の機械学習されたモデルによって前記複数の連続した画像フレームの少なくとも一部を分析するステップをさらに含み、
前記環境音声トラックが、前記1つまたは複数の画像ラベルに少なくとも部分的に基づいてさらに生成される、
請求項11に記載の方法。
【請求項１７】
前記1つまたは複数のコンピューティングデバイスによって、前記複数の連続した画像の少なくともサブセットを含む前記画像ストリームを生成するステップが、
前記1つまたは複数のコンピューティングデバイスによって、複数の連続しない画像フレームを選択することを含み、
前記画像ストリームが、連続的に配列された前記複数の連続しない画像フレームを含むハイパーラプス画像ストリームを含む、
請求項11に記載の方法。
【請求項１８】
前記1つまたは複数のコンピューティングデバイスによって、前記複数の連続した画像の少なくともサブセットを含む前記画像ストリームを生成するステップが、
前記1つまたは複数のコンピューティングデバイスによって、連続した画像フレームの第1のサブセットを選択すること、
前記1つまたは複数のコンピューティングデバイスによって、連続した画像フレームの第2のサブセットを選択することを含み、
前記画像ストリームが、連続的に配列された連続した画像フレームの前記第1のサブセットおよび連続した画像フレームの前記第2のサブセットを含む短縮された画像ストリームを含む、
請求項11に記載の方法。
【請求項１９】
画像をキャプチャするための方法であって、
画像キャプチャデバイスのイメージセンサによって1つまたは複数の画像をキャプチャするステップと、
前記画像キャプチャデバイスによって、1つまたは複数のキャプチャされた画像のコピーを前記画像キャプチャデバイスの一時的な画像バッファに保有するステップと、
前記画像キャプチャデバイスによって音声信号を受け取るステップと、
前記画像キャプチャデバイスによって、音声イベントを記述する第1の音声分類器ラベルを決定するために機械学習された音声分類器モデルによって前記音声信号の少なくとも一部を分析するステップと、
前記第1の音声分類器ラベルを決定することに応じて、前記画像キャプチャデバイスによって、前記第1の音声分類器ラベルに関連する時間のずれの量を決定するステップと、
前記画像キャプチャデバイスによって、前記一時的な画像バッファに保有された前記1つまたは複数のキャプチャされた画像から前記第1の音声分類器ラベルに関連する第1のキャプチャされた画像を特定するために前記時間のずれの量を使用するステップであって、前記第1のキャプチャされた画像が、前記時間のずれの量だけ前記第1の音声分類器ラベルをラベル付けされた前記音声信号の部分から時間的にずらされる、ステップと、
前記画像キャプチャデバイスによって、前記画像キャプチャデバイスの不揮発性メモリに前記第1のキャプチャされた画像のコピーを記憶するステップとを含む、
方法。
【請求項２０】
前記第1の音声分類器ラベルが、笑いラベルを含み、
前記時間のずれの量が、前記画像キャプチャデバイスが前記笑いラベルをラベル付けされた前記音声信号の部分を受け取る前の時間に前記画像キャプチャデバイスによってキャプチャされた前記第1のキャプチャされた画像を特定するように時間の負の量を含む、
請求項19に記載の方法。
【国際調査報告】
2021507550.tif 000024
2021507550.tif 000025
2021507550.tif 000026
2021507550.tif 000027