(57)【特許請求の範囲】
【請求項１】
ビデオ処理デバイスによって、ターゲットシーンから非ターゲットシーンへの前記ビデオ処理デバイスによってキャプチャされたビデオの遷移を、１）前記ビデオ処理デバイスが向いている方向の変化と、２）前記ビデオ処理デバイスに関連する向きの変化と、３）前記キャプチャされたビデオに関連するオーディオレベルの変化と、４）前記遷移を示すしきい値を超える、前記キャプチャされたビデオに関連する平均輝度の変化とのうちの少なくとも１つに基づいて、検出することと、前記遷移は、前記キャプチャされたビデオにおける中断とひずみとのうちの少なくとも１つに関連付けられ、前記ビデオのキャプチャ中、前記ビデオの各フレームに対し、任意の方向への移動が開始位置に対するベクトルとして示されるように、あらかじめ定義された軸に対する前記ビデオ処理デバイスの位置を示すデータが与えられ、
前記ビデオ処理デバイスによって、前記検出された遷移に基づいて、前記キャプチャされたビデオの１つまたは複数の部分を、編集することのためにマークすることと、
を備え、
前記遷移を検出することは、
前記キャプチャされたビデオのフレーム間の前記平均輝度の変化の量が第１のしきい値を超え、かつ前記フレーム間の前記ビデオ処理デバイスの移動の変化の量が第２のしきい値を超えたとき、前記中断を検出すること、前記フレーム間の前記移動の変化の量は前記フレーム間の向きの変化の量を示し、前記向きの変化の量は各フレームの前記データに基づく、
を備える、方法。
【請求項２】
前記マークされた１つまたは複数の部分を自動的に編集することをさらに備える、請求項１に記載の方法。
【請求項３】
前記マークされた１つまたは複数の部分を編集するようにユーザに促すことをさらに備える、請求項１に記載の方法。
【請求項４】
編集することは、前記マークされた１つまたは複数の部分を削除することと、前記マークされた１つまたは複数の部分を保持することと、前記マークされた１つまたは複数の部分のために、前記キャプチャされたビデオに関連する再生速度よりも速い再生速度を選択することとのうちの１つを備える、請求項１に記載の方法。
【請求項５】
前記遷移を検出することは、１つまたは複数のセンサーによって感知された信号に基づいて前記遷移を検出することを備える、請求項１に記載の方法。
【請求項６】
前記１つまたは複数のセンサーは、加速度計と、画像センサーと、オーディオセンサーと、コンパスとのうちの少なくとも１つを備える、請求項５に記載の方法。
【請求項７】
前記平均輝度の前記変化に基づいて前記遷移を検出することは、
前記ビデオ処理デバイスによって、前記キャプチャされたビデオの第１のフレームに関連するピクセルルーマ値の第１のセットと、前記キャプチャされたビデオの第２のフレームに関連するピクセルルーマ値の第２のセットとを取得することと、
前記ビデオ処理デバイスによって、ピクセルルーマ値の前記第１のセットに基づく前記第１のフレームの平均輝度と、ピクセルルーマ値の前記第２のセットに基づく前記第２のフレームの平均輝度とを決定することと、
前記第１のフレームの前記平均輝度と前記第２のフレームの前記平均輝度とに基づいて前記平均輝度の前記変化を決定することと、
をさらに備える、請求項１に記載の方法。
【請求項８】
前記１つまたは複数のマークされた部分に関する前記検出された遷移に関連する重大度レベルを判断することと、
前記１つまたは複数のマークされた部分に関連する前記重大度レベルに基づいて前記１つまたは複数のマークされた部分の編集オプションを選択することと、
をさらに備える、請求項１に記載の方法。
【請求項９】
前にキャプチャされたビデオデータを編集することについての、前記ビデオ処理デバイスによって受信されたユーザ入力に関連する履歴データに基づいて、前記重大度レベルを判断することと、前記編集オプションを選択することとのうちの少なくとも１つをさらに備える、請求項８に記載の方法。
【請求項１０】
ユーザ入力に関連する履歴データに基づいて、前記重大度レベルを判断することと、前記編集オプションを選択することとのうちの前記少なくとも１つは、
前記キャプチャされたビデオの１つまたは複数のマークされたフレームのタイプと、前記キャプチャされたビデオの前記マークされた１つまたは複数の部分の長さと、前記キャプチャされたビデオ内の前記１つまたは複数のマークされたフレームのロケーションと、前記キャプチャされたビデオの前記マークされた１つまたは複数の部分に関連する中断のタイプとのうちの少なくとも１つに基づいて、前記編集オプションの可能性を判断すること、
をさらに備える、請求項８に記載の方法。
【請求項１１】
前記ビデオ処理デバイスは、ビデオキャプチャデバイス、またはビデオを編集することが可能なコンピューティングデバイスを備える、請求項１に記載の方法。
【請求項１２】
前記ターゲットシーンから前記非ターゲットシーンへの前記キャプチャされたビデオの前記遷移を検出することは、前記ターゲットシーンに関連する前記ビデオ処理デバイスの第１の位置と前記非ターゲットシーンに関連する前記ビデオ処理デバイスの第２の位置とに少なくとも部分的に基づく、請求項１に記載の方法。
【請求項１３】
前記方向の前記変化と前記向きの前記変化とのうちの少なくとも１つは、１）前記ビデオ処理デバイスに関連し、地球の一方または両方の磁極に対する、情報と、２）前記ビデオ処理デバイスに関連する１つまたは複数の高度と、３）前記ビデオ処理デバイスによって受信されたオーディオ入力と、４）前記ビデオ処理デバイスによって検出された周辺光の量の変化とのうちの少なくとも１つに基づき、
前記オーディオレベルの前記変化は、受信されたオーディオ入力を前に受信されたオーディオ入力と比較することに基づく、
請求項１に記載の方法。
【請求項１４】
ビデオ処理デバイスによって、ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を、１）前記ビデオ処理デバイスが向いている方向の変化と、２）前記ビデオ処理デバイスに関連する向きの変化と、３）前記キャプチャされたビデオに関連するオーディオレベルの変化と、４）前記遷移を示すしきい値を超える、前記キャプチャされたビデオに関連する平均輝度の変化とのうちの少なくとも１つに基づいて、検出する手段と、前記遷移は、前記キャプチャされたビデオにおける中断とひずみとのうちの少なくとも１つに関連付けられ、前記ビデオのキャプチャ中、前記ビデオの各フレームに対し、任意の方向への移動が開始位置に対するベクトルとして示されるように、あらかじめ定義された軸に対する前記ビデオ処理デバイスの位置を示すデータが与えられ、
前記ビデオ処理デバイスによって、前記検出された遷移に基づいて、前記キャプチャされたビデオの１つまたは複数の部分を、編集することのためにマークする手段と、
を備え、
前記検出する手段は、
前記キャプチャされたビデオのフレーム間の前記平均輝度の変化の量が第１のしきい値を超え、かつ前記フレーム間の前記ビデオ処理デバイスの移動の変化の量が第２のしきい値を超えたとき、前記中断を検出する手段、を備え、前記フレーム間の前記移動の変化の量は前記フレーム間の向きの変化の量を示し、前記向きの変化の量は各フレームの前記データに基づく、デバイス。
【請求項１５】
前記検出する手段は、ターゲットシーンから非ターゲットシーンへの前記キャプチャされたビデオの前記遷移を検出するビデオ処理デバイスを備え、
前記マークする手段は、前記検出された遷移に基づいて、前記キャプチャされたビデオの前記１つまたは複数の部分を、編集することのためにマークする、少なくとも１つのプロセッサを備える、
請求項１４に記載のデバイス。
【請求項１６】
前記少なくとも１つのプロセッサは、前記マークされた１つまたは複数の部分を自動的に編集するように構成された、請求項１５に記載のデバイス。
【請求項１７】
前記少なくとも１つのプロセッサは、前記マークされた１つまたは複数の部分を編集するようにユーザに促すように構成された、請求項１５に記載のデバイス。
【請求項１８】
編集することは、前記マークされた１つまたは複数の部分を削除することと、前記マークされた１つまたは複数の部分を保持することと、前記マークされた１つまたは複数の部分のために、前記キャプチャされたビデオに関連する再生速度よりも速い再生速度を選択することとのうちの１つを備える、請求項１５に記載のデバイス。
【請求項１９】
信号を感知する１つまたは複数のセンサーをさらに備え、前記プロセッサは、前記１つまたは複数のセンサーによって感知された信号に基づいて前記遷移を検出する、請求項１５に記載のデバイス。
【請求項２０】
前記１つまたは複数のセンサーは、加速度計と、画像センサーと、オーディオセンサーと、コンパスとのうちの少なくとも１つを備える、請求項１９に記載のデバイス。
【請求項２１】
前記少なくとも１つのプロセッサは、さらに、
前記キャプチャされたビデオの第１のフレームに関連するピクセルルーマ値の第１のセットと、前記キャプチャされたビデオの第２のフレームに関連するピクセルルーマ値の第２のセットとを取得し、
ピクセルルーマ値の前記第１のセットに基づく前記第１のフレームの平均輝度と、ピクセルルーマ値の前記第２のセットに基づく前記第２のフレームの平均輝度とを決定し、
前記第１のフレームの前記平均輝度と前記第２のフレームの前記平均輝度とに基づいて前記平均輝度の前記変化を決定する、
請求項１５に記載のデバイス。
【請求項２２】
前記１つまたは複数のマークされた部分に関する前記検出された遷移に関連する重大度レベルを判断するプロセッサ
をさらに備え、
前記１つまたは複数のマークされた部分の編集オプションの選択は、前記１つまたは複数のマークされた部分に関連する前記重大度レベルに基づく、
請求項２１に記載のデバイス。
【請求項２３】
前記重大度レベルを判断することと、前記編集オプションを選択することとのうちの少なくとも１つは、前にキャプチャされたビデオデータを編集することについての、前記ビデオ処理デバイスによって受信されたユーザ入力に関連する履歴データに基づく、請求項２２に記載のデバイス。
【請求項２４】
ユーザ入力に関連する履歴データに基づいて、前記重大度レベルを判断することと、前記編集オプションを選択することとのうちの前記少なくとも１つは、
前記キャプチャされたビデオの１つまたは複数のマークされたフレームのタイプと、前記キャプチャされたビデオの前記マークされた１つまたは複数の部分の長さと、前記キャプチャされたビデオ内の前記１つまたは複数のマークされたフレームのロケーションと、前記キャプチャされたビデオの前記マークされた１つまたは複数の部分に関連する中断のタイプとのうちの少なくとも１つに基づいて、前記編集オプションの可能性を判断すること、
をさらに備える、請求項２２に記載のデバイス。
【請求項２５】
前記ビデオ処理デバイスは、ビデオキャプチャデバイス、またはビデオを編集することが可能なコンピューティングデバイスを備える、請求項１５に記載のデバイス。
【請求項２６】
前記ビデオ処理デバイスは、前記ターゲットシーンに関連する前記ビデオ処理デバイスの第１の位置と前記非ターゲットシーンに関連する前記ビデオ処理デバイスの第２の位置とに少なくとも部分的に基づいて前記ターゲットシーンから前記非ターゲットシーンへの前記キャプチャされたビデオの前記遷移を検出する、請求項１５に記載のデバイス。
【請求項２７】
前記方向の前記変化と前記向きの前記変化とのうちの少なくとも１つは、１）前記ビデオ処理デバイスに関連し、地球の一方または両方の磁極に対する、情報と、２）前記ビデオ処理デバイスに関連する１つまたは複数の高度と、３）前記ビデオ処理デバイスによって受信されたオーディオ入力と、４）前記ビデオ処理デバイスによって検出された周辺光の量の変化とのうちの少なくとも１つに基づき、
前記オーディオレベルの前記変化は、受信されたオーディオ入力を前に受信されたオーディオ入力と比較することに基づく、
請求項１５に記載のデバイス。
【請求項２８】
ビデオ処理デバイス中のプログラマブルプロセッサに、
ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を、１）前記ビデオ処理デバイスが向いている方向の変化と、２）前記ビデオ処理デバイスに関連する向きの変化と、３）前記キャプチャされたビデオに関連するオーディオレベルの変化と、４）前記遷移を示すしきい値を超える、前記キャプチャされたビデオに関連する平均輝度の変化とのうちの少なくとも１つに基づいて、検出することと、前記遷移は、前記キャプチャされたビデオにおける中断とひずみとのうちの少なくとも１つに関連付けられ、前記ビデオのキャプチャ中、前記ビデオの各フレームに対し、任意の方向への移動が開始位置に対するベクトルとして示されるように、あらかじめ定義された軸に対する前記ビデオ処理デバイスの位置を示すデータが与えられ、
前記検出された遷移に基づいて、前記キャプチャされたビデオの１つまたは複数の部分を、編集することのためにマークすることと、
を行わせるための命令を備え、
前記遷移を検出することは、
前記キャプチャされたビデオのフレーム間の前記平均輝度の変化の量が第１のしきい値を超え、かつ前記フレーム間の前記ビデオ処理デバイスの移動の変化の量が第２のしきい値を超えたとき、前記中断を検出すること、
を備え、前記フレーム間の前記移動の変化の量は前記フレーム間の向きの変化の量を示し、前記向きの変化の量は各フレームの前記データに基づく、コンピュータプログラム。
【請求項２９】
前記マークされた１つまたは複数の部分を自動的に編集するための命令をさらに備える、請求項２８に記載のコンピュータプログラム。
【請求項３０】
前記マークされた１つまたは複数の部分を編集するようにユーザに促すための命令をさらに備える、請求項２８に記載のコンピュータプログラム。
【請求項３１】
編集することは、前記マークされた１つまたは複数の部分を削除することと、前記マークされた１つまたは複数の部分を保持することと、前記マークされた１つまたは複数の部分のために、前記キャプチャされたビデオに関連する再生速度よりも速い再生速度を選択することとのうちの１つを備える、請求項２８に記載のコンピュータプログラム。
【請求項３２】
前記プログラマブルプロセッサに前記遷移を検出することを行わせる前記命令は、１つまたは複数のセンサーによって感知された信号に基づいて前記遷移を検出するための命令を備える、請求項２８に記載のコンピュータプログラム。
【請求項３３】
前記１つまたは複数のセンサーは、加速度計と、画像センサーと、オーディオセンサーと、コンパスとのうちの少なくとも１つを備える、請求項３２に記載のコンピュータプログラム。
【請求項３４】
前記キャプチャされたビデオの第１のフレームに関連するピクセルルーマ値の第１のセットと、前記キャプチャされたビデオの第２のフレームに関連するピクセルルーマ値の第２のセットとを取得することと、
ピクセルルーマ値の前記第１のセットに基づく前記第１のフレームの平均輝度と、ピクセルルーマ値の前記第２のセットに基づく前記第２のフレームの平均輝度とを決定することと、
前記第１のフレームの前記平均輝度と前記第２のフレームの前記平均輝度とに基づいて前記平均輝度の前記変化を決定することと、
を行うための命令をさらに備える、請求項２８に記載のコンピュータプログラム。
【請求項３５】
前記１つまたは複数のマークされた部分に関する前記検出された遷移に関連する重大度レベルを判断することと、
前記１つまたは複数のマークされた部分に関連する前記重大度レベルに基づいて前記１つまたは複数のマークされた部分の編集オプションを選択することと、
を行うための命令をさらに備える、請求項２８に記載のコンピュータプログラム。
【請求項３６】
前記重大度レベルを判断するための前記命令と、前記編集オプションを選択するための前記命令とのうちの少なくとも１つは、前にキャプチャされたビデオデータを編集することについての、前記ビデオ処理デバイスによって受信されたユーザ入力に関連する履歴データを利用するための命令をさらに備える、請求項３５に記載のコンピュータプログラム。
【請求項３７】
前記重大度レベルを判断するための前記命令と、前記編集オプションを選択するための前記命令とのうちの前記少なくとも１つは、
前記キャプチャされたビデオの１つまたは複数のマークされたフレームのタイプと、前記キャプチャされたビデオの前記マークされた１つまたは複数の部分の長さと、前記キャプチャされたビデオ内の前記１つまたは複数のマークされたフレームのロケーションと、前記キャプチャされたビデオの前記マークされた１つまたは複数の部分に関連する中断のタイプとのうちの少なくとも１つに基づいて、前記編集オプションの可能性を判断すること
を行うための命令をさらに備える、請求項３５に記載のコンピュータプログラム。
【請求項３８】
前記ビデオ処理デバイスは、ビデオキャプチャデバイス、またはビデオを編集することが可能なコンピューティングデバイスを備える、請求項２８に記載のコンピュータプログラム。
【請求項３９】
前記ターゲットシーンから前記非ターゲットシーンへの前記キャプチャされたビデオの前記遷移を検出するための前記命令は、前記ターゲットシーンに関連する前記ビデオ処理デバイスの第１の位置と前記非ターゲットシーンに関連する前記ビデオ処理デバイスの第２の位置とに少なくとも部分的に基づいて前記遷移を検出するための命令をさらに備える、請求項２８に記載のコンピュータプログラム。
【請求項４０】
前記方向の前記変化と前記向きの前記変化とのうちの少なくとも１つは、１）前記ビデオ処理デバイスに関連し、地球の一方または両方の磁極に対する、情報と、２）前記ビデオ処理デバイスに関連する１つまたは複数の高度と、３）前記ビデオ処理デバイスによって受信されたオーディオ入力と、４）前記ビデオ処理デバイスによって検出された周辺光の量の変化とのうちの少なくとも１つに基づき、
前記オーディオレベルの前記変化は、受信されたオーディオ入力を前に受信されたオーディオ入力と比較することに基づく、
請求項２８に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオ記録に関し、より詳細には、ビデオ編集のための技法に関する。
【背景技術】
【０００２】
[0002]ビデオのキャプチャおよび処理能力は、ワイヤレス通信デバイス、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、セルラー電話または衛星無線電話、デジタルメディアプレーヤなどを含む、広範囲にわたるデバイスに組み込まれ得る。
【０００３】
[0003]ビデオキャプチャデバイス、たとえば、ビデオカメラは、ビデオストリームをキャプチャし、それを符号化のためにビデオエンコーダに送る。ビデオエンコーダは、ビデオストリームを処理し、処理されたビデオストリームを符号化し、符号化されたビデオデータを記憶または復号および表示のために送信する。ユーザは、ユーザの選好に合わせてビデオを個人化するために、キャプチャされたビデオをさらに編集し得る。編集中に、ユーザは、ビデオの部分を除去すること、テキストおよびグラフィックなどのオブジェクトを追加すること、ならびにディスプレイ選好を変更することなどを望み得る。ビデオがディスプレイデバイスにキャプチャされ、符号化され、転送された後に、ユーザはしばしば編集を手動で実行する。
【発明の概要】
【０００４】
[0004]本開示では、ビデオキャプチャ中にビデオを自動的に編集するための技法について説明する。スタンドアロンビデオカメラまたはビデオキャプチャ能力を組み込んだコンピューティングデバイスなど、ビデオキャプチャデバイスは、ビデオ情報とセンサー情報とを分析して、ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオにおける遷移を検出し得る。ビデオキャプチャデバイスは、検出された遷移に対応するキャプチャされたビデオの部分をマークし得る。マークされた部分は、たとえば、ユーザがビデオクリップをキャプチャしている間にビデオキャプチャデバイスを誤って配置するかまたはビデオキャプチャデバイスを誤った方向に向けること、ビデオキャプチャ中のコンピューティングデバイス上での別のアプリケーションの起動（たとえば、モバイルフォン上で着信通話に応答すること）、またはビデオのキャプチャを途絶させ得る他のイベントによる、キャプチャされたビデオにおける中断に対応し得る。ビデオキャプチャデバイスは、たとえば、マークされた部分を除去すること、それらを保持すること、またはそれらを速い再生速度で表示することによって、マークされた部分を編集するための、勧告を生成し得る。一例では、デバイスは、マークされたフレームとともにキャプチャされたビデオをユーザに表示し、ユーザがマークされた部分のための編集動作を選択することを可能にし得る。このようにして、キャプチャされたビデオの考えられる意図されていないまたは望ましくない部分の自動検出が、ビデオ品質を促進しながら、ユーザによって必要とされる後続の手動編集の量を低減し得る。
【０００５】
[0005]一例では、本開示では、ビデオ処理デバイスにおいて、ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を検出することと、検出された遷移に基づいて、編集のためにキャプチャされたビデオの１つまたは複数の部分をマークすることと、を備える方法について説明する。
【０００６】
[0006]別の例では、本開示では、ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を検出するビデオ処理デバイスと、検出された遷移に基づいて、編集のためにキャプチャされたビデオの１つまたは複数の部分をマークする少なくとも１つのプロセッサとを備えるデバイスについて説明する。
【０００７】
[0007]別の例では、本開示では、ビデオ処理デバイスにおいて、ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を検出する手段と、検出された遷移に基づいて、編集のためにキャプチャされたビデオの１つまたは複数の部分をマークする手段とを備えるデバイスについて説明する。
【０００８】
[0008]本開示で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはデジタル信号プロセッサ（ＤＳＰ）など、１つまたは複数のプロセッサで実行され得る。本技法を実行するソフトウェアは、初めにコンピュータ可読媒体に記憶され、プロセッサにロードされ、実行され得る。
【０００９】
[0009]したがって、本開示では、ビデオ処理デバイス中のプロセッサによって実行されると、ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を検出し、検出された遷移に基づいて、編集のためにキャプチャされたビデオの１つまたは複数の部分をマークする命令を備えるコンピュータ可読記憶媒体をも企図する。
【００１０】
[0010]本開示の１つまたは複数の態様の詳細を添付の図面および以下の説明に記載する。本開示で説明する技法の他の特徴、目的、および利点は、これらの説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１１】
【図１】例示的なビデオキャプチャデバイスを示すブロック図。
【図２】ビデオキャプチャデバイスを含む例示的なモバイルワイヤレス通信デバイスを示すブロック図。
【図３Ａ】本開示による、ユーザに提示されるキャプチャされたビデオの例示的なスクリーンを示す図。
【図３Ｂ】本開示による、ユーザに提示されるキャプチャされたビデオの例示的なスクリーンを示す図。
【図３Ｃ】本開示による、ユーザに提示されるキャプチャされたビデオの例示的なスクリーンを示す図。
【図４Ａ】本開示の技法を使用したビデオキャプチャおよび表示を示す流れ図。
【図４Ｂ】本開示の技法を使用した中断検出を示す流れ図。
【発明を実施するための形態】
【００１２】
[0016]本開示では、キャプチャされたビデオにおける遷移を自動的に検出し、検出された遷移を使用して、キャプチャされたビデオの部分を、可能な編集のために識別するための技法について説明する。検出された遷移は、キャプチャされたビデオにおける中断および／またはひずみがある、キャプチャされたビデオの部分であり得る。中断は、たとえば、キャプチャされたビデオが、ユーザがキャプチャすることを望むターゲットシーンから、ユーザがキャプチャすることを意図しない非ターゲットシーンに変わる部分であり得る。キャプチャされたビデオにおけるひずみは、ユーザがビデオをキャプチャしている間に急速にまたは過剰な手の動きでビデオキャプチャデバイスを移動することによる、キャプチャされたビデオにおける急速パンニング動きまたはジッタによって、引き起こされ得る。
【００１３】
[0017]ビデオをキャプチャするために、ビデオキャプチャデバイス、たとえば、カムコーダ、またはコンピューティングデバイスに組み込まれたビデオカメラが使用され得る。いくつかの例では、ビデオキャプチャデバイスは、モバイルフォン、タブレット、携帯情報端末（ＰＤＡ）など、モバイルコンピューティングデバイス中に常駐し得る。ビデオ処理デバイス、たとえば、ビデオキャプチャデバイスおよび／またはポータブルデバイスは、ユーザが編集中に除去することを希望し得るキャプチャされたビデオの部分を自動的に検出するためにビデオ処理技法を利用し得る。検出された部分は、たとえば、ターゲットシーン（たとえば、ユーザがキャプチャすることを意図するシーン）が望ましくない非ターゲットシーン（たとえば、ターゲットシーンに対してビデオキャプチャデバイスを誤って配置することまたはビデオキャプチャデバイスを誤った方向に向けることにより、ユーザがキャプチャするシーン）に変わる部分であり得る。たとえば、ユーザが、ビデオキャプチャデバイスを落とすか、たとえば、デバイスのビデオキャプチャセンサーに対して上向きにまたは下向きに、ビューを妨げる表面上にビデオキャプチャデバイスを配置するか、速い動きでまたは有意なジッタを伴ってビデオキャプチャデバイスを移動する場合などに、望ましくない非ターゲットシーンがキャプチャされ得る。一例では、ビデオキャプチャデバイスがポータブルデバイスに組み込まれる場合、ビデオの検出される部分は、たとえば、ビデオ部分のキャプチャと同時に起こる着信ボイスまたはビデオ呼、テキストメッセージ、あるいは他のアプリケーションの起動など、ポータブルデバイスの機能に基づいて検出され得、その機能は、ビデオキャプチャを中断または途絶させ得、あるいは、ユーザがビデオキャプチャデバイスを所望のターゲットシーンに向けることから逸脱することを引き起こし得る。
【００１４】
[0018]ビデオ処理デバイスは、検出された部分を後続の編集のためにマークし得る。ビデオ処理デバイスは、マークされた部分を自動的に編集し得、または代替的に、マークされた部分をどのように編集すべきかを決定するためにユーザにマークされた部分を提示し得る。マークされた部分を編集することは、たとえば、マークされた部分を削除すること、マークされた部分を、キャプチャされたビデオが表示される速度よりも速い再生速度で表示すること、またはマークされた部分を保持することを含み得る。このようにして、キャプチャされたビデオの潜在的にひずんだまたは望ましくない部分の自動検出およびマーキングが、ビデオ品質を促進しながら、ユーザによって必要とされる後続の手動編集の量を低減し得る。特に、自動的に検出された部分は、編集目的でユーザによる便利な考慮のためにマークされるかまたは他の方法で識別され得る。いくつかの例では、ビデオキャプチャデバイスが、キャプチャされたビデオのひずんだまたは望ましくない部分を検出し、編集する場合、より多くのビデオキャプチャのために、または他のアプリケーションが使用するために、デバイス上の一定量のメモリが利用可能になり得る。
【００１５】
[0019]本開示の態様は、ビデオキャプチャ能力を組み込み得る様々なデバイスのいずれにおいても利用され得る。この説明のために、モバイルフォン中のビデオカメラが例示的なビデオキャプチャデバイスとして使用される。ただし、本開示の態様は、様々なスタンドアロンビデオ処理デバイスまたはシステムによって、あるいは、モバイルフォン、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、携帯情報端末など、構成要素の中でもビデオキャプチャ構成要素を有する他のコンピューティングデバイスおよびシステムによって、実装され得ることを理解されたい。また、この説明のために、「画像」は、たとえば、ムービーまたはビデオクリップ中のビデオフレームのシーケンスの一部を形成するビデオフレームであり得る、ビデオ画像を指すことがあることを理解されたい。
【００１６】
[0020]図１は、例示的なビデオキャプチャデバイス６０を示すブロック図である。ビデオキャプチャデバイス６０は、構成要素の中でも、レンズアセンブリ６２と、画像センサー６４と、画像プロセッサ６６と、ストレージ６８と、センサーおよびモジュールユニット７０と、ビデオコーデック７４と、ディスプレイ８０とを備え得る。ビデオキャプチャデバイス６０は、専用ビデオキャプチャデバイス（たとえば、カムコーダ）であるか、または画像キャプチャデバイス（たとえば、デジタルカメラ）の一部であり得、これはデジタルビデオカメラとデジタルスチルカメラの組合せを含み得る。ビデオキャプチャデバイス６０は、スタンドアロンデバイスであるか、あるいはワイヤレス通信デバイスハンドセット、モバイルデバイスなど、スチルカメラまたはビデオカメラを組み込んだ別のデバイスの一部を形成し得る。いくつかの態様では、ビデオキャプチャデバイス６０は、オーディオをキャプチャするためのマイクロフォンをも含み得る。画像プロセッサ６６はビデオフロントエンド（ＶＦＥ：video front end）画像プロセッサであり得る。
【００１７】
[0021]レンズアセンブリ６２は、１つまたは複数のレンズを含み得、シーンをキャプチャするためにレンズアセンブリ６２中のレンズの焦点を合わせるために複数の異なるレンズ位置の間でそれらのレンズを移動するレンズアクチュエータによって制御され得る。いくつかの例では、レンズアセンブリ６２は、レンズアクチュエータによって制御されないことがあり、代わりに、デジタル的に、またはキャプチャされているシーン中の焦点ロケーションを定義するユーザ入力に応答して、焦点を調整し得る。
【００１８】
[0022]画像センサー６４は、たとえば、電荷結合デバイス（ＣＣＤ）アレイ、フォトダイオードアレイ、または、レンズを介して光を受け、受信された画像に応答して画像データを生成する、他の画像センシングデバイスなど、画像センサー要素を含み得る。画像センサー６４は、ビデオキャプチャデバイス６０がキャプチャしているシーンについての画像情報を取得する。画像センサー６４はまた、たとえば、自動焦点、自動ホワイトバランス、自動露光、および、たとえば、本開示の技法などの画像処理を実行するために使用され得る他の画像機能など、カメラ機能において使用するために、キャプチャされているシーンについての画像情報を取得し得る。一例では、画像情報は、キャプチャされたビデオの各フレームに関係する情報に対応し得、たとえば、露光／輝度データを含み得、これは、照明およびルミナンス特性に関する情報（たとえば、ピクセルルーマ値）を示し得る。
【００１９】
[0023]画像プロセッサ６６は、各キャプチャされたフレームについての取得された画像情報を処理し、画像情報とともにフレームを画像ストレージデバイス６８に記憶する。画像プロセッサ６６は、取得された画像情報を予備のおよび後続の処理のために利用し得る。たとえば、画像プロセッサ６６は、フレームのピクセルルーマ値に基づいて各フレームに関連する平均輝度レベルを判断し得る。画像プロセッサ６６はまた、ビデオキャプチャデバイス６０中の他のセンサーおよびモジュール、たとえば、センサーおよびモジュールユニット７０から情報を受信し得る。画像プロセッサ６６は、以下でより詳細に説明するように、本開示の技法を実装するアルゴリズムを実行する。
【００２０】
[0024]センサーおよびモジュールユニット７０は、ビデオキャプチャデバイス６０のロケーション、動き、および／または向きに関するセンサー情報を与え得る。センサーおよびモジュールユニット７０が与えるセンサー情報のタイプは、ビデオキャプチャデバイス６０中で利用可能なセンサーのタイプに依存し得る。たとえば、センサーおよびモジュールユニット７０は、加速度計、コンパス、全地球測位システム（ＧＰＳ）、気圧センサー、または、キャプチャされたビデオの各フレームのキャプチャ中にビデオキャプチャデバイス６０のロケーション、向き、および動きを判断することが可能な他のモジュールを含み得る。別の例では、センサーおよびモジュールユニット７０は、ビデオキャプチャデバイス６０のマイクロフォンまたはオーディオ入力から受信されたオーディオ情報を使用してビデオキャプチャデバイス６０の方向を判断することが可能なモジュールを含み得る。センサーおよびモジュールユニット７０は、各フレームが対応するセンサー情報に関連付けられるように、センサーおよびモジュールユニット７０が取得するセンサー情報をフレームとともに画像プロセッサ６６に与え得る。
【００２１】
[0025]画像プロセッサ６６は、キャプチャされたフレームを処理することと、予備画像処理を実行することとのうちの１つまたは複数を実行することが可能な１つまたは複数のプロセッサを備え得る。画像プロセッサ６６は、キャプチャされたフレームおよび対応する情報をコーデック７４に与え得、コーデック７４は、画像を符号化すること、符号化された画像を表示のために復号すること、ならびに／または符号化された画像を復号および表示のために別のデバイスに送信することなど、さらなる画像処理を実行し得る。画像プロセッサ６６はコーデック７４と併せて動作し得る。コーデック７４および画像プロセッサ６６は、キャプチャされたフレームを処理し、表示のためにディスプレイ８０に送り得、ここで、ディスプレイ８０は、ビデオおよびオーディオ出力デバイス、たとえば、ＬＣＤスクリーン、スピーカーなどを含み得る。
【００２２】
[0026]ビデオキャプチャデバイス６０はビデオをキャプチャし得、画像プロセッサ６６は、キャプチャされたビデオフレームに対して予備画像処理を実行し、それらのフレームをストレージ６８に記憶し得る。予備処理中に、画像情報、たとえば、平均フレーム輝度レベルが、各対応するフレームとともに判断され、記憶され得る。また、ビデオキャプチャ中に、センサーおよびモジュールユニット７０は、たとえば、ビデオキャプチャ中のビデオキャプチャデバイス６０に関連する動き、ロケーション、および向きなど、追加のセンサー情報を判断し得る。センサーおよびモジュールユニット７０は、記憶、または対応するフレームとの関連付けのために、ロケーション、動き、および向きの情報を画像プロセッサ６６に送り得る。たとえば、加速度計は、任意の方向への移動が開始位置に対するベクトルとして示されるように、各フレームについて、あらかじめ定義された軸に対するビデオキャプチャデバイス６０の位置を示すデータを与え得る（たとえば、ユーザから離れる向きに直立）。各フレームに関連するベクトルは、そのフレームとともに記憶され得、フレーム間での変化の量を判断するために利用され得る。一例では、画像プロセッサ６６は、各キャプチャされたフレームについてベクトル情報と他の画像情報およびセンサー情報とをヘッダ中に埋め込み得る。この例では、画像情報およびセンサー情報は、キャプチャされたフレームとともに符号化され得る。別の例では、画像プロセッサ６６は、キャプチャされたフレームのテーブルを作成し得、その場合、そのテーブルには、対応する画像情報（たとえば、平均フレーム輝度）および／またはセンサー情報（たとえば、ロケーション、動き、および／または向き）が加えられ（populate）得る。この例では、画像プロセッサ６６は、たとえば、タイムスタンプ、地理的ロケーションなど、キャプチャされたフレームに対応する他の情報がテーブルに加える（populate）。画像プロセッサ６６は、キャプチャされたフレームごとにフレームカウンタを増分し得、対応するフレーム情報とともにカウンタ値をフレーム情報のテーブル中にエントリとして含め得る。キャプチャされたフレームが符号化され、送信されると、適用可能なとき、キャプチャされたフレームのテーブルは、符号化フレームとともに符号化され、送信され得る。本開示の技法では、テーブルを利用することについて説明するが、テーブル中に含まれる情報は、キャプチャされたフレームとともに、たとえば、各対応するフレームのヘッダ中にも、埋め込まれ得ることを理解されたい。この例では、その情報は、フレームとともに符号化され、したがって、適用可能なとき、同じビットストリームにおいて送信され得る。
【００２３】
[0027]ビデオキャプチャ中に、いくつかのファクタが、キャプチャされたビデオの品質に影響を及ぼし、中断の瞬間を引き起こし、それにより、キャプチャされるべき所望のターゲットシーンに対して、キャプチャされたビデオのひずみまたは誤ターゲッティングの部分が生じ得る。たとえば、ユーザは、ユーザの手を上げるかまたは下げ得、その結果、ビデオカメラが、意図されたシーンにではなく、代わりに空／天井または地面／床を向いている。別の例では、ユーザは、ビデオカメラを急速に移動し、キャプチャされたビデオにぼけた速い動きまたはジッタを引き起こし得る。別の例では、ユーザは、たとえば、テーブルなど、表面上にカメラを一時的に配置し、ビデオカメラが、その表面の上面または空／天井のいずれかをキャプチャし得る。別の例では、ユーザはビデオキャプチャ中にビデオカメラを落とし、それにより、望ましくないビデオ部分でシーンが一時的に中断され得る。別の例として、別の人が接近してきたとき、ユーザは、不注意に、ビデオキャプチャデバイスを所望のターゲットシーンから離してパンまたはティルトし得る。上記の例に加えて、ユーザは、多くの他の方法で望ましくない部分のキャプチャを引き起こし得る。
【００２４】
[0028]画像プロセッサ６６は、画像情報（たとえば、輝度）およびセンサー情報（たとえば、ロケーション、動き、向きなど）を使用して、中断および／またはひずみを有し得るキャプチャされたビデオの部分を検出し得る。たとえば、画像プロセッサ６６は、フレーム間で輝度の急激な変化が発生するキャプチャされたビデオの部分、ビデオキャプチャデバイス６０の方向が急激に変化する部分、および／またはビデオキャプチャデバイスの速い動きがある部分を検出し得る。画像プロセッサ６６は、次いで、中断および／またはひずみをもつキャプチャされたビデオの部分に対応するフレームを、後続の編集のために、識別し得る。キャプチャされたビデオにおける中断部分を検出する際に、画像プロセッサ６６は、輝度が、たとえば、前のフレームから急激に変化するフレームを検出し、検出されたフレームを中断部分における最初のフレームとしてマークし得る。画像プロセッサ６６は、次いで、輝度が再び変化する後続のフレームを検出し、それにより中断部分の終了をマークし、それに応じてその部分の最後のフレームをマークし得る。
【００２５】
[0029]一例では、画像プロセッサ６６は、キャプチャされたビデオにおける中断および／またはひずみに対応するものとして識別されたビデオフレームをビデオキャプチャ中に除去し得る。この例では、画像プロセッサ６６は、十分な情報を取得し、中断が存在し得るキャプチャされたビデオの部分を検出するためにフレームを処理するための時間を許容するために、いくらかの遅延を有して、識別されたフレームをビデオキャプチャ中に除去し得る。その遅延により、画像プロセッサ６６は、キャプチャされたビデオの中断および／またはひずみ部分がどこで開始し、終了するかを判断することが可能になり得る。たとえば、画像プロセッサ６６は、感知された向きの急激な変化を伴う、前のフレームからのあるフレームの輝度の急激な変化を、キャプチャされたビデオにおける中断の開始としてマークし、そのフレームを除去のためにマークし得る。画像プロセッサ６６は、次いで、キャプチャされたフレームの平均輝度が、検出された中断より前のフレームの平均輝度と同様の平均値にいつ戻るかを判断するために、フレームの平均輝度と感知された向きとを追跡し得る。上記遅延は、キャプチャされたビデオにおける中断の開始フレームおよび終了フレームをマークするのに十分な時間を画像プロセッサ６６に与える。画像プロセッサ６６は、次いで、キャプチャされたビデオからの除去のためにマークされたフレームを削除することによって、キャプチャされたビデオの検出された中断部分を編集し得る。この例では、画像プロセッサ６６は、いずれかの符号化が行われる前に、マークされたフレームを除去し得る。
【００２６】
[0030]別の例では、画像プロセッサ６６は、識別されたフレームが、中断および／またはひずみがあるキャプチャされたビデオの部分に対応することを示すために、識別されたフレームを除去のためにマークし得る。次いで、コーデック７４は、フレームが、中断および／またはひずみがあり得るキャプチャされたビデオの部分に対応するかどうかに関する情報とともに、ビデオフレームを符号化することによって、キャプチャされたフレームを符号化し得る。たとえば、コーデック７４は、フレームとともに、そのフレームに対応する画像情報（たとえば、輝度）およびセンサー情報（たとえば、ロケーション、動き、および方向）をメタデータとして符号化し得る。別の例では、コーデック７４は、キャプチャされたビデオとともに送るべきフレーム情報のテーブルを符号化し得、その場合、フレーム情報のテーブルは、上記で説明したように、画像情報およびセンサー情報を含み得る。
【００２７】
[0031]コーデック７４は、キャプチャされたビデオをユーザへの再生のために復号し得る。コーデック７４は、どのフレームが、中断および／またはひずみがあるキャプチャされたビデオの部分に対応するものとしてマークされたかを判断するために、キャプチャされたビデオを復号プロセス中に分析し得る。
【００２８】
[0032]一例では、コーデック７４は、除去のためにマークされたフレームをキャプチャされたビデオから除去し、キャプチャされたビデオを中断および／またはひずみなしにディスプレイ８０上に表示し得る。別の例では、コーデック７４は、復号されたキャプチャされたビデオをユーザへの表示のために送り、キャプチャされたビデオにおける中断および／またはひずみに対応するものとしてマークされたキャプチャされたビデオのフレームをユーザに示し得る。表示中に、画像プロセッサ６６は、マークされたフレームに関してとるべき措置を判断するためにユーザがそこから選択すべきオプションを与え得る。たとえば、ユーザは、マークされたフレームを削除すること、マークされたフレームをキャプチャされたビデオの再生速度よりも速い再生速度で表示すること、またはそれらのフレームをキャプチャされたビデオにおいて保持することを行うためのオプションを有し得る。一例では、ユーザは部分ごとに再生速度を選択し得る。たとえば、中断されたビデオのより長い部分について、ユーザは、より短い部分よりも速い速度で、検出された中断部分を再生することを選択し得る。一例では、ユーザがキャプチャされたビデオの一部分を異なる再生速度で再生することを選択した場合、復号および表示プロセス中に後で使用するために、選択された部分の最初および最後のフレームに対応するタイムスタンプが識別され得る。ユーザは、フレームごとにまたは部分ごとにビデオを編集し得、その場合、各部分は、除去のためにマークされたフレームのシーケンスを含むビデオのセグメントである。一例では、ユーザが、再生中に、キャプチャされたビデオの選択された部分のためにより速い再生速度を示した場合、選択された部分におけるフレームは、より速い再生速度を達成するために再生中にスキップされ得る。たとえば、選択された部分において、２倍の再生速度の効果を得るために、１つおきのフレームがスキップされ得る。
【００２９】
[0033]ユーザが、中断および／またはひずみをもつ各検出された部分について措置を判断した後、画像プロセッサ６６は、キャプチャされたビデオを相応に修正し、修正されたビデオ（すなわち、中断部分が除去または修正されたビデオ）をディスプレイ８０上での再生のためにコーデック７４に送り得る。特に、ユーザが、ビデオのマークされたフレームまたは部分の全部または一部を削除することを選択した場合、画像プロセッサ６６は、続いて、選択されたフレームを削除し、コーデック７４は修正されたビデオを再符号化し得る。このようにして、ユーザは、ビデオに中断がある問題の部分を識別するためにビデオを手動で調べる必要なしに、ユーザが望むように、キャプチャされたビデオを編集することが可能であり得る。代わりに、画像プロセッサ６６は、ユーザによる検討のためにそのような部分を自動的に識別する。
【００３０】
[0034]一例では、キャプチャされたビデオは、さらなる処理、表示、および編集のために別個のデバイスに転送され得る。たとえば、ユーザは、ビデオキャプチャデバイス６０を別のデバイス、たとえば、コーデック７４によって実行される処理の少なくとも一部分を実行し得るパーソナルコンピュータまたは専用ビデオ編集およびディスプレイデバイスに、接続し得る。転送されたビデオは、キャプチャされたフレームと、除去のためにマークされたフレームに関する情報、たとえば、キャプチャされたフレームのテーブルとを含み得る。別個のデバイスは、キャプチャされたビデオと、各キャプチャされたフレームに対応する画像情報およびセンサー情報を示す、キャプチャされたフレームのテーブルとを受信し得る。一例では、別個のデバイスは、上記情報を分析し、キャプチャされたビデオを自動的に編集し、編集されたビデオをユーザへの表示のために処理し得る。別の例では、別個のデバイスは、上記情報を分析し、編集するためにマークされた部分の指示とともにユーザにビデオを表示して、ユーザがマークされた部分をどのように編集すべきかを判断することを可能にし得る。
【００３１】
[0035]一例では、コーデック７４は、キャプチャされたビデオにおける中断に関連する重大度を判断し得る。たとえば、長いまたは極めて途絶させる中断（たとえば、カメラが、下を向いており、ブランク／黒いビデオをキャプチャしている）は、極めて重大とマークされ得るが、極めて短く、ターゲットシーンに急速に戻る中断は、中程度とマークされ得る。また、重大度はフレーム情報のテーブルとともに符号化され得る。コーデック７４は２つ以上のレベルの重大度を有し得る。一例では、コーデック７４は、極めて重大とマークされたフレームを自動的に除去し得、より重大でないフレームを除去すべきか否かを判断するために、それらのフレームをユーザに表示し得る。別の例では、コーデック７４は、重大度のレベルの指示、たとえば、テキスト、色、点滅などを用いて、除去のためにマークされたビデオのフレームまたは部分とともに、キャプチャされたビデオを表示し得る。
【００３２】
[0036]一例では、コーデック７４は、統計および履歴データを利用して、いくつかの検出された中断部分を除去のためにマークすべきかどうかを判断するか、またはマークされた部分の重大度を判断し得る。たとえば、ユーザが識別されたフレームを除去することの可能性を判断するために、識別されたフレームを除去または保持することにおけるユーザの習慣の履歴データが収集され、使用され得る。履歴データは、たとえば、識別されたフレームのタイプ、検出された部分の長さ、キャプチャされたビデオ内の識別されたフレームのロケーション、識別されたフレームに関連する重大度、中断のタイプ（たとえば、輝度の突然の変化、パンニング動き、ビデオキャプチャデバイスが向いている方向の変化、向きの変化、オーディオレベル変化）など、いくつかのファクタに基づき得る。履歴データは、たとえば、ユーザが特定のタイプの中断を除去する可能性を表し得る。一例では、２人以上のユーザが、ビデオをキャプチャするためのビデオキャプチャデバイス６０、またはキャプチャされたビデオを表示するために使用される別個のデバイスを利用し得る。この例では、ユーザは、ビデオキャプチャデバイス６０上でまたは別個のデバイス上で関連するプロファイルを有し得、これは、ユーザ固有である履歴データを有し得る。したがって、ユーザＡがビデオキャプチャデバイス６０を使用するとき、画像プロセッサ６６はユーザＡのための履歴データを利用し得、その履歴データは、他のユーザ、たとえば、ビデオキャプチャデバイス６０のユーザＢのための履歴データとは異なり得る。たとえば、履歴データは、ユーザＡは、高速パンニング動きに対応するキャプチャされたフレームの部分を頻繁に削除し、ユーザＢは、それらの部分をより速い再生速度で表示することを示し得る。したがって、ビデオキャプチャデバイス６０が、除去のためにマークされたキャプチャされたビデオの部分を自動的に編集する例では、高速パンニング動き部分は、関連するユーザがユーザＡである場合は削除され、関連するユーザがユーザＢである場合はより速い再生速度で再生され得る。別の例では、関連するユーザがユーザＡである場合、高速パンニング動き部分は、関連するユーザがユーザＢである場合よりも高い重大度レベルでマークされ得る。
【００３３】
[0037]図２は、ビデオキャプチャデバイスを含む例示的なモバイルワイヤレス通信デバイスを示すブロック図である。モバイルデバイス１００は、構成要素の中でも、ビデオキャプチャデバイス１６０と、センサーおよびモジュールユニット１７０と、プロセッサ１７２と、コーデック１７４と、通信モジュール１７６と、ディスプレイ１８０とを備え得る。ビデオキャプチャデバイス１６０は、図１のビデオキャプチャデバイス６０と同様であり、構成要素の中でも、レンズアセンブリ１６２と、画像センサー１６４と、画像プロセッサ１６６と、画像ストレージ１６８とを備え得る。画像ストレージ１６８は、ビデオキャプチャデバイス１６０のための専用ストレージであるか、またはモバイルデバイス１００に関連するストレージの一部分であり得る。プロセッサ１７２は、キャプチャされた画像を処理することと、画像を符号化することと、符号化された画像を表示のために復号することと、符号化された画像を復号および表示のために別のデバイスに送信することとのうちの１つまたは複数を実行することが可能な１つまたは複数のプロセッサを備え得る。
【００３４】
[0038]モバイルデバイス１００のユーザは、所望のビデオをキャプチャするためにビデオキャプチャデバイス１６０を利用し得る。ビデオキャプチャ中に、ユーザにビデオキャプチャデバイスをターゲットシーン（すなわち、ユーザがキャプチャすることを意図するシーン）から離れて非ターゲットシーンに移動させるまたは向けさせる、上記で説明した例のようなイベントにより、いくつかのファクタが、キャプチャされたビデオの品質に影響を及ぼし、中断および／またはひずみの瞬間を引き起こし、それにより、キャプチャされたビデオの部分がひずませられ得る。他の例では、モバイルデバイス１００に関連する他のアプリケーションが、ビデオキャプチャデバイス１６０によるビデオキャプチャにおける中断を引き起こし得る。たとえば、着信通話またはテキストメッセージ、あるいはモバイルデバイス１００上の別のアプリケーションの起動を引き起こし得る他のイベントが、ビデオキャプチャを途絶させ得る。その途絶は、他のアプリケーションの起動によって引き起こされ得、または着信通話の例では、ユーザは、ビデオキャプチャデバイス１６０がビデオをキャプチャし続けている間、その通話をピックアップすることと、電話を持ち上げてユーザの耳に当てることとを望み、したがって、それにより、ビデオキャプチャデバイス１６０は、ユーザがキャプチャしているターゲットシーンから離れて非ターゲットシーンに（たとえば、ユーザの耳から向こうの方へ）向く。
【００３５】
[0039]画像センサー１６４は、図１の画像センサー６４と同じ機能を実行し、画像プロセッサ１６６に送るべき画像情報（たとえば、ピクセルルーマ値）を取得し得る。画像プロセッサ１６６は、取得された画像情報をキャプチャされたビデオの予備処理のために利用し、キャプチャされたビデオを画像ストレージ１６８に記憶し得る。たとえば、予備処理中に、画像プロセッサ１６６は、フレームのピクセルルーマ値に基づいて、各フレームに関連する平均輝度レベルを判断し、キャプチャされたビデオの各フレームとともに、処理された画像情報を記憶し得る。画像プロセッサ１６６は、上記で説明したように、処理された画像情報をキャプチャされたフレームのテーブルに記憶し得る。
【００３６】
[0040]センサーおよびモジュールユニット１７０は、モバイルデバイス１００のロケーション、動きおよび／または向きに関する情報を与え得る。たとえば、センサーおよびモジュールユニット１７０は、加速度計、コンパス、または、キャプチャされたビデオの各フレームのキャプチャ中にモバイルデバイス１００のロケーション、動き、および向きを判断することが可能な他のモジュールを含み得る。別の例では、センサーおよびモジュールユニット１７０は、モバイルデバイス１００のマイクロフォンまたはオーディオ入力から受信されたオーディオ情報を使用してモバイルデバイス１００の向きを判断することが可能なモジュールを含み得る。センサーおよびモジュールユニット１７０は、それが取得するセンサー情報をプロセッサ１７２に与え得る。プロセッサ１７２は、たとえば、キャプチャされたフレームのテーブルを更新することによって、センサーおよびモジュールユニット１７０によって取得されたセンサー情報を画像ストレージ１６８中の対応するフレームと組み合わせ得る。プロセッサ１７２は、画像情報およびセンサー情報を使用して、キャプチャされたビデオにおける中断および／またはひずみに対応し得るキャプチャされたビデオの部分を検出し得る。一例では、プロセッサ１７２は、次いで、検出された部分内のフレームをマークし、検出された中断によって引き起こされるひずみを除去するかまたは最小限に抑えるためのさらなる処理を実行し、たとえば、マークされたフレームをキャプチャされたビデオから削除するか、またはマークされたフレームのためにより速い再生速度を指定し得る。別の例では、プロセッサ１７２は、検出された部分内のフレームをマークし、さらなる処理、たとえば、符号化、マークされたフレームの編集、復号、およびキャプチャされたビデオの表示のために、コーデック１７４に送るべき画像情報およびセンサー情報で、キャプチャされたフレームのテーブルを更新し得る。
【００３７】
[0041]一例では、センサーおよびモジュールユニット１７０は、モバイルデバイス１００のロケーション、動き、および／または向きに関する情報を与え得る、加速度計、オーディオセンサー、コンパスなどを含み得る。別の例では、ビデオキャプチャデバイス１６０および／またはモバイルデバイス１００は、センサーに加えて、画像処理技法を利用して、キャプチャされたビデオ内の中断の部分、たとえば、フレーム間での輝度の急激な変化を検出し得る。
【００３８】
[0042]ユーザが、カメラが下を向くように、ビデオカメラを表面上に配置する例では、中断は、ｚ軸（またはデバイスが向く方向に応じて別の軸）における加速度計の動きを使用して、および／または黒い／暗いスクリーン（たとえば、前のシーンからの輝度の急激な変化）を感知した画像センサーから受信された輝度情報を処理する画像プロセッサ１６６を使用して、検出され得る。デバイスが上を向いている例では、中断は、ｚ軸（またはデバイスが向く方向に応じて他の軸）における動きとして加速度計によって、および／またはいくつかのフレームにわたって動きがない（たとえば、カメラが空または天井を向いている）ある時間期間を一定の輝度値に基づいて感知した画像センサーから受信された輝度情報を処理する画像プロセッサ１６６によって、検出され得る。キャプチャされたビデオにおける中断は、前のフレームに対するキャプチャされたフレームにおける画像情報（たとえば、輝度の変化）とともに、ロケーション、動き、および／または向きの変化に基づいて判断され得る。また、これらの例では、コンパスは、一定のしきい値を上回る時間量であり得る、問題があるものとして知覚され得る一定の時間量にわたって、ビデオキャプチャデバイス１６０が向いていた以前の方向に対して異なる一定の方向にビデオキャプチャデバイス１６０が向いていると判断するために、使用され得る。しきい値は、たとえば、それを上回ると動きなしで人間の手がデバイスを保持できない時間量であり得る。さらに、加速度計およびコンパスは、たとえば、ユーザが、ユーザの手を下げるか、または、ビデオキャプチャデバイス１６０および／もしくはモバイルデバイス１００がビデオキャプチャのために意図されていないランダムな方向を向くようにそのデバイスを配置し、方向が、正しい方向であると知られているかもしくは正しい方向であると判断された以前の方向に対してランダムであると判断される場合、あるいは、一定のしきい値を超える高速パンニングアクションがある場合、上記デバイスが意図された方向をいつ向いていないかを判断するために、使用され得る。たとえば、デバイスを同じ平面に保つデバイスの高速パンニングは、より重大な中断を引き起こすものとして知覚され得る、比較的よりランダムな方向におけるデバイスの高速パンニングよりも重大でない中断を引き起こすものとして知覚されるが、それは、ユーザが異なるシーンをキャプチャするために同じ平面において高速パンニング動きを引き起こすことがよくあるが、ビデオキャプチャデバイスの揺れを伴うランダムな高速パンニング動きはユーザの手のランダムな移動を示し得るからである。
【００３９】
[0043]別の例では、ビデオキャプチャデバイス１６０は、光ビデオ安定化（optical video stabilization）を有しないことがあり、ビデオにおいて好ましくない途絶させ得る広範なハンドジッタを経験することがある。プロセッサ１７２は、しきい値に基づいてどのくらいの量のジッタが許容できるかを判断することによって広範なジッタおよびぶれを検出するためのアルゴリズムを実装し得る。さらに別の例では、（たとえば、着信呼またはメッセージに応答して）別のアプリケーションが起動され、ビデオキャプチャにおける中断を引き起こし得る場合、プロセッサ１７２は、着信メッセージまたは呼がいつ受信され、ピックアップされるかを判断するためのアルゴリズムを実装し、そのイベントをビデオに対する中断としてマークし得る。この例では、プロセッサ１７２はまた、たとえば、ユーザがモバイルデバイス１００をユーザの耳に当てることに対応する、センサーおよびモジュールユニット１７０から受信された動きおよび向きの情報を利用するアルゴリズムを使用して、中断を検出し得る。
【００４０】
[0044]プロセッサ１７２は、画像プロセッサ１６６が以前にテーブルを更新するために用いた画像情報に加えて、センサー情報に対応するロケーション、向き、および／または動きの情報で、キャプチャされたフレームのテーブルを更新し得る。センサー情報および画像情報に基づいて、プロセッサ１７２は、キャプチャされたビデオにおける中断および／またはひずみに対応し得るキャプチャされたビデオの部分を識別し、識別された部分に対応するフレームを除去のためにマークし得る。
【００４１】
[0045]一例では、プロセッサ１７２は、キャプチャされたビデオにおける中断および／またはひずみに対応するものとして識別されたフレームを、自動的に、あるいは除去を指定するかまたは除去勧告を承認するユーザ入力に応答して、除去し得る。別の例では、プロセッサ１７２は、上記で説明したように、識別されたフレームを、処理のもっと後の段階中の後続の除去のためにマークし得る。コーデック１７４は、追加情報（たとえば、キャプチャされたフレームのテーブル）を含めて、キャプチャされたビデオを符号化し得る。コーデック１７４は、次いで、キャプチャされたビデオをユーザへの再生のために復号し得る。コーデック１７４は、上記で詳細に説明したように、ビデオを表示するより前に、マークされたフレームを自動的に除去するか、またはユーザが、中断をもつキャプチャされたビデオの部分のための編集オプションを選択する（たとえば、フレームを除去するか、代替の再生速度を利用するか、またはフレームを保持する）ことを可能にし得る。一例では、ユーザが選択された部分を通常の再生速度よりも速い再生速度で再生することを望む場合、その再生速度を達成するために、選択された部分における適切な数のフレームがスキップされ得る。たとえば、ユーザが選択された部分を通常の再生速度の２倍で再生することを望む場合、通常の再生速度での再生中に、選択された部分における１つおきのフレームがスキップされ得、その結果、選択された部分は、通常の再生速度の２倍、たとえば、６０フレーム毎秒で再生されるように見える。
【００４２】
[0046]キャプチャされたビデオのマークされた部分をプロセッサ１７２が編集するにせよ、コーデック１７４が編集するにせよ、ユーザが編集するにせよ、プロセッサ１７２は、一例では、上記で説明したように、識別されたフレームに関連する重大度レベルを決定し得る。選択される編集オプション（たとえば、除去、保持、またはより速い再生）は中断および／またはひずみの重大度のレベルに基づき得、その場合、たとえば、重大度の最も高いレベルでマークされた部分は除去され得、重大度のより小さいレベルでマークされた部分は、保持されるか、またはより速い再生速度で再生され得る。ユーザに提示されるとき、たとえば、中断部分に関連するフレームのためのサムネイルは、カラーコード化され（たとえば、重大度の最も高いレベルのフレームの場合は赤、および重大度のより低いレベルのフレームの場合は緑）、最も重大でないものから最も重大なものまでスペクトルにおいて提示され得、または重大度ガイドのレベルとして、別のタイプの指示、たとえば、テキスト、番号、点滅、ハイライトなどが使用され得る。プロセッサ１７２は、除去のためにマークされたフレームに関連する重大度レベルでフレーム情報のテーブルを更新し得る。
【００４３】
[0047]プロセッサ１７２は、統計および履歴データを利用して、キャプチャされたビデオにおける中断の検出された部分に関連する措置および／または重大度を決定し得る。履歴データは、上記で説明したように、ユーザの前の編集選好および選択に関連付けられ得、ユーザの観点から何が中断を構成するのか、およびユーザがキャプチャされたビデオから過去にどのようなタイプの中断を除去したかを判断するために、使用され得る。
【００４４】
[0048]一例では、アルゴリズムは、ユーザからの入力を必要とする、キャプチャされたビデオの最も重大でない部分を追跡して、その部分が削除されるべきかどうかを判断し、いくつかのフラグ付き部分に関連するパターンを「学習」し得、その結果、ユーザが一定のタイプの中断および／またはひずみを一貫して除去する場合、アルゴリズムは、その後、それらをより重大とマークし得、あまり多くのユーザ入力を必要とすることなしに、除去のためにそれらにフラグを付け得る。同様に、ユーザが一定のタイプの中断および／またはひずみを一貫して保持する場合、アルゴリズムは、その後、同様のタイプの中断を無視し、それらをまったくマークしないことがある。たとえば、ユーザが着信通話に対応するすべての中断を履歴的に除去する場合、アルゴリズムは、すべてのそのような中断を重大とマークし、プロセッサ１７２がキャプチャされたビデオを自動的に編集する例では、そのような中断を自動的に除去し得る。この例では、プロセッサ１７２は、しきい値と比較して、ユーザが中断を除去した、中断の以前の発生の回数に基づいて、そのような中断を自動的に除去すべきかどうかを判断し得る。たとえば、プロセッサ１７２は、ユーザが着信呼に対応する中断を除去した、２回の発生を、そのような中断を自動的に除去するのに十分な履歴発生と見なさないことがあるが、５回の発生を、そのような中断に伴う措置を自動的に判断するのに十分な履歴発生と見なすことがある。一定のタイプの中断を自動的に除去することまたは除去しないことをトリガするために必要とされる発生のしきい値回数は、デフォルト値に設定されるか、またはシステムのユーザによって決定され、中断を引き起こすイベントの異なるタイプに対して異なり得る。上記の着信呼によって引き起こされる中断の例では、しきい値回数は４回であり得る。プロセッサ１７２は、さらに、ユーザが中断を除去した、発生のしきい値割合に基づいて、中断を自動的に除去すべきかどうかを判断し得る。たとえば、しきい値割合が時間の７５％であり得、したがって、中断が以前に４回発生しており、ユーザが少なくとも３回中断を除去した場合、プロセッサ１７２は、５回目の発生において中断を自動的に除去し得る。
【００４５】
[0049]キャプチャされたビデオの中断部分の処理および判断は、上記で説明したように、ビデオキャプチャおよび処理の多くの段階のうちのいずれか１つにおいて発生し得る。一例では、中断部分は、ビデオキャプチャ中に、比較的リアルタイムで検出され、マークされ得る。これは、より小さいメモリをもつシステムにおいて有用であり得、そのシステムでは、通常のビデオキャプチャが再開するとき、ビデオは、自動的に中断としての部分を判断し、その部分を削除し得る。別の例では、中断部分は、ビデオキャプチャが完了した直後に、およびいずれかのさらなる処理の前に判断され得る。さらに別の例では、中断部分は、キャプチャされたフレームのテーブル中の情報を使用してビデオの復号中に判断され得る。別の例では、中断部分は、キャプチャされたビデオを編集および表示するための専用の別個のデバイスにおいて、キャプチャされたフレームのテーブル中の情報を使用して判断され得る。
【００４６】
[0050]本開示の技法を使用することにより、中断および／またはひずみがあるフレームおよび部分を識別することと、それらを除去すべきか否かを判断することとを行うためにビデオを手動で調べるためにユーザが必要とする時間量を低減し得る。一例では、本開示の技法は、ユーザがビデオキャプチャ中にアクティブにし得る特徴または機能であり得、その場合、ユーザは、キャプチャされたビデオにおける中断の部分をプロセッサに自動的に検出させ、削除させることを選択し得る。代替的に、ユーザは、中断をもつキャプチャされたビデオの部分の検出を可能にすることと、次いで、検出された部分を保持すべきであるのか削除すべきであるのかに関する判断をユーザに行わせることとを選択し得る。検出された中断部分は（たとえば、サムネイルとして）ユーザに提示され得、その場合、ユーザは、一度に１つ、閲覧すべき各検出された部分を選択し、除去に関する判断を行い得る。ユーザはまた、識別された問題がある部分を検討することなしにそれらの部分を一斉に除去することを選択し得る。
【００４７】
[0051]いくつかの例では、ユーザは、連続感を維持するために、検出された中断部分を通常のビデオ速度よりも速い再生速度で再生することを選択し得る。ユーザは、すべての検出された部分について、または部分ごとに、検出された部分が削除されるべきなのかより速い再生速度で再生されるべきなのかを選択することが可能であり得る。ユーザは、検出された部分が再生される速度を決定することも可能であり得、その場合、同じキャプチャされたビデオ内の部分が異なる速度で再生され得る。一例では、より速い再生速度はデフォルトで特定の速度に設定され得る。別の例では、より速い再生速度は、ビデオキャプチャデバイスまたはビデオディスプレイデバイスの構成中にユーザによって指定され得る。
【００４８】
[0052]本開示の特徴は、ハードウェア、ソフトウェア、またはそれらの組合せを使用して実装され得る。その実装形態は、１つまたは複数のセンサーを利用して、ビデオキャプチャデバイスの向きの変化を判断するか、広範なジッタまたは高速パンニングを検出するか、あるいはキャプチャされているビデオに対する中断を引き起こすことがあるイベントをマークし得る。これらのセンサーのうちのいくつかは、たとえば、加速度計、コンパス、カメラ画像センサー、オーディオセンサー、気圧センサー、周辺光センサーなどであり得る。上記で説明したように、カメラ画像センサーは、たとえば、輝度情報など、画像情報を与え得、その情報は、平均フレーム輝度を使用して、シーンの急激な変化がいつ発生するかを判断するために、利用され得る。カメラ画像センサーは、上述のように、たとえば、輝度、ホワイトバランス、自動焦点など、画像情報を与え得る。また、画像情報の急激な変化は、中断、たとえば、フレーム間での平均輝度値の急激な変化を示し得る。
【００４９】
[0053]加速度計は、重力による加速度情報を決定することによって向き情報を検出し得る。多軸加速度計は、初期向きを基準として使用し、初期位置に対する向きの変化の量を決定しる。したがって、デバイスが直立位置から水平位置に移動されるとき、ｚ方向における加速度は負値から０に変化し得、ｙ方向における加速度は０から正値に変化し得、これは、初期の直立位置および後続の水平位置を示し得る。たとえば、加速度計は、いずれかの方向への移動が開始位置に対するベクトルとして示されるように、各フレームについて、あらかじめ定義された軸に対するビデオキャプチャデバイスの位置を示すデータを与え得る（たとえば、ユーザから離れる向きに直立）。たとえば、加速度計は、ｘ、ｙ、およびｚ方向においてｍ／ｓ2で力の量を表す３つの数のベクトルを与え得る。一例では、ビデオキャプチャデバイスが平坦な表面上にある場合、加速度計は、その位置にある間にキャプチャされたフレームについてのベクトル（０，０，９．８）を与え、ｚ方向では重力を示し、ｘ方向またはｙ方向では力がないことを示し得る。
【００５０】
[0054]コンパスは地球の磁極に対する指向性情報を与え得る。たとえば、ユーザが、北を向きながらビデオをキャプチャしており、次いで、東を向くようにビデオキャプチャデバイスを緩やかに方向転換する場合、各キャプチャされたフレームについてのコンパスからの指向性情報は、ある方向から別の方向への緩やかな変化を示し得る。別の例では、コンパスが方向情報を与え、方向が北から東に急激に（すなわち、数フレームにわたって）変化する場合、その変化は中断イベントとして解釈され得、キャプチャされたフレームは、新しい方向にある間、または方向が部分間で急激に変化している限り、除去のためにマークされ得る。一例では、コンパスは、指向性情報を、北方向からの度数の量を示す０から３６０の間の数として与え得、ここで、９０は東を示し、１８０は南を示し、２７０は西を示す。
【００５１】
[0055]オーディオセンサーは、たとえば、ビデオをキャプチャしている間にオーディオ入力を受信するマイクロフォンであり得る。一例では、オーディオセンサーは指向性マイクロフォンであり得、処理技法を使用して、プロセッサ１７２はオーディオ入力に基づいて方向の変化を判断し得る。たとえば、オーディオソースがビデオキャプチャ中にキャプチャされ得、ユーザがビデオキャプチャデバイスの向き（orientation）および／または方向(direction)を変更するにつれて、オーディオソースから受信されたオーディオが、前の受信されたオーディオ信号と比較して分析されて、ビデオキャプチャデバイスの向き（orientation）および／または方向(direction)の変化が判断され得る。
【００５２】
[0056]気圧センサーは、圧力測定値を利用して、高度および高度変化を判断し得る。一例では、フレーム間での高度および高度変化の情報は、ロケーションの変化を判断するために利用され得、その場合、高度の大きい変化は、たとえば、ユーザがビデオキャプチャデバイスを落としたときなど、ロケーションの突然の変化を示し得る。
【００５３】
[0057]周辺光センサーは、周囲環境における周辺光の量を検出し得る。一例では、ビデオキャプチャデバイスの向きの変化が発生したかどうかを判断するために、フレーム間での検出された周辺光の変化が利用され得る。たとえば、検出された周辺光の急激な変化は、たとえば、ユーザがビデオキャプチャデバイスを下向きに配置するかまたはビデオキャプチャデバイスを落としたときなど、ビデオキャプチャデバイスの向きの突然の変化が発生したことを示し得る。一例では、周辺光センサーは、０から１０００にわたってルクスまたはルーメンで照度データを与え得、ここで、０はうす暗い光を示し、１０００は明るい光を示す。
【００５４】
[0058]さらに、ビデオにおける中断を引き起こすことがあるいくつかのイベントの存在を判断するためにビデオ処理技法およびアルゴリズムが使用され得る。識別プロセスの信頼性をさらに増加させるために、１つまたは複数のセンサーおよび／または処理技法が一緒に使用され得る。
【００５５】
[0059]図３Ａ〜図３Ｃは、本開示による、ユーザに提示されるキャプチャされたビデオの例示的なスクリーンを示す図である。この例では、ユーザが、モバイルデバイス３００に組み込まれたビデオキャプチャデバイスを利用し得る。ユーザは、ビデオキャプチャアプリケーションを実行し、シーンを記録し始め得る。ビデオをキャプチャしている間、イベントにより、ユーザは、ビデオキャプチャに対する中断および／またはひずみを引き起こすアクションをとり得、たとえば、ビデオがキャプチャされている間、ビデオキャプチャデバイスを落とすか、またはビデオキャプチャデバイスを下向きに配置し得る。たとえば、ユーザは、ビデオキャプチャデバイスがビデオをキャプチャし続けている間、テーブル上にデバイスを下ろし得るか、またはユーザの手をあちこちに動かし得るか、または通話に応答し得る。本開示の技法を使用して、上記で詳細に説明したように、プロセッサ（図１のプロセッサ６６ならびに図２のプロセッサ１６６および１７２）が、キャプチャされたビデオにおける中断を検出し得る。様々なタイプのセンサーが、画像情報および／またはセンサー情報をプロセッサに与え、キャプチャされたビデオの急激な変化を示すとき、ビデオにおける中断を引き起こすイベントがビデオキャプチャ中に検出され得る。この例では、ユーザは、キャプチャされたビデオにおける検出された中断および／またはひずみ部分を検討することと、検出された部分を削除すべきかどうかに関する決定を行うこととを選択していることがある。
【００５６】
[0060]図１Ａに示すように、モバイルデバイス３００は、キャプチャされたビデオをディスプレイ３８０を介してユーザに表示し、キャプチャされたビデオのフレームをサムネイルのシーケンス３１０として表示し得る。ユーザはサムネイルを選択し得、サムネイルは、シングルフレーム、またはフレームのグループ、たとえば、シーンに対応するキャプチャされたビデオの一部分に対応し得る。次いで、選択されたサムネイルは、ユーザによる閲覧のために表示され得る。ユーザは、任意の順序でサムネイルを閲覧することを選択し、サムネイル３１０をスクロールし、マークされた部分、たとえば、部分３１２、３１４、および３１６のみを閲覧するようにスキップし得る。ユーザがサムネイルを選択したとき、（１つまたは複数の）対応するフレームがディスプレイ３８０上で再生され得る。キャプチャされたビデオを編集モードで表示するときに、ユーザは、キャプチャされたビデオにおける中断および／またはひずみとして検出されていることがある、マークされた部分３１２、３１４、および３１６に関するメッセージ３２０で促され得る。メッセージ３２０は、本開示で説明する技法による、セグメントの各々についてどんな措置をとるべきかを閲覧および判断するようにとの、ユーザへの命令を含み得る。図３Ａの例では、メッセージ３２０は「このクリップにおいて、このフィルムから除去されることをユーザがおそらく望むであろう合計１５秒の３つのセグメントを見つけました。各セグメントの運命を判断するために、各セグメントを選択してクリップを閲覧してください。あるいは、検討なしにそれらを除去することを望む場合は、タイムラインをスワイプ（swipe）してください」を示し得る。ユーザに表示されるメッセージは、検出されたおよびマークされた部分に関してより多いまたはより少ない情報を与え得る。たとえば、メッセージは、異なる編集オプション、たとえば、削除、保持、またはより速い再生速度での再生に関して、さらなる命令をユーザに与え得る。
【００５７】
[0061]ユーザは、キャプチャされたビデオのマークされた部分のうちの１つ、たとえば、部分３１２を選択し得る。図３Ｂに示すように、上記部分のうちの１つを選択すると、ディスプレイ３８０は、開始フレーム３２２および終了フレーム３２４によって画定された、マークされた部分に対応するフレームをユーザに提示し得る。ディスプレイ３８０は、選択された部分をユーザのために再生し、その部分をどう扱うべきかを判断するためのメッセージ３３０を介したオプションでユーザを促し得る。たとえば、メッセージ３３０は、選択されたマークされた部分におけるフレームの数を示し得、特定のフレームを、編集することのために選択するための、またはマークされた部分３１２全体についての編集選択を行うための、オプションをユーザに与え得る。図３Ｂの例では、メッセージ３３０は「このセグメントは「Ｎ」個のフレームを有します。特定のフレームを選択するか、またはセグメント全体に関して選択を行ってください：セグメント全体を除去する、セグメントを速い速度で再生する、セグメントを保持する」を示し得る。一例では、ディスプレイ３８０がタッチスクリーンディスプレイであり得る場合、ユーザは、選択項目上でディスプレイ３８０にタッチすることによってオプションを選択し得る。別の例では、ユーザは、リストされた選択項目に対応するハードまたはソフトキーを使用することによって選択を行い得る。
【００５８】
[0062]ユーザがマークされた部分３１２内の特定のフレームを選択した場合、そのフレームはハイライトされ得、ディスプレイ３８０は、選択されたフレームに関するオプションでユーザを促し得る。図３Ｃに示すように、ユーザは、マークされた部分３１２のフレームからフレーム３２６を選択し得る。フレーム３２６を選択すると、ディスプレイ３８０は、メッセージ３４０を表示し、特定のフレームのための編集オプションを選択するようにユーザに促し得る。さらに、メッセージ３４０は、選択されたフレームがそれらに基づいて除去のためにマークされた、タイムスタンプ、センサー情報（向き、方向など）、フレームの平均輝度、自動ホワイトバランスなど、選択されたフレームに関連する情報を示し得る。図３Ｃの例では、メッセージ３４０は「このフレームは以下に基づいてマークされました：情報１、情報２、．．．、情報Ｍ。選択されたフレームに関して選択を行ってください：フレームを除去する、フレームをより速い速度で再生する、フレームを保持する」を示し得る。情報１、２、．．．、Ｍは、選択されたフレームについてビデオキャプチャ中に取得された情報に対応し、画像センサー情報（たとえば、輝度）および／またはセンサー情報（たとえば、向き、方向）であり得る。
【００５９】
[0063]図４Ａは、本開示の技法を使用したビデオキャプチャおよび表示を示す流れ図である。図４Ａのプロセスは、ビデオシステム、たとえば、図１のビデオキャプチャデバイス６０、または図２のビデオキャプチャデバイス１６０およびモバイルデバイス１００において実行され得る。図４Ａに示すように、ビデオキャプチャデバイスが、ビデオをキャプチャしており、キャプチャされたビデオフレームを受信していることがある（４０２）。ビデオキャプチャデバイスがフレームをキャプチャするとき、画像センサー（たとえば、画像センサー６４）とデバイス中で利用可能な他のセンサー（たとえば、センサーおよびモジュールユニット７０）とから受信されたデータに基づいて、センサー情報および／または画像情報が取得され得る（４０４）。たとえば、ビデオキャプチャデバイス中の画像センサーは、たとえば、画像における輝度レベルなど、画像情報を与え得る。他のセンサーおよびモジュールは、ビデオキャプチャデバイスに関連する動き、向き、および／またはロケーションの情報を判断するために使用され得る、センサー情報を与え得る。センサーは、たとえば、加速度計、コンパス、オーディオセンサーなどであり得る。センサーは、ビデオキャプチャデバイスの一部であるか、またはビデオキャプチャデバイスが組み込まれるデバイスの一部であり、他のアプリケーションによって使用され得る。各フレームについて取得され得る、画像情報および／またはセンサー情報を使用して、プロセッサが、キャプチャされたビデオにおける中断イベントを検出し得る（４０６）。中断イベントは、ビデオキャプチャデバイスのユーザがキャプチャすることを試みているターゲットシーンから、ユーザがキャプチャすることを意図しないことがある非ターゲットシーンへの、遷移を有するキャプチャされたビデオの部分に対応し得る。検出された中断イベントは、キャプチャされたビデオからその後削除される必要があり得るキャプチャされたビデオの考えられる部分としてマークされ得る。
【００６０】
[0064]中断イベントは、画像情報および／またはセンサー情報を使用して検出され得る。たとえば、フレームの平均輝度を判断するために、輝度などの画像情報が利用され得、たとえば、フレーム間での平均輝度の急激なおよび大きい変化があるとき、中断を検出するために、フレーム間での平均輝度の変化が利用され得る。別の例では、フレーム間での方向、向き、および／またはロケーションの急激な変化を判断するために、センサー情報が利用され得る。いくつかの例では、キャプチャされたビデオにおける中断イベントをより効果的に検出するために、画像情報とセンサー情報の組合せが利用され得る。たとえば、フレーム間での平均輝度の急激な変化が中断イベントを示し得、その中断イベントは、さらに、同じ２つのフレーム間での向きの急激な変化で確認され得る。中断イベントの検出については、図４Ｂで一例において以下でより詳細に説明する。
【００６１】
[0065]プロセッサ（たとえば、図１のプロセッサ６６、または図２のプロセッサ１６６および１７２のうちの１つ）は、キャプチャされたビデオの識別された中断イベント／部分に対応するフレームを除去のためにマークし得る（４０８）。そのフレームは、たとえば、ビデオキャプチャデバイスが、その間に、非ターゲットシーンに向けられ、したがって、たとえば、ビデオキャプチャデバイスが下向きに表面上に配置された場合の黒いシーンなど、望ましくないビデオをキャプチャし得る、フレームであり得る。
【００６２】
[0066]システムのセットアップに基づいて、ビデオキャプチャデバイスは、除去のためにマークされたフレームをどう扱うべきかを自動的に判断し得、またはキャプチャされたビデオは、ユーザが除去のためにマークされたフレームをどう扱うべきかを判断するために、表示され得る（４１０）。一例では、システムは、除去のためにマークされたフレームを除去すべきかどうかに関する決定を自動的に解決するように設計され得る。別の例では、ユーザは、システムが除去決定を自動的に解決すべきかどうか、またはユーザがその決定を行うことを可能にされるべきかどうかを選択し得る。
【００６３】
[0067]一例では、システムセットアップが、ビデオキャプチャデバイスがマークされたフレームを除去すべきかどうかを自動的に判断するようなシステムセットアップである場合、プロセッサは、もしあれば、マークされたフレームのうちのどれを除去すべきかを判断し得る（４１２）。一例では、プロセッサは、どのマークされたフレームをも除去し得る。別の例では、プロセッサは、除去のためにマークされたフレームに関連する重大度のレベルを判断し得、その場合、重大度は、たとえば、ターゲットシーンから非ターゲットシーンへの遷移に関連する変化の量、遷移中の（すなわち、キャプチャされたビデオがターゲットシーンに戻る前の）フレームの数、およびフレーム除去におけるユーザの傾向に関連する履歴データなど、いくつかのファクタに基づき得る。これらのファクタのうちの少なくともいくつかに基づいて、プロセッサは、マークされたフレームを除去すること、マークされたフレームをキャプチャされたビデオの再生速度よりも速い再生速度で再生すること、またはマークされたフレームを保持することを判断し得る。
【００６４】
[0068]別の例では、システムセットアップが、ユーザがマークされたフレームを除去すべきかどうかを判断するための選択を行うようなシステムセットアップである場合、プロセッサはキャプチャされたビデオをユーザのために表示し、除去のためにマークされたフレームは、マークされたフレームをどう扱うべきかをユーザがそこから選択するアクションのリストとともに、ユーザに表示され得る（４１４）。キャプチャされたビデオの各部分について、ユーザは、マークされたフレームと、たとえば、フレームを除去する、フレームを保持する、またはフレームをキャプチャされたビデオの再生速度よりも速い再生速度で表示するなど、アクションのリストとで、促され得る。フレームは、上記で説明したように、重大度レベル指示の指示とともに表示され得る。
【００６５】
[0069]プロセッサは、次いで、プロセッサによるおよび／またはユーザ選択による判断に基づいて、除去される必要があるフレームを除去することと、除去される必要がないフレームを保持することと、より速い再生速度のためにマークされたフレームをより速い再生速度で表示することとによって、キャプチャされたビデオを編集し、表示し得る（４１６）。
【００６６】
[0070]図４Ｂは、本開示の技法を使用した中断検出を示す流れ図である。図４Ｂのプロセスは、ビデオシステム、たとえば、図１のビデオキャプチャデバイス６０、または図２のビデオキャプチャデバイス１６０およびモバイルデバイス１００において実行され得る。図４Ｂの例では、画像センサー（たとえば、画像センサー６４）とデバイス中で利用可能な他のセンサー（たとえば、センサーおよびモジュールユニット７０）とから受信されたデータに基づいて、キャプチャされたビデオについて画像情報およびセンサー情報が取得され得る。たとえば、ビデオキャプチャデバイス中の画像センサーは、画像における輝度レベルなど、画像情報を与え得る。他のセンサーおよびモジュールは、動き情報、たとえば、前のフレームに対してあるフレームにおける移動の量を判断するために使用され得る、センサー情報を与え得る。中断イベントは、輝度および／または移動など、画像情報および／またはセンサー情報を使用して検出され得る。プロセッサが画像情報およびセンサー情報を受信し得る（４５０）。この例では、プロセッサは、画像センサーおよび加速度計によって取得された輝度および移動情報を利用し得る。プロセッサは、次いで、前のフレームと比較して、あるフレームの平均輝度の変化の量と向きの変化とを判断し得る（４５２）。向きの変化は、フレーム間での移動の量を示し得る。プロセッサは、次いで、平均輝度の変化の量が平均輝度の変化のしきい値（ｔｈｒｅｓｈｏｌｄ＿ｂｒ）を超えるかどうかを判断し得る（４５４）。平均輝度の変化がしきい値を超えない場合、プロセッサは、キャプチャされたビデオにおける中断が現在フレームにおいて検出されないと判断し（４５６）、次のフレームに進み得る。平均輝度の変化がしきい値を超える場合、プロセッサは、移動の変化の量が移動の変化のしきい値（ｔｈｒｅｓｈｏｌｄ＿ｍｖ）を超えるかどうかを判断し得る（４５８）。平均移動の変化がしきい値を超えない場合、プロセッサは、キャプチャされたビデオにおける中断が起こり得ると判断し得るが、より低い重大度をその中断に割り当てるか、または他のファクタ（たとえば、方向、自動ホワイトバランスなど）をテストし得る（４６０）。平均移動の変化がしきい値を超える場合、プロセッサは、キャプチャされたビデオにおける中断が現在フレームにおいて検出されたと判断し、そのフレームを中断インジケータでマークし得る（４６２）。
【００６７】
[0071]一例では、前のフレームがマークされており、キャプチャされたビデオにおける中断部分の検出が示される場合、検出された中断に対応する後続のフレームは、中断部分の終了フレームとしてマークされ得る。プロセッサは、中断フラグを設定し、再設定し得、そのフラグの値に基づいて、プロセッサは、検出された中断フレームが中断部分の開始フレームであるのか終了フレームであるのかを判断し得る。別の例では、プロセッサは、移動の変化がｔｈｒｅｓｈｏｌｄ＿ｍｖを超えるかどうかを判断し得、平均輝度の変化がｔｈｒｅｓｈｏｌｄ＿ｂｒを超えるかどうかを判断することによって、検出された中断を確認し得る。輝度および移動は、キャプチャされたビデオにおける中断を検出するために使用され得るフレーム情報の１つの組合せであることと、他の例では、検出された中断を確認するために追加のまたは他のセンサー情報が利用され得ることとを理解されたい。
【００６８】
[0072]本開示で説明する技法は、ビデオ符号化デバイスの機能を支援するためのデバイスにおいて利用されるか、または上記デバイスと上記デバイスが使用され得る適用例との要求に応じて別々に利用され得る。一例では、本開示の技法は、ユーザがビデオキャプチャ中にキャプチャされたビデオのいくつかの部分をマークすることを可能にするために、利用され得る。たとえば、ユーザが、ある部分を除去することを希望するが、記録を停止することを希望しない場合、ユーザは、対応する部分がマークされ得るように、ビデオキャプチャ中にコンピューティングデバイスを意図的に振り得、ユーザは、キャプチャされたビデオを手動で探索する必要なしに、その部分を除くように編集し得る。別の例では、ユーザは、ユーザがより容易に見つけることを希望し得る「良い瞬間」をマークするために中断を作成し得る。別の例では、コンピューティングデバイスは、ユーザが、ビデオキャプチャ中にビデオの部分をマークすることと、ビデオ編集および／またはビデオ再生中にユーザがより容易に見つけることを望み得る部分をマークすることとを可能にする、オプションを与え得る。
【００６９】
[0073]本開示で説明する技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。たとえば、説明する技法の様々な態様は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路を含む、１つまたは複数のプロセッサ、ならびにそのような構成要素の任意の組合せ内で実装され得る。「プロセッサ」または「処理回路」という用語は、一般に、単独で、あるいは他の論理回路または任意の他の等価な回路との組合せで、上記の論理回路のいずれかを指すことがある。また、ハードウェアを備える制御ユニットが本開示の技法のうちの１つまたは複数を実行し得る。
【００７０】
[0074]そのようなハードウェア、ソフトウェア、およびファームウェアは、本開示で説明する様々な動作および機能をサポートするために、同じデバイス内で、または別々のデバイス内で実装され得る。さらに、説明するユニット、モジュール、または構成要素のいずれも、個別であるが相互運用可能な論理デバイスとして、一緒に、または別々に実装され得る。モジュールまたはユニットとしての様々な機能の図は、様々な機能的態様を強調するものであり、そのようなモジュールまたはユニットが別々のハードウェアまたはソフトウェア構成要素によって実現されなければならないことを必ずしも暗示するとは限らない。そうではなく、１つまたは複数のモジュールあるいはユニットに関連する機能は、別々のハードウェア、ファームウェア、および／またはソフトウェア構成要素によって実行されるか、あるいは共通または別々のハードウェアもしくはソフトウェア構成要素内に組み込まれることがある。
【００７１】
[0075]また、本開示で説明する技法は、命令を含んでいる、コンピュータ可読記憶媒体などのコンピュータ可読媒体中に実施または符号化され得る。コンピュータ可読媒体中に埋め込まれたまたは符号化された命令は、たとえば、その命令が実行されたとき、１つまたは複数のプログラマブルプロセッサまたは他のプロセッサに方法を実行させ得る。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能なプログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、カセット、磁気メディア、光メディア、または他のコンピュータ可読媒体を含み得る。
【００７２】
[0076]例示的な実装形態では、本開示で説明する技法は、部分的にハードウェア、ファームウェアおよび／またはソフトウェアによって実装されるかどうかにかかわらず、デジタルビデオコーディングハードウェア装置によって実行され得る。
【００７３】
[0077]様々な態様および例について説明した。しかしながら、以下の特許請求の範囲から逸脱することなく本開示の構造または技法に変更を行うことができる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］  ビデオ処理デバイスにおいて、ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を検出することと、
前記検出された遷移に基づいて、前記キャプチャされたビデオの１つまたは複数の部分を、編集することのためにマークすることと、
を備える方法。
［２］  前記マークされた１つまたは複数の部分を自動的に編集することをさらに備える、［１］に記載の方法。
［３］  前記マークされた１つまたは複数の部分を編集するようにユーザに促すことをさらに備える、［１］に記載の方法。
［４］  編集することは、前記マークされた１つまたは複数の部分を削除することと、前記マークされた１つまたは複数の部分を保持することと、前記マークされた１つまたは複数の部分のために、前記キャプチャされたビデオに関連する再生速度よりも速い再生速度を選択することとのうちの１つを備える、［１］に記載の方法。
［５］  １つまたは複数のセンサーによって感知された信号に基づいて前記遷移を検出することをさらに備える、［１］に記載の方法。
［６］  前記１つまたは複数のセンサーは、加速度計と、画像センサーと、オーディオセンサーと、コンパスとのうちの少なくとも１つを備える、［５］に記載の方法。
［７］  前記遷移は、ビデオ処理デバイスの輝度レベルと向きとのうちの少なくとも１つの変化に関連する変化の量を備える、［１］に記載の方法。
［８］  変化の前記量に基づいて前記１つまたは複数のマークされた部分に関連する重大度レベルを判断することと、
前記１つまたは複数のマークされた部分に関連する前記重大度レベルに基づいて前記１つまたは複数のマークされた部分の編集オプションを選択することと、
をさらに備える、［７］に記載の方法。
［９］  前記ビデオ処理デバイスは、ビデオキャプチャデバイス、またはビデオを編集することが可能なコンピューティングデバイスを備える、［１］に記載の方法。
［１０］  ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を検出するビデオ処理デバイスと、
前記検出された遷移に基づいて、前記キャプチャされたビデオの１つまたは複数の部分を、編集することのためにマークする少なくとも１つのプロセッサと、
を備えるデバイス。
［１１］  前記少なくとも１つのプロセッサは、前記マークされた１つまたは複数の部分を自動的に編集するように構成された、［１０］に記載のデバイス。
［１２］  前記少なくとも１つのプロセッサは、前記マークされた１つまたは複数の部分を編集するようにユーザに促すように構成された、［１０］に記載のデバイス。
［１３］  編集することは、前記マークされた１つまたは複数の部分を削除することと、前記マークされた１つまたは複数の部分を保持することと、前記マークされた１つまたは複数の部分のために、前記キャプチャされたビデオに関連する再生速度よりも速い再生速度を選択することとのうちの１つを備える、［１０］に記載のデバイス。
［１４］  信号を感知する１つまたは複数のセンサーをさらに備え、前記プロセッサは、前記感知された信号に基づいて前記遷移を検出する、［１０］に記載のデバイス。
［１５］  前記１つまたは複数のセンサーは、加速度計と、画像センサーと、オーディオセンサーと、コンパスとのうちの少なくとも１つを備える、［１４］に記載のデバイス。
［１６］  前記遷移は、ビデオ処理デバイスの輝度レベルと向きとのうちの少なくとも１つの変化に関連する変化の量を備える、[１０]に記載のデバイス。  
［１７］  変化の前記量に基づいて前記１つまたは複数のマークされた部分に関連する重大度レベルを判断するプロセッサをさらに備え、
前記１つまたは複数のマークされた部分の編集オプションの選択は、前記１つまたは複数のマークされた部分に関連する前記重大度レベルに基づく、［１６］に記載のデバイス。
［１８］  前記ビデオ処理デバイスは、ビデオキャプチャデバイス、またはビデオを編集することが可能なコンピューティングデバイスを備える、［１０］に記載のデバイス。
［１９］  ビデオ処理デバイス中のプログラマブルプロセッサに、
ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を検出することと、
前記検出された遷移に基づいて、前記キャプチャされたビデオの１つまたは複数の部分を、編集することのためにマークすることと、
を行わせるための命令を備えるコンピュータ可読媒体。
［２０］  前記マークされた１つまたは複数の部分を自動的に編集するための命令をさらに備える、［１９］に記載のコンピュータ可読媒体。
［２１］  前記マークされた１つまたは複数の部分を編集するようにユーザに促すための命令をさらに備える、［１９］に記載のコンピュータ可読媒体。
［２２］  編集することは、前記マークされた１つまたは複数の部分を削除することと、前記マークされた１つまたは複数の部分を保持することと、前記マークされた１つまたは複数の部分のために、前記キャプチャされたビデオに関連する再生速度よりも速い再生速度を選択することとのうちの１つを備える、［１９］に記載のコンピュータ可読媒体。
［２３］  １つまたは複数のセンサーによって感知された信号に基づいて前記遷移を検出するための命令をさらに備える、［１９］に記載のコンピュータ可読媒体。
［２４］  前記１つまたは複数のセンサーは、加速度計と、画像センサーと、オーディオセンサーと、コンパスとのうちの少なくとも１つを備える、［２３］に記載のコンピュータ可読媒体。
［２５］  前記遷移は、ビデオ処理デバイスの輝度レベルと向きとのうちの少なくとも１つの変化に関連する変化の量を備える、［１９］に記載のコンピュータ可読媒体。
［２６］  変化の前記量に基づいて前記１つまたは複数のマークされた部分に関連する重大度レベルを判断することと、
前記１つまたは複数のマークされた部分に関連する前記重大度レベルに基づいて前記１つまたは複数のマークされた部分の編集オプションを選択することと、
を行うための命令をさらに備える、［２５］に記載のコンピュータ可読媒体。
［２７］  ビデオ処理デバイスにおいて、ターゲットシーンから非ターゲットシーンへのキャプチャされたビデオの遷移を検出する手段と、
前記検出された遷移に基づいて、前記キャプチャされたビデオの１つまたは複数の部分を、編集することのためにマークする手段と、
を備えるデバイス。
［２８］  前記マークされた１つまたは複数の部分を自動的に編集する手段をさらに備える、［２７］に記載のデバイス。
［２９］  前記マークされた１つまたは複数の部分を編集するようにユーザに促す手段をさらに備える、［２７］に記載のデバイス。
［３０］  編集することは、前記マークされた１つまたは複数の部分を削除することと、前記マークされた１つまたは複数の部分を保持することと、前記マークされた１つまたは複数の部分のために、前記キャプチャされたビデオに関連する再生速度よりも速い再生速度を選択することとのうちの１つを備える、［２７］に記載のデバイス。
［３１］  １つまたは複数のセンサーによって感知された信号に基づいて前記遷移を検出する手段をさらに備える、［２７］に記載のデバイス。
［３２］  前記１つまたは複数のセンサーは、加速度計と、画像センサーと、オーディオセンサーと、コンパスとのうちの少なくとも１つを備える、［３１］に記載のデバイス。
［３３］  前記遷移は、ビデオ処理デバイスの輝度レベルと向きとのうちの少なくとも１つの変化に関連する変化の量を備える、［２７］に記載のデバイス。
［３４］  変化の前記量に基づいて前記１つまたは複数のマークされた部分に関連する重大度レベルを判断する手段と、
前記１つまたは複数のマークされた部分に関連する前記重大度レベルに基づいて前記１つまたは複数のマークされた部分の編集オプションを選択する手段と、
をさらに備える、［３３］に記載のデバイス。
【図１】
0005833137.tif 000002
【図２】
0005833137.tif 000003
【図３Ａ】
0005833137.tif 000004
【図３Ｂ】
0005833137.tif 000005
【図３Ｃ】
0005833137.tif 000006
【図４Ａ】
0005833137.tif 000007
【図４Ｂ】
0005833137.tif 000008