(57)【特許請求の範囲】
【請求項１】
ビデオ符号化方法であって、符号化フレームレートが予め定められた閾値未満に低下した際に、
ビデオ符号化器が、カメラが生成した複数の入力ビデオフレームをバッファリングするステップと、
前記ビデオ符号化器が、バッファリングされた入力フレームの各々に、少なくとも１つのフレーム品質基準に基づいて重みを割り当てるステップと、
前記ビデオ符号化器が、重みが最も大きいフレームを符号化するステップと、
前記ビデオ符号化器が、複数の、より低い重みを有するフレームを符号化することなくバッファから破棄するステップと、を有し、
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々の撮影中に生じるカメラ自動露出設定の変化速度から得られることを特徴とするビデオ符号化方法。
【請求項２】
ビデオ符号化方法であって、符号化フレームレートが予め定められた閾値未満に低下した際に、
ビデオ符号化器が、カメラが生成した複数の入力ビデオフレームをバッファリングするステップと、
前記ビデオ符号化器が、バッファリングされた入力フレームの各々に、フレーム品質基準に基づいて重みを割り当てるステップと、
前記ビデオ符号化器が、重みが最も大きいフレームを符号化するステップと、
前記ビデオ符号化器が、複数の、より低い重みを有するフレームを符号化することなくバッファから破棄するステップと、を有し、
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々と、先行フレームとの間の露出変化から得られることを特徴とするビデオ符号化方法。
【請求項３】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが前記バッファリングされた入力フレームの各々の推定輝度から得られることを特徴とする請求項１記載のビデオ符号化方法。
【請求項４】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々に実行された推定顔検出から得られることを特徴とする請求項１記載のビデオ符号化方法。
【請求項５】
前記複数のフレーム品質基準の少なくとも１つが、入力フレームの各々で検出された顔領域の推定輝度から得られることを特徴とする請求項４記載のビデオ符号化方法。
【請求項６】
前記複数のフレーム品質基準の少なくとも１つが、入力フレームの各々の顔で検出されたアーティファクトから得られることを特徴とする請求項４記載のビデオ符号化方法。
【請求項７】
前記複数のフレーム品質基準の少なくとも１つが、入力フレームの各々で検出された顔の位置から得られることを特徴とする請求項４記載のビデオ符号化方法。
【請求項８】
前記複数のフレーム品質基準の少なくとも１つが、入力フレームの各々で検出された顔に関する信頼度から得られることを特徴とする請求項４記載のビデオ符号化方法。
【請求項９】
前記アーティファクトが検出された笑顔であることを特徴とする請求項６記載のビデオ符号化方法。
【請求項１０】
前記アーティファクトが開いた目の検出であることを特徴とする請求項６記載のビデオ符号化方法。
【請求項１１】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々の推定空間複雑度から得られることを特徴とする請求項１記載のビデオ符号化方法。
【請求項１２】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々の動きの推定から得られることを特徴とする請求項１記載のビデオ符号化方法。
【請求項１３】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、入力フレームの各々に関するジッタの推定から得られることを特徴とする請求項１記載のビデオ符号化方法。
【請求項１４】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、入力フレームの各々と、先に符号化されたフレームの少なくとも１つとの時間的な一貫性の推定から得られることを特徴とする請求項１記載のビデオ符号化方法。
【請求項１５】
ビデオ符号化方法であって、符号化フレームレートが予め定められた閾値未満に低下した際に、
ビデオ符号化器が、カメラが生成した複数の入力ビデオフレームをバッファリングするステップと、
前記ビデオ符号化器が、バッファリングされた入力フレームの各々に、フレーム品質基準に基づいて重みを割り当てるステップと、
前記ビデオ符号化器が、重みが最も大きいフレームを符号化するステップと、
前記ビデオ符号化器が、複数の、より低い重みを有するフレームを符号化することなくバッファから破棄するステップと、を有し、
前記符号化するステップが、前記符号化すべきフレームの画素ブロックの各々について、
前記ビデオ符号化器が、前記符号化すべきフレームの前記画素ブロックの各々と、ローカル保存された複数の参照フレームとの間の動き推定探索を実行するステップと、
前記ビデオ符号化器が、前記探索によって特定された候補参照フレームの各々について、符号化すべき画素ブロックの各々と、前記候補参照フレームのそれぞれからの合致画素ブロックとの類似度を求めるステップと、
前記ビデオ符号化器が、前記類似度を前記候補参照フレームの時間的位置に従ってスケーリングするステップと、
前記ビデオ符号化器が、前記スケーリングされた類似度に基づいて、合致画素ブロックを前記符号化すべき画素ブロックについての予測基準として選択するステップと、
前記ビデオ符号化器が、前記予測基準を参照して前記画素ブロックを符号化するステップとを有することを特徴とする請求項１記載のビデオ符号化方法。
【請求項１６】
ビデオ符号化装置であって、
カメラと、
ビデオ符号化システムとを有し、
前記ビデオ符号化システムが、
前記カメラからのビデオシーケンスの入力フレームを保存するためのバッファと、
前記バッファから選択されたフレームを、時間的予測技術に従って符号化するための符号化エンジンと、
符号化された参照フレームの再構成されたビデオデータを保存するための参照画像キャッシュと、
ビデオ符号化シーケンスの動作を制御するコントローラとを有し、
符号化フレームレートが予め定められた閾値未満に低下した際に、前記ビデオ符号化シーケンスでは、
バッファリングされた入力フレームの各々が少なくとも１つのフレーム品質基準に基づいて重みを割り当てられ、
重みが最も大きなフレームが符号化のために選択され、
複数の、より低い重みを有するフレームが、符号化されることなく前記バッファから破棄され、
前記少なくとも１つのフレーム品質基準が、前記バッファリングされた入力フレームの各々の撮影中に生じるカメラ自動露出設定の変化速度から得られることを特徴とするビデオ符号化装置。
【請求項１７】
ビデオ符号化装置であって、
カメラと、
ビデオ符号化システムとを有し、
前記ビデオ符号化システムが、
前記カメラからのビデオシーケンスの入力フレームを保存するためのバッファと、
前記バッファから選択されたフレームを、時間的予測技術に従って符号化するための符号化エンジンと、
符号化された参照フレームの再構成されたビデオデータを保存するための参照画像キャッシュと、
ビデオ符号化シーケンスの動作を制御するコントローラとを有し、
符号化フレームレートが予め定められた閾値未満に低下した際に、前記ビデオ符号化シーケンスでは、
バッファリングされた入力フレームの各々がフレーム品質基準に基づいて重みを割り当てられ、
重みが最も大きなフレームが符号化のために選択され、
複数の、より低い重みを有するフレームが、符号化されることなく前記バッファから破棄され、
前記ビデオ符号化システムが、バッファリングされたフレームの露出を推定するプリプロセッサを有し、前記フレーム品質基準が、前記バッファリングされた入力フレームの各々と、先行フレームとの間の露出変化から得られることを特徴とするビデオ符号化装置。
【請求項１８】
前記ビデオ符号化システムが、バッファリングされたフレームの輝度を推定するプリプロセッサを有し、前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々の推定輝度から得られることを特徴とする請求項１６記載のビデオ符号化装置。
【請求項１９】
前記ビデオ符号化装置がさらに顔検出器を有し、前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々に実行された推定顔検出から得られることを特徴とする請求項１６記載のビデオ符号化装置。
【請求項２０】
前記ビデオ符号化システムが、バッファリングされたフレームの空間複雑度を推定するプリプロセッサを有し、前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々の推定空間複雑度から得られることを特徴とする請求項１６記載のビデオ符号化装置。
【請求項２１】
前記装置がさらに動きセンサを有し、前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々の動きの推定から得られることを特徴とする請求項１６記載のビデオ符号化装置。
【請求項２２】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、入力フレームの各々に関するジッタの推定から得られることを特徴とする請求項１６記載のビデオ符号化装置。
【請求項２３】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、入力フレームの各々と、先に符号化されたフレームの少なくとも１つとの時間的な一貫性の推定から得られることを特徴とする請求項１６記載のビデオ符号化装置。
【請求項２４】
プログラム命令を格納したコンピュータ読み取り可能な記憶装置であって、前記プログラム命令はプロセッサによって実行された際、前記プロセッサを、
カメラが生成した複数の入力ビデオフレームを前記記憶装置にバッファリングし、
バッファリングされた入力フレームの各々に、少なくとも１つのフレーム品質基準に基づいて重みを割り当て、
重みが最も大きいフレームを符号化し、
複数の、より低い重みを有するフレームを符号化することなく前記記憶装置から破棄する、ように動作させ、
前記少なくとも１つのフレーム品質基準が、前記バッファリングされた入力フレームの各々の撮影中に生じるカメラ自動露出設定の変化速度から得られることを特徴とするコンピュータ読み取り可能な記憶装置。
【請求項２５】
プログラム命令を格納したコンピュータ読み取り可能な記憶装置であって、前記プログラム命令はプロセッサによって実行された際、前記プロセッサを、
カメラが生成した複数の入力ビデオフレームを前記記憶装置にバッファリングし、
バッファリングされた入力フレームの各々に、フレーム品質基準に基づいて重みを割り当て、
重みが最も大きいフレームを符号化し、
複数の、より低い重みを有するフレームを符号化することなく前記記憶装置から破棄する、ように動作させ、
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々と、先行するフレームとの間の露出変化から得られることを特徴とするコンピュータ読み取り可能な記憶装置。
【請求項２６】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々の推定輝度から得られることを特徴とする請求項２４記載のコンピュータ読み取り可能な記憶装置。
【請求項２７】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々に実行された推定顔検出から得られることを特徴とする請求項２４記載のコンピュータ読み取り可能な記憶装置。
【請求項２８】
前記複数のフレーム品質基準の１つが、入力フレームの各々で検出された顔領域の推定輝度から得られることを特徴とする請求項２７記載のコンピュータ読み取り可能な記憶装置。
【請求項２９】
前記複数のフレーム品質基準の１つが、入力フレームの各々の顔で検出されたアーティファクトから得られることを特徴とする請求項２７記載のコンピュータ読み取り可能な記憶装置。
【請求項３０】
前記複数のフレーム品質基準の１つが、入力フレームの各々で検出された顔の位置から得られることを特徴とする請求項２７記載のコンピュータ読み取り可能な記憶装置。
【請求項３１】
前記複数のフレーム品質基準の１つが、入力フレームの各々で検出された顔に関する信頼度から得られることを特徴とする請求項２７記載のコンピュータ読み取り可能な記憶装置。
【請求項３２】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々の推定空間複雑度から得られることを特徴とする請求項２４記載のコンピュータ読み取り可能な記憶装置。
【請求項３３】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、前記バッファリングされた入力フレームの各々の動きの推定から得られることを特徴とする請求項２４記載のコンピュータ読み取り可能な記憶装置。
【請求項３４】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、入力フレームの各々に関するジッタの推定から得られることを特徴とする請求項２４記載のコンピュータ読み取り可能な記憶装置。
【請求項３５】
前記少なくとも１つのフレーム品質基準が複数のフレーム品質基準を含み、該複数のフレーム品質基準の１つが、入力フレームの各々と、先に符号化されたフレームの少なくとも１つとの時間的な一貫性の推定から得られることを特徴とする請求項２４記載のコンピュータ読み取り可能な記憶装置。
【請求項３６】
プログラム命令を格納したコンピュータ読み取り可能な記憶装置であって、前記プログラム命令はプロセッサによって実行された際、前記プロセッサを、
カメラが生成した複数の入力ビデオフレームを前記記憶装置にバッファリングし、
バッファリングされた入力フレームの各々に、少なくとも１つのフレーム品質基準に基づいて重みを割り当て、
重みが最も大きいフレームを符号化し、
複数の、より低い重みを有するフレームを符号化することなく前記記憶装置から破棄する、ように動作させ、
前記プロセッサによる符号化が、
前記符号化すべきフレームの画素ブロックの各々と、ローカル保存された複数の参照フレームとの間の動き推定探索を実行し、
前記探索によって特定された候補参照フレームの各々について、符号化すべき画素ブロックの各々と、前記候補参照フレームのそれぞれからの合致画素ブロックとの類似度を求め、
前記類似度を前記候補参照フレームの時間的位置に従ってスケーリングし、
前記スケーリングされた類似度に基づいて、合致画素ブロックを前記符号化すべき画素ブロックについての予測基準として選択し、
前記予測基準を参照して前記画素ブロックを符号化することにより、前記フレームの画素ブロックの各々を符号化することを含むことを特徴とする記憶装置。
【請求項３７】
ビデオ符号化方法であって、符号化フレームレートが予め定められた閾値未満に低下した際に、
ビデオ符号化器が、符号化用の入力フレームを選択するステップと、
前記入力フレームの画素ブロックの各々に対し、
前記ビデオ符号化器が、前記画素ブロックの各々と、ローカル保存された複数の参照フレームとの間の動き推定探索を実行するステップと、
前記ビデオ符号化器が、前記探索によって特定された候補参照フレームの各々について、前記画素ブロックの各々と、前記候補参照フレームの各々からの合致画素ブロックとの類似度を求めるステップと、
前記ビデオ符号化器が、前記類似度を前記候補参照フレームの時間的位置に従ってスケーリングするステップと、
前記ビデオ符号化器が、前記スケーリングされた類似度に基づいて、合致画素ブロックを前記画素ブロックについての予測基準として選択するステップと、
前記ビデオ符号化器が、前記予測基準を参照して前記画素ブロックを符号化するステップと、を有することを特徴とするビデオ符号化方法。
【請求項３８】
前記スケーリングが、バッファリングされた参照フレームの各々について、前記入力フレームと前記バッファリングされた参照フレームとの時間的距離が増加するにつれて減少するスケーリング関数に従って行われることを特徴とする請求項３７記載のビデオ符号化方法。
【請求項３９】
前記選択するステップが、
前記ビデオ符号化器が、バッファリングされた複数の入力フレームの各々に、フレーム品質基準に基づいて重みを割り当てるステップと、
前記ビデオ符号化器が、重みが最も大きい入力フレームを符号化のために選択するステップと、を有することを特徴とする請求項３７記載のビデオ符号化方法。
【請求項４０】
前記ビデオ符号化器が、他の、より低い重みを有する入力フレームを符号化することなく前記バッファから破棄するステップをさらに有することを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４１】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々の撮影中に生じるカメラ自動露出設定の変化速度から得られることを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４２】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々と、先行フレームとの間の露出変化から得られることを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４３】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々の推定輝度から得られることを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４４】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々に実行された推定顔検出から得られることを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４５】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々の推定空間複雑度から得られることを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４６】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々の動きの推定から得られることを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４７】
前記フレーム品質基準が、入力フレームの各々に関するジッタの推定から得られることを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４８】
前記フレーム品質基準が、入力フレームの各々と、先に符号化されたフレームの少なくとも１つとの時間的な一貫性の推定から得られることを特徴とする請求項３９記載のビデオ符号化方法。
【請求項４９】
ビデオ符号化装置であって、
カメラと、
ビデオ符号化システムとを有し、
前記ビデオ符号化システムが、
前記カメラからのビデオシーケンスの入力フレームを保存するためのバッファと、
前記バッファから選択されたフレームを、時間的予測技術に従って符号化するための符号化エンジンと、
符号化された参照フレームの再構成されたビデオデータを保存するための参照画像キャッシュと、
ビデオ符号化シーケンスの動作を制御するコントローラであって、前記コントローラは符号化フレームレートが予め定められた閾値未満に低下した際に、前記ビデオ符号化シーケンスを、
ビデオ符号化器が、符号化用の入力フレームを選択し、
前記入力フレームの画素ブロックの各々に対し、
前記ビデオ符号化器が、前記画素ブロックの各々と、ローカル保存された複数の参照フレームとの間の動き推定探索を実行し、
前記ビデオ符号化器が、前記探索によって特定された候補参照フレームの各々について、前記画素ブロックの各々と、前記候補参照フレームの各々からの合致画素ブロックとの類似度を求め、
前記ビデオ符号化器が、前記類似度を前記候補参照フレームの時間的位置に従ってスケーリングし、
前記ビデオ符号化器が、前記スケーリングされた類似度に基づいて、合致画素ブロックを前記画素ブロックについての予測基準として選択し、
前記ビデオ符号化器が、前記予測基準を参照して前記画素ブロックを符号化する、
ように制御することを特徴とするビデオ符号化装置。
【請求項５０】
前記スケーリングが、バッファリングされた参照フレームの各々について、前記入力フレームと前記バッファリングされた参照フレームとの時間的距離が増加するにつれて減少するスケーリング関数に従って行われることを特徴とする請求項４９記載のビデオ符号化装置。
【請求項５１】
前記選択が、
前記ビデオ符号化器が、バッファリングされた複数の入力フレームの各々に、フレーム品質基準に基づいて重みを割り当てることと、
前記ビデオ符号化器が、重みが最も大きい入力フレームを符号化のために選択することと、を有することを特徴とする請求項４９記載のビデオ符号化装置。
【請求項５２】
前記コントローラは前記ビデオ符号化シーケンスの動作を、
前記ビデオ符号化器が、他の、より低い重みを有する入力フレームを符号化することなく前記バッファから破棄するように制御することを特徴とする請求項５１記載のビデオ符号化装置。
【請求項５３】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々の撮影中に生じるカメラ自動露出設定の変化速度から得られることを特徴とする請求項５１記載のビデオ符号化装置。
【請求項５４】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々と、先行フレームとの間の露出変化から得られることを特徴とする請求項５１記載のビデオ符号化装置。
【請求項５５】
プログラム命令を格納したコンピュータ読み取り可能な記憶装置であって、前記プログラム命令はプロセッサによって実行された際、前記プロセッサを、
ビデオ符号化器が、符号化用の入力フレームを選択し、
前記入力フレームの画素ブロックの各々に対し、
前記ビデオ符号化器が、前記画素ブロックの各々と、ローカル保存された複数の参照フレームとの間の動き推定探索を実行し、
前記ビデオ符号化器が、前記探索によって特定された候補参照フレームの各々について、前記画素ブロックの各々と、前記候補参照フレームの各々からの合致画素ブロックとの類似度を求め、
前記ビデオ符号化器が、前記類似度を前記候補参照フレームの時間的位置に従ってスケーリングし、
前記ビデオ符号化器が、前記スケーリングされた類似度に基づいて、合致画素ブロックを前記画素ブロックについての予測基準として選択し、
前記ビデオ符号化器が、前記予測基準を参照して前記画素ブロックを符号化する、
ように動作させることを特徴とするコンピュータ読み取り可能な記憶装置。
【請求項５６】
前記スケーリングが、バッファリングされた参照フレームの各々について、前記入力フレームと前記バッファリングされた参照フレームとの時間的距離が増加するにつれて減少するスケーリング関数に従って行われることを特徴とする請求項５５記載のコンピュータ読み取り可能な記憶装置。
【請求項５７】
前記選択が、
前記ビデオ符号化器が、バッファリングされた複数の入力フレームの各々に、フレーム品質基準に基づいて重みを割り当てることと、
前記ビデオ符号化器が、重みが最も大きい入力フレームを符号化のために選択することと、を有することを特徴とする請求項５５記載のコンピュータ読み取り可能な記憶装置。
【請求項５８】
前記命令は前記プロセッサを、
前記ビデオ符号化器が、他の、より低い重みを有する入力フレームを符号化することなく前記バッファから破棄するように動作させることを特徴とする請求項５７記載のコンピュータ読み取り可能な記憶装置。
【請求項５９】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々の撮影中に生じるカメラ自動露出設定の変化速度から得られることを特徴とする請求項５７記載のコンピュータ読み取り可能な記憶装置。
【請求項６０】
前記フレーム品質基準が、前記バッファリングされた入力フレームの各々と、先行フレームとの間の露出変化から得られることを特徴とする請求項５７記載のコンピュータ読み取り可能な記憶装置。
【発明の詳細な説明】
【背景技術】
【０００１】
関連出願との相互参照
本願は2011年7月1日に出願された米国仮出願第61/503,795号、「類似度、視覚的品質、および関心に基づくフレーム符号化選択」の優先権による利益を享受するものである。この仮出願の全体を参照により本明細書に組み込む。
【０００２】
背景技術
本発明の見地は概してビデオ処理に関し、特には予測ビデオ符号化システムに関する。
【０００３】
ビデオ表示システムは、１０フレーム／秒(fps)以上のレートで複数の画像が表示された際に、動画像(moving video)という知覚を感じさせる。ビデオ符号化システムは、ビデオシーケンスを符号化し、それを帯域幅が限られたチャネル上で送信することにより、動きを伝達しようとする。多くのシステムにおいてチャネル帯域幅は変化しうるが、その通知はない。ビデオ符号化システムはチャネルが提供する帯域幅に符号化ビデオデータを適合させるため、ビデオシーケンスのパラメータ（量子化パラメータ、符号化モード、フレームサイズおよびフレームレート）を動的に変更する。ビデオ符号化プロトコルは不可逆(lossy)プロセスであり、そのため一部の符号化パラメータは復号されたビデオの知覚品質を低下させうる。
【０００４】
しかし、場合によっては、符号化器が復号したビデオがもはや「動」画像として知覚できないほどのレベルにフレームレートを落とさなければならないほど帯域幅の制限が厳しくなる。例えば１〜３fpsでは、復号されたビデオは動画というより（スライドショー効果のような）一連の静止画として知覚されるであろう。消費者は、ブレた画像、露出不足な画像など、見栄えの悪い画像が端末で長期間表示された場合、符号化されたシーケンスの品質を特に悪いと感じるであろう。そのため、発明者は、帯域幅の制限が厳しい間、符号化のために高品質な画像を選択する符号化制御手法が本技術分野において必要であることに気付いた。
【図面の簡単な説明】
【０００５】
【図１】（ａ）は本発明の一実施形態に係るビデオ符号化システムの単純化したブロック図、（ｂ）は本発明の一実施形態に係る端末の構成要素を示す単純化したブロック図である。
【図２】（ａ）および（ｂ）は本発明の一実施形態に係る、一時的データに基づいてビデオ符号化器が参照フレームを選択する符号化動作を示す図である。
【図３】本発明の一実施形態に係る、自動露出データに基づいて参照フレームを選択する方法を示す単純化したフローチャートである。
【図４】（ａ）および（ｂ）は、本発明の一実施形態に係る、空間複雑度データに基づいて参照フレームを選択する方法を示す図である。
【図５】本発明の一実施形態に係る、動きデータに基づいて参照フレームを選択する方法を示す単純化したフローチャートである。
【図６】本発明の一実施形態に係る、視覚的な関心指標に基づいて参照フレームを選択する方法を示す単純化したフローチャートである。
【図７】本発明の一実施形態に係る、ビデオ符号化器がスライドショーモードにある際の方法を示す単純化したフローチャートである。
【発明を実施するための形態】
【０００６】
本発明の実施形態は、符号化ビデオのフレームレートが動画としての知覚が失われるような低レベルに低下した場合を判定するための技術および、そのようなフレームレートが使用される際に、ビデオシーケンスから視覚的訴求力が高くかつ高品質で符号化可能なフレームを選択するための技術を提供する。このようなフレームは符号化のために、訴求力および／または品質が低い他のフレームよりも選択される。
【０００７】
図１（ａ）は本発明の一実施形態に係るビデオ符号化システム１００を示す単純化したブロック図である。図示の通り、システム１００はネットワーク１３０を介して相互接続された複数の端末１１０，１２０を含んでよい。端末１１０，１２０はそれぞれ、自身が存在する場所(local location)でビデオデータを取得し、他の端末へネットワーク１３０を介して送信するためにビデオデータを符号化することができる。各端末１１０，１２０は他の端末の符号化ビデオデータをネットワーク１３０から受信し、符号化データを再構成し、そこから復元されたビデオデータを表示してよい。
【０００８】
図１（ａ）では端末１１０，１２０はスマートフォンとして図示されているが、本発明の本質はそれに限定されない。本発明の実施形態はパーソナルコンピュータ（デスクトップおよびラップトップコンピュータの両方）、タブレットコンピュータ、コンピュータサーバ、メディアプレーヤおよび／または専用ビデオ会議機器を用いて実施することができる。
【０００９】
ネットワーク１３０は符号化ビデオデータを端末１１０，１２０間で搬送する、例えば有線および／または無線通信ネットワークを含む任意数のネットワークを表す。通信ネットワーク１３０は回線交換型またはパケット交換型チャネルでデータを交換してよい。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットが含まれる。特にそういった記載が無い限り、ここで考察を行う上では、本発明の動作はネットワーク１３０のアーキテクチャおよびトポロジーに依存しない。
【００１０】
図１（ｂ）は本発明の一実施形態に係る端末１１０の構成要素を示す単純化したブロック図である。端末１１０はビデオ符号化器１４０、カメラ１５０、動きセンサ１６０、および顔検出器１７０を含んでよい。カメラ１５０は端末１１０で画像を撮影してよい。カメラ１５０は自動露出制御１５５（図１（ｂ）には別個に示している）を含む様々な制御要素を含んでよい。ビデオ符号化器１４０はカメラ１５０から入力されるビデオデータを圧縮するために符号化処理を実行してよい。ジャイロスコープや加速度計といった動きセンサ１６０は、端末１１０の動きを検出してよい。顔検出器１７０はカメラ１５０が出力するフレームを解析してよく、フレーム中に人間の顔が見えるかどうかを判定する。
【００１１】
図１（ｂ）に示すようにビデオ符号化器１４０は、フレームバッファ１４１、プリプロセッサ１４２、符号化エンジン１４３、参照画像キャッシュ１４４、送信器１４５およびコントローラ１４６を含むいくつかの機能モジュールを含んでよい。フレームバッファ１４１はカメラ１５０から出力されるフレームを符号化される前に保存してよい。これらのフレームは、利用可能なビットレートを含む、ビデオ符号化器１４０が動作上従わねばならない符号化制約にビデオシーケンスのフレームレートを合わせるための様々なモードにおいて、バッファ１４１から破棄されうる。
【００１２】
プリプロセッサ１４２はバッファ１４１に保存されているビデオデータに対して様々な解析的な動作および信号調整動作を実行してよい。例えば、プリプロセッサ１４２は、符号化エンジン１４３が適用する符号化動作の効率を向上させるため、フレームデータに様々なフィルタリング動作を適用してよい。符号化エンジン１４３は、ビデオデータの時間的および空間的冗長性を用いて、入力ビデオデータを符号化してよい。典型的には、符号化エンジン１４３は動き補償予測符号化を用いて入力ビデオデータを符号化する。動き補償予測符号化は、入力フレームについて良好な予測基準を提供するデータを見出すための、参照画像キャッシュ１４４の全体を対象とした探索を伴う。参照画像キャッシュ１４４は再構成された参照フレームデータを保存してよい。符号化エンジン１４３はその動作の一部として、所定のフレームをその後受信するビデオデータに対する予測基準として機能することのできる「参照フレーム」に指定してよい。符号化エンジン１４３はまた、参照フレームの符号化データを復号し、再構成データを参照画像キャッシュ１４４に保存する（不図示の）機能を含んでよい。送信器１４５は符号化エンジン１４３からの符号化ビデオデータをバッファしてよく、またチャンネル１３１を通じて端末１２０へ送信するためのデータを準備してもよい。コントローラ１４６はビデオ符号化器１４０の動作を管理してよい。
【００１３】
動きセンサ１６０はビデオ撮影の間の端末１１０の動きを検出してよい。動きセンサ１６０は加速度計、ジャイロスコープまたは同様のセンサとして実施されてよい。
【００１４】
顔検出器１７０はその名称が暗示するように、ビデオ内容を解析し、ビデオ内で人間の顔が検出できるかどうかを判定する機能ユニットである。顔検出器は一般に各フレーム内で検出された（１つ以上の）顔の座標を表すデータと、おそらくは、顔検出が正しいことの推定確率を表す信頼度(confidence score)を出力する。
【００１５】
顔検出器１７０はまた、例えば、顔が笑っているかどうか、目が開いていると検出されたかどうかなどの、検出された顔の特徴を特定するメタデータを出力してよい。
【００１６】
端末１２０は端末１１０によって実行された処理動作を逆転させる機能ブロック（不図示）を含むことができる。従って、端末１２０はチャネルから符号化データを受信するための受信器と、ビデオ符号化器によって実行された符号化動作を逆転するための復号器を有してよい。復号器は表示もしくは端末１２０の表示装置に適した復元ビデオを生成してよい。
【００１７】
双方向通信をサポートするため、端末１２０は、カメラ、ビデオ符号化器１４０、動きセンサ１６０および顔検出器１７０に対応する自分の機能ブロックを含んでよい。そのような実施形態において、端末１２０は、自身が存在する環境のビデオを撮影し、それを符号化して端末１１０に配信してよい。端末１１０は端末１２０によって送信された符号化ビデオからビデオを復元するために、自身の受信器および復号器を含んでよい。ここでも、これら機能ユニットは単に便宜上図示されていない。
【００１８】
本発明の一実施形態において、ビデオ符号化器による予測基準の探索は、符号化されているフレームと時間的に最も近い（１つ以上の）参照フレームを重視する。図２（ａ）および（ｂ）は本発明の一実施形態に係る、時間的(temporal)データに基づいてビデオ符号化器が参照フレームを選択する符号化動作を示している。
【００１９】
図２（ａ）は、ビデオ符号化器が参照画像キャッシュにＮの参照フレーム２０１〜２１０を保存する符号化動作を示している。これらの参照フレームはビデオ符号化器に入力されつつある新たなフレーム２２０に対する予測基準として利用可能である。予測基準は画素ブロック単位で割り当てられてよい。すなわち、入力フレームは複数の画素ブロックに分割されてよく、その後各画素ブロックは、入力フレームからの画素ブロックと合致する１つ以上の参照フレーム画素ブロックを特定するために各参照フレームで同じ位置に存在するデータと比較されてよい。動き推定探索は合致予測基準を見つけるために各画素ブロックの空間領域の至る所を探索する。ビデオ符号化器は入力画素ブロックを参照フレームのそれぞれと比較するので、入力画素ブロックと対応する参照フレームとの間の合致品質を表す類似度を求めることができる。
【００２０】
図２（ｂ）は予測基準探索から求められる類似度に適用することのできる例示的な重み関数２３０，２４０を示している。重み関数２３０は入力フレーム２２０と時間的に最も近い参照フレーム２０１に対する最大値から、入力フレームから時間的に最も遠い参照フレーム２１０に対する最小値まで線形に遷移する線形関数である。重み関数２４０は入力フレーム２２０と時間的に最も近い参照フレーム２０１に対する最大値と、入力フレームから時間的に最も遠い参照フレーム２１０に対する最小値とを有する複数の離散値の中で遷移する階段状関数である。他の実施形態において、重み関数２５０は、入力参照フレームから所定量を超えて時間的に遠い参照フレームに対してゼロが設定されてよい。図２（ｂ）に示した重み関数は単なる例示である。本発明は（指数的に減少する関数、漸近的に減少する関数など）、望まれるだけの任意数の重み関数を提供可能である。
【００２１】
動作中、予測基準探索中に得られる類似度を、それぞれの参照フレームに関する重み関数によってスケーリングしてもよい。例えば、重み関数２３０を用いると、入力画素ブロックの類似度が参照フレーム２０２と参照フレーム２０８とで同じであれば、参照フレーム２０２に適用される重みの方が大きいことによって参照フレーム２０８より参照フレーム２０２が優先的に選択されるようにするであろう。しかし、重みを適用してもなお参照フレーム２０８との類似度が参照フレーム２０２との類似度よりも高い場合、参照フレーム２０８が入力画素ブロックに関する予測基準として選択されてよい。
【００２２】
動作中、類似度はフレーム差分、つまり入力画素ブロックと同じ位置にある参照フレームのデータとの差を求めることによって生成されてよい。あるいは、類似度は動き推定探索や顔検出からの顔検出位置によって生成することもできる。
【００２３】
符号化されているフレームと時間的により近い参照フレームを重視することにより、入力フレームが符号化される際のエントロピーの削減、ひいては符号化フレームが復号器で再構成された際の視覚的品質の向上に寄与することが期待される。
【００２４】
別の実施形態では、復号器におけるビデオ再構成および再生時のジッターを削減するため、符号化すべき入力フレームの選択が実行されてよい。スライドショーモードはフレームレートを動画としての知覚が失われるレベルまで低下させがちであるが、再構成画像におけるジッタを最小化できれば、その知覚品質は維持されるであろう。ビデオ符号化器はバッファリングされたフレームの各々に関するジッタ量を推定し、推定ジッタに基づいてフレームに重みを割り当てる事ができる。
【００２５】
ビデオ符号化器は符号化すべきフレームを、良好な画質を有するものとしてフレームを区別する基準(metrics)に基づいて選択してよい。図３は本発明の一実施形態に係る、自動露出データに基づいて参照フレームを選択する方法３００を示す単純化したフローチャートである。図３において、ビデオ符号化器はそのような基準として自動露出(AE)制御を用いてよい。多くのカメラシステムはカメラ内の露出設定をビデオシーケンス内の変化する明るさに応じて動的に調整するアルゴリズムを採用している。
【００２６】
ブロック３１０で、方法３００は符号化候補である入力フレームに対するＡＥ設定を読み取ってよい。そしてブロック３２０で、方法３００は入力フレームがカメラに撮影された時点からＡＥ設定が変化しているか否かを判定してよい。ＡＥ設定が変化していなければ、ブロック３３０で方法３００はその入力フレームに与える重みを増加させてよい。ＡＥ設定が変化していれば、ブロック３４０で方法３００はその入力フレームに与える重みを減少させてよい。
【００２７】
典型的には、カメラはビデオシーケンス内の明るさ(brightness)の変化に応じて自身のＡＥ設定を変更する。ＡＥ設定が変化している状態で撮影されたフレームは、露出過多もしくは露出不足であるから、その画質は良くないであろう。対照的に、ＡＥ設定が安定している状態で撮影されたフレームは、カメラが撮影された画像の輝度に適したＡＥ設定を用いて動作しているから、良好な画質を有するであろう。
【００２８】
別の実施形態において、方法は過去に符号化されたフレームと、バッファリングされ、符号化に利用可能な入力フレームとの露出の差を調べてもよい。バッファリングされたフレームのうち、過去に符号化されたフレームと似た露出設定を有するものには、異なる露出設定を有するものよりも大きな重みが割り当てられてよい。
【００２９】
さらに別の実施形態において、方法はバッファリングされたフレームの各々の輝度(luminance)を推定してよく、フレーム内で顔が検出されていれば、顔の輝度を推定してよい。方法は、顔が検出され、かつ顔の露出が適切である(well-exposed)と判定されるフレームの重みを増加させてよい。方法は、顔が検出されているが、露出不足又は露出過多と判定されるフレームの重みを減少させてよい。
【００３０】
図４（ａ）および（ｂ）は、本発明の一実施形態に係る、空間複雑度データに基づいて参照フレームを選択する方法を示す図である。図４（ａ）は、空間複雑度データに基づいて参照フレームを選択するための方法４００を示すフローチャートである。具体的には、ビデオ符号化器は空間複雑度を、どの（１以上の）符号化候補フレームが良好な画質を有するかを特定するための基準として用いてよい。ビデオ符号化器は前処理(pre-processing)アルゴリズムを用いて空間複雑度を推定してよい。
【００３１】
ブロック４１０で、方法４００は符号化候補である入力フレームに対する推定複雑度を読み取ってよい。そして、ブロック４２０で、方法４００は推定複雑度を閾値と比較してよい。複雑度データが閾値を超えていれば、ブロック４３０で方法４００はその入力フレームに与える重みを増加させてよい。複雑度データが閾値を超えていなければ、ブロック４４０で方法４００はその入力フレームに与える重みを減少させてよい。
【００３２】
空間複雑度を求める方法はどのようなものであってもよい。プリプロセッサは、候補フレーム内のエッジ数を特定するために、エッジ検出を実行してよい。プリプロセッサは（単独もしくは符号化エンジンと協力して）画像データの周波数変換−例えば離散コサイン変換またはウェーブレット変換−を実行し、変換されたデータ内の高周波成分の相対強度を求めてよい。このような基準から、図４（ａ）の動作を実行してよい。
【００３３】
ある実施形態において、入力フレームに関する空間複雑度データは相対ベース(relative basis)で求められてよい（ブロック４１０）。具体的には、候補入力フレームに関する空間複雑度データは、過去に選択された入力フレームの空間複雑度データに対して求められ、比較されてよい。そして、得られた差分(delta)は、入力フレームの重みを増加すべきか減少すべきか（ブロック４３０および４４０）を決定するために閾値と比較される（ブロック４２０）。
【００３４】
図４（ｂ）は本発明の実施形態に係る様々な重み関数を示している。一般的に、空間複雑度の高い画像は、復号器において十分な画像忠実度を有するように復元できれば、高画質を有するように知覚される。しかし、利用可能なビットレートが符号化器がスライドショーモードを用いるような低レベルまで落ちる場合は特に、複雑な画像についての高画質を保持することはビデオ符号化システムにとって困難となりうる。従って、一実施形態ではグラフ４５０に示すように、重み関数が複雑度の高いフレームに大きな重みを割り当ててよい。別の実施形態ではグラフ４６０に示すように、別の重み関数が複雑度が中程度のフレームに大きな重みを割り当ててよい。
【００３５】
さらなる実施形態において、方法４００は複雑度を、異なる複雑度を表す複数の異なる閾値と比較し、これらの比較に応じて異なる重みを割り当ててもよい。そのような閾値は例えば、図４（ｂ）のグラフ４５０，４６０において異なる段階間の境界に対応するものであってよい。一部の複雑度値は所定の入力フレームを符号化候補として不的確としうる。
【００３６】
図５は本発明の一実施形態に係る、動きデータに基づいて参照フレームを選択する方法５００を示す単純化したフローチャートである。具体的には、ビデオ符号化器は動きデータを、どの（１以上の）符号化候補フレームが良好な画質を有するかを特定するための基準として用いてよい。ビデオ符号化器はプリプロセッサを介してビデオシーケンスから動きデータを得てもよいし、そのようなデータをカメラと接続された動きセンサから受信してもよい。
【００３７】
ブロック５１０で、方法５００は符号化候補である入力フレームに関する動きデータを読み取ってよい。そして、ブロック５２０で、方法５００は動きを閾値と比較してよい。動きデータが閾値を超えていれば、ブロック５３０で方法５００はその入力フレームに与える重みを減少させてよい。動きデータが閾値を超えていなければ、ブロック５４０で方法５００はその入力フレームに与える重みを増加させてよい。
【００３８】
ある実施形態において、入力フレームに関する動きデータは相対ベース(relative basis)で求められてよい（ブロック５１０）。具体的には、候補入力フレームに関する動きデータは、過去に選択された入力フレームの動きデータに対して求められ、比較されてよい。そして、得られた差分(delta)は、入力フレームの重みを増加すべきか減少すべきか（ブロック５４０および５３０）を決定するために閾値と比較される（ブロック５２０）。
【００３９】
上述したように、動きデータはビデオ符号化器内の前処理アルゴリズムによって生成されてよい。そのようなアルゴリズムは一般に、より大きなビデオシーケンス内のあるフレームの全体的な動き(global motion)を、含まれる画像コンテンツの動き推定によって推定する。あるいは、例えばカメラ１５０（図１）を内蔵する端末１１０（図１）内のジャイロスコープや加速度計によって提供される動きセンサデータが、そのような動きデータを提供してもよい。
【００４０】
別の実施形態において、顔検出器１７０（図１）が出力するデータから動きデータを得てもよい。顔検出器は一般に、ビデオシーケンス内で顔が検出された場合、その座標を表すデータを提供する。一実施形態において、方法はフレームごとの座標データから顔の速度を算出してよく、この算出された速度に基づいて個々のフレームに重みを割り当ててよい。
【００４１】
一般に、動いているカメラで撮影された画像は被写体ぶれ(motion blur)やローリングシャッターアーチファクトといった、知覚画質を悪化させるアーチファクトを呈する可能性が高い。そのため、重み関数は動きの少ないフレームにはよい大きい重みを割り当て、中程度から大きな動きを有するフレームにはより小さな重みを割り当ててよい。
【００４２】
図６は本発明の一実施形態に係る、視覚的な関心指標に基づいて参照フレームを選択する方法６００を示す単純化したフローチャートである。具体的には、ビデオ符号化器は視覚的な関心指標を、どの（１以上の）符号化候補フレームが良好な画質を有するかを特定するための基準として用いてよい。顔検出アルゴリズムは、名称が暗示するように、ビデオシーケンスのフレームをスキャンし、人間の顔が視野内に存在するかどうかを判定する処理を実行する。顔検出器が画像内で顔を特定した場合、検出器はその顔の位置および／または大きさを特定するデータと、例えば目が開いているか閉じているかや、顔が笑っているかどうかを示す補助データを出力するであろう。ビデオ符号化器はこれらの指標(indicator)を、視覚的に興味のあるフレームを符号化のために選択するために用いてよい。
【００４３】
ブロック６１０で方法６００は、入力フレームに関する顔検出器データを読み取ってよい。そしてブロック６２０で方法６００は、入力フレームの視野内に顔が検出されているか否かを判定してよい。顔が検出されていれば、ブロック６３０で方法６００はその入力フレームに関する重みを増加させてよい。顔が検出されていなければ、ブロック６４０で方法６００はその入力フレームに関する重みを減少させてよい。この結果、方法６００は視覚的に興味を引く程度の高いフレームを符号化において強調することができる。
【００４４】
必要に応じ、ブロック６５０で、顔が検出されたフレームについて、方法６００をさらに継続して、検出された顔が笑って見えるかどうかを判定してもよい。もし顔が笑って見えると判定されれば、ブロック６６０で方法６００はその入力フレームに関する重みを増加させてよい。もし顔が笑って見えると判定されなければ、ブロック６７０で方法６００はその入力フレームに関する重みを減少させてよい。さらに、ブロック６８０において方法６００は必要に応じて、目が開いていると検出されているかどうかを判定してもよい。もし目が開いていると検出されていると判定されれば、ブロック６９０で方法６００はその入力フレームに関する重みを増加させてよい。もし目が開いていると検出されていると判定されなければ、ブロック７００で方法６００はその入力フレームに関する重みを減少させてよい。
【００４５】
方法６００は、顔検出器から提供される他の基準を、各フレームに割り当てられる重みを調整するためにさらに用いてもよい。例えば、方法６００は視野内の顔の大きさを判定し、より大きな顔を有するフレームをより小さな顔を有するフレームよりも強調してもよい。さらに、方法６００は、視野内の顔の位置を判定し、視野の中心に顔が存在するフレームを視野の中心から外れた位置に顔が存在するフレームよりも強調してよい。さらに、、方法６００は、候補入力フレーム内の顔の位置を判定し、それを過去に符号化された入力フレーム内の顔の位置と比較してもよい。方法６００は、顔の位置の差が小さいフレームを、顔の位置の差が大きいフレームよりも強調してよい。
【００４６】
方法６００はさらに、自動露出（ＡＥ）測光領域内に顔が検出されているフレームに対して優先的な重みを割り当ててもよい。例えば、多くの自動露出制御アルゴリズムは視野の中心部分の画像内容に基づいてＡＥ制御を行う。ＡＥ制御領域内で顔を特定しているフレームはその重みを増加させられてよく、ＡＥ制御領域外で顔を特定しているフレームはその重みを減少させられてよい。
【００４７】
ここで、１０フレームごとに１フレームしか符号化できない符号化フレームレートである例を考える。この場合、符号化器は１０，２０，３０，４０，５０等のデフォルトパターンを用いて、１０フレーム中９フレームを破棄するかもしれない。しかし、場合によっては、符号化品質の考慮により、ビデオ符号化器はフレーム１０を符号化した後にフレーム１５を選択してもよい。この例では、フレーム１５から新たなフレームパターンを構築することによってジッタが最小化されるかもしれない。従って、次の選択決定においては、フレーム３０ではなくフレーム２５に最大の重みが割り当てられるであろう。重み付けはどの複数のフレームが再生時に最小のジッタを生成するかの推定に基づいてよい。どの複数のフレームが再生時に最小のジッタを生成するかは、符号化されたであろう元のフレームからの距離に依存するとは限らない。
【００４８】
図７は本発明の一実施形態に係る、ビデオ符号化器がスライドショーモードにある際の方法８００を示す単純化したフローチャートである。
【００４９】
ブロック８１０でビデオ符号化器はまず、デフォルトフレームレートを含むデフォルト符号化ポリシセットに従って入力ビデオデータをバッファならびに符号化する、通常ランタイムモードで動作してよい。そして、動作中のある時点で、ビデオ符号化器はスライドショーモードに遷移してよい。この時点で、再生時に動いて見える感覚を与えるのに十分なフレームレートでフレームを符号化できないレベルにフレームレートが低下する。一般に、このレートは１〜３fpsである。スライドショーモードに遷移すると、ビデオ符号化器は、フレームバッファに符号化候補として格納されている入力フレームの各々を評価してよい。具体的には、ビデオ符号化器はブロック８２０で、例えば図２で説明した探索方法に従った重み付けサーチに基づいて、入力フレームについて実現可能な符号化品質にランク付けを行ってよい。その後、ブロック８３０でビデオ符号化器は、例えば図３〜図６で説明した手法の１つ以上に従ったフレームに関する品質基準に基づいて、入力フレームについて実現可能な符号化品質にランク付けを行ってよい。最後にブロック８４０でビデオ符号化器は、ブロック８２０〜８３０で得られたランクに従って、バッファリングされたフレームの１つを選択し、符号化してよい。一般には、最も高いランクを有するフレームを選択する。
【００５０】
ビデオ符号化器がスライドショーモードで動作している間、ブロック８５０で方法８００は、ビデオシーケンスが終了するか、ビデオ符号化器がスライドショーモードから遷移するまで、スライドショーフレームレートで、カメラが撮影した新たなフレームのバッファ処理を継続し、ブロック８２０〜８４０の動作を繰り返してよい。
【００５１】
ビデオ符号化器は符号化のためにバッファリングされたフレームをフレーム間の時間的な間隔の一貫性である「ジャダー(judder)」に基づいて選択してよい。現在のフレームレートが１秒あたり特定数のフレーム、例えば１フレーム／秒の場合、ビデオ符号化器は符号化用のフレームのそれぞれが、先に選択された符号化用フレームから約１秒離れるように選択してよい。
【００５２】
ビデオ符号化器はまた、バッファリングされた候補フレームと、過去に符号化されたフレームとの画素間の差分絶対値の、顔領域の重みを大きくした単純な加重加算値を求めることによってバッファリングされている符号化用フレームを選択してもよい。このような選択は効率の良い符号化を実現するであろう。
【００５３】
上述の説明では、本発明の様々な実施形態に従って構築されたビデオ符号化システムで用いられ得る機能ブロックを確認した。実際には、これらのシステムは、一体化されたビデオカメラを備えるモバイル機器（例えばカメラを使用可能な、電話機、エンターテインメントシステムおよびコンピュータ）のような様々な機器、および／またはテレビ会議機器およびカメラを使用可能なデスクトップコンピュータのような有線通信システムに適用されうる。一部の用途において、上述した機能ブロックは、複数のブロックがコンピュータプログラムの個別要素として提供される統合ソフトウェアシステムの構成要素として提供されうる。他の用途において、機能ブロックは、デジタルシグナルプロセッサや特定用途向け集積回路内の機能ユニットのような、処理システムのディスクリートな回路部品として提供されうる。本発明のさらに別の用途は、専用ハードウェアとソフトウェアコンポーネントのハイブリッドシステムとして実施されてもよい。さらに、ここで説明した機能ブロックは別個のユニットとして提供されなくてもよい。例えば、図１（ｂ）はビデオ符号化器の構成要素を個別のユニットとして示しているが、１以上の実施形態において、それらの一部又は全部は別個のユニットでなくてもよい。このような実装上の詳細は、特に記載の無い限り本発明の動作において重要でない。
【００５４】
さらに、添付図面は本発明の主題を提示するのに必要な程度の詳細さでしか提供されていない。実際には、ビデオ符号化器はオーディオ処理システム、図示したような符号化パイプラインの全体に渡ってデータを保存するためのバッファ、および通信ネットワークや対となる復号機器との通信を管理するための通信送受信機を含む、ここで説明したもの以外の機能ユニットを含むであろう。これらの構成要素は簡潔さのために上の説明にでは省略されている。
【００５５】
いくつかの実施形態に関して本発明を詳細に説明してきたが、本発明の範囲および精神の範囲内の波生物は当業者にとって明らかであろう。従って、本発明は添付の請求項の範囲によってのみ限定されるものであると解されるべきである。
【図２】
0005766877.tif 000002
【図３】
0005766877.tif 000003
【図４】
0005766877.tif 000004
【図５】
0005766877.tif 000005
【図６】
0005766877.tif 000006
【図７】
0005766877.tif 000007
【図１】
0005766877.tif 000008