(57)【要約】      （修正有）【課題】オリジナルビデオと安定化ビデオの両方をジョイントエンコードする際にデータ量を低減するビデオ処理システム及び方法を提供する。【解決手段】ビデオ処理システム１００は、ビデオ画像処理パイプライン１２０およびエンコーダー１３０を備える。ビデオ画像処理パイプラインは、第１、第２の画像ストリームを生成する画像ストリーム形成機能１２２ａ及び第１の画像ストリームを画像安定化させる画像安定化機能１２２ｂを備える。画像ストリーム形成機能は、画像安定化機能から第２の画像ストリームをバイパスさせ、オリジナル画像ストリームを形成する。エンコーダーは、イントラフレーム及びインターフレームを含むジョイントエンコーデッド画像ストリームとして安定化画像ストリーム及びオリジナル画像ストリームをエンコードする。イントラフレームは、オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる。【選択図】図１
2020205581.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ処理方法であって、
取り込まれるビデオデータの一連の画像に基づいて第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）であって、前記第１の画像ストリームは複数の画像フレームを含み、前記第２の画像ストリームは複数の画像フレームを含む、第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）、
前記第１の画像ストリームに画像安定化機能を適用すること（Ｓ４０４）であって、それにより、安定化画像ストリームを形成する、画像安定化機能を適用すること（Ｓ４０４）、
前記画像安定化機能から前記第２の画像ストリームをバイパスさせること（Ｓ４０６）であって、それにより、オリジナル画像ストリームを形成する、前記第２の画像ストリームをバイパスさせること（Ｓ４０６）、および、
エンコーダー（１３０）であって、エンコーダー（１３０）に対する入力データとして前記安定化画像ストリームおよび前記オリジナル画像ストリームを使用する、エンコーダー（１３０）において、前記安定化画像ストリームと前記オリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含むジョイントエンコーデッド画像ストリームとして前記安定化画像ストリームおよび前記オリジナル画像ストリームをエンコードすること（Ｓ４０８）を含み、前記ジョイントエンコーデッド画像ストリームは、イントラフレームおよびインターフレームを含み、前記ジョイントエンコーデッド画像ストリームのイントラフレームは、前記オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる、ビデオ処理方法。
【請求項２】
前記オリジナル画像ストリームの残りの画像フレームは、インターフレームになるようエンコードされる、請求項１に記載のビデオ処理方法。
【請求項３】
前記オリジナル画像ストリームの前記画像フレームは、前記ジョイントエンコーデッド画像ストリーム内で非表示フレームとして示される、請求項１または２に記載のビデオ処理方法。
【請求項４】
前記第１の画像ストリームおよび前記第２の画像ストリームを生成する前記ステップ（Ｓ４０２）は、
前記取り込まれるビデオデータの前記一連の画像を前記第１および第２の画像ストリームになるように複製することを含む、請求項１から３のいずれか一項に記載のビデオ処理方法。
【請求項５】
前記第１の画像ストリームおよび前記第２の画像ストリームを生成する前記ステップ（Ｓ４０２）は、
前記ビデオデータの前記一連の画像の各画像から前記第１の画像ストリームを生成すること、および、
前記取り込まれるビデオデータの前記一連の画像の前記画像のサブセットから前記第２の画像ストリームを生成することを含む、請求項１から３のいずれか一項に記載のビデオ処理方法。
【請求項６】
前記第１の画像ストリームおよび前記第２の画像ストリームを生成する前記ステップ（Ｓ４０２）は、
前記取り込まれるビデオデータの前記一連の画像の前記画像のサブセットから前記第１の画像ストリームを生成すること、および、
前記ビデオデータの前記一連の画像の各画像から前記第２の画像ストリームを生成することを含む、請求項１から３のいずれか一項に記載のビデオ処理方法。
【請求項７】
前記第１の画像ストリームおよび前記第２の画像ストリームを生成する前記ステップ（Ｓ４０２）は、
前記取り込まれるビデオデータの前記一連の画像の前記画像の第１のサブセットから前記第１の画像ストリームを生成すること、および、
前記ビデオデータの前記一連の画像の画像の第２のサブセットから前記第２の画像ストリームを生成することことを含む、請求項１から３のいずれか一項に記載のビデオ処理方法。
【請求項８】
前記第１のサブセットの画像は前記第１の画像ストリームに排他的に含まれ、前記第２のサブセットの画像は前記第２の画像ストリームに排他的に含まれる、請求項７に記載のビデオ処理方法。
【請求項９】
前記ジョイントエンコーデッド画像ストリーム内の前記オリジナル画像ストリームのインターエンコーデッドフレームは、前記ジョイントエンコーデッド画像ストリーム内の前記オリジナル画像ストリームの他のエンコーデッドフレームを排他的に参照する、請求項１から８のいずれか一項に記載のビデオ処理方法。
【請求項１０】
前記ジョイントエンコーデッド画像ストリーム内の前記安定化画像ストリームのインターエンコーデッドフレームは、前記ジョイントエンコーデッド画像ストリーム内の前記安定化画像ストリームの他のインターエンコーデッドフレームまたは前記イントラフレームを排他的に参照する、請求項１から９のいずれか一項に記載のビデオ処理方法。
【請求項１１】
前記第１の画像ストリームに画像安定化機能を適用する前記ステップ（Ｓ４０４）は、前記第１の画像ストリームの前記画像フレームの空間分解能と比較して、前記安定化画像ストリームの前記画像フレームの空間分解能を維持することを含む、請求項１から１０のいずれか一項に記載のビデオ処理方法。
【請求項１２】
前記安定化画像ストリームの前記画像フレームは前記ジョイントエンコーデッド画像ストリーム内の非表示フレームとして示される、請求項１から１１のいずれか一項に記載のビデオ処理方法。
【請求項１３】
処理能力を有するデバイスによって実行されると、請求項１から１２のいずれか一項に記載のビデオ処理方法を実施する命令を記憶している、非一時的コンピュータ可読記憶媒体。
【請求項１４】
ビデオ処理システム（１００）であって、
オリジナル画像ストリームおよび安定化画像ストリームになるように、取り込まれるビデオデータの一連の画像を処理するように構成されるビデオ画像処理パイプライン（１２０）であって、
前記取り込まれるビデオデータに基づいて、第１および第２の画像ストリームであって、それぞれが複数の画像フレームを含む、第１および第２の画像ストリームを生成するように構成される画像ストリーム形成機能（１２２ａ）、および、
前記第１の画像ストリームを画像安定化させ、それにより、前記安定化画像ストリームを形成するように構成される画像安定化機能（１２２ｂ）
を備え、
前記画像ストリーム形成機能（１２２ａ）は、前記画像安定化機能（１２２ｂ）から前記第２の画像ストリームをバイパスさせ、それにより、前記オリジナル画像ストリームを形成するようにさらに構成される、ビデオ画像処理パイプライン（１２０）と、
エンコーダー（１３０）であって、入力データとして前記安定化画像ストリームおよび前記オリジナル画像ストリームを使用して、前記安定化画像ストリームと前記オリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含むジョイントエンコーデッド画像ストリームとして前記安定化画像ストリームおよび前記オリジナル画像ストリームをエンコードするように構成される、エンコーダー（１３０）とを備え、前記ジョイントエンコーデッド画像ストリームは、イントラフレームおよびインターフレームを含み、前記ジョイントエンコーデッド画像ストリームの前記イントラフレームは、前記オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる、ビデオ処理システム（１００）。
【請求項１５】
ビデオカメラ（２００）に実装される、請求項１４に記載のビデオ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ処理に関する。特に、ビデオ処理は、シェイキングしているビデオカメラによって取り込まれるビデオデータを処理するときに、通信および／または記憶される必要があるデータの量を低減することを目的としている。
【背景技術】
【０００２】
一部のビデオ取り込みアプリケーションの場合、取り込まれるビデオストリーム内の画像の安定化が、より観察可能なビデオストリームを得るために必要とされる。これは、特に、ビデオストリームを取り込むために使用されるビデオカメラが、乗り物などの移動物体上に搭載される、または、人によって装着されるビデオ取り込み状況に当てはまる。特定の例は、警官が装着するボディカメラである。取り込まれるビデオストリーム内の画像の安定化は、例えば、電子画像安定化、ＥＩＳ（：ｅｌｅｃｔｒｏｎｉｃ  ｉｍａｇｅ  ｓｔａｂｉｌｉｚａｔｉｏｎ）を使用して行うことができる。
【０００３】
一部のアプリケーションのために、例えば、警官が装着するボディカメラによって取り込まれるビデオストリームを使用するエビデンスのために)、安定化ビデオストリームおよび非安定化「オリジナル（ｏｒｉｇｉｎａｌ）」ビデオストリームが共に必要とされる。しかしながら、２つのビデオストリームを生成することは、ビデオストリームを通信するために必要とされる帯域幅およびビデオ情報を記憶するために必要とされる記憶空間を共に大幅に増加させることになる。したがって、「オリジナル」ビデオ情報と安定化ビデオ情報の両方について、通信および／または記憶される必要があるデータの量を低減するときの改善についての必要性が存在する。
【０００４】
当技術分野における上記で特定された欠点および不利益の１つまたは複数を単一でまたは組み合わせて軽減する、緩和する、またはなくし、また、上記で述べた問題を少なくとも部分的に解決することが目的である。
【発明の概要】
【０００５】
第１の態様によれば、ビデオ処理方法が提供される。ビデオ処理方法は、取り込まれるビデオデータの一連の画像に基づいて第１の画像ストリームおよび第２の画像ストリームを生成することであって、第１の画像ストリームは複数の画像フレームを含み、第２の画像ストリームは複数の画像フレームを含む、生成すること；第１の画像ストリームに画像安定化機能を適用することであって、それにより、安定化画像ストリームを形成する、適用すること；画像安定化機能から第２の画像ストリームをバイパスさせることであって、それにより、オリジナル画像ストリームを形成する、バイパスさせること；および、安定化画像ストリームとオリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含むジョイントエンコーデッド画像ストリームとして安定化画像ストリームおよびオリジナル画像ストリームをエンコードすることを含み、ジョイントエンコーデッド画像ストリームは、イントラフレームおよびインターフレームを含み、ジョイントエンコーデッド画像ストリームのイントラフレームは、オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる。
【０００６】
画像安定化機能は電子画像安定化機能とすることができる。そのような画像安定化機能は当技術分野でよく知られている。本発明は、安定化画像ストリームとオリジナルビデオストリームの両方からのビデオ情報を効率的にエンコードする方法を述べる。そうすることによって、安定化ビデオストリームおよびオリジナルの未修整または非安定化ビデオストリームを利用可能にすることができる。これは、安定化ビデオストリームおよびオリジナルビデオストリームを共に必要とする場合がある身体装着式警察カメラなどの或る科学捜査的状況において価値があるとすることができる。本発明は、安定化ビデオストリームおよびオリジナルビデオストリームが共に、厳しいビットレート予算に適合しながら利用可能であることを可能にする。これは、両方のビデオストリームが、１つのジョイントビデオストリームになるように結合され、「同じ（ｓａｍｅ）」イントラフレームに依存するからである。したがって、２つの別個のビデオストリームをエンコードする代わりに、両方を含むジョイントビデオストリームが形成される。
【０００７】
本発明によれば、インターフレーム（Ｐフレーム）の２つのシリーズ、オリジナルビデオストリームからの情報を含むシリーズ（シリーズＯ）および安定化ビデオストリームからの情報を含むシリーズ（シリーズＳ）は、イントラフレーム（Ｉフレーム）の各対の間でエンコードされることになる。シリーズＯは、イントラフレームとしてオリジナル画像ストリームからのＩフレームを使用してエンコードされる。これは、安定化なしの通常のエンコーディングに対応し、エンコーデッドオリジナルビデオストリームをもたらす。シリーズＳは、イントラフレームとしてオリジナル画像ストリームからの同じＩフレームを使用してエンコードされる。これは、エンコーデッド安定化ビデオストリームの一連のビデオフレームをもたらすことになる。イントラフレームとしてオリジナル画像ストリームからのＩフレームを使用することによって、エンコーデッドシリーズＳは、計算される動きベクトルについて正しい残差を有することになる。これは、品質損失をほとんどまたは全くもたらさない場合がある。同様に、ビットレートは、２つの完全に別個のストリームをコード化することと比較して節約されることになる。これは、シリーズＯおよびＳがＩフレームを共有することができ、異なるＰフレームを必要とするだけであるからである。シリーズＯまたはＳを、非表示としてマーク付けされる他のシリーズを有するデフォルトストリームとして指定することができる。ユーザーは、意のままにストリームを切り換えることができる。いずれにしても、両方のストリームが、必要である場合に後のポイントで観察するために利用可能である。
【０００８】
オリジナル画像ストリームの残りの画像フレームを、インターフレームになるようエンコードすることができる。
【０００９】
オリジナル画像ストリームの画像フレームを、ジョイントエンコーデッド画像ストリーム内で非表示フレームとして示すことができる。
【００１０】
第１の画像ストリームおよび第２の画像ストリームを生成するステップは、取り込まれるビデオデータの一連の画像を第１および第２の画像ストリームになるように複製することを含むことができる。
【００１１】
第１の画像ストリームおよび第２の画像ストリームを生成するステップは、ビデオデータの一連の画像の各画像から第１の画像ストリームを生成すること、および、取り込まれるビデオデータの一連の画像の画像のサブセットから第２の画像ストリームを生成することを含むことができる。
【００１２】
第１の画像ストリームおよび第２の画像ストリームを生成するステップは、取り込まれるビデオデータの一連の画像の画像のサブセットから第１の画像ストリームを生成すること、および、ビデオデータの一連の画像の各画像から第２の画像ストリームを生成することを含むことができる。
【００１３】
第１の画像ストリームおよび第２の画像ストリームを生成するステップは、取り込まれるビデオデータの一連の画像の画像の第１のサブセットから第１の画像ストリームを生成すること、および、ビデオデータの一連の画像の画像の第２のサブセットから第２の画像ストリームを生成することことを含むことができる。
【００１４】
第１のサブセットの画像を第１の画像ストリームに排他的に含むことができる。第２のサブセットの画像を第２の画像ストリームに排他的に含むことができる。
【００１５】
ジョイントエンコーデッド画像ストリーム内のオリジナル画像ストリームのインターエンコーデッドフレームは、ジョイントエンコーデッド画像ストリーム内のオリジナル画像ストリームの他のエンコーデッドフレームを排他的に参照することができる。
【００１６】
ジョイントエンコーデッド画像ストリーム内の安定化画像ストリームのインターエンコーデッドフレームは、ジョイントエンコーデッド画像ストリーム内の安定化画像ストリームの他のインターエンコーデッドフレームまたはイントラフレームを排他的に参照することができる。
【００１７】
第１の画像ストリームに画像安定化機能を適用するステップは、第１の画像ストリームの画像フレームの空間分解能と比較して、安定化画像ストリームの画像フレームの空間分解能を維持することを含むことができる。
【００１８】
安定化画像ストリームの画像フレームをジョイントエンコーデッド画像ストリーム内の非表示フレームとして示すことができる。
【００１９】
第２の態様によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、処理能力を有するデバイスによって実行されると、第１の態様による方法を実施する命令を記憶している。
【００２０】
第３の態様によれば、ビデオ処理システムが提供される。ビデオ処理システムは、ビデオ画像処理パイプラインおよびエンコーダーを備える。ビデオ画像処理パイプラインは、取り込まれるビデオデータの一連の画像を処理するように構成される。ビデオ画像処理パイプラインは、取り込まれるビデオデータに基づいて、第１および第２の画像ストリームであって、それぞれが複数の画像フレームを含む、第１および第２の画像ストリームを生成するように構成される画像ストリーム形成機能；および、第１の画像ストリームを画像安定化させ、それにより、安定化画像ストリームを形成するように構成される画像安定化機能を備える。画像ストリーム形成機能は、画像安定化機能から第２の画像ストリームをバイパスさせ、それにより、オリジナル画像ストリームを形成するようにさらに構成される。エンコーダーは、安定化画像ストリームとオリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含むジョイントエンコーデッド画像ストリームとして安定化画像ストリームおよびオリジナル画像ストリームをエンコードするように構成され、ジョイントエンコーデッド画像ストリームは、イントラフレームおよびインターフレームを含み、ジョイントエンコーデッド画像ストリームのイントラフレームは、オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる。
【００２１】
ビデオ処理システムは、ビデオカメラ、特に、デジタルビデオカメラに実装することができる。ビデオカメラはモニタリングカメラである。
【００２２】
第１の態様の上記で述べた特徴は、適用可能であるとき、この第３の態様にも適用される。不当な反復を回避するため、上記に対して参照が行われる。
【００２３】
本発明の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ示されることが理解されるべきである。
【００２４】
したがって、本発明が、述べるデバイスの特定のコンポーネント部品または述べる方法の行為に限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が、特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求項で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、「前記（ｓａｉｄ）」が、文脈が別途明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのユニット（ａ  ｕｎｉｔ）」または「そのユニット（ｔｈｅ  ｕｎｉｔ）」に対する言及は幾つかのデバイスおよび同様なものを含むことができる。さらに、言い回し「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および同様の言い回しは、他の要素またはステップを排除しない。
【００２５】
本発明の上記のまた他の態様は、添付図を参照して、ここでより詳細に述べられる。図は、制限的であると考えられるべきではなく；代わりに、図は、説明し理解するために使用される。
【００２６】
図に示すように、層および領域のサイズは、例証のために誇張され、したがって、一般的な構造を示すために提供することができる。同様の参照数字は、全体を通して同様の要素を指す。
【図面の簡単な説明】
【００２７】
【図１】ビデオ画像処理システムを概略的に示す図である。
【図２】図１のビデオ画像処理システムを備えるカメラを概略的に示す図である。
【図３ａ】ジョイントエンコーデッドビデオストリームの異なるＧＯＰ構造のうちの１つのＧＯＰ構造を概略的に示す図である。
【図３ｂ】ジョイントエンコーデッドビデオストリームの異なるＧＯＰ構造のうちの１つのＧＯＰ構造を概略的に示す図である。
【図３ｃ】ジョイントエンコーデッドビデオストリームの異なるＧＯＰ構造のうちの１つのＧＯＰ構造を概略的に示す図である。
【図４】画像処理方法のブロックスキームである。
【発明を実施するための形態】
【００２８】
本発明が、ここで、発明の現在のところ好ましい変形がそこに示される添付図面を参照して、以降でより完全に述べられることになる。しかしながら、この発明は、多くの異なる形態で具現化することができ、また、本明細書で述べる実施形態に限定されるものと解釈されるべきでない；むしろ、これらの実施形態は、徹底性および完全性(ｔｈｏｒｏｕｇｈｎｅｓｓ  ａｎｄ  ｃｏｍｐｌｅｔｅｎｅｓｓ)のため、また、本発明の範囲を当業者に完全に伝えるために提供される。
【００２９】
図１ａに関連して、ビデオ画像データを生成し処理するように構成されるビデオ画像処理システム１００が論じられる。ビデオ画像処理システム１００は、ビデオソース１１０、ビデオ画像処理パイプライン１２０、およびエンコーダー１３０を備える。図２に示すように、ビデオ画像処理システム１００はビデオカメラ２００に実装することができる。ビデオカメラ２００はデジタルビデオカメラとすることができる。ビデオカメラ２００はモニタリングカメラとすることができる。ビデオカメラ２００は、乗り物などの移動物体上に搭載されるビデオカメラとすることができる。ビデオカメラ２００を人が装着することができる。
【００３０】
ビデオソース１１０はビデオデータを取り込むように構成される。ビデオデータは一連の画像とすることができる。ビデオソース１１０は画像センサとすることができる。画像センサはビデオ画像データを取り込むように構成される。ビデオソース１１０は、取り込まれるビデオ画像データをビデオ画像処理パイプライン１２０に転送するように構成される。
【００３１】
ビデオ画像処理パイプライン１２０は、ビデオストリームの画像フレームになるようにビデオ画像データを処理するように構成される。ビデオ画像処理パイプライン１２０は複数の処理機能１２２を備える。各処理機能１２２はビデオ画像データを処理するように構成される。複数の処理機能１２２の幾つかは互いに依存することができる。したがって、それらは、次々に実行される必要がある。複数の処理機能１２２の幾つかは互いに独立しているとすることができる。したがって、それらは、並列に実行することができる。
【００３２】
ビデオ画像処理パイプライン１２０の特定の処理機能１２２は、汎用プロセッサ上で、あるいは、グラフィクス処理ユニット、フィールドプログラマブルゲートアレイ、固定機能特定用途向け集積回路、またはアナログ回路上で実行されるコンピュータソフトウェア部として実装することができる。複数の処理機能１２２の全ての１つの処理機能は、同じタイプの実装態様を使用して実装することができる。複数の処理機能１２２の異なる１つの処理機能は、処理機能１２２の異なる実装態様を使用して実装することができる。複数の処理機能１２２のサブセットは、同じタイプの実装態様を使用して実装することができる。したがって、ビデオ画像処理パイプライン１２０の特定の処理機能１２２は、ソフトウェア、専用ハードウェア、またはファームウェア、あるいは、専用ハードウェア、ファームウェア、および／またはソフトウェアの何らかの組み合わせとして実装することができる。
【００３３】
ビデオ画像処理システム１００はシステムメモリ１４０をさらに備えることができる。システムメモリ１４０は、ビデオ画像データを処理しながら、ビデオ画像処理パイプライン１２０の処理機能１２２によって使用することができる。システムメモリ１４０は、ランダムアクセスメモリ、ＲＡＭなどの揮発性メモリを備えることができる。システムメモリ１４０は、エンコーディング中にエンコーダー１３０が使用することもできる。
【００３４】
ビデオ画像処理パイプライン１２０は、画像ストリーム形成機能１２２ａおよび画像安定化機能１２２ｂを備える。画像安定化機能１２２ｂは、画像ストリーム形成機能１２２ａの下流で実施される。画像ストリーム形成機能１２２ａおよび画像安定化機能１２２ｂは本明細書で以下でより詳細に論じられる。
【００３５】
画像ストリーム形成機能１２２ａおよび画像安定化機能１２２ｂに加えて、ビデオ画像処理パイプライン１２０は、１つまたは複数のさらなる処理機能１２２を備えることができる。１つまたは複数のさらなる処理機能１２２は、以下；画像センサ補正機能、ノイズ低減機能、画像スケーリング機能、ガンマ補正機能、画像強調機能、カラー空間変換機能、露光マージ機能（例えば、ＷＤＲ／ＨＤＲ）、およびクロマサブサンプリング機能の１つまたは複数とすることができる。
【００３６】
画像ストリーム形成機能１２２ａは、取り込まれるビデオデータに基づいて、第１および第２の画像ストリームを作成するように構成される。第１および第２の画像ストリームのそれぞれは複数の画像フレームを含む。画像ストリーム形成機能１２２ａは、第１および第２の画像ストリームになるようにビデオデータの一連の画像を複製することによって、第１および第２の画像ストリームを生成することができる。したがって、一連の画像の各画像は、第１および第２の画像ストリームの両方の画像として使用することができる。代替的に、画像ストリーム形成機能１２２ａは、ビデオデータの一連の画像の各画像に基づいて第１の画像ストリームの画像フレームを生成し、ビデオデータの一連の画像の画像のサブセットに基づいて第２の画像ストリームの画像フレームを生成することができる。したがって、一連の画像の各画像は第１の画像ストリームの画像として使用することができ、一連の画像の画像のサブセットは第２の画像ストリームの画像として使用することができる。さらに代替的に、画像ストリーム形成機能１２２ａは、ビデオデータの一連の画像の各画像に基づいて第２の画像ストリームの画像フレームを生成し、ビデオデータの一連の画像の画像のサブセットに基づいて第１の画像ストリームの画像フレームを生成することができる。したがって、一連の画像の各画像は第２の画像ストリームの画像として使用することができ、一連の画像の画像のサブセットは第１の画像ストリームの画像として使用することができる。さらに代替的に、画像ストリーム形成機能１２２ａは、ビデオデータの一連の画像の画像の第１のサブセットに基づいて第１の画像ストリームの画像フレームを生成し、ビデオデータの一連の画像の画像の第２のサブセットに基づいて第２の画像ストリームの画像フレームを生成することができる。第１および第２のサブセットは、オーバーラップできるまたはオーバーラップできない。第１および第２のサブセットがオーバーラップしない場合、第１のサブセットは第１の画像ストリームに排他的に含まれることになり、第２のサブセットは第２の画像ストリームに排他的に含まれることになる。したがって、一連の画像の特定の画像は、第１の画像ストリームの画像または第２の画像ストリームの画像として使用することができる。
【００３７】
画像ストリーム形成機能１２２ａは、第１の画像ストリームを画像安定化機能１２２ｂに提供するように構成される。したがって、第１の画像ストリームは、画像安定化機能１２２ｂによるさらなる処理のために画像安定化機能１２２ｂに送信される。画像ストリーム形成機能１２２ａは、画像安定化機能１２２ｂから第２の画像ストリームをバイパスさせるように構成される。したがって、第２の画像ストリームは、画像安定化機能１２２ｂにおける処理からバイパスされる。バイパスされる画像ストリームはオリジナル画像ストリームと呼ばれることになる。オリジナル画像ストリームは非安定化画像ストリームである。
【００３８】
画像安定化機能１２２ｂは、画像安定化機能を第１の画像ストリームに適用するように構成される。好ましくは、画像安定化機能は電子画像安定化、ＥＩＳ機能である。画像安定化機能１２２ｂによって処理された後に、結果として得られる画像ストリームは、安定化画像ストリームと呼ばれる。したがって、画像安定化機能１２２ｂは、第１の画像ストリームから安定化画像ストリームを形成するように構成される。
【００３９】
画像安定化機能１２２ｂは、第１の画像ストリームの画像フレームの空間分解能と比較して、安定化画像ストリームの画像フレームの空間分解能を維持するように設定することができる。したがって、安定化画像ストリームとオリジナル画像ストリームの両方の画像フレームの空間分解能は同じである。
【００４０】
エンコーダー１３０は、エンコーデッドビデオストリームになるようにビデオストリームの画像フレームをエンコードするように構成される。エンコーダー１３０は、任意の適したエンコーディングスキームを使用するように設定することができる。非制限的な例は、Ｈ．２６４、Ｈ．２６５、およびＡＶ１である。
【００４１】
エンコーダー１３０は、安定化画像ストリームおよびオリジナル画像ストリームをジョイントエンコーデッド画像ストリームとしてエンコードするように構成される。ジョイントエンコーデッド画像ストリームは、安定化画像ストリームとオリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含む。エンコーダーは、ジョイントエンコーデッド画像ストリームをエンコードして、イントラエンコーデッドフレームおよびインターエンコーデッドフレームを共に含むように構成される。エンコーダー１３０は、ジョイントエンコーデッド画像ストリームのイントラフレームをオリジナル画像ストリームの画像フレームに基づいて排他的にエンコードするように構成される。エンコーダー１３０は、インターフレームになるようにオリジナル画像ストリームの残りの画像フレームをエンコードするように構成することができる。エンコーダー１３０は、インターフレームになるように安定化画像ストリームの画像フレームをエンコードするように構成することができる。
【００４２】
図３ａ、図３ｂ、図３ｃに関連して、ジョイントエンコーデッド画像ストリームのピクチャ群、ＧｏＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）構造の３つの例が示される。イントラフレーム、Ｉフレームは、オリジナル画像ストリームの画像フレームに基づいてエンコードされ、これはＩＯフレームとして示され、添え字Ｏは、Ｉフレームがオリジナル画像ストリームからの画像フレームに基づくことを示す。インターフレーム、Ｐフレームは、安定化画像ストリームからの画像フレームに基づいてエンコードされ、これらのＰフレームはＰＳフレームとして示され、ＳはＰフレームが安定化画像ストリームからの画像フレームに基づくことを示す、または、オリジナル画像ストリームからの画像フレームに基づいてエンコードされ、これらのＰフレームはＰＯフレームとして示され、ＯはＰフレームがオリジナル画像ストリームからの画像フレームに基づくことを示す。Ｐフレームの順序的に最初のものは、イントラフレーム、すなわちＩＯフレームをエンコードするために使用されるオリジナルフレームの画像安定化バージョンのエンコーデッドバージョンとすることができる。この順序的に最初のＰフレームは、図３ａ、図３ｂ、および図３ｃにおいて、その特別な性質を示すＰ’Ｓフレームとして示される。
【００４３】
図３ａに示すように、エンコーダー１３０は、ＰＯフレームが別のＰＯフレームまたはＩＯフレームを排他的に参照するように、また、ＰＳフレームが別のＰＳフレームまたはＩＯフレームを排他的に参照するように構成することができる。
【００４４】
図３ｂに示すように、エンコーダー１３０は、ＰＯフレームが別のＰＯフレームまたはＩＯフレームを排他的に参照するように、また、ＰＳフレームがＰＯフレームまたはＩＯフレームを排他的に参照するように構成することができる。
【００４５】
図３ｃに示すように、エンコーダー１３０は、ＰＯフレームが別のＰＯフレームまたはＩＯフレームを排他的に参照するように、また、ＰＳフレームがＰＯフレームまたはＩＯフレームとＰＳフレームを参照するように構成することができる。
【００４６】
上記で、インターフレームがＰフレームとしてエンコードされることが論じられた。しかしながら、Ｐフレームの１つまたは複数をＢフレームとしてエンコードすることも可能である。
【００４７】
エンコーダー１３０は、ジョイントエンコーデッド画像ストリーム内のオリジナル画像ストリーム非表示フレームの画像フレームを示すように構成することができる。そうして、ジョイントエンコーデッド画像ストリームをデコードするデコーダーセットは、安定化画像ストリームの画像フレームを表示するだけであるように、したがって、ＰＳフレーム（Ｐ’Ｓフレームを含む）のデコーデッドバージョンを表示するだけであるように指示されることになる。
【００４８】
図４に関連して、ビデオ処理方法４００が論じられる。ビデオ処理方法は、取り込まれるビデオデータをエンコードするように構成される。ビデオ処理方法は以下のステップ／行為を含む。
【００４９】
第１の画像ストリームおよび第２の画像ストリームを生成する（Ｓ４０２）。第１の画像ストリームおよび第２の画像ストリームの生成は、取り込まれるビデオデータの一連の画像に基づく。第１の画像ストリームは、複数の画像フレームを含むように生成される。第２の画像ストリームは、複数の画像フレームを含むように生成される。第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）は、第１および第２の画像ストリームになるように、取り込まれるビデオデータの一連の画像を複製することを含むことができる。第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）は、ビデオデータの一連の画像の各画像から第１の画像ストリームを生成すること、および、取り込まれるビデオデータの一連の画像の画像のサブセットから第２の画像ストリームを生成することを含むことができる。第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）は、取り込まれるビデオデータの一連の画像の画像のサブセットから第１の画像ストリームを生成すること、および、ビデオデータの一連の画像の各画像から第２の画像ストリームを生成することを含むことができる。第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）は、取り込まれるビデオデータの一連の画像の画像の第１のサブセットから第１の画像ストリームを生成すること、および、ビデオデータの一連の画像の第２のサブセットから第２の画像ストリームを生成することを含むことができる。第１のサブセットの画像を、第１の画像ストリームに排他的に含むことができる。第２のサブセットの画像を、第２の画像ストリームに排他的に含むことができる。
【００５０】
第１の画像ストリームに画像安定化機能を適用し（Ｓ４０４）、それにより、安定化画像ストリームを形成する。第１の画像ストリームに画像安定化機能を適用すること（Ｓ４０４）は、第１の画像ストリームの画像フレームの空間分解能と比較して、安定化画像ストリームの画像フレームの空間分解能を維持することを含むことができる。
【００５１】
画像安定化機能から第２の画像ストリームをバイパスさせ（Ｓ４０６）、それにより、オリジナル画像ストリームを形成する。
【００５２】
ジョイントエンコーデッド画像ストリームとして安定化画像ストリームおよびオリジナル画像ストリームをエンコードする（Ｓ４０８）。ジョイントエンコーデッド画像ストリームは、安定化画像ストリームとオリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含む。ジョイントエンコーデッド画像ストリームは、イントラフレームおよびインターフレームを含む。ジョイントエンコーデッド画像ストリームのイントラフレームは、オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる。オリジナル画像ストリームの残りの画像フレームは、インターフレームになるようエンコードすることができる。安定化画像ストリームの画像フレームは、インターフレームになるようエンコードすることができる。エンコードする（Ｓ４０８）間、オリジナル画像ストリームの画像フレームは、非表示フレームとして示すことができる。エンコードすること（Ｓ４０８）は、ジョイントエンコーデッド画像ストリーム内でオリジナル画像ストリームのインターエンコーデッドフレームをエンコードするとき、ジョイントエンコーデッド画像ストリーム内のオリジナル画像ストリームの他のエンコーデッドフレームを排他的に参照することを含むことができる。エンコードすること（Ｓ４０８）は、ジョイントエンコーデッド画像ストリーム内で安定化画像ストリームのインターエンコーデッドフレームをエンコードするとき、ジョイントエンコーデッド画像ストリーム内の安定化画像ストリームの他のインターエンコーデッドフレームまたはイントラフレームを排他的に参照することを含むことができる。
【００５３】
本発明が上記で述べた好ましい実施形態に決して限定されないことを当業者は認識する。逆に、多くの修正および変形が、添付特許請求項の範囲内で可能である。
【００５４】
例えば、エンコーダー１３０は、ジョイントエンコーデッド画像ストリーム内の安定化画像ストリーム非表示フレームの画像フレームを示すように構成することができる。したがって、エンコードしている間、安定化画像ストリームの画像フレームは非表示フレームとして示すことができる。そうして、ジョイントエンコーデッド画像ストリームをデコードするデコーダーセットは、オリジナル画像ストリームの画像フレームを表示するだけであるように指示されることになる。
【００５５】
さらに、開示される実施形態に対する変形を、図面、開示、および添付特許請求項の調査から、特許請求される発明を実施するときに当業者が理解し、実施することができる。
【図１】
2020205581.tif 000003
【図２】
2020205581.tif 000004
【図３ａ】
2020205581.tif 000005
【図３ｂ】
2020205581.tif 000006
【図３ｃ】
2020205581.tif 000007
【図４】
2020205581.tif 000008
【外国語明細書】
2020205581000001.pdf
2020205581000002.pdf
2020205581000003.pdf
2020205581000004.pdf