(57)【要約】      （修正有）【課題】２つの別個のエンコーダを使用して複数のイメージフレームをエンコーディングする際の、モーション検索に関する問題を回避する方法及びデバイスを提供する。【解決手段】第１のイメージフレーム及び第２のイメージフレームを含む複数のイメージフレームをエンコーディングする方法であって、各イメージフレームは、２つの部位に分割され、それぞれは、２つのエンコーダの内の１つによりエンコードされる。２つの部位の間の境界は、エンコーダの内の１つの検索ウィンドウのサイズにしたがって、イメージフレーム間にてオフセットされる。その結果、モーション検索を目的としてピクセルデータをコピーすることは、第１のエンコーダと第２のエンコーダとの間の一方向にのみ必要となる。【選択図】図３
2020113967.tif 000002
【特許請求の範囲】
【請求項１】
第１のイメージフレーム（１０２ａ）及び第２のイメージフレーム（１０２ｂ）を含む複数のイメージフレーム（１０２）をエンコーディングする方法であって、前記イメージフレームのそれぞれは、第１のエンコーダ（４０８）及び第２のエンコーダ（４１０）を使用してエンコードされ、前記第１のエンコーダは、ブロックマッチング用の第１の検索ウィンドウのサイズが定められており、
イメージデータの第１の部位（１０４ａ）及び第２の部位（１０６ａ）を形成するために、前記第１のイメージフレーム（１０２ａ）のイメージデータを、水平方向又は垂直方向である第１の方向に分割すること（Ｓ３０４）と、
前記イメージデータの前記第１の部位を、前記第１のエンコーダを使用してエンコーディングすること（Ｓ２０２）と、前記イメージデータの前記第２の部位を、前記第２のエンコーダを使用してエンコーディングすること（Ｓ２０４）と、により、前記第１のイメージフレームをエンコーディングすること（Ｓ３０６）と、
イメージデータの第３の部位（１０４ｂ）及び第４の部位（１０６ｂ）を形成するために、前記第２のイメージフレームのイメージデータを前記第１の方向に分割すること（Ｓ３１２）であって、前記第２のイメージフレーム内の前記イメージデータの前記第３の部位と前記第４の部位との間の境界の位置は、前記イメージデータの前記第３の部位のサイズが、前記イメージデータの前記第１の部位のサイズと比較して小さくなるよう、前記第１のイメージフレーム内の前記イメージデータの前記第１の部位と前記第２の部位との間の境界の位置に関してオフセットされ（１１０）、
前記第１の方向が水平方向である場合、前記オフセットは、前記第１の検索ウィンドウの高さの半分であり、前記境界は、垂直方向にオフセットされ、
前記第１の方向が垂直方向である場合、前記オフセットは、前記第１の検索ウィンドウの幅の半分であり、前記境界は、水平方向にオフセットされる、前記第２のイメージフレームのイメージデータを前記第１の方向に分割すること（Ｓ３１２）と、
前記イメージデータの前記第３の部位を、前記第１のエンコーダを使用してエンコーディングすること（Ｓ２１２）と、前記イメージデータの前記第４の部位を、前記第２のエンコーダを使用してエンコーディングすること（Ｓ２１４）と、により、前記第２のイメージフレームをエンコーディングすること（Ｓ３１４）と、
を含む方法。
【請求項２】
前記第２のイメージフレームは、インターフレームエンコードされ、前記第２のエンコーダは、ブロックマッチング用の第２の検索ウィンドウのサイズが定められ、前記方法は、
前記イメージデータの第１のサブ部位（１０８）及び第２のサブ部位を形成するために、前記イメージデータの前記第１の部位を前記第１の方向に分割することであって、前記第１のサブ部位は、前記イメージデータの前記第２の部位に近傍の、前記イメージデータの前記第１の部位のイメージデータからなり、
前記第１の方向が水平方向である場合、前記第１のサブ部位は、前記第１の検索ウィンドウの前記高さの半分と、前記第２の検索ウィンドウの前記高さの半分と、の和に等しい高さを有し、
前記第１の方向が垂直方向である場合、前記第１のサブ部位は、前記第１の検索ウィンドウの前記幅の半分と、前記第２の検索ウィンドウの前記幅の半分と、の和に等しい幅を有し、
前記イメージデータの前記第１の部位を、前記第１のエンコーダを使用して前記エンコーディングすることは、前記イメージデータの前記第１のサブ部位をエンコーディングし、前記エンコードされたイメージデータの第１のサブ部位を形成する、前記イメージデータの前記第１の部位を前記第１の方向に分割することをさらに含み、前記方法は、
前記第１のエンコーダにより、前記エンコードされたイメージデータの前記第１のサブ部位をデコーディングし、前記デコードされたデータ（４１２）の第１のサブ部位を形成することと、前記デコードされたイメージデータの前記第１のサブ部位を、前記第１のエンコーダから前記第２のエンコーダへコピーすること（Ｓ２０６、Ｓ２１６、Ｓ３０８）と、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記デコードされたイメージデータの前記第１のサブ部位を、前記第１のエンコーダから前記第２のエンコーダへ前記コピーすることの後に、前記第１のエンコーダ及び前記第２のエンコーダは、前記イメージデータの前記第３の部位及び前記第４の部位をそれぞれエンコーディングする際に、互いに独立して作動する、請求項２に記載の方法。
【請求項４】
前記第１のエンコーダにより、前記エンコードされたイメージデータの前記第１のサブ部位をデコーディングし、前記デコードされたデータの第１のサブ部位を前記形成することと、前記デコードされたイメージデータの前記第１のサブ部位を、前記第１のエンコーダから前記第２のエンコーダへ前記コピーすることと、は、前記イメージデータの前記第１のサブ部位を、前記第１のエンコーダにより前記エンコーディングすることが完了するとすぐに行われる、請求項２又は３に記載の方法。
【請求項５】
前記イメージデータの前記第１の部位を、前記第１のエンコーダを使用してエンコーディングすることは、前記イメージデータの前記第２の部位を、前記第２のエンコーダを使用して前記エンコーディングすることが始まる前の時点に始まる、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記イメージデータの前記第３の部位を、前記第１のエンコーダを使用してエンコーディングすることは、前記イメージデータの前記第２の部位を、前記第２のエンコーダを使用して前記エンコーディングすることが終わる前の時点に始まる、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記複数のイメージフレーム内の前記第１のイメージフレーム及び前記第２のイメージフレームに後続するイメージフレームであって、前記第１のイメージフレーム及び前記第２のイメージフレームと同じ写真の群（ＧＯＰ）の一部であるイメージフレームに対して、請求項１から請求項６のいずれか一項に記載の方法を繰り返し行い、前記ＧＯＰの前記イメージフレームの前記イメージデータの前記２つの部位の間の前記境界の前記位置を、前記ＧＯＰの前記イメージフレームにわたって徐々に移動させることを含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記第１のイメージフレームはイントラフレームエンコードされ、前記第１のイメージフレームは、写真の群（ＧＯＰ）内の前記第１のイメージである、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記第１のイメージフレームの前記イメージデータの前記第１の部位と前記第２の部位との間の前記境界の前記位置を、前記第１の検索ウィンドウのサイズ、前記第１の方向、及び前記ＧＯＰの長さに基づいて設定し、前記第１のエンコーダ及び前記第２のエンコーダの計算負荷のバランスが前記ＧＯＰ内にてとれるようにすること（Ｓ３０３）をさらに含む、請求項７又は８に記載の方法。
【請求項１０】
前記ＧＯＰの長さを、前記第１の検索ウィンドウの前記サイズに基づいて判定し、前記ＧＯＰ内の最後のイメージフレーム（１０２ｎ、１０２ｃ）について、前記第１のエンコーダによりエンコードされる前記イメージデータの前記部位のサイズが、第１の閾値を超えるようにすること（Ｓ３０２）をさらに含む、請求項７又は８に記載の方法。
【請求項１１】
前記第１のエンコーダは、前記第２のエンコーダによりエンコードされた前記イメージデータ（４１６）を受信（Ｓ２０８、Ｓ２１７、及びＳ２２２）し、エンコードされたイメージ（４２０）を形成する（Ｓ２１０、Ｓ２１８、Ｓ２２４、及びＳ３１０）よう配置されており、前記エンコードされたイメージは、前記第１のエンコーダによりエンコードされた前記イメージデータを、第１のタイル又は第１のスライスとして含み、前記第２のエンコーダによりエンコードされた前記イメージデータを、第２のタイル又は第２のスライスとして含む、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
処理機能を有するデバイスにより実行されると、前記デバイスに、請求項１から請求項１１のいずれか一項に記載の方法を実施させる命令を含む、コンピュータプログラム製品。
【請求項１３】
第１のエンコーダ（４０８）及び第２のエンコーダ（４１０）を含むデバイス（４０５、５０５）であって、当該デバイスは、第１のイメージフレーム（１０２ａ）及び第２のイメージフレーム（１０２ｂ）を含む複数のイメージフレーム（１０２）をエンコードするよう構成され、前記イメージフレームのそれぞれは、前記第１のエンコーダ及び前記第２のエンコーダを使用してエンコードされ、前記第１のエンコーダは、ブロックマッチング用の第１の検索ウィンドウのサイズが定められており、当該デバイスは、プロセッサを含み、前記プロセッサは、
イメージデータの第１の部位（１０４ａ）及び第２の部位（１０６ａ）を形成するために、前記第１のイメージフレームのイメージデータを、水平方向又は垂直方向である第１の方向に分割すること（Ｓ３０４）と、
前記イメージデータの前記第１の部位を、前記第１のエンコーダを使用してエンコーディングすること（Ｓ２０２）と、前記イメージデータの前記第２の部位を、前記第２のエンコーダを使用してエンコーディングすること（Ｓ２０４）と、により、前記第１のイメージフレームをエンコードすること（Ｓ３０６）と、
イメージデータの第３の部位（１０４ｂ）及び第４の部位（１０６ｂ）を形成するために、前記第２のイメージフレームのイメージデータを前記第１の方向に分割することであって、前記第２のイメージフレーム内の前記イメージデータの前記第３の部位と前記第４の部位との間の境界の位置は、前記イメージデータの前記第３の部位のサイズが、前記イメージデータの前記第１の部位のサイズと比較して小さくなるよう、前記第１のイメージフレーム内の前記イメージデータの前記第１の部位と前記第２の部位との間の境界の位置に関してオフセットされ（１１０）、
前記第１の方向が水平方向である場合、前記オフセットは、前記第１の検索ウィンドウの高さの半分であり、前記境界は、垂直方向にオフセットされ、
前記第１の方向が垂直方向である場合、前記オフセットは、前記第１の検索ウィンドウの幅の半分であり、前記境界は、水平方向にオフセットされる、前記第２のイメージフレームのイメージデータを前記第１の方向に分割することこと（Ｓ３１２）と、
前記イメージデータの前記第３の部位を、前記第１のエンコーダを使用してエンコーディングすること（Ｓ２１２）と、前記イメージデータの前記第４の部位を、前記第２のエンコーダを使用してエンコーディングすること（Ｓ２１４）と、により、前記第２のイメージフレームをエンコードすること（Ｓ３１４）と、を行うよう構成されている、デバイス。
【請求項１４】
シーンを描くビデオシーケンスを連続して撮像するよう構成されているビデオ撮像デバイスと、
一連のイメージフレーム（１０２）を、前記ビデオ撮像デバイスから連続して受信し、前記一連のイメージフレームをエンコードし、前記エンコードされた一連のイメージフレーム（４２０）を出力するよう構成されている、請求項１２に記載のデバイスと、
を含む、システム。
【請求項１５】
前記デバイスは、前記ビデオ撮像デバイス内に統合されている、請求項１４に記載のシステム（４００、５００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を符号化することの分野に関する。本発明は特に、２つの別個のエンコーダを使用して複数のイメージフレームをエンコーディングする方法及びデバイスに関する。各イメージフレームは２つの部位に分割され、それぞれは、２つのエンコーダの内の１つによりエンコードされる。
【背景技術】
【０００２】
近年、ネットワークカメラ監視システムなどの監視カメラの数が増えている。同様に、監視カメラのイメージセンサにより撮像された画像の、可能な画像解像度が増している。これは、監視の観点から好適である。なぜなら、監視したシーンがさらに詳細に撮像され得るためである。しかし、エンコーダの観点から、この進展により、次のようなことが起こっている。すなわち、高解像度イメージセンサにより撮像された画像は、１つのエンコーダ（エンコーダチップ）が許容可能なフレームレートにてエンコードすることに対して大きすぎる場合がある。好適には、例えば、Ｈ．２６５エンコーディングにおけるタイル／スライスのコンセプトが採用され、単一のエンコードされたイメージが、２つ又はそれ以上のエンコーダによりエンコードされたイメージデータから生成されてよい。
【０００３】
モーションベクトルが生じるとしかし、問題が発生する。なぜならこれは、理論的に、エンコーダの双方が、リファレンスフレーム全体へのアクセスを有する必要があり、２つのエンコーダ間にて双方向にコピーすることが必要となることを意味するからである。実際には、モーションベクトル検索は、リファレンスフレーム全体において行われず、所望するフレームレートを十分に維持する短い時間内にて検索を終えるために、限定された検索ウィンドウ内にて行われる。したがって、リファレンスフレーム全体のスライス又はタイルを、１つのエンコーダから他のエンコーダにコピーする必要はなく、検索ウィンドウを十分に収める大きな部位のみをコピーする必要がある。
【０００４】
イメージデータを、第１のエンコーダから第２のエンコーダへ、及び、その逆へコピーすることは煩わしいものである。エンコーダの双方が、新たなイメージフレームのエンコーディングを始める前に、以前のイメージフレームのエンコーディングを確実に完了させておくようにするために同期させることも必要である。
【０００５】
したがって、このコンテキストにおける改善の必要がある。
【発明の概要】
【０００６】
上記を鑑み、本発明の目的はしたがって、上記の問題を克服するか、又は少なくとも軽減することである。特に、本発明の目的は、予測エンコーディングのためのモーション検索を目的としてピクセルデータをコピーすることが、第１のエンコーダと第２のエンコーダとの間の一方向にのみ必要である、デバイス及び方法を提供することである。
【０００７】
本発明の第１の態様によると、第１のイメージフレーム及び第２のイメージフレームを含む複数のイメージフレームをエンコーディングする方法が提供される。イメージフレームのそれぞれは、第１のエンコーダ及び第２のエンコーダを使用してエンコードされる。第１のエンコーダは、ブロックマッチング用の第１の検索ウィンドウのサイズが定められている。この方法は、
イメージデータの第１の部位及び第２の部位を形成するために、第１のイメージフレームのイメージデータを、水平方向又は垂直方向である第１の方向に分割することと、
イメージデータの第１の部位を、第１のエンコーダを使用してエンコーディングすることと、イメージデータの第２の部位を、第２のエンコーダを使用してエンコーディングすることと、により、第１のイメージフレームをエンコーディングすることと、
イメージデータの第３の部位及び第４の部位を形成ために、第２のイメージフレームのイメージデータを第１の方向に分割することであって、第２のイメージフレーム内のイメージデータの第３の部位と第４の部位との間の境界の位置は、イメージデータの第３の部位のサイズが、イメージデータの第１の部位のサイズと比較して小さくなるよう、第１のイメージフレーム内のイメージデータの第１の部位と第２の部位との間の境界の位置に関してオフセットされ、
第１の方向が水平方向である場合、このオフセットは、第１の検索ウィンドウの高さの半分であり、この境界は、垂直方向にオフセットされ、
第１の方向が垂直方向である場合、このオフセットは、第１の検索ウィンドウの幅の半分であり、この境界は、水平方向にオフセットされる、第２のイメージフレームのイメージデータを第１の方向に分割することと、
イメージデータの第３の部位を、第１のエンコーダを使用してエンコーディングすることと、イメージデータの第４の部位を、第２のエンコーダを使用してエンコーディングすることと、により、第２のイメージフレームをエンコーディングすることと、
を含む。
【０００８】
本開示では、「第１の（第２の、第３の、などの）イメージフレームのイメージデータを第１の方向に分割すること」という文言は一般的に、イメージデータの部位の間の境界が一般的な方向を有することを指すが、この境界は、直線又は階段状であってよい。例えば、イメージフレームのイメージデータ内のマクロブロック（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔｓ又はＣＴＵｓ）の特定の行又は列について、これらマクロブロックのいくつかは、イメージデータの第１の部位の一部であってよく、残りのマクロブロックが、イメージデータの第２の部位の一部であってよい。一般的に、イメージデータを分割することは、イメージデータの２つのコヒーレントな部位を生じさせる。この場合、イメージデータの第１の部位は、第１のタイル又はスライスを表してよく、イメージデータの第２の部位は、第２のタイル又はスライスを表してよい。
【０００９】
発明者らは次のことを理解している。すなわち、イメージデータを第１のエンコーダと第２のエンコーダとの間でコピーすることに起因する計算の負担は、第１のフレームについて、例えばイメージフレームの７５％が第１のエンコーダにてエンコードされ、２５％が第２のエンコーダにてエンコードされるよう、連続的なイメージフレームのストリームのイメージフレームの間に、動的なスライス又はタイルの境界を採用することにより軽減され得る。イメージデータの２つの部位の間の境界は続いて、次のフレームに対して、検索ウィンドウのサイズに比例して、境界の方向に直交して、少し移動する（オフセットされる）。これは、次のことを意味する。すなわち、第２のイメージフレームについて、第１のエンコーダによりエンコードされる、イメージデータの部位（つまり、イメージデータの第３の部位）のサイズは、第１のイメージフレームについて、第１のエンコーダによりエンコードされる、イメージデータの部位（つまり、イメージデータの第１の部位）のサイズより小さく、境界の方向にしたがって削減が行われる。結果として、第２のエンコーダによりエンコードされる、イメージデータの部位のサイズが、第１のイメージフレームと第２のイメージフレームとの間にて拡大される。したがって、第２のイメージフレームについて、例えば、第１のエンコーダの検索ウィンドウの７５％より少ない半分が、第１のエンコーダにてエンコードされ、第１のエンコーダの検索ウィンドウの、２５％より多い半分が、第２のエンコーダにてエンコードされる。上述するように、イメージデータが、水平方向又は垂直方向に分割されるか、に依存して、検索ウィンドウの高さ又は幅が、オフセットを定めるために使用され、境界が、イメージデータの部位の間の境界の方向に直交する方向にオフセットされる。イメージデータの２つの部位の間の境界を動的に移動させるこの方法により、徐々に縮小するスライス又はタイルをエンコーディングする（第１の）エンコーダは、インターフレームエンコーディングのための、他の（第２の）エンコーダからのいずれのデータを必要としなくなる。上記の実施形態により、第１のエンコーダについて、第１のエンコーダによりエンコードされた、以前に配置された境界を伴うイメージデータ（例えば、複数のイメージフレームの中の、以前のイメージフレーム、又は、リファレンスフレーム）を使用することにより、検索ウィンドウ全体に対応するピクセルデータが、第１のエンコーダにてすでに、確実に利用可能となる。
【００１０】
さらに、上記の実施形態により、２つのエンコーダ間の同期要件が緩和されることとなり得る。エンコーダの双方が、インターエンコーディングを目的として、他のエンコーダからのイメージデータを必要とする場合、エンコーダの双方は、イメージデータ全体を他のエンコーダにコピーする前に、リファレンスフレームの少なくとも関連するエリアをエンコーディングすることを終えなければならない。第１のエンコーダが、他のエンコーダからの（エンコードされ、続いてデコードされた）イメージデータを必要としない上記の実施形態により、さらに後述するように、同期要件がしたがって緩和される。
【００１１】
上記の実施形態の好適な副次的効果としては、第１のイメージフレーム及び第２のイメージフレームのそれぞれの部位に対してブロックを解除することが、第１のイメージフレーム及び第２のイメージフレームの間を互いに関して移動することが挙げられる。これにより、後にデコードされる、イメージのストリームの視覚的品質が改善される。
【００１２】
本実施形態のさらに別の利点としては、（リファレンスエンコーディングを目的とする）別個のバッファメモリ付きの別個のエンコーダ（チップ）が使用されてよいことが挙げられる。これにより、複雑さ及びコストが軽減される。
【００１３】
いくつかの実施形態によると、第２のイメージフレームは、インターフレームエンコードされ、第２のエンコーダは、ブロックマッチング用の第２の検索ウィンドウのサイズが定められている。この方法は、
イメージデータの第１のサブ部位及び第２のサブ部位を形成するために、イメージデータの第１の部位を第１の方向に分割することであって、第１のサブ部位は、イメージデータの第２の部位に近傍の、イメージデータの第１の部位のイメージデータからなり、
第１の方向が水平方向である場合、第１のサブ部位は、第１の検索ウィンドウの高さの半分と、第２の検索ウィンドウの高さの半分と、の和に等しい高さを有し、
第１の方向が垂直方向である場合、第１のサブ部位は、第１の検索ウィンドウの幅の半分と、第２の検索ウィンドウの幅の半分と、の和に等しい幅を有し、
イメージデータの第１の部位を、第１のエンコーダを使用してエンコーディングすることは、イメージデータの第１のサブ部位をエンコーディングし、エンコードされたイメージデータの第１のサブ部位を形成する、イメージデータの第１の部位を第１の方向に分割することをさらに含み、
この方法は、
第１のエンコーダにより、エンコードされたイメージデータの第１のサブ部位をデコーディングし、デコードされたデータの第１のサブ部位を形成することと、デコードされたイメージデータの第１のサブ部位を、第１のエンコーダから第２のエンコーダへコピーすることと、
をさらに含む。
【００１４】
上述するように、第２のエンコーダは、イメージデータの第４の部位のインターエンコーディングを目的として、第１のエンコーダからのデータを必要とする。上記の実施形態により、（第１のエンコーダ及び第２のエンコーダの検索ウィンドウサイズ、及び、イメージフレームのイメージデータが分割される方向に関して）十分なイメージデータを第２のエンコーダにコピーする、複雑さの低いプロセスが達成される。コピーされたデータ（エンコードされた、イメージデータの第１のサブ部位のデコードされたバージョン）は、イメージデータの第４の部位をインターエンコーディングする際に、リファレンスデータとして続いて使用されてよい、エンコードされた、イメージデータの第２の部位のデコードされたバージョンと共に、インターエンコーディングに使用される第２のエンコーダ内のバッファメモリ（リファレンスバッファメモリ、リファレンスメモリ、など）に収められる。上述するように、第１のエンコーダについて、イメージデータの第３の部位をインターエンコーディングすることを目的として、エンコードされた、イメージデータの第１の部位のデコードされたバージョンは、十分に使用に値する。第１の検索ウィンドウ及び第２の検索ウィンドウのサイズは等しくとも、異なっていてもよい。
【００１５】
いくつかの実施形態によると、デコードされたイメージデータの第１のサブ部位を、第１のエンコーダから第２のエンコーダへコピーすることの後に、第１のエンコーダ及び第２のエンコーダは、イメージデータの第３の部位及び第４の部位をそれぞれエンコーディングする際に、互いに独立して作動する。
【００１６】
本開示では、「第１のエンコーダ及び第２のエンコーダは、互いに独立して作動する」という文言は一般的に、定められた目的（つまり、イメージデータの第３の部位及び第４の部位をエンコーディングすること）に対して、第１のエンコーダと第２のエンコーダとの間の、さらなる通信又はデータ転送が必要でないことを意味する。換言すると、イメージデータの第２の部位と、（エンコードされ、再度デコードされた）イメージデータの第１のサブ部位のみが、イメージデータの第４の部位のインターフレームエンコーディングを行う際に、ブロックマッチング用のリファレンスデータとして使用されてよい。上述するように、第１のエンコーダについて、イメージデータの第３の部位をインターエンコーディングすることを目的として、エンコードされた、イメージデータの第１の部位のデコードされたバージョンは、十分に使用に値する。その結果、デコードされたイメージデータの第１のサブ部位を、第１のエンコーダから第２のエンコーダへコピーすることの後に、イメージデータの第３の部位及び第４の部位の（及び、同様に、このプロセスを使用してエンコードされたいずれの後続するイメージフレームに対する）インターエンコーディングの際に、第１のエンコーダ及び第２のエンコーダは、互いに独立して作動できる。
【００１７】
いくつかの実施形態によると、第１のエンコーダにより、エンコードされたイメージデータの第１のサブ部位をデコーディングし、デコードされたデータの第１のサブ部位を形成することと、デコードされたイメージデータの第１のサブ部位を、第１のエンコーダから第２のエンコーダへコピーすることと、は、イメージデータの第１のサブ部位を、第１のエンコーダによりエンコーディングすることが完了するとすぐに行われる。上述するように、好適には、第１のエンコーダと第２のエンコーダとの間の同期要件は、本発明にて緩和され得る。コピーすることをできるだけ速やかに行うことにより、第２のエンコーダは、イメージデータの第４の部位をインターエンコードすることをできるだけ早く始め得る。このことはしたがって、エンコーディングプロセスに対する待ち時間を減らす。
【００１８】
いくつかの実施形態によると、イメージデータの第１の部位を、第１のエンコーダを使用してエンコーディングすることは、イメージデータの第２の部位を、第２のエンコーダを使用してエンコーディングすることが始まる前の時点に始まる。第１のエンコーダは、スライス／タイルが、上記にしたがって徐々に縮小している間に、第１のイメージフレームの第１の部位をエンコーディングすることを目的として、第２のエンコーダからいずれのイメージデータ、又は、いずれの後続する、対応する部位をコピーする必要がないため、同期要件が緩和される。第１のエンコーダは、第２のエンコーダが、第２の部位をエンコードすることを始める前に、第１の部位をエンコードすることを始めてよく、第２のエンコーダが、第１のイメージフレームのその部分（イメージデータの第２の部位）をエンコーディングすることを終えるまで、第３の部位（第２のイメージフレーム）をエンコーディングすることを必ずしも待機することはない。したがって、いくつかの実施形態によると、イメージデータの第３の部位を、第１のエンコーダを使用してエンコーディングすることは、イメージデータの第２の部位を、第２のエンコーダを使用してエンコーディングすることが終わる前の時点に始まる。
【００１９】
いくつかの実施形態によると、この方法は、複数のイメージフレーム内の第１のイメージフレーム及び第２のイメージフレームに後続するイメージフレームであって、第１のイメージフレーム及び第２のイメージフレームと同じ写真の群（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ又はＧＯＰ）の一部であるイメージフレームに対して、第１の態様に係るこの方法を繰り返し行い、ＧＯＰのイメージフレームのイメージデータの２つの部位の間の境界の位置を、ＧＯＰのイメージフレームにわたって徐々に移動させることを含む。これは、ＧＯＰのすべてのイメージフレームに対して、第１のエンコーダによりエンコードされる、ＧＯＰの各イメージフレームのイメージデータの部分（部位）が、徐々に縮小することを意味する。これは、ＧＯＰ全体に対して、第２のエンコーダから第１のエンコーダへデータがコピーされる必要がないことを意味する。いくつかの実施形態によると、後続するＧＯＰに対して、この後続するＧＯＰの第１のイメージフレームのイメージデータを分割することは、第１のＧＯＰについての第１のイメージフレームに関して、イメージデータの第１の部位及び第２の部位を形成する方向と同じ方向にて、第１のＧＯＰの第１のイメージフレームに対する比率と同じ初期比率を使用して行われる。他の実施形態では、例えば、エンコーダ間の作業のバランスを改善又は変更するために、若しくは、他の理由のために、比率及び／又は方向が変更される。
【００２０】
いくつかの実施形態によると、第１のイメージフレームはイントラフレームエンコードされ、第１のイメージフレームは、写真の群（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ又はＧＯＰ）内の第１のイメージである。好適には、この方法は続いて、第１のイメージフレームのイメージデータの第１の部位と第２の部位との間の境界の位置を、第１の検索ウィンドウのサイズ、第１の方向、及びＧＯＰの長さに基づいて設定し、第１のエンコーダ及び第２のエンコーダの計算負荷のバランスがＧＯＰ内にてとれるようにすることを含んでよい。この実施形態では、平均して等しい量にて作業が行われるよう、エンコーダにかかる負荷のバランスが好適にとられ得る。
【００２１】
いくつかの実施形態によると、この方法は、ＧＯＰ長を、第１の検索ウィンドウのサイズに基づいて判定し、ＧＯＰ内の最後のイメージフレームについて、第１のエンコーダによりエンコードされるイメージデータの部位のサイズが、第１の閾値を超えるようにすることをさらに含む。好適には、ＧＯＰ長は、第１のエンコーダ及び第２のエンコーダの計算負荷のバランスがＧＯＰ内にてとれるよう、例えば、第１の閾値が、（ＧＯＰの第１のイメージフレームに対して、第２のエンコーダによりエンコードされる）イメージデータの第２の部位のサイズに対応するよう設定されてよい。他の実施形態によると、第１の閾値は、計算負荷がさもなければいくつかの決定にしたがって共有されるよう、つまり、第１のエンコーダが、いくつかの所定の比率にしたがって、より多くの作業、又は、より少ない作業を行うよう設定される。この実施形態では、第１の検索ウィンドウのサイズが適切に定められてよく、ＧＯＰ長が、これに基づいて設定される。これにより、より柔軟なエンコーディング方法が提供される。
【００２２】
いくつかの実施形態によると、第１のエンコーダは、第２のエンコーダによりエンコードされたイメージデータを受信し、エンコードされたイメージを形成するよう配置されている。エンコードされたイメージは、第１のエンコーダによりエンコードされたイメージデータを、第１のタイル又は第１のスライスとして含み、第２のエンコーダによりエンコードされたイメージデータを、第２のタイル又は第２のスライスとして含む。この実施形態では、第１のエンコーダが、２つのストリームを単一のストリームに多重化する。したがって、ＰＣＩｅバスにかかる負荷のバランスがよりよくとられ得る。なぜなら、第１のエンコーダが、データを、インターエンコーディングを目的として、第２のエンコーダに送信する一方で、第２のエンコーダが、２つのストリームを単一のストリームに多重化するために、エンコードされたデータを第１のエンコーダに送信するからである。さらに、第１のエンコーダは、この実施形態では、マスタチップとして機能してよい一方で、第２のエンコーダは、スレーブチップとして機能してよい。これにより、複数のイメージフレームのエンコーディングを目的とする、エンコーダ間のタスクの分割が簡素化される。
【００２３】
本発明の第２の態様によると、処理機能を有するデバイスにより実行されると、第１の態様の方法を実施するよう構成されているコンピュータコード命令を保存しているコンピュータ可読媒体を含むコンピュータプログラム製品により、上記の目的が達成される。
【００２４】
本発明の第３の態様によると、第１のエンコーダ及び第２のエンコーダを含むデバイスにより、上記の目的が達成される。このデバイスは、第１のイメージフレーム及び第２のイメージフレームを含む複数のイメージフレームをエンコードするよう構成されている。イメージフレームのそれぞれは、第１のエンコーダ及び第２のエンコーダを使用してエンコードされる。第１のエンコーダは、ブロックマッチング用の第１の検索ウィンドウのサイズが定められている。このデバイスは、プロセッサを含む。このプロセッサは、
イメージデータの第１の部位及び第２の部位を形成するために、第１のイメージフレームのイメージデータを、水平方向又は垂直方向である第１の方向に分割することと、
イメージデータの第１の部位を、第１のエンコーダを使用してエンコーディングすることと、イメージデータの第２の部位を、第２のエンコーダを使用してエンコーディングすることと、により、第１のイメージフレームをエンコードすることと、
イメージデータの第３の部位及び第４の部位を形成するために、第２のイメージフレームのイメージデータを第１の方向に分割することであって、第２のイメージフレーム内のイメージデータの第３の部位と第４の部位の間の境界の位置は、イメージデータの第３の部位のサイズが、イメージデータの第１の部位のサイズと比較して小さくなるよう、第１のイメージフレーム内のイメージデータの第１の部位と第２の部位との間の境界の位置に関してオフセットされ、
第１の方向が水平方向である場合、このオフセットは、第１の検索ウィンドウの高さの半分であり、この境界は、垂直方向にオフセットされ、
第１の方向が垂直方向である場合、このオフセットは、第１の検索ウィンドウの幅の半分であり、この境界は、水平方向にオフセットされる、第２のイメージフレームのイメージデータを第１の方向に分割することと、
イメージデータの第３の部位を、第１のエンコーダを使用してエンコーディングすることと、イメージデータの第４の部位を、第２のエンコーダを使用してエンコーディングすることと、により、第２のイメージフレームをエンコードすることと、
を行うよう構成されている。
【００２５】
本発明の第４の態様によると、システムにより、上記の目的が達成される。このシステムは、
シーンを描くビデオシーケンスを連続して撮像するよう構成されているビデオ撮像デバイスと、
一連のイメージフレームを、ビデオ撮像デバイスから連続して受信し、一連のイメージフレームをエンコードし、エンコードされた一連のイメージフレームを出力するよう構成されている、第３の態様に係るデバイスと、
を含む。
【００２６】
いくつかの実施形態によると、このデバイスは、ビデオ撮像デバイス内に統合されている。
【００２７】
第２、第３、及び第４の態様は一般的に、第１の態様と同じ特徴及び利点を有してよい。本発明は更に、特に明白に言及していない限り、すべての可能な特徴の組み合わせに関連することに留意されたい。
【００２８】
本発明の、上記及び更なる目的、特徴、並びに利点は、添付図面を参照しての、本発明の好適な実施形態の、以下に記載する例示的且つ非限定の詳細説明を通して良好に理解される。ここでは、同様のコンポーネントには同じ参照番号が用いられる。
【図面の簡単な説明】
【００２９】
【図１】図１ａから図１ｃはそれぞれ、第１のエンコーダによりエンコードされる、各イメージフレームの、徐々に縮小している部位と、第２のエンコーダによりエンコードされる、各イメージフレームの、徐々に拡大している部位と、の例を示す。
【図２】実施形態に係る、第１のイメージフレーム及び第２のイメージフレームを含む複数のイメージフレームをエンコーディングする方法を示す。
【図３】実施形態に係る、第１のイメージフレーム及び第２のイメージフレームを含む複数のイメージフレームをエンコーディングする方法を示す。
【図４】実施形態に係る、第１のイメージフレーム及び第２のイメージフレームを含む複数のイメージフレームエンコーディングするデバイスを示す。
【図５】実施形態に係る、第１のイメージフレーム及び第２のイメージフレームを含む複数のイメージフレームエンコーディングするデバイスを示す。
【発明を実施するための形態】
【００３０】
本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の実施形態を示す。以下に開示するシステム及びデバイスは、作動中のものとして説明される。
【００３１】
符号化することの新たな方法、例えば、アドバンスドビデオコーディング（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ又はＡＶＣ）（Ｈ．２６４とも呼ぶ）及び高効率ビデオコーディング（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ又はＨＥＶＣ）（Ｈ．２６５とも呼ぶ）では、タイル（ＨＥＶＣエンコーディングによってのみサポートされている）及びスライスのコンセプトが導入されている。タイル及びスライスは、独立してデコードすること／エンコードすることができる矩形（又は、後述するように、実質的に矩形）領域の格子に画像を分割することを可能にする。独立してコード化できるようにするため、１つを超えるスライス又はタイルからのピクセルを使用するいずれの予測はあってはならず、予測からの結果は、同じスライス又はタイル内でのみ使用されなければならない。このコンセプトは、並列プロセッシングの目的に使用され、別個のエンコーダ又はエンコーダのコアに、イメージフレームを並列にエンコードさせてよい。本開示では、リファレンスエンコーディング（インターエンコーディング、Ｐフレームエンコーディング、Ｂフレームエンコーディング）のための別個のバッファメモリを有する別個のエンコーダ（第１のエンコーダ及び第２のエンコーダ）が採用され、イメージフレームをエンコードするための、タイル／スライスのコンセプトを使用している。この設定では、モーションベクトルが生じるとしかし、問題が発生する。なぜならこれは、理論的に、エンコーダの双方が、リファレンスフレーム全体、又は、少なくとも、検索ウィンドウのサイズにしたがって必要な部分へのアクセスを有する必要があることを意味するからである。本開示は、リファレンスエンコーディングを目的として、データを、１つのエンコーダから他のエンコーダへコピーすることのみを必要とし、同目的として、他の方向へコピーすることを必要としないエンコーディング方法に向けられている。上述するように、発明者らは、次のことを理解している。すなわち、判定された数のイメージフレーム（例えば、ＧＯＰ、又は、ＧＯＰの半分、など）について、例えば第１のエンコーダにてエンコードされたイメージデータの部位が、第１のエンコーダの検索ウィンドウのサイズにしたがって徐々に減少するよう、連続的なイメージフレームのストリームのイメージフレーム間を動的に変わるスライス又はタイルの境界を利用することにより、この目的が達成され得る。第２のエンコーダについては、複数のイメージフレームを通して境界がそのまま残される場合よりも、多くのデータが、第１のエンコーダからコピーされる必要がある。しかし、データを他の方向にコピーしなくともよいことの利点は、データを余分に第１のエンコーダから第２のエンコーダへコピーしなければならないことのいずれの不利益な点を上回る。例えば、上述するように、かつ、さらに後述するように、２つのエンコーダ間の同期要件が緩和される。エンコーダの双方が、インターエンコーディングのために、他のエンコーダからのイメージデータを必要とする場合、エンコーダの双方は、イメージデータ全体を他のエンコーダにコピーする前に、リファレンスフレームの少なくとも関連するエリアをエンコ��ディングすることを終えなければならない。この要件は、ここに記載するエンコーディング方法により不要となる。
【００３２】
図１ａから図１ｃは、第１のエンコーダによりエンコードされる、各イメージフレームの、徐々に縮小している部位と、第２のエンコーダによりエンコードされる、各イメージフレームの、徐々に拡大している部位と、の例を示す。図１ａから図１ｃでは、グレーエリア１０６は、第２のエンコーダによりエンコードされるイメージデータを表し、ホワイトエリア１０４は、第１のエンコーダによりエンコードされるイメージデータを表す。図１ａでは、第１のイメージフレーム１０２ａ、第２のイメージフレーム１０２ｂ、及び第ｎ番目のイメージフレーム１０２ｎが、例示のために示されている。この実施形態では、複数のイメージフレーム１０２ａからイメージフレーム１０２ｎのイメージデータは、垂直方向に分割されている。第１のイメージフレーム１０２ａのイメージデータはしたがって、垂直方向に分割され、イメージデータの第１の部位１０４ａ及び第２の部位１０６ａを形成している。第２のイメージフレーム１０２ｂについては、イメージデータは垂直方向に分割され、イメージデータの第３の部位１０４ｂ及び第４の部位１０６ｂを形成している。第２のイメージフレーム１０２ｂ内のイメージデータの第３の部位と第４の部位との間の境界の位置は、第１のイメージフレーム内のイメージデータの第１の部位と第２の部位との間の境界の位置に関してオフセットされている。このオフセットを、第２のイメージフレーム１０２ｂに、点線エリア１１０として示す。オフセット１１０は、（イメージフレーム１０２ａからイメージフレーム１０２ｎのホワイトエリア１０４をエンコーディングする）第１のエンコーダの検索ウィンドウの幅の半分に対応し、この境界は、水平方向にオフセットされる。これは、イメージデータの第３の部位１０４ｂのサイズが、イメージデータの第１の部位１０４ａのサイズと比較して、より小さいことを意味する。境界をこのようにオフセットすることにより、イメージデータの第３の部位１０４ｂのインターエンコーディングを目的として、データを第２のエンコーダから第１のエンコーダへコピーすることが不要となる。
【００３３】
イメージデータの第４の部位１０６ｂのインターエンコーディングを目的として、イメージデータを第１のエンコーダからコピーすることはしかし必要である。その結果、イメージデータの第４の部位１０６ｂがインターエンコードされる本実施形態では、イメージデータの第１の部位１０４ａが垂直方向に分割され、イメージデータの第１のサブ部位１０８及び第２のサブ部位が形成される。第１のサブ部位１０８は、イメージデータの第２の部位１０６ａに近傍の、イメージデータの第１の部位１０４ａのイメージデータからなり、第２のエンコーダの検索ウィンドウの幅の半分と、第１のエンコーダの検索ウィンドウの幅の半分と、の和に等しい幅を有する。イメージデータのサブ部位１０８は、第１のエンコーダにより、エンコードされ、そして再度デコードされる。イメージデータの第１の部位１０４ａのサブ部位１０８に対応する、デコードされたイメージデータは続いて、第２のエンコーダにコピーされ、イメージデータの第４の部位１０６ｂのインターエンコーディングのために、イメージデータの第２の部位１０６ａのデコードされたバージョンと共に、リファレンスデータとして使用される。
【００３４】
その結果、上述するようにコピーすることの後、第１のエンコーダ及び第２のエンコーダは、第２のイメージフレーム１０２ｂのイメージデータの第３の部位１０４ｂ及び第４の部位１０６ｂをエンコーディングする際に、互いに独立して作動してよい。なぜなら、インターエンコーディングのために必要なデータのすべてが、別個に配置された第１のエンコーダ及び第２のエンコーダのバッファメモリのそれぞれの中に存在するからである。
【００３５】
図１に示すように、第２のイメージフレーム１０２ｂと第ｎ番目のイメージフレーム１０２ｎとの間のイメージフレームのすべてについて、２つのエンコーダによりエンコードされるイメージデータの部位の間の境界の段階的な移動は、イメージフレーム１０２ａからイメージフレーム１０２ｎのイメージデータの２つの部位の間の境界の位置が、イメージフレーム１０２ａからイメージフレーム１０２ｎにわたって徐々に移動するように、繰り返し行われる。複数のイメージフレーム１０２ａからイメージフレーム１０２ｎは、いくつかの実施形態では、写真の群（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ又はＧＯＰ）に対応する。いくつかの実施形態では、第１のイメージフレーム１０２ａは、ＧＯＰの第１のイメージフレームに対応し、そのようにイントラエンコードされる。
【００３６】
また、図１ａに示すように、第ｎ番目のイメージフレーム１０２ｎについては、２つのエンコーダによりエンコードされる、イメージデータの部位１０４ｎ及び１０６ｎの比率が反転している。例えば、第１のイメージフレーム１０２ａの比率は、イメージデータの８０％が、第１のエンコーダによりエンコードされ、イメージデータの２０％が、第２のエンコーダによりエンコードされることを示す。一方で、第ｎ番目のイメージフレームについては、これらの比率が、２０％及び８０％に反転している。この実施形態では、複数のイメージフレーム１０２ａからイメージフレーム１０２ｎのエンコーディング中に、第１のエンコーダ及び第２のエンコーダの計算負荷のバランスがとられている。
【００３７】
第１のエンコーダにより使用される検索ウィンドウのサイズの半分に対応して、境界の位置を移動させることにより、第１のフレーム１０２ａをエンコーディングすること及びデコーディングすることから、第２のフレーム１０２ｂの第３の部位１０４ｂ内のブロックのすべてをエンコーディングすることに必要なイメージデータへのアクセスを、第１のエンコーダが確実に有することとなる。境界の隣の、第３の部位１０４ｂの最も端にあるマクロブロックでさえも、第１のフレーム１０２ａから、第１のエンコーダにて利用可能なデータ内の第１の検索ウィンドウの全体内にて、検索できるようになる。検索ウィンドウのサイズの半分に対応して、境界が徐々に移動すると、第１のエンコーダによりエンコードされる部位は、徐々に縮小する。したがって、第１の検索ウィンドウを用いての検索のために十分なイメージデータが、以前のフレームをエンコーディングすること及びデコーディングすることから、確実に利用可能となる。境界が固定されている場合、境界の隣のブロックへのモーションベクトル検索も可能にするために、各フレームに対して、リファレンスデータを、第２のエンコーダから第１のエンコーダへコピーする必要がある。しかし、境界の位置を、検索ウィンドウの半分だけ、１つのフレームから次のフレームに移動させることにより、そのようにコピーすることが不要となる。
【００３８】
いくつかの実施形態では、（ＧＯＰの最後のイメージフレームであってよい）最後のイメージフレーム１０２ｎについて、イメージデータの分割の比率が反転するように、第１のイメージフレーム１０２ａのイメージデータの分割の比率が定められる。この実施形態では、イメージデータの第１の部位１０４ａと第２の部位１０６ａとの間の境界はしたがって、第１のエンコーダの検索ウィンドウのサイズ（この実施形態では、境界の方向が垂直であるため、検索ウィンドウの幅）と、再開される前に境界が徐々に移動するイメージフレームの数（この場合はｎ）と、に基づいて設定されている。これにより、第１のエンコーダ及び第２のエンコーダの計算負荷のバランスが、複数のイメージフレーム１０２ａからイメージフレーム１０２ｎのエンコーディング中にとれるようになる。しかし、ｎが大きい場合、境界が、イメージデータの他の端まで、そしてそれを超えて移動することを意味することとなる。その結果、いくつかの実施形態によると、ｎ（例えば、ＧＯＰの長さ）は、第１のエンコーダに対する、検索ウィンドウの定められたサイズについて、複数のイメージフレーム１０２ａからイメージフレーム１０２ｎの中の、最後のイメージフレーム１０２ｎについては、第１のエンコーダによりエンコードされるイメージデータの部位のサイズが、第１の閾値を超えるように設定される。いくつかの実施形態によると、ｎは、第１のエンコーダ及び第２のエンコーダの計算負荷のバランスが、複数のイメージフレーム１０２ａからイメージフレーム１０２ｎの中でとれるように設定される。例えば、図１ａでは、第１のエンコーダによりエンコードされるイメージデータの部位が、各イメージフレームに対して５％減るよう、境界が移動することを、第１のエンコーダの検索ウィンドウの幅が意味し、イメージデータの７０％が、第１のエンコーダによりエンコードされ、イメージデータの３０％が、第２のエンコーダによりエンコードされることを、第１のイメージフレーム１０２ａの比率が示し、第１の閾値が、３０％に設定される（第１のエンコーダ及び第２のエンコーダの計算負荷のバランスが、複数のイメージフレームの中でとれる）場合、ｎは９に等しくなる。各イメージフレームに対して、第１のエンコーダによりエンコードされるイメージデータの部位が１０％減ると、ｎは５などに等しくなる。
【００３９】
図１ｂは、図１ｂと同じシナリオを示すが、それぞれのイメージフレーム内のイメージデータの分割は、水平方向に行われる。
【００４０】
図１ａから図１ｂでは、第１のエンコーダ及び第２のエンコーダによりエンコードされるイメージデータの部位の間の境界が、直線の境界として示されている。しかし、図１ｃに示す階段状の境界が、等しく可能であることに留意するべきである。Ｈ．２６４及びＨ．２６５は、そのような形状のスライス／タイルをサポートする。その結果、ここに記載するイメージデータの部位は、四角形に制限されない。図１ｃに示すように、イメージフレームのイメージデータ内の（図１ｃに正方形として示す）マクロブロック／ＣＴＵの特定の行について、これらマクロブロックのいくつかは、イメージデータの第１の部位の一部であってよく、残りのマクロブロックは、イメージデータの第２の部位の一部であってよい。例えば、第１のイメージフレーム１０２ａについては、二行目のマクロブロックは、イメージデータの第１の部位とイメージデータの第２の部位との間にて分割されている。第２のイメージフレーム１０２ｂについては、境界が、１つのマクロブロック分だけ移動している。その結果、三行目のマクロブロックが、イメージデータの第３の部位とイメージデータの第４の部位との間にて分割されている。この実施形態では、（例えば、ＧＯＰの）最後のイメージフレームを表す第３のイメージフレーム１０２ｃは、境界が、さらに別のマクロブロック分だけ垂直方向に（つまり、境界の方向に直交して）移動している。
【００４１】
図２は、例示のために、上述するように、複数のイメージフレームをエンコーディングするエンコーディング方法の各ステップのタイムラインを示す。第１のエンコーダにより行われるステップを、図２の右（一点長鎖線の右側）に示す。第２のエンコーダにより行われるステップを、図２の左（一点長鎖線の左側）に示す。
【００４２】
このエンコーディング方法の利点の１つは、データを第２のエンコーダから第１のエンコーダへコピーすることの要件を不要とすることにより、第１のエンコーダと第２のエンコーダとの間の同期要件が緩和されることである。このことについて図２に例示する。さらに、図２の例では、以下の点において、第１のエンコーダは、マスタエンコーダとして機能する。すなわち、第１のエンコーダは、第２のエンコーダによりエンコードされたイメージデータを受信しＳ２０８、Ｓ２１７、及びＳ２２２、エンコードされたイメージを形成する（多重化する）Ｓ２１０、Ｓ２１８、及びＳ２２４よう配置されている。エンコードされたイメージは、第１のエンコーダによりエンコードされたイメージデータを、第１のタイル又は第１のスライスとして含み、第２のエンコーダによりエンコードされたイメージデータを、第２のタイル又は第２のスライスとして含む。図２では、多重化機能Ｓ２１０、Ｓ２１８、及びＳ２２４は、第１のエンコーダ内の別個のコア／スレッドにより行われる。したがって、例えば、第２のイメージフレームの第１の部位のエンコーディングＳ２１２に遅延が生じない。これは随意的な特徴である。他の実施形態によると、多重化機能Ｓ２１０、Ｓ２１７、及びＳ２２４は、第１のエンコーダによるイメージフレームのエンコーディングの間に行われる。
【００４３】
図２の実施形態では、イメージデータの第１の部位を、第１のエンコーダを使用してエンコーディングすることＳ２０２は、イメージデータの第２の部位を、第２のエンコーダを使用してエンコーディングすることＳ２０４が始まる前の時点に始まる。図２では、（第２のイメージフレームの第１の部位として図２に引用される）イメージデータの第３の部位を、第１のエンコーダを使用してエンコーディングすることＳ２１２は、イメージデータの第２の部位を、第２のエンコーダを使用してエンコーディングすることＳ２０４が終わる前の時点に始まる。いくつかの実施形態では、イメージデータの第３の部位を、第１のエンコーダを使用してエンコーディングすることＳ２１２は、イメージデータの第２の部位を、第２のエンコーダを使用してエンコーディングすることＳ２０４が始まる時点と同じ時点、又は、イメージデータの第２の部位を、第２のエンコーダを使用してエンコーディングすることＳ２０４がまだ始まる前の時点に始まる。これは、上述するように、第１のエンコーダが、インターエンコーディングを目的として、第２のエンコーダからコピーされたいずれのデータを必要としないという事実により、可能となっている。
【００４４】
図２のこの方法は、データを、リファレンスエンコーディングを目的として、第１のエンコーダから第２のエンコーダへコピーすることＳ２０６及びＳ２１６をさらに含む。いくつかの実施形態によると、コピーすることＳ２０６及びＳ２１６は、第１のエンコーダでの、イメージデータの必要な部位のエンコーディングが完了するとすぐに、つまり、第１のエンコーダによるイメージデータの部位全体をエンコーディングすることＳ２０２及びＳ２１２が完了する前に行われてよい。好適には、待ち時間がこれにより短縮され得る。
【００４５】
第１のエンコーダ及び第２のエンコーダを含むデバイスであって、（上記にしたがって）第１のイメージフレーム及び第２のイメージフレームを含む複数のイメージフレームをエンコードするよう構成されているデバイスを、図３から図５を参照してさらに説明する。そのようなデバイス４０５及び５０５の実施形態を図４及び図５に示す。ここでは、デバイス４０５及び５０５は、図３の方法及び上記の他の実施形態を行うよう構成されている。図４及び図５では、デバイス４０５及び５０５は、ビデオ撮像デバイス４００及び５００内に統合されている。しかし、他の実施形態によると、デバイスは、ビデオ撮像デバイスとは別個に配置されており、例えば、有線又は無線ネットワークを通してビデオ撮像デバイスに接続されている。いずれの場合であっても、図４及び図５の例では、デバイス４０５及び５０５は、（つまり、ビデオ撮像デバイス４００及び５００のイメージセンサ４０２により撮像された、シーンを描く）一連のイメージフレーム１０２を、ビデオ撮像デバイス４００及び５００から連続して受信するよう構成されている。他の実施形態では、デバイスは、予め記録された一連のイメージフレームを受信し、ここに記載するようにそれらをエンコードする。
【００４６】
デバイス４０５及び５０５は、例えば図３にて例示のために説明するような方法を行い、ここに記載するように、デバイス４０５及び５０５の２つのエンコーダ４０８及び４１０を制御し、複数のイメージフレーム１０２をエンコードするよう構成されている、少なくとも１つのプロセッサ（図示せず）を含む。
【００４７】
任意に、プロセッサは、上述するように、ＧＯＰ内の最後のイメージフレームについて、第１のエンコーダ４０８によりエンコードされるイメージデータの部位のサイズが、第１の閾値を超えるよう、第１の検索ウィンドウのサイズに基づいて、ＧＯＰ長を判定するＳ３０２よう構成されている。
【００４８】
任意に、プロセッサは、第１のイメージフレームのイメージデータの第１の部位と第２の部位との間の境界の位置を、第１の検索ウィンドウのサイズ、第１の方向、及びＧＯＰの長さに基づいて設定し、第１のエンコーダ及び第２のエンコーダの計算負荷のバランスがＧＯＰ内にてとれるようにするＳ３０３よう構成されている。
【００４９】
プロセッサは、イメージデータの第１の部位１０４及び第２の部位１０６を形成するために、第１のイメージフレームのイメージデータを、水平方向又は垂直方向である第１の方向に分割するＳ３０４よう構成されている。
【００５０】
プロセッサは、イメージデータの第１の部位１０４を、第１のエンコーダを使用してエンコーディングすることと、イメージデータの第２の部位１０６を、第２のエンコーダを使用してエンコーディングすることと、により、第１のイメージフレームをエンコーディングすることＳ３０６を制御するようさらに構成されている。
【００５１】
図４では、第１のエンコーダ４０８からエンコードされたデータ４１４と、第２のエンコーダからエンコードされたデータ４１６と、が、別個のマルチプレクサ４１８に送信され、エンコードされたイメージストリーム４２０が形成される（多重化される）。エンコードされたイメージストリーム４２０内の各イメージは、第１のエンコーダ４０８によりエンコードされたイメージデータ１０４を、第１のタイル又は第１のスライスとして含み、第２のエンコーダ４１０によりエンコードされたイメージデータ１０６を、第２のタイル又は第２のスライスとして含む。
【００５２】
図５の実施形態では、第１のエンコーダは、マルチプレクサ４１８として機能する。この実施形態では、プロセッサは、第２のエンコーダ４１０を制御し、エンコードされたデータ４１６を第１のエンコーダに送信するよう構成されている。換言すると、図５の実施形態では、第１のエンコーダは、第２のエンコーダによりエンコードされたイメージデータ４１６を受信し、エンコードされたイメージストリーム４２０を形成するＳ３１０よう配置されている。エンコードされたイメージストリーム４２０内の各エンコードされたイメージは、第１のエンコーダによりエンコードされたイメージデータ１０４を、第１のタイル又は第１のスライスとして含み、第２のエンコーダによりエンコードされたイメージデータ１０６を、第２のタイル又は第２のスライスとして含む。
【００５３】
さらに、プロセッサは、上述するように、リファレンスイメージデータ４１２を、第１のエンコーダ４０８から第２のエンコーダ４１０へコピーするＳ３０８ようさらに構成されていてよい。
【００５４】
エンコーダ４０８及び４１０はそれぞれ、別個のバッファメモリ（図示せず）を含む。ここでは、リファレンスエンコーディング（インターエンコーディング、Ｐフレーム、Ｂフレームなど）に使用されたイメージデータが保存され、連続して置き換えられる。
【００５５】
さらに、開示する実施形態に対するバリエーションが、特許権を主張する本発明の実施において、本図面、本開示、及び添付の本特許請求の範囲の検討により、当業者により理解され、達成され得る。例えば、ここに記載するイメージセンサ４０２は、イメージフレーム毎に１５メガピクセルから２０メガピクセルのサイズのイメージデータを撮像するよう構成されていてよい。これらのサイズは、本開示のこの方法に特に好適である。しかし、撮像されたイメージフレームの他のサイズが適用されてよい。
【００５６】
さらに、本発明は、１つの画像を２つ又はそれ以上の部位に分割するコンテキストにて説明されているが、同原理は、２つ又はそれ以上のイメージセンサから１つの画像を生成するために使用されてよい。
【００５７】
本説明及び図面では、２つのエンコーダが使用されている。しかし、エンコーディングは、２つを超えるエンコーダを使用して、イメージデータを、２つを超えるスライス又はタイルに分割するよう行われてよい。
【００５８】
第１の検索ウィンドウ及び第２の検索ウィンドウは、等しいサイズであってよい。しかし、いくつかの例では、より小さい検索ウィンドウを使用して、１つ又はそれ以上のエンコーダでの検索を制限し、他のエンコーダには、より大きい検索ウィンドウにて検索を許可することも、例えば、１つのエンコーダにかかる負荷が、他のエンコーダにかかる負荷より高い場合に、有益となり得る。
【００５９】
第１の検索ウィンドウ及び第２の検索ウィンドウはそれぞれ、固定サイズであってよい。しかし、動的に変化する検索ウィンドウサイズを使用することも可能となるであろう。１つ又はそれ以上のイメージフレーム内にてエンコードされたモーションベクトルの長さを使用して、後続するイメージフレームに対する検索ウィンドウのサイズを判定してよい。例えば、エンコードされたモーションベクトルの長さが閾値未満の場合、検索ウィンドウサイズが縮小されてもよい。また、エンコーディング効率を改善するために、ＧＯＰ長が延長されてもよい。
【００６０】
さらに、本図面及び本明細書にて、本発明の好適な実施形態及び実施例が開示されている。具体的な用語が採用されているものの、これらは総称的かつ説明においてのみ使用されており、限定を目的とするものではない。本発明の範囲は、以下の特許請求の範囲により明らかとなっている。特許請求の範囲では、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、他の要素又はステップを排除しない。不定冠詞「ａ」又は「ａｎ」は、複数を排除しない。
【図１】
2020113967.tif 000003
【図２】
2020113967.tif 000004
【図３】
2020113967.tif 000005
【図４】
2020113967.tif 000006
【図５】
2020113967.tif 000007
【外国語明細書】
2020113967000001.pdf
2020113967000002.pdf
2020113967000003.pdf
2020113967000004.pdf