(57)【要約】      （修正有）【課題】移動物体に載置されたカメラにより撮像された一連のビデオフレームの符号化において品質を改善するための方法、コントローラ、及びシステムを提供する。【解決手段】符号化方法は、カメラの移動量を示す入力を受信することと、所定の距離に関する入力を受信することと、イントラ符号化されるビデオフレームの撮像と撮像との間にカメラが最大で所定の距離を移動するように一連のビデオフレームをイントラ符号化するかインター符号化するかをカメラの移動量、及び所定の距離に基づいて選択することとを含む。【選択図】図６
2020025247.tif 000002
【特許請求の範囲】
【請求項１】
移動物体（１００）に載置されたカメラ（２０４）により固定の経時的なフレームレートにて撮像された一連のビデオフレーム（２０５）の符号化の方法であって、
前記カメラ（２０４）の移動量を示す入力（２１２）を受信すること（Ｓ０２）と、
所定の空間距離（Ｄ）に関する入力（２１３）を受信すること（Ｓ０４）と、
イントラ符号化されるビデオフレームの撮像と撮像との間に前記カメラ（２０４）が最大で前記所定の空間距離（Ｄ）を移動するように、前記一連のビデオフレーム（２０５）をイントラ符号化するか、インター符号化するかを、前記カメラ（２０４）の前記移動量及び前記所定の空間距離（Ｄ）に基づいて選択すること（Ｓ０６）とを含む、
方法。
【請求項２】
前記一連のビデオフレーム（２０５）をイントラ符号化するか、インター符号化するかを前記カメラ（２０４）の前記移動量及び前記所定の空間距離に基づいて選択する前記ステップ（Ｓ０６）が、前記ビデオフレームがイントラ符号化フレームとして符号化されるレートを設定することを含む、請求項１に記載の方法。
【請求項３】
前記一連のビデオフレーム（２０５）をイントラ符号化するか、インター符号化するかを選択する前記ステップ（Ｓ０６）が、
前記カメラ（２０４）の移動量を示す前記入力（２１２）に基づいて、前記カメラ（２０４）がイントラ符号化されたビデオフレームを最後に撮像してから移動した距離（ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６）を算出することと、
現在又は前回のビデオフレームをイントラ符号化するか、インター符号化するかを、前記算出した距離（ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６）と前記所定の空間距離（Ｄ）との比較に基づいて選択することとを含む、請求項１又は２に記載の方法。
【請求項４】
閾値（Ｔ）よりも前記算出した距離（ｄ１、ｄ２、ｄ３、ｄ４、ｄ５）が、前記所定の空間距離（Ｄ）に近い場合に、前記現在のビデオフレームがイントラ符号化されることが選択され、前記閾値（Ｔ）よりも前記算出した距離（ｄ１、ｄ２、ｄ３、ｄ４、ｄ５）が、前記所定の空間距離（Ｄ）から遠い場合に、前記現在のビデオフレームがインター符号化されることが選択される、請求項３に記載の方法。
【請求項５】
前記閾値（Ｔ）が、前記カメラ（２０４）の前記移動量と、前記一連のビデオフレーム（２０５）をイントラ符号化するか、インター符号化するかを前記カメラ（２０４）の前記移動量及び前記所定の空間距離（Ｄ）に基づいて選択する前記ステップが繰り返されるレートとの、少なくとも１つに依存する、請求項４に記載の方法。
【請求項６】
前記カメラ（２０４）の移動量を示す前記入力（２１２）は、特定の時点での、前記カメラ（２０４）の速度と、前記カメラ（２０４）の位置との少なくとも１つを含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記カメラ（２０４）の移動量を示す前記入力（２１２）は、前記カメラに含まれる、又は、前記移動物体（１０２）に付けられた、加速度計、ジャイロスコープ、及び測位デバイスうちの１つ又はそれ以上から受信する、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記一連のビデオフレーム（２０５）をイントラ符号化するか、インター符号化するかを前記カメラ（２０４）の前記移動量及び前記所定の空間距離（Ｄ）に基づいて選択する前記ステップ（Ｓ０６）が、前記一連のビデオフレーム（２０５）のそれぞれに対して繰り返される、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記一連のビデオフレーム（２０５）をイントラ符号化するか、インター符号化するかを前記カメラ（２０４）の前記移動量及び前記所定の空間距離（Ｄ）に基づいて選択する前記ステップ（Ｓ０６）が、前記移動物体（１０２）の最大速度に依存して設定されるレートにて繰り返される、請求項１〜７のいずれか一項に記載の方法。
【請求項１０】
前記カメラ（２０４）がビデオストレージ容量を有し、前記カメラ（２０４）の前記ビデオストレージ容量の現在の使用量と、前記カメラ（２０４）の前記移動量との少なくとも１つに基づいて、前記所定の空間距離（Ｄ）を調整することを更に含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記所定の空間距離（Ｄ）が、前記カメラ（２０４）内の前記ビデオストレージ容量及び前記移動物体（１０２）の移動パターンを反映する履歴データに依存して設定される範囲内に調整される、請求項１０に記載の方法。
【請求項１２】
ビデオエンコーダ（２０６）を制御して、移動物体（１０２）に載置されたカメラ（２０４）により固定の経時的なフレームレートにて撮像された一連のビデオフレーム（２０５）を符号化するためのコントローラ（２０８）であって、
前記カメラ（２０４）の移動量を示す入力（２１２）及び所定の空間距離（Ｄ）に関する入力（２１３）を受信するよう構成されているレシーバ（３０２）と、
前記ビデオエンコーダ（２０６）を制御して、イントラ符号化されるビデオフレームの撮像と撮像との間に前記カメラ（２０４）が最大で前記所定の空間距離（Ｄ）を移動するように、前記一連のビデオフレーム（２０５）をイントラ符号化するか、インター符号化するかを、前記カメラ（２０４）の前記移動量及び前記所定の空間距離（Ｄ）に基づいて選択するよう構成されている、制御コンポーネント（３０４）とを備える、
コントローラ（２０８）。
【請求項１３】
移動物体（１０２）上に載置され、一連のビデオフレーム（２０５）を、固定の経時的なフレームレートにて撮像するよう構成されているビデオカメラ（２０４）と、
前記ビデオカメラ（２０４）の移動量を測定するよう構成されている移動測定デバイス（２１０）と、
前記ビデオカメラ（２０４）により前記固定の経時的なフレームレートにて撮像された前記一連のビデオフレームを符号化するためのビデオエンコーダ（２０６）と、
前記ビデオエンコーダ（２０６）を制御するための、請求項１２に記載のコントローラ（２０８）とを備える、システム（１００）。
【請求項１４】
処理機能を有するデバイスにより実行されると、請求項１〜１１のいずれか一項に記載の方法を実施するよう適合しているコンピュータコード命令を保存しているコンピュータ可読媒体を備える、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化の分野に関する。特に、本発明は、移動物体に載置されたカメラにより撮像された一連のビデオフレームの符号化のための方法及び関連するデバイスに関する。
【背景技術】
【０００２】
モニタリング及び監視の目的のために、ビデオカメラの使用が増えている。これは特に、身体着用型カメラ、又は、列車若しくはバス上にて使用されるカメラなど、移動物体上に載置されたカメラに当てはまる。身体着用型カメラは、警察官又は警備員により使用され得、そのカメラにより撮像されたビデオは、犯罪科学の目的に使用され得る。ビデオをエビデンスとして供するために、カメラを着用した人がどのように動くかに関わらず、ビデオの品質が十分に高いことが重要である。多くのビデオ符号化方法が固定カメラに適合されて、最適化されるに従い、更なる改善が求められている。
【発明の概要】
【０００３】
上記を鑑み、従って本発明の目的は、移動物体に載置されたカメラにより撮像された一連のビデオフレームの符号化を改善することである。特に、本発明の目的は、移動物体の移動に関わらず、一定のビデオ品質を保証するよう、物体の移動に対して符号化を適合させることである。
【０００４】
第１の態様によると、上記目的は、移動物体に載置されたカメラにより撮像された一連のビデオフレームを符号化する方法によって実現される。該方法は、
カメラの移動量を示す入力を受信することと、
所定の距離に関する入力を受信することと、
イントラ符号化されるビデオフレームの撮像と撮像との間にカメラが最大で所定の距離を移動するように、一連のビデオフレームをイントラ符号化するか、インター符号化するかを、カメラの移動量及び所定の距離に基づいて選択することとを含む。
【０００５】
一連のビデオフレームとは、それぞれが画像データを保持する、経時的な一連の画像フレームを意味する。ビデオフレームは一般的に、イントラ符号化又はインター符号化され得る。イントラ符号化フレームは、いずれの他のフレームを参照することなく符号化されているという点において、自己完結型である。従って、イントラ符号化フレームは、いずれの他のフレームへのアクセスを有することなく復号され得る。このことは、１つ又はそれ以上の他のフレームを参照して符号化される、インター符号化フレームとは対照的である。このようにして、インター符号化フレームは通常、イントラ符号化フレームよりも、低ビットコストにて符号化され得る。しかし、インター符号化フレームの低ビットコストは、低品質という代償をもたらす。換言すると、イントラ符号化フレームは通常、インター符号化フレームよりも、品質が高くなり、従って、犯罪科学的に高い価値を有するという利点を有する。
【０００６】
固定カメラについては、イントラ符号化フレームを時間に応じて均一に分布させ、ビデオ品質を一定レベルに維持することを確かにすることは、理に適うことである。しかし、これは、移動物体に装着されたカメラについても同様に理に適うものではない。これが事実であることを確認するため、移動物体に載置され、イントラフレームが特定の経時的なレートにて符号化されるカメラについて検討する。物体が第１の速度にて移動するに従い、経時的なレートは第１の空間レートに変換する。例えば、物体が移動するメートル毎に、１つのフレームがイントラ符号化されてよい。物体がその代わりに第２の、より速い速度にて移動する場合、経時的なレートは第２の、より低い空間レートに変換する。例えば、物体が移動する１０メートル毎に、１つのフレームがイントラ符号化されてよい。最初の場合では、物体が移動するメートル毎に、１つの高品質フレームが符号化される。次の場合では、物体が移動する１０メートル毎に、１つの高品質フレームが符号化される。従って、単位時間毎に設定されたイントラ符号化レートを有することは、物体がより速く移動するに従い、ビデオの品質が単位距離毎に低下することとなる。移動物体に対するビデオの品質を一定にするために、これに代わり、単位時間毎ではなく、物体が移動する単位距離毎に設定されたイントラ符号化フレームのレートを有することは、更に理に適うものとなるであろう。これは、イントラ符号化されるビデオフレームの撮像と撮像との間にカメラが最大で所定の距離を移動するように、一連のビデオフレームをイントラ符号化するか、インター符号化するかを、カメラの移動量及び所定の距離に基づいて選択することにより実現される。
【０００７】
これはまた、符号化ビデオ内のクイックサーチを行う目的にも好都合であり得る。そのようなクイックサーチングは通常、イントラ符号化フレームに対して、符号化ビデオのスキャニングを可能とする。イントラ符号化フレームは続いて復号されて、順に示され得る。イントラ符号化フレームは自己完結型であるため、イントラ符号化フレームを復号するために、ビデオ内の他のフレームを復号する必要はない。カメラが最大で、イントラ符号化フレームを撮像する間に、所定の距離を移動するよう、イントラ符号化フレームをビデオシーケンス内に分布させることにより、カメラの移動全体を良好に網羅するビデオフレームが、クイックサーチにおいて利用可能となる。
【０００８】
移動物体は、例えば、人又は車両であってよい。
【０００９】
ビデオフレームのイントラ符号化とは、フレームが、ビデオシーケンス内の他のすべてのフレームとは独立して符号化されることを意味する。特に、イントラ符号化ビデオフレームは、ビデオシーケンス内の別のビデオフレームを参照することなく符号化される。イントラ符号化フレームは、例えばＨ．２６４及びＨ．２６５標準において、Ｉフレームとも呼ばれる場合がある。
【００１０】
ビデオフレームのインター符号化とは、フレームが、ビデオシーケンス内の他のフレームに依存して符号化されることを意味する。特に、インター符号化ビデオフレームは、ビデオシーケンス内の以前に復号されたビデオフレームを参照して符号化され得る。インター符号化フレームは、Ｈ．２６４及びＨ．２６５標準において、Ｂフレーム又はＰフレームとも呼ばれる場合がある。
【００１１】
カメラの移動量を示す入力は一般的に、時間に応じたカメラの移動を示す情報を意味する。特に、移動量を示す入力は、固定時点からカメラが移動した距離を導き出すことができる、いずれの情報であってよい。この入力は例えば、時間に応じたカメラの速度、又は、時間に応じたカメラの位置を示してよい。
【００１２】
フレームが符号化される場合、エンコーダは、フレームの、イントラ符号化又はインター符号化を選択する。この選択は、イントラ符号化フレームが選択される経時的なレートを管理するパラメータに従って行われてよい。経時的なレートは、カメラの移動量及び所定の距離に基づいて、カメラが最終的に最大で、イントラ符号化されるビデオフレームを撮像する間に、所定の距離を移動するよう、繰り返し調整されてよい。経時的なレートは、フレームがイントラ符号化される又はインター符号化される順序を指定する、写真の群（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ又はＧＯＰ）構造の長さに関連してよい。経時的なレートを調整することは故に、ＧＯＰ構造の長さを調整することに相当する。一連のビデオフレームをイントラ符号化するか、インター符号化するかを、カメラの移動量及び所定の距離に基づいて選択するステップは故に、ビデオフレームがイントラ符号化フレームとして符号化されるレートを設定することを含んでよい。このようにして、単位時間毎に設定された経時的なレートは、単位距離毎に設定された、イントラ符号化フレームのレートに調整されてよい。
【００１３】
フレームがイントラ符号化される経時的なレートを変更することは、ＧＯＰ構造が、カメラの移動量に基づいてどのように変更され得るかの一例である。ＩがＩフレームを示し、ＰがＰフレームを示すＩＰＰＰ．．．の形式のＧＯＰ構造について、ＧＯＰ構造の長さは、ＧＯＰ構造の、変更可能な唯一のパラメータである。より進んだ種類のＧＯＰ構造については、ＧＯＰ構造の、カメラの移動量に基づいて変更され得る更なるパラメータがある。更なるパラメータは、ＧＯＰ構造の長さの代替として、又は、ＧＯＰ構造の長さに加えて、変更されてよい。例えば、ＢがＢフレームを示すＩＢＢＰＢＢＰＢＢＰＢＢＩの形式のＧＯＰ構造について、Ｉ／Ｐフレーム間のＢフレーム数が、ＧＯＰ構造の、カメラの移動量に依存して変更され得る更なるパラメータである。
【００１４】
単位距離毎に設定された、イントラ符号化フレームのレートに到達するために、一連のビデオフレームをイントラ符号化するか、インター符号化するかを選択するステップは、カメラの移動量を示す入力に基づいて、カメラがイントラ符号化されたビデオフレームを最後に撮像してから移動した距離を算出することと、現在又は前回のビデオフレームをイントラ符号化するか、インター符号化するかを、算出した距離と所定の距離との比較に基づいて選択することとを含んでよい。従って、イントラ符号化するか、インター符号化するかの選択が行われる場合は、物体が、最後のイントラ符号化フレームが符号化されてからどれだけ遠くに移動したかをチェックされてよい。これは続いて所定の距離と比較されて、イントラ符号化フレームを符号化する時であるか否かを確認されてよい。
【００１５】
より詳細には、算出した距離が、閾値よりも、所定の距離に近い場合に、現在のビデオフレームがイントラ符号化されることが選択されてよい。算出した距離が、閾値よりも、所定の距離から遠い場合に、現在のビデオフレームがインター符号化されることが選択されてよい。従って、算出した距離が、（閾値に関して測定するように）依然として所定の距離よりも遠い場合には、現在のフレームは、インター符号化されてよい。しかし、算出した距離が、所定の距離に近づいている（閾値よりも、所定の距離に近い）場合には、ビデオフレームは良好にイントラ符号化されて、カメラが、イントラ符号化フレームの間に、所定の距離よりも更に移動しないことを確かにする。
【００１６】
閾値は、選択ステップが行われる２つの後続のフレームを撮像する間に、カメラが移動した距離に相当する、又は、より大きくなるように好適に設定される。このようにして、カメラは最終的に最大で、イントラ符号化されるビデオフレームを撮像する間に、所定の距離を移動する。例えば、閾値は、選択ステップが行われる、現在のフレーム及び次のフレームを撮像する間に、カメラが移動する距離に相当する、又は、より大きくなるように設定されてよい。物体は速度が可変なため、閾値は、カメラの現在の移動に対して好適に適合される。より詳細には、閾値が、カメラの移動量と、一連のビデオフレームをイントラ符号化するか、インター符号化するかをカメラの移動量及び所定の距離に基づいて選択するステップが繰り返されるレートと、の少なくとも１つに依存してよい。例として、現在の閾値は、物体の現在の速度と、選択ステップの繰り返し期間と、の積として算出されてよい。
【００１７】
カメラの移動量を示す入力は、最後のイントラ符号化フレームを撮像してから、カメラが移動した距離の算出を可能にする形態が好適である。例えば、カメラの移動量を示す入力は、特定の時点での、カメラの速度と、カメラの位置と、の少なくとも１つを含んでよい。カメラの移動量を示す入力は、時間と共に繰り返し受信されるため、この入力は故に、時間に応じたカメラの速度と、時間に応じたカメラの位置と、の少なくとも１つを示し得る。
【００１８】
カメラの移動量を示す入力は、カメラに含まれる、又は、移動物体に付けられた、加速度計、ジャイロスコープ、及び測位デバイス、の１つ又はそれ以上から受信してよい。測位デバイスは、全地球測位システム（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ又はＧＰＳ）デバイス又はその相当品であってよい。また、三角測量法に基づいて位置が導き出されてよい、遠隔通信モデムであってもよい。
【００１９】
一連のビデオフレームをイントラ符号化するか、インター符号化するかを、カメラの移動量及び所定の距離に基づいて選択するステップが、一連のビデオフレームのそれぞれに対して繰り返されてよい。換言すると、選択するステップが繰り返されるレートは、ビデオシーケンスのフレームレートに相当してよい。
【００２０】
しかし、処理電力を節約するために、選択するステップはより低い頻度にて行われてよい。選択するステップの目的は、カメラが最大で、イントラ符号化されるビデオフレームを撮像する間に、所定の距離を移動することを確かにすることである。多くの場合、物体は、限られた速度でのみ移動し得るため、物体は、ビデオシーケンスの２つの連続するフレームの間に、所定の距離を移動できない可能性がある。そのような場合、選択するステップを低いレートにて繰り返せば十分である。より具体的には、一連のビデオフレームをイントラ符号化するか、インター符号化するかを、カメラの移動量及び所定の距離に基づいて選択するステップが、移動物体の最大速度に依存して設定されるレートにて繰り返されてよい。選択するステップの繰り返し期間は、移動物体の最大速度と、選択するステップの繰り返し期間と、の積が、所定の距離より短くなるよう選択されてよい。
【００２１】
ビデオは、カメラ内にローカルに保存されてよい。この目的のため、カメラは、ビデオストレージ容量を有してよい。ビデオストレージ容量は通常限られており、特定の時間量だけ持続すべきである。例えば、ビデオストレージ容量は、カメラにより１日に撮像されたビデオを保存するために持続すべきである。ビデオストレージ容量は、持続すべき特定の時間量と共に、ビット配分を画定する。ビット配分から、単位時間毎にどれだけのビットが平均して消費されるかを導き出すことができる。
【００２２】
所定の距離の値は、符号化ビデオ内のビット数に影響する。物体の所与の速度について、所定の距離がより短いということは、イントラ符号化フレームがより頻繁に符号化されることを意味する。所定の距離が長い場合に比較して、符号化ビデオは従って、より多いビット数を含むこととなる。更に、物体の速度が増加するに従い、物体が所定の距離を移動する時間が短くなる。故に、イントラ符号化フレームの頻度、つまりはビットコストが、物体の速度と共に増加する。
【００２３】
限られたビデオストレージ容量に対処するため、所定の距離は、時間と共に調整されてよい。そうでなければ、ビット配分が超過するリスクがある。具体的には、方法は更に、カメラのビデオストレージ容量の現在の使用量と、カメラの移動量と、の少なくとも１つに基づいて、所定の距離を調整することを含んでよい。例えば、ビデオストレージ容量の現在の使用量が、ビット配分に従って、現時点までに消費され得る平均ビット数を超える場合、所定の距離は増加されてよい。逆もまた同様である。別の例によると、カメラの移動量が、特定レベルを、特定の時間量にわたって超える場合、所定の距離は増加されてよい。逆もまた同様である。
【００２４】
所定の距離は、ある範囲内に調整されてよい。例えば、所定の距離は、カメラ内のビデオストレージ容量及び移動物体の移動パターンを反映する履歴データに依存して設定される範囲内に調整されてよい。このようにして、所定の距離は、カメラ内の限られたビデオストレージ容量及び移動物体の典型的な移動パターンを考慮して選択された特定の範囲内にまとめられる。これにより、ビット配分が最終的に超過するリスクが減少する。第１の物体は、履歴データによると、平均して第２の物体よりも多く移動し得る。範囲の下端は従って、第２の物体よりも第１の物体に対して、より高く設定され得る（つまり範囲は、より長い距離に向けてシフトされ得る）。このようにして、第１の物体がビット配分を超過するリスクが減少する。
【００２５】
第２の態様によると、移動物体に載置されたカメラにより撮像された一連のビデオフレームを符号化するビデオエンコーダを制御するためのコントローラが提供される。このコントローラは、
カメラの移動量を示す入力及び所定の距離に関する入力を受信するよう構成されているレシーバと、
ビデオエンコーダを制御して、イントラ符号化されるビデオフレームの撮像と撮像との間にカメラが最大で所定の距離を移動するように、一連のビデオフレームをイントラ符号化するか、インター符号化するかを、カメラの移動量及び所定の距離に基づいて選択するよう構成されている、制御コンポーネントとを含む。
【００２６】
第３の態様によると、システムが提供される。このシステムは、
移動物体に載置され、一連のビデオフレームを撮像するよう構成されているビデオカメラと、
ビデオカメラの移動量を測定するよう構成されている移動測定デバイスと、
ビデオカメラにより撮像された一連のビデオフレームを符号化するためのビデオエンコーダと、
第２の態様に係る、ビデオエンコーダを制御するためのコントローラとを含む。
【００２７】
第４の態様によると、処理機能を有するデバイスにより実行されると、第１の態様に係る方法を実施するよう構成されているコンピュータコード命令を保存しているコンピュータ可読媒体を含む、コンピュータプログラム製品が提供される。
【００２８】
第２、第３、及び第４の態様は一般的に、第１の態様と同じ特徴及び利点を有してよい。本発明は更に、特に明白に言及していない限り、すべての可能な特徴の組み合わせに関連することに留意されたい。
【００２９】
本発明の、上記及び更なる目的、特徴、並びに利点は、添付図面を参照しての、本発明の好適な実施形態の、以下に記載する例示的且つ非限定の詳細説明を通して良好に理解される。ここでは、同様のコンポーネントには同じ参照番号が用いられる。
【図面の簡単な説明】
【００３０】
【図１】移動物体に載置されたカメラにより撮像された一連のビデオフレームの符号化のための、実施形態に係るシステムを示す。
【図２】図１に示すシステムを、模式的且つより詳細に示す。
【図３】移動物体に載置されたカメラにより撮像された一連のビデオフレームを符号化するビデオエンコーダを制御するための、実施形態に係るコントローラを模式的に示す。
【図４】ビデオシーケンスのビデオフレームをイントラ符号化するかインター符号化するかを選択する、第１の実施形態の群に係るプロセスを模式的に示す。
【図５】ビデオシーケンスのビデオフレームをイントラ符号化するかインター符号化するか選択する、第２の実施形態の群に係るプロセスを模式的に示す。
【図６】移動物体に載置されたカメラにより撮像された一連のビデオフレームを符号化するビデオエンコーダを制御するための、実施形態に係る方法のフローチャートである。
【発明を実施するための形態】
【００３１】
本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の実施形態を示す。本発明はしかし、多くの異なる形態にて体現されてよく、以下に示す実施形態に限定されるものとして理解すべきでない。むしろこれらの実施形態は、完璧性及び完全性のために、そして、本発明の範囲を当業者に十分に伝えるために提供される。以下に開示するシステム及びデバイスは、作動中のものとして説明される。
【００３２】
図１は、移動物体１０２に載置されたシステム１００を示す。移動物体１０２は一般的に、人又は車両などの、いずれの移動物体であってよい。
【００３３】
システム１００を、図２により詳細に示す。システムは、ビデオカメラ２０４と、ビデオエンコーダ２０６と、コントローラ２０８と、移動測定デバイス２１０とを含む。
【００３４】
ビデオカメラ２０４は、移動物体１００に載置されるよう構成されている。ビデオカメラ２０４は、一連のビデオフレーム２０５を、特定のフレームレートにて撮像する。各ビデオフレームは故に、特定の時点に対応する画像データを含む。ビデオカメラ２０４が移動物体に載置されると、撮像された一連のビデオフレーム２０５は、移動物体１００の周囲を描画する。
【００３５】
ビデオカメラ２０４は、ビデオエンコーダ２０６に動作可能に接続される。ビデオエンコーダ２０６は、ビデオカメラ２０４内に含まれてもよいし、又は個別ユニットとして提供されてもよい。ビデオエンコーダ２０６は、一連のビデオフレーム２０５をビデオカメラ２０４から受信して、一連のビデオフレーム２０５を符号化して、符号化された一連のビデオフレーム２０７を提供するよう構成されている。ビデオカメラ２０４は、ビデオフレーム２０５を、イントラ符号化フレーム及びインター符号化フレームの順序を指定するＧＯＰ構造に従って符号化してよい。符号化された一連のビデオフレーム２０７は、システムのビデオストレージ、つまりメモリに保存されてよい。例えば、ビデオストレージは、ビデオカメラ２０４内に含まれてよい。
【００３６】
コントローラ２０８は、ビデオエンコーダ２０６の動作を制御するよう構成されている。コントローラは、ビデオエンコーダ２０６の不可欠な部分として、又は個別ユニットとして提供されてよい。コントローラ２０８は、ビデオエンコーダ２０８の動作を、制御信号２０９を送信することで制御してよい。制御信号２０９は、一連のビデオフレーム２０５をイントラ符号化するか又はインター符号化するかについての、ビデオエンコーダ２０６への命令を含んでよい。例えば、制御信号２０９は、ＧＯＰ構造を変更する命令を含んでよい。特に、制御信号２０９は、ＧＯＰ構造の長さを変更する命令を含んでよい。コントローラ２０８はまた、ビデオエンコーダ２０６からフィードバック２１１を受信してもよい。フィードバック２１１は、ビデオシーケンスのビデオフレーム２０５がイントラ符号化されたか、又はインター符号化されたかに関連してよい。
【００３７】
移動測定デバイス２１０は、ビデオカメラ２０４の移動を測定するよう構成されている。移動測定デバイス２１０は、ビデオカメラ２０４に、又は、カメラ２０４が載置された移動物体１０２に装着されてよい。移動測定デバイス２１０は一般的に、ビデオカメラ２０４の移動を導き出し得る信号を配信するいずれのデバイスであってよい。これは、加速度計又はジャイロスコープなどの、ビデオカメラ２０４の速度を測定するデバイスを含む。移動測定デバイス２１０は代替的に又は更に、特定の時点でのビデオカメラ２０４の位置を測定する測位デバイスを含んでよい。測位デバイスは、全地球測位システム（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ又はＧＰＳ）デバイス又はその相当品であってよい。また、三角測量法に基づいて位置が導き出されてよい、遠隔通信モデムであってもよい。移動測定デバイス２１０はまた、ステップカウンタであってもよい。
【００３８】
移動測定デバイス２１０は、カメラ２０４の移動量を示す入力２１２を、コントローラ２０８に提供する。更に、コントローラ２０８は、所定の距離に関する入力２１３を受信するよう構成されている。所定の距離に関する入力２１３は例えば、コントローラ２１８の構成後に、ユーザ又はオペレータにより提供されてよい。
【００３９】
図３は、コントローラ２０８をより詳細に示す。コントローラ２０８は、レシーバ３０２と、制御コンポーネント３０４とを含む。コントローラ２０８はまた、いくつかの実施形態では、距離調整コンポーネント３０６を含んでよい。
【００４０】
コントローラ２０８は従って、コントローラ２０８の機能を実施するよう構成されている種々のコンポーネント３０２、３０４、及び３０６を含む。特に、ここに示す各コンポーネントは、コントローラ２０８の機能に相当する。一般的に、コントローラ２０８は、コンポーネント３０２、３０４、及び３０６を、より具体的には、それらの機能を実施するよう構成されている回路を含んでよい。
【００４１】
ハードウェアの実装では、コンポーネント３０２、３０４、及び３０６のそれぞれは、コンポーネントの機能を提供する専門の、具体的に設計された回路に相当してよい。回路は、１つ又はそれ以上の特定用途向け集積回路などの、１つ又はそれ以上の集積回路の形態であってよい。例として、制御コンポーネント３０４は従って、使用中に、ビデオエンコーダ２０６を制御して、一連のビデオフレーム２０５をイントラ符号化するか、インター符号化するかを選択する回路を含んでよい。
【００４２】
ソフトウェアの実装では、回路はその代わりに、不揮発性メモリなどの、（非一時的）コンピュータ可読媒体上に保存されたコンピュータコード命令と関連して、コントローラ２０８に、ここに開示するいずれの方法を実施させるマイクロプロセッサなどの、プロセッサの形態であってよい。その場合、コンポーネント３０２、３０４、及び３０６のそれぞれは従って、プロセッサにより実行されると、コントローラ２０８に、コンポーネントの機能を実施させる、コンピュータ可読媒体上に保存されたコンピュータコード命令の部位に相当してよい。
【００４３】
ハードウェアの実装及びソフトウェアの実装の組み合わせもまた可能であるということが理解されるであろう。これは、コンポーネント３０２、３０４、及び３０６のいくつかの機能がハードウェアにて実装され、その他がソフトウェアにて実装されるということを意味する。
【００４４】
システム１００の動作、特にコントローラ２０８の動作について、図２、図３、図４、及び図５、並びに図６のフローチャートを参照して以下に説明する。
【００４５】
ステップＳ０２では、コントローラ２０８のレシーバ３０２が、ビデオカメラ２０４の移動量を示す入力２１２を受信する。上述するように、入力２１２は、移動測定デバイス２１０から受信してよい。入力２１２は、特定の時点でのカメラ２０４の速度及び／又はカメラ２０４の位置に関係してよい。レシーバ３０２は連続して、又は、少なくとも繰り返し、そのような入力を移動測定デバイス２１０から受信するということが理解されるであろう。受信した入力２１２は故に、時間に応じたビデオカメラ２０４の移動量を反映する。
【００４６】
ステップＳ０４では、コントローラ２０８のレシーバ３０２が、所定の距離に関する入力２１３を受信する。所定の距離は、所定の空間距離とも呼ぶ。
【００４７】
レシーバ３０２は、ビデオカメラ２０４の移動量を示す入力２１２と、所定の距離に関する入力２１３とを、制御コンポーネント３０４に転送する。より詳細に後述するように、所定の距離に関する入力２１３は、いくつかの実施形態では、制御コンポーネント３０４に転送される前に、距離調整コンポーネント３０６により調整されてよい。
【００４８】
ステップＳ０６では、コントローラ２０８の制御コンポーネント３０４が、ビデオエンコーダ２０６を制御して、一連のビデオフレームをイントラ符号化するか、インター符号化するかを、ビデオカメラ２０４の移動量を示す入力２１２及び所定の距離に関する入力２１３に基づいて選択する。より詳細には、制御コンポーネント３０４は、入力２１２及び入力２１３に基づいて、ビデオフレームが、イントラ符号化されるべきか、又は、インター符号化されるべきかを選択してよい。制御コンポーネント３０４は、制御信号２０９を送信して、ビデオエンコーダ２０６にこの選択を知らせてよい。ビデオエンコーダ２０６はこれに従って、ビデオフレームの画像データを符号化してよい。制御信号２０９内の、ビデオエンコーダ２０６に送信された情報は、ビデオフレームが、イントラ符号化フレームとして符号化されるべきレートに関連してよい。特に、制御信号２０９は、ビデオフレームが、イントラ符号化フレームとして符号化されるべきレートが、時間と共にどのように変化すべきかについて関連してよい。レートは、ビデオエンコーダ２０６により適用される、ＧＯＰ構造の長さに対応してよい。制御信号２０９は故に、ビデオエンコーダ２０６がＧＯＰ構造の長さを時間に応じてどのように変更すべきかについての情報を含んでよい。代替的に又は更に、制御信号２０９内の、ビデオエンコーダ２０６に送信された情報は、特定のビデオフレームがイントラ符号化されるべきであるか、又は、インター符号化されるべきであるかを直接示してよい。
【００４９】
制御コンポーネント３０４は、イントラ符号化されるビデオフレームの撮像と撮像の間にビデオカメラ２０４が最大で所定の距離を移動するように、イントラ符号化するかインター符号化するかの、選択を行う。これについて、図４に更に示す。時点ｔ０、ｔ１、ｔ２、ｔ３、ｔ４、及びｔ５などは、カメラ２０４がビデオフレームを撮像した時点の少なくともいくつかに対応する。時点ｔ０、ｔ１、ｔ２、ｔ３、ｔ４、及びｔ５などに対して、ビデオカメラ２０４は、フレームをイントラ符号化するか否かを選択する。制御コンポーネント３０４は、ビデオシーケンス内のビデオフレーム２０５のそれぞれに対して選択を行ってよい。その場合、時点ｔ０、ｔ１、ｔ２、ｔ３、ｔ４、及びｔ５などは、ビデオシーケンスの連続するフレーム２０５に対応する。時点ｔ０、ｔ１、ｔ２、ｔ３、ｔ４、及びｔ５などは故に、ビデオシーケンスのフレーム２０５のレートに従って設定される。しかし、多くの応用において、移動物体１０２は、ビデオシーケンスの２つのフレーム２０５の間に、所定の距離を移動できない可能性があるため、制御コンポーネント３０４は、各フレームに対する選択を行う必要はない。例えば、移動物体１０２の最大可能速度が既知である場合は、カメラ２０４が所定の距離を移動可能な最短時間を算出してよい。制御コンポーネント３０４は続いて、選択が行われる際の、時点ｔ０、ｔ１、ｔ２、ｔ３、ｔ４、及びｔ５などの間の経時的な距離が、算出された最短時間以下となるような、選択を行うレートを設定してよい。
【００５０】
図４の例では、フレームは、文字Ｉ（ＩはＩフレームを示す）により示されるように、時間ｔ０にてイントラ符号化される。時間ｔ０にて、最後のイントラ符号化フレームからカメラ２０４が移動した距離は従って、ゼロに等しい。時間ｔ１にて、制御コンポーネント３０４は、カメラの移動量を示す入力２１２に基づいて、カメラ２０４が、イントラ符号化されたビデオフレームを最後に撮像した際の時間ｔ０から、カメラ２０４が移動した距離を算出してよい。
【００５１】
この目的のため、制御コンポーネント３０４は、カメラの移動量を示す入力２１２に基づいて、カメラ２０４が、イントラ符号化されたビデオフレームを最後に撮像してから移動した距離ｄ１を算出してよい。例えば、入力２１２が、カメラ２０４の速度である場合は、制御コンポーネント３０４は、時間ｔ０から時間ｔ１までの速度を積分して、距離ｄ１を算出してよい。入力２１２がその代わりに、位置データを提供する場合は、距離ｄ１は、例えば、時間ｔ１での位置−時間ｔ０での位置として算出されてよい。制御コンポーネント３０４は続いて、時間ｔ１にて撮像したフレームをイントラ符号化するか又はインター符号化するかを選択するために、算出した距離ｄ１を、所定の距離Ｄと比較してよい。
【００５２】
カメラ２０４が、イントラ符号化されるビデオフレームを撮像する間に、所定の距離Ｄを超えて移動しないことを確かにするために、制御コンポーネント３０４は、最後のイントラ符号化フレームからの、算出した距離ｄ１を、所定の距離Ｄ−閾値Ｔと比較してよい。算出した距離ｄ１が、閾値Ｔよりも、所定の距離Ｄから長い場合は、つまり、ｄ１＜Ｄ−Ｔの場合は、時間ｔ１でのフレームが続いて、インター符号化されることが選択される。そうでなければ、時間ｔ１でのフレームがイントラ符号化されることが選択される。ここに示す例では、ｄ１＜Ｄ−Ｔであり、故に、文字Ｐ（ＰはＰフレームを示す）により示されるように、時間ｔ１でのフレームがインター符号化されることが選択されている。この手順は続いて、時点ｔ２、ｔ３、ｔ４、及びｔ５にて繰り返される。この例では、時点ｔ２、ｔ３、及びｔ４に対応する、算出した距離ｄ２、ｄ３、及びｄ４は、依然としてＤ−Ｔ未満であり、故に、これらの時点にて撮像されたフレームがインター符号化されることが選択されている。しかし、時点ｔ５にて算出された距離ｄ５は、Ｄ−Ｔを超えており、故に、時間ｔ５でのフレームがイントラ符号化されることが選択されている。制御コンポーネント３０４は、制御信号２０９を介してビデオエンコーダ２０６に、この選択を知らせる。制御コンポーネント３０４は続いて、後続の時点ｔ６及びｔ７などに対して、時間ｔ５にてイントラ符号化フレームを最後に撮像してから、カメラ２０４が移動した距離の算出を継続する。
【００５３】
制御コンポーネント３０４は、カメラ２０４がイントラ符号化フレームの間に移動した距離が、所定の距離Ｄを超えるリスクを最小化するように、閾値Ｔを設定してよい。この目的のため、制御コンポーネント３０４は、イントラ符号化／インター符号化の選択が行われる際に、カメラ２０４が現時点と次の時点との間に移動する距離を予想してよい。この予想には、カメラ２０４の移動量に関する入力２１２を使用してよい。例えば、時間ｔ１にて、制御コンポーネント３０４は、距離ｄ２−ｄ１を入力２１２に基づいて予想してよい。例えば、入力２１２が、時間ｔ１でのカメラ２０４の現在の速度を含む場合は、制御コンポーネント３０４は、次の選択が行われるまでに、現在の速度と、時間ｔ２−ｔ１と、の積として、距離ｄ２−ｄ１を予想してよい。しかし、カメラ２０４の加速を考慮した予想など、より進んだ予想が行われてよいことが理解される。イントラ符号化／インター符号化の選択が次に行われるまでに、カメラ２０４が移動する距離を予想することで、制御コンポーネント３０４は、閾値Ｔを、予想した距離以上に設定してよい。このアプローチにより、閾値Ｔは故に、時間と共に変化してよい。よりシンプルなアプローチでは、閾値Ｔは固定されてよく、移動物体の予め定義された最大速度と、選択ステップが制御コンポーネント３０４により繰り返される期間と、の積に対応してよい。
【００５４】
図５に示す、代替的な実施形態の群によると、制御コンポーネント３０４は、第１の時点にて撮像したフレームに関する、イントラ符号化／インター符号化の選択を行うことを、第２の、後の時点まで待機する。例えば、制御コンポーネント３０４は、時間ｔ４にて撮像したフレームに関する選択を行う前に、時間ｔ５まで待機してよい。このようにして、制御コンポーネント３０４は、第１の時点と第２の時点との間のカメラの移動量も考慮することにより、第１の時点に関する選択を行ってよい。従って、第２の時点では、制御コンポーネント３０４は、入力２１２に基づいて、カメラが、イントラ符号化された最後のフレームを撮像してから移動した距離を算出してよい。この距離が所定の距離以上である場合、制御コンポーネント３０４は、第１の時点にて、フレームをイントラ符号化するものとして選択する。この距離が所定の距離未満である場合、制御コンポーネント３０４は、第１の時点にて、フレームをインター符号化するものとして選択する。
【００５５】
図５に戻ると、時間ｔ２では、制御コンポーネント３０４は、入力２１２から、時間ｔ０にてイントラ符号化フレームを最後に撮像してから、カメラ２０４が移動した距離ｄ２を算出する。ｄ２は所定の距離Ｄ未満であるため、制御コンポーネント３０４は、時点ｔ２にて、時点ｔ１にて撮像したフレームはインター符号化されるべきであると判断する。同様に、対応する距離ｄ３、ｄ４、及びｄ５がすべて、所定の距離Ｄ未満であるため、制御コンポーネント３０４は、時点ｔ３、ｔ４、及びｔ５にて、時点ｔ２、ｔ３、及びｔ４にて撮像したフレームはそれぞれインター符号化されるべきであると判断する。時点ｔ６にて、制御コンポーネント３０４はしかし、イントラ符号化フレームを最後に撮像してからカメラ２０４が移動した、対応する距離ｄ６が、所定の距離Ｄを超えているため、異なる決定に至る。従って、制御コンポーネント３０４は、時点ｔ６にて、時点ｔ５にて撮像したフレームはイントラ符号化されるべきであることを選択する。制御コンポーネント３０４は、制御信号２０９を介してビデオエンコーダ２０６に、この選択を知らせる。制御コンポーネント３０４は続いて、後続の時点ｔ７及びｔ８などに対して、時間ｔ５にてイントラ符号化フレームを最後に撮像してから、カメラ２０４が移動した距離の算出を継続する。カメラ２０４が、イントラ符号化される２つのフレームを撮像する間に、所定の距離を超えて移動するリスクを除外するという点において、図５の実施形態は、図４の実施形態よりも好都合である。しかし、この利点は、符号化における待ち時間を導入するという代償をもって実現される。
【００５６】
制御信号２０９を受信すると、ビデオエンコーダ２０６は、コントローラ２０８が行った選択に従って、ビデオシーケンスのフレーム２０５の画像データを符号化してよい。このようにして、カメラが所定の距離を移動する間に、少なくとも１つのフレームがイントラ符号化される。ビデオエンコーダ２０６は更に、制御信号２０９を介してコントローラ２０８により信号が送信される頻度よりも高い頻度にて（より低い頻度ではなく）、フレームをイントラ符号化する理由を有してよい。どのフレームがイントラ符号化されているかをコントローラ２０８が確実に知ることができるようにするため、ビデオエンコーダ２０６は、コントローラ２０８にフィードバック２１１を送信してよい。フィードバック２１１は特に、コントローラ２０８に対して、ビデオシーケンス内の、最後にイントラ符号化されたフレーム２０５を示してよい。制御コンポーネント３０４は、上述するように、カメラ２０４が移動した距離ｄ１、ｄ２、及びｄ３などを算出する際に、その情報を使用してよい。
【００５７】
いくつかの場合では、ビデオカメラ２０４は、符号化された一連のビデオフレーム２０７をローカルに、ビデオストレージ内に保存する。代替的に、符号化された一連のビデオフレーム２０７は、ビデオカメラ２０４から離れたビデオストレージ内に保存されてよい。ビデオストレージは、いずれの適した形態の不揮発性メモリであってよい。ビデオストレージは、限られた容量を有してよい。限られたビデオストレージ容量は通常、一日などの、所定の時間持続する。所定の距離は、符号化された一連のビデオフレーム２０７のサイズに影響する。所定の距離がより短い場合は、より多くのフレームがイントラ符号化され、従って、所定の距離がより長い場合と比較して、より多くのストレージスペースを必要とする。
【００５８】
符号化された一連のビデオフレーム２０７を保存するための、ビデオカメラ２０４のメモリが足りなくなることを防ぐために、コントローラ２０８は、所定の距離をリアルタイムで調整してよい。より詳細には、コントローラ２０８は、所定の距離を調整して、その調整した所定の距離を制御コンポーネント３０４に転送する、距離調整コンポーネント３０６を含んでよい。一般的に、距離調整コンポーネント３０６は、ビデオストレージ容量の現在の使用量及び／又は物体の移動量に基づいて、所定の距離を調整してよい。例えば、残りのビデオストレージが、第１の基準レベル未満である場合は、距離調整コンポーネント３０６は、所定の距離を延長してよい。逆もまた同様である。同様に、カメラ２０４の現在の移動量が、第２基準レベルよりも高く、残りのビデオストレージが、第１の基準レベル未満である場合は、距離調整コンポーネント３０６は、所定の距離を延長してよい。
【００５９】
距離調整コンポーネント３０６は、所定の距離を、予め設定した範囲内にて調整してよい。この範囲は、通常は移動物体１０２の移動パターンと組み合わせて、ビデオカメラ２０４内のビデオストレージ容量に依存して設定されてよい。移動パターンは、移動物体１０２がこれまで、カメラシステム１００が使用される際に、所定の時間に対応する時間間隔中にどのように移動したかを反映する履歴データから導き出されてよい。移動パターンは例えば、時間間隔中の移動物体１０２の速度のヒストグラムにて表されてよい。例えば、第１の移動物体１０２が平均して、第２の移動物体よりも多く移動する場合、範囲の下端は、第１の移動物体１０２に対しては、第２の移動物体に対しての下端よりも高くてよい。具体的には、この範囲は、ビデオカメラ２０５内のビデオストレージ容量と、移動物体１０２の移動パターンと、の組み合わせに基づいて設定されてよい。ビデオカメラ２０５内の同じビデオストレージ容量について、範囲の下端は、履歴データに基づく、より低い平均速度を有する物体に対しては、履歴データに基づく、より高い平均速度を有する物体と比較して、低く設定されてよい。
【００６０】
当業者であれば、上記の実施形態を多くの方法にて変更でき、上記の実施形態に示すような、本発明の利点を依然として使用できることが理解されるであろう。例えば、上記の例では、移動の距離を、イントラ符号化された最後のフレームから推定するよう説明されている。しかし、移動測定デバイスから（例えば、加速度計から）読み出す現在の運動ベクトルに完全に基づいての、インター符号化及びイントラ符号化の判断もまた可能となろう。これは正確なものとはならないかもしれないが、実際の実装においては依然として十分なものとなり得る。本発明は従って、ここに示す実施形態に限定されるべきではなく、特許請求の範囲によってのみ定義されるべきである。更に、当業者が理解するように、ここに示す実施形態は組み合わせることも可能である。
【図１】
2020025247.tif 000003
【図２】
2020025247.tif 000004
【図３】
2020025247.tif 000005
【図４】
2020025247.tif 000006
【図５】
2020025247.tif 000007
【図６】
2020025247.tif 000008
【外国語明細書】
2020025247000001.pdf
2020025247000002.pdf
2020025247000003.pdf
2020025247000004.pdf