(57)【要約】  ビデオを符号化する検索エリアを評価する方法及びシステムが提供される。方法は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップを含む。さらに、方法は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップを含み、オプティカルフロー場データの少なくとも一部はセンサによって取得される。方法は、オプティカルフロー場データに基づいて検索エリアを決定するステップも含む。【選択図】図１３
2017529710.tif 000002
【特許請求の範囲】
【請求項１】
ビデオを符号化する検索エリアを評価する方法であって、
画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップと、
前記ビデオフレーム構成要素の少なくとも一部がセンサによって取得され、前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップと、
前記オプティカルフロー場データに基づいて検索エリアを決定するステップと
を含む、方法。
【請求項２】
前記検索エリアを決定するステップは、前記オプティカルフロー場データに基づいて所定の初期検索エリアを変更又は維持して、変更検索エリアを生成するステップを含む請求項１に記載の方法。
【請求項３】
前記画像取得デバイスによって取得された前記ビデオの符号化された運動情報に対して前記変更検索エリアを評価するステップを更に含む請求項２に記載の方法。
【請求項４】
前記画像取得デバイスはビデオ取得デバイスである請求項１に記載の方法。
【請求項５】
前記画像取得デバイスは移動可能物体に設置される請求項１に記載の方法。
【請求項６】
移動可能物体は無人航空機（ＵＡＶ）であり、かつ前記移動可能物体は前記画像取得デバイスを支持し、前記変更検索エリアを評価するステップは前記移動可能物体が飛行中に行われる請求項３に記載の方法。
【請求項７】
前記変更検索エリアは、運動推定エンジンによって評価される請求項３に記載の方法。
【請求項８】
前記初期検索エリアは、前記オプティカルフロー場データが前記初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアに移す場合に変更される請求項２に記載の方法。
【請求項９】
前記初期検索エリアを変更するステップは、前記初期検索エリアの寸法を変更するステップを含む請求項２に記載の方法。
【請求項１０】
前記初期検索エリアを変更するステップは、前記初期検索エリアの形状を変更するステップを含む請求項２に記載の方法。
【請求項１１】
前記初期検索エリアを変更するステップは、前記初期検索エリアのロケーションを変更するステップを含む、請求項２に記載の方法。
【請求項１２】
前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて前記初期検索エリアの初期点の前記ロケーションを移す請求項１１に記載の方法。
【請求項１３】
前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記初期検索エリアの初期点の前記ロケーションを移す請求項１１に記載の方法。
【請求項１４】
前記初期検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記初期検索エリアを垂直方向に引き延ばすステップを含む請求項２に記載の方法。
【請求項１５】
前記オプティカルフロー場データは垂直バイアスである請求項１４に記載の方法。
【請求項１６】
前記初期検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオフレーム構成要素上の前記初期検索エリアの位置を移動するステップを含む請求項２に記載の方法。
【請求項１７】
前記変更検索エリアは、前記ビデオフレーム構成要素内の運動ベクトルを識別することで評価される請求項３に記載の方法。
【請求項１８】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ、及び高度計の少なくとも１つを含む請求項１に記載の方法。
【請求項１９】
前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の垂直バイアスに基づいて、前記初期検索エリアを引き延ばすステップを含む請求項２に記載の方法。
【請求項２０】
前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の水平バイアスに基づいて、前記初期検索エリアを広げるステップを含む請求項２に記載の方法。
【請求項２１】
前記ビデオフレーム構成要素はビデオフレームである請求項１に記載の方法。
【請求項２２】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである請求項１に記載の方法。
【請求項２３】
前記ブロックは符号化ビデオブロックである請求項２２に記載の方法。
【請求項２４】
前記ビデオフレーム構成要素の第２の初期検索エリアが提供される請求項２に記載の方法。
【請求項２５】
前記第２の初期検索エリアが前記オプティカルフロー場データに基づいて変更又は維持されることにより、第２の変更検索エリアが生成される請求項２４に記載の方法。
【請求項２６】
前記第２の変更検索エリアは、前記変更検索エリアよりも小さい請求項２５に記載の方法。
【請求項２７】
ビデオを符号化する検索エリアを評価するプログラム命令を含む非一時的コンピュータ可読媒体であって、
画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するプログラム命令と、
前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令であって、前記オプティカルフロー場データの少なくとも一部はセンサによって取得される、受信するプログラム命令と、
前記オプティカルフロー場データに基づいて検索エリアを決定するプログラム命令と
を含む、コンピュータ可読媒体。
【請求項２８】
前記決定するステップは、前記オプティカルフロー場データに基づいて所定の初期検索エリアを変更又は維持して、変更検索エリアを生成するステップを含む、請求項２７に記載のコンピュータ可読媒体。
【請求項２９】
前記画像取得デバイスによって取得された前記ビデオの符号化された運動情報として前記変更検索エリアを評価するプログラム命令を更に含む、請求項２８に記載のコンピュータ可読媒体。
【請求項３０】
前記画像取得デバイスはビデオ取得デバイスである、請求項２７に記載のコンピュータ可読媒体。
【請求項３１】
前記画像取得デバイスは移動可能物体に設置される、請求項２７に記載のコンピュータ可読媒体。
【請求項３２】
前記変更検索エリアを評価するステップは、前記画像取得デバイスを支持する移動可能物体が飛行中に行われる、請求項２９に記載のコンピュータ可読媒体。
【請求項３３】
前記変更検索エリアは、運動推定エンジンによって評価される、請求項２９に記載のコンピュータ可読媒体。
【請求項３４】
前記初期検索エリアは、前記オプティカルフロー場データが、前記初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアを移すと判断される場合、変更される、請求項２８に記載のコンピュータ可読媒体。
【請求項３５】
前記初期検索エリアを変更するステップは、前記初期検索エリアの寸法を変更するステップを含む、請求項２８に記載のコンピュータ可読媒体。
【請求項３６】
前記初期検索エリアを変更するステップは、前記初期検索エリアの形状を変更するステップを含む、請求項２８に記載のコンピュータ可読媒体。
【請求項３７】
前記初期検索エリアを変更するステップは、前記初期検索エリアのロケーションを変更するステップを含む、請求項２８に記載のコンピュータ可読媒体。
【請求項３８】
前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて前記初期検索エリアの初期点の前記ロケーションを移す、請求項３７に記載のコンピュータ可読媒体。
【請求項３９】
前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記初期検索エリアの初期点の前記ロケーションを移す、請求項３７に記載のコンピュータ可読媒体。
【請求項４０】
前記初期検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記初期検索エリアを垂直に引き延ばすステップを含む、請求項２８に記載のコンピュータ可読媒体。
【請求項４１】
前記オプティカルフロー場データは垂直バイアスを示す、請求項４０に記載のコンピュータ可読媒体。
【請求項４２】
前記初期検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオフレーム構成要素上の前記初期検索エリアの位置を移動するステップを含む、請求項２８に記載のコンピュータ可読媒体。
【請求項４３】
前記変更検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項２９に記載のコンピュータ可読媒体。
【請求項４４】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項２７に記載のコンピュータ可読媒体。
【請求項４５】
前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の垂直バイアスに基づいて、前記初期検索エリアを引き延ばすステップを含む、請求項２８に記載のコンピュータ可読媒体。
【請求項４６】
前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の水平バイアスに基づいて、前記初期検索エリアを広げるステップを含む、請求項２８に記載のコンピュータ可読媒体。
【請求項４７】
前記ビデオフレーム構成要素はビデオフレームである、請求項２７に記載のコンピュータ可読媒体。
【請求項４８】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項２７に記載のコンピュータ可読媒体。
【請求項４９】
前記ブロックは符号化ビデオブロックである、請求項４８に記載のコンピュータ可読媒体。
【請求項５０】
前記ビデオフレーム構成要素の第２の初期検索エリアが提供される、請求項２８に記載のコンピュータ可読媒体。
【請求項５１】
前記第２の初期検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、第２の変更検索エリアを生成する、請求項５０に記載のコンピュータ可読媒体。
【請求項５２】
前記第２の変更検索エリアは、前記変更検索エリアよりも小さい、請求項５１に記載のコンピュータ可読媒体。
【請求項５３】
ビデオを符号化する検索エリアを評価するシステムであって、
ビデオを取得するように構成される画像取得デバイスと、
オプティカルフロー場データを取得するように構成される１つ又は複数のセンサと、
１つ又は複数のプロセッサであって、個々に又は集合的に、
前記画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップ、
前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップであって、前記オプティカルフロー場データの少なくとも一部は前記１つ又は複数のセンサによって取得される、受信するステップ、及び
前記オプティカルフロー場データに基づいて検索エリアを決定するステップ
を実行するように構成される、１つ又は複数のプロセッサと
を備える、システム。
【請求項５４】
検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データに基づいて所定の初期検索エリアを変更又は維持して、変更検索エリアを生成するように構成される、
請求項５３に記載のシステム。
【請求項５５】
前記１つ又は複数のプロセッサは、個々に又は集合的に、
前記画像取得デバイスによって取得された前記ビデオの符号化された運動情報として前記変更検索エリアを評価するステップ
を実行するように更に構成される、請求項５４に記載のシステム。
【請求項５６】
前記画像取得デバイスはビデオ取得デバイスである、請求項５３に記載のシステム。
【請求項５７】
前記画像取得デバイスは移動可能物体に設置される、請求項５３に記載のシステム。
【請求項５８】
前記変更検索エリアを評価するステップは、前記画像取得デバイスを支持する移動可能物体が飛行中に行われる、請求項５５に記載のシステム。
【請求項５９】
前記変更検索エリアは、運動推定エンジンによって評価される、請求項５４に記載のシステム。
【請求項６０】
前記初期検索エリアは、前記オプティカルフロー場データが、前記初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアを移すと判断される場合、変更される、請求項５４に記載のシステム。
【請求項６１】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの寸法を変更するように構成される、請求項５４に記載のシステム。
【請求項６２】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの形状を変更するように構成される、請求項５４に記載のシステム。
【請求項６３】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアのロケーションを変更するように構成される、請求項５４に記載のシステム。
【請求項６４】
前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて前記初期検索エリアの初期点の前記ロケーションを移す、請求項６３に記載のシステム。
【請求項６５】
前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記初期検索エリアの初期点の前記ロケーションを移す、請求項６３に記載のシステム。
【請求項６６】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データに基づいて、前記初期検索エリアを垂直に引き延ばすように構成される、請求項５４に記載のシステム。
【請求項６７】
前記オプティカルフロー場データは垂直バイアスを示す、請求項６６に記載のシステム。
【請求項６８】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオフレーム構成要素上の前記初期検索エリアの位置を移動するように構成される、請求項５４に記載のシステム。
【請求項６９】
前記変更検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項５５に記載のシステム。
【請求項７０】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項５３に記載のシステム。
【請求項７１】
前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場内の垂直バイアスに基づいて、前記初期検索エリアを引き延ばすように構成される、請求項５４に記載のシステム。
【請求項７２】
前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場内の水平バイアスに基づいて、前記初期検索エリアを広げるように構成される、請求項５４に記載のシステム。
【請求項７３】
前記ビデオフレーム構成要素はビデオフレームである、請求項５３に記載のシステム。
【請求項７４】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項５３に記載のシステム。
【請求項７５】
前記ブロックは符号化ビデオブロックである、請求項７４に記載のシステム。
【請求項７６】
前記ビデオフレーム構成要素の第２の初期検索エリアが提供される、請求項５４に記載のシステム。
【請求項７７】
前記第２の初期検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、第２の変更検索エリアを生成する、請求項７６に記載のシステム。
【請求項７８】
前記第２の変更検索エリアは、前記変更検索エリアよりも小さい、請求項７７に記載のシステム。
【請求項７９】
ビデオフレーム構成要素の運動ベクトルを識別する方法であって、
画像取得デバイスによって取得された、前記ビデオフレーム構成要素を含むビデオを受信するステップと、
前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップと、
運動ベクトルを査定する検索エリアを決定するステップであって、前記検索エリアは前記受信したオプティカルフロー場データに基づく、決定するステップと
を含む、方法。
【請求項８０】
前記検索エリアは、前記運動ベクトルを査定する初期点を含む、請求項７９に記載の方法。
【請求項８１】
前記検索エリアを評価して、前記運動ベクトルを識別するステップを更に含む、請求項８０に記載の方法。
【請求項８２】
前記画像取得デバイスはビデオ取得デバイスである、請求項７９に記載の方法。
【請求項８３】
前記画像取得デバイスは移動可能物体に設置される、請求項７９に記載の方法。
【請求項８４】
前記変更検索エリアを評価するステップは、前記移動可能物体が飛行中に行われる、請求項８１に記載の方法。
【請求項８５】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項７９に記載の方法。
【請求項８６】
前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項７９に記載の方法。
【請求項８７】
前記検索エリアを決定するステップは、前記ビデオフレーム構成要素上での前記検索エリアのロケーションを決定するステップを含む、請求項７９に記載の方法。
【請求項８８】
前記検索エリアは運動推定エンジンによって評価される、請求項８１に記載の方法。
【請求項８９】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項７９に記載の方法。
【請求項９０】
前記オプティカルフロー場データに基づいて前記検索エリアを決定するステップは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアのロケーションを決定するステップを含む、請求項７９に記載の方法。
【請求項９１】
前記オプティカルフロー場データに基づいて前記検索エリアを決定するステップは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアの形状を決定するステップを含む、請求項７９に記載の方法。
【請求項９２】
前記ビデオフレーム構成要素はビデオフレームである、請求項７９に記載の方法。
【請求項９３】
前記ビデオフレーム構成要素はブロックである、請求項７９に記載の方法。
【請求項９４】
ビデオフレーム構成要素の運動ベクトルを特定するプログラム命令を含む非一時的コンピュータ可読媒体であって、
画像取得デバイスによって取得された、前記ビデオフレーム構成要素を含むビデオを受信するプログラム命令と、
前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令と、
運動ベクトルを査定する検索エリアを決定するプログラム命令であって、前記検索エリアは前記受信したオプティカルフロー場データに基づく、決定するプログラム命令と
を含む、コンピュータ可読媒体。
【請求項９５】
前記検索エリアは、前記運動ベクトルを査定する所定の初期点を含む、請求項９４に記載のコンピュータ可読媒体。
【請求項９６】
前記検索エリアを評価して、前記運動ベクトルを識別するプログラム命令を更に含む、請求項９５に記載のコンピュータ可読媒体。
【請求項９７】
前記画像取得デバイスはビデオ取得デバイスである、請求項９４に記載のコンピュータ可読媒体。
【請求項９８】
前記画像取得デバイスは移動可能物体に設置される、請求項９４に記載のコンピュータ可読媒体。
【請求項９９】
前記変更検索エリアを評価するステップは、前記移動可能物体が飛行中に行われる、請求項９６に記載のコンピュータ可読媒体。
【請求項１００】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
【請求項１０１】
前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
【請求項１０２】
前記検索エリアを決定するステップは、前記ビデオフレーム構成要素上での前記検索エリアのロケーションを決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
【請求項１０３】
前記検索エリアは運動推定エンジンによって評価される、請求項９６に記載のコンピュータ可読媒体。
【請求項１０４】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項９４に記載のコンピュータ可読媒体。
【請求項１０５】
前記オプティカルフロー場データに基づいて前記検索エリアを決定するステップは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアのロケーションを決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
【請求項１０６】
前記オプティカルフロー場データに基づいて前記検索エリアを決定するステップは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアの形状を決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
【請求項１０７】
前記ビデオフレーム構成要素はビデオフレームである、請求項９４に記載のコンピュータ可読媒体。
【請求項１０８】
前記ビデオフレーム構成要素はブロックである、請求項９４に記載のコンピュータ可読媒体。
【請求項１０９】
ビデオフレーム構成要素の運動ベクトルを識別するシステムであって、
ビデオを取得するように構成される画像取得デバイスと、
オプティカルフロー場データを取得するように構成される１つ又は複数のセンサと、
１つ又は複数のプロセッサであって、
画像取得デバイスによって取得された、前記ビデオフレーム構成要素を含むビデオを受信するステップと、
前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップと、
運動ベクトルを査定する検索エリアを決定するステップであって、前記検索エリアは初期点を含み、前記検索エリアの寸法は、前記受信したオプティカルフロー場データに基づく、決定するステップと、
を実行するように構成される、１つ又は複数のプロセッサと
を備える、システム。
【請求項１１０】
前記検索エリアは、前記運動ベクトルを査定する初期点を含む、請求項１０９に記載のシステム。
【請求項１１１】
前記１つ又は複数のプロセッサは、前記検索エリアを評価して、前記運動ベクトルを識別するように更に構成される、請求項１１０に記載のシステム。
【請求項１１２】
前記画像取得デバイスはビデオ取得デバイスである、請求項１０９に記載のシステム。
【請求項１１３】
前記画像取得デバイスは移動可能物体に設置される、請求項１０９に記載のシステム。
【請求項１１４】
前記変更検索エリアを評価するステップは、前記移動可能物体が飛行中に行われる、請求項１１１に記載のシステム。
【請求項１１５】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項１０９に記載のシステム。
【請求項１１６】
前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項１０９に記載のシステム。
【請求項１１７】
前記検索エリアを決定するステップは、前記ビデオフレーム構成要素上での前記検索エリアのロケーションを決定するステップを含む、請求項１０９に記載のシステム。
【請求項１１８】
前記検索エリアは運動推定エンジンによって評価される、請求項１１１に記載のシステム。
【請求項１１９】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項１０９に記載のシステム。
【請求項１２０】
前記オプティカルフロー場データに基づいて前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアのロケーションを決定するように構成される、請求項１０９に記載のシステム。
【請求項１２１】
前記オプティカルフロー場データに基づいて前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアの形状を決定するように構成される、請求項１０９に記載のシステム。
【請求項１２２】
前記ビデオフレーム構成要素はビデオフレームである、請求項１０９に記載のシステム。
【請求項１２３】
前記ビデオフレーム構成要素はブロックである、請求項１０９に記載のシステム。
【請求項１２４】
ビデオを符号化する検索エリアを決定する方法であって、
画像取得デバイスによって取得された、ビデオフレームを含むビデオを受信するステップと、
前記ビデオフレームに関連付けられた動きデータを受信するステップであって、前記動きデータはセンサによって取得される、動きデータを受信するステップと、
前記動きデータに基づいて前記ビデオフレーム内の検索エリアを決定するステップであって、前記検索エリアは、前記画像取得デバイスによって取得される前記ビデオの動きを評価するのに使用される、決定するステップと
を含む、方法。
【請求項１２５】
前記検索エリアに基づいて、前記画像取得デバイスによって取得される前記ビデオの前記動きを評価するステップを更に含む、請求項１２４に記載の方法。
【請求項１２６】
前記検索エリアは、前記ビデオフレームの選択されたブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの前記選択されたブロックが関連付けられる、請求項１２４に記載の方法。
【請求項１２７】
前記検索エリアは、前記ビデオフレームの第１のブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記ビデオフレームの前記第１のブロック以外の前記ビデオフレームの複数のブロックが関連付けられる、請求項１２４に記載の方法。
【請求項１２８】
前記複数のブロックは前記ビデオフレーム内のアレイを形成する、請求項１２４に記載の方法。
【請求項１２９】
複数の検索エリアは、前記ビデオフレーム内で決定される、請求項１２４に記載の方法。
【請求項１３０】
前記複数の検索エリアは、異なるブロック内で提供される、請求項１２９に記載の方法。
【請求項１３１】
前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項１２９に記載の方法。
【請求項１３２】
前記ビデオフレーム内の運動ベクトルを査定する初期点を決定するステップを更に含む、請求項１２４に記載の方法。
【請求項１３３】
前記決定される検索エリアは前記初期点を含む、請求項１３２に記載の方法。
【請求項１３４】
前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項１３３に記載の方法。
【請求項１３５】
前記運動ベクトル及び前記検索エリアはブロック内にある、請求項１３４に記載の方法。
【請求項１３６】
前記検索エリアを評価して、運動ベクトルを識別するステップを更に含む、請求項１２４に記載の方法。
【請求項１３７】
前記検索エリアは、運動推定エンジンによって評価される、請求項１２４に記載の方法。
【請求項１３８】
前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアをバイアスするとの判断に基づいて、前記初期点を変更するステップを含む、請求項１３２に記載の方法。
【請求項１３９】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項１２４に記載の方法。
【請求項１４０】
前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項１２４に記載の方法。
【請求項１４１】
前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項１２４に記載の方法。
【請求項１４２】
前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項１４１に記載の方法。
【請求項１４３】
前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項１４１に記載の方法。
【請求項１４４】
前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項１２４に記載の方法。
【請求項１４５】
前記動きデータは垂直バイアスを示す、請求項１４４に記載の方法。
【請求項１４６】
前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項１２４に記載の方法。
【請求項１４７】
前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項１２５に記載の方法。
【請求項１４８】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項１２４に記載の方法。
【請求項１４９】
前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項１２４に記載の方法。
【請求項１５０】
前記検索エリアの前記形状は、円形、正方形、楕円形、三角形、平行四辺形、台形、八角形、及び矩形の群から選択される、請求項１４９に記載の方法。
【請求項１５１】
前記ビデオフレーム構成要素はビデオフレームである、請求項１２４に記載の方法。
【請求項１５２】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項１２４に記載の方法。
【請求項１５３】
前記ブロックは符号化ビデオブロックである、請求項１５２に記載の方法。
【請求項１５４】
前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項１２４に記載の方法。
【請求項１５５】
前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項１５４に記載の方法。
【請求項１５６】
前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項１５５に記載の方法。
【請求項１５７】
ビデオを符号化する検索エリアを決定するプログラム命令を含む非一時的コンピュータ可読媒体であって、
画像取得デバイスによって取得された、ビデオフレームを含むビデオを受信するプログラム命令と、
前記ビデオフレームに関連付けられた動きデータを受信するプログラム命令であって、前記動きデータはセンサによって取得され、前記ビデオフレームは複数のブロックを含む、動きデータを受信するプログラム命令と、
前記動きデータに基づいて前記ビデオフレーム内の検索エリアを決定するプログラム命令と
を含む、コンピュータ可読媒体。
【請求項１５８】
前記検索エリアに基づいて、前記画像取得デバイスによって取得される前記ビデオの前記動きを評価するプログラム命令を更に含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１５９】
前記検索エリアは、前記ビデオフレームの選択されたブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの前記選択されたブロックが関連付けられる、請求項１５７に記載のコンピュータ可読媒体。
【請求項１６０】
前記検索エリアは、前記ビデオフレームの第１のブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記ビデオフレームの前記第１のブロック以外の前記ビデオフレームの複数のブロックが関連付けられる、請求項１５７に記載のコンピュータ可読媒体。
【請求項１６１】
前記複数のブロックは前記ビデオフレーム内のアレイを形成する、請求項１５７に記載のコンピュータ可読媒体。
【請求項１６２】
複数の検索エリアは、前記ビデオフレーム内で決定される、請求項１５７に記載のコンピュータ可読媒体。
【請求項１６３】
前記複数の検索エリアは、異なるブロック内で提供される、請求項１６２に記載のコンピュータ可読媒体。
【請求項１６４】
前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項１６２に記載のコンピュータ可読媒体。
【請求項１６５】
前記ビデオフレーム内の運動ベクトルを査定する初期点を決定するプログラム命令を更に含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１６６】
前記決定される検索エリアは前記初期点を含む、請求項１６５に記載のコンピュータ可読媒体。
【請求項１６７】
前記検索エリアは、前記検索エリアを評価して、運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項１６６に記載のコンピュータ可読媒体。
【請求項１６８】
前記運動ベクトル及び前記検索エリアはブロック内にある、請求項１６７に記載のコンピュータ可読媒体。
【請求項１６９】
前記検索エリアを評価して、運動ベクトルを識別するプログラム命令を更に含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１７０】
前記検索エリアは、運動推定エンジンによって評価される、請求項１５７に記載のコンピュータ可読媒体。
【請求項１７１】
前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアを移すとの判断に基づいて、前記初期点を変更するステップを含む、請求項１６５に記載のコンピュータ可読媒体。
【請求項１７２】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１７３】
前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１７４】
前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１７５】
前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項１７４に記載のコンピュータ可読媒体。
【請求項１７６】
前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項１７４に記載のコンピュータ可読媒体。
【請求項１７７】
前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１７８】
前記動きデータは垂直バイアスを示す、請求項１７７に記載のコンピュータ可読媒体。
【請求項１７９】
前記検索エリアを決定するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項１６５に記載のコンピュータ可読媒体。
【請求項１８０】
前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項１５７に記載のコンピュータ可読媒体。
【請求項１８１】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１８２】
前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
【請求項１８３】
前記検索エリアの前記形状は、円形、正方形、楕円形、三角形、平行四辺形、台形、八角形、及び矩形の群から選択される、請求項１８２に記載のコンピュータ可読媒体。
【請求項１８４】
前記ビデオフレーム構成要素はビデオフレームである、請求項１５７に記載のコンピュータ可読媒体。
【請求項１８５】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項１５７に記載のコンピュータ可読媒体。
【請求項１８６】
前記ブロックは符号化ビデオブロックである、請求項１８５に記載のコンピュータ可読媒体。
【請求項１８７】
前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項１５７に記載のコンピュータ可読媒体。
【請求項１８８】
前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項１８７に記載のコンピュータ可読媒体。
【請求項１８９】
前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項１８８に記載のコンピュータ可読媒体。
【請求項１９０】
ビデオを符号化する検索エリアを決定するシステムであって、
ビデオを取得するように構成される画像取得デバイスと、
動きデータを取得するように構成される１つ又は複数のセンサと、
１つ又は複数のプロセッサであって、
前記画像取得デバイスによって取得された、ビデオフレームを含む前記ビデオを受信するステップ、
前記ビデオフレームに関連付けられた動きデータを受信するステップであって、前記動きデータはセンサによって取得され、前記ビデオフレームは複数のブロックを含む、動きデータを受信するステップ、及び
前記動きデータに基づいて、前記ビデオフレーム内の検索エリアを決定するステップ
を実行するように構成される、１つ又は複数のプロセッサと
を備える、システム。
【請求項１９１】
前記１つ又は複数のプロセッサは、前記検索エリアに基づいて、前記画像取得デバイスによって取得される前記ビデオの前記動きを評価するように更に構成される、請求項１９０に記載のシステム。
【請求項１９２】
前記検索エリアは、前記ビデオフレームの選択されたブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの前記選択されたブロックが関連付けられる、請求項１９０に記載のシステム。
【請求項１９３】
前記検索エリアは、前記ビデオフレームの第１のブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記ビデオフレームの前記第１のブロック以外の前記ビデオフレームの複数のブロックが関連付けられる、請求項１９０に記載のシステム。
【請求項１９４】
前記複数のブロックは前記ビデオフレーム内のアレイを形成する、請求項１９０に記載のシステム。
【請求項１９５】
複数の検索エリアは、前記ビデオフレーム内で決定される、請求項１９０に記載のシステム。
【請求項１９６】
前記複数の検索エリアは、異なるブロック内で提供される、請求項１９５に記載のシステム。
【請求項１９７】
前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項１９５に記載のシステム。
【請求項１９８】
前記１つ又は複数のプロセッサは、前記ビデオフレーム内の運動ベクトルを査定する初期点を決定するように更に構成される、請求項１９０に記載のシステム。
【請求項１９９】
前記決定される検索エリアは前記初期点を含む、請求項１９８に記載のシステム。
【請求項２００】
前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項１９９に記載のシステム。
【請求項２０１】
前記運動ベクトル及び前記検索エリアはブロック内にある、請求項２００に記載のシステム。
【請求項２０２】
前記１つ又は複数のプロセッサは、前記検索エリアを評価して、運動ベクトルを識別するように更に構成される、請求項１９０に記載のシステム。
【請求項２０３】
前記検索エリアは、運動推定エンジンによって評価される、請求項１９１に記載のシステム。
【請求項２０４】
前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアを移すとの判断に基づいて、前記初期点を変更するようにも構成される、請求項１９８に記載のシステム。
【請求項２０５】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項１９０に記載のシステム。
【請求項２０６】
前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項１９０に記載のシステム。
【請求項２０７】
前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項１９０に記載のシステム。
【請求項２０８】
前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項２０７に記載のシステム。
【請求項２０９】
前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項２０７に記載のシステム。
【請求項２１０】
前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項１９０に記載のシステム。
【請求項２１１】
前記動きデータは垂直バイアスを示す、請求項２１０に記載のシステム。
【請求項２１２】
前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項１９８に記載のシステム。
【請求項２１３】
前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項１９１に記載のシステム。
【請求項２１４】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項１９０に記載のシステム。
【請求項２１５】
前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記検索エリアの形状を決定するように構成される、請求項１９０に記載のシステム。
【請求項２１６】
前記検索エリアの前記形状は、円形、正方形、楕円形、三角形、平行四辺形、台形、八角形、及び矩形の群から選択される、請求項２１５に記載のシステム。
【請求項２１７】
前記ビデオフレーム構成要素はビデオフレームである、請求項１９０に記載のシステム。
【請求項２１８】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項１９０に記載のシステム。
【請求項２１９】
前記ブロックは符号化ビデオブロックである、請求項２１８に記載のシステム。
【請求項２２０】
前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項１９０に記載のシステム。
【請求項２２１】
前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項２２０に記載のシステム。
【請求項２２２】
前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項２２１に記載のシステム。
【請求項２２３】
ビデオを符号化する検索エリアを決定する方法であって、
画像取得デバイスによって取得されたビデオを受信するステップであって、前記ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、前記ビデオフレームの各々は複数のブロックを含む、ビデオを受信するステップと、
前記第２のビデオフレームに関連付けられた動きデータを受信するステップであって、前記動きデータはセンサによって取得される、動きデータを受信するステップと、
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の検索エリアを決定するステップと
を含む、方法。
【請求項２２４】
前記検索エリアに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きを評価するステップを更に含む、請求項２２３に記載の方法。
【請求項２２５】
前記検索エリアは、前記第１のビデオフレームの選択されたブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記選択されたブロックに対応する前記第２のビデオフレームのブロックが関連付けられる、請求項２２３に記載の方法。
【請求項２２６】
前記検索エリアは、前記第１のビデオフレームの第１のブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記第１のブロックに対応しない前記第２のビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記第２のビデオフレームの複数のブロックが関連付けられる、請求項２２３に記載の方法。
【請求項２２７】
複数の検索エリアが、前記第１のビデオフレーム内で決定される、請求項２２３に記載の方法。
【請求項２２８】
前記複数の検索エリアは、異なるブロック内で提供される、請求項２２７に記載の方法。
【請求項２２９】
前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項２２７に記載の方法。
【請求項２３０】
前記第１のビデオフレーム内の運動ベクトルを査定する初期点を決定するステップを更に含む、請求項２２３に記載の方法。
【請求項２３１】
前記決定される検索エリアは前記初期点を含む、請求項２３０に記載の方法。
【請求項２３２】
前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別するステップによって前記動きを評価するのに使用される、請求項２３１に記載の方法。
【請求項２３３】
前記運動ベクトル及び前記検索エリアはブロック内にある、請求項２３２に記載の方法。
【請求項２３４】
前記検索エリアは、運動推定エンジンによって評価される、請求項２２４に記載の方法。
【請求項２３５】
前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアをバイアスするとの判断に基づいて、前記初期点を変更するステップを含む、請求項２３０に記載の方法。
【請求項２３６】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項２２３に記載の方法。
【請求項２３７】
前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項２２３に記載の方法。
【請求項２３８】
前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項２２３に記載の方法。
【請求項２３９】
前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項２３８に記載の方法。
【請求項２４０】
前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項２３８に記載の方法。
【請求項２４１】
前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項２２３に記載の方法。
【請求項２４２】
前記動きデータは垂直バイアスを示す、請求項２４１に記載の方法。
【請求項２４３】
前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項２３０に記載の方法。
【請求項２４４】
前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項２２４に記載の方法。
【請求項２４５】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項２２３に記載の方法。
【請求項２４６】
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するステップは、前記第２のフレームに関連付けられた動きデータのズームインに応答して、前記検索エリアを拡大するステップを含み、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２２３に記載の方法。
【請求項２４７】
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するステップは、前記第２のフレームに関連付けられた動きデータのズームアウトに応答して、前記検索エリアを縮小するステップを含み、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２２３に記載の方法。
【請求項２４８】
前記ビデオフレーム構成要素はビデオフレームである、請求項２２３に記載の方法。
【請求項２４９】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項２２３に記載の方法。
【請求項２５０】
前記ブロックは符号化ビデオブロックである、請求項２４９に記載の方法。
【請求項２５１】
前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項２２３に記載の方法。
【請求項２５２】
前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項２５１に記載の方法。
【請求項２５３】
前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項２５２に記載の方法。
【請求項２５４】
ビデオを符号化する検索エリアを決定するプログラム命令を含む非一時的コンピュータ可読媒体であって、
画像取得デバイスによって取得されたビデオを受信するプログラム命令であって、前記ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、前記ビデオフレームの各々は複数のブロックを含む、ビデオを受信するプログラム命令と、
前記第２のビデオフレームに関連付けられた動きデータを受信するプログラム命令であって、前記動きデータはセンサによって取得される、動きデータを受信するプログラム命令と、
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の検索エリアを決定するプログラム命令と
を含む、コンピュータ可読媒体。
【請求項２５５】
前記検索エリアに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きを評価するプログラム命令を更に含む、請求項２５４に記載のコンピュータ可読媒体。
【請求項２５６】
前記検索エリアは、前記第１のビデオフレームの選択されたブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記選択されたブロックに対応する前記第２のビデオフレームのブロックが関連付けられる、請求項２５４に記載のコンピュータ可読媒体。
【請求項２５７】
前記検索エリアは、前記第１のビデオフレームの第１のブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記第１のブロックに対応しない前記第２のビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記第２のビデオフレームの複数のブロックが関連付けられる、請求項２５４に記載のコンピュータ可読媒体。
【請求項２５８】
複数の検索エリアが、前記第１のビデオフレーム内で決定される、請求項２５４に記載のコンピュータ可読媒体。
【請求項２５９】
前記複数の検索エリアは、異なるブロック内で提供される、請求項２５８に記載のコンピュータ可読媒体。
【請求項２６０】
前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項２５８に記載のコンピュータ可読媒体。
【請求項２７０】
前記第１のビデオフレーム内の運動ベクトルを査定する初期点を決定するプログラム命令を更に含む、請求項２５４に記載のコンピュータ可読媒体。
【請求項２７１】
前記決定される検索エリアは前記初期点を含む、請求項２７０に記載のコンピュータ可読媒体。
【請求項２７２】
前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項２５５に記載のコンピュータ可読媒体。
【請求項２７３】
前記運動ベクトル及び前記検索エリアはブロック内にある、請求項２７２に記載のコンピュータ可読媒体。
【請求項２７４】
前記検索エリアは、運動推定エンジンによって評価される、請求項２５５に記載のコンピュータ可読媒体。
【請求項２７５】
前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアをバイアスするとの判断に基づいて、前記初期点を変更するステップを含む、請求項２７０に記載のコンピュータ可読媒体。
【請求項２７６】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項２５４に記載のコンピュータ可読媒体。
【請求項２７７】
前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項２５４に記載のコンピュータ可読媒体。
【請求項２７８】
前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項２５４に記載のコンピュータ可読媒体。
【請求項２７９】
前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項２７８に記載のコンピュータ可読媒体。
【請求項２８０】
前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項２７８に記載のコンピュータ可読媒体。
【請求項２８１】
前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項２５４に記載のコンピュータ可読媒体。
【請求項２８２】
前記動きデータは垂直バイアスを示す、請求項２８１に記載のコンピュータ可読媒体。
【請求項２８３】
前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項２７０に記載のコンピュータ可読媒体。
【請求項２８４】
前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項２５５に記載のコンピュータ可読媒体。
【請求項２８５】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項２５４に記載のコンピュータ可読媒体。
【請求項２８６】
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するステップは、前記第２のフレームに関連付けられた動きデータのズームインに応答して、前記検索エリアを拡大するステップを含み、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２５４に記載のコンピュータ可読媒体。
【請求項２８７】
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するステップは、前記第２のフレームに関連付けられた動きデータのズームアウトに応答して、前記検索エリアを縮小するステップを含み、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２５４に記載のコンピュータ可読媒体。
【請求項２８８】
前記ビデオフレーム構成要素はビデオフレームである、請求項２５４に記載のコンピュータ可読媒体。
【請求項２８９】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項２５４に記載のコンピュータ可読媒体。
【請求項２９０】
前記ブロックは、符号化されたビデオブロックである、請求項２８９に記載のコンピュータ可読媒体。
【請求項２９１】
前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項２５４に記載のコンピュータ可読媒体。
【請求項２９２】
前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項２９１に記載のコンピュータ可読媒体。
【請求項２９３】
前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項２９２に記載のコンピュータ可読媒体。
【請求項２９４】
ビデオを符号化する検索エリアを決定するシステムであって、
ビデオを取得するように構成される画像取得デバイスと、
動きデータを取得するように構成される１つ又は複数のセンサと、
１つ又は複数のプロセッサであって、
前記画像取得デバイスによって取得された前記ビデオを受信するステップであって、前記ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、前記ビデオフレームの各々は複数のブロックを含む、ビデオを受信するステップ、
前記第２のビデオフレームに関連付けられた動きデータを受信するステップであって、前記動きデータはセンサによって取得される、動きデータを受信するステップ、及び
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の検索エリアを決定するステップ
を実行するように構成される、１つ又は複数のプロセッサと
を備える、システム。
【請求項２９５】
前記１つ又は複数のプロセッサは、前記検索エリアに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きを評価するように更に構成される、請求項２９４に記載のシステム。
【請求項２９６】
前記検索エリアは、前記第１のビデオフレームの選択されたブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記選択されたブロックに対応する前記第２のビデオフレームのブロックが関連付けられる、請求項２９４に記載のシステム。
【請求項２９７】
前記検索エリアは、前記第１のビデオフレームの第１のブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記第１のブロックに対応しない前記第２のビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記第２のビデオフレームの複数のブロックが関連付けられる、請求項２９４に記載のシステム。
【請求項２９８】
複数の検索エリアが、前記第１のビデオフレーム内で決定される、請求項２９４に記載のシステム。
【請求項２９９】
前記複数の検索エリアは、異なるブロック内で提供される、請求項２９８に記載のシステム。
【請求項３００】
前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項２９８に記載のシステム。
【請求項３０１】
前記１つ又は複数のプロセッサは、前記第１のビデオフレーム内の運動ベクトルを査定する初期点を決定するように更に構成される、請求項２９４に記載のシステム。
【請求項３０２】
前記決定される検索エリアは前記初期点を含む、請求項３０１に記載のシステム。
【請求項３０３】
前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項３０２に記載のシステム。
【請求項３０４】
前記運動ベクトル及び前記検索エリアはブロック内にある、請求項３０３に記載のシステム。
【請求項３０５】
前記検索エリアは、運動推定エンジンによって評価される、請求項２９５に記載のシステム。
【請求項３０６】
前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアをバイアスするとの判断に基づいて、前記初期点を変更するステップを含む、請求項３０１に記載のシステム。
【請求項３０７】
前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項２９４に記載のシステム。
【請求項３０８】
前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項２９４に記載のシステム。
【請求項３０９】
前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項２９４に記載のシステム。
【請求項３１０】
前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項３０９に記載のシステム。
【請求項３１１】
前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項３０９に記載のシステム。
【請求項３１２】
前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項２９４に記載のシステム。
【請求項３１３】
前記動きデータは垂直バイアスを示す、請求項３１２に記載のシステム。
【請求項３１４】
前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項３０１に記載のシステム。
【請求項３１５】
前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項２９５に記載のシステム。
【請求項３１６】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項２９４に記載のシステム。
【請求項３１７】
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記第２のフレームに関連付けられた動きデータのズームインに応答して、前記検索エリアを拡大するように構成され、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２９４に記載のシステム。
【請求項３１８】
前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記第２のフレームに関連付けられた動きデータのズームアウトに応答して、前記検索エリアを縮小するように構成され、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２９４に記載のシステム。
【請求項３１９】
前記ビデオフレーム構成要素はビデオフレームである、請求項２９４に記載のシステム。
【請求項３２０】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項２９４に記載のシステム。
【請求項３２１】
前記ブロックは、符号化されたビデオブロックである、請求項３２０に記載のシステム。
【請求項３２２】
前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項２９４に記載のシステム。
【請求項３２３】
前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項３２２に記載のシステム。
【請求項３２４】
前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項３２３に記載のシステム。
【請求項３２５】
航空車両によって取得されるビデオを符号化する方法であって、
前記航空車両に搭載された画像取得デバイスによって取得されたビデオを受信するステップであって、前記ビデオはビデオフレーム構成要素を含む、受信するステップと、
ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップであって、前記オプティカルフロー場データの少なくとも一部は、前記航空車両に搭載されるセンサによって取得される、オプティカルフロー場データを受信するステップと、
前記オプティカルフロー場データに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きをビデオ符号化に関して評価するステップと
を含む、方法。
【請求項３２６】
前記航空車両は無人航空機である、請求項３２５に記載の方法。
【請求項３２７】
前記ビデオの前記動きは、前記ビデオのビデオフレーム構成要素内の検索エリア内で評価される、請求項３２５に記載の方法。
【請求項３２８】
前記検索エリアの寸法、形状、又はロケーションは、前記オプティカルフロー場データに基づいて決定される、請求項３２７に記載の方法。
【請求項３２９】
前記ビデオの前記動きは、運動推定エンジンによって評価される、請求項３２５に記載の方法。
【請求項３３０】
前記ビデオの動きを評価するステップは、前記ビデオのビデオフレーム構成要素内の検索エリアを評価するステップを含み、前記検索エリアは、前記オプティカルフロー場データが、初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアをバイアスすると判断される場合、変更される、請求項３２５に記載の方法。
【請求項３３１】
前記検索エリアを変更するステップは、前記検索エリアの前記寸法を変更するステップを含む、請求項３３０に記載の方法。
【請求項３３２】
前記検索エリアを変更するステップは、前記検索エリアの前記形状を変更するステップを含む、請求項３３０に記載の方法。
【請求項３３３】
前記検索エリアを変更するステップは、前記検索エリアの前記ロケーションを変更するステップを含む、請求項３３０に記載の方法。
【請求項３３４】
前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションをバイアスする、請求項３３３に記載の方法。
【請求項３３５】
前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３３３に記載の方法。
【請求項３３６】
前記検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記検索エリアを垂直に引き延ばすステップを含む、請求項３３０に記載の方法。
【請求項３３７】
前記オプティカルフロー場データは垂直バイアスを示す、請求項３３６に記載の方法。
【請求項３３８】
前記検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオ構成要素上の前記検索エリアの位置を移動するステップを含む、請求項３３０に記載の方法。
【請求項３３９】
前記ビデオの前記動きは評価されて、前記ビデオのビデオフレーム構成要素内の運動ベクトルを識別する、請求項３２５に記載の方法。
【請求項３４０】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項３２５に記載の方法。
【請求項３４１】
前記オプティカルフロー場データの一部は、外部ソースから受信される、請求項３２５に記載の方法。
【請求項３４２】
前記外部ソースから受信される前記オプティカルフロー場データの前記一部は、陸上局から前記航空車両に通信される、請求項３４１に記載の方法。
【請求項３４３】
前記ビデオフレーム構成要素はビデオフレームである、請求項３３９に記載の方法。
【請求項３４４】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項３３９に記載の方法。
【請求項３４５】
前記ブロックは、符号化されたビデオブロックである、請求項３４４に記載の方法。
【請求項３４６】
前記ビデオフレーム構成要素の検索エリアが提供される、請求項３３９に記載の方法。
【請求項３４７】
前記検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、変更検索エリアを生成する、請求項３４６に記載の方法。
【請求項３４８】
前記変更検索エリアは、初期検索エリアよりも小さい、請求項３４７に記載の方法。
【請求項３４９】
航空車両によって取得されるビデオを符号化するプログラム命令を含む非一時的コンピュータ可読媒体であって、
前記航空車両に搭載された画像取得デバイスによって取得されたビデオを受信するプログラム命令であって、前記ビデオはビデオフレーム構成要素を含む、受信するプログラム命令と、
ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令であって、前記オプティカルフロー場データの少なくとも一部は、前記航空車両に搭載されるセンサによって取得される、オプティカルフロー場データを受信するプログラム命令と、
前記オプティカルフロー場データに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きをビデオ符号化に関して評価するプログラム命令と
を含む、コンピュータ可読媒体。
【請求項３５０】
前記航空車両は無人航空機である、請求項３４９に記載のコンピュータ可読媒体。
【請求項３５１】
前記ビデオの前記動きは、前記ビデオのビデオフレーム構成要素内の検索エリア内で評価される、請求項３４９に記載のコンピュータ可読媒体。
【請求項３５２】
前記検索エリアの寸法、形状、又はロケーションは、前記オプティカルフロー場データに基づいて決定される、請求項３５１に記載のコンピュータ可読媒体。
【請求項３５３】
前記ビデオの前記動きは、運動推定エンジンによって評価される、請求項３４９に記載のコンピュータ可読媒体。
【請求項３５４】
前記ビデオの動きを評価するステップは、前記ビデオのビデオフレーム構成要素内の検索エリアを評価するステップを含み、前記検索エリアは、前記オプティカルフロー場データが、初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアをバイアスすると判断される場合、変更される、請求項３４９に記載のコンピュータ可読媒体。
【請求項３５５】
前記検索エリアを変更するステップは、前記検索エリアの前記寸法を変更するステップを含む、請求項３５４に記載のコンピュータ可読媒体。
【請求項３５６】
前記検索エリアを変更するステップは、前記検索エリアの前記形状を変更するステップを含む、請求項３５４に記載のコンピュータ可読媒体。
【請求項３５７】
前記検索エリアを変更するステップは、前記検索エリアの前記ロケーションを変更するステップを含む、請求項３５４に記載のコンピュータ可読媒体。
【請求項３５８】
前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３５７に記載のコンピュータ可読媒体。
【請求項３５９】
前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３５７に記載のコンピュータ可読媒体。
【請求項３６０】
前記検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記検索エリアを垂直に引き延ばすステップを含む、請求項３５４に記載のコンピュータ可読媒体。
【請求項３６１】
前記オプティカルフロー場データは垂直バイアスを示す、請求項３６０に記載のコンピュータ可読媒体。
【請求項３６２】
前記検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオ構成要素上の前記検索エリアの位置を移動するステップを含む、請求項３５４に記載のコンピュータ可読媒体。
【請求項３６３】
前記検索エリアは評価されて、前記ビデオのビデオフレーム構成要素内の運動ベクトルを識別する、請求項３５４に記載のコンピュータ可読媒体。
【請求項３６４】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項３５４に記載のコンピュータ可読媒体。
【請求項３６５】
前記オプティカルフロー場データの一部は、外部ソースから受信される、請求項３４９に記載のコンピュータ可読媒体。
【請求項３６６】
前記外部ソースから受信される前記オプティカルフロー場データの前記一部は、陸上局から前記航空車両に通信される、請求項３６５に記載のコンピュータ可読媒体。
【請求項３６７】
前記ビデオフレーム構成要素はビデオフレームである、請求項３６３に記載のコンピュータ可読媒体。
【請求項３６８】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項３６３に記載のコンピュータ可読媒体。
【請求項３６９】
前記ブロックは、符号化されたビデオブロックである、請求項３６８に記載のコンピュータ可読媒体。
【請求項３７０】
前記ビデオフレーム構成要素の検索エリアが提供される、請求項３６３に記載のコンピュータ可読媒体。
【請求項３７１】
前記検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、変更検索エリアを生成する、請求項３７０に記載のコンピュータ可読媒体。
【請求項３７２】
前記変更検索エリアは、初期検索エリアよりも小さい、請求項３７１に記載のコンピュータ可読媒体。
【請求項３７３】
航空車両によって取得されるビデオを符号化するシステムであって、
航空車両に搭載される画像取得デバイスであって、ビデオを取得するように構成される、画像取得デバイスと、
前記航空車両に搭載される１つ又は複数のセンサであって、オプティカルフロー場データを取得するように構成される、１つ又は複数のセンサと、
１つ又は複数のプロセッサであって、個々に又は集合的に、
前記画像取得デバイスによって取得された前記ビデオを受信するステップであって、前記ビデオはビデオフレーム構成要素を含む、受信するステップ、
ビデオフレーム構成要素に関連付けられた前記オプティカルフロー場データを受信するステップであって、前記オプティカルフロー場データの少なくとも一部は、前記センサによって取得される、オプティカルフロー場データを受信するステップ、及び
前記オプティカルフロー場データに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きをビデオ符号化に関して評価するステップ
を実行するように構成される、１つ又は複数のプロセッサと
を備える、システム。
【請求項３７４】
前記航空車両は無人航空機である、請求項３７３に記載のシステム。
【請求項３７５】
前記ビデオの前記動きは、前記ビデオのビデオフレーム構成要素内の検索エリア内で評価される、請求項３７３に記載のシステム。
【請求項３７６】
前記検索エリアの寸法、形状、又はロケーションは、前記オプティカルフロー場データに基づいて決定される、請求項３７５に記載のシステム。
【請求項３７７】
前記ビデオの前記動きは、運動推定エンジンによって評価される、請求項３７３に記載のシステム。
【請求項３７８】
前記ビデオの前記動きを評価するように構成される前記１つ又は複数のプロセッサは、前記ビデオのビデオフレーム構成要素内の検索エリアを評価するように構成され、前記検索エリアは、前記オプティカルフロー場データが、初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアをバイアスすると判断される場合、変更される、請求項３７３に記載のシステム。
【請求項３７９】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの前記寸法を変更するように構成される、請求項３７８に記載のシステム。
【請求項３８０】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの前記形状を変更するように構成される、請求項３７８に記載のシステム。
【請求項３８１】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの前記ロケーションを変更するように構成される、請求項３７８に記載のシステム。
【請求項３８２】
前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３８１に記載のシステム。
【請求項３８３】
前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３８１に記載のシステム。
【請求項３８４】
前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データに基づいて、前記検索エリアを垂直に引き延ばすように構成される、請求項３７８に記載のシステム。
【請求項３８５】
前記オプティカルフロー場データは垂直バイアスを示す、請求項３８４に記載のシステム。
【請求項３８６】
前記検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオ構成要素上の前記検索エリアの位置を移動するように構成される、請求項３７８に記載のシステム。
【請求項３８７】
前記検索エリアは評価されて、前記ビデオのビデオフレーム構成要素内の運動ベクトルを識別する、請求項３７８に記載のシステム。
【請求項３８８】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項３７３に記載のシステム。
【請求項３８９】
前記オプティカルフロー場データの一部は、外部ソースから受信される、請求項３７３に記載のシステム。
【請求項３９０】
前記外部ソースから受信される前記オプティカルフロー場データの前記一部は、陸上局から前記航空車両に通信される、請求項３８９に記載のシステム。
【請求項３９１】
前記ビデオフレーム構成要素はビデオフレームである、請求項３８７に記載のシステム。
【請求項３９２】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項３８７に記載のシステム。
【請求項３９３】
前記ブロックは、符号化されたビデオブロックである、請求項３９２に記載のシステム。
【請求項３９４】
前記ビデオフレーム構成要素の検索エリアが提供される、請求項３８７に記載のシステム。
【請求項３９５】
前記検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、変更検索エリアを生成する、請求項３９４に記載のシステム。
【請求項３９６】
前記変更検索エリアは、初期検索エリアよりも小さい、請求項３９５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
無人航空機（ＵＡＶ）等の航空車両は、監視動作、捜索動作、及び救護動作、探索、及び他の分野を含む広範囲の用途のために開発された。そのようなＵＡＶは多くの場合、ビデオ取得のために搭載されたカメラモジュールを担持し得る。
【背景技術】
【０００２】
ＵＡＶによって取得されたビデオは、様々な方法によって符号化され得る。しかし、ＵＡＶのビデオ符号化方法及びシステムは、理想に満たないことがある。例えば、特にビデオが大量の移動を含む場合、ＵＡＶからの取得ビデオが符号化され送信される際、パケット損失が生じることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ビデオ取得デバイスから得られるビデオを符号化する改善された方法及びシステムが必要とされる。ビデオ取得デバイスは、無人航空機（ＵＡＶ）等の無人車両によって担持し得る。ＵＡＶに関連付けられたセンサからの情報を利用することにより、ＵＡＶ上のビデオ取得デバイス等のビデオ取得デバイスにより取得されるビデオを符号化する方法が提供される。ある実施形態では、ビデオ取得デバイスは、動きデータを含むビデオを取得し得る。さらに、ＵＡＶは、ＵＡＶに関連付けられたセンサを使用して、オプティカルフロー場の生成に使用し得る情報を取得し得る。取得されたビデオが、ビデオと同様のときに取得されたセンサ情報に基づく相関付けられたオプティカルフロー場と位置合わせされる場合、その結果生成される情報を使用して、ビデオデータを効率的に符号化し得る。特に、位置合わせされたビデオ及びオプティカルフロー場データを使用して、ビデオ内の運動ベクトルのロケーションを効率的に特定し得る。そして、運動ベクトルを使用して、ビデオ符号化のプロセス中、予測ビデオフレームと知覚ビデオフレームとの差から生じる残差データを低減し得る。したがって、運動ベクトルを正確且つ効率的に識別することに関する方法は、ビデオ符号化プロセスの効率及び有用性を増大させ得る。
【０００４】
ＵＡＶからのセンサデータを使用して生成されるオプティカルフロー場を使用して、生成されたオプティカルフロー場と位置合わせされたビデオデータを効率的に符号化し得る。ビデオデータは、ＵＡＶにおけるプロセッサ、ビデオ取得デバイス、又はＵＡＶ搭載のキャリアによって符号化し得る。ビデオデータは、ＵＡＶに通信可能に接続されるユーザ端末等のＵＡＶ外部のプロセッサによって符号化され得る。さらに、オプティカルフロー場はＵＡＶにおいて生成し得る。代替的には、オプティカルフロー場は、ＵＡＶに通信可能に接続される外部ロケーションにおいて生成し得る。オプティカルフロー場の生成に使用されるセンサ情報は、ＵＡＶにおいて検出し得る。追加又は代替として、オプティカルフロー場の生成に使用されるセンサ情報は、ＵＡＶに通信可能に接続される外部ソースからＵＡＶに提供し得る。したがって、ビデオ取得デバイスによって取得されるビデオデータは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場を使用して、効率的に符号化し得る。
【０００５】
特に、ＵＡＶによって取得されたビデオデータに対応するオプティカルフロー場を使用して、ビデオデータ内のビデオフレーム構成要素に関連付けられた運動ベクトルのロケーションを効率的に識別し得る。ビデオデータを符号化する際、各フレームを何度も繰り返して符号化するよりも、ビデオデータをビデオフレーム構成要素に分割し、ビデオフレーム構成要素間の認識された類似性を符号化することが有益であり得る。しかし、幾つかのビデオデータは大きな移動を有し得るため、２つのビデオフレーム間に大量の類似性がある場合であっても、第１のビデオフレームのブロックを第２のビデオフレームのブロックに関連付けることが難しいことがある。これは、大きな移動に伴い、ビデオフレーム内の類似要素のバイアスがビデオフレームにわたってシフトし得るためである。例えば、カメラが右にシフトすると、前はビデオフレームの右縁部にあったビデオの物体は左にシフトすることになる。しかし、ビデオデータを符号化する従来の方法は、第１のビデオフレーム上の特定のロケーションにあるブロックが、第２のビデオフレーム上の同じ特定のロケーションにあるブロックに関連するという仮定に基づく。従来の方法は、検索エリアを利用して、第２のビデオフレーム上のブロックの初期の同じ場所にある点の周囲の関心のあるエリアを識別するが、使用される検索エリアのサイズ及びロケーションは、カメラの移動に鑑みて変更されない。したがって、異なるビデオフレーム間での類似ブロック間の、共有運動ベクトルの識別等の結び付きを見つけるために従来の方法を使用することは一般に、ビデオデータに関連付けられた大きな移動両がある場合、不足している。
【課題を解決するための手段】
【０００６】
ビデオデータを符号化する従来の方法のこの欠点に基づいて、本発明の態様は、オプティカルフロー場データを使用して、ビデオデータをコンテキスト化することを提供する。特に、ビデオデータと位置合わせされたオプティカルフロー場を使用して、運動ベクトル等のビデオフレームにわたるブロック間の結び付け情報を識別するために使用される検索エリアのサイズ及び形状を変更し得る。さらに、オプティカルフロー場は、ビデオフレームのブロックに関連付けられた運動ベクトルの検索エリアの初期開始点をバイアス／シフトして、ブロック内の運動ベクトルをより正確に識別することにも使用し得る。
【０００７】
本発明の態様は、ビデオを符号化する検索エリアを評価する方法を含み得る。本方法は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップを含み得る。さらに、本方法は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップを含み得、オプティカルフロー場データの少なくとも一部はセンサによって取得される。本方法は、オプティカルフロー場データに基づいて検索エリアを決定するステップを含むこともできる。
【０００８】
さらに、本発明の態様は、ビデオを符号化する検索エリアを評価するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するプログラム命令を含み得る。本コンピュータ可読媒体は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令を含むこともでき、オプティカルフロー場データの少なくとも一部はセンサによって取得される。さらに、本コンピュータ可読媒体は、オプティカルフロー場データに基づいて検索エリアを決定するプログラム命令を含み得る。
【０００９】
本発明の態様は、ビデオを符号化する検索エリアを評価するシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。さらに、本システムは、オプティカルフロー場データを取得するように構成される１つ又は複数のセンサを含み得る。本システムは、１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、個々に又は集合的に、画像取得デバイスによって取得されたビデオを受信するように構成され得る。ビデオはビデオフレーム構成要素を含み得る。さらに、１つ又は複数のプロセッサは、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するように構成され、オプティカルフロー場データの少なくとも一部は１つ又は複数のセンサによって取得される。１つ又は複数のプロセッサは、オプティカルフロー場データに基づいて検索エリアを決定するようも構成され得る。
【００１０】
本発明の態様は、ビデオフレーム構成要素の運動ベクトルを識別する方法を更に含み得る。本方法は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップを含み得る。さらに、本方法は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップを含み得る。本方法は、運動ベクトルを査定する検索エリアを決定するステップを含むこともでき、検索エリアは、受信したオプティカルフロー場データに基づく。
【００１１】
さらに、本発明の態様は、ビデオフレーム構成要素の運動ベクトルを特定するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するプログラム命令を含み得る。本コンピュータ可読媒体は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令を含むこともできる。さらに、本コンピュータ可読媒体は、運動ベクトルを査定する検索エリアを決定するプログラム命令を含み得、検索エリアは、受信したオプティカルフロー場データに基づく。
【００１２】
本発明の態様は、ビデオフレーム構成要素の運動ベクトルを識別するシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。本システムは、オプティカルフロー場データを取得するように構成される１つ又は複数のセンサを含むこともできる。さらに、本システムは１つ又は複数のプロセッサを含み得る。１つ又は複数のプロセッサは、画像取得デバイスによって取得されたビデオを受信するように構成し得、ビデオはビデオフレーム構成要素を含む。１つ又は複数のプロセッサは、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するようにも構成し得る。さらに、１つ又は複数のプロセッサは、運動ベクトルを査定する検索エリアを決定するように構成し得、検索エリアは初期点を含み、検索エリアの寸法は、受信したオプティカルフロー場データに基づく。
【００１３】
本発明の更なる態様では、ビデオを符号化する検索エリアを決定する方法を含み得る。本方法は、画像取得デバイスによって取得されたビデオを受信するステップを含み得、ビデオはビデオフレームを含む。本方法は、ビデオフレームに関連付けられた動きデータを受信するステップを含むこともでき、動きデータはセンサによって取得される。さらに、本方法は、動きデータに基づいてビデオフレーム内の検索エリアを決定するステップを含み得、検索エリアは、画像取得デバイスによって取得されるビデオの動きを評価するのに使用される。
【００１４】
本発明の追加の態様は、ビデオを符号化する検索エリアを決定するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得された、ビデオフレームを含むビデオを受信するプログラム命令を含み得る。さらに、本コンピュータ可読媒体は、ビデオフレームに関連付けられた動きデータを受信するプログラム命令を含み得、動きデータはセンサによって取得され、ビデオフレームは複数のブロックを含む。さらに、本コンピュータ可読媒体は、動きデータに基づいてビデオフレーム内の検索エリアを決定するプログラム命令を含み得る。
【００１５】
本発明の態様は、ビデオを符号化する検索エリアを決定するシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。さらに、本システムは、動きデータを取得するように構成される１つ又は複数のセンサを含み得る。本システムは、１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、画像取得デバイスによって取得された、ビデオフレームを含むビデオを受信するように構成され得る。１つ又は複数のプロセッサは、ビデオフレームに関連付けられた動きデータを受信するようにも構成され、動きデータはセンサによって取得され、ビデオフレームは複数のブロックを含む。さらに、１つ又は複数のプロセッサは、動きデータに基づいて、ビデオフレーム内の検索エリアを決定するように構成され得る。
【００１６】
本発明の更なる態様は、ビデオを符号化する検索エリアを決定する方法を含み得る。本方法は、画像取得デバイスによって取得されたビデオを受信するステップを含み得、ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、ビデオフレームの各々は複数のブロックを含む。本方法は、第２のビデオフレームに関連付けられた動きデータを受信するステップを含むこともでき、動きデータはセンサによって取得される。さらに、本方法は、第２のビデオフレームに関連付けられた動きデータに基づいて、第１のビデオフレーム内の検索エリアを決定するステップを含み得る。
【００１７】
本発明の更なる態様は、ビデオを符号化する検索エリアを決定するプログラム命令を含む非一時的コンピュータ可読媒体でを含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得されたビデオを受信するプログラム命令を含み得、ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、ビデオフレームの各々は複数のブロックを含む。さらに、本コンピュータ可読媒体は、第２のビデオフレームに関連付けられた動きデータを受信するプログラム命令を含み得、動きデータはセンサによって取得される。さらに、本コンピュータ可読媒体は、第２のビデオフレームに関連付けられた動きデータに基づいて、第１のビデオフレーム内の検索エリアを決定するプログラム命令を含み得る。
【００１８】
本発明の態様は、ビデオを符号化する検索エリアを決定するシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。さらに、本システムは、動きデータを取得するように構成される１つ又は複数のセンサを含み得る。本システムは、１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、画像取得デバイスによって取得されたビデオを受信するように構成し得、ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、ビデオフレームの各々は複数のブロックを含む。１つ又は複数のプロセッサは、第２のビデオフレームに関連付けられた動きデータを受信するようにも構成し得、動きデータはセンサによって取得される。さらに、１つ又は複数のプロセッサは、第２のビデオフレームに関連付けられた動きデータに基づいて、第１のビデオフレーム内の検索エリアを決定するように構成し得る。
【００１９】
本発明の別の態様は、航空車両によって取得されるビデオを符号化する方法を含み得る。本方法は、航空車両に搭載された画像取得デバイスによって取得されたビデオを受信するステップを含み得、ビデオはビデオフレーム構成要素を含む。さらに、本方法は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップを含み得、オプティカルフロー場データの少なくとも一部は、航空車両に搭載されるセンサによって取得される。本方法は、オプティカルフロー場データに基づいて、画像取得デバイスによって取得されたビデオの動きをビデオ符号化に関して評価するステップを含むこともできる。
【００２０】
さらに、本発明の態様は、航空車両によって取得されるビデオを符号化するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、航空車両に搭載された画像取得デバイスによって取得されたビデオを受信するプログラム命令を含み得、ビデオはビデオフレーム構成要素を含む。本コンピュータ可読媒体は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令を含み得、オプティカルフロー場データの少なくとも一部は、航空車両に搭載されるセンサによって取得される。本コンピュータ可読媒体は、オプティカルフロー場データに基づいて、画像取得デバイスによって取得されたビデオの動きをビデオ符号化に関して評価するプログラム命令を含むこともできる。
【００２１】
本発明の態様は、航空車両によって取得されるビデオを符号化するシステムを含むこともできる。本システムは、航空車両に搭載される画像取得デバイスを含み得、上記画像取得デバイスは、ビデオを取得するように構成される。さらに、本システムは、航空車両に搭載される１つ又は複数のセンサを含み得、上記１つ又は複数のセンサは、オプティカルフロー場データを取得するように構成される。本システムは、１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、個々に又は集合的に、画像取得デバイスによって取得されたビデオを受信するように構成し得、ビデオはビデオフレーム構成要素を含む。さらに、１つ又は複数のプロセッサは、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するように構成し得、オプティカルフロー場データの少なくとも一部は、センサによって取得される。１つ又は複数のプロセッサは、オプティカルフロー場データに基づいて、画像取得デバイスによって取得されたビデオの動きをビデオ符号化に関して評価するようにも構成し得る。
【００２２】
本発明の異なる態様が個々に、集合的に、又は互いに組み合わせて理解され得ることが理解されるものとする。本明細書に記載される本発明の様々な態様は、以下に記載される任意の特定の用途又は任意の他のタイプの移動可能物体に適用し得る。無人航空機等の航空車両の本明細書での任意の説明は、任意の車両等の任意の移動可能物体に適用し得、使用され得る。さらに、ビデオ取得デバイスが航空移動（例えば、飛行）のビデオデータを取得している間にビデオを符号化する文脈の中で本明細書に開示されるシステム、デバイス、及び方法は、ビデオ取得デバイスが地上又は水上、水中の移動、又は宇宙空間での移動等の他のタイプの移動のビデオ取得を取得している間にビデオを符号化する文脈でも適用し得る。
【００２３】
本発明の他の目的及び特徴は、本明細書、特許請求の範囲、及び添付図の検討により明白になろう。
【００２４】
本明細書において言及される全ての公開物、特許、及び特許出願は、まるで個々の各公開物、特許、又は特許出願が特に個々に、参照により援用されるものとして示されるかのような程度まで、参照により本明細書に援用される。
【００２５】
本発明の新規の特徴は、特に添付の特許請求の範囲に記載される。本発明の特徴及び利点のよりよい理解は、本発明の原理が利用される例示的な実施形態を記載する以下の詳細な説明及び添付図面を参照することによって得られよう。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態による、ビデオ取得に使用されるビデオ取得デバイスを担持する無人航空機（ＵＡＶ）の概略図を示す。
【図２】本発明の実施形態によるビデオ符号化の一般的なプロセスを示す。
【図３】本発明の実施形態による、ビデオフレーム構成要素におけるブロック内のピクセルのイントラ符号化の例を示す。
【図４】本発明の実施形態による、ビデオフレームにわたり同じ場所に配置されたブロックをリンクする運動ベクトルを示す。
【図５】従来技術において提供されるようなフレーム間のブロックを符号化するために提供される検索エリアの構造を示す。
【図６】本発明の実施形態による、フレーム間のブロックを符号化するために提供される検索エリアを変更する構造を示す。
【図７】本発明の実施形態による、上からの回転図に関連付けられたオプティカルフロー場を示す。
【図８】本発明の実施形態による、カメラに関連付けられたズームイン特徴に関連付けられたオプティカルフロー場を示す。
【図９】本発明の実施形態による、異なる度物体移動を有する大域的オプティカルフロー場を提供する。
【図１０】本発明の実施形態による超高速大域的カメラ移動を示す。
【図１１】本発明の実施形態による傾斜大域的移動を示す。
【図１２】本発明の実施形態による初期検索点とバイアス検索点との比較を示す。
【図１３】本発明の実施形態による、オプティカルフロー場データに基づいて、ビデオ符号化について検索エリアを評価する方法を示すフローチャートである。
【図１４】本発明の実施形態による、オプティカルフロー場データに基づいて、ビデオフレーム構成要素の運動ベクトルを識別する方法を示すフローチャートである。
【図１５】本発明の実施形態による、動きデータに基づいてビデオ符号化の検索エリアを決定する方法を示すフローチャートである。
【図１６】本発明の実施形態による、動きデータに基づいてビデオ符号化の検索エリアを決定する別の方法を示すフローチャートである。
【図１７】本発明の実施形態による、オプティカルフロー場データに基づいて航空車両によって取得されたビデオを符号化する別の方法を示すフローチャートである。
【図１８】本発明の実施形態によるＵＡＶの装置を示す。
【図１９】本発明の実施形態によるキャリア及び搭載物を含む移動可能物体を示す。
【図２０】本発明の実施形態による、移動可能物体を制御するシステムのブロック図による概略図である。
【発明を実施するための形態】
【００２７】
本明細書に記載される方法、デバイス、及び端末は、無人航空機（ＵＡＶ）に搭載されたビデオ取得デバイス等のビデオ取得デバイスによって取得されたビデオを効率的に符号化する効果的な手法を提供する。本明細書に記載される方法、デバイス、及び端末は、ビデオデータを取得し、ＵＡＶに関連付けられたセンサデータに基づいてオプティカルフロー場を生成し、生成されたオプティカルフロー場に基づいて、ビデオデータの符号化に使用する検索エリアを変更するのに使用し得る。本明細書に開示される方法、デバイス、及び端末は、任意の適する移動可能物体又は静止物体に取り付けられるビデオ取得デバイスによって取得されるビデオに適用し得る。移動可能物体は、自己推進移動可能（例えば、車両）であり得、一方、静止物体は自己推進移動可能ではないことがある。ある実施形態では、移動可能物体は無人航空機（ＵＡＶ）であり得る。
【００２８】
したがって、提供される方法を使用して、ビデオデータを効率的に符号化し得る。ビデオデータがより効率的に符号化される場合、設定量の記憶空間を所与として、より多量のビデオデータを記録し得る。代替的には、従来は同量の一般ビデオデータのみを記録可能であった同量の記憶空間内に、容量を増大したビデオを記録し得る。これは、高精細ビデオの記録又は高度の動きを有するビデオの記録において有益である。
【００２９】
本発明の方法がビデオデータを効率的に符号化可能な方法は、時間にわたりビデオフレームのアスペクトをリンクする運動ベクトルを効率的に検索することによる。特に、これらのリンクするアスペクトを検索する方法は、ビデオ取得デバイスの移動に関連付けられた影響等のビデオデータで取得中の物体に影響を及ぼす他の影響に基づいてコンテキスト化される。このようにして、ビデオ取得デバイスの移動と、ビデオ取得デバイスの搭載に使用されるＵＡＶのセンサによって取得される他の影響とを用いて運動ベクトルをコンテキスト化することにより、これらのリンクする運動ベクトルの識別に必要な検索エリアが最小化される。したがって、ビデオデータの符号化に必要な労力が最小化される。
【００３０】
図１は、本発明の実施形態による、ビデオ取得に使用されるビデオ取得デバイス１４０を担持する無人航空機（ＵＡＶ）１００の概略図を示す。ＵＡＶは、ＵＡＶ本体１１０と、ＵＡＶの移動を行い得る１つ又は複数の推進ユニット１２０とを有し得る。ＵＡＶは１つ又は複数のセンサを有し得る。１つ又は複数のセンサは、オプティカルフロー場を生成するためにＵＡＶによって使用されるデータの収集に使用し得る。ＵＡＶは任意選択的に、オンボードオプティカルフロー場生成器１３０を有し得る。そして、ＵＡＶによって生成されるオプティカルフロー場は、ＵＡＶによって取得されるビデオの効率的な符号化に使用し得る。符号化プロセッサ１５０は任意選択的に、ＵＡＶによって担持され、ビデオの符号化に使用し得る。
【００３１】
ビデオは、ビデオ取得デバイス１４０を使用して取得し得る。ビデオ取得デバイスは、静止物体又はＵＡＶ等の移動可能物体上に支持し得る。ＵＡＶの本明細書での任意の説明は、ビデオ取得デバイスの任意の支持構造を含み得るＵＡＶ１００の本明細書での任意の説明は、航空車両等の任意のタイプの移動可能物体に適用し得る。ＵＡＶの説明は、任意のタイプの無人移動可能物体（例えば、空中、陸上、水中、又は空間を移動し得る）に適用し得る。ＵＡＶは、リモートコントローラからのコマンドに応答可能であり得る。リモートコントローラは、ＵＡＶに接続されなくてもよく、むしろ、リモートコントローラは、遠くのＵＡＶと無線で通信し得る。場合によっては、ＵＡＶは、自律的又は半自律的に動作可能であり得る。ＵＡＶは、１組の予めプログラムされた命令に従うことが可能であり得る。場合によっては、ＵＡＶは、リモートコントローラからの１つ又は複数のコマンドに応答し、その他の場合には自律的に動作することにより、半自律的に動作し得る。例えば、リモートコントローラからの１つ又は複数のコマンドは、１つ又は複数のパラメータに従ってＵＡＶによる一連の自律動作又は半自律動作を開始し得る。ある実施形態では、ＵＡＶの本明細書での任意の説明は、ビデオ取得デバイスの支持体（例えば、スタンド、支柱、フェンス、建物、壁、天井、屋根、床、地面、家具、照明器具、木、植物、石、又は任意の他の静止物体）等の任意の静止物体に適用し得る。
【００３２】
ビデオ取得デバイスは、ビデオ取得デバイスによって取得される視野（ＦＯＶ）を変更可能であり得る。ビデオ取得デバイスは、並進移動（例えば、左右、前後、上下、又はそれらの任意の組合せ）を有して、ビデオ取得デバイスのＦＯＶを変更し得る。ビデオ取得デバイスは、回転移動（例えば、ビデオ取得デバイスのヨー軸、ピッチ軸、又はロール軸回り）を有して、ビデオ取得デバイスのＦＯＶを変更し得る。場合によっては、ビデオ取得デバイスは、回転移動なしで並進移動のみを有し得、並進移動なしで回転移動のみを有し得、又は並進移動及び回転移動の両方を有し得る。ビデオ取得デバイスからのビデオによって取得された移動は、ビデオ取得デバイスＦＯＶの変更を示し得る。ビデオ符号化システム及び方法を使用して、本明細書の他の箇所に更に詳細に説明するように、ビデオ取得デバイスによって取得されたビデオを符号化し得る。
【００３３】
ビデオ取得デバイスは任意選択的に、ＵＡＶ１００又は任意の他の支持構造体によって支持し得る。ＵＡＶは本体１１０を有し得る。場合によっては、本体は、１つ又は複数の分岐部材又は「アーム」を有し得る中央体であり得る。アームは、半径方向に本体から外側に延び、本体を介して結合し得る。アームの数は、ＵＡＶの推進ユニット又はロータの数に一致し得る。本体は筐体を備え得る。筐体は、筐体内にＵＡＶの１つ又は複数の構成要素を囲み得る。場合によっては、ＵＡＶの１つ又は複数の電気構成要素を筐体内に提供し得る。例えば、ＵＡＶの飛行コントローラが、筐体内に提供され得る。飛行コントローラは、ＵＡＶの１つ又は複数の推進ユニット１２０の動作を制御し得る。推進ユニットは各々、ロータ及びモータの少なくとも一方を含み得る。さらに、１つ又は複数の推進ユニットは、ＵＡＶが空中であちこち移動できるようにし得る。１つ又は複数の推進ユニットは、ＵＡＶのアームに提供し得る。アームは、アームの基端部でＵＡＶの本体に接続し得る。１つ又は複数の推進ユニットは、アームの先端部に接続し得る。１つ又は複数の推進ユニットは、ＵＡＶが１つ又は複数、２つ以上、３つ以上、４つ以上、５つ以上、６つ以上の自由度で動き回れるようにし得る。場合によっては、ＵＡＶは、１つ、２つ、３つ以上の回転軸の回りで回転可能であり得る。回転軸は、互いに直交し得る。回転軸は、ＵＡＶの飛行の過程全体を通して互いに直交した状態を保ち得る。回転軸は、ピッチ軸、ロール軸、及び／又はヨー軸を含み得る。ＵＡＶは、１つ又は複数の次元に沿って移動可能であり得る。例えば、ＵＡＶは、１つ又は複数のロータによって生成される揚力に起因して、上方に移動可能であり得る。場合によっては、ＵＡＶは、Ｚ軸（ＵＡＶの向きに相対して上であり得る）、Ｘ軸及びＹ軸（横方向であり得る）の少なくとも一方に沿って移動可能であり得る。ＵＡＶは、互いに直交し得る１つ、２つ、又は３つの軸に沿って移動可能であり得る。
【００３４】
ＵＡＶはロータクラフトであり得る。場合によっては、ＵＡＶは、複数のロータを含み得るマルチロータクラフトであり得る。複数のロータは、回転してＵＡＶの揚力を生成することが可能であり得る。ロータは、ＵＡＶが、空中を自在にあちこち移動できるようにし得る推進ユニットであり得る。ロータは、同じ速度で回転し、且つ／又は同量の揚力又は推進力を生成し得る。ロータは任意選択的に、可変速度で回転し得、可変速度は異なる量の揚力又は推進力を生成し、且つ／又はＵＡＶが回転することができるようにし得る。場合によっては、１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、９つ、１０、又は１１以上のロータをＵＡＶに提供し得る。ロータは、回転軸が互いに平行するように構成し得る。場合によっては、ロータは、互いに相対して任意の角度の回転軸を有し得、これはＵＡＶの移動に影響し得る。
【００３５】
示されるＵＡＶは複数のロータを有し得る。ロータはＵＡＶの本体に接続し得、ＵＡＶの本体は、制御ユニットと、１つ又は複数のセンサと、プロセッサと、電源とを備え得る。センサは、ＵＡＶ環境についての情報を収集し得る視覚センサ及び／又は他のセンサを含み得る。センサからの情報を使用して、ＵＡＶのロケーションを特定し得る。ロータは、本体の中央部から分岐し得る１つ又は複数のアーム又は延長部を介して本体に接続し得る。例えば、１つ又は複数のアームは、ＵＡＶの中央本体から半径方向に延び得、アームの端部又はその近傍にロータを有し得る。
【００３６】
ＵＡＶの垂直位置及び速度の少なくとも一方は、ＵＡＶの１つ又は複数の推進ユニットへの出力を維持及び／又は調整することによって制御し得る。例えば、ＵＡＶの１つ又は複数のロータの回転速度の増大は、ＵＡＶに高度を増大させること、又はより高速で高度を増大させることを支援し得る。１つ又は複数のロータの回転速度の増大は、ロータの推進力を増大させ得る。ＵＡＶの１つ又は複数のロータの回転速度の低減は、ＵＡＶに高度を低減させること、又はより高速で高度を低減させることを支援し得る。１つ又は複数のロータの回転速度の低減は、１つ又は複数のロータの推進力を低減させ得る。ＵＡＶが離陸中の場合、推進ユニットに提供される出力は、前の地上状態から増大させ得る。ＵＡＶが着陸中の場合、推進ユニットに提供される出力は、前の飛行状態から低減させ得る。ＵＡＶは、略垂直に離陸及び／又は着陸するように構成し得る。
【００３７】
ＵＡＶの横方向位置及び速度の少なくとも一方は、ＵＡＶの１つ又は複数の推進ユニットへの出力を維持及び／又は調整することによって制御し得る。ＵＡＶの高度及びＵＡＶの１つ又は複数のロータの回転速度は、ＵＡＶの横方向移動に影響を及ぼし得る。例えば、ＵＡＶは、特定の方向に傾斜して、その方向に移動し得、ＵＡＶのロータの速度は、横方向移動の速度及び／又は移動の軌道に影響を及ぼし得る。ＵＡＶの横方向位置及び速度の少なくとも一方は、ＵＡＶの１つ又は複数のロータの回転速度を変更又は維持することによって制御し得る。
【００３８】
ＵＡＶのアームは管又はロッドであり得る。ＵＡＶのアームは、円形断面を有し得る。ＵＡＶのアームは、正方形又は矩形断面を有し得る。ＵＡＶのアームは、楕円形断面を有し得る。ＵＡＶのアームは中空管であり得る。ＵＡＶのアームは中実管であり得る。ＵＡＶのアームは、金属、プラスチック、又は複合材料から形成し得る。ＵＡＶのアームは、軽量材料から形成し得る。ＵＡＶのアームは、炭素繊維から形成し得る。ＵＡＶのアームは、ＵＡＶの中央本体と一体形成し得る。代替的には、ＵＡＶのアームは、ＵＡＶと別個に形成されてもよく、又はＵＡＶとは別個であってもよい。
【００３９】
ＵＡＶは、１００ｃｍ以下の最大寸法（例えば、長さ、幅、高さ、対角線、直径）を有し得る。場合によっては、最大寸法は、１ｍｍ以下、５ｍｍ以下、１ｃｍ以下、３ｃｍ以下、５ｃｍ以下、１０ｃｍ以下、１２ｃｍ以下、１５ｃｍ以下、２０ｃｍ以下、２５ｃｍ以下、３０ｃｍ以下、３５ｃｍ以下、４０ｃｍ以下、４５ｃｍ以下、５０ｃｍ以下、５５ｃｍ以下、６０ｃｍ以下、６５ｃｍ以下、７０ｃｍ以下、７５ｃｍ以下、８０ｃｍ以下、８５ｃｍ以下、９０ｃｍ以下、９５ｃｍ以下、１００ｃｍ以下、１１０ｃｍ以下、１２０ｃｍ以下、１３０ｃｍ以下、１４０ｃｍ以下、１５０ｃｍ以下、１６０ｃｍ以下、１７０ｃｍ以下、１８０ｃｍ以下、１９０ｃｍ以下、２００ｃｍ以下、２２０ｃｍ以下、２５０ｃｍ以下、又は３００ｃｍ以下であり得る。任意選択的に、ＵＡＶの最大寸法は、本明細書に記載される任意の値以上であり得る。ＵＡＶは、本明細書に記載される値の任意の２つ間の範囲内の最大寸法を有し得る。ＵＡＶは軽量ＵＡＶであり得る。例えば、ＵＡＶは、１ｍｇ以下、５ｍｇ以下、１０ｍｇ以下、５０ｍｇ以下、１００ｍｇ以下、５００ｍｇ以下、１ｇ以下、２ｇ以下、３ｇ以下、５ｇ以下、７ｇ以下、１０ｇ以下、１２ｇ以下、１５ｇ以下、２０ｇ以下、２５ｇ以下、３０ｇ以下、３５ｇ以下、４０ｇ以下、４５ｇ以下、５０ｇ以下、６０ｇ以下、７０ｇ以下、８０ｇ以下、９０ｇ以下、１００ｇ以下、１２０ｇ以下、１５０ｇ以下、２００ｇ以下、２５０ｇ以下、３００ｇ以下、３５０ｇ以下、４００ｇ以下、４５０ｇ以下、５００ｇ以下、６００ｇ以下、７００ｇ以下、８００ｇ以下、９００ｇ以下、１ｋｇ以下、１．１ｋｇ以下、１．２ｋｇ以下、１．３ｋｇ以下、１．４ｋｇ以下、１．５ｋｇ以下、１．７ｋｇ以下、２ｋｇ以下、２．２ｋｇ以下、２．５ｋｇ以下、３ｋｇ以下、３．５ｋｇ以下、４ｋｇ以下、４．５ｋｇ以下、５ｋｇ以下、５．５ｋｇ以下、６ｋｇ以下、６．５ｋｇ以下、７ｋｇ以下、７．５ｋｇ以下、８ｋｇ以下、８．５ｋｇ以下、９ｋｇ以下、９．５ｋｇ以下、１０ｋｇ以下、１１ｋｇ以下、１２ｋｇ以下、１３ｋｇ以下、１４ｋｇ以下、１５ｋｇ以下、１７ｋｇ以下、又は２０ｋｇ以下の重量であり得る。ＵＡＶは、本明細書に記載される任意の値以上の重量を有し得る。ＵＡＶは、本明細書に記載される値の任意の２つ間の範囲内の重量を有し得る。
【００４０】
ＵＡＶは、ビデオ取得デバイス１４０を担持し得る。ビデオ取得デバイスは、移動する（例えば、ＵＡＶ）か、又は静止した任意の支持構造体によって支持し得る。ある実施形態では、ビデオ取得デバイスはカメラであり得る。本明細書でのカメラの任意の説明は、任意のタイプのビデオ取得デバイスに適用し得る。カメラは、支持構造体にしっかりと結合し得る。代替的には、カメラは、最大で自由度６まで支持構造体に相対して移動可能であり得る。カメラは、支持構造体に直接搭載されてもよく、又は支持構造体に搭載されたキャリアに結合してもよい。ある実施形態では、キャリアはジンバルであり得る。ある実施形態では、カメラは、ＵＡＶ等の支持構造体の搭載物の要素であり得る。
【００４１】
カメラは、ＵＡＶの環境の画像（例えば、ビデオ等の動的画像又はスナップショット等の静止画像）を取得し得る。カメラは、画像（例えば、ビデオ）を連続して取得し得る。代替的には、カメラは、指定された頻度で画像（例えば、ビデオ）を取得して、時間の経過に伴う一連の画像データ（例えば、ビデオデータ）を生成し得る。本明細書でのビデオの任意の説明は、動的画像、静止画像等、時間の経過に伴って取得される一連の画像等の任意のタイプの画像に適用し得る。画像は、ビデオレート（例えば、２５Ｈｚ、５０Ｈｚ、７５Ｈｚ、１００Ｈｚ、１２５Ｈｚ、１５０Ｈｚ、１７５Ｈｚ、２００Ｈｚ、２２５Ｈｚ、又は２５０Ｈｚ）で取得し得る。ある実施形態では、ビデオは、環境音の録音と同時に取得し得る。
【００４２】
ある実施形態では、取得されたビデオはＵＡＶ搭載のメモリに記憶し得る。メモリは、１つ又は複数のメモリユニット（例えば、セキュアデジタル（ＳＤ）カード等のリムーバブル媒体若しくは外部記憶装置又はランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、若しくはフラッシュメモリ）を含み得る非一時的コンピュータ可読媒体であり得る。代替的には、取得されるビデオ及び／又は画像はリモート端末に送信し得る。取得されるビデオ及び／又は画像の送信は、無線周波数（ＲＦ）リンク、ＷｉＦｉ（登録商標）リンク、ブルートゥース（登録商標）リンク、２Ｇリンク、３Ｇリンク、又はＬＴＥリンクを含むが、これらに限定されない無線リンクを介して実施し得る。メモリは、ＵＡＶによって担持されるカメラ、ＵＡＶのキャリア、及び／又はＵＡＶそれ自体（例えば、ＵＡＶ本体内又はＵＡＶのアーム）に存在し得る。メモリは、ＵＡＶ、キャリア、又はカメラから取り外し可能又は分離可能であってもよく、又はなくてもよい。
【００４３】
カメラは、画像センサと、１つ又は複数のレンズとを備え得る。１つ又は複数のレンズは、画像センサに光を向けるように構成し得る。画像センサは、光学画像を電子信号に変換するデバイスである。カメラの画像センサは、電荷結合デバイス（ＣＣＤ）型、相補形金属酸化物半導体（ＣＭＯＳ）型、Ｎ型金属酸化物半導体（ＮＭＯＳ）型、又は背面照明ＣＭＯＳ（ＢＳＩ−ＣＭＯＳ）型であり得る。
【００４４】
カメラは、焦点距離又は焦点距離範囲を有し得る。光学系の焦点距離は、システムがどの程度強く光を集中又は拡散させるかの尺度であり得る。カメラに関連付けられた焦点距離は、カメラによって取得されたビデオを使用して生成される、結果として生成されるオプティカルフロー場に影響を及ぼし得る。レンズの焦点距離は、最初にコリメートされた光線が焦点に集められる距離であり得る。カメラは、固定焦点レンズ又はズームレンズ等の任意のタイプのレンズを有し得る。固定焦点レンズは固定焦点距離を有し得、焦点距離は単一の焦点距離を包み得る。ズームレンズは可変焦点距離を有し得、焦点距離は複数の焦点距離を含み得る。
【００４５】
ビデオ取得デバイスは、経時変化し得るＦＯＶを有し得る。視野（ＦＯＶ）は、空間中で特定の位置及び特定の向きでカメラを通して見える世界の部分であり得、写真撮影時にＦＯＶ外部の物体は、ビデオデータに記録されない。これは、ビューコーンの角度サイズ、視角として表現されることが最も多い。通常のレンズの場合、視野はＦＯＶ＝２ａｒｃｔａｎ（ｄ／２ｆ）として計算し得、式中、ｄは画像センササイズであり、ｆはレンズの焦点距離である。固定サイズを有する画像センサの場合、単焦点レンズは固定ＦＯＶを有し得、ＦＯＶは単一のＦＯＶ角度を含み得る。固定サイズを有する画像センサの場合、ズームレンズは可変ＦＯＶ角度範囲を有し得、ＦＯＶ角度範囲は複数のＦＯＶ角度を含み得る。ＦＯＶのサイズ及びロケーションの少なくとも一方は変更し得る。ビデオ取得デバイスのＦＯＶは、ＦＯＶのサイズを増減（例えば、ズームイン又はアウト）し、且つ／又はＦＯＶの中心点を変更する（例えば、ビデオ取得デバイスを並進移動及び／又は回転移動させる）ように変更し得る。ＦＯＶの変更は、ビデオ内に移動を生じさせ得る。
【００４６】
カメラに関連付けられたセンサからのデータを使用して、カメラによって取得されるビデオデータの符号化に有用なオプティカルフロー場の生成を支援し得る。カメラに関連付けられたセンサは、カメラ、カメラの支持構造体（例えば、ＵＡＶ）、及び／又は支持構造体上のカメラを支持するキャリア（例えば、ジンバル）に搭載し得る。代替的には、カメラに関連付けられたセンサは、カメラ、キャリア、及び／又はカメラの支持構造体からリモートであり得る。
【００４７】
例えば、カメラの支持構造体は１つ又は複数のセンサを支持し得る。例では、支持構造体はＵＡＶであり得る。ＵＡＶのセンサの任意の説明は、カメラの任意のタイプの支持構造体に適用し得る。ＵＡＶは、画像センサ等の１つ又は複数の視角センサを備え得る。例えば、画像センサは、単眼カメラ、立体視カメラ、レーダ、ソナー、又は赤外線カメラであり得る。ＵＡＶは、全地球測位システム（ＧＰＳ）センサ、慣性測定ユニット（ＩＭＵ）の一部又は別個に使用し得る慣性センサ（例えば、加速度計、ジャイロスコープ、磁力計）、ライダー、超音波センサ、音響センサ、ＷｉＦｉセンサ等のＵＡＶのロケーションの特定に使用し得るか、又はオプティカルフロー場情報の生成に有用であり得る他のセンサを更に備え得る。ＵＡＶは、追加の情報又は処理のためにＵＡＶからオフボードの追加構成要素と交信せずに、環境から直接情報を収集するＵＡＶ搭載のセンサを有し得る。例えば、環境で直接データを収集するセンサは、視覚センサ又は聴覚センサであり得る。
【００４８】
代替的には、ＵＡＶは、ＵＡＶ搭載であるが、ＵＡＶオフボードの１つ又は複数の構成要素と交信して、環境についてのデータを収集するセンサを有し得る。例えば、ＵＡＶオフボードの構成要素と交信して、環境についてのデータを収集するセンサは、衛星、塔、ルータ、サーバ、又は他の外部デバイス等の別のデバイスへの接続に頼るＧＰＳセンサ又は別のセンサであり得る。センサの様々な例は、ロケーションセンサ（例えば、全地球測位システム（ＧＰＳ）センサ、ロケーション三角測量を可能にするモバイルデバイス送信器）、視覚センサ（例えば、カメラ等の可視光、赤外線光、又は紫外線光を検出可能な撮像デバイス）、近接又は距離センサ（例えば、超音波センサ、ライダー、飛行時間又はデプスカメラ）、慣性センサ（例えば、加速度計、ジャイロスコープ、慣性測定ユニット（ＩＭＵ））、高度センサ、姿勢センサ（例えば、コンパス）、圧力センサ（例えば、気圧計）、聴覚センサ（例えば、マイクロホン）、又はフィールドセンサ（例えば、磁力計、電磁センサ）を含み得るが、これらに限定されない。１つ、２つ、３つ、４つ、５つ、又は６つ以上のセンサ等の任意の適する数及び組合せのセンサを使用し得る。任意選択的に、データは、異なるタイプ（例えば、２つ、３つ、４つ、５つ、又は６つ以上のタイプ）のセンサから受信し得る。異なるタイプのセンサは、異なるタイプの信号又は情報（例えば、位置、向き、速度、加速度、近接度、圧力等）を測定し、且つ／又は異なるタイプの測定技法を利用して、データを取得し得る。
【００４９】
これらの任意のセンサは、ＵＡＶからオフボードで提供することもできる。センサにはＵＡＶを関連付け得る。例えば、センサは、ＵＡＶの位置、ＵＡＶの速度、ＵＡＶの加速度、ＵＡＶの向き、ＵＡＶによって生成されるノイズ、ＵＡＶから発せられるか、又は反射される光、ＵＡＶによって生成される熱、又はＵＡＶの任意の他の特性等のＵＡＶの特性を検出し得る。センサはデータを収集し得、このデータを単独又はＵＡＶ搭載のセンサからのセンサデータと組み合わせて使用して、オプティカルフロー場情報を生成し得る。
【００５０】
センサは、能動センサ（例えば、エネルギーを生成し、各自のエネルギー源からのエネルギーを測定するセンサ）と受動センサ（例えば、利用可能なエネルギーを検出するセンサ）との任意の適する組合せを含み得る。別の例として、幾つかのセンサは、グローバル座標システムに関して提供される絶対測定データ（例えば、ＧＰＳセンサによって提供される位置データ、コンパス又は磁力計によって提供される姿勢データ）を生成し得、一方、他のセンサは、ローカル座標系に関して提供される相対測定データ（例えば、ジャイロスコープによって提供される相対角速度、加速度計によって提供される相対並進移動加速度、視覚センサによって提供される相対姿勢情報、超音波センサ、ライダー、又は飛行時間カメラによって提供される相対距離情報）を生成し得る。ＵＡＶ搭載又はＵＡＶオフボードのセンサは、ＵＡＶのロケーション、他の物体のロケーション、ＵＡＶ１００の向き、又は環境情報等の情報を収集し得る。単一のセンサが、環境内の情報一式を収集することが可能であり得る、又は一群のセンサが一緒に機能して、環境内の情報一式を収集し得る。センサは、ロケーションのマッピング、ロケーション間のナビゲーション、障害物の検出、又はターゲットの検出に使用し得る。さらに、本発明によれば、センサを使用して、ＵＡＶによって取得されたビデオデータの効率的な符号化に使用されるオプティカルフロー場の生成に使用されるデータを収集し得る。
【００５１】
したがって、ＵＡＶはオプティカルフロー場生成器１３０を有することもできる。オプティカルフロー場生成器は、ＵＡＶに搭載して（例えば、ＵＡＶ本体若しくはアーム、カメラ上、又はキャリア上）提供され得る。代替的には、生成されたオプティカルフロー場は、ＵＡＶにオフロードで（例えば、リモートサーバ、クラウド計算基盤、リモート端末、又は陸上局に）提供され得る。オプティカルフロー場生成器は、ＵＡＶに関連付けられたセンサデータに基づいてオプティカルフロー場を生成するように個々に又は集合的に構成される１つ又は複数のプロセッサを有し得る。オプティカルフロー場は、ビデオフレーム内で光がどのように流れるかを示す。この光の流れは、取得物体がビデオフレーム間でいかに移動しているかを示す。特に、オプティカルフロー場は、ビデオ取得デバイスによって取得される物体がいかに移動しているかの特徴を記述することが可能である。例えば、ビデオ取得デバイスのＦＯＶ内で取得されたビデオは、１つ又は複数の静止物体又は可動物体を含み得る。例では、オプティカルフロー場を使用して、ビデオで移動中の物体の速度又は加速度を特定し得る。オプティカルフロー場を使用して、ビデオ内にある物体の移動方向を示すこともできる。ビデオ内で移動中の物体を記述するオプティカルフロー場の例については、図７〜図１１に関して以下に説明する。
【００５２】
オプティカルフロー場の生成に使用されるセンサデータは、ＵＡＶに関連付けられた１つ又は複数のセンサによって取得され得る。追加又は代替として、センサデータは、外部モニタシステム等の外部ソースによって取得され得る。外部センサデータは、通信チャネルを使用してＵＡＶに提供され得る。したがって、オプティカルフロー場はＵＡＶにおいて生成され得る。代替的には、オプティカルフロー場は、ＵＡＶ外部で生成され得る。特に、ＵＡＶは、ＵＡＶに関連付けられたセンサ情報を１つ又は複数の外部プロセッサに提供し得る。次に、１つ又は複数の外部プロセッサは、ＵＡＶに関連付けられたセンサデータを使用して、オプティカルフロー場を生成し得る。さらに、１つ又は複数の外部プロセッサは、生成されたオプティカルフロー場をＵＡＶに提供し得る。オプティカルフロー場生成器は、ＵＡＶ搭載であるか、それともオフボードであるかに関係なく、ＵＡＶに関連付けられたセンサからデータを受信し得（センサが搭載されるか、オフボードであるか、それともそれらの任意の組合せであるかに関係なく）、そのデータを使用してオプティカルフロー場を生成し得る。
【００５３】
センサデータは任意選択的に、カメラの空間配置（例えば、座標、並進移動位置、高さ、向き）又はカメラの移動（例えば、線形速度、角速度、線形加速度、角加速度）についての情報を含み得る。センサデータは、カメラのズーム状態（例えば、焦点距離、どのくらいズームイン又はアウトするか）を検出可能であり得る。センサデータは、カメラのＦＯＶをいかに変更し得るかの計算に有用であり得る。
【００５４】
本発明の実施形態により、符号化プロセッサ１５０を提供し得る。符号化プロセッサを使用して、ビデオ取得デバイスによって取得されたビデオの符号化し得る。エントロピー符号化ツールの例としては、ハフマン符号化、ランレベル符号化、及び算術符号化が挙げられる。本明細書で考察される例では、コンテキスト適応可変長符号化（ＣＡＶＬＣ）及びコンテキスト適応二進算術符号化（ＣＡＢＡＣ）をＨ２６４において使用し得る。
【００５５】
さらに、符号化プロセッサは、ビデオに関連付けられたオプティカルフロー場を使用し得る。特に、オプティカルフロー場を使用して、ビデオを効率的に符号化し得る。符号化プロセッサは、オプティカルフロー場情報を受信し、オプティカルフロー場情報を使用して、ビデオを符号化し得る。
【００５６】
符号化プロセッサは、ビデオを符号化し得る１つ又は複数のプロセッサを含み得る。符号化プロセッサは、オプティカルフロー場生成器とは別個であってもよく、又はオプティカルフロー場生成器と同じ構成要素内にあってもよい。符号化プロセッサは、オプティカルフロー場生成器の１つ又は複数のプロセッサに重複しない１つ又は複数のプロセッサを含み得る。代替的には、符号化プロセッサの１つ又は複数のプロセッサは、オプティカルフロー場生成器の１つ又は複数のプロセッサと同じであり得る。場合によっては、符号化プロセッサの全てのプロセッサは、オプティカルフロー場生成器のプロセッサと同じであり得る。
【００５７】
符号化プロセッサは任意選択的に、ＵＡＶに搭載して提供し得る。例えば、符号化プロセッサは、ＵＡＶ本体若しくはアーム内にあってもよく、カメラ搭載であってもよく、又はカメラを支持するキャリア搭載であってもよい。代替的には、符号化プロセッサは、ＵＡＶオフボードで提供し得る。例えば、符号化プロセッサは、リモートサーバ、クラウド計算基盤、リモート端末、又は陸上局に提供し得る。符号化プロセッサは、オプティカルフロー場生成器と同じ又は異なるロケーションに提供し得る。
【００５８】
図２は、本発明の実施形態によるビデオ符号化の一般的なプロセス２００を示す。ビデオデータを符号化する場合、ビデオデータのビデオフレームはまず、ブロックに分割し得る（２０２）。次に、これらのブロックは、イントラフレームデータ及びインターフレームデータの少なくとも一方に基づいて圧縮し得る。イントラフレームデータは、フレーム内のブロック間の空間関係に向けられる。逆に、インターフレームデータは、ビデオフレームにわたるブロック間の時間関係に向けられる。
【００５９】
図２に示されるように、入力ビデオ信号が受信される。入力ビデオ信号は、ビデオ取得デバイスから受信し得る。ビデオ取得デバイスは、ＵＡＶ等の支持構造体によって支持し得る。追加又は代替として、入力ビデオ信号は、ＵＡＶオフボードの外部デバイスから受信し得る。受信したビデオはマクロブロック２０２に分割し得る。マクロブロックは、任意の重複部分を有してもよく、又は有さなくてもよい。ビデオは、任意の数のマクロブロックに分割し得る。例えば、ビデオは、ｍ×ｎマクロブロックアレイに分割し得、ここで、ｍは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値を有し、ｎは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値を有する。マイクロブロックは、矩形、正方形、円形、又は任意の他の形状を有し得る。一実施形態では、マクロブロックは１６×１６ピクセルの寸法を有し得る。マクロブロックは、ｐ×ｑピクセル等の任意の寸法を有し得、ここで、ｐは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、３２以上、４０以上、５０以上、６０以上、６４以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１２８以上、１５０以上、２００以上、２５０以上、２５６以上、又は３００以上の値を有し、ｑは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、３２以上、４０以上、５０以上、６０以上、６４以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１２８以上、１５０以上、２００以上、２５０以上、２５６以上、又は３００以上の値を有する。近代のビデオ符号化規格では、７２０Ｐ又は１０８０Ｐの解像度を有するビデオフレームは、まず、ビデオフレームを小さなブロックに分割することによって符号化し得る。Ｈ２６４の場合、ブロックサイズは１６×１６ピクセルであり得、ＨＥＶＣの場合、ブロックサイズは６４×６４であり得る。各マクロブロックは、同じ寸法及び形状の少なくとも一方を有し得る。代替的には、２つ以上のマクロブロックは異なる寸法及び形状の少なくとも一方を有し得る。マクロブロックは、「ブロック」と呼ばれることもある。
【００６０】
ビデオエンコーダを使用して、ブロックの相関を空間的及び／又は時間的に除去し得る。したがって、ビデオフレームが小さなブロックに分割された後、ビデオデータのブロックは、図２に提供されるようなビデオ符号化アーキテクチャを受ける。
【００６１】
特に、ビデオデータは符号化制御装置２０４に進み得る。符号化制御装置を使用して、ビデオデータを直接、例えば、いかなる追加の変換ステップもなく変換するか、それともデータを変換／スケーリング／量子化（ＴＳＱ）構成要素に送信するかを判断し得る。例では、符号化制御装置は、ビデオデータをエントロピー符号化構成要素２０６に直接渡し得る。他の例では、符号化制御装置は、変換データをエントロピー符号化構成要素に提供する前に、ビデオデータをＴＳＱ構成要素２０８に渡し得る。ＴＳＱ構成要素において、ビデオデータは、ブロック等の空間及び時間的に関連するビデオフレーム構成要素間での類似性を圧縮するように変換し得る。このプロセスは、元々の入力ビデオ信号からのビデオを使用し得る。さらに、このプロセスは、前に符号化されたビデオデータを利用して、変換プロセスをより効率的にし得る。さらに、この圧縮プロセスは量子化及び変換係数２１０を生成し得、この係数は次に、エントロピー符号化構成要素に提供し得る。
【００６２】
ビデオデータを変換する場合、ビデオデータは、デコーダ２１２において再評価され、フィードバックとしてＴＳＱ構成要素に提供される前に変換されたビデオデータに鑑みて処理し得る。特に、変換されたビデオデータをＴＳＱ構成要素からスケーリング及び反転変換（ＳＩＴ）構成要素２１４に提供することにより、ビデオ圧縮フィードバックを生成し得る。ＳＩＴ構成要素において、ビデオデータの変換プロセスを逆にし得る。次に、このビデオデータは非ブロック化フィルタ２１６に提供し得、このフィルタ２１６を使用して、出力ビデオ信号２１８を生成し得る。次に、出力ビデオ信号は、動き補償構成要素２２０において動き補償係数を生成するための構成要素として使用し得る。
【００６３】
例では、動き補償構成要素は、出力ビデオ信号からの動きデータ及び運動推定構成要素２２２から生成される動きデータを使用し得る。特に、運動推定構成要素は、初期入力ビデオ信号から入力ビデオデータを受信し得る。次に、運動推定構成要素は、ビデオデータに基づいて動きデータを生成し得る。次に、この動きデータは、動き補償構成要素及びエントロピー符号化構成要素に提供し得る。
【００６４】
復号化ビデオデータが提供され、動き補償構成要素からの動きデータに基づいてコンテキスト化されると、ビデオデータは、イントラフレーム予測構成要素２２４を使用してイントラフレーム予測について評価され得る。インターフレーム予測について、追加の予測を生成することもできる。これらの予測は、フィードバックとしてＴＳＱ構成要素及び非ブロック化フィルタに提供し得る。したがって、ＴＳＱ構成要素から生成される量子化係数及び変換係数並びに非ブロック化フィルタによって生成される出力信号は、処理されたビデオデータからのフィードバックに基づいて改善し得る。
【００６５】
したがって、ビデオエンコーダを使用して、異なるビデオフレームのブロック間（時間的圧縮）及び同じビデオフレーム内のブロック間（空間的圧縮）の両方で重複する情報を簡略化して、情報を凝縮し得る。ビデオデータが凝縮されると、図２のアーキテクチャを利用して符号化されたビデオフレームは、１Ｄビットストリームに形成され得る。
【００６６】
イントラ符号化を使用して、空間相関を凝縮し得る。ビデオフレーム内のブロックの場合、ブロック内のピクセル値の予測子は隣接ピクセルから推定し得る。例えば、ピクセル値の予測値は、左上、右上、及び左下の隣接ピクセル等の隣接ピクセルから推定し得る。これらの予測の例は、ピクセルブロック内のパターンに対応するように方向性を有し得る。Ｈ．２６４方向性イントラ予測の実証を図３に提供する。
【００６７】
図３は、本発明の実施形態による、ビデオフレーム構成要素におけるブロック内のピクセルのイントラ符号化の例を示す。図３に見られるように、ブロックに隣接するピクセルを使用して、ブロック内のピクセルの動きを予測し得る。特に、イントラ符号化が使用される場合、ブロックに隣接ピクセルが、動きデータについて査定される。図３では、査定されるピクセルは、ブロックの左側の列及びブロックの上の列にある。ブロックの査定される動きには、符号化プロセッサによって使用される特定のモードが関連付けられ得る。隣接ピクセルの全てが同じ運動情報を有するわけではないため、隣接ピクセルが、特定のモードに関連付けられた閾値数のピクセルを有する場合、査定動きのモードをブロックに割り当てられ得る。例では、隣接ピクセルの１００％、９５％以上、９０％以上、８５％以上、８０％以上、７５％以上、７０％以上、６５％以上、６０％以上、５５％以上、５０％超え、５０％、又は大部分のうちの任意の割合が特定のモードに関連付けられる場合、隣接ピクセルにその特定のモードを割り当てられ得る。
【００６８】
さらに、隣接ピクセルに割り当てられるモードを使用して、ブロック内のピクセルの予測動きを特定し得る。例えば、モード０において、ブロックに隣接するピクセルは、下向きの動きを有するものとして査定され得る。図３に示されるように、下向きの動きを使用して、予測ピクセルを通して下向きの動きを予測し得る。図３に提供されるように、予測ピクセルを通しての下向きの動きは全体的に、ブロックの上の隣接ピクセルの上列の査定動きに基づく。
【００６９】
モード１において、ブロックに隣接するピクセルは、横向きの動きを有するものとして査定され得る。図３に示されるように、この横向きの動きを使用して、予測ピクセル全体を通して右への動きを予測し得る。図３に提供されるように、予測ピクセルを通しての横向きの動きは全体的に、ブロックの隣の隣接ピクセルの左列の査定動きに基づく。
【００７０】
モード２では、ブロックに隣接するピクセルは、通常又は中性の動きを有するものとして査定され得る。この査定に基づいて、ブロック内のピクセルは、中性移動を有するものとして同様にされ得る。例では、ブロック内のピクセルは、ビデオ取得デバイス内に取得された物体が移動していない場合、ビデオ取得デバイス内に取得された物体が、物体の動きが移動中の画像取得デバイスの動きに等しいため、動いているように見えない場合、又はビデオ取得デバイス内に取得された物体が、あまりに遠く、離れた物体に関連しての増分的移動が比較的静止している背景を背にして見られるため、移動しているように見えない場合、中性の動きを有するものとして査定され得る。
【００７１】
モード３では、ブロックに隣接し、ブロックの上部に近いピクセルは、斜め左の動きを有するものとして査定され得る。図３に見られるように、この斜め左の動きを使用して、予測ピクセル全体を通しての斜め左への動きを予測し得る。図３に提供されるように、予測ピクセルを通しての斜め下への動きは全体的に、ブロックの隣の隣接ピクセルの上列及びブロックの近傍にあるピクセルの上列の査定動きに基づく。同様に、モード７では、ブロックに隣接するピクセルはまた、斜め左下の動きを有するものとして査定され得る。しかし、モード７で見られる斜め左下の動きの角度は、モード３で見られる斜め下の動きよりも急であり得る。
【００７２】
モード４では、ブロックに隣接するピクセルは、斜め右の動きを有するものとして査定され得る。図３に見られるように、斜め右の動きを使用して、予測ピクセル全体を通して右下への動きを予測し得る。同様に、モード５では、ブロックに隣接するピクセルはまた、斜め右の動きを有するものとして査定され得るが、モード５に示される斜めの動きは、モード４での斜めの動きよりも急である。さらに、モード６では、ブロックに隣接するピクセルはまた、斜め右の動きを有するものとして査定され得るが、モード６に示される斜めの動きは、モード４又は５の斜めの動きよりも浅い。
【００７３】
さらに、モード８は、隣接ピクセルを上向き且つ右側への動きを示すブロックに提供する。しかし、モード８は、ブロックの一部のみを予測可能であるという点で前のモードとは異なる。ブロック内の追加の予測ピクセルを査定するために、他の補助方法を使用し得る。
【００７４】
イントラ符号化は、現在ブロックの左列及び上行のピクセル等のブロックの隣接ピクセルを利用するが、ブロックの中央ピクセル内に含まれる相当量の残差情報が存在し得る。例では、ブロックの中央ピクセルは、イントラ符号化を使用して容易に予測することができないことがあるテクスチャ、オブジェクト、及び他の情報を含み得る。この情報を取得するために、フレーム間の情報（例えば、時間的圧縮）を凝縮し符号化し得る。
【００７５】
インター符号化を使用して、時間的相関を凝縮し得る。ビデオフレーム内のブロックについて、ブロック内のピクセル値の予測子は、前のフレーム内の相関付けブロックから推定し得る。ビデオフレームは数百万分の１秒しか隔てられていないことがあるため、フレーム間のブロックは一般に、あまり違わない。しかし、インター符号化の使用は、イントラフレーム符号化を使用して取得されないブロック内の細部の予測に有用であり得る。特に、これらの細部は、近傍のビデオフレームからのブロックを参照することによって予測される。特に、フレーム間で相関するブロックは、運動ベクトルを使用してリンクし得る。
【００７６】
インター符号化を実施する場合、まず、インターフレーム運動推定を符号化ブロックに対して実行し得る。運動推定プロセスは、現在ブロックに最も類似し、且つ最もコストがかからないと見なし得るピクセルのグリッドを特定し得る。特に、運動推定は、ビデオフレームの検索エリア内で検索を行うことにより、最も類似すると見なされるピクセルのグリッドを特定し得る。現在ブロックに最も類似し、且つ最もコストがかからないと見なされるピクセルのグリッドが特定されると、運動ベクトルを計算し得る。特に、運動ベクトルは、第１のフレームの現在ブロックと、第１のフレームに時間的に関連するビデオフレームの参照ブロックとの間に２Ｄピクセルロケーション差を含むものとして計算し得る。例では、２Ｄピクセルロケーション差がサブピクセル補間を使用して、整数ピクセル、半ピクセル、１／４ピクセル等によりフレーム間の動きを定義し得る。運動ベクトルを計算する図を図４に示す。
【００７７】
図４は、本発明の実施形態による、ビデオフレームにわたって同じ場所にあるブロックをリンクする運動ベクトルを示す。図４に示されるように、運動ベクトル４１０は、ビデオフレームにわたってブロック４２０〜４４０をリンクし得る。特に、ブロック４２０〜４４０は、一連のビデオフレームに関連付けられたビデオデータの一部の図を形成する。運動ベクトルを使用して、計算運動ベクトルは、計算される逆方向運動ベクトル（ＭＶ）４１２及び計算される順方向ＭＶ４１４によって示されるように、隣接するビデオフレームが時間的に先行する場合であっても、それらの隣接するビデオフレーム及び／又は近傍のビデオフレームから予測し得る。これは、インター符号化間の情報の圧縮に起因し得る。特に、インター符号化中、時間情報は、特に、運動ベクトル及び他の関連情報を使用してブロックを一緒にリンクすることにより圧縮し得る。
【００７８】
運動ベクトルが特定されると、運動ベクトルは符号化システム内のデコーダ側に提供し得る。デコーダがこの情報を受信すると、デコーダは、処理中のブロックにリンクし得る参照フレーム上の第１のブロックの対応するロケーションを見つけ得る。このようにして、デコーダは運動ベクトルを使用して、参照を見つけ得る。続けて、参照と現在ブロックとの差（例えば、運動ベクトル）を処理し、送信し得る。
【００７９】
ヘッダ情報符号化は、ビデオデータの効率的な符号化に使用することもできる。特に、運動ベクトルに関連するヘッダ情報及びスキップモードに関連するヘッダ情報を使用して、ＵＡＶによって取得されるビデオデータを符号化し得る。
【００８０】
運動ベクトルに関して、同じビデオフレーム内の現在ブロック及び空間的に隣接するブロックは、同じ運動ベクトルを共有する高い確率を有し得る。さらに、現在ブロックに時間的に対応する運動ベクトルは、現在ブロックの運動ベクトルの予測子としても機能し得る。したがって、現在ブロックの運動ベクトル予測子（ＭＶＰ）は、現在ブロックの空間的に隣接するブロック及び時間的に隣接するブロックに基づいて計算し得る。ＭＶＰの計算は、符号化プロセッサの規格に依存し得る。
【００８１】
さらに、スキップモードに関して、現在ブロックのヘッダ内にある追加情報を隣接ブロックから予測することもできる。さらに、現在ブロックを隣接ブロックから完全に予測し得る例では、現在ブロックのヘッダはスキップブロックとして記され得る。特に、スキップブロックを使用して、残差情報が送信されないことを示し得る。例では、現在ブロックの隣接ブロックの情報に基づいて、現在ブロック内の情報を計算し得る場合、スキップを使用し得る。
【００８２】
簡潔に参照すると、元のブロックと予測子との差を残差と呼び得る。例では、ブロック間の残差は係数として表し得る。例では、この残差係数は直接符号化し得る。
【００８３】
他の例では、残差係数が計算された後であっても、残差係数は、除去可能であり得る幾らかの空間冗長性を有し得る。例では、変換を使用して、エネルギーを低周波数に凝縮し得る。ビデオ符号化が、標準が何であれ、量子化内で不可逆的圧縮ツールを使用する処理ステップを経る場合、凝縮エネルギーは可逆的であり得る。例えば、１０個の数［１，１，１，１，１，１，１，１，１，１］が１０を用いて量子化される場合、１０個の数は０になり、したがって、誤り率１００％を生じさせる。これとは対照的に、変換が適用される場合、１０個の数は［１０，０，０，０，０，０，０，０，０，０］になる。次に、その結果が１０を用いて量子化される場合、何も失われず、それにより、０％の誤り率を有する。量子化は有用な不可逆的圧縮ツールであるため、これは有用である。したがって、量子化パラメータの制御により、データストリーム全体のビットレートを制御することができ得る。
【００８４】
ビデオ符号化プロセスは図２において概説されるが、本発明の実施形態は、ブロック間の運動ベクトルを効率的に特定する方法に関する。特に、本発明の実施形態は、符号化プロセッサによって符号化されるビデオ内の運動ベクトルの識別に使用される検索エリアを変更することに関する。したがって、図５は、本発明の実施形態による運動推定プロセス５００の例を提供する。特に、図５は、ビデオ取得デバイスによって取得されたビデオ内の２つのビデオフレームを示す。２つのビデオフレームは、木々、海岸、及びボート等の物体を含む。特に、第１のフレーム５１０は現在符号化フレームであり得、第２のフレーム５２０は予測フレームであり得る。さらに、現在符号化フレームである第１のフレームのブロック５１５には、運動ベクトル（図示せず）を関連付け得る。特に、運動ベクトルを使用して、第１のフレームに隣接する第２のフレーム内のブロックにブロック５１５をリンクし得る。場合によっては、第１のフレーム内のブロックは、隣接フレームの同じ場所にあるブロックと運動ベクトルを共有し得る。特に、同じ場所にあるブロックは、フレーム内又はフレームにわたり一致する座標を共有するリンクブロックであり得る。
【００８５】
したがって、ブロック５１５を第２のフレーム上の関連付けられたブロックにリンクする動きブロックを検索する場合、第１のフレームのブロック５１５と同じ場所にある第２のフレームのブロック５２５を識別し得る。第１のフレームのブロック５１５を第２のフレーム内のブロックにリンクする運動ベクトルを検索する場合、ブロック５２５を使用して、検索エリア５３０を定義し得る。特に、検索エリア５３０は、同じ場所にあるブロックの左上隅にある初期検索点５２２に基づき、同じ場所にあるブロックの下方及び右側に拡張されて、同じ場所にあるブロック内のエリア及び検査し得る追加エリアを包含する。例では、検索エリアは、初期開始点から下方及び右側、下方、下方及び左側、左側、上方及び右側、上方、上方及び左側、右側、又はそれらの方向の組合せに拡張し得る。例では、開始点は、ブロックの隅又はブロックの中心等のブロック内にあり得る。検索エリアは、ブロック全体、ブロックの一部を包含してもよく、ブロックと重なってもよく、又はブロックと少なくとも部分的に重ならなくてもよい。
【００８６】
第２のブロックを符号化された第１のブロック５１５にリンクする運動ベクトルについて第２のフレーム５２０を評価する場合、第２のフレーム５２０上の検索エリア５３０を査定し得る。特に、運動推定予測を既に符号化された（「ｃｏｄｅｄ（５１０）」とも呼ばれる）第１のビデオフレーム５１０と第２の隣接するフレーム５２０との間で行い、５２０の予測（「ｐｒｅｄ（５２０）」とも呼ばれる）を形成し得る。隣接フレーム５２０は符号化されてもよく、又はされなくてもよい。さらに、隣接フレーム５２０は、ビデオ内の第１のビデオフレーム５１０の直後に取得されたフレームであり得る。ある実施形態では、第１のビデオフレーム５１０は、隣接フレームであってもよく、又はなくてもよい後続フレームｘｔと比較し得る。後続フレームは、隣接フレームであってもよく（ｔ＝１）、隣接フレーム直後のフレームであってもよく（ｔ＝２）、又はその後の任意のフレームであってもよい（ｔ＝３，４，５，６，７，８，９，１０，又は１１以上）。場合によっては、後続フレームは、次のフレームの予測「ｐｒｅｄ（ｘｔ）」を行うのに適切に、第１のフレームに時間的に近くにあり得る。例えば、ｔは、５０以下、４０以下、３０以下、２０以下、１０以下、７以下、５以下、３以下、２以下、又は１であり得る。後続フレームは、最初のフレームから５秒未満で取得し得る。例では、後続フレームは、５秒未満、４秒未満、３秒未満、２秒未満、１秒未満、０．９秒未満、０．８秒未満、０．７秒未満、０．６秒未満、０．５秒未満、０．４秒未満、０．３秒未満、０．２秒未満、０．１秒未満、０．０５秒未満、及び０．０１秒未満で取得し得る。
【００８７】
隣接フレーム２５０の本明細書での任意の説明は、後続フレームｘｔにも適用し得る。この運動推定予測は、図５に見られるように、符号化フレーム５１０と予測フレーム５２０との間で示され得る。例では、運動推定予測は、隣接フレーム５２０内の複数のフロックの各ブロックを、第１のビデオフレーム５１０上の相関付けられたブロックを用いて評価することによって生成し得る。場合によっては、フレームのありとあらゆるブロックを評価し得る。代替的には、フレームのブロックのサブセットを評価し得る。場合によっては、代表的なブロックのサブセットをフレーム内の複数のブロックから選択し、評価し得る。場合によっては、１つ置きのブロックを選択し得る。場合によっては、ブロックは、ブロックの位置、画像内容、又は任意の他の要因に基づいて選択し得る。
【００８８】
従来のビデオ符号化プロセスでは、隣接フレーム５２０内の関連付けられたブロックに相関する第１のビデオフレーム５１０上のブロックがフレームの同じエリア内に配置されると仮定する。したがって、標準検索エリアは、時間的に隣接するビデオフレームの既に符号化されたブロックと同じ場所にあるブロックの周囲に生成し得る。同じ場所にあるブロックの周囲に生成される標準検索エリアの例は、図５において検索エリア５３０として示される。しかし、第２のフレーム５２０の同じ場所にあるブロック５２５等の同じ場所にあるブロックを囲む、検索エリア５３０等の検索エリアがある場合であっても、既に符号化されたフレーム５１０の同じ場所にあるブロック５１５に関連付けられた運動ベクトルは、所与の検索エリア外にあることがある。これは図５の場合であり、この場合、ビデオフレーム５１０上で既に符号化されたブロック５１５に関連付けられたボートは既に、第２のビデオフレーム５２０上の同じ場所にあるビデオフレーム５２５の検索エリア５３０外である。
【００８９】
しかし、図５に提供される検索エリアは、本発明の実施形態により、図５に提供される検索構造を使用して、検索エリアを評価する初期開始点を決定し得るという点で有用であり得る。したがって、図５は、本発明の実施形態による、ブロックを符号化する初期検索エリアを決定するために提供される検索エリアの構造を示す。図５に見られるように、隣接フレーム５２０のブロックに関連付けられた検索エリア５３０の初期検索点は、フレーム５２０とフレーム５１０の点５１２との間で同じ場所にある点５２２にある。検索エリア５３０が提供されるが、検索エリアは標準サイズ及び形状のものであり得る。特に、検索エリアの標準サイズはｍ×ｎピクセルを含み得、ここで、ｍは１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値であり、ｎは１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値を有する。検索エリアの標準サイズは、矩形、正方形、円形、又は任意の他の形状を有し得る。一実施形態では、検索エリアの標準サイズは１６×１６ピクセルの寸法を有し得る。
【００９０】
さらに、検索エリアのサイズ及び形状は、フレーム５１０とフレーム５２０との間の運動推定予測から独立し得る。従来の運動推定評価プロセスでは、検索点５２２等の初期検索点及び検索エリア５３０等の検索エリアが、フレーム５２０について決定されると、運動推定予測は、検索エリアのピクセル又はサブピクセルを評価して、第１のフレーム５１０内のブロックに最も類似するピクセル又はサブピクセルを識別し得る。例では、フレーム５１０上の対応するブロックへのフレーム５２０上のブロックの類似性は、式によって推定し得る。例えば、フレーム５１０及び５２０の対応するブロックの類似性は、第１のフレーム５１０のブロックが、隣接フレーム５２０上の対応するブロックから特定の距離にある対応するブロックを有することを示す式によって示され得る。
【００９１】
第１のフレーム内のブロック及び第２の隣接フレーム内のブロックの不正確な関連付けを回避するために、図６は、本発明の実施形態による、フレーム間のブロックを符号化するために提供される検索エリアを変更する構造６００を示す。特に、図６は、ＵＡＶによって取得されたビデオ内の２つのビデオフレームを示す。２つのビデオフレームは、木々、海岸、及びボート等の物体を含む。特に、第１のフレーム６１０は現在符号化フレームであり、第２の隣接フレーム６２０は予測フレームである。第２のフレーム又は隣接フレームの任意の説明は、任意の後続フレームにも適用し得る。さらに、現在符号化フレームのブロック６１５には、特定の運動ベクトルが関連付けられる。
【００９２】
本明細書で考察されるように、図６は、隣接フレーム６２０のブロックに関連付けられた検索エリアを変更して、第２のフレーム内のブロックに対応する運動ベクトルを識別する運動推定予測評価の機会を増大させる例を提供する。ブロック６２５を符号化ブロック６１５にリンクする運動ベクトルについてフレーム６２０を評価する場合、検索エリア６３０を査定し得る。特に、符号化プロセッサは、ビデオデータ内に大量の動きがあることの指示を受信し得る。［発明者ら：符号化プロセッサがこの指示を受信し得る方法は何であるか］。この場合、符号化プロセッサは、フレーム６２０のブロックに関連付けられた検索エリアのサイズを増大させ得る。これは図６に示され、図６では、検索エリア６３０は、図５に提供される各検索エリア５３０よりも大きい。他の例では、検索エリアを検索してもよく、所与の方向に伸ばしてもよく、又は新しいロケーションに移動させてもよい。さらに、図６の検索エリア６３０は、第１のフレーム６１０のブロック内のボートの隅に類似する第２の隣接フレーム６２０内のボートの隅を取得することに続く。
【００９３】
したがって、符号化プロセッサは、ＵＡＶに関連付けられたセンサ情報に基づいて生成されるオプティカルフロー場を分析することにより、フレーム６２０のブロックに関連付けられた検索エリアのサイズを調整し得る。特に、オプティカルフロー場は、カメラの移動に基づいて生成し得る。さらに、オプティカルフロー場は、カメラ等のビデオ取得デバイスのＦＯＶ設定の調整を示し得る。オプティカルフロー場が、ビデオ取得デバイスの移動及び／又は航空車両の移動に基づいて以下に調整し得るかの例は、図７〜図１１に提供される。
【００９４】
例では、符号化プロセッサは、０．１％、０．２％、０．３％、０．４％、０．５％、０．６％、０．７％、０．８％、０．９％、１％、２％、３％、４％、５％、６％、７％、８％、９％、１０％、１５％、２０％、２５％、３０％、３５％、４０％、４５％、５０％、５５％、６０％、６５％、７０％、７５％、８０％、８５％、９０％、９５％、１００％、１２０％、１４０％、１６０％、１８０％、２００％、２５０％、５００％、又は５００％超だけ、検索エリアのサイズを増大させ得る。代替的には、符号化プロセッサは、０．１％、０．２％、０．３％、０．４％、０．５％、０．６％、０．７％、０．８％、０．９％、１％、２％、３％、４％、５％、６％、７％、８％、９％、１０％、１５％、２０％、２５％、３０％、３５％、４０％、４５％、５０％、５５％、６０％、６５％、７０％、７５％、８０％、８５％、９０％、９５％、１００％、１２０％、１４０％、１６０％、１８０％、２００％、２５０％、５００％、又は５００％超だけ、検索エリアのサイズを低減させ得る。
【００９５】
したがって、エンコーダは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場に基づいて、検索エリアの形状を調整し得る。例では、検索エリアは、円形、正方形、矩形、三角形、菱形、平行四辺形、台形、長円形、楕円形、８の字形、又は別の形状等の形状であり得る。
【００９６】
エンコーダは、検索エリアを新しいロケーションに移動させることもできる。特に、エンコーダは、検索エリアを初期開始位置から所与の方向に移動させ得る。例では、エンコーダは、検索エリアを検索エリアの開始位置から左、右、上、下、又は斜めに移動させ得る。
【００９７】
さらに、エンコーダは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場に基づいて、検索エリアの寸法を調整し得る。オプティカルフロー場は、フレーム上の点の方向及び／又は速度を記述し得る。ある例では、オプティカルフロー場は、フレーム上の全ての点の方向及び速度を記述し得る。ＵＡＶに関連付けられたセンサを使用して、オプティカルフロー場を生成し得る。特に、オプティカルフロー場の生成に使用し得るセンサは、ＧＰＳ、ジャイロスコープ、ＭＶＯ、カメラの角度、高さ情報、又は本明細書に記載される任意の他のセンサを含み得る。
【００９８】
図６に見られるような検索エリアサイズの増大は、フレーム６２０のブロックに関連付けられた運動ベクトルがブロック６２０の検索エリア内で見つけられる確率を増大させ得るが、これは、運動推定器予測構成要素に重いタスクを更に課し得る。したがって、フレーム６２０のブロックに関連付けられた初期検索点を移動させることが有益であることもある。
【００９９】
符号化プロセッサは、生成されるオプティカルフロー場を使用して、初期運動ベクトルの正確性を増大させ得る。したがって、検索エリアのサイズ、形状、及び／又はロケーションは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場に基づいて変更し得る。図７〜図１１は、符号化プロセッサがビデオ内の動きデータの知識を有さない場合、符号化が困難であり得るオプティカルフロー場の図を提供する。さらに、図７〜図１１は、オプティカルフロー場に基づいて検索エリアをいかに変更し得るかの図を提供する。
【０１００】
オプティカルフロー場７００の例を図７に提供する。特に、図７は、本発明の実施形態による、上から、回転図に関連付けられたオプティカルフロー場を示す。オプティカルフロー場内の動きは矢印を使用して示される。矢印の長さは、オプティカルフロー場にわたって生じている動きの量を示し、矢印の湾曲は、オプティカルフロー場にわたって生じている動きの方向を示す。さらに、図７は、オプティカルフロー場７００に基づいて初期検索エリア７１０をいかに変更し得るかの図を提供する。特に、初期検索エリアは、動き矢印の湾曲に沿って変更検索エリア７２０の位置に並進移動し得る。特に、初期検索エリアは、ビデオに取得された１つ又は複数の物体に関して画像取得デバイスが回転する速度に基づいて、動き矢印の湾曲に沿って並進移動し得る。オプティカルフロー場は、ロール軸の回りでビデオ取得デバイスを回転させることにより、カメラロール軸の回りでＵＡＶを回転させることにより、又はこれら両方により、生成し得る。追加の例では、生成されたオプティカルフロー場は、移動中の物体の速度、ビデオ取得デバイスからの移動中の物体の距離、移動中の物体の湾曲移動、移動中の物体の方向性、及びオプティカルフロー場内の物体の移動の他の特徴に関連する移動アスペクトを含み得る。
【０１０１】
さらに、変更検索エリア７２０が並進移動する距離は、画像取得デバイスで取得されるビデオに相対して物体がどれくらい高速で移動しているように見えるかに基づき得る。この速度は、ビデオフレームに関連付けられたタイムスタンプによってコンテキスト化されるものと同様の物体の移動距離に基づいて査定し得る。このようにして、タイムスタンプしたがって、例えば経過時間）との関連で物体移動距離は速度を示し得る。さらに、図７に提供されるように、変更検索エリア７２０は、初期検索エリア７１０と同じ寸法であり得るが、オプティカルフロー場に従って並進移動し得る。
【０１０２】
図８もオプティカルフロー場の例を提供する。特に、図８は、本発明の実施形態による、カメラに関連付けられたズームイン特徴に関連付けられたオプティカルフロー場を示す。例では、ズームイン特徴は、物体ズームインするビデオ取得デバイス、カメラをより近くに移動させることができる航空車両の支持エリア、又はこれら２つの組合せに基づいて行われ得る。図８に見られるように、オプティカルフロー場での縁部での移動は、オプティカルフロー場の中央での移動よりも大きい。さらに、ズームインの方向性は、オプティカルフロー場にわたって等しい。換言すれば、各方向は同様に移動しているため、垂直距離又は水平距離に明らかなバイアスはない。しかし、特定の方向に明らかなバイアスがある場合であっても、運動ベクトル検索エリアが、オプティカルフロー場８００の中央エリア等の密なオプティカルフロー場の部分に、オプティカルフロー場８００の外側部分等のより低密度のオプティカルフロー場の部分に並進移動するにつれて、より大きな検索エリアが必要とされ得る。したがって、図８は、オプティカルフロー場の中心により近い初期検索エリア８１０と、オプティカルフロー場の縁部により近いより大きな変更検索エリア８２０とを示す。
【０１０３】
オプティカルフロー場内の物体の知覚されるサイズの関係は、オプティカルフロー場内の物体のロケーションに基づいて様々であり得る。例えば、オプティカルフロー場がズームイン動作に基づいて生成される場合、現実世界で同じサイズの物体は、オプティカルフロー場の縁部から遠くにあるほど大きく見え得る。これは図８に示され、図８は、オプティカルフロー場の中心にある正規化最小近傍にある第１のボール８３０と、オプティカルフロー場の周縁近傍にある第２のボール８４０とを示す。第１のボール８３０及び第２のボール８４０は等しいサイズであるが、オプティカルフロー場に関連して見る場合、異なるサイズに見える。したがって、物体の知覚されるサイズは、オプティカルフロー場にわたって変化し得る。特に、物体の知覚されるサイズは、線形に正比例若しくは反比例するように、又は物体がオプティカルフロー場にわたって異なるロケーションに配置される場合、別の式によってモデリングされるように変化し得る。
【０１０４】
フレーム内の物体に関連付けられた異なる移動速度を有するオプティカルフロー場の例を図９に提供する。特に、図９は、本発明の実施形態による、異なる程度の物体移動を有する大域的オプティカルフロー場９００を提供する。図９に見られるように、オプティカルフロー場の上部に近い幾つかの物体は比較的静止している。特に、同じ速度で移動している物体は、ビデオ取得デバイスからの物体の距離に基づいて異なる知覚速度を有するため、比較的静止して見える物体は画像取得デバイスから遠くにあり得る。代替的には、一定速度で移動している物体は、ビデオ取得デバイスが物体と同じ速度で同じ方向に移動している場合、比較的静止して見え得る。例では、ビデオ取得デバイスは、ビデオ取得デバイスに取り付けられるＵＡＶの移動に基づいて特定の速度で移動中であり得る。代替的には、ビデオ取得デバイスは、取り付けられたＵＡＶに相対してビデオ取得デバイスそれ自体の移動に基づいて特定の速度で移動中であり得る。
【０１０５】
これとは対照的に、オプティカルフロー場の中央下部にある幾つかの物体は、比較的高速で移動している。特に、物体は、ビデオ取得デバイスに相対する移動に基づいて比較的高速で移動するように見え得る。特に、ビデオ取得デバイスが静止物体を通り越して素早く移動している場合、静止物体は、ビデオ取得デバイスの移動に基づいて素早く移動しているように見え得る。例では、物体の知覚される移動は、ビデオ取得デバイスの移動に関連付けられた動き成分を有し得、且つ／又はビデオ取得デバイスが取り付けられる、ＵＡＶ等の移動可能物体の移動に関連付けられた動き成分を有し得る。さらに、図９は、オプティカルフロー場に基づいて、検索エリア９１０をいかに調整可能であるかの例を提供する。特に、水平バイアスを有する変更検索エリア９２０が提供される。変更検索エリアの水平バイアスは、図９に提供されるように、動き矢印の水平拡張に基づく。図９に見られる水平バイアスは、ビデオがオプティカルフロー場の下縁部により近い物体を取得中に見られる垂直ズームインアスペクトに起因する。物体は、オプティカルフロー場の下縁部に向かって下がるほど、大きくなるように見える。これは、オプティカルフロー場に提供される動き矢印のより幅広の拡大に反映される。したがって、運動ベクトルを検索する場合、変更検索エリアは、水平方向に拡大して、オプティカルフロー場の下部で比較的同量のエリアを検索し得、オプティカルフロー場の下部では、同じサイズの物体はオプティカルフロー場のより高い部分よりも大きく見え得、オプティカルフロー場のより高い部分では、同じサイズの物体はより小さく見え得る。
【０１０６】
図１０は、本発明の実施形態による超高速大域的カメラ移動を示す。特に、図１０に提供されるオプティカルフロー場１０００は、均一に下向きの方向を有する。さらに、動き矢印の下向き方向は、矢印の密度により高速であるものとして示される。例では、オプティカルフロー場の下向き方向は、ビデオ取得デバイスを通り越して素早く移動している１つ又は複数の物体に基づいて、ビデオデータにおいて高速であるように見え得る。他の例では、オプティカルフロー場の下向き方向は、取得されたビデオデータ内の物体に相対するビデオ取得デバイスの移動に基づいて、ビデオデータにおいて高速であるように見え得る。更なる例では、オプティカルフロー場内の動き矢印の下向きの方向は、ビデオ取得デバイスを通り過ぎて素早く移動している物体と、ビデオ取得デバイスそれ自体の高速移動との組合せに基づいて、ビデオデータにおいて高速に見え得る。
【０１０７】
図１０は、オプティカルフロー場１０００において提供される垂直移動に基づいて調整される初期検索エリア１０１０も示す。特に、図１０のオプティカルフロー場は垂直バイアスを有する。したがって、変更検索エリア１０２０は、初期検索エリア１０１０よりも長くなり得る。特に、変更検索エリア１０２０には、追加の高さが与えられて、初期検索エリア１０１０と同じ場所にあるブロックで見られる運動ベクトルに相関する運動ベクトルを識別する確率を上げ得る。
【０１０８】
さらに、図１１は、本発明の実施形態による斜めの大域的移動を示す。特に、図１１に提供されるオプティカルフロー場１１００は、オプティカルフロー場の右下隅に向かって均一に傾斜する方向を有する。例では、オプティカルフロー場内の動き矢印の方向は、ビデオ取得デバイスを通り過ぎて斜めに移動している１つ又は複数の物体に基づいて、ビデオデータにおいて傾斜して見え得る。他の例では、オプティカルフロー場内の動き矢印の方向は、取得されたビデオデータ内の物体に相対するビデオ取得デバイスの斜め移動に基づいて、ビデオデータにおいて傾斜して見え得る。さらなる例では、オプティカルフロー場内の動き矢印の方向は、ビデオ取得デバイスを通り過ぎて斜めに移動している物体と、ビデオ取得デバイスそれ自体の移動との組合せに基づいて、ビデオデータにおいて傾斜して見え得る。
【０１０９】
したがって、初期検索エリア１１１０は、オプティカルフロー場１１００内の移動エリアに沿って並進移動して、変更検索エリア１１２０を示し得る。並進移動の程度は、フレーム間の物体の速度に基づき得る。例えば、ビデオ内の物体が比較的低速で移動している場合、変更検索エリアは、初期検索エリアの比較的近くにあり得る。しかし、ビデオ内の物体が比較的高速で移動している場合、変更検索エリアは、初期検索エリアから比較的離れて配置され得る。図１１に見られるように、オプティカルフロー場は、動き矢印が４５度角度であるため、垂直又は水平バイアスを有さない。
【０１１０】
追加のオプティカルフロー場が、ロール軸の回りでビデオ取得デバイスを回転させることにより、カメラロール軸の回りでＵＡＶを回転させることにより、又はこれら両方により、生成され得る。追加の例では、生成されたオプティカルフロー場は、移動中の物体の速度、ビデオ取得デバイスからの移動中の物体の距離、移動中の物体の湾曲移動、移動中の物体の方向性、及びオプティカルフロー場内の物体の移動の他の特徴に関連する移動アスペクトを含み得る。
【０１１１】
別の例では、検索エリアのバイアスの図１２００が図１２に提供される。特に、図１２は、本発明の実施形態による、初期検索点とバイアス検索点との比較を示す。初期検索点とバイアス検索点との比較を使用して、初期検索点を変更し、フレーム間のブロックを符号化するために提供される検索エリアを変更する構造を示し得る。オプティカルフロー場は、センサを用いて既に構築され得る。
【０１１２】
図１２に示されるように、既に符号化されたビデオフレーム１２１０が、予測ビデオフレーム１２２０と共に提供される。既に符号化されたビデオフレーム１２１０を使用して、ビデオフレーム１２２０内の運動ベクトルを検索する初期検索点１２３５を決定し得る。特に、初期検索点は、既に符号化されたビデオフレーム１２１０のブロックと同じ場所にあるブロックのロケーションに基づいて決定し得る。例では、初期検索点１０３５等の初期検索点は、同じ場所にあるブロックの左上隅にあり得る。しかし、初期検索点１２３５は、オプティカルフロー場に基づいてバイアスし得る。この例では、初期検索点１２３５は、図１１のオプティカルフロー場１１００によってバイアスされ、それにより、初期検索点１２３５の右下にあるロケーションにバイアス検索点１２４０を提供し得る。符号化プロセッサは、バイアス検索点の計算前に、この場１１００についての情報を受信又は生成し得る。したがって、オプティカルフロー場１１００において知覚される移動の方向及び速度を使用して、特定の値によって初期検索点をバイアスし、より大きな検索窓内で検索し得る。さらに、ブロック１２２５を符号化ブロック１２１５にリンクする運動ベクトルについてフレーム１２２０を評価する場合、検索エリア１２３０を査定し得る。検索エリア１２３０はより大きく、運動推定により、既に符号化されたビデオフレーム１２１０の対応する部分に関連付けられた運動ベクトルを含む最近傍ブロックを見つけることができる確率を上げ得る。さらに、検索エリア１２３０は、初期検索点１２３５ではなくむしろバイアス検索点１２４０に基づいてセンタリングし得る。
【０１１３】
例では、オプティカルフロー場内の動きは、ＭＶｏ＝［ＸＭＶｏ，ＹＭＶｏ］という名称のベクトルを使用して査定し得る。さらに、運動ベクトルの正確性はγであると特定し得る。この事前知識を利用するために、初期点は量γ＊ＭＶｏでバイアスし得る。
【０１１４】
さらに、検索範囲について、１組の検索範囲を予め定義し得る。例では、検索範囲の形状は、正方形に限定されない。しかし、例において、正方形を使用し得る。検索範囲は２次元である場合、各次元は３つのスケールを有し得る。正方形検索範囲の例では、幅寸法は寸法Ｗｓｍａｌｌ、Ｗｎｏｒｍａｌ、及びＷｌａｒｇｅを有し得る。さらに、垂直方向は寸法Ｈｓｍａｌｌ、Ｈｎｏｒｍａｌ、及びＨｌａｒｇｅを有し得る。このようにして、２次元検索範囲は９つのタイプの検索窓を有し得る。例では、２次元検索範囲は、５０以下、４０以下、３０以下、２５以下、２０以下、１５以下、１４以下、１３以下、１２以下、１０以下、９以下、８以下、７以下、６以下、５以下、４以下、３以下、２以下等の幾つかの予め定義される検索サイズを有してもよく、１つの予め定義される検索シーズ又は２次元検索範囲は、予め定義される検索サイズを有さなくてもよい。
【０１１５】
さらに、予め定義される閾値を使用して、動きが激しいか否かを判断し得る。例では、閾値はθｌｏｗ及びθｈｉｇｈとして示され得る。さらに、検索窓の寸法［Ｗ，Ｈ］は、幅
【数１】
2017529710.tif 000003
に関連する関係を使用して決定し得る。
【０１１６】
さらに、高さＨの計算も同様に行い得る。例では、初期検索点が移され、検索窓が拡大される場合、最良の運動ベクトルを見つける確率を高くし得る。
【０１１７】
上記の場合、フレーム全体での動きは固有であり得る。しかし、ある別の場合には、初期運動ベクトル及び検索範囲は、オプティカルフロー場に大域的及び局所的に適合し得る。場合によっては、ビデオフレームの上部での動きは、同じビデオフレームの下部よりも静止し得る。ある別の場合には、フレームの中央から離れた物体は、フレーム中央に近い物体よりも高速で移動し得る。
【０１１８】
図１３は、本発明の実施形態による、オプティカルフロー場データに基づいてビデオを符号化する検索エリアを評価する方法１３００を示すフローチャートである。ブロック１３１０において、画像取得デバイスによって取得されたビデオが受信される。画像取得デバイスはビデオ取得デバイスであり得る。さらに、画像取得デバイスは、無人航空機等の移動可能物体に設置し得る。さらに、ビデオはビデオフレーム構成要素を含み得る。ブロック１３２０において、ビデオフレーム構成要素の初期検索エリアが提供される。初期検索エリアは、隣接ビデオフレーム上の対応するロケーションと同じ場所にあり得る。さらに、初期検索エリアは標準サイズを有し得る。ブロック１３３０において、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データが受信される。オプティカルフロー場データの少なくとも一部は、センサによって取得される。特に、オプティカルフロー場データの少なくとも一部は、ＵＡＶに関連付けられたセンサによって取得し得る。さらに、ブロック１３４０において、初期検索エリアは、オプティカルフロー場データに基づいて変更又は維持し得る。例では、初期検索エリアは、オプティカルフロー場データに基づいて拡大し得る。他の例では、初期検索エリアは、ビデオフレームにわたって並進移動し得る。初期検索エリアの変更又は維持は、変更検索エリアを生成する。ブロック１３５０において、変更検索エリアは、画像取得デバイスによって取得されたビデオの符号化された運動情報であるものとして評価される。特に、変更検索エリアは評価されて、画像取得デバイスによって取得されたビデオ内の運動ベクトルを符号化し得る。
【０１１９】
図１４は、本発明の実施形態による、オプティカルフロー場データに基づいてビデオフレーム構成要素の運動ベクトルを識別する方法１４００を示すフローチャートである。ブロック１４１０において、画像取得デバイスによって取得されたビデオが受信される。特に、ビデオはビデオフレーム構成要素を含む。画像取得デバイスは、無人航空機等の移動可能物体に設置し得る。さらに、取得されるビデオは、ＵＡＶが飛行中に画像取得デバイスによって取得され得る。ブロック１４２０において、ビデオフレーム構成要素内の運動ベクトルを査定する初期点を決定し得る。特に、ビデオフレーム構成要素内の運動ベクトルを査定する初期点は、隣接するビデオフレームを参照することによって決定し得る。さらに、ブロック１４３０において、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データが受信される。オプティカルフロー場データに、ズームイン効果を使用してビデオデータを取得しているカメラを関連付け得る。特に、カメラは、物体近くに移動することにより、ズームイン効果を使用し得る。さらに、カメラは、物体の倍率を上げることによってズームイン効果を使用し得る。ブロック１４４０において、運動ベクトルを見つけるための検索エリアが決定される。特に、検索エリアは初期点を含む。さらに、検索エリアは、受信するオプティカルフロー場データに基づく。例では、検索エリアを決定することは、検索エリアの形状を決定することを含み得る。他の例では、検索エリアを決定することは、検索エリアのロケーションを決定することを含み得る。さらに、ブロック１４５０において、検索エリアは評価されて、運動ベクトルを識別する。
【０１２０】
図１５は、本発明の実施形態による、動きデータに基づいてビデオを符号化する検索エリアを決定する方法１５００を示すフローチャートである。ブロック１５１０において、画像取得デバイスによって取得されたビデオが受信される。ビデオはビデオフレームを含む。ビデオは、画像取得デバイスによって取得し得る。ブロック１５２０において、ビデオフレームに関連付けられた動きデータが受信される。動きデータはセンサによって取得される。例では、センサは画像取得デバイスに取り付けられ得る。他の例では、センサは画像取得デバイス外部にあり得る。更なる例では、センサは、画像取得デバイスからリモートの場所にあり得る。さらに、ビデオフレームは複数のブロックを含む。例では、複数のブロックは、ビデオフレーム内にアレイを形成し得る。さらに、ブロック１５３０において、ビデオフレーム内の検索エリアは、動きデータに基づいて決定される。検索エリアを使用して、画像取得デバイスによって取得されるビデオの動きを評価する。例では、検索エリアを使用して、画像取得デバイスによって取得されるビデオの動きを評価し、運動ベクトルを識別する。
【０１２１】
図１６は、本発明の実施形態による、動きデータに基づいてビデオを符号化する検索エリアを決定する方法１６００を示すフローチャートである。ブロック１６１０において、画像取得デバイスによって取得されたビデオが受信される。ビデオは、第１のビデオフレームと、第２のビデオフレームとを含む。例では、第１のビデオフレームは、第２のビデオフレームに時間的に隣接し得る。第１のビデオフレームは、第２のビデオフレームの前にあり得る。代替的には、第１のビデオフレームは第２のビデオフレームの後にあり得る。さらに、第１のビデオフレーム及び第２のビデオフレームの各々は、複数のブロックを含む。
【０１２２】
ブロック１６２０において、第２のビデオフレームに関連付けられた運動ベクトルが受信される。運動ベクトルはセンサによって取得される。特に、センサは画像取得デバイス内にあり得る。代替的には、センサは画像取得デバイスからリモートであり得る。ブロック１６３０において、第１のビデオフレーム内の検索エリアは、第２のビデオフレームに関連付けられた動きデータに基づいて決定される。例では、検索エリアのサイズは、第２のビデオフレームに関連付けられた動きデータに基づいて決定し得る。更なる例では、第１のビデオフレーム上の検索エリアのロケーションは、第２のビデオフレームに関連付けられた動きデータに基づいて決定し得る。さらに、検索エリアを使用して、画像取得デバイスによって取得されたビデオの動きを評価する。例では、検索エリアを使用して、画像取得デバイスによって取得されたビデオの動きを評価して、ビデオ内の運動ベクトルを識別する。
【０１２３】
図１７は、本発明の実施形態による、オプティカルフロー場データに基づいて航空車両によって取得されたビデオを符号化する別の方法１７００を示すフローチャートである。ブロック１７１０において、航空車両に搭載された画像取得デバイスによって取得されたビデオが受信される。ビデオはビデオフレーム構成要素を含む。例では、ビデオは、航空車両が飛行中にオンボード画像取得デバイスによって取得され得る。ブロック１７２０において、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データが受信される。オプティカルフロー場データの少なくとも一部は、航空車両に搭載されるセンサによって取得される。センサを使用して、航空車両のロケーション情報を取得し得る。例では、センサを使用して、航空車両の回転情報を取得し得る。さらに、ブロック１７３０において、画像取得デバイスによって取得されたビデオの動きが、オプティカルフロー場データに基づくビデオ符号化について評価される。例では、ビデオの動きは評価されて、ビデオフレーム構成要素に内に関連付けられた運動ベクトルを決定し得る。
【０１２４】
ビデオ符号化に関して本明細書に記載されるシステム、デバイス、及び方法は、様々な物体によって支持されるビデオ取得デバイスによって取得される任意のビデオに適用し得る。特に、ビデオは、航空車両によって支持されるビデオ取得デバイスによって取得し得る。上述したように、ＵＡＶ等の航空車両の本明細書での任意の説明は、任意の移動可能物体に適用し得、使用し得る。航空車両の本明細書での任意の説明は、特にＵＡＶに適用し得る。本発明の移動可能物体は、空中（例えば、固定翼機、回転翼機、又は固定翼若しくは回転翼の何れも有さない航空機）、水中（例えば、船又は潜水艦）、陸上（例えば、車、トラック、バス、バン、オートバイ、自転車等の動力車、スティック、釣り竿等の移動可能構造若しくはフレーム、又は列車）、地中（例えば、地下鉄）、宇宙空間（例えば、宇宙飛行機、衛星、又は宇宙探査機）、又はこれらの環境の任意の組合せ等の任意の適する環境内で移動するように構成し得る。移動可能物体は、本明細書の他の箇所で記載される車両等の車両であり得る。幾つかの実施形態では、移動可能物体は、人間又は動物等の生体によって携帯されるか、又は生体から離陸し得る。適する動物は、アビネス（ａｖｉｎｅｓ）、イヌ科、ネコ科、ウマ科、ウシ科、ヒツジ科、ブタ科、イルカ科、齧歯類、又は昆虫を含み得る。
【０１２５】
移動可能物体は、自由度６に関して環境内で自在に移動可能であり得る（例えば、並進移動での自由度３及び回転での自由度３）。代替的には、移動可能物体の移動は、所定の経路、トラック、又は向きになるなど、１つ又は複数の自由度に関して制限され得る。移動は、エンジン又はモータ等の任意の適する作動機構によって作動し得る。移動可能物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風力、重力エネルギー、化学エネルギー、核エネルギー、又はそれらの任意の適する組合せ等の任意の適するエネルギー源によってエネルギー供給し得る。移動可能物体は、本明細書の他の箇所に記載のように、推進システムを介して自己推進し得る。推進システムは任意選択的に、電気エネルギー、磁気エネルギー、太陽エネルギー、風力、重力エネルギー、化学エネルギー、核エネルギー、又はそれらの任意の適する組合せ等のエネルギー源を燃料とし得る。代替的には、移動可能物体は生体によって運ばれ得る。
【０１２６】
場合によっては、移動可能物体は航空車両であり得る。例えば、航空車両は、固定翼航空機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプター、ロータクラフト）、固定翼及び回転翼の両方を有する航空機、又は何れも有さない航空機（例えば、小型飛行船、熱気球）であり得る。航空車両は、空気を通しての自己推進等の自己推進式であり得る。自己推進式航空車両は、１つ又は複数のエンジン、モータ、車輪、車軸、磁石、ロータ、プロペラ、ブレード、ノズル、又はそれらの任意の適する組合せを含む推進システム等の推進システムを利用し得る。場合によっては、推進システムを使用して、移動可能物体が表面から離陸し、表面に着陸し、現在位置及び向きの少なくとも一方を維持し（例えば、ホバリング）、向きを変更し、且つ／又は位置を変更できるようにし得る。
【０１２７】
移動可能物体は、ユーザによってリモートに、又は移動可能物体内又は上の占有者によってローカルに制御され得る。移動可能物体は、別個の車両内の占有者を介してリモートに制御され得る。幾つかの実施形態では、移動可能物体は、ＵＡＶ等の無人移動可能物体である。ＵＡＶ等の無人移動可能物体は、移動可能物体に搭乗する占有者を有さなくてもよい。移動可能物体は、人間、自律制御システム（例えば、コンピュータ制御システム）、又はそれらの任意の適する組合せによって制御し得る。移動可能物体は、人工知能が構成されたロボット等の自律又は半自律ロボットであり得る。
【０１２８】
移動可能物体は、任意の適するサイズ及び寸法の少なくとも一方を有し得る。ある実施形態では、移動可能物体は、車両内又は車両上に人間の占有者を有するサイズ及び寸法の少なくとも一方のものであり得る。代替的には、移動可能物体は、車両内又は車両上に人間の占有者を有することが可能なものより小さなサイズ及び寸法の少なくとも一方であり得る。移動可能物体は、人間により持ち上げられるか、又は運ばれるのに適するサイズ及び寸法の少なくとも一方のものであり得る。代替的には、移動可能物体は、人間によって持ち上げられるか、又は運ばれるのに適するサイズ及び寸法の少なくとも一方よりも大きなものであり得る。場合によっては、移動可能物体は、約２ｃｍ以下、約５ｃｍ以下、約１０ｃｍ以下、約５０ｃｍ以下、約１ｍ以下、約２ｍ以下、約５ｍ以下、又は約１０ｍ以下の最大寸法（例えば、長さ、幅、高さ、直径、対角線）を有し得る。最大寸法は、約２ｃｍ以上、約５ｃｍ以上、約１０ｃｍ以上、約５０ｃｍ以上、約１ｍ以上、約２ｍ以上、約５ｍ以上、又は約１０ｍ以上であり得る。例えば、移動可能物体の対向するロータのシャフト間の距離は、約２ｃｍ以下、約５ｃｍ以下、約１０ｃｍ以下、約５０ｃｍ以下、約１ｍ以下、約２ｍ以下、約５ｍ以下、又は約１０ｍ以下であり得る。代替的には、対向するロータ間の距離は、約２ｃｍ以上、約５ｃｍ以上、約１０ｃｍ以上、約５０ｃｍ以上、約１ｍ以上、約２ｍ以上、約５ｍ以上、又は約１０ｍ以上であり得る。
【０１２９】
ある実施形態では、移動可能物体は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、又は５ｃｍ×５ｃｍ×３ｃｍ未満の容積を有し得る。移動可能物体の総容積は、約１ｃｍ３、約２ｃｍ３、約５ｃｍ３、約１０ｃｍ３、約２０ｃｍ３、約３０ｃｍ３、約４０ｃｍ３、約５０ｃｍ３、約６０ｃｍ３、約７０ｃｍ３、約８０ｃｍ３、約９０ｃｍ３、約１００ｃｍ３、約１５０ｃｍ３、約２００ｃｍ３、約３００ｃｍ３、約５００ｃｍ３、約７５０ｃｍ３、約１０００ｃｍ３、約５０００ｃｍ３、約１０，０００ｃｍ３、約１００，０００ｃｍ３３、約１ｍ３、又は約１０ｍ３以下であり得る。逆に、移動可能物体の総容積は、約１ｃｍ３、約２ｃｍ３、約５ｃｍ３、約１０ｃｍ３、約２０ｃｍ３、約３０ｃｍ３、約４０ｃｍ３、約５０ｃｍ３、約６０ｃｍ３、約７０ｃｍ３、約８０ｃｍ３、約９０ｃｍ３、約１００ｃｍ３、約１５０ｃｍ３、約２００ｃｍ３、約３００ｃｍ３、約５００ｃｍ３、約７５０ｃｍ３、約１０００ｃｍ３、約５０００ｃｍ３、約１０，０００ｃｍ３、約１００，０００ｃｍ３、約１ｍ３、又は約１０ｍ３以上であり得る。
【０１３０】
ある実施形態では、移動可能物体は、約３２，０００ｃｍ２以下、約２０，０００ｃｍ２以下、約１０，０００ｃｍ２以下、約１，０００ｃｍ２以下、約５００ｃｍ２以下、約１００ｃｍ２以下、約５０ｃｍ２以下、約１０ｃｍ２以下、又は約５ｃｍ２以下のフットプリント（移動可能物体により包含される横方向断面積と呼ばれ得る）を有し得る。逆に、フットプリントは、約３２，０００ｃｍ２以上、約２０，０００ｃｍ２以上、約１０，０００ｃｍ２以上、約１，０００ｃｍ２以上、約５００ｃｍ２以上、約１００ｃｍ２以上、約５０ｃｍ２以上、約１０ｃｍ２以上、又は約５ｃｍ２以上であり得る。
【０１３１】
場合によっては、移動可能物体は１０００ｋｇ以下の重量であり得る。移動可能物体の重量は、約１０００ｋｇ以下、約７５０ｋｇ以下、約５００ｋｇ以下、約２００ｋｇ以下、約１５０ｋｇ以下、約１００ｋｇ以下、約８０ｋｇ以下、約７０ｋｇ以下、約６０ｋｇ以下、約５０ｋｇ以下、約４５ｋｇ以下、約４０ｋｇ以下、約３５ｋｇ以下、約３０ｋｇ以下、約２５ｋｇ以下、約２０ｋｇ以下、約１５ｋｇ以下、約１２ｋｇ以下、約１０ｋｇ以下、約９ｋｇ以下、約８ｋｇ以下、約７ｋｇ以下、約６ｋｇ以下、約５ｋｇ以下、約４ｋｇ以下、約３ｋｇ以下、約２ｋｇ以下、約１ｋｇ以下、約０．５ｋｇ以下、約０．１ｋｇ以下、約０．０５ｋｇ以下、又は約０．０１ｋｇ以下であり得る。逆に、重量は、約１０００ｋｇ以上、約７５０ｋｇ以上、約５００ｋｇ以上、約２００ｋｇ以上、約１５０ｋｇ以上、約１００ｋｇ以上、約８０ｋｇ以上、約７０ｋｇ以上、約６０ｋｇ以上、約５０ｋｇ以上、約４５ｋｇ以上、約４０ｋｇ以上、約３５ｋｇ以上、約３０ｋｇ以上、約２５ｋｇ以上、約２０ｋｇ以上、約１５ｋｇ以上、約１２ｋｇ以上、約１０ｋｇ以上、約９ｋｇ以上、約８ｋｇ以上、約７ｋｇ以上、約６ｋｇ以上、約５ｋｇ以上、約４ｋｇ以上、約３ｋｇ以上、約２ｋｇ以上、約１ｋｇ以上、約０．５ｋｇ以上、約０．１ｋｇ以上、約０．０５ｋｇ以上、又は約０．０１ｋｇ以上であり得る。
【０１３２】
ある実施形態では、移動可能物体は、移動可能物体によっては込まれる負荷に相対して小さなものであり得る。負荷は、本明細書の他の箇所で更に詳細に記載されるように、搭載物及びキャリアの少なくとも一方を含み得る。幾つかの例では、移動可能物体の重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。場合によっては、移動可能物体の重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。任意選択的に、キャリアの重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。所望の場合、移動可能物体の重量と負荷の重量との比は、約１：２以下、約１：３以下、約１：４以下、約１：５以下、約１：１０以下、又は約１：１０未満であり得る。逆に、移動可能物体の重量と負荷の重量との比は、約約２：１以上、約３：１以上、約４：１以上、約５：１以上、約１０：１以上、又は約１０：１超であり得る。
【０１３３】
ある実施形態では、移動可能物体は低いエネルギー消費を有し得る。例えば、移動可能物体は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満を使用し得る。場合によっては、移動可能物体のキャリアは低いエネルギー消費を有し得る。例えば、キャリアは、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満を使用し得る。任意選択的に、移動可能物体の搭載物は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満等の低いエネルギー消費を有し得る。
【０１３４】
図１８は、本発明の実施形態による無人航空機（ＵＡＶ）１８００を示す。ＵＡＶは、本明細書に記載される移動可能物体の例であり得る。ＵＡＶ１８００は、４つのロータ１８０２、１８０４、１８０６、及び１８０８を有する推進システムを含み得る。任意の数のロータを提供し得る（例えば、１つ、２つ、３つ、４つ、５つ、６つ、又は７つ以上）。無人航空機のロータ、ロータ組立体、又は他の推進システムは、無人航空機が、ホバリング／位置を維持し、向きを変更し、且つ／又はロケーションを変更できるようにし得る。対向するロータのシャフト間の距離は、任意の適する長さ４１０であり得る。例えば、長さ１８１０は２ｍ以下又は５ｍ以下であり得る。ある実施形態では、長さ１８１０は、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、又は５ｃｍ〜５ｍの範囲内であり得る。ＵＡＶの本明細書での任意の説明は、異なるタイプの移動可能物体等の移動可能物体に適用し得、この逆も同様である。ＵＡＶは、本明細書に記載される補助装置付き離陸システム又は方法を使用し得る。
【０１３５】
ある実施形態では、移動可能物体は負荷を搬送するように構成し得る。負荷は、乗客、貨物、機器、器具等の１つ又は複数を含み得る。負荷は境界内に提供し得る。筐体は、移動可能物体の筐体とは別個であってもよく、又は移動可能物体の筐体の部分であってもよい。代替的には、負荷に筐体を提供し得、一方、移動可能物体は筐体を有さない。代替的には、負荷の部分又は負荷全体は、筐体なしで提供し得る。負荷は、移動可能物体にしっかりと固定し得る。任意選択的には、負荷は、移動可能物体に対して移動可能（例えば、移動可能物体に対して並進移動可能又は回転可能）であり得る。負荷は、本明細書の他の箇所に記載されるように、搭載物及びキャリアの少なくとも一方を含み得る。
【０１３６】
ある実施形態では、固定参照枠（例えば、周囲環境）及び／又は互いに対する移動可能物体、キャリア、及び搭載物の移動は、端末によって制御し得る。端末は、移動可能物体、キャリア、及び搭載物の少なくともいずれかから離れたロケーションにあるリモート制御デバイスであり得る。端末は、支持プラットフォームに配置されてもよく、又は支持プラットフォームに固定されてもよい。代替的には、端末はハンドヘルドデバイス又はウェアラブルデバイスであり得る。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロホン、又はそれらの任意の適する組合せを含み得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、又はディスプレイ等のユーザインターフェースを含み得る。手動入力コマンド、音声制御、ジェスチャ制御、又は位置制御（例えば、端末の移動、ロケーション、又は傾斜を介する）等の任意の適するユーザ入力を使用して、端末を対話し得る。
【０１３７】
端末を使用して、移動可能物体、キャリア、及び搭載物の少なくともいずれかの任意の適する状態を制御し得る。例えば、端末を使用して、互いから及び／又は互いへの固定参照に対する移動可能物体、キャリア、及び搭載物の少なくともいずれかの位置及び向きの少なくとも一方を制御し得る。ある実施形態では、端末を使用して、キャリアの作動組立体、搭載物のセンサ、又は搭載物のエミッタ等の移動可能物体、キャリア、及び搭載物の少なくともいずれかの個々の要素を制御し得る。端末は、移動可能物体、キャリア、又は搭載物の１つ又は複数と通信するように構成される無線通信デバイスを含み得る。
【０１３８】
端末は、可動物体、キャリア、及び搭載物の少なくともいずれかの情報の閲覧に適する表示ユニットを含み得る。例えば、端末は、位置、並進移動速度、並進移動加速度、向き、角速度、角加速度、又はそれらの任意の適する組合せに関して可動物体、キャリア、及び搭載物の少なくともいずれかの情報を表示するように構成し得る。ある実施形態では、端末は、機能搭載物によって提供されるデータ等の搭載物によって提供される情報（例えば、カメラ又は他の画像取得装置によって記録される画像）を表示し得る。
【０１３９】
任意選択的に、同じ端末が、可動物体、キャリア、及び／又は搭載物又は可動物体、キャリア、及び／又は搭載物の状態を制御するとともに、可動物体、キャリア、及び搭載物の少なくともいずれかから情報を受信し、且つ／又は表示し得る。例えば、端末は、搭載物によって取得された画像データ又は搭載物の位置についての情報を表示しながら、環境に相対する搭載物のポジショニングを制御し得る。代替的には、異なる端末を異なる機能に使用し得る。例えば、第１の端末は、可動物体、キャリア、及び／又は搭載物の移動又は状態を制御し得、一方、第２の端末は、可動物体、キャリア、及び搭載物の少なくともいずれかから情報を受信し、且つ／又は表示し得る。例えば、第１の端末を使用して、環境に対する搭載物のポジショニングを制御し得、一方、第２の端末は、搭載物によって取得された画像データを表示する。様々な通信モードが、両方とも可動物体を制御し、データを受信する可動物体と統合された端末との間、又は両方とも可動物体を制御し、データを受信する可動物体と複数の端末との間に利用可能である。例えば、少なくとも２つの異なる通信モードが、両方とも可動物体を制御し、可動物体からデータを受信する可動物体と端末との間に形成し得る。
【０１４０】
図１９は、本発明の実施形態による、キャリア１９０２と搭載物１９０４とを含む可動物体１９００を示す。可動物体１９００は航空機として示されるが、この図は限定を意図せず、本明細書において上述したように、任意の適するタイプの可動物体を使用し得る。航空機システムの文脈で本明細書に記載される任意の実施形態を任意の適する可動物体（例えば、ＵＡＶ）に適用し得ることを当業者は理解する。場合によっては、搭載物１９０４は、キャリア１９０２を必要とせずに、可動物体１９００に提供し得る。可動物体１９００は、推進機構１９０６、検知システム１９０８、及び通信システム１９１０を含み得る。
【０１４１】
推進機構１９０６は、上述したように、ロータ、プロペラ、ブレード、エンジン、モータ、車輪、車軸、磁石、又はノズルの１つ又は複数を含み得る。可動物体は、１つ又は複数、２つ以上、３つ以上、又は４つ以上の推進機構を有し得る。推進機構は全て同じタイプであり得る。代替的には、１つ又は複数の推進機構は、異なるタイプの推進機構であり得る。推進機構１９０６は、本明細書の他の箇所に記載のように、支持要素（例えば、駆動シャフト）等の任意の適する手段を使用して、可動物体１９００に搭載し得る。推進機構１９０６は、上部、下部、前部、後部、側部、又はそれらの任意の適する組合せ等の可動物体１９００の任意の適する部分に搭載し得る。
【０１４２】
ある実施形態では、推進メカニズム１９０６は、可動物体１９００が、可動物体１９００の任意の水平移動を必要とせずに（例えば、滑走路を下って移動せずに）、表面から垂直に離陸するか、又は表面に垂直に着陸できるようにし得る。任意選択的に、推進機構１９０６は、可動物体１９００が特定の位置及び向きの少なくとも一方で空中でホバリングできるようにするように動作可能であり得る。推進機構１９００の１つ又は複数は、その他の推進機構から独立して制御し得る。代替的には、推進機構１９００は、同時に制御されるように構成し得る。例えば、可動物体１９００は、揚力及び推進力の少なくとも一方を可動物体に提供し得る複数の水平を向いたロータを有し得る。複数の水平を向いたロータを作動させて、垂直離陸機能、垂直直立機能、ホバリング機能を可動物体１９００に提供し得る。ある実施形態では、水平を向いたロータの１つ又は複数は、時計回り方向にスピンし得、一方、水平を向いたロータの１つ又は複数は反時計回り方向にスピンし得る。例えば、時計回りロータの数は、反時計回りロータの数に等しいことができる。水平を向いたロータのそれぞれの回転率は、独立して変更して、各ロータによって生成される余力及び推進力の少なくとも一方を制御し、それにより、可動物体１９００の空間配置、速度、及び加速度の少なくともいずれかを調整し得る（例えば、最高で３度の並進移動及び最高で３度の回転に関して）。
【０１４３】
検知システム１９０８は、可動物体１９００の空間配置、速度、及び加速度の少なくともいずれかを検知し得る（例えば、最高で３度の並進移動及び最高で３度の回転に関して）１つ又は複数のセンサを含み得る。１つ又は複数のセンサは、全地球測位システム（ＧＰＳ）センサ、移動センサ、慣性センサ、近接度センサ、又は画像センサを含み得る。検知システム１９０８によって提供される検知データを使用して、可動物体１９００の空間配置、速度、及び向きの少なくともいずれかを制御し得る（例えば、後述するように、適する処理ユニット及び制御モジュールの少なくとも一方を使用して）。代替的には、検知システム１９０８を使用して、天候状況、潜在的な障害物への近接度、地理的特徴のロケーション、人造物のロケーション等の可動物体を取り巻く環境に関するデータを提供し得る。
【０１４４】
通信システム１９１０は、無線信号１９１６を介して通信システム１９１４を有する端末１９１２と通信できるようにする。通信システム１９１０、１９１４は、無線通信に適する任意の数の送信器、受信器、及び送受信器の少なくともいずれかを含み得る。通信は、データを一方向でのみ送信し得るように、単方向通信であり得る。例えば、単方向通信は、可動物体１９００のみがデータを端末１９１２に送信するか、又はこの逆を含み得る。データは、通信システム１９１０の１つ又は複数の送信器から通信システム１９１２の１つ又は複数の受信器に送信し得、又はその逆であり得る。代替的には、通信は、データを可動物体１９００と端末１９１２との間で両方向で送信し得るように、双方向通信であり得る。双方向通信は、通信システム１９１０の１つ又は複数の送信器から通信システム１９１４の１つ又は複数の受信器にデータを送信すること、又はその逆を含み得る。
【０１４５】
ある実施形態では、端末１９１２は、可動物体１９００、キャリア１９０２、及び搭載物１９０４の１つ又は複数に制御データを提供し、可動物体１９００、キャリア１９０２、及び搭載物１９０４の１つ又は複数から情報（例えば、可動物体、キャリア、又は搭載物の位置及び／又は移動情報、搭載物カメラによって取得される画像データ等の搭載物によって検知されるデータ）を受信し得る。場合によっては、端末からの制御データは、可動物体、キャリア、及び／又は搭載物の相対位置、移動、作動、又は制御についての命令を含み得る。例えば、制御データは、可動物体のロケーション及び／又は向きを変更させるか（例えば、推進機構１９０６の制御を介して）、又は可動物体に関する搭載物を移動させる（例えば、キャリア１９０２の制御を介して）。端末からの制御データは、カメラ又は他の画像取得装置の動作の制御（例えば、静止画又は動画の撮影、ズームイン又はアウト、電源オンオフ、画像モードの切り換え、画像解像度の変更、フォーカスの変更、被写界深度の変更、露光時間の変更、視野角又は視野の変更）等の搭載物の制御を生じさせ得る。場合によっては、可動物体、キャリア、及び搭載物の少なくともいずれかからの通信は、１つ又は複数のセンサ（例えば、検知システム１９０８又は搭載物１９０４の）からの情報を含み得る。通信は、１つ又は複数の異なるタイプのセンサ（例えば、ＧＰＳセンサ、移動センサ、慣性センサ、近接度センサ、又は画像センサ）からの検知情報を含み得る。そのような情報は、可動物体、キャリア、及び搭載物の少なくともいずれかの位置（例えば、ロケーション、向き）、移動、又は加速度に関連し得る。搭載物からのそのような情報は、搭載物によって取得されたデータ又は搭載物の検知状態を含み得る。端末１９１２によって提供され送信される制御データは、可動物体１９００、キャリア１９０２、又は搭載物１９０４の１つ又は複数の状態を制御するように構成し得る。代替的又は組み合わせて、キャリア１９０２及び搭載物１９０４もそれぞれ、端末１９１２と通信するように構成される通信モジュールを含み得、それにより、端末は、可動物体１９００、キャリア１９０２、及び搭載物１９０４のそれぞれと独立して通信し制御し得る。
【０１４６】
ある実施形態では、可動物体１９００は、端末１９１２に加えて、又は端末１９１２の代わりに、別のリモート装置と通信するように構成し得る。端末１９１２は、別のリモート装置及び可動物体１９００と通信するように構成することもできる。例えば、可動物体１９００及び／又は端末１９１２は、別の可動物体又は別の可動物体のキャリア若しくは搭載物と通信し得る。所望の場合、リモート装置は第２の端末又は他の計算装置（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又は他のモバイル装置）であり得る。リモート装置は、可動物体１９００にデータを送信し、可動物体１９００からデータを受信し、データを端末１９１２に送信し、且つ／又はデータを端末１９１２から受信するように構成し得る。任意選択的に、リモート装置は、インターネット又は他の電気通信ネットワークに接続し得、それにより、可動物体１９００及び／又は端末１９１２から受信されるデータは、ウェブサイト又はサーバにアップロードし得る。
【０１４７】
図２０は、実施形態による可動物体を制御するシステム２０００のブロック図による概略図である。システム２０００は、本明細書に開示されるシステム、装置、及び方法の任意の適する実施形態と組み合わせて使用し得る。システム２０００は、検知モジュール２００２、処理ユニット２００４、非一時的コンピュータ可読媒体２００６、制御モジュール２００８、及び通信モジュール２０１０を含み得る。
【０１４８】
検知モジュール２００２は、可動物体に関連する情報を異なる方法で収集する異なるタイプのセンサを利用し得る。異なるタイプのセンサは、異なるタイプの信号又は異なるソースからの信号を検知し得る。例えば、センサは、慣性センサ、ＧＰＳセンサ、近接度センサ（例えば、ライダー）、又はビジョン／画像センサ（例えば、カメラ）を含み得る。検知モジュールは、複数のプロセッサを有する処理ユニット２００４に動作可能に結合し得る。ある実施形態では、検知モジュール２００２は、適する外部装置又はシステムに検知データを直接送信するように構成された送信モジュール２０１２（例えば、ＷｉＦｉ画像送信モジュール）に動作可能に結合し得る。例えば、送信モジュール２０１２を使用して、検知モジュール２００２のカメラによって取得された画像をリモート端末に送信し得る。
【０１４９】
処理ユニット２００４は、プログラマブルプロセッサ等の１つ又は複数のプロセッサ（例えば、中央演算処理装置（ＣＰＵ））を有し得る。処理ユニット２００４は、非一時的コンピュータ可読媒体２００６に動作可能に結合し得る。非一時的コンピュータ可読媒体２００６は、処理ユニット２００４によって実行可能であり、１つ又は複数のステップを実行する論理、コード、及びプログラム命令の少なくともいずれかを記憶し得る。非一時的コンピュータ可読媒体は、１つ又は複数のメモリユニット（例えば、ＳＤカード又はランダムアクセスメモリ（ＲＡＭ）等のリムーバブル媒体又は外部記憶装置）を含み得る。ある実施形態では、検知モジュール２００２からのデータは、非一時的コンピュータ可読媒体２００６のメモリユニットに直接伝達され、記憶し得る。非一時的コンピュータ可読媒体２００６のメモリユニットは、処理ユニット２００４によって実行可能であり、本明細書に記載の方法の任意の適する実施形態を実行する論理、コード、及びプログラム命令の少なくともいずれかを記憶し得る。例えば、処理ユニット２００４は、処理ユニット２００４の１つ又は複数のプロセッサに、検知モジュールによって生成される検知データを分析させる命令を実行するように構成し得る。メモリユニットは、処理ユニット２００４によって処理される検知モジュールからの検知データを記憶し得る。ある実施形態では、非一時的コンピュータ可読媒体２００６のメモリユニットを使用して、処理ユニット２００４によって生成される処理結果を記憶し得る。
【０１５０】
ある実施形態では、処理ユニット２００４は、可動物体の状態を制御するように構成される制御モジュール２００８に動作可能に結合し得る。例えば、制御モジュール２００８は、可動物体の推進機構を制御して、自由度６に関して可動物体の空間配置、速度、及び加速度の少なくともいずれかを調整し得る。代替的には、又は組み合わせて、制御モジュール２００８は、キャリア、搭載物、又は検知モジュールの１つ又は複数を制御し得る。
【０１５１】
処理ユニット２００４は、１つ又は複数の外部装置（例えば、端末、表示装置、又は他のリモートコントローラ）からのデータを送信し、且つ／又は受信するように構成される通信モジュール２０１０に動作可能に結合し得る。優先通信又は無線通信等の任意の適する通信手段を使用し得る。例えば、通信モジュール２０１０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、赤外線、電波、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等のうちの１つ又は複数を利用し得る。任意選択的に、タワー、衛星、又は移動局塔の中継局を使用し得る。無線通信は、近接度に依存してもよく、又は依存しなくてもよい。ある実施形態では、視線が通信に必要であってもよく、又はなくてもよい。通信モジュール２０１０は、検知モジュール２００２からの検知データ、処理ユニット２００４によって生成される処理結果、所定の制御データ、端末又はリモートコントローラからのユーザコマンド等の１つ又は複数を送信し、且つ／又は受信し得る。
【０１５２】
システム２０００の構成要素は、任意の適する構成で配置し得る。例えば、システム２０００の構成要素の１つ又は複数は、可動物体、キャリア、搭載物、端末、検知システム、又は上記の１つ若しくは複数と通信する追加の外部装置に配置し得る。さらに、図２０は単一の処理ユニット２００４及び単一の非一時的コンピュータ可読媒体２００６を示すが、これは限定を意図せず、システム２０００が複数の処理ユニット及び非一時的コンピュータ可読媒体の少なくとも一方を含み得ることを当業者は理解する。ある実施形態では、複数の処理ユニット及び非一時的コンピュータ可読媒体の少なくとも一方の１つ又は複数は、可動物体、キャリア、搭載物、端末、検知モジュール、上記の１つ又は複数と通信する追加の外部装置、又はそれらの適する組合せ等の異なるロケーションに配置し得、したがって、システム２０００によって実行される処理及びメモリ機能の少なくとも一方の任意の適する態様は、上記ロケーションの１つ又は複数で行われ得る。
【０１５３】
本発明の好ましい実施形態を本明細書に示し説明したが、そのような実施形態が単なる例として提供されることが当業者には明らかであろう。ここで、本発明から逸脱せずに、多くの変形、変更、及び置換を当業者は思い付くであろう。本発明を実施するに当たり、本明細書に記載された本発明の実施形態への様々な代替を利用し得ることを理解されたい。以下の請求項が本発明の範囲を規定し、これらの請求項及びそれらの均等物の範囲内の方法及び構造がそれにより包含されることが意図される。
【図１】
2017529710.tif 000004
【図２】
2017529710.tif 000005
【図３】
2017529710.tif 000006
【図４】
2017529710.tif 000007
【図５】
2017529710.tif 000008
【図６】
2017529710.tif 000009
【図７】
2017529710.tif 000010
【図８】
2017529710.tif 000011
【図９】
2017529710.tif 000012
【図１０】
2017529710.tif 000013
【図１１】
2017529710.tif 000014
【図１２】
2017529710.tif 000015
【図１３】
2017529710.tif 000016
【図１４】
2017529710.tif 000017
【図１５】
2017529710.tif 000018
【図１６】
2017529710.tif 000019
【図１７】
2017529710.tif 000020
【図１８】
2017529710.tif 000021
【図１９】
2017529710.tif 000022
【図２０】
2017529710.tif 000023
【手続補正書】
【提出日】平成28年8月12日(2016.8.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオを符号化する検索エリアを評価する方法であって、
画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップと、
前記ビデオフレーム構成要素の少なくとも一部がセンサによって取得され、前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップと、
前記オプティカルフロー場データに基づいて検索エリアを決定するステップと
を含む、方法。
【請求項２】
前記検索エリアを決定するステップは、前記オプティカルフロー場データに基づいて所定の初期検索エリアを変更又は維持して、変更検索エリアを生成するステップを更に含む請求項１に記載の方法。
【請求項３】
前記画像取得デバイスによって取得された前記ビデオの符号化された運動情報に対して前記変更検索エリアを評価するステップを更に含む請求項２に記載の方法。
【請求項４】
前記画像取得デバイスはビデオ取得デバイスである請求項１乃至請求項３の何れか１項に記載の方法。
【請求項５】
前記画像取得デバイスは移動可能物体に設置される請求項１乃至請求項４の何れか１項に記載の方法。
【請求項６】
移動可能物体は無人航空機（ＵＡＶ）であり、かつ前記移動可能物体は前記画像取得デバイスを支持し、前記変更検索エリアを評価するステップは前記移動可能物体が飛行中に行われる請求項３乃至請求項５の何れか１項に記載の方法。
【請求項７】
前記変更検索エリアは、運動推定エンジンによって評価される請求項３乃至請求項６の何れか１項に記載の方法。
【請求項８】
前記初期検索エリアは、前記オプティカルフロー場データが前記初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアに移す場合に変更される請求項２乃至請求項７の何れか１項に記載の方法。
【請求項９】
前記初期検索エリアを変更するステップは、前記初期検索エリアの寸法を変更するステップを更に含む請求項２乃至請求項８の何れか１項に記載の方法。
【請求項１０】
前記初期検索エリアを変更するステップは、前記初期検索エリアの形状を変更するステップを更に含む請求項２乃至請求項９の何れか１項に記載の方法。
【請求項１１】
前記初期検索エリアを変更するステップは、前記初期検索エリアのロケーションを変更するステップを更に含む請求項２乃至請求項１０の何れか１項に記載の方法。
【請求項１２】
前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて前記初期検索エリアの初期点の前記ロケーションを移す請求項２乃至請求項１１の何れか１項に記載の方法。
【請求項１３】
前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記初期検索エリアの初期点の前記ロケーションを移す請求項２乃至請求項１１の何れか１項に記載の方法。
【請求項１４】
前記初期検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記初期検索エリアを垂直方向に引き延ばすステップを更に含む請求項２乃至請求項１３の何れか１項に記載の方法。
【請求項１５】
前記オプティカルフロー場データは垂直バイアスである請求項１４に記載の方法。
【請求項１６】
前記初期検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオフレーム構成要素上の前記初期検索エリアの位置を移動するステップを更に含む請求項２乃至請求項１５の何れか１項に記載の方法。
【請求項１７】
前記変更検索エリアは、前記ビデオフレーム構成要素内の運動ベクトルを識別することで評価される請求項２乃至請求項１６の何れか１項に記載の方法。
【請求項１８】
前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ、及び高度計の少なくとも１つを含む請求項１乃至請求項１７の何れか１項に記載の方法。
【請求項１９】
前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の垂直バイアスに基づいて、前記初期検索エリアを引き延ばすステップを更に含む請求項２乃至請求項１８の何れか１項に記載の方法。
【請求項２０】
前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の水平バイアスに基づいて、前記初期検索エリアを広げるステップを更に含む請求項２乃至請求項１８の何れか１項に記載の方法。
【請求項２１】
前記ビデオフレーム構成要素はビデオフレームである請求項１乃至請求項２０の何れか１項に記載の方法。
【請求項２２】
前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである請求項１乃至請求項２０の何れか１項に記載の方法。
【請求項２３】
前記ブロックは符号化ビデオブロックである請求項２２に記載の方法。
【請求項２４】
前記ビデオフレーム構成要素の第２の初期検索エリアが提供される請求項２乃至請求項２３の何れか１項に記載の方法。
【請求項２５】
前記第２の初期検索エリアが前記オプティカルフロー場データに基づいて変更又は維持されることにより、第２の変更検索エリアが生成される請求項２４に記載の方法。
【請求項２６】
前記第２の変更検索エリアは、前記変更検索エリアよりも小さい請求項２５に記載の方法。
【国際調査報告】
2017529710.tif 000024
2017529710.tif 000025