(57)【特許請求の範囲】
【請求項１】
ビデオデータを転送するための方法であって、
アパーチャ画像を感知することによって、１キロヘルツ超の第１のフレームレートで複数の高速ビデオフレームを生成することであって、該高速ビデオフレームの各々が、１２８×１２８ピクセルを有し、該高速ビデオフレームの各々が、前記アパーチャ画像の複数のバンドを含む、生成することと、
前記複数の高速ビデオフレームにおける前記ビデオデータを７２０ｐ６０規格またはＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０規格サイズコンテナフレームにモザイク化することであって、該モザイク化することは、前記高速ビデオフレームを圧縮することなく、前記高速ビデオフレームからの前記複数のバンドを連結することによって行われる、モザイク化することと、
前記複数の高速ビデオフレームが前記規格サイズコンテナフレームにどのようにパッキングされるかを記述するメタデータを生成することと、
前記第１のフレームレート以下のフレームレートでマルチチャネルビデオアーキテクチャにおける複数の並列チャネルにわたって前記規格サイズコンテナフレームを転送することと、
前記マルチチャネルビデオアーキテクチャの前記並列チャネルにわたって前記メタデータを転送することと、を含む方法。
【請求項２】
前記メタデータが、前記複数の高速ビデオフレームの各々についての固有識別子と前記複数の高速ビデオフレームの各々についてのタイムスタンプとを含む、請求項１に記載の方法。
【請求項３】
前記メタデータを復号することと、
復号された前記メタデータに基づいて前記高速ビデオフレームを再構成することと、をさらに含む、請求項１に記載の方法。
【請求項４】
前記高速ビデオフレームを高速イメージセンサから受信することをさらに含む、請求項１に記載の方法。
【請求項５】
複数の規格サイズコンテナフレームの各々を、前記複数の高速ビデオフレームのそれぞれの部分でパッキングすることと、
前記マルチチャネルビデオアーキテクチャにおける前記複数の並列チャネルにわたって前記複数の規格サイズコンテナフレームの転送を分散することと、をさらに含み、
前記メタデータが、前記複数の規格サイズコンテナフレームが前記複数の並列チャネルにわたってどのように分散されるかを記述する分散情報をさらに含む、請求項１に記載の方法。
【請求項６】
前記複数の並列チャネルの１つ以上で前記メタデータをビデオストリームに挿入することをさらに含む、請求項５に記載の方法。
【請求項７】
前記メタデータを復号することと、
復号された前記メタデータに基づいて前記高速ビデオフレームを再構成することと、をさらに含む請求項５に記載の方法。
【請求項８】
再構成された前記高速ビデオフレームを含む処理済みビデオストリームを再構築することをさらに含む、請求項７に記載の方法。
【請求項９】
前記高速ビデオフレームを高速イメージセンサから受信することをさらに含む、請求項１に記載の方法。
【請求項１０】
前記メタデータが、前記複数の高速ビデオフレームの各々についての固有識別子およびタイムスタンプを含む、請求項１に記載の方法。
【請求項１１】
前記マルチチャネルビデオアーキテクチャが、ＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオアーキテクチャである、請求項１に記載の方法。
【請求項１２】
前記メタデータをＳＭＰＴＥ  ＫＬＶメタデータとして符号化することと、
前記規格サイズコンテナフレームのＶＡＮＣ空間および／またはＨＡＮＣ空間に前記メタデータを含めることと、をさらに含む請求項１１に記載の方法。
【請求項１３】
前記複数の規格サイズコンテナフレームの各々をパッキングすることが、前記高速ビデオフレームを前記規格サイズコンテナフレームにおけるモザイクとして配置することを含む、請求項５に記載の方法。
【請求項１４】
ビデオデータを転送するための装置であって、
ビデオプロセッサ回路を含むビデオアーキテクチャタレットと、
前記ビデオアーキテクチャタレット内の前記ビデオプロセッサ回路に結合されたｒａｗビデオデータ入力経路と、
前記ビデオアーキテクチャタレット内の前記ビデオプロセッサ回路からＳＭＰＴＥ規格ビデオプロセッサまで並列に延びる複数の画像データ出力経路を介して前記ビデオアーキテクチャタレットに結合された該ＳＭＰＴＥ規格ビデオプロセッサと、
ＳＭＰＴＥビデオ転送経路を介して前記ＳＭＰＴＥ規格ビデオプロセッサに結合されたバックエンドプロセッサと、を含み、
前記ビデオアーキテクチャタレット内の前記ビデオプロセッサ回路は、
１キロヘルツ以上のフレームレートで、前記ｒａｗビデオデータ入力経路で高速イメージセンサから高速ビデオフレームを受信し、前記高速ビデオフレームの各々が、１２８×１２８ピクセルを有し、前記高速ビデオフレームの各々が、アパーチャ画像の複数のバンドを含み、
前記高速ビデオフレームを圧縮することなく、前記高速ビデオフレームからの前記複数のバンドを規格１０８０ｐ３０サイズフレーム内に連結することによって、前記高速ビデオフレームを順次に規格１０８０ｐ３０サイズフレームにモザイク化し、
前記規格１０８０ｐ３０サイズフレームをある数の前記画像データ出力経路に分散する、ように構成されている、装置。
【請求項１５】
前記ビデオアーキテクチャタレット内の前記ビデオプロセッサ回路が、前記高速ビデオフレームが前記規格１０８０ｐ３０サイズフレームにどのようにモザイク化されるかを記述し、前記規格１０８０ｐ３０サイズフレームが前記数の前記画像データ出力経路にどのように分散されるかを記述するメタデータを符号化するようにも構成されている、請求項１４に記載の装置。
【請求項１６】
前記ビデオアーキテクチャタレット内の前記ビデオプロセッサ回路が、前記規格１０８０ｐ３０サイズフレームの対応するインスタンスの規格補助メタデータ空間に前記メタデータを格納し、前記画像データ出力経路を介して、前記メタデータと共に前記規格１０８０ｐ３０サイズフレームを前記ＳＭＰＴＥ規格ビデオプロセッサに転送するようにさらに構成されている、請求項１５に記載の装置。
【請求項１７】
前記ＳＭＰＴＥ規格ビデオプロセッサが、前記規格１０８０ｐ３０サイズフレームを前記メタデータと共に前記ＳＭＰＴＥビデオ転送経路を介して前記バックエンドプロセッサに転送するように構成され、前記バックエンドプロセッサは、前記規格１０８０ｐ３０サイズフレームに格納された前記メタデータに基づいて、前記規格１０８０ｐ３０サイズフレームから前記高速ビデオフレームをアンパッキングするように構成されている、請求項１６に記載の装置。
【請求項１８】
前記メタデータが、対応する前記規格１０８０ｐ３０サイズフレームのＶＡＮＣ空間に格納されたＫＬＶメタデータである、請求項１５に記載の装置。
【請求項１９】
前記ＫＬＶメタデータが、前記高速ビデオフレームの各々についての識別子およびタイムスタンプを含む、請求項１８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理アーキテクチャの分野におけるものであり、特に、高フレームレートビデオ処理の分野におけるものである。
【背景技術】
【０００２】
大きな画像フォーマットと小さなピクセルピッチを有する高フレームレートイメージセンサは、多くの新製品や用途での使用に一般的に利用可能となってきている。しかし、従来のビデオアーキテクチャは、一般に、いくつかの高フレームレートイメージセンサの帯域幅およびタイミング要件をサポートしない。高フレームレートイメージセンサの帯域幅およびタイミング要求をサポートする新しいビデオアーキテクチャが開発されている。しかし、これらの新しいビデオアーキテクチャは、一般に、以前から利用可能なハードウェアを活用することなく、特定の使用のためにゼロから開発される。
【０００３】
高フレームレートイメージセンサ技術の改良は、多くの既存のビデオ転送アーキテクチャの帯域幅および転送能力を大きく上回る。高解像度（ＨＤ）ビデオを転送するために設計および構成された既存のビデオハードウェアの広範なインフラストラクチャが、世界中の機器に展開およびインストールされている。このインフラストラクチャは、一般に、高フレームレートビデオカメラからディスプレイまたはエンドユーザへのビデオデータの転送をサポートしない。
【０００４】
既存のＨＤビデオアーキテクチャは、一般に、例えば、ＳＭＰＴＥ（Society  of  Motion  Picture  and  Television  Engineers）規格のSMPTE  ２９２ＭおよびＳＭＰＴＥ  ４２４Ｍのような１つ以上の規格フォーマットに準拠するビデオデータのストリームを処理するように構成されている。これらの規格は、７２０ｐの高解像度テレビ（ＨＤＴＶ）フォーマットを含み、ここで、ビデオデータは、７２０の水平データパスおよび１６：９のアスペクト比を有するフレームにフォーマットされる。ＳＭＰＴＥ  ２９２Ｍ規格は、例えば、１２８０×７２０ピクセルの解像度を有する７２０ｐフォーマットを含む。
【０００５】
ＨＤビデオデータの一般的な伝送フォーマットは７２０ｐ６０であり、ここで、７２０ｐフォーマットのビデオデータを毎秒６０フレームで伝送される。ＳＭＰＴＥ  ４２４Ｍ規格には、１０８０ｐ６０伝送フォーマットが含まれており、ここで、１０８０ｐフォーマットのデータは毎秒６０フレームで伝送される。１０８０ｐ形式のビデオデータは「full  HD」と呼ばれることがあり、１９２０×１０８０ピクセルの解像度を有する。
【０００６】
多数の現在展開されている画像検出システムは、一般的に使用されている７２０ｐ規格などのＨＤビデオ規格に準拠して構築されている。７２０ｐ規格システムの１２８０×７２０ピクセルフレームは、フレーム当たり約１５０万ピクセルを含む。対照的に、高フレームレートイメージセンサは、一般に、フレーム当たり約２５００万ピクセルを有する５ｋ×５ｋフォーマットの画像フレームを出力する。従って、７２０ｐ規格システムで使用される１２８０×７２０ピクセルは、高フレームレートイメージセンサによって生成される非常に多数のピクセルを転送するのに到底十分ではない。
【０００７】
高フレームレートイメージセンサは、従来、特に高フレームレートビデオデータを転送するために設計されたビデオアーキテクチャで使用されている。これらの新しいビデオアーキテクチャは、一般に、高いフレームレート帯域幅およびタイミング要件をサポートするビデオ圧縮技術を活用している。高フレームレートビデオデータを転送するために現在使用されているいくつかのビデオアーキテクチャは、並列エンコーダまたはコーデックおよびデータ圧縮を使用して、高フレームレートビデオを転送する。しかし、圧縮の使用により、ｒａｗセンサデータを受信することに頼るエンドユーザにはこれらのビデオアーキテクチャは適さない。
【０００８】
次世代カメラから高フレームレートビデオを転送するためのレガシーハードウェアの使用は、レガシーハードウェアが一般に十分な帯域幅を提供しないため、問題がある。さらに、高フレームレートのビデオデータを転送するために既存のビデオアーキテクチャを新しいアーキテクチャに置き換えることは、既に大量の従来のビデオ処理機器を実施しているユーザにとって非実用的であり、かつ／あるいは法外に高価である可能性がある。
【０００９】
種々の空間的および時間的ビデオ圧縮技術が、既存のＨＤビデオアーキテクチャをこえる転送のために高フレームレートイメージセンサから画像データを処理するために使用されている。高フレームレートビデオデータは、一般的に、人間が見るための可視画像およびビデオストリームを生成するのに十分な高フレームレートビデオデータを保持するが、人間が見ることができる画像およびビデオストリームに必要でない高フレームレートイメージセンサからのデータを損失または廃棄する圧縮アルゴリズムを使用して圧縮される。
【００１０】
高フレームレートイメージセンサからのデータを処理するための他の従来技術は、一般的に、高フレームレートイメージセンサの特定の用途のために開発された、新しいまたは独自のビデオアーキテクチャの使用を伴う。これらの技術は、世界中に展開されている広く利用可能なＨＤビデオアーキテクチャを活用しないため、コストが高く、非効率である。
【発明の概要】
【００１１】
本開示の態様は、高フレームレートデータの効率的かつ無損失の収集のための高フレームレートイメージセンサデータ処理装置および方法が含まれる。本開示の態様によるセンサデータ処理装置は、処理回路に結合されたｒａｗ高フレームレートデータ入力経路と、処理回路に並列に結合された複数の画像データ出力経路と、を含む。１つ以上のメタデータ出力経路は、画像データ出力経路と並列に処理回路に結合されている。
【００１２】
処理回路は、高フレームレートイメージセンサからｒａｗ高フレームレートデータを受信し、小さなファストフレームデータ（small  fast  frame  data）を無損失セグメントにモザイク化し、画像データ出力経路上に並列に無損失セグメントを指向するように構成されている。また、プロセッサ回路は、無損失セグメントからのｒａｗファストフレームレートデータの再構築を容易にする符号化情報を含むメタデータを生成し、メタデータをメタデータ出力経路に指向するように構成されている。
【００１３】
本明細書に記載される、高フレームレートイメージセンサからディスプレイまたはエンドユーザへ、現在のビデオ転送アーキテクチャを介してビデオデータを転送するための改善された方法および装置には、ピクセルパッキング方法および複数の物理的接続を使用して並列にデータを伝送する方法が含まれる。本明細書に開示される方法は、レガシーハードウェアの帯域幅制限を克服し、レガシーハードウェアが次世代カメラからの高フレームレートビデオデータを転送することを可能にする。
【００１４】
本開示の一態様によれば、ビデオ処理は、パケット情報を追跡するために使用されるメタデータに基づくモザイクタイルとしてビデオ画像データを再構成するために実行される。バックエンドビデオ処理は、位置データおよびメタデータに含まれる慣性データに基づいて、モザイクタイルまたはステッチパノラマ画像としてビデオを再構成するために実行することができる。
【００１５】
本開示の一態様によれば、モザイク化を記述する情報は、ｒａｗビデオデータの下流のリアルタイム再構築を容易にするために、ビデオデータのＶＡＮＣ／ＨＡＮＣメタデータ空間において符号化される。
【００１６】
本出願の一態様によれば、複数の小さなファストフレームが、複数の並列１０８０ｐ３０ビデオ経路を使用して、大きな１０８０ｐ３０フレームにモザイク化される。小さなファストフレームは、現在の編成されたビデオアーキテクチャを使用して、業界規格ＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオインターフェースの複数チャネルにわたって分散される。本開示の別の態様によれば、カスタム／専用のタイムススタンプおよび符号化スキームが、各大きな１０８０ｐ３０フレームのユーザ定義のＫＬＶ（Key  Length  Value）メタデータ空間において生成および転送され、複数のＳＭＰＴＥフィードの単一の処理済みビデオストリームへの簡単な再構築を可能にする。
【００１７】
開示されたビデオ搬送方法は、高速イメージセンサからｒａｗビデオデータを受信し、規格ＨＤ−ＳＤＩインターフェースを介して転送されるＳＭＰＴＥ  ２９２Ｍに符号化された１９２０ｘｌ０８０ｐ３０のような工業規格フォーマットにビデオデータをモザイク化することを含む。
【００１８】
開示されたビデオ転送方法は、転送ストリームのために規格ＳＭＰＴＥインターフェースを使用し、データを画像のモザイクにおいて符号化する。本開示の一態様によれば、画像の符号化モザイクのパッキング詳細が格納され、それぞれの画像データと共にメタデータにおいて転送される。
【図面の簡単な説明】
【００１９】
本発明の概念の上記および他の特徴は、添付の図面を参照して、その実施形態を詳細に説明することにより、より明らかになるであろう。
【００２０】
【図１】本開示の一態様によるビデオデータ転送装置の例示的な実施形態の図である。
【図２】本開示の一態様による転送するためのビデオデータの複数のパッキングモードを示す図である。
【図３】本開示の一態様によるビデオデータを転送するための方法を示すプロセスフロー図である。
【発明を実施するための形態】
【００２１】
本開示の一態様は、既存のＨＤビデオアーキテクチャを使用して、１つ以上の高フレームレートイメージセンサからの高フレームレートビデオデータの可逆的通信および処理のためのシステムおよび方法を含む。現在利用可能なビデオアーキテクチャを使用した高フレームレートビデオデータの処理は、１つ以上の高フレームレートイメージセンサからの高フレームレートビデオフレームをより大きなコンテナフレームにモザイク化することを伴う。コンテナフレームは結合され、ＨＤビデオの複数のチャネルに分散される。例示的な実施形態では、高フレームレートのビデオデータは、１ｋＨｚ超で１２８×１２８ピクセルにおいて高フレームレートイメージセンサから提供されてよく、７２０ｐ６０コンテナフレームにモザイク化される。例示的な実施形態では、セグメントは、ＳＭＰＴＥ４２４Ｍ  １０８０ｐ６０ビデオの複数チャネルに結合される。
【００２２】
開示されたシステムの例示的な実施形態では、高フレームレートイメージセンサが、例えば、毎秒１１００フレームで１４４×１０２４ピクセルを有するフレームを生成する小さなアクティブ焦点面を有する、毎秒１１００フレーム超のフレームレートを有する偏光イメージセンサであり得る。本開示の態様は、既存の規格ビデオ転送アーキテクチャを使用して、偏光イメージセンサから受信されたフレームのような小さなファストフレームを転送するためのシステムおよび方法を含む。
【００２３】
可視化のためにリアルタイムでのビデオデータの再構成および損失は、既存の圧縮技術を使用して問題となる。高フレームレートビデオデータを転送するための多くの既存の市販のアーキテクチャは時間的圧縮を採用しており、これは、メタデータの精度および完全性を破壊し、メタデータのビデオフレームへのアラインメントを破壊し、解像度を低下させ、かつ／あるいは望ましくないレイテンシを増加させる。高フレームレートビデオデータを転送するための多くの技術は、フレームレートを保存し、表示されたビデオの見た目を維持するように最適化される。これらのタイプのアーキテクチャは、すべてのメタデータのデータ精度および完全性がフレームレートよりも重要である監視のような多くの用途においては、高フレームレートビデオデータを転送するのに適さない。これらの用途では、高フレームレートビデオイメージセンサからｒａｗビデオデータを再構築することが重要である。
【００２４】
本開示の一態様は、例えば、偏光高速イメージセンサから受信されたフレームのような１つ以上のＨＤビデオ入力からのｒａｗファストフレームレートビデオデータを転送およびバッファするためのシステムを含む。例示的な実施形態では、開示されたシステムは、１９２０ｘ１０８０ｐ３０ビデオフレーム内の８つのチャネルのうちの３つのチャネルにわたってファストフレームレートビデオデータをモザイク化および分散させる。例示的な実施形態では、システムは、ＫＬＶメタデータにおいてパッキング情報、分散情報、および各フレームに対する固有のＩＤ／タイムスタンプを符号化し、１０８０ｐ３０ビデオフレームの補助的メタデータ空間、例えばＶＡＮＣおよび／またはＨＡＮＣにＫＶＬメタデータを挿入する。
【００２５】
本開示の別の態様は、ＫＬＶメタデータを生成し、最終的なビデオが、複数のチャネルに分散された後にその元のファストフレームレートフォームに再構成されることができることを保証するロバスト符号化スキームを含む。例示的な実施形態では、ＫＶＬメタデータにおいて符号化されたパッキング情報は、ファストフレームが１０８０ｐ３０フレームにどのようにモザイク化されるかを記述する。ＫＶＬメタデータにおいて符号化された分散情報は、１０８０ｐ３０フレームがマルチチャネルにわたってどのように指向されるかを記述する。１０８０ｐ３０ビデオフレームは、ＫＬＶメタデータ情報を使用してバックエンドプロセッサによってアンパッキングされ、ｒａｗファストフレームレートビデオデータを再生成することができ、これは、例えば、バッファ、表示、記録および／または後処理にかけることができる。
【００２６】
本開示の一態様によるビデオデータを転送するための装置が、図１を参照して説明される。装置１００は、ビデオ処理回路を含むビデオアーキテクチャタレット１０２を含む。ｒａｗビデオデータ入力経路１０４は、タレット１０２内のビデオプロセッサ回路に結合される。また、装置１００は、タレット１０２内のビデオ処理回路からＳＭＰＴＥ規格ビデオプロセッサ１０６まで並列に延びるある数の画像データ出力経路１０８を介してビデオアーキテクチャタレット１０２に結合されたＳＭＰＴＥ規格ビデオプロセッサ１０６を含む。例示的な実施形態では、装置１００は、例えば、光ファイバスリップリングインターフェースを横断する８つの７２０ｐ６０Ｈｚ画像データ出力経路１０８を含む。バックエンドプロセッサ１１０は、ＳＭＰＴＥビデオ転送経路１１２を介して規格ビデオプロセッサ１０６に結合される。
【００２７】
図１に示す装置１００において、タレット１０２内のビデオプロセッサ回路は、ｒａｗビデオデータ入力経路１０４で高フレームレートセンサ１２２から高速フレームを受信し、高速フレームを規格１０８０ｐ３０サイズフレームに順次モザイク化し、規格１０８０ｐ３０サイズフレームをある数の画像データ出力経路１０８に分散するように構成されている。また、タレット１０２は、例えば、ある数のＨＤイメージセンサ１２４に結合され得る。例示的な実施形態では、規格１０８０ｐ３０サイズフレームは、８つの７２０ｐ６０Ｈｚ画像データ出力経路１０８のうちの３つに分散される。本開示の一態様によれば、タレット１０２内のプロセッサ回路は、高速フレームが規格１０８０ｐ３０サイズフレームにどのようにモザイク化されるかを記述し、規格１０８０ｐ３０サイズフレームがある数の画像データ出力経路にどのように分散されるかを記述するメタデータを符号化するようにも構成されている。例示的な実施形態では、メタデータは、情報をパッキングおよび分散し、画像データのアンパッキングおよび再構築を容易にする垂直補助（ＶＡＮＣ）および／または水平補助（ＨＡＮＣ）技法を使用して、規格ＫＬＶ（key-length-value）メタデータフォーマットに符号化される。当業者は、ＶＡＮＣおよびＨＡＮＣがビデオ信号に非ビデオ情報を埋め込むための従来技法であることを認識すべきである。例えば、メタデータは、例えば、フレームの開始およびフレームの終了のピクセル位置（行、列）、フレームレート（３０、６０）、ビット深度（８、１０、１２、１６）、ビットパッキングモード（ピクセル当たり２バイト、ピクセル当たり１バイトなど）等のパッキングの詳細を含む。同じメタデータ空間は、視線（慣性計測装置（ＨＶＩＵ）、ジャイロ、加速度計、レゾルバ、サーボ状態、エンコーダフィードバック、フォーカス情報、システム光学系の温度など）、および／または適用可能な各フレームに対してイメージセンサがどこを指していたかを示すポインティング情報を与えるための規定を有する。メタデータ内の情報は、イメージセンサによって捕捉されたビデオフレームにコンテキストを追加するために使用することができる。
【００２８】
ＫＬＶメタデータは、対応する１０８０ｐ３０サイズフレームのＨＡＮＣ空間またはＶＡＮＣ空間において対応するメタデータフィールドのための固有キーと、対応するメタデータフィールドの長さを含む。例示的な実施形態では、ＫＬＶメタデータは、１０８０ｐ３０サイズフレームが小さな高速フレームにどのようにしてパッキングされるかを記述するデータパケットを含むメタデータ値を含む。メタデータ値は、高速フレーム間の境界を識別するのに十分な情報を含む。例えば、例示的な実施形態では、パケットは、高速フレームの各々に対する固有の識別子および高速フレームの各々に対するタイムスタンプを含む。
【００２９】
タレット１０２内のプロセッサ回路は、規格１０８０ｐ３０サイズフレームの対応するインスタンスの規格補助メタデータ空間にメタデータを格納し、画像データ出力経路１０８を介して、メタデータと共に規格１０８０ｐ３０サイズフレームをＳＭＰＴＥ規格ビデオプロセッサ１０６に転送するようにさらに構成されている。例示的な実施形態では、メタデータの５８．８メガバイトは、規格１０８０ｐ３０サイズフレームの各々のＶＡＮＣ空間またはＨＡＮＣ空間に格納され得る。
【００３０】
ＳＭＰＴＥ規格ビデオプロセッサ１０４は、メタデータと共に規格１０８０ｐ３０サイズフレームを、ＳＭＰＴＥビデオ転送経路１１２を介してバックエンドプロセッサ１１０に転送するように構成されている。バックエンドプロセッサ１１０は、規格１０８０ｐ３０サイズフレームにおいて格納されたメタデータに基づいて、規格１０８０ｐ３０サイズフレームから高速フレームをアンパッキングおよび再構成するように構成されている。
【００３１】
図１に示す装置１００の例示的な実施形態では、メタデータは、対応する規格１０８０ｐ３０サイズフレームのＶＡＮＣ空間に格納されたＫＬＶメタデータである。本開示の一態様によれば、ＫＬＶメタデータは、各高速フレームの各々に対する識別子およびタイムスタンプを含む。
【００３２】
例示的な実施形態では、バックエンドプロセッサ１１０は、ＳＭＰＴＥビデオ転送経路１１２に結合されたＳＭＰＴＥスプリッタ１１４を含む。ビデオレコーダ回路１１６は第１の高速バス１１８を介してＳＭＰＴＥスプリッタ１１４に結合され、オンボード処理回路１２０は第２の高速バス１２６を介してＳＭＰＴＥスプリッタ１１４に結合されている。
【００３３】
例示的な実施形態では、ビデオレコーダ回路１１６は、再構成された高速ビデオフレームを記憶するように構成されてよい。オンボード処理回路１２０は、例えば、ターゲットを識別し、および／またはトラッキング情報を生成するために、オペレータまたは下流の分析システムにリアルタイムアプリケーション固有の出力を提供するように構成されてよい。
【００３４】
本開示の別の態様は、現在の編成されたビデオアーキテクチャを使用してｒａｗ高速ビデオデータを転送するための方法を含む。方法は、規格１０８０ｐ３０フレームにおける複数の小さなファストフレームのモザイクを生成し、ＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオの複数のチャネル１０８にわたって小さいファストフレームを分散させることを含む。複数の小さなフレームが、開示されたシステムおよび方法の異なる用途または実装のために、異なる方法で規格１０８０ｐ３０フレームにモザイク化される異なるパッキングモードが使用され得る。図２を参照すると、例示的な実施形態において、ファストフレームは、例えば、ファストモード、スローモード、およびフルモードを提供する３つの異なる方法で規格１０８０ｐ３０フレームにパッキングされ得る。この実施形態では、５３０×１０２４ピクセルを有するアパーチャ画像２０２は、図１の高フレームレートイメージセンサ１２２によって感知される。高レートイメージセンサ１２２は、検出された高フレームレート画像フレーム２０４を生成する。検出された高フレームレート画像フレーム２０４は、アパーチャ画像２０２からのｒａｗデータのある数のバンド２０６を含み、ある数の非アクティブ列２０８も含み得る。各高フレームレートイメージのバンド２０６は、図１のタレット１０２内のビデオプロセッサ回路によって、規格１０８０ｐ３０フレーム２１０に連結され、書き込まれ、非アクティブ列２０８は省略している。順次の高フレームレート画像フレーム２０４のバンド２０６は、規格１０８０ｐ３０フレームに順次書き込まれる。規格１０８０ｐ３０フレーム２１０の各々にパッキングされるバンド２０６の数は、実装または選択されるパッキングモードに依存する。
【００３５】
図２に示す例示的な実施形態では、高フレームレート画像フレーム２０４は１４４×１０２４ピクセルを含み、毎秒１１００フレームで転送されるファストモードが実施され得る。ファストモードでは、高フレームレート画像フレーム２０４の各々が、規格１０８０ｐ３０フレーム２１２の７６．８行を充填する。高フレームレート画像フレーム２０４が２０８×１０２４ピクセルを含み、毎秒８００フレームで転送されるスローモードが実施され得る。スローモードでは、高フレームレート画像フレーム２０４の各々が、規格１０８０ｐ３０フレーム２１４の１１０．９ラインを充填する。高フレームレート画像フレーム２０４がアパーチャ画像２０２のすべての５３０×１０２４ピクセルを含み毎秒３０フレームで転送されるフルモードが実施され得る。フルモードでは、高フレームレート画像フレーム２０４の各々は、規格１０８０ｐ３０フレーム２１６の１０２４ラインを充填する。
【００３６】
本開示の一態様によれば、開示された方法は、パッキング情報、分散情報、および各フレームに対する固有ＩＤ／タイムスタンプをＳＭＰＴＥ規格のユーザ定義のＫＬＶメタデータに符号化することと、ＫＬＶメタデータを各規格ビデオフレームのＨＡＮＣおよびＶＡＮＣに挿入することを含み、図１を参照して上述したように、別途／新規のデータバスは必要とされないようにする。ＫＬＶメタデータは、ＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０の複数チャネルを、元の画像の再構成のために単一の処理済みビデオストリームに再構築するのに十分な情報を含む。開示された方法および装置の実施は、既存のＨＤビデオアーキテクチャ／ハードウェアを介して種々の新しい高速カメラからのデータを転送するために使用されることができる。
【００３７】
本開示の一態様によるビデオデータを転送するための方法は、図３を参照して説明される。方法３００は、ブロック３０２において、高速イメージセンサから高速ビデオフレームのストリームを受信することを含む。方法３００は、ブロック３０４において、高速ビデオフレームを圧縮することなく、高速ビデオフレームを規格サイズ画像フレームにパッキングすることを含む。圧縮なしに高速画像フレームからのすべてのデータを含むようにパッキングが実行され、高速画像フレームが任意のデータの損失なしに元のフォームで再構築され得るようにする。
【００３８】
方法３００の例示的な実施形態では、規格サイズ画像フレームがＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオフレームであり、マルチチャネルビデオアーキテクチャがＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオアーキテクチャであり、メタデータがＳＭＰＴＥ  ＫＬＶメタデータとして符号化される。
【００３９】
例示的な実施形態では、ビデオフレーム３０２を受信し、ビデオフレーム３０４をパッキングするステップは、図１に示すように、高フレームレートセンサ１２２から高速ビデオフレームを受信するビデオアーキテクチャタレット１０２によって実行される。例示的な実施形態では、規格サイズ画像フレームの各々は、順次パッキングされた高速フレームからなる。規格サイズフレームの各々をパッキングすることは、フレームバッファ内のより大きな規格サイズフレームに高速ビデオフレームを一時的に充填することによって実行される。
【００４０】
ブロック３０５において、方法は、規格マルチチャネルビデオアーキテクチャにおけるある数のチャネルにわたって規格サイズフレームの転送を分散することを含む。より小さいフレームは、高速イメージセンサ１２２（図１）から受信され、ビデオアーキテクチャタレット１０２内のより大きな規格１０８０ｐ３０サイズフレームにパッキングされるため、先にパッキングされたフレームは、ビデオアーキテクチャタレット１０２からＳＭＰＴＥビデオプロセッサ１０６に転送される。例示的な実施形態では、ビデオアーキテクチャタレット１０２内のフレームバッファは、３つの規格１０８０ｐ３０サイズフレームを生成するために高速フレームでパッキングされる。３つの規格１０８０ｐ３０フレームは、ビデオアーキテクチャタレット内のフレームバッファに高フレームレートで順次充填され、次いで、ＳＭＰＴＥビデオプロセッサ１０６によってビデオアーキテクチャタレット１０２内のフレームバッファから３０Ｈｚのより遅いフレームレートで並列に読み出されて、フレームバッファをパージする。フレームバッファがＳＭＰＴＥビデオプロセッサ１０６によって読み出されている間、ビデオアーキテクチャタレット１０２内の追加のフレームバッファは、次の高速フレームで充填される。
【００４１】
方法３００の例示的な実施形態では、規格サイズ画像フレームがＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオフレームであり、マルチチャネルビデオアーキテクチャがＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオアーキテクチャであり、メタデータがＳＭＰＴＥ  ＫＬＶメタデータとして符号化される。例示的な実施形態では、メタデータは、ＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオフレームのＶＡＮＣ空間および／またはＨＡＮＣ空間に含まれる。
【００４２】
開示された方法および装置の例示的な実施形態は、規格１０８０ｐ３０サイズフレームを参照して説明されるが、開示されたシステムおよび方法の様々な実施形態は、１０８０ｐ３０サイズフレームの代わりに、あるいは１０８０ｐ３０サイズフレームに加えて規格７２０ｐ６０サイズフレームを使用して実施されることができると理解されたい。規格７２０ｐ６０フレームが６０Ｈｚで読み出され、フレームバッファをパージする。７２０ｐ６０フレームは１０８０ｐ３０サイズフレームよりも小さいため、ビデオデータを転送するための結果として得られる帯域幅は、規格の１０８０ｐ３０サイズのフレームと７２０ｐ６０サイズのフレームに対してほぼ同じである。
【００４３】
例えば、図１では、ＨＤイメージセンサ１２４のうちの２つが１０８０ｐ３０センサであってよく、他のイメージセンサ１２４のうちの２つが７２０ｐ６０センサであってよい。本開示の一態様によれば、ビデオアーキテクチャタレット１０２内のフレームバッファは、同じレートまたは異なるレートで充填されてよいが、フレームバッファはすべて、ＳＭＰＴＥビデオプロセッサ１０６によって、同じレート、例えば、規格１０８０ｐ３０サイズフレームでは３０Ｈｚ、規格７２０ｐ６０サイズのフレームでは６０Ｈｚのいずれかで読み込まれる。
【００４４】
ブロック３０６において、方法は、複数の高速ビデオフレームが規格サイズイメージフレームにどのようにパッキングされるかを記述するパッキング情報と、規格サイズフレームが並列チャネルにわたってどのように広がるかを記述する分散情報とを含むＳＭＰＴＥ  ＫＬＶメタデータを生成することを含む。例示的な実施形態では、メタデータは、ＳＭＰＴＥ２９２Ｍ  １０８０ｐ３０ビデオフレームのＶＡＮＣ空間および／またはＨＡＮＣ空間に含まれる。
【００４５】
例示的な実施形態では、メタデータは、複数の高速フレームの各々に対する固有の識別子およびタイムスタンプを含む。ブロック３０７では、方法は、マルチチャネルビデオアーキテクチャにおける１つ以上のチャネルでビデオストリームにメタデータを挿入することを含む。メタデータは、ビデオアーキテクチャタレットおよび／またはＳＭＰＴＥビデオプロセッサ１０６（図１）において対応する規格１０８０ｐ３０サイズフレームまたは規格７２０ｐ６０サイズフレームのＶＡＮＣまたはＨＡＮＣ空間に挿入されることができる。例えば、ポインティング情報、視線情報等の、ビデオアーキテクチャタレットの機能性に適用可能なメタデータは、ビデオアーキテクチャタレットによって、対応する１０８０ｐ３０フレームのＶＡＮＣまたはＨＡＮＣ空間に追加されることができる。ビデオを万国標準時と相関させるための精密タイミング情報などの追加情報は、対応する１０８０ｐ３０フレームに加えてＳＭＰＴＥビデオプロセッサによってＶＡＮＣまたはＨＡＮＣ空間に追加することができる。
【００４６】
ブロック３０８では、方法３００は、対応する規格１０８０ｐ３０フレームのＶＡＮＣ空間においてマルチチャネルビデオアーキテクチャの複数チャネルにわたってＳＭＰＴＥ  ＫＬＶメタデータを転送することを含む。ブロック３１０では、方法は、元の画像の再構成のために、複数の並列ストリームを介して受信された規格１０８０ｐ３０フレームにおけるＳＭＰＴＥ  ＫＬＶメタデータを復号することを含む。ブロック３１２では、方法は、複数の並列ストリームを単一の処理済みビデオストリームに再構築することを含む。
【００４７】
例示的な実施形態では、復号ステップ３１０および再構築ステップ３１２は、規格１０８０ｐ３０フレームのＨＡＮＣまたはＶＡＮＣ空間からＳＭＰＴＥ  ＫＬＶメタデータを読み出して、メタデータを復号する、図１に示されるバックエンドプロセッサ１１０によって実行されることができる。ＫＬＶメタデータの復号値は、小さなファストフレーム間の境界と、対応する規格１０８０ｐ３０サイズフレームにおいてパッキングされた小さなファストフレームに対するシーケンス情報を識別する。
【００４８】
本開示の態様は、その例示の実施形態を参照して特に示され説明されてきたが、当業者であれば、以下の特許請求の範囲によって定義される本開示の範囲から逸脱することなく、形態および詳細における種々の変更を行ってよいことが理解するであろう。
【図１】
0006896151.tif 000002
【図２】
0006896151.tif 000003
【図３】
0006896151.tif 000004