(57)【要約】多数の画像ストリームは、異なるソースから取得され得る。最初、画像の色深度が低減され、次いで、ストリームが結合され、低ビットストリームのビット深度の合計と等しい、既知のフォーマットおよびビット深度を有する単一のストリームを形成する。したがって、多数のストリームは、単一のストリームとして処理され得る。処理後、ストリームは、逆並べ替えプロセスを適用することによって、再び分離される。一実施形態において、ビット深度の合計は、２４または３２ビットである。【特許請求の範囲】
【請求項１】
フレーム内に配列される画素を表す画像データを処理するための方法であって、
画像データの２つ以上のストリームを処理し、該画素を表すデータのビット深度を低減し、低ビット深度ストリームを生成するステップと、
該低ビット深度ストリームを、該低ビット深度ストリームのビット深度の合計と少なくとも等しい、ビット深度を有する単一のストリームに結合するステップと、
該単一のストリームを既知のフォーマットで送達するステップと、
該単一のストリームを画像データの２つ以上のストリームに再変換するステップと
を包含する、方法。
【請求項２】
前記低ビットストリームを単一のストリームに結合するステップは、前記低ビットストリームから、データフレームを構成するビットを結合し、ビットの連結によって、前記単一のストリーム内に単一データフレームを形成するステップを包含する、請求項１に記載の方法。
【請求項３】
前記ストリームは、制御に従って、結合される、請求項１または２に記載の方法。
【請求項４】
前記制御は、前記低ビットストリームからのビットの前記単一のストリーム内の位置に関する命令を含む、請求項３に記載の方法。
【請求項５】
前記制御は、パレット組み合わせマップである、請求項３または４に記載の方法。
【請求項６】
前記制御は、暗号化キーを含む、請求項３〜請求項５のいずれか一項に記載の方法。
【請求項７】
前記制御は、ルックアップテーブルである、請求項３または４に記載の方法。
【請求項８】
前記制御は、処理される画像フレームの数、結合される画像データのストリームの数、およびそれら内の画像画素の位置に関する情報を含む、請求項３〜請求項７のいずれか一項に記載の方法。
【請求項９】
前記低ビット深度ストリームを、少なくとも部分的に、それらのオリジナルビット深度に再変換するステップをさらに包含する、請求項１〜請求項８のいずれか一項に記載の方法。
【請求項１０】
前記単一のストリームは、前記パレット組み合わせマップを含む、データファイルとして処理される、請求項５に記載の方法。
【請求項１１】
前記ビット深度の合計は、必要とされるハードウェアによってサポートされる、標準的ビット深度である、請求項１〜請求項１０のいずれか一項に記載の方法。
【請求項１２】
前記ビット深度の合計は、２４または３２ビットである、請求項１〜請求項１１のいずれか一項に記載の方法。
【請求項１３】
互いに対応する、前記低ビット深度ストリームの画素フレームが、結合される、請求項１〜請求項１２のいずれか一項に記載の方法。
【請求項１４】
前記画像フレームは、前記画素が同一時点または既知の時間差で捕捉されたという点において対応する、請求項１３に記載の方法。
【請求項１５】
処理されるストリームは、２つ以上の画像ソースから取得される、請求項１〜請求項１４のいずれか一項に記載の方法。
【請求項１６】
画像データのストリームは、同一フォーマットで取得される、請求項１〜請求項１５のいずれか一項に記載の方法。
【請求項１７】
画像データのストリームは、異なるフォーマットで取得される、請求項１〜請求項１６のいずれか一項に記載の方法。
【請求項１８】
パディングビットを使用して、前記低ビット深度ストリームのビット深度の合計以上のビット深度を有する単一のストリームを形成するステップをさらに包含する、請求項１〜請求項１７のいずれか一項に記載の方法。
【請求項１９】
前記単一のストリームは、前記入力ストリームのうちの最大画像のフォーマットと等しい、画像フォーマットを有する、請求項１〜請求項１８のいずれか一項に記載の方法。
【請求項２０】
第１のフォーマットにおける前記単一のストリームは、第２のフォーマットに従って、処理され得る、請求項１〜請求項１９のいずれか一項に記載の方法。
【請求項２１】
前記画像は、映像画像である、請求項１〜請求項２０のいずれか一項に記載の方法。
【請求項２２】
前記画像データは、リアルタイムで処理される、請求項１〜請求項２１のいずれか一項に記載の方法。
【請求項２３】
フレーム内に配列される画素を表す画像データを処理するためのシステムであって、
画像データの２つ以上のストリームを処理し、該画素を表すデータのビット深度を低減し、低ビット深度ストリームを生成する手段と、
該低ビット深度ストリームを、該低ビット深度ストリームのビット深度の合計と少なくとも等しい、ビット深度を有する単一のストリームに結合する手段と、
該単一のストリームを既知のフォーマットで送達する手段と、
該単一のストリームを画像データの２つ以上のストリームに再変換する手段と
を備える、システム。
【請求項２４】
前記低ビットストリームを単一のストリームに結合する手段は、前記低ビットストリームから、データフレームを構成するビットを結合し、ビットの連結によって、前記単一のストリーム内に単一データフレームを形成する手段を備える、請求項２３に記載のシステム。
【請求項２５】
前記低ビットストリームからのビットの前記単一のストリーム内の位置に関する制御を提供する手段を有する、請求項２３に記載のシステム。
【請求項２６】
前記制御は、パレット組み合わせマップである、請求項２５に記載のシステム。
【請求項２７】
前記制御は、暗号化キーを含む、請求項２５に記載のシステム。
【請求項２８】
前記制御は、ルックアップテーブルである、請求項２５に記載のシステム。
【請求項２９】
前記制御は、処理される画像フレームの数、結合される画像データのストリームの数、およびそれら内の画像画素の位置に関する情報を含む、請求項２５〜請求項２８のいずれか一項に記載のシステム。
【請求項３０】
前記ビット深度の合計は、必要とされるハードウェアによってサポートされる、標準的ビット深度である、請求項２５〜請求項２９のいずれか一項に記載のシステム。
【請求項３１】
前記ビット深度の合計は、２４または３２ビットである、請求項２５〜請求項３０のいずれか一項に記載のシステム。
【請求項３２】
互いに対応する、前記低ビット深度ストリームの画素フレームが、結合される、請求項２５〜請求項３１のいずれか一項に記載のシステム。
【請求項３３】
前記画像フレームは、前記画素が同一時点または既知の時間差で捕捉されたという点において対応する、請求項３２に記載のシステム。
【請求項３４】
パディングビットを適用して、前記低ビット深度ストリームのビット深度の合計以上のビット深度を有する単一のストリームを形成する手段をさらに備える、請求項２５〜請求項３３のいずれか一項に記載のシステム。
【請求項３５】
伝送のために、フレーム内に配列される画素を表す画像データを処理するためのエンコーダであって、
画像データの２つ以上のストリームを処理し、該画素を表すデータのビット深度を低減し、低ビット深度ストリームを生成する手段と、
該低ビット深度ストリームを、該低ビット深度ストリームのビット深度の合計と少なくとも等しい、ビット深度を有する単一のストリームに結合する手段と
を備える、エンコーダ。
【請求項３６】
伝送されるフレーム内に配列される画素を表す画像データを処理するためのデコーダであって、
画像データの２つ以上のストリームは、ビット深度が低減され、単一のストリームに結合され、該デコーダは、単一のストリームを画像データの２つ以上のストリームに再変換する手段を備える、
デコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の処理に関し、特に、画像データの多数のストリームの処理に関する。
【背景技術】
【０００２】
多くの用途では、多数の画像は、捕捉され、表示前に、処理される必要がある（例えば、圧縮、トランスポート、および記憶される）。
【０００３】
例えば、製造ラインを監視するために、カメラシステムは、多重カメラを含み、それぞれ、画像のストリームを生成し得る。また、多くの３６０度映像用途では、カメラは、例えば、２つの魚眼レンズおよび／またはズームレンズを含み、それぞれ、画像のストリームを生成し得る。魚眼レンズは、広角視野を有し、多くの変形例が存在する。典型的魚眼レンズは、１８０度半球一周画像を形成可能である。したがって、２つの魚眼レンズは、背中合わせに位置付けられ、環境全体を捕捉し得る。ズームレンズは、より詳細に表示するために、環境の選択された領域を拡大し得る。
【０００４】
故に、画像データの多数のストリームが生成され得、これらのストリームは、同一または異なるフォーマットである場合がある。例えば、ズームレンズによって捕捉される画像は、高解像度フォーマットであり得る。ＨＤ映像は、その広範なフォーマット（概して、１６：９アスペクト比）およびその高画像解像度（７２０×５７６画素サイズが通常のフレームサイズである標準的映像解像度（ＳＤ）フォーマットと比較して、１９２０×１０８０画素および１２８０×７２０画素が、通常のフレームサイズである）を特徴とする。対照的に、適切なカメラ上に搭載された魚眼レンズによって捕捉される画像は、超高解像度（ＸＨＤ）画像であり得る。超高解像度（ＸＨＤ）フォーマットは、高解像度（ＨＤ）フォーマット映像よりも大きなサイズのピクチャを達成する。これは、環境をデジタル的に拡大するためのユーザの能力を向上させるため、多くの用途において望ましい。
【０００５】
画像はそれぞれ、概して、コンピュータおよび処理ハードウェアによってサポートされる、色深度を有する。色深度は、ビットマップ画像または映像フレームバッファ内の単一画素の色を表すために使用されるビットの数を記述し、時として、１ピクセルあたりのビット数と称される。より高い色深度は、より広範な範囲の固有色をもたらす。
【０００６】
トゥルーカラーは、１，６７０万もの固有色を有し、実際の世界で見出される多くの色を模倣する。生成される色の範囲は、ヒトの眼がほとんどの写真画像の色を区別可能であるレベルに近い。しかしながら、画像操作時、または白黒画像（トゥルーカラーの場合、２５６レベルに限定される）の場合、あるいは「純粋な」生成画像の場合、いくつかの限界が明らかとなり得る。
【０００７】
概して、画像は、現在の標準では、２４または３２ビット色深度で捕捉される。
【０００８】
２４ビットトゥルーカラーは、赤色を表すために８ビット、青色を表すために８ビット、および緑色を表すために８ビットを使用する。これは、これらの３つの色のそれぞれに対して２５６の色合いをもたらす。したがって、色合いは、組み合わされて、合計１６，７７７，２１６の混合色（２５６×２５６×２５６）をもたらすことが可能である。
【０００９】
３２ビット色は、２４ビット色とともに、空のパディングスペースとして、またはアルファチャネルを表すための付加的８ビットを備える。多くのコンピュータは、３２ビット単位でデータを内部処理する。したがって、３２ビット色深度の使用は、速度の最適化を可能にするため、望ましい場合がある。しかしながら、これは、インストールされる映像メモリを増加させるという不利益を被る。
【００１０】
ストリーム（ＨＤまたはＸＨＤ）は、既知のデジタルデータフォーマットを有する。標準的ビット数（既知の色深度）によって表される画素は、１および０のビットストリームを構成する。順次走査は、画像ラインが逐次的順番で走査される場合に使用され得、または飛び越し走査は、例えば、最初に、奇数ラインが走査され、次いで、偶数ラインが走査される場合に使用され得る。概して、各ラインの走査は、左から右へ行なわれる。通常、それに続くビットストリームに関する情報を示す、１および０から構成される少なくとも１つのヘッダが存在する。種々の数のヘッダを含む、種々のデジタルデータストリームフォーマットが可能であって、当業者には既知であるだろう。誤解を回避するために、既知のデータフォーマットは、任意の画像フォーマットのための任意の既知のデジタルフォーマットである（例えば、ＨＤまたはＸＨＤ）。
【００１１】
画像のストリームデータは、多くの場合、ＭＰＥＧ２互換およびＭＰＥＧ４互換である。
【００１２】
ＭＰＥＧ−２は、Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐによって定義されるデジタル映像のための規格である。これは、含まれた映像ビットストリームのシンタクスを指定する。加えて、対応する映像ストリームのその後のエンコーディングおよび圧縮のためのセマンティクスおよび方法を指定する。しかしながら、実際のエンコーディングプロセスが実装される方式は、エンコーダ設計に依存する。したがって、有利には、あらゆるＭＰＥＧ−２互換性機器が、相互動作可能である。現在、ＭＰＥＧ−２規格が、普及している。
【００１３】
ＭＰＥＧ−２は、限定解像度からフルＨＤＴＶまでの範囲の４つのソースフォーマット、すなわち「レベル」を可能にする（それぞれ、一定範囲のビットレートを伴う）。加えて、ＭＰＥＧ−２は、異なる「プロファイル」を可能にする。各プロファイルは、ともにコーディングシステムを構成する圧縮ツールの集合を提供する。異なるプロファイルとは、異なるセットの圧縮ツールが利用可能であることを意味する。
【００１４】
Ｈ．２６４圧縮方式を組み込むＭＰＥＧ−４規格は、より高い圧縮率に対処し、低および高ビットレートの両方をカバーする。ＭＰＥＧ−２ストリームと互換性があり、将来の主要規格となるよう設定されている。
【００１５】
多くの準拠記録フォーマットが、存在する。例えば、ＨＤＶは、高解像度映像を生成するための一般的に使用される記録フォーマットである。フォーマットは、ＭＰＥＧ−２と互換性があり、ＭＰＥＧ−２圧縮が、ストリームに使用され得る。
【００１６】
ＭＰＥＧ−２映像エンコーダからの出力は、エレメンタリストリーム（代替として、データまたは映像ビットストリーム）と呼ばれる。エレメンタリストリームは、１種類のみのデータを含み、連続的である。これは、ソースが終了するまで停止しない。エレメンタリストリームの正確なフォーマットは、コーデックまたはストリーム内で搬送されるデータに応じて変化するであろう。
【００１７】
次いで、連続的エレメンタリビットストリームは、エレメンタリストリームをあるバイト数のパケットに分割するパケッタイザに供給され得る。これらのパケットは、パケット化エレメンタリストリーム（ＰＥＳ）パケットとして知られる。ＰＥＳは、概して、単一エンコーダからの１種類のみのペイロードデータを含む。各ＰＥＳパケットは、固有のパケットＩＤを含む、パケットヘッダから開始する。また、ヘッダデータは、ペイロードのソース、ならびに順番およびタイミング情報を識別する。
【００１８】
ＭＰＥＧ規格内では、パケット化エレメンタリストリームに基づいて構築する種々の他のストリームフォーマットが可能である。ヘッダの階層は、いくつかの用途のために導入され得る。例えば、ビットストリームは、全体シーケンスヘッダ、ピクチャグループヘッダ、個別ピクチャヘッダ、およびピクチャの一部のヘッダを含み得る。
【発明の概要】
【発明が解決しようとする課題】
【００１９】
例えば、製造ライン監視用途、および多くの３６０度または他の映像用途では、同一時点で同時に捕捉される画像ストリームを表示することが望ましい。これによって、ユーザは、例えば、製造ラインまたは３６０度画像を示し、任意に、所与の時点の部分が拡大された実環境を見ることが可能となる。また、多くの用途では、画像ストリームがリアルタイムに見られることが望ましい。
【００２０】
一般的に使用されるＭＰＥＧ互換ハードウェアがストリームを処理するために利用され得るように、ＭＰＥＧ互換ストリーム等の既知のフォーマットで画像ストリームデータを伝送することが望ましいことを理解されたい。しかしながら、また、データの伝送および操作において、異なる画像データのストリーム間の同期を維持する必要性も理解されている。
【課題を解決するための手段】
【００２１】
本発明は、以下に言及される請求項において定義される。
【００２２】
本発明によると、フレーム内に配列される画素を表す画像データを処理するための方法であって、画像データの２つ以上のストリームを処理し、画素を表すデータのビット深度を低減し、低ビット深度ストリームを生成するステップと、低ビット深度ストリームを、低ビット深度ストリームのビット深度の合計と少なくとも等しい、ビット深度を有する単一のストリームに結合するステップと、単一のストリームを既知のフォーマットで送達するステップと、単一のストリームを画像データの２つ以上のストリームに再変換するステップとを包含する、方法が提供される。
【００２３】
本発明の実施形態の利点は、同時処理、つまり、多数のストリームの点である。例えば、２つのストリームが、通信リンクを介して別個に伝送される場合、ストリームの一方からのデータは、他方のストリームの前または後に到達することになり、したがって、ディスプレイ上にそのデータを同時に表示する際に問題となるだろう。本発明の実施形態は、画像データの２つ以上のストリームを結合し、ＭＰＥＧ−２エンコーディングを使用するＨＤ等のフォーマットにおける単一のストリームとして、これを提示することによって、本問題を回避する。本単一のストリームは、従来のハードウェアを使用して、伝送および処理可能である。データがともに結合され、単一のストリームを形成するため、２つ以上のストリームからのデータの同期が保証される。
【００２４】
故に、本発明の実施形態の利点は、２つ以上の画像のストリームを表すデータが、伝送の間、同期を維持することを保証し得ることである。すなわち、あるソースからのフレームの画素が、別のソースと既知の時間差または同時に移動先に到達することを保証し得る。例えば、これらのフレームは、捕捉時間に関して、実質的に対応し、したがって、画像ストリームの同時表示を可能にし得る。これは、リアルタイムで環境全体を見ることが望ましい（例えば、多数のカメラによって捕捉される）製造ラインの監視および種々の３６０度映像用途を含む、多くの用途にとって、利点である。
【００２５】
本発明の付加的利点は、色深度を低減することによって、データの伝送に先立って、帯域幅が縮小されることである。低色深度が、多くの用途にとって十分であって、したがって、このように帯域幅を縮小することが許容可能であることを理解されたい。例えば、夜間カメラから捕捉される画像の場合、８ビット色深度（最大２５６色）のみ、必要となる。結果として、例えば、捕捉された２４ビットから８ビットへのビット深度の低減は、問題となる品質低下を生じさせない。
【００２６】
したがって、ストリームは、既知のフォーマットの単一のストリームに結合可能である。結果として得られるストリームの長さは、最長入力ストリームよりも長くある必要はない。これは、有益であって、既知の技術およびハードウェアを使用して、ストリームを処理する（特に、リアルタイムで行なう）可能性へとつながる。また、１つのみのストリームの処理は、別個の通信リンクを介した多数のストリームの送達と比較して、ストリームの送達のためのハードウェア構成を単純化する。
【００２７】
本発明の実施形態は、同期が所望される多数の映像ストリームの処理において有益であるが、また、本発明は、単一のストリームとして、多数の画像を処理することが望ましい広範な他の用途において使用され得る。
【００２８】
好ましくは、ともにマージされる別個のストリームからの画像は、異なるソースから同時に捕捉されているように、互いに対応する。
【００２９】
暗号化キーを使用して、画像のマージおよび再変換を制御することによって、映像は、よりセキュアとなり得る。代替として、ルックアップテーブルが使用され、マージされた画像をそれらのオリジナルの分離された形態に再変換し得る。
【図面の簡単な説明】
【００３０】
以下、本発明の実施形態が、単なる一例として、添付の図面を参照して記載される。
【図１】図１は、本発明の実施形態の機能的構成要素の概略図である。
【図２】図２は、本発明の実施形態のエンコーダデバイスの概略図である。
【図３】図３は、本発明の実施形態のエンコーディングの任意の第２の段階の概略図である。
【図４】図４は、本発明の実施形態のデコーティングデバイスを示す概略図である。
【図５】図５は、ビットストリームを低減し、低ビットストリームを結合し、既知のフォーマットの単一のストリームを生成するためのエンコーダプロセスを示す概略図である。
【発明を実施するための形態】
【００３１】
本発明の実施形態によって、多数の画像ストリームは、単一画像ストリームとして、マージおよび処理され、次いで、別個の画像ストリームに再変換されることが可能となる。以下の実施例では、これらの画像は、映像ソース（一実施例にすぎない）である別個の画像ソースによって捕捉される。
【００３２】
記載される実施形態は、３つの別個の画像ソースとともに、任意の第４の画像ソースを有する。全映像ソースは、リアルタイムまたはファイルシーケンスであり得る。本実施例では、画像ソースは、製造ラインを監視するカメラシステムの一部である。２つのカメラ撮像装置は、背中合わせで位置付けられ、周囲環境全体（３６０度）を捕捉する、魚眼レンズ等の超広角レンズを具備する。本実施例では、これらのカメラ撮像装置は、超高解像度（ＸＨＤ）映像を捕捉し、ユーザは、効果的に、画像をデジタル的に拡大可能となるため望ましい。誤解を回避するために、ＸＨＤは、ＨＤよりも高い任意の解像度を包含することに留意されたい。この場合、２つのカメラ撮像装置が同質のものであって、同一のフォーマットおよびアスペクト比の画像を生成するため、各ＸＨＤソースは、各画像フレームに対して同一数の画素を有する。
【００３３】
加えて、環境のさらなる拡大を提供可能なズームレンズを具備する第３のカメラが存在する。本実施例では、本第３のカメラ撮像装置は、高解像度ＨＤ映像を生成する。したがって、各画像フレームは、ＸＨＤ画像フレームと同一または異なる数の画素を有し得る。また、記載されるカメラシステムは、第４のＨＤカメラ撮像装置を組み合わせてもよい。
【００３４】
実施形態は、ある数の映像ソースに限定されず、記載される技術は、画像ソースの多くの他の組み合わせと併用され得ることを理解されたい。特に、実施形態は、異なる画像フォーマットの画像を処理するために有用であるが、そのような画像に限定されない。処理される画像は、同一フォーマットまたは種々の異なるフォーマットであり得る。これらの画像フォーマットは、標準的または非標準的であり得る。
【００３５】
図１は、３つの画像ソースおよび任意の第４の画像ソース１、２、３、ならびに４を有する、本発明を具現化するデバイスの機能的構成要素を示す。捕捉されるデータは、メモリ機能６および／または記憶装置機能７を具備し得る、プロセッサ５によって処理され得る。画像ストリームは、ストリームのマージプロセスを行なう、デバイス８によって処理される。プロセッサ５、メモリ６、記憶装置７、およびデバイス８の機能的構成要素は、単一デバイス内に具現化され得る。そのような構成では、画像ソース１、２、３は、適切な光学および駆動電子機器を伴うＣＣＤまたはＣＭＯＳセンサ等の単純な画像捕捉デバイスであり得、プロセッサ５、メモリ６、および記憶装置７は、生画像データをストリームに変換する処理を行なう。代替として、画像ソース１、２、３自体が、ＸＨＤまたはＨＤフォーマットの画像ストリームを生成する画像カメラであり得、したがって、プロセッサ５、メモリ６、および記憶装置７は、実施のためのより少ない処理構造を有する。
【００３６】
エンコーダでは、図２に示されるように、２４ビット色深度を有する３つの画像ソースからの３つの映像ストリーム（２つのＸＨＤおよび１つのＨＤ）が存在する。色深度低減装置１２、１３、および１４は、各画像ストリームの色深度を２４から８−１２ビットに低減する。すなわち、各画素は、現時点では、８−１２ビットによって表されており、表され得る色の数が低減される。例えば、８ビット色深度は、２５６の１度に表示される最大数の色をもたらす。
【００３７】
本低減を行なうための色深度低減装置は、当該分野において周知であって、例えば、サンプリングおよび量子化を使用する。多くの変形例が存在する。例えば、色深度を低減するための単純技術は、０から６５，５３６の数が第１のビットとして表され、６５，５３６から１３１，０７２の数が第２のビットとして表される等のように、ビットをともに結合することを伴う。
【００３８】
当業者は、より少ない色が表されるように、カラールックアップによって色を表すこと等によって、色ビット深度を低減するための多くの可能性のある技術が存在することを理解するであろう。これは、色調の範囲を低減するが、ほとんどの用途において、問題を生じさせないはずである。色ビット深度低減のプロセスは、伝送のために使用される任意の圧縮技術に先立って、生画素データに対して動作する。
【００３９】
本実施例では、各ストリームは、均一色深度に低減される。しかしながら、いつもそうである必要はない。
【００４０】
８ビット以上の色深度は、製造ラインを監視するカメラシステムおよび多くの３６０度カメラ用途を含む、多くの用途に対して好適かつ十分である。また、他の色深度の低減も、種々の他の用途に対して好適または十分であり得ることを理解されたい。
【００４１】
ストリームマージャ１５は、低色深度を伴う２つのＸＨＤおよびＨＤ映像ストリームを、１６−３２ビットの全体色深度を有する単一のストリームにマージする。図２では、この場合に得られるストリームの画像フォーマットは、ＸＨＤであるため、マージを行なうプロセッサは、ＸＨＤストリームマージャと呼ばれる。マージされた画像ストリームは、既知のデジタルデータフォーマットを有し、低ビット深度ストリームのビット深度の合計と少なくとも等しい、色深度を有する。この場合、マージされた画像ストリームは、１ピクセルあたりのビット数３２の最大ビット深度を有する。標準的２４または３２ビット色深度が好ましい。
【００４２】
画像ストリームをマージするための多くの組み合わせが可能であって、一実施例が、後述の図５に提供される。
【００４３】
本実施例では、マージされた画像ストリームは、最大入力ストリームのフォーマットサイズをとる（この場合、ＸＨＤ）。ＨＤ画像内の画素は、ＸＨＤ画像フォーマットに適合するように再構成され得る。結果として得られるストリームの色深度を統一するために必要とされる任意の付加的ビットは、空のパディングスペースであり得る。
【００４４】
２４または３２ビットの結合されたストリームの所望の色深度をもたらすために、３つのストリーム（２×ＸＨＤおよび１×ＨＤ）（それぞれ８ビット）がマージされ、２４ビットの単一のストリームを生成し得る。代替として、２つのＸＨＤストリームが１２ビットを有し、ＨＤストリームが８ビットを有し、３２ビットの総色深度をもたらし得る。また、２つのＸＨＤストリーム（それぞれ１２ビット）のみが結合され、２４ビットの結果として得られるストリームを生成することも可能である。これは、例えば、ＸＨＤストリーム長がＨＤストリーム長よりも長い場合、望ましい場合がある。４つの入力ストリーム（２×ＸＨＤおよび２×ＨＤ）が存在する場合、全ストリームは、８ビット色深度に低減される場合、３２ビット色深度の結果として得られるストリームを生成するようにマージすることが可能である。
【００４５】
低色深度ストリームをマージし、既知のデジタルデータ単一のストリームを生成するための多くの組み合わせおよび可能性が存在することを理解されたい。特に、既知のフォーマットに対応する、マージされたストリームの所望の総色深度を生成するための多くの組み合わせおよび可能性が存在する。また、既知のフォーマットおよび所望の色深度は可変であり得ることを理解されたい。
【００４６】
図５は、実際のデジタルデータ情報を考慮して、３つの画像ソース２４、２５、および２６をマージする１つの方式を示す。最初に、２７、２８、および２９では、ストリームはそれぞれ、ヘッダおよび２４ビットのデータフレーム（すなわち、画素）を有する。３０、３１、および３２では、１データフレーム（画素）あたりのビット数は、上述のように、８ビットに低減される。３３では、ソースそれぞれからの８ビットデータフレームが連結され、２４ビット「画素」に対応する標準的フォーマットで２４ビットデータフィールドを生成する。これは、標準的既知のフォーマットで処理可能であるデジタル構造におけるデータを生成するが、当然ながら、２４ビット「画素」が、実際の画像を表すわけではない。プロセッサが、結合された単一のストリームの表示を試行する場合、ランダム配列の画素によって、画像を表示するであろう。３つの別個の画像ストリームを表示するために、単一のストリームは、後述のように、分解またはデコードされなければならない。
【００４７】
低ビット深度ストリームは、種々の他の方式で、マージされ、既知のフォーマットの単一のストリームを形成し得ることを理解されたい。連結に加えて、例えば、交互のビットが、各ソースのデータフレームから捕捉され、マージされた２４ビットデータフレームを生成し得る。そのような方法は、セキュリティを向上するために望ましい場合がある。
【００４８】
本実施例では、上述のように、各画像フレームに対して同一数の画素を伴う２つのＸＨＤストリームは、あるソースからの第１のフレームの第１の画素と第２のソースからの第１のフレームの第１の画素とを捕捉し、それらをともにマージする（連結によって、または別様に）ことによって、結合され得る。同様に、１つのフレームからの第２の画素は、他のソースの第２の画素と結合される等である。ストリームを結合するための他の方法も可能であって、当業者には想定されるであろう。
【００４９】
ＨＤストリームが、ＸＨＤストリームの１画像フレームあたりの画素数よりも低い１画像フレームあたりの画素数を有する場合、低ビット画素を連結または別様に結合する上述の技術が、依然として、使用され得る。ＸＨＤストリーム画素と組み合わせるための画素がＨＤ画像フレーム内に残っていない場合、例えば、空のパディングスペースが使用され得る。
【００５０】
好ましくは、互いに対応する３つの入力ストリームからの画像フレームが、マージされる。画像が、その後の伝送を通して、単一のストリームとして同期を維持すると仮定すると、あるソースからのフレームの画素が、別のソースからの対応する画素と同時に移動先に到達することを保証することが可能である。
【００５１】
例えば、製造ラインを監視するカメラシステムおよび多くの３６０度カメラ用途の場合、好ましくは、同時に捕捉される多数の画像フレームは、単一の画像ストリームを構成する単一の画像フレームにマージされるであろう。これによって、ユーザは、例えば、画像ストリームが捕捉される時点に従って、ストリームを同期することが可能となる。有利には、これによって、多数の映像ソースをリアルタイムで同時に見ることが可能となる。
【００５２】
カメラが真に同期されるように、例えば、同質のカメラおよびカメラ内のデジタル信号プロセッサのための単一クロックソースを使用することによって、マージに先立って、画像ストリームを同期可能である。次いで、デジタルデータストリームは、別のソースの第１のフレームからの第１の画素と正確に同時に、あるソースの第１の画像フレームからの第１の画素を有するであろう。次いで、これは、データビットストリームが既に同期されているため、ストリームのマージプロセスを簡素化するであろう。
【００５３】
しかしながら、ソースは、デバイス内のデジタルクロックが全く異なり得るため、正確に同期しない可能性が高い。本状況では、マージに先立って、ストリームを同期するために、各データストリーム内のヘッダを検索し、次いで、ヘッダがそろうまで、ストリームの１つを遅延させる必要がある。したがって、ビット深度を低減し、ストリームをともに結合するその後の全デジタル処理が、正確に同期されるであろう。
【００５４】
しかしながら、そのような好ましい実施形態では、あるソースからのフレームが、別のソースから正確に同時に捕捉されるフレームとマージされることは、不可欠ではないことに留意されたい。画像は、その後の伝送を通して、単一のストリームとして同期を維持するため、若干の不ぞろいが容認可能であり得る。例えば、あるソースからのフレームを、実際は、捕捉時点の観点から異なる少数の画像フレームである別のソースからのフレームとマージさせることが容認され得る。ＴＶカメラは、典型的には、１秒あたり５０フィールドの画像フレームレートを有する。ともにマージされる画像が、２、３フィールドまたはフレーム離れていても問題ではないだろう。システムおよびデコーダが分かっている限り、画像が受信機側で正確な時間に表示されることを保証可能である。
【００５５】
上述のように、画像ソースからの各画素を表す生２４ビットデータは、ビット深度において低減され、他のストリームからの他の低減された画素と結合され、次いで、選択された既知のフォーマットにパッケージ化される。結果として得られるデータは、色低減を適用し、１６×１６パターングループ等の画素のパターンにマージすることによって、例えば、ＭＰＥＧ−２、または他の圧縮アルゴリズムと互換性があるように成されることが可能である。選択される画素のグループ化は、選択された圧縮方式に依存するであろう。
【００５６】
ビット深度低減およびマージ方式は、固定または適応的であることが可能である。方式が固定される場合、エンコーダおよびデコーダは両方とも、方式の構成を事前に知る必要がある。代替として、方式が可変または適応的である場合、選択された方式は、記録され、エンコーダからデコーダに伝送されなければならない。エンコーディング方式は、「パレット組み合わせマップ」と称され得る、メタデータとして記憶および伝送される。これは、画素のビット深度が低減され、結合される方法を説明する情報を含む。例えば、図５に示される方式では、パレット組み合わせマップは、各画素が２４ビットから８ビットに低減され、次いで、３画素のそれぞれが、第１の画素、第２の画素、第３の画素の順番に、別の画像のフレームからの対応する画素と連結される方法を説明するルックアップテーブルを備える。本ルックアップテーブルまたは「キー」は、画像ストリームを再構築するために、デコーダによって使用されることが可能である。
【００５７】
使用される方式は、１度設定されそして固定されるか、または上述のように適応的であることが可能である。適応的である場合、方式は、１日１回、１日数回等、低頻度で変化し得、または伝送される画像の変化する性質に伴って変化する等、より頻繁であり得る。方式が頻繁に適応する場合、パレット組み合わせマップは、頻繁に伝送され、画像ストリームデータによって多重化されるか、または別個のチャネルによって送信されるであろう。本メタデータは小さいため、伝送問題が生じず、したがって、遅延のリスクがないはずである。しかしながら、メタデータがデコーダへの到達に失敗する場合、デコーダが動作不能になる可能性を回避するため、エンコーダからデコーダへのメタデータの伝送なしに、デフォルトの固定方式を使用可能である。
【００５８】
好ましくは、ＸＨＤストリームマージャ１５には、個々のストリームの色深度情報が記憶にされる。本情報は、ＸＨＤストリームマージャによって生成されるパレット組み合わせマップ内に記憶され得、色深度情報は、マトリクス内に埋め込まれ得る。本データは、暗号化され、セキュリティを向上させ得る。
【００５９】
また、好ましくは、マージされたストリームがデコードされ得るように、個々のストリームに関する付加的情報が記憶される。そのような情報は、初期画像／ストリームの数、別個のストリーム内の画像画素のオリジナル位置を含み得る。また、本データは、パレット組み合わせマップ内のマトリクスに埋め込まれて、セキュリティを向上させるために、暗号化され得る。
【００６０】
ここで、初期画像ストリームは、既知のフォーマットの単一のストリームとして処理され得る。これは、例えば、マージされた画像のフォーマットサイズが標準的である場合、従来のハードウェアを使用して行なわれ得る。例えば、フォーマットサイズがＨＤである場合、該当する。本フォーマットは、ＭＰＥＧ−２互換およびＭＰＥＧ−４互換である。したがって、例えば、マージされる入力ストリームがＨＤフォーマットである場合、従来のハードウェアが使用され得る。
【００６１】
しかしながら、本実施例では、結果として得られる画像のフォーマットサイズは、ＸＨＤである。現在、ＸＨＤ映像の圧縮、トランスポート、および記憶は、ＭＰＥＧ圧縮を使用して行なわれ、大きなファイルサイズおよび帯域幅を生成し、トランスポートおよび記憶の問題を生じさせ得る。したがって、用途に合わせて、リアルタイムでデータを圧縮可能にするためには、高出力専用プロセッサおよび超高速ネットワークが必要とされる。これらのプロセッサおよびネットワークは、現在、広く普及しておらず、また、財政的に実行可能ではない。
【００６２】
第２のフォーマットに従って、第１のフォーマットで取得された画像を処理するための方法およびシステムを使用して、結合されたストリームをより低解像度フォーマットに変換し得る。例えば、画素が、１６×１６画素の「パターン」にグループ化され、次いで、ＨＤフォーマットで伝送される方法が、使用され得る。これは、「Ｔｅｔｒｉｓ」エンコーダおよびデコーダとして、図３に示される。これは、ＸＨＤデータをＨＤデータに変換するためのエンコーディング方式であるが、本発明の実施形態に不可欠ではない。他の従来の方式も使用され得、実際、データは、ＸＨＤフォーマットに維持可能である。将来的に、ハードウェアは、ＸＨＤを伝送および処理可能であって、図３に示される任意の変換ステップは、必要ではなくなるだろう。したがって、従来のＨＤコーデックを使用して、所望に応じて、マージされたデータを圧縮および解凍可能である。圧縮形態では、データは、トランスポートおよび／または記憶可能である。
【００６３】
図２は、ストリームマージャ１５によって生成されたＸＨＤマージストリームをＨＤストリームに変換するためのエンコーダ１６を示す。画像の有効ピクチャ部分が、それぞれ、複数の画素を有するパターンに分割される。パターンは、座標値が割り当てられ、次いで、パターンを並び替える暗号化キーを使用して、ＨＤフォーマットに再フォーマットされる。本暗号化キーは、パレット組み合わせマップによって生成され得るが、この限りではない。
【００６４】
図３は、単一のマージされたストリームの処理の実施例の概略を示す。図は、ＸＨＤフォーマットをＨＤフォーマットに再フォーマットするエンコーダ、結果として得られるＨＤストリーム、およびデコーダを示す。デコーダは、キーの制御下、逆並べ替えプロセスを適用することによって、画像をＸＨＤフォーマットに再変換する。この場合、キーは、ＨＤストリームとともに送信される。また、本デコーダは、デコーダ１７として、図４に示される。
【００６５】
また、好ましくは、パレット組み合わせマップ内に記憶され得る入力ストリーム情報は、単一のマージされたストリームとともに、図４に示されるデコーダに送信される。
【００６６】
ＸＨＤストリームスプリッタ１８では、マージされた単一のストリーム、この場合、ＸＨＤが、受信される。また、入力ストリームの数、画像の位置、およびそれらストリーム内の画像画素等の入力ストリーム情報を含む、パレット組み合わせマップが受信される。本情報を使用して、マージされた単一のストリームは、１５でマージされた分離されたストリーム（２つのＸＨＤおよび１つのＨＤ）に再分割される。これらの分離されたストリームは、低色深度である。
【００６７】
次いで、これらの分離されたストリームは、１９、２０、および２１で、色深度変換器に送信され得る。分離されたストリームの色深度は、オリジナル入力ストリーム９、１０、および１１の色深度に再変換され得る。したがって、８−１２ビットの各低画素を２４−３２ビットに再変換する。現在のハードウェアによってサポートされる標準的ビット深度にビット深度を再変換することが望ましい。本機能を行なうための標準的変換器は、当該分野において周知であって、ＧＩＦ規格によって使用されるパレット等の技術を使用する。
【００６８】
色深度変換器１９、２０、および２１からの出力ストリームは、処理の際に使用される量子化および圧縮の使用のため、入力ストリームと比較して、変更された色質を有することを理解されたい。しかしながら、本発明者は、若干の変更は、ヒトの眼には明確ではなく、多くの用途、特に、リアルタイムで動作するものの場合、そのような品質低下は、容認可能であって、得られる利点によって補われると理解する。
【００６９】
出力ストリームは、現時点において、２２でレンダリングされ、２３で表示され得る。ディスプレイは、例えば、エンドユーザが、３次元の世界に回転、傾斜、拡大可能な３６０度ビデオプレーヤであり得る。
【００７０】
記載される実施形態は、異なるフォーマットであり得る多数の映像ストリームが、処理（既知のフォーマットを有する単一のストリームとして、圧縮、トランスポート、および／または記憶される）可能であるという利点を有する。これは、処理のために必要とされるハードウェア構成を簡素化する。また、このようにストリームを結合することは、単一のマージされたストリーム長が、最長入力ストリーム長よりも長い必要はないことを意味する。これは、ストリームの記憶およびトランスポートにとって、有用である。また、帯域幅は、伝送に先立って低減されるため、本方法は、リアルタイム用途に好適である。また、実施形態は、ストリームが、送達の間、同期を維持する（すなわち、ストリームが結合される方式が、伝送の間、変化しない）という利点を有する。本実施形態では、ストリームは、捕捉時間において対応するフレームが結合されるように、組み合わされる。記載される用途では、これは、全環境をリアルタイムで同時に表示可能であるため、特に有益である。
【００７１】
本発明の使用例が、例証のみのためのものであって、本発明が、多くの他の方式で利用され得ることは、当業者によって理解されるであろう。本発明は、プロセスが、伝送および処理の間、多数の映像ソース間の同期の固定維持を必要とする場合、特に有用である。画像フレームは、例えば、同時または既知の時間差で捕捉されるフレームが、移動先にともに到達し得るように、同期され得る。同期は、例えば、運動解析、立体３Ｄ、または縫合において、相関動作が所望される場合、有益である場合がある。しかしながら、本発明は、そのような用途に限定されず、多数のストリームを単一のストリームとして処理することが所望される多くの用途において使用され得る。
【００７２】
また、マージされたストリームの数、およびストリームの画像フォーマットが可変であり得ることを理解されたい。色深度を低減し、ストリームをマージし、既知のフォーマットのストリームを生成する多くの組み合わせおよび方式が可能であって、当業者には想定されるであろう。
【００７３】
記載される実施形態に対する種々の他の修正例も可能であって、以下の請求項によって定義される本発明の範囲から逸脱することなく、当業者には想定されるであろう。
【図１】
2010539774.tif 000002
【図２】
2010539774.tif 000003
【図３】
2010539774.tif 000004
【図４】
2010539774.tif 000005
【図５】
2010539774.tif 000006
【手続補正書】
【提出日】平成22年5月13日(2010.5.13)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010539774.tif 000007
【図２】
2010539774.tif 000008
【図３】
2010539774.tif 000009
【図４】
2010539774.tif 000010
【図５】
2010539774.tif 000011
【国際調査報告】
2010539774.tif 000012
2010539774.tif 000013
2010539774.tif 000014
2010539774.tif 000015
2010539774.tif 000016
2010539774.tif 000017