(57)【要約】  データネットワークを介して映像データを送信もしくは受信するための少なくとも１つの映像データ伝送を備える映像通信システムのみならず、対応する映像データ伝送方法が開示される。伝送装置は、画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路と、映像データの少なくとも一部を処理するための映像処理装置と、データの少なくとも一部を送信もしくは受信するための通信装置とを備える。画像取得回路もしくは画像再構成回路と映像処理装置と通信装置とのうちの少なくとも２つは、映像データの同一の画像フレームもしくは同一の画像フィールドの異なる部分を同時に処理するように設けられる。
2014533466.tif 000002
【特許請求の範囲】
【請求項１】
データネットワークを介して映像データを送信もしくは受信するための少なくとも１つの映像データ伝送装置を備えた映像データ通信システムであって、
上記伝送装置は、
画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路と、
上記映像データの少なくとも一部を処理するための映像処理装置と、
上記データの少なくとも一部を送信もしくは受信するための通信装置とを備え、
上記画像取得回路もしくは画像再構成回路と上記映像処理装置と上記通信装置とのうちの少なくとも２つは、上記映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理するように設けられることを特徴とする映像データ通信システム。
【請求項２】
上記画像取得回路もしくは画像再構成回路、上記映像処理装置、及び上記通信装置のすべては、上記映像データの同一の画像フレームもしくは同一の画像フィールドの異なる部分を同時に処理するように設けられることを特徴とする請求項１記載の映像データ通信システム。
【請求項３】
上記画像取得回路は、画像フレームもしくは画像フィールドを、上記画像フレームもしくはフィールドの１つもしくはそれ以上の列の画素である上記画像フレームもしくはフィールドの一部を含む画像ブロックに分割するための画像分配器を備え、または
上記画像再構成回路は、全画像フレームもしくは画像フィールドにおける上記画像フレームもしくはフィールドの１つもしくはそれ以上の列の画素である画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを統合するための画像統合器を備えたことを特徴とする請求項１又は２記載の映像データ通信システム。
【請求項４】
上記映像通信システムは、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、上記画像ブロックに対する画像ブロックヘッダを生成するための画像ブロックヘッダ生成手段を備えたことを特徴とする請求項３記載の映像データ通信システム。
【請求項５】
上記映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを符号化もしくは復号化するように構成されたエンコーダもしくはデコーダを備えたことを特徴とする請求項１から４のうちいずれか１つに記載の映像データ通信システム。
【請求項６】
上記通信装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを示すデータを送信もしくは受信するように構成されたことを特徴とする請求項１から５のうちいずれか１つに記載の映像データ通信システム。
【請求項７】
上記少なくとも１つの映像データ伝送装置は、映像送信機もしくは映像受信機であることを特徴とする請求項１から６のうちいずれか１つに記載の映像データ通信システム。
【請求項８】
上記映像通信システムは、上記映像データの同一フレームもしくは同一フィールドの異なる部分を同時に処理するように設けられる上記画像取得回路、上記映像処理装置及び上記通信装置を備える映像送信機と、上記映像データの同一フレームもしくは同一フィールドの部分を同時に処理するように設けられる上記通信装置、上記映像処理装置及び上記画像再構成回路を備える映像受信機との両方を備え、
上記システムはさらに、上記映像送信機及び上記映像受信機が上記映像データの上記同一フレームもしくは同一フィールドの異なる部分を同時に処理するように構成されることを特徴とする請求項１から７のうちいずれか１つに記載の映像データ通信システム。
【請求項９】
上記再構成回路は、上記画像ブロックの画像ブロックヘッダを考慮してフレームもしくはフィールドを再構成するように構成されたことを特徴とする請求項１から８のうちいずれか１つに記載の映像データ通信システム。
【請求項１０】
上記映像通信システムは、ソフトウェアで実装されたコントローラであることを特徴とする請求項１から９のうちいずれか１つに記載の映像データ通信システム。
【請求項１１】
上記映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを圧縮もしくは解凍するように構成される圧縮もしくは解凍装置を備えたことを特徴とする請求項１から１０のうちいずれか１つに記載の映像データ通信システム。
【請求項１２】
上記映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを復号化もしくは復号化するように構成される復号化もしくは復号化装置を備えたことを特徴とする請求項１から１１のうちいずれか１つに記載の映像データ通信システム。
【請求項１３】
映像データの画像フレームもしくは画像フィールドを含む上記映像データを転送するための方法であって、
上記方法は、
上記画像フレームもしくは画像フィールドを取得もしくは再構成するステップと、
上記映像データの少なくとも一部を処理するステップと、
上記映像データの少なくとも一部を送信もしくは受信するステップとを含み、
上記取得もしくは再構成するステップと、処理するステップと、送信もしくは受信するステップのうちの少なくとも２つのステップは、上記映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理することにより同時に実行されることを特徴とする映像データを送信するための方法。
【請求項１４】
上記取得もしくは再構成するステップと、処理するステップと、送信もしくは受信するステップのすべては、上記映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、同一の画像フィールドの異なる部分を同時に処理することにより同時に実行されることを特徴とする請求項１３記載の映像データを送信するための方法。
【請求項１５】
上記方法は、第１の画像ブロックと第２の画像ブロックとを取得するステップを含み、
上記各画像ブロックは、同一の画像フレームもしくは同一の画像フィールドの部分であり、
上記方法は、
上記少なくとも第１の画像ブロックを取得した後でありかつ上記第２の画像ブロックを取得する間に、上記第１の画像ブロックを処理し、次に、上記第２の画像ブロックを処理する前もしくは上記第２の画像ブロックを処理する間に、データネットワークを介して上記第１の画像ブロックを送信するステップを含むことを特徴とする請求項１３又は１４記載の映像データを送信するための方法。
【請求項１６】
上記方法はさらに、少なくとも第１の画像ブロックと第２の画像ブロックとを受信すると、上記画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックに対する画像ブロックヘッダを生成するステップを含むことを特徴とする請求項１５記載の映像データを送信するための方法。
【請求項１７】
上記方法は、少なくとも第１の画像ブロックと第２の画像ブロックとをデータネットワークを介して受信するステップを含み、
上記各画像ブロックは同一の画像フレームもしくは同一の画像フィールドの一部であり、
上記方法は、
上記第１の画像ブロックを受信した後でありかつ上記第２の画像ブロックを受信する前もしくは上記第２の画像ブロックを受信する間に、上記第１の画像ブロックを処理するステップと、
上記処理するステップの後に、これらの画像ブロックが処理された後に上記少なくとも第１の画像ブロックと第２の画像ブロックとを単一の画像フレームもしくは画像フィールドへと統合するステップとを含むことを特徴とする請求項１３から１６のうちいずれか１つに記載の映像データを送信するための方法。
【請求項１８】
上記少なくとも統合するステップは、上記画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックに対する画像ブロックヘッダを考慮して実行されることを特徴とする請求項１７記載の映像データを送信するための方法。
【請求項１９】
処理装置上で実行するときに、請求項１３から１８のうちいずれか１つに記載の映像データを送信するための方法に係る映像データを送信するためのコンピュータプログラム製品。
【請求項２０】
請求項１９記載のコンピュータプログラム製品を格納するデータキャリア媒体。
【請求項２１】
請求項１３から１８のうちいずれか１つに記載の映像データを伝送する方法に係る映像データを送信するための方法を用いて取得される映像データ。
【請求項２２】
内視鏡映像データの伝送において、請求項１から１２のうちいずれか１つに記載に係る映像データ通信システムの使用。
【請求項２３】
複数の映像データ入力を結合するため及び複数の映像データ出力を提供するためもしくは統合されたデータ出力を提供するための、請求項１から１２のうちいずれか１つに記載に係る映像データ通信システムの使用。
【請求項２４】
視覚的な遅延なしの映像データのトランスポートを取得するための、請求項１から１２のうちいずれか１つに記載に係る映像データ通信システムの使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ通信の分野に関する。より特に、本発明は超低レイテンシー（非常に低いレイテンシー）映像通信のための方法及びシステムに関する。
【背景技術】
【０００２】
もし色映像もしくはグレイスケール映像に言及すれば、映像データは、３次元アレイの色もしくは輝度データと考えられる。この３次元アレイのうちの水平及び垂直の２つの次元は、空間データもしくは映像画像のいわゆる画素を表す一方で、第３の次元は、連続画像の時間領域を表す。以下、各映像画像をフレームと言う。典型的には、画像センサにより生成される画素データのフレームは、データをシリアル化して１つもしくは制限された一組の通信線を介してそれを送信することにより、処理もしくは可視化装置に転送される。従って、単一のフレームの２次元の空間的なデータは、時間内における連続的な一組のデータとして単一の通信線を介して転送される。この通信線は、元の画素データを表すアナログデータもしくはデジタル符号語を伝送することができる。複数の通信線を使用することにより、データは、よりパラレルで転送される（例えば、いくつかのシステムは、赤データ、緑データ、青データ及び同期化データをパラレルで転送する）。上述した記述は、典型的には、カメラシステムが単一のケーブルを介してその連続フレームデータをディスプレイにどのように伝送するかを説明する。デジタルディスプレイは、単一フレームのすべての連続データをバッファ内に収集し、一旦フレームが完了されれば、可視化のために、それは表示マトリックスに対してそれを提示するであろう。以下、これを「ダイレクトビデオリンク」と言う。
【０００３】
映像もしくは画像圧縮とは、空間領域内の帯域幅低減（画像圧縮）又は空間領域内と時間領域内との同時の帯域低減幅（映像圧縮）のいずれかのことを言う。圧縮の主要な目的は、データ量（帯域幅）を低減させることにある。後者は、まったく情報を損失することなしに両方を実行することができる（可逆圧縮）。従って、元のフレームデータは、圧縮されたフレームデータに基づいて完全に同一となるように再構成され、ビット単位ごとにオリジナルに対して完全に一致する。代替には、圧縮は、人間のオブザーバーがオリジナルと圧縮されたフレームデータとの間の差を知覚することができないように実行される（視覚的可逆圧縮）。従って、オリジナルフレームは完全に同一となるように再構成されないが、人間のオブザーバーは、典型的には、オリジナルフレームと再構成されたフレームとの間の差は分からないであろう。最後に、強く改善された圧縮効率を受け入れるために、圧縮は、「損失を伴って」かつ視覚情報量を低減させることができる。映像圧縮は、画素データが典型的には時間的及び空間的に強い冗長性を有するという事実を利用する。圧縮は、画素と１つもしくはそれ以上のリファレンスとの間の差を格納することにより空間的に実現され（イントラフレーム：例えばＪＰＥＧ圧縮方式などにおいて使用される）、時間領域における連続フレーム間の差を格納することにより実現される（インターフレーム：例えばＭＰＥＧ圧縮方式などにおいて使用される）。さらに、人間の目が強度及び／もしくは色における微妙な変化に対してまったく敏感でないと仮定すれば、さらに圧縮は、圧縮後に保持される異なる変化量を低減させることにより得られる。これらの技術の組み合わせは、例えばＭＰＥＧ１、ＭＰＥＧ２及びＭＰＥＧ４ファミリー及びそれらの関連規格などにおいて使用される近現代の圧縮方式の背後にある基礎を形成する。通信プロトコルは、情報の交換のためのコンピューティングもしくは通信システム間の規約である。インターネット／イントラネット上で使用される通信プロトコルは、複雑かつ制御されない設定において機能するように設計される。従来、設計は、典型的には、基本として、より大きなかつより複雑なプロトコルを明確に分離してサブプロトコルの管理がより簡単となるレイヤリング方式（スキーム）を使用する。インターネットプロトコル群は、以下の層から構成される。すなわち、アプリケーション機能と、トランスポート機能と、インターネット機能と、ネットワークインターフェース機能とである。これによって、インターネットは、当該インターネットに接続される任意のペアのコンピュータが通信することが可能となることを意味する全世界相互接続（ユニバーサルインターコネクション）を提供する。相互接続されたすべての物理的なネットワークは、ユーザには単一の大きなネットワークとして見られる。それ故に、この相互接続方式は、インターネットと呼ばれる。
【０００４】
通信プロトコルは、シグナリング、認証、復号化、並びに誤り検出及び訂正能力を含んでもよい。
【０００５】
映像通信は、最小限にもしくは圧縮されないでかつ典型的にはよりハイレベルではない通信プロトコルを用いて、生の映像データ（ロービデオデータ）を運ぶ（伝送する）電気的なもしくは光学的な「ダイレクトケーブル」を介して得られる。古典的なケーブルベースのシステムは、典型的には、高速の低レイテンシー通信を生じさせるが、広い帯域幅を消費しかつ普通はインターネットやイントラネットのような複雑な通信ネットワークを介してトンネリングされない。さらに、伝統的な映像ケーブリングは、典型的には、制限された最大ケーブル長を課すかもしくはそれは例えばＵＴＰエクステンダー、光ファイバ、及び衛星接続などの高価な及び／もしくは信号特定の技術を用いて延長されなければならない。次に、さらに、これらの技術は、同一の「有線」上に複数のチャネルを置き、及び／又は複数の受信機上に同一のチャネルを受信するための比較的制限された柔軟性に対して高コストを発生させる。
【０００６】
（例えばテレプレゼンスなどに使用される）インターネットに接続できる映像通信システムは、典型的には、強い圧縮を提供し、インターネット／イントラネットを介してシームレスに動作するが、１つもしくはそれ以上のフレームの遅延を導入する。言い換えると、複雑な通信プロトコル及び圧縮は遅延をもたらす。
【０００７】
映像通信のための現在のシステムの進歩した段階であるにもかかわらず、低レイテンシーで強く圧縮されたインターネット／イントラネットに接続できる映像通信と結合し、高い視覚的な品質を提供する可能性があるシステムへのニーズが依然として存在する。インターネット／イントラネット、すなわち同様の複雑性の通信チャネルを使用して送信装置に対して提示される映像供給における２つの連続したフレーム間の時間の１／２未満である遅延だけを有する映像データを送信して受信することができる方法もしくは装置が欠如している。言い換えると、任意の従来のシステムの「ダイレクトビデオリンク」（ｃｆｒ．ｓｕｐ．）と比較すると、残余遅延は、典型的には、フレーム間の時間間隔の少なくとも１／２となるように思われる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、低レイテンシーもしくは超低レイテンシーの映像通信のために十分なシステム及び方法を提供することにある。
【課題を解決するための手段】
【０００９】
低レイテンシーもしくは超低レイテンシーの映像通信のために方法及びシステムが提供されることが本発明に係る実施態様の利点である。当該システムは、映像データの取得、圧縮及び伝送を結合する送信装置を備える。また、当該システムは、圧縮されたデータパケットを収集し、可能であれば当該データパケットを記録し、それらを解凍し、再構成された映像データをレンダリングする反対の受信装置により補完される。
【００１０】
これらは古典的なケーブルと同様の通信速度を生じさせるが、典型的には３倍から１５倍だけ狭い帯域幅の消費で、最大でも５ミリ秒の遅延を示すことが本発明に係る実施態様の利点である。
【００１１】
インターネットもしくはイントラネットを介して容易に運ばれ（伝送され）、例えば、復号化や復号化などもまた組み込むことができるインターネットプロトコル（ＩＰ）などのより高いレベルのプロトコルを用いて通信が可能となることが本発明に係る実施態様の利点である。インターネットもしくはイントラネットデータ伝送に使用される既存の映像通信システムに比較すると、本発明の実施態様は典型的には、遅延の観点では、５倍から５０倍だけより高速となる。
【００１２】
「ダイレクトビデオリンク」を使用することの必要性なしに、低遅延と比較的狭い帯域幅とを結合するデバイスが得られることが本発明に係る実施態様の利点である。実施態様は、私たちが低遅延を必要とし、帯域幅を低減させて、１つもしくはそれ以上の「ダイレクトビデオリンク」を提供することができない状況における解決法を提供する。このことは、典型的には、人間のオブザーバーが例えば医療用内視鏡検査などにおけるように彼もしくは彼女が見るものに対して即座に行動しなければならない状況において起こる可能性がある。同様の状況が任意の高速帰還映像ベースの制御ループにおいて見られる。
【００１３】
これらがフレーム間の時間間隔の１／２より小さい遅延で映像取得と低レイテンシー圧縮と高レベル通信プロトコルを使用する可能性とを結合させることにより解決法を提供することが本発明に係る実施態様の利点である。
【００１４】
上述した目的は、本発明に係る方法及びデバイスにより達成される。
【００１５】
本発明は、データネットワークを介して映像データを送信もしくは受信するための少なくとも１つの映像データ伝送装置を備える映像データ通信システムに関する。送信装置は、画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路と、映像データの少なくとも一部を処理するための映像処理装置と、データの少なくとも一部を送信もしくは受信するための通信装置とを備える。ここで、画像取得回路もしくは画像再構成回路、映像処理装置、及び通信装置のうちの少なくとも２つが設けられ、例えば、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理するように構成される。低レイテンシーの使用と狭帯域幅の使用とを結合する映像通信システムが取得されることが本発明に係る実施態様の利点である。
【００１６】
画像取得回路もしくは画像再構成回路、映像処理装置及び通信装置のすべては、映像データの同一の画像フレームもしくは同一の画像フィールドの異なる部分を同時に処理するように設けられてもよい。速度での利得が画像取得もしくは統合化、画像符号化もしくは復号化、及び画像送信もしくは受信において同時に処理することにより得られることが本発明に係る実施態様の利点である。
【００１７】
画像取得回路は、画像フレームもしくは画像フィールドを、１つもしくはそれ以上の行の画像フレームもしくはフィールドの画素である画像フレームもしくはフィールドの一部を含む画像ブロックに分割するための画像分配器を備えてもよいし、もしくは画像再構成回路は、全画像フレームもしくは画像フィールドにおける画像フレームもしくはフィールドの１つもしくはそれ以上の行の画素である画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを統合（マージ）するための画像統合器を備える。
【００１８】
映像通信システムは、画像ブロックが得られる画像フレームもしくはフィールドを識別するために、画像ブロックに対する画像ブロックヘッダを生成するための画像ブロックヘッダ生成手段を備えてもよい。
【００１９】
映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを符号化もしくは復号化するように構成されたエンコーダもしくはデコーダを備えてもよい。
【００２０】
通信装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを示すデータを送信もしくは受信するように構成されてもよい。
【００２１】
少なくとも１つの映像データ伝送装置は、映像送信機であってもよいし、もしくは映像受信機であってもよい。有利な処理は送信装置側のみならず受信装置側でも実施されることが本発明に係る実施態様の利点である。
【００２２】
映像通信システムは、例えば映像データの同一フレームもしくは同一フィールドの異なる部分を同時に処理するように構成されるなどのように設けられる画像取得回路、映像処理装置及び通信装置を備える映像送信機と、映像データの同一フレームもしくは同一フィールドの部分をそれぞれ同時に処理するように構成される、通信装置、映像処理装置及び画像再構成回路を備える映像受信機との両方を備えてもよい。またさらに、当該システムは、映像送信装置及び映像受信装置が映像データの同一フレームもしくは同一フィールドの部分を同時に処理するように適合される。有利な処理が送信装置側及び受信装置側において同時に実行されることが本発明に係る実施態様の利点であり、結果として超高速の映像通信システムを生じさせ、当該システムは、例えば、ダイレクトケーブルビデオに比較すると、知覚できる遅延を有さない。
【００２３】
再構成回路は、画像ブロックの画像ブロックヘッダを考慮してフレームもしくはフィールドを再構成するために適合されてもよい。
【００２４】
映像通信システムは、ソフトウェアで実装されたコントローラであってもよい。
【００２５】
映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを圧縮もしくは解凍するように構成される圧縮もしくは解凍装置を備えてもよい。
【００２６】
映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを復号化もしくは復号化するように構成される復号化もしくは復号化装置を備えてもよい。
【００２７】
また、本発明は、映像データの画像フレームもしくは画像フィールドを含む映像データを転送するための方法に関する。当該方法は、画像フレームもしくは画像フィールドを取得もしくは再構成するステップと、映像データの少なくとも一部を処理するステップと、データの少なくとも一部を送信もしくは受信するステップとを含む。上記取得もしくは再構成するステップと、処理するステップと、送信もしくは受信するステップのうちの少なくとも２つのステップは、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理することにより同時に実行されてもよい。
【００２８】
上述した取得もしくは再構成するステップと、処理するステップと、送信もしくは受信するステップのすべては、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、同一の画像フィールドの異なる部分を同時に処理することにより同時に実行されてもよい。
【００２９】
当該方法は、第１の画像ブロックと第２の画像ブロックとを取得するステップを含んでもよく、各画像ブロックは、同一の画像フレームもしくは同一の画像フィールドの部分である。当該方法は、少なくとも第１の画像ブロックを取得した後でありかつ第２の画像ブロックを取得する間に第１の画像ブロックを処理し、次に、第２の画像ブロックを処理する前もしくは第２の画像ブロックを処理する間にデータネットワークを介して第１の画像ブロックを送信するステップを含む。
【００３０】
さらに、当該方法は、少なくとも第１の画像ブロックと第２の画像ブロックとを受信すると、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックに対する画像ブロックヘッダを生成するステップを含んでもよい。
【００３１】
当該方法は、少なくとも第１の画像ブロックと第２の画像ブロックとをデータネットワークを介して受信するステップを含んでもよく、各画像ブロックは同一の画像フレームもしくは同一の画像フィールドの部分である。当該方法は、第１の画像ブロックを受信した後でありかつ第２の画像ブロックを受信する前もしくは第２の画像ブロックを受信する間に第１の画像ブロックを処理し、その後に、これらの画像ブロックが処理された後に少なくとも第１の画像ブロックと第２の画像ブロックとを単一の画像フレームもしくは画像フィールドへと統合するステップを含む。
【００３２】
少なくとも上述した統合するステップは、画像ブロックが得られる画像フレームもしくはフィールドを識別するための画像ブロックに対する画像ブロックヘッダを考慮して実行されてもよい。
【００３３】
また、本発明は、処理装置上で実行するときに、上述した任意の方法に係る映像データを転送するためのコンピュータプログラム製品に関する。
【００３４】
また、本発明は、そのようなコンピュータプログラム製品を格納するデータキャリア媒体に関する。
【００３５】
またさらに、本発明は、上述した映像データを伝送するための方法を使用して取得された映像データに関する。
【００３６】
また、内視鏡映像データの伝送において、上述した映像データ通信システムの使用に関する。
【００３７】
またさらに、本発明は、複数の映像データ入力を結合させるためでありかつ複数の映像データ出力を提供するかもしくは統合されたデータ出力を提供するための、上述した映像データ通信システムの使用に関する。
【００３８】
また、本発明は、映像データの視覚的な遅延なしのトランスポートを取得するための、上述した映像データ通信システムの使用に関する。
【００３９】
本発明の特定のかつ好ましい態様が、添付の独立項及び従属項において設定される。従属項からの特徴は、独立項の特徴と組み合わされてもよく、単に明示的としてだけでなく適切なように特許請求の範囲に設定された他の従属項の特徴と組み合わされてもよい。
【００４０】
本発明のこれらの態様及び他の態様が、後述説明された１つもしくは複数の実施態様から明白となるであろうし、後述説明された１つもしくは複数の実施態様を参照して明瞭とされるであろう。
【００４１】
図面は、ただ概略的なだけで限定されない。図面において、複数の要素のいくつかのサイズは、例示的な目的のために、誇張されてもよく、スケール上に描かれなくてもよい。特許請求の範囲における任意の参照記号は、範囲を限定するとして解釈されるべきでない。
【図面の簡単な説明】
【００４２】
【図１】従来技術から知られた、送信映像通信装置と受信映像通信装置とを備える古典的な映像通信アーキテクチャのブロック図である。
【図２】図１において参照されたセットアップによって生じる遅延を説明するタイミング図である。
【図３】図１において参照された古典的な映像通信方式の提案されるＮ個の並列化を図示する。
【図４】図２に関して、図３に図示される方式を用いて取得される全体遅延の１／Ｎの縮小を説明するタイミング図である。
【図５】本発明の実施形態に係る映像通信システムのブロック図を例示する。
【発明を実施するための形態】
【００４３】
本発明が、特定の実施形態に関して、及びある図面を参照して説明されるであろうが、本発明はこれに限定されずただ特許請求の範囲だけに限定される。説明された図面はただ概略的なだけであって限定されない。記載された図面は概略図だけであって限定されない。図面において、いくつかの構成要素の大きさは例示的な目的のために誇張され、同一寸法で描かれないかもしれない。寸法及び相対寸法は必ずしも発明を実施するために実際の縮図には対応しない。
【００４４】
またさらに、説明中及び特許請求の範囲における第１、第２の用語などは、同様の複数の要素間を区別するために使用され、必ずしも、時間的に、空間的に、順序付けにおける、もしくは任意の他の方法におけるなどのいずれかのシーケンスを説明するためには使用されない。そのように使用された複数の用語は、適切な環境下ではお互いに交換可能であり、ここで説明された本発明の実施形態は、ここで説明されたもしくは例示された他の複数のシーケンスにおいて動作可能である、ということが理解されるべきである。
【００４５】
さらに、説明中及び特許請求の範囲におけるトップ（ｔｏｐ）、ボトム（ｂｏｔｔｏｍ）、オーバー（ｏｖｅｒ）、アンダー（ｕｎｄｅｒ）の用語及び同等のものが、説明的な目的のために使用されて、必ずしも相対的な位置を説明するために使用されるものではない。そのように用いられた用語は適切な環境のもとでは相互に交換でき、ここで説明された発明の実施形態はここで説明され図示されたもの以外の他の適応例において動作可能である、ということが理解されるべきである。
【００４６】
留意すべきことは、特許請求の範囲で使用された用語「備えている（含んでいる）」は、その後に記載された手段に制限されるように解釈されるべきでなく、すなわち、それは他の複数の要素もしくは複数のステップを除かない、ということである。従って、それは、記載された複数の特徴、複数の整数、言及された複数のステップもしくは複数の構成要素の存在を特定化するように解釈されるべきであるが、それは、１つもしくはそれ以上の特徴、整数、ステップもしくは構成要素、またはそのグループの存在もしくは追加を除外しない。従って、表現「手段Ａ及び手段Ｂを備えるデバイス」の範囲は、構成要素Ａ及び構成要素Ｂだけからなる複数のデバイスに限定されるべきでない。それは、本発明に関しては、デバイスの唯一の関連のある構成要素がＡ及びＢである、ということを意味する。
【００４７】
この明細書を通して「一実施形態」もしくは「ある実施形態」への参照とは、実施形態に関連して説明された特定の特徴、構造もしくは特性が本発明の少なくとも１つの実施形態において含まれることを意味する。従って、この明細書を通して種々の場所での「一実施形態において」もしくは「ある実施形態において」の言葉の出現は、必ずしも同一の実施形態を参照していないが、同一の実施形態を参照してもよい。またさらに、特定の特徴、構造もしくは特性は、１つもしくはそれ以上の実施形態において、この開示から当業者に対して明白であるように、任意の適切な方法で組み合わされてもよい。
【００４８】
本発明の実施形態、説明もしくは特許請求の範囲において、画像フレームの一部もしくは画像フィールドの一部が参照される場合には、画像フレームの一部だけもしくは画像フィールドの一部だけが参照されてもよい。すなわち、全画像フレームもしくは全画像フィールドが参照されなくてもよい。
【００４９】
同様に、本発明の例示的な実施形態の説明において、本発明の種々の特徴はときどき、単一の実施形態、図面もしくはその説明において、１つもしくはそれ以上の種々の発明の態様の開示を流れるように説明しかつ理解することを支援することの目的のために、１つのグループにまとめられることが認識されるべきである。しかしながら、この開示の方法は、特許請求の範囲の発明が各請求項において明示的に列挙された特徴よりも多くの特徴を必要とするという意図を反映すると解釈されるべきでない。むしろ、以下の特許請求の範囲が反映するように、発明の態様は、単一の上述の開示された実施形態のすべての特徴よりも少ないものである。従って、発明の詳細な説明に続く特許請求の範囲は、各請求項がそのままでこの発明の別々の実施形態として存在して、それによってこの詳細な説明に明示的に組み込まれる。
【００５０】
またさらに、当業者により理解されるであろうように、ここで説明されるいくつかの実施形態は、他の実施形態において含まれた他の特徴を含むのではなく、当該実施形態において含まれるいくつかの特徴を含む一方で、異なる実施形態の特徴の組み合わせは、本発明の範囲内でありかつ異なる実施形態を形成することが意図される。例えば、以下の特許請求の範囲において、任意の請求された実施形態は、任意の組み合わせにおいて使用される。
【００５１】
ここで提供された説明において、多数の特定の詳細が説明される。しかしながら、本発明の実施形態がこれらの特定の詳細なしに実用化されてもよいことが理解される。他の例では、この説明の理解を曖昧にしないように、よく知られた方法、構造、及び技術が詳細に示された。
【００５２】
本発明に係る実施形態では、内視鏡検査が参照される場合には、内部空洞もしくは空洞構造を検査もしくは調査するために使用される技術が参照される。今日、医療用応用のために並びに例えばいわゆるボアスコープにより航空機、ディーゼル及び自動車エンジンの視覚的な検査におけるなどの工業上応用のために内視鏡検査が使用される。医療分野では、内視鏡は、患者の体腔における臓器に対する内視鏡手術などの救命検査及び治療介入のために使用される。ボアスコープは、検査されるべき領域が他の手段によりアクセスできない場合に予防保全もしくは検査業務を可能とする。例えば、それらは例えば航空機エンジン及び安全要求事項のために特定の注意を必要とする他のエンジンなどの閉じられた構造内の目的物に対する予防保全及び検査課題（タスク）のために使用される。このテキストの残りの部分において、医療分野だけを新しい装置を例示するために使用するであろう。しかしながら、その適用性は、工業的な作業領域へと制限なしに拡張される。
【００５３】
本発明に係る実施形態において、同一の画像もしくは映像フレームが参照される場合には、示されるべき、典型的にはより大きな映像データの一部として示された、時間内における単一の瞬間でのシーンの完全なコンテンツを示す単一の画像もしくはショットが参照される。典型的には、シームレスの断片の映像データであるように見えるものを生成する代わりに多くの単一の画像フレームが流れる。
【００５４】
本発明に係る実施形態において、同一の画像もしくは映像フィールドが参照される場合には、示されるべき、時間内での単一の瞬間でのシーンの完全なコンテンツを静止して描写する、例えばすべての奇数列もしくは偶数列などの画像フレームの選択された一組の画像が参照される。
【００５５】
本発明に係る実施形態において、画像ブロックが参照される場合には、典型的には示されるべき時間内における単一の瞬間でのシーンの完全なコンテンツを描写しない画像フレームもしくは画像フィールドの一部が参照される。そのような画像ブロックは、典型的には画像フレームもしくは画像フィールドを用いて示されたシーンの部分だけを覆う、すなわち画像フレームもしくは画像フィールドを用いて示される全シーンではない一組の画素もしくは一組の画素列から構成されてもよい。
【００５６】
本発明に係る実施形態において、画像フィールドの用語が参照される場合には、画像フレームの奇数もしくは偶数の画像列だけに対応する画像データが参照される。
【００５７】
本発明に係る実施形態において、画像ブロックが参照される場合には、画像スライスがまた参照されてもよい。画像ブロックもしくは画像スライスは、画像フレームもしくは画像フィールドのすべての列ではなくて１つもしくはそれ以上の列を備えてもよい。典型的には、画像ブロックもしくは画像スライスは、画像フレームもしくは画像フィールドによより示された全シーンを描写しない。いくつかの特定の実施形態では、画像ブロックもしくは画像スライスは、８列、１６列もしくはその複数列を備えてもよい。
【００５８】
第１の態様によれば、本発明は、（超）低レイテンシー映像通信のための映像データ通信処理もしくは映像データ通信システムに関する。本発明の実施形態に係るシステムは、映像データを送信もしくは受信するための少なくとも１つの映像データ伝送装置を備える。当該伝送装置は、画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路を備える。本発明の実施態様によれば、画像取得回路もしくは画像再構成回路、映像処理装置及び通信装置の少なくとも２つは、同時に処理するように、すなわち映像データの同一の画像フレームもしくは同一の画像フィールドの異なる部分を同時に処理するように設けられる。有利に、画像取得及び／又は画像再構成と、処理することと、通信することとは、同一の画像フレームもしくは同一の画像フィールドの異なる部分に対して同時にすべてが実行されてもよい。伝送装置は、送信装置、受信装置もしくは送信装置及び受信装置の組み合わせであってもよい。送信装置は、映像データの取得、例えば圧縮などの処理、及び伝送を結合させてもよく、並びに／又は受信装置は、圧縮されたデータパケットを収集することと、可能であれば当該圧縮されたデータパケットを記録することと、データパケットを例えば解凍するなどの処理をすることと、再構成された映像データをレンダリングすることとを結合する。本発明のシステムは、２つの連続的なフレーム間における時間の１／２未満の遅延でありかつ５ミリ秒未満の典型的な遅延でこの通信を実行するための解決法を提供することができる。２つの連続的なフレーム間での遅延は、フレーム時間の１／２未満であってもよい。フラットパネル表示マトリックスのリフレッシュクロック、すなわち受信フレームバッファデバイスの読み出しフレームレートクロックは、典型的には、画像を生成する基本的なカメラシステムのフレームレートクロックに同期しない。従って、本発明において導入された遅延は、典型的には、フラットパネルの場合における次のリフレッシュまでの時間、もしくはフレームバッファの場合における次の読み出しまでの時間よりも小さい。従って、典型的には、「ダイレクトビデオリンク」に比較すると、本発明での遅延は知覚されない。これがインターネット／イントラネットのような通信媒体にわたって（圧縮された）映像トランスポートを用いる応用に対して新しい可能性を開く。
【００５９】
画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路は、画像フレームの一部だけであるか、もしくは全画像フィールドではなく全画像フィールドの一部だけである画像ブロックを取得するように適合されてもよい。画像取得回路は、画像ブロックヘッダを提供するように適合されてもよい。そのような画像ブロックヘッダは、例えばそれが生じる画像フレームの識別などのメタデータを備えてもよいが、それはまた、処理するために未来のフレームが考慮されないかもしれないことを処理装置に対して識別するメタデータを備えてもよい。
【００６０】
映像処理装置は、画像ブロック、すなわち取得された画像フレームもしくは画像フィールドの一部を処理するためのプロセッサを備えてもよい。例えば、使用されてもよいプロセッサは、従来の画像処理において使用された従来のプロセッサとすることができる。本実施形態では、従って、画像ブロックは、従来の画像同様に処理されてもよいが、典型的には、それは典型的には画像フレームもしくは画像フィールドのすべての列ではないが１つもしくはそれ以上の列を含んでもよいので、画像ブロックのサイズは、高さに対する幅の比が大きい。使用されてもよい画像もしくは映像プロセッサの例は、本発明の実施形態はこれに限定されないが、例えばＨ．２６４やＶＣ１などのＭＰＥＧアドバンスドビデオ符号化（ＡＶＣ）である。使用されてもよい映像プロセッサのもう１つの例は、レンペルジフもしくはレンペルジフウェルチベースのコーデックである。代替には、映像処理装置は、それらを組み合わしてもよいし、もしくはそれらに加えて、圧縮装置もしくは解凍装置をまた備えてもよい。代替には、映像処理装置は、それらを組み合わしてもよいし、もしくはそれらに加えて、復号化装置もしくは復号化装置をまた備えてもよい。より一般的には、対応する処理は、ここで説明された同時の処理を利用することができるので、想定される処理には、画像フレームもしくは画像フィールドの他の部分に関する多くの任意の他の情報の必要性なしに画像フレームもしくは画像フィールドの一部を処理することを可能とする任意のタイプの処理を含んでもよい。
【００６１】
通信装置は、画像ブロックを送信もしくは受信するように適合される装置であってもよい。それにより、典型的には、通信装置は、それらの画像ブロックヘッダを含む画像ブロックを送信する。
【００６２】
典型的な古典的な映像通信システムは、ワーキングフレームもしくはフィールドベースであるのに対して（フィールドは、１／２のデータだけを含むインターレースのフレームである）、本開示は、それ故にサブフレームもしくはサブフィールドベースの方法で、すなわち画像フレームの一部、全画像フィールドではなく画像フィールドの一部だけである異なる画像ブロック上で動作することができる統合された実施形態を提示する。そのシステムは、２つもしくはそれ以上のこれらの構成部品が同一のフレームもしくは同一の画像フィールドの部分（典型的には、異なる部分）に対して同時に動作することができるような方法で、画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路を制御するためのコントローラを備えてもよい。
【００６３】
本発明の実施形態の利点を明らかに識別するために、古典的な通信装置をより詳しく見ることが例示される。そのような装置では、我々は３つの連続的な構築ブロックを識別する。第１に、フレームデータが「ダイレクトビデオリンク」を介してシリアルに到着する取得構築ブロックが存在する。フレームバッファは、到着するフレームもしくはフィールドのすべてのデータを蓄積する。一旦フレームもしくはフィールドが完了すると、データはパイプラインの次の構築ブロックへと渡される。その間に、フレームバッファはすでに次のフレームを蓄積し始める。この次の構築ブロックは、画像処理装置と言われる。典型的には、それはいくつかの画像修正もしくは画像強調を実行することができ、また映像データを圧縮することができる。次に、データは通信装置と言われる最後の構築ブロックに転送される。この通信装置は、通信チャネルを介してデータを送信するために、デジタルもしくはアナログ通信プロトコルを実装するであろう。この段階では、復号化もしくは同様のプロトコル特定の機能が追加される。受信側では、逆の一連のステップが実行され、データを取得する代わりに、我々はそれをレンダリングしてそれを「ダイレクトビデオリンクを介して」ディスプレイ、プロジェクタもしくはデータが意図された他のデバイスに供給する。この典型的な挙動はさらに図１に例示される。
【００６４】
「ダイレクトビデオリンク」に比較すると、そのような古典的な映像通信装置はいつも映像を遅延させるという限定されたさらなる説明が必要である。これによって、遅延は、フレームバッファにおけるフレームを蓄積するための時間Ｔと、（例えば圧縮などの）画像処理に必要とされる時間Ｕと、送信機及び受信機の（例えば送信／受信データパケットなどの）通信装置において必要とされる時間Ｃと、（例えば解凍などの）受信機での画像処理に必要とされる時間Ｖとを足し合わせた値に等しい。ほとんどの場合において、画像処理装置は、実時間性能に対して設計される一方で、電力消費を制御するであろう。すなわち、Ｕ＝Ｖ＝Ｔとなる。次に、全体レイテンシーは３Ｔ＋Ｃである。これが図２のタイミング図において例示される。送信機でのソースの映像クロック及び受信機での（例えばディスプレイなどの）コンシューマは典型的には同期しないと仮定すれば、実際の遅延はわずかだけさらに大きくなるであろう。
【００６５】
本発明の実施形態に戻ると、これらの実施形態に係る映像通信システムは、サブフレームもしくはサブフィールドベースの方法で動作することができる統合された実施形態を提示する。
【００６６】
これへの鍵は、取得構築ブロック、画像処理装置及び通信装置は交互に動作するが、もはや少なくともいくつかの動作をパラレルで組み合わせる単一の論理的な並列処理装置内に集積される独立した装置ではない、ということである。この装置は、少なくとも２つの動作を同時に実行して有利に取得することができ、その間に、すでに取得された画像の一部を処理することができ、その間に、すでに処理された画像の一部を通信することができる。受信装置は同様に動作するが、到着データをパラレルでそれぞれ受信して処理してレンダリングするか、もしくはこれらの動作の少なくとも２つをパラレルで実行する。図３は、この処理の概略図である。
【００６７】
すべての動作をパラレルで実行される実施形態に対して、画像通信装置は、上述した古典的な装置とは全く異なるタイミングで到着する。もし画像処理及び通信装置は無視できる時間間隔だけを消費すれば、その通信はダイレクトビデオリンクの場合とまさに同じ速度である。例えば、例の実施形態として、映像を取得することができ、それをパラレルでパケット化し、それをＩＰリンクを介して送信することができる（画像処理なし）。受信機は、パケットを解除して画像を再構成する一方で、送信機はまだ画像を取得している。更新されたタイミング図のための図４を参照しなさい。さて理論上では、遅延量３Ｔ＋Ｃは（３Ｔ＋Ｃ）／Ｎへと低減され、ここで、Ｎは画像数であり、典型的には（何百万などの）非常に大きな数である。従って、取得された遅延量は、（数マイクロ秒から数十マイクロ秒などで）無視できるほど小さい。
【００６８】
上述した実施形態は、第１のステップだけを説明している。実時間画像処理は、最大限ではあるが、取得時間もしくはインターフレーム／フィールド時間に相当する時間間隔を消費する。しかしながら、本発明の実施形態では、この処理時間はもはや全体タイミングにおける付加的なリード時間を創出しない。装置が並列化されると仮定すると、一旦第１の画素が取得されるとデータの処理を開始することができる。実際には、いくらかより複雑な処理を用いた実際の実施形態は、典型的には、離散的画素に対して動作することができないが、典型的には、水平方向及び垂直方向における画素の領域を必要とする。（例外として、ルックアップテーブルを適用することができる。）水平データ及び垂直データの両方を必要とし、画素データが列単位で（すなわち走査順序で）連続的に到着すると仮定すると、我々は「画像スライス」の概念を定義する。後者は、一組の完全な水平画像列を含むが、垂直方向において不完全であるサブ画像（もしくは画像ブロックもしくは画像スライス）である。言い換えると、連続的に到着して行単位で水平に位置合わせされた画像データは、スライスを形成する。例えば１６列や３２列などの画像スライスは、それに対する（例えば、圧縮などの）画像処理タスクを実行するのに空間的に十分に関連性を持ち始める。スライスを低い高さを有する人工的な非常に広い画像とみなすことができる。画像からスライスへのポーティング画像処理は、スライスの高さによる空間的依存性を低減させて異方性とすることができることを含む。第２に、スライスベースの処理は、スライスの最低部と最上部での避けられない境界効果を処理すべきである。
【００６９】
従って、スライスベースの処理により、我々が任意の種類の高度画像処理のほとんどを導入することが可能となり、タイミングをほとんど変更することはない。図４での並列処理におけるＮ段は、フレームもしくはフィールドでの画素数からフレームもしくはフィールドでのスライス数まで変化することを意味し、それは「無視できる程小さい（典型的には、マイクロ秒）から非常に低い（典型的には、数ミリ秒）まで全体遅延を変化させる。
【００７０】
いま、遅延は、第１のスライスを取得するための待ち時間と、単一のスライスの処理及び送信時間との合計になる。例えば、この例では、（１／６０秒の）インターフレーム時間で（例えば、映像圧縮などの）処理がされ、通信装置が全く時間を消費しない（１９２０×１０８０画素の、１秒当たり６０フレームでプログレッシブにスキャンされる）フルＨＤＴＸ１０８０Ｐ６０の画像に基づいてこれを例示しましょう。古典的な映像通信システムでは、我々は、蓄積時間（１／６０秒）と、送信機での（圧縮）処理時間（１／６０秒）と、受信機での（解凍）処理時間（１／６０秒）とを加算する時間を必要とするであろう。
【００７１】
映像クロックが同期するであろうと仮定すれば、我々は、映像を３／６０秒＝５０ミリ秒だけ遅延させる。ほとんどの人間のオブザーバーはこの遅延を知覚することができる。
【００７２】
全体画像の１／６７．５だけである（１６×１９２０）画素のスライスを用いた、本発明の実施形態の映像通信システムでは、（１／６０×１／６７．５）秒（第１のスライスのための待ち時間）と、送信機での（圧縮）処理時間（１／６０×１／６７．５）秒と、受信機での（解凍）処理時間（１／６０×１／６７．５）秒とを合計した（３／６０×１／６７．５秒＝０．７４ミリ秒）だけ映像が遅延するということを我々は得る。この例では、我々は、最後のスライスは不完全であろうという事実と高さ１６の代わりに高さ８を有するという事実とを無視した。我々が古典的な映像システムに比較すると５０倍を超える高速化を得てかつ遅延をおよそ１７ミリ秒のインターフレーム時間の２０分の１よりも小さいように見ることが重要である。この余剰遅延は、人間のオブザーバーによって気付かれず、生産して消費する映像デバイスのすべての所定の非同期映像クロックにおけるタイミングには全く影響を及ぼさない。
【００７３】
別の態様によれば、本発明はまた、映像データを転送するための方法に関する。その方法は、映像データの画像フレームもしくは画像フィールドを備える映像データを処理するのに適している。その方法は、画像フレームもしくは画像フィールドを取得もしくは再構成するステップと、映像データの少なくとも一部を処理するステップと、そのデータの少なくとも一部を送信もしくは受信するステップとを含む。本発明の実施形態によれば、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理することにより、上述した取得もしくは再構成するステップと、処理するステップと、送信もしくは受信するステップとの少なくとも２つのステップが同時に実行される。いくつかの実施形態では、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理することにより、上述した取得もしくは再構成するステップ、処理するステップ、送信もしくは受信するステップのすべてのステップが同時に実行される。いま、例示のために、本発明のいくつかの特定の方法の実施形態がより詳細に説明されるであろう。
【００７４】
一実施形態では、その方法は、少なくとも第１の画像ブロックと第２の画像ブロックとを取得するステップを含み、各画像ブロックは、同一の画像フレームもしくは同一の画像フィールドの一部である。その方法は、少なくとも第１の画像ブロックを取得した後でありかつ第２の画像ブロックを取得する間に、第１の画像ブロックを処理するステップと、当該処理するステップの後に、第２の画像ブロックを処理する前もしくは当該第２の画像ブロックを処理する間に、データネットワークを介して第１の画像ブロックを送信するステップとを含む。その方法はまた、少なくとも第１の画像ブロックと第２の画像ブロックとを受信するときに、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックに対する画像ブロックヘッダを生成するステップを含んでもよい。そのような画像ブロックヘッダはまた、例えば符号化もしくは復号化のために、未来のフレームが全く使用されなくてもよいという事実などの他のメタデータを含んでもよい。この画像ブロックヘッダ情報は、画像処理を制御するために使用されてもよい。その方法はさらに、本説明のシステム態様もしくは例で示された構成部品の機能を表現するさらなるステップを含んでもよい。
【００７５】
もう１つの実施形態では、その方法は、データネットワークを介して、少なくとも第１の画像ブロック及び第２の画像ブロックを受信するステップを含み、各画像ブロックは、同一の画像フレームもしくは同一の画像フィールドの一部である。その方法は、第１の画像ブロックを受信した後でありかつ第２の画像ブロックを受信する前もしくは当該第２の画像ブロックを受信する間に、第１の画像ブロックを処理するステップと、その後に、これらの画像ブロックが処理された後に、少なくとも第１の画像ブロックと第２の画像ブロックを単一の画像フレームもしくは画像フィールドに統合するステップを含む。統合するステップは、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックに対する画像ブロックヘッダを考慮して実行されてもよい。その方法はさらに、本説明のシステム態様もしくは例で示される構成部品の機能を表現するさらなるステップを含んでもよい。いくつかの実施形態では、送信するための方法と受信するための方法とが組み合わされて映像データを伝送するための方法をさらに提供する。
【００７６】
さらに別の実施形態では、その方法は、少なくとも第１の画像ブロックと第２の画像ブロックとを取得するステップを含み、各画像ブロックは、同一の画像フレームの部分、もしくは完全な画像フィールドではないが同一の画像フィールドの一部である。その方法はまた、少なくとも第１の画像ブロックを取得した後でありかつ第２の画像ブロックを取得する前もしくは当該第２の画像ブロックを取得する間に、第１の画像ブロックを処理するステップを含む。言い換えれば、１つの画像ブロックの処理はすでに前から開始される一方で、第２の画像ブロックは、（例えば、読み込まれたり、入力として受信されたりして）いまだに取得されている。
【００７７】
別の実施形態では、その方法は、第１の画像ブロック及び第２の画像ブロックを処理するステップを含み、各画像ブロックは、同一の画像フレームの一部、もしくは完全な画像フィールドではないが同一の画像フィールドの一部である。またさらに、その方法は、少なくとも第１の画像ブロックを処理した後でありかつ第２の画像ブロックを処理する前もしくは当該第２の画像ブロックを処理する間に、データネットワークを介して第１の画像ブロックを送信するステップを含む。
【００７８】
別の実施形態では、その方法は、データネットワークを介して、少なくとも第１の画像ブロック及び第２の画像ブロックを受信するステップを含み、各画像ブロックは、同一の画像フレームもしくは同一の画像フィールドの一部である。その方法は、第１の画像ブロックを受信した後でありかつ第２の画像ブロックを受信する前もしくは当該第２の画像ブロックを受信する間に、第１の画像ブロックを処理するステップを含む。その方法はさらに、その後にすなわちこれらの画像ブロックが処理された後に、少なくとも第１の画像ブロック及び第２の画像ブロックを単一の画像フレームもしくは画像フィールドに統合するステップを含んでもよい。
【００７９】
上述した実施形態に係る方法は、本発明から離れることなしに、他の方法のステップを用いて組み合わされてもよい。それらはさらに、本説明のシステム態様もしくは例において示される構成部品の機能を表現するさらなるステップを含んでもよい。
【００８０】
さらに別の態様では、本発明は例えば本発明の第１の態様に係るデバイスなどにおいて、処理手段上で実行する場合に、映像データを伝送するための方法の１つを実行するためのコンピュータプログラム製品のみならず、対応する処理システムに関する。言い換えると、本発明の実施形態に係る方法は、例えばソフトウェアベースの方法で実装されるなどのコンピュータ実装された方法として実装されてもよい。処理システムの１つの例は、例えばＲＡＭ、ＲＯＭなどのメモリの少なくとも１つの形態を含むメモリサブシステムに接続される少なくとも１つのプログラマブルプロセッサを含む処理システムであってもよい。留意すべきことは、１つもしくは複数のプロセッサは、一般的な目的もしくは特別な目的のプロセッサでもよく、例えば他の機能を実行する他の構成部品を有するチップなど、デバイス内に封止するためのものであってもよい、ということである。従って、本発明の実施形態の１つもしくはそれ以上の態様は、デジタル電子回路もしくはコンピュータハードウェア、ファームウェア、ソフトウェア、並びにそれらの組み合わせにおいて実装される。その処理システムは、少なくとも１つのディスクドライブ及び／又はＣＤ−ＲＯＭドライブ及び／又はＤＶＤドライブを有する記憶（ストレージ）サブシステムを含んでもよい。いくつかの実施例では、表示システム、キーボード、及びポインティングデバイスがユーザが手動で情報を入力するために提供するためのユーザインターフェースサブシステムの一部として含まれてもよい。データを入力して出力するためのポートがまた含まれてもよい。さらに、例えばネットワーク接続や種々のデバイスへのインターフェースなどの素子が含まれてもよい。処理システムの種々の素子は、本実施例では簡単のために単一バスであるが、少なくとも１つのバスのシステムを含むことが当業者には理解されるであろうバスサブシステムを介することを含む種々の方法で接続されてもよい。メモリサブシステムのメモリは、処理システム上で実行される場合に、ここで説明される方法の実施形態のステップを実行する一組の命令の一部もしくはすべてを一時保持してもよい。
【００８１】
別の態様では、本発明は、上述した映像データ伝送を制御するためのコントローラに実装されたソフトウェアを格納するためのデータキャリア、上述したコンピュータプログラム製品を格納するデータキャリア、又は広域ネットワークもしくはローカルエリアネットワークを介するコンピュータプログラム製品の伝送に関する。従って、そのようなデータキャリアは、上述したコンピュータプログラム製品をタンジブルに統合することができる。従って、キャリア媒体は、プログラマブルプロセッサによる実行のための機械可読コードを保持してもよい。従って、本発明は、コンピュータ手段上で実行される場合に、上述した任意の方法を実行するための命令を提供するコンピュータプログラム製品を保持するキャリア媒体に関する。用語「キャリア媒体」は、実行に対する命令をプロセッサに提供することにおいて関与する任意の媒体に言及する。そのような媒体は、必ずしもこれに限定されないが、不揮発性媒体や伝送媒体などの多くの形態をとってもよい。例えば、不揮発性媒体は、大容量記憶装置の一部である記憶装置などの光ディスクや磁気ディスクを含む。一般的な形態のコンピュータ可読媒体は、ＣＤ−ＲＯＭ、ＤＶＤ、フレキシブルディスクやフロッピィーディスク、テープ、メモリチップやカートリッジ、又はコンピュータが読み込むことが可能な任意の他の媒体を含む。コンピュータ可読媒体の種々の形態には、実行に対する１つもしくはそれ以上の命令の１つもしくはそれ以上のシーケンスをプロセッサに保持することを含んでもよい。コンピュータプログラム製品はまた、例えばＬＡＮ、ＷＡＮ，もしくはインターネットなどのネットワークにおける搬送波を介して伝送される。伝送媒体は、例えば電波と赤外線データ通信との間に生成されるような音波や光波の形態をとることができる。伝送媒体は、コンピュータ内にバスを備える配線を含む、同軸ケーブル、銅配線及び光ファイバを含む。
【００８２】
さらに別の態様では、本発明は、本発明の態様に係る方法による伝送後に取得された映像データに関する。
【００８３】
さらに別の態様では、本発明はまた、内視鏡映像データの伝送のための上述した映像データ通信システムの使用に関する。特定の特徴及び利点が特定の例で示されるが、そのような特徴及び利点はこれらの特定の例に限定されない。それはまた、複数の映像データ入力を結合させるための及び複数の映像データ出力を提供するためのもしくは統合されたデータ出力を提供するための映像データ通信システムの使用に関する。その使用は、多数のもしくは特定の応用において適用可能な映像データの視覚的な遅延なしのトランスポートを取得するための使用であってもよい。
【００８４】
超遅延映像通信装置の本発明の処理及び方法において、種々の変更及び変化がなされることが当業者には明らかであろう。例示のために、本発明の実施形態はこれには限定されないが、本発明に係る実施形態の標準的かつ選択的な特徴を示す多くの特定の実施例が以下に示されるであろう。
【００８５】
実施例１：ＩＰを介する視覚的な遅延なしの圧縮された映像トランスポート
本実施形態は、アナログもしくはデジタルの一組の映像インターフェースを使用して映像ラインデータを即座に画像処理装置に供給する。画像処理装置上で、ＭＰＥＧ４のアドバンスドシンプルプロファイルコーデックのアドバンスドスライス適合版は高さ３２のスライスにおいてデータを圧縮する。各スライスは、ネットワークを介してデータをパケット化して送信するイーサネット（登録商標）コントローラに中央演算処理装置により転送される。同様の装置がイーサネット（登録商標）コントローラを介して映像データを受信して、それを解凍する画像処理装置へとそれを転送し、最後にＤＶＩ、ＶＧＡもしくは（ＨＤ）−ＳＤＩ上の映像インターフェースへとデータをレンダリングする。ダイレクトビデオリンクに比較すると、ダイレクトリンク（０ミリ秒）を介して電気的に／光学的に伝搬する１つのケースでの画像画素に対する、このシステムにおける全体遅延は、５ミリ秒未満である。典型的には、帯域幅低減は、視覚損失なしの品質で１．５ＧｂｐｓのＨＤＴＶ信号を５０Ｍｂｐｓよりも小さいＨＤＴＶ信号へとする。
【００８６】
イーサネット（登録商標）コントローラによる通信と中央演算処理装置の存在とにより、我々が必要に応じて通信上に強い復号化を実装することを可能とする。もし全く遅延が望ましくなくかつ帯域幅に制限がないのであれば、圧縮を無効にしてリンクを介して生の映像データを送信することができる。しかしながら、イーサネット（登録商標）コントローラの帯域幅はこれをサポートするべきである。従って、ツイストペアベースのギガビットイーサネット（登録商標）ＰＨＹを用いた本実施形態では、この選択はＳＤ解像度に制限される。ＨＤ解像度は、光ファイバのイーサネット（登録商標）インターフェースを介して同様にサポートされる。そのシステムは、内蔵型であり、受動的に冷却され、イーサネット（登録商標）「ＰｏＥ」を介して電力を受信し、典型的には１５ワットだけ消費する。
【００８７】
同様の特性を有する単一のシステムは、商業的にはまったく利用できず、又は文献もしくは特許説明文では説明されない。
【００８８】
この実施形態のブロック図は図５で提示される。
【００８９】
実施例２：ＩＰを介する最小限の侵襲的外科手術／診断
上述された実施形態は、複数の送信機と、複数の受信機と、内視鏡カメラと外科手術のディスプレイとの間の内視鏡外科手術映像をトランスポートするローカル通信システムを実装するように使用される。当該実施形態は、ＩＰベースのネットワーク上での任意の種類の映像信号を統合し、ほとんど無制限の数の入力及び出力に対してスケーリングする。
【００９０】
そのシステムは、視覚損失なしの圧縮品質を有し、視覚的な遅延はまったくない。このことはＩＰベースの映像供給に対する目と手の同期をベースとする外科手術による受容を介して実証される。
【００９１】
さらに、この実施形態は、画像の診断品質を改善させる一組のスライスベースの画像強調ステップを実装する（ＬＵＴ／ガンマ補正、特徴検索及び強調表示、…）。
【００９２】
実施例３：ＩＰベースの機械視覚
コンピュータアルゴリズム制御された検査機では、ダイレクトビデオリンクによりサポートされる距離でコンピューティングシステムとカメラとを配置することがしばしば問題となる。例えば、製造するときにおいて、工場はコンピューティングシステムに対して適さない環境となる可能性を有する一方で、典型的なダイレクトビデオリンクはより長い距離を介して信号を伝送することはできない。同様に、画像ベースの海洋ナビゲーションは、水面よりも高い位置にあるカメラを必要とする一方で、コンピューティング能力は数十メータ離れても利用できる。
【００９３】
制御ループを実装する任意の上述した機械視覚システムは、著しい遅延を被る（フィードバックベースの制御ループにおける時定数）。コンピューティングプラットフォームのレベルにおいて、それをビデオインターフェースに変換する代わりに、デジタル画像をＣＰＵにすぐに提供することができる、遅延なしのＩＰベースの映像トランスポートを介してこれらの制限を克服する。
【図１】
2014533466.tif 000003
【図２】
2014533466.tif 000004
【図３】
2014533466.tif 000005
【図４】
2014533466.tif 000006
【図５】
2014533466.tif 000007
【国際調査報告】
2014533466.tif 000008
2014533466.tif 000009