(57)【要約】【課題】ディジタル顕微鏡からのような、リアル・タイムの立体視覚情報を、多様な情報源からの追加の視覚情報と共に、同じディスプレイ上に融合またはその他の方法で調和して視認することを可能にするシステムを提供する。【解決手段】観察および操作作業の間、ディジタル顕微鏡または光学顕微鏡用アドオン・カメラのような、ディジタル源（１０８）が取り入れる第１リアル・タイム入力ストリームを、第２画像ストリームとリアル・タイムで組み合わせる装置および方法。組み合わせたストリームをリアル・タイムで変換し、種々のフォーマットおよび表示選択肢で、種々のディスプレイ・デバイス（１３６、１４４および１５２）上に提示する。【選択図】図１
2007536953.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの組み合わせストリームをリアル・タイムで生成し、観察および操作作業における提示のために前記少なくとも１つの組み合わせストリームをリアル・タイムで変換する方法であって、前記少なくとも１つの組み合わせストリームは、観察および操作作業中に少なくとも１つのディジタル源によって取り入れた少なくとも１つの第１リアル・タイム入力画像ストリームを、少なくとも１つの第２画像ストリームと組み合わせたものであり、前記方法は、
少なくとも１つのディジタル源から前記少なくとも１つの第１リアル・タイム入力ストリームを受信するステップと、
少なくとも１つのデコードした第１リアル・タイム入力ストリームを生成するために前記第１リアル・タイム入力ストリームをデコードするステップと、
少なくとも１つのディジタル化第１リアル・タイム入力ストリームを生成するために、前記少なくとも１つのデコードした第１リアル・タイム入力ストリームをディジタル化するステップと、
前記少なくとも１つの第２入力ストリームを受信するステップと、
少なくとも１つのデコードした第２入力ストリームを生成するために、前記少なくとも１つの第２入力ストリームをデコードするステップと、
少なくとも１つの第２ディジタル化入力ストリームを生成するために、前記少なくとも１つのデコードした第２入力ストリームをディジタル化するステップと、
ユーザから少なくとも１つの制御コマンドを受信するステップと、
前記少なくとも１つのディジタル化第１リアル・タイム入力ストリームを、リアル・タイムでディインターレースするステップと、
少なくとも１つの出力ストリームを生成するために、前記少なくとも１つのデコードした第１リアル・タイム入力ストリームからの少なくとも１つの画像を、前記少なくとも１つのデコードした第２入力ストリームの少なくとも１つの画像と、リアル・タイムで組み合わせるステップと、
前記少なくとも１つの出力ストリームを、リアル・タイムでエンコードするステップと、
を備えている、方法。
【請求項２】
請求項１記載の方法において、前記第１リアル・タイム入力ストリームは立体画像を含む、方法。
【請求項３】
請求項１記載の方法において、前記少なくとも１つの組み合わせストリームは、立体画像を含む、方法。
【請求項４】
請求項１記載の方法において、前記少なくとも１つの出力ストリームのエンコードは、Ｓ−ＶＧＡフォーマット・ストリームを生成する、方法。
【請求項５】
請求項１記載の方法において、前記少なくとも１つの出力ストリームのエンコードは、Ｓ−ビデオ・フォーマット・ストリームを生成する、方法。
【請求項６】
請求項１記載の方法において、前記少なくとも１つの第１リアル・タイム入力ストリームは、Ｓ−ビデオ・フォーマットである、方法。
【請求項７】
請求項１記載の方法において、前記少なくとも１つの制御コマンドは、ＵＳＢフォーマットである、方法。
【請求項８】
請求項１記載の方法において、前記少なくとも１つの第１リアル・タイム入力ストリームは、ＲＧＢフォーマットである、方法。
【請求項９】
請求項１記載の方法において、前記少なくとも１つの第２入力ストリームは、Ｓ−ビデオ・フォーマットである、方法。
【請求項１０】
請求項１記載の方法において、前記少なくとも１つの第２入力ストリームは、Ｓ−ＶＧＡフォーマットである、方法。
【請求項１１】
請求項１記載の方法において、前記少なくとも１つの第１リアル・タイム入力ストリームを、前記少なくとも１つのディジタル源の左チャネルによって供給する、方法。
【請求項１２】
請求項１記載の方法において、前記少なくとも１つの第１リアル・タイム入力ストリームを、前記少なくとも１つのディジタル源の右チャネルによって供給する、方法。
【請求項１３】
請求項１記載の方法であって、更に、
前記少なくとも１つの制御コマンドにしたがって少なくとも１つの出力チャネルを生成するために、前記少なくとも１つの第１入力ストリームと前記少なくとも１つの第２入力ストリームとをルーティングするステップと、
前記デコード、ディジタル化、ディインターレース、組み合わせ、およびエンコードのステップを、出力ストリーム毎に別個に実行するステップと、
を備えている、方法。
【請求項１４】
請求項１３記載の方法において、前記ルーティングは、Ｓ−ビデオ信号およびＲＧＢ信号について別個に実行する、方法。
【請求項１５】
請求項１３記載の方法において、前記少なくとも１つの出力ストリームを、主頭部装着ディスプレイの左チャネルとして提示する、方法。
【請求項１６】
請求項１３記載の方法において、前記少なくとも１つの出力ストリームを、主要頭部装着ディスプレイの右チャネルとして提示する、方法。
【請求項１７】
請求項１３記載の方法において、前記少なくとも１つの出力ストリームを、回転式頭部装着ディスプレイの左チャネルとして提示する、方法。
【請求項１８】
請求項１３記載の方法において、前記少なくとも１つの出力ストリームを、回転式頭部装着ディスプレイの右チャネルとして提示する、方法。
【請求項１９】
請求項１３記載の方法において、前記少なくとも１つの出力ストリームは、Ｓ−ビデオ・フォーマットである、方法。
【請求項２０】
請求項１３記載の方法において、前記少なくとも１つの出力ストリームを記録のために用いる、方法。
【請求項２１】
請求項１記載の方法において、前記組み合わせるステップは、前記デコードした第１リアル・タイム入力ストリームからの少なくとも１つの画像の少なくとも１つの部分を、前記デコードした第２入力ストリームからの少なくとも１つの画像の少なくとも１つの部分と置き換える、方法。
【請求項２２】
請求項１記載の方法において、前記組み合わせるステップは、前記少なくとも１つのデコードした第２入力ストリームからの少なくとも１つの画像の少なくとも１つの部分を、前記少なくとも１つのデコードした第１リアル・タイム入力ストリームからの少なくとも１つの画像の少なくとも１つの部分と置き換える、方法。
【請求項２３】
請求項１記載の方法において、前記組み合わせるステップは、少なくとも１つの組み合わせ画像を作成し、該組み合わせ画像は、前記少なくとも１つのデコードした第１入力ストリームからの少なくとも１つの第１画像と、前記少なくとも１つのデコードした第２入力ストリームからの少なくとも１つの第２画像との合成を含み、前記少なくとも１つの第１画像および前記少なくとも１つの第２画像を、正の透過度で提示する、方法。
【請求項２４】
請求項１記載の方法であって、更に、
少なくとも１つの回転ストリームを生成するために、前記少なくとも１つの第１デコード・リアル・タイム入力ストリームを回転するステップと、
前記少なくとも１つの回転ストリームを、Ｓ−ビデオ・フォーマットにエンコードするステップと、
前記少なくとも１つの回転ストリームと、前記少なくとも１つの組み合わせストリームとをルーティングするステップと、
少なくとも１つの主Ｓ−ビデオ出力ストリームを生成するために、前記ルーティングステップの出力をエンコードするステップと、
を備えている、方法。
【請求項２５】
少なくとも１つの組み合わせストリームをリアル・タイムで生成し、観察および操作作業における提示のために前記少なくとも１つの組み合わせストリームをリアル・タイムで変換する装置であって、前記少なくとも１つの組み合わせストリームは、観察および操作作業中に少なくとも１つのディジタル源によって取り入れた少なくとも１つの第１リアル・タイム入力画像ストリームを、少なくとも１つの第２画像ストリームと組み合わせたものであり、前記装置は、
前記少なくとも１つの第１および前記少なくとも１つの第２入力ストリームと、前記少なくとも１つの組み合わせストリームとを、少なくとも１つのユーザのコマンドにしたがってルーティングする制御コンポーネントと、
前記少なくとも１つのユーザのコマンドおよびデータを、前記装置のコンポーネント間で転送するローカル・バスと、
少なくとも１つのチャネル処理コンポーネントと、
を備えており、前記少なくとも１つのチャネル処理コンポーネントが、
少なくとも１つの第１デコード入力ストリームを生成する第１デコーダと、
前記少なくとも１つの第１デコード入力ストリームを変換する第１アナログ／ディジタル変換器と、
少なくとも１つの第２デコード入力ストリームを生成する第２デコーダと、
前記少なくとも１つの第２デコード入力ストリームを変換する第２アナログ／ディジタル変換器と、
前記第１入力ストリームをリアル・タイムでディインターリーブするディインターレーサ・コンポーネントと、
前記第１デコード入力ストリームを前記少なくとも１つの第２デコード入力ストリームと組み合わせることによって、前記少なくとも１つの組み合わせストリームを生成する組み合わせコンポーネントと、
前記少なくとも１つの組み合わせストリームをリアル・タイムでエンコードする少なくとも１つのエンコーダと、
を備えている、装置。
【請求項２６】
請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームは、立体画像を含む、装置。
【請求項２７】
請求項２５記載の装置において、前記少なくとも１つの組み合わせストリームは、立体画像を含む、装置。
【請求項２８】
請求項２５記載の装置において、前記少なくとも１つのディジタル源は、ディジタル顕微鏡である、装置。
【請求項２９】
請求項２５記載の装置において、前記少なくとも１つのディジタル源は、光学顕微鏡上のアドオン・カメラである、装置。
【請求項３０】
請求項２５記載の装置において、前記少なくとも１つのエンコーダは、Ｓ−ＶＧＡフォーマットのストリームを生成する、装置。
【請求項３１】
請求項２５記載の装置において、前記少なくとも１つのエンコーダは、Ｓ−ビデオ・フォーマットのストリームを生成する、装置。
【請求項３２】
請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームは、Ｓ−ビデオ・フォーマットである、装置。
【請求項３３】
請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームは、ＲＧＢフォーマットである、装置。
【請求項３４】
請求項２５記載の装置において、前記少なくとも１つの第２入力ストリームは、Ｓ−ビデオ・フォーマットである、装置。
【請求項３５】
請求項２５記載の装置において、前記少なくとも１つの第２入力ストリームは、Ｓ−ＶＧＡフォーマットである、装置。
【請求項３６】
請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームを、前記少なくとも１つのディジタル源の左チャネルによって供給する、装置。
【請求項３７】
請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームを、前記少なくとも１つのディジタル源の右チャネルによって供給する、装置。
【請求項３８】
請求項２５記載の装置であって、更に、前記制御コマンドにしたがって少なくとも１つの出力ストリームを生成するために、前記少なくとも１つの第１リアル・タイム入力ストリームと、前記少なくとも１つの第２入力ストリームをルーティングする、少なくとも１つのビデオ・マトリクスを備えている、装置。
【請求項３９】
請求項３８記載の装置において、前記ビデオ・マトリクスは、１６×８クロス・ポイント・スイッチである、装置。
【請求項４０】
請求項３８記載の装置において、前記ビデオ・マトリクスは、ＲＧＢ８×８クロス・ポイント・スイッチである、装置。
【請求項４１】
請求項３８記載の装置において、前記少なくとも１つの出力ストリームを、主要頭部装着ディスプレイの左チャネルとして提示する、装置。
【請求項４２】
請求項２５記載の装置において、前記少なくとも１つの出力ストリームを、主要頭部装着ディスプレイの右チャネルとして提示する、装置。
【請求項４３】
請求項２５記載の装置において、前記少なくとも１つの出力ストリームを、回転型頭部装着ディスプレイの左チャネルとして提示する、装置。
【請求項４４】
請求項２５記載の装置において、前記少なくとも１つの出力ストリームを、回転型頭部装着ディスプレイの右チャネルとして提示する、装置。
【請求項４５】
請求項２５記載の装置において、前記少なくとも１つの出力ストリームは、Ｓ−ビデオ・フォーマットである、装置。
【請求項４６】
請求項２５記載の装置において、前記少なくとも１つの出力ストリームを記録のために用いる、装置。
【請求項４７】
請求項２５記載の装置において、前記組み合わせるステップは、前記少なくとも１つのデコード第１リアル・タイム入力ストリームからの少なくとも１つの画像の少なくとも１つの部分を、前記少なくとも１つのデコード第２入力ストリームからの少なくとも１つの画像の少なくとも１つの部分と置き換える、装置。
【請求項４８】
請求項２５記載の装置において、前記組み合わせコンポーネントは、前記少なくとも１つのデコード第２ストリーム入力からの少なくとも１つの画像の少なくとも１つの部分を、前記少なくとも１つのデコード第１リアル・タイム入力ストリームからの少なくとも１つの画像の少なくとも１つの部分と置き換える、装置。
【請求項４９】
請求項２５記載の装置において、前記組み合わせコンポーネントは、少なくとも１つの組み合わせ画像を出力し、該少なくとも１つの組み合わせ画像は、前記少なくとも１つのデコードした第１入力ストリームからの少なくとも１つの第１画像と、前記少なくとも１つのデコードした第２入力ストリームからの少なくとも１つの第２画像との合成を含み、前記少なくとも１つの第１画像および前記少なくとも１つの第２画像を、正の透過度で提示する、装置。
【請求項５０】
請求項２５記載の装置であって、更に、
少なくとも１つの回転ストリームを生成するために、前記少なくとも１つの第１デコード・リアル・タイム入力ストリームを回転する回転コンポーネントと、
前記少なくとも１つの回転ストリームをＳ−ビデオ・フォーマットにエンコードするエンコーダと、
前記少なくとも１つの回転ストリームと、前記少なくとも１つの組み合わせストリームとをルーティングするルータと、
少なくとも１つの主Ｓ−ビデオ出力フォーマットを生成するために、前記少なくとも１つの回転ストリームと、前記少なくとも１つの組み合わせストリームとをエンコードするエンコーダと、
を備えている、装置。
【請求項５１】
観察および操作作業の間、リアル・タイムのオフライン視覚情報を取り込んで提示する装置であって、
少なくとも１つのリアル・タイム画像ストリームを供給する少なくとも１つのディジタル源と、
少なくとも１つの画像ストリームを供給する少なくとも１つの追加の画像源と、
前記少なくとも１つのリアル・タイム画像源を、前記少なくとも１つの追加の画像源が供給する前記少なくとも１つの画像ストリームと組み合わせることによって、少なくとも１つの組み合わせストリームを生成するビデオ・インターフェース・ユニットと、
少なくとも１つの第１頭部装着ディスプレイ・デバイスと、
ユーザ入力と少なくとも１つのコマンドとを受信し、前記入力および少なくとも１つのコマンドを前記ビデオ・インターフェース・ユニットに転送するシステム管理デバイスと、
を備えている、装置。
【請求項５２】
請求項５１記載の装置において、前記少なくとも１つのディジタル源は、ディジタル顕微鏡である、装置。
【請求項５３】
請求項５１記載の装置において、前記少なくとも１つのディジタル源は、光学顕微鏡上のアドオン・カメラである、装置。
【請求項５４】
請求項５１記載の装置であって、更に、Ｓ−ビデオ・フォーマットのストリームを表示するディスプレイ・デバイスを備えている、装置。
【請求項５５】
請求項５１記載の装置であって、更に、Ｓ−ビデオ・フォーマとのストリームを記録する記録デバイスを備えている、装置。
【請求項５６】
請求項５１記載の装置であって、更に、前記少なくとも１つの組み合わせストリームを、前記第１頭部装着ディスプレイのように表示する、第２頭部装着ディスプレイ・デバイスを備えており、各画像を既定の角度だけ回転させる、装置。
【請求項５７】
請求項５１記載の装置において、前記少なくとも１つの追加画像源は、ナビゲーションおよび視覚化システムである、装置。
【請求項５８】
請求項５１記載の装置において、前記少なくとも１つの追加の画像源は、ＣＴスキャナである、装置。
【請求項５９】
請求項５１記載の装置において、前記少なくとも１つの追加の画像源は、ＭＲＩスキャナである、装置。
【請求項６０】
請求項５１記載の装置において、前記少なくとも１つの追加の画像ストリーム源は、映像アーカイブである、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、観察および操作作業中における動的撮像に関し、特に、外科ナビゲーション・システム(surgery navigation system)からの画像を、立体映像ディジタル顕微鏡のような電子撮像システムからの画像と組み合わせる装置に関する。
【背景技術】
【０００２】
外科一般、特に脳神経外科のような観察および操作作業を行うための環境では、現在様々な種類の撮像、取り込み、および提示(presentation)機器が装備されている。例えば、ディジタル顕微鏡のような光電取り込みツールは、リアル・タイムで倍率可変の高分解能立体画像を供給し、観察および操作作業を行っているか、またはそれに参加しているユーザの頭部に装着した専用ディスプレイ上に、取り込んだ画像を立体的に提示(present)する。別の描写選択肢では、ナビゲーション・システムの使用を伴う。ナビゲーション・システムは、表示すべき操作または観察対象の領域が分かっており、関連する領域の画像または画像のストリームを供給する。非限定的な一例では、ナビゲーション・システムは、通例、ワンド(wand)、ディジタル顕微鏡、内視鏡、患者の身体上における固定点等のような所定の物体の位置を追跡し、関連領域を描写する、予め取得してある立体映像情報を提示する。関連領域は、追跡される機器によって異なり、顕微鏡の位置ならびにその現在のズームおよび拡大パラメータによって決定され、ディジタル顕微鏡によって取り込まれた物体の一部や、操作している物体に取り付けられたマーカの領域等である。また、ユーザは、他の領域、例えば、ユーザに露出している表面の下にある物体を提示する立体映像情報を視認することに関心がある可能性もある。ナビゲーション・システムは、ＭＲＩまたはＣＴスキャンのような、予め取得してあるデータからの関連立体映像情報、ＵＳのような２Ｄ画像、ディジタルＸ線のような投影画像等を抽出し、ユーザが視認可能な画面上にそれを提示する。別の例では、内視鏡は、リアル・タイムの視認画像を、ナビゲーション・システムと同じ画面、または更に別の画面上に提示する。追加の視覚情報が、直接ＣＴまたはＭＲＩのような医療用撮像デバイス、または画像アーカイブ等から到達し、更に別の画面上に提示することができる。
【０００３】
その成果は、ユーザが豊富な関連視覚情報を有し、この情報の一部は動作に先だって取得されしたがって一定であるものの、他の部分はリアル・タイムで変化しつつあり、手術の間様々な所望の光景(view)および情報が得られることである。したがって、入手可能な情報はむしろ分散される。例えば、ユーザが視認する表面の下にある物体を描画する立体映像データを、ナビゲーション・システムによって検索して視認するためには、ユーザは以下のことを行う必要がある。彼または彼女の頭部を光学顕微鏡から起こし、あるいは、ＨＭＤが用いられている場合、ディジタル顕微鏡で動作している領域を視認するために用いている頭部装着ディスプレイ（ＨＭＤ）を取り外して彼または彼女の頭部を起こし、彼または彼女の目をズームおよび光条件に再調節し、提示されている映像を試験し、再度頭部を光学顕微鏡まで下げ、またはＨＭＤを装着し、光学顕微鏡またはＨＭＤの光およびズーム条件を再調節する。前述の一連の行動全体を通じて、ユーザは、彼または彼女が保持しているツールで患者を傷つけていないことを確認することも必要である。彼または彼女の手を持ち上げ次いで再度それらを下げることによって、患者を傷つける可能性が最も高いからである。全体的に見て、手術の間ＨＭＤ以外の情報源を見ることにより、手術の経緯に対する注意力が非常に散漫となり、したがってこれらの情報源を最適に使用できていないことを暗示している。        
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、当技術分野では、脳神経外科医のような観察および操作作業を行う人が、ディジタル顕微鏡からのような、リアル・タイムの立体視覚情報を、多様な情報源からの追加の視覚情報と共に、同じディスプレイ上に融合またはその他の方法で調和して視認できるようにするシステムが求められている。
【課題を解決するための手段】
【０００５】
本発明は、立体映像ディジタル源からのデータを、追加のディジタル撮像デバイスと組み合わせ、組み合わせたデータを提示する方法および装置に関する。本発明の一形態は、１つ以上の組み合わせストリームをリアル・タイムで生成し、観察および操作作業における提示のために１つ以上の組み合わせストリームを変換する方法に関し、１つ以上の組み合わせストリームは、観察および操作作業中に１つ以上のディジタル源によって取り入れた１つ以上の第１リアル・タイム入力画像ストリームを、１つ以上の第２画像ストリームとを組み合わせたものである。本方法は、１つ以上のディジタル源から１つ以上の第１リアル・タイム入力ストリームを受信するステップと、１つ以上のデコードした第１リアル・タイム入力ストリームを生成するために第１リアル・タイム入力ストリームをデコードするステップと、１つ以上のディジタル化第１リアル・タイム入力ストリームを生成するために、１つ以上のデコードした第１リアル・タイム入力ストリームをディジタル化するステップと、１つ以上の第２入力ストリームを受信するステップと、１つ以上のデコードした第２入力ストリームを生成するために、１つ以上の第２入力ストリームをデコードするステップと、１つ以上の第２ディジタル化入力ストリームを生成するために、１つ以上のデコードした第２入力ストリームをディジタル化するステップと、ユーザから１つ以上の制御コマンドを受信するステップと、１つ以上のディジタル化第１リアル・タイム入力ストリームを、リアル・タイムでディインターレースするステップと、１つ以上の出力ストリームを生成するために、１つ以上のデコードした第１リアル・タイム入力ストリームからの１つ以上の画像を、１つ以上のデコードした第２入力ストリームと、リアル・タイムで組み合わせるステップと、１つ以上の出力ストリームを、リアル・タイムでエンコードするステップとを備えている。第１の１つ以上のリアル・タイム入力ストリーム、または１つ以上の組み合わせストリームは、立体画像を含むことができる。出力ストリームのエンコードは、Ｓ−ＶＧＡフォーマット・ストリームまたはＳ−ビデオ・フォーマット・ストリームを生成することができる。１つ以上の制御コマンドは、ＵＳＢフォーマットとすることができる。１つ以上の第１リアル・タイム入力ストリームは、ＲＧＢフォーマットとすることができる。１つ以上の第２入力ストリームは、Ｓ−ビデオ・フォーマット、またはＳ−ＶＧＡフォーマットとすることができる。１つ以上の１つの第１リアル・タイム入力ストリームは、１つ以上のディジタル源の左チャネルによって、または右チャネルによって供給することができる。本方法は、更に、１つ以上の制御コマンドにしたがって１つ以上の出力チャネルを生成するために、１つ以上の第１入力ストリームと１つ以上の第２入力ストリームとをルーティングするステップと、デコード、ディジタル化、ディインターレース、組み合わせ、およびエンコードのステップを、出力ストリーム毎に別個に実行するステップとを備えることができる。ルーティングは、Ｓ−ビデオ信号およびＲＧＢ信号について別個に実行することができる。１つ以上の出力ストリームを、主頭部装着ディスプレイまたは回転式頭部装着ディスプレイの左チャネルまたは右チャネルとして提示することができる。１つ以上の出力ストリームは、Ｓ−ビデオ・フォーマットとすることができる。１つ以上の出力ストリームを記録のために用いることができる。組み合わせるステップは、１つ以上のデコードした第１リアル・タイム入力ストリームからの１つ以上の画像の１つ以上の部分を、１つ以上のデコードした第２入力ストリームからの１つ以上の画像の１つ以上の部分と置き換えることができる。組み合わせるステップは、１つ以上のデコードした第２入力ストリームからの１つ以上の画像の１つ以上の部分を、１つ以上のデコードした第１リアル・タイム入力ストリームからの１つ以上の画像の１つ以上の部分と置き換えることができる。組み合わせるステップは、１つ以上の組み合わせ画像を作成することができ、前記組み合わせ画像は、１つ以上のデコードした第１入力ストリームからの１つ以上の第１画像と、１つ以上のデコードした第２入力ストリームからの１つ以上の第２画像との合成から成り、１つ以上の第１画像および１つ以上の第２画像を、正の透過度で提示する。前述の方法は、更に、１つ以上の回転ストリームを生成するために、１つ以上の第１デコード・リアル・タイム入力ストリームを回転するステップと、１つ以上の回転ストリームを、Ｓ−ビデオ・フォーマットにエンコードするステップと、１つ以上の回転ストリームと、１つ以上の組み合わせストリームとをルーティングするステップと、１つ以上の主Ｓ−ビデオ出力ストリームを生成するために、ルーティングステップの出力をエンコードするステップとを備えることができる。
【０００６】
開示する発明の別の形態は、１つ以上の組み合わせストリームをリアル・タイムで生成し、観察および操作作業における提示のために１つ以上の組み合わせストリームを変換する装置に関し、前記１つ以上の組み合わせストリームは、観察および操作作業中に１つ以上のディジタル源によって取り入れた１つ以上の第１リアル・タイム入力画像ストリームを、１つ以上の第２画像ストリームとを組み合わせたものである。本装置は、１つ以上の第１および１つ以上の第２入力ストリームと、１つ以上の組み合わせストリームとを、１つ以上のユーザのコマンドにしたがってルーティングする制御コンポーネントと、１つ以上のユーザのコマンドおよびデータを、本装置のコンポーネント間で転送するローカル・バスと、１つ以上のチャネル処理コンポーネントとを備えており、１つ以上のチャネル処理コンポーネントは、１つ以上の第１デコード入力ストリームを生成する第１デコーダと、１つ以上の第１デコード入力ストリームを変換する第１アナログ／ディジタル変換器と、１つ以上の第２デコード入力ストリームを生成する第２デコーダと、１つ以上の第２デコード入力ストリームを変換する第２アナログ／ディジタル変換器と、第１入力ストリームをリアル・タイムでディインターリーブするディインターレーサ・コンポーネントと、第１デコード入力ストリームを１つ以上の第２デコード入力ストリームと組み合わせることによって、１つ以上の組み合わせストリームを生成する組み合わせコンポーネントと、１つ以上の組み合わせストリームをリアル・タイムでエンコードするエンコーダとを備えている。１つ以上の第１リアル・タイム入力ストリーム、または１つ以上の組み合わせストリームは、立体画像を含むことができる。１つ以上のディジタル源は、ディジタル顕微鏡、または光学顕微鏡上のアドオン・カメラとすることができる。１つ以上のエンコーダは、Ｓ−ＶＧＡフォーマットのストリーム、またはＳ−ビデオ・フォーマットのストリームを生成することができる。１つ以上の第１リアル・タイム入力ストリームは、Ｓ−ビデオ・フォーマット、またはＲＧＢフォーマットとすることができる。１つ以上の第２入力ストリームは、Ｓ−ビデオ・フォーマット、またはＳ−ＶＧＡフォーマットとすることができる。１つ以上の第１リアル・タイム入力ストリームを、１つ以上のディジタル源の左チャネルまたは右チャネルによって供給することができる。本装置は、更に、制御コマンドにしたがって１つ以上の出力ストリームを生成するために、１つ以上の第１リアル・タイム入力ストリームと、１つ以上の第２入力ストリームをルーティングする、１つ以上のビデオ・マトリクスを備えることができる。１つ以上のビデオ・マトリクスは、１６×８クロス・ポイント・スイッチ、またはＲＧＢ８×８クロス・ポイント・スイッチとすることができる。１つ以上の出力ストリームは、主要頭部装着ディスプレイまたは回転型頭部装着ディスプレイの左チャネルまたは右チャネルとして提示することができる。１つ以上の出力ストリームは、Ｓ−ビデオ・フォーマットとすることができる。１つ以上の出力ストリームを記録のために用いることができる。組み合わせるステップは、１つ以上のデコード第１リア��・タイム入力ストリームからの１つ以上の画像の１つ以上の部分を、１つ以上のデコード第２入力ストリームからの１つ以上の画像の１つ以上の部分と置き換えることができる。組み合わせるステップは、１つ以上のデコード第２ストリーム入力からの１つ以上の画像の１つ以上の部分を、１つ以上のデコード第１リアル・タイム入力ストリームからの１つ以上の画像の１つ以上の部分と置き換えることができる。組み合わせコンポーネントは、１つ以上の組み合わせ画像を出力し、１つ以上の組み合わせ画像は、１つ以上のデコードした第１入力ストリームからの１つ以上の第１画像と、１つ以上のデコードした第２入力ストリームからの１つ以上の第２画像との合成から成り、１つ以上の第１画像および１つ以上の第２画像を正の透過度で提示する。本装置は、更に、１つ以上の回転ストリームを生成するために、１つ以上の第１デコード・リアル・タイム入力ストリームを回転する回転コンポーネントと、１つ以上の回転ストリームをＳ−ビデオ・フォーマットにエンコードするエンコーダと、１つ以上の回転ストリームと、１つ以上の組み合わせストリームとをルーティングするルータと、１つ以上の主Ｓ−ビデオ出力フォーマットを生成するために、１つ以上の回転ストリームと、１つ以上の組み合わせストリームとをエンコードするエンコーダとを備えることができる。
【０００７】
１．本発明の更に別の形態は、観察および操作作業の間、リアル・タイムのオフライン視覚情報を取り込んで提示する装置に関し、この装置は、１つ以上のリアル・タイム画像ストリームを供給する１つ以上のディジタル源と、１つ以上の画像ストリームを供給する１つ以上の追加の画像源と、１つ以上のリアル・タイム画像源を、１つ以上の追加の画像源が供給する１つ以上の画像ストリームと組み合わせることによって、１つ以上の組み合わせストリームを生成するビデオ・インターフェース・ユニットと、１つ以上の第１頭部装着ディスプレイ・デバイスと、ユーザ入力と１つ以上のコマンドとを受信し、前記入力および１つ以上のコマンドをビデオ・インターフェース・ユニットに転送するシステム管理デバイスとを備えている。１つ以上のディジタル源は、ディジタル顕微鏡、または光学顕微鏡上のアドオン・カメラとすることができる。本装置は、更に、Ｓ−ビデオ・フォーマットのストリームを表示するディスプレイ・デバイス、またはＳ−ビデオ・フォーマとのストリームを記録する記録デバイスを備えることができる。本装置は、更に、１つ以上の組み合わせストリームを、第１頭部装着ディスプレイのように表示する、第２頭部装着ディスプレイ・デバイスを備えることができ、各画像を既定の角度だけ回転させる。１つ以上の追加画像源は、ナビゲーションおよび視覚化システムである。１つ以上の追加の画像源は、ＣＴスキャナ、またはＭＲＵスキャナ、映像アーカイブとすることができる。
【０００８】
本発明の一層深い理解および認識が、図面と関連付けた、以下の詳細な説明から得られよう。
【発明を実施するための最良の形態】
【０００９】
外科一般、そして特に脳神経外科のような、観察および操作作業の間に種々の情報源からのリアル・タイム関連情報を１つのディスプレイ上に提示する装置および方法。本装置は、ディジタル顕微鏡または従来の顕微鏡に追加するアドオン・システム、あるいはその他のいずれかの立体ビデオ画像源というような、ディジタル源から取り入れたリアル・タイム画像を、医療用スキャナによる動作の前に取得しナビゲーション・システムによって検索した立体映像データの視覚的提示(visual presentation)、あるいはアーカイブから検索した画像と組み合わせて提示する。提示される画像は相補的である、即ち、同一領域または関連領域を描画する。例えば、ディジタル顕微鏡は、外科医に露出した表面を示すが、ナビゲーション・システムは、外科医が見ることができない、表面下にある物体を示すことができる。また、本装置は、外科医が物体を除去することによって変化した表面の更新モデルを構築し、新たに作成された表面と一致する立体情報を検索する。開示する発明の別の形態は、提示画像の色方式の変更に関する。現在、光学顕微鏡またはディジタル顕微鏡によって取り込まれる画像は、取り込まれたままの色で提示されている。しかしながら、ある種の腫瘍は、腫瘍の種類に特定した色方式を用いると、それらの環境から一層良く区別することができる。一旦外科医が腫瘍の種類を認識したなら、正しい色方式を用い、ディジタル画像に適用することができる。これによって、外科医が腫瘍を周囲の組織から区別するのに役立つように腫瘍を提示する。
【００１０】
これより図１を参照すると、提案する装置および関連する方法を実施する環境の一例が示されている。このシステムの中核は、ビデオ・インターフェース・ユニット（ＶＩＵ）１０４である。ユニット１０４は、種々の画像源から到達する画像を操作し、これらを種々の提示デバイスに送る。ＶＩＵ１０４は、種々の画像源からストリームおよび画像を受信し、これらを処理し組み合わせ、出力ストリームを作成する。ＶＩＵ１０４の入力は、以下のコンポーネントの１つ以上、即ち、ディジタル源１０８、好ましくはディジタル顕微鏡のカメラ・モジュール、または従来の顕微鏡に追加される２つのアドオン・カメラ、例えば、通信線１１２に沿って、Ｓ−ビデオまたはＲＧＢのような、ストリーミング・フォーマットで信号を送る、Surgivision社が製造するＩＯシステムから来る。ディジタル源１０８の出力は、ディジタル顕微鏡が取り込んだ物体のリアル・タイム画像のストリームから成る。本システムは、更に、通信線(communication lime)１２８に沿って、−ビデオ・フォーマットの信号も送る、内視鏡のような、リアル・タイム撮像ツール１２４も備えている。リアル・タイム撮像ツール１２４は、観察および操作作業を受ける物体のリアル・タイム画像も供給する。Medtronic社が製造するTreonのようなナビゲーション・システムまたはその他の視覚化システム１１６が、通信線１２０に沿ってＳ−ＶＧＡフォーマットの画像を送る。ナビゲーションまたは視覚化システム１１６によって供給された画像は、一般には、作業の前またはその最中に取り入れられ、通例数日から数秒前の画像である。ＶＩＵ１０４は、システム管理デバイスであるシステム・コンピュータ１６０から制御信号およびデータを受信する。加えて、システム・コンピュータ１６０は、ＶＩＵ１０４に、ＣＴまたはＭＲＩスキャナのようなオフライン撮像ツール１３３からの画像ファイル、およびアーカイブ１３２からの追加画像を転送する。非限定的な例では、ＵＳＢフォーマットのような、しかるべきプロトコルであればいずれであっても、データを受信する。制御信号は、非限定的な例では、どの画像源をユーザが使いたいかの指示、彼または彼女が種々の画像源の映像およびその他の関連パラメータを見たい様式を含む。映像アーカイブが提供する画像ファイル、および画像に関するグラフィック・エレメントのような追加の視覚情報は、然るべきフォーマットで転送する。
【００１１】
ＶＩＵ１０４は、画像を１つ以上の種類の１つ以上のディスプレイに出力する。ディスプレイの一種は、例えば、Surgivision社が製造するCallistoである。これは、主席外科医に着装するデバイスであり、ディジタル顕微鏡で取り込んだ画像を、他の画像と融合または配合して表示することができる。別の種類のディスプレイに回転式ＨＭＤデバイス１３３があり、ディジタル顕微鏡に対して、手術を受ける人の逆側に立っている別のスタッフ・メンバが着装することができる。頭部装着ディスプレイ１３６および１４４は、Ｓ−ビデオ・フォーマットの画像ストリームを受信する。出力画像の更に別の宛先は、Philips社が製造するＤＶＤ−Ｒのような、記録／表示デバイス１５２である。記録／表示デバイスは、Ｓ−ＶＧＡフォーマットのストリームを受信する。システム・コンピュータ１６０は、どの画像源を提示すべきか、どの提示デバイスを使うべきか、そしてどの提示モードにするかについての入力をユーザから取り入れる。ユーザのコマンドは、しかるべきフォーマットでＶＩＵ１０４に転送する。
【００１２】
典型的な非限定環境では、ＶＩＵ１０４は２組のストリームおよび画像を受信する。１つが各入力源の左（第１）チャネルからであり、１つが各入力源の右（第２）チャネルからである。出力デバイスによっては、ＶＩＵ１０４は２つのストリームを生成することもある。非限定的に、これらを左（第１）チャネルおよび右（第２）チャネルと呼ぶ。左出力チャネルの画像が第１入力チャネルの画像およびストリームの製作物である必要はない。双方の出力ストリームは、１つ以上の入力チャネルからの同一のまたは異なる視覚データを収容することができる。
【００１３】
これより図２を参照すると、ＶＩＵ１０４の内部構造が示されている。ＶＩＵ１０４は、パネル・ボード１６４と、第１チャネル・ボード１６８と、第２チャネル・ボード１７２とを備えている。ローカル・バス１７３が３つのボードを接続する。パネル・ボード１６４は、ＵＳＢインターフェース・コンポーネントのような、インターフェース・コンポーネントを備えており、しかるべきフォーマットの入力を受信する。入力は、環境に対Ａする好ましい設定値に関する制御信号、アーカイブからの画像ファイル、および画像に関する追加情報を含む。画像情報は、規定の側にも規定のボードにも関係付けられていないので、本装置は、単一のパネル・ボードを備えている。典型的な非限定環境では、第１チャネル・ボードは、出力デバイスの第１チャネルのために出力を生成し、第２チャネル・ボードは、出力デバイスの第２チャネルのために出力を生成する。
【００１４】
これより図３および図４を参照すると、第１および第２チャネル・ボードの内部構造が記述されている。図３の右側および図４の左側においてＡ、Ｂ、Ｃ、およびＤで印した点は、図３および図４間における接続点を示す。線４００は、線の上に示されている第１チャネル・ボードのコンポーネントを、線の下に示されている第２チャネル・ボードのコンポーネントから分離している。図３に見られるように、第２および第２チャネル・ボードは同一であるので、そのコンポーネントは互いの複製である。この複製は、以下で詳細に説明するビデオ・マトリクス２０８および２１６を除外する。これらは、両チャネルに共通であり、したがってこれらの各々の１つの実例のみをシステムでは用いる。
【００１５】
これより図３および図４の上位部分を参照して、ＶＩＵの第１チャネル・ボードについて説明する。システムへの主１第１入力１７６は、ディジタル顕微鏡のカメラ・モジュールの第１チャネルから到達するリアル・タイム・ストリームである。主１第１入力１７６はＳ−ビデオ・フォーマットとなっている。補助１第１入力１８０は、任意選択肢で、Ｓ−ビデオ・フォーマットの別のリアル・タイム・ストリームを搬送する。非限定の例では、この補助１は、内視鏡のような、図１のリアル・タイム・ビューイング・ツール１２４によって生成する。リアル・タイム・ビューイング・ツールが立体である場合、補助第１入力１８０は第１ストリームを搬送して入力し、補助１第２入力２８０は第２ストリームを搬送して入力する。そうでない場合、補助１第１  １８０および補助１第２  ２８０は同じ信号を搬送する。補助２第１入力１８４は、Ｓ−ＶＧＡフォーマットの入力信号を導入する。この入力は、例えば、図１のナビゲーションまたは視覚化システムから来るか、あるいは図１のオフライン撮像ツール１３３から来る。Ｓ−ＶＧＡ信号は、ＶＧＡ−ＮＴＳＣ／Ｐａｌ変換器２００において、Ｓ−ビデオ・フォーマットへの変換を受ける。主２第１入力１８８は、ディジタル顕微鏡がＲＧＢ信号を出力する場合、ディジタル顕微鏡、または光学顕微鏡に追加されるアドオン・カメラからの第１チャネルを導入する。主１第１入力１７６、補助１第１入力、および補助２第１入力１８４は、対応する第２入力、即ち、主１第２入力２７６、補助１第２入力２８０、および補助２第２  ２８４と共に、信号１８９を第１ビデオ・マトリクス２０８に入力する。第１ビデオ・マトリクス２０８は、限定ではないが、１６×８クロス・ポイント・スイッチであることが好ましい。第１ビデオ・マトリクス２０８は、チャネル入力を、システム・コンピュータ１６０からの命令にしたがって、出力チャネルにルーティングする。第１ビデオ・マトリクス２０８は、本装置における画像およびストリーム源全ての第１チャネルおよび第２チャネル双方を受信するので、ユーザが相応しいと見なすのであればいずれの方法でも、これらを混合することができ、例えば、所望の画像源からのストリームの画像を選択し、第１チャネル入力の全てを第１チャネル出力に受け渡し、第２チャネル入力の全てを第２チャネル出力に受け渡す。別の例では、第１チャネル入力を双方の出力に受け渡したり、あるいはその他のいずれの組み合わせでもよい。当業者には、多数の画像源および２組以上の入力を組み合わせる可能性が分かるであろう。主２第１入力１８８および主２第２入力２８８は、第２ビデオ・マトリクス２１６によってルーティングされる、ＲＧＢフォーマットの信号を搬送する。第２ビデオ・マトリクス２１６は、限定ではないが、ＲＧＢ８×８クロス・ポイント・スイッチであることが好ましい。ＲＧＢ信号は、フォーマットが異なるために、第１ビデオ・マトリクス２０８によってではなく、第２ビデオ・マトリクス２１６によってルーティングする。第２ビデオ・マトリクス２０８と同様に、第２ビデオ・マトリクス２１６は、信号１８９を通じて受信するユーザの命令にしたがって、第１および第２ＲＧＢ信号を第１および��２出力にルーティングする。スイッチの全ての入力および全ての出力はアナログである。第１チャネル・ボード上では、第１ビデオ・マトリクス２０８は２つの信号を出力する。第１出力は、ディジタル顕微鏡からのデータを収容する、第１Ｓ−ビデオ信号２１３である。信号２１３には、ＮＴＳＣ／ＰＡＬデコード、アナログ／ディジタル（Ａ／Ｄ）変換、およびＹＵＶ４：２：２フォーマットへの圧縮が、主ＮＴＳＣ／ＰＡＬデコーダ２２０において行われ、主第１Ｓ−ビデオ信号２２１となる。第１ビデオ・マトリクス２０８の第２出力は、第１ｓ−ビデオ２  ２１４であり、これには、ＮＴＳＣ／ＰＡＬデコード、Ａ／Ｄ変換、およびＹＵＶ４：２：２フォーマットへの圧縮が、副ＮＴＳＣ／ＰＡＬデコーダ２２４において行われ、副第１ＹＵＶ４：２：２信号２３５となる。第２ビデオ・マトリクス２１６の出力は、代わりのディジタル顕微鏡の信号を収容する、ＲＧＢ第１入力２１５となる。
【００１６】
ＮＴＳＣ／ＰＡＬデコーダ２２０および２２４は、入力信号２１３および２１４のオーディオ、ビデオ、および同期成分をそれぞれ抽出し、Ａ／Ｄ変換器はアナログ・オーディオおよびビデオ信号をディジタルに変換する。第１ＲＧＢ入力２１５がある場合、ＲＧＢ  Ａ／Ｄ変換器２２８においてＡ／Ｄ変換を受け、第１ＲＧＢ信号２３３を出力する。一般に、本装置は１台のディジタル顕微鏡を用い、ディジタル顕微鏡はＳ−ビデオまたはＲＧＢ信号のいずれかを出力するので、主ＮＴＳＣ／ＰＡＬデコーダ２２０の出力信号２２１およびＲＧＢ  Ａ／Ｄ変換器２３３の出力信を、交互にスイッチ２２２によって切り換え、主第１ＲＧＢ信号２３４を生成する。主第１ＲＧＢ信号２３４は、イスラエル国、YokneamのOPLUS社が生産するMatisseのような、リアル・タイム・ディインターレーサ・ローテータ・チップ(real-time de-interlacer rotator chip)２３２に入力する。ディインターレーサ・ローテータ・チップ２３２は、信号をインターレース・フォーマットからプログレシブ（即ち、１ライン毎）フォーマットに変換し、ＵＳＢ信号によって画像を回転するように命令された場合にそれを行う。チップ２３２は、５０Ｈｚの回転第１プログレシブＲＧＢ信号２４８を出力する。これはエンコーダ２６４への入力となる。エンコーダ２６４の出力は、回転Ｓ−ＶＧＡ第１信号であり、回転ＨＭＤの第１チャネルに導かれる。ディインターレーサ・ローテータ・チップ２３２は、５０Ｈｚの主第１プログレシブＲＧＢ信号２４０も出力する。信号２４０は、非インターレースおよび非回転である。信号２４０は、副第１ＹＵＶ４：２：２信号２３５と共に、イスラエル国、YokneamのOPLUS社が製造するRembrandtのような、リアル・タイム・ピクチャ・イン・ピクチャ（ＰＩＰ）チップ即ち配合チップ２４４に送られる。チップ２４４は、ＵＳＢによって転送される命令にしたがって、信号２４０および２３５を組み合わせる。この組み合わせは、多数のフォーマットの１つである、ＰＩＰ提示を採用する。この場合、１つの信号の画像が、他の信号の画像の一部をなす矩形上に提示される。別の可能性は、同じディスプレイ・リアル・エステート上に双方のストリームを提示することであり、この場合、各ストリームの画像はある程度の透過性を有し、双方のストリームが同時に視認できるようにする。当業者には、双方のストリームからの画像を組み合わせる他の提示モードも同様に生成可能であるという事実が認められよう。チップ２４４の出力は、８５Ｈｚの出力第１プログレシブＲＧＢ信号２５２である。主第１プログレシブＲＧＢ信号２４０および出力第１プログレシブ信号２５２は、スイッチ２５６に入力され、スイッチ２５６は入力信号を、ＵＳＢ入力コマンドによって命令される通りに、出力にルーティングする。ディスプレイおよび記録デバイスに導かれる出力２６０は、Ｓ−ビデオ・フォーマットである必要があり、したがってエンコーダ２６９に導かれる。エンコーダ２６９はプログレシブ信号をインターレース信号に変換する。主Ｓ−ＶＧＡディスプレイに導かれる必要があるスイッチ２５６の出力２６１は、エンコーダ２６８においてエンコードされ、本装置の主ＨＭＤの第１チャネルに導かれる。当業者には、本システムの��力の、即ち、回転Ｓ−ＶＧＡ第１  ２７５、主Ｓ−ＶＧＡ第１  ２７７、および主Ｓ−ビデオ第１  ２７９いずれでも、提示デバイスが関連フォーマットを表示可能であれば、多数の提示デバイスに導くことができるという事実が認められよう。第２チャネル・ボードは、第１チャネル・ボードと同一である。これより図３および図４の下位部分を参照して、ＶＩＵの第２チャネル・ボードについて説明する。システムへの主１第２入力２７６は、ディジタル顕微鏡のカメラ・モジュールの第２チャネルから到達するリアル・タイム・ストリームである。主１第２入力２７６は、Ｓ−ビデオ・フォーマットである。補助１第２入力１８０は、任意選択肢で、Ｓ−ビデオ・フォーマットの別のリアル・タイム・ストリームを搬送する。非限定的な例では、この入力は、内視鏡のような、図１のリアル・タイム撮像ツール１２４によって生成する。リアル・タイム・ビューイング・ツールが立体である場合、第１入力１８０は第１ストリームを搬送して入力し、一方補助１第２入力２８０は第２ストリームを搬送して入力する。そうでない場合、補助１第１  １８０および補助１第２  ２８０は同じ信号を搬送する。補助２第２入力１８４は、Ｓ−ＶＧＡフォーマットの入力信号を導入する。この入力は、例えば、図１のナビゲーションまたは視覚化システム１１６、あるいは図１のオフライン撮像ツール１３３から来る。Ｓ−ＶＧＡ信号には、Ｓ−ビデオ・フォーマットへの変換が、ＶＧＡ−ＮＴＳＣ／Ｐａｌ変換器３００において行われる。主２第２入力２８８は、ディジタル顕微鏡の第２チャネルを導入する。この場合、ディジタル顕微鏡はＲＧＢ信号を出力する。前述のように、第１ビデオ・マトリクス２０８および第２ビデオ・マトリクス２１６は、多数の画像およびストリーム源の第１および第２チャネルをルーティングする。第２チャネル・ボード上では、第１ビデオ・マトリクス２０８は２つの信号を出力する。第１出力は、ディジタル顕微鏡からのデータを収容する、第２Ｓ−ビデオ信号３１３である。信号３１３には、主ＮＴＳＣ／ＰＡＬデコード、アナログ／ディジタル（Ａ／Ｄ）変換、およびＹＵＶ４：２：２への圧縮が、主ＮＴＳＣ／ＰＡＬデコーダ３２０において行われ、主第２Ｓ−ビデオ信号３２１となる。第１ビデオ・マトリクス２０８の第２出力は、ｓ−ビデオ２  ３１４となり、ＮＴＳＣ／ＰＡＬデコード、Ａ／Ｄ変換、およびＹＵＶ４：２：２フォーマットへの圧縮が、副ＮＴＳＣ／ＰＡＬデコーダ３２４において行われ、副第２ＹＵＶ４：２：２信号３３５となる。
【００１７】
第２ビデオ・マトリクス２１６の出力は、代替ディジタル顕微鏡の信号を収容する、ＲＧＢ第２入力である。
【００１８】
ＮＴＳＣ／ＰＡＬデコーダ３２０および３２４は、それぞれ、入力信号３１３および３１４のオーディオ、ビデオ、および同期成分を抽出し、Ａ／Ｄ変換は、アナログ・オーディオおよびビデオ信号をディジタルに変換する。第２ＲＧＢ入力３１５がある場合、ＲＧＢ  Ａ／Ｄ変換器３２８においてＡ／Ｄ変換が行われ、第２ＲＧＢ信号３３３を出力する。一般に、本装置は１台のディジタル顕微鏡を用い、ディジタル顕微鏡はＳ−ビデオまたはＲＧＢ信号のいずれかを出力するので、主ＮＴＳＣ／ＰＡＬデコーダ３２１の出力信号およびＲＧＢ  Ａ／Ｄ変換器３３３の出力信を、交互にスイッチ３２２によって切り換え、主第２ＲＧＢ信号３３４を生成する。主第２ＲＧＢ信号３３４は、イスラエル国、YokneamのOPLUS社が生産するMatisseのような、リアル・タイム・ディインターレーサ・ローテータ・チップ３３２に入力する。ディインターレーサ・ローテータ・チップ３３２は、信号をインターレース・フォーマットからプログレシブ（即ち、１ライン毎）フォーマットに変換し、ＵＳＢ信号によって画像を回転するように命令された場合にそれを行う。チップ３３２は、５０Ｈｚの回転第１プログレシブＲＧＢ信号３４８を出力する。これはエンコーダ３６４への入力となる。エンコーダ３６４の出力は、回転Ｓ−ＶＧＡ第２信号であり、回転ＨＭＤの第２チャネルに導かれる。ディインターレーサ・ローテータ・チップ３３２は、５０Ｈｚの主第１プログレシブＲＧＢ信号３４０も出力する。信号３４０は、非インターレースおよび非回転である。信号３４０は、副第１ＹＵＶ４：２：２信号３３５と共に、イスラエル国、YokneamのOPLUS社が製造するRembrandtのような、リアル・タイム・ピクチャ・イン・ピクチャ（ＰＩＰ）チップ即ち配合チップ３４４に送られる。チップ３４４は、ＵＳＢによって転送される命令にしたがって、信号３４０および３３５を組み合わせる。このストリームは、第１チャネルについて論じたのと同じ形態、即ち、ある透過性で配合するＰＩＰ、または他のいずれの形式でも採用することができる。チップ３４４の出力は、８５Ｈｚの出力第１プログレシブＲＧＢ信号３５２である。主第２プログレシブＲＧＢ信号３４０および出力第２プログレシブ信号３５２は、スイッチ３５６に入力され、スイッチ３５６は入力信号を、ＵＳＢ入力コマンドによって命令される通りに、出力にルーティングする。ディスプレイおよび記録デバイスに導かれる出力３６０は、Ｓ−ビデオ・フォーマットである必要があり、したがってエンコーダ３６９に導かれる。エンコーダ３６９はプログレシブ信号をインターレース信号に変換する。主Ｓ−ＶＧＡディスプレイに導かれる必要があるスイッチ３５６の出力３６１は、エンコーダ３６８においてエンコードされ、本装置の主ＨＭＤの第２チャネルに導かれる。
【００１９】
以上紹介した装置および方法は、ディジタル顕微鏡が取り込む視野のリアル・タイム表示を行う。利用可能な表示デバイスは、Ｓ−ＶＧＡストリームを提示可能な立体映像ＨＭＤデバイス、別の視点から視野を見る人の便益のためにＳ−ＶＧＡストリームを提示可能な立体映像回転ＨＭＤデバイス、ｓ−ビデオ・フォーマットをサポートするコンピュータまたは記録デバイスである。取り込んだストリームは、そのまま、あるいはナビゲーションおよび視覚化システムのようなその他の画像源、ＭＲＩまたはＣＴスキャナのような医療撮像デバイス、画像アーカイブ等の画像またはストリームと組み合わせて提示される。組み合わせるプレゼンテーションの選択肢には、ピクチャ・イン・ピクチャ・プレゼンテーション、同じディスプレイ上に提示される異なる発生源の画像の配合等を含み、各映像は部分的に透過性、立体映像、非立体映像等であることが可能である。提示するストリームおよび画像の発生源、所望のディスプレイ、および表示モードは、ユーザによって決定され、しかるべきフォーマットで本システムに提示される。
【００２０】
本発明は、異なるフォーマットのストリームおよび画像、ならびに更に別の形式のディスプレイとでも使用可能であることは、当業者には認められよう。
【００２１】
本発明は、これまでに特定的に示しそして説明したものには限定されないことは、当業者には認められよう。逆に、本発明の範囲は、特許請求の範囲によってのみ規定されるものとする。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明を用いる環境例の模式図である。
【図２】図２は、ビデオ・インターフェース・ユニットの模式図である。
【図３】図３は、第１および第２チャネル・ボードのブロック図を示す。
【図４】図４は、第１および第２チャネル・ボードのブロック図を示す。
【図１】
2007536953.tif 000003
【図２】
2007536953.tif 000004
【図３】
2007536953.tif 000005
【図４】
2007536953.tif 000006
【国際調査報告】
2007536953.tif 000007