(57)【特許請求の範囲】
【請求項１】
画像システムであって、
シーン情報を電子信号に変換し、前記信号を伝送するために、シーンをモニターするためのカメラと、
前記カメラから前記信号を受信し、前記信号に対する画像処理ルーチンを実行し、前記シーンに関する情報を表わす処理信号を生成するためのプロセッサと、
前記処理信号を受信し、前記処理信号を表示画像に変換するための表示装置で、観察者が前記表示装置を通して実際のシーンと前記シーンの前記表示画像の両方を見ることが可能な表示装置とを含むことを特徴とする、画像システム。
【請求項２】
対象物の画像を表示するための方法であって、
カメラを使用して対象物からの光を電子信号に変換し、
前記対象物の位置を追尾し、
観察者の位置を追尾し、
前記対象物と観察者との相対位置を補償するために前記電子信号を処理し、
前記処理された信号を画像に変換し、
前記観察者が前記画像を前記対象物に重ね合わせて見ることが可能なように前記画像を表示することを特徴とする、前記方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は画像処理システムの分野に関わり、更に詳細には頭部に装着する方式の画像処理並びに表示システムとその方法に関する。
【０００２】
【従来の技術】
観察者が物体の特徴並びに空間的関係を観察するのを支援する為に、写真や電子的に記憶された画像を用いるのが有効な場合がしばしば存在する。観察者が探し出したいと思ったり、または見たいと思う特徴はしばしばぼんやりとしていたり、または肉眼では探し出すのが困難であったりする。
【０００３】
一例は外科手術を行う場合である。外科医は手術の開始前に対象領域の写真または電子画像を撮る。画像は事前の診断検査、例えば磁気共鳴画像（ＭＲＩ）またはコンピュータ断層画像（ＣＡＴ）から得られる。外科医はこの画像を手術中に処置のガイドとして参照する。例えば、腫瘍の摘出処置の開始前に腫瘍の画像が撮られる。手術中に外科医は、腫瘍を探し出す際の助けとして、または腫瘍全部が除去されたことを確認するために画像を参照できる。
【０００４】
【発明の目的と要約】
本発明は観察者に対し、観察者の視界を妨げずまた観察者が対象物から目を離す必要もなく、画像情報を提供するための方法並びに装置を提供する。本発明のひとつの実施例では、コンピュータで生成した画像を使用者の視界内に使用者の視野を妨げることなく表示する画像システムを提供する。これにより使用者は対象物から目を離すことなく画像を見ることが可能となる。更に、使用者が見る画像は正しい視角または視点を有するように操作される。コンピュータで生成した画像を、使用者が見ている実際の画像に重ね合わせて、使用者がコンピュータ生成画像を、使用者が実際に見ている対象物の眺めに関連付けることの助けとできる。
【０００５】
本発明の更に別の特長は使用者または対象物の動きをシステムで監視し、表示画像を動きに合わせて補償して変更できることである。これにより、使用者は対象物を、単に頭を動かすだけで異なる見方で見ることができる。この三次元効果は画像が、使用者の見ることの出来ない内部の特徴を示している場合に重要である。例えば、手術中に大動脈の位置に印を付けることが出来て、外科医がそれらを避けることが可能である。
【０００６】
【実施例】
記憶されている画像を観察者が視野の中の対象物を識別する際の助けとして使用することに関しては、いくつかの欠点が存在する。第一に観察者は記憶されている画像を見るために、対象物から目を離さなければならず、実行中の作業を中断し観察者の集中力を途切れさせる。第二に、観察者に提供される画像は固定された視界を有し、従って観察者は画像の視点を容易に操作することが出来ない。環境によっては、画像を観察者の視界とを関連付けることが困難である。例えば、電子機器組み立て部品の検査を行う際に、その構成部品が多数の非常に類似しているかまたは更に悪い場合には同一の構成部品で取り囲まれている場合には、検査または取り外し対象の構成部品の画像は、それほど助けにならない。
【０００７】
更に良い解決方法は、観察している対象物の上に画像を重ね合わせて、実際上対象物の輪郭を強調する事である。視力増強画像システムの多くの応用例が開示されており、例えば先に説明した、手術をガイドする為に使用する、画像の三次元情報を利用して強調された画像を生成し、外科医の視線の中に投影して外科医が患者から目を離すことなく画像を見ることを可能とすることができる。
【０００８】
図１は開示された画像システムのひとつの実施例の図式図を示す。ビデオカメラ２２は被検者、この場合は外科手術される患者、を観察し、画像の電子的描写をチャンネル３４経由で処理装置２８に転送する。ビデオカメラのを何にするかは必要とされる情報により、本発明ではクリティカルな問題ではない。例えば、カメラは白黒またはカラー、ディジタル式またはアナログであっても良く、可視光外の光に感受性を有するものであってもかまわない。アプリケーションによっては、複数のカメラを使用して処理装置に付加的な視界を送り三次元画像の生成の助けとすることが好適な場合もある。
【０００９】
オプションである患者位置センサ２４は情報を処理装置２８に伝送し、患者の動きを補償するための画像処理並びに表示機能を可能とする。注意されたいのは、対象物の位置並びに動き情報はカメラを経由して得られた画像からビジョンアルゴリズム（ｖｉｓｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）を使用して抽出できるという点である。処理装置２８は患者の特徴を追尾するとにより、位置並びに動き情報を決定できる。患者に適当な特徴が自然には存在しない場合は、コントラストの高い印を処置が始まる前に患者の上に描き、患者が処理装置２８によって光学的に追尾可能とする。
【００１０】
観察者位置センサ２６は観察者の位置を追尾し、観察者が動いたり振り向いたりして画像の異なる視界を見ることを可能とする。位置センサ２６は処理装置２８に対して視角を補償することを可能とするだけではなく、対象物から観察者への距離が変わると画像のスケールを変更し、観察者が対象物をスキャンすればスクリーン上の画像を移動させることをも可能とする。観察者と対象物の初期位置が既知の場合は、動きセンサが位置センサの代わりに使用できる。動き補償は患者の動きによって画像が歪んだりまたは塗りつぶされたりすることを防止している。
【００１１】
処理装置２８はカメラ２２またはその他の画像源からの画像を操作するための画像処理アルゴリズムを提供する。その他の画像源は図１には図示されていない、が走査された写真、ＭＲＩまたはＣＡＴ走査、その他の医療診断機器、事前の外科処置、または任意の画像装置を含むことができる。適用例によっては画像処理機能は、画像調整、特徴抽出、およびマッチングまたは相関アルゴリズム（ｃｏｒｒｅｌａｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ）が好ましい場合もある。コンピュータ生成画像は線画表現または完全な三次元画像またはこれら二つの組合せであっても良い。例えば、腫瘍は完全に描写され着色されてしそれを取り囲む組織を線枠画モデルで表現しても良い。処理装置はまた対象物のある種の特徴を強調するために虚色（ｆａｌｓｅ  ｃｏｌｏｒｉｎｇ）を使用することも可能である。文字データもまた外科医に対して、外科手術中に患者の生命徴候を通知するように表示することもできる。
【００１２】
画像データの走査に加えて、処理装置２８は外科医からの入力を受信し、外科医が興味を持つ領域に印を付け、後で分析するためのグラフィカルデータベースを構築することを可能とする。外科医からの入力はまた記憶されている情報と一緒に使用することも可能であり、特徴認識を助ける。外科医は処理装置へデータ入力を行うための任意の装置を使用でき、これらはキーボード、マウス、タッチスクリーン、トラックボール、ライトペン、または音声認識を含む。
【００１３】
処理装置２８としては任意型式の処理装置、または処理装置のグループで、画像システムが要求する、必要な画像処理および表示制御機能を行えるものであれば何でもかまわない。例えば、処理装置はテキサス・インスツルメント・マルチメディア・ビデオ処理装置（ＭＶＰ）画像処理チップを中心に設計することが可能である。処理装置は画像、対象物移動、観察者位置、そして観察者入力データを実時間で処理するための十分なスループットを持たなければならない。要求されるフレーム量はアプリケーションによって変わるが、好適には毎秒６０から１００フレームなければならないが、毎秒３０フレームまたはそれ以下でも、特に動きが非常に少ない環境によっては許容可能である。フレーム量は動的に変化し、これは画像の複雑さおよび画像処理アルゴリズムが処理能力への要求を変化させるためである。
【００１４】
処理された画像は表示装置に制御バス４０経由で送られる。表示装置は画像を観察されている対象物の上に重ね合わすように表示できる空間光変調形式のものであれば何でもかまわない。光学系３３は画像の焦点をあわせ投影するために使用されている。光源３２および光学系３３は使用される空間光変調器の型式によっては全てのアプリケーションで必要とされるわけではない。
【００１５】
表示装置、光源および光学系を含む表示システム６８のひとつの実施例が図２に示されている。源５４からの光は必要に応じてレンズ５８で集光され平行化される。集光された光５６は空間光変調器で変調される、この場合はＤＭＤアレイ６０である。反射光６２は集光され必要に応じてレンズ６４で増強される。次に光はレンズ５０で反射される。同時に対象物４６からの光４８はレンズ５０を透過することが可能である。対象物およびＤＭＤアレイからの光５２は表示システム６８の外に出、観察者によって見られる。
【００１６】
レンズ５０は一対のゴーグル、または顔面保護遮蔽の様に装着され、観察者がレンズ５０を通して対象物４６およびレンズ上に投影された画像をも見ることが出来るようにしている。レンズ５０は光を反射するように部分的に銀メッキされているか、または単に部分的に反射する表面を具備した物質でかまわない。レンズ５０は典型的には、対象物からの光の約９０％がレンズ５０を透過し、一方でＤＭＤからの反射光６６の１０％を反射するように設計されている。レンズ５０で反射および透過される光の量は適用例および対象物並びにイメージャーから得られる光の量に依存する。ＤＭＤ６０は本適用例には特に有用であり、その理由は投影された画像の明るさを広い範囲に渡って調整出来るためである。この広範な調整は観察者が画像の明るさと対象物の見やすさとの間で許容できるバランスを求めることを可能としている。
【００１７】
本発明に基づく表示システムの第二の実施例は、単に対象物からの光を減衰させるものある。この図３に図示されている第二の実施例は、ＤＭＤの代わりに液晶表示（ＬＣＤ）を使用する。光源または投影光学系を必要としないので、ＬＣＤ６７は観察者によって装着されるゴーグル６９の実際のレンズでも良い。ケーブル７１はＬＣＤを駆動するのに必要な信号を伝送する。図２の反射レンズの代わりにＬＣＤを使用することは、画像からの光を更に減衰させ、かつ観察者の可視性を減少させる。関心の対象領域は関心対象領域からの光を減衰することにより、またはこれらの関心対象を除く全ての領域からの光を減衰さることにより印を付けることが出来る。
【００１８】
手術画像システムのひつの実施例が図４に示されている。観察者７２は表示システム６８を通して対象物４６を眺める。この実施例では表示システム並びに観察者位置センサ２６は観察者７２の頭部に装着されている。対象物位置センサ２４は観察者７２またはカメラ２２いずれの視界をも妨げることなく対象物４６に取り付けられている。処理装置２８はカメラ２２、観察者位置センサ２６、および対象物位置センサ２４からデータを受信し、データを表示システム６８に送る。
【００１９】
図５は患者から異物を取り除くための手術中における、画像システムを通した視界の一例を示す。図５に於て、外科医は異物８０を患者の手８２から取り除こうとしている。文字情報８４、例えば患者の生命徴候、対象物との距離、および経過時間が表示される。関心のある対象物、この場合は外科医が避けようとしている神経８６、及び異物８０の侵入経路８８が強調されている。理解されたいのは、外科医が患者に対して移動すると、表示画像並びに患者の手の視野が一致して変化し、外科医が異物８０を除去する最善の方法を決定できるようにしていることである。
【００２０】
従って、ここまで外科画像システムに関する特定の実施例を開示してきたが、この様な特定の参照例を添付の特許請求の範囲に記載されている項目を除き、本発明の範囲を制限するものとは考えていない。更に、本発明を特定の実施例に関連して記述してきたが、本技術分野に精通の者には更なる修正が考えられることは理解されたい、全てのこの様な修正が添付の特許請求の範囲に落ちるものと意図している。
【００２１】
以上の説明に関して更に以下の項を開示する。
（１）画像システムであって、
シーン情報を電子信号に変換し、前記信号を伝送するために、シーンをモニターするためのカメラと、
前記カメラから前記信号を受信し、前記信号に対する画像処理ルーチンを実行し、前記シーンに関する情報を表わす処理信号を生成するためのプロセッサと、
前記処理信号を受信し、前記処理信号を表示画像に変換するための表示装置で、観察者が前記表示装置を通して前記シーンと前記表示画像の両方を見ることが可能な表示装置とを含む、画像システム。
【００２２】
（２）第１項記載の画像システムに於て、前記表示画像が前記観察者の視界からの前記シーンの上に重ね合わされる、前記画像システム。
【００２３】
（３）第１項記載の画像システムに於て、前記表示画像が一対のゴーグルのレンズ上に投影される、前記画像システム。
【００２４】
（４）第１項記載の画像システムに於て、前記表示画像が顔面保護遮蔽上に投影される、前記画像システム。
【００２５】
（５）第１項記載の画像システムに於て前記表示装置が空間光変調器を含み、前記観察者が前記空間光変調器を通して眺める、前記画像システム。
【００２６】
（６）第１項記載の画像システムに於て、前記表示装置がディジタル式マイクロミラー装置を含む、前記画像システム。
【００２７】
（７）第１項記載の画像システムに於て、前記表示装置が液晶表示器を含む、前記画像システム。
【００２８】
（８）第１項記載の画像システムに於て、前記表示装置が部分的に銀メッキされたレンズを含む、前記画像システム。
【００２９】
（９）第１項記載の画像システムに於て、前記表示装置が前記システムの使用者の頭に装着される、前記画像システム。
【００３０】
（１０）第１項記載の画像システムに於て、前記処理装置が前記画像処理作業を実時間で実行する、前記画像システム。
【００３１】
（１１）第１項記載の画像システムに於て、前記処理装置が前記シーンの動きを補償するように前記シーンの特徴を追尾する、前記画像システム。
【００３２】
（１２）第１項記載の画像システムが更に、前記シーン内の対象物に装着された位置センサを含み、前記処理装置と通信を行って前記処理装置が前記シーン内での前記対象物の位置をモニター出来るようにしている、前記画像システム。
【００３３】
（１３）第１項記載の画像システムが更に、前記場面内の対象物に装着された動きセンサを含み、前記処理装置と通信を行って前記処理装置が前記シーン内での前記対象物の動きを補償出来るようにしている、前記画像システム。
【００３４】
（１４）第１項記載の画像システムが更に、前記使用者に装着された位置センサを含み、前記処理装置と通信を行って前記処理装置が前記使用者の動きを補償出来るようにしている、前記画像システム。
【００３５】
（１５）第１項記載の画像システムが更に、前記使用者に装着された動きセンサを含み、前記処理装置と通信を行って前記処理装置が前記使用者の動きを補償出来るようにしている、前記画像システム。
【００３６】
（１６）第１項記載の画像システムに於て、前記表示画像が前記シーンの高いコントライトの前記シーン画像である、前記画像システム。
【００３７】
（１７）第１項記載の画像システムに於て、前記表示画像が前記場面の一部の虚色表現である、前記画像システム。
【００３８】
（１８）画像システムであって、
連続的にシーンをモニターし、シーン情報を電子信号に変換するカメラと、
前記電子信号を受信し、前記電子信号に対して画像処理を実行し、処理されたビデオ信号を出力するための処理装置と、
前記シーン内の対象物に装着され、前記対象物の位置に係わる情報を前記処理装置と通信するための位置センサと、
前記システムの使用者に装着され、前記使用者の位置に係わる情報を前記処理装置と通信するための位置センサと、
前記ビデオ信号を受信し、前記ビデオ信号を表示画像に変換する表示装置で、観察者が前記表示装置を通して表示画像を前記場面に重ね合わせて見ることの出来る、表示装置とを含む、前記画像システム。
【００３９】
（１９）対象物の画像を表示するための方法であって、
カメラを使用して対象物からの光を電子信号に変換し、
前記対象物の位置を追尾し、
観察者の位置を追尾し、
前記対象物と観察者との相対位置を補償するために前記電子信号を処理し、
前記処理された信号を画像に変換し、
前記観察者が前記画像を前記対象物に重ね合わせて見れるように前記画像を表示する、前記方法。
【００４０】
（２０）第１９項記載の方法に於て、位置センサを使用した前記対象物の位置追尾を、動きセンサによる前記対象物の動き追尾で置き換えた、前記方法。
【００４１】
（２１）第１９項記載の方法に於て、位置センサを使用した前記観察者の位置追尾を、運動センサによる前記観察者の動き追尾で置き換えた、前記方法。
【００４２】
（２２）カメラ２２を使用して入力画像を捉え、その画像を処理装置２８で処理し、処理された画像を光学系３３を使用して観察者によって観察されている実際の対象物上に重ね合わせるように投影する、ビジュアルインフォメーションシステムである。処理はリアルタイムで実行され、観察者が動いて視点を変更しても、観察者が実像並びに処理画像を共に見ることを可能としている。表示された画像内の注目領域は、強調されて表示されるか、または観察者に対するグラフィック情報を含んでもよい。
【図面の簡単な説明】
【図１】ビジュアルインフォメーションシステムのひとつの実施例を示す図。
【図２】ビジュアルインフォメーションシステムの表示機構の第一実施例を示す図。
【図３】ビジュアルインフォメーションシステムの表示機構の第二実施例を示す図。
【図４】ビジュアルインフォメーションシステムのひとつの実施例を示す図。
【図５】開示されたビジュアルインフオメーションシステムのひとつの実施例を通して見られた患者の手を示す図。
【符号の説明】
２２・・・・・・・・カメラ
２４，２６・・・・・位置センサ
２８・・・・・・・・処理装置
３０・・・・・・・・表示装置
３２，５４・・・・・光源
３３・・・・・・・・光学系
４６・・・・・・・・対象物
４０，５８，６４・・レンズ
６０・・・・・・・・空間光変調器
６７・・・・・・・・液晶表示装置
６８・・・・・・・・表示システム
６９・・・・・・・・ゴーグル
８０・・・・・・・・患者の手に入った異物
８４・・・・・・・・文字情報
８６・・・・・・・・神経
８８・・・・・・・・異物侵入経路
【図１】
0003618381.tif 000002
【図２】
0003618381.tif 000003
【図３】
0003618381.tif 000004
【図４】
0003618381.tif 000005
【図５】
0003618381.tif 000006