(57)【特許請求の範囲】
【請求項１】
少なくとも１つの集中データベースに含まれるボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをインターネット上でクライアント装置で表示するための方法であって、
ボリュームビジュアライゼーション・データセットを備えた中央データ記憶媒体を提供することと、
少なくとも１つの集中データベースと通信しそしてクライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理できる少なくとも１つのサーバを提供することと、
インターネット上で少なくとも１つのサーバおよび中央データ記憶媒体にリンクされ、ボリュームビジュアライゼーション・データセットのビューのフレームを記憶するためのローカルデータ記憶媒体を有するクライアント装置を提供することと、
ボリュームビジュアライゼーション・データセットの少なくとも一部の、複数の個別のビューフレームからなる一連の三次元仮想ビューをクライアント装置で要求することと、
ボリュームビジュアライゼーション・データセットの要求されたビューのいずれのフレームをローカルデータ記憶媒体に記憶するかを決定することと、
ローカルデータ記憶媒体に記憶されていない要求されたビューのいずれのフレームに対する要求であるかをクライアント装置からサーバへ送信することと、
要求されたビューの要求フレームを中央データ記憶媒体のボリュームビジュアライゼーション・データセットからサーバで生成することと、
要求されたビューの生成フレームをサーバからクライアント装置へ伝送することと、そして
サーバから伝送されたフレームを、ローカルデータ記憶媒体に記憶されている要求された一連のビューのいずれかのフレームと共に連続して表示することにより、ボリュームビジュアライゼーション・データセットの要求された一連の三次元仮想ビューをクライアント装置で表示することと
から構成される、方法。
【請求項２】
ボリュームビジュアライゼーション・データセットの要求された一連の三次元仮想ビューをクライアント装置で表示している間、ローカルデータ記憶媒体に記憶されたフレームがサーバから伝送されたフレームと同調して表示される、請求項１に記載の方法。
【請求項３】
ボリュームビジュアライゼーション・データセットはオブジェクトを通って離間した間隔で得られる複数の断面イメージから構成される、請求項１に記載の方法。
【請求項４】
各々がボリュームビジュアライゼーション・データセットの全部または一部を含む複数の中央データ記憶媒体を提供することを含み、そして要求された一連のビューの要求フレームをボリュームビジュアライゼーション・データセットから生成して伝送するデータ記憶媒体を選択することを含む、請求項１に記載の方法。
【請求項５】
以前にローカルデータ記憶媒体に記憶されていない要求された一連のビューのサーバから伝送された１つまたはそれ以上のフレームをクライアント装置のローカルデータ記憶媒体に記憶することを含む、請求項１に記載の方法。
【請求項６】
少なくとも１つの集中データベースに含まれるボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをインターネット上でクライアント装置で表示するための方法であって、
ボリュームビジュアライゼーション・データセットを備えた中央データ記憶媒体を提供することと、
少なくとも１つの集中データベースと通信しそしてクライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理できる少なくとも１つのサーバを提供することと、
インターネット上で少なくとも１つのサーバおよび中央データ記憶媒体にリンクされ、ボリュームビジュアライゼーション・データセットのビューのフレームを記憶するためのローカルデータ記憶媒体を有するクライアント装置を提供することと、
ボリュームビジュアライゼーション・データセットの少なくとも一部の少なくとも１つの三次元仮想ビューをクライアント装置で要求することと、
ボリュームビジュアライゼーション・データセットの要求された少なくとも１つのビューのいずれのフレームをローカルデータ記憶媒体に記憶するかを、
クライアント装置によるボリュームビジュアライゼーション・データセットの三次    元仮想ビューの要求の固有識別キーを生成することと、
クライアント装置による前回の要求の三次元仮想ビューの固有識別キーをローカル    データ記憶媒体に記憶することと、
クライアント装置による現在の要求の三次元仮想ビューの固有識別キーをクライア    ント装置による前回の要求の三次元仮想ビューの記憶された固有識別キーと比較する    ことと、
現在および前回の固有識別キーの値が等しくなるときを決定することと、
値が等しいとき、前回の要求の三次元仮想ビューの記憶されたフレームをローカル    データ記憶媒体から表示することと、そして
値が等しくないとき、クライアント装置による現在の要求の三次元仮想ビューのサ    ーバから伝送されたフレームを表示することと
により決定することと、
ローカルデータ記憶媒体に記憶されていない要求された少なくとも１つのビューのいずれのフレームに対する要求であるかをクライアント装置からサーバへ送信することと、
要求された少なくとも１つのビューの要求フレームを中央データ記憶媒体のボリュームビジュアライゼーション・データセットからサーバで生成することと、
要求された少なくとも１つのビューの生成フレームをサーバからクライアント装置へ伝送することと、そして
サーバから伝送されたフレームか或いはローカルデータ記憶媒体に記憶されている要求された一連のビューのいずれかのフレームを表示することによりボリュームビジュアライゼーション・データセットの要求された少なくとも１つの三次元仮想ビューをクライアント装置で表示することと
から構成される、方法。
【請求項７】
クライアント装置による前回の要求の三次元仮想ビューの固有識別キーを前回の要求の三次元仮想ビューの記憶されたフレームと関連付けることをさらに含む、請求項６に記載の方法。
【請求項８】
値が等しいとき、ローカルデータ記憶媒体の前回の要求の三次元仮想ビューの記憶されたフレームの位置を決定し、そしてその位置を用いて記憶されたフレームを表示する、請求項６に記載の方法。
【請求項９】
少なくとも１つの集中データベースに含まれたボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをクライアント装置で表示するための方法であって、
ボリュームビジュアライゼーション・データセットを含む少なくとも１つの中央データ記憶媒体を提供することと、
少なくとも１つの集中データベースと通信し、クライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理することができる少なくとも１つのサーバを提供することと、
インターネット上でサーバと中央記憶媒体とにリンクされるクライアント装置を提供することと、
ボリュームビジュアライゼーション・データセットの少なくとも一部の複数の三次元仮想ビューに対する要求をクライアント装置からサーバへ送信することとであって、複数のビューが複数の個別のビューフレームから構成され、要求が、より低位のフレームソリュージョンのときに、フレームのより低位のイメージ品質パラメータに対する要求と、より高位のフレームソリュージョンのときに、フレームのより高位の品質パラメータに対する要求とを含むことと、
サーバで、ボリュームビジュアライゼーション・データセットから要求されたフレームをより低位のイメージ品質パラメータで生成し、より低位のイメージ品質パラメータフレームをクライアント装置へ伝送することと、
要求されたより低位のイメージ品質パラメータフレームの少なくとも一部をクライアント装置で表示することと、
サーバで、ボリュームビジュアライゼーション・データセットから要求されたフレームをより高位のイメージ品質パラメータフレームを生成し、より高位のイメージ品質パラメータフレームをクライアント装置へ伝送することと、そして
要求されたより高位のイメージ品質パラメータフレームをクライアント装置で表示することと
から構成され、そして
より低位のイメージ品質パラメータフレームをクライアント装置へ伝送したのち、サーバがより高位のイメージ品質パラメータフレームをクライアント装置へ伝送する間、クライアント装置はより低位のイメージ品質パラメータフレームを表示する、
方法。
【請求項１０】
クライアント装置はより低位のイメージ品質パラメータフレームの表示を完了する前により高位のイメージ品質パラメータフレームを表示する、請求項９に記載の方法。
【請求項１１】
クライアント装置はより低位のイメージ品質パラメータフレームの表示を完了した後により高位のイメージ品質パラメータフレームを表示する、請求項９に記載の方法。
【請求項１２】
フレームは圧縮ビデオストリームとしてサーバからクライアント装置に伝送される、請求項９に記載の方法。
【請求項１３】
フレームは１つまたはそれ以上の単一フレームとしてサーバからクライアント装置に伝送される、請求項９に記載の方法。
【請求項１４】
少なくとも１つの集中データベースに含まれたボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをクライアント装置で表示するための方法であって、
ボリュームビジュアライゼーション・データセットを含む少なくとも１つの中央データ記憶媒体を提供することと、
少なくとも１つの集中データベースと通信し、クライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理することができるサーバを提供することと、
インターネット上でサーバと中央記憶媒体とにリンクされるクライアント装置を提供することと、
複数の個別のビューフレームから構成される、ボリュームビジュアライゼーション・データセットの少なくとも一部の一連の三次元仮想ビューをクライアント装置で要求することと、
要求された一連の三次元仮想ビューを異なったグループのフレームにクライアント装置で分離することと、
第１グループのフレームに対する要求をクライアント装置からサーバに送る一方、第２グループのフレームに対する要求をサーバに遅延して送ることと、
サーバで、ボリュームビジュアライゼーション・データセットから要求された第１グループのフレームを生成して、第１グループのフレームをクライアント装置へ伝送することと、
要求された第１グループのフレームをクライアント装置で表示する一方、クライアント装置からサーバに第２グループのフレームに対する要求を同時に送ることと、
サーバで、ボリュームビジュアライゼーション・データセットから要求された第２グループのフレームを生成して、クライアント装置が第１グループのフレームを表示している間にクライアント装置に第２グループのフレームを伝送することと、そして
要求された一連の三次元仮想ビューの適切な継続的表示を維持するように、第１グループのフレームに続いて直ちに要求された第２グループのフレームをクライアント装置で表示することと
から構成される、方法。
【請求項１５】
少なくとも１つの集中データベースと通信してクライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理できる複数のサーバを備え、クライアント装置との間、およびサーバと中央記憶媒体との間の複数の通信を制御するセキュリティ装置をさらに備える、請求項１４に記載の方法。
【請求項１６】
以前のグループのフレームが表示されている間に次続のグループのフレームに対する要求をクライアント装置からサーバへ送ることと、要求された第２グループのフレームをボリュームビジュアライゼーション・データセットからサーバで生成することと、クライアント装置が以前のグループのフレームを表示している間に第２グループのフレームをクライアント装置に伝送することと、そして、適当な連続した表示を維持するように要求された次続のグループのフレームを以前のグループのフレームに続いてクライアント装置で直ちに表示することとをさらに含む、請求項１４に記載の方法。
【請求項１７】
クライアント装置とサーバとは待ち時間を有するネットワークにより接続され、要求されたグループのフレームは待ち時間に従ってクライアント装置からサーバへの送信時に遅延される、請求項１４に記載の方法。
【請求項１８】
フレームのグループは圧縮ビデオストリームとしてサーバからクライアント装置に伝送される、請求項１４に記載の方法。
【請求項１９】
第１グループのフレームに対する要求はフレームのためのより低位のイメージ品質パラメータに対する要求を含み、そして、第１グループのフレームを要求されたより低位のイメージ品質パラメータでクライアント装置に伝送した後に、サーバがより高位のイメージ品質パラメータでフレームをクライアント装置に伝送する、請求項１４に記載の方法。
【請求項２０】
クライアント装置がボリュームビジュアライゼーション・データセットのビューのフレームを記憶するためのローカルデータ記憶媒体を有し、そして、クライアント装置で要求されたフレームをローカルデータ記憶媒体に記憶することを含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願〕
本出願は、２００９年５月２８日に出願された米国仮出願番号第６１／１８１，６９５号の優先権を主張する。
【０００２】
本発明は、１つまたはそれ以上の集中データベースに含まれたボリュームビジュアライゼーション・データセットの、インターネットで伝送された一連の三次元仮想ビューをクライアントのコンピュータで表示するための方法およびシステムに関する。
【背景技術】
【０００３】
医療用スキャンの簡便なアクセスに対する要求は増大しており、これらの大容量スキャンを解釈実行するより簡単かつより高速なウェイに対する期待が増している。科学技術は患者看護の改善と同様により良好な診断および予後を導き出し得る現在の二次元（２Ｄ）スキャンからより高度な三次元（３Ｄ）ビューを提供するように存在している。しかしながら、現用のソリュージョンはユビキタスであるべき３Ｄには非現実的である。
【０００４】
患者の身体のコンピュータ断層撮影（ＣＴ）スキャンまたは磁気共鳴断層撮影（ＭＲＩ）スキャンは、インターネット上で伝送されるときに時間のかかる大容量の３Ｄデータセットになる。スキャンは、典型的に、患者の身体または臓器のような身体の一部の離間された二次元平面断面である。これらまたはその他の目的物のスキャンは、コンピュータまたはその他の専用プロセッサにより受け入れ可能な、どちらか言うと通常のデータ記憶媒体にボリュームビジュアライゼーション・データセットとして記憶される。スキャンはスキャン目的物に表れる連続して配列された平行なイメージであると仮定すると、ボリュームビジュアライゼーション・データセットの３Ｄ仮想ビューは特定の位置および角度で目的物の体積を通って切断された面を選定することにより作成される。選定された面はスキャンに或いはスキャンにある角度を持って平行である。位置はスキャンされた目的物の体積内のいかなる場所でもよい。３Ｄ仮想イメージは、所望の透視ビューを示す３Ｄオブジェクトの二次元表現であり、そして、目的物の深さまたは目的物を直角方向に通って選択された面のビューの後方を示すイメージを含む。
【０００５】
ダイナミック３Ｄビューを生成することは、生の２Ｄスキャンを３Ｄに処理し、生のスキャンから関心ある特徴を分離するように処理する必要がある。それ故、３Ｄを可能にするためには、ユーザのコンピュータか専用のサーバのいずれかは、この処理能力を十分に維持するように高能力である必要があり、２Ｄスキャンは高速通信リンクを介してユーザのコンピュータに直接利用できる必要がある。ホスピタル・アンド・イメージングセンタのような施設は、ソフトウェア、ハードウェア、およびネットワーク基盤を提供し、彼ら内科医の３Ｄへのアクセスを可能にするＩＴ運営を支持する必要がある。このことは高額となり、選ばれた幾つかだけがこのような「贅沢」な機能性を彼ら内科医に提供する管理負担を追加する。本発明は、経済的規模を豊富に適用できる低バンド幅のウェブポータルを介して大容量の医療用スキャンを受信し、記憶し、処理しそして表示するために、共通および集中型基盤の方法およびシステムを教示することによりこの制限を克服する。
【０００６】
特に辺地の低バンド幅で高待ち時間状況のウェブポータルを介するインターネット接続は、３Ｄで提供されるユーザ情報の双方向性をより高めることができる。待ち時間、すなわち、特定のポイントから要求に応答する別のポイントへのデータのパケットの移送を行う時間的な遅延は、低バンド幅のインターネット通信を有するユーザにとって特に問題である。他に断らない限り、用語「低バンド幅」は約１．５Ｍｂｐｓ以下の通信速度を言い、そして用語「高待ち時間」は約１２５ｍｓ以上の応答時間を言う。ユーザは任意にかつ動的に生成されたビューを要求し得る。この要求は、通常、処置のために生のスキャンデータがユーザのコンピュータに示される必要があることを命じる。大容量の３Ｄ、四次元（４Ｄ）、またはそれより高次元のスキャンのために、回収または処理用の生のスキャンは低バンド幅ネットワーク上では非実用的であり不可能である。（４Ｄにおけるスキャンは３Ｄの時間変化の形式で、或いは１つに組み合わされたＰＥＴおよびＣＴスキャナ・データセットのような、２つのデータセットの組合せ結果として現れる。また、ＰＥＴ−ＣＴが組み合わされそして時間成分を有する場合、これは非常に大きなデータセットを伴う５Ｄスキャンと言うことができる。）クラウス・エンゲルにより「イメージストリーミング技術を用いた遠隔３Ｄ可視化（Remote 3D Visualization using Image-streaming Techniques）」で発表されたものは、ユーザの機械装置に生のスキャンを受信させる必要なしにウェブ上でクライアントとサーバのインタラクションを介して、いかにしてボリュームビジュアライゼーションを得ることができかを教示している。しかしながら、このような技術は双方向式のフレームレートで情報を与えるのに十分なバンド幅および低待ち時間ネットワークを必要とする。このことは辺地にとって医療用スキャンに高度な可視化フォーマットで双方向の接続を得ることに問題がある。
【０００７】
さらに、医療サービスプロバイダは６年間またはそれ以上の医療記録の保管を要求されており、そして最大限の保安と漏洩防止を持ってそれを行わなければならない。このことは経費が高騰し、そしてＩＴ、物理的空間および費用管理制限できるように施設に管理負担を加える。末端効果は施設の運営がその場限りの処置を残すことである。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Remote 3D Visualization using Image-streaming Techniques (National Science Foundation発行, 1999年)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来技術の問題点および欠点に鑑み、本発明の目的は次の１つまたはそれ以上のものを提供することにある。１）特に、いかなるインターネット接続において大容量の医療用スキャンおよびその他のボリュームビジュアライゼーション・データセットの可視化ための双方向ウェブアプリケーションのために、標準的なインターネットの固有特性である低バンド幅および高待ち時間の制限を解消しそしてバンド幅の使用を最適化できる方法およびシステム。２）豊富な規模の経営を適用できるウェブポータルを介して大容量の医療用スキャンを受信、記憶、処理および表示するために共通および集中化基盤を提供することにより保安および漏洩防止の下で医療記録を長時間保持する問題を解消する方法およびシステム。
【００１０】
本発明のさらに別の目的および利点は本明細書からある程度明らかとなるであろう。
【課題を解決するための手段】
【００１１】
上述および当業者にとって自明なその他の目的の一つまたはそれ以上は、本発明において達成され、それは、少なくとも１つの集中データベースに含まれるボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをインターネット上でクライアント装置で表示するためのシステムを指向しており、遠隔地からボリュームビジュアライゼーション・データセットを受け入れて集中データベースに確実に伝送するための少なくとも１つの送信機と、ボリュームビジュアライゼーション・データセットを含む少なくとも１つの中央データ記憶媒体と、少なくとも１つの集中データベースと通信し、クライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理することができる複数のサーバとから構成される。本システムはまた、複数のサーバの負荷バランスを取るためのリソースマネージャ装置と、クライアント装置と、サーバとの間、リソースマネージャと中央記憶媒体との間の複数の通信を制御するセキュリティ装置と、集中データベース、複数のサーバ、少なくとも１つのリソースマネージャおよび少なくとも１つのセキュリティ装置を収容するための少なくとも１つの物理的に固定されたサイトとを含む。本システムはさらに、ボリュームビジュアライゼーション・データセットの仮想ビューに対する少なくとも１つのユーザの要求を遠隔地で受け付け、その要求を少なくとも１つのサーバに伝送し、当該少なくとも１つのサーバから生成仮想ビューを受領し、遠隔地のユーザに当該生成仮想ビューを表示することによりユーザの要求を満足させるように適合されたウェブアプリケーションを含む。
【００１２】
システム保護サイトはＳＡＳ７０タイプII対応或いは同等な監査済または検査済データセンタであってもよい。離隔した物理的位置に配置された複合的な保護サイトはインターネットを介して接続される。
【００１３】
ウェブアプリケーションはウェブブラウザのドメインネームアドレスまたはドメインネームシステムによるリソースマネージャの保護サイトＩＰアドレスを用いることにより保護サイトを選定することもできる。ウェブアプリケーションは診断用イメージ表示目的のための医療用装置であってもよい。ウェブアプリケーションは要求を少なくとも１つのサーバに伝送する前に、認可されたユーザの認証情報を用いて確認することもできる。
【００１４】
認証されたウェブアプリケーションは認証済みユーザにより視認可能なボリュームビジュアライゼーション・データセットをリストアップしてもよく、そしてボリュームビジュアライゼーション・データセットを選択することにより仮想ビュー表示を開始することもできる。ボリュームビジュアライゼーション・データセットの仮想ビューに対する要求はＸＭＬドキュメントまたはハイパーテキスト転送プロトコルセキュア（ＨＴＴＰＳ）上のウェブサーバを用いることもできる。
【００１５】
ウェブアプリケーションはリソースマネージャ装置と通信することもでき、そしてリソースマネージャ装置により少なくとも１つのサーバに割り当ててもよい。ウェブアプリケーションはユーザの要求を満足させるようにサーバとインタラクションを開始するように適合され、そしてアクティブＸコンポーネント、ジャバアプレットまたはジャバスクリプト、フラッシュまたはシルバーライト或いはその他のウェブブラウザスクリプト化可能な言語であってもよい。
【００１６】
本システムはさらに、要求および生成された仮想ビューが伝送される暗号化通信接続を含むこともできる。暗号化通信接続はＳＳＬ／ＴＬＳを用いることもでき、そしてＳＳＬ／ＴＬＳでのみ接続される安全な通信ポートをさらに含むこともできる。
【００１７】
別の観点において、本発明は、少なくとも１つの集中データベースに含まれるボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをインターネット上でクライアント装置に表示するための方法を指向する。本方法は、ボリュームビジュアライゼーション・データセットを備えた中央データ記憶媒体を提供することと、少なくとも１つの集中データベースと通信しそしてクライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理できる少なくとも１つのサーバを提供することと、インターネット上で少なくとも１つのサーバおよび中央データ記憶媒体にリンクされ、ボリュームビジュアライゼーション・データセットのビューのフレームを記憶するためのローカルデータ記憶媒体を有するクライアント装置を提供することとから構成される。本方法は次いで、ボリュームビジュアライゼーション・データセットの少なくとも一部の少なくとも１つの三次元仮想ビューをクライアント装置で要求することと、ボリュームビジュアライゼーション・データセットの要求された少なくとも１つのビューのいずれかのフレームがローカルデータ記憶媒体に記憶されたときを決定することと、ローカルデータ記憶媒体に記憶されていない要求された少なくとも１つのビューのいずれかのフレームに対する要求をクライアント装置からサーバへ送信することとを含む。本方法はさらに、サーバで、要求された少なくとも１つのビューの要求フレームを中央データ記憶媒体のボリュームビジュアライゼーション・データセットから生成することと、要求された少なくとも１つのビューの生成フレームをサーバからクライアント装置へ伝送することと、サーバから伝送されたフレームか或いはローカルデータ記憶媒体に記憶されている要求された一連のビューのいずれかのフレームを表示することによりボリュームビジュアライゼーション・データセットの要求された少なくとも１つの三次元仮想ビューをクライアント装置で表示することとを含む。
【００１８】
請求項１７の方法は、クライアント装置のローカルデータ記憶媒体に前もっては記憶されていない、サーバから伝送された要求された一連のビューの１つまたはそれ以上のフレームをローカルデータ記憶媒体に記憶することを含む。
【００１９】
ボリュームビジュアライゼーション・データセットは離間間隔で目的物を通って得られる複数の断面イメージにより構成され得る。クライアント装置は複数の分離したビューフレームから構成される一連のビューを有するボリュームビジュアライゼーション・データセットの少なくとも一部の一連の三次元仮想ビューを要することもできる。ボリュームビジュアライゼーション・データセットの要求された一連の三次元仮想ビューはローカルデータ記憶媒体に記憶された要求された一連のビューのいずれかのフレームに加えてサーバから伝送されたフレームを連続して表示することによりクライアント装置で表示され得る。クライアント装置でボリュームビジュアライゼーション・データセットの要求された一連の三次元仮想ビューを表示する間に、ローカルデータ記憶媒体に記憶されたフレームはサーバから伝送されたフレームに加えて表示され得る。
【００２０】
本方法はまた、各データ記憶媒体がボリュームビジュアライゼーション・データセットの全部または一部を含む複数の中央データ記憶媒体を提供することを含むこともでき、そしてデータ記憶媒体を選択することを含むこともでき、そこからボリュームビジュアライゼーション・データセットから要求された一連のビューの要求されたフレームが生成されて伝送される。
【００２１】
ローカルデータ記憶媒体に要求された少なくとも１つのボリュームビジュアライゼーション・データセットのいずれかのフレームを記憶することを決定することは、ボリュームビジュアライゼーション・データセット三次元仮想ビューのクライアント装置による要求の固有識別キーを生成することと、三次元仮想ビューのクライアント装置による前回の要求の固有識別キーをローカルデータ記憶媒体に記憶することと、三次元仮想ビューのクライアント装置による現在の要求の固有識別キーを三次元仮想ビューのクライアント装置による前回の要求の記憶された固有識別キーと比較することと、現在および前回の固有識別キーの値が等しくなるときを決定することとにより行われ得る。値が等しいとき、本方法は、前回の要求の三次元仮想ビューの記憶されたフレームをローカルデータ記憶媒体から表示することを含むこともできる。値が等しくないとき、クライアント装置による現在の要求の三次元仮想ビューのサーバから伝送されたフレームを表示することを含むこともできる。本方法はさらに、クライアント装置による前回の要求の三次元仮想ビューの固有識別キーを前回の要求の三次元仮想ビューの記憶されたフレームと関連付けてもよい。値が等しいとき、本方法は、ローカルデータ記憶媒体の前回の要求の三次元仮想ビューの記憶されたフレームの位置を決定し、そしてその位置を用いて記憶されたフレームを表示することもできる。
【００２２】
さらに別の観点において、本発明は、少なくとも１つの集中データベースに含まれたボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをクライアント装置で表示するための方法を指向する。本方法は、ボリュームビジュアライゼーション・データセットを含む少なくとも１つの中央データ記憶媒体を提供することと、少なくとも１つの集中データベースと通信し、クライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理することができる少なくとも１つのサーバを提供することと、そしてインターネット上でサーバおよび中央記憶媒体にリンクされるクライアント装置を提供することとから構成される。本方法は次いで、ボリュームビジュアライゼーション・データセットの少なくとも一部の複数の三次元仮想ビューに対する要求をクライアント装置からサーバへ送信することを含む。複数のビューは複数の個別のビューフレームから構成され、要求はフレームのより低位のイメージ品質パラメータに対する要求とフレームのより高位のイメージ品質パラメータに対する要求とを含む。本方法はまた、サーバで、ボリュームビジュアライゼーション・データセットから要求されたフレームをより低位のイメージ品質パラメータで生成することと、より低位のイメージ品質パラメータフレームをクライアント装置へ伝送することと、そして要求されたより低位のイメージ品質パラメータフレームの少なくとも一部をクライアント装置で表示することとを含む。本方法はさらに、サーバで、ボリュームビジュアライゼーション・データセットから要求されたより高位のイメージ品質パラメータフレームを生成することと、より高位のイメージ品質パラメータフレームをクライアント装置へ伝送することと、そして要求されたより高位のイメージ品質パラメータフレームをクライアント装置で表示することとを含む。
【００２３】
より低位のイメージ品質パラメータフレームをクライアント装置に伝送した後に、サーバはクライアント装置がより低位のイメージ品質パラメータフレームを表示している間により高位のイメージ品質パラメータフレームをクライアント装置に伝送してもよい。クライアント装置はより低位のイメージ品質パラメータフレームの表示を完了する前または後により高位のイメージ品質パラメータフレームを表示することもできる。フレームは圧縮ビデオストリームまたは１つまたはそれ以上の単一フレームとしてサーバからクライアント装置に伝送してもよい。
【００２４】
さらに別の観点において、本発明は、少なくとも１つの集中データベースに含まれたボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをクライアント装置で表示するための方法を指向する。本方法は、ボリュームビジュアライゼーション・データセットを含む少なくとも１つの中央データ記憶媒体を提供することと、少なくとも１つの集中データベースと通信し、クライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理することができるサーバを提供することと、インターネット上でサーバと中央記憶媒体とにリンクされるクライアント装置を提供することとから構成される。本方法は次いで、複数の個別のビューフレームから構成される一連のビューを有する、ボリュームビジュアライゼーション・データセットの少なくとも一部の一連の三次元仮想ビューをクライアント装置で要求することを含む。本方法はまた、要求された一連の三次元仮想ビューを異なったグループのフレームにクライアント装置で分離することと、第１グループのフレームに対する要求をクライアント装置からサーバに送る一方、第２グループのフレームに対する要求をサーバに遅延して送ることとを含む。本方法はさらに、サーバで、ボリュームビジュアライゼーション・データセットから要求された第１グループのフレームを生成して、第１グループのフレームをクライアント装置へ伝送することと、要求された第１グループのフレームをクライアント装置で表示する一方、クライアント装置からサーバに第２グループのフレームに対する要求を同時に送ることとを含む。本方法はまた、サーバで、ボリュームビジュアライゼーション・データセットから要求された第２グループのフレームを生成して、クライアント装置が第１グループのフレームを表示している間にクライアント装置に第２グループのフレームを伝送することと、要求された一連の三次元仮想ビューの適切な継続的表示を維持するように、第１グループのフレームに続いて直ちに要求された第２グループのフレームをクライアント装置で表示することとを含む。
【００２５】
少なくとも１つの集中データベースと通信してクライアントの要求に基づいて仮想ビューを生成するようにボリュームビジュアライゼーション・データセットを処理できる複数のサーバと、クライアント装置との間、およびサーバと中央記憶媒体との間の複数の通信を制御するセキュリティ装置とをさらに備えることもできる。
【００２６】
本方法は、以前のグループのフレームが表示されている間に次続のグループのフレームに対する要求をクライアント装置からサーバへ送ることと、要求された第２グループのフレームをボリュームビジュアライゼーション・データセットからサーバで生成することと、クライアント装置が以前のグループのフレームを表示している間に第２グループのフレームをクライアント装置に伝送することと、そして、適当な連続した表示を維持するように要求された次続のグループのフレームを以前のグループのフレームに続いてクライアント装置で直ちに表示することとをさらに含むこともできる。
【００２７】
クライアント装置とサーバとは待ち時間を有するネットワークにより接続され、要求されたグループのフレームは待ち時間に従ってクライアント装置からサーバへの送信時に遅延されてもよい。フレームのグループは圧縮ビデオストリームとして、或いは１つまたはそれ以上の個別のフレームとしてサーバからクライアント装置に伝送してもよい。要求されたフレームはクライアント装置のローカルデータ記憶媒体に記憶してもよい。
【００２８】
第１グループのフレームに対する要求もまたフレームのより低位のイメージ品質パラメータに対する要求を含み得る。第１グループのフレームを要求されたより低位のイメージ品質パラメータでクライアント装置に伝送した後に、サーバはより高位のイメージ品質パラメータでフレームをクライアント装置に伝送し得る。
【００２９】
本発明の新規な特色および本発明の特徴とする構成要素は添付の請求の範囲の特徴に述べられている。図は例示の目的のみで示されており、縮尺を合わせたものではない。しかしながら、本発明自体は構成および操作方法の両者に関して添付の図面と共に後述する詳細な説明から良好に理解されよう。
【図面の簡単な説明】
【００３０】
【図１】図１は、少なくとも１つの集中データベースに含まれたボリュームビジュアライゼーション・データセットの一連の三次元仮想ビューをインターネット上でクライアントのコンピュータに表示するための本発明のシステムおよび方法の要部と動作時の相互作用を示す模式図である。
【図２】図２は、性能（送信レート）およびイメージ品質の異なった組み合わせでボリュームビジュアライゼーション・データセットのビューのフレームを伝送するための、クライアントのコンピュータにより作成される要求を示す図である。
【図３】図３は、ボリュームビジュアライゼーション・データセットのフレームのローカル記憶イメージとサーバ記憶イメージとを組み合わせる本方法の一実施例を示すフロー図である。
【図４】図４は、ネットワーク待ち時間による、中央サーバおよびデータ記憶装置から伝送されるビューフレームを表示する際の遅延を縮小する本方法の一実施例を示すフロー図である。
【図５】図５は、要求されたビューフレームがユーザのローカル記憶媒体で利用できるときを迅速に決定する本方法の一実施例を示すフロー図である。
【発明を実施するための形態】
【００３１】
本発明の実施例の説明において、参照符号は図面の図１−５について同様な符号が本発明の同様な特徴に付されている。
【００３２】
一実施例における本発明は、専用のウェブポータルを用いて医療用スキャンの高度な可視化、特に、容積測定データ、例えば、医療用スキャンの高度な可視化の高速アクセスのための方法およびシステムを提供する。図１に示されるように、本発明の方法およびシステム２０の一実施例は、いくつかの機能コンポーネントまたはレイヤ、すなわち、アプリケーションレイヤ３０、外部ネットワークレイヤ４０、セキュリティレイヤ８０、負荷バランサレイヤ９０、並びに記憶および処理レイヤ１００から構成される。サーバやユーザを有する場合と同様に個々のシステムコンポーネントまたはレイヤ間の通信および伝送接続は、無線、有線、光ファイバケーブル、高周波（ＲＦ）或いは同様な手段により形成され、そしてまた、内部ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、および／またはインターネット或いはその他の接続手段を介して形成され得る。個々のシステムコンポーネントはハードウェアまたはコンピュータ内のソフトウェアモジュールとして協働され得る。より高い伝送速度を可能にする通信および伝送接続が望ましいが、本発明は、ユーザと容積測定データとの間が低バンド幅および高待ち時間状況であるところでも特に有効である。
【００３３】
顧客またはユーザは、イントラネットまたはインターネットを通して通信できる遠隔地でコンピュータまたはその他の電子装置２２のどちらかと言えば通常のウェブブラウザアプリケーション３２を使用し、その装置もまた、顧客のデータソースとして使用され得るローカルコンピュータ・読取り可能記憶媒体２４との接続２３を有し得る。記憶媒体２４は、後述されるように、ほかの場所で作成されたＣＴまたはＭＲＩスキャンのようなボリュームビジュアライゼーション・データセットのすべてまたは一部を受信し、そして集中データベースへのそのようなデータセットの送信装置として機能するように用いられ得る。記憶媒体２４はまた集中データベースから、そこから生成されたボリュームビジュアライゼーション・データセットまたはビューのすべてまたは一部のダウンロードを受信して記憶するようにも用いられ得る。１つまたはそれ以上のコンピュータ読取り可能媒体は単独または組み合わされて利用され得る。好適なコンピュータ読取り可能記憶媒体は、例えば、しかしこれに制限されるものではないが、電子的、磁気的、光学的、電磁気的、赤外線または半導体システム、設備または装置、或いはそれらの適当な組合せをも利用し得る。適当なコンピュータ読取り可能記憶媒体のその他の例は、制限なしに、次のものを含む。１つまたはそれ以上のワイヤを有する電気的接続、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ （ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯用コンパクトディスクＲＯＭ（例えば、ＣＤ−ＲＯＭ）、光記憶装置（例えば、ＤＶＤ−ＲＯＭ）、磁気記憶装置（例えば、ディスケット）、或いはそれらの適当な組合せ。適当なコンピュータ読取り可能記憶媒体は、命令実行システム、設備または装置により、または協働して使用するためのプログラムを含む、または記憶することができるどのような有形媒体でもあり得る。
【００３４】
アプリケーションレイヤ３０には、１つまたは多くのウェブブラウザアプリケーション３２と１つまたは多くのオンサイトルータ３４があり得る。アプリケーションレイヤは、通信の暗号化チャネル（ＳＳＬ／ＴＬＳのような）を用いてアプリケーションレイヤのローカルネットワークをレイヤのレストに接続するインターネット５０またはその他のネットワークを用いる外部ネットワークレイヤ４０に接続される。安全な通信ポートは、ＳＳＬ／ＴＬＳでのみ作動する通信、例えば、４４３／８４４３／９４４３／カスタムポートを使用し得る。この接続は、ウェブブラウザとインターネットの間の高または低バンド幅接続５１であり得、そして顧客データソース２４とオンサイトルータ３４の間の接続５４と、オンサイトルータとインターネットの間の接続５４を含み得る。仮想プライベートネットワーク（ＶＰＮ）３６もまた顧客データソースとインターネットの間に用い得る。接続は、１つまたは多くのドメインネームサービス（ＤＮＳ）ルックアップサービス４２により容易にされ得、そしてその中の１つまたは多くのサービス用物理的サイトまたはサーバがダウンしたときのために、トラフィックを導くのと同様に負荷バランサとして機能するように使用され得る。
【００３５】
外部ネットワークレイヤは、セキュリティレイヤ８０、負荷バランサレイヤ９０および記憶および処理レイヤ１００を危険にさらす１つまたは多くのサービス用サイト７０，７０’に接続５５を介して接続する。セキュリティレイヤは１つまたは多くのファイアウォール７６、侵入検知システム７２、および侵入防止システム７２により構成される。負荷バランサレイヤ９０はマスターおよびスレーブ構成を有する少なくとも２つのリソース管理サーバ９２を含み得る。負荷バランサレイヤ９０は、記憶容量のスケーラビリティを取り扱いそしてセキュリティレイヤを通してユーザ２２と通信する記憶および処理レイヤ１００として仕事率を動的に処理するようにサーバの割当ておよび拡張を管理する。記憶および処理レイヤには、記憶能力および高性能ベクトルプロセッサを有するサーバ１０２のクラスタに置き得る。サーバ１０２は、リソースマネージャ９０を通って接続５７および５８を介して、或いは接続５９を介して直接セキュリティレイヤ８０と通信する。セキュリティ、負荷バランサならびに記憶および処理レイヤはサービス用サイト７０に物理的に配置され得る。冗長性のために、１つまたは多くの二重セキュリティ、負荷バランサ並びに記憶および処理レイヤが、１つまたは多くの追加のサービス用サーバ７０’に物理的に配置される。サービス用サイト７０，７０’は外部ネットワークレイヤ４０を介して互いに接続され得る。追加的または互換的に、異なる位置７０，７０’ のプライベートネットワークの記憶および処理レイヤ１００は、それらの間の情報交換を急速にできるように、プライベートネットワーク６０を介し、接続５６を介して接続される。
【００３６】
記憶および処理レイヤサーバ１０２は、１つまちはそれ以上のコンピュータ読取り可能ボリュームデータ記憶媒体（前述のような）、ボリューム処理サーバ、およびアプリケーション相互作用のためのウェブまたはアプリケーションサーバを有するサーバクラスタから構成し得る。サーバ１０２はサービス用サイトでコンピュータ読取り可能ボリュームデータ記憶媒体と通信し、そしてこのデータ記憶媒体のボリュームデータセットを処理して処理済情報の可視化の表示アプリケーションと通信できる。記憶および処理サーバは、ウェブブラウザアプリケーション３０を介して手動式にアップロードすることによりユーザの記憶媒体２４から伝送されるデータを受信し得る。互換的に、記憶および処理サーバは、一方向または双方向ＶＰＮ３６，１３６を介してそれぞれ接続される、データソースに組み込まれたオンサイトルータ３４またはセキュリティレイヤ８０に組み込まれたオフサイトルータ７８を通して伝送されるデータを記憶媒体２４から受信し得る。ルータ３４，７８は、ソース位置の現在の記憶基盤にアクセスするように構成され得、ソース位置から記憶および処理サーバへのソースデータを移動するように構成され得る。データ移動は、認証された個人がルータにアクセスすることによる手動的な方法を介して行われるか、或いは使用前にくみ上げられた自動的な規則を介するかのいずれかであり得る。規則の基準は、これらに制限されるものでないが、特定の日付間隔を用いる、或いはボリュームタイプまたは特定のユーザや機関などに属するボリュームデータに基づいてデータを移動することであり得る。ルータは、記憶装置サーバが特定のデータを受け入れ可能であることを確認するように負荷バランサレイヤと交渉する。記憶装置が受け入れ可能であることを選択する基準は、これに限定されるものではないが、ボリュームデータのサイズおよびボリュームデータを受け入れるサーバの性能により決定できる。データがボリュームデータ記憶装置サーバに受け入れ可能であると、データに関する情報はデータベースに入力されてウェブポータルによる可視化のためにユーザら提示され得る。
【００３７】
ボリュームデータセットの高度な可視化は、ユーザ相互作用パラメータとして特定される、可視化するボリュームデータセットまたはデータセットのサブセットの確認から始める。この確認は、（ａ）完全なボリュームデータセット、（ｂ）各平面ビューが可変の厚さを有する、ボリュームデータセットを通る１つまたは多くの平面ビュー、（ｃ）ボリュームデータセットの曲線サンプリング、（ｄ）ボリュームデータセットの関心サンプリングの領域、または（ｄ）分析をより重要かつより容易にするなにかにボリュームデータセットの表現を単純化および／または変更するようなボリュームデータセットの分割を含み得る。ボリュームデータセットの識別セットは次いで、（ａ）色調、不透明度、グラデーション、および／または各独立したボクセルの輝度値への多次元ベースの変移機能を適用し、そして（ｂ）光線配分またはテクスチャ付けベースの表現技術を用いることにより可視化され得る。ユーザ相互作用パラメータに基づいて、目的物変形、投影変形、切落しおよび画面変形が、描画フレームを制作するように適用され、ユーザ相互作用シーケンスのリストが１つまたは多くのフレームを生成する。
【００３８】
ウェブポータルを介して容積測定データの高度な可視化にアクセスするユーザ２２の相互作用は、ユーザまたはプログラムのログインを容認しそしてログインと協働するボリュームデータ記述をリストアップし、次いでウェブブラウザを通して実行可能である表示アプリケーションを起動するためのウェブアプリケーション３０を有して開始され得る。表示アプリケーションはユーザまたはプログラム入力を取って１つまたは多くの記憶および処理サーバ１０２と通信し、そしてボリュームデータの高度可視化として処理された情報を表示する。例えば、医師、患者またはプログラムのような顧客またはオペレータは、ウェブブラウザを用いてボリュームビジュアライゼーション・ウェブポータルにログインし、認証済みユーザ２２として認証される。認証済みユーザと協働される、患者のＣＴスキャンのリストのようなボリュームデータのリストがウェブアプリケーション３０に提示される。ユーザはボリュームビジュアライゼーション・データセットから１つまたはそれ以上の静的または動的仮想イメージを選択してそのイメージをウェブアプリケーションに表示するよう要求し得る。
【００３９】
静的３Ｄ仮想イメージは、対象物のスキャンされる容積内の所望位置で、対象物の容積を特定の角度で切断されるべき面を選定することにより制作される。動的３Ｄ仮想イメージはスキャンされる対象物の容積を通る選定されたビュー面を移動することにより、例えば、直線の周りで回転されることにより、またはその中心を通路に沿って移動することにより、或いは両者を組み合わせることにより制作される。このことは結果として一連の３Ｄ仮想ビューを得る。この一連のビューはビュー面の移動中に異なった時間に連続的に生成された複数の個別のビューフレームから構成される。各フレームは、それが横断する元のスキャンの部分からのイメージ情報を含み、そしてさらに元のスキャン間に挿入されるイメージ情報を含み得る。ビューフレームが再生されて画面に同じ順序で表示されるとき、ユーザは要求した一連の３Ｄ仮想ビューをビデオを表示する方法で見ることができる。３Ｄ仮想ビューに対する要求はここでは相互作用として参照され、そしてビュー面の動きはここでは相互作用シーケンスとして参照される。
【００４０】
１つまたはそれ以上の生成されたフレームはビデオストリームとして圧縮されて表示アプリケーションに配布され得る。１つ以上のフレームを有するビデオストリームは、圧縮アルゴリズムがイントラフレームだけでなくインターフレームにおいても存在する冗長度および多くのフレームの時間的動き補償情報を利用できるので、圧縮率を増加することができる。
【００４１】
１つまたはそれ以上のビューへのユーザの相互作用に続いて、それと相互作用する記憶および処理サーバ１０２を識別するように負荷バランサ９０に要求が伝えられる。ローカルバランササーバは、ユーザの要求に対応できる記憶および処理サーバ１０２を利用可能な集団から決定する。どのサーバが決定されるのかを選定するための判定基準は、これに限定されるものではないが、ボリュームデータのサイズ、ボリュームデータを表現するサーバの能力、サーバの現在の付加、およびデータの位置による。サーバ１０２が選択されると、負荷バランサはウェブアプリケーションに応答しそしてウェブアプリケーションは表示アプリケーションを記憶および処理サーバにリンクする適切な生成パラメータを有する表示アプリケーションを生成する。表示アプリケーションはねアクティブＸコンポーネント、またはジャバアプレット或いはジャバスクリプト、フラッシュまたはシルバーライトのようなウェブブラウザ・スクリプト可能言語の形態のウェブアプリケーションであり得る。ウェブアプリケーションは動的ウインドウサイズまたはフルスクリーンモードを有する１つまたはそれ以上の新規なウェブページとして、または現在または新規なウェブページの埋め込みビューア、またはスタンドアローンビューアとして起動されるかのいずれかで表示アプリケーションを表示し得る。フルスクリーンモードは画面全体またはデスクトップ或いはマルチモニタに可視化像を表示する。
【００４２】
アプリケーションが起動されると、ユーザ２２は、所望のボリュームデータ情報を得るように記憶および処理サーバ１０２に要求を行う。ボリュームデータ情報は、これに限定されるものではないが、ボクセルの縦横比、ボクセル間隔、次元およびビット深さを含み得る。このことはユーザへのボリュームデータの適切な起動提示をアプリケーションに用意することを可能にする。記憶および処理サーバはその記憶媒体からデータを読み込む。ボリュームデータの読み込み進行は、ビデオストリームを送信するボリュームビジュアライゼーション・ウェブサーバを有し、ストリームを表示するアプリケーションを有することによりユーザに提示され得る。ビデオストリームは、記憶および処理サーバにより生成されたフレームの集合であり得、そして、（ｉ）処理されたイメージのビジュアライゼーションの品質と、（ii）相互作用フレームレートに対するユーザの選択に依拠して、周知の無損失または損失圧縮方法のいずれかを介して圧縮され得る。これらの２つのパラメータ並びにネットワークバンド幅および待ち時間（後に詳述する）に依拠して、記憶および処理サーバは適切な圧縮タイプを選択し得る。圧縮アルゴリズムは、サーバ１０２の中央演算処理装置（ＣＰＵ）かグラフィック処理装置（ＧＰＵ）のいずれかで実行できる。ＧＰＵおよび機械学習技術の使用は圧縮比および性能を高めるように適用できる。
【００４３】
圧縮パラメータは、これに限定されるものではないが、ユーザのイメージ品質の要求およびネットワークバンド幅サイズに適合され得る。イメージ品質パラメータは、相互作用中に異なったイメージ品質または性能に適合するように、そして相互作用が停止されたときのために、ユーザによりアプリケーションのオプションとして設定し得る。フレームのためのより低位のイメージ品質パラメータがフレームのためのより高位のイメージ品質パラメータよりも速いレートでサーバ１０２からユーザ装置２２へインターネット上を伝送され得る。図２に示されるように、要求１１０がフレーム解像度を、例えば５１２×５１２ピクセルに制限し、ユーザ相互作用が生じている間に圧縮フレームの伝送を流すようにユーザ装置２２により作成され得る。フレーム解像度のバランスは左側の高性能（伝送率）および低位のイメージ品質から右側の低性能（伝送率）および高位のイメージ品質までの範囲、或いはその間におけるいかなる組合せのスライドにより設定され得る。図２はまた、イメージ品質を更新するように、例えば、ユーザ相互作用が停止したときに性能（伝送率）およびイメージ品質に更新するように、ユーザ装置２２がまた要求１２０を伝送し得ることを示す。これらのオプションは、高フレームレートの配布を容易にするようにより低位の品質イメージを使用することを許容し、相互作用が停止したとき、最高の忠実度を有するイメージ品質が復元され得る。アプリケーション３０がストリームを受信すると、ビデオストリーム内に含まれた個々のフレームを回収するようにストームを復元し得、そして各フレームを適切なタイミングでもってユーザ装置で連続的に表示する。
【００４４】
サーバは、クライアント装置がより低位のイメージ品質パラメータフレームを表示している間にクライアント装置へより高位のイメージ品質パラメータフレームを伝送し得、そしてクライアント装置はより低位のイメージ品質パラメータフレームの表示を完了する前または後により高位のイメージ品質パラメータフレームを表示し得る。
【００４５】
ボリュームデータが完全に読み込まれたとき或いはボリュームが読み込まれているとき、ユーザ２２は部分的かつ累進的に読み込まれたボリュームと相互作用することを許容される。このような相互作用は、これに限定されるものではないが、ズームのような配向、回転、パン、相互参照、閾値調整、ウィンドウ／レベル調整、変換関数操作、多重ボリュームのレイアウトを制御するドラッグおよびドロップ、２つまたは多くのボリュームの結合を操作する融合、ボリュームの一部を取り除くまたはボリュームの可視化を単純化するセグメント化、機械学習入力のための監視、等のような機能を遂行するようにユーザがアプリケーション３０ユーザインターフェイスを操作することにより開始する。
【００４６】
ユーザ相互作用シーケンスは簡単なキーボードまたはマウス動作として、或いはオープンＧＬ、標準化、またはボリュームデータセットの高度な可視化を生成するのに手儀号するその他の周辺情報と組み合わせのような複合図表状態として説明され得る。相互作用シーケンスは、これに限定されるものではないが、ＸＭＬ文書としてカプセル化される。ユーザ相互作用シーケンスは、適切な手続きを呼び出すことにより標準的プロセス間通信（ＩＰＣ）技術を用いて記憶および処理サーバ１０２と通信し得る。ＩＰＣ要求において、サーバ１０２処理手順名およびパラメータは、これに限定されるものではないが、ＸＭＬ文書を用いてカプセル化され得る。処理手順は、これに限定されるものではないが、安全なリモートプロシージャコール（ＲＰＣ）を通すかまたは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）上の暗号化ＸＭＬを通すか或いは、ハイパーテキスト転送プロトコルセキュア（ＨＴＴＰＳ）を通すかのいずれかを用いることで実行され得る。処理手順のユーザに戻される情報もまたＸＭＬ文書の形態であり得る。ＩＰＣ通信はチャンネルを暗号化することにより保護され、例えば、ＨＴＴＰＳプロトコルは規定値のＳＳＬ／ＴＳＬ暗号化を提供する一方、その他のプロトコルは公開キーと秘密キーの組合せを用いて暗号化され得る。ユーザはアプリケーションの閉鎖機能を用いて、例えば、ユーザまたはプログラムが最初にログインしたウェブページでログアウトコマンドを選択することによりアプリケーションを終了し得る。
【００４７】
アプリケーション３０とサーバ１０２の間のネットワーク待ち時間を解消するために、ユーザ相互作用はネットワーク待ち時間（通常、３００〜３５０ミリ秒以下）まで待機され、次いでユーザ相互作用の収集が記憶および処理サーバに送られる。図４に示されるように、中央サーバ３００から伝送されたビューフレームを表示する際の遅れを縮減する方法は、情報に対するユーザの要求がネットワーク待ち時間（例えば、３５０ｍｓ）に等しい時間だけアプリケーション３０で待機される多数の要求に分散されるステップ３１０を備える。次いで、ステップ３２０において、要求はサーバ１０２へ順次に送られる。記憶および処理サーバは各ユーザ情報のためのフレームとしてイメージを生成し、そしてフレームの収集からビデオストリームを生成する。ステップ３３０において、第１要求のフレームで作成されたビデオストリームは、無損失または損失圧縮スキームのいずれかを通してサーバ１０２によって圧縮され、そして、例えば、圧縮ビデオストリームとしてアプリケーション３０に送られ得る。アプリケーションは次いで、ストリームを復元して各フレームを正しいタイミングで表示する（ステップ３４０）ことによりこのビデオストリームを再生し得る。その時間中、ボリュームビジュアライゼーション・ウェブサーバはレンダリングしてアプリケーションにビデオストリームを送り返し、ユーザ相互作用シーケンスはアプリケーションによって連続的に受け入れ、そしてその相互作用は前述したようにネットワーク待ち時間に従って待機されてサーバに送られ得る（ステップ３５０）。相互作用シーケンスの蓄積、これらのシーケンスのウェブサーバへの送信および前回の相互作用シーケンスのビデオストリームの再生の処理は、ユーザ２２が相互作用を停止するまで繰り返され得る。サーバは次続の要求から圧縮ビデオストリームを送り続け、アプリケーションはそのときユーザにそれを表示する（ステップ３６０）。アプリケーション側でユーザ相互作用シーケンスの収集を上書きし、そしてサーバ１０２によるビデオストリーム生成のための処理時間を有することにより、ネットワーク待ち時間およびレンダリング時間を実質的に隠すことができる。例えば、ネットワーク待ち時間が３００ｍｓと仮定すると、その時間中、ユーザ相互作用シーケンスは収集される。シーケンスが３００ｍｓ時で投入されたとき、前回のシーケンスのビデオストリームはそのとき利用できることになる。それ故、最初の３００ｍｓの遅滞の後は、アプリケーションは新しいユーザ相互作用シーケンスを連続的に収集しそして前回のシーケンスのビデオストリームを再生するので、相互作用は円滑に行われ得る。ビデオストリーム要求の再生はイメージのビデオストリームを途切れなく再生させるように正しいタイミングで行われ得る。
【００４８】
記憶および処理サーバから入手された対応するフレームまたはビデオストリームにそったユーザ相互作用および／または相互作用シーケンスは追跡されそしてアプリケーションによってユーザのコンピュータの利用可能なコンピュータ読取り可能記憶媒体２４に保持され得る。フレームはそのまままたは圧縮形態、好ましくは、元のイメージ品質を維持するように無損失圧縮であるが、無損失に近似または損失圧縮アルゴリズムもまた利用可能である、で保持され得る。このことは、ユーザが同じ相互作用または相互作用シーケンスを遂行するときにボリュームビジュアライゼーション・ウェブサーバからそれを求める必要なしにアプリケーションがフレームまたはビデオストリームを再使用することを可能にし、それによりネットワークトラフィックを削除して表示性能を高める。
【００４９】
本発明は、図３に示されるように、ボリュームビジュアライゼーション・データセットのフレームのローカルおよびサーバ記憶イメージを組み合わせる方法を提供する。本方法２００は、ユーザ２２がユーザ装置のアプリケーション３０から相互作用、すなわち、ボリュームビジュアライゼーション・データセットの３次元仮想ビューの１つまたはそれ以上のフレームを要求（ステップ２１０）し得ることを提供する。アプリケーションはいずれの要求フレームがローカル記憶媒体２４に記憶されたかを知るように確認する（ステップ２２０）。その場合、アプリケーションはローカル記憶媒体からフレームを表示する。すべての要求されたフレームをローカル的に利用できない場合、アプリケーションは利用不可能なフレームに対する要求をサーバ１０２に送信する（ステップ２４０）。サーバはそのとき要求されたフレーム、すなわち、３Ｄビューを生データ、すなわち、中央記憶媒体のボリュームビジュアライゼーション・データセットに記憶された２Ｄスキャンから生成する（ステップ２５０）。サーバは次いで、生成されたフレームをクライアント装置のアプリケーションに、例えば、ビデオストリームとして伝送する（ステップ２６０）。アプリケーションはそのときサーバから受信したフレームを、選択的に、ローカル記憶装置から利用可能なフレームと混合して表示する（ステップ２７０）。
【００５０】
このように繰り返されるユーザ相互作用および対応する記憶済みフレームまたはビデオストリームの識別は、フレームのシーケンスがユーザに表示されるように迅速に行われるべきである。例えば、完全な検索およびレンダリングは、１秒間に利用可能な８フレーム（ＦＰＳ）の相互作用および表示を配布するように少なくとも８分の１秒以内に行わなければならない。急速な検索のための一つの方法４００は、図５のフロー図に示されるように、ローカル記憶媒体２４のソートされた連合性コンテナを用いることである。３Ｄビューフレームがサーバ１０２からユーザ２２に伝送されると、コピーがユーザのローカル記憶媒体２４に記憶される。ローカル記憶媒体は、ユーザの３Ｄビューにより前回の要求によって生成される記録に保存されたフレームを有するコンテナを含み得る（ステップ４１０）。ソートされた連合性コンテナにおいて、同定可能性キーをコンテナに設けることにより記録が得られる（ステップ４２０）。このようなコンテナ内の２つの記録は、いずれの方も他方より小さくないときに同等物であると看做す２つの別々のキーを有する（ステップ４３０）。ユーザ相互作用ＸＭＬ文書のエレメントは、いずれか一方のエレメントの値が他方と違うかを決定するように相互に比較できる。それ故、ユーザ相互作用ＸＭＬ文書のエレメントにユニークな同定可能性キーが作成され得る。ユーザ相互作用シーケンスをコンテナに与えることは、最終的に一致するか一致しないかをコンテナに戻すことになる（ステップ４４０）。
【００５１】
一致は、特定のユーザ相互作用、例えば、フレームのメモリアドレスまたはフレームのファイル名と協働されるフレームの位置を含み得る（ステップ４５０）。ジャバスクリプトのようなスクリプト言語でウェブアプリケーションが書かれている場合、レンダリングされたフレームの再収集はウェブブラウザのキャッシュ機構を用いることにより行われ得る。ブラウザはそのユニフォームリソースロケータ（ＵＲＬ）アドレスを介してこのようなイメージを識別し得る。以前に実行されたユーザ相互作用のためと同じＵＲＬを有するブラウザを提供することにより、サーバへのネットワーク通信は排除される。かくして、ユーザの要求に応じて相互作用シーケンスが生成されるとき、相互作用シーケンスはＸＭＬ文書としてカプセル化され得、そしてこのＸＭＬ文書は連合性コンテナを照会するように用いられ得る。一致することが判ると、サーバへの往復通信が完全に回避されて代わりに記憶されたフレームが用いられる。
【００５２】
ユーザ相互作用シーケンスおよびその対応するレンダリングされたフレームの通路を保持することにより、バンド幅の利用およびサーバリソースは、低バンド幅状況におけるアプリケーションの相互作用性能が可能であるので、十分に増強され得る。例えば、放射線科医のユーザは一つの矢状断面から別のもの（一般的に「スタッキング」として知られている）へ移動し得る。ユーザが以前の断面に戻るとき、レンダリングされたフレームはサーバーの往復通信を行うことなしにただちに取り戻される。同様に、ユーザが１０度間隔で３６０度回転を行うと（通常、「３６０度ビュー」として知られている）、要求がサーバに３６回行われた後、その後の３６０度回転を遂行するのに必要なすべてのフレームは既に得られている。このことは、アプリケーション３０がサーバ１０２からフレームを求める必要なしに、ローカル記憶媒体に２４に記録されたフレームだけを用いることによってユーザが３６０度のいずれの方向にも連続して回転することを可能にする。また、ユーザのインターフェイスが特定のツール、例えば、スタッキングや３６０度ビューに設定されているとき、アプリケーションはユーザ相互作用シーケンスのすべての組合せを予測できる。ユーザは、アプリケーションによる予測が可能である場合、相互作用シーケンスの先読みを自動化するように選定し得る。短時間の待機の後、すべてのフレームは相互作用シーケンスの所定のセットの相互作用のために利用可能である。要約すると、ユーザ相互作用パラメータのトラックおよび対応するローカルに記録されたフレームを保持することにより、そして相互作用シーケンスの自動的な先読みと同様に、現在のユーザ相互作用を前回の相互作用パラメータと識別する急速ウェイを有することにより、本発明は低バンド幅および高待ち時間ネットワーク上でインタラクティビティを達成することができる。
【００５３】
ユーザ相互作用パラメータのトラックおよび対応するレンダリングされたフレームを保持することはまた、低バンド幅上において相互作用フレームレートで４Ｄまたはそれより高い次元のデータセットの表示を可能にする。ユーザ相互作用シーケンスのエレメントは現在どのスキャンがレンダリングされているかを支持するように留保される。患者の心臓スキャンの場合は心拍動サイクルの種々の間隔で行われる１６スキャンの時系列を含む。それ故、１６スキャンを経る繰り返しおよび各ビューのレンダリングの後にそして固定されたユーザ相互作用シーケンスのその他のエレメントを有して、１６スキャンの再生は心臓のシーケンスをリアルタイムで描画することになる。このことは、１６ビューのいずれもサーバへの往復を要求しないからである。このことは低バンド幅上で４Ｄまたはそれより高い次元のデータを相互作用的に表示することを可能にする。
【００５４】
記憶および処理サーバは、２００７年２月８日に出願された米国特許出願番号第１１／６７２，５８１号、公開番号第２００８／１９５８４３号、「ボリュームビジュアライゼーション・データセットを処理するための方法およびシステム」に述べられているように、ボリュームビジュアライゼーション・データセットをレンダリングし得るものであり、この開示内容は本説明において参照文献として組み込まれる。例えば、ボリュームのセグメント化中に非監視および監視学習技術を介して半自動的なセグメント化を提供するように、機械学習アルゴリズムがボリュームビジュアライゼーション・データセットの処理に適用され得る。ボリュームビジュアライゼーション・データセットを処理するのに遺伝的アルゴリズム、自己組織化マップおよび神経回路網が用いられ得る。
【００５５】
記憶および処理レイヤ１００は、１）ゼロまたは複数の仮想マシンを用いる１つまたは複数のオペレーティングシステムを装備されたサーバハードウェア、２）ＨＴＴＰおよび／またはＨＴＴＰＳに従って表示アプリケーションを受け取りおよび応答することに責任を持つ１つまたは多くのコンピュータプログラム、３）ユーザデータグラムプロトコルに従って表示アプリケーションを受け取りおよび応答することに責任を持つ１つまたは多くのコンピュータプログラム、４）１つまたは多くの中央演算処理装置（ＣＰＵ）を有するネットワーク監視システムに責任を持ちかつ応答する１つまたは多くのコンピュータプログラム、５）フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、グラフィック処理装置のようなベクトルプロセッサ（ＧＰＵ）、セルプロセッサ、またはＣＰＵとして同じ物理的チップに組み込まれるコプロセッサを備え得る１つまたは多くのコプロセッサ、および／または６）ランダムアクセスメモリ、フラッシュメモリ、ソリッドステートドライブまたはハードディスク、または追加の前述したコンピュータ読取り可能記憶媒体のような記憶装置を有し得る。
【００５６】
ファイアウォール７６の背後のサーバ１０２のクラスタ全体は、これに限定されるものではないが、カテゴリ５規格のケーブルまたは光ファイバケーブルを通ってＧｉｇＥ、１０ＧｉｇＥまたはインフィニバンドスイッチのような高速リンクで接続され得る。このことはサーバがそれらのサーバ間で高速でデータを伝送または交換できることである。クラスタ化されたサーバは、外部リンクをスイッチに接続することによりＡＴ＆Ｔネットワークキャリアのような外部サービスプロバイダを用いてインターネットに接続５５され得る。サーバクラスタはキャリア中間データセンタ内に私設のネットワークを張り得、それ故、各サーバは異なったサイトに迅速に通信できる。過負荷および／または故障したサーバ、ネットワーク接続またはネットワークにおけるその他の装置により発生した問題についてネットワークを識別するようにネットワーク監視システムが利用される。
【００５７】
適用すべき規定を遵守するためそして記憶および処理サーバクラスタを保護するために、サービス用サイト７０，７０’の各々におけるセキュリティ、負荷バランサおよび記憶および処理レイヤは、米国公認会計士協会（ＡＩＣＰＡ）の監査規格委員会により発行された定期的基準書に準じたＳＡＳ７０タイプII準拠データセンタに組み立てられ得る。このようなデータセンタにおいて、ユーザ出入のログが記録され、その設備は、これに限定されるものではないが、指紋、手形またはその他の生体識別の基づく識別入場システムを介して物理的に保護され、ラックまたはケージは錠を掛けられてカメラで監視され、そしてハードウェアファイアウォールおよび侵入検知が組み込まれてサイバー攻撃を回避するように監視される。ウェブ方法を可能にするポートだけがファイアウォールに開けられる。標準的なポートの例は、ＨＴＴＰにおける８０またはＨＴＴＰＳにおける４４３である。プライベートＵＤＰポートもまた表示アプリケーションにとってより良好なビデオストリームを提供するように開放され得る。クラスタ化システムの安全性および信頼性を危うくできるいくつかのタイプの悪意のある行為を検出するように侵入検出および防止システム７４が使用され得る。このことは、脆弱なサービスに対するネットワーク攻撃、アプリケーションに対するデータドライブ攻撃、権限昇格や非認証ログインや慎重に扱うべきファイルへのアクセスのようなホストベースの攻撃、および破壊工作ソフト（ウイルス、トロイの木馬およびワーム）を含む。ウェブアプリケーションと記憶および処理サーバとの間の通信は暗号化され得る。ファイアウォール装置の機能を通るＶＰＮアクセスは、ファイアウォールの背後のサーバのクラスタの遠隔監視および更新を可能にされ得る。ＶＰＮセッション内から、認証された遠隔デスクトップアプリケーションがサーバにリモートアクセスすることも可能である。
【００５８】
本発明はシステム、方法またはコンピュータプログラム製品として実施され得る。本発明は完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、等を含む）、または本説明において「回路」、「モジュール」または「システム」としてすべて総体的に参照される、ソフトウェアおよびハードウェア態様を組み合わせる実施形態の形を取り得る。本発明はそこに具体化されたコンピュータ読取り可能プログラムコードを有する１つまたはそれ以上のコンピュータ読取り可能媒体に実施されたコンピュータプログラム製品の形を取り得る。コンピュータ読取り可能媒体に実施されたプログラムコードは、これに限定されるものではないが、無線、有線、光ファイバケーブル、無線周波（ＲＦ）または同様なもの、あるいは前述のいずれかの組合せのいずれか適切な媒体を用いて伝送され得る。
【００５９】
本発明の観点の動作を実行するためのコンピュータプログラムコードは、ジャバ、スモールトーク、Ｃ++または同様なもののようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様なプログラミング言語のような慣用の手続き型プログラミング言語を含む１つまたはそれ以上のプログラム言語の組合せで書かれ得る。プログラムコードはユーザのコンピュータで完全に、独立型ソフトウェアパッケージのように、ユーザのコンピュータで部分的に、ユーザのコンピュータで部分的にかつリモートコンピュータで部分的にまたはリモートコンピュータまたはサーバで完全に実行し得る。後者の状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む、いかなるタイプのネットワークをも介してユーザのコンピュータに接続され得るか或いは、接続は外部コンピュータに行われる（例えば、インターネットサービスプロバイダを用いるインターネットを介して）。
【００６０】
本発明は、本発明の実施例による方法、装置（システム）およびコンピュータプログラム製品を示す図面の機能ブロックまたはモジュールの図を参照して説明する。図面における各ブロックおよびブロックの組合せがコンピュータプログラム命令により実施されることは理解されよう。こけらのコンピュータプログラム命令は汎用コンピュータ、特殊用途コンピュータ、またはその他のマシンを作り出すようにプログラム可能なデータ処理装置のプロセッサに与えられ、それにより、コンピュータまたはその他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令は、図面の機能ブロックまたはモジュールに特定される機能／作用を実行する手段を生成する。
【００６１】
これらのコンピュータプログラム命令はまた、コンピュータ、その他のプログラム可能なデータ処理装置、または特有な方法で機能するその他の装置を指向できるコンピュータ読取り可能媒体に記録され得、それによりコンピュータ読取り可能媒体に記録された命令は、図面の機能ブロックまたはモジュールに特定される機能／作用を実行する命令を含む製造品を生産する。
【００６２】
コンピュータプログラム命令はまた、コンピュータ実行処理を行うようにコンピュータ、その他のプログラム可能なデータ処理装置、またはその他の装置で一連の動作ステップを遂行させるようにコンピュータ、その他のプログラム可能なデータ処理装置、またはその他の装置に読み込まれ得、それによりコンピュータまたはその他のプログラム可能な装置で実行する命令は、図面の機能ブロックまたはモジュールに特定される機能／作用を実行するプロセスを提供する。
【００６３】
図面の機能ブロックまたはモジュールは、本発明の種々の実施形態によるシステム、方法およびコンピュータプログラム製品の可能な実行の基本設計概念、機能性、および操作を示す。この点において、図面の各ブロックは、特定の論理関数を実行するために１つまたはそれ以上の命令から構成されるモジュール、セグメントまたはコードの部分を表し得る。いくつかの互換的な実施において、ブロックに述べられた機能は図に示された順序の範囲外でも起こり得ることもまた留意すべきである。例えば、連続して示される２つのブロックの機能は、実際には、実質的に同時に実行されるか、または関与される機能性によってブロックはしばしば逆順で実行される。図面の各ブロックおよびブロックの組合せは、特定の機能または作用、或いは特定目的のハードウェアおよびコンピュータ命令の組合せを遂行する特定目的のハードウェアベースのシステムにより実行され得る。また、機能ブロックまたはモジュール間の通信は図面に一方向で示されているが、このような通信もまた両方向であり得る。
【００６４】
本発明は、それ故、標準的インターネット特有の特性である低バンド幅および高待ち時間制限を解消し、特にいかなるインターネット接続でも大きな医療用スキャンの可視化のための相互作用ウェブアプリケーションのためにバンド幅の利用を最適化できる処理およびアクセス機構を提供する。
【００６５】
本発明はまた、経済的な規模を豊富に適用できるウェブポータルを介して大きな医療用スキャンを受信、記録、処理および表示するために共有および集中化インフラの方法およびシステムを提供することにより保安および個人情報に基づく長期間の医療記録の維持の問題を解消する。
【００６６】
本発明は、標準、低バンド幅ねインターネット接続上での画像診断およびデータセットの即時の３Ｄマニピュレーションへの迅速なアクセスをさらに提供する。本発明は放射線科医、臨床医、外科医および患者に医療用スキャンにアクセスする権限を与える１つまたはそれ以上の次の特定目的を実現することを可能にする：内科医および患者による迅速なアクセスのためのＨＩＰＡＡ遵守および安全なウェブポータルはＤＩＣＯＭおよびＨＬ７規格を用いる参画健康管理機関システム間で医療用スキャンを共有できる。また、患者はそれらのスキャンをＣＤから或いは患者の利益になるように非参画機関からスキャンを得るように彼等の同意を条件とすることによりアップロードできる。このことは病院がどこからもどの内科医またはスペシャリストとも接続でき、内科医が彼等自身間でかつ事実上患者と通信することを許容し、そして特に農村地域にいる患者がどこかのどの内科医にもアクセスして適切な診断およびセカンドオピニオンを得ることができる。ポータルは大規模スキャンの理解を容易にする２Ｄ、３Ｄまたは４Ｄインテリジェント可視化を生成して、それらのビューをエンドユーザに伝送するために集中化および高性能ベクトルプロセッサベースのクラスタサーバに基づくものである。
【００６７】
本発明は、特定の好適な実施例とともに説明されたが、当業者にとって上述の説明を踏まえて多くの互換、変形および変更が行われ得ることは明らかである。それ故、添付の請求の範囲は本発明の真正な範囲および要旨内にあるようなこのようないかなる互換、変形および変更も包含することは予期される。
【図３】
0005681706.tif 000002
【図４】
0005681706.tif 000003
【図５】
0005681706.tif 000004
【図１】
0005681706.tif 000005
【図２】
0005681706.tif 000006