(57)【要約】【課題】人間と計算機式システムとの対話において、長時間利用者の日常業務の反復的で長時間の性質を支援する。【解決手段】表示用のデータ集合と対話する方法及びシステムが提供される。一方法（７０）は、利用者によって視認可能な表面を有する表示器に情報を表示するステップ（７６）と、マルチ・タッチ感知型装置の表面において利用者入力を受け取るステップ（７８）とを含んでいる。マルチ・タッチ感知型装置の表面は、利用者によって視認可能な表示器の表面とは異なる表面である。この方法はさらに、受け取った利用者入力に応答して、表示される情報を操作するステップ（８２）を含んでいる。【選択図】図３
2012009022.tif 000002
【特許請求の範囲】
【請求項１】
表示される情報と対話する方法（７０）であって、
利用者により視認可能な表面を有する表示器に情報を表示するステップ（７６）と、
前記利用者により視認可能な前記表示器の前記表面とは異なる表面であるマルチ・タッチ感知型装置の表面において利用者入力を受け取るステップ（７８）と、
該受け取った利用者入力に応答して前記表示される情報を操作するステップ（８２）と
を備えた方法。
【請求項２】
前記利用者入力に基づいて誘導応答を与えるステップをさらに含んでおり、該誘導応答は、前記表示器にグラフィック指標を表示するステップ又は前記マルチ・タッチ感知型装置により触覚応答を与えるステップ（８０）の少なくとも一方を含んでいる、請求項１に記載の方法（７０）。
【請求項３】
前記触覚応答を与えるステップ（８０）は、指触された前記マルチ・タッチ感知型装置の表面の部分に基づいて異なる触覚応答を与えることを含んでいる、請求項２に記載の方法（７０）。
【請求項４】
前記グラフィック指標を表示するステップは、前記入力を与える前記利用者の指と略同じ寸法の複数のグラフィック指標を表示することを含んでいる、請求項２に記載の方法（７０）。
【請求項５】
前記マルチ・タッチ感知型において受け取られるマルチ・タッチ・ジェスチャをシステム命令に関連付けるステップ（７６）をさらに含んでいる請求項１に記載の方法（７０）。
【請求項６】
ワークリストを前記マルチ・タッチ感知型装置及び前記表示器に表示するステップ（９４）と、前記ワークリストから患者に対応する項目を表示のために選択するために前記マルチ・タッチ感知型表示器から利用者の指触入力を受け取るステップ（９６）とをさらに含んでおり、また患者情報又は１若しくは複数の画像を有する患者画像データ集合の一方を表示するステップ（９８）をさらに含んでおり、また前記マルチ・タッチ感知型装置において受け取られるマルチ・タッチ・ジェスチャに基づいて前記画像を開き、前記表示器に配置し、サイズ変更するステップをさらに含んでいる請求項１に記載の方法（７０、９０）。
【請求項７】
利用者により視認され、情報を表面に表示するように構成されている少なくとも一つの表示器（２６）と、
表面位置が前記表示器の前記表面とは異なるスクリーンを有し、利用者の１又は複数の指による前記スクリーン表面の接触であって利用者入力に対応する接触を検出するように構成されているマルチ・タッチ感知型装置（３８）と、
前記受け取った利用者入力に応答して前記表示される情報を操作するように構成されているプロセッサ（２４）と
を備えたワークステーション（２２）。
【請求項８】
前記少なくとも一つの表示器（２６）に表示される前記情報は前記マルチ・タッチ感知型装置（３８）に表示され、前記少なくとも一つの表示器は全体的に垂直配向にあり、前記マルチ・タッチ感知型装置の前記スクリーンは全体的に水平配向にある、請求項７に記載のワークステーション。
【請求項９】
少なくとも一つの指触感知型以外の利用者入力装置（３０）をさらに含んでいる請求項７に記載のワークステーション。
【請求項１０】
前記マルチ・タッチ感知型装置（３８）に接続されており、該マルチ・タッチ感知型装置との接触を感知することに基づいて触覚応答を与えるように構成されている触覚パネル（４２）と、前記マルチ・タッチ感知型装置に近接した利用者の１又は複数の指を検出するように構成されている近接センサ（４４）とをさらに含んでおり、前記プロセッサ（２４）は前記少なくとも一つの表示器（２６）に、前記マルチ・タッチ感知型装置に対する前記検出された指の位置に対応する指標を生成するように構成されている、請求項７に記載のワークステーション。
【発明の詳細な説明】
【技術分野】
【０００１】
本書に開示される主題は一般的には、データ集合（dataset）と対話（相互作用）する方法及びシステムに関し、さらに具体的には、表示用のデータ集合を再表示する（review）、操作する、及び／又は生成することを含めて、表示されるデータ集合と対話することに関する。
【背景技術】
【０００２】
患者データを再表示する放射線科医のように日常的にデータ集合（例えばマルチメディア・データ集合）と対話する専門職利用者は、長時間にわたってデータ集合と対話する（例えば再表示する、操作する、及び生成する）場合があり、この時間は１日に８時間乃至１２時間以上に及び得る。この長時間の対話は、利用者にとって課題や問題を生じ得る。例えば、これらの型の利用者は、職場環境が適正に人間工学的に設計されていない場合に、長時間のマウス利用からの手の反復運動過多損傷及び全般的な不快感を経験する場合がある。加えて、これらの利用者は、対話用装置の性質が移動閲覧（ナビゲーション）を可能にするために視覚焦点の移動又は完全なコンテキスト切り換えを要求して負担の大きいものである場合が間々あるため、作業に視覚焦点を保つのに困難を覚える場合がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００９／０１６７７０４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人間と計算機式システムとの対話の性質は、利用可能な入出力能力の性質によって左右される。従来のシステムでは、これらの対話は、人間が典型的に対話する自然な方法に一致せず、且つ／又はかかる方法を模擬していない。例えば、比較的自然なマルチ・タッチ入力方法を用いた商用システムは、掌中型装置又は対話用表面を含んでいる。掌中型応用においても対話用表面応用においても、入力装置が同時に視覚化装置となる。これらのシステムの何れにおいても、利用者の対話パターンは、何らかの専門職利用者（例えば再表示を行なう放射線科医）が遭遇するような不断の対話を伴う毎日の長時間の利用に資するものではない。また、これらのシステムは、長時間利用者の日常業務の反復的で長時間の性質を支援しない。
【課題を解決するための手段】
【０００５】
様々な実施形態によれば、表示される情報と対話する方法が提供される。この方法は、利用者によって視認可能な表面を有する表示器に情報を表示するステップと、マルチ・タッチ感知型装置の表面において利用者入力を受け取るステップとを含んでいる。マルチ・タッチ感知型装置の表面は、利用者によって視認可能な表示器の表面とは異なる表面である。この方法はさらに、受け取った利用者入力に応答して、表示される情報を操作するステップを含んでいる。
【０００６】
他の様々な実施形態によれば、利用者によって視認され、情報を表面に表示するように構成されている少なくとも一つの表示器を含むワークステーションが提供される。このワークステーションはさらに、表面位置が表示器の表面とは異なるスクリーンを有するマルチ・タッチ感知型装置を含んでいる。マルチ・タッチ感知型装置は、利用者の１又は複数の指によるスクリーン表面の接触であって利用者入力に対応する接触を検出するように構成されている。このワークステーションはまた、受け取った利用者入力に応答して、表示される情報を操作するように構成されているプロセッサを含んでいる。
【０００７】
さらに他の様々な実施形態によれば、利用者の指触入力を検出するように構成されている入力表面を有するマルチ・タッチ感知型装置を含むユーザ・インタフェイスが提供される。このユーザ・インタフェイスはさらに、視認のために情報を表示するように構成されている表示表面を含んでおり、入力表面及び表示表面は同じ表面ではなく、表示される情報は利用者の指触入力に基づいて操作される。
【図面の簡単な説明】
【０００８】
【図１】ワークステーションの一部として提供される様々な実施形態に従って形成されるユーザ・インタフェイスを示すブロック図である。
【図２】様々な実施形態に従って形成されるユーザ・インタフェイスの構成を示すブロック図である。
【図３】様々な実施形態に従って形成されるユーザ・インタフェイスの動作を示す図である。
【図４】様々な実施形態に従って形成されるユーザ・インタフェイスの簡略化されたブロック図である。
【図５】様々な実施形態による指触感知型表示器を用いて表示される情報と対話する方法の流れ図である。
【図６】様々な実施形態よる指触感知型表示器を用いて表示される情報と対話するもう一つの方法の流れ図である。
【図７】一実施形態に従って表示器と共に構成されるユーザ・インタフェイスを示す図である。
【図８】もう一つの実施形態に従って表示器と共に構成されるユーザ・インタフェイスを示す図である。
【図９】もう一つの実施形態に従って表示器と共に構成されるユーザ・インタフェイスを示す図である。
【図１０】様々な実施形態に従って表示されるグラフィック指標を示す表示器の図である。
【発明を実施するための形態】
【０００９】
以上の概要及び以下の幾つかの実施形態の詳細な説明は、添付図面と併せて読むとさらに十分に理解されよう。図面が様々な実施形態の機能ブロックの線図を示す範囲までにおいて、機能ブロックは必ずしもハードウェア回路の間の区分を示す訳ではない。従って、例えば、機能ブロックの１又は複数（例えばプロセッサ若しくはメモリ）が単体のハードウェア（例えば汎用信号プロセッサ若しくはランダム・アクセス・メモリのブロック、又はハードディスク等）として具現化されてもよいし、多数のハードウェアとして具現化されてもよい。同様に、各プログラムは独立型プログラムであってもよいし、オペレーティング・システムのサブルーチンとして組み込まれていてもよいし、インストールされているソフトウェア・パッケージの関数等であってもよい。尚、様々な実施形態は図面に示されている構成及び手段に限定されないことを理解されたい。
【００１０】
本書で用いる場合には、単数形で記載されており単数不定冠詞を冠した要素又はステップとの用語は、排除を明記していない限りかかる要素又はステップを複数備えることを排除しないものと理解されたい。さらに、「一実施形態」に対する参照は、所載の特徴を同様に組み入れている追加の実施形態の存在を排除しないものと解釈されたい。また、反対に明記されていない限り、特定の特性を有する一つの要素又は複数の要素を「含んでいる」又は「有している」実施形態は、この特性を有しないような追加の要素も包含し得る。
【００１１】
様々な実施形態が、マルチメディア・データ集合のようなデータ集合との対話のためのシステム及び方法を提供する。対話は幾つかの実施形態では、マルチ・タッチ感知型入力装置と、１又は複数の異なる表面、例えば同じ装置の異なる位置にある別個の表示器又は表面での視覚化とを用いて提供される。様々な実施形態は、利用者がマルチメディア・データ集合のような表示用のデータ集合を再表示する、操作する、及び／又は生成することを可能にするワークステーションとして構成され得る。例えば、ワークステーションは画像保管通信システム（ＰＡＣＳ）ワークステーションであってよく、このワークステーションは、放射線医療での画像及び情報の管理を考慮した放射線医療情報システム／画像保管通信システム（ＲＩＳ／ＰＡＣＳ）ワークステーションのような特定の応用向けに構成され得る。
【００１２】
図１は、ワークステーション２２の一部であり得る様々な実施形態に従って形成されるユーザ・インタフェイス２０を示している。ワークステーション２２は一般的には、以下でさらに詳細に記載するように利用者入力をユーザ・インタフェイス２０を介して受け取るコンピュータ２４又は他のプロセッサ／処理機械を含んでいる。コンピュータ２４は、画像及びデータのような情報を表示する１又は複数の表示器２６に接続されている。様々な実施形態では、１又は複数のモニタのような表示器２６の１又は複数に表示されている内容がユーザ・インタフェイス２０のスクリーンにも同様に表示されて、利用者が指触命令を用いて表示器２６に表示される情報の表示及び操作を制御し得るようにしている。
【００１３】
１又は複数の周辺装置２８がコンピュータ２４に接続され得る。周辺装置２８は、例えばコンピュータ可読の媒体を受け入れる外部読み書き装置（例えばＣＤ又はＤＶＤドライブ）、及びプリンタ等を含み得る。また、利用者入力を受け取る１又は複数の付加的な利用者入力装置３０が設けられ得る。例えば、付加的な利用者入力装置３０としては、キーボード、キーパッド、マウス、トラックボール、ジョイスティック又は他の物理的入力装置等が挙げられる。従って、利用者入力は、ユーザ・インタフェイス２０、及び選択随意で指触感知型以外の入力装置であってよい付加的な利用者入力装置３０によって受け取られ得る。
【００１４】
コンピュータ２４はまた、網３４を介してサーバ３２に接続され得る。サーバ３２は、１又は複数のデータベース３３にデータを記憶することができる。網３４は任意の形式の網であってよく、例えば病院等の内部の構内網（ＬＡＮ）であってよい。但し、網３４は、イントラネットのようなローカル網であってもよいし、ワールド・ワイド・ウェブ又は他のインターネットであってもよいことを特記しておく。従って、コンピュータ２４は、情報又はデータにアクセスして記憶することをローカルに（例えばハード・ドライブのようなコンピュータ２４のローカル・メモリにおいて）行なうこともできるし、サーバ３２においてリモートに行なうこともできる。
【００１５】
ワークステーション２２はまた、選択随意でデータ取得装置３６に接続される。データ取得装置３６は、ローカルに位置してワークステーション２２に接続されてもよいし、データ取得装置３６からリモートに位置してもよい。例えば、ワークステーション２２は、データ取得装置３６の一部を形成してもよいし、データ取得装置３６と同じ部屋又は異なる部屋に位置してもよいし、データ取得装置３６と異なる施設に位置してもよい。幾つかの実施形態では、データ取得装置３６は、診断医用撮像装置のような撮像装置又はスキャナである。例えば、データ取得装置３６は、他の形式の医用撮像装置の中でも特に、Ｘ線スキャナ又は計算機式断層写真法（ＣＴ）スキャナであってよい。
【００１６】
様々な実施形態において、ユーザ・インタフェイス２０は、表示される情報又はデータの対話、接触及び／又は制御を可能にするように構成され、例えば別個に又は同時に実行され得る多数の利用者入力（例えば利用者の多数の指を用いるもの）に基づく表示される情報又はデータの再表示、操作及び生成を可能にするように構成される。表示される情報又はデータの操作のような情報又はデータの操作は、表示される情報又はデータについての任意の形式の再表示、改変、生成又は他の対話を含み得る。
【００１７】
ユーザ・インタフェイスは一般的には、マルチ・タッチ感知型装置、例えば利用者によるスクリーン表面の接触を感知し又は検出してこれにより利用者入力を受け取ることが可能なマルチ・タッチ・スクリーン３８を含んでいる。このように、マルチ・タッチ・スクリーン３８の全体又は少なくとも一部が、様々な実施形態において利用者の表示される情報との対話を考慮した１又は複数の指触感知区域を含んでいる。マルチ・タッチ・スクリーン３８は任意の指触感知型装置であって、具体的にはスクリーンを有しマルチ・タッチ・スクリーン３８の利用者の指触の位置を検出することが可能な１又は複数の部分を含む装置である。尚、限定しないが容量センサ、膜スイッチ、及び赤外線検出器のような指触感知型素子を含む様々な形式の指触技術がマルチ・タッチ・スクリーン３８での利用に想到されることを特記しておく。
【００１８】
ユーザ・インタフェイス２０はまた、利用者誘導システム４０を含んでおり、このシステムの全て又は一部がマルチ・タッチ・スクリーン３８の一部を形成していてもよいし、マルチ・タッチ・スクリーン３８から分離されていてもよい。誘導システム４０は一般的には、利用者のマルチ・タッチ・スクリーン３８との対話を容易にして、例えば表示されるデータを操作することに関する誘導情報を提供する。一実施形態では、誘導システム４０は、触覚パネル４２及び１又は複数の近接センサ４４を含んでいる。
【００１９】
触覚パネル４２は指触感知型マルチ・タッチ・スクリーン３８と協働して、利用者の指触を感知するマルチ・タッチ・スクリーン３８の区域として位置決定され得る触覚応答又はフィードバックを利用者に与えることができる。触覚パネル４２は、パターンを成して構成される複数の圧電式作動装置（アクチュエータ）を含むことができ、マルチ・タッチ・スクリーン３８の利用者による指触点に位置する及び／又は指触点に近接した振動フィードバックのような触覚フィードバックを与える。また、１又は複数の近接センサ４４を触覚パネル４２と組み合わせて用いると、マルチ・タッチ・スクリーンと対話するときの利用者を誘導することができる。例えば、１又は複数の赤外線近接センサを、触覚パネル４２の一部として（例えばマルチ・タッチ・スクリーン３８の下方に）設けてもよいし、別個のパネル又は別個のユニット等のように触覚パネル４２から分離して設けてもよい。近接センサ４４は、利用者の指若しくは他の身体部分、又は物体（例えばスタイラス）の存在を、マルチ・タッチ・スクリーン３８との接触が行なわれる前に検出する任意の種類のセンサであってよい。例えば、近接センサ４４は、利用者の指のマルチ・タッチ・スクリーン３８との接触の前にこの指を検出するように構成され得る。近接センサ４４は、１又は複数の指の存在を、マルチ・タッチ・スクリーン３８から（例えば上方に）予め決定された距離において検出することができる。また、本書でさらに詳細に記載するように、検出された指の視覚的表示が、例えば表示器２６において利用者に対して表示され得る。
【００２０】
このように、利用者は、マルチ・タッチ・スクリーン３８を操作しながら表示される情報の再表示、操作及び／又は生成のような対話を行なっているときに誘導される。ユーザ・インタフェイス２０を含む様々な実施形態は、例えば再表示を行なう放射線科医によって用いられる医用設定での利用のために提供され得る。かかる設定において、又は他の設定において、マルチ・タッチ・スクリーン３８及び表示器２６は図２に示すように設けられ得る。尚、各システム構成要素が図２にブロックとして全体的に表わされている（線図の上面図を示す）が、異なる構成として設けられてもよいことを特記しておく。図示のように、表示器表面が垂直に（又は実質的に垂直に）配置されて、本例では放射線科医である利用者５０の主要な視覚焦点区域の周囲に構成される状態で、複数の表示器２６が構成されるような実施形態として、様々な構成要素が設けられている。マルチ・タッチ・スクリーン３８は水平に（又は実質的に水平に）配置される。
【００２１】
入力装置は、マルチ・タッチ・スクリーン３８として図示されているグラフィック型マルチ・タッチ・スクリーン入力装置と、付加的な入力装置、例えば利用者５０によって物理的に押圧されるマウス５２及びハード・キー５４とを含んでいる。尚、ハード・キー５４は、マルチ・タッチ・スクリーン３８の一部を形成していてもよいし、マルチ・タッチ・スクリーン３８に接続されていてもよいし、隣接して載置されていてもよいし、分離されていてもよいことを特記しておく。このように、入力装置は、タッチ・スクリーン入力及び／又は物理的運動による入力の両方を提供する。尚、加えて又は代替的に本書に記載するような他の入力装置が設けられ得ることを特記しておく。さらに、触覚型以外の利用者入力が、音声入力、及びテキストから音声へのインタフェイス装置（例えばヘッドセット又はマイクロフォン／スピーカ）のような任意の適当な態様で選択随意で設けられ得る。
【００２２】
マルチ・タッチ・スクリーン３８は少なくとも一つの実施形態では、放射線医学再表示システムに配置されるような典型的なキーボードと同様に配向されて表示器２６の前面に配置される。代替的に又は加えて、マルチ・タッチ・スクリーン３８は、長時間（例えば１日に８時間〜１２時間）にわたる利用等のために、人間工学的利用を支援する構成又は配向に移動可能であってよい。このように、幾つかの実施形態では、マルチ・タッチ・スクリーン３８は、表示器２６と共に用いられるキーボードに置き換わることができる。他の実施形態では、本書でさらに詳細に記載するように別個のキーボードが設けられてもよい。
【００２３】
動作時には、マルチ・タッチ・スクリーン３８に付設される利用者誘導システム４０（図１に示す）が、近接感知／視覚化、及び／又は触覚感知を提供する。利用者誘導システム４０は常時オンであってもよいし、例えば特に異なる動作モード、利用者設定（プレファレンス）、利用者の専門技術レベルを支援するように選択的にオフに切り換えられてもよい（例えば近接感知／視覚化及び／若しくは触覚感知の一方を又は同時に両方を）。幾つかの実施形態では、ワークフローの要求又は必要に依存して、マルチ・タッチ・スクリーン３８は、テキスト及び／又は画像を多数のウィンドウ／フレームに表示して操作するように、電子キーボードのように、またマルチ・タッチ表面を画定する他のグラフィック型ユーザ・インタフェイス（ＧＵＩ）制御のように構成され得る。ＧＵＩは、例えばマルチ・タッチ・スクリーン３８によって操作可能な仮想制御又は利用者選択可能要素を含み得る。
【００２４】
各々の指触接触の前に、放射線科医の指の近接が近接センサ４４（例えば赤外線表面近傍近接感知装置）によって検出され、利用者を適当な指触に導く手段として表示器２６の１又は複数のスクリーンに表示される。幾つかの実施形態では、利用者の指が検出される近接領域を表わすグラフィック指標（例えば円）が表示される。このグラフィック指標は、利用者がマルチ・タッチ・スクリーン３８を用いて様々な指触又は移動を確認し又は調節することを可能にする。マルチ・タッチ・スクリーン３８を近接感知／視覚化及び／又は触覚感知と組み合わせると、利用者が様々な実施形態において表示器２６に視覚焦点を置くことが可能になる。
【００２５】
このように、図３に示すように、利用者５０の指６０がマルチ・タッチ・スクリーン３８に接触する前に感知されて、対応する位置６２が表示器の一つ２６ｂにおいて識別され得る。例えば、色付きの円又は環を利用者の指６０の各々に対応して表示することができる。尚、マルチ・タッチ・スクリーン３８は図示の実施形態において、表示器２６ｂと同じ表示構成を有する（例えば表示される構成要素の構成が同じ）タッチ・スクリーンであり、マルチ・タッチ・スクリーン３８に沿った又はマルチ・タッチ・スクリーン３８の上方での利用者の指６０の移動が表示器２６ｂの表示される移動に直接対応していることを特記しておく。このように、幾つかの実施形態では、マルチ・タッチ・スクリーン３８に表示される情報は、表示器２６ｂに表示されるものと同じ情報であって、同じ位置及び配向において表示される。
【００２６】
加えて、表示されるオブジェクト６４は、マルチ・タッチ・スクリーン３８での利用者の指触の移動によって表示器２６ｂに沿って且つ／又はもう一つの表示器２６ｃまで等のように移動され得る。放射線医学的再表示応用におけるオブジェクト６４は、１又は複数のＸ線画像又はＸ線ファイルであり得る。このように、マルチ・タッチ・スクリーン３８は表示器２６ｂ若しくは表示器２６ｃ（又は両方）に対応することができる。従って、幾つかの実施形態では、利用者が様々なスクリーンにおいて情報を操作すると、マルチ・タッチ・スクリーン３８の情報は呼応して切り換わり又はスクロールする。他の実施形態では、マルチ・タッチ・スクリーン３８をタッピングすると、マルチ・タッチ・スクリーン３８の連係が異なる表示器２６ａ〜２６ｃへ切り換わる。さらに他の実施形態では、マルチ・タッチ・スクリーン３８に表示される情報が、全ての表示器２６ａ〜２６ｃに表示される情報に対応し得る。尚、本書では特定の表示器又は動作に関する例を記載する場合があるが、同様の動作がスクリーン又は表示器の任意のものに関連して実行され得ることを特記しておく。例えば、同様の動作を１又は複数のウィンドウ６６（又は表示されるパネル）において実行することができる。
【００２７】
図４に示すユーザ・インタフェイス２０のような様々な実施形態の入力装置が複数の構成要素を含むことを認められたい。具体的には、ユーザ・インタフェイス２０は、マルチ・タッチ・スクリーン３８、触覚パネル４２、及び近接センサ４４を含んでいる。尚、図４は単にユーザ・インタフェイス２０を形成している構成要素を示しており、ユーザ・インタフェイス２０の如何なる特定の層、構成又は階層的構造も示すものではないことを特記しておく。
【００２８】
様々な実施形態は、指触感知型装置又は表示器、例えばマルチ・タッチ・スクリーン３８を用いて、表示される情報と対話する図５に示すような方法７０を提供する。この方法を実施することにより、データ集合の再表示、操作及び／又は生成を行なうことができる。様々な実施形態の少なくとも一つの技術的効果は、データ集合を再表示し、操作し且つ／又は生成しているときに利用者の焦点を表示される情報に保つことを含んでいる。
【００２９】
方法７０は、グラフィック型マルチ・タッチ・スクリーン・インタフェイス装置のようなグラフィック型マルチ・タッチ感知型装置を用いてデータ集合（例えばマルチメディア・データ集合）との対話を可能にするものであり、データ集合との対話は１又は複数の表示器において視覚化される。様々な実施形態では、マルチ・タッチ感知型装置の表面及び１又は複数の表示器の表面は、別個の表面を有する別個の装置又は異なって構成された表面を有する同じ装置等のように異なっている。具体的には、方法７０はブロック７２において、利用者によって選択され得る動作モードを決定し、又は現在のセッション若しくはワークフロー等についての利用者設定を決定するステップを含んでいる。例えば、特定の再表示モードが開始されたとの決定を行なうことができ、これにより利用者は、スクリーンに表示される幾つかの作用要素又は動作要素（例えば仮想的選択可能要素、メニュー・ナビゲーション・バー、メニュー等）によって実現される幾つかの作用及び動作をデータ集合に対して実行することが可能になる。次いで、ブロック７４において、マルチ・タッチ表示器表面構成が、決定された動作モード又は利用者設定に基づいて選択され得る。例えば、ウィンドウ（例えば四画面出力）のようなスクリーン構成は、マルチ・タッチ表示器表面に同様に提供されスクリーン又は表示器に表示される様々な選択可能な要素の配向及び位置のような特定の表示の要件又は寸法を画定することができる。加えて、ハード・キー又は他の制御装置を、幾つかの動作が特定のボタンの押下のような実行されるべき対応する動作に関連付けられるように構成することができる。
【００３０】
もう一つの例として、利用者設定が、マルチ・タッチ表示器表面を横断するスライド操作／スワイプ操作又はマルチ・タッチ表示器表面の多数回の指触のような特定の利用者動作に表示器が如何に応答するかを含み得る。表示器構成はまた、利用者設定に基づいて表示要素を初期配置し得る。幾つかの実施形態では、選択されるマルチ・タッチ表示器表面の構成は、モニタ又はスクリーン表示についての情報をマルチ・タッチ表示器表面にも提供する又は表示することを含んでいる。
【００３１】
この後に、ブロック７６において、利用者誘導システムが、選択されたマルチ・タッチ表示器表面の構成について開始される。例えば、近接感知／視覚化及び／又は触覚感知が、本書でさらに詳細に記載するように、特定の表示モードに対応して開始され得る。尚、利用者誘導システムは幾つかの実施形態では、所望又は必要に応じて（例えば特定の動作モードに基づいて）のみ起動されてもよいし、システムがオンである限り起動されていてもよいことを特記しておく。さらに他の実施形態では、近接感知／視覚化及び／又は触覚感知は、マルチ・タッチ表示器表面の幾つかの部分のみに関連して提供されてもよいし、マルチ・タッチ表示器表面の異なる部分毎に異なっていてもよい。
【００３２】
ブロック７８では、利用者接触の近接、例えばマルチ・タッチ表示器表面からの利用者の指の近接が検出され、指標が利用者に対して表示される。例えば、本書でさらに詳細に記載するように、検出された利用者の指に対応するスクリーンの区域を示すグラフィック指標が利用者に表示される。１又は複数のグラフィック指標が、検出された各々の指に対して提供され得る。
【００３３】
加えて、ブロック８０において、利用者がマルチ・タッチ表示器表面に指触した又は接触したときに触覚応答（例えば振動応答）も与えられ得る。触覚応答又は触覚フィードバックは、指触されたマルチ・タッチ表示器表面の部分に基づいて異なっていてよい。例えば、利用者接触が行なわれた区域に表示される情報又はオブジェクトに依存して、触覚応答は、異なる強さ、異なる応答の形式及び異なる応答の長さ等のように異なっていてよい。従って、利用者が表示される仮想ボタンに対応する区域においてマルチ・タッチ表示器表面を指触した場合には、触覚応答を、表示されている画像又はメニュー・バーが選択されたときの相対的に弱い振動に対して鋭い又は短く強い振動のものにすることができる。
【００３４】
この後に、表示される情報は利用者の指触に基づいて修正され得る（例えば移動される、及び再配向される等）。例えば、スクリーンに表示されるオブジェクト又はウィンドウを、マルチ・タッチ表示器表面での利用者の指の対応する移動によって移動させることができる。
【００３５】
様々な実施形態のユーザ・インタフェイスは、再表示を行なう放射線科医等が医用画像を再表示して解析することにより診断医用撮像再表示応用において具現化され得る。医用再表示応用において指触感知型表示器、例えばマルチ・タッチ・スクリーン３８を用いて、表示される情報と対話する方法９０を図６に示す。この方法は、ブロック９２において１又は複数の表示された仮想キーを用いてナビゲーション・メニューからワークリストを選択する利用者入力を受け取るステップを含んでおり、仮想キーは本書に記載されるように動作モード又は利用者設定等に基づいて構成自在であり得る。尚、ワークリストは、実行されるべき業務項目、作業項目、及び再表示項目等の任意の一覧を広く指すことを特記しておく。
【００３６】
次いで、ブロック９４において、ワークリストはマルチ・タッチ表示器表面のスクリーン及び利用者によって視認される垂直型表示器のスクリーンに表示される。次いで、利用者はマルチ・タッチ表示器表面の対応する位置を指触することにより患者又はワークリスト項目を選択することができる。従って、ブロック９６において、患者又はワークリスト項目を選択する１又は複数の利用者指触入力が受け付けられる。
【００３７】
例えば、再表示のための次の患者の選択は、読影の性質に依存して多数の方法でトリガを与えられ得る。患者をワークリストから選択する必要があるときに、放射線科医は高レベルのナビゲーションからワークリストを選択することができ、この選択はマルチ・タッチ表示器表面の構成自在キー（例えば構成自在ソフト・キー）を用いて実行され得る。次いで、ワークリストはマルチ・タッチ表示器表面のスクリーン及び表示装置の両方に表示される。次いで、放射線科医はマルチ・タッチ表示器表面で指を用いてワークリストをスクロールし、指触による入力／ジェスチャ、及び本書でさらに詳細に記載するような能力を用いて患者を選択する。
【００３８】
図６に戻り、この後に、ブロック９８において患者情報が利用者に提示される。患者情報はマルチ・タッチ表示器表面によって操作され得る。例えば、一旦、患者又はワークリスト項目が選択されると、委託医師の処方及び関連する患者病歴を含む患者情報を再表示することができ、再表示はテキストから音声への変換を用いて行なわれてもよいし、視覚的に再表示される場合にはファイルをサムネイルとして表示して、開き、スクリーンに配置して、マルチ・タッチ・ジェスチャを用いてサイズ変更することができる。
【００３９】
この後に、ブロック１００において１又は複数の利用者の指触入力を受け取って患者画像データ集合を選択する。例えば、再表示を行なう放射線科医の例で続けて述べると、次のワークフロー・ステップは、再表示のための患者画像データ集合を選択することであり、データ集合は単一のデータ集合（例えばＣＴ又は磁気共鳴（ＭＲ）検査）であってもよいし再表示を待機している幾つかのデータ集合であってもよい。
【００４０】
次いで、ブロック１０２において画像データ集合が利用者に提示される。画像データ集合は、マルチ・タッチ表示器表面を用いて１又は複数の指触入力によって操作され得る。例えば、一旦、再表示用のデータ集合が選択されると、フィルム・ストリップ形式のサムネイル二次元（２Ｄ）画像スライスの集合をスクロールする（指触入力を用いて）ことによりデータ集合を通覧して再表示することができ、スライス当たり多数のビューが必要とされる又は望まれるときにはサムネイルの一つが大きな視認用ウィンドウ（１又は複数）に常に表示される。特定のスライスを操作する（例えばパン、ズーム・イン／ズーム・アウト、ウィンドウ・レベル、及びウィンドウ幅等）又は特定のスライスに注釈を付ける必要があるときには、かかる操作はこの特定のスライスが拡大表示される大きい視認用ウィンドウにおいて、やはりマルチ・タッチ・ジェスチャを用いて達成され得る。マルチ・タッチ・ジェスチャは予め定義されていてもよいし、予め決定されてもよいし、また例えばマルチ・タッチ・ジェスチャを記憶して特定のシステム命令のような特定の動作又は作用に関連付けるマルチ・タッチ表示装置の学習モード時に利用者によってプログラムされてもよい。
【００４１】
次いで、ブロック１０４において、指触入力及び音声入力を含み得る利用者入力に基づいて報告書が作成され得る。例えば、注釈付画像が、サムネイルを放射線科医報告書に用いられるビン区域に移動する（マルチ・タッチ・ジェスチャによって）ことにより報告書用ビンに複写され得る。一旦、データ集合が再表示されると、放射線科医は、口述（音声認識ソフトウェアによる）、構造化報告、又はこれらの組み合わせを用いて知見を報告することができる。報告書作成時に、注釈付き画像をサムネイルとして表示することができ、音声認識ソフトウェアを用いて報告書を口述筆記しながら報告書用の電子ファイルを生成する場合には、注釈付き画像を報告書のテキストに組み入れることができる。
【００４２】
このように、様々な実施形態がグラフィック型マルチ・タッチ・インタフェイス装置を用いたデータ集合（例えばマルチメディア・データ集合）との対話を提供し、データ集合との対話は、図７から図９に示すような１又は複数の別個の表示装置に視覚化される。具体的には、ユーザ・インタフェイス２０であり得るインタフェイス装置は、マルチ・タッチ・スクリーン３８、並びに触覚パネル４２及び近接センサ４４（例えば近接感知パネル）を含んでおり、何れも図１に示されている。例えばキーボード１１０及び／又はマウス１１２のような付加的な利用者入力装置が選択随意で設けられ得る。加えて、本書でさらに詳細に記載するように、幾つかはハード・キーであってよいコントロール・キーが設けられて、対話ワークフローに従ってマルチ・タッチ・インタフェイス装置の作用範囲を構成することができる。
【００４３】
図７〜図９で分かるように、マルチ・タッチ・スクリーン・インタフェイス装置は、表示器２６の１又は複数を制御することに対応し、また関連付けられ得る。例えば、図７は、表示器２６ａを制御して表示器２６ａに提示される又は表示されるものと同じ又は同様の情報を有するマルチ・タッチ・スクリーン３８を示している。例えば、制御される表示器すなわち表示器２６ａに掲げられているワークリスト１２０及び利用者選択可能要素１２２は、マルチ・タッチ・スクリーン３８にも同様に表示され又はマルチ・タッチ・スクリーン３８の構成に関連付けられる。利用者が、本書でさらに詳細に記載するように異なる表示器に切り換えると、マルチ・タッチ・スクリーン３８も変化する。同様に、図８は、３台の表示器の２台すなわち表示器２６ａ及び２６ｂを制御し、パネル１２４（例えば仮想ウィンドウ）を表示するマルチ・タッチ・スクリーン３８を示している。図９は、表示器の全てすなわち表示器２６ａ及び２６ｂを制御するマルチ・タッチ・スクリーン３８を示している。
【００４４】
動作時には、対話は、例えばデータ集合を通覧すること、複数のデータ集合を開くこと、データ集合を選択し、操作し、注釈を付け、保存すること、及び新しいデータ集合を生成することを含み得る。尚、視覚化表示装置すなわち表示器２６は、図示のマルチ・タッチ・スクリーン３８とは異なる角度及び／又は視距離に配置され得ることを特記しておく。対話は、近接センサ４４（図１に示す）からの入力を利用者を誘導する方法として利用して、マルチ・タッチ・スクリーン３８の表面に指触する前に垂直型表示器２６に指の位置を表示することを含んでいる。このように、例えば、複数のパネル１２４を有する図１０の表示器２６のスクリーン１３０に示すように、マルチ・タッチ・スクリーン３８に対する利用者の指の指触の近接位置又は位置を特定する１又は複数のグラフィック指標１３２が表示され得る。幾つかの実施形態では、グラフィック指標１３２は、検出される利用者の指の部分と略同じ寸法である。グラフィック指標１３２は異なるように表示されることもでき、例えば利用者の指がマルチ・タッチ・スクリーン３８に近接しているか又は接触しているかに依存して、それぞれ例えば色付きの環又は方形のように異なって表示され得る。他の実施形態では、グラフィック指標１３２は、表示される情報をにじみ表示（smudge）又は反転表示（alter）にすることができる。
【００４５】
加えて、様々な実施形態の対話は、利用者が対話しているＧＵＩオブジェクトの形式に応じて変化し得る触覚を利用者に与えることを含んでいる。尚、グラフィック指標１３２は、利用者の指がマルチ・タッチ・スクリーン３８に近接しているとき、及び／又は利用者の指がマルチ・タッチ・スクリーン３８に触れている間に表示され得ることを特記しておく。
【００４６】
また、様々な実施形態は特定の表示器構成又は応用（例えば放射線医療再表示）に関連して記載され得るが、これらの方法及びシステムは特定の応用又は特定の構成に限定されないことを特記しておく。様々な実施形態は、例えば特にＸ線イメージング・システム、ＭＲＩシステム、ＣＴイメージング・システム、陽電子放出断層写真法（ＰＥＴ）イメージング・システム、又は結合型イメージング・システムを含む様々な形式のイメージング・システムに関連して具現化され得る。さらに、様々な実施形態は、非医用イメージング・システム、例えば超音波溶接検査システム又は空港手荷物走査システムのような非破壊検査システム、及びマルチメディア・データ集合を再表示するシステム例えばファイル編集及び生成のシステムとして具現化され得る。例えば、様々な実施形態は、特にテレビ及びビデオの製作及び編集、パイロット操縦席、エネルギ・プラント制御システムのように１又は複数の表示されるデータ集合を操作する利用者のためのシステムに関連して具現化され得る。
【００４７】
尚、様々な実施形態は、ハードウェア、ソフトウェア又はこれらの組み合わせとして具現化され得ることを特記しておく。様々な実施形態並びに／又は構成要素、例えばモジュール若しくは内部の構成要素及び制御器はまた、１又は複数のコンピュータ又はプロセッサの一部として具現化され得る。コンピュータ又はプロセッサは、演算装置、入力装置、表示ユニット、及び例えばインターネットにアクセスするためのインタフェイスを含み得る。コンピュータ又はプロセッサはマイクロプロセッサを含み得る。マイクロプロセッサは通信バスに接続され得る。コンピュータ又はプロセッサはまた、メモリを含み得る。メモリは、ランダム・アクセス・メモリ（ＲＡＭ）及び読み出し専用メモリ（ＲＯＭ）を含み得る。コンピュータ又はプロセッサはさらに、記憶装置を含んでいてよく、記憶装置はハード・ディスク・ドライブ、又はフロッピィ・ディスク・ドライブ及び光ディスク・ドライブ等のような着脱自在型記憶ドライブであってよい。記憶装置はまた、コンピュータ又はプロセッサにコンピュータ・プログラム又は他の命令を読み込む他の同様の手段であってよい。
【００４８】
本書で用いられる「コンピュータ」又は「モジュール」との用語は、マイクロコントローラ、縮小命令セット・コンピュータ（ＲＩＳＣ）、ＡＳＩＣ、論理回路、及び本書に記載された作用を実行することが可能な他の任意の回路又はプロセッサを用いたシステムを含む任意のプロセッサ又はマイクロプロセッサ方式のシステムを含み得る。上の例は例示のみのためのものであり、従って「コンピュータ」との語の定義及び／又は意味を限定しないものとする。
【００４９】
コンピュータ又はプロセッサは、入力データを処理するために、１又は複数の記憶要素に記憶されている一組の命令を実行する。記憶要素はまた、データ、又は所望若しくは必要に応じて他の情報を記憶し得る。記憶要素は、情報ソースの形態にあってもよいし、処理機械内部の物理的メモリ素子の形態にあってもよい。
【００５０】
一組の命令は、本発明の様々な実施形態の方法及び工程のような特定の動作を実行する処理機械としてのコンピュータ又はプロセッサに指令する様々な命令を含み得る。一組の命令は、ソフトウェア・プログラムの形態にあってよい。ソフトウェアは、システム・ソフトウェア又はアプリケーション・ソフトウェアのような様々な形態にあってよく、有形且つ非一時的なコンピュータ可読の媒体として具現化され得る。さらに、ソフトウェアは、別個のプログラム若しくはモジュールの集合、より大きなプログラムの内部のプログラム・モジュール、又はプログラム・モジュールの一部の形態にあってよい。ソフトウェアはまた、オブジェクト指向プログラミングの形態のモジュール型プログラミングを含み得る。処理機械による入力データ処理は、利用者の命令に応答して行なわれてもよいし、以前の処理の結果に応答して行なわれてもよいし、他の処理機械によって発行された要求に応答して行なわれてもよい。
【００５１】
本書で用いられる「ソフトウェア」及び「ファームウェア」との用語は互換的であり、ＲＡＭメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、及び不揮発性ＲＡＭ（ＮＶＲＡＭ）メモリを含めたメモリに記憶されて、コンピュータによって実行される任意のコンピュータ・プログラムを含んでいる。以上のメモリ形式は例示のみのためのものであり、従ってコンピュータ・プログラムの記憶に利用可能なメモリの形式に関して制限するものではない。
【００５２】
以上の記載は例示説明のためのものであって制限するものではないことを理解されたい。例えば、上述の各実施形態（及び／又は各実施形態の各観点）を互いに組み合わせて用いることができる。加えて、様々な実施形態の範囲を逸脱することなく、特定の状況又は材料を様々な実施形態の教示に合わせて適応構成する多くの改変を施すことができる。本書に記載されている材料の寸法及び形式は、様々な実施形態の各パラメータを定義するためのものであるが、限定するものではなく例示する実施形態である。以上の記載を吟味すると、当業者には他の多くの実施形態が明らかとなろう。従って、様々な実施形態の範囲は、特許請求の範囲に関連して、かかる特許請求の範囲が網羅する等価物の全範囲と共に決定されるものとする。特許請求の範囲では、「including包含する」との用語は「comprising含む」の標準英語の同義語として、また「in whichこのとき」との用語は「whereinここで」の標準英語の同義語として用いられている。また、特許請求の範囲では、「第一」「第二」及び「第三」等の用語は単にラベルとして用いられており、これらの用語の目的語に対して数値的要件を課すものではない。さらに、特許請求の範囲の制限は、「手段プラス機能（means-plus-function）」式で記載されている訳ではなく、かかる特許請求の範囲の制限が、「〜のための手段」に続けて他の構造を含まない機能の言明を従えた文言を明示的に用いていない限り、合衆国法典第３５巻第１１２条第６パラグラフに基づいて解釈されるべきではない。
【００５３】
この書面の記載は、最適な態様を含めて様々な実施形態を開示し、また任意の装置又はシステムを製造して利用すること及び任意の組み込まれた方法を実行することを含めてあらゆる当業者が様々な実施形態を実施することを可能にするように実例を用いている。特許付与可能な様々な実施形態の範囲は特許請求の範囲によって画定されており、当業者に想到される他の実例を含み得る。かかる他の実例は、特許請求の範囲の書字言語に相違しない構造要素を有する場合、又は特許請求の範囲の書字言語と非実質的な相違を有する等価な構造要素を含む場合には、特許請求の範囲内にあるものとする。
【符号の説明】
【００５４】
２０：ユーザ・インタフェイス
２２：ワークステーション
２４：コンピュータ
２６：表示器
２８：周辺装置
３０：利用者入力装置
３２：サーバ
３３：データベース
３４：網
３６：データ取得装置
３８：マルチ・タッチ・スクリーン
４０：利用者誘導システム
４２：触覚パネル
４４：センサ
５０：利用者
５２：マウス
５４：ハード・キー
６０：指
６２：位置
６４：オブジェクト
６６：ウィンドウ
７０、９０：方法
１１０：キーボード
１１２：マウス
１２０：ワークリスト
１２２：利用者選択可能要素
１２４：パネル
１３０：スクリーン
１３２：グラフィック指標
【図１】
2012009022.tif 000003
【図２】
2012009022.tif 000004
【図３】
2012009022.tif 000005
【図４】
2012009022.tif 000006
【図５】
2012009022.tif 000007
【図６】
2012009022.tif 000008
【図７】
2012009022.tif 000009
【図８】
2012009022.tif 000010
【図９】
2012009022.tif 000011
【図１０】
2012009022.tif 000012
【外国語明細書】
2012009022000001.pdf