(57)【要約】  関心領域（ROI）セグメンテーションシステム10は、表示装置20、注視追跡装置28、注視点コレクタ32、境界特定部36、および領域特定部38を含む。表示装置20は、画像14を表示する。注視点線追跡装置28は、表示された画像14に対して注視点を生成する。注視点コレクタ32は、表示された画像14の関心領域（ROI）25に対応する生成された注視点30からの注視点を選択する。境界特定部36は、選択された注視点54,60に基づいて境界70を推定する。領域特定部38は、推定された境界70に基づいてROI25をセグメント化する。
2017536873.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示装置、
表示された前記画像に対する注視点を生成する注視点追跡装置、
表示された前記画像の関心領域に対応する前記生成された注視点から注視点を選択する注視点コレクタ、
選択された注視点に基づいて境界を推定する境界特定部、および
推定された境界に基づいて前記関心領域をセグメント化する領域特定部、
を有する関心領域セグメンテーションシステム。
【請求項２】
前記注視点コレクタが、
前記生成された注視点から滞留点を生成し、前記滞留点は、前記関心領域内の表示された前記画像中の空間的位置を特定し、前記滞留点は、選択された注視点の空間的および時間的な近接度を定め、前記表示装置は、表示された前記画像に対する前記滞留点の視覚的表現を表示する、請求項１に記載の関心領域セグメンテーションシステム。
【請求項３】
前記関心領域内の表示された前記画像中の空間的位置を特定する滞留点を入力するコンピュータ入力装置を有し、前記滞留点は選択された注視点の時間的近接度を定め、前記表示装置は、表示された前記画像に対する前記滞留点の視覚的表現を表示する、請求項１に記載の関心領域セグメンテーションシステム。
【請求項４】
前記滞留点の画像特性にしたがって、選択された前記注視点をフィルタリングする注視点フィルタを有し、前記境界特定部は、フィルタリングされた注視点に基づいて前記境界を生成する、請求項１から請求項３のいずれか一項に記載の関心領域セグメンテーションシステム。
【請求項５】
前記注視点フィルタは、
前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の強度類似度、
前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の勾配類似度、
前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の空間的距離、
のうちの少なくとも１つを含む最尤分析を用いてフィルタリングを行う、請求項４に記載の関心領域セグメンテーションシステム。
【請求項６】
前記表示装置が選択された注視点の視覚的表現を表示し、
前記注視点コレクタが、表示された前記画像中の位置を特定するコンピュータ入力装置からの入力に基づいて前記関心領域に対する選択された注視点の空間的位置を較正する、請求項２から請求項５のいずれか一項に記載の関心領域セグメンテーションシステム。
【請求項７】
前記境界特定部が、動的輪郭アルゴリズムおよびレベルセットアルゴリズムの少なくとも１つを用いて推定される境界を生成する、請求項１から請求項６のいずれか一項に記載の関心領域セグメンテーションシステム。
【請求項８】
前記領域特定部が、
領域成長アルゴリズム、
動的輪郭アルゴリズム、
ライブワイヤアルゴリズム、
レベルセットアルゴリズム、
の少なくとも１つに基づいて前記関心領域をセグメント化する、請求項１から請求項７のいずれか一項に記載の関心領域セグメンテーションシステム。
【請求項９】
前記注視点追跡装置が、固定式装置および身体装着装置の少なくとも１つを含む、請求項１から請求項８のいずれか一項に記載の関心領域セグメンテーションシステム。
【請求項１０】
表示される前記画像が、
画像アーカイブ通信システム（PACS）、
医療撮像装置、
のうちの少なくとも１つから受信される、請求項１から請求項９のいずれか一項に記載の関心領域セグメンテーションシステム。
【請求項１１】
画像を表示し、
表示された前記画像に対する注視点を生成し、
表示された前記画像の関心領域に対応する前記生成された注視点から注視点を選択し、
選択された注視点に基づいて境界を推定し、および
推定された境界に基づいて前記関心領域をセグメント化する、
関心領域セグメンテーション方法。
【請求項１２】
前記選択が、
前記関心領域内の表示された前記画像中の空間的位置を特定し、選択される注視点の時間的近接度を決定する滞留点を入力し、
前記画像に対する前記滞留点の視覚的表現を表示する、
請求項１１に記載の関心領域セグメンテーション方法。
【請求項１３】
前記滞留点の画像特性にしたがって選択された注視点をフィルタリングし、
前記境界の推定がフィルタリングされた注視点に基づく、
請求項１２に記載の関心領域セグメンテーション方法。
【請求項１４】
前記フィルタリングが、
前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の強度類似度、
前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の勾配類似度、
前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の空間的距離、
のうちの少なくとも１つを含む最尤分析を用いる、
請求項１３のいずれか一項に記載の関心領域セグメンテーション方法。
【請求項１５】
選択された注視点の視覚的表現を表示し、
コンピュータ入力装置から入力された画像位置に基づいて前記関心領域に対する選択された注視点の空間的位置を較正する、
請求項１１から請求項１４のいずれか一項に記載の関心領域セグメンテーション方法。
【請求項１６】
前記境界の推定が、動的輪郭アルゴリズムおよびレベルセットアルゴリズムの少なくとも１つを用いる、請求項１１から請求項１５のいずれか一項に記載の関心領域セグメンテーション方法。
【請求項１７】
前記関心領域のセグメント化が、
領域成長アルゴリズム、
動的輪郭アルゴリズム、
ライブワイヤアルゴリズム、
レベルセットアルゴリズム、
の少なくとも１つに基づく、請求項１１から請求項１６のいずれか一項に記載の関心領域セグメンテーション方法。
【請求項１８】
コンピュータにより実行され、前記コンピュータに請求項１１から請求項１７のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【請求項１９】
請求項１１から請求項１７のいずれか一項に記載の方法を実行するように構成されたデータ処理装置。
【請求項２０】
表示装置上に医用画像を表示し、
表示された医用画像上の滞留点の入力に基づいて注視追跡装置によって生成された所定の滞留期間による注視点を選択し、
前記注視点に対応する位置における画像特性に基づいて、選択された注視点を空間的にフィルタリングし、
フィルタリングされた注視点の空間的位置および表示された画像に対応する画素値に基づいて関心領域をセグメント化する、
１つまたは複数のプロセッサを有し、
前記滞留点は、表示された医用画像の関心領域内の点を空間的に選択し、前記所定の滞留期間に対する点を時間的に選択する、
関心領域セグメンテーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
以下は、医療イメージングに関する。それは医用画像における関心領域のセグメンテーションと関連して特定の用途を見出し、特にそれを参照して説明する。しかしながら、他の使用シナリオにおいても適用を見出し、前述のアプリケーションに必ずしも限定されないことが理解されるであろう。
【背景技術】
【０００２】
関心領域（ROI）のセグメンテーションは、病気の検出および/または疾患の進行などの医療画像における組織および構造の分析に使用される。セグメンテーションは、構造および/または組織の境界を特定することを含み、特定された境界、および、ある画像から別の画像への測定における強度、サイズ、形状および/または変化などの他の特性に基づく測定を含むことができる。セグメンテーションは、磁気共鳴イメージング（MRI）、超音波（US）、X線コンピュータ断層撮影（CT）、陽電子放出断層撮影（PET）、単一陽子放射型コンピュータ断層撮影（SPECT）やそれらの組み合わせなどといった、多くのイメージングモダリティにおいて採用されている。
【０００３】
ROIの根底にある性質、異なるモダリティ、および各モダリティで利用可能な異なるイメージングパラメータのために、強度、サイズ、形状が変化するため、標的ROIのセグメンテーションは困難である。分析されるべき標的ROIには、訓練された医療従事者が認識することができる腫瘍、結節、リンパ節、すりガラス陰影を伴う組織が含まれ得るが、医療図表から供給されない場合がある。モダリティは、構造及び/又は代謝活性の異なる画像表現を提示する。標的ROIは、検出可能な特徴を周囲の構造/臓器/組織と共有する可能性がある。各モダリティは、同じ被験者と同じ時間に異なる画像表現を提示する、異なるイメージングパラメータを使用する場合がある。
【０００４】
1つのアプローチは、標的ROIを示すために一連のツールを使用する医療従事者による標的ROIの手動による特定である。例えば、線画ツールおよび/または多角形ツールを使用して、医療従事者は標的ROIのおおよその輪郭を描く。ツールは、典型的には、境界に沿って形状を描くために使用されるコンピュータマウスおよび/またはライトペンに基づいている。セグメンテーションアルゴリズムは、組織および/または構造を区分けするために概略的に描かれた形状をさらに改善する。このアプローチは、手作業で特定された標的ROIに向けてコンピュータ処理リソースを集中させ、相当な医療従事者の時間を必要とし、これは医療従事者が多くの画像を分析する際のスループットを低下させる。このプロセスは、退屈で時間がかかり、一般に、個々の被験者の画像であっても、撮像施設によって撮像された多くの被験者にとってはなおさら、費用効果がないと考えられる。
【０００５】
別のアプローチは、完全自動化であり、これは、医療従事者の入力なしで画像内のすべての組織および/または構造を区分けする。このアプローチは、医療従事者の希少なリソースを節約するが、構造のばらつきのためにセグメント化アルゴリズムが失敗することがある。分析に使用されない構造の区分けに、膨大な計算リソースと時間が浪費される。
【０００６】
ハイブリッドアプローチは、それぞれ異なる態様を含み、医療従事者の入力は、典型的には、手で操作される入力装置を使用して点および/または多角形を示す。入力装置は、画像に対する入力の配置を表す装置の動きを調整するための手先の器用さと時間を必要とする。基本的なオペレーティングシステムには、クリック速度、ポインタ速度、ポインタ軌跡、ポインタ表現などの、マウスによるカーソル操作のためのパラメータが含まれ、個々のコンピュータユーザの生産性およびスループットに対する入力装置による影響を示す。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以下に、上述した問題および他の問題に対処する新規かつ改良された注視追跡駆動型関心領域セグメンテーションを開示する。
【課題を解決するための手段】
【０００８】
一態様によれば、関心領域（ROI）セグメンテーションシステムは、表示装置、注視追跡装置、注視点コレクタ、境界特定部、および領域特定部を含む。表示装置は、 画像を表示します 。注視追跡装置は、表示された画像に対する追跡された注視点を提供する。注視点コレクタは、表示された画像の関心領域（ROI）に対応する、提供された注視点からの注視点を選択する。境界特定部は、選択された注視点に基づいて境界を推定する。領域特定部は、推定された境界に基づいてROIをセグメント化する。
【０００９】
別の態様によれば、関心領域（ROI）セグメンテーションの方法は、画像を表示することを含む。表示された画像に対して注視点が生成される。表示された画像の関心領域（ROI）に対応する生成された注視点から注視点が選択される。選択された注視点に基づいて境界が推定される。ROIは、推定された境界に基づいてセグメント化される。
【００１０】
別の態様によれば、関心領域（ROI）セグメンテーションシステムは、表示装置上に医用画像を表示するように構成された1つ以上のプロセッサを含む。注視点は、表示された医用画像上の滞留点の入力に基づいて、注視追跡装置によって生成された所定の滞留期間に従って選択される。滞留地点は、表示された医用画像の関心領域（ROI）内の点を空間的に選択し、所定の滞留期間に対して、ある点を時間的に選択する。選択された注視点は、注視点に対応する位置の画像特性に基づいて空間的にフィルタリングされる。ROIは、フィルタリングされた注視点の空間的位置および表示された画像に対応する画素値に基づいてセグメント化される。
【００１１】
一つの利点は、注視点のクラスタによる標的関心領域の識別である。
【００１２】
別の利点は、標的ROIを識別する際の医療従事者の入力の速度にある。 
【００１３】
別の利点は、標的ROIを識別する際の入力の選択性にある。
【００１４】
もう一つの利点は、ユーザーのインタラクションを最小限に抑えることにある。
【００１５】
別の利点は、標的ROIを表す最初に得られた空間的位置および/または画像値の分布にある。
【００１６】
別の利点は、初期入力からセグメント化された標的ROIまでのセグメント化の速度にある。
【００１７】
さらに別の利点は、以下の詳細な説明を読み、理解することにより当業者には理解されるであろう。
【００１８】
本発明は、様々な構成要素及び構成要素の配置、ならびに、様々なステップ及びステップの順序の形をとることができる。図面は、好ましい実施形態を説明する目的のためのみであり、本発明を限定するものとして解釈されるべきではない。
【図面の簡単な説明】
【００１９】
【図１】注視追跡駆動型の関心領域セグメンテーションシステムの実施形態を図式的に示す図。
【図２】表示された画像および注視点の分解図を有する例示的な医療用画像を示す図。
【図３】キャリブレーション設定を有する例示的な医療用画像を示す図。
【図４】フィルタされた注視点を有する例示的な医用画像を示す図。
【図５】フィルタリングされた注視点に基づく初期境界を有する例示的な医用画像を示す図。
【図６】セグメント化されたROIを有する例示的な医療用画像を示す図。
【図７】注視点駆動型ROIセグメンテーションの実施形態を使用する1つの方法のフローチャート。
【発明を実施するための形態】
【００２０】
図1を参照すると、注視追跡駆動型の関心領域セグメンテーションシステム10の実施形態が図式的に示されている。コンピュータまたはコンピューティング装置12は、記憶装置16から、または被験者の医学的画像を生成する医用撮像装置18から画像14を受け取る。コンピュータ12は、ワークステーション、ラップトップ、スマートフォン、タブレットなどによって適切に実施される。表示される画像は、2次元、3次元ボリューム表現の2次元スライス、3次元ボリュームの2次元表現などとすることができる。表示される画像14は動きを含むことができる。記憶装置16は、画像アーカイブ通信システム（PACS）、部門放射線システム、患者医療記録システムといったシステムがアクセス可能な記憶装置、および/または、クラウド記憶装置、ローカル記憶装置などの直接アクセス可能な記憶装置を含む。医用撮像装置18は、磁気共鳴イメージング（MRI）スキャナ、コンピュータ断層撮影（CT）スキャナ、陽電子放射断層撮影（PET）スキャナ、単一陽子放射型コンピュータ断層撮影（SPECT）スキャナ、超音波（US）スキャナ、それらの組み合わせなどといった、被検体の医用画像を生成する装置である。コンピュータ12は、受信した画像を表示する表示装置20を含む。コンピュータ12は、1つ以上のデータプロセッサ26を含む。
【００２１】
コンピュータ12は、マウス、ライトペン、キーボード、マイクロフォン、タッチスクリーンなどのような表示された画像14に対する基準点または滞留点24を入力する1つ以上の入力装置22を含む。例えば、関心領域（ROI）25内に配置されたマウスのポインタを用いて、マウスボタンのクリックは、空間的に且つ時間的に滞留点24を識別する。滞留点24は、表示された画像内において、例えば、着色されたドットまたは幾何学的形状、対照十字線などで表すことができる。
【００２２】
注視追跡装置または手段28は、表示された画像14に対する注視点30を生成する。注視追跡装置28は、コンピュータ12および/またはディスプレイ装置20に対して取り付けられてもよく、および/または眼鏡などの身体に装着される装置を含んでもよい。例えば、ラップトップおよびワークステーションに取り付けられ較正されたTobii（TM）ポータブルアイトラッキングシステムは、マイクロプロジェクタを使用して、注視方向を推定する角膜反射パターンを生成する。画像センサは、注視点を決定するのに十分な解像度で角膜反射パターンを記録する。注視追跡装置28は、表示装置20および/または表示された画像14に対する注視点30を較正するための較正活動を含むことができる。注視追跡装置28は、個々のユーザの注視に対して較正されたプロファイルを含むことができる。注視追跡装置28は、毎秒30個の注視点のように、リアルタイムで注視点30を生成する。
【００２３】
一実施形態では、注視追跡装置28は、滞留点24を示す入力を追跡し提示する。例えば、所定の時間の間、局所領域に向かう注視および/または音声コマンドのような別の入力を伴う注視により、滞留点は空間的および時間的に決定される。
【００２４】
注視点コレクタ、プロセッサ、コンピュータルーチンまたは手段32は、表示された画像14のROI25に対応する生成された注視点30から注視点を選択する。各注視点は、表示された画像14の座標系に関連している。滞留点24は、注視点30の空間的及び時間的近接度を識別する。例えば、ROI内の滞留点は、ROIに対する各注視点までの距離、動きに基づく画像のインスタンスにおけるROIとの時間的関係、および、滞留点の+ 1秒の時間のような滞留点に対する時間的関係を規定する。
【００２５】
時間的近接度は、滞留点24に対する所定の時間窓すなわち区間[T0, T1]における注視点30を含むことができる。例えば、選択される注視点は、滞留点の1秒前の時間間隔で追跡された注視点を含む。別の例では、選択される注視点は、滞留点の1秒前と滞留点の0.5秒後の間の時間間隔で追跡された注視点を含む。注視点は、頻繁に（例えば毎秒30回）サンプリングされる。所定の間隔[T0, T1]は、追跡された注視点30の適切なサンプリングまたは選択を生成するために十分に大きいように選択される所定の時間間隔[T0, T1]は、 ROIに空間的に近接した注視点を位置付けるために、滞留点24に時間的に近接して、例えば、滞留点決定の前および/または後の時間として、決定される。選択された注視点の分布は、ROIを示す単一の位置の入力より多くの情報、例えば分散を提供する。
【００２６】
注視点フィルタ、プロセッサ、コンピュータルーチンまたは手段34は、関連ROI25の画像特性に従って選択された注視点をフィルタリングする。例えば、滞留点24の画素強度に類似する画素強度に対応する注視点30が、フィルタされた注視点に含まれる。画像特性は、空間的な測定値および/または画像画素値を含むことができる。注視点フィルタ34は、注視点30と滞留点24の空間的位置間の画像特性の最尤解析を用いる。
【００２７】
境界特定部、プロセッサ、コンピュータルーチン、または手段36は、選択された注視点に基づいて境界を推定する。一実施形態では、選択された注視点は、注視点フィルタ34によってフィルタされた注視点である。境界は、注視点30の離散点から、ROI25内の表示画像14の面積または容積に近い連続境界領域または容積に変化する。
【００２８】
領域特定部、セグメント化プロセッサ、コンピュータルーチン、または手段38は、生成された境界に基づいてROI25をセグメント化する。領域特定部は、画像特性に基づいてROI25へと境界を拡張および/または縮小するアルゴリズムを使用し、生成された境界を自動分割アルゴリズムへの入力のための初期推定として使用する。セグメント化されたROI25は、表示された画像14上に別々に表示され、ならびに/または、システムアクセス可能記憶装置および/もしくは直接アクセス可能記憶装置などの画像データ記憶装置40に記憶される。セグメント化されたROI25を使用して、面積測定および/または容積測定を行うことができる。例えば、セグメント化されたROIを用いて、被験体の1つの画像および同じ被験体の後の画像におけるROIをセグメント化することにより、腫瘍の成長を決定することができる。
【００２９】
注視点コレクタ32、注視点フィルタ34、境界特定部36および領域特定部38は、コンピュータ12の電子プロセッサまたは電子処理装置のようなデータ処理装置26によって、または、ネットワークによってコンピュータ12と動作可能に接続されたネットワークベースのサーバコンピュータなどによって、適切に実施される。さらに、開示された収集、フィルタリング、境界識別、およびセグメンテーション技術は、データ処理装置によって読み出し可能であり、開示された技術を実行するためにデータ処理装置によって実行可能である命令（例えば、ソフトウェア）を記憶する非一過性記憶媒体を使用して、適切に実装される。
【００３０】
図2を参照すると、選択された注視点54が示されている、表示された画像14の一部の例示的な医用画像50および分解図52が示されている。ROI25は、選択された注視点54によって全体的に覆われた白っぽい領域である。選択された注視点54は、チェッカーボードパターンで示されている。選択された注視点54は、表示された画像14と対比する異なる色、形状、および/または強度で図示されることができる。滞留点24は白丸で示されている。滞留点は、表示画像14および選択された注視点54とは対照的な異なる色、形状および/または強度で示されることができる。例えば、滞留点は点滅するドットで示され、注視点はグレースケールの画像中の黄色の点で示される。選択される注視点54は、マウスクリックの1秒前に注視追跡装置によって生成された点から、リスト中に集められる。リストに集められた点は、滞留点24および表示された画像14に空間的に関連する。
【００３１】
図3を参照すると、注視点を有する例示的な医用画像の分解図52は、1つ以上の入力装置22からの較正設定または追加の入力を示す。滞留点24および選択された注視点54は、ROI25から離れて表示されている。注視点コレクタ32は、ROI25に対する選択された注視点54の空間的位置を較正する。例えば、意図されるROI25上でのマウスからのクリックまたは「クリックアンドドラッグ」入力などの入力空間位置56により、32における注視点の較正は、滞留点24と並進した滞留点60との間の不整合に基づく。滞留点24と並進した滞留点60との間の距離は、滞留点24に基づいて選択された注視点54に適用される較正された測定値を提供する。較正された測定値は、ユーザーバイアスとシステム誤差の両方を考慮する。適切に位置合わせされた滞留点、例えば、結果として生じる並進が図2の分解図52に示されている。
【００３２】
図4を参照すると、典型的な医用画像の分解図が、フィルタリングされた注視点60と共に示される。一実施形態では、注視点フィルタ34による最尤分析が、選択された注視点54を部分集合へと洗練する。最尤法分析は、滞留点24と各注視点の画素間の輝度類似度、勾配類似度および/または空間距離を使用してフィルタリングする。他のフィルタ技術が企図される。同様の可能性が高い選択された注視点54はフィルタリングされたサブセットに含まれ、そして異なる可能性が高い選択された注視点54は除外される。例えば、暗い領域に位置する図2に示された選択された注視点は除外され、ROIの白っぽい領域に位置する選択された注視点は、フィルタリングされた注視点60に含まれる。ROIの根本的な性質、異なるモダリティ、および、各モダリティで利用可能な異なる撮像パラメータによる医用画像において、選択された注視点54にはノイズがあり、例えば、ROIの近くおよび外側に位置する注視点は、フィルタリングによって除外される。
【００３３】
図5を参照すると、フィルタされた注視点60に基づく初期境界70を有する例示的な医用画像が示される。境界特定部36は、動的輪郭モデルもしくはアルゴリズム、および/またはレベルセットアルゴリズムを使用して境界を生成する。アルゴリズムは、注視点またはフィルタリングされた注視点によって表される画素値による空間点を連続境界に変換する。初期境界70は、表示装置20に表示されることができる。例示的な医用画像では、初期境界70は、チェッカーボードパターンで幅広の線を有する連続境界領域として表される。初期境界70は、表示された画像14とは対照的な、異なるテクスチャ、色、ハイライトなどで表されることができる。
【００３４】
図6を参照すると、セグメント化されたROI80を有する例示的な医療画像が示される。領域特定部38は、初期境界70を入力として用いてROI25をセグメント化する。領域特定部38は、領域成長アルゴリズム、動的輪郭アルゴリズム、ライブワイヤアルゴリズム、および/または領域ベースのレベルセットアルゴリズムなどの自動領域セグメント化技術を使用してROI25をセグメント化する。一実施形態では、コスト関数は、現在の境界の外の画素位置の画素値を、現在の境界の内の画素位置の画素値と比較して、修正された境界内の包含を決定する。セグメント化されたROI80は、表示された画像14上に表示され、別に表示され、領域測定または容積測定のためにさらに使用され、かつ/または画像データ記憶装置40に記憶される。例示的な医用画像では、セグメント化されたROI80は、ROI25を囲む連続したチェッカーボード線によって表され、暗い周辺領域において白っぽく見える。セグメント化されたROI80は、表示された画像14とは対照的な色、テクスチャ、ハイライトなどを使用して表示されることができる。
【００３５】
図7を参照すると、注視点駆動型ROIセグメンテーションの実施形態を使用する1つの方法がフローチャートで示されている。ステップまたはモジュール90によって、注視追跡が較正される。注視追跡装置28を用いた注視追跡較正は、ユーザの注視を表示装置20の座標系に較正する。較正は、記憶され、再使用されるユーザプロファイルの構築および/または更新を含むことができる。例えば、点が表示されることができ、ユーザの測定された注視点は表示点に対して較正されることができる。画面上のさまざまな場所に追加の点を表示してこの技術を繰り返すことで、構成を洗練させることができる。
【００３６】
画像14は、ステップまたは表示装置20のモジュール92によって表示される。表示される画像14は、システム・アクセス可能な記憶装置、直接アクセス可能な記憶装置などのような、画像データ記憶装置16から受信されることができる。
【００３７】
注視点30は、ステップまたはモジュール94によって、注視追跡装置28によって表示画像14に対して生成される。各注視点は、時間属性および空間属性を含む。例えば、注視点は、タイムスタンプTi、ならびに、表示装置および/または表示された画像に対する位置（xi, yi）を含む。表示装置に対する位置は、表示された画像に対する相対位置に変換される。
【００３８】
ステップまたはモジュール96において、注視点30は、表示された画像14のROI25に対応する生成された注視点30から選択される。1つ以上の入力装置22からの入力が、滞留点24を決定する。入力は、空間的におよび時間的に、ある点を決定します。所定の時間間隔内に生成された注視点30から選択される注視点を選択するために、対応する所定の時間間隔が使用される。例えば、 マウスクリックは画像位置を入力して時刻Tmに発生し、Tmは、入力前に0.2秒ずれた0.8秒間の所定の時間間隔[Tm-1.0秒, Tm-0.2秒]に対応し、間隔[Tm-1.0秒, Tm-0.2秒]内に発生した生成された注視点を選択する。選択された注視点54は、セグメンテーションに使用されるROI25のユーザ入力を示す。
【００３９】
決定ステップまたはモジュール98によって、較正が決定される。較正は、入力を使用して、選択された注視点54を平行移動させる。例えば、選択された注視点が表示された状態で、システムは入力を一時停止する。ステップまたはモジュール100において、選択された注視点54は入力を用いて較正される。例えば、マウス入力を使用するドラッグアンドドロップ操作は、選択された注視点を表示された画像に対して平行移動させ、例えば、表示されている注視点をシフトする。この平行移動は、平行移動のためのアンカーポイントとして滞留点24を使用することができる。一実施形態では、平行移動は、選択された注視点を、接続された注視点のクラウドまたはクラスタとして使用して、１つの入力操作でクラウドまたはクラスタを移動させる。
【００４０】
選択された注視点54は、ステップまたはモジュール102によってフィルタリングされることができる。フィルタは、滞留点24の画素値と選択された注視点54の画素値との最尤分析を使用して、フィルタリングされた注視点60への包含/除外を決定する。最尤分析は、強度類似度、勾配類似度、および/または空間距離を使用する。例えば、滞留点からの距離は、最大距離よりも大きい選択された注視点を除外するために使用される。一実施形態では、フィルタリングされた注視点60が表示され、追加の入力が、個々のフィルタリングされた注視点をさらに除去することができる。
【００４１】
ステップまたはモジュール104によって、初期推定境界70が、フィルタリングされた注視点60に基づいて生成される。一実施形態では、境界70は、選択された注視点54に基づいて生成される。境界70は、例えば、動的輪郭アルゴリズムまたはレベルセットアルゴリズムを使用して、境界特定部36によって生成される。アルゴリズムは、フィルタリングされた注視点60および表示された画像14の画素位置および値を入力し、連続境界、例えばスネークを生成する。 
【００４２】
ステップまたはモジュール106によって、ROI25は、推定された境界70に基づいてセグメント化される。領域特定部38は、自動セグメント化技術を使用して、推定された境界70をセグメント化されたROI80へと拡張/縮小する。自動セグメンテーション技術は、例えば、領域拡張アルゴリズム、動的輪郭アルゴリズム、ライブワイヤアルゴリズム、または領域ベースのレベルセットアルゴリズムを含む。
【００４３】
これらのステップは、他のROIに対して繰り返されることができる。これらのステップは、反復および/または他のステップに戻ることを含むことができる。例えば、選択点100の較正を繰り返すことができる。別の例では、選択された注視点54および/またはフィルタリングされた注視点60の表示に基づいて、処理は注視点94の生成または注視追跡90の較正に戻ることができる。
【００４４】
本明細書に提示された特定の例示的な実施形態に関連して、特定の構造的および/または機能的特徴は、定義された要素および/または構成要素に組み込まれるものとして記載されることを理解されたい。しかしながら、これらの特徴は、同じまたは同様の利益のために、同様に他の要素および/または構成要素に同様に組み込まれてもよいことが企図される。また、例示的な実施形態の異なる態様は、所望の用途に適した他の代替実施形態を達成するために適宜選択的に使用されてもよく、他の代替実施形態はそれに組み込まれる態様のそれぞれの利点を実現する。
【００４５】
また、本明細書に記載された特定の要素または構成要素は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを介して適切に実装された機能を有することができることも理解されたい。さらに、本明細書に記載されている特定の要素は、適切な状況下では、独立した要素であるか、または別の態様で分割されてもよいことを理解されたい。同様に、1つの特定の要素によって実行されると記載された複数の特定の機能は、個々の機能を実行するために独立して作用する複数の個別の要素によって実行されてもよく、あるいは、特定の個々の機能は、一斉に動作する複数の異なる要素によって分割されて実行されてもよい。あるいは、本明細書において他と区別されて説明および/または示されているいくつかの要素または構成要素は、必要に応じて物理的または機能的に組み合わされてもよい。
【００４６】
要するに、本明細書は、好ましい実施形態を参照して説明されている。明らかに、本明細書を読んで理解すると、他への修正および変更が生じるであろう。本発明は、添付の特許請求の範囲またはその均等物の範囲内に入る限りにおいて、そのような改変および変更の全てを含むと解釈されることが意図される。すなわち、上述した様々な特徴および機能、またはそれらの代替物は、多くの他の異なるシステムまたはアプリケーションに望ましく組み合わせることができ、また、現在予期せぬまたは予期せぬ様々な代替形態、 当業者であれば、以下の特許請求の範囲によって包含されるように同様に意図されている変形または改良を後で行うことができる。
【図１】
2017536873.tif 000003
【図２】
2017536873.tif 000004
【図３】
2017536873.tif 000005
【図４】
2017536873.tif 000006
【図５】
2017536873.tif 000007
【図６】
2017536873.tif 000008
【図７】
2017536873.tif 000009
【国際調査報告】
2017536873.tif 000010
2017536873.tif 000011
2017536873.tif 000012