(57)【特許請求の範囲】
【請求項１】
サンプルチューブの特性を検出する方法において、
１つ以上のカメラによって取得されたトレイの一連の画像を受け取るステップであって、前記トレイが複数のチューブスロットを有するステップと、
プロセッサを使用して、各画像から複数の画像パッチを抽出するステップであって、前記複数の画像パッチがそれぞれ、実質的に、チューブスロットとチューブ上部の一方が中心に位置決めされたステップと、
各画像パッチに対して、前記画像パッチが、前記画像の中心、前記画像の角及び前記画像の中央縁のうちの１つからのものかどうかを定義する第１の位置群を割り当てるステップと、
画像パッチに、前記第１の位置群に基づいて、前記画像パッチを処理する際に使用するトレーニング済みクラシファイヤを選択するステップと、
前記プロセッサを使用して、前記複数の画像パッチから、各画像パッチ用の前記トレーニング済みクラシファイヤを使用して前記トレイ内の各チューブスロットがチューブを収容しているかどうかを自動的に決定するステップとを含む方法。
【請求項２】
前記トレイが、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記トレイの前記一連の画像が前記１つ以上のカメラによって取得される、請求項１に記載の方法。
【請求項３】
各画像パッチに対して、前記画像パッチが、前記画像の中心、前記画像の左角、前記画像の右角、前記画像の左中央、前記画像の中心中央及び前記画像の右中央のうちの１つからのものであるかを定義する第２の位置群を割り当てるステップと、
各画像パッチに、前記第２の位置群に基づいて、前記画像パッチを処理する際に使用するトレーニング済みクラシファイヤを選択するステップとを含み、
前記チューブスロットの１つ以上がチューブを収容していると決定されたとき、更に、前記プロセッサを使用して、前記複数の画像パッチから、前記１つ以上のチューブスロットに収容された前記チューブそれぞれの少なくとも１つの特性を自動的に決定するステップを含む、請求項１または２に記載の方法。
【請求項４】
前記チューブそれぞれの少なくとも１つの特性を決定するステップが、更に、前記プロセッサを使用して、前記複数の画像パッチから、前記対応するトレーニング済みクラシファイヤに基づいて、前記１つ以上のチューブスロットに収容された前記チューブそれぞれがキャップを有するかどうかを自動的に決定するステップを含む、請求項３に記載の方法。
【請求項５】
前記チューブそれぞれの少なくとも１つの特性を決定するステップが、前記プロセッサを使用して、前記複数の画像パッチから、前記対応するトレーニング済みクラシファイヤに基づいて、前記１つ以上のチューブスロットに収容された各チューブが、チューブ上部サンプルカップを有するか又は単純チューブであるかを自動的に決定するステップを含む、請求項３または４に記載の方法。
【請求項６】
前記一連の画像を受け取るステップが、更に、第１のカメラ及び前記第１のカメラに隣接した第２のカメラから前記一連の画像を受け取るステップを含み、
前記複数の画像パッチを抽出するステップが、更に、前記第１のカメラから受け取った各画像から画像パッチを抽出するステップと、前記第２のカメラから受け取った各画像から画像パッチを抽出するステップとを含み、
前記第２の位置群を割り当てるステップが、更に、前記第２の位置群を、前記第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第
１のカメラから受け取った画像から抽出された各画像パッチに割り当てるステップを含み、
前記トレーニング済みクラシファイヤを選択するステップが、前記第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第１のカメラから受け取った画像から抽出された各画像パッチ用に、同じトレーニング済みクラシファイヤを選択するステップを含む、請求項３から５のいずれか１項に記載の方法。
【請求項７】
前記画像の左角、前記画像の右角及び前記画像の中心中央がそれぞれ、複数の画像パッチを含み、
水平方向に対称な前記第２の位置群を割り当てるステップが、更に、
前記第１のカメラと前記第２のカメラの一方からの１行の画像パッチを基準位置として使用するステップと、
前記第１のカメラと前記第２のカメラの他方からの画像パッチを前記基準位置に位置合わせするステップとを含む、請求項６に記載の方法。
【請求項８】
各画像が、３行のチューブスロットと３列のチューブスロットのマトリクスを含み、前記複数の画像パッチが、３行の画像パッチと３列の画像パッチのマトリクスを含み、各画像パッチが、前記画像内の前記チューブスロットのうちの１つの位置に対応する、請求項１から７のいずれか１項に記載の方法。
【請求項９】
体外診断環境で使用するための視覚システムであって、
行及び列のマトリクスで配列された複数のチューブスロットを含むトレイであって、各チューブスロットが、サンプルチューブを収容するように構成されたトレイと、
前記トレイを受けるように構成された面と、
前記トレイの一連の画像を取得するように構成された第１のカメラを有する画像取得シ
ステムと、
プロセッサであって、
前記第１のカメラによって取得された前記トレイの前記一連の画像を受け取り、
前記一連の画像の各画像から複数の画像パッチを抽出し、前記複数の画像パッチがそれぞれ、実質的に、複数のチューブスロット又はチューブ上部の一方が中心に位置決めされ、
各画像パッチに対して、前記画像パッチが、前記画像の中心、前記画像の角及び前記画像の中央縁のうちの１つからのものかどうかを定義する第１の位置群を割り当て、
各画像パッチに、前記第１の位置群に基づいて、前記画像パッチを処理する際に使用するトレーニング済みクラシファイヤを選択し、
前記複数の画像パッチから、各画像パッチの前記トレーニング済みクラシファイヤを使用して、前記トレイ内の各チューブスロットが、対応するサンプルチューブを収容しているかどうかを自動的に決定するように構成されたプロセッサとを含む視覚システム。
【請求項１０】
前記画像取得システムが、更に、前記第１のカメラに隣接しかつ前記第１のカメラによって取得された画像の近くのトレイの画像を取得するように構成された第２のカメラを含む、請求項９に記載のシステム。
【請求項１１】
前記面が、開位置と閉位置の間で移動可能な引出しの一部分を備え、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記トレイの前記画像が前記第１のカメラと前記第２のカメラによって取得される、請求項１０に記載のシステム。
【請求項１２】
前記プロセッサが、更に、
前記第１のカメラから受け取った各画像から画像パッチを抽出し、前記第２のカメラから受け取った各画像から画像パッチを抽出し、
前記第２の位置群を、前記第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第１のカメラから受け取った画像から抽出された各画像パッチに割り当て、
前記第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第１のカメラから受け取った画像から抽出された各画像パッチに、前記同じトレーニング済みクラシファイヤを選択するように構成された、請求項１０または１１に記載のシステム。
【請求項１３】
前記画像の左角、前記画像の右角及び前記画像の中心中央が、複数の画像パッチを含み、
前記プロセッサが、更に、前記第１のカメラと前記第２のカメラの一方からの１行の画像パッチを基準位置として使用し、
前記第１のカメラと前記第２のカメラの他方からの画像パッチを前記基準位置に位置合わせすることによって、
前記第２の位置群を、前記第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第１のカメラから受け取った画像から抽出された各画像パッチに割り当てるように構成された、請求項１０から１２のいずれか１項に記載のシステム。
【請求項１４】
前記画像取得システムが、更に、発光ダイオード（ＬＥＤ）基板を含み、前記発光ダイオード（ＬＥＤ）基板が、
前記第１のカメラから前記トレイの前記一連の画像の取得を容易にするように構成された第１の穴と、
前記第２のカメラから前記トレイの前記一連の画像の取得を容易にするように構成された第２の穴と、
前記第１の穴と前記第２の穴のそれぞれのまわりに円状に配列され、前記トレイに光を
提供するように構成された複数のＬＥＤを含む、請求項１０から１３のいずれか１項に記載のシステム。
【請求項１５】
前記プロセッサが、更に、
各画像パッチに対して、前記画像パッチが、前記画像の中心、前記画像の左角、前記画像の右角、前記画像の左中央、前記画像の中心中央及び前記画像の右中央のうちの１つからのものかどうかを定義する第２の位置群を割り当てるステップと、
各画像パッチに、前記第２の位置群に基づいて、前記画像パッチを処理する際に使用するトレーニング済みクラシファイヤを選択するステップと、
前記チューブスロットの１つ以上がチューブを収容していることが決定されたとき、前記プロセッサが、更に、前記複数の画像パッチから、前記１つ以上のチューブスロットに収容された前記チューブそれぞれの少なくとも１つの特性を自動的に決定するように構成された、請求項９から１４のいずれか１項に記載のシステム。
【請求項１６】
前記プロセッサが、更に、
前記複数の画像パッチから、前記対応するトレーニング済みクラシファイヤに基づいて、前記１つ以上のチューブスロットに収容された前記チューブがそれぞれキャップを有するかどうかを自動的に決定するように構成された、請求項１５に記載のシステム。
【請求項１７】
前記プロセッサが、更に、前記複数の画像パッチから、前記対応するトレーニング済みクラシファイヤに基づいて、前記１つ以上のチューブスロットに収容された各チューブが、チューブ上部サンプルカップを有するか又は単純チューブであるかを自動的に決定するように構成された、請求項１５または１６に記載のシステム。
【請求項１８】
各画像が、３行のチューブスロットと３列のチューブスロットのマトリクスを含み、前記複数の画像パッチが、３行の画像パッチと３列の画像パッチのマトリクスを含み、各画像パッチが、前記画像内の前記チューブスロットのうちの１つの位置に対応する、請求項９から１７のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、２０１５年２月１８日に出願された「ＬＯＣＡＬＩＴＹ−ＢＡＳＥＤ  ＤＥＴＥＣＴＩＯＮ  ＯＦ  ＴＲＡＹ  ＳＬＯＴ  ＴＹＰＥＳ  ＡＮＤ  ＴＵＢＥ  ＴＹＰＥＳ  ＩＮ  Ａ  ＶＩＳＩＯＮ  ＳＹＳＴＥＭ」と題する米国仮出願第６２／１１７，９１６号明細書に対する優先権を請求し、この開示は参照により全体が本明細書に組み込まれる。
【０００２】
本明細書に開示される実施形態は、一般に自動化視覚システムのトレイ内のトレイスロットとチューブを評価することに関し、より詳細にはチューブトレイの画像を取得してトレイ内に保持されたトレイスロットとチューブの特徴を決定することに関する。
【背景技術】
【０００３】
体外診断（ＩＶＤ）は、検査室が、患者の液状サンプルに対して行なわれる検査に基づいて疾病診断を支援することを可能にする。ＩＶＤは、患者の体液又は膿瘍から得られた液体サンプルの分析によって行える患者の診断及び治療に関連した様々なタイプの分析試験及び検査を含む。そのような検査は、通常、患者サンプルを収容したチューブ又はガラス瓶が装填された自動臨床化学分析装置（分析装置）によって行われる。最新ＩＶＤ検査で様々な検査が必要とされ、検査を行うのに大量の試験が必要なので、単一検査室内で複数の分析装置が使用されることが多い。分析装置の間では自動化システムも使用され得る。。サンプルは、診療室から検査室に送られ、検査室に保管され、自動化システム又は分析装置に入れられ、その後の試験のために保管され得る。。
【０００４】
分析装置間の保管と移送は、典型的には、トレイを使って行われる。トレイは、典型的には、テストチューブ内に蓄えられたいくつかの患者サンプルの配列である。そのようなトレイは、しばしば積み重ね可能であり、検査室の一部分から別の部分への複数サンプルの容易な搬送を可能にする。例えば、検査室は、病院又は診療所から試験のために患者サンプルのトレイを受け取ることがある。その患者サンプルトレイは、実験室内の冷蔵庫に保管され得る。。患者サンプルトレイは、引出し内にも保管され得る。。いくつかの自動化システムでは、分析装置は、患者サンプルトレイを受け入れ、サンプルをそれ相応に取り扱うことができ、一方、いくつかの分析装置は、サンプルがオペレータによってトレイから取り出され、さらなる処理の前にキャリア（パックなど）に入れられることを必要とすることがある。トレイは、一般に、サンプルを搬送し、場合によっては順番に配列することを可能にする受動装置である。
【０００５】
一般に、トレイ内に保管されたサンプルチューブに関する情報は、オペレータ又はサンプル処理機構が各チューブと相互作用するまで分からない。例えば、サンプル取り扱いロボットアームが、チューブを取り上げ、トレイから取り出し、キャリアに入れることがある。次に、キャリアは、デキャッパステーションまで移動して、キャップがあれば除去し、バーコードリーダのそばを通り、それにより、チューブの側面のバーコードを読み取ってチューブの内容を明らかにできる。多くの先行技術のサンプル取り扱い機構では、チューブの識別は、チューブがトレイから取り出された後まで分からない。このように、トレイ内の全てのチューブは、チューブが自動化システム内の保持具上に配置されるまで同じように取り扱われることが多い。
【発明の概要】
【課題を解決するための手段】
【０００６】
実施形態は、サンプルチューブの特性を検出する方法を提供する。この方法は、１つ以上のカメラによって取得されたトレイの一連の画像を受け取ることを含む。トレイは、複数のチューブスロットを含む。方法は、また、プロセッサを使用して、各画像から複数の画像パッチを抽出することを含み、複数の画像パッチはそれぞれ、実質的に、チューブスロットとチューブ上部の一方が中心に位置決めされる。方法は、また、画像パッチが、各画像パッチに、画像の中心、画像の角及び画像の中央縁のうちの１つからのものかどうかを定義する第１の位置群を割り当てることと、画像パッチごとに、第１の位置群に基づいて、画像パッチの処理に使用するトレーニング済みクラシファイヤを選択することとを含む。方法は、更に、プロセッサを使用して、複数の画像パッチから、画像パッチごとのトレーニング済みクラシファイヤを使用してトレイ内の各チューブスロットがチューブを収容しているかどうかを自動的に決定することを含む。
【０００７】
一実施形態によれば、トレイは、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、引出しが開位置と閉位置の間で移動されたときにトレイの一連の画像が１つ以上のカメラによって取得される。
【０００８】
別の実施形態によれば、方法は、更に、各画像パッチに対して、画像パッチが、画像の中心、画像の左角、画像の右角、画像の左中央、画像の中心中央（center middle）及び画像の右中央のうちの１つからのものかどうかを定義する第２の位置群を割り当てることを含む。方法は、更に、画像パッチごとに、第２の位置群に基づいて、画像パッチの処理で使用するトレーニング済みクラシファイヤを選択することを含む。チューブスロットの１つ以上がチューブを収容していることを決定したとき、方法は、更に、プロセッサを使用して、複数の画像パッチから、１つ以上のチューブスロットに収容されたチューブそれぞれの少なくとも１つの特性を自動的に決定することを含む。
【０００９】
更に別の実施形態では、チューブそれぞれの少なくとも１つの特性を決定することは、更に、プロセッサを使用して、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、１つ以上のチューブスロットに収容されたチューブそれぞれがキャップを有するかどうかを自動的に決定することを含む。
【００１０】
一実施形態の一態様によれば、チューブそれぞれの少なくとも１つの特性を決定することは、プロセッサを使用して、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、１つ以上のチューブスロットに収容された各チューブがチューブ上部サンプルカップを有するか単純チューブであるかを自動的に決定することを含み得る。。
【００１１】
一実施形態の別の態様によれば、一連の画像を受け取ることは、更に、第１のカメラ及び第１のカメラに隣接した第２のカメラから一連の画像を受け取ることを含み、複数の画像パッチを抽出することは、更に、第１のカメラから受け取った各画像から画像パッチを抽出することと、第２のカメラから受け取った各画像から画像パッチを抽出することを含む。第２の位置群を割り当てることは、更に、第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第１のカメラから受け取った画像から抽出された各画像パッチに、第２の位置群を割り当てることを更に含み、トレーニング済みクラシファイヤを選択することが、更に、第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第１のカメラから受け取った画像から抽出された各画像パッチ用に、同じトレーニング済みクラシファイヤを選択することを含む。
【００１２】
一実施形態では、画像の左角、画像の右角及び画像の中心中央がそれぞれ、複数の画像パッチを含み、水平方向に対称な第２の位置群を割り当てることが、更に、第１のカメラと第２のカメラの一方からの１行の画像パッチを基準位置として使用することと、第１のカメラと第２のカメラの他方からの画像パッチを基準位置に位置合わせすることを含む。
【００１３】
別の実施形態では、各画像が、３行のチューブスロットと３列のチューブスロットのマトリクスを含み、複数の画像パッチが、３行の画像パッチと３列の画像パッチマトリクスを含む。各画像パッチは、画像内のチューブスロットのうちの１つのチューブスロットの位置に対応する。
【００１４】
実施形態は、オフライン画像パッチクラシファイヤトレーニングのための方法を提供する。この方法は、複数のカメラから複数のチューブスロットを有するトレイの一連の画像を受け取ることと、各画像から複数の画像パッチを抽出することとを含む。複数の画像パッチはそれぞれ、実質的に、チューブスロットとチューブ上部の一方が中心に位置決めされる。方法は、また、プロセッサを使用して、複数の画像の各画像パッチをクラシファイヤに提供することと、プロセッサを使用して、クラシファイヤに提供された各画像パッチの画像パッチデータを収集することを含み、データが、トレイ内の各チューブスロットがチューブを収容しているかどうか、１つ以上のチューブスロットに収容されたチューブそれぞれがキャップを有するかどうか、及び１つ以上のチューブスロットに収容された各チューブがチューブ上部サンプルカップを有するか単純チューブであるかどうかのうちの１つを示す。方法は、また、プロセッサを使用して、画像パッチデータに基づいて各画像パッチに対応する画像パッチクラシファイヤを決定することを含む。
【００１５】
一実施形態によれば、各画像から複数の画像パッチを抽出することは、更に、ある期間にわたって、実質的に同じチューブスロットと同じチューブ上部の一方が中心に位置決めされた複数の画像パッチを抽出することを含む。
【００１６】
別の実施形態によれば、クラシファイヤは、ランダムフォレストクラシファイヤ、サポートベクトルマシンクラシファイヤ又は確率的ブースティングツリークラシファイヤである。
【００１７】
実施形態は、行及び列のマトリクスで配列された複数のスロットを含むトレイを含む体外診断環境で使用するための視覚システムを提供する。各チューブスロットは、サンプルチューブを収容するように構成される。システムは、また、トレイを受けるように構成された面と、トレイの一連の画像を取得するように構成された第１のカメラを有する画像取得システムとを含む。システムは、第１のカメラによって取得されたトレイの一連の画像を受け取り、一連の画像の各画像から複数の画像パッチを抽出するように構成されたプロセッサを更に含む。複数の画像パッチはそれぞれ、実質的に、複数のチューブスロット又はチューブ上部の一方が中心に位置決めされる。プロセッサは、また、画像パッチが画像の中心、画像の角及び画像の中央縁のうちの１つからのものかどうかを定義する第１の位置群を各画像パッチに割り当て、画像パッチごとに、第１の位置群に基づいて、画像パッチの処理に使用するトレーニング済みクラシファイヤを選択するように構成される。プロセッサは、更に、複数の画像パッチから、各画像パッチのトレーニング済みクラシファイヤを使用して、トレイ内の各チューブスロットが、対応するサンプルチューブを収容しているかどうかを自動的に決定するように構成される。
【００１８】
一実施形態によれば、画像取得システムは、更に、第１のカメラに隣接しかつ第１のカメラによって取得された画像の近くのトレイの画像を取得するように構成された第２のカメラを含む。
【００１９】
別の実施形態によれば、面は、開位置と閉位置の間で移動可能な引出しの一部分を含み、引出しが開位置と閉位置の間で移動されたときにトレイの画像が第１のカメラと第２のカメラによって取得される。
【００２０】
更に別の実施形態では、プロセッサは、第１のカメラから受け取った各画像から画像パッチを抽出し、第２のカメラから受け取った各画像から画像パッチを抽出し、第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第１のカメラから受け取った画像から抽出された各画像パッチに、第２の位置群を割り当てるように構成される。プロセッサは、更に、第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第１のカメラから受け取った画像から抽出された各画像パッチ用に同じトレーニング済みクラシファイヤを選択するように構成される。
【００２１】
一実施形態の一態様では、画像の左角、画像の右角、及び画像の中心中央がそれぞれ、複数の画像パッチを含み、プロセッサが、更に、第１のカメラと第２のカメラの一方からの１行の画像パッチを基準位置として使用し、第１のカメラと第２のカメラの他方からの画像パッチを基準位置に位置合せすることによって、第２のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第１のカメラから受け取った画像から抽出された各画像パッチに第２の位置群を割り当てるように構成される。
【００２２】
一実施形態の別の態様では、画像取得システムは、更に、第１のカメラからのトレイの一連の画像の取得を容易にするように構成された第１の穴と、第２のカメラからのトレイの一連の画像の取得を容易にするように構成された第２の穴とを含む発光ダイオード（ＬＥＤ）基板と、第１の穴と第２の穴のそれぞれのまわりに円状に配列され、トレイ上に光を提供するように構成された複数のＬＥＤとを含む。
【００２３】
一実施形態によれば、プロセッサは、更に、各画像パッチに対して、画像パッチが、画像の中心、画像の左角、画像の右角、画像の左中央、画像の中心中央及び画像の右中央のうちの１つからのものであるかどうかを定義する第２の位置群を割り当てるように構成される。プロセッサは、更に、各画像パッチ用に、第２の位置群に基づいて、画像パッチの処理で使用するトレーニング済みクラシファイヤを選択するように構成される。チューブスロットの１つ以上がチューブを収容していることが決定されたとき、プロセッサは、更に、複数の画像パッチから、１つ以上のチューブスロットに収容されたチューブそれぞれの少なくとも１つの特性を自動的に決定するように構成される。
【００２４】
別の実施形態では、プロセッサは、更に、複数の画像パッチから、１つ以上のチューブスロットに収容されたチューブそれぞれが、対応するトレーニング済みクラシファイヤに基づいて、キャップを有するかどうかを自動的に決定するように構成される。
【００２５】
一実施形態によれば、プロセッサは、更に、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、１つ以上のチューブスロットに収容された各チューブが、チューブ上部サンプルカップを有するか又は単純チューブであるかを自動的に決定するように構成される。
【００２６】
一実施形態によれば、各画像が、３行のチューブスロットと３列のチューブスロットのマトリクスを含み、複数の画像パッチが、３行の画像パッチと３列の画像パッチのマトリクスを含み、各画像パッチが、画像内のチューブスロットのうちの１つの位置に対応する。
【００２７】
本開示の追加の特徴及び利点は、添付図面を参照して行われる説明的実施形態の以下の詳細な説明から明らかにされる。
【００２８】
本明細書に開示された実施形態の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最もよく理解される。本明細書に開示された実施形態を例証するために、図には現在好ましい実施形態が示されるが、本明細書に開示された実施形態が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。
【図面の簡単な説明】
【００２９】
【図１Ａ】一実施形態による、引出し内に保持されたチューブトレイ及びチューブを画像分析によって評価するためのシステムを表す図である。
【図１Ｂ】本明細書に開示された実施形態により、オフラインクラシファイヤトレーニングに使用され得る。画像取得システムを含む例示的な引出し視覚システム試験ハーネスを示す図である。
【図１Ｃ】実施形態と共に使用され得る。、左穴と右穴のまわりに円状に配列された複数のＬＥＤを有する例示的なＬＥＤ基板を示す図である。
【図２】一実施形態による、引出し内に保持されたチューブトレイとその上に収容されたチューブを、画像分析によって評価するためのシステムを表すブロック図である。
【図３】本明細書に示された実施形態によるサンプルチューブの特徴を検出する方法を示すフローチャートである。
【図４Ａ】一実施形態による、左側カメラによって取得された例示的トレイの領域の画像である。
【図４Ｂ】一実施形態による、右側カメラによって取得された例示的トレイの領域の画像である。
【図５】一実施形態による、３つの画像パッチ群にグループ分けされた複数の画像パッチを示す図である。
【図６】一実施形態による、６つの画像パッチ群にグループ分けされた複数の画像パッチを示す図である。
【図７Ａ】本明細書に記載された実施形態と共に使用するための、左側カメラの光分布を画像データと共に示す画像である。
【図７Ｂ】図７Ａに示された画像のＸ軸に沿った光分布を示す図である。
【図７Ｃ】図７Ａに示された画像のＹ軸に沿った光分布を示す図である。
【図８】本発明の実施形態を実現できる例示的な計算処理環境の例を示す図である。
【発明を実施するための形態】
【００３０】
本出願は、参照により本明細書に組み込まれるＰＣＴ出願第ＰＣＴ／ＵＳ１４／２７２１７号、及びＷｕらによる米国出願第６２／０１０３７０号明細書に記載された概念のいくつかに関連する。
【００３１】
トレイとチューブに関する様々な情報を確認することが望まれる。高価な機器なしに、またチューブを取り扱ったり触れたりせずにこの情報や他の情報を迅速に得ることが望まれる。そのような知識は、チューブの効率的で合理的な処理、並びにセットアップ及び維持コストの低減を可能にする。この情報は、サンプルハンドラがチューブを処理し、チューブを試験と分析のために分析装置まで移動させるＩＶＤ環境で貴重である。本発明の実施形態は、特にＩＶＤ環境に適しているが、決してＩＶＤ環境に限定されない。
【００３２】
実施形態は、チューブトレイ内に保持されたチューブの取得画像から抽出された画像パッチのためのクラシファイヤをトレーニングし、各パッチのトレーニング済みクラシファイヤを使用して、スロットが空かチューブを収容するどうかと、チューブがキャップ又はチューブ上部サンプルカップを有するかどうかを決定するシステム及び方法を含む。いくつかの実施形態では、画像パッチは、光分布に基づく位置によってブループ分けされる。他の実施形態では、画像パッチは、カメラ視点に基づく位置によってブループ分けされる。トレーニング済みクラシファイヤは、そのグループ分けに基づいて、スロットタイプとチューブタイプを決定する際に使用するために選択される。
【００３３】
いくつかの実施形態では、自動化視覚システムは、チューブトレイとチューブトレイ内に保持されたチューブの画像を取得するために使用され得る。。いくつかの実施形態は、自動化システム内に手動で配置され位置合せされたトレイの画像を取得することを含む。例えば、自動化システムは、平坦面にガイドレールを提供し、オペレータがトレイ上のキー止め特徴形状をレールに手動で位置合わせし、トレイを作業領域に押すことを可能にし得る。
【００３４】
いくつかの実施形態は、サンプルチューブが収容されたチューブトレイを装填し取り出すための引出しを含む自動引出し視覚システム（ＤＶＳ）を含み得る。。トレイの画像は、引出しが開位置と閉位置（例えば、作業領域位置）の間で移動されたときに、引出しの入口領域の上に取り付けられた１つ以上のカメラによって取得され得る。画像は、トレイ、並びにトレイ上に保持されたチューブを評価するために使用され得る。。詳細には、実施形態によれば、画像の分析によって、スロットが空かチューブを収容しているかどうか、チューブがキャップ又はチューブ上部サンプルカップを有するかどうかなどの様々な特徴が決定され得る。
【００３５】
図１Ａは、一実施形態による、チューブトレイ１２０とそこに収容されたチューブ１３０を、その画像を取得し分析することによって評価する例示的な引出し視覚システム１００を表す。１つ以上の引出し１１０が、開位置と閉位置の間で移動可能であり、サンプルハンドラのための作業エンベロープ１０５内で提供される。１つ以上のチューブトレイ１２０が、引出し１１０に装填されてもよく、引出し１１０の永久機能でもよい。各チューブトレイ１２０は、チューブ１３０が収容され得る。スロットの行と列の配列（例示的トレイ１２１内に描かれたような）を有する。
【００３６】
実施形態により、チューブトレイ１２０の画像が撮影される。画像は、チューブトレイ１２０とチューブ１３０の特徴を決定するために分析される。画像をその分析のために取得するために、本明細書に提供された実施形態によれば、可動トレイ又は固定カメラ手法が使用される。チューブトレイ１２０が、例えば手動又は自動で引出し１１０に押し込まれることによって、作業エンベロープ１０５に入れられるとき、画像取得システム１４０を使用してチューブトレイ１２０とそこに収容されたチューブ１３０の画像を撮影する。
【００３７】
画像取得システム１４０は、作業エンベロープ１０５の入口又はその近くに位置決めされた１つ以上のカメラを含み得る。１つ以上のカメラは、チューブトレイ１２０の表面の上に位置決めされ得る。例えば、カメラは、チューブトレイ１２０の高解像度画像を取得するために、表面より１．２７〜１．７７８ｍ（５０〜７０インチ）上に配置され得る。カメラの機能並びに所望の視点及び画質により、他の距離及び／又は位置決めが使用され得る。。必要に応じて、画像取得システム１４０は、ＬＥＤフラッシュなどの１つ以上の光源を含み得る。
【００３８】
図１Ｂは、本明細書に開示された実施形態と共に使用され得る。例示的な引出し視覚システムの例示的な試験ハーネスを示す。図１Ｂに示されたように、カメラ（図示せず）が中に配置されたＬＥＤ基板１５０が、チューブ１３０を保持し引出し１１０上に配置されたチューブトレイ１２０の面の上に位置決めされる。図１Ｂで実施形態に示された引出し１１０は、２つの５５スロットトレイ又は６つの１５スロットトレイを保持するように構成される。しかしながら、実施形態は、様々な数のスロットを有しかつ様々なサイズを有するトレイを保持するように構成されたトレイを含み得る。
【００３９】
本明細書で述べる実施形態では、２つのカメラ、即ち左側カメラと右側カメラが使用される。図１Ｃは、左穴１６０Ｌと右穴１６０Ｒを含む穴１６０を有する例示的なＬＥＤ基板１５０を示す。ＬＥＤ基板１５０は、また、チューブトレイ１２０とチューブ１３０上に光を提供するために円状に配列された複数のＬＥＤ１７０を含む。
【００４０】
画像取得システム１４０は、ＰＣＴ出願第ＰＣＴ／ＵＳ１４／２７２１７号明細書に記載されたように、チューブ１３０の行が作業エンベロープ１０５内に前進されるときにそのチューブ１３０の行の複数の眺めを取得し、この出願は、参照により本明細書に組み込まれる。
【００４１】
図２は、一実施形態による、引出し１１０内に保持され収容されたチューブトレイ１２０とチューブ１３０を画像分析によって評価するためのシステム２００を表すブロック図を示す。画像取得システム１４０は、一実施形態によれば、２つのカメラ、即ち左側カメラ２４２と右側カメラ２４４を含む。引出し１１０及びチューブトレイ１２０のサイズ、並びに所望の画質及び画像視点により、追加の又はより少ないカメラが含まれ得る。。また、光源２４６及び画像取得コントローラ２４８は、画像取得システム１４０の一部である。
【００４２】
チューブトレイ１２０の行が、１つ以上のカメラ２４２，２４４の下の中心位置又は実質的中心位置に移動されたことを決定するために、直角位相エンコーダなどのエンコーダ２１０が使用され得る。。エンコーダ２１０は、チューブトレイ１２０の新しい行に対応するチューブトレイ１２０が、１つ以上のカメラ２４２，２４４の下の中心位置又は実質的中心位置に移動したことの検出に基づいて、画像取得コントローラ２４８に信号（即ち、パルス）を送信する。信号は、画像取得コントローラ２４８が、信号の受信時にカメラ２４２，２４４に指示して画像を撮影させる命令として機能する。
【００４３】
カメラ２４２，２４４によって撮影された画像の画像分析を管理するためのコントローラ２２０が提供される。引出し１１０が閉じたことを検出すると、画像取得コントローラ２４８は、ダウンロードと処理のためにコントローラ２２０に画像を提供する。コントローラ２２０は、一実施形態によれば、ＩＶＤ環境で、チューブトレイ１２０とチューブ１３０を作業エンベロープ１０５などの保管場所の間で取り扱い、分析装置まで移動させるために使用されるサンプルハンドラの一部である。コントローラ２２０によって行われる画像分析は、チューブトレイ１２０とチューブ１３０の様々な決定された特徴に基づいてサンプルハンドラに指示する役割を果たし、したがって、サンプルハンドラがそれに応じてチューブトレイ１２０とチューブ１３０を取り扱い処理することを可能にする。
【００４４】
１つ以上の記憶装置２４０が、コントローラ２２０と関連付けられる。１つ以上の記憶装置２４０は、コントローラ２２０の内部でも外部でもよい。
【００４５】
引出し１１０が完全に閉じられかつ／又は引出し１１０が完全に開かれたことを示すために、１つ以上の引出しセンサ２３０がコントローラ２２０に接続され得る。。一実施形態によれば、引出し１１０が完全に閉じられたことは、取得され記憶された画像の画像処理を始める指示として機能する。引出し１１０が完全に閉められたとき、引出しセンサ２３０は、コントローラ２２０に信号を送る。
【００４６】
図３は、トレイスロットタイプとサンプルチューブタイプを決定する方法３００を示すフローチャートである。図３に示されたように、ステップ３０２で、画像が取得される。図４Ａは、一実施形態による、左側カメラ２４２によって取得された例示的トレイの領域４０２の画像４００Ｌである。図４Ｂは、一実施形態による、右側カメラ２４４によって取得された例示的トレイ１２０の領域４０３の画像である。画像４００Ｌは、チューブ１３０を含むトレイ１２０の３行ｘ３列のスロット領域４０２を含む。画像４００Ｒは、チューブ１３０を含むトレイ１２０の３行×３列のスロット領域４０３を含む。
【００４７】
３０４で、トレイ格子が位置合わせされる。いくつかの実施形態では、トレイ１２０は、「Ｉｍａｇｅ−ｂａｓｅｄ  Ｔｒａｙ  Ａｌｉｇｎｍｅｎｔ  ａｎｄ  Ｔｕｂｅ  Ｓｌｏｔ  Ｌｏｃａｌｉｚａｔｉｏｎ  ｆｏｒ  Ｄｒａｗｅｒ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍ」（整理番号２０１４Ｐ２２９０４ＵＳ）と題する出願に記載されたような、トレイ上に配置された基準マーカを使用して位置合わせされ得る。。例えば、トレイは、オフライン較正によって決定されたトレイ上の放射マーカと、オンライン動作中にトレイ上で検出されたマーカとの間で決定されたオフセットを使用して位置合わせされ得る。。
【００４８】
ステップ３０４で、トレイ格子が位置合わせされた後、方法は、トレイスロットタイプ（例えば、スロットは空か空でないか）を決定するステップ３０６〜３１４、及び／又はチューブタイプ（例えば、単純チューブ、キャップ付きチューブ又はチューブ上部サンプルカップ付きチューブ）を決定するステップ３１６〜３２４を含み得る。。
【００４９】
最初に、トレイスロットタイプを予測する方法について説明する。ステップ３０６で、トレイスロットパッチが抽出され得る。。即ち、カメラ２４２及び２４４によって取得された各画像からある期間にわたって複数の画像パッチが抽出され得る。。各画像パッチは、実質的に、図４Ａと図４Ｂに画像で示された、チューブスロット４０４のうちの１つ又はチューブ１３０のうちの１つの上の中心に位置決めされ得る。。いくつかの実施形態では、「Ｉｍａｇｅ−ｂａｓｅｄ  Ｔｒａｙ  Ａｌｉｇｎｍｅｎｔ  ａｎｄ  Ｔｕｂｅ  Ｓｌｏｔ  Ｌｏｃａｌｉｚａｔｉｏｎ  ｆｏｒ  Ｄｒａｗｅｒ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍ」（整理番号２０１４Ｐ２２９０４ＵＳ）と題する出願に記載されたように、トレイスロットパッチは、トレイ位置合わせから得られたオフセットに基づいてトレイ上にチューブスロット格子点を投影し、その格子点を使用して画像からチューブスロットを抽出することによって抽出され得る。。
【００５０】
ステップ３０８では、第１の位置群が、各画像パッチに割り当てられ得る。。図５は、一実施形態による、３つの画像パッチ群にグループ分けされた複数の画像パッチを示す図である。図５に示されたように、第１の位置群は、中央パッチ群５０２、角パッチ群５０４及び中心パッチ５０６を含む。第１の位置群は、カメラ視点に基づく。中心パッチ５０６は、１つのチューブスロット位置に対応し、中央パッチ群と角パッチ群はそれぞれ４つのチューブスロット位置に対応する。グループ分けは、左側カメラ２４２と右側カメラ２４４の両方に適用される。
【００５１】
オンライン動作中に、ステップ３１２で第１の位置群に基づいて各画像パッチ用のトレーニング済みクラシファイヤを選択する前に、ステップ３１０で、各画像パッチに対応する画像パッチクラシファイヤが、オフラインでトレーニングされる。画像パッチクラシファイヤをトレーニングする例示的な方法には、カメラ２４２及び２４４などの複数のカメラから、複数のチューブスロットを有するトレイの一連の画像を受け取ることを含み得る。。画像パッチが、各画像から抽出され、クラシファイヤ又はアルゴリズムに供給又は提供され得る。。実施形態は、例えば、ランダムフォレストクラシファイヤ、サポートベクタマシンクラシファイヤ、確率的ブースティングツリークラシファイヤなどの様々なタイプのクラシファイヤを使用することを含み得る。。
【００５２】
プロセッサを使用して、クラシファイヤに提供される各画像パッチの画像パッチデータが収集され得る。。各画像パッチの画像パッチデータは、トレイ内の各チューブスロットがチューブを収容しているかどうかを示し得る。。画像パッチデータから、プロセッサを使用して、各画像パッチに対応するクラシファイヤが決定され得る。。分類する方法は、Ｗｕらによる米国出願第６２／０１０３７０号明細書に記載されている。
【００５３】
ステップ３１２で、中央パッチ群５０２、角パッチ群５０４及び中心パッチ５０６に基づいて、各画像パッチのトレーニング済みクラシファイヤが選択され得る。。ステップ３１４で、３つの群５０２、５０４及び５０６に基づいて各画像パッチ用に選択されたトレーニング済みクラシファイヤを使用して、トレイ内の各チューブスロットがチューブを収容しているかどうかを自動的に決定できる。
【００５４】
いくつかの実施形態では、チューブタイプを決定するステップ３１６〜３２４が、最初にステップ３０６〜３１４を使用せずに、トレイ内の各チューブスロットがチューブを収容しているかどうかを決定するために実行され得る。。例えば、実施形態は、トレイ内の各チューブスロットがチューブを収容しているかどうかを決定する他の方法を含み得る。。いくつかの実施形態では、ステップ３１６〜ステップ３２４は、トレイ内の各チューブスロットがチューブを収容しているという仮定の下で行なわれ得る。。次にチューブタイプを決定又は予測する方法について述べる。
【００５５】
ステップ３１６で、チューブ上部パッチが抽出され得る。。即ち、カメラ２４２及び２４４によって取得された各画像からある期間にわたって複数の画像パッチが抽出され得る。。各画像パッチは、図４Ａと図４Ｂで画像に示された、実質的に、チューブ１３０のうちの１つの上部の中心に位置決めされ得る。。いくつかの実施形態では、トレイスロットパッチは、「Ｉｍａｇｅ−ｂａｓｅｄ  Ｔｕｂｅ  Ｔｏｐ  Ｃｉｒｃｌｅ  Ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  Ｄｒａｗｅｒ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍ」（整理番号２０１４Ｐ２３２８１ＵＳ）と題する出願に記載されたように抽出され得る。。
【００５６】
ステップ３１８で、第２の位置群が、各画像パッチに割り当てられ得る。。図６は、一実施形態による、６つの画像パッチ群にグループ分けされた複数の画像パッチを示す図である。図６に示されたように、第２の位置群は、画像群５０６の中心、画像群６０８の左角、画像群６１０の右角、画像群６０２の左中央、画像群６０４の中心中央、及び画像群６０６の右中央を含む。画像５０６の中心、画像群６０２の左中央、及び画像群６０６の右中央はそれぞれ、１つのチューブ上部位置に対応する。画像群６０４の中心中央、画像群６０８の左角、画像群６１０の右角はそれぞれ、２つのチューブスロット位置に対応する。グループ分けは、左側カメラ２４２と右側カメラ２４４の両方に適用される。
【００５７】
第２の位置群は、例えば、図２に示されたＬＥＤ基板１５０上のＬＥＤ１７０によって放射された光などの光分布に基づく。図７Ａは、本明細書に記載された実施形態と共に使用するための、左側カメラ２４２の光分布を画像データと共に示す画像７０２である。図７Ｂは、図７Ａに示された画像７０２のＸ軸に沿った光分布を示す図７０４である。図７Ｃは、図７Ａに示された画像７０２のＹ軸に沿った光分布を示す図７０６である。図７Ｃに示されたように、左側カメラ２４２の光分布は、Ｙ軸に沿って対称である。しかしながら、図７Ｂに示されたように、左側カメラ２４２の光分布は、Ｘ軸に沿って非対称である。
【００５８】
左側カメラ２４２の光分布が、右側カメラ２４４の光分布と対称なので、右側カメラ２４４のグループ分けは、左側カメラ２４２のグループ分けと水平方向に対称である。したがって、図６に示された６つの群は、第２のカメラ２４４から受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第１のカメラ２４２から受け取った画像から抽出された各画像パッチに割り当てられ得る。。図６に示された６つの群を各画像パッチに割り当てることによって、様々なパッチにわたる照明の一貫性が達成され得る。。
【００５９】
各位置（パッチ）で見えるチューブは変更されることがあり、その変更はクラシファイヤによって学習され得る。。右側カメラ２４４のグループ分けが、左側カメラ２４２のグループ分けに対して水平方向に対称なので、第２のカメラ２４４から受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第１のカメラ２４２から受け取った画像から抽出された各画像パッチには、同じトレーニング済みクラシファイヤが選択され得る。。例えば、左側カメラ画像パッチの左上パッチと右側カメラ画像パッチの右上パッチは、水平方向に対称であり、同じ群、即ち左角群６０８の一部である。したがって、これらの２つのパッチは、同じクラシファイヤが割り当てられ得る。。
【００６０】
更に、画像群６０４の中心中央、画像群６０８の左角及び画像群６１０の右角などの複数のパッチを有する群では、１行の画像パッチ（例えば、左側カメラ画像パッチの後行）が、基準位置として使用されてもよく、他の位置が、プロセッサによって、対応する基準位置に位置合わせされてもよい。位置合わせは、垂直方向又は水平方向の反転、即ち回転として適用され得る。。
【００６１】
オンライン動作中に、ステップ３２２で第２の位置群に基づいて画像パッチごとのトレーニング済みクラシファイヤを選択する前に、ステップ３２０で、各画像パッチに対応する画像パッチクラシファイヤが、オフラインでトレーニングされる。画像パッチクラシファイヤをトレーニングする例示的な方法は、ステップ３１０に関して前述したように実行され得る。。分類方法は、Ｗｕらによる米国特許出願公開第６２／０１０３７０号明細書に記載されている。
【００６２】
ステップ３２２で、図６に示された６つの位置群に基づいて、各画像パッチ用のトレーニング済みクラシファイヤが選択され得る。。ステップ３２４で、プロセッサは、１つ以上のチューブスロットに収容されたチューブそれぞれの少なくとも１つの特性を自動的に決定し得る。。例えば、チューブそれぞれの少なくとも１つの特性を決定することは、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、１つ以上のチューブスロットに収容されたチューブそれぞれが、キャップを有するかどうかを自動的に決定することを含み得る。。チューブそれぞれの少なくとも１つの特性を決定することは、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、１つ以上のチューブスロットに収容された各チューブが、チューブ上部サンプルカップを有するか又は単純チューブかどうかを自動的に決定することを含み得る。。
【００６３】
図８は、本発明の実施形態を実現できる例示的な計算処理環境８００の例を示す。計算処理環境８００は、本明細書に示された任意の構成要素の一部として実現され得る。。計算処理環境８００は、本発明の実施形態を実現できる計算処理システムの一例であるコンピュータシステム８１０を含み得る。。図８に示されたように、コンピュータシステム８１０は、コンピュータシステム８１０内で情報を通信するためのバス８２１や他の通信機構などの通信機構を含み得る。。システム８１０は、更に、情報を処理するためにバス８２１と結合された１つ以上のプロセッサ８２０を含む。プロセッサ８２０は、１つ以上のＣＰＵ、ＧＰＵ、又は当該技術分野で知られた任意の他のプロセッサを含み得る。。
【００６４】
コンピュータシステム８１０は、また、情報及びプロセッサ８２０によって実行される命令を記憶するために、バス８２１に結合されたシステムメモリ８３０を含む。システムメモリ８３０は、読み取り専用メモリ（ＲＯＭ）８３１及び／又はランダムアクセスメモリ（ＲＡＭ）８３２などの揮発性及び／又は不揮発性メモリの形のコンピュータ可読記憶媒体を含んでもよい。システムメモリＲＡＭ８３２は、他のダイナミック記憶装置（例えば、ダイナミックＲＡＭ、スタティックＲＡＭ及びシンクロナスＤＲＡＭ）を含んでもよい。システムメモリＲＯＭ  ８３１は、他のスタティック記憶装置（例えば、プログラマブルＲＯＭ、消去可能ＰＲＯＭ、及び電気的消去可能ＰＲＯＭ）を含んでもよい。更に、システムメモリ８３０は、プロセッサ８２０による命令の実行中に一時的変数又は他の中間情報を記憶するために使用されることがある。起動中などにコンピュータシステム８１０内の要素間で情報を伝達するのを支援する基本ルーチンを含む基本入出力システム８３３（ＢＩＯＳ）が、ＲＯＭ  ８３１に記憶されてもよい。ＲＡＭ８３２は、プロセッサ８２０がすぐにアクセスできかつ／又はプロセッサ８２０が現在処理しているデータ及び／又はプログラムモジュールを含んでもよい。システムメモリ８３０は、更に、例えば、オペレーティングシステム８３４、アプリケーションプログラム８３５、他のプログラムモジュール８３６及びプログラムデータ８３７を含んでもよい。
【００６５】
コンピュータシステム８１０は、また、磁気ハードディスク８４１やリムーバブルメディアドライブ８４２（例えば、フロッピディスクドライブ、コンパクトディスクドライブ、テープドライブ、及び／又はソリッドステートドライブ）など、情報及び命令を記憶するための１つ以上の記憶装置を制御するためにバス８２１に結合されたディスクコントローラ８４０を含む。記憶装置は、適切な装置インタフェース（例えば、小型コンピュータシステムインタフェース（ＳＣＳＩ）、集積装置電子回路（ＩＤＥ）、汎用シリアルバス（ＵＳＢ）又はファイヤワイヤ）を使用してコンピュータシステム８１０に追加されてもよい。
【００６６】
コンピュータシステム８１０は、また、情報をコンピュータユーザに表示するための陰極線管（ＣＲＴ）や液晶表示装置（ＬＣＤ）などの表示装置、すなわちモニタ８６６を制御するためにバス８２１に結合された表示装置コントローラ８６５を含んでもよい。コンピュータシステム８１０は、コンピュータユーザと対話し情報をプロセッサ８２０に提供するために、キーボード８６２やポインティング装置８６１などのユーザ入力インタフェース８６０及び１つ以上の入力装置を含む。ポインティング装置８６１は、例えば、指示情報とコマンド選択をプロセッサ８２０に通信し、表示装置８６６上のカーソルの動きを制御するためのマウス、トラックボール又はポインティングスティックであってもよい。表示装置８６６は、ポインティング装置８６１による指示情報及びコマンド選択の通信を補足するか置き換える入力を可能にするタッチスクリーンインタフェースを提供してもよい。
【００６７】
コンピュータシステム８１０は、本発明の実施形態の処理段階の一部又は全てを、システムメモリ８３０などのメモリに含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ８２０に応じて実行してもよい。そのような命令は、ハードディスク８４１やリムーバブルメディアドライブ８４２などの別のコンピュータ可読媒体からシステムメモリ８３０に読み込まれてもよい。ハードディスク８４１は、本発明の実施形態によって使用される１つ以上のデータストア及びデータファイルを収容してもよい。データストアコンテンツ及びデータファイルは、セキュリティを改善するために暗号化されてもよい。プロセッサ８２０は、また、システムメモリ８３０に収容された命令の１つ以上のシーケンスを実行するために多重処理機構内で使用されてもよい。代替実施形態では、ソフトウェア命令の代わりに又はその命令との組み合わせでハードワイヤード回路が使用されてもよい。したがって、実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されない。
【００６８】
以上述べたように、コンピュータシステム８１０は、本発明の実施形態によりプログラムされた命令を保持し、また本明細書に記載されたデータ構造、テーブル、レコード又は他のデータを収容するための少なくとも１つのコンピュータ可読媒体又はメモリを含んでもよい。用語「コンピュータ可読媒体」は、本明細書で使用されるとき、実行する命令をプロセッサ８２０に提供することに関係する任意の持続性有形媒体を指す。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体及び伝送媒体を含むがこれらに限定されない多数の形態をとってもよい。不揮発性媒体の非限定的な例には、ハードディスク８４１やリムーバブルメディアドライブ８４２など、光ディスク、ソリッドステートドライブ、磁気ディスク及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例には、システムメモリ８３０などのダイナミックメモリが挙げられる。伝送媒体の非限定的な例には、バス８２１を構成する線を含む同軸ケーブル、銅線、及び光ファイバが挙げられる。伝送媒体は、また、電波及び赤外線データ通信中に生成されるものなど、音波又は光波の形をとってもよい。
【００６９】
計算処理環境８００は、更に、リモートコンピュータ８８０などの１つ以上のリモートコンピュータへの論理接続を使用するネットワーク接続環境で動作するコンピュータシステム８１０を含んでもよい。リモートコンピュータ８８０は、パーソナルコンピュータ（ラップトップ又はデスクトップ）、移動装置、サーバ、ルータ、ネットワークＰＣ、ピア装置又は他の共通ネットワークノードでよく、典型的には、コンピュータ８１０に関して前述した要素の多く又は全てを含む。ネットワーク環境内で使用されるとき、コンピュータ８１０は、インターネットなどのネットワーク８７１を介した通信を確立するためのモデム８７２を含み得る。。モデム８７２は、ネットワークインタフェース８７０又は別の適切な機構を介してシステムバス８２１に接続され得る。
【００７０】
ネットワーク８７１は、コンピュータシステム８１０と他のコンピュータ（例えば、リモート計算処理システム８８０）間の通信を容易にすることができるインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、直接接続、一連の接続、セルラ電話網又は、他のネットワーク又は媒体を含む、当該技術分野で一般に知られている任意のネットワーク又はシステムでよい。ネットワーク８７１は、有線、無線又はその組み合わせでよい。有線接続は、イーサネット（登録商標）、汎用シリアルバス（ＵＳＢ）、ＲＪ−１１、又は当該技術分野で一般に知られている他の有線接続を使用して実現されてもよい。無線接続は、Ｗｉ−Ｆｉ、ＷｉＭＡＸ及びＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線、セルラーネットワーク、衛星、又は当該技術分野で一般に知られている他の無線接続方法を使用して実現されてもよい。更に、いくつかのネットワークは、ネットワーク８７１内で通信を容易にするために、単独で動作してもよく互いに通信して動作してもよい。
【００７１】
プロセッサは、本明細書で使用されるとき、タスクを実行するために、コンピュータ可読媒体上に記憶された機械可読命令を実行する装置であり、ハードウェアとファームウェアのいずれか１つ又は組み合わせを含み得る。。プロセッサは、また、タスクを実行するために実行可能な機械可読命令を記憶するメモリを含み得る。。プロセッサは、使用する情報を実行可能手順又は情報装置によって処理、分析、修正、変換又は送信し、かつ／又は情報を出力装置に送ることによって情報に作用する。プロセッサは、例えば、コンピュータ、コントローラ又はマイクロプロセッサの能力を使用するか備えてもよく、また実行命令を使用して汎用コンピュータによって実行されない特殊目的の機能を実行するように調整される。プロセッサは、任意の他のプロセッサと結合されて（電気的及び／又は実行可能な構成要素を含むように）、それらの間の対話及び／又は通信を可能にしてもよい。コンピュータプログラム命令は、汎用コンピュータ若しくは専用コンピュータ、又は装置を作成する他のプログラム可能な処理装置を限定なしに含むコンピュータにロードされ、その結果、コンピュータ又は他のプログラム可能な処理装置上で実行するコンピュータプログラム命令が、フローチャートのブロックで指定された機能を実現するための手段を作成する。ユーザインタフェースプロセッサ又はジェネレータは、表示要素又はその一部分を生成するために電子回路若しくはソフトウェア又はその両方の組み合わせを含む既知の要素である。ユーザインタフェース（ＵＩ）は、プロセッサ又は他の装置とのユーザ相互作用を可能にする１つ以上の表示要素を含む。
【００７２】
本明細書で使用されるような実行可能なアプリケーションは、ユーザの命令又は入力に応じて、オペレーティングシステム、コンテキストデータ収集システム又は他の情報処理システムのものなど、プロセッサを調整して所定の機能を実現するためのコード又は機械可読命令を含む。実行可能な手順は、１つ以上の特定のプロセスを実行するためのコード又は機械可読命令のセグメント、サブルーチン、実行可能アプリケーションのコード又は一部の他の別個のセクションを含む。これらのプロセスは、入力データ及び／又はパラメータを受け取り、受け取った入力データに基づいて演算を実行しかつ／又は受け取った入力パラメータに応じて機能を実行し、得られた出力データ及び／又はパラメータを提供することを含んでもよい。グラフィカルユーザインタフェース（ＧＵＩ）は、本明細書で使用されるとき、表示プロセッサによって生成され、プロセッサ又は他の装置とのユーザ対話を可能にする１つ以上の表示要素と、関連データ取得及び処理機能を含む。
【００７３】
ＵＩは、また、実行可能な手順又は実行可能なアプリケーションを含む。実行可能な手順又は実行可能なアプリケーションは、表示プロセッサを調整してＵＩ表示画像を表わす信号を生成する。そのような信号は、ユーザによる検討のために要素を表示する表示装置に供給される。実行可能手順又は実行可能アプリケーションは、更に、キーボード、マウス、ライトペン、タッチスクリーン、又はユーザがプロセッサにデータを提供することを可能にする他の手段などのユーザ入力装置から信号を受け取る。プロセッサは、実行可能な手順又は実行可能なアプリケーションの制御下で、入力装置から受け取った信号に応じてＵＩ表示要素を操作する。このようにして、ユーザは、プロセッサ又は他の装置とのユーザ対話を可能にする入力装置を使用して表示要素と対話する。本明細書の機能及びプロセス段階は、ユーザ命令に応じて自動的、全体的又は部分的に実行されてもよい。自動的に実行される動作（ステップを含む）は、ユーザが動作を直接指示することなく実行可能な命令又は装置動作に応じて実行される。
【００７４】
ワークフロープロセッサは、本明細書で使用されるとき、データを処理して、例えばプログラムで指定されたように、タスクリストに追加するタスク又はタスクリストから除去するタスクを決定するか、タスクリストに組み込まれたタスク又はタスクリストに組み込むタスクを修正する。タスクリストは、作業者、装置ユーザ、又は装置若しくは両方の組み合わせによって実行するためのタスクのリストである。ワークフロープロセッサは、ワークフローエンジンを使用してもよく使用しなくてもよい。ワークフローエンジンは、本明細書で使用されるとき、イベント及びイベント関連データに応じてプロセスを実行する所定のプロセス定義に応じて実行するプロセッサである。ワークフローエンジンは、イベント関連データに応じて、プロセスを順次かつ／又は並列に実行して、装置及び／又は作業者によって実行されるタスクを決定し、装置と作業者のタスクリストを決定されたタスクを含むように更新する。プロセス定義は、ユーザによって定義可能であり、例えば、装置と作業者によって実行される開始、待機、決定及びタスク割り当てステップの１つ以上を含む一連のプロセスステップを含む。イベントは、プロセス定義を使用して実行されるプロセスの動作に影響を及ぼすオカレンスである。ワークフローエンジンは、ユーザが従うプロセスを定義することを可能にするプロセス定義関数を含み、またイベントモニタを含むことがある。ワークフローエンジン内のプロセッサは、プロセス定義にしたがって、どのプロセスが動作しているか、どの患者に関するものか、医者、及び次にどのステップを実行すべきかを追跡し、実行されるタスクを医者に通知するための手順を含み得る。。
【００７５】
本明細書に示された図のシステム及びプロセスは網羅的ではない。本発明の原理にしたがって、同じ目的を達成する他のシステム、プロセス及びメニューが導出されてもよい。本発明を特定の実施形態に関して述べてきたが、本明細書に示し述べた実施形態と変形が、単に説明のためのであることを理解されたい。現行の設計に対する修正は、本発明の範囲から逸脱することなく当業者によって実行され得る。。更に、プロセス及びアプリケーションは、代替実施形態では、図８のユニットを結合するネットワーク上の１つ以上の（例えば、分散された）処理装置上にあってもよい。図に示された機能とステップはいずれも、ハードウェア、ソフトウェア又はこれらの両方の組み合わせで実現され得る。。本明細書内の請求要素は、その要素が語句「means for」を使用して明示的に列挙されない限り米国特許法１１２条第６項の条件下で解釈されるべきである。
【００７６】
本発明は、例示的な実施形態に関して述べたが、その実施形態に限定されない。当業者は、本発明の好ましい実施形態に対して多くの変更及び修正を行うことができ、そのような変更及び修正が、本発明の真の趣旨から逸脱せずに行なわれ得る。ことを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内にあるような全ての等価的変形物を対象として含むように解釈されるべきである。
【符号の説明】
【００７７】
１１０  引出し
１２０  トレイ
１３０  チューブ
１４０  画像取得システム
２４２，２４４  カメラ
８２０  プロセッサ
【図１Ａ】
0006718465.tif 000002
【図１Ｂ】
0006718465.tif 000003
【図１Ｃ】
0006718465.tif 000004
【図２】
0006718465.tif 000005
【図３】
0006718465.tif 000006
【図４】
0006718465.tif 000007
【図５】
0006718465.tif 000008
【図６】
0006718465.tif 000009
【図７Ａ】
0006718465.tif 000010
【図７Ｂ】
0006718465.tif 000011
【図７Ｃ】
0006718465.tif 000012
【図８】
0006718465.tif 000013