(57)【特許請求の範囲】
【請求項１】
画像ベースチューブ上部円検出方法であって、少なくとも１つのカメラからトレイの一連の画像を受け取るステップであって、前記トレイが複数のチューブスロットを含み、各チューブスロットが、サンプルチューブを収容するように構成され、前記トレイの前記一連の画像が、前記少なくとも１つのカメラによって取得されるステップと、
プロセッサを使用して、前記一連の画像のうちの１つから関心領域（ＲＯＩ）パッチを抽出するステップであって、前記ＲＯＩパッチが、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って複数の異なるタイプのチューブ上部円中心の二次元（２Ｄ）投影によって限定された境界を有するステップと、
前記プロセッサを使用して、前記抽出ＲＯＩパッチのエッジ勾配大きさマップを計算するステップと、
前記プロセッサを使用して、円パラメータ空間の三次元（３Ｄ）マップを生成するステップであって、前記三次元マップ内の各位置が、中心位置と直径を有する円パラメータに対応するステップと、
前記プロセッサを使用して、各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記三次元マップ内の重み付き投票を累積するステップと、
前記プロセッサを使用して、前記三次元マップ内の前記累積投票が所定のしきい値以上のときに、前記三次元マップ内の１つ以上の位置を円候補として決定するステップと、
前記プロセッサを使用して、前記最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するステップとを含む方法。
【請求項２】
前記トレイが、開位置と閉位置の間で移動可能な引出しの一部分内に収まるように構成され、前記トレイの前記画像は、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記少なくとも１つのカメラによって取得される、請求項１に記載の方法。
【請求項３】
前記プロセッサを使用して、前記トレイの表面に対する少なくとも１つのカメラの本質的較正と非本質的姿勢に基づいて、前記複数の異なるタイプのチューブ上部円中心それぞれの前記二次元（２Ｄ）投影を予測するステップと、
前記プロセッサを使用して、前記複数の異なるタイプのサンプルチューブの最大及び最小設定に基づいて前記ＲＯＩパッチの前記境界を限定するステップとを含み、前記最大及び最小設定が、（ｉ）最大直径を有する最高チューブ、（ｉｉ）最小直径を有する最高チューブ、（ｉｉｉ）最大直径を有する最短チューブ、及び（ｉｖ）最小直径を有する最短チューブを含む、請求項１に記載の方法。
【請求項４】
前記プロセッサを使用して、前記最大及び最小設定に基づいて前記標的チューブ上部円中心が位置する領域を定義する多角形を決定するステップを更に含む、請求項１に記載の方法。
【請求項５】
前記最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するステップが、さらに、
（ｉ）前記円の前記中心が、別の円候補の中心の所定の距離しきい値以下であるかどうか、及び（ｉｉ）前記円候補の領域及び前記他の円候補の領域が、所定の重なりしきい値以上の重なりを有するかどうかを決定するステップと、
（ｉ）と（ｉｉ）の両方が真であることが決定されたときに、前記より小さい直径を有する前記円候補又は前記他の円候補を円候補であることから除外し、前記直径が等しい場合に、前記より少量の累積投票を有する前記円候補又は前記他の円候補を円候補であることから除外するステップと、
（ｉ）又は（ｉｉ）が偽であることが決定されたときに、前記累積投票量に従って前記円候補を前記他の円候補と共に格付けするステップとを含む、請求項１に記載の方法。
【請求項６】
各エッジ点の前記エッジ勾配に沿って前記エッジ勾配大きさマップ内の前記エッジ点から前記三次元マップ内の前記重み付き投票を累積するステップが、更に、
各エッジ点の前記勾配方向に沿った各エッジ点と交差する線を決定するステップと、
各エッジ点から所定距離又はその所定距離内にある前記線上の点に、前記重み付き投票の１つ以上を割り当てるステップとを含む、請求項１に記載の方法。
【請求項７】
各エッジ点の前記勾配方向に沿った前記エッジ勾配大きさマップ内の前記エッジ点から前記三次元マップ内の前記重み付き投票を累積するステップが、さらに、前記各エッジ点の負勾配方向に沿った点の投票よりも各エッジ点の正勾配方向に沿った点の投票に、より大きい重みを割り当てるステップを含む、請求項６に記載の方法。
【請求項８】
前記プロセッサを使用して、前記ＲＯＩパッチ内の反射点を決定するステップと、
前記プロセッサを使用して、各反射点の正勾配方向に沿った投票に第１の重みを割り当て、各反射点の負勾配方向に沿った投票に第２の重みを割り当てるステップであって、前記第１の重みと前記第２の重みが等しいステップと、
前記プロセッサを使用して、各反射点の前記正勾配方向及び各反射点の前記負勾配方向に沿った前記反射点から前記三次元マップ内の投票を累積するステップとを更に含む、請求項１に記載の方法。
【請求項９】
前記プロセッサを使用して、前記円中心パラメータ空間の二次元マップを生成し、前記二次元マップの各位置が、円中心位置に対応するステップと、
前記プロセッサを使用して、各エッジ点の前記勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記二次元マップの累積された重み付き投票を決定するステップと、
前記プロセッサを使用して、前記二次元マップ上の前記対応位置での前記累積投票が所定のしきい値より低いときに、前記三次元マップ内の１つ以上の行をフィルタリングするステップとを更に含む、請求項１に記載の方法。
【請求項１０】
前記プロセッサを使用して、前記円中心パラメータ空間の二次元マップを生成し、前記二次元マップの各位置が、特定中心位置に対応するステップと、
前記プロセッサを使用して、各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記二次元マップの累積重み付き投票を決定するステップと、
前記プロセッサを使用して、前記二次元マップ内の累積重み付き投票に従って前記二次元マップ内の前記二次元円中心位置を格付けするステップとを更に含む、請求項１に記載の方法。
【請求項１１】
体外診断環境で使用される視覚システムであって、
行と列の行列で配列された複数のチューブスロットを含むトレイであって、各チューブスロットが、サンプルチューブを収容するように構成されたトレイと、
前記トレイを受け取るように構成された表面と、
前記トレイの一連の画像を取得するように構成された少なくとも１つのカメラと、
プロセッサであって、
前記一連の画像のうちの１つから関心領域（ＲＯＩ）パッチを抽出して、前記ＲＯＩパッチが、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って複数の異なるタイプのチューブ上部円中心の二次元（２Ｄ）投影によって限定された境界を有するようにし、
前記抽出ＲＯＩパッチのエッジ勾配大きさマップを計算し、
前記三次元マップ内の各位置が中心位置と直径を有する円パラメータに対応する円パラメータ空間の三次元（３Ｄ）マップを生成し、
前記各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記三次元マップ内の重み付き投票を累積し、
前記三次元マップ内の１つ以上の位置おける累積投票が、所定のしきい値以上であるときに、前記三次元マップ内の１つ以上の位置を円候補として決定し、
最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するように構成されたプロセッサとを含む視覚システム。
【請求項１２】
前記表面が、開位置と閉位置の間で移動可能な引出しの一部分を含み、前記トレイの前記画像が、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記少なくとも１つのカメラによって取得される、請求項１１に記載のシステム。
【請求項１３】
前記プロセッサが、さらに、
前記トレイの表面に対して前記少なくとも１つのカメラの本質的較正と非本質的姿勢に基づいて前記複数の異なるタイプのチューブ上部円中心のそれぞれの前記二次元（２Ｄ）投影を予測し、
前記複数の異なるタイプのサンプルチューブの最大及び最小設定に基づいて前記ＲＯＩパッチの前記境界を限定するように構成され、前記最大及び最小設定が、（ｉ）最大直径を有する最高チューブ、（ｉｉ）最小直径を有する最高チューブ、（ｉｉｉ）最大直径を有する最短チューブ、及び（ｉｖ）最小直径を有する最短チューブを含む、請求項１１に記載のシステム。
【請求項１４】
前記プロセッサが、更に、前記最大及び最小設定に基づいて前記標的チューブ上部円中心が配置された領域を定義する多角形を決定するように構成された、請求項１１に記載のシステム。
【請求項１５】
前記プロセッサが、さらに、
（ｉ）前記円の前記中心が、別の円候補の中心の所定の距離しきい値以下であるかどうか、及び（ｉｉ）前記円候補の領域及び前記他の円候補の領域が、所定の重なりしきい値以上の重なりを有するかどうかを決定し、
（ｉ）と（ｉｉ）の両方が真であることが決定されたときに、前記より小さい直径を有する前記円候補又は前記他の円候補を円候補であることから除外し、前記直径が等しい場合に、前記より少量の累積投票を有する前記円候補又は前記他の円候補が円候補であることから除外し、
（ｉ）又は（ｉｉ）が偽であることが決定されたときに、前記累積投票量に従って前記円候補を前記他の円候補と共に格付けすることによって、前記最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するように構成された、請求項１１に記載のシステム。
【請求項１６】
前記プロセッサが、さらに、
各エッジ点の前記勾配方向に沿った各エッジ点と交差する線を決定し、
各エッジ点から所定距離又はその所定距離内にある前記線上の点に１つ以上の重み付き投票を割り当てることによって、各エッジ点の前記勾配方向に沿った前記エッジ大きさマップ内の前記エッジ点から前記三次元マップ内の前記重み付き投票を累積するように構成された、請求項１１に記載のシステム。
【請求項１７】
前記プロセッサが、さらに、各エッジ点の負勾配方向に沿った投票よりも各エッジ点の正勾配方向に沿った投票により大きい重みを割り当てることによって、各エッジ点の前記勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点からの前記三次元マップ内の前記重み付き投票を累積するように構成された、請求項１６に記載のシステム。
【請求項１８】
前記プロセッサが、さらに、
前記抽出ＲＯＩパッチ内の反射点を決定し、
各反射点の正勾配方向に沿った投票に第１の重みを割り当て、各反射点の負勾配方向に沿った投票に第２の重みを割り当て、前記第１の重みと前記第２の重みが等しく、
各反射点の前記正勾配方向及び各反射点の前記負勾配方向に沿った前記反射点からの前記三次元マップ内の投票を累積するように構成された、請求項１１に記載のシステム。
【請求項１９】
前記プロセッサが、さらに、
１つ以上を有する前記円中心パラメータ空間の二次元マップを生成し、前記二次元マップの前記１つ以上の位置がそれぞれ円中心位置に対応し、
各エッジ点の前記勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記二次元マップ内の累積された重み付き投票を決定し、
前記二次元マップ上の対応位置における前記累積投票が、所定のしきい値より低いときに、前記三次元マップ内の１つ以上の行をフィルタリングするように構成された、請求項１１に記載のシステム。
【請求項２０】
前記プロセッサが、さらに、
１つ以上の位置を有する前記円中心パラメータ空間の二次元マップを生成し、前記二次元マップの前記１つ以上の位置がそれぞれ特定の円中心位置に対応し、
各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記二次元マップの累積重み付き投票を決定し、
前記二次元マップ内の累積重み付き投票に従って前記二次元マップ内の前記１つ以上の位置を格付けするように構成された、請求項１１に記載のシステム。
【請求項２１】
画像ベースチューブ上部円検出を使用する方法であって、
少なくとも１つのカメラから、トレイの一連の画像を受け取るステップであって、前記トレイが、複数のチューブスロットを含み、各チューブスロットが、サンプルチューブを収容するように構成され、前記トレイの前記一連の画像が、前記少なくとも１つのカメラによって取得されるステップと、
前記プロセッサを使用して、前記一連の画像のうちの１つから関心領域（ＲＯＩ）パッチを抽出するステップであって、前記ＲＯＩパッチが、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って複数の異なるタイプのチューブ上部円中心の二次元（２Ｄ）投影によって限定された境界を有するステップと、
前記プロセッサを使用して、前記抽出ＲＯＩパッチのエッジ勾配大きさマップを計算するステップと、
前記プロセッサによって、円パラメータ空間の二次元マップと三次元（３Ｄ）マップを生成するステップであって、前記二次元マップ内の各位置が円中心位置に対応し、前記三次元マップ内の各位置が円中心と直径パラメータに対応するステップと、
前記プロセッサを使用して、各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点に基づいて前記二次元マップ内と前記三次元マップ内の重み付き投票を累積するステップと、
前記プロセッサを使用して、前記第１の所定のしきい値よりも大きい累積投票を有する前記二次元マップ内の１つ以上の位置を決定するステップと、
前記プロセッサを使用して、前記三次元マップ内の対応位置における累積投票が、第２の所定のしきい値以上であるときに、前記三次元マップ内の対応位置を円候補として決定するステップと、
前記プロセッサを使用して、前記最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するステップとを含む方法。
【請求項２２】
前記トレイが、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記少なくとも１つのカメラによって前記トレイの前記画像が取得される、請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、２０１５年２月１８日に出願された「ＩＭＡＧＥ−ＢＡＳＥＤ  ＴＵＢＥ  ＳＬＯＴ  ＣＩＲＣＬＥ  ＤＥＴＥＣＴＩＯＮ  ＦＯＲ  Ａ  ＶＩＳＩＯＮ  ＳＹＳＴＥＭ」と題する米国仮出願第６２／１１７，９１４号明細書に対する優先権を請求し、この開示は、参照により全体が本明細書に組み込まれる。
【０００２】
本明細書に開示された実施形態は、一般にチューブトレイの画像を取得してトレイ内に保持されたチューブの特徴を決定することに関し、より詳細には画像ベースのチューブ上部円（tube top circle）検出を使用してトレイ内に保持されたチューブの特徴を正確に決定することに関する。
【背景技術】
【０００３】
体外診断（ＩＶＤ）は、検査室が、患者の液状サンプルに対して行なわれる検査に基づいて疾病診断に役立つことを可能にする。ＩＶＤは、患者の体液又は膿瘍から得られた液体サンプルの分析によって行える患者の診断及び治療に関連した様々なタイプの分析試験及び検査を含む。そのような検査は、通常、患者サンプルを収容したチューブ又はガラス瓶が装填された自動臨床化学分析装置（分析装置）によって行われる。最新ＩＶＤ検査で様々な検査が必要とされ、検査を行うのに大量の試験が必要なので、単一検査室内で複数の分析装置が使用されることが多い。分析装置の間では自動化システムも使用されうる。サンプルは、診療室から検査室に送られ、検査室に保管され、自動化システム又は分析装置に入れられ、その後の試験のために保管されうる。
【０００４】
分析装置間の保管と移送は、典型的には、トレイを使って行われる。トレイは、典型的には、テストチューブ内に蓄えられたいくつかの患者サンプルの配列である。そのようなトレイは、しばしば積み重ね可能であり、検査室の一部分から別の部分への複数サンプルの容易な搬送を可能にする。例えば、検査室は、病院又は診療所からの試験のために患者サンプルのトレイを受け取ることがある。その患者サンプルトレイは、実験室内の冷蔵庫に保管されうる。患者サンプルトレイは、引出し内にも保管されうる。いくつかの自動化システムでは、分析装置は、患者サンプルトレイを受け入れ、サンプルをそれ相応に取り扱うことができ、一方、いくつかの分析装置は、サンプルがオペレータによってトレイから取り出され、さらなる処理の前にキャリア（パックなど）に入れられることを必要とすることがある。トレイは、一般に、サンプルを搬送し、場合によっては順番に配列することを可能にする受動装置である。
【０００５】
一般に、トレイ内に保管されたサンプルチューブに関する情報は、オペレータ又はサンプル取り扱い機構が各チューブと相互作用するまで分からない。例えば、サンプル取り扱いロボットアームが、チューブを取り上げ、トレイから取り出し、キャリアに入れることがある。次に、キャリアは、デキャッパステーションまで移動して、キャップがあれば除去し、バーコードリーダのそばを通り、それにより、チューブの側面のバーコードを読み取ってチューブの内容を明らかにできる。多くの先行技術のサンプル取り扱い機構では、チューブの識別は、チューブがトレイから取り出された後まで分からない。このように、トレイ内のチューブはすべて、自動化システムでチューブが搬送台上に配置されるまで同じように取り扱われることが多い。
【発明の概要】
【課題を解決するための手段】
【０００６】
実施形態は、画像ベースチューブ上部円検出を使用する方法を提供する。方法は、少なくとも１つのカメラから、トレイの一連の画像を受け取ることを含む。トレイは、複数のチューブスロットを含む。各チューブスロットは、サンプルチューブを受け取るように構成される。トレイの一連の画像は、少なくとも１つのカメラによって取得される。方法は、また、プロセッサを使用して、一連の画像のうちの１つから関心領域（ＲＯＩ）パッチを抽出することを含む。ＲＯＩパッチは、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って、複数の異なるタイプのチューブ上部円の二次元（２Ｄ）投影によって限定された境界を有する。方法は、また、プロセッサを使用して、抽出ＲＯＩパッチのエッジ勾配大きさマップを計算すること、及びプロセッサを使用して、円パラメータ空間の三次元（３Ｄ）マップを生成することを含み、ここで、三次元マップ内の各位置は、中心位置と直径を有する円パラメータに対応しうる。方法は、また、プロセッサを使用して、各エッジ点の勾配方向に沿ってエッジ勾配大きさマップ内のエッジ点から三次元マップ内の重み付け投票を累積すること、及びプロセッサを使用して、三次元マップ内の累積投票が所定のしきい値以上のときに三次元マップ内の１つ以上の位置を円候補として決定することを含む。方法は、さらに、プロセッサを使用して、最も大きい累積投票を有する決定円候補を標的チューブ上部円として選択することを含む。
【０００７】
一実施形態によれば、トレイは、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、引出しが開位置と閉位置の間で移動されたときに少なくとも１つのカメラによってトレイの画像が取得される。
【０００８】
別の実施形態によれば、方法は、プロセッサを使用して、少なくとも１つのカメラの本質的較正とトレイの表面に対する非本質的姿勢に基づいて、複数の異なるタイプのチューブ上部円のそれぞれの二次元（２Ｄ）投影を予測することを含む。方法は、さらに、プロセッサを使用して、複数の異なるタイプのサンプルチューブの最大及び最小設定に基づいてＲＯＩパッチの境界を限定することを含み、最大及び最小設定は、（ｉ）最大直径を有する最長チューブ、（ｉｉ）最小直径を有する最長チューブ、（ｉｉｉ）最大直径を有する最短チューブ、及び（ｉｖ）最小直径を有する最短チューブを含む。
【０００９】
更に別の実施形態によれば、方法は、プロセッサを使用して、最大及び最小設定に基づいて標的チューブ上部円中心が位置する領域を定義する多角形を決定することを含む。
【００１０】
一実施形態では、最大累積投票を有する決定円候補を標的チューブ上部円として選択することは、さらに、（ｉ）円の中心が、別の円候補の中心の所定の距離しきい値以下であるかどうか、及び（ｉｉ）円候補の領域と他の円候補の領域が、所定の重なりしきい値以上の重なりを有するかどうかを含む。（ｉ）と（ｉｉ）の両方が真であることが決定されたとき、直径が小さい方の円候補又は別の円候補が、円候補でなくされる。直径が等しい場合、累積投票の量が少ない方の円候補又は他の円候補が、円候補でなくされる。（ｉ）又は（ｉｉ）のどちらかが誤りであると決定されたとき、円候補は、累積投票の量に従って、他の円候補と共に格付けされる。
【００１１】
別の実施形態では、各エッジ点のエッジ勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点から三次元マップ内の重み付き投票を累積することは、さらに、各エッジ点の勾配方向に沿ったエッジ点と交差する線を決定することと、各エッジ点から所定距離又はその所定距離内にある線上の点に重み付き投票の１つ以上を割り当てることを含む。
【００１２】
一実施形態の一態様では、各エッジ点の勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点から三次元マップ内の重み付き投票を累積することは、さらに、各エッジ点の負勾配方向に沿った点の投票よりも各エッジ点の正勾配方向に沿った点の投票に、より大きい重みを割り当てることを含む。
【００１３】
一実施形態によれば、方法は、さらに、プロセッサを使用して、ＲＯＩパッチ内の反射点を決定すること、プロセッサを使用して、各反射点の正勾配方向に沿った投票に第１の重みを割り当てること、及び各反射点の負勾配方向に沿った投票に第２の重みを割り当てることを含み、第１の重みと第２の重みが等しい。方法は、さらに、プロセッサを使用して、各反射点の正勾配方向及び各反射点の負勾配方向に沿った反射点からの三次元マップ内の投票を累積することを含む。
【００１４】
別の実施形態によれば、方法は、さらに、プロセッサを使用して、円中心パラメータ空間の二次元マップを生成することであって、二次元マップの各位置が円中心位置に対応することと、プロセッサを使用して、各エッジ点の勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点から二次元マップのための累積重み付き投票を決定することと、プロセッサを使用して、二次元マップ上の対応する位置における累積投票が所定しきい値より低いときに、三次元マップ内の１つ以上の行をフィルタリングすることを含む。
【００１５】
更に別の実施形態では、方法は、さらに、プロセッサを使用して、円中心パラメータ空間の二次元マップを生成することであって、二次元マップの各位置が特定中心位置に対応することと、プロセッサを使用して、各エッジ点の勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点から二次元マップのための累積重み付き投票を決定することと、プロセッサを使用して、二次元マップ内の累積重み付き投票に従って二次元マップ内の二次元円中心位置を格付けすることを含む。
【００１６】
実施形態は、体外診断環境で使用される視覚システムを提供する。システムは、行と列の行列で配列された複数のチューブスロットを有するトレイを含む。各チューブスロットは、サンプルチューブを収容するように構成される。システムは、また、トレイと、引出しが移動されたときにトレイの一連の画像を取得するように構成された少なくとも１つのカメラとを収容するように構成された表面を含む。システムは、さらに、一連の画像のうちの１つから関心領域（ＲＯＩ）を抽出するように構成されたプロセッサを含み、ＲＯＩパッチが、標的チューブ上部円を含み、また複数の異なるタイプのサンプルチューブの高さと直径に従って、複数の異なるタイプのチューブ上部円中心の二次元（２Ｄ）投影によって限定された境界を有する。プロセッサは、また、抽出ＲＯＩパッチのエッジ勾配大きさマップを計算し、円パラメータ空間の三次元（３Ｄ）マップを生成するように構成され、三次元マップ内の各位置が、中心位置と直径を有する円パラメータに対応しうる。プロセッサは、また、各エッジ点の勾配方向に沿ってエッジ勾配大きさマップ内のエッジ点から三次元マップ内の重み付け投票を累積し、三次元マップ内の１つ以上の位置での累積投票が所定のしきい値以上であるときに、三次元マップ内の１つ以上の位置を円候補として決定するように構成される。プロセッサは、さらに、最大累積投票を有する決定円候補を標的チューブ上部円として選択するように構成される。
【００１７】
実施形態は、画像ベースチューブトップ円検出を使用する方法を提供する。方法は、少なくとも１つのカメラから、複数のチューブスロットを含むトレイの一連の画像を受け取ることを含み、各チューブスロットが、サンプルチューブを収容するように構成され、トレイの一連の画像が、少なくとも１つのカメラによって取得される。方法は、さらに、プロセッサを使用して、一連の画像のうちの１つから関心領域（ＲＯＩ）を抽出することを含み、ＲＯＩパッチが、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って、複数の異なるタイプのチューブ上部円中心の二次元（２Ｄ）投影によって限定された境界を有する。方法は、また、プロセッサを使用して、抽出ＲＯＩパッチのエッジ勾配大きさマップを計算し、プロセッサを使用して、円パラメータ空間の二次元マップと三次元（３Ｄ）マップを生成することを含み、二次元マップ内の各位置が、円中心位置に対応し、三次元マップ内の各位置が、円中心及び直径パラメータに対応する。方法は、また、プロセッサを使用して、各エッジ点の勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点に基づいて二次元マップ内及び三次元マップ内の重み付き投票を累積し、プロセッサを使用して、第１の所定のしきい値より大きい累積投票を有する二次元マップ内の１つ以上の位置を決定することを含む。方法は、さらに、プロセッサを使用して、三次元マップ内の対応位置における累積投票が第２の所定のしきい値以上であるときに、三次元マップ内の対応位置を円候補として決定することと、プロセッサを使用して、最大累積投票を有する決定された円候補を標的チューブ上部円として選択することとを含む。
【００１８】
本開示の追加の特徴及び利点は、添付図面を参照して進む説明的実施形態の以下の詳細な説明から明らかにされる。
【００１９】
本明細書に開示された実施形態の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最もよく理解される。本明細書に開示された実施形態を例証するために、図には現在好ましい実施形態が示されるが、本明細書に開示された実施形態が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。
【図面の簡単な説明】
【００２０】
【図１Ａ】一実施形態による、引出し内に保持された画像分析チューブトレイ及びチューブを評価するためのシステムを表わす図である。
【図１Ｂ】一実施形態による、引出し上に配置されたチューブトレイの上に位置決めされた画像取得システムを含む例示的な引出し視覚システム試験ハーネスを示す図である。
【図２】一実施形態による、引出し内に保持されたチューブトレイとその上に収容されたチューブを、画像分析によって評価するためのシステムを表すブロック図である。
【図３】本明細書に示された実施形態によるサンプルチューブの特性を検出する方法を示すフローチャートである。
【図４Ａ】本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。
【図４Ｂ】本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。
【図４Ｃ】本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。
【図４Ｄ】本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。
【図４Ｅ】本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。
【図４Ｆ】本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。
【図５Ａ】本明細書に示された実施形態による、様々な関心チューブを有するトレイの一部分のカメラからの視界を示す例示的画像である。
【図５Ｂ】それぞれ本明細書に示された実施形態による、図５Ａ、図５Ｃ、図５Ｅ及び図５Ｇで画像５００に示された調査領域を限定する例示的な抽出ＲＯＩ画像パッチを示す図である。
【図５Ｃ】本明細書に示された実施形態による、様々な関心チューブを有するトレイの一部分のカメラからの視界を示す例示的画像である。
【図５Ｄ】それぞれ本明細書に示された実施形態による、図５Ａ、図５Ｃ、図５Ｅ及び図５Ｇで画像５００に示された調査領域を限定する例示的な抽出ＲＯＩ画像パッチを示す図である。
【図５Ｅ】本明細書に示された実施形態による、様々な関心チューブを有するトレイの一部分のカメラからの視界を示す例示的画像である。
【図５Ｆ】それぞれ本明細書に示された実施形態による、図５Ａ、図５Ｃ、図５Ｅ及び図５Ｇで画像５００に示された調査領域を限定する例示的な抽出ＲＯＩ画像パッチを示す図である。
【図５Ｇ】本明細書に示された実施形態による、様々な関心チューブを有するトレイの一部分のカメラからの視界を示す例示的画像である。
【図５Ｈ】それぞれ本明細書に示された実施形態による、図５Ａ、図５Ｃ、図５Ｅ及び図５Ｇで画像５００に示された調査領域を限定する例示的な抽出ＲＯＩ画像パッチを示す図である。
【図６Ａ】本明細書に示された実施形態により使用されうるカメラの視界内のチューブのカメラからの例示的な画像である。
【図６Ｂ】図６Ａに示された例示的画像のバイナリエッジマップである。
【図６Ｃ】図６Ａに示された例示的画像のエッジ勾配大きさマップを示す図である。
【図７Ａ】本明細書に示された実施形態により使用されうるカメラの視界内の例示的な抽出ＲＯＩ画像パッチを示す図である。
【図７Ｂ】図７Ａに示された例示的な抽出ＲＯＩ画像パッチのバイナリエッジマップである。
【図７Ｃ】図７Ａに示された例示的な抽出ＲＯＩ画像パッチのエッジ勾配大きさマップである。
【図７Ｄ】図７Ａに示された例示的な抽出ＲＯＩ画像パッチの抽出反射点を示すマップである。
【図８】本明細書に開示された実施形態による例示的な三次元マップ構造の一部を示す図である。
【図９Ａ】本明細書に開示された実施形態による様々な標的チューブ上部円を有する例示的な抽出ＲＯＩ画像パッチを示す図である。
【図９Ｂ】本明細書で開示された実施形態による、図９Ａ、図９Ｃ、図９Ｅ及び図９Ｇにそれぞれ示されたＲＯＩ画像パッチ内の選択されたチューブ上部円及び他の検出された円候補を示す図である。
【図９Ｃ】本明細書に開示された実施形態による様々な標的チューブ上部円を有する例示的な抽出ＲＯＩ画像パッチを示す図である。
【図９Ｄ】本明細書で開示された実施形態による、図９Ａ、図９Ｃ、図９Ｅ及び図９Ｇにそれぞれ示されたＲＯＩ画像パッチ内の選択されたチューブ上部円及び他の検出された円候補を示す図である。
【図９Ｅ】本明細書に開示された実施形態による様々な標的チューブ上部円を有する例示的な抽出ＲＯＩ画像パッチを示す図である。
【図９Ｆ】本明細書で開示された実施形態による、図９Ａ、図９Ｃ、図９Ｅ及び図９Ｇにそれぞれ示されたＲＯＩ画像パッチ内の選択されたチューブ上部円及び他の検出された円候補を示す図である。
【図９Ｇ】本明細書に開示された実施形態による様々な標的チューブ上部円を有する例示的な抽出ＲＯＩ画像パッチを示す図である。
【図９Ｈ】本明細書で開示された実施形態による、図９Ａ、図９Ｃ、図９Ｅ及び図９Ｇにそれぞれ示されたＲＯＩ画像パッチ内の選択されたチューブ上部円及び他の検出された円候補を示す図である。
【図１０Ａ】本明細書で開示された実施形態による、チューブ上部円検出の機能を評価するために使用されるチューブオフセットツールのサンプル画像を示す図である。
【図１０Ｂ】本明細書で開示された実施形態による、チューブ上部円検出の機能を評価するために使用されるチューブオフセットツールのサンプル画像を示す図である。
【図１０Ｃ】本明細書で開示された実施形態による、チューブ上部円検出の機能を評価するために使用されるチューブオフセットツールのサンプル画像を示す図である。
【図１０Ｄ】本明細書で開示された実施形態による、チューブ上部円検出の機能を評価するために使用されるチューブオフセットツールのサンプル画像を示す図である。
【図１１Ａ】本明細書で開示された実施形態により行われたチューブ上部円検出の結果を示すグラフである。
【図１１Ｂ】本明細書で開示された実施形態により行われたチューブ上部円検出の結果を示すグラフである。
【図１１Ｃ】本明細書で開示された実施形態により行われたチューブ上部円検出の結果を示すグラフである。
【図１１Ｄ】本明細書で開示された実施形態により行われたチューブ上部円検出の結果を示すグラフである。
【図１２】本発明の実施形態が実現されうる計算処理環境の例を示す図である。
【発明を実施するための形態】
【００２１】
本出願は、参照により本明細書に組み込まれる、ＷｕらによるＰＣＴ出願第ＰＣＴ／ＵＳ１４／２７２１７号及び米国特許出願第６２／０１０３７０号明細書に記載された概念のいくつかに関する。
【００２２】
実施形態は、チューブトレイ及びチューブトレイ内に保持されたチューブの画像を取得するように構成された自動化視覚システムにおいて、チューブトレイ内に保持されたチューブの分類と特徴を決定するためのシステム及び方法を含む。いくつかの実施形態は、自動化システムにおいて手動で配置され整列されたトレイの画像を取得することを含む。例えば、自動化システムは、平坦面にガイドレールを提供し、オペレータがトレイ上のキー止め形状をレールに手動で位置合わせし、トレイを作業領域に押すことを可能にする。
【００２３】
いくつかの実施形態は、サンプルチューブが収容されたチューブトレイを装填し取り出すための引出しを含む自動引出し視覚システム（ＤＶＳ）を含みうる。トレイの画像は、引出しが開位置と閉位置（例えば、作業領域位置）の間で移動されたときに、引出しの入口領域の上に取り付けられた１つ以上のカメラによって取得されうる。
【００２４】
実施形態は、取得画像を分析してチューブ分類及びチューブ特徴を決定した。実施形態は、画像ベースチューブ上部円検出を使用して入力画像内のチューブ上部円領域を局所化する。チューブ上部円領域を利用して、その外観のばらつきを有するチューブの分類と特徴を決定できる。例えば、それぞれの可能なチューブ上部円及び／又はチューブ上部円中心に関して画像内の二次元（２Ｄ）投影が予測されうる。物理的サンプルチューブ形状限定を使用して、画像から関心領域（ＲＯＩ）パッチを抽出できる。限定は、チューブ高さとチューブ直径の最大及び最小二次元投影を含みうる。実施形態は、また、エッジ強度のエッジ勾配の大きさを使用し、画像内のチューブの反射点を抽出してチューブ上部円のトレースを取得する。
【００２５】
カメラの視界内に複数の円を有するＲＯＩの場合、実施形態は、三次元ハフ変換などの三次元（３Ｄ）マッピングアルゴリズムを使用して円の中心と半径（又は、直径）を同時に決定することによって、チューブの分類又は特徴を決定する。サンプルチューブの形状及び外観から得られた基準に基づいて、１つ以上の円候補から最適円が選択されうる。
【００２６】
ＰＣＴ出願第ＰＣＴ／ＵＳ１４／２７２１７号明細書に記載されているように、ＤＶＳのチューブトレイは、引出し内に収まり、行と列の配列で配列されたスロット内に複数のチューブを保持するように構成される。画像は、トレイならびにトレイ上に保持されたチューブを評価するために使用される。詳細には、実施形態によれば、画像を分析することによって、チューブの種々の特徴（例えば、チューブを収容するトレイスロット、座標系におけるチューブの中心点、チューブの直径と高さ、引出し内のトレイの向き、チューブが単純チューブかどうか、チューブがキャップ又はチューブ上部サンプルカップで覆われているかどうか、チューブキャップの色、トレイ表面のバーコード、及びトレイを保持する引出しが作業環境に挿入又は取り出される速度など）を決定できる。実施形態は、高価な機器なしにまたチューブを取り扱ったり触れたりせずに、この情報と他の情報を素早く決定する。そのような知識は、チューブの効率的で合理的な処理、並びにセットアップ及び維持コストの低減を可能にする。
【００２７】
この情報は、サンプルハンドラがチューブを処理し、チューブを試験と分析のために分析装置まで移動させるＩＶＤ環境で貴重である。本発明の実施形態では、特にＩＶＤ環境に適しているが、決してＩＶＤ環境に限定されない。
【００２８】
図１Ａは、一実施形態による、チューブトレイ１２０とそこに収容されたチューブ１３０を、その画像を取得し分析することによって評価する例示的な引出し視覚システム１００を表す。１つ以上の引出し１１０が、開位置と閉位置の間で移動可能であり、サンプルハンドラのための作業エンベロープ１０５内で提供される。１つ以上のチューブトレイ１２０が、引出し１１０に装填されてもよく、引出し１１０の永久機能でもよい。各チューブトレイ１２０は、チューブ１３０が収容されうるスロットの行と列の配列（例示的トレイ１２１内に描かれたような）を有する。
【００２９】
実施形態により、チューブトレイ１２０の画像が撮影される。画像は、チューブトレイ１２０とチューブ１３０の特徴を決定するために分析される。画像をその分析のために取得するために、本明細書に提供された実施形態によれば、可動トレイ又は固定カメラ手法が使用される。チューブトレイ１２０が、例えば手動又は自動で引出し１１０に押し込まれることによって、作業エンベロープ１０５に入れられるとき、画像取得システム１４０を使用してチューブトレイ１２０とそこに収容されたチューブ１３０の画像を撮影する。
【００３０】
画像取得システム１４０は、作業エンベロープ１０５の入口又は入口近くに位置決めされた１つ以上のカメラ（例えば、図２に示された左側カメラ２４２と右側カメラ２４４）を含みうる。いくつかの実施形態では、１つ以上のカメラ２４２、２４４が、チューブトレイ１２０の表面の上に位置決めされうる。例えば、カメラ２４２，２４４は、チューブトレイ１２０の高解像度画像を取得するために、表面の７６．２〜１５２．４ｍｍ（３〜６インチ）上に配置されうる。カメラ２４２，２４４の機能ならびに所望の視点及び画質により、他の距離及び／又は位置決めが使用されうる。必要に応じて、画像取得システム１４０は、ＬＥＤフラッシュなどの１つ以上の光源を含みうる。
【００３１】
図１Ｂは、本明細書に開示された実施形態と共に使用されうる例示的な引出し視覚システムの例示的な試験ハーネスを示す。図１Ｂに示されたように、画像取得システム１４０は、チューブ１３０を保持するチューブトレイ１２０の表面の上に位置決めされ、引出し１１０上に配置される。図１Ｂで実施形態に示された引出し１１０は、２つの５５スロットトレイ又は６つの１５スロットトレイを保持するように構成される。しかしながら、実施形態は、様々な数のスロットを有しかつ様々なサイズを有するトレイを保持するように構成されたトレイを含みうる。
【００３２】
図２は、一実施形態による、引出し１１０内に保持され収容されたチューブトレイ１２０とチューブ１３０を画像分析によって評価するための例示的なシステム２００を表すブロック図を示す。画像取得システム１４０は、一実施形態によれば、２つのカメラ、すなわち左側カメラ２４２と右側カメラ２４４を含む。引出し１１０及びチューブトレイ１２０のサイズ、並びに所望の画質及び画像視点により、追加の又はより少ないカメラが含まれうる。また、光源２４６及び画像取得コントローラ２４８は、画像取得システム１４０の一部でもある。
【００３３】
チューブトレイ１２０の行が、１つ以上のカメラ２４２，２４４の下の中心位置又は実質的中心位置に移動されたことを決定するために、直角位相エンコーダなどのエンコーダ２１０が使用されうる。エンコーダ２１０は、チューブトレイ１２０の新しい行に対応するチューブトレイ１２０が、１つ以上のカメラ２４２，２４４の下の中心位置又は実質的中心位置に移動したことの検出に基づいて、画像取得コントローラ２４８に信号（すなわち、パルス）を送信する。信号は、画像取得コントローラ２４８が、信号の受信時にカメラ２４２，２４４に指示して画像を撮影させる命令として機能する。
【００３４】
カメラ２４２，２４４によって撮影された画像の画像分析を管理するためのコントローラ２２０が提供される。引出し１１０が閉じたことを検出すると、画像取得コントローラ２４８は、ダウンロードと処理のためにコントローラ２２０に画像を提供する。コントローラ２２０は、一実施形態によれば、ＩＶＤ環境で、チューブトレイ１２０とチューブ１３０を作業エンベロープ１０５などの保管場所の間で取り扱い、分析装置まで移動させるために使用されるサンプルハンドラの一部である。コントローラ２２０によって行われる画像分析は、チューブトレイ１２０とチューブ１３０の様々な決定された特徴に基づいてサンプルハンドラに指示する役割をし、したがって、サンプルハンドラがそれに応じてチューブトレイ１２０とチューブ１３０を取り扱い処理することを可能にする。
【００３５】
１つ以上の記憶装置２４０が、コントローラ２２０と関連付けられる。１つ以上の記憶装置２４０は、コントローラ２２０の内部でも外部でもよい。 
【００３６】
引出し１１０が完全に閉じられかつ／又は引出し１１０が完全に開かれたことを示すために、１つ以上の引出しセンサ２３０がコントローラ２２０に接続されうる。一実施形態によれば、引出し１１０が完全に閉じられたことは、取得され記憶された画像の画像処理を始める指示として機能する。引出し１１０が完全に閉められたとき、引出しセンサ２３０は、コントローラ２２０に信号を送る。
【００３７】
図３は、本開示の実施形態が実施されうるトレイスロットタイプとサンプルチューブのチューブタイプを決定する例示的な方法３００を示すフローチャートである。図３に示されたように、例示的な方法は、ステップ３０６〜３１４によってトレイスロットタイプ（例えば、スロットが空か空でないか）を決定してもよくかつ／又はステップ３１６〜３２４によってチューブタイプ（例えば、単純チューブ、キャップ付きチューブ、又はチューブ上部サンプルカップ付きチューブ）を決定してもよい。トレイスロットタイプとチューブタイプを決定する例示的な方法は、「Ｌｏｃａｌｉｔｙ−Ｂａｓｅｄ  Ｄｅｔｅｃｔｉｏｎ  ｏｆ  Ｔｒａｙ  Ｓｌｏｔ  Ｔｙｐｅｓ  ａｎｄ  Ｔｕｂｅ  Ｔｙｐｅｓ  ｉｎ  ａ  Ｄｒａｗｅｒ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍ」と題する出願（整理番号２０１４Ｐ２３２８３ＵＳ）に記載されており、この出願は、参照により本明細書に組み込まれ、本出願と同時出願されている。
【００３８】
画像ベースチューブ上部円検出を使用する本明細書に記載された実施形態は、方法３００の一部として実施されうる。例えば、ステップ３０２で画像が取得され、ステップ３０４でトレイ格子が位置合わせされた後、画像ベースチューブ上部円検出を使用する本明細書に記載された実施形態を使用して、図３のステップ３１６でチューブトップパッチを抽出し、その後引き続いてステップ３１８〜３２４でチューブタイプを決定できる。しかしながら、実施形態は、チューブタイプを決定するために他の方法の一部として使用されうる。以下の記述は、画像ベースチューブ上部円検出を使用する実施形態を対象とする。
【００３９】
従来の自動化システムには、高度なチューブ分類及び評価機能がない。例示的な引出し視覚システム１００は、引出し入口の上に取り付けられたカメラ２４２，２４４を利用して、引出し挿入中にサンプルチューブ１３０の画像を取得する。次に、取得された画像を分析して、チューブ分類及びチューブ評価を決定できる。
【００４０】
サンプルチューブ１３０のカメラの視界は、トレイ１２０内の他のサンプルチューブ１３０によって部分的に妨げられるか、カメラ自体によって妨げられうる。チューブ１３０の上部円が、チューブ１３０の他の部分よりも妨げられる可能性が低いので、実施形態は、チューブ１３０の上部円に基づいてチューブ１３０の分類及び／又は特徴を決定する。
【００４１】
図４Ａ〜図４Ｆは、様々なサンプルチューブ外観を有するサンプルチューブ１３０の例示的画像である。サンプルチューブ１３０の画像が取得されたときにサンプルチューブ１３０がカメラ２４２，２４４の近くにあるので、チューブ上部円の二次元投影が推定されうる。円検出には、ハフ変換に基づく手法などの従来の円検出アルゴリズムが使用されうる。しかしながら、サンプルチューブ外観のばらつきは、従来の円検出アルゴリズムを使用する正確な円検出にとって障害となる。
【００４２】
例えば、いくつかのチューブ上部は、円内に円を含みうる。図４Ａに示されたように、キャップ付きチューブは、キャップの外側円４０４の真中に内側円４０２を含みうる。図４Ｂに示されたように、キャップ基部の上部のハットは、その二次元投影において基部の外側円４０８内に内側円４０６を形成しうる。図４Ｃに示されたように、サンプルカップのリングならびに基礎となる単純チューブ上部円４１２から複数の円４１０が観察されうる場合、チューブ上部サンプルカップは、単純チューブの上に円形サンプルカップを含みうる。二次元ハフ変換に基づく手法などの従来の円検出アルゴリズムは、そのようなアルゴリズムが最初に円中心を探し、次に最良直径を決定しようとするので、円内円を正確に検出できない。円内円は、円中心調査を妨げることがあり、サイズ又はエッジ数の点で最良の直径は、チューブ円検出に最適でないことがある。
【００４３】
様々なタイプのサンプルチューブ、サンプルカップ及びキャップのエッジ強度は異なることがある。従来の円検出アルゴリズムで使用されるバイナリエッジマップは、混ざったエッジ強度を有するサンプルチューブ、サンプルカップ及びキャップの円を正確に検出するに不十分である。バイナリエッジマップは、含む応答が少なすぎて弱いエッジを取得できないか、含む応答が多すぎて円中心と直径の調査を妨げることがある。場合によって、図４Ｄに示されたように、チューブトップ円上の不規則反射が、接続エッジの代わりに粗な反射スポット４１４を呈し、これより、前処理ステップとしてエッジ検出に純粋に依存する従来の円検出アルゴリズムが壊れる。
【００４４】
チューブスロット円４１６の一部分（図４Ｅに示されたような）とチューブラベル境界４１８の一部分（図４Ｆに示されたような）は、両方ともチューブ上部円ではなく、物理的なサンプルチューブ形状限定によって適切にフィルタリングされない場合に円検出を妨げることがある強いエッジを有する円形パターンを含みうる。また、近傍スロットからのサンプルチューブは、物理的なサンプルチューブ形状限定によって適切にフィルタリングされない場合に円検出を妨げうる。
【００４５】
チューブ上部円を決定する網羅的調査は、時間がかかり間違いが起こりやすい。サンプルチューブがチューブスロット内に保持され、サンプルチューブの高さと直径が一定範囲内にあるので、本明細書に記載された実施形態は、チューブ上部円の位置を効率的かつ正確に決定する。
【００４６】
図５Ａ、図５Ｃ、図５Ｅ及び図５Ｇは、関心のある様々なチューブ１３０を有するトレイ１２０の一部分の、カメラ２４２，２４４からの視界を示す例示的な画像５００である。図５Ｂ、図５Ｄ、図５Ｆ及び図５Ｈは、様々なタイプのサンプルチューブ１３０の二次元投影の最大及び最小の直径及び高さによってチューブ上部円５０２，５０４、５０６及び５０８によって限定された境界を有する例示的な抽出ＲＯＩ画像パッチ５２０を示す。図５Ａ、図５Ｃ、図５Ｅ及び図５Ｇの画像５００は、関心のあるチューブ１３０に対する固定距離領域を示す。しかしながら、画像５００内のこれらの領域は、より正確なチューブ上部円検出のために関心領域（ＲＯＩ）に限定されうる。例えば、トレイ表面に対するカメラの本質的較正と非本質的姿勢から決定された情報を使用して、チューブ上部円中心の二次元投影は、そのチューブスロット位置、チューブ高さ及びチューブ直径から予測されうる。トレイ１２０の領域は、チューブ上部円とチューブ上部円中心の可能な二次元投影の位置に基づいてＲＯＩに限定される。次に、コントローラ２２０などのプロセッサを使用して、画像５００のうちの１つからＲＯＩパッチが抽出されうる。
【００４７】
図５Ｂ、図５Ｄ、図５Ｆ及び図５Ｈに示された抽出ＲＯＩ画像パッチ５２０はそれぞれ、図５Ａ、図５Ｃ、図５Ｅ及び図５Ｇに示された画像５００内の調査領域を限定する。図５Ｂ、図５Ｄ、図５Ｆ及び図５Ｈに示された実施形態に示されるように、最大及び最小設定は、次のもの、すなわち、（ｉ）円５０２によって示されたような最大直径を有する最高チューブ、（ｉｉ）円５０４によって示されたような最小直径を有する最高チューブ、（ｉｉｉ）円５０６によって示されたような最大直径を有する最短チューブ、及び（ｉｖ）円５０８によって示されたような最小直径を有する最短チューブを含みうる。次に、最大及び最小設定に基づいて、チューブ上部円中心が配置されうる領域を画定する多角形５１０が決定されうる。図示されたように、多角形５１０の角は、円５０２、５０４、５０６及び５０８のチューブ上部円中心に対応する。最大及び最小設定５０２、５０４、５０６及び５０８と、多角形５１０とに基づいて、ＲＯＩは、コントローラ２２０などのプロセッサを使用して決定されてもよく、ＲＯＩは、可能なチューブ上部円の二次元投影が観察されうる境界に限定され、チューブ上部円検出のためのより適切な調査領域を提供する。また、抽出ＲＯＩ画像パッチ５２０は、チューブ１３０がトレイ表面からその最大高さまで延びうる視点（カメラの視点から）に従う。したがって、他のスロットからのチューブ１３０は、抽出画像パッチ５２０に含まれる可能性が低い。
【００４８】
図６Ａは、カメラの視界内のチューブ１３０のカメラ２４２，２４４からの例示的画像６００である。図６Ｂは、図６Ａに示された例示的画像６００のバイナリエッジマップ６０２を示す。図６Ｃは、図６Ａに示された例示的画像のエッジ勾配大きさマップ６０４を示す。様々なタイプのサンプルチューブを含む画像に、混ざったエッジ強度が存在するので、カニーエッジ検出などの従来のバイナリエッジ検出方法は、正確な円検出には十分でない。本明細書に述べる実施形態は、エッジ勾配の大きさを利用して画像内の各エッジの元強度を保つ。例えば、図６Ｃのエッジ勾配大きさマップは、図６Ｂのバイナリエッジマップではなく、図６Ａの元画像内のエッジの元強度を保つ。抽出ＲＯＩパッチのエッジ勾配大きさマップ（例えば、図６Ｃのマップ）を計算するために、コントローラ２２０などのプロセッサが使用されうる。後でより詳細に述べる実施形態によれば、累積エッジ強度を使用して、最適円選択のために複数の円候補を比較できる。エッジ勾配の大きさによって提供されるエッジ強度は、累積エッジ強度を使用して最適円選択のための複数の円候補を比較するときに、最適円選択を決定するためのよりよい測定を提供する。
【００４９】
図７Ａは、カメラの視界内のチューブ１３０の例示的な抽出ＲＯＩ画像パッチである。図７Ｂは、図７Ａで示された例示的な抽出ＲＯＩ画像パッチのバイナリエッジマップである。図７Ｃは、図７Ａに示された例示的な抽出ＲＯＩ画像パッチのエッジ勾配大きさマップである。図７Ｄは、抽出された反射点を示す。
【００５０】
いくつかの実施形態では、チューブ上部円検出のために画像内の物体の反射点が検出されうる。例えば、図７Ｄに示された抽出反射点７０２などの反射点は、チューブ上部円検出にきわめて適切なキューを提供することがあり、エッジを利用した手法は、きわめて弱いエッジの大きさを有するチューブ上部円を抽出するのに十分でないことがある。反射点７０２は、ＦＡＳＴなどの角特徴検出器を使用して、チューブ上面で乱反射が生じるときにチューブ上部円のトレースを取得することによって検出されうる。
【００５１】
反射点７０２は、例えば、コントローラ２２０などのプロセッサによって決定されうる。コントローラ２２０は、各反射点７０２の正勾配方向と負勾配方向に沿った投票に等しい重みを割り当てうる。すなわち、正勾配方向に沿った投票に第１の重みが割り当てられてもよく、負勾配方向に沿った投票に、第１の重みと等しい第２の重みが割り当てられてもよい。正勾配方向と負勾配方向に沿った投票は、三次元マップ及び二次元マップに蓄積されうる。
【００５２】
画像の円を検出するための従来の方法は、円内の円を検出するのに十分ではない。例えば、そのような従来の方法では、典型的には、ハフ変換を利用した手法が、２つのステップで適用される。最初に、二次元ハフ変換を使用して、バイナリエッジカウントをその勾配方向に沿って累積することによって円中心を探す。次に、各円中心候補に、一次元ハフ変換を適用して、最高量のバイナリエッジを通る最良直径を、そのエッジ勾配方向を調べることなく探す。そのような従来方法は、画像内のコインやセルなどの円形パターンを効率的に局所化できるが、円内の円を処理するのに適していない。例えば、従来方法で累積されたエッジカウントは、エッジの強度を区別せず、その結果、ノイズの多いエッジ応答と本当のチューブ円エッジが等しくカウントされる。最適なチューブ上部直径が、最も高い累積エッジカウントを有していないことがあるので、従来方法の最良直径調査は、最適なチューブ上部直径を検出しないことがある。さらに、従来方法は、画像内に複数の円があるときなどに、他の円候補に寄与するエッジ点を含むことになるエッジ勾配方向を無視する。
【００５３】
本明細書で述べる実施形態は、三次元ハフ変換を使用してエッジ勾配大きさマップの三次元マップを生成して円中心と直径を同時に調べることによって、複数の円（例えば、円内の円）を有する画像内のチューブ上部円を正確に検出する。図８は、本明細書で開示された実施形態による例示的な三次元マップ構造の一部を示す。ＲＯＩ上で１組のエッジ点（例えば、図８に示されたエッジ点Ａ）と反射点７０２（図７Ｄに示された）が検出された場合、三次元ハフ変換のための三次元マップ８０２が生成される。図８に示された三次元マップ８０２は、別個の三次元円パラメータ空間であり、ここで、各位置（ｘ，ｙ，ｄ）は、中心位置（ｘ、ｙ）と直径ｄを有する特定の円パラメータに対応する。三次元マップ３０２を生成するために、コントローラ２２０などのプロセッサが使用されうる。
【００５４】
いくつかの実施形態では、効率的な最適円検出のために、追加の二次元マップが生成されうる。二次元マップ（図示せず）は、各位置（ｘ，ｙ）が特定の円中心位置に対応する別個の二次元パラメータ空間である。いくつかの実施形態では、抽出された画像パッチは、２５０ｘ２５０画素２を超える画素分解能と、画像内の約７０画素に対応するチューブ直径を含む。これらの画像パッチでは、三次元ハフ変換空間は大きいが、典型的にはＲＯＩ内に円が少数しかないので、粗である。実施形態は、様々な画素分解能と、画像内の様々な量の画素に対応するチューブ直径とを有する画像パッチを含みうる。追加の二次元マップが、二次元ハフ変換によって生成され、三次元ハフ変換空間上の網羅的ソーティングを妨げるソーティングとプレフィルタリングのための各円中心に寄与する蓄積エッジの大きさを収集するために使用されることがある。二次元ハフ変換空間は、三次元ハフ変換が実行されたときに満たされることがある。このマップにより、十分な量の蓄積エッジの大きさで粗な位置を対象にできる。また、最適チューブ上部円を含みそうなより高い蓄積エッジの大きさを有する位置を対象にするために、ソーティングが行なわれてもよい。
【００５５】
三次元構成に戻って参照すると、実施形態は、ＲＯＩ内の任意数のエッジに沿った任意数のエッジ点に基づいて三次元マップ８０２を生成することを含んでよく、任意数の円からのエッジ点（例えば、エッジ点Ａ）は、そのエッジ勾配方向に沿った様々な円候補に対する投票に寄付してもよい。しかしながら、三次元構成プロセスの説明を単純にするため、図８は、円の単一検出エッジ８０４に沿った単一エッジ点Ａに基づく三次元構造の一部を示す。
【００５６】
線ＬＡは、その勾配方向に沿ったエッジ点Ａによって決定されうる。線ＬＡ上の、エッジ点Ａから所定の距離又はその距離内にある点（ｘ１Ｐ，ｙ１Ｐ）、（ｘ２Ｐ，ｙ２Ｐ）、（ｘ３Ｐ，ｙ３Ｐ）、（ｘ１Ｎ，ｙ１Ｎ）、（ｘ２Ｎ，ｙ２Ｎ）及び（ｘ３Ｎ，ｙ３Ｎ）は、重み付けされた投票を受け取る。図８の示された実施形態では、正勾配側の３つの点（ｘ１Ｐ，ｙ１Ｐ），（ｘ２Ｐ，ｙ２Ｐ），（ｘ３Ｐ，ｙ３Ｐ）と、負勾配側の３つの点（ｘ１Ｎ、ｙ１Ｎ），（ｘ２Ｎ，ｙ２Ｎ），（ｘ３Ｎ，ｙ３Ｎ）は、エッジ点Ａから所定の距離又はその距離内にあるように決定される。しかしながら、実施形態は、任意数の点（ゼロ点を含む）をエッジ点から所定距離又はその距離内にあるように決定してもよい。重み付き投票は、三次元マップ８０２と二次元マップの両方で累積されうる。例えば、コントローラ２２０などのプロセッサは、各エッジ点の勾配方向に沿ったエッジ勾配マップ内のエッジ点から、三次元マップ８０２及び二次元マップ内の重み付き投票を累積するために使用されうる。図８に示されたように、点Ａはエッジ点であり、ＬＡはその勾配に沿った線であり、ここで矢印は勾配方向を示す。正勾配側の点（例えば、（ｘ１Ｐ，ｙ１Ｐ），（ｘ２Ｐ，ｙ２Ｐ），（ｘ３Ｐ，ｙ３Ｐ）…）は、重み付き投票ｖｐを受け取り、一方、負勾配側の点（例えば、（ｘ１Ｎ，ｙ１Ｎ），（ｘ２Ｎ，ｙ２Ｎ），（ｘ３Ｎ，ｙ３Ｎ）…）は、重み付き投票ｖＮを受け取る。コントローラ２２０などのプロセッサは、三次元マップ８０２内の累積投票が所定のしきい値以上のときに、円候補として三次元マップ８０２内の１つ以上の位置を決定するために使用されうる。
【００５７】
真のチューブ上部円は、典型的には、主に背景のトレイ表面が黒なので、外側が暗くなり内側が明るくなる。したがって、実施形態は、１つ以上の非チューブ上部円（例えば、隣接スロットからのサンプルチューブの円パターン、チューブスロット及びチューブラベル境界）を有する抽出ＲＯＩパッチ内のチューブ上部円を正確に決定するために、正勾配方向に沿って円候補をより重く重み付けしてもよい。例えば、重み付き投票ｖＰ及びｖＮの値は、エッジ点Ａにおけるエッジの大きさに比例するように設定されてもよく、この場合、ｖＰは、正勾配側の点に有利になるようにｖＮより大きくなるように設定されてもよく、その逆の場合も同様である。これらの投票は、エッジ点Ａまでの距離の２倍である位置（ｘｋ，ｙｋ）及び値ｄｋ（ｋは整数）に基づいて三次元マップ内に累積される。換言すると、エッジ点Ａは、位置（ｘ１Ｐ，ｙ１Ｐ，ｄ１Ｐ）、（ｘ２Ｐ，ｙ２Ｐ，ｄ２Ｐ）、（ｘ３Ｐ，ｙ３Ｐ，ｄ３Ｐ）…で三次元マップへの投票ｖｐに寄与し、三次元マップの位置（ｘ１Ｎ，ｙ１Ｎ，ｄ１Ｎ）、（ｘ２Ｎ，ｙ２Ｎ，ｄ２Ｎ）、（ｘ３Ｎ，ｙ３Ｎ，ｄ３Ｎ）…で投票ｖＮに寄与する。
【００５８】
反射点７０２を含むように決定された円候補の場合、典型的には反射点７０２の両側が同じように暗いので、正及び負勾配方向に等しい重みが与えられうる。例えば、ＲＯＩ内の各反射点は、その勾配線上にある点に関して三次元マップへの投票ｖＳＰ及びｖＳＮ（ｓは整数）に寄与する。しかしながら、正及び負勾配側の点に対する投票は、反射点における勾配方向があまり信頼できないので、この実施形態では、同じ（すなわち、ｖＳＰ＝ｖＳＮ）になるように設定される。
【００５９】
最初に、二次元ハフマップ内で最も高い累積投票を有するエッジ位置を識別することによって、最適なチューブ上部円が選択されうる。二次元マップは、三次元マップのその第三次元ｄに沿った積分投影と考えられうる。実際には、二次元マップは、第３パラメータｄｋを無視することによって各エッジ点又は反射点が三次元マップに寄与する投票を使って効率的に生成されうる。二次元マップは、粗な三次元マップ内の最適パラメータを探すときに効率的なプレスクリーニングマップとして働きうる。すなわち、三次元マップ内の最適パラメータ（ｘ＊，ｙ＊，ｄ＊）は、二次元マップ内の（ｘ＊，ｙ＊）に高度に累積された投票を有する可能性が高い。したがって、二次元マップを使用して三次元マップの行全体｛（ｘＬ，ｙＬ，ｄ）｝ｄ＝ｄｍｉｎｄｍａｘをフィルタリングでき、ここで、（ｘＬ，ｙＬ）における累積投票は、二次元マップ上の所定のしきい値より低い。あるいは、二次元マップ内の累積投票を使って円中心の位置を格付けできる。次に、二次元マップ内の円中心位置の順位に従って、三次元マップ内で最適な円中心と直径が決定されうる。
【００６０】
最も高い累積投票を有するエッジの位置が、二次元ハフマップ内で識別される。例えば、プロセッサは、第１の所定のしきい値より大きい累積投票を有する二次元マップ内の位置を決定してもよい。次に、対応する三次元ハフマップを横切って、各エッジの累積投票がエッジを円候補と見なすのに十分に大きいかどうかを決定できる。すなわち、プロセッサは、三次元マップ内の対応する位置を、三次元マップ内のその位置での累積投票が第２の所定のしきい値以上であるときに円候補として決定してもよい。いくつかの実施形態では、第１の所定のしきい値は、第２の所定のしきい値と等しくてもよい。他の実施形態では、第１の所定のしきい値は、第２の所定のしきい値と異なる値を有してもよい。累積投票が、エッジを円候補と見なすのに十分に大きいと決定されたとき、エッジの中心が既存の円候補の中心に近いかどうかと、２つの円候補の領域に十分に大きい重なりがあるかどうかが決定されうる。そのような場合、最大直径を有する円候補が、円候補として選択される。エッジの中心が既存の円候補の中心に近くないか、２つの円候補の領域に十分に大きい重なりがない場合、そのエッジが円候補として選択され、その累積投票に従って円候補リスト内で円が格付けされる。これは、円内に円を含む画像を有効に処理する。
【００６１】
物理的チューブ形状限定を満たす円候補の格付けリスト内の最も大きい累積投票を有する円候補が、コントローラ２２０などのプロセッサによって、標的チューブ上部円として選択されうる。図９Ａ、図９Ｃ、図９Ｅ及び図９Ｇは、様々な標的チューブ上部円９００をそれぞれ含む抽出ＲＯＩ画像パッチを示す。図９Ｂ、図９Ｄ、図９Ｆ及び図９Ｈは、選択されたチューブ上部円９０２と他の円候補９０４を示すＲＯＩ画像パッチである。図９Ｂ、図９Ｄ、図９Ｆ及び図９Ｈに示されたように、選択されたチューブ上部円９０２は、標的チューブ上部円９００に対応する。チューブスロット中心の位置は、マーカ９０６によって示される。
【００６２】
図１０Ａ〜図１０Ｄは、チューブオフセットツールのサンプル画像を示す。チューブ上部円検出の性能に関する正規評価を行うため、図１０に示されたように様々なタイプのチューブを、ランダムに固定されたチューブ中心オフセットで接着させたチューブオフセットツールが作成された。各チューブの高さ、直径及び中心オフセットのグラウンドトゥルースが、座標測定装置ＣＭＭをシミュレートするロボットアームによって測定される。
【００６３】
図１１Ａ〜図１１Ｄは、本明細書に開示された方法及びシステムからの結果を示すグラフによる説明図を示す。従来の二次元ハフ変換手法から適応された基本的実施態様を比較することによって、図１１Ａ〜図１１Ｄに示されたような提案手法の大幅な改善を確認できる。
【００６４】
図１２は、本発明の実施形態を実現できる例示的な計算処理環境１２００の例を示す。計算処理環境１２００は、本明細書に示された任意の構成要素の一部として実現されうる。計算処理環境１２００は、本発明の実施形態を実現できる計算処理システムの一例であるコンピュータシステム１２１０を含みうる。図１２に示されたように、コンピュータシステム１２１０は、コンピュータシステム１２１０内で情報を通信するためのバス１２２１や他の通信機構などの通信機構を含みうる。システム１２１０は、さらに、情報を処理するためにバス１２２１と結合された１つ以上のプロセッサ１２２０を含む。プロセッサ１２２０は、１つ以上のＣＰＵ、ＧＰＵ、又は当該技術分野で知られた任意の他のプロセッサを含みうる。
【００６５】
コンピュータシステム１２１０は、また、情報及びプロセッサ１２２０によって実行される命令を記憶するために、バス１２２１に結合されたシステムメモリ１２３０を含む。システムメモリ１２３０は、読み取り専用メモリ（ＲＯＭ）１２３１及び／又はランダムアクセスメモリ（ＲＡＭ）１２３２などの揮発性及び／又は不揮発性メモリの形のコンピュータ可読記憶媒体を含んでもよい。システムメモリＲＡＭ１２３２は、他のダイナミック記憶装置（例えば、ダイナミックＲＡＭ、スタティックＲＡＭ及びシンクロナスＤＲＡＭ）を含んでもよい。システムメモリＲＯＭ１２３１は、他のスタティック記憶装置（例えば、プログラマブルＲＯＭ、消去可能ＰＲＯＭ、及び電気的消去可能ＰＲＯＭ）を含んでもよい。更に、システムメモリ１２３０は、プロセッサ１２２０による命令の実行中に一時的変数又は他の中間情報を記憶するために使用されることがある。起動中などにコンピュータシステム１２１０内の要素間で情報を伝達するのを支援する基本ルーチンを含む基本入出力システム（ＢＩＯＳ）１２３３が、ＲＯＭ１２３１に記憶されてもよい。ＲＡＭ１２３２は、プロセッサ１２２０がすぐにアクセスできかつ／又はプロセッサ１２２０が現在処理しているデータ及び／又はプログラムモジュールを含んでもよい。システムメモリ１２３０は、さらに、例えば、オペレーティングシステム１２３４、アプリケーションプログラム１２３５、他のプログラムモジュール１２３６及びプログラムデータ１２３７を含んでもよい。
【００６６】
コンピュータシステム１２１０は、また、磁気ハードディスク１２４１やリムーバブルメディアドライブ１２４２（例えば、フロッピディスクドライブ、コンパクトディスクドライブ、テープドライブ、及び／又はソリッドステートドライブ）など、情報及び命令を記憶するための１つ以上の記憶装置を制御するためにバス１２２１に結合されたディスクコントローラ１２４０を含む。記憶装置は、適切な装置インタフェース（例えば、小型コンピュータシステムインタフェース（ＳＣＳＩ）、集積装置電子回路（ＩＤＥ）、汎用シリアルバス（ＵＳＢ）又はファイヤワイヤ）を使用してコンピュータシステム１２１０に追加されてもよい。
【００６７】
コンピュータシステム１２１０は、また、情報をコンピュータユーザに表示するための陰極線管（ＣＲＴ）や液晶表示装置（ＬＣＤ）などのディスプレイ又はモニタ１２６６を制御するためにバス１２２１に結合されたディスプレイコントローラ１２６５を含んでもよい。コンピュータシステム１２１０は、コンピュータユーザと対話し情報をプロセッサ１２２０に提供するためのキーボード１２６２やポインティング装置１２６１などのユーザ入力インタフェース１２６０及び１つ以上の入力装置を含む。ポインティング装置１２６１は、例えば、指示情報とコマンド選択をプロセッサ１２２０に通信し、ディスプレイ１２６６上のカーソルの動きを制御するためのマウス、トラックボール又はポインティングスティックでよい。ディスプレイ１２６６は、ポインティング装置１２６１による指示情報及びコマンド選択の通信を補足するか置き換える入力を可能にするタッチスクリーンインタフェースを提供してもよい。
【００６８】
コンピュータシステム１２１０は、本発明の実施形態の処理段階の一部又はすべてを、システムメモリ１２３０などのメモリに含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ１２２０に応じて実行してもよい。そのような命令は、ハードディスク１２４１やリムーバブルメディアドライブ１２４２などの別のコンピュータ可読媒体からシステムメモリ１２３０に読み込まれてもよい。ハードディスク１２４１は、本発明の実施形態によって使用される１つ以上のデータストア及びデータファイルを収容してもよい。データストアコンテンツ及びデータファイルは、セキュリティを改善するために暗号化されてもよい。プロセッサ１２２０は、また、システムメモリ１２３０に収容された命令の１つ以上のシーケンスを実行するために多重処理機構内で使用されてもよい。代替実施形態では、ソフトウェア命令の代わりに又はその命令との組み合わせでハードワイヤード回路が使用されてもよい。したがって、実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されない。
【００６９】
以上述べたように、コンピュータシステム１２１０は、本発明の実施形態によりプログラムされた命令を保持し、また本明細書に記載されたデータ構造、テーブル、レコード又は他のデータを収容するための少なくとも１つのコンピュータ可読媒体又はメモリを含んでもよい。用語「コンピュータ可読媒体」は、本明細書で使用されるとき、実行する命令をプロセッサ１２２０に提供することに関係する任意の持続性有形媒体を指す。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体及び伝送媒体を含むがこれらに限定されない多数の形態をとってもよい。不揮発性媒体の非限定的な例には、ハードディスク１２４１やリムーバブルメディアドライブ１２４２など、光ディスク、ソリッドステートドライブ、磁気ディスク及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例には、システムメモリ１２３０などのダイナミックメモリが挙げられる。伝送媒体の非限定的な例には、バス１２２１を構成する線を含む同軸ケーブル、銅線、及び光ファイバが挙げられる。伝送媒体は、また、電波及び赤外線データ通信中に生成されるものなど、音波又は光波の形をとってもよい。
【００７０】
計算処理環境１２００は、更に、リモートコンピュータ１２８０などの１つ以上のリモートコンピュータへの論理接続を使用するネットワーク接続環境で動作するコンピュータシステム１２１０を含んでもよい。リモートコンピュータ１２８０は、パーソナルコンピュータ（ラップトップ又はデスクトップ）、移動装置、サーバ、ルータ、ネットワークＰＣ、ピア装置又は他の共通ネットワークノードでよく、典型的には、コンピュータ１２１０に関して前述した要素の多く又はすべてを含む。ネットワーク環境内で使用されるとき、コンピュータ１２１０は、インターネットなどのネットワーク１２７１を介した通信を確立するためのモデム１２７２を含んでもよい。モデム１２７２は、ネットワークインタフェース１２７０又は別の適切な機構を介してシステムバス１２２１に接続されうる。
【００７１】
ネットワーク１２７１は、コンピュータシステム１２１０と他のコンピュータ（例えば、リモート計算処理システム１２８０）間の通信を容易できるインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、直接接続、一連の接続、セルラ電話網又は、他のネットワーク若しくは媒体を含む、当該技術分野で一般に知られている任意のネットワーク又はシステムでよい。ネットワーク１２７１は、有線、無線又はその組み合わせでよい。有線接続は、イーサネット（登録商標）、汎用シリアルバス（ＵＳＢ）、ＲＪ−１１、又は当該技術分野で一般に知られている他の有線接続を使用して実現されてもよい。無線接続は、Ｗｉ−Ｆｉ、ＷｉＭＡＸ及びＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線、セルラーネットワーク、衛星、又は当該技術分野で一般に知られている他の無線接続方法で実現さてもよい。さらに、いくつかのネットワークは、ネットワーク１２７１内で通信を容易にするために、単独で動作してもよく互いに通信して動作してもよい。
【００７２】
プロセッサは、本明細書で使用されるとき、タスクを実行するために、コンピュータ可読媒体上に記憶された機械可読命令を実行する装置であり、ハードウェアとファームウェアのいずれか１つ又は組み合わせを含みうる。プロセッサは、また、タスクを実行するために実行可能な機械可読命令を記憶するメモリを含みうる。プロセッサは、使用する情報を実行可能手順又は情報装置によって処理、分析、修正、変換又は送信し、かつ／又は情報を出力装置に送ることによって情報に作用する。プロセッサは、例えば、コンピュータ、コントローラ又はマイクロプロセッサの能力を使用するか備えてもよく、また実行命令を使用して汎用コンピュータによって実行されない特殊目的の機能を実行するように調整される。プロセッサは、任意の他のプロセッサと結合されて（電気的及び／又は実行可能な構成要素を含むように）、それらの間の対話及び／又は通信を可能にしてもよい。コンピュータプログラム命令は、汎用コンピュータ若しくは専用コンピュータ、又は装置を作成する他のプログラム可能な処理装置を限定なしに含むコンピュータにロードされ、その結果、コンピュータ又は他のプログラム可能な処理装置上で実行するコンピュータプログラム命令が、フローチャートのブロックで指定された機能を実現するための手段を作成する。ユーザインタフェースプロセッサ又はジェネレータは、表示要素又はその一部分を生成するために電子回路もしくはソフトウェア又はその両方の組み合わせを含む既知の要素である。ユーザインタフェース（ＵＩ）は、プロセッサ又は他の装置とのユーザ相互作用を可能にする１つ以上の表示要素を含む。
【００７３】
本明細書で使用されるような実行可能なアプリケーションは、ユーザの命令又は入力に応じて、オペレーティングシステム、コンテキストデータ収集システム又は他の情報処理システムのものなど、プロセッサを調整して所定の機能を実現するためのコード又は機械可読命令を含む。実行可能な手順は、１つ以上の特定のプロセスを実行するためのコード又は機械可読命令のセグメント、サブルーチン、実行可能アプリケーションのコード又は一部の他の別個のセクションを含む。これらのプロセスは、入力データ及び／又はパラメータを受け取り、受け取った入力データに基づいて演算を実行しかつ／又は受け取った入力パラメータに応じて機能を実行し、得られた出力データ及び／又はパラメータを提供することを含んでもよい。グラフィカルユーザインタフェース（ＧＵＩ）は、本明細書で使用されるとき、表示プロセッサによって生成され、プロセッサ又は他の装置および関連データ取得及び処理機能とのユーザ対話を可能にする１つ以上の表示要素を含む。
【００７４】
ＵＩは、また、実行可能な手順又は実行可能なアプリケーションを含む。実行可能な手順又は実行可能なアプリケーションは、表示プロセッサを調整してＵＩ表示画像を表わす信号を生成する。そのような信号は、ユーザによる検討のために要素を表示する表示装置に供給される。実行可能手順又は実行可能アプリケーションは、更に、キーボード、マウス、ライトペン、タッチスクリーン、又はユーザがプロセッサにデータを提供することを可能にする他の手段などのユーザ入力装置から信号を受け取る。プロセッサは、実行可能な手順又は実行可能なアプリケーションの制御下で、入力装置から受け取った信号に応じてＵＩ表示要素を操作する。このようにして、ユーザは、プロセッサ又は他の装置とのユーザ対話を可能にする入力装置を使用して表示要素と対話する。本明細書の機能及びプロセス段階は、ユーザ命令に応じて自動的、全体的又は部分的に実行されてもよい。自動的に実行される動作（ステップを含む）は、ユーザが動作を直接指示することなく実行可能な命令又は装置動作に応じて実行される。
【００７５】
ワークフロープロセッサは、本明細書で使用されるとき、データを処理して、例えばプログラムで指定されたように、タスクリストに追加するタスク又はタスクリストから除去するタスクを決定するか、タスクリストに組み込まれたタスク又はタスクリストに組み込むタスクを修正する。タスクリストは、作業者、装置ユーザ、又は装置若しくは両方の組み合わせによって実行するためのタスクのリストである。ワークフロープロセッサは、ワークフローエンジンを使用してもよく使用しなくてもよい。ワークフローエンジンは、本明細書で使用されるとき、イベント及びイベント関連データに応じてプロセスを実行する所定のプロセス定義に応じて実行するプロセッサである。ワークフローエンジンは、イベント関連データに応じて、プロセスを順次かつ／又は並列に実行して、装置及び／又は作業者によって実行されるタスクを決定し、装置と作業者のタスクリストを決定されたタスクを含むように更新する。プロセス定義は、ユーザによって定義可能であり、例えば、装置と作業者によって実行される開始、待機、決定及びタスク割り当てステップの１つ以上を含む一連のプロセスステップを含む。イベントは、プロセス定義を使用して実行されるプロセスの動作に影響を及ぼすオカレンスである。ワークフローエンジンは、ユーザが従うプロセスを定義することを可能にするプロセス定義関数を含み、またイベントモニタを含むことがある。ワークフローエンジン内のプロセッサは、プロセス定義に従って、どのプロセスが動作しているか、どの患者に関するものか、医者、及び次にどのステップを実行すべきかを追跡し、実行されるタスクを医者に通知するための手順を含みうる。
【００７６】
本明細書に示された図のシステム及びプロセスは網羅的ではない。本発明の原理に従って、同じ目的を達成する他のシステム、プロセス及びメニューが導出されてもよい。本発明を特定の実施形態に関して述べてきたが、本明細書に示し述べた実施形態と変形が、単に説明のためであることを理解されたい。現行の設計に対する修正は、本発明の範囲から逸脱することなく当業者によって実行されうる。さらに、プロセス及びアプリケーションは、代替実施形態では、図１２のユニットを結合するネットワーク上の１つ以上の（例えば、分散された）処理装置上にあってもよい。図に示された機能とステップはいずれも、ハードウェア、ソフトウェア又はこれらの両方の組み合わせで実現されうる。本明細書内の請求要素は、その要素が語句「means for」を使用して明示的に列挙されない限り米国特許法１１２条第６項の条件下で解釈されるべきである。
【００７７】
本発明は、例示的な実施形態に関して述べたが、その実施形態に限定されない。当業者は、本発明の好ましい実施形態に対して多くの変更及び修正を行うことができ、そのような変更及び修正が、本発明の真の趣旨から逸脱せずに行なわれうることを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内にあるような全ての等価的変形物を対象として含むように解釈されるべきである。
【符号の説明】
【００７８】
１００  引出し視覚システム
１０５  作業エンベロープ
１１０  引出し
１２０  チューブトレイ
１３０  チューブ
１４０  画像取得システム
２４２，２４４  カメラ
【図１Ａ】
0006651537.tif 000002
【図１Ｂ】
0006651537.tif 000003
【図２】
0006651537.tif 000004
【図３】
0006651537.tif 000005
【図４】
0006651537.tif 000006
【図５Ａ−Ｄ】
0006651537.tif 000007
【図５Ｅ−Ｈ】
0006651537.tif 000008
【図６】
0006651537.tif 000009
【図７】
0006651537.tif 000010
【図８】
0006651537.tif 000011
【図９Ａ−Ｄ】
0006651537.tif 000012
【図９Ｅ−Ｈ】
0006651537.tif 000013
【図１０】
0006651537.tif 000014
【図１１Ａ】
0006651537.tif 000015
【図１１Ｂ】
0006651537.tif 000016
【図１１Ｃ】
0006651537.tif 000017
【図１１Ｄ】
0006651537.tif 000018
【図１２】
0006651537.tif 000019