(57)【特許請求の範囲】
【請求項１】
チューブトレイ内に収容されたサンプルチューブ上のバーコードタグ状態を分類する方法であって、
少なくとも１つのカメラを含む画像取得システムによって、前記チューブトレイのトップビュー画像シーケンスを取得するステップと、
前記画像取得システムと通信する１つ以上のプロセッサによって、前記トップビュー画像シーケンスを分析するステップとを含み、前記分析するステップが、サンプルチューブごとに、
前記トップビュー画像シーケンスの各入力画像からの関心領域（ＲＯＩ）を修正するステップと、
前記修正ＲＯＩから特徴を抽出するステップと、
前記修正ＲＯＩからの前記抽出特徴をクラシファイアに入力して前記バーコードタグ状態を決定するステップであって、前記バーコードタグ状態が、前記クラシファイアに記憶されたバーコードタグ状態カテゴリに基づき、前記クラシファイアは、目に見える変形を有する前記ＲＯＩを位置特定しセグメント化するようにトレーニングされた画素ベースクラシファイアを含むステップと、を含む方法。
【請求項２】
前記１つ以上のプロセッサによって分析する前記ステップが、更に、
前記決定されたバーコードタグ状態が問題のある識別を含む場合に、問題領域の位置を特定し、前記１つ以上のプロセッサと通信する出力装置を介して警告を出すステップを含む、請求項１に記載の方法。
【請求項３】
前記チューブトレイが、開位置と閉位置の間で移動可能な引出しの一部分内に収まるように適合された、請求項１又は２に記載の方法。
【請求項４】
前記チューブトレイの前記トップビュー画像シーケンスが、前記引出し内の所定位置にある前記チューブトレイの画像を含む、請求項３に記載の方法。
【請求項５】
関心領域（ＲＯＩ）を修正するステップが、ＲＯＩを基準の幾何学的方向（canonicalgeometric orientation）に修正するステップを含む、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
特定サンプルチューブの前記ＲＯＩが、前記特定サンプルチューブを前記特定サンプルチューブの上部から前記チューブトレイの表面領域まで含む領域を、前記特定サンプルチューブから外方に拡がる所定領域まで含み、
前記所定領域が、前記特定サンプルチューブのための前記バーコードタグを含む、請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記バーコードタグ状態が、所定数の主分類にグループ化され、前記主分類がそれぞれ複数の副分類を含む、請求項１〜６のいずれか１項に記載の方法。
【請求項８】
前記ＲＯＩを位置特定しセグメント化する前記ステップが、前記ＲＯＩ内の各画素に対して実行され、特定画素が問題領域に属する可能性を決定する、請求項１〜７のいずれか１項に記載の方法。
【請求項９】
体外臨床検査環境でチューブトレイに保持されたサンプルチューブ上のバーコードタグ状態を分類するために使用される視覚システムであって、
前記チューブトレイを収容するように構成された表面であって、前記チューブトレイが、サンプルチューブを収容するようにそれぞれ構成された複数のスロットを含む表面と、
前記表面上に位置決めされた前記チューブトレイのトップビュー画像シーケンスを取得するように構成された少なくとも１つのカメラと、
前記少なくとも１つのカメラと通信するプロセッサとを含み、前記プロセッサが、サンプルチューブごとに、
前記トップビュー画像シーケンスの各入力画像からの関心領域（ＲＯＩ）を修正するステップと、
前記修正ＲＯＩから特徴を抽出するステップと、
前記修正ＲＯＩからの前記抽出特徴をクラシファイアに入力して前記バーコードタグ状態を決定するステップであって、前記バーコードタグ状態が、前記クラシファイアに記憶されたバーコードタグ状態カテゴリに基づき、前記クラシファイアが、目に見える変形を有する前記ＲＯＩを位置特定しセグメント化するようにトレーニングされた画素ベースクラシファイアを含むステップと、を実行するよう構成された視覚システム。
【請求項１０】
前記プロセッサが、更に、
前記決定されたバーコードタグ状態が、問題のある識別を含む場合に、問題領域の位置を特定し、前記プロセッサと通信する出力装置を介して警告を出すように構成された、請求項９に記載のシステム。
【請求項１１】
前記表面が、開位置と閉位置の間で移動可能な引出しを含む、請求項９又は１０に記載のシステム。
【請求項１２】
前記チューブトレイの前記トップビュー画像シーケンスが、前記引出し内の所定位置にある前記チューブトレイの画像を含む、請求項１１に記載のシステム。
【請求項１３】
関心領域（ＲＯＩ）を修正するステップが、前記ＲＯＩを基準の幾何学的方向に修正するステップを含む、請求項９〜１２のいずれか１項に記載のシステム。
【請求項１４】
特定サンプルチューブの前記ＲＯＩが、前記特定サンプルチューブを前記特定サンプルチューブの上部から前記チューブトレイの表面領域まで含む領域を、前記特定サンプルチューブから外方に拡がる所定領域まで含み、
前記所定領域が、前記特定サンプルチューブのための前記バーコードタグを含む、請求項９〜１３のいずれか１項に記載のシステム。
【請求項１５】
前記バーコードタグ状態が、所定数の主分類にグループ化され、前記主分類がそれぞれ複数の副分類を含む、請求項９に記載のシステム。
【請求項１６】
前記ＲＯＩを位置特定しセグメント化する前記ステップが、前記ＲＯＩ内の各画素に対して実行され、特定画素が問題領域に属する可能性を決定する、請求項９〜１５のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１５年２月１７日に出願された「ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ  ＯＦ  ＢＡＲＣＯＤＥ  ＴＡＧ  ＣＯＮＤＩＴＩＯＮＳ  ＦＲＯＭ  ＴＯＰ  ＶＩＥＷ  ＳＡＭＰＬＥ  ＴＵＢＥ  ＩＭＡＧＥＳ  ＦＯＲ  ＬＡＢＯＲＡＴＯＲＹ  ＡＵＴＯＭＡＴＩＯＮ」と題する米国仮出願第６２／１１７，２８０号明細書に対する優先権を請求し、この開示は、参照により全体が本明細書に組み込まれる。
【０００２】
本出願は、米国特許出願公開第２０１６／００２５７５７号及び国際公開第２０１５／１９１７０２号明細書に記載された概念の幾つかに関連し、これらの開示は、参照により全体が本明細書に組み込まれる。
【０００３】
本発明は、一般にバーコードタグの状態の検出に関し、より詳細にはトップビューサンプルチューブ画像を利用してサンプルチューブ上のバーコードタグの状態を分類することに関する。
【背景技術】
【０００４】
バーコードタグは、臨床検査室自動化システムにおいてサンプルチューブを一意に識別し追跡するためにサンプルチューブ上でよく使用されており、多くの場合、患者を特定サンプルチューブ内のサンプルと関連付ける唯一の手段である。通常の日々の使用によって、裂け、剥がれ、変色、及び他の変形を含む、バーコードタグの状態の劣化が生じうる。そのような劣化は、検査室自動化システムのサンプルチューブ処理の合理化を妨げる。
【０００５】
したがって、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するためにサンプルチューブ上のバーコードタグ状態を分類する必要がある。また、そのような分類は、自動的で効率的で控えめでなければならない。
【発明の概要】
【課題を解決するための手段】
【０００６】
実施形態は、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するためにトップビュー画像からサンプルチューブ上のバーコードタグ状態を分類することを対象とする。
【０００７】
本発明の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最もよく理解される。本発明を示すために、図には現在好ましい実施形態が示されるが、本発明が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。
【図面の簡単な説明】
【０００８】
【図１】一実施形態による、トップビュー画像からサンプルチューブ上のバーコードタグ状態を分類するためのサンプルチューブが収容された例示的な引出し式視覚システムを表す。
【図２】一実施形態による、トップビュー画像からサンプルチューブ上のバーコードタグ状態を分類する方法の流れ図である。
【図３】一実施形態による、トップビュー画像からのサンプルチューブの抽出特徴の関心領域（ＲＯＩ）抽出、修正及び視覚化に関するサンプル結果を示す図である。
【図４】一実施形態による、トップビュー画像からサンプルチューブ上のバーコードタグ状態を分類するための３つの主分類に関する分類結果を示す図である。
【図５】一実施形態による、トップビュー画像からサンプルチューブ上のバーコードタグ状態を分類するための１０個の副分類に関して得られた分類結果を示す図である。
【図６】一実施形態による、トップビュー画像からサンプルチューブ上のバーコードタグ状態を分類するためのセグメント化プロセスを示すフローチャートである。
【図７】一実施形態による、トップビュー画像からサンプルチューブの問題領域の位置特定に関するサンプル結果を示す図である。
【発明を実施するための形態】
【０００９】
実施形態は、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するためにトップビュー画像からサンプルチューブ上のバーコードタグ状態を分類することを対象とする。本明細書に提供された実施形態によるバーコードタグ状態の分類は、有利には、問題のあるバーコードタグの自動検出につながり、システム又はユーザが、問題のあるバーコードタグを修繕するのに必要なステップを取ることを可能にする。例えば、問題のあるバーコードタグを有する識別されたサンプルチューブは、問題のあるバーコードタグを修繕するために通常のチューブ取り扱い手順とは別のワークフローに送られうる。
【００１０】
一実施形態によれば、トップビュー画像からサンプルチューブ上のバーコードタグ状態の自動分類を行うために視覚システムが利用される。例示的な視覚システムは、サンプルチューブが収容されたチューブトレイを装填し取り出すための引出しを備える。各チューブトレイは、一実施形態によれば、サンプルチューブを保持するようにそれぞれ構成された複数のチューブスロットを有する。例示的な視覚システムは、更に、引出しが挿入されたときにサンプルチューブの画像の取得を可能にする、引出しの入口領域の上に取り付けられた１つ以上のカメラを含む。一実施形態によれば、各サンプルチューブは、トップビュー画像から異なる視点を有する複数の画像で取得される。
【００１１】
図１は、一実施形態による、チューブトレイ１２０とそこに収容されたサンプルチューブ１３０が、画像を取得しその画像を分析することによって評価される例示的な引出し視覚システム１００を表す。１個以上の引出し１１０が、開位置と閉位置の間で移動可能であり、サンプルハンドラのために作業エンベロープ１０５内に提供される。１個以上のチューブトレイ１２０が、引出し１１０に装填されてもよく、引出し１１０の永久的機能でもよい。各チューブトレイ１２０は、チューブ１３０が収容されうる行と列のスロットの配列（例示的トレイ１２１内に描かれたような）を有する。
【００１２】
実施形態によれば、チューブトレイ１２０の画像が撮影され、この画像が、サンプルチューブ１３０のバーコードタグ状態を分類するために分析される。本明細書に提供された実施形態により、可動トレイの／固定カメラ手法が使用されて画像をその分析のために取得する。チューブトレイ１２０が、例えば手動又は自動で引出し１１０に押し込むことによって、作業エンベロープ１０５に入れられるとき、チューブトレイ１２０とそこに収容されたチューブ１３０の画像を撮影するために画像取得システム１４０が使用される。一実施形態によれば、画像取得システム１４０は、作業エンベロープ１０５の入口又はその近くに位置決めされた１つ以上のカメラを含む。１つ以上のカメラは、チューブトレイ１２０の表面の上に位置決めされうる。例えば、カメラは、チューブトレイ１２０の高解像度画像を取得するために、表面の７６．２〜１５２．４ミリメートル（３〜６インチ）上に配置されうる。カメラの機能並びに所望の視点及び画質により、他の距離及び／又は位置決めが使用されうる。必要に応じて、画像取得システム１４０は、ＬＥＤフラッシュなどの１つ以上の光源を含みうる。チューブトレイ１２０を作業エンベロープ１０５に滑り込ませることが既に必要になっているときは、固定式画像取得システム１４０を追加すると、作業エンベロープ１０５に対する過剰なコストや複雑さが増えない。後で更に詳しく述べるように、画像取得システム１４０は、画像取得アルゴリズムとその後の分類分析を実行する１つ以上の処理装置も含む。
【００１３】
一実施形態によれば、画像取得システム１４０は、１行のチューブトレイ１２０が１つ以上のカメラの下の中心位置又は実質的に中心位置に移動されるたびに画像を取得する。この画像で複数行のチューブ１３０を取得でき、各行は、画像取得システム１４０の下で中心又は実質的に中心位置になるが、隣接行は同一画像内で斜めの角度から取得される。複数行を一度に取得することによって、行のチューブ１３０が複数の視点から取得され、各チューブ１３０の画像で深さ及び視点情報が取得される。
【００１４】
一実施形態によれば、複数の画像で１行のチューブ１３０が取得されるとき、１行のチューブ１３０のトリスコピック視点（tri-scopic perspective）が取得される。例えば、単一行は、その後の行が画像取得システム１４０の下の中心又は実質的に中心にあるときに画像の下部内（斜めの視点から）に見えることがあり、その単一行は、１行のチューブ１３０自体が画像取得システム１４０の下の中心又は実質的に中心にあるときに画像内の実質的に中心（実質的に上から下の視点から）に見えることがあり、またその単一行は、その前の行のチューブ１３０が画像取得システム１４０の下の中心又は実質的に中心にあるときに画像の上部（別の斜めの視点から）内に見えることがある。別の実施形態では、画像取得システム１４０が、２つの隣り合った行間の点の上の中心又は実質的に中心にあるときに画像が撮影されたとき（各行が２つの画像内で２つの斜めの視点で見えることを可能にする）、１行のチューブ１３０の立体視点（stereoscopic perspective）が取得されうる。同様に、行が４つ以上の画像内に４つ以上の視点で見えることがあり、各チューブに関する４次元以上の情報を複数の画像から収集することが可能になる。本発明は、１行のチューブ１３０のトリスコピック及び立体視点に限定されず、それよりも、カメラの機能及び画像取得システム１４０の作業エンベロープ１０５に対する位置決めにより、追加の視点が得られうる。
【００１５】
図１に関して述べた例示的な引出し視覚システム１００は、本明細書で述べる実施形態によって提供されるような、トップビュー画像からサンプルチューブ上のバーコードタグ状態を分類するためにサンプルチューブが配列されうる１タイプの構成である。本発明は、引出し構成に限定されず、それよりも他の構成が利用されうる。例えば、別の実施形態では、ガイドレールを有する平坦面が提供されうる。この構成は、オペレータ又はシステムが、トレイ上のキー止め形状をレールに合わせ、トレイを作業領域に押すことを可能にする。
【００１６】
本明細書で提供された実施形態によれば、トップビュー画像からのサンプルチューブ上のバーコードタグ状態の分類は、（１）サンプルチューブ検出に基づく関心領域（ＲＯＩ）抽出及び修正方法、（２）修正ＲＯＩから一様にサンプリングされた全体論的特徴に基づくバーコードタグ状態分類方法、及び（３）画素ベース特徴抽出に基づいて問題のあるバーコードタグ領域を位置特定する方法に基づく。
【００１７】
本明細書で提供される実施形態によれば、バーコードタグ状態は、良好、警告、及び誤りの３つの主分類に分けられる。更に、各主分類内で、変形、剥がれ、折れ、裂け、ラベル高過ぎなど副分類が得られる。
【００１８】
図２は、一実施形態による、サンプルチューブ上のバーコードタグ状態を分類する方法の流れ図である。２１０で、チューブトレイのトップビュー画像シーケンスが得られる。例えば、画像の取得は、引出しを挿入する際に得られた画像を含む入力画像シーケンスを含みうる。
【００１９】
２２０で、各入力画像からのサンプルチューブのＲＯＩ抽出及び修正が行なわれる。修正は、一実施形態によれば、基準方向（canonical orientation）への修正を含みうる。
【００２０】
２３０で、修正ＲＯＩから特徴が抽出され、２４０で、サンプルチューブのバーコードタグ状態を決定するためにクラシファイアに入力される。バーコードタグ状態の決定は、２５０で提供されたバーコードタグ状態分類に基づく。
【００２１】
２６０で、問題のあるバーコードタグが識別された場合、一実施形態によれば、問題領域（２７０）を位置特定するために画素ベースクラシファイアが適用される。２６０で、問題のあるバーコードタグが識別されない場合、プロセスは終了する。
【００２２】
サンプルチューブ１３０のＲＯＩは、サンプルチューブをその最上部からトレイ表面積まで含む領域と、変形したか折れたバーコードタグを含みうるチューブから拡張された領域とを加えたものとして定義される。サンプルチューブがチューブスロット内にしか留まれずかつその高さと直径が特定範囲内にあるとき、その妥当と思われる二次元投影は、トレイ表面に対するカメラの本質的較正及び非本質的姿勢の知識によって決定されうる。妥当と思われる領域内で、画像内の正確なサンプルチューブ位置を決定するために既知のロバスト検出法に基づいてチューブトップサークルが検出される。この領域は、更に、チューブの両側で拡大され、次に基準方向に修正される。
【００２３】
一実施形態によれば、修正ＲＯＩ内で、サンプルチューブ外観の特徴を表わすために様々な特徴が抽出される。例えば、サンプルチューブ外観の基礎傾斜と色特性を適切に表わすために、勾配方向ヒストグラム（ＨＯＧ）とシグマポイントが観察されてきた。特徴ベクトルの次元数と表示能力の間のトレードオフを処理するために、修正ＲＯＩは、特徴抽出用の非重複セルに分割される。そのような局所的特徴が順次連結されて修正ＲＯＩの特徴が表わされる。一実施形態によれば、取得された画像シーケンスからの３つの連続画像から各サンプルチューブを観察できる。各画像は、サンプルチューブの特定の視点を提供する。これらの３つの画像から抽出された特徴は、更に連結されて、サンプルチューブの最終特徴ベクトルが表わされる。
【００２４】
図３は、ＲＯＩ抽出及び修正並びに抽出特徴の視覚化に関するサンプル結果を示し、（ａ）、（ｄ）及び（ｈ）は、３つの異なる視点から見た様々な列のチューブトレイからのサンプルチューブの妥当と思われる領域を示し、（ｂ）、（ｅ）及び（ｉ）は、サンプルチューブの対応修正ＲＯＩを示し、（ｃ）、（ｆ）及び（ｊ）は、各修正ＲＯＩの特徴視覚化を示す。
【００２５】
抽出された特徴ベクトルに基づいて、分類タスクのために様々なタイプのクラシファイアを適用できる。一実施形態によれば、広く使われているサポートベクトルマシン（ＳＶＭ）がクラシファイアとして採用されているが、本発明は、この特定タイプのクラシファイアに限定されない。一実施形態では、線形ＳＶＭが、その単純さのために利用され、より高度なカーネルが使用されうる。特にランダム決定木（例えば、ランダムフォレスト）、決定木及び確率論的ブースティング木などの他のクラシファイアも分類タスクに利用できる。バーコードタグ状態の分類のため、バーコードタグ状態が、良好、警告及び誤りの３つの主分類に分けられてもよく、剥がれ、裂け、折れなどの様々な形の変形に分けられてもよい。図４は、３つの主分類に関する分類結果を示し、図５は、１０個の副分類に関して得られた分類結果を示す。
【００２６】
一実施形態によれば、問題のある副分類を有する領域に関する詳細情報を得るために、目に見える変形を有する特定領域を探しセグメント化するように画素ベースクラシファイアをトレーニングしてもよい。図６は、一実施形態による、セグメント化プロセスを示すフローチャートである。分類タスクは、変形の視覚的特徴を処理し区別できる効率的特徴タイプによって実行されうる。詳細には、シグマポイントは、密度が高い特徴表現内で様々なフィルタ応答及び色を緻密に統合できるので、このタスクで確実な性能を示した。ランダム決定木と共に、インテグラル構造を使用することによって、分類を迅速に実行できる。
【００２７】
状態分類における前処理ステップと同様に（図２）、６１０で、チューブトレイの画像シーケンスが取得され、６２０で、各サンプルチューブのＲＯＩが入力画像から抽出され、６３０で、抽出ＲＯＩから特徴が抽出される。ＲＯＩ内の各画素に対して画素ベース分類タスクが実行され、この特定条件の場合にこの画素が問題領域に属する可能性が決定される（６４０）。この可能性は、条件付き確率場（ＣＲＦ）フレームワークなどで更に改良されて、近傍断片化応答をマージできノイジーな異常値を除外できるように出力に平滑条件が組み込まれる（６５０）。
【００２８】
図７は、問題領域の位置特定に関するサンプル結果を示す。この情報は、さらなる意志決定又は視覚化のために問題画像領域を報告するために使用される。
【００２９】
トップビュー画像からサンプルチューブ上のバーコードタグ状態を分類するために、カメラによって撮影された画像の画像分析を管理するためのコントローラが提供される。このコントローラは、一実施形態によれば、体外臨床検査（ＩＶＤ）環境で、チューブトレイとチューブを、作業エンベロープなどの保管場所間で取り扱い、分析装置まで移動させるために使用されるサンプルハンドラの一部でよい。１つ以上の記憶装置が、コントローラと関連付けられうる。１つ以上の記憶装置は、コントローラの内部でも外部でもよい。
【００３０】
本発明は、例示的な実施形態に関して述べたが、その実施形態に限定されない。当業者は、本発明の好ましい実施形態に対して多くの変更及び修正を行え、そのような変更及び修正が、本発明の真の趣旨から逸脱せずに行われうることを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内にあるような全ての等価的変形物を対象として含むように解釈されるべきである。
【符号の説明】
【００３１】
１００  引出し視覚システム
１０５  作業エンベロープ
１１０  引出し
１２０  チューブトレイ
１２１  トレイ
１３０  サンプルチューブ
１４０  画像取得システム
【図１】
0006560757.tif 000002
【図２】
0006560757.tif 000003
【図３】
0006560757.tif 000004
【図４】
0006560757.tif 000005
【図５】
0006560757.tif 000006
【図６】
0006560757.tif 000007
【図７】
0006560757.tif 000008