(57)【特許請求の範囲】
【請求項１】
サンプルチューブ上のバーコードタグの状態を検出する方法であって、
複数のカメラで構成された画像取得システムによって、バーコードタグを含むサンプルチューブのサイドビュー画像を取得するステップであって、前記画像取得システムが、前記サイドビュー画像を同時に収集して、前記サンプルチューブの３６０度ビューを取得するための３つのカメラで構成されたステップと、
前記画像取得システムと通信する１つ以上のプロセッサによって、前記サイドビュー画像を分析するステップとを含み、前記分析するステップが、
前記サンプルチューブの前記サイドビュー画像に対して、バーコードタグの品質が良好か、または不良かを識別するようにトレーニングされたバイナリクラシファイヤ、及び、バーコード領域、前記バーコード領域を含むタグ領域及びバックグランド領域を識別するようにトレーニングされたマルチクラスクラシファイヤを使用してセマンティックセグメンテーションを適用するステップであって、前記セマンティックセグメンテーションは、各クラシファイヤを使用して画素レベルで定義されたセマンティックオブジェクトラベルを用いて、画像領域内の各画素のラベル付けを実行するとともに、ラベル付けされた入力データを入力し相補的特徴記述子を参照して実行される学習及び評価段階に従うステップと、
前記チューブ及びその近傍領域をそれ以外の領域より小さいパッチに分割できるように、前記画像内でセグメント化されたチューブモデルを使用して、前記サンプルチューブから空間情報を算出するステップであって、前記チューブモデルが、較正された３Ｄセットアップ情報及び外部チューブ検出情報を参照することによって抽出されるか、または、個別に画像から抽出されるステップと、
前記チューブモデルのセグメンテーションの処理により抽出された前記空間情報、画像特徴、及び、前記パッチに基づいて分類されたクラシファイヤ応答を含めた中間レベル表現を生成するステップと、
前記中間レベル表現に基づいて前記バーコードタグの状態を識別するステップとを含む方法。
【請求項２】
前記中間レベル表現が、前記サイドビュー画像のための記述子を含み、前記記述子が、前記クラシファイヤ応答と前記抽出された画像特徴を含む、請求項１に記載の方法。
【請求項３】
前記クラシファイヤ応答及び前記抽出された画像特徴が、クラスを複数の事前定義されたクラスから識別するために使用される、請求項２に記載の方法。
【請求項４】
前記事前定義されたクラスがそれぞれ、複数の副分類を含む、請求項３に記載の方法。
【請求項５】
サンプルチューブ上のバーコードタグの状態を検出するために体外臨床検査環境で使用される視覚システムであって、
バーコードタグを収容するサンプルチューブのサイドビュー画像を取得するように構成された複数のカメラであって、前記サイドビュー画像を同時に収集して、前記サンプルチューブの３６０度ビューを取得するための３つのカメラと、
前記複数のカメラと通信するプロセッサとを含み、前記プロセッサが、
前記サンプルチューブの前記サイドビュー画像に対して、バーコードタグの品質が良好か、または不良かを識別するようにトレーニングされたバイナリクラシファイヤ、及び、バーコード領域、前記バーコード領域を含むタグ領域及びバックグランド領域を識別するようにトレーニングされたマルチクラスクラシファイヤを使用してセマンティックセグメンテーションを適用するステップであって、前記セマンティックセグメンテーションは、各クラシファイヤを使用して画素レベルで定義されたセマンティックオブジェクトラベルを用いて、画像領域内の各画素のラベル付けを実行するとともに、ラベル付けされた入力データを入力し相補的特徴記述子を参照して実行される学習及び評価段階に従うステップと、
前記チューブ及びその近傍領域をそれ以外の領域より小さいパッチに分割できるように、前記画像内でセグメント化されたチューブモデルを使用して、前記サンプルチューブから空間情報を算出するステップであって、前記チューブモデルが、較正された３Ｄセットアップ情報及び外部チューブ検出情報を参照することによって抽出されるか、または、個別に画像から抽出されるステップと、
前記チューブモデルのセグメンテーションの処理により抽出された前記空間情報、画像特徴、及び、前記パッチに基づいて分類されたクラシファイヤ応答を含めた中間レベル表現を生成するステップと、
前記中間レベル表現に基づいて前記バーコードタグの状態を識別するステップとを実行するよう構成される視覚システム。
【請求項６】
前記中間レベル表現が、前記サイドビュー画像のための記述子を含み、前記記述子が、クラシファイヤ応答と抽出された画像特徴とを含む、請求項５に記載のシステム。
【請求項７】
前記クラシファイヤ応答及び抽出された画像特徴が、クラスを複数の事前定義されたクラスから識別するために使用される、請求項６に記載のシステム。
【請求項８】
前記事前定義されたクラスがそれぞれ、複数の副分類を含む、請求項７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１５年２月１７日に出願された「ＢＡＲＣＯＤＥ  ＴＡＧ  ＤＥＴＥＣＴＩＯＮ  ＩＮ  ＳＩＤＥ  ＶＩＥＷ  ＳＡＭＰＬＥ  ＴＵＢＥ  ＩＭＡＧＥＳ  ＦＯＲ
ＬＡＢＯＲＡＴＯＲＹ  ＡＵＴＯＭＡＴＩＯＮ」と題する米国仮出願第６２／１１７，２７０号明細書に対する優先権を請求し、この開示全体は、参照により全体が本明細書に組み込まれる。
【０００２】
本出願は、米国特許出願公開第２０１６／００２５７５７号及び国際公開第２０１５／１９１７０２号明細書に記載された概念の幾つかに関連し、これらの開示は、参照により全体が本明細書に組み込まれる。
【０００３】
本発明は、一般にバーコードタグの状態の検出に関し、詳細にはサイドビューサンプルチューブ画像を利用したサンプルチューブ上のバーコードタグの状態の分類に関する。
【背景技術】
【０００４】
バーコードタグは、臨床検査室自動化システムにおいてサンプルチューブを一意に識別し追跡するためにサンプルチューブ上でよく使用され、しばしば患者を特定のサンプルチューブ内のサンプルと関連付ける唯一の手段である。通常の日々の使用により、裂け、剥がれ、変色、及び他の変形を含むバーコードタグの状態の劣化が起こることがある。そのような劣化は、検査室自動化システムのサンプルチューブ処理の合理化を妨げる。
【０００５】
したがって、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するために、サンプルチューブ上のバーコードタグの状態を検出する必要がある。また、そのような分類は自動的かつ効率的で控えめでなければならない。
【発明の概要】
【課題を解決するための手段】
【０００６】
実施形態は、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するために、サイドビュー画像からサンプルチューブ上のバーコードタグの状態を検出することを対象とする。
【０００７】
本発明の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最もよく理解される。本発明を例示するために、図には現在好ましい実施形態が示されるが、本発明が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。
【図面の簡単な説明】
【０００８】
【図１】一実施形態による、サイドビュー画像からサンプルチューブ上のバーコードタグの状態を検出するためにサンプルチューブが移される例示的チューブ評価ステーションを表す図である。
【図２】実施形態による、バーコードタグを備えた例示的サンプルチューブの図である。
【図３】実施形態による、バーコードタグ検出のために中間レベル表現に組み合わせられる幾つかの並列低レベルキューを利用するワークフローを示す図である。
【図４】一実施形態による、バーコードタグの状態を表す図である。
【図５】一実施形態による、バーコードタグの状態を検出するための低レベルキューの使用を示す図である。
【図６】一実施形態による、バーコードタグの状態を検出するための付加的な低レベルキューの使用を示す図である。
【発明を実施するための形態】
【０００９】
実施形態は、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するためにサイドビュー画像からサンプルチューブ上のバーコードタグの状態を分類することを対象とする。本明細書に提供された実施形態によるバーコードタグの状態の分類は、問題のあるバーコードタグの自動検出につながり、システム又はユーザが、問題のあるバーコードタグを修繕するのに必要なステップを取ることを可能にする。例えば、問題のあるバーコードタグを有する識別されたサンプルチューブは、問題のあるバーコードタグを修繕するための通常のチューブ取り扱い手順とは別のワークフローに送られうる。
【００１０】
本明細書に提供された実施形態による方法は、チューブ画像におけるバーコードタグ検出によってタグ状態の自動決定を行うことを可能にする。バーコードタグの状態は、良好、警告及び誤りのクラスに分類されうる。３つのクラスはそれぞれ、一実施形態によれば、バーコードタグの品質に関する細かな決定を可能にする追加の副分類のリストに分けられる。そのような副分類は、例えば、完全、剥がれ、破損、折れ、傾き、変形、着色などのタグ品質の個々の特徴を含む。追加又は代替のクラス及び副分類が使用されうる。
【００１１】
一実施形態によれば、サンプルチューブ上のバーコードタグの状態を分類するためのサイドビュー画像を得るためにチューブ評価ステーション（ＴＣＳ）が利用される。ＴＣＳは、各チューブの３つの画像の同時収集を可能にし、その結果、各チューブの３６０度サイドビューが得られる。提案された方法は、監視シーン理解（supervised scene understanding）の概念に基づき、各画素のセマンティック意味が解釈される。一実施形態によれば、状態認識のための２つの並列低レベルキューが、チューブモデル抽出キューとの組み合わせで、利用される。次に、セマンティックシーン情報が中間レベル表現に統合されて、３つの状態クラスのうちの１つに最終決定される。
【００１２】
セマンティックセグメンテーションは、定義されたセマンティックオブジェクトラベルに関する画像領域内の各画素の解釈に焦点を当てる。画素レベルセグメンテーションにより、オブジェクト境界を正確に取得できる。ベンチマークデータセットに対する評価から、監視された概念が、信頼性及び分類精度の点で最も有効であることが分かる。典型的には、そのような手法は、様々なレベルと階層で導出された高度で組み合わされた特徴記述子を考慮するトレーニング（学習）及び試験段階に基づく。
【００１３】
ＴＣＳを使用して三つ組の画像が取得される。バーコードタグの状態は、位置、向き、取り付け品質、及びバーコード可読性が変化しうる。バーコードタグの状態の検出は、チューブモデルに対する空間及び外観特徴を正確に取得する中間レベル表現を必要とする。この中間レベル表現は、該当する画像構造に関して個別にトレーニングされ評価された様々な並列低レベルキューからマルチビュー情報（例えば、三つ組の画像から３６０度ビュー）を取得する。
【００１４】
図１は、一実施形態による、サイドビュー画像からサンプルチューブ上のバーコードタグの状態を分類するためにサンプルチューブが転写された例示的チューブ評価ステーションを表す。サンプルチューブは、例えば、チューブトレイとそこに収容されたサンプルチューブが格納された引き出しシステムから、ＴＣＳに移されうる。一実施形態では、体外臨床検査（ＩＶＤ）環境ではサンプルハンドラのために作業エリア内に１つ以上の引き出しが提供される。サンプルチューブは、引き出しシステムとＴＣＳの間で移動可能なアームによってＴＣＳに移される。
【００１５】
ＴＣＳは、３つのカメラを有し、各カメラは、特定のサンプルチューブの画像を取得して一緒に全体３６０度ビューを取得するように構成される。
【００１６】
図２は、バーコードタグを有する例示的サンプルチューブの描写である。示されたように、チューブモデルタイプとバーコードタグの状態は、サンプルチューブ間で大きく異なりうる。
【００１７】
入力データ：システムの入力データは、チューブの全体３６０度ビューを示す３つの画像で構成される。
【００１８】
概要：提案された方法は、三つ組のチューブ画像を入力として取得し、バーコードタグの状態のラベル（良好、警告、誤り）を出力する。図３は、中間レベル表現に組み合わされる幾つかの並列低レベルキューが利用される提案されたワークフローを示す。この表現は、マルチビュー情報を取得し、バーコードタグの状態に関する最終決定に使用される。低レベルキューは、バーコード／タグ及びバックグラウンド領域並びに良好対不良領域への個別のセマンティックセグメンテーションをそれぞれ含む。追加の低レベルキューは、チューブモデルの抽出を支援し、中間レベル表現を生成するのに重要な空間情報を提供する。提案された方法は、そのような特別なキューに限定されず、追加又は代替キューに拡張されうる。提案された概念は、トレーニング段階のためにラベル付き入力データを必要とするトレーニング及び評価段階に基づく。
【００１９】
図４は、一実施形態による、クラス内のバーコードタグの状態と、タグ品質の個々の特徴を対象として含む副分類の表現である。
【００２０】
低レベルキュー：セマンティックセグメンテーション：提案された概念は、監視モードで動作する複数のキューに基づく。そのようなキューは、画素レベルに基づいてトレーニング及び評価された、色及び方向ヒストグラムのような相補的特徴記述子、統計的記述子、及び近似ローカルバイナリパターンを大量に使用する。短い返答時間が期待されるので、提案された概念は、積分画像のような効率的な画像構造を利用し、ランダム決定木又は決定木のような簡易クラシファイヤを使用する。トレーニング段階は、ラベル付き入力データを必要とし、画素レベル分類によって、アノテーションは、ストロークを使用する画像領域アノテーションによって迅速に達成されうる。トレーニングは、一回行なわれなければならず、様々な特徴を有する様々な捕捉からのデータを含む。低レベルキューごとに、個別のランダムフォレストクラシファイヤは、バイナリ（良好／不良領域）及びマルチクラスタスク（バーコード／タグ／バックグラウンド領域）のためにトレーニングされる。実行時に、トレーニングされたクラシファイヤは、トレーニングされたセマンティッククラスに関する画素レベルに基づいて確率を提供する。そのようなクラシファイヤ応答は、最終決定のための識別属性として中間レベル表現に直接統合される。図５は、サンプルチューブに適用されるセマンティックセグメンテーション低レベルキューの例示的応答を示す。
【００２１】
低レベルキュー：チューブモデル抽出：データ集約のための空間情報を提供するために、画像内のセグメント化チューブ領域と幾つかのサポートセグメントが使用される。チューブモデルは、較正された３Dセットアップ及び外部チューブ検出情報（即ち、チューブの幾何学形状の画像への描写）を使用して導出されてもよく、画像から個別に抽出されてもよい（即ち、ロバストライン検出方法及び論理処理又は推論を使用することによるチューブ境界のロバスト抽出）。画像内でチューブモデルをセグメント化することにより、チューブ及び近傍領域をもっと小さいパッチに分割できる。そのようなパッチは、低レベルキューからのクラシファイヤ応答並びに画像からの直接情報を収集するために使用される
。図６は、サンプルチューブに適用されるチューブモデル抽出低レベルキューの例示的応答を示す。
【００２２】
中間レベル表現：バーコードタグの状態の最終決定を行うために、提案された方法は、低レベルキュー応答の中間レベル表現への集約を利用し、これは、三つ組の入力画像の記述子と見なされうる。記述子は、クラシファイヤ応答並びにチューブモデルセグメンテーションの支援により抽出された画像特徴（例えば、方向情報と色統計）からなるがこれらに限定されない。表現が複数ビューからの情報を含むので、対象となるバーコード領域のサイズによるデータシーケンス順序付けが適用される。
【００２３】
バーコードタグの状態分類：状態の最終クラスラベルを導出するため、ランダム決定木又はサポートベクトルマシン（ＳＶＭ）などのクラシファイヤが使用される。分類の細分化は、副分類を生じ、追加の分類ステージによって又は中間レベル表現に直接基づいて達成されうる。
【００２４】
サイドビュー画像からサンプルチューブ上のバーコードタグの状態を分類するために、カメラによって撮影された画像の画像解析を管理するためのコントローラが提供される。このコントローラは、一実施形態によれば、体外臨床検査（ＩＶＤ）環境で、チューブトレイとチューブを分析器まで保管場所の間で取り扱い移動させるために使用されるサンプルハンドラの一部でよい。コントローラと１つ以上の記憶装置が関連付けられうる。１つ以上の記憶装置は、コントローラの内部でも外部でもよい。
【００２５】
本発明は、例示的な実施形態に関して述べたが、その実施形態に限定されない。当業者は、本発明の好ましい実施形態に対して多くの変更及び修正を実行でき、そのような変更及び修正が、本発明の真の趣旨から逸脱せずに行なわれうることを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内にあるような全ての等価的変形物を対象として含むように解釈されるべきである。
【図１】
0006791864.tif 000002
【図２】
0006791864.tif 000003
【図３】
0006791864.tif 000004
【図４】
0006791864.tif 000005
【図５】
0006791864.tif 000006
【図６】
0006791864.tif 000007