(57)【特許請求の範囲】
【請求項１】
画像処理及び制御装置であって、
１つ以上の試料管の１つ以上の頭部の画像を取得するように構成された画像取得装置と、
前記１つ以上の試料管を移動するように構成されたロボットと、
プロセッサ及びメモリを含むシステムコントローラとを含み、
前記システムコントローラは、
前記メモリに記憶されているプログラミング命令に従って、前記１つ以上の試料管の１つ以上の頭部の画像を、該画像に、
前記１つ以上の試料管の１つ以上の頭部の画像のエッジマップであって、前記画像に比べて、前記画像中の前記１つ以上の試料管の１つ以上の頭部の試料管頭部エッジが強調されており、また前記画像中の他の物体のエッジが抑制されているエッジマップを生成し、
該生成したエッジマップに基づいて１つ以上の前記試料管を移動するように前記ロボットを制御する、
畳み込みニューラルネットワークを適用することによって、処理するように構成されている、
画像処理及び制御装置。
【請求項２】
前記ロボットは、前記エッジマップに基づいて１つ以上の前記試料管を把持して移動するように構成されたエンドエフェクタを有する、請求項１に記載の画像処理及び制御装置。
【請求項３】
前記１つ以上の試料管を受け入れるように構成された管トレイをさらに含む、請求項１又は２に記載の画像処理及び制御装置。
【請求項４】
前記畳み込みニューラルネットワークが、複数の畳み込み層を含む全層畳み込みネットワークである、請求項１〜３のいずれか１項に記載の画像処理及び制御装置。
【請求項５】
前記全層畳み込みネットワークは、１つ以上の畳み込み層と、１つ以上の最大プーリング層と、これに続く１つ以上の全結合畳み込み層とを含む、請求項４に記載の画像処理及び制御装置。
【請求項６】
第１の前記畳み込み層が５のカーネルサイズ、１のストライド、及び０のパディングをもち、第２の前記畳み込み層が５のカーネルサイズ、１のストライド、及び０のパディングをもち、第１の前記全結合畳み込み層が５のカーネルサイズ、１のストライド、及び０のパディングをもち、第２の前記全結合畳み込み層が１のカーネルサイズ、１のストライド、及び０のパディングをもつ、請求項５に記載の画像処理及び制御装置。
【請求項７】
前記畳み込みニューラルネットワークが、複数の畳み込み層と、これに続く融合モジュールとを含むパッチベースの畳み込みネットワークであり、前記融合モジュールは、入力画像を表現する１つのエッジマップに個々のパッチのエッジ応答を融合する、請求項１〜３のいずれか１項に記載の画像処理及び制御装置。
【請求項８】
前記パッチベースの畳み込みネットワークが、１つ以上の畳み込み層と、１つ以上の最大プーリング層と、これに続く１つ以上の全結合層とを含む、請求項７に記載の画像処理及び制御装置。
【請求項９】
前記画像中の前記１つ以上の試料管の１つ以上の頭部の試料管頭部エッジは円形状をしており、円形状ではない物体のエッジを抑制する、請求項１〜８のいずれか１項に記載の画像処理及び制御装置。
【請求項１０】
全層畳み込みネットワーク及びそのパラメータのコンピュータ命令を含む非一時的コンピュータ可読媒体であって、
前記コンピュータ命令がプロセッサで実行可能であり、前記全層畳み込みネットワーク及び前記パラメータを１つ以上の試料管の１つ以上の頭部の画像に適用して、前記１つ以上の試料管の１つ以上の頭部の画像のエッジマップであって前記画像に比べて、前記画像中の前記１つ以上の試料管の１つ以上の頭部の試料管頭部エッジが強調されておりまた前記画像中の他の物体のエッジが抑制されているエッジマップを生成させ、該エッジマップを当該非一時的コンピュータ可読媒体に記憶すると共にコントローラからアクセス可能とし、該コントローラは前記エッジマップに基づいてロボットを制御し、
前記全層畳み込みネットワークが、１つ以上の畳み込み層と、１つ以上の最大プーリング層と、これに続く第１及び第２の全結合畳み込み層とを含む、非一時的コンピュータ可読媒体。
【請求項１１】
パッチベースの畳み込みネットワークのコンピュータ命令をさらに含み、
前記パッチベースの畳み込みネットワークは、複数の畳み込み層と、これに続く融合モジュールとを含み、該融合モジュールが、入力画像を表現する１つのエッジマップに個々のパッチのエッジ応答を融合する、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項１２】
前記パッチベースの畳み込みネットワークが、１つ以上の畳み込み層と、１つ以上の最大プーリング層と、これに続く１つ以上の全結合層とを含む、請求項１１に記載の非一時的コンピュータ可読媒体。
【請求項１３】
前記全層畳み込みネットワークが、前記第１及び第２の全結合畳み込み層の間の非線形層をさらに含む、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項１４】
第１の前記畳み込み層が５のカーネルサイズ、１のストライド、及び０のパディングをもち、第１の前記最大プーリング層が２のカーネルサイズ、２のストライド、及び０のパディングをもつ、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項１５】
第２の前記畳み込み層が５のカーネルサイズ、１のストライド、及び０のパディングをもち、第２の前記最大プーリング層が２のカーネルサイズ、２のストライド、及び０のパディングをもつ、請求項１０又は１４に記載の非一時的コンピュータ可読媒体。
【請求項１６】
試料管頭部の画像を処理してこれに基づきロボットを制御する方法であって、
１つ以上の試料管の１つ以上の頭部の入力画像を受信し、
１つ以上の畳み込み層と、１つ以上の最大プーリング層と、これに続く第１及び第２の全結合畳み込み層とを含む全層畳み込みネットワークを前記入力画像に適用し、
前記１つ以上の試料管の１つ以上の頭部の入力画像のエッジマップであって、前記入力画像に比べて、前記入力画像中の前記１つ以上の試料管の１つ以上の頭部の試料管頭部エッジが強調されておりまた前記入力画像中の他の物体のエッジが抑制されているエッジマップを前記入力画像の該適用に応答して生成し、
該生成したエッジマップに基づいて試料管カテゴリ又は特徴を判定し、
該判定した試料管カテゴリ又は特徴に基づいてロボットを制御することを含む、方法。
【請求項１７】
前記入力画像をピクセル値のアレイとして受信することを含む、請求項１６に記載の方法。
【請求項１８】
第１の前記畳み込み層が、５のカーネルサイズ、１のストライド、及び０のパディングをもつ、請求項１６又は１７に記載の方法。
【請求項１９】
第１の前記最大プーリング層が、２のカーネルサイズ、２のストライド、及び０のパディングをもつ、請求項１６〜１８のいずれか１項に記載の方法。
【請求項２０】
前記第１の前記全結合畳み込み層が、５のカーネルサイズ、１のストライド、及び０のパディングをもつ、請求項１６〜１９のいずれか１項に記載の方法。
【請求項２１】
前記第２の前記全結合畳み込み層が、１のカーネルサイズ、１のストライド、及び０のパディングをもつ、請求項１６〜２０のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２０１７年７月１１日出願の米国仮出願６２／５３１，１２１に関する優先権を主張するものであり、該出願の全内容が本明細書に援用される。
【０００２】
ここに開示するのは、自動診断分析システムにおいて使用される試料管の頂部の画像を処理する方法とシステムに関する技術である。
【背景技術】
【０００３】
体外診断により、検査室は、患者の流体試料について実施されるアッセイ及び／又は化学分析に基づいて、疾患の診断を支援することができる。体外診断には、患者の体液から採取した液体試料の分析によって実施することができる、患者の診断及び治療に関連する様々な種類の分析検査及びアッセイが含まれる。これらのアッセイは、通例、患者試料を含む管又はバイアルを積んだ自動診断分析システムの自動分析装置において実施される。必要であり得る様々なアッセイ及び分析、そして、それらの検査室を作動させるために必要な検査容量の観点から、複数の自動分析装置が自動診断分析システムに含まれることが多い。
【０００４】
多数の患者試料が、各医局から自動診断分析システムのある検査室へ搬送される。その試料は、最初は１つの位置に保管され、１つ以上の自動分析装置に入れられ、そして必要に応じ、その後に追加の試験に先立って別の位置に保管される。貯蔵と、自動分析装置と貯蔵場所との間の搬送は、トレイを用いて行うことができる。トレイは、例えば、試験管、バイアルなど（以下、まとめて「試料管」という）に入れられた数個の患者試料のアレイである。複数のトレイを積み重ねることが可能であり、検査室のある場所から他の場所へ多数の試料を容易に運ぶことができる。一部の自動診断分析システムでは、分析器が患者試料のトレイを受け入れて相応に試料を取り扱うことができるが、一部の分析器では、オペレータがトレイから試料を取り出して、次の取り扱いの前にキャリアに入れる必要がある。他の例では、エンドエフェクタをもつロボットがトレイから試料管を取り出し、キャリア又は自動分析器に運ぶものもある。
【０００５】
自動診断分析システムにおける多数の試料管の取り扱いと処理を容易にするために、既存の画像ベースの管頭部検出方法及びシステムが使用され、各試料管を分類したり評価（特徴付け）したりするために、試料管の頭部の画像が取得される（例えば、管の高さ、直径、及び管トレイスロットからの中心オフセット）。しかし、既存の画像ベースの検出方法及びシステムの中には、管頭部以外に、画像中に現れ得る他の物体を誤って検出し、より強いエッジ応答を提供するものがある。例えば、他の物体は、試料管バーコードタグ、管トレイスロットサークル、管トレイスロット内の管トレイ金属バネなどの１つ以上であり得る。このことは、自動診断分析システムにおける試料管の取り扱い及び処理に悪影響を及ぼす可能性がある。したがって、自動診断分析システムに使用される試料管の頭部の画像を処理する画像ベースの検出方法及びシステムの改善が必要とされている。
【発明の概要】
【０００６】
第１の態様により、画像処理及び制御装置が提供される。この画像処理及び制御装置は、１つ以上の試料管の１つ以上の各頭部の画像を取得するように構成された画像取得装置と、１つ以上の試料管のそれぞれを移動するように構成されたロボットと、プロセッサ及びメモリを備えたシステムコントローラとを有し、該システムコントローラは、メモリに記憶されているプログラミング命令に従って、１つ以上の試料管の１つ以上の各頭部の画像を、該画像に畳み込みニューラルネットワークを適用することにより処理して、画像中にある試料管頭部エッジを強調し、該画像中にある他の物体からのエッジ応答を抑制し、１つ以上の試料管の１つ以上の各頭部の画像のエッジマップを生成し、生成したエッジマップに基づいて１つ以上の試料管を移動するようにロボットを制御するように構成される。
【０００７】
第２の態様により、非一時的コンピュータ可読媒体が提供される。この非一時的コンピュータ可読媒体は、全層畳み込みネットワーク（ＦＣＮ）及びそのパラメータのコンピュータ命令を含み、該コンピュータ命令はプロセッサで実行可能であり、全層畳み込みネットワーク及びパラメータを試料管頭部の画像に適用してエッジマップを生成させる。エッジマップは、非一時的コンピュータ可読媒体に記憶されると共にコントローラからアクセス可能であり、コントローラはエッジマップに基づいてロボットを制御する。全層畳み込みネットワークは、１つ以上の畳み込み層と、１つ以上の最大プーリング層と、これに続く第１及び第２の全結合畳み込み層とを含む。
【０００８】
第３の態様により、試料管頭部の画像を処理してこれに基づきロボットを制御する方法が提供される。この方法は、１つ以上の試料管の１つ以上の各頭部の入力画像を受信し、１つ以上の畳み込み層と、１つ以上の最大プーリング層と、これに続く第１及び第２の全結合畳み込み層とを有する全層畳み込みネットワークを、入力画像に適用し、この適用に応答してエッジマップを生成し、生成したエッジマップに基づいて試料管のカテゴリ又は特徴を判定し、判定した試料管のカテゴリ又は特徴に基づいてロボットを制御することを含む。
【０００９】
以上の他の態様、特徴、及び利点は、本発明を実施するために考え得る最良のモードを含めて多くの実施形態及び具体例を例示する以下の詳細な説明から明らかとなる。他の実施形態及び異なる実施形態も可能であり、その細部には、様々な点で変形することができるものもある。したがって、図面及び説明は、本質的に例示的であると見なされるべきであり、限定的とみなされるべきではない。図面は必ずしも同縮尺で描かれているわけではない。発明の詳細な説明は、特許請求の範囲に当てはまる全ての変更、等価態様、及び代替態様を網羅するべく意図されている。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る、試料管頭部の画像を取得して処理する画像処理システムの平面図（図１Ａ）及び要部斜視図（図１Ｂ）。
【図２】実施形態に係るシステムコントローラ及び画像処理システムコンポーネントのブロック図。
【図３】実施形態に係る、入力画像をエッジマップに変換する画像処理モジュール。
【図４】実施形態に係る、試料管頭部の画像を前処理するように構成された全層畳み込みネットワーク。
【図５】実施形態に係る試料管頭部の各画像。
【図６】実施形態に係る図５Ａ〜図５Ｃのそれぞれの試料管頭部のエッジマップ。
【図７】実施形態に係るパッチベースの畳み込みニューラルネットワーク。
【図８】図８Ａは、実施形態に係る、手動でアノテーションした中心パッチを有する入力画像パッチ。図８Ｂは、実施形態に係る図８Ａの中心パッチに関するグランドトゥルース（正解データ）エッジマップ。
【図９】図９Ａ〜図９Ｃはそれぞれ、実施形態に係る図６の、入力画像パッチ、中心パッチの対応するグランドトゥルースエッジマップ、及びパッチベースの畳み込みニューラルネットワークから生成される該当出力。
【図１０】図１０Ａ〜図１０Ｃはそれぞれ、実施形態に係る図６の、入力画像パッチ、中心パッチの対応するグランドトゥルースエッジマップ、及びパッチベースの畳み込みニューラルネットワークから生成される該当出力。
【図１１】実施形態に係る図６のパッチベースの畳み込みニューラルネットワークでエッジ検出モデルを訓練する方法のフローチャート。
【図１２】実施形態に係る訓練済みモデルを試験する方法のフローチャート。
【図１３】実施形態に係るエッジ検出適用のフローチャート。
【図１４】実施形態に係る試料管頭部の画像を処理する方法のフローチャート。
【発明を実施するための形態】
【００１１】
自動診断分析システムにおいて、画像ベースの試料管頭部円検出により、管の高さ、管の直径、管トレイスロットからの中心オフセットなど、様々な試料管の特徴を自動的に分析し、分類し、評価することができるようにする。既存の画像ベースの管頭部円検出方法及びシステムは、前処理過程でエッジ検出に大きく依存する。場合によっては、このような既存の画像ベースの管頭部円検出方法及びシステムは、実際の管頭部円ではなくて、画像中にある他の物体を誤検出し、より強いエッジ応答を提供することがある。該他の物体は、例えば、試料管バーコードタグ、管トレイスロットの円、管トレイスロット内の管トレイ金属バネであり得る。管円検出性能を改善する１つの方法は、管頭部円に起因するエッジと画像中の他の物体に起因するエッジとを鑑別することである。グランドトゥルースとして手動でアノテーションされた円を用いるパッチベースのアプローチ（後述）を使用して、一実施形態に係る方法及びシステムは、画像中に現れ得る他の物体からのエッジ応答を抑制しながら、管頭部円のエッジを強調する、学習ベースの試料管頭部エッジ強調コンピュータ実行方法を含む。この一実施形態に係る方法及びシステムは、試料管頭部円検出のロバスト性を改善することができ、より困難な場合（すなわち、画像中に他の物体がある画像）に正しく応答することができる。この一実施形態に係る方法及びシステムは、どのように入力画像をエッジマップに変換するのか「学習」し、他の物体のエッジを抑制する一方で試料管のエッジを強調する、畳み込みニューラルネットワークに基づく。本実施形態の仕様、特徴について、図１〜図１４を参照して説明する。
【００１２】
図１Ａ及び図１Ｂは、一実施形態に係る、試料管頭部の画像を取得して処理し、管分類及び管評価を行う画像処理システム１００を示す。システム１００は、システムコントローラ１０２、ロボット１０３、作業領域１０４、待機位置１０７から作業領域１０４へ移動可能に構成された１つ以上のドロワ（引き出し）１０６（１つだけ符号を付した）、そして、ドロワ１０６ごとに１つの画像取得装置１１２を含む。作業領域１０４には、ロボット１０３をもつ試料ハンドラ（図示せず）がアクセスできる。１つのドロワ１０６に１つ以上の管トレイ１０８（２つだけ符号を付した）が装填可能で、管トレイ１０８のそれぞれは、多数の試料管１１０（３つだけ符号を付した）を行と列に配置して収容し搬送するように構成される。１つの管トレイ１０８における試料管１１０の数、１つのドロワ１０６における管トレイ１０８の数、作業領域１０４におけるドロワ１０６の数は、いずれも、実施形態ごとに様々であることはもちろんである。ロボット１０３は、システムコントローラ１０２（又は別の適切なコントローラ）によって制御され、エンドエフェクタにより、個々の試料管１１０を把持して、作業領域１０４及び自動分析装置やシステム１００の他の作業領域（どちらも図示せず）へ又はそこから移動させるように構成される。
【００１３】
画像取得装置１１２は、管トレイ１０８及びその試料管１１０の上面画像を取得することができるが、これは、一実施形態においては、管トレイ１０８が、待機位置１０７から手動で又は自動的に作業領域１０４へ移されることによる。画像は、後述するように、システムコントローラ１０２によって処理され、分析される。一実施形態では、図１Ｂに示すように、画像取得装置１１２は、作業領域１０４におけるドロワ１０６の入口又はその近傍で、ドロワ１０６内に配置されて試料管１１０を搬送する管トレイ１０８の表面の上に位置する。画像取得装置１１２は、１つ以上のカメラ（図１Ａ及び図１Ｂに具体的には示されていない）又は他の適切な画像取得デバイスを含み、これらカメラ／デバイスは、例えば、試料管の高解像度画像を取得するために試料管１１０の頭部から３〜６インチほど上に、位置決めされる。使用するカメラ／デバイスの特徴及び望ましい視点と画質に応じて、距離と配置のどちらか又は両方を適宜設定可能である。一実施形態において、画像取得装置１１２は、ＬＥＤ（発光ダイオード）フラッシュなど、１つ以上の光源を含むこともできる。
【００１４】
図２は、一実施形態に係る、試料管頭部画像の取得及び処理を制御するように構成されたシステムコントローラ２０２を示す。システムコントローラ２０２は、図１Ａのシステムコントローラ１０２と同じものか又は類似したものとすることができ、システムプロセッサ２１４、１つ以上のメモリ２１６（１つのみが示されている）、１つ以上のドロワセンサ２１８（１つのみが示されている）、画像取得プロセッサ２２０、及びエンコーダ２２２を含む。なお、例えば入出力デバイス、ネットワークインターフェースなどの他の既存の構成要素は、明確性を考慮して示されていないことに留意すべきである。システムコントローラ２０２は、図１Ａ及び図１Ｂの画像取得装置１１２と同じか又は類似する画像取得装置２１２に接続される。
【００１５】
一実施形態において、画像取得装置２１２は、光源２２４、第１カメラ２２５（例えば、管トレイ１０８の中心に対して左側に位置するカメラ）、及び第２カメラ２２６（例えば、管トレイ１０８の中心に対して右に位置するカメラ）を含む。ドロワ１０６及び管トレイ１０８のサイズや所望の画質及び画像視点に応じて、他の数のカメラ又は他の画像取得装置を使用することができる。画像取得プロセッサ２２０は、光源２２４、第１カメラ２２５、及び第２カメラ２２６の動作を（プログラミング命令により）、例えばその一部又は全部に電源を供給することを含めて、制御するように構成され、第１カメラ２２５及び第２カメラ２２６によって撮像された画像を受信する。一実施形態では、画像取得プロセッサ２２０は、システムコントローラ２０２に代えて画像取得装置２１２の一部とすることができる。一実施形態では、システムプロセッサ２１４を画像取得装置２１２と接続して画像取得プロセッサ２２０の機能を実行させることができ、この場合、画像取得プロセッサ２２０はシステムコントローラ２０２から省略することもできる。
【００１６】
一実施形態において直交エンコーダであるエンコーダ２２２は、管トレイ１０８の列が、第１カメラ２２５と第２カメラ２２６のいずれか又は両方の下の中心位置又は実質的に中心位置に移動する時期を決定するために使用される。エンコーダ２２２は、第１カメラ２２５と第２カメラ２２６のいずれか又は両方の下の中心位置又は実質的に中心位置に試料管１１０の新しい列が移動するときに該当する管トレイ１０８の動きの検出時に、制御信号（例えば、パルス）を画像取得プロセッサ２２０へ送信する。この制御信号を受信した画像取得プロセッサ２２０は、第１カメラ２２５と第２カメラ２２６のいずれか又は両方に信号を送って、試料管１１０の新しい列の画像を取得する。
【００１７】
システムプロセッサ２１４は、図３に関連して後述するように、（プログラミング命令により）第１カメラ２２５と第２カメラ２２６のいずれか又は両方によって得られた画像を処理するように構成される。試料管１１０を撮像し終えた管トレイ１０８を含んだドロワ１０６が閉じられたことを検出すると、画像取得プロセッサ２２０は、処理のために画像をシステムプロセッサ２１４に送信する。送信された画像はメモリ２１６に記憶される。画像処理に加えて、システムプロセッサ２１４は、例えば作業領域１０４などの貯蔵場所間や、１つ以上の自動分析装置（図示せず）間において、管トレイ１０８及び試料管１１０の移動を制御するように構成される。種々の試料管１１０の特徴を判定するためにシステムプロセッサ２１４によって実行される画像処理及びその後の分析は、ロボット１０３による試料管１１０の取り扱い、移送、及び処理を容易にすることができて有益である。
【００１８】
メモリ２１６は、システムプロセッサ２１４に接続され、例えば画像取得プロセッサ２２０から試料管１１０の頭部の画像を受け取って記憶する。メモリ２１６は、例えば、ランダムアクセスメモリ（ＲＡＭ）、ハード／磁気／光ディスク、フラッシュメモリ、そしてそれらの組み合せ、のうちの１つ以上など、所定の非一時的コンピュータ可読媒体とすることができる。メモリ２１６は、システムプロセッサ２１４か画像取得プロセッサ２２０のどちらか、あるいは両方によって実行可能なプログラム（すなわち、コンピュータ実行可能なプログラミング命令）を受信して記憶するように構成される。システムプロセッサ２１４と画像取得プロセッサ２２０のいずれか又は両方は、ファームウェアとして実施されたプログラミング命令を実行するように構成されてもよいのはもちろんである。
【００１９】
ドロワセンサ２１８は、システムプロセッサ２１４に接続され、作業領域１０４においてドロワ１０６が完全に閉じられている場合と、ドロワ１０６が完全に開けられている場合（例えば、図１Ａに示された待機位置１０７）のいずれか又は両方を示すように構成することができる。一実施形態において、ドロワセンサ２１８が、対応するドロワ１０６が完全に閉じられる位置に移動したことを感知すると、当該ドロワセンサ２１８は、システムプロセッサ２１４に信号を出して応答し、メモリ２１６に記憶された取得画像の画像処理を開始させる。
【００２０】
図３は、一実施形態に係る画像処理方法及びシステムに含まれる画像処理モジュール３００を示す。画像処理モジュール３００は、試料管頭部の画像である入力画像３０１を処理し、管の幾何学的評価及び型分類を可能にする管円検出及び位置特定方法の入力に適した当該試料管頭部のエッジマップ３１５を生成するように構成される。画像処理モジュール３００は、訓練済みモデル３１０を用いる畳み込みニューラルネットワーク３０５などの機械学習ベースの方法を使用して、入力画像３０１を処理し、対応するエッジマップ３１５を生成する。エッジマップ３１５は、例えば図２のメモリ２１６のような、非一時的コンピュータ可読記憶媒体に記憶できる。訓練済みモデル３１０は、畳み込みニューラルネットワーク３０５において画像を処理するために使用されるネットワークパラメータを含み、さらに、カーネル重み、カーネルサイズ、ストライド値、及びパディング値を含み得る（後述）。
【００２１】
図４は、一実施形態に係る畳み込みニューラルネットワークの例を示す。この例の畳み込みニューラルネットワークは全層畳み込みニューラルネットワーク４０５であり、図７〜図１０Ｃに関連して後述する訓練手順を使用することによって、パッチベースの畳み込みニューラルネットワークから導出される。全層畳み込みネットワーク４０５及び訓練済みモデル３１０のネットワーク構成は、例えばメモリ２１６に記憶することができ、画像処理システム１００とシステムコントローラ２０２のいずれか又は両方によって実行される方法の一部をなす。
【００２２】
全層畳み込みネットワーク４０５は、第１の畳み込み層（ＣＯＮＶ１）４０２、第１の最大プーリング層（ＰＯＯＬ１）４０４、第２の畳み込み層（ＣＯＮＶ２）４０６、第２の最大プーリング層（ＰＯＯＬ２）４０８、全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０、非線形層（ＲＥＬＵ１）４１２、及びエッジ畳み込み層（ＥＤＧＥ−ＣＯＮＶ）４１４を含んだ複数の層を含む。他の実施形態では、畳み込み層と最大プーリング層の数は異なる。第１の畳み込み層（ＣＯＮＶ１）４０２の入力は入力画像４０１であり、これは、例えば画像取得装置１１２，２１２によって取得された試料管頭部の画像である。入力画像４０１は、例えば図５Ａ〜図５Ｃに示されるような、試料管頭部画像５０１Ａ，５０１Ｂ，５０１Ｃのいずれか１つである。入力画像４０１は、例えば３２ピクセル×３２ピクセル、４８０ピクセル×４８０ピクセルなどの任意サイズの画像である。入力画像４０１は、例えばＪＰＥＧ、ＴＩＦＦなどの適切なファイルフォーマットで受信され、一実施形態では、カラー、グレースケール、又は白黒（モノクロ）である。入力画像４０１は、ピクセル値のアレイとして全層畳み込みネットワーク４０５に受信される。
【００２３】
第１の畳み込み層（ＣＯＮＶ１）４０２は、原入力画像４０１を入力として受信し、１つ以上の出力アクティベーションマップ（すなわち、入力画像４０１の表現）を生成する。第１の畳み込み層（ＣＯＮＶ１）４０２は、例えば、単純なエッジを検出するように構成された低レベルの特徴検出器と言える。第１の畳み込み層（ＣＯＮＶ１）４０２は、５のカーネルサイズ、１のストライド、及び０のパディングに基づいて、１つ以上の出力アクティベーションマップを生成する。訓練済みモデル３１０に記憶された自身のパラメータをもつカーネルは、入力画像４０１内の試料管頭部円のエッジ又はカーブを識別するように構成されたピクセル構造を表現する数字のアレイ（「重み」として知られる）を含む。カーネルのサイズは、入力画像４０１のピクセル値のアレイに適用されるフィルタのサイズと考えることができる。すなわち、カーネルのサイズは、ピクセル値がカーネルの数字のアレイで数学的に演算される（すなわち「フィルタリングされる」）入力画像の部分（「受容野」として知られる）を示す。この数学的演算は、入力画像のピクセル値にカーネル内の対応する数字を乗じ、次いで全乗算値を加算して合計に到達することを含む。合計は、目的の特徴（例えば、試料管頭部のエッジ又はカーブの一部）の受容野における存在を示す。この第１の畳み込み層において、カーネルサイズは５であり、５ピクセル×５ピクセルサイズのフィルタが入力画像４０１に適用されることを意味する。ストライドは、次の受容野をフィルタリングするためにカーネルの位置をシフトするピクセル数である。カーネルは、入力画像全体がフィルタリングされるまで、ストライドに従って入力画像を巡るシフト（「畳み込み」）を続ける。パディングは、出力アクティベーションマップの境界を巡って追加されるゼロピクセル値の行と列の数に関する。この最初の畳み込み層においてパディングは０であり、出力アクティベーションマップの境界にゼロピクセル値の行と列が追加されないことを意味する。したがって、出力アクティベーションマップは、入力画像のカーネルサイズ、重み、及び原ピクセル値に基づいて、入力画像中のピクセル強度を表現する計算されたピクセルの数字を含む。
【００２４】
第１の畳み込み層（ＣＯＮＶ１）４０２によって生成される１つ以上のクティベーションマップは、２のカーネルサイズ、２のストライド、及び０のパディングをもつ第１の最大プーリング層（ＰＯＯＬ１）４０４に適用される。第１の最大プーリング層（ＰＯＯＬ１）４０４は、第１の畳み込み層（ＣＯＮＶ１）４０２から受信した１つ以上のアクティベーションマップにある最大ピクセル値を有する出力アクティベーションマップを生成する。すなわち、入力アクティベーションマップに２のカーネルサイズを適用すると、各受容野における計算されたピクセル値の最大値は、第１の最大プーリング層（ＰＯＯＬ１）４０４によって生成される出力アクティベーションマップに含まれる。
【００２５】
第１の最大プーリング層（ＰＯＯＬ１）４０４によって生成される出力アクティベーションマップは、第２の畳み込み層（ＣＯＮＶ２）４０６に入力される。第２の畳み込み層（ＣＯＮＶ２）４０６は、第１の畳み込み層（ＣＯＮＶ１）４０２よりも、例えば、より円形の特徴（例えば、半円形）を検出するように構成される。第２の畳み込み層（ＣＯＮＶ２）４０６は、第１の最大プーリング層（ＰＯＯＬ１）４０４から受信した入力アクティベーションマップに適用された５のカーネルサイズ、１のストライド、及び０のパディングに基づいて、出力アクティベーションマップを生成する。
【００２６】
第２の畳み込み層（ＣＯＮＶ２）４０６によって生成されたアクティベーションマップは、第２の最大プーリング層（ＰＯＯＬ２）４０８に適用され、第２の最大プーリング層（ＰＯＯＬ２）４０８は、２のカーネルサイズ２、２のストライド、及び０のパディングをもつ。第２の最大プーリング層（ＰＯＯＬ２）４０８は、第１の最大プーリング層（ＰＯＯＬ１）４０４に関連して上述したように、第２の畳み込み層（ＣＯＮＶ２）４０６から受信したアクティベーションマップにある最大ピクセル値をもつ出力アクティベーションマップを生成する。
【００２７】
第２の畳み込み層（ＰＯＯＬ２）４０８からの出力アクティベーションマップは、全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０に入力される。全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０は、全結合層から変換された畳み込み層である。全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０は、例えば、前の層よりも高いレベルの特徴を検出するように構成される。全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０は、５のカーネルサイズ、１のストライド、及び０のパディングに基づくアクティベーションマップを生成する。
【００２８】
非線形層（ＲＥＬＵ１）４１２（すなわち、正規化線形ユニット：ＲｅＬＵ）は、全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０によって生成される出力アクティベーションマップに適用される。非線形層（ＲＥＬＵ１）４１２は、例えば関数ｆ（ｘ）＝ｍａｘ（０，ｘ）のような非線形関数を、全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０から受信したアクティベーションマップにおける全ての値に適用する。これにより、例えば、全ての負のアクティベーション値が０の値に割り当てられる。
【００２９】
非線形層（ＲＥＬＵ１）４１２から返されたアクティベーションマップは、エッジ畳み込み層（ＥＤＧＥ−ＣＯＮＶ）４１４に入力される。全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０と同様に、エッジ畳み込み層（ＥＤＧＥ−ＣＯＮＶ）４１４も、全結合畳み込み層から変換された畳み込み層である。エッジ畳み込み層（ＥＤＧＥ−ＣＯＮＶ）４１４は、そこから、５のカーネルサイズ、１のストライド、及び０のパディングに基づいて、フルフレーム管円エッジマップ４１５を生成する。エッジマップ４１５は入力画像４０１に対応し、例えば図２のメモリ２１６などの非一時的コンピュータ可読記憶媒体に記憶される。
【００３０】
エッジマップ４１５は、例えば、図６Ａ〜図６Ｃに示されるような、フルフレーム管円エッジマップ６１５Ａ，６１５Ｂ，６１５Ｃのいずれか１つである。エッジマップ６１５Ａ，６１５Ｂ，６１５Ｃはそれぞれ、図５Ａ〜図５Ｃの試料管頭部画像５０１Ａ，５０１Ｂ，５０１Ｃに対応し、例えば図２のメモリ２１６などの非一時的コンピュータ可読記憶媒体に記憶される。
【００３１】
全層畳み込みネットワーク４０５は、一実施形態に係る図７に示すように、パッチベースの畳み込みニューラルネットワーク７０５から導出され得る。このパッチベースの畳み込みニューラルネットワーク７０５は、第１の畳み込み層（ＣＯＮＶ１）７０２、第１の最大プーリング層（ＰＯＯＬ１）７０４、第２の畳み込み層（ＣＯＮＶ２）７０６、第２の最大プーリング層（ＰＯＯＬ２）７０８、第１の全結合層（ＦＣ１）７１０、非線形層（ＲＥＬＵ１）７１２、及び第２の全結合層（ＦＣ２）７１４を含む複数の層からなる。他の実施形態では、畳み込み層と最大プーリング層の数が異なっていてもよい。第１の畳み込み層（ＣＯＮＶ１）７０２への入力は、入力画像７０１である。第１の畳み込み層（ＣＯＮＶ１）７０２、第１の最大プーリング層（ＰＯＯＬ１）７０４、第２の畳み込み層（ＣＯＮＶ２）７０６、第２の最大プーリング層（ＰＯＯＬ２）７０８、及び非線形層（ＲＥＬＵ１）７１２は、それぞれ、全層畳み込みネットワーク４０５（図４）の第１の畳み込み層（ＣＯＮＶ１）４０２、第１の最大プーリング層（ＰＯＯＬ１）４０４、第２の畳み込み層（ＣＯＮＶ２）４０６、第２の最大プーリング層（ＰＯＯＬ２）４０８、及び非線形層（ＲＥＬＵ１）４１２と同一でよい。入力画像７０１は、図８Ａに示すように、固定サイズの画像パッチ８００Ａ（例えば、３２ピクセル×３２ピクセルである）である。予定の出力が、図８Ｂに示すような対応するグランドトゥルースエッジマップ８００Ｂの、画像パッチ８００Ａの中心パッチ８０１である。グランドトゥルースエッジマップ８００Ｂは手動のアノテーションから導出され、例えば８ピクセル×８ピクセルである。グランドトゥルース画像は、（例えば、画像処理方法からの）他の画像を比較するための非常に正確な画像である。第１の全結合層（ＦＣ１）７１０は５００個のノードを有し、一方、第２の全結合層（ＦＣ２）７１４は６４個のノードを有する。第２の全結合層（ＦＣ２）７１４の６４個のノードは、中心パッチのエッジマップ７１５の６４ピクセル（８ピクセル×８ピクセル）に対応する。図９Ａ〜図９Ｃ及び図１０Ａ〜図１０Ｃは、入力画像パッチ９００Ａ，１０００Ａ、グランドトゥルースエッジマップ９００Ｂ，１０００Ｂ、及びパッチベースの畳み込みニューラルネットワーク７０５から生成された該当出力９００Ｃ，１０００Ｃの例を示す。
【００３２】
入力である画像全体に関する試料管エッジマップ全体を生成するために、固定サイズ（例えば、３２ピクセル×３２ピクセル）のウインドウを用いて画像をスキャンし、各ピクセルからエッジ応答を蓄積する。しかし、これには多くの不必要な反復計算が関与する可能性があって、時間がかかる可能性がある。この不利点を克服するために、全層畳み込みネットワーク４０５は、図４に示すように、第１の全結合層（ＦＣ１）７１０を全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０に変換すると共に第２の全結合層（ＦＣ２）７１４をエッジ畳み込み層（ＥＤＧＥ−ＣＯＮＶ）４１４に変換することによって、パッチベースの畳み込みニューラルネットワーク７０５から導出されている。このようにして、任意のサイズの画像が、スキャンウインドウなしで、対応するエッジマップを直接生成するために、全層畳み込みネットワーク４０５に入力される。
【００３３】
図１１は、パッチベースの畳み込みニューラルネットワーク７０５で実行することができる訓練方法１１００を示す。まず、管円エッジが、円アノテーションツールによって手動でアノテーションされて、該当する訓練画像ごとに管円エッジ画像が生成される。一例として３２ｘ３２ピクセルサイズのパッチは、肯定パッチが少なくとも１つのエッジピクセルを含み且つ否定パッチがエッジピクセルを含まない各画像から、ランダムに抽出される。生成されたパッチは、グランドトゥルースエッジマップ中心パッチにできる限り一致する８×８ピクセルエッジ応答マップに３２×３２ピクセルグレイレベル画像を変換しようとするパッチベースのエッジ検出モデルを訓練するために、図７のパッチベースの畳み込みニューラルネットワーク７０５に入力される。そして、パッチベースの畳み込みニューラルネットワーク７０５及び訓練済みパッチベースモデル１１０２の全結合層が、上述のように全層畳み込みネットワーク４０５の全層畳み込み層に変換され、全層畳み込みネットワーク４０５は、その出力が可能な限り画像全体のエッジマップに一致するように、フルサイズの入力グレイレベル画像でリファインされる。訓練済みフルフレームエッジ検出モデル１１０４（ネットワークパラメータを含む）を備えたリファイン済み畳み込みニューラルネットワーク４０５は、任意のサイズの画像を入力として扱うことができ、出力として対応するエッジ応答マップを推定することができる。
【００３４】
図１２は、訓練済みモデルを試験する方法１２００を示す。パッチベースのエッジ検出モデルを備えたパッチベースの畳み込みニューラルネットワークのために、入力画像は、３２×３２ピクセルサイズのパッチに一様に分割される。各パッチは、８×８ピクセルサイズの対応する中心パッチのエッジ応答を推定するために、パッチベースのエッジ検出モデルに入力される。次に、「エッジマップ融合（フュージョン）」において、複数のパッチからの応答を、中心パッチを連結し正規化することによって融合し、試験画像全体の推定エッジマップを生成する。フルフレームエッジ検出モデルについては、任意サイズの試験画像を入力として提供し、畳み込みニューラルネットワーク４０５は、入力画像全体に対する対応するエッジ応答を直接推定する。したがって、フルフレームエッジ検出モデルの使用は、計算の点ではるかに効率的であると言える。
【００３５】
図１３に示されるように、一実施形態に係るエッジ検出のアプリケーション１３００は、これより高いレベルのタスクのための前処理ステップとし得る。例えば、推定されたエッジマップに基づいてフルフレームの管円検出を行うステップは、実際の管円エッジが強調され且つ無関係なエッジが抑制されるので、よりロバストであり得る。検出された管円は、自動診断分析システムにおいて有用な特徴である管トレイスロットからの管の高さ、直径、及び中心オフセットを推定するために、管評価に使用される。
【００３６】
図１４は、一実施例に係る、試料管頭部の画像を処理し、それに基づいてロボットを制御する方法１４００を図示する。この方法１４００は、例えば、システムコントローラ１０２（図１Ａ）又はシステムコントローラ２０２（図２）など、１つ以上のコントローラによって実行することができる。プロセスブロック１４０２で方法１４００は、１つ以上の試料管の１つ以上の各頭部の入力画像を受信する。例えば、入力画像は、図４の入力画像４０１、試料管頭部画像５０１Ａ，５０１Ｂ，５０１Ｃのうちのいずれか１つ以上である。
【００３７】
プロセスブロック１４０４で方法１４００は、第１及び第２の畳み込み層と、第１及び第２の最大プーリング層と、これに続く第１及び第２の全結合畳み込み層とを有する全層畳み込みニューラルネットワークを入力画像に適用する。例えば、畳み込みニューラルネットワークは、第１の畳み込み層（ＣＯＮＶ１）４０２と、第１の最大プーリング層（ＰＯＯＬ１）４０４と、第２の畳み込み層（ＣＯＮＶ２）４０６と、第２の最大プーリング層（ＰＯＯＬ２）４０８と、これに続く全結合畳み込み層（ＦＣ１−ＣＯＮＶ）４１０及びエッジ畳み込み層（ＥＤＧＥ−ＣＯＮＶ）４１４とを有する、図４の畳み込みニューラルネットワーク４０５である。
【００３８】
プロセスブロック１４０６で方法１４００は、プロセスブロック１４０４における適用に応じて、例えばエッジマップ６１５Ａ，６１５Ｂ，６１５Ｃのいずれか１つである、エッジマップを生成する。生成されたエッジマップは、例えば図２のメモリ２１６など、非一時的コンピュータ可読記憶媒体に記憶される。
【００３９】
プロセスブロック１４０８で方法１４００は、生成したエッジマップに基づいて試料管カテゴリ又は特徴を判定する。試料管のカテゴリ又は特徴には、管の高さ、管直径、画像中で最も短い管、画像中で最も長い（最も高い）管、管トレイスロットからの中心オフセット、管トレイスロットが空かどうか（すなわち、その中に試料管がない）、管タイプ（例えば、プレーン管、キャップ付き管、又は頭部試料カップ付き管）の１つ以上が含まれる。試料管カテゴリ又は特徴は、例えば図２のメモリ２１６など、非一時的コンピュータ可読記憶媒体に記憶される。
【００４０】
プロセスブロック１４１０で方法１４００は、判定した試料管カテゴリ又は特徴に基づいて、ロボット、エンドエフェクタ、１つ以上のプローブなどを制御する。例えば、判定した試料管カテゴリ又は特徴に基づいて、図１Ａのシステムコントローラ１０２（又は他の適切なコントローラ）は、試料管１１０の１つを把持し移動させるためにロボット１０３（及び／又はロボットに連結されたエンドエフェクタ）の動作を制御する。例えば、エンドエフェクタの開放度を管サイズに基づいて設定することができる。同様に、管トレイスロットの中心からのエンドエフェクタの相応のオフセットが、管頭部が管トレイ内でオフセットしている場合に達成される。さらに、エンドエフェクタの回転方向は、管頭部位置及び周囲の他の管頭部との位置関係に応じて変更することができる。したがって、試料管１１０の管頭部とエンドエフェクタとの間の衝突を最小限にするか、回避することができる。同様に管内にプローブ（例えば、ロボット１０３による）を配置することが、判定された試料管カテゴリ又は特徴に基づいて行われる。
【００４１】
一実施形態では、非一時的コンピュータ可読媒体、例えば、リムーバブル記憶ディスク又はデバイスが、例えばシステムプロセッサ２１４などのプロセッサにおいて実行されて方法１４００を遂行させるコンピュータ命令を含む。
【００４２】
ここに説明したシステム及び方法によって生成されるエッジマップは、他の物体からのエッジを抑制しながら試料管円のエッジを効果的に強調する。生成されたエッジマップは、種々の画像ベースの試料管分析及び評価にも使用できるという利点がある。例えば、生成されたエッジマップは、既存の管円検出及び位置確認方法への入力として使用することができ、そのうちの１つ以上は、管形状の評価及び管タイプ分類を可能にするために、例えば図２のシステムコントローラ２０２のメモリ２１６に、記憶することができる。管円検出及び位置確認方法によって判定される管形状特徴評価及び管タイプ分類は、システムコントローラ１０２又はシステムコントローラ２０２などのコントローラによって、ロボットとエンドエフェクタのいずれか又は両方、例えば図１Ａのロボット１０３、を制御して、例えば図１Ａの試料管１１０などの試料管を把持し移動させるために、また、試料管を配置するために使用することができる。
【００４３】
以上に実施形態を示したので、当業者は、特許請求の範囲に従う発明の範囲内にある多くの派生を想定できる。本発明は、特許請求の範囲に従ってのみ特定されることが意図されている。
【図１】
0006937884.tif 000002
【図２】
0006937884.tif 000003
【図３】
0006937884.tif 000004
【図４】
0006937884.tif 000005
【図５】
0006937884.tif 000006
【図６】
0006937884.tif 000007
【図７】
0006937884.tif 000008
【図８】
0006937884.tif 000009
【図９】
0006937884.tif 000010
【図１０】
0006937884.tif 000011
【図１１】
0006937884.tif 000012
【図１２】
0006937884.tif 000013
【図１３】
0006937884.tif 000014
【図１４】
0006937884.tif 000015