(57)【要約】【課題】標的細胞の複数の候補領域のうち、機械学習していない特徴において基準の候補領域と類似する候補領域を確認し易くする。【解決手段】画像処理装置２０は、標的細胞を含む試料を撮像した撮像画像を取得し、標的細胞とそれ以外とを識別する条件を、標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習し、撮像画像について標的細胞を検出する対象の複数の対象領域を設定し、複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で複数の対象領域をそれぞれ表示させる。そして、画像処理装置２０は、複数の対象領域のそれぞれについて、第１の画像特徴量以外の付加特徴量を含む第２の画像特徴量を算出し、表示された複数の対象領域を、複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示させる。【選択図】図１
2014041084.tif 000002
【特許請求の範囲】
【請求項１】
標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する手段と、
前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御手段と、
前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出手段と、
前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御手段と、を含む
ことを特徴とする画像処理装置。
【請求項２】
前記表示された前記複数の対象領域の中から、利用者の指定に基づいて前記基準の対象領域の選択を受け付ける受付手段を更に含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像特徴量は、複数の特徴量と、当該複数の特徴量の重みを含み、
前記画像処理装置は、
前記撮像画像の解析結果に基づき決定した分類に基づいて、前記第２の画像特徴量に含まれる複数の特徴量のそれぞれの重みを設定する重み設定手段を更に含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記標的細胞は、核を有する有核赤血球であり、
前記画像処理装置は、
前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出手段をさらに含み、
前記設定手段は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記特徴量は、前記試料の特徴を表す特徴量である
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する手段と、
前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御手段と、
前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出手段と、
前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御手段
としてコンピュータを機能させるためのプログラム。
【請求項７】
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
前記画像処理装置は、
標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する手段と、
前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御手段と、
前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出手段と、
前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御手段と、を含む
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び画像処理システムに関する。
【背景技術】
【０００２】
特許文献１には、ＮＲＢＣｓの色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、ＮＲＢＣｓを機械的に検出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３４６９２３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、標的細胞の複数の候補領域のうち、機械学習していない特徴において基準の候補領域と類似する候補領域が確認し易くなる画像処理装置、プログラム及び画像処理システムを提供することにある。
【課題を解決するための手段】
【０００５】
請求項１に係る発明は、標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する手段と、前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御手段と、前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出手段と、前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御手段と、を含むことを特徴とする画像処理装置である。
【０００６】
請求項２に係る発明は、前記表示された前記複数の対象領域の中から、利用者の指定に基づいて前記基準の対象領域の選択を受け付ける受付手段を更に含むことを特徴とする請求項１に記載の画像処理装置。
【０００７】
請求項３に係る発明は、前記第２の画像特徴量は、複数の特徴量と、当該複数の特徴量の重みを含み、前記画像処理装置は、前記撮像画像の解析結果に基づき決定した分類に基づいて、前記第２の画像特徴量に含まれる複数の特徴量のそれぞれの重みを設定する重み設定手段を更に含むことを特徴とする請求項１又は２に記載の画像処理装置である。
【０００８】
請求項４に係る発明は、前記標的細胞は、核を有する有核赤血球であり、前記画像処理装置は、前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出手段をさらに含み、前記設定手段は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置である。
【０００９】
請求項５に係る発明は、前記特徴量は、前記試料の特徴を表す特徴量であることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置である。
【００１０】
請求項６に係る発明は、標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する手段と、前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御手段と、前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出手段と、前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御手段としてコンピュータを機能させるためのプログラムである。
【００１１】
請求項７に係る発明は、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、前記画像処理装置は、標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する手段と、前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御手段と、前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出手段と、前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御手段と、を含むことを特徴とする画像処理システムである。
【発明の効果】
【００１２】
請求項１、６及び７に記載の発明によれば、標的細胞の複数の候補領域のうち、機械学習していない特徴において基準の候補領域と類似する候補領域が確認し易くなる。
【００１３】
請求項２に記載の発明によれば、利用者が指定した基準の候補領域と類似する候補領域が確認し易くなる。
【００１４】
請求項３に記載の発明によれば、試料の特徴に応じて設定した特徴において基準の候補領域と類似する候補領域が確認し易くなる。
【００１５】
請求項４に記載の発明によれば、有核赤血球の複数の候補領域のうち、機械学習していない特徴において基準の候補領域と類似する候補領域が確認し易くなる。
【００１６】
請求項５に記載の発明によれば、標的細胞の複数の候補領域のうち、試料の特徴を考慮した上で基準の候補領域と類似する候補領域が確認し易くなる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係る画像処理システムのシステム構成例を示す図である。
【図２】画像処理装置の機能ブロック図である。
【図３】検体の分類を説明する図である。
【図４】検体の分類処理を説明する図である。
【図５】第１の特徴量を説明する図である。
【図６】第２の特徴量を説明する図である。
【図７】第３の特徴量を説明する図である。
【図８】識別器の学習処理に関するフローチャートである。
【図９】撮像画像から標的細胞を検出する処理のフローチャートである。
【図１０】撮像画像から標的細胞を検出する処理のフローチャートである。
【図１１】候補画像の一覧表示画面の一例を示す図である。
【図１２】並び替え後の候補画像の一覧表示画面の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
【００１９】
図１には、本実施形態に係る画像処理システム１のシステム構成例を示した。図１に示されるように画像処理システム１は、光学顕微鏡１０、画像処理装置２０、入力装置５０、表示装置６０を含み、画像処理装置２０と光学顕微鏡１０、入力装置５０及び表示装置６０とはデータ通信可能に接続されている。
【００２０】
光学顕微鏡１０は、試料台に配置されたスライドグラス１１上の試料を、対物レンズ１２等の光学系を介してＣＣＤカメラ１４で撮像する。光学顕微鏡１０には、スライドグラス１１と対物レンズ１２との距離を変化させる焦準機構１３を備えており、スライドグラス１１上の試料を、焦点距離を変えて撮像可能となっている。本実施形態では、試料には、母体血をスライドグラス１１に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球（ＮＲＢＣｓ）が青紫色に染色される。以下、ＮＲＢＣｓを標的細胞と称する。
【００２１】
画像処理装置２０は、光学顕微鏡１０で撮像された撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞の候補画像を検出し、検出した候補画像を一覧表示する。そして、画像処理装置２０は、一覧表示した候補画像の中から選択された画像を基準画像として、基準画像と類似する順に候補画像を並び替えて表示する。画像処理装置２０において行われる上記処理の詳細については後述する。
【００２２】
入力装置５０は、例えばキーボードやマウス等のデバイスであり、ユーザから受け付けた操作を画像処理装置２０に入力する。例えば、画像処理装置２０は、表示装置６０に表示された画像に対し、ユーザが入力装置５０によって指定した画像領域の情報を標的細胞の正例、負例の画像特徴を学習するための学習情報として取得する。また、入力装置５０は、一覧表示された標的細胞の候補画像の中から基準画像を選択する際の入力をユーザから受け付ける。
【００２３】
表示装置６０は、例えば液晶表示装置等であり、画像処理装置２０による処理の結果に基づいて画面を表示する。例えば、表示装置６０には、光学顕微鏡１０で撮像された撮像画像、撮像画像から検出された標的細胞の一覧、一覧のソート結果等が表示される。
【００２４】
次に、本実施形態に係る画像処理装置２０に備えられる機能について説明する。
【００２５】
図２には、画像処理装置２０の機能ブロック図を示した。図２に示されるように、画像処理装置２０は、撮像画像取得部２１、学習領域指定受付部２２、候補領域設定部２３、第１画像特徴量算出部２４、識別モデル学習部２５、識別モデルデータ保存部２６、標的細胞識別部２７、第１評価値算出部２８、検体分類部２９、付加特徴量決定部３０、第２画像特徴量算出部３１、基準画像選択部３２、第２評価値算出部３３、及び表示制御部３４を備える。
【００２６】
画像処理装置２０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置２０に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置２０に供給されることとしてもよい。
【００２７】
撮像画像取得部２１は、光学顕微鏡１０に備えられたＣＣＤカメラ１４より試料を撮像した撮像画像を光学顕微鏡１０から取得する。なお、撮像画像取得部２１で取得された画像は、表示制御部３４により表示装置６０に表示させることとしてよい。
【００２８】
学習領域指定受付部２２は、撮像画像取得部２１で取得された画像において、学習処理に利用する画像領域の指定を受け付ける。画像領域の指定は入力装置５０を介して行われることとしてよい。例えば、学習領域指定受付部２２は、標的細胞（有核赤血球）とそれ以外の画像との識別を学習する際には、撮像された画像において標的細胞が映し出されている画像領域を正例として、標的細胞が映し出されていない画像領域を負例として受け付ける。そして、学習領域指定受付部２２は、受け付けた画像領域に基づいて切り出した画像を、当該画像が正例であるか負例であるかの種別情報とともに第１画像特徴量算出部２４に出力することとしてよい。
【００２９】
候補領域設定部２３は、撮像画像取得部２１で取得された撮像画像の内部に標的細胞の候補となり得る候補領域を設定する。以下、候補領域設定部２３による処理の具体例について説明する。
【００３０】
まず、候補領域設定部２３は、撮像画像取得部２１で取得された各撮像画像に対して、色（ＲＧＢ値）又は濃度が予め定められた範囲内にある画素に基づいて、核の候補領域を抽出する。例えば、候補領域設定部２３は、撮像画像内の画素を、予め定められた色（又は濃度）の閾値により二値化することとしてよく、具体的には、色（又は濃度）が閾値よりも（又は閾値以上）濃い画素を黒画素として抽出することとしてよい。候補領域設定部２３は、撮像画像取得部２１で取得された各画像から抽出された画素が連結した複数の集合（画素群）を算出し、各集合に外接する領域を核候補領域とすることとしてよい。
【００３１】
次に、候補領域設定部２３は、候補領域設定部２３により抽出された核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズのとり得る範囲を推定する。例えば、候補領域設定部２３は、有核赤血球における核と細胞のサイズの範囲との関係式に基づいて、スライドグラス面上で有核赤血球がとり得る範囲（例えば矩形領域）を推定することとしてよい。具体的には、候補領域設定部２３は、核候補領域内の一点を中心として、上記推定された範囲の矩形領域を細胞存在領域として設定する。
【００３２】
候補領域設定部２３は、候補領域設定部２３で抽出された核候補領域と、候補領域設定部２３で推定したスライドグラス面上での細胞存在領域とに基づいて、標的細胞が含まれる可能性がある細胞候補領域を決定し、決定した細胞候補領域内の撮像画像を、第１画像特徴量算出部２４に出力する。
【００３３】
第１画像特徴量算出部２４は、学習領域指定受付部２２又は候補領域設定部２３から入力された撮像画像を指定された画像サイズに拡大もしくは縮小した後に、それらについての第１画像特徴量を算出する。第１画像特徴量とは、識別モデル学習部２５による学習処理、及び標的細胞識別部２７による識別処理に用いる学習・識別用の画像特徴量であり、例えばＨＯＧ特徴量を用いることとしてよい。例えば、ＨＯＧ特徴量は以下のように算出することとしてよい。まず、対象画像をＡ個のセルから成るＢ個のブロックに分割し、各ブロックを構成するセルごとに画像の面内（Ｘ方向及びＹ方向）の輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム（［第１勾配方向の値，第２勾配方向の値，・・・，第Ｎ勾配方向の値］）を求め、これらの２乗平均が１になるようにブロック単位で正規化を行う。その後、正規化した輝度勾配方向ヒストグラムをブロック内で結合して作成したＡ×Ｎ個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したＡ×Ｂ×Ｎ個の値を対象画像のＨＯＧ特徴量としている。
【００３４】
第１画像特徴量算出部２４は、学習領域指定受付部２２から撮像画像が入力された場合には、入力された撮像画像から画像特徴量を算出した後に、算出した画像特徴量を識別モデル学習部２５に出力する。また、第１画像特徴量算出部２４は、候補領域設定部２３から撮像画像が入力された場合には、入力された撮像画像から画像特徴量を算出した後に、算出した画像特徴量を標的細胞識別部２７に出力する。
【００３５】
識別モデル学習部２５は、学習領域指定受付部２２により受け付けた正例、負例の画像について第１画像特徴量算出部２４により算出された第１画像特徴量に基づいて、標的細胞の識別を行う標的細胞識別部２７についての学習を行う。具体的には、識別モデル学習部２５は、標的細胞の撮像画像について算出された第１画像特徴量を正例、それ以外の撮像画像について算出された第１画像特徴量を負例として標的細胞識別部２７についてのモデルパラメータを生成する。なお、標的細胞識別部２７には、AdaBoostやSupport Vector Machine等の機械学習モデルを用いることとしてよい。
【００３６】
識別モデルデータ保存部２６は、識別モデル学習部２５で生成された標的細胞識別部２７のモデルパラメータを保存する。
【００３７】
標的細胞識別部２７は、候補領域設定部２３により決定された細胞候補領域に係る撮像画像について算出された第１画像特徴量と、識別モデルデータ保存部２６に保存された標的細胞識別部２７に係るモデルパラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞か否かを識別する。
【００３８】
第１評価値算出部２８は、学習された第１画像特徴量と、候補画像の第１画像特徴量に基づいて、候補画像が標的細胞である可能性が高い順にランク付けするための第１評価値を算出する。例えば、第１評価値算出部２８は、標的細胞識別部２７により標的細胞と識別された候補領域の第１画像特徴量と、学習された正例の第１画像特徴量の代表画像特徴量（正例の第１画像特徴量の中心又は平均）との距離を、候補領域の第１評価値として算出することとしてよい。また、第１評価値算出部２８は、標的細胞識別部２７により標的細胞と識別された候補領域の第１画像特徴量と、正例の第１画像特徴量と負例の第１画像特徴量とを分離する超平面からの距離を、候補領域の第１評価値として算出することとしてもよい。
【００３９】
表示制御部３４は、標的細胞識別部２７により標的細胞と識別された候補画像の一覧を表示装置に表示させる。ここで、表示制御部３４は、標的細胞識別部２７により標的細胞と識別された候補画像の一覧を、候補画像の第１評価値の順にソートして表示させることとしてよい。例えば、第１評価値が正例の代表画像特徴量からの距離である場合には、距離が小さい順に候補画像を表示させることとしてよい。
【００４０】
検体分類部２９は、処理対象の撮像画像に基づいて、当該撮像画像に対応する検体の特徴を解析し、解析した特徴に基づいて検体を分類する。具体的には、個々の検体には、図３に示されるように、好中球が多いクラス（クラスＡ）、リンパ球が多いクラス（クラスＢ）、ごみが多いクラス（クラスＣ）等の傾向があるため、これらのいずれのクラスに該当するか又は該当しないかを分類する。図３（Ａ）には、好中球が多い検体の例を、図３（Ｂ）には、リンパ球が多い検体の例を、図３（Ｃ）には、ごみが多い検体の例を示している。ここで、好中球は、核の色は有核赤血球と類似しているものの、核が枝分かれしている点で異なる。リンパ球は、形が有核赤血球と類似しているものの、色が有核赤血球よりも薄い点で異なる。以下、検体の分類処理の例について図４を参照しながら説明する。
【００４１】
検体分類部２９は、候補領域（図４（Ａ））の中から特定濃度以上（たとえばＲ，Ｇ，Ｂそれぞれの輝度値が１００以下）の領域（図４（Ｂ））を抽出し、抽出した領域内のＲ，Ｇ，Ｂのそれぞれの輝度値の平均値（色平均値）を算出する。ここで、検体分類部２９は、各候補領域に関して、色平均値の頻度分布（図４（Ｃ））を得る。ここで、検体分類部２９は、頻度分布において頻度が５０以上のところがない場合には、誤検出の少ない画像であり、クラスＡ〜Ｃのいずれにも該当しないと判断する。一方で、検体分類部２９は、頻度分布において頻度が５０以上のところがある場合には、色平均値についての閾値（例えばＢにおいて６０）を基準として、閾値未満の累積頻度が閾値以上の累積頻度よりも大きい場合には好中球が多いクラスＡと判定し、そうでない場合にはリンパ球が多いクラスＢと判定する。ごみが多いクラスＣであるか否かは、例えば、特定濃度以上の領域のサイズが閾値以上か否かで判定することとしてよい。
【００４２】
付加特徴量決定部３０は、候補領域を含む候補画像のそれぞれについて、第１画像特徴量とは異なる画像特徴量を付加特徴量として決定する。候補画像は候補領域を含む予め定められた大きさの領域としてよい。以下、付加特徴量として用いられる特徴量の例について説明する。
【００４３】
第１の特徴量は、候補画像に含まれる細胞の特徴を表す情報としてよい。具体的には、核の大きさ、核の色の平均値、核と細胞膜との面積比、細胞膜のサイズ、細胞膜の厚さ等の情報としてよい。なお、図５（Ａ）〜（Ｃ）には、第１の特徴量を核の大きさとした場合の（Ａ）好中球、（Ｂ）リンパ球、（Ｃ）ごみの多い検体についての第１の特徴量の例を示した。
【００４４】
第２の特徴量は、有核赤血球とそれ以外の細胞を区別する特徴量としてよい。図６には、第２の特徴量の例を説明する図を示した。図６に示される例では、候補領域を含む候補画像に複数のブロック領域を設定し、設定した複数のブロック領域の色情報（例えば、５×５×３（ＲＧＢ）次元の情報）を第２の特徴量とすることとしてよい。なお、図６（Ａ）〜（Ｃ）には、（Ａ）好中球、（Ｂ）ごみの多い検体、（Ｃ）リンパ球についての第２の特徴量の例を示した。
【００４５】
第３の特徴量は、候補画像に含まれる核候補領域の数としてよい。核候補領域は、候補画像における一定以上の濃度の画素群としてよい。ここで、図７には、第３の付加特徴量の例を説明する図を示した。図７（Ａ）は、好中球の場合、（Ｂ）は有核赤血球の場合を示しており、この図からも明らかなように、好中球の場合には候補画像内に複数の核候補領域が現れるが、有核赤血球の場合には１つの核候補領域が現れる。
【００４６】
第４の特徴量は、候補画像に含まれる候補領域について第１評価値算出部２８により算出された第１評価値を用いることとしてもよい。
【００４７】
付加特徴量決定部３０は、上述した第１〜第４の特徴量のいずれか、又はこれらのうち２以上の特徴量を組み合わせて付加特徴量を構成することとしてよい。
【００４８】
第２画像特徴量算出部３１は、第１画像特徴量と、付加特徴量決定部３０により決定された付加特徴量と、それぞれの重みとに基づいて、第２画像特徴量の構成を決定するとともに、標的細胞識別部２７により標的細胞と識別された候補画像のそれぞれについて、第２画像特徴量を算出する。例えば、第２画像特徴量算出部３１は、第１画像特徴量Ａ、付加特徴量（第１の特徴量Ｂ１，第２の特徴量Ｂ２，第３の特徴量Ｂ３，第４の特徴量Ｂ４）と、Ａの重みＷａ、Ｂ１〜Ｂ４のそれぞれの重みＷｂ１〜Ｗｂ４とした場合に、第２画像特徴量を（Ｗａ・Ａ，Ｗｂ１・Ｂ１，Ｗｂ２・Ｂ２，Ｗｂ３・Ｂ３，Ｗｂ４・Ｂ４）として生成することとしてよい。ここで、重みＷａ，Ｗｂ１〜Ｗｂ４は予め定められていてもよいが、このうちＷｂ２及びＷｂ３については検体分類部２９による分類結果に基づいて変更してもよい。具体的には、検体分類部２９により好中球が多いクラスＡと分類された場合には、Ｗｂ２の値を予め定められた値又は他の重みよりも大きく設定し、検体分類部２９によりリンパ球が多いクラスＢと分類された場合には、Ｗｂ３の値を予め定められた値又は他の重みよりも大きく設定することとしてよい。もちろん、上記のＷｂ１〜Ｗｂ４のうち少なくとも１つが０でなければ、それ以外の重みを０と設定しても構わない。
【００４９】
基準画像選択部３２は、標的細胞識別部２７により標的細胞と識別された候補画像の一覧表示の中から、入力装置を介して標的細胞の基準となる候補画像の選択を受け付け、受け付けた候補画像を基準画像として選択する。
【００５０】
第２評価値算出部３３は、基準画像選択部３２により選択された基準画像について第２画像特徴量算出部３１により算出された第２画像特徴量と、他の候補画像について第２画像特徴量算出部３１により算出された第２画像特徴量との距離を、それぞれの候補画像の第２評価値として算出する。
【００５１】
表示制御部３４は、標的細胞識別部２７により標的細胞と識別された候補画像の一覧を、候補画像の第２評価値の順にソートして表示させることとしてよい。例えば、第２評価値が基準画像の第２画像特徴量からの距離である場合には、距離が小さい順に候補画像を表示させることとしてよい。
【００５２】
次に、図８〜１０に示したフローチャートを参照しながら、画像処理装置２０により行われる処理の流れについて説明する。
【００５３】
［学習処理］
図８には、識別器の学習処理に関するフローチャートを示した。図８に示されるように、画像処理装置２０は、正例の撮像画像（すなわち標的細胞を含む画像）を取得し（Ｓ１０１）、取得した撮像画像について指定された画像領域（すなわち標的細胞に該当する画像領域）を切り出す（Ｓ１０２）。画像処理装置２０は、切り出した撮像画像の画像領域に基づいて、正例の第１画像特徴量を算出する（Ｓ１０３）。第１画像特徴量は、例えばＨＯＧ特徴量としてよい。画像処理装置２０は、他に学習すべき正例の画像がある場合には（Ｓ１０４：Ｙ）、Ｓ１０１に戻り、他に学習すべき正例の画像がない場合には（Ｓ１０４：Ｎ）、Ｓ１０５に進む。
【００５４】
画像処理装置２０は、負例の撮像画像（すなわち標的細胞ではない細胞を含む画像）を取得し（Ｓ１０５）、取得した撮像画像について指定された画像領域（すなわち負例の細胞に該当する画像領域）を切り出す（Ｓ１０６）。画像処理装置２０は、切り出した撮像画像の画像領域に基づいて、負例の第１画像特徴量を算出する（Ｓ１０７）。画像処理装置２０は、他に学習すべき負例の画像がある場合には（Ｓ１０８：Ｙ）、Ｓ１０５に戻り、他に学習すべき負例の画像がない場合には（Ｓ１０８：Ｎ）、Ｓ１０９に進む。
【００５５】
画像処理装置２０は、上記の処理により得た、正例の第１画像特徴量と負例の第１画像特徴量とを用いて標的細胞を識別する識別器の学習処理を実行し（Ｓ１０９）、学習処理により得た識別器のモデルパラメータを保存して（Ｓ１１０）、学習処理を終了する。
【００５６】
［標的細胞の検出処理のフロー］
次に、撮像画像から標的細胞を検出する処理の流れを図９〜図１０に示したフローチャートを参照しながら説明する。
【００５７】
図９に示されるように、画像処理装置２０は、処理対象の撮像画像を取得し（Ｓ２０１）、取得した撮像画像のそれぞれについて二値化処理を施す（Ｓ２０２）。次に、画像処理装置２０は、二値化処理後の撮像画像において標的細胞の核となり得る核候補領域（Ｎ個とする）を設定する（Ｓ２０３）。
【００５８】
画像処理装置２０は、変数ｊの初期値を１にして、ｊ番目の核候補領域を取得し（Ｓ２０４）、取得した核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズＳのとり得る範囲（Ｓｍｉｎ≦Ｓ≦Ｓｍａｘ）を算出する（Ｓ２０５）。
【００５９】
画像処理装置２０は、Ｓの初期値を最小値（Ｓｍｉｎ）に設定して（Ｓ２０６）、ｊ番目の核候補領域内にサイズＳの細胞候補領域を設定する（Ｓ２０７）。画像処理装置２０は、細胞候補領域内の撮像画像に基づいて、第１画像特徴量を算出し（Ｓ２０８）、算出した第１画像特徴量に基づいて、標的細胞識別部２７により標的細胞（有核赤血球）か否かを判定する（Ｓ２０９）。
【００６０】
画像処理装置２０は、標的細胞であると判定する場合には（Ｓ２０９：Ｙ）、細胞候補領域について第１評価値算出部２８により第１評価値を算出し（Ｓ２１０）、細胞候補領域の座標、サイズ、第１評価値を保存する（Ｓ２１１）。
【００６１】
画像処理装置２０は、Ｓ２１１の後、又は標的細胞でないと判定する場合（Ｓ２０９：Ｎ）にＳ２１１に進み、ここで核候補領域の全ての画素を処理していない場合には（Ｓ２１２：Ｎ）、Ｓ２０７に戻り、核候補領域の全ての画素を処理した場合には（Ｓ２１２：Ｙ）、細胞サイズＳのサイズをΔＳ（ΔＳは予め定められていることとしてもよいし、Ｓに予め定められた割合を乗じて設定してもよい）だけ大きくし（Ｓ２１３）、ここで細胞サイズＳが細胞サイズの最大値（Ｓｍａｘ）を上回らない場合には（Ｓ２１４：Ｎ）、Ｓ２０７に戻り、処理を継続する。
【００６２】
一方で、画像処理装置２０は、細胞サイズＳが細胞サイズの最大値（Ｓｍａｘ）を上回る場合には（Ｓ２１４：Ｙ）、全ての核候補領域を処理したか否か（すなわちｊ＝Ｎか）を判断する（Ｓ２１５）。ここで、画像処理装置２０は、全ての核候補領域を処理していない場合には（Ｓ２１５：Ｎ）、ｊをインクリメントして（Ｓ２１６）、Ｓ２０４に戻り、全ての核候補領域を処理した場合には（Ｓ２１５：Ｙ）、保存した細胞候補領域を第１評価値でソートして（Ｓ２１７）、ソート順に細胞候補領域を含む候補画像を一覧表示する（Ｓ２１８）。図１１には、第１評価値でのソート順で候補画像を一覧表示した一覧表示画面の例を示した。Ｓ２１８以降の処理は図１０に示したフローチャートを参照しながら説明する。
【００６３】
図１０に示されるように、画像処理装置２０は、一覧表示画面において、標的細胞の基準となる基準画像の指定を受け付ける（Ｓ２１９）。
【００６４】
画像処理装置２０は、付加特徴量決定部３０により付加特徴量の要素を決定し（Ｓ２２０）、検体分類部２９により検体を分類し（Ｓ２２１）、検体の分類に基づいて付加特徴量の核要素の重みを決定する（Ｓ２２２）。
【００６５】
画像処理装置２０は、基準候補画像の付加特徴量を取得するとともに（Ｓ２２３）、基準候補画像に含まれる細胞候補領域の第１画像特徴量と、付加特徴量と、それぞれの重みに基づいて第２画像特徴量を算出する（Ｓ２２４）。
【００６６】
次に、画像処理装置２０は、未処理の候補画像ｉ（ｉの初期値＝１、１≦ｉ≦Ｍ）を選択し（Ｓ２２５）、候補画像ｉの付加特徴量を取得するとともに（Ｓ２２６）、候補画像ｉに含まれる細胞候補領域の第１画像特徴量と、付加特徴量と、それぞれの重みに基づいて第２画像特徴量を算出する（Ｓ２２７）。
【００６７】
画像処理装置２０は、基準候補画像の第２画像特徴量と、候補画像ｉの第２画像特徴量との距離Ｄｉを第２評価値として算出する（Ｓ２２８）。
【００６８】
画像処理装置２０は、未処理の候補画像がある場合（すなわちｉがＭ未満である場合）には（Ｓ２２９：Ｙ）、ｉをインクリメントして（Ｓ２３０）、Ｓ２２５に戻り、未処理の候補画像がない場合（すなわちｉがＭである場合）には（Ｓ２２９：Ｎ）、処理した候補画像を第２評価値の順にソートし（Ｓ２３１）、ソート順に候補画像の一覧を表示する（Ｓ２３２）。図１２には、第２評価値でのソート順で候補画像を一覧表示した一覧表示画面の例を示した。
【００６９】
以上説明した画像処理システム１によれば、標的細胞の候補領域の中からユーザが指定した基準候補領域と、検体の個体的特徴を考慮した特徴量が類似する候補領域が見つけやすくなる。
【００７０】
また、本発明は、上記の実施形態に限定されるものではない。例えば、検体の分類はユーザが指定してもよいし、画像処理装置２０が検体の解析結果に基づくヒストグラム（図４（Ｃ））を表示装置６０に表示した後に、ユーザから検体の分類の指定を受け付けるようにしてもよい。また、標的細胞は、ＮＲＢＣｓに限定するものではなく、別の細胞を標的細胞としても構わない。
【符号の説明】
【００７１】
１  画像処理システム、１０  光学顕微鏡、１１  スライドグラス、１２  対物レンズ、１３  焦準機構、１４  ＣＣＤカメラ、２０  画像処理装置、２１  撮像画像取得部、２２  学習領域指定受付部、２３  候補領域設定部、２４  第１画像特徴量算出部、２５  識別モデル学習部、２６  識別モデルデータ保存部、２７  標的細胞識別部、２８  第１評価値算出部、２９  検体分類部、３０  付加特徴量決定部、３１  第２画像特徴量算出部、３２  基準画像選択部、３３  第２評価値算出部、３４  表示制御部、５０  入力装置、６０  表示装置。
【図１】
2014041084.tif 000003
【図２】
2014041084.tif 000004
【図８】
2014041084.tif 000005
【図９】
2014041084.tif 000006
【図１０】
2014041084.tif 000007
【図３】
2014041084.tif 000008
【図４】
2014041084.tif 000009
【図５】
2014041084.tif 000010
【図６】
2014041084.tif 000011
【図７】
2014041084.tif 000012
【図１１】
2014041084.tif 000013
【図１２】
2014041084.tif 000014
【手続補正書】
【提出日】平成25年5月17日(2013.5.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれについて算出された第１の画像特徴量と、前記標的細胞の機械学習に用いた第１の画像特徴量と、に基づき決定した順序で前記複数の対象領域の少なくとも一部を表示制御させる第１の表示制御手段と、
前記複数の対象領域のそれぞれについて算出された、前記標的細胞の機械学習に用いられていない特徴量を含む第２の画像特徴量に基づいて、前記第１の表示制御手段により表示制御された前記複数の対象領域の少なくとも一部の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量に基づき決定した順序で、前記設定手段で設定した複数の対象領域の少なくとも一部を表示制御させる第２の表示制御手段と、を含む
ことを特徴とする画像処理装置。
【請求項２】
前記第１表示制御手段により表示制御された前記複数の対象領域の少なくとも一部の中から、利用者の指定に基づいて前記基準の対象領域の選択を受け付ける受付手段を更に含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像特徴量は、複数の特徴量と、当該複数の特徴量のそれぞれの重みを含み、
前記画像処理装置は、
前記撮像画像の画像特徴に基づいて、該撮像画像に撮像された試料を複数の分類のうち何れかに分類する分類手段と、
前記分類手段による前記試料の分類に基づいて、前記対象領域について算出される第２の画像特徴量に含まれる複数の特徴量のそれぞれの重みを設定する重み設定手段を更に含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記複数の対象領域の一つの対象領域について算出される第２の画像特徴量は、該一つの対象領域について算出された第１の画像特徴量と該一つの対象領域の該第１の画像特徴量とは異なる少なくとも一つの特徴量とを含む複数の特徴量と、該複数の特徴量のそれぞれの重みと、に基づいて算出される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記分類手段は、前記撮像画像における特定濃度以上の判定領域の色平均値についての頻度分布において、いずれかの色平均値の頻度が第１の閾値以上である場合であって、色平均についての第２の閾値未満の累積頻度が、第２の閾値以上の累積頻度よりも大きいときには前記試料を第１の分類に、色平均についての第２の閾値未満の累積頻度が、第２の閾値以上の累積頻度以下であるときには第２の分類に分類し、
前記複数の特徴量は、前記対象領域を含んだ候補画像を複数に分割したブロック領域の色情報に基づいた第１の特徴量と、該候補画像における色又は濃度が予め定められた範囲内にある画素を連結した画素群の数に基づいた第２の特徴量と、を含み
前記重み設定手段は、前記試料が第１の分類である場合に、第１の特徴量の重みを第２の特徴量の重みよりも大きく設定し、前記試料が第２の分類である場合に、第２の特徴量の重みを第１の特徴量の重みよりも大きく設定する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記標的細胞は、核を有する有核赤血球であり、
前記画像処理装置は、
前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出手段をさらに含み、
前記設定手段は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する
ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれについて算出された第１の画像特徴量と、前記標的細胞の機械学習に用いた第１の画像特徴量と、に基づき決定した順序で前記複数の対象領域の少なくとも一部を表示制御させる第１の表示制御手段と、
前記複数の対象領域のそれぞれについて算出された、前記標的細胞の機械学習に用いられていない特徴量を含む第２の画像特徴量に基づいて、前記第１の表示制御手段により表示制御された前記複数の対象領域の少なくとも一部の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量に基づき決定した順序で、前記設定手段で設定した複数の対象領域の少なくとも一部を表示制御させる第２の表示制御手段
としてコンピュータを機能させるためのプログラム。
【請求項８】
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
前記画像処理装置は、
標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれについて算出された第１の画像特徴量と、前記標的細胞の機械学習に用いた第１の画像特徴量と、に基づき決定した順序で前記複数の対象領域の少なくとも一部を表示制御させる第１の表示制御手段と、
前記複数の対象領域のそれぞれについて算出された、前記標的細胞の機械学習に用いられていない特徴量を含む第２の画像特徴量に基づいて、前記第１の表示制御手段により表示制御された前記複数の対象領域の少なくとも一部の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量に基づき決定した順序で、前記設定手段で設定した複数の対象領域の少なくとも一部を表示制御させる第２の表示制御手段と、を含む
ことを特徴とする画像処理システム。
【手続補正書】
【提出日】平成25年8月8日(2013.8.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれについて算出された第１の画像特徴量と、前記標的細胞の機械学習に用いた第１の画像特徴量と、に基づき決定した順序で前記複数の対象領域の少なくとも一部を表示制御させる第１の表示制御手段と、
前記複数の対象領域のそれぞれについて算出された、前記標的細胞の機械学習に用いられていない特徴量を含む第２の画像特徴量に基づいて、前記第１の表示制御手段により表示制御された前記複数の対象領域の少なくとも一部の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量に基づき決定した順序で、前記設定手段で設定した複数の対象領域の少なくとも一部を表示制御させる第２の表示制御手段と、を含む
ことを特徴とする画像処理装置。
【請求項２】
前記第１の表示制御手段により表示制御された前記複数の対象領域の少なくとも一部の中から、利用者の指定に基づいて前記基準の対象領域の選択を受け付ける受付手段を更に含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像特徴量は、複数の特徴量と、当該複数の特徴量のそれぞれの重みを含み、
前記画像処理装置は、
前記撮像画像の画像特徴に基づいて、該撮像画像に撮像された試料を複数の分類のうち何れかに分類する分類手段と、
前記分類手段による前記試料の分類に基づいて、前記対象領域について算出される第２の画像特徴量に含まれる複数の特徴量のそれぞれの重みを設定する重み設定手段を更に含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記複数の対象領域の一つの対象領域について算出される第２の画像特徴量は、該一つの対象領域について算出された第１の画像特徴量と該一つの対象領域の該第１の画像特徴量とは異なる少なくとも一つの特徴量とを含む複数の特徴量と、該複数の特徴量のそれぞれの重みと、に基づいて算出される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記分類手段は、前記撮像画像における特定濃度以上の判定領域の色平均値についての頻度分布において、いずれかの色平均値の頻度が第１の閾値以上である場合であって、色平均についての第２の閾値未満の累積頻度が、第２の閾値以上の累積頻度よりも大きいときには前記試料を第１の分類に、色平均についての第２の閾値未満の累積頻度が、第２の閾値以上の累積頻度以下であるときには第２の分類に分類し、
前記複数の特徴量は、前記対象領域を含んだ候補画像を複数に分割したブロック領域の色情報に基づいた第１の特徴量と、該候補画像における色又は濃度が予め定められた範囲内にある画素を連結した画素群の数に基づいた第２の特徴量と、を含み
前記重み設定手段は、前記試料が第１の分類である場合に、第１の特徴量の重みを第２の特徴量の重みよりも大きく設定し、前記試料が第２の分類である場合に、第２の特徴量の重みを第１の特徴量の重みよりも大きく設定する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記標的細胞は、核を有する有核赤血球であり、
前記画像処理装置は、
前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出手段をさらに含み、
前記設定手段は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する
ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれについて算出された第１の画像特徴量と、前記標的細胞の機械学習に用いた第１の画像特徴量と、に基づき決定した順序で前記複数の対象領域の少なくとも一部を表示制御させる第１の表示制御手段と、
前記複数の対象領域のそれぞれについて算出された、前記標的細胞の機械学習に用いられていない特徴量を含む第２の画像特徴量に基づいて、前記第１の表示制御手段により表示制御された前記複数の対象領域の少なくとも一部の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量に基づき決定した順序で、前記設定手段で設定した複数の対象領域の少なくとも一部を表示制御させる第２の表示制御手段
としてコンピュータを機能させるためのプログラム。
【請求項８】
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
前記画像処理装置は、
標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定手段と、
前記複数の対象領域のそれぞれについて算出された第１の画像特徴量と、前記標的細胞の機械学習に用いた第１の画像特徴量と、に基づき決定した順序で前記複数の対象領域の少なくとも一部を表示制御させる第１の表示制御手段と、
前記複数の対象領域のそれぞれについて算出された、前記標的細胞の機械学習に用いられていない特徴量を含む第２の画像特徴量に基づいて、前記第１の表示制御手段により表示制御された前記複数の対象領域の少なくとも一部の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量に基づき決定した順序で、前記設定手段で設定した複数の対象領域の少なくとも一部を表示制御させる第２の表示制御手段と、を含む
ことを特徴とする画像処理システム。