(57)【特許請求の範囲】
【請求項１】
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記複数の撮像画像のそれぞれに対して前記対象領域内の輝度勾配方向及び強度に基づいてＨＯＧ特徴量を算出し、該算出されたＨＯＧ特徴量を結合したベクトルを画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含む
ことを特徴とする画像処理装置。
【請求項２】
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記複数の撮像画像のうち焦点距離が隣り合う２つの撮像画像の差分画像のそれぞれに対して前記対象領域内の輝度勾配方向及び強度に基づいてＨＯＧ特徴量を算出し、該算出されたＨＯＧ特徴量を結合したベクトルを画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含む
ことを特徴とする画像処理装置。
【請求項３】
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記対象領域内の前記複数の撮像画像の面内方向と焦点距離方向からなる３次元の輝度勾配方向及び強度に基づいて３次元のＨＯＧ特徴量を画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含む
ことを特徴とする画像処理装置。
【請求項４】
前記標的細胞は、核を有する有核赤血球であり、
前記画像処理装置は、
前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出手段をさらに含み、
前記設定手段は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記標的細胞とそれ以外とを識別する第１の条件を、前記標的細胞の正例及び負例を複数の異なる焦点距離で撮像した複数の標本画像に基づいて機械学習する手段をさらに含む
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記機械学習する手段は、前記標的細胞と、当該標的細胞とは少なくとも焦点距離方向の画像情報の変化が異なる特定細胞とを識別する第２の条件を、前記標的細胞と前記特定細胞とをそれぞれ複数の異なる焦点距離で撮像した複数の標本画像に基づいて機械学習する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記判定手段は、前記対象領域について前記第１の条件及び前記第２の条件の両方で標的細胞と判定された場合に、前記対象領域に前記標的細胞が含まれると判定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記複数の撮像画像から、前記試料に焦点が最も合っている撮像画像を選択する画像選択手段をさらに含み、
前記設定手段は、前記複数の撮像画像のうち、前記画像選択手段により選択された撮像画像から焦点距離が予め定められた範囲内にある撮像画像について前記対象領域を設定する
ことを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記複数の撮像画像のそれぞれに対して前記対象領域内の輝度勾配方向及び強度に基づいてＨＯＧ特徴量を算出し、該算出されたＨＯＧ特徴量を結合したベクトルを画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段
としてコンピュータを機能させるためのプログラム。
【請求項１０】
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記複数の撮像画像のうち焦点距離が隣り合う２つの撮像画像の差分画像のそれぞれに対して前記対象領域内の輝度勾配方向及び強度に基づいてＨＯＧ特徴量を算出し、該算出されたＨＯＧ特徴量を結合したベクトルを画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段
としてコンピュータを機能させるためのプログラム。
【請求項１１】
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記対象領域内の前記複数の撮像画像の面内方向と焦点距離方向からなる３次元の輝度勾配方向及び強度に基づいて３次元のＨＯＧ特徴量を画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段
としてコンピュータを機能させるためのプログラム。
【請求項１２】
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
前記画像処理装置は、
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記複数の撮像画像のそれぞれに対して前記対象領域内の輝度勾配方向及び強度に基づいてＨＯＧ特徴量を算出し、該算出されたＨＯＧ特徴量を結合したベクトルを画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含む
ことを特徴とする画像処理システム。
【請求項１３】
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
前記画像処理装置は、
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記複数の撮像画像のうち焦点距離が隣り合う２つの撮像画像の差分画像のそれぞれに対して前記対象領域内の輝度勾配方向及び強度に基づいてＨＯＧ特徴量を算出し、該算出されたＨＯＧ特徴量を結合したベクトルを画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含む
ことを特徴とする画像処理システム。
【請求項１４】
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
前記画像処理装置は、
標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに対して前記標的細胞を検出する対象の対象領域を設定する設定手段と、
前記対象領域内の前記複数の撮像画像の面内方向と焦点距離方向からなる３次元の輝度勾配方向及び強度に基づいて３次元のＨＯＧ特徴量を画像特徴量として算出する算出手段と、
前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含む
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び画像処理システムに関する。
【背景技術】
【０００２】
出生前の胎児の診断を行う場合に、母胎血中に極微量に含まれる胎児由来の有核赤血球（ＮＲＢＣｓ、以下標的細胞）の色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、ＮＲＢＣｓを機械的に検出する技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３４６９２３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、細胞の厚み方向の形状を利用しない場合に比べて、標的細胞を撮像した画像の中から標的細胞を検出する精度を向上させることができる画像処理装置、プログラム及び画像処理システムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の発明は、標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、前記複数の撮像画像のうち少なくとも２以上について前記標的細胞を検出する対象の対象領域を設定する設定手段と、前記複数の撮像画像における前記対象領域内の画像の画像面内方向及び焦点距離方向の画像情報の変化に基づく画像特徴量を算出する算出手段と、前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含むことを特徴とする画像処理装置である。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記標的細胞は、核を有する有核赤血球であり、前記画像処理装置は、前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出手段をさらに含み、前記設定手段は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定することを特徴とする。
【０００７】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、前記標的細胞とそれ以外とを識別する第１の条件を、前記標的細胞の正例及び負例を複数の異なる焦点距離で撮像した複数の標本画像に基づいて機械学習する手段をさらに含むことを特徴とする。
【０００８】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記機械学習手段は、前記標的細胞と、当該標的細胞とは少なくとも焦点距離方向の画像情報の変化が異なる特定細胞とを識別する第２の条件を、前記標的細胞と前記特定細胞とをそれぞれ複数の異なる焦点距離で撮像した複数の標本画像に基づいて機械学習することを特徴とする。
【０００９】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記判定手段は、前記対象領域について前記第１の条件及び前記第２の条件の両方で標的細胞と判定された場合に、前記対象領域に前記標的細胞が含まれると判定することを特徴とする。
【００１０】
請求項６に記載の発明は、請求項１乃至５のいずれかに記載の画像処理装置において、前記複数の撮像画像から、前記試料に焦点が最も合っている撮像画像を選択する画像選択手段をさらに含み、前記設定手段は、前記複数の撮像画像のうち、前記画像選択手段により選択された撮像画像から焦点距離が予め定められた範囲内にある撮像画像について前記対象領域を設定することを特徴とする。
【００１１】
請求項７に記載の発明は、標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、前記複数の撮像画像のうち少なくとも２以上について前記標的細胞を検出する対象の対象領域を設定する設定手段と、前記複数の撮像画像における前記対象領域内の画像の画像面内方向及び焦点距離方向の画像情報の変化に基づく画像特徴量を算出する算出手段と、前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段としてコンピュータを機能させるためのプログラムである。
【００１２】
請求項８に記載の発明は、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、前記画像処理装置は、標的細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を取得する取得手段と、前記複数の撮像画像のうち少なくとも２以上について前記標的細胞を検出する対象の対象領域を設定する設定手段と、前記複数の撮像画像における前記対象領域内の画像の画像面内方向及び焦点距離方向の画像情報の変化に基づく画像特徴量を算出する算出手段と、前記画像特徴量が、前記標的細胞について定められた条件を満足するか否かに基づいて、前記対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含むことを特徴とする画像処理システムである。
【発明の効果】
【００１３】
請求項１、７及び８に記載の発明によれば、細胞の厚み方向の形状を利用しない場合に比べて、標的細胞を撮像した画像の中から標的細胞を検出する精度を向上させることができる。
【００１４】
請求項２に記載の発明によれば、本構成を有しない場合に比べて、有核赤血球を含む試料を撮像した撮像画像から有核赤血球を精度良く検出することができる。
【００１５】
請求項３に記載の発明によれば、標的細胞とそれ以外の細胞との識別を機械学習した結果を利用しない場合に比べて、標的細胞の検出精度を向上させることができる。
【００１６】
請求項４に記載の発明によれば、標的細胞と特定細胞との識別を機械学習した結果を利用しない場合に比べて、標的細胞の検出精度を向上させることができる。
【００１７】
請求項５に記載の発明によれば、本構成を有しない場合に比べて、標的細胞の検出精度を向上させることができる。
【００１８】
請求項６に記載の発明によれば、細胞の厚みにばらつきがある場合でも安定した画像特徴を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係る画像処理システムのシステム構成例を示す図である。
【図２】画像処理装置の機能ブロック図である。
【図３】焦点距離を変えて標的細胞と特定細胞とを撮像した画像例である。
【図４】第１〜４識別器の学習処理に関するフローチャートである。
【図５】標的細胞を検出する処理のフローチャートである。
【図６】細胞候補領域の識別処理のフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２１】
図１には、本実施形態に係る画像処理システム１のシステム構成例を示した。図１に示されるように画像処理システム１は、光学顕微鏡１０、画像処理装置２０、入力装置５０、表示装置６０を含み、画像処理装置２０と光学顕微鏡１０、入力装置５０及び表示装置６０とはデータ通信可能に接続されている。
【００２２】
光学顕微鏡１０は、試料台に配置されたスライドグラス１１上の試料を、対物レンズ１２等の光学系を介してＣＣＤカメラ１４で撮像する。光学顕微鏡１０には、スライドグラス１１と対物レンズ１２との距離を変化させる焦準機構１３を備えており、スライドグラス１１上の試料を複数の異なる焦点距離で撮像するようになっている。本実施形態では、試料には、母体血をスライドグラス１１に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球（ＮＲＢＣｓ）が青紫色に染色される。以下、ＮＲＢＣｓを標的細胞と称する。
【００２３】
画像処理装置２０は、光学顕微鏡１０で複数の異なる焦点距離において撮像された撮像画像（複数焦点画像）を取得するとともに、当該取得した撮像画像の中から標的細胞を検出する。画像処理装置２０において行われる標的細胞の検出処理の詳細については後述する。
【００２４】
入力装置５０は、例えばキーボードやマウス等のデバイスであり、ユーザから受け付けた操作を画像処理装置２０に入力する。例えば、画像処理装置２０は、表示装置６０に表示された画像に対し、ユーザが入力装置５０によって指定した画像領域の情報を標的細胞の正例、負例、又は他の特定細胞の画像特徴を学習するための学習情報として取得する。
【００２５】
表示装置６０は、例えば液晶表示装置等であり、画像処理装置２０による処理の結果に基づいて画面を表示する。例えば、表示装置６０には、光学顕微鏡１０で撮像された撮像画像や、画像処理装置２０による標的細胞の検出結果等が表示される。
【００２６】
次に、本実施形態に係る画像処理装置２０に備えられる機能について説明する。
【００２７】
図２には、画像処理装置２０の機能ブロック図を示した。図２に示されるように、画像処理装置２０は、複数焦点画像取得部２１、学習領域指定受付部２２、核候補領域抽出部２３、基準画像選択部２４、細胞サイズ推定部２５、細胞候補領域決定部２６、画像特徴量算出部２７、識別モデル学習部２８、識別モデルデータ保存部２９、標的細胞識別部３０（第１識別器３０）、特定細胞識別部３１（第２識別器３１Ａ、第３識別器３１Ｂ、第４識別器３１Ｃ）、検出結果生成部３２及び表示制御部３３を備える。
【００２８】
画像処理装置２０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置２０に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置２０に供給されることとしてもよい。
【００２９】
複数焦点画像取得部２１は、光学顕微鏡１０に備えられたＣＣＤカメラ１４より複数の異なる焦点距離においてそれぞれ試料の同部分を撮像した撮像画像（複数焦点画像）を光学顕微鏡１０から取得する。複数の異なる焦点距離は、予め定められていることとしてよく、例えば、オートフォーカス位置を基準としてオートフォーカス位置から予め定められた距離ずつ前後に焦点距離を離して設定することとしてよい。なお、複数焦点画像取得部２１で取得された画像は、表示制御部３３により表示装置６０に表示させることとしてよい。
【００３０】
学習領域指定受付部２２は、複数焦点画像取得部２１で取得された画像において、学習処理に利用する画像領域の指定を受け付ける。画像領域の指定は入力装置５０を介して行われることとしてよい。例えば、学習領域指定受付部２２は、標的細胞（有核赤血球）とそれ以外の画像との識別を学習する際には、撮像された画像において標的細胞が映し出されている画像領域を正例として、標的細胞が映し出されていない画像領域を負例として受け付ける。また、標的細胞と他の特定細胞（例えばリンパ球、白血球、ゴミの付着した赤血球）との識別を学習する際には、撮像された画像において標的細胞が映し出されている画像領域を正例として、特定細胞が映し出されている画像領域を負例として受け付けることとしてよい。そして、学習領域指定受付部２２は、３次元空間において焦点距離だけそれぞれ離れて配置された複数焦点画像を、受け付けた画像領域に基づいて切り出した３次元画像（例えば直方体）を、当該画像により学習処理を行う識別モデルの情報、及び当該画像が正例であるか負例であるかの種別情報とともに画像特徴量算出部２７に出力することとしてよい。
【００３１】
核候補領域抽出部２３は、複数焦点画像取得部２１で取得された各撮像画像に対して、色（ＲＧＢ値）又は濃度が予め定められた範囲内にある画素に基づいて、核の候補領域を抽出する。例えば、核候補領域抽出部２３は、撮像画像内の画素を、予め定められた色（又は濃度）の閾値により二値化することとしてよく、具体的には、色（又は濃度）が閾値よりも（又は閾値以上）濃い画素を黒画素として抽出することとしてよい。核候補領域抽出部２３は、複数焦点画像取得部２１で取得された各画像から抽出された画素が連結した複数の集合（画素群）を算出し、各集合に外接する直方体領域を核候補領域とすることとしてよい。
【００３２】
基準画像選択部２４は、複数焦点画像取得部２１で取得された複数焦点画像のうち、フォーカスが最も合っている画像を基準画像として選択する。例えば、基準画像選択部２４は、複数焦点画像取得部２１で取得された複数焦点画像について抽出されたそれぞれの核候補領域のコントラスト値を算出し、コントラストが最も高い核候補領域を含む撮像画像を基準画像として選択することとしてよい。
【００３３】
細胞サイズ推定部２５は、核候補領域抽出部２３により抽出された核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズのとり得る範囲を推定する。例えば、細胞サイズ推定部２５は、有核赤血球における核と細胞のサイズの範囲との関係式に基づいて、スライドグラス面上で有核赤血球がとり得る範囲（例えば矩形領域）を推定することとしてよい。具体的には、細胞サイズ推定部２５は、核候補領域内の一点を中心として、上記推定された範囲の矩形領域を細胞存在領域として設定する。
【００３４】
細胞候補領域決定部２６は、核候補領域抽出部２３で抽出された核候補領域と、基準画像選択部２４で選択された基準画像と、細胞サイズ推定部２５で推定したスライドグラス面上での細胞存在領域とに基づいて、複数焦点画像において標的細胞が含まれる可能性がある細胞候補領域を決定する。例えば、細胞候補領域決定部２６は、細胞サイズ推定部２５で推定されたスライドグラス面上の細胞存在領域と、基準画像選択部２４で選択された撮像画像から予め定められた焦点距離内の撮像画像群により構成される３次元画像（例えば直方体）を細胞候補領域として決定することとしてよい。細胞候補領域決定部２６は、複数の核候補領域ごとに細胞候補領域を決定し、決定された細胞候補領域内の複数焦点画像を、画像特徴量算出部２７に出力する。
【００３５】
画像特徴量算出部２７は、学習領域指定受付部２２又は細胞候補領域決定部２６から入力された複数焦点画像を指定された画像サイズに拡大もしくは縮小した後に、それらについての画像特徴量を算出する。例えば、画像特徴量算出部２７は、学習領域指定受付部２２から複数焦点画像が入力された場合には、入力された複数焦点画像から画像特徴量を算出した後に、算出した画像特徴量を識別モデル学習部２８に出力し、細胞候補領域決定部２６から複数焦点画像が入力された場合には、入力された複数焦点画像から画像特徴量を算出した後に、算出した画像特徴量を標的細胞識別部３０に出力する。以下、画像特徴量算出部２７により算出される画像特徴量の例（第１〜３）を説明する。
【００３６】
第１の例では、画像特徴量算出部２７は、入力された各焦点画像に対してHistograms of Oriented Gradients特徴（ＨＯＧ特徴）を算出し、これを焦点の順番（すなわち焦点距離が短い方から長い方、又はその逆）に結合したベクトルを画像特徴量として算出する。なお、ＨＯＧ特徴については、Navneet Dalal and Bill Triggs, “Histograms of Oriented Gradients for Human Detection”, In CVPR, pp.886-893, 2005に示される算出方法を用いることとしてよい。
【００３７】
第２の例では、画像特徴量算出部２７は、入力された複数焦点画像のうち、焦点距離が近い（すなわち隣り合う）二つの焦点画像の差分画像をそれぞれ作成し、作成された各差分画像からＨＯＧ特徴を算出し、これを焦点距離の順番に結合して画像特徴量として算出する。
【００３８】
第３の例では、画像特徴量算出部２７は、入力された複数焦点画像に基づいて３次元に拡張したＨＯＧ特徴を画像特徴量として算出する。通常の（２次元の）ＨＯＧ特徴は、対象画像をＡ個のセルから成るＢ個のブロックに分割し、各ブロックを構成するセルごとに画像の面内（Ｘ方向及びＹ方向）の輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム（［第１勾配方向の値，第２勾配方向の値，・・・，第Ｎ勾配方向の値］）を求め、これらの２乗平均が１になるようにブロック単位で正規化を行う。その後、正規化した輝度勾配方向ヒストグラムをブロック内で結合して作成したＡ×Ｎ個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したＡ×Ｂ×Ｎ個の値を対象画像のＨＯＧ特徴量としている。
【００３９】
そして、本実施形態において３次元に拡張したＨＯＧ特徴は、輝度勾配方向に、画像面内のＸ方向、Ｙ方向に加え、焦点距離方向（Ｚ方向）を加える。Ｚ方向の輝度勾配方向は、複数焦点画像間の差分に基づいて算出する。各セルは３次元の直方体であり、各セルについて３次元の輝度勾配方向及び強度を計算し、各セルについて計算された輝度勾配方向及び強度からヒストグラムを計算し、算出されたヒストグラムに基づいて３次元のＨＯＧ特徴を算出する。なお、対象とする３次元領域のＺ方向の分割数をＣとすると、画像特徴量の算出にはＡ×Ｂ×Ｃ個のセルが用いられる。
【００４０】
識別モデル学習部２８は、学習領域指定受付部２２により画像特徴量算出部２７に入力された複数焦点画像の識別器（識別モデル）の情報（第１〜４識別器）、正例、負例の種別情報、及び当該複数焦点画像について算出された画像特徴量に基づいて、各識別器の学習を行う。具体的には、識別モデル学習部２８は、第１識別器３０（標的細胞識別部３０）については、標的細胞の複数焦点画像の画像特徴量を正例、それ以外の複数焦点画像の画像特徴量を負例としてモデルパラメータを生成する。識別モデル学習部２８は、第２識別器については、標的細胞の複数焦点画像の画像特徴量を正例、リンパ球の複数焦点画像の画像特徴量を負例としてモデルパラメータを生成する。識別モデル学習部２８は、第３識別器については、標的細胞の複数焦点画像の画像特徴量を正例、標的細胞とアクペクト比が異なる細胞（例えば白血球）の複数焦点画像の画像特徴量を負例としてモデルパラメータを生成する。そして、識別モデル学習部２８は、第４識別器については、標的細胞の複数焦点画像の画像特徴量を正例、ゴミが付着した細胞（例えば赤血球）の複数焦点画像の画像特徴量を負例としてモデルパラメータを生成する。なお、第１〜４識別器には、AdaBoostやSupport Vector Machine等の機械学習モデルを用いることとしてよい。
【００４１】
識別モデルデータ保存部２９は、識別モデル学習部２８で生成された各識別器のモデルパラメータを保存する。
【００４２】
標的細胞識別部３０（第１識別器３０）は、細胞候補領域決定部２６により決定された細胞候補領域に係る複数焦点画像について算出された画像特徴量と、識別モデルデータ保存部２９に保存された第１識別器３０に係るモデルパラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞か否かを識別する。
【００４３】
特定細胞識別部３１は、細胞候補領域に含まれる細胞が標的細胞か、標的細胞と誤認識され易い特定細胞かを識別する。標的細胞を有核赤血球とすると、特定細胞には、リンパ球、サイズの大きな白血球、ゴミの付着した赤血球等が該当する。ここで、図３には、焦点距離を変えて標的細胞と特定細胞とを撮像した画像例を示した。
【００４４】
図３（ａ）は、有核赤血球を、オートフォーカス位置を中心として、焦点距離を−１μｍ、−０．５μｍ、０μｍ（オートフォーカス位置）、＋０．５μｍ、＋１μｍと変えて撮像した複数焦点画像の例である。
【００４５】
図３（ｂ）は、リンパ球を、オートフォーカス位置を中心として、焦点距離を−１μｍ、−０．５μｍ、０μｍ（オートフォーカス位置）、＋０．５μｍ、＋１μｍと変えて撮像した複数焦点画像の例である。
【００４６】
図３（ｃ）は、サイズの大きな白血球を、オートフォーカス位置を中心として、焦点距離を−１μｍ、−０．５μｍ、０μｍ（オートフォーカス位置）、＋０．５μｍ、＋１μｍと変えて撮像した複数焦点画像の例である。
【００４７】
図３（ｄ）は、ゴミの付着した赤血球を、オートフォーカス位置を中心として、焦点距離を−１μｍ、−０．５μｍ、０μｍ（オートフォーカス位置）、＋０．５μｍ、＋１μｍと変えて撮像した複数焦点画像の例である。
【００４８】
図３に示される例において、例えば（ａ）の＋１μｍの画像と、（ｂ）の−１μｍ、（ｃ）の＋１μｍ、（ｄ）の−１μｍ等は区別し難く、１枚の画像同士で比較した場合には誤認識され易くなる。しかしながら、各細胞は、焦点距離が変化した場合にはその画像において以下の変化が見られる。
【００４９】
（ａ）有核赤血球は、焦点距離が変化すると、核部分の面積が変化する。（ｂ）リンパ球は、核面積が大きいため、焦点距離が変化しても核部分の面積の変化が有核赤血球に比べて小さい。（ｄ）サイズの大きな白血球は、粘性が大きいために細胞がつぶれ、厚さ方向のサイズが小さく、アスペクト比が大きく、フォーカスが変化しても画像がほとんど変化しない。（ｄ）ゴミの付着した赤血球は、ゴミが細胞上部に付着するため、焦点が手前側にある時は鮮明で、奥側になると不鮮明になる。
【００５０】
そこで、本実施形態では、焦点距離を変化させた場合の画像変化を学習し、それを識別に利用することで、標的細胞と特定細胞との識別精度を向上させることとする。
【００５１】
特定細胞識別部３１は、標的細胞と特定細胞との識別を学習する機能を有するものであり、以下特定細胞識別部３１の構成の詳細について説明する。図２に示されるように特定細胞識別部３１は第２〜４識別器を有する。以下、第２〜４識別器について説明する。
【００５２】
第２識別器３１Ａは、細胞候補領域決定部２６により決定された細胞候補領域に係る複数焦点画像について算出された画像特徴量と、識別モデルデータ保存部２９に保存された第２識別器に係るモデルパラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞かリンパ球かを識別する。
【００５３】
第３識別器３１Ｂは、細胞候補領域決定部２６により決定された細胞候補領域に係る複数焦点画像について算出された画像特徴量と、識別モデルデータ保存部２９に保存された第３識別器に係るモデルパラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞かアクペクト比が異なる細胞（例えば白血球）かを識別する。
【００５４】
第４識別器３１Ｃは、細胞候補領域決定部２６により決定された細胞候補領域に係る複数焦点画像について算出された画像特徴量と、識別モデルデータ保存部２９に保存された第４識別器に係るモデルパラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞かゴミが付着した細胞（例えば赤血球）かを識別する。
【００５５】
本実施形態では、特定細胞識別部３１は、以下の第２識別器３１Ａ、第３識別器３１Ｂ、第４識別器３１Ｃを含み、標的細胞識別部３０において標的細胞が含まれていると識別された場合であっても、第２〜４識別器のうちいずれか１つ、いずれか２つ、又は全てにおいて細胞候補領域に含まれる細胞が標的細胞ではなく特定細胞であると識別された場合には、標的細胞を検出したと判断しないようにしてもよい。なお、特定細胞識別部３１を設けない場合には、標的細胞識別部３０による識別結果のみに基づいて標的細胞を検出することとしてよい。
【００５６】
検出結果生成部３２は、標的細胞識別部３０と特定細胞識別部３１の処理結果に基づいて標的細胞と検出された細胞候補領域を含む画像領域及びその座標の情報を生成する。また、検出結果生成部３２により生成された座標に光学顕微鏡１０の撮像範囲を移動させるように、光学顕微鏡１０を制御する制御信号を光学顕微鏡１０に出力するようにしてもよい。
【００５７】
表示制御部３３は、検出結果生成部３２により生成された画像領域及び座標を表示させる表示制御情報を表示装置６０に出力する。これにより、表示装置６０では、標的細胞と検出された画像領域と座標とが表示される。
【００５８】
次に、図４〜６に示したフローチャートを参照しながら、画像処理装置２０により行われる処理の流れについて説明する。
【００５９】
［学習処理］
図４には、第１〜４識別器の学習処理に関するフローチャートを示した。図４に示されるように、画像処理装置２０は、正例の複数焦点画像（すなわち標的細胞を含む画像）を取得し（Ｓ１０１）、取得した複数焦点画像について指定された画像領域（すなわち標的細胞に該当する画像領域）を切り出す（Ｓ１０２）。画像処理装置２０は、切り出した複数焦点画像の画像領域に基づいて、正例の画像特徴量を算出する（Ｓ１０３）。画像特徴量は、上述したように画像の面内方向及び焦点距離方向の３次元の要素を有するデータとして算出される。画像処理装置２０は、他に学習すべき正例の画像がある場合には（Ｓ１０４：Ｙ）、Ｓ１０１に戻り、他に学習すべき正例の画像がない場合には（Ｓ１０４：Ｎ）、Ｓ１０５に進む。
【００６０】
画像処理装置２０は、第ｉ（ｉの初期値＝１）識別器についての負例の複数焦点画像を取得し（Ｓ１０５）、取得した複数焦点画像について指定された画像領域（すなわち負例の細胞に該当する画像領域）を切り出す（Ｓ１０６）。画像処理装置２０は、切り出した複数焦点画像の画像領域に基づいて、第ｉ識別器の負例の画像特徴量を算出する（Ｓ１０７）。画像処理装置２０は、他に学習すべき第ｉ識別器の負例の画像がある場合には（Ｓ１０８：Ｙ）、Ｓ１０５に戻り、他に学習すべき第ｉ識別器の負例の画像がない場合には（Ｓ１０８：Ｎ）、Ｓ１０９に進む。
【００６１】
画像処理装置２０は、上記の処理により得た、正例の画像特徴量と負例の画像特徴量とを用いて第ｉ識別器の学習処理を実行し（Ｓ１０９）、学習処理により得た第ｉ識別器のモデルパラメータを保存する（Ｓ１１０）。
【００６２】
画像処理装置２０は、他に学習すべき識別器がある場合、すなわち本実施形態においてはｉ＝４でない場合には（Ｓ１１１：Ｎ）、ｉをインクリメントして（Ｓ１１２）、Ｓ１０５に戻り、他に学習すべき識別器がない場合、すなわち本実施形態においてはｉ＝４である場合には（Ｓ１１１：Ｙ）、学習処理を終了する。
【００６３】
［標的細胞の検出処理のフロー］
次に、標的細胞を検出する処理の流れを図５に示したフローチャートを参照しながら説明する。
【００６４】
図５に示されるように、画像処理装置２０は、処理対象の複数焦点画像を取得し（Ｓ２０１）、取得した複数焦点画像のそれぞれについて二値化処理を施す（Ｓ２０２）。次に、画像処理装置２０は、二値化処理後の複数焦点画像において標的細胞の核となり得る核候補領域（Ｎ個とする）を設定する（Ｓ２０３）。
【００６５】
画像処理装置２０は、変数ｊを１に初期化して（Ｓ２０４）、ｊ番目の核候補領域を取得し（Ｓ２０５）、取得した核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズＳのとり得る範囲（Ｓｍｉｎ≦Ｓ≦Ｓｍａｘ）を算出する（Ｓ２０６）。
【００６６】
画像処理装置２０は、Ｓの初期値を最小値（Ｓｍｉｎ）に設定して（Ｓ２０７）、ｊ番目の核候補領域内にサイズＳの細胞候補領域を設定し（Ｓ２０８）、設定した細胞候補領域に標的細胞が含まれるか否かの識別処理（細胞候補領域の識別処理）を実行する（Ｓ２０９）。細胞候補領域の識別処理のフローについては後述する。
【００６７】
画像処理装置２０は、核候補領域の全ての画素を処理していない場合には（Ｓ２１０：Ｎ）、Ｓ２０８に戻り、核候補領域の全ての画素を処理した場合には（Ｓ２１０：Ｙ）、細胞サイズＳのサイズをΔＳ（ΔＳは予め定められていることとしてもよいし、Ｓに予め定められた割合を乗じて設定してもよい）だけ大きくし（Ｓ２１１）、ここで細胞サイズＳが細胞サイズの最大値（Ｓｍａｘ）を上回らない場合には（Ｓ２１２：Ｎ）、Ｓ２０８に戻り、処理を継続する。
【００６８】
一方で、画像処理装置２０は、細胞サイズＳが細胞サイズの最大値（Ｓｍａｘ）を上回る場合には（Ｓ２１２：Ｙ）、全ての核候補領域を処理したか否か（すなわちｊ＝Ｎか）を判断する（Ｓ２１３）。ここで、画像処理装置２０は、全ての核候補領域を処理していない場合には（Ｓ２１３：Ｎ）、ｊをインクリメントして（Ｓ２１４）、Ｓ２０５に戻り、全ての核候補領域を処理した場合には（Ｓ２１３：Ｙ）、検出された標的細胞の座標とサイズに基づいて検出結果を生成する（Ｓ２１５）。そして、画像処理装置２０は、生成した検出結果に基づいて、標的細胞を表示装置６０に表示させる（Ｓ２１６）。
【００６９】
［細胞候補領域の識別処理のフロー］
上記フローにおける細胞候補領域の識別処理の詳細について図６に示したフローチャートを参照しながら説明する。
【００７０】
図６に示されるように、画像処理装置２０は、細胞候補領域内の複数焦点画像に基づいて、画像特徴量を算出する（Ｓ３０１）。そして、画像処理装置２０は、Ｓ３０１で算出した画像特徴量に基づいて、第１識別器３０により標的細胞（有核赤血球）か否かを識別し（Ｓ３０２）、標的細胞でない場合には（Ｓ３０３：Ｎ）、リターンする。
【００７１】
画像処理装置２０は、第１識別器３０により標的細胞と識別された場合には（Ｓ３０３：Ｙ）、Ｓ３０１で算出した画像特徴量に基づいて、第２識別器３１Ａにより標的細胞（有核赤血球）か否かを識別し（Ｓ３０４）、標的細胞でない場合には（Ｓ３０５：Ｎ）、リターンする。
【００７２】
画像処理装置２０は、第２識別器３１Ａにより標的細胞と識別された場合には（Ｓ３０５：Ｙ）、Ｓ３０１で算出した画像特徴量に基づいて、第３識別器３１Ｂにより標的細胞（有核赤血球）か否かを識別し（Ｓ３０６）、標的細胞でない場合には（Ｓ３０７：Ｎ）、リターンする。
【００７３】
画像処理装置２０は、第３識別器３１Ｂにより標的細胞と識別された場合には（Ｓ３０７：Ｙ）、Ｓ３０１で算出した画像特徴量に基づいて、第４識別器３１Ｃにより標的細胞（有核赤血球）か否かを識別し（Ｓ３０８）、標的細胞でない場合には（Ｓ３０９：Ｎ）、リターンする。
【００７４】
画像処理装置２０は、第４識別器３１Ｃにより標的細胞と識別された場合には（Ｓ３０９：Ｙ）、細胞候補領域内に標的細胞があると判断して、細胞候補領域の座標とサイズを保存して（Ｓ３１０）、リターンする。
【００７５】
以上説明した画像処理システム１によれば、細胞を含む試料を複数の異なる焦点距離で撮像した複数の撮像画像を用いて、画像特徴を画像の面内方向のみならず焦点距離方向の画像情報の変化に基づいて算出するようにしたことで、細胞の厚み方向の形状の情報を利用しない場合に比べて、撮像画像の中から標的細胞を検出する精度を向上させることができる。
【００７６】
また、本発明は、上記の実施形態に限定されるものではない。例えば、学習時に用いる複数焦点画像についてもフォーカスが最も合っている画像を基準画像として選択し、選択した基準画像に基づいて画像特徴量を算出することとしてもよい。
【符号の説明】
【００７７】
１  画像処理システム、１０  光学顕微鏡、１１  スライドグラス、１２  対物レンズ、１３  焦準機構、１４  ＣＣＤカメラ、２０  画像処理装置、２１  複数焦点画像取得部、２２学習領域指定受付部、２３  核候補領域抽出部、２４  基準画像選択部、２５  細胞サイズ推定部、２６  細胞候補領域決定部、２７  画像特徴量算出部、２８  識別モデル学習部、２９  識別モデルデータ保存部、３０  標的細胞識別部（第１識別器）、３１  特定細胞識別部、３１Ａ  第２識別器、３１Ｂ  第３識別器、３１Ｃ  第４識別器、３２  検出結果生成部、３３  表示制御部、５０  入力装置、６０  表示装置。
【図１】
0005464244.tif 000002
【図２】
0005464244.tif 000003
【図４】
0005464244.tif 000004
【図５】
0005464244.tif 000005
【図６】
0005464244.tif 000006
【図３】
0005464244.tif 000007