(57)【要約】【課題】観測対象の認識結果を認識の成否の程度に応じて容易に判別可能とし、認識結果に基づく処理を認識の成否の程度に応じて処理可能とすること。【解決手段】画像処理装置１は、観測画像の中から観測対象に対応する対象領域を認識する細胞認識部３と、観測画像に含まれるエッジを検出した参照エッジ画像を生成する参照エッジ画像生成部４と、対象領域の輪郭部と領域内部とを分離する認識ラベル画像分離部５ａと、対象領域の輪郭部の参照エッジ画像での画素値の平均値である輪郭部エッジ成分強度平均を算出する輪郭部エッジ成分演算部５ｂと、対象領域内部の参照エッジ画像での画素値の平均値である内部エッジ成分強度平均を算出する内部エッジ成分演算部５ｃと、輪郭部エッジ成分強度平均と内部エッジ成分強度平均とに基づいて、認識の成否の程度を示す認識信頼度を対象領域ごとに対応付ける認識信頼度判定部５ｄと、を備える。【選択図】        図２
2007048006.tif 000002
【特許請求の範囲】
【請求項１】
入力された観測画像の中から観測対象に対応する画像領域である対象領域を認識する認識処理を行う画像処理装置において、
前記認識処理による認識の成否の程度を前記対象領域ごとに判定する認識信頼度判定手段を備えたことを特徴とする画像処理装置。
【請求項２】
前記認識信頼度判定手段は、前記観測画像に含まれるエッジを検出したエッジ画像の各画素が有するエッジ画素値を用いて前記認識処理による認識の成否の程度を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記認識信頼度判定手段は、前記対象領域の輪郭部に含まれる輪郭画素に対応する前記エッジ画像内の画素が有するエッジ画素値である輪郭エッジ強度と、前記対象領域の輪郭部を除く領域内部に含まれる内部画素に対応する前記エッジ画像内の画素が有するエッジ画素値である領域内エッジ強度と、を用いて前記認識処理による認識の成否の程度を判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記観測画像の中から仮対象領域を認識する仮領域認識手段と、
前記仮領域認識手段によって認識された各仮対象領域の中から、隣接した仮対象領域間の特徴を示す特徴量に基づいて、該隣接した仮対象領域同士を統合して統合領域を成形する領域統合手段と、
前記統合領域内の統合した仮対象領域間の境界線に含まれる境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値に応じて、前記仮対象領域または前記統合領域を前記対象領域として認識する選択的領域認識手段と、
をさらに備えたことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記観測画像の中から仮対象領域を認識する仮領域認識手段と、
前記仮領域認識手段によって認識された各仮対象領域の中から、隣接した仮対象領域間の特徴を示す特徴量に基づいて、該隣接した仮対象領域同士を統合して統合領域を成形する領域統合手段と、
前記統合領域内の統合した仮対象領域間の境界線に含まれる境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値に応じて、前記仮対象領域または前記統合領域を前記対象領域として認識する選択的領域認識手段と、
をさらに備え、
前記認識信頼度判定手段は、前記境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値を、前記領域内エッジ強度として前記認識処理による認識の成否の程度を判定することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記認識信頼度判定手段は、前記認識処理によって認識された対象領域と、あらかじめ設定された領域モデルとの適合度を用いて前記認識処理による認識の成否の程度を判定することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項７】
前記領域モデルは、前記観測対象の形状または輝度分布に基づいて規定されることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記認識処理によって認識された各対象領域を前記認識信頼度判定手段の判定結果に応じた態様で表示する制御を行う表示制御手段をさらに備えたことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記観測画像は、異なる観測時点に撮像された複数の画像を含み、
前記観測時点の異なる観測画像間の前記観測対象の同一性を判別する対象追跡手段をさらに備え、前記対象追跡手段は、前記認識信頼度判定手段で判定した前記認識処理による認識の成否の程度を、前記観測対象の同一性の判別に反映させることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記認識信頼度判定手段によって認識の成功度が低いと判定された前記対象領域に対応させて、認識の成功度が低い旨の警告情報を報知する制御を行う報知制御手段をさらに備えたことを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
【請求項１１】
前記観測対象は、細胞であることを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
【請求項１２】
入力された観測画像の中から観測対象に対応する画像領域である対象領域を認識する認識処理を行う画像処理装置に、前記認識処理を行わせるための画像処理プログラムにおいて、
前記画像処理装置に、
前記認識処理による認識の成否の程度を前記対象領域ごとに判定する認識信頼度判定手順を実行させることを特徴とする画像処理プログラム。
【請求項１３】
前記認識信頼度判定手順は、前記観測画像に含まれるエッジを検出したエッジ画像の各画素が有するエッジ画素値を用いて前記認識処理による認識の成否の程度を判定することを特徴とする請求項１２に記載の画像処理プログラム。
【請求項１４】
前記認識信頼度判定手順は、前記対象領域の輪郭部に含まれる輪郭画素に対応する前記エッジ画像内の画素が有するエッジ画素値である輪郭エッジ強度と、前記対象領域の輪郭部を除く領域内部に含まれる内部画素に対応する前記エッジ画像内の画素が有するエッジ画素値である領域内エッジ強度と、を用いて前記認識処理による認識の成否の程度を判定することを特徴とする請求項１３に記載の画像処理プログラム。
【請求項１５】
前記観測画像の中から仮対象領域を認識する仮領域認識手順と、
前記仮領域認識手順によって認識された各仮対象領域の中から、隣接した仮対象領域間の特徴を示す特徴量に基づいて、該隣接した仮対象領域同士を統合して統合領域を成形する領域統合手順と、
前記統合領域内の統合した仮対象領域間の境界線に含まれる境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値に応じて、前記仮対象領域または前記統合領域を前記対象領域として認識する選択的領域認識手順と、
をさらに実行させることを特徴とする請求項１２〜１４のいずれか一つに記載の画像処理プログラム。
【請求項１６】
前記観測画像の中から仮対象領域を認識する仮領域認識手順と、
前記仮領域認識手順によって認識された各仮対象領域の中から、隣接した仮対象領域間の特徴を示す特徴量に基づいて、該隣接した仮対象領域同士を統合して統合領域を成形する領域統合手順と、
前記統合領域内の統合した仮対象領域間の境界線に含まれる境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値に応じて、前記仮対象領域または前記統合領域を前記対象領域として認識する選択的領域認識手順と、
をさらに実行させ、
前記認識信頼度判定手順は、前記境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値を、前記領域内エッジ強度として前記認識処理による認識の成否の程度を判定することを特徴とする請求項１４に記載の画像処理プログラム。
【請求項１７】
前記認識信頼度判定手順は、前記認識処理によって認識された対象領域と、あらかじめ設定された領域モデルとの適合度を用いて前記認識処理による認識の成否の程度を判定することを特徴とする請求項１２〜１４のいずれか一つに記載の画像処理プログラム。
【請求項１８】
前記観測画像は、異なる観測時点に撮像された複数の画像を含み、
前記観測時点の異なる観測画像間の前記観測対象の同一性を判別する対象追跡手順をさらに実行させ、前記対象追跡手順は、前記認識信頼度判定手順で判定した前記認識処理による認識の成否の程度を、前記観測対象の同一性の判別に反映させることを特徴とする請求項１２〜１７のいずれか一つに記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像の中から観測対象に対応する画像領域を認識する画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、顕微鏡等を利用して種々の細胞を標本とする観測が行われている。例えば顕微鏡を用いた生細胞の経時的な観測では、通常、複数の時点で生細胞を撮像して得た各観測画像の中から目視作業と手作業とによって個々の生細胞を抽出し、抽出した各生細胞の特徴量の経時変化を観測時点の異なる観測画像間で比較して観測するとともに、観測画像間で各生細胞を対応付けて追跡することが行われる。
【０００３】
このような従来の観測手法では、観測細胞数、観測頻度、観測範囲、観測時間等の増大にともなって観測者にかかる負荷が増大するなどの問題があった。これに対して、観測画像の中から個々の細胞に対応する細胞領域を画像処理によって自動的に抽出し、観測者への負荷を軽減する技術が提案されている（たとえば、特許文献１参照）。
【０００４】
特許文献１に開示されている細胞形状抽出方法では、観測画像中の細胞に対してモデルとする細胞形状を当てはめて細胞中心位置を検出し、検出した細胞中心位置の周囲の濃度勾配を求め、濃度勾配方向と各画素から細胞中心位置へ向かう方向との一致度を算出して、細胞領域の輪郭を抽出するようにしている。
【０００５】
より具体的には、まず、観測画像内の任意画素で濃度勾配方向を算出し、この任意画素から濃度勾配方向に所定半径だけ離れた画素に対して得点を与える演算処理を、観測画像内の全画素について行う。この処理の結果、細胞中心に相当する画素は、各画素からの得点が集中して高得点を得る。次に、細胞輪郭部での濃度勾配方向が細胞中心に向かうことから、細胞中心の周囲画素の濃度勾配ベクトルと、任意画素から細胞中心に向かうベクトルとの内積に基づいて、細胞領域の輪郭を示す輪郭画素の候補となる候補画素を抽出する。その後、この抽出した候補画素をもとに、動的輪郭抽出法を利用して、細胞領域の詳細な輪郭の抽出を行う。動的輪郭抽出法では、細胞中心位置を中心とする指定半径の円形の閉曲線を設定し、設定した閉曲線が候補画素と重なる場合、この候補画素の濃度勾配の大きさを減ずる。そして、閉曲線の濃度勾配の大きさの和を評価値として、閉曲線の形状を局所的に変化させながら評価値を算出し、評価値が最小となる時の閉曲線を最終的な細胞領域の輪郭とする。
【０００６】
また、他の領域抽出方法として、分水嶺領域分割と呼ばれる画像処理手法を用いる方法がある（たとえば、非特許文献１参照）。この領域抽出方法では、低輝度画素の集中する領域ごとに画像を分割するようにしているが、一般に細胞は高輝度画素の集合として現れるため、高輝度画素の集中する領域ごとに観測画像を分割して、細胞領域を抽出するようにしている。このため、細胞領域を抽出する場合には、手法上、輝度を反転して、高輝度領域を分割するものとして適用する。
【０００７】
【特許文献１】特許第３３１４７５９号公報
【非特許文献１】Vincent & Soille , "Watersheds in Digital Spaces : An Efficient Algorithm Based on Immersion Simulations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.13, NO.6, JUNE 1991
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、画像処理による細胞領域の自動抽出では、一般に完全な結果を得ることが難しく、誤った抽出結果を生じる場合が多い。例えば特許文献１に開示されている細胞形状抽出方法では、モデルとする細胞形状をもとに細胞領域の輪郭を抽出するようにしているため、モデルから逸脱した細胞形状を捉えることが困難である。また、例えば蛍光蛋白を作用させた生細胞を撮像して得た蛍光画像を観測して、生細胞に対応する細胞領域の抽出を行う場合には、ノイズや蛍光量の変動等の影響により、細胞領域を安定して検出できない場合がある。細胞領域の抽出において誤差が生じた場合、抽出結果をもとに行われる特徴量の計測や生細胞の追跡などの処理にも誤差が伝播するという問題があった。
【０００９】
本発明は、上記に鑑みてなされたものであって、観測画像の中から観測対象に対応する領域を自動的に認識する認識処理において、認識の成否の程度を評価した評価結果を対応付けて認識結果を生成することができ、この結果、認識結果を認識の成否の程度に応じて容易に識別可能にするとともに、認識結果に基づく処理を認識の成否の程度に応じて処理可能にする画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、請求項１にかかる画像処理装置は、入力された観測画像の中から観測対象に対応する画像領域である対象領域を認識する認識処理を行う画像処理装置において、前記認識処理による認識の成否の程度を前記対象領域ごとに判定する認識信頼度判定手段を備えたことを特徴とする。
【００１１】
また、請求項２にかかる画像処理装置は、上記の発明において、前記認識信頼度判定手段は、前記観測画像に含まれるエッジを検出したエッジ画像の各画素が有するエッジ画素値を用いて前記認識処理による認識の成否の程度を判定することを特徴とする。
【００１２】
また、請求項３にかかる画像処理装置は、上記の発明において、前記認識信頼度判定手段は、前記対象領域の輪郭部に含まれる輪郭画素に対応する前記エッジ画像内の画素が有するエッジ画素値である輪郭エッジ強度と、前記対象領域の輪郭部を除く領域内部に含まれる内部画素に対応する前記エッジ画像内の画素が有するエッジ画素値である領域内エッジ強度と、を用いて前記認識処理による認識の成否の程度を判定することを特徴とする。
【００１３】
また、請求項４にかかる画像処理装置は、上記の発明において、前記観測画像の中から仮対象領域を認識する仮領域認識手段と、前記仮領域認識手段によって認識された各仮対象領域の中から、隣接した仮対象領域間の特徴を示す特徴量に基づいて、該隣接した仮対象領域同士を統合して統合領域を成形する領域統合手段と、前記統合領域内の統合した仮対象領域間の境界線に含まれる境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値に応じて、前記仮対象領域または前記統合領域を前記対象領域として認識する選択的領域認識手段と、をさらに備えたことを特徴とする。
【００１４】
また、請求項５にかかる画像処理装置は、上記の発明において、前記観測画像の中から仮対象領域を認識する仮領域認識手段と、前記仮領域認識手段によって認識された各仮対象領域の中から、隣接した仮対象領域間の特徴を示す特徴量に基づいて、該隣接した仮対象領域同士を統合して統合領域を成形する領域統合手段と、前記統合領域内の統合した仮対象領域間の境界線に含まれる境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値に応じて、前記仮対象領域または前記統合領域を前記対象領域として認識する選択的領域認識手段と、をさらに備え、前記認識信頼度判定手段は、前記境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値を、前記領域内エッジ強度として前記認識処理による認識の成否の程度を判定することを特徴とする。
【００１５】
また、請求項６にかかる画像処理装置は、上記の発明において、前記認識信頼度判定手段は、前記認識処理によって認識された対象領域と、あらかじめ設定された領域モデルとの適合度を用いて前記認識処理による認識の成否の程度を判定することを特徴とする。
【００１６】
また、請求項７にかかる画像処理装置は、上記の発明において、前記領域モデルは、前記観測対象の形状または輝度分布に基づいて規定されることを特徴とする。
【００１７】
また、請求項８にかかる画像処理装置は、上記の発明において、前記認識処理によって認識された各対象領域を前記認識信頼度判定手段の判定結果に応じた態様で表示する制御を行う表示制御手段をさらに備えたことを特徴とする。
【００１８】
また、請求項９にかかる画像処理装置は、上記の発明において、前記観測画像は、異なる観測時点に撮像された複数の画像を含み、前記観測時点の異なる観測画像間の前記観測対象の同一性を判別する対象追跡手段をさらに備え、前記対象追跡手段は、前記認識信頼度判定手段で判定した前記認識処理による認識の成否の程度を、前記観測対象の同一性の判別に反映させることを特徴とする。
【００１９】
また、請求項１０にかかる画像処理装置は、上記の発明において、前記認識信頼度判定手段によって認識の成功度が低いと判定された前記対象領域に対応させて、認識の成功度が低い旨の警告情報を報知する制御を行う報知制御手段をさらに備えたことを特徴とする。
【００２０】
また、請求項１１にかかる画像処理装置は、上記の発明において、前記観測対象は、細胞であることを特徴とする。
【００２１】
また、請求項１２にかかる画像処理プログラムは、入力された観測画像の中から観測対象に対応する画像領域である対象領域を認識する認識処理を行う画像処理装置に、前記認識処理を行わせるための画像処理プログラムにおいて、前記画像処理装置に、前記認識処理による認識の成否の程度を前記対象領域ごとに判定する認識信頼度判定手順を実行させることを特徴とする。
【００２２】
また、請求項１３にかかる画像処理プログラムは、上記の発明において、前記認識信頼度判定手順は、前記観測画像に含まれるエッジを検出したエッジ画像の各画素が有するエッジ画素値を用いて前記認識処理による認識の成否の程度を判定することを特徴とする。
【００２３】
また、請求項１４にかかる画像処理プログラムは、上記の発明において、前記認識信頼度判定手順は、前記対象領域の輪郭部に含まれる輪郭画素に対応する前記エッジ画像内の画素が有するエッジ画素値である輪郭エッジ強度と、前記対象領域の輪郭部を除く領域内部に含まれる内部画素に対応する前記エッジ画像内の画素が有するエッジ画素値である領域内エッジ強度と、を用いて前記認識処理による認識の成否の程度を判定することを特徴とする。
【００２４】
また、請求項１５にかかる画像処理プログラムは、上記の発明において、前記観測画像の中から仮対象領域を認識する仮領域認識手順と、前記仮領域認識手順によって認識された各仮対象領域の中から、隣接した仮対象領域間の特徴を示す特徴量に基づいて、該隣接した仮対象領域同士を統合して統合領域を成形する領域統合手順と、前記統合領域内の統合した仮対象領域間の境界線に含まれる境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値に応じて、前記仮対象領域または前記統合領域を前記対象領域として認識する選択的領域認識手順と、をさらに実行させることを特徴とする。
【００２５】
また、請求項１６にかかる画像処理プログラムは、上記の発明において、前記観測画像の中から仮対象領域を認識する仮領域認識手順と、前記仮領域認識手順によって認識された各仮対象領域の中から、隣接した仮対象領域間の特徴を示す特徴量に基づいて、該隣接した仮対象領域同士を統合して統合領域を成形する領域統合手順と、前記統合領域内の統合した仮対象領域間の境界線に含まれる境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値に応じて、前記仮対象領域または前記統合領域を前記対象領域として認識する選択的領域認識手順と、をさらに実行させ、前記認識信頼度判定手順は、前記境界画素に対応する前記エッジ画像内の画素が有するエッジ画素値を、前記領域内エッジ強度として前記認識処理による認識の成否の程度を判定することを特徴とする。
【００２６】
また、請求項１７にかかる画像処理プログラムは、上記の発明において、前記認識信頼度判定手順は、前記認識処理によって認識された対象領域と、あらかじめ設定された領域モデルとの適合度を用いて前記認識処理による認識の成否の程度を判定することを特徴とする。
【００２７】
また、請求項１８にかかる画像処理プログラムは、上記の発明において、前記観測画像は、異なる観測時点に撮像された複数の画像を含み、前記観測時点の異なる観測画像間の前記観測対象の同一性を判別する対象追跡手順をさらに実行させ、前記対象追跡手順は、前記認識信頼度判定手順で判定した前記認識処理による認識の成否の程度を、前記観測対象の同一性の判別に反映させることを特徴とする。
【発明の効果】
【００２８】
本発明にかかる画像処理装置および画像処理プログラムによれば、観測画像の中から観測対象に対応する領域を自動的に認識する認識処理において、認識の成否の程度を評価した評価結果を対応付けて認識結果を生成することができ、この結果、認識結果を認識の成否の程度に応じて容易に識別可能にするとともに、認識結果に基づく処理を認識の成否の程度に応じて処理可能にする。
【発明を実施するための最良の形態】
【００２９】
以下、添付図面を参照して、本発明にかかる画像処理装置および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００３０】
（実施の形態１）
まず、本発明の実施の形態１にかかる画像処理装置および画像処理プログラムについて説明する。図１は、本実施の形態１にかかる画像処理装置１の構成を示すブロック図である。また、図２は、図１に示す画像照合部５の詳細構成を示すブロック図である。
【００３１】
図１に示すように、画像処理装置１は、観測対象とする細胞を記録した観測画像を取得する画像取得部２と、観測画像の中から細胞に対応する画像領域である細胞領域を認識する細胞認識処理を行う細胞認識部３と、観測画像に含まれるエッジを検出したエッジ画像としての参照エッジ画像を生成する参照エッジ画像生成部４と、参照エッジ画像を用いて、細胞認識処理による認識の成否の程度を細胞領域ごとに判定する画像照合部５と、画像表示等の各種情報の表示を行う表示部６と、画像等の各種情報を記憶する記憶部７と、画像処理装置１の各部の処理および動作を制御する制御部８と、を備える。画像取得部２、細胞認識部３、参照エッジ画像生成部４、画像照合部５、表示部６および記憶部７は、制御部８に電気的に接続されている。
【００３２】
画像取得部２は、ＵＳＢ、ＩＥＥＥ１３９４等の通信用インターフェース、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の携帯型記憶媒体に対応するインターフェースなどの各種インターフェースを備え、インターフェースを介して外部装置から観測画像を取得する。なお、画像取得部２は、撮像レンズ、ＣＣＤ等の撮像素子およびＡ／Ｄ変換器を用いて実現される撮像装置を備え、この撮像装置が撮像して生成した観測画像を取得するようにしてもよい。この場合、画像取得部２が備える撮像装置には、デジタルカメラ、顕微鏡、視覚センサ等、デジタル画像を生成可能な各種形態の撮像装置が適用できる。画像取得部２は、取得した観測画像を細胞認識部３および参照エッジ画像生成部４に出力する。また、画像取得部２は、観測画像を記憶部７に出力して記憶させることもできる。
【００３３】
ここで、画像取得部２が取得する観測画像は、一例として、あらかじめ蛍光色素によって染色された生体組織中の細胞を撮像した細胞蛍光画像である。かかる細胞蛍光画像では、色素の作用した細胞の該当部位が明るく観測される。すなわち、細胞蛍光画像中の細胞領域は、高輝度画素の集中した画像領域として存在する。なお、細胞の染色は、細胞全体を染色するものであってもよく、あるいは細胞核、アクチン、細胞膜等の特定部位のみを染色するものであってもよい。また、染色に用いる色素は、蛍光色素に限定されるものではなく、細胞のコントラストを一層鮮明にするものであって、コントラストの他に細胞の特性を変質させないものであれば任意の色素でよい。すなわち、観測対象である細胞を記録した対象画像としての細胞画像は、細胞蛍光画像に限定されず、各種の細胞染色画像でよい。
【００３４】
また、画像取得部２が取得する観測画像は、モノクロ画像、カラー画像、色差画像等、観測対象が識別できる画像であれば任意形態の画像でよい。さらに、観測画像に記録される観測対象は、細胞に限定して解釈する必要はなく、車両等の物体、人物、動物など任意でよい。
【００３５】
細胞認識部３は、平滑部３ａ、勾配方向算出部３ｂ、到達極値算出部３ｃ、領域統合部３ｄ、背景除去部３ｅおよび標識部３ｆを備え、画像取得部２から取得した細胞蛍光画像の中から細胞領域を抽出して認識し、認識結果を示す認識ラベル画像を生成する。
【００３６】
ここで、平滑部３ａは、細胞蛍光画像を平滑化して画像中の輝度ムラを低減する。勾配方向算出部３ｂは、平滑化された細胞蛍光画像内の各画素の輝度（画素値）の勾配方向を算出するとともに、輝度の極大値を示す極値画素を検出する。勾配方向は、処理対象の画素から、この処理対象の画素に隣接する画素のうち最も輝度値の大きな画素に向かう方向として定義される。到達極値算出部３ｃは、勾配方向と極値画素とをもとに、細胞蛍光画像を仮細胞領域に領域分割した仮ラベル画像を生成する。領域統合部３ｄは、細胞蛍光画像中の細胞の輪郭形状に整合するように、仮ラベル画像の隣接した仮細胞領域を統合して、対象領域としての細胞領域を成形する。背景除去部３ｅは、細胞蛍光画像中の輝度値の小さい画素を、背景を示す背景画素として細胞領域から除去する。標識部３ｆは、細胞領域ごとに固有の領域標識を付与した認識ラベル画像を生成する。
【００３７】
また、細胞認識部３は、生成した認識ラベル画像を画像照合部５に出力する。なお、細胞認識部３は、生成した認識ラベル画像を、制御部８を介して記憶部７に出力して記憶させることもできる。また、細胞認識部３は、記憶部７に記憶された細胞蛍光画像を取得して認識ラベル画像を生成することもできる。
【００３８】
参照エッジ画像生成部４は、平滑部４ａ、構造保存平滑部４ｂ、エッジ抽出部４ｃ、輪郭強調部４ｄおよび階調変換部４ｅを備え、画像取得部２から取得した細胞蛍光画像に含まれるエッジを検出して参照エッジ画像を生成する。
【００３９】
ここで、平滑部４ａは、細胞蛍光画像を平滑化して画像中の輝度ムラを低減する。構造保存平滑部４ｂは、平滑部４ａによって平滑化された細胞蛍光画像に対し、細胞領域の輪郭部に対応する輝度値の谷を残しながら、細胞領域内部のノイズである微小な輝度値の谷を減少させる平滑化処理をさらに行う。エッジ抽出部４ｃは、構造保存平滑部４ｂによって平滑化された細胞蛍光画像の中から、細胞領域と背景との境界あるいは細胞領域同士の境界等を示す輝度値の変動をエッジとして検出したエッジ画像を生成する。輪郭強調部４ｄは、エッジ画像内に含まれるエッジのうち、細胞領域内部のエッジ成分を弱め、細胞領域の輪郭部のエッジ成分を強調する。階調変換部４ｅは、輪郭強調部４ｄによって処理されたエッジ画像をもとに、弱いエッジをより弱めるように階調変換を行って参照エッジ画像を生成する。
【００４０】
また、参照エッジ画像生成部４は、生成した参照エッジ画像を画像照合部５に出力する。なお、参照エッジ画像生成部４は、生成した参照エッジ画像を、制御部８を介して記憶部７に出力して記憶させることもできる。また、参照エッジ画像生成部４は、記憶部７に記憶された細胞蛍光画像を取得して参照エッジ画像を生成することもできる。
【００４１】
画像照合部５は、図２に示すように、認識ラベル画像分離部５ａ、輪郭部エッジ成分演算部５ｂ、内部エッジ成分演算部５ｃおよび認識信頼度判定部５ｄを備え、参照エッジ画像の各画素が有するエッジ画素値を用いて、細胞認識部３によって認識された細胞領域ごとに認識信頼度を対応付ける。
【００４２】
ここで、認識ラベル画像分離部５ａは、細胞認識部３によって生成された認識ラベル画像から細胞領域の輪郭部と領域内部とを分離し、輪郭部を抽出した輪郭部ラベル画像と、領域内部を抽出した内部ラベル画像とを生成する。輪郭部エッジ成分演算部５ｂは、輪郭部ラベル画像に示される細胞領域の輪郭部に含まれる輪郭画素に対応する、参照エッジ画像内の画素が有するエッジ画素値の平均値である輪郭部エッジ成分強度平均を算出する。内部エッジ成分演算部５ｃは、内部ラベル画像に示される細胞領域内部に含まれる内部画素に対応する、参照エッジ画像内の画素が有するエッジ画素値の平均値である内部エッジ成分強度平均を算出する。認識信頼度判定部５ｄは、輪郭部エッジ成分強度平均と内部エッジ成分強度平均とに基づいて、細胞認識部３で認識した各細胞領域について、その認識の成否の程度を判定する。
【００４３】
また、画像照合部５は、認識ラベル画像と認識の成否の程度を示す認識信頼度とを表示部６に出力する。なお、画像照合部５は、認識信頼度を、制御部８を介して記憶部７に出力して記憶させることもできる。また、画像照合部５は、記憶部７に記憶された認識ラベル画像および参照エッジ画像を取得して認識の成否の程度を判定することもできる。
【００４４】
表示部６は、ＣＲＴ、液晶ディスプレイ等を有する表示装置を備え、画像照合部５から出力される認識ラベル画像と認識信頼度とを取得し、画像情報および数値情報として表示する。この表示では、表示部６は、画像情報および数値情報のいずれか一方のみを表示することができる。また、両方を同時もしくは切り換えて表示することができる。なお、表示部６は、記憶部７に記憶された認識ラベル画像と認識信頼度とを取得して表示するようにしてもよい。
【００４５】
記憶部７は、各種処理プログラム等があらかじめ記憶されたＲＯＭと、各種処理の処理パラメータ、処理データ等を記憶するＲＡＭとを用いて実現される。記憶部７は、特に、細胞認識部３、参照エッジ画像生成部４および画像照合部５に処理を実行させるためのプログラム、すなわち画像処理装置１に細胞蛍光画像の中から細胞領域を認識する認識処理を行わせるとともに、認識信頼度を対応付ける認識信頼度判定処理を実行させるための画像処理プログラムを記憶する。なお、記憶部７は、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の携帯型記憶媒体を着脱可能な記憶部として備えるようにしてもよい。
【００４６】
制御部８は、記憶部７に記憶された各種処理プログラムを実行するＣＰＵ等を用いて実現される。制御部８は、特に、記憶部７に記憶された画像処理プログラムを実行し、この画像処理プログラムにしたがって細胞認識部３、参照エッジ画像生成部４および画像照合部５の処理および動作を制御する。また、制御部８は、画像照合部５から出力される認識ラベル画像と認識信頼度とを、画像情報および数値情報として表示部６に表示させる制御を行う。このとき、細胞認識部３によって認識された各細胞領域を、認識信頼度に応じた態様で表示するように表示部６を制御する。なお、制御部８は、認識ラベル画像と認識信頼度以外にも、原画像としての細胞蛍光画像、平滑化後の細胞蛍光画像、仮ラベル画像、参照エッジ画像等を表示部６に表示させる制御を行うこともできる。
【００４７】
また、制御部８は、認識信頼度判定部５ｄによって細胞領域の認識の成功度が低いと判定された細胞領域について、認識の成功度が低い旨の警告情報を報知する制御を行う。すなわち、認識信頼度が低い細胞領域について、誤認識を起こしている可能性が高い旨、認識結果に基づいて行われる各種処理において誤った処理が行われる可能性が高い旨等を、観測者に通知するように制御を行う。
【００４８】
ここで、画像処理装置１が行う処理手順について説明する。図３は、制御部８が画像処理プログラムを実行することによって、画像処理装置１が細胞蛍光画像を処理する画像処理手順を示すフローチャートである。図３に示すように、まず、画像取得部２は、外部装置から細胞蛍光画像を取得し（ステップＳ１０１）、細胞認識部３は、画像取得部２から取得した細胞蛍光画像の中から細胞領域を認識して認識ラベル画像を生成する細胞認識処理を行う（ステップＳ１０３）。
【００４９】
つづいて、参照エッジ画像生成部４は、画像取得部２から取得した細胞蛍光画像に含まれるエッジを検出して参照エッジ画像を生成する参照エッジ画像生成処理を行う（ステップＳ１０５）。画像照合部５は、参照エッジ画像生成部４から取得した参照エッジ画像を用いて、細胞認識部３から取得した認識ラベル画像内の各細胞領域に認識信頼度を対応付ける認識信頼度判定処理を行う（ステップＳ１０７）。表示部６は、画像照合部５から取得した認識ラベル画像と認識信頼度とを認識結果として表示する（ステップＳ１０９）。その後、制御部８は、一連の画像処理を終了する。
【００５０】
なお、制御部８は、例えば所定の処理終了の指示情報等を受け付けるまでステップＳ１０１〜Ｓ１０９の処理を繰り返し行うことができる。また、ステップＳ１０１において画像取得部２から細胞蛍光画像を取得する代わりに、記憶部７に記憶された細胞蛍光画像を取得してステップＳ１０３からの処理を実行することもできる。さらに、ステップＳ１０１〜Ｓ１０５を処理する代わりに、記憶部７に記憶された認識ラベル画像および参照エッジ画像を取得してステップＳ１０７を実行することもできる。また、ステップＳ１０９を省略することもできる。なお、制御部８は、ステップＳ１０３とステップＳ１０５とを処理順序を入れ換えて行ってもよい。
【００５１】
つぎに、図３に示したステップＳ１０３〜Ｓ１０９について、より具体的に各処理内容を説明する。まず、ステップＳ１０３の細胞認識処理について説明する。図４は、細胞認識処理の処理手順を示すフローチャートである。図４に示すように、平滑部３ａは、画像取得部２から取得した細胞蛍光画像を平滑化する平滑化処理を行い（ステップＳ１１１）、勾配方向算出部３ｂは、平滑化された細胞蛍光画像の各画素の輝度の勾配方向を算出するとともに極値画素を検出する勾配方向算出処理を行う（ステップＳ１１３）。
【００５２】
つづいて、到達極値算出部３ｃは、勾配方向算出部３ｂから取得した勾配方向および極値画素をもとに、細胞蛍光画像を仮細胞領域に領域分割して仮ラベル画像を生成する到達極値算出処理を行う（ステップＳ１１５）。領域統合部３ｄは、仮ラベル画像中の隣接した仮細胞領域を統合して細胞領域を成形する領域統合処理を行う（ステップＳ１１７）。背景除去部３ｅは、細胞蛍光画像中の輝度値の小さい画素を背景画素として細胞領域から除去する背景除去処理を行う（ステップＳ１１９）。標識部３ｆは、成形された細胞領域ごとに固有の領域標識を付与して認識ラベル画像を生成するラベリング処理を行う（ステップＳ１２１）。そして、制御部８は、標識部３ｆから画像照合部５に認識ラベル画像を出力させた後、ステップＳ１０５の処理に移る。
【００５３】
ステップＳ１１１では、平滑部３ａは、細胞蛍光画像中のエッジ等、大きな輝度値変化を示す輝度分布の構造を保存しながら細胞蛍光画像を平滑化して輝度ムラを低減する。なお、平滑部３ａは、平滑化処理の結果としての平滑化画像を、制御部８を介して記憶部７に出力して記憶させることができる。
【００５４】
ステップＳ１１３では、勾配方向算出部３ｂは、まず、処理対象画素と、この処理対象画素を中心とする８近傍の各隣接画素との間で、隣接画素の輝度値から処理対象画素の輝度値を差し引いた輝度値差を算出し、処理対象画素から輝度値差が最大となる隣接画素に向かう方向を勾配方向とする。そして、この勾配方向を処理対象画素に対応付けて記録する。また、勾配方向算出部３ｂは、８近傍の各隣接画素との間で算出した輝度値差がすべて負の値となる場合に、処理対象画素を８近傍内の極大値を示す極値画素として記録する。かかる処理を、勾配方向算出部３ｂは、細胞蛍光画像内のすべての画素に対して順次行う。
【００５５】
ステップＳ１１５では、到達極値算出部３ｃは、処理対象画素から勾配方向を順に極値画素に到達するまでたどり、経路となった各画素を到達した極値画素に対応付ける。この処理を細胞蛍光画像内のすべての画素に対して順次行い、各画素をいずれかの極値画素に対応付ける。そして、到達極値算出部３ｃは、同一の極値画素に対応付けられた各画素が同一の領域を構成するものとして、この極値画素ごとの各領域を仮細胞領域と認識し、各仮細胞領域に固有の領域標識を付与して仮ラベル画像を生成する。このようにして生成された仮ラベル画像では、細胞蛍光画像における輝度値の微細な変化に対応する極値画素ごとに仮細胞領域が形成されているため、通常、細胞蛍光画像中に本来存在する細胞領域よりも細かな仮細胞領域に分割されている。なお、仮細胞領域に付与される領域標識は、固有のものであれば番号、アルファベット、記号等を用いた任意の表記でよい。
【００５６】
ステップＳ１１７では、領域統合部３ｄは、例えば、隣接した各仮細胞領域の極値画素間で極値間距離が所定の閾値以下の場合に、この隣接した仮細胞領域を統合して細胞領域とする。ここで、極値間距離とは、図５に示すように、細胞蛍光画像の輝度値の分布を示す輝度分布曲線に沿った距離であって、異なる極値画素のそれぞれに対応する輝度分布曲線上の点を結ぶ距離である。図５では、輝度分布曲線上の２点を結ぶ太線で示した部分曲線の長さが極値間距離となる。
【００５７】
また、領域統合部３ｄは、例えば、細胞蛍光画像に含まれるエッジを検出したエッジ画像を生成することとして、エッジ画像と仮ラベル画像とを比較することによって、隣接した仮細胞領域を統合することもできる。この場合、領域統合部３ｄは、図６に示すように、仮ラベル画像中の隣接した仮細胞領域の境界線を示す画素に対応するエッジ画像内の画素が有する強度値が、所定の閾値以下の場合、この境界線を示す画素を除去し、隣接した仮細胞領域を統合する。図６では、仮ラベル画像内に矢印で示す境界線は、エッジ画像内では微弱であってほとんど認識されないため、細胞領域の輪郭とは異なるものとして除去される。
【００５８】
領域統合部３ｄは、かかる領域統合の処理を、仮ラベル画像中に存在するすべての隣接した仮細胞領域に対して行い、統合を行えなくなるまで繰り返す。そして、統合を繰り返した結果として残された仮細胞領域を、最終的な細胞領域として認識する。なお、領域統合部３ｄによって統合されなかった仮細胞領域は、そのまま細胞領域として認識される。
【００５９】
ステップＳ１１９では、背景除去部３ｅは、例えば所定の閾値以下の輝度値を有する画素、あるいは所定の閾値以下の輝度値を有する極値画素に対応する細胞領域に含まれる全画素を、背景画素として除去する。
【００６０】
ステップＳ１２１では、標識部３ｆは、細胞領域ごとに新たに固有の領域標識を付与するようにしてもよく、仮細胞領域に付与した領域標識を引き継ぐようにしてもよい。領域標識を引き継ぐ場合には、標識部３ｆは、仮細胞領域の統合が行われた結果としての細胞領域に、統合前の各仮細胞領域のいずれかの領域標識を引き継ぐようにする。なお、細胞領域に付与される領域標識も、固有のものであれば番号、アルファベット、記号等を用いた任意の表記でよい。
【００６１】
つぎに、ステップＳ１０５の参照エッジ画像生成処理について説明する。図７は、参照エッジ画像生成処理の処理手順を示すフローチャートである。図７に示すように、まず、平滑部４ａは、画像取得部２から取得した細胞蛍光画像を平滑化する平滑化処理を行う（ステップＳ１３１）。そして、構造保存平滑部４ｂは、この平滑化された細胞蛍光画像に対して、さらに細胞領域内部のノイズを減少させる構造保存平滑化処理を行う（ステップＳ１３３）。
【００６２】
つづいて、エッジ抽出部４ｃは、構造保存平滑部４ｂによって平滑化された細胞蛍光画像の中からエッジを検出してエッジ画像を生成するエッジ抽出処理を行う（ステップＳ１３５）。輪郭強調部４ｄは、このエッジ画像内のエッジのうち、細胞領域の輪郭部を示すエッジ成分を強調する輪郭強調処理を行う（ステップＳ１３７）。階調変換部４ｅは、輪郭強調処理後のエッジ画像をもとに階調変換を行って参照エッジ画像を生成する階調変換処理を行う（ステップＳ１３９）。そして、制御部８は、階調変換部４ｅから画像照合部５に参照エッジ画像を出力させた後、ステップＳ１０７の処理に移る。
【００６３】
ステップＳ１３１では、平滑部４ａは、例えば図８に示すガウシアンフィルタを細胞蛍光画像に畳み込むことによって、細胞蛍光画像中の微細な輝度ムラを低減する。また、ステップＳ１３３では、構造保存平滑部４ｂは、例えば、処理対象画素を中心とする５×５画素を参照して処理対象画素の輝度値を変換する処理を、細胞蛍光画像内の各画素を処理対象画素として順次行うことによって、細胞蛍光画像の全体を平滑化する。
【００６４】
図９は、かかる平滑化処理において構造保存平滑部４ｂが参照する５×５画素を示す模式図である。図中、各画素を示す矩形内に、その画素の輝度値を示す変数が記されている。構造保存平滑部４ｂは、このような５×５画素の中心にある処理対象画素の輝度値ｖ(１３)を、次式（１）によって輝度値ｖ’(１３)に変換する。この変換処理によって、処理対象画素に対して輝度値が近い近傍画素ほど重みを大きくした輝度値の加重平均が求められる。
【数１】
2007048006.tif 000003
ここで、変数ａ(ｉ)（ｉ＝１〜２５）は、変数ｓｖ(ｉ)を用いた次式（２），（３）によって求められる。なお、式（２）では、演算値ｍａｘ（ｓｖ）≠０であることが前提とされている。また、式（２）で用いる指数αは、α＝０．５とすることが好ましい。
【数２】
2007048006.tif 000004
ｓｖ(ｉ) ＝ ｜ｖ(ｉ)−ｖ(１３)｜                          ・・・（３）
【００６５】
なお、ステップＳ１３１の平滑化処理およびステップＳ１３３の構造保存平滑化処理は、画像取得部２から取得する細胞蛍光画像の種類等に応じて省略することができる。
【００６６】
ステップＳ１３５では、エッジ抽出部４ｃは、構造保存平滑部４ｂによって平滑化された細胞蛍光画像内の各画素に対し、一次微分値や二次微分値を算出する。エッジ抽出部４ｃは、一次微分値を用いる場合、例えば一次微分フィルタであるＳｏｂｅｌフィルタを用いて算出する。この場合、エッジ抽出部４ｃは、図１０−１に示すｘ方向Ｓｏｂｅｌフィルタの畳み込みの出力Ｓ１(ｋ)と、図１０−２に示すｙ方向Ｓｏｂｅｌフィルタの畳み込みの出力Ｓ２(ｋ)とを用い、次式（４）によって、画素番号ｋの一次微分値Ｅ1(ｋ)を算出する。ここで、画素番号ｋは、各画素の画素番号を示している。
【数３】
2007048006.tif 000005
【００６７】
また、エッジ抽出部４ｃは、二次微分値を用いる場合、例えば輝度値変化の凹部を検出する二次微分フィルタを用いて算出する。この場合、エッジ抽出部４ｃは、図１１−１に示すｘ方向凹部検出フィルタの畳み込みの出力Ｃ１(ｋ)と、図１１−２に示すｙ方向凹部検出フィルタの畳み込みの出力Ｃ２(ｋ)と、図１１−３に示すｘ＋ｙ＋方向凹部検出フィルタの畳み込みの出力Ｃ３(ｋ)と、図１１−４に示すｘ＋ｙ−方向凹部検出フィルタの畳み込みの出力Ｃ４(ｋ)とを用い、これらの出力の中から次式（５）に示すように最大値を抽出して、画素番号ｋの二次微分値Ｅ2(ｋ)とする。ここで、画素番号ｋは、各画素の画素番号を示している。
Ｅ2(ｋ)＝Ｍａｘ（Ｃ１(ｋ)，Ｃ２(ｋ)，Ｃ３(ｋ)，Ｃ４(ｋ)）  ・・・（５）
【００６８】
ステップＳ１３７では、輪郭強調部４ｄは、エッジ抽出部４ｃによって生成されたエッジ画像の各画素の輝度値Ｅ(ｋ)と、構造保存平滑部４ｃによって平滑化された細胞蛍光画像の各画素の輝度値Ｖ(ｋ)とを用い、次式（６）によって、細胞領域の輪郭部のエッジ成分を強調した各画素の輝度値Ｅc(ｋ)を算出する。なお、式（６）で用いる係数ｍは、ｍ＝０．５５とすることが好ましい。
Ｅc(ｋ)＝ｍ・Ｅ(ｋ)−Ｖ(ｋ)                              ・・・（６）
【００６９】
ステップＳ１３９では、階調変換部４ｅは、図１２−１に示すように、中心の処理対象画素に対して４種類の方向フィルタＦＴ１〜ＦＴ４を適用し、各方向フィルタ内の画素が有する輝度値の中から、輝度最大値Ｅｃmaxと輝度最小値Ｅｃminとを抽出する。そして、抽出した輝度最大値Ｅｃmaxの大きさを１、輝度最小値Ｅｃminの大きさを０とするように諧調変換を行う。このとき、諧調変換部４ｅは、次式（７）に示す諧調変換関数によって、処理対象画素の輝度値Ｅｃinを輝度値Ｅｃoutに変換する。この諧調変換関数に対する入力としての輝度値Ｅｃinと、出力としての輝度値Ｅｃoutとの関係を図１２−２に示す。なお、式（７）で用いる指数γは、γ＝４とすることが好ましい。
【数４】
2007048006.tif 000006
【００７０】
なお、方向フィルタＦＴ１は、処理対象画素の左右方向を参照する横方向フィルタであり、方向フィルタＦＴ２は、処理対象画素の上下方向を参照する縦方向フィルタである。また、方向フィルタＦＴ３は、右下および左上方向を参照する斜め方向フィルタであり、方向フィルタＦＴ４は、右上および左下方向を参照する斜め方向フィルタである。各方向フィルタＦＴ１〜ＦＴ４は、処理対象画素を中心とする各方向の１０画素ずつを参照する。ただし、この参照する画素数は、各方向１０画素ずつに限定されるものではなく、これより増減させることもできる。また、各方向フィルタＦＴ１〜ＦＴ４は、図１２−１では、各方向で画素列を１列のみ参照するように示したが、参照する画素列は１列に限定されるものではなく、処理対象画素を含む画素列を中心とする３列、もしくはそれ以上の画素列を参照することもできる。
【００７１】
以上説明したステップＳ１０５の参照エッジ画像生成処理によって生成される参照エッジ画像の一例を図１３−１に示す。また、図１３−１に示す参照エッジ画像に対応する細胞蛍光画像を図１３−２に示す。
【００７２】
つぎに、ステップＳ１０７の認識信頼度判定処理について説明する。この認識信頼度判定処理では、認識信頼度判定部５ｄは、認識ラベル画像内の各細胞領域の輪郭部エッジ成分強度平均と内部エッジ成分強度平均とをもとに、細胞領域ごとに認識結果の良好さ、認識を阻害する成分の度合いを判断することで、各細胞領域の認識の成否の程度を判定する。
【００７３】
認識された細胞領域の認識の成否の程度は、輪郭部のエッジ成分が大きいほど、また細胞領域内部のエッジ成分が小さいほど成功度が高いといえる。すなわち、輪郭部のエッジ成分が小さければ、その細胞領域は、より大きな細胞領域の一部を分割して成形された可能性が高いと考えられる。また、細胞領域内部のエッジ成分が大きければ、その細胞領域は、より細かい細胞領域に分割できる可能性が高い、あるいはノイズを多く含んだ細胞領域である可能性が高いと考えられる。そこで、認識信頼度判定部５ｄでは、認識された細胞領域の妥当性であり、細胞認識処理による認識の成否の程度を示す認識信頼度を、各細胞領域の輪郭部のエッジ成分および細胞領域内部のエッジ成分の大きさにより判断するようにしている。
【００７４】
図１４は、認識信頼度判定処理の処理手順を示すフローチャートである。図１４に示すように、まず、認識ラベル画像分離部５ａは、細胞認識部３から取得した認識ラベル画像内の細胞領域を輪郭部と領域内部とに分離し、輪郭部ラベル画像と内部ラベル画像とを生成する（ステップＳ１４１）。そして、輪郭部エッジ成分算出部５ｂは、輪郭部ラベル画像をもとに輪郭部エッジ成分強度平均Ｖcon(Ｌ)を算出し（ステップＳ１４３）、内部エッジ成分算出部５ｃは、内部ラベル画像をもとに内部エッジ成分強度平均Ｖin(Ｌ)を算出する（ステップＳ１４５）。なお、本実施の形態１では、後に詳細に説明する輪郭部エッジ成分強度平均Ｖcon(Ｌ)および内部エッジ成分強度平均Ｖin(Ｌ)によって、各細胞領域の認識の成否の程度を判定する。
【００７５】
つづいて、認識信頼度判定部５ｄは、輪郭部エッジ成分強度平均Ｖcon(Ｌ)が所定の閾値ContourThより小さく、かつ、内部エッジ成分強度平均Ｖin(Ｌ)が所定の閾値InnerThより大きいか否かを判断して、各細胞領域の認識の成否の程度を一次的に判定する（ステップＳ１４７）。この判断条件が満足される場合（ステップＳ１４７：Ｙｅｓ）、認識信頼度判定部５ｄは、領域標識としてのラベル番号が番号Ｌである細胞領域に「認識信頼度４」を割り当てる（ステップＳ１４９）。
【００７６】
ステップＳ１４７の判断条件が満足されない場合（ステップＳ１４７：Ｎｏ）、認識信頼度判定部５ｄは、内部エッジ成分強度平均Ｖin(Ｌ)が閾値InnerThより大きいか否かを判断して、認識の成否の程度をさらに判定する（ステップＳ１５１）。この判断条件が満足される場合（ステップＳ１５１：Ｙｅｓ）、ラベル番号Ｌの細胞領域に「認識信頼度３」を割り当てる（ステップＳ１５３）。
【００７７】
ステップＳ１５１の判断条件が満足されない場合（ステップＳ１５１：Ｎｏ）、認識信頼度判定部５ｄは、輪郭部エッジ成分強度平均Ｖcon(Ｌ)が閾値ContourThより小さいか否かを判断して、認識の成否の程度をさらに判定する（ステップＳ１５５）。この判断条件が満足される場合（ステップＳ１５５：Ｙｅｓ）、ラベル番号Ｌの細胞領域に「認識信頼度２」を割り当てる（ステップＳ１５７）。ステップＳ１５５の判断条件が満足されない場合には（ステップＳ１５５：Ｎｏ）、ラベル番号Ｌの細胞領域に「認識信頼度１」を割り当てる（ステップＳ１５９）。
【００７８】
そして、制御部８は、認識ラベル画像中のすべての細胞領域を処理したか否か、すなわち、すべての細胞領域に認識信頼度が割り当てられているか否かを判断し（ステップＳ１６１）、割り当てられていない場合（ステップＳ１６１：Ｎｏ）、割り当てられていない細胞領域に対してステップＳ１４１からの処理を繰り返す。一方、すべての細胞領域に認識信頼度が割り当てられている場合には（ステップＳ１６１：Ｙｅｓ）、制御部８は、認識信頼度が対応付けられた認識ラベル画像を認識信頼度判定部５ｄから表示部６に出力させた後、ステップ１０９の処理に移る。なお、かかる認識信頼度判定処理手順では、制御部８は、ステップＳ１４３とステップＳ１４５とを、処理順序を入れ換えて実行させることもできる。
【００７９】
ステップＳ１４１では、認識ラベル画像分離部５ａは、図１５に示すように、細胞領域を、この細胞領域に属する画素であって背景または他の細胞領域と接する輪郭画素で構成される輪郭部と、細胞領域から輪郭部を除いた内部画素で構成される領域内部とに分離する。ただし、認識ラベル画像分離部５ａは、輪郭部を取り除く作業をｎ回繰り返し、輪郭部と領域内部との間に画素数ｎ分の間隙を設けるようにする。画素数ｎは、ｎ＝３程度とすることが好ましい。この輪郭部と領域内部との間隙は、領域内部から輪郭部に対応する画素を確実に排除するための措置である。
【００８０】
ステップＳ１４３では、輪郭部エッジ成分演算部５ｂは、ラベル番号Ｌの細胞領域に対して、まず、輪郭部ラベル画像中の各輪郭画素に対応する参照エッジ画像内の画素が有するエッジ画素値としての輪郭エッジ強度Ｅｃout(ｐ)を用いて、次式（８）によって、エッジ強度の総和を示すエッジ成分総計ＳＶcon(Ｌ)を算出する。ここで、変数ｐは、輪郭画素の画素番号を示している。
【数５】
2007048006.tif 000007
ラベル番号Ｌの細胞領域の輪郭部を構成する画素数ｎcon(Ｌ)は、次式（９）に示すように、輪郭部ラベル画像におけるラベル番号Ｌの画素数をカウントすることによって求められる。
【数６】
2007048006.tif 000008
そして、輪郭部エッジ成分演算部５ｂは、式（８）および式（９）の結果を用いて、次式（１０）によって、輪郭部エッジ成分強度平均Ｖcon(Ｌ)を算出する。
【数７】
2007048006.tif 000009
【００８１】
ステップＳ１４５では、内部エッジ成分演算部５ｃは、ステップＳ１４３と同様に、ラベル番号Ｌの細胞領域に対して、まず、内部ラベル画像中の各内部画素に対応する参照エッジ画像内の画素が有するエッジ画素値としての領域内エッジ強度Ｅｃin(ｑ)を用いて、次式（１１）によって、エッジ強度の総和を示すエッジ成分総計ＳＶin(Ｌ)を算出する。ここで、変数ｑは、内部画素の画素番号を示している。
【数８】
2007048006.tif 000010
ラベル番号Ｌの細胞領域内部を構成する画素数ｎin(Ｌ)は、次式（１２）に示すように、内部ラベル画像におけるラベル番号Ｌの画素数をカウントすることによって求められる。
【数９】
2007048006.tif 000011
そして、内部エッジ成分演算部５ｃは、式（１１）および式（１２）の結果を用いて、次式（１３）によって、内部エッジ成分強度平均Ｖin(Ｌ)を算出する。
【数１０】
2007048006.tif 000012
【００８２】
つぎに、ステップＳ１０９の認識結果の表示について説明する。図１６は、図１３−１および図１３−２に示した参照エッジ画像および細胞蛍光画像に基づく認識結果を示す画像であって、ステップＳ１０９によって表示部６に表示する画像の一例を示す図である。図１６に示すように、制御部８は、認識信頼度判定部５ｄによって対応付けられた認識信頼度に応じた態様で、認識ラベル画像中の各細胞領域を識別可能に表示する制御を行う。      
【００８３】
具体的には、図１６では、認識の成功度が最も高いことを示す「認識信頼度１」が対応付けられた細胞領域は、領域内部が黒色で描画されている（例えば、細胞領域ＡＲ１）。また、「認識信頼度２」および「認識信頼度３」が対応付けられた細胞領域は、それぞれ暗い灰色（例えば、細胞領域ＡＲ２）および縦縞模様（例えば、細胞領域ＡＲ３）で描画されている。そして、認識の成功度が最も低いことを示す「認識信頼度４」が対応付けられた細胞領域は、明るい灰色で描画されている（例えば、細胞領域ＡＲ４）。
【００８４】
なお、認識結果の表示方法は、図１６の例に限定して解釈する必要はなく、認識信頼度ごとに細胞領域に異なる番号、記号等を対応付けて付記する、カラー画像化して認識信頼度ごとに異なる色を対応付ける、異なる模様を対応付けるなど、認識信頼度ごとに細胞領域が識別可能であれば、任意の表示方法が適用できる。
【００８５】
このように認識信頼度を対応付けて各細胞領域を表示することによって、観測者は、誤認識を起こしている可能性の高い細胞領域を容易に判別することができるようになる。なお、認識された全領域にわたって認識信頼度が低い細胞領域が多い場合には、細胞認識処理時の処理パラメータの設定に不具合がある、あるいは細胞蛍光画像中に多くのノイズが含まれているなどの問題が発生している可能性が高く、制御部８は、この旨の警告情報を観測者に報知する。さらに、制御部８は、認識信頼度が低い各細胞領域に対応させて警告情報を報知することもできる。
【００８６】
以上説明したように、本実施の形態１にかかる画像処理装置１および画像処理プログラムでは、細胞蛍光画像の中から各細胞に対応する細胞領域を自動的に認識し、認識した各細胞領域に認識の成否の程度を判定しているため、細胞認識処理による各細胞領域の認識がどの程度良好に行われているかを素早く判断可能にするとともに、問題箇所のピックアップが容易であり、より信頼性の高い認識結果を得ることができる。また、この結果、認識した細胞領域の特徴量の計測処理、細胞の追跡処理等、認識結果をもとに行われる各種処理において、各細胞領域の認識の成否の程度に応じた処理を可能にする。
【００８７】
また、一般に、観測者が細胞画像を目視した場合、周囲に対して輝度が変化したと知覚される部分が細胞の輪郭として捉えられているものと考えられており、本実施の形態１にかかる画像処理装置１および画像処理プログラムでは、この知覚される部分をエッジ成分として抽出した参照エッジ画像を用いて認識信頼度を対応付けるようにしているため、観測者の知覚に整合した認識信頼度を対応付けることが可能である。
【００８８】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。この実施の形態２では、細胞を認識して認識信頼度を対応付けた後、観測時点の異なる細胞蛍光画像間で細胞の追跡を行うようにしている。
【００８９】
図１７は、本発明の実施の形態２にかかる画像処理装置１１の構成を示すブロック図である。図１７に示すように、画像処理装置１１は、画像処理装置１の構成をもとに、制御部８に替えて制御部１８を備えるとともに、新たに細胞追跡部１９を備える。細胞追跡部１９を含む各構成部は、制御部１８に電気的に接続されている。なお、実施の形態１と同一の構成部分には、同一符号を付している。
【００９０】
画像処理装置１１では、画像取得部２は、観測時点の異なる一連の細胞蛍光画像を外部装置から取得し、細胞認識部３、参照エッジ画像生成部４および画像照合部５の各々は、この一連の細胞蛍光画像のそれぞれに対して、認識ラベル画像の生成、参照エッジ画像の生成および認識信頼度の対応付けを行う。このように処理される一連の細胞蛍光画像、参照エッジ画像、および認識信頼度に応じて描画された認識ラベル画像の一例を、図１８に示す。
【００９１】
細胞追跡部１９は、画像照合部５から一連の細胞蛍光画像に対応する認識ラベル画像、認識信頼度および認識信頼度の判定に用いたパラメータを取得し、各細胞領域の認識の成否の程度を反映させて、観測時点の異なる細胞画像間の細胞の同一性を判別し、同一と判別した細胞を含む細胞領域同士を対応付ける細胞追跡処理を行う。また、細胞追跡部１９は、細胞追跡処理の処理結果としての追跡結果を表示部６に出力する。なお、細胞追跡部１９は、追跡結果を、制御部１８を介して記憶部７に記憶させることもできる。
【００９２】
制御部１８は、制御部８と同様に各部の処理および動作を制御するのに加えて、細胞追跡部１９の制御も行う。制御部１８は、特に、記憶部７に記憶された画像処理プログラムを実行し、図３に示した画像処理手順をもとに、さらにステップＳ１０７とステップＳ１０９との間で細胞追跡処理を行うようにした一連の画像処理の制御を行う。また、制御部１８は、細胞追跡部１９から出力される追跡結果を、画像情報もしくは数値情報として、各観測時点の認識ラベル画像、認識信頼度等に対応付けて表示部６に表示させる制御を行う。
【００９３】
ここで、細胞追跡部１９が行う処理について詳細に説明する。細胞追跡部１９は、細胞追跡処理において、観測時点の異なる２つの認識ラベル画像間の細胞領域同士の対応度を、各細胞領域の認識の成否の程度を反映させて算出し、算出した対応度に基づいて各細胞領域内の細胞の同一性を判別する。このとき、細胞追跡部１９は、例えば細胞領域同士の重なった部分の重なり面積を用いて対応度を算出する。
【００９４】
より具体的には、細胞追跡部１９は、観測時点ｔ1の認識ラベル画像内でラベル番号Ｒｉt1である細胞領域と、観測時点ｔ1と時系列に連続した観測時点ｔ2の認識ラベル画像内でラベル番号Ｒｉt2である細胞領域と、の対応度Ｍ(Ｒｉt1，Ｒｉt2)を、この細胞領域同士の重なり面積ＯＬ_Ａｒｅａ(Ｒｉt1，Ｒｉt2)と、各細胞領域の面積Ａｒｅａ(Ｒｉt1)，Ａｒｅａ(Ｒｉt2)とを用いて、次式（１４）によって算出する。なお、式（１４）における係数ｗは、所定の重み付け係数である。
【数１１】
2007048006.tif 000013
【００９５】
また、細胞追跡部１９は、一連の細胞蛍光画像を撮像する際に一般に生じる蛍光量の時間変化の影響を低減するため、時系列で連続する認識ラベル画像間ばかりでなく、所定フレーム数離れた認識ラベル画像間でも対応度を算出する。この場合、細胞追跡部１９は、観測時点ｔaに対応する認識ラベル画像内でラベル番号Ｒｉtaである細胞領域と、この認識ラベル画像より所定数ｂだけ前のフレームの認識ラベル画像内でラベル番号Ｒｉt(a-b)である細胞領域と、の対応度Ｍ(Ｒｉt(a-b)，Ｒｉta)を、この細胞領域同士の重なり面積ＯＬ_Ａｒｅａ(Ｒｉt(a-b)，Ｒｉta)と、各細胞領域の面積Ａｒｅａ(Ｒｉt(a-b))，Ａｒｅａ(Ｒｉta)とを用いて、次式（１５）によって算出する。なお、式（１５）における係数ｗfは、所定の重み付け係数である。
【数１２】
2007048006.tif 000014
【００９６】
さらに、細胞追跡部１９は、式（１５）で算出した対応度をもとに、各細胞領域の認識の成否の程度を反映させた対応度を算出する。このために、本実施の形態２では、各細胞領域の認識の成否の程度を判断する基準となる内部エッジ成分強度平均Ｖin(Ｌ)および輪郭部エッジ成分強度平均Ｖcon(Ｌ)を反映させた対応度を算出する。すなわち、細胞追跡部１９は、ラベル番号Ｒｉtaである細胞領域とラベル番号Ｒｉt(a-b)である細胞領域との認識の成否の程度を考慮した対応度Ｍ’(Ｒｉt(a-b)，Ｒｉta)を、もとの対応度Ｍ(Ｒｉt(a-b)，Ｒｉta)と、ラベル番号Ｒｉt(a-b)である細胞領域の内部エッジ成分強度平均Ｖin(Ｒｉt(a-b))および輪郭部エッジ成分強度平均Ｖcon(Ｒｉt(a-b))とを用いて、次式（１６）によって算出する。
【数１３】
2007048006.tif 000015
【００９７】
細胞追跡部１９は、かかる対応度Ｍ’(Ｒｉt(a-b)，Ｒｉta)を、観測時点ｔaの認識ラベル画像に存在する細胞領域と、観測時点ｔ(a-c)（ただし、ｃ＝１〜ｂ）の各観測時点の認識ラベル画像に存在する細胞領域と、の可能なすべての組み合わせについて算出する。そして、最も高い対応度を示す細胞領域の組み合わせにおける各細胞を同一の細胞であると判別し、この組み合わせの細胞領域同士を対応付ける。ただし、観測時点ｔaと観測時点ｔ(a-c)との間で算出されるすべての対応度が０または所定の閾値以下である場合には、細胞追跡部１９は、これらの観測時点間で対応付けられる細胞は存在せず、観測時点ｔaで細胞が新たに発生したものと判別する。
【００９８】
なお、ここでは細胞追跡部１９は、細胞領域同士の重なり面積を用いて対応度を算出するものとしたが、重なり面積に限らず、例えば各細胞領域の円形度の一致度等、細胞領域間の他の特徴量を用いて算出することもできる。
【００９９】
以上説明したように、本実施の形態２にかかる画像処理装置１１および画像処理プログラムでは、各細胞領域の認識の成否の程度を反映させて、観測時点の異なる細胞蛍光画像間の細胞の同一性を判別するようにしているため、細胞認識処理で発生した誤差の伝播を防止して一層信頼性の高い細胞追跡処理を実現することができる。
【０１００】
（実施の形態３）
つぎに、本発明の実施の形態３について説明する。上述した実施の形態１では、仮細胞領域を統合した結果の細胞領域にのみ認識の成否の程度を判定していたが、この実施の形態３では、所定の条件に応じて、細胞領域として仮細胞領域を選択して認識の成否の程度を判定するようにしている。
【０１０１】
図１９は、本発明の実施の形態３にかかる画像処理装置２１の構成を示すブロック図である。図１９に示すように、画像処理装置２１は、画像処理装置１の構成をもとに、細胞認識部３、画像照合部５および制御部８に替えて、細胞認識部２３、画像照合部２５および制御部２８を備えるとともに、被統合輪郭抽出部２９および選択的統合ラベル画像生成部３０を新たに備える。被統合輪郭抽出部２９および選択的統合ラベル画像生成部３０を含めた各構成部は、制御部２８に電気的に接続されている。なお、実施の形態１と同一の構成部には、同一符号を付している。
【０１０２】
細胞認識部２３は、画像処理装置１が備えた細胞認識部３の構成をもとに、背景除去部３ｅおよび標識部３ｆをそれぞれ２つの構成部に分割した背景除去部２３ｅ−１，２３ｅ−２および標識部２３ｆ−１，２３ｆ−２を備える。そして、領域統合部３ｄ、背景除去部２３ｅ−１および標識部２３ｆ−１は、到達極値算出部３ｃによって生成された仮ラベル画像に対して、図４に示した細胞認識処理と同様にステップＳ１１７〜ステップＳ１２１を行い、認識ラベル画像を生成する。一方、背景除去部２３ｅ−２および標識部２３ｆ−２は、仮ラベル画像に対して、ステップＳ１１７を省略し、ステップＳ１１９およびステップＳ１２１を行い、背景画素を除去した仮ラベル画像を生成する。
【０１０３】
標識部２３ｆ−１，２３ｆ−２は、固有の領域標識を認識ラベル画像および仮ラベル画像にそれぞれ付与する。このとき、標識部２３ｆ−１が、到達極値算出部３ｃによって各仮細胞領域に付与された領域標識のいずれとも異なる領域標識を付与する場合には、標識部２３ｆ−２は、到達極値算出部３ｃによって付与された領域標識をそのまま流用することができる。なお、この場合には、標識部２３ｆ−２を細胞認識部２３から取り除くこともできる。
【０１０４】
被統合輪郭抽出部２９は、標識部２３ｆ−１，２３ｆ−２から認識ラベル画像および仮ラベル画像を取得し、認識ラベル画像と仮ラベル画像との差分を演算する。これによって、被統合輪郭抽出部２９は、例えば図２０に示すように、領域統合部３ｄが統合した仮細胞領域間の境界線に相当する被統合輪郭を抽出し、抽出した被統合輪郭を示す被統合輪郭画像を生成する。
【０１０５】
選択的統合ラベル画像生成部３０は、標識部２３ｆ−１，２３ｆ−２から認識ラベル画像および仮ラベル画像を、参照エッジ画像生成部４から参照エッジ画像を、被統合輪郭抽出部２９から被統合輪郭画像をそれぞれ取得する。そして、被統合輪郭画像内の被統合輪郭に含まれる境界画素としての被統合輪郭画素に対応する、参照エッジ画像内の画素が有するエッジ画素値に応じて、認識ラベル画像内の細胞領域または仮ラベル画像内の仮細胞領域を、最終的な細胞領域として認識する。
【０１０６】
より具体的には、選択的統合ラベル画像生成部３０は、被統合輪郭を構成する被統合輪郭画素に対応する参照エッジ画像内の画素のエッジ画素値が、所定の閾値より大きい場合には、仮ラベル画像内のこの被統合輪郭を境界線として隣接する各仮細胞領域を最終的な細胞領域と認識する。これは、被統合輪郭に対応するエッジ強度が大きい場合に、被統合輪郭が細胞の輪郭を示している可能性が高く、各仮細胞領域が個別の細胞に対応する領域である可能性が高いと考えられることによる。
【０１０７】
また、選択的統合ラベル画像生成部３０は、被統合輪郭画素に対応する参照エッジ画像内の画素のエッジ画素値が、所定の閾値以下の場合には、隣接した仮細胞領域を統合した結果の細胞領域を最終的な細胞領域と認識する。これは、被統合輪郭に対応するエッジ強度が小さい場合に、被統合輪郭が細胞の輪郭以外の輝度変化を示している可能性が高く、隣接した各仮細胞領域が同一の細胞に対応する領域である可能性が高いと考えられることによる。
【０１０８】
さらに、選択的統合ラベル画像生成部３０は、このように認識した最終的な細胞領域を示す選択的統合ラベル画像を生成する。この際、選択的統合ラベル画像内の各細胞領域が仮細胞領域であるか、あるいは統合結果の細胞領域であるかを、細胞領域ごとに記録する。また、選択的統合ラベル画像生成部３０は、生成した選択的統合ラベル画像を画像照合部２５に出力する。なお、選択的統合ラベル画像生成部３０は、生成した選択的統合ラベル画像を、制御部２８を介して記憶部７に出力して記憶させることもできる。
【０１０９】
画像照合部２５は、認識ラベル画像に替えて選択的統合ラベル画像を用い、画像処理装置１が備えた画像照合部５と同様に認識信頼度判定処理を行って、選択的統合ラベル画像内の各細胞領域について認識の成否の程度を判定する。ただし、画像照合部２５は、統合結果である細胞領域に対して式（１１）〜（１３）に示した演算を行う場合には、細胞領域内部を構成する全画素を用いる替わりに被統合輪郭画素に対応する領域内エッジ強度Ｅｃin(ｑ)のみ用いて演算を行い、画素数ｎin(Ｌ)を、被統合輪郭画素の画素数として演算を行う。このように演算処理することによって、認識信頼度判定処理の効率化および高速化を実現できる。
【０１１０】
ここで、画像処理装置２１が行う処理手順について説明する。図２１は、制御部２８が画像処理プログラムを実行することによって、画像処理装置２１が細胞蛍光画像を処理する画像処理手順を示すフローチャートである。図２１に示すように、まず、画像取得部２は、外部装置から細胞蛍光画像を取得し（ステップＳ２０１）、細胞認識部２３は、図３に示したステップＳ１０３と同様に、仮ラベル画像および認識ラベル画像を生成する細胞認識処理を行う（ステップＳ２０３）。
【０１１１】
ただし、ステップＳ１０３で認識ラベル画像のみ出力していたのに対し、このステップＳ２０３では、認識ラベル画像および仮ラベル画像をともに出力する。また、ステップＳ１０３の内部処理として図４に示したステップＳ１１９およびステップＳ１２１では、認識ラベル画像に対してのみ処理を行うようにしていたが、このステップＳ２０３では、認識ラベル画像と仮ラベル画像との双方に対して、ステップＳ１１９およびステップＳ１２１と同様の処理を行う。
【０１１２】
つづいて、参照エッジ画像生成部４は、図３に示したステップＳ１０５と同様にステップＳ２０５を行う。被統合輪郭抽出部２９は、標識部２３ｆ−１，２３ｆ−２から取得した認識ラベル画像と仮ラベル画像との差分を演算し、被統合輪郭を抽出して、被統合輪郭画像を生成する（ステップＳ２０７）。選択的統合ラベル画像生成部３０は、被統合輪郭画素に対応する参照エッジ画像内の画素が有するエッジ画素値に応じて、認識ラベル画像内の細胞領域または仮ラベル画像内の仮細胞領域を選択し、選択した領域を最終的な細胞領域として示す選択的統合ラベル画像を生成する選択的統合ラベル画像生成処理を行う（ステップＳ２０９）。
【０１１３】
その後、画像照合部２５および表示部６は、図３に示したステップＳ１０７，Ｓ１０９と同様にステップＳ２１１，Ｓ２１３を順次行って、制御部２８は、一連の画像処理を終了する。ただし、ステップＳ２１１では、画像照合部２５は、認識ラベル画像に替えて選択的統合ラベル画像を用いて処理を行う。
【０１１４】
なお、ステップＳ２１３では、表示部６は、ステップＳ１０９に対して新たに選択的統合ラベル画像、被統合輪郭画像等を表示することができる。また、ステップＳ２１３では、表示部６は、制御部２８の制御のもと、選択的統合ラベル画像中の細胞領域ごとに、仮細胞領域が選択されたか、あるいは統合結果の細胞領域が選択されたかを、文字情報もしくは画像情報として観測者に報知することができる。なお、制御部２８は、ステップＳ２０３とステップＳ２０５とを処理順序を入れ換えて行ってもよい。
【０１１５】
以上説明したように、本実施の形態３にかかる画像処理装置２１および画像処理プログラムでは、細胞領域の認識を行う際に、被統合輪郭画素の参照エッジ画像におけるエッジ画素値、すなわち被統合輪郭に対応するエッジ強度に応じて、認識ラベル画像内の細胞領域または仮ラベル画像内の仮細胞領域を選択して、最終的な細胞領域とするようにしているため、一層信頼性の高い細胞認識処理を実現できる。この結果、認識した細胞領域の特徴量の計測処理、細胞の追跡処理等、認識結果をもとに行われる各種処理において、一層信頼性の高い処理を可能にする。
【０１１６】
また、本実施の形態３にかかる画像処理装置２１および画像処理プログラムでは、各細胞領域の認識の成否の程度を判定する際に、統合結果の細胞領域に対して、細胞領域内部を構成するすべての画素を用いる替わりに、被統合輪郭画素のみ用いて各種演算を行うようにしているため、認識信頼度判定処理の効率化および高速化を実現できる。
【０１１７】
また、本実施の形態３にかかる画像処理装置２１および画像処理プログラムでは、被統合輪郭に対応するエッジ強度の大きさを所定の閾値を基準に判別するようにしているため、統合結果の細胞領域に対する統合処理の妥当性、統合結果の細胞領域内のノイズ量等を評価できる。
【０１１８】
（実施の形態４）
つぎに、本発明の実施の形態４について説明する。上述した実施の形態１では、認識ラベル画像と参照エッジ画像とを照合して認識信頼度を判定するようにしていたが、この実施の形態４では、さらに細胞領域に対して設定した所定の領域モデルとの適合度に応じて、各細胞領域の認識の成否の程度を判定するようにしている。
【０１１９】
図２２は、本発明の実施の形態４にかかる画像処理装置３１の構成を示すブロック図である。図２２に示すように、画像処理装置３１は、画像処理装置１の構成をもとに、画像照合部５および制御部８に替えて、画像照合部３５および制御部３８を備える。また、図２３は、画像照合部３５の詳細構成を示すブロック図である。図２３に示すように、画像照合部３５は、画像照合部５の構成をもとに、認識信頼度判定部５ｄに替えて認識信頼度判定部３５ｄを備えるとともに、特徴量算出部３５ｅ、細胞モデル割当部３５ｆおよびモデル適合度算出部３５ｇを新たに備える。なお、実施の形態１と同一の構成部には、同一符号を付している。
【０１２０】
画像照合部３５は、画像照合部５と同様に、認識ラベル画像および参照エッジ画像をもとに、輪郭部エッジ成分強度平均と内部エッジ成分強度平均とを算出して、各細胞領域の認識の成否の程度の判定を行う。この処理に加えて、画像照合部３５は、認識ラベル画像内の細胞領域と、あらかじめ細胞領域に対して設定された領域モデルとの適合度に応じて、各細胞領域の認識の成否の程度の判定を行う。ここで、あらかじめ設定される領域モデルは、細胞領域の形状、輝度分布等に基づいて規定されるものである。
【０１２１】
より具体的には、細胞モデル割当部３５ｆは、細胞領域に対して所定の領域モデルを設定する。モデル適合度算出部３５ｇは、設定された領域モデルに応じて、適合度の判定基準としての閾値を設定する。一方、特徴量算出部３５ｅは、認識ラベル画像内の各細胞領域について、領域モデルとの適合度を判定するために必要な特徴量を算出して、モデル適合度算出部３５ｇに出力する。認識信頼度判定部３５ｄは、モデル適合度算出部３５ｇから取得した判定基準としての閾値と細胞領域の特徴量とを比較し、閾値と特徴量との適合度が高い場合に、この細胞領域に認識信頼度を割り当てる。また、適合度が低い場合には、認識信頼度判定部５と同様に、輪郭部エッジ成分強度平均と内部エッジ成分強度平均とに基づいて認識信頼度を割り当てる処理を行う。
【０１２２】
ここで、画像処理装置３１が行う処理として、図３に示したステップＳ１０７に対応する認識信頼度判定処理について説明する。なお、制御部３８が画像処理プログラムを実行することによって、画像処理装置３１が細胞蛍光画像を処理する画像処理手順は、ステップＳ１０７を除き、図３に示した画像処理手順と同様である。
【０１２３】
図２４は、画像処理装置３１が行う認識信頼度判定処理の処理手順を示すフローチャートである。このフローチャートは、細胞モデル割当部３５ｆによって円形の領域モデルが設定され、モデル適合度算出部３５ｇによって円形度に対する閾値RoundThが設定された場合の認識信頼度判定処理を例示している。
【０１２４】
図２４に示すように、まず、特徴量算出部３５ｅは、領域モデルとの適合度を判定するために必要な特徴量として、ラベル番号Ｌの細胞領域の円形度ＲｄLを算出する（ステップＳ２２１）。つづいて、認識信頼度判定部３５ｄは、円形度ＲｄLが閾値RoundTh以上であるか否かを判断する（ステップＳ２２３）。円形度ＲｄLが閾値RoundTh以上である場合（ステップＳ２２３：Ｙｅｓ）、認識信頼度判定部３５ｄは、ラベル番号Ｌの細胞領域に「認識信頼度１」を割り当てる（ステップＳ２２５）。
【０１２５】
円形度ＲｄLが閾値RoundThより小さい場合（ステップＳ２２３：Ｎｏ）、認識ラベル画像分離部５ａ、輪郭部エッジ成分算出部５ｂおよび内部エッジ成分算出部５ｃは、図１４に示したステップＳ１４１〜Ｓ１４５と同様にステップＳ２２７〜Ｓ２３１を実行する。そして、認識信頼度判定部３５ｄは、輪郭部エッジ成分強度平均Ｖcon(Ｌ)が所定の閾値ContourThより小さく、かつ、内部エッジ成分強度平均Ｖin(Ｌ)が所定の閾値InnerThより大きいか否かを判断し（ステップＳ２３３）、この判断条件が満足される場合（ステップＳ２３３：Ｙｅｓ）、ラベル番号Ｌの細胞領域に「認識信頼度５」を割り当てる（ステップＳ２３５）。
【０１２６】
ステップＳ２３３の判断条件が満足されない場合（ステップＳ２３３：Ｎｏ）、認識信頼度判定部３５ｄは、内部エッジ成分強度平均Ｖin(Ｌ)が閾値InnerThより大きいか否かを判断し（ステップＳ２３７）、この判断条件が満足される場合（ステップＳ２３７：Ｙｅｓ）、ラベル番号Ｌの細胞領域に「認識信頼度４」を割り当てる（ステップＳ２３９）。
【０１２７】
ステップＳ２３７の判断条件が満足されない場合（ステップＳ２３７：Ｎｏ）、認識信頼度判定部３５ｄは、輪郭部エッジ成分強度平均Ｖcon(Ｌ)が閾値ContourThより小さいか否かを判断し（ステップＳ２４１）、この判断条件が満足される場合（ステップＳ２４１：Ｙｅｓ）、ラベル番号Ｌの細胞領域に「認識信頼度３」を割り当てる（ステップＳ２４３）。ステップＳ２４１の判断条件が満足されない場合には（ステップＳ２４１：Ｎｏ）、ラベル番号Ｌの細胞領域に「認識信頼度２」を割り当てる（ステップＳ２４５）。
【０１２８】
そして、制御部３８は、認識ラベル画像中のすべての細胞領域を処理したか否かを判断し（ステップＳ２４７）、すべての細胞領域を処理していない場合（ステップＳ２４７：Ｎｏ）、処理していない細胞領域に対してステップＳ２２１からの処理を繰り返す。一方、すべての細胞領域を処理している場合には（ステップＳ２４７：Ｙｅｓ）、制御部３８は、認識信頼度が対応付けられた認識ラベル画像を認識信頼度判定部３５ｄから表示部６に出力させた後、認識信頼度判定処理を終了する。なお、かかる認識信頼度判定処理手順では、制御部３８は、ステップＳ２２９とステップＳ２３１とを、処理順序を入れ換えて実行させることもできる。
【０１２９】
ステップＳ２２１では、特徴量算出部３５ｅは、細胞領域の面積Ｓ、周囲長Ｔを用いて、次式（１７）によって、円形度ＲｄLを算出する。
ＲｄL＝４πＳ／Ｔ                                    ・・・（１７）
【０１３０】
なお、この認識信頼度判定処理では、ステップＳ２２１〜Ｓ２２５によって、細胞領域の領域モデルに対する適合度を優先的に判断して、円形度ＲｄLが閾値RoundTh以上であって真円に近ければ、エッジ強度によらず適合度が高いものとして、認識の成功度が最も高いことを示す「認識信頼度１」を対応付けるようにしている。
【０１３１】
また、この認識信頼度判定処理によって認識信頼度が対応付けられた認識ラベル画像は、制御部３８の制御のもと、実施の形態１と同様に、認識信頼度に応じて細胞領域ごとに識別可能に表示される。
【０１３２】
つぎに、画像処理装置３１が行う認識信頼度判定処理の別の一例として、細胞モデル割当部３５ｆによって、輝度分布が凸状である領域モデルが設定された場合の、認識信頼度判定処理について説明する。この場合、例えば、モデル適合度算出部３５ｇは、細胞領域内で輝度分布が凸状である凸状領域の細胞領域全体に対する存在比ｒcについて閾値ConvexityThを設定し、特徴量算出部３５ｅは、認識ラベル画像内の各細胞領域に対して存在比ｒcを算出するものとする。なお、このような領域モデルおよび閾値ConvexityThの設定は、細胞蛍光画像中では、一般に細胞領域が高輝度画素の塊として現れることに基づいている。
【０１３３】
より具体的には、特徴量算出部３５ｅは、まず、認識ラベル画像中の細胞領域から凸状領域を検出する。その際、例えば図２５に示すように、注目画素Ｐに対して対称に所定間隔Ｄだけ離隔した画素Ａ，Ｂを参照する。そして、画素Ａ，Ｂが有する輝度値ＩA，ＩBの平均輝度値ＩABと比較して、注目画素Ｐの画素値ＩPが大きい場合に、注目画素Ｐを凸状領域を構成する候補画素として検出する。特徴量算出部３５ｅは、このような検出処理を、図２６に示す４方向、すなわち、水平方向（ＩAhor−ＩBhor方向）、垂直方向（ＩAver−ＩBver方向）、右上がり斜め方向（ＩAsla−ＩBsla方向）および左下がり斜め方向（ＩAbac−ＩBbac方向）について行い、次式（１８）〜（２１）で示される条件をすべて満足する場合に、注目画素Ｐを凸状領域を構成する画素として最終的に検出する。
ＩP＞ＩMhor＝（ＩAhor＋ＩBhor）／２                      ・・・（１８）
ＩP＞ＩMver＝（ＩAver＋ＩBver）／２                      ・・・（１９）
ＩP＞ＩMsla＝（ＩAsla＋ＩBsla）／２                      ・・・（２０）
ＩP＞ＩMbac＝（ＩAbac＋ＩBbac）／２                      ・・・（２１）
【０１３４】
つづいて、特徴量算出部３５ｅは、認識ラベル画像中のすべての画素について、凸状領域を構成する画素であるか否かを判別し、凸状領域の輝度凸の大きさを記録した輝度凸画像を生成する。ここで、注目画素Ｐにおける輝度凸の大きさＣPは、次式（２２）によって算出される。
ＣP＝（(ＩP−ＩMhor)＋(ＩP−ＩMver)＋(ＩP−ＩMsla)＋(ＩP−ＩMbac)）／４    ・・・（２２）
【０１３５】
その後、特徴量算出部３５ｅは、輝度凸画像中の各画素の値が所定の閾値より大きいか否かを判別し、大きい場合に「１」、大きくない場合に「０」として２値化した輝度凸２値化画像を生成する。そして、認識ラベル画像内のラベル番号Ｌの細胞領域について、細胞領域を構成する画素に対応する輝度凸２値化画像での値が「１」である画素数ｎLを算出し、算出した画素数ｎLと、この細胞領域の面積ＳLとを用いて、次式（２３）によって、存在比ｒc(Ｌ)を算出する。
ｒc(Ｌ)＝ｎL／ＳL                                    ・・・（２３）
【０１３６】
認識信頼判定処理手順としては、図２４に示したフローチャートをもとに、特徴量算出部３５ｅは、ステップＳ２２１に替えて、ラベル番号Ｌの細胞領域の存在比ｒc(Ｌ)を算出し、認識信頼度判定部３５ｄは、ステップＳ２２３に替えて、存在比ｒc(Ｌ)が閾値ConvexityThより大きいか否かを判断するように処理内容を変更すればよい。これによって、輝度分布が凸状である領域モデルに対する適合度が高いと判断される細胞領域に「認識信頼度１」を割り当てることができる。
【０１３７】
以上説明したように、本実施の形態４にかかる画像処理装置３１および画像処理プログラムでは、細胞領域の形状、輝度分布等に基づいて規定した領域モデルを設定し、領域モデルに対する細胞領域の適合度を優先的に判断して、適合度の高い細胞領域に対して高い認識信頼度を対応付けるようにしているため、領域モデルに適合した認識の成功度の高い細胞領域を効率的に判別することができる。また、領域モデルに適合した認識の成功度の高い細胞領域を、他の細胞領域と区別して表示することが可能であって、観測者に容易に識別可能とすることができる。
【０１３８】
なお、上述した実施の形態１〜４では、画素値として特に輝度値を扱ったが、輝度値に限定して解釈する必要はなく、本発明における画素値には、濃淡値、階調値、強度値等が含まれる。そして、本発明にかかる画像処理装置は、処理する画像の性質に応じて、画素値としての値をかかる各種の値の中から適宜選択して処理することが可能である。
【図面の簡単な説明】
【０１３９】
【図１】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】図１に示した画像照合部の詳細構成を示すブロック図である。
【図３】図１に示した画像処理装置が行う処理手順を示すフローチャートである。
【図４】図３に示した細胞認識処理の処理手順を示すフローチャートである。
【図５】極値間距離を説明する図である。
【図６】仮細胞領域の統合方法を説明する図である。
【図７】図３に示した参照エッジ画像生成処理の処理手順を示すフローチャートである。
【図８】ガウシアンフィルタを示す図である。
【図９】図１に示した構造保存平滑部が参照する画素を示す図である。
【図１０−１】一次微分フィルタを示す図である。
【図１０−２】一次微分フィルタを示す図である。
【図１１−１】二次微分フィルタを示す図である。
【図１１−２】二次微分フィルタを示す図である。
【図１１−３】二次微分フィルタを示す図である。
【図１１−４】二次微分フィルタを示す図である。
【図１２−１】方向フィルタを示す図である。
【図１２−２】階調変換関数の入出力関係を示す図である。
【図１３−１】参照エッジ画像の一例を示す図である。
【図１３−２】細胞蛍光画像の一例を示す図である。
【図１４】図３に示した認識信頼度判定処理の処理手順を示すフローチャートである。
【図１５】細胞領域の分離方法を説明する図である。
【図１６】認識結果の一例を示す図である。
【図１７】本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。
【図１８】図１７に示した画像処理装置で処理される画像の一例を示す図である。
【図１９】本発明の実施の形態３にかかる画像処理装置の構成を示すブロック図である。
【図２０】被統合輪郭の抽出方法を説明する図である。
【図２１】図１９に示した画像処理装置が行う処理手順を示すフローチャートである。
【図２２】本発明の実施の形態４にかかる画像処理装置の構成を示すブロック図である。
【図２３】図２２に示した画像照合部の詳細構成を示すブロック図である。
【図２４】図２２に示した画像処理装置が行う認識信頼度判定処理の処理手順を示すフローチャートである。
【図２５】輝度分布が凸状である領域の検出方法を説明する図である。
【図２６】輝度分布が凸状である領域の検出方法を説明する図である。
【符号の説明】
【０１４０】
１，１１，２１，３１    画像処理装置
２    画像取得部
３，２３    細胞認識部
３ａ    平滑部
３ｂ    勾配方向算出部
３ｃ    到達極値算出部
３ｄ    領域統合部
３ｅ，２３ｅ−１，２３ｅ−２    背景除去部
３ｆ，２３ｆ−１，２３ｆ−２    標識部
４    参照エッジ画像生成部
４ａ    平滑部
４ｂ    構造保存平滑部
４ｃ    エッジ抽出部
４ｄ    輪郭強調部
４ｅ    階調変換部
５，２５，３５    画像照合部
５ａ    認識ラベル画像分離部
５ｂ    輪郭部エッジ成分演算部
５ｃ    内部エッジ成分演算部
５ｄ，３５ｄ    認識信頼度判定部
６    表示部
７    記憶部
８，１８，２８，３８    制御部
１９    細胞追跡部
２９    被統合輪郭抽出部
３０    選択的統合ラベル画像生成部
３５ｅ    特徴量算出部
３５ｆ    細胞モデル割当部
３５ｇ    モデル適合度算出部
ＡＲ１〜ＡＲ４    細胞領域
ＦＴ１〜ＦＴ４    方向フィルタ
【図１】
2007048006.tif 000016
【図２】
2007048006.tif 000017
【図３】
2007048006.tif 000018
【図４】
2007048006.tif 000019
【図５】
2007048006.tif 000020
【図６】
2007048006.tif 000021
【図７】
2007048006.tif 000022
【図８】
2007048006.tif 000023
【図９】
2007048006.tif 000024
【図１０−１】
2007048006.tif 000025
【図１０−２】
2007048006.tif 000026
【図１１−１】
2007048006.tif 000027
【図１１−２】
2007048006.tif 000028
【図１１−３】
2007048006.tif 000029
【図１１−４】
2007048006.tif 000030
【図１２−１】
2007048006.tif 000031
【図１２−２】
2007048006.tif 000032
【図１３−１】
2007048006.tif 000033
【図１３−２】
2007048006.tif 000034
【図１４】
2007048006.tif 000035
【図１５】
2007048006.tif 000036
【図１６】
2007048006.tif 000037
【図１７】
2007048006.tif 000038
【図１８】
2007048006.tif 000039
【図１９】
2007048006.tif 000040
【図２０】
2007048006.tif 000041
【図２１】
2007048006.tif 000042
【図２２】
2007048006.tif 000043
【図２３】
2007048006.tif 000044
【図２４】
2007048006.tif 000045
【図２５】
2007048006.tif 000046
【図２６】
2007048006.tif 000047