(57)【要約】【課題】複数の時点で撮影して得られた時系列画像群内の処理対象となる注目画像に関して時系列的な整合性を考慮した領域分割を可能にする。【解決手段】複数の時点で撮影して得られた時系列画像群内の処理対象となる注目画像を一旦領域分割部１０１で領域分割した後、エッジ強度算出部１０２で該注目画像及び時系列的に近傍となる近傍画像内のエッジ強度を各々算出してエッジ強度対応付け部１０３でこれらのエッジ強度を対応付けることで、時系列的に整合性のあるエッジ強度の値を把握可能とし、このように対応付けられたエッジ強度に基づいて領域統合部１０４で注目画像内の領域分割後の領域を統合するので、時系列的に整合性のある領域分割結果を得ることができる。【選択図】        図１
2006338191.tif 000002
【特許請求の範囲】
【請求項１】
複数の時点で撮影して得られた時系列画像群内の注目画像において領域分割を行う領域分割手段と、
前記時系列画像群内の前記注目画像及び該注目画像に対し時系列的に近傍となる時点で撮影された近傍画像内の画素におけるエッジ強度を算出するエッジ強度算出手段と、
算出された前記注目画像及び前記近傍画像のエッジ強度を対応付けるエッジ強度対応付け手段と、
対応付けられた複数のエッジ強度に基づき前記注目画像内の領域分割後の領域を統合する領域統合手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域分割手段は、前記注目画像内から抽出したエッジに基づき領域分割を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エッジ強度対応付け手段は、前記注目画像と前記近傍画像との間で位置補正又は形状補正の少なくとも一方を行いながらエッジ強度を対応付けることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記エッジ強度対応付け手段は、前記注目画像及び前記近傍画像内の局所領域を対象にエッジ強度を対応付ける処理を複数の前記局所領域について順次行うことで画像全体に対するエッジ強度を対応付けることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記エッジ強度対応付け手段は、前記注目画像内から抽出した一部の画像をテンプレートとする画像間のテンプレートマッチング処理に基づきエッジ強度を対応付けることを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記エッジ強度対応付け手段は、前記注目画像内から抽出した特徴構造付近の画像をテンプレートとする前記近傍画像とのテンプレートマッチング処理と、該テンプレートマッチング処理結果による幾何学的変換処理とに基づきエッジ強度を対応付けることを特徴とする請求項３又は４に記載の画像処理装置。
【請求項７】
前記特徴構造は、前記注目画像内の１方向において所定の閾値より大きな画素値の変化のある部分であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特徴構造は、前記注目画像内の直交する２方向のそれぞれにおいて所定の閾値より大きな画素値の変化のある部分であることを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記特徴構造は、ノイズ成分を除去した前記注目画像内で画素値が極大又は極小となる部分であることを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記特徴構造は、前記注目画像内で領域分割時の境界上に位置する部分であることを特徴とする請求項６に記載の画像処理装置。
【請求項１１】
前記特徴構造は、前記注目画像内で領域分割時の境界が交わる部分であることを特徴とする請求項６に記載の画像処理装置。
【請求項１２】
前記幾何学的変換処理は、テンプレートマッチング結果により算出される幾何学的変換パラメータによる射影変換及び補間を用いて前記注目画像内の注目画素位置における各近傍画像に基づくエッジ強度を算出する処理であることを特徴とする請求項６に記載の画像処理装置。
【請求項１３】
前記領域統合手段は、対応付けられた複数のエッジ強度に基づき、前記注目画像内の領域分割後の各境界部のエッジ強度の総和を求め、各総和を対応する境界部の長さで正規化した平均境界強度を所定の閾値と比較し、該平均境界強度が閾値以下の場合には該境界部で分けられた領域を統合することを特徴とする請求項１〜１２のいずれか一つに記載の画像処理装置。
【請求項１４】
前記時系列画像は、細胞の画像であることを特徴とする請求項１〜１３のいずれか一つに記載の画像処理装置。
【請求項１５】
複数の時点で撮影して得られた時系列画像群内の画像に対する領域分割処理を画像処理装置に実行させる領域分割プログラムであって、
前記画像処理装置に、
前記時系列画像群内の注目画像において領域分割を行う領域分割手順と、
前記時系列画像群内の前記注目画像及び該注目画像に対し時系列的に近傍となる時点で撮影された近傍画像内の画素におけるエッジ強度を算出するエッジ強度算出手順と、
算出された前記注目画像及び前記近傍画像のエッジ強度を対応付けるエッジ強度対応付け手順と、
対応付けられた複数のエッジ強度に基づき前記注目画像内の領域分割後の領域を統合する領域統合手順と、
を実行させることを特徴とする領域分割プログラム。
【請求項１６】
前記領域分割手順は、前記注目画像内から抽出したエッジに基づき領域分割を行うことを特徴とする請求項１５に記載の領域分割プログラム。
【請求項１７】
前記エッジ強度対応付け手順は、前記注目画像と前記近傍画像との間で位置補正又は形状補正の少なくとも一方を行いながらエッジ強度を対応付けることを特徴とする請求項１５又は１６に記載の領域分割プログラム。
【請求項１８】
前記エッジ強度対応付け手順は、前記注目画像及び前記近傍画像内の局所領域を対象にエッジ強度を対応付ける処理を複数の前記局所領域について順次行うことで画像全体に対するエッジ強度を対応付けることを特徴とする請求項１７に記載の領域分割プログラム。
【請求項１９】
前記エッジ強度対応付け手順は、前記注目画像内から抽出した一部の画像をテンプレートとする画像間のテンプレートマッチング処理に基づきエッジ強度を対応付けることを特徴とする請求項１７又は１８に記載の領域分割プログラム。
【請求項２０】
前記エッジ強度対応付け手順は、前記注目画像内から抽出した特徴構造付近の画像をテンプレートとする前記近傍画像とのテンプレートマッチング処理と、該テンプレートマッチング処理結果による幾何学的変換処理とに基づきエッジ強度を対応付けることを特徴とする請求項１７又は１８に記載の領域分割プログラム。
【請求項２１】
前記特徴構造は、前記注目画像内の１方向において所定の閾値より大きな画素値の変化のある部分であることを特徴とする請求項２０に記載の領域分割プログラム。
【請求項２２】
前記特徴構造は、前記注目画像内の直交する２方向のそれぞれにおいて所定の閾値より大きな画素値の変化のある部分であることを特徴とする請求項２０に記載の領域分割プログラム。
【請求項２３】
前記特徴構造は、ノイズ成分を除去した前記注目画像内で画素値が極大又は極小となる部分であることを特徴とする請求項２０に記載の領域分割プログラム。
【請求項２４】
前記特徴構造は、前記注目画像内で領域分割時の境界上に位置する部分であることを特徴とする請求項２０に記載の領域分割プログラム。
【請求項２５】
前記特徴構造は、前記注目画像内で領域分割時の境界が交わる部分であることを特徴とする請求項２０に記載の領域分割プログラム。
【請求項２６】
前記幾何学的変換処理は、テンプレートマッチング結果により算出される幾何学的変換パラメータによる射影変換及び補間を用いて前記注目画像内の注目画素位置における各近傍画像に基づくエッジ強度を算出する処理であることを特徴とする請求項２０に記載の領域分割プログラム。
【請求項２７】
前記領域統合手順は、対応付けられた複数のエッジ強度に基づき、前記注目画像内の領域分割後の各境界部のエッジ強度の総和を求め、各総和を対応する境界部の長さで正規化した平均境界強度を所定の閾値と比較し、該平均境界強度が閾値以下の場合には該境界部で分けられた領域を統合することを特徴とする請求項１５〜２６のいずれか一つに記載の領域分割プログラム。
【請求項２８】
前記時系列画像は、細胞の画像であることを特徴とする請求項１５〜２７のいずれか一つに記載の領域分割プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の時点で撮影して得られた時系列画像に対して領域分割処理を行う画像処理装置及び領域分割プログラムに関するものである。
【背景技術】
【０００２】
従来、複数の時点で撮影して得られた時系列の複数の画像で構成される細胞画像群における細胞認識処理としては、例えば特許文献１に、培養中の細胞を定期的に撮像した複数の画像内より各細胞領域を認識する処理が示されている。特許文献１に示される認識処理の手順は、対象の画像内より背景に相当する領域を除去し、残った画素の輝度値を増幅した後に、閾値以上の輝度値の画素の連結領域を細胞領域として認識するものである。さらに、特許文献１中に詳述されてはいないが、輝度エッジを基に細胞領域を認識する内容も示されている。エッジを基に細胞領域を認識する場合、全てのエッジにより境界を求めると、ノイズ等の影響により、本来認識すべき細胞に対し非常に過分割な状態で認識することになる。このため、エッジ強度の強い部分が境界となるように工夫したり、境界が適度に滑らかになるよう工夫したりして、細胞領域を認識するのが一般的である。
【０００３】
一方、特許文献２には、撮像時の焦点面及び撮像時間を変化させた複数の細胞画像を基に、細胞核を認識する処理が示されている。特許文献２に示される認識処理の手順は、まず各画像において所定のアルゴリズムにより核候補を抽出し、その後、焦点面あるいは撮像時間の異なる画像間においてリンケージテストと呼ばれる核候補同士の対応付けを行い、対応のない核候補を誤認識として除去するものである。
【０００４】
【特許文献１】特開２００５−０２７６２３号公報
【特許文献２】国際公開第０２／０４５０１８号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のものは、対象物の認識を１枚の画像毎に行っている。このため、時系列的には連続して存在する細胞境界であっても、ある画像内でその境界部のエッジ強度が弱い場合には、その境界を認識しない可能性がある。また、ある処理画像内でエッジ強度の強い部分は、それが時系列的に連続していなくても、細胞境界として認識する可能性がある。つまり、特許文献１のものでは認識において時系列的な整合性が考慮されないという課題がある。
【０００６】
図８〜図１０を用いて具体的な例を示す。図８は、異なる時刻ｔ(０)〜ｔ(２)に撮影して得られた時系列の細胞画像例を示す模式図である。図中、線分は各々の画像内のエッジを表しており、エッジ強度が弱い部分は破線として示している。図８に示す例のように、細胞境界を示すエッジの強度が変動したり、細胞境界とは異なる強いエッジが生じたりすることは、細胞内部の状態や撮像時のノイズなどの影響により十分発生し得ることである。図９−１〜図９−３は、図８に示す各々の時刻ｔ(０)〜ｔ(２)の細胞画像に対する認識結果の一例を示す図であり、各画像においてエッジ強度が強い部分を境界として認識した結果である。時刻ｔ(０)，ｔ(２)の画像でいずれも認識される２つの細胞の境界が時刻ｔ(１)の画像では認識されず、また、時刻ｔ(０)，ｔ(２)の画像では存在しない境界が時刻ｔ(１)の画像で認識されているのが確認できる。また、仮に、弱いエッジ強度の部分も境界となるように調整して認識した場合には、図１０−１〜図１０−３に示すように過分割な認識結果となってしまう。このような認識結果を基に、細胞の経時変化を求めても精度の良い結果は得られない。
【０００７】
一方、特許文献２のものは、対象物の認識に時系列的な整合性を考慮しているが、その方法は、各画像で抽出した候補領域を時系列的な対応を基に削除するというものであり、候補領域の抽出方法そのものに関して整合性を考慮しているわけではない。よって、特許文献２に示される基本原理を用いたとしても、図８中の時刻ｔ(１)の各細胞領域の形状は正確に認識されない。
【０００８】
本発明は、上記に鑑みてなされたものであって、複数の時点で撮影して得られた時系列画像群内の処理対象となる注目画像に関して時系列的な整合性を考慮した領域分割ができる画像処理装置及び領域分割プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、請求項１に係る画像処理装置は、複数の時点で撮影して得られた時系列画像群内の注目画像において領域分割を行う領域分割手段と、前記時系列画像群内の前記注目画像及び該注目画像に対し時系列的に近傍となる時点で撮影された近傍画像内の画素におけるエッジ強度を算出するエッジ強度算出手段と、算出された前記注目画像及び前記近傍画像のエッジ強度を対応付けるエッジ強度対応付け手段と、対応付けられた複数のエッジ強度に基づき前記注目画像内の領域分割後の領域を統合する領域統合手段と、を備えることを特徴とする。
【００１０】
請求項２に係る画像処理装置は、上記発明において、前記領域分割手段は、前記注目画像内から抽出したエッジに基づき領域分割を行うことを特徴とする。
【００１１】
請求項３に係る画像処理装置は、上記発明において、前記エッジ強度対応付け手段は、前記注目画像と前記近傍画像との間で位置補正又は形状補正の少なくとも一方を行いながらエッジ強度を対応付けることを特徴とする。
【００１２】
請求項４に係る画像処理装置は、上記発明において、前記エッジ強度対応付け手段は、前記注目画像及び前記近傍画像内の局所領域を対象にエッジ強度を対応付ける処理を複数の前記局所領域について順次行うことで画像全体に対するエッジ強度を対応付けることを特徴とする。
【００１３】
請求項５に係る画像処理装置は、上記発明において、前記エッジ強度対応付け手段は、前記注目画像内から抽出した一部の画像をテンプレートとする画像間のテンプレートマッチング処理に基づきエッジ強度を対応付けることを特徴とする。
【００１４】
請求項６に係る画像処理装置は、上記発明において、前記エッジ強度対応付け手段は、前記注目画像内から抽出した特徴構造付近の画像をテンプレートとする前記近傍画像とのテンプレートマッチング処理と、該テンプレートマッチング処理結果による幾何学的変換処理とに基づきエッジ強度を対応付けることを特徴とする。
【００１５】
請求項７に係る画像処理装置は、上記発明において、前記特徴構造は、前記注目画像内の１方向において所定の閾値より大きな画素値の変化のある部分であることを特徴とする。
【００１６】
請求項８に係る画像処理装置は、上記発明において、前記特徴構造は、前記注目画像内の直交する２方向のそれぞれにおいて所定の閾値より大きな画素値の変化のある部分であることを特徴とする。
【００１７】
請求項９に係る画像処理装置は、上記発明において、前記特徴構造は、ノイズ成分を除去した前記注目画像内で画素値が極大又は極小となる部分であることを特徴とする。
【００１８】
請求項１０に係る画像処理装置は、上記発明において、前記特徴構造は、前記注目画像内で領域分割時の境界上に位置する部分であることを特徴とする。
【００１９】
請求項１１に係る画像処理装置は、上記発明において、前記特徴構造は、前記注目画像内で領域分割時の境界が交わる部分であることを特徴とする。
【００２０】
請求項１２に係る画像処理装置は、上記発明において、前記幾何学的変換処理は、テンプレートマッチング結果により算出される幾何学的変換パラメータによる射影変換及び補間を用いて前記注目画像内の注目画素位置における各近傍画像に基づくエッジ強度を算出する処理であることを特徴とする。
【００２１】
請求項１３に係る画像処理装置は、上記発明において、前記領域統合手段は、対応付けられた複数のエッジ強度に基づき、前記注目画像内の領域分割後の各境界部のエッジ強度の総和を求め、各総和を対応する境界部の長さで正規化した平均境界強度を所定の閾値と比較し、該平均境界強度が閾値以下の場合には該境界部で分けられた領域を統合することを特徴とする。
【００２２】
請求項１４に係る画像処理装置は、上記発明において、前記時系列画像は、細胞の画像であることを特徴とする。
【００２３】
請求項１５に係る領域分割プログラムは、複数の時点で撮影して得られた時系列画像群内の画像に対する領域分割処理を画像処理装置に実行させる領域分割プログラムであって、前記画像処理装置に、前記時系列画像群内の注目画像において領域分割を行う領域分割手順と、前記時系列画像群内の前記注目画像及び該注目画像に対し時系列的に近傍となる時点で撮影された近傍画像内の画素におけるエッジ強度を算出するエッジ強度算出手順と、算出された前記注目画像及び前記近傍画像のエッジ強度を対応付けるエッジ強度対応付け手順と、対応付けられた複数のエッジ強度に基づき前記注目画像内の領域分割後の領域を統合する領域統合手順と、を実行させることを特徴とする。
【００２４】
請求項１６に係る領域分割プログラムは、上記発明において、前記領域分割手順は、前記注目画像内から抽出したエッジに基づき領域分割を行うことを特徴とする。
【００２５】
請求項１７に係る領域分割プログラムは、上記発明において、前記エッジ強度対応付け手順は、前記注目画像と前記近傍画像との間で位置補正又は形状補正の少なくとも一方を行いながらエッジ強度を対応付けることを特徴とする。
【００２６】
請求項１８に係る領域分割プログラムは、上記発明において、前記エッジ強度対応付け手順は、前記注目画像及び前記近傍画像内の局所領域を対象にエッジ強度を対応付ける処理を複数の前記局所領域について順次行うことで画像全体に対するエッジ強度を対応付けることを特徴とする。
【００２７】
請求項１９に係る領域分割プログラムは、上記発明において、前記エッジ強度対応付け手順は、前記注目画像内から抽出した一部の画像をテンプレートとする画像間のテンプレートマッチング処理に基づきエッジ強度を対応付けることを特徴とする。
【００２８】
請求項２０に係る領域分割プログラムは、上記発明において、前記エッジ強度対応付け手順は、前記注目画像内から抽出した特徴構造付近の画像をテンプレートとする前記近傍画像とのテンプレートマッチング処理と、該テンプレートマッチング処理結果による幾何学的変換処理とに基づきエッジ強度を対応付けることを特徴とする。
【００２９】
請求項２１に係る領域分割プログラムは、上記発明において、前記特徴構造は、前記注目画像内の１方向において所定の閾値より大きな画素値の変化のある部分であることを特徴とする。
【００３０】
請求項２２に係る領域分割プログラムは、上記発明において、前記特徴構造は、前記注目画像内の直交する２方向のそれぞれにおいて所定の閾値より大きな画素値の変化のある部分であることを特徴とする。
【００３１】
請求項２３に係る領域分割プログラムは、上記発明において、前記特徴構造は、ノイズ成分を除去した前記注目画像内で画素値が極大又は極小となる部分であることを特徴とする。
【００３２】
請求項２４に係る領域分割プログラムは、上記発明において、前記特徴構造は、前記注目画像内で領域分割時の境界上に位置する部分であることを特徴とする。
【００３３】
請求項２５に係る領域分割プログラムは、上記発明において、前記特徴構造は、前記注目画像内で領域分割時の境界が交わる部分であることを特徴とする。
【００３４】
請求項２６に係る領域分割プログラムは、上記発明において、前記幾何学的変換処理は、テンプレートマッチング結果により算出される幾何学的変換パラメータによる射影変換及び補間を用いて前記注目画像内の注目画素位置における各近傍画像に基づくエッジ強度を算出する処理であることを特徴とする。
【００３５】
請求項２７に係る領域分割プログラムは、上記発明において、前記領域統合手順は、対応付けられた複数のエッジ強度に基づき、前記注目画像内の領域分割後の各境界部のエッジ強度の総和を求め、各総和を対応する境界部の長さで正規化した平均境界強度を所定の閾値と比較し、該平均境界強度が閾値以下の場合には該境界部で分けられた領域を統合することを特徴とする。
【００３６】
請求項２８に係る領域分割プログラムは、上記発明において、前記時系列画像は、細胞の画像であることを特徴とする。
【発明の効果】
【００３７】
本発明に係る画像処理装置及び領域分割プログラムによれば、複数の時点で撮影して得られた時系列画像群内の処理対象となる注目画像を一旦領域分割した後、該注目画像及び時系列的に近傍となる近傍画像内のエッジ強度を各々算出してこれらのエッジ強度を対応付けることで、時系列的に整合性のあるエッジ強度の値を把握可能とし、このように対応付けられたエッジ強度に基づいて注目画像内の領域分割後の領域を統合するので、時系列的に整合性のある領域分割結果を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００３８】
本発明を実施するための最良の形態について図面を参照して説明する。以下に説明する実施の形態では、複数の時点で細胞を撮影して得られた時系列の複数の細胞画像から構成される時系列画像群を用いて各細胞領域を認識する画像処理装置への適用例を示す。ただし、本発明は形を形成して空間に存在している一般的な物体、例えば人物、動物、生物などを複数の時点で撮像して得られた他の画像で構成される時系列画像群を用いて領域分割を行う画像処理装置としても適用可能である。
【００３９】
図１は、本実施の形態の画像処理装置の構成例を示す概略ブロック図である。本実施の形態の画像処理装置１００は、複数の時点で撮像して得られた時系列画像群内の処理対象となる注目画像において領域分割を行う領域分割部１０１と、注目画像及びこの注目画像に対し時系列的に近傍となる時点で撮像された近傍画像内の画素におけるエッジ強度を算出するエッジ強度算出部１０２と、算出された注目画像及び近傍画像間で算出されたエッジ強度を対応付けるエッジ強度対応付け部１０３と、対応付けられた複数のエッジ強度に基づいて注目画像内の領域分割後の領域を統合する領域統合部１０４とを備えるマイクロコンピュータ構成の制御部１１０と、取得した時系列の細胞画像及び各部で利用するデータを保持するメモリ１２０とから構成されている。なお、処理対象となる時系列の細胞画像を画像処理装置１００に入力するための構成や、出力後の細胞認識結果を処理する構成に関しては、本発明では特に限定しないため図示しない。
【００４０】
図２は、本実施の形態の画像処理装置１００の制御部１１０により実行される処理の流れを示す概略フローチャートであり、図３は図２のフローチャート内のエッジ強度の対応付け処理（ステップＳ５）なるサブルーチンの処理例を示す概略フローチャートである。ここでは撮像開始時刻ｔ(０)から撮像終了時刻ｔ(Ｔ)までの時系列の細胞画像からなる時系列画像群を用いて細胞領域を認識する際の流れを示している。以下、図１に示す構成と対比しながら説明する。
【００４１】
まず、制御部１１０は、認識処理を行う対象となる注目画像である細胞画像の時系列順序を示す符号ｉを０に設定し（ステップＳ１）、時刻ｔ(ｉ−ｎ)〜ｔ(ｉ＋ｎ)の細胞画像を取得する（ステップＳ２）。ｎは後述のエッジ強度の対応付けを行う際に用いる画像の時系列範囲を決定する値であり、本説明ではｎ＝１として説明する。すなわち、基本的には注目画像に対して時系列的に１つ前後に位置する近傍画像の範囲を対象とする。なお、ｎは２以上でもよい。ここで、ｉ＝０の場合、ｉ−ｎ＝０−１＝−１であり、時刻ｔ(−1)の細胞画像は存在しない。そこで、ｉ−ｎ＜０の場合には、ステップＳ２で取得する画像の時系列先端の画像は時刻ｔ(０)の画像とする。また、符号ｉを順次繰り越し、ｉ＋ｎ＞Ｔとなった場合には、やはり画像が存在しないので、ステップＳ２で取得する画像の時系列後端の画像は時刻ｔ(Ｔ)の画像とする。
【００４２】
次に、領域分割部１０１は、注目画像となる時刻ｔ(ｉ)の細胞画像において領域分割を行う（ステップＳ３）。但し、この場合、認識対象に対して過分割気味となるように領域を分割する。
【００４３】
細胞画像における細胞領域分割に関しては、例えば本出願人による特願２００５−２４５１１なる提案例を利用すればよい。その手順の概略を説明すると、まず、細胞画像に対しシェーディング補正や輪郭強調処理を行う。次に、背景領域を除去し、残りの各画素における輝度勾配方向を求める。次に、各画素が輝度勾配方向に沿って到達する輝度極値画素を求め、近接する輝度極値画素に到達した各画素を同一の画素値とするラベル領域画像を作成する。さらに、各ラベル領域の境界付近における細胞画像の輝度情報を基に、ラベル領域の再統合を行い、最終的に背景及び各細胞の候補領域を分割した領域分割画像を得るというものである。この提案例の方法において領域を過分割するには、複数の極値画素の近接具合を判定するためのパラメータを調整したり、ラベル領域の再統合具合を制御するパラメータを調整したりすればよい。例えば、図４−１に示すような細胞画像に対してこのような認識処理を行い、図４−２に示すように領域毎にラベル化された領域分割画像を得る。
【００４４】
また、領域分割の方法には、スネークと呼ばれる動的輪郭抽出法（参考：CG-ARTS協会：ディジタル画像処理：196P、領域分割処理）や、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille. Watersheds in digital spaces:An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence, Vol.13, No.6, pp.583-598,June 1991.）を用いる方法等もある。
【００４５】
前者のスネークと呼ばれる動的輪郭抽出法は、画像内のエッジを閉曲線として抽出する方法であり、あらかじめ画像内に設定した初期閉曲線の形状を変更しながら、閉曲線の連続性、滑らかさ及び閉曲線上でのエッジ強度によるエネルギー和が最も安定するような閉曲線を抽出する。よって、細胞画像においては、およその細胞サイズと画像サイズより計算される複数の初期閉曲線を画像内に設定し、各閉曲線でスネーク処理を実行することにより領域分割ができる。なお、各画素における画素値の勾配が集中する位置を中心として、およその細胞サイズの初期閉曲線を設定すれば、計算コストの削減及び分割精度の向上が見込める。また、過分割するには、初期閉曲線を多めに設定すればよい。
【００４６】
後者の分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割していく方法である。このため、基本的には画像内のエッジ部に境界ができる。細胞画像においては、まず、エッジを抽出し、適当な平滑化を行った後に、分水嶺アルゴリズムを実行することにより領域分割ができる。但し、画像内には、細胞内部の状態や撮像時のノイズなどの影響による多数のエッジが存在するため、通常は非常に過分割な状態となる。そこで、前述の本出願人提案の特願２００５−２４５１１で示すような領域の再統合を適度に行う必要がある。
【００４７】
以上、本実施の形態では、細胞画像を対象とした領域分割の方法を幾つか示したが、領域分割の方法は認識対象や画像の種類によっても変わるものである。このため、例えば、近接画素の統合による領域分割や、画素特徴量のクラス分けによる領域分割等を行っても良い（参考：CG-ARTS協会：ディジタル画像処理：196P、領域分割処理）。
【００４８】
次に、エッジ強度算出部１０２は、取得した各細胞画像（注目画像及び近傍画像）の各画素におけるエッジ強度を算出する（ステップＳ４）。エッジ強度の算出は、既に公知のソーベルフィルタ、ラプラシアンフィルタ等を用いて空間フィルタリングを行ったり、方向別の微分フィルタによる複数の空間フィルタリング出力のうち最大のものをエッジ強度としたりする等、様々な方法で算出できる。図５は、図４−１に示す細胞画像の各画素におけるエッジ強度を、各画素の画素値として示したエッジ強度画像の例である。図５−１は、ソーベルフィルタを利用した例であり、図５−２は、方向別の微分フィルタを利用した例である。図５−１及び図５−２より確認できるように、算出法により差が生じるが、領域分割時の境界と相関があるエッジ強度が算出できればよい。前述の分水嶺アルゴリズムを利用する場合のように、事前にエッジ抽出を行う場合には、このエッジ抽出結果をエッジ強度として用いてもよい。
【００４９】
エッジ強度が算出された後、エッジ強度対応付け部１０３は、注目画像である時刻ｔ(ｉ)の細胞画像のエッジ強度と、近傍画像である他の各細胞画像のエッジ強度との対応付け処理を行う（ステップＳ５）。
【００５０】
エッジ強度の対応付け処理の手順としては、まず、注目画像である時刻ｔ(ｉ)の細胞画像の細胞候補が存在する局所領域Ｒ内より特徴構造を抽出する（ステップＳ５１）。特徴構造は、異なる時刻の細胞画像間でエッジ強度を対応付けるための基準である。そこで、ノイズによる微小な画素値の変化と、画像内の対象物による画素値の変化を区別するような所定の閾値を設定し、少なくとも画像内の１方向において所定の閾値より大きな画素値の変化がある部分を抽出する。例えば、領域分割時の境界上に位置する部分は、境界に垂直な方向では対象物による大きな画素値の変化があるので、特徴構造として抽出できる。さらには、画像内の直交する２方向の各々において所定の閾値より大きな画素値の変化がある部分を特徴構造とするとなお良い。例えば、ノイズを除去した細胞画像内で画素値が極大又は極小となる部分や、領域分割時の境界が交わる部分などがこれに相当する。
【００５１】
実際の抽出は、画素値が極大となる部分の場合には、細胞画像に対し適当な平滑化を行った後、所定サイズの処理ブロックをラスタ走査し、ブロック中心の画素の画素値からブロック周辺の画素の画素値の平均値を引いた値を求め、この値が所定の閾値より大きくなる位置を抽出すればよい。また、領域分割時の境界が交わる部分は、図４−２に示すような領域分割画像内で３×３サイズの処理ブロックをラスタ走査し、ブロック内に異なる３つ以上の画素値が存在する位置を抽出すればよい。この場合、抽出の際に特に閾値を用いないが、これは領域分割時に既に所定の閾値以上の画素値変化がある部分が境界となるように領域分割しているためである。なお、特徴構造は、後述の幾何学的変換パラメータを求めるのに必要な個数以上を抽出する。
【００５２】
特徴構造が抽出された後は、注目画像である時刻ｔ(ｉ)の細胞画像の特徴構造付近の画像をテンプレートとし、他の各近傍画像内においてテンプレートマッチングを行う（ステップＳ５２）。注目画像と近傍画像とでは、撮影時刻が異なることから、画像内の対象物の位置がずれていたり、あるいは、形状が変化していたりすることがあるため、対象物の位置補正及び形状補正の少なくとも一方を行う。位置補正や形状補正は、このテンプレートマッチング処理や後述の射影変換及び補間処理によって行う。図６−１は、図８に例示した時刻ｔ(１)の注目画像において境界が交わる部分を抽出し、テンプレートＴ１〜Ｔ４として設定した例を示す説明図である。また、図６−２は、各テンプレートＴ１〜Ｔ４による時刻ｔ(２)の細胞画像内でのマッチングの探索範囲例である。探索範囲は各テンプレートＴ１〜Ｔ４の座標を中心に、対象物のおよその移動量を考慮して設定すればよい。結果的に、テンプレートＴ１〜Ｔ４毎に、他の各近傍画像内より最も対応する位置の座標が得られる。
【００５３】
テンプレートマッチング処理の終了後は、各テンプレートのマッチング結果より得られる複数の座標の組に基づき、局所領域Ｒを他の各近傍画像に合わせる場合の幾何学的変換パラメータを算出する（ステップＳ５３）。式(１)は、座標(ｘ，ｙ)を座標(ｘ´，ｙ´)に変換する射影変換の一般形を表す式である。
ｘ´＝（ｈ11ｘ＋ｈ12ｙ＋ｈ13）／（ｈ31ｘ＋ｈ32ｙ＋ｈ33）
ｙ´＝（ｈ21ｘ＋ｈ22ｙ＋ｈ23）／（ｈ31ｘ＋ｈ32ｙ＋ｈ33）
……………………………………………………(１)
【００５４】
ここで、変換パラメータｈnmの数は９個であるが、定数倍の自由度を考慮すると、求めるべき未知数は８個となる。このため、４箇所の座標の組が得られれば、各座標の組を式(１)に代入することで８つの方程式を得ることができ、これを解くことにより、変換パラメータの値を算出できる。なお、４箇所以上の座標の組を得た場合には、最小二乗法により誤差を軽減するように変換パラメータを求めることができる。
【００５５】
幾何学的変換パラメータを算出した後は、幾何学的変換パラメータによる射影変換及び補間を用いて、時刻ｔ(ｉ)の注目画像の局所領域Ｒ内の境界近傍の各画素位置における、他の各近傍画像に基づくエッジ強度を算出する（ステップＳ５４）。実際には、まず、局所領域Ｒを時刻ｔ(ｉ−１)の近傍画像に合わせる場合の変換パラメータにより、時刻ｔ(ｉ)の注目画像の局所領域Ｒ内の画素Ｐ（座標（ｘ，ｙ））を変換した座標(ｘ´，ｙ´)を求める。次に、時刻ｔ(ｉ−１)の近傍画像内の座標(ｘ´，ｙ´)の周囲に位置する画素におけるエッジ強度を加重平均して、座標(ｘ´，ｙ´)におけるエッジ強度を算出する。そして、これを画素Ｐにおける時刻ｔ(ｉ−１)の近傍画像に基づくエッジ強度とする。その後、局所領域Ｒ内の境界近傍の各画素を順に画素Ｐとして処理することで、局所領域Ｒ内の境界近傍の各画素位置における、時刻ｔ(ｉ−１)の近傍画像に基づくエッジ強度を求める。さらに、同様の手順で時刻ｔ(ｉ＋１)の近傍画像に基づくエッジ強度も算出する。
【００５６】
局所領域Ｒにおける他の近傍画像に基づくエッジ強度の算出が終了した後は、対応付け処理を終了するか判定する（ステップＳ５５）。これは時刻ｔ(ｉ)の注目画像内に、エッジ強度の対応付け処理が行われていない対象があるか判定すれば良い。対応付け処理が終了していない場合には（ステップＳ５５：Ｎｏ）、時刻ｔ(ｉ)の注目画像内で局所領域Ｒの位置を変更し（ステップＳ５６）、再度ステップＳ５１〜Ｓ５５の処理を行う。一方、対応付け処理が終了している場合には（ステップＳ５５：Ｙｅｓ）、エッジ強度対応付け部１０３での処理を終了する。
【００５７】
以上、形状変化を考慮して射影変換を用いた場合の対応付け処理を説明したが、エッジ強度の対応付けを行う画像間における対象物の形状変化が少ない場合には、より少ない特徴構造や、又は特徴構造を抽出せずに注目画像の一部の画像である局所領域全体をテンプレートとしたテンプレートマッチング結果より、平行移動のみ考慮して対応付け処理を行っても良い。この場合、幾何学的変換などによる計算コストが削減できる。
【００５８】
エッジ強度の対応付け処理が終了した後は、領域統合部１０４は、対応付け後の複数の画像のエッジ強度に基づき時刻ｔ(ｉ)の注目画像の領域分割後の領域を統合する（ステップＳ６）。図７は、領域統合処理を説明するための図である。図７−１は、図８中に例示した時刻ｔ(１)の注目画像を領域分割部１０１で過分割気味に領域分割した結果である。図７−２は、時刻ｔ(１)の注目画像の境界近傍の各画素位置における、時刻ｔ(０)〜ｔ(２)の各画像に基づくエッジ強度の和を線分の太さとして示した模式図である。各画像で常に高いエッジ強度となる背景との境界Ｂ１近傍では最もエッジ強度の和が大きく、次に時刻ｔ(０)，ｔ(２)の画像で強いエッジ強度及び時刻ｔ(１)で中程度のエッジ強度となる境界Ｂ３近傍での和が大きい。そして、各画像で常に中程度のエッジ強度である境界Ｂ２近傍が次に大きく、最も和が小さいのは時刻ｔ(１)の画像のみに存在する境界Ｂ４近傍である。そこで、領域分割した画像から境界部を抽出し、エッジ強度の対応付け後の複数の画像のエッジ強度を基に、各境界部のエッジ強度の総和を求める。そして、この総和を境界部の長さで正規化した平均境界強度と所定の閾値を比較し、平均境界強度が閾値以下の場合には境界部で分けられる領域を統合する。図７−３は、図７−２の結果に基づく領域の適正な統合結果を示す図である。
【００５９】
領域の統合が終了した後は、制御部１１０は符号ｉ＝ｉ＋１とし（ステップＳ７）、次の処理対象となるべき注目画像の有無をｉ≦Ｔ？により判定する（ステップＳ８）。処理対象となるべき注目画像が存在する場合には（ステップＳ８：Ｙｅｓ）、ステップＳ２〜Ｓ７の処理を同様に行う。一方、処理対象となるべき注目画像が存在しない場合には（ステップＳ８：Ｎｏ）、認識結果を出力して（ステップＳ９）、画像処理装置１００での処理を終了する。
【００６０】
本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。例えば、前述の領域分割部１０１、エッジ強度算出部１０２，エッジ強度対応付け部１０３，領域統合部１０４等の各部による処理手順は、あらかじめ用意された領域分割プログラムをパーソナルコンピュータなどのコンピュータで実行することにより実現するようにしてもよい。この領域分割プログラムは、インターネットなどのネットワークを介して配布することもできる。また、この領域分割プログラムは、ハードディスク、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることにより実行することもできる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の形態の画像処理装置の構成例を示す概略ブロック図である。
【図２】本実施の形態の制御部により実行される処理の流れを示す概略フローチャートである。
【図３】図２のフローチャート内のエッジ強度の対応付け処理（ステップＳ５）なるサブルーチンの処理例を示す概略フローチャートである。
【図４−１】処理対象となる細胞画像例を示す図である。
【図４−２】領域毎にラベル化された領域分割画像例を示す図である。
【図５−１】ソーベルフィルタを用いたエッジ強度画像例を示す図である。
【図５−２】方向別微分フィルタを用いたエッジ強度画像例を示す図である。
【図６−１】時刻ｔ(１)の注目画像におけるテンプレート設定例を示す図である。
【図６−２】時刻ｔ(２)の近傍画像における探索範囲例を示す図である。
【図７−１】領域統合処理に関して時刻ｔ(１)の注目画像についての領域分割結果例を示す図である。
【図７−２】領域統合処理に関して集約された時系列的なエッジ強度情報を示す図である。
【図７−３】領域統合処理による領域統合結果例を示す図である。
【図８】時刻ｔ(０)〜ｔ(２)の間で時系列に取得された細胞画像の一例を示す模式図である。
【図９−１】図８中の時刻ｔ(０)の画像に対する細胞認識結果の一例を示す図である。
【図９−２】図８中の時刻ｔ(１)の画像に対する細胞認識結果の一例を示す図である。
【図９−３】図８中の時刻ｔ(２)の画像に対する細胞認識結果の一例を示す図である。
【図１０−１】図８中の時刻ｔ(０)の画像に対する細胞認識結果の他例を示す図である。
【図１０−２】図８中の時刻ｔ(１)の画像に対する細胞認識結果の他例を示す図である。
【図１０−３】図８中の時刻ｔ(２)の画像に対する細胞認識結果の他例を示す図である。
【符号の説明】
【００６２】
１０１  領域分割部
１０２  エッジ強度算出部
１０３  エッジ強度対応付け部
１０４  領域統合部
【図１】
2006338191.tif 000003
【図２】
2006338191.tif 000004
【図３】
2006338191.tif 000005
【図４−１】
2006338191.tif 000006
【図４−２】
2006338191.tif 000007
【図５−１】
2006338191.tif 000008
【図５−２】
2006338191.tif 000009
【図６−１】
2006338191.tif 000010
【図６−２】
2006338191.tif 000011
【図７−１】
2006338191.tif 000012
【図７−２】
2006338191.tif 000013
【図７−３】
2006338191.tif 000014
【図８】
2006338191.tif 000015
【図９−１】
2006338191.tif 000016
【図９−２】
2006338191.tif 000017
【図９−３】
2006338191.tif 000018
【図１０−１】
2006338191.tif 000019
【図１０−２】
2006338191.tif 000020
【図１０−３】
2006338191.tif 000021