(57)【要約】【課題】細胞の不鮮明領域が多く存在する高密度条件下においても、算出した特徴量に基づいて、検出した細胞候補領域を鮮明領域と不鮮明領域に分類して、細胞検出精度が高い鮮明領域に対して自動追跡を実行することで、高精度の自動追跡が可能になる細胞挙動解析装置等を提供する。【解決手段】細胞挙動解析装置１は、細胞画像処理を施したタイムラプス画像の２値化画像を用いて細胞候補領域を抽出し（Ｓ１）、各細胞候補領域に対して特徴量算出処理を実行する（Ｓ２）。細胞挙動解析装置１は、細胞候補領域の領域サイズと輝度値分布と曲率分布とを算出し、算出された特徴量に基づいて高次元の特徴ベクトルを作成する（Ｓ３）。細胞挙動解析装置１は、特徴ベクトルに基づいて細胞候補領域の中から細胞領域を抽出する（Ｓ５）。細胞挙動解析装置１は、抽出された細胞領域に対して、自動追跡処理を実行する。【選択図】図３
2014085949.tif 000002
【特許請求の範囲】
【請求項１】
タイムラプス画像のフレームごとに、前記タイムラプス画像内の個々の細胞の細胞候補領域を検出する細胞候補領域検出手段と、
検出した前記細胞候補領域に対して特徴量を算出する特徴量算出手段と、
算出した前記特徴量に基づいて前記細胞候補領域の中から細胞領域を抽出する細胞領域抽出手段と、
時系列的に連続する２つの前記フレームについて抽出した前記細胞領域同士の対応付けの尤度を算出する尤度算出手段と、
算出した前記尤度に基づいて前記対応付けの組合せの最適解を特定する最適解特定手段と、
特定した前記最適解に含まれる前記細胞領域の位置情報が時系列順に格納される追跡結果データを記憶する記憶手段と、
を具備することを特徴とする細胞挙動解析装置。
【請求項２】
前記特徴量算出手段は、
前記細胞候補領域の輝度分布に関する指標と、前記細胞候補領域の曲率分布に関する指標とを用いて、前記特徴量を算出する
ことを特徴とする請求項１に記載の細胞挙動解析装置。
【請求項３】
前記細胞領域抽出手段は、
予め定められた複数の特徴ベクトルである正解データから、前記細胞候補領域を鮮明領域と不鮮明領域とに分類する識別器を作成し、
前記細胞候補領域に対して算出した前記特徴量から前記特徴ベクトルを作成し、
前記識別器によって、作成した前記特徴ベクトルが前記鮮明領域に分類された場合に、当該特徴ベクトルに係る前記細胞候補領域を前記細胞領域とする
ことを特徴とする請求項１又は請求項２に記載の細胞挙動解析装置。
【請求項４】
タイムラプス画像のフレームごとに、前記タイムラプス画像内の個々の細胞の細胞候補領域を検出する細胞候補領域検出ステップと、
検出した前記細胞候補領域に対して特徴量を算出する特徴量算出ステップと、
算出した前記特徴量に基づいて前記細胞候補領域の中から細胞領域を抽出する細胞領域抽出ステップと、
時系列的に連続する２つの前記フレームについて抽出した前記細胞領域同士の対応付けの尤度を算出する尤度算出ステップと、
算出した前記尤度に基づいて前記対応付けの組合せの最適解を特定する最適解特定ステップと、
特定した前記最適解に含まれる前記細胞領域の位置情報が時系列順に格納される追跡結果データを記憶する記憶ステップと、
を含むことを特徴とする細胞挙動解析方法。
【請求項５】
コンピュータに、
タイムラプス画像のフレームごとに、前記タイムラプス画像内の個々の細胞の細胞候補領域を検出する細胞候補領域検出ステップと、
検出した前記細胞候補領域に対して特徴量を算出する特徴量算出ステップと、
算出した前記特徴量に基づいて前記細胞候補領域の中から細胞領域を抽出する細胞領域抽出ステップと、
時系列的に連続する２つの前記フレームについて抽出した前記細胞領域同士の対応付けの尤度を算出する尤度算出ステップと、
算出した前記尤度に基づいて前記対応付けの組合せ集合の最適解を特定する最適解特定ステップと、
特定した前記最適解に含まれる前記細胞領域の位置情報が時系列順に格納される追跡結果データを記憶する記憶ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞を撮影した画像に基づいて細胞の挙動を解析する細胞挙動解析装置等に関するものである。
【背景技術】
【０００２】
近年、生物、医療の分野において、一定の時間間隔ごとに所定の領域に含まれる細胞を撮影した画像（以下、「タイムラプス画像」と表記）に基づいて、コンピュータにより細胞の挙動を解析する技術が開発されている。このような分野において、細胞形状や細胞の移動速度等の解析を行うために、個々の細胞を自動追跡したいという要望がある。
【０００３】
非特許文献１では、位相差像を利用してフレームごとに細胞検出を行い、時系列が連続するフレーム間で検出された細胞の対応付けを行うことで、細胞の自動追跡を行い、細胞検出結果に基づいて細胞死を検出する手法が提案されている。また、非特許文献２では、個々の細胞の自動追跡結果を用いて、細胞分裂や細胞の重なり等を検知する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】O.Al-Kofahi,R.Radke,S.Goderie,Q.Shen,S.Temple,and B.Roysam,“Automated cell lineage construction:A rapid method to analyze clonaldevelopment established with murine neural progenitor cells,”Cell Cyclevol.5,no.3,pp.327-335,2006.
【非特許文献２】Takeo Kanade,Zhaozheng Yin,Ryoma Bise,Seungil Huh,Sungeun Eom,MichaelSandbothe and Mei Chen,“Cell ImageAnalysis:Algorithms,System and Applications,”IEEE WACV2011.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、細胞密度が高い条件下では、同時刻のタイムラプス画像において、細胞の輪郭が比較的鮮明である領域と、細胞同士がくっ付き境界が曖昧な領域が混在する。そのため、細胞の輪郭が不鮮明な領域での細胞検出精度が著しく悪く、自動追跡結果は、エラーデータを含む可能性が高まる。ここで、自動追跡結果のデータがエラーデータであるとは、例えば、フレーム間の細胞の対応付けを誤って、途中から異なる細胞の移動軌跡が含まれてしまったり、対象の細胞を見失ってしまい、移動軌跡が途中までしか含まれていなかったりすることである。このようなエラーデータを母集団に含めて、細胞の挙動を解析するため統計量を算出すると、正しい統計量が得られず、自動追跡結果の精度が低下する。
特に、再生医療分野においては、移植用の成熟細胞を培養するため、細胞密度が高い条件下で且つ非侵襲（非染色）画像において、個々の細胞を高精度で自動追跡可能な細胞挙動解析装置等が望まれている。
【０００６】
非特許文献１に記載の技術では、細胞の輪郭が曖昧な領域が多く存在する高密度条件下では細胞検出の精度が著しく低く、高精度での自動追跡が難しい。非特許文献２に記載の技術では、細胞の重なりを検知できるが、２〜３個程度にしか対応できないため、高密度条件下での個々の細胞の自動追跡には課題が残る。
【０００７】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、細胞の不鮮明領域が多く存在する高密度条件下においても、算出した特徴量に基づいて、検出した細胞候補領域を鮮明領域と不鮮明領域に分類して、細胞検出精度が高い鮮明領域に対して自動追跡を実行することで、高精度の自動追跡が可能になる細胞挙動解析装置等を提供することである。
【課題を解決するための手段】
【０００８】
前述した課題を解決するため第１の発明は、タイムラプス画像のフレームごとに、前記タイムラプス画像内の個々の細胞の細胞候補領域を検出する細胞候補領域検出手段と、検出した前記細胞候補領域に対して特徴量を算出する特徴量算出手段と、算出した前記特徴量に基づいて前記細胞候補領域の中から細胞領域を抽出する細胞領域抽出手段と、時系列的に連続する２つの前記フレームについて抽出した前記細胞領域同士の対応付けの尤度を算出する尤度算出手段と、算出した前記尤度に基づいて前記対応付けの組合せの最適解を特定する最適解特定手段と、特定した前記最適解に含まれる前記細胞領域の位置情報が時系列順に格納される追跡結果データを記憶する記憶手段と、を具備することを特徴とする細胞挙動解析装置である。
第１の発明によれば、タイムラプス画像のフレームごとに細胞候補領域を検出し、検出された各々の細胞候補領域細胞に対して特徴量を算出し、特徴量に基づいて細胞候補領域を輪郭が鮮明な領域と不鮮明な領域とに分類して、輪郭が鮮明な領域を細胞領域として抽出する。時系列が連続するフレームの細胞領域同士が対応付けられる尤度を算出し、尤度に基づいて対応付けの組合せの最適解を求めることで、細胞の自動追跡を実行する。これにより、細胞検出が正しく機能している領域に対して自動追跡することとなり、輪郭が曖昧な領域における細胞検出時のエラー（細胞が存在しない領域が検出される過検出エラー、細胞が存在する領域が検出されない未検出エラー）の影響を抑えられる。従って、細胞の輪郭が不鮮明な領域が多く存在する高密度条件下においても、高い精度で個々の細胞を自動追跡することが可能となる。また、成熟培養においては、成熟度が低い領域では細胞の輪郭が曖昧であり、成熟度が高くなるにつれて細胞の輪郭がはっきりするという特徴があり、これらの領域を分離することで品質管理に繋がる。
【０００９】
また、前記特徴量算出手段は、前記細胞候補領域の輝度分布に関する指標と、前記細胞候補領域の曲率分布に関する指標とを用いて、前記特徴量を算出することが望ましい。
これにより、個々の細胞候補領域の形状を特徴量として算出し、細胞候補領域を細胞の輪郭が鮮明な領域と不鮮明な領域とに識別することが可能となる。
【００１０】
また、前記細胞領域抽出手段は、予め定められた複数の特徴ベクトルである正解データから、前記細胞候補領域を鮮明領域と不鮮明領域とに分類する識別器を作成し、前記細胞候補領域に対して算出した前記特徴量から前記特徴ベクトルを作成し、前記識別器によって、作成した前記特徴ベクトルが前記鮮明領域に分類された場合に、当該特徴ベクトルに係る前記細胞候補領域を前記細胞領域とすることが望ましい。機械学習の手法により、細胞候補領域を鮮明領域と不鮮明領域とに分類することができる。
機械学習の手法により、細胞候補領域を鮮明領域と不鮮明領域とに分類することができる。
【００１１】
第２の発明は、タイムラプス画像のフレームごとに、前記タイムラプス画像内の個々の細胞の細胞候補領域を検出する細胞候補領域検出ステップと、検出した前記細胞候補領域に対して特徴量を算出する特徴量算出ステップと、算出した前記特徴量に基づいて前記細胞候補領域の中から細胞領域を抽出する細胞領域抽出ステップと、時系列的に連続する２つの前記フレームについて抽出した前記細胞領域同士の対応付けの尤度を算出する尤度算出ステップと、算出した前記尤度に基づいて前記対応付けの組合せの最適解を特定する最適解特定ステップと、特定した前記最適解に含まれる前記細胞領域の位置情報が時系列順に格納される追跡結果データを記憶する記憶ステップと、を含むことを特徴とする細胞挙動解析方法である。
第２の発明によれば、タイムラプス画像のフレームごとに細胞候補領域を検出し、検出された各々の細胞候補領域細胞に対して特徴量を算出し、特徴量に基づいて細胞候補領域を輪郭が鮮明な領域と不鮮明な領域とに分類して、輪郭が鮮明な領域を細胞領域として抽出する。時系列が連続するフレームの細胞領域同士が対応付けられる尤度を算出し、尤度に基づいて対応付けの組合せの最適解を求めることで、細胞の自動追跡を実行する。これにより、細胞検出が正しく機能している領域に対して自動追跡することとなり、輪郭が曖昧な領域における細胞検出時のエラー（細胞が存在しない領域が検出される過検出エラー、細胞が存在する領域が検出されない未検出エラー）の影響を抑えられる。従って、細胞の輪郭が不鮮明な領域が多く存在する高密度条件下においても、高い精度で個々の細胞を自動追跡することが可能となる。また、成熟培養においては、成熟度が低い領域では細胞の輪郭が曖昧であり、成熟度が高くなるにつれて細胞の輪郭がはっきりするという特徴があり、これらの領域を分離することで品質管理に繋がる。
【００１２】
第３の発明は、コンピュータに、タイムラプス画像のフレームごとに、前記タイムラプス画像内の個々の細胞の細胞候補領域を検出する細胞候補領域検出ステップと、検出した前記細胞候補領域に対して特徴量を算出する特徴量算出ステップと、算出した前記特徴量に基づいて前記細胞候補領域の中から細胞領域を抽出する細胞領域抽出ステップと、時系列的に連続する２つの前記フレームについて抽出した前記細胞領域同士の対応付けの尤度を算出する尤度算出ステップと、算出した前記尤度に基づいて前記対応付けの組合せ集合の最適解を特定する最適解特定ステップと、特定した前記最適解に含まれる前記細胞領域の位置情報が時系列順に格納される追跡結果データを記憶する記憶ステップと、を実行させるためのプログラムである。
第３の発明によれば、タイムラプス画像のフレームごとに細胞候補領域を検出し、検出された各々の細胞候補領域細胞に対して特徴量を算出し、特徴量に基づいて細胞候補領域を輪郭が鮮明な領域と不鮮明な領域とに分類して、輪郭が鮮明な領域を細胞領域として抽出する。時系列が連続するフレームの細胞領域同士が対応付けられる尤度を算出し、尤度に基づいて対応付けの組合せの最適解を求めることで、細胞の自動追跡を実行する。これにより、細胞検出が正しく機能している領域に対して自動追跡することとなり、輪郭が曖昧な領域における細胞検出時のエラー（細胞が存在しない領域が検出される過検出エラー、細胞が存在する領域が検出されない未検出エラー）の影響を抑えられる。従って、細胞の輪郭が不鮮明な領域が多く存在する高密度条件下においても、高い精度で個々の細胞を自動追跡することが可能となる。また、成熟培養においては、成熟度が低い領域では細胞の輪郭が曖昧であり、成熟度が高くなるにつれて細胞の輪郭がはっきりするという特徴があり、これらの領域を分離することで品質管理に繋がる。
【発明の効果】
【００１３】
本発明により、細胞の不鮮明領域が多く存在する高密度条件下においても、算出した特徴量に基づいて、検出した細胞候補領域を鮮明領域と不鮮明領域に分類して、細胞検出精度が高い鮮明領域に対して自動追跡を実行することで、高精度の自動追跡が可能になる細胞挙動解析装置等を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】成熟培養における成熟度を説明する図
【図２】細胞挙動解析装置のハードウエア構成を示す図
【図３】細胞候補領域識別処理の流れを示すフローチャート
【図４】輪郭が鮮明な細胞集合領域の一例を示す画像
【図５】輪郭が不鮮明な細胞集合領域の一例を示す画像
【図６】輪郭が鮮明な細胞候補領域の曲率分布と輝度分布の一例を示す図
【図７】輪郭が不鮮明な細胞候補領域の曲率分布と輝度分布の一例を示す図
【図８】特徴量算出処理の流れを示すフローチャート
【図９】細胞画像処理を施した画像の一例を示す画像
【図１０】細胞領域抽出の成功例を示す図
【図１１】細胞領域抽出の失敗例を示す図
【図１２】自動追跡処理の流れを示すフローチャート
【図１３】尤度算出処理に用いる指標を説明する図
【図１４】フレーム間における細胞領域同士の対応付けの組合せ集合を説明する図
【発明を実施するための形態】
【００１５】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
【００１６】
図１は、成熟培養における成熟度を説明する図である。図１に示すように、成熟度が高い領域については、細胞密度が高く且つ細胞が独立して存在する傾向が強いため細胞検出精度が高い。一方、成熟度が低い領域については、細胞が重層して存在する傾向があり、輪郭が曖昧で細胞同士がくっ付いて検出されるため細胞検出精度が低い。
本実施の形態では、細胞挙動解析装置が、後述する細胞候補領域識別処理を実行して細胞同士独立して存在する領域と細胞輪郭が曖昧な領域とを識別し、更に、細胞が独立して存在する領域のみに自動追跡処理を実行する例を示す。
【００１７】
図２は、本発明の実施形態に係る細胞挙動解析装置１を実現するコンピュータのハードウエア構成図である。コンピュータは、図２に示すように、例えば、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続されて構成される。
【００１８】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等により構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、細胞挙動解析装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムやデータを一時的に保持すると共に、制御部１１が各処理を行うために使用するワークエリアを備える。
【００１９】
記憶部１２は、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００２０】
メディア入出力部１３は、例えば、ＨＤ（Hard Disk）ドライブ、フロッピー（登録商標）ディスクドライブ、ＰＤドライブ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ等のメディア入出力装置であり、データの入出力を行う。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
【００２１】
入力部１５は、データ入力を行い、例えば、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力されたデータを制御部１１へ出力する。
表示部１６は、例えば、ＣＲＴモニタ、液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。
周辺機器Ｉ／Ｆ部（インターフェース）１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は、有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２２】
以下では、図３〜図１１を参照しながら、細胞挙動解析装置１が実行する細胞候補領域識別処理について説明する。
【００２３】
図３は、細胞挙動解析装置１が実行する細胞候補領域識別処理の流れを示すフローチャートである。
細胞挙動解析装置１の制御部１１は、タイムラプス画像が入力されると、タイムラプス画像のフレームを一意に識別するためのフレームＩＤを付与して自動追跡処理を実行し、細胞の自動追跡データを格納する追跡結果データを生成する。制御部１１は、タイムラプス画像が入力されるごとに時系列順にフレームＩＤを付与し、自動追跡処理を実行して追跡結果データを更新する。追跡結果データは、追跡対象の細胞に付与された細胞領域ＩＤによって、一意に識別される。追跡結果データには、フレームＩＤ、及びフレームＩＤに係るフレームにおける細胞情報が、時系列的に格納される。ここで細胞情報とは、細胞領域ＩＤ、細胞領域の境界線を示す位置座標群、細胞領域の領域内の各画素に対応する輝度値群、などを含むデータである。
フレームＩＤ「ｔ−１」までの追跡結果データは、細胞挙動解析装置１の制御部１１によって予め生成され、記憶部１２に記憶されているものとする。図３にて示される細胞候補領域識別処理は、細胞挙動解析装置１にタイムラプス画像が入力され、フレームＩＤ「ｔ」が付与された場合に実行される処理である。
【００２４】
図３に示すように、細胞挙動解析装置１の制御部１１は、フレームＩＤ「ｔ」のタイムラプス画像における細胞候補領域を検出する（ステップＳ１）。
【００２５】
細胞挙動解析装置１の制御部１１は、フレームＩＤ「ｔ」に係るタイムラプス画像に対して、細胞画像処理を施す。細胞画像処理とは、細胞領域の輝度は高く、輪郭領域の輝度は低くなるようにする画像処理であり、例えば、照度むらの除去、及びプレコンディションニング処理などであるが、公知の技術を用いれば良いため、説明を省略する。以下、細胞画像処理を施した画像をプレコンディション画像と表記する。
【００２６】
図４は、輪郭が鮮明な細胞集合領域を表示するプレコンディション画像の一例である。図５は、輪郭が不鮮明な細胞集合領域を表示するプレコンディション画像の一例である。細胞挙動解析装置１は、後述する特徴量算出処理によって算出される特徴ベクトルを用いて、輪郭が鮮明な細胞集合領域と輪郭が不鮮明な細胞集合領域とを識別する。
【００２７】
続いて、細胞挙動解析装置１の制御部１１は、プレコンディション画像の輝度値の範囲（０〜２５５）において閾値を設定する。制御部１１は、閾値に対して、閾値を超えた画素を２５５とし閾値を超えない画素を０とする２値化画像を生成する。制御部１１は、生成された２値化画像から連結成分を抽出してラベル付けする。ラベル付けされた個々の連結成分を細胞候補領域とし、連結成分の境界を細胞候補領域の輪郭とする。
【００２８】
図３の説明に戻る。細胞挙動解析装置１の制御部１１は、ステップＳ１にて検出された細胞候補領域に対して、特徴量算出処理を実行する（ステップＳ２）。ステップＳ１にてＮ個の細胞候補領域が検出された場合には、Ｎ個の細胞候補領域に対してＮ回の特徴量算出処理を実行することとなる。
【００２９】
図６の（ａ）は、輪郭が鮮明な細胞候補領域の２値化画像の一例を示す。図６の（ａ）に示すように、輪郭が鮮明な細胞候補領域は、細胞が１つの独立した領域を作る傾向があり、細胞候補領域を構成する画素の輝度が高く、輪郭の凹点が少ない、等の画像上の特徴がある。
【００３０】
図７の（ａ）は、輪郭が不鮮明な細胞候補領域の２値化画像の一例を示す。図７の（ａ）に示すように、輪郭が不鮮明な細胞候補領域は、細胞の切れ目がなく他の細胞とくっ付いた状態で検出される傾向があり、細胞候補領域を構成する画素の輝度が低く、輪郭の凹点が多い、等の画像上の特徴がある。
【００３１】
図８は、図３のステップＳ２にて細胞挙動解析装置１の制御部１１が実行する特徴量算出処理の流れを示すフローチャートである。
細胞挙動解析装置１の制御部１１は、細胞候補領域の領域サイズを算出する(ステップＳ１１)。領域サイズとは、細胞候補領域の輪郭の中に含まれる画素数である。
【００３２】
次に、細胞挙動解析装置１の制御部１１は、細胞候補領域の輪郭を配置したプレコンディション画像を用いて、細胞候補領域の輪郭内の輝度値分布を算出する（ステップＳ１２）。
【００３３】
具体的には、細胞挙動解析装置１の制御部１１は、細胞候補領域の輪郭を配置したプレコンディション画像において、細胞候補領域の輪郭内の画素に対して、輝度値の範囲において複数の閾値を設定し、各閾値の範囲内の画素数をカウントする。各閾値に対応する画素数の和は、ステップＳ１１にて算出された領域サイズに一致する。制御部１１は、各閾値に対する画素数を領域サイズで割る。これにより、各閾値に対応する値の和は１となる。
【００３４】
図６（ｂ）は、輪郭が鮮明な細胞候補領域の輝度値分布の一例である。横軸は輝度値であり、縦軸は正規化された画素数を示す。図６（ｂ）に示す例では、２０個の閾値を設定し、輝度値を０〜２５５の範囲で２０等分した値が２０個の閾値の各幅になる。図７（ｂ）は、輪郭が不鮮明な細胞候補領域の輝度値分布の一例である。図６（ｂ）と同様にして作成される。図６（ｂ）と図７（ｂ）の輝度値分布を比較すると、輪郭が鮮明な細胞候補領域の方が全体に輝度値が高いことがわかる。
【００３５】
図８の説明に戻る。次に、細胞挙動解析装置１の制御部１１は、細胞候補領域の輪郭の曲率分布を算出する（ステップＳ１３）。
【００３６】
具体的には、細胞挙動解析装置１の制御部１１は、細胞候補領域の輪郭上の各点をトレースする。各点をトレースする手法として、例えば、非特許文献３に記載の技術を用いる。制御部１１は、細胞候補領域の輪郭を右回りにトレースすることで、輪郭上の各点（各画素）の位置情報を得ることができる。
＜非特許文献３＞  “bwboundaries”、［online］、MathWork、［平成２４年７月１３日検索］、インターネット
<http://www.mathworks.co.jp/help/ja_JP/toolbox/images/ref/bwboundaries.html>
【００３７】
続いて、細胞挙動解析装置１の制御部１１は、細胞候補領域の輪郭上の各点の曲率を算出する。各点の曲率の算出方法として、例えば、対象点に対して輪郭を構成する両隣の点から５画素ずつ飛ばした２つのベクトルの角度を算出する。具体的には、非特許文献４に記載の技術を用いる。輪郭上の各点の曲率は、符号が負である場合凹点を示し、−１〜＋１の範囲で算出される。
＜非特許文献４＞  Ryoma Bise,Kang
Li,Sungeun Eom,Takeo Kanade,“Reliably Tracking
Partially Overlapping Neural Stem Cells in DIC Microscopy Image Sequences”,MICCAI Workshop on Optical Tissue Image analysis in Microscopy
Histopathology and Endoscopy Imperial College London September 24th
2009.
【００３８】
細胞挙動解析装置１の制御部１１は、曲率の範囲において、複数の閾値を設定し、各閾値の範囲内の画素数をカウントする。各閾値に対応する画素数の和は、細胞候補領域の輪郭上の画素数に一致する。制御部１１は、各閾値に対する画素数を輪郭上の画素数で割る。これにより、各閾値に対応する値の和は１となる。
【００３９】
図６（ｃ）は、輪郭が鮮明な細胞候補領域の曲率分布の一例である。横軸は曲率であり、縦軸は正規化された画素数を示す。図６（ｃ）に示す例では、２０個の閾値を設定し、曲率を−１〜＋１の範囲で２０等分した値が２０個の閾値の各幅になる。図７（ｃ）は、輪郭が不鮮明な細胞候補領域の曲率分布の一例である。図６（ｃ）と同様にして作成される。図６（ｃ）と図７（ｃ）の曲率分布を比較すると、輪郭が不鮮明な細胞候補領域の方が全体に凹点が多いことがわかる。
【００４０】
以上のようにして、細胞挙動解析装置１の制御部１１は、細胞候補領域に対して特徴量算出処理を実行する。
【００４１】
続いて、図３の説明に戻る。細胞挙動解析装置１の制御部１１は、細胞候補領域の特徴量に基づいて特徴ベクトルを作成する（ステップＳ３）。
【００４２】
制御部１１は、図８のステップＳ１１にて算出された領域サイズ、図８のステップＳ１２にて算出された輝度値分布、図８のステップ１３にて算出された曲率分布を合わせた特徴量を表す高次元の特徴ベクトルを作成する。図６及び図７に示す例においては、領域サイズ（１次元）と輝度値分布（２０次元）と曲率分布（２０次元）を合わせた４１次元のベクトル空間における特徴ベクトルを作成する。制御部１１は、細胞候補領域ＩＤに対応する特徴ベクトルを作成して、記憶部１２に記憶させる。
【００４３】
図３の説明に戻る。細胞挙動解析装置１の制御部１１は、ステップＳ１にて検出された全ての細胞候補領域に対して特徴量算出処理を実行済か否かを確認する（ステップＳ４）。実行済でない場合（ステップＳ４のＮｏ）、制御部１１はステップＳ２から繰り返す。実行済の場合（ステップＳ４のＹｅｓ）、制御部１１は特徴ベクトルに基づいて細胞候補領域の中から細胞領域を抽出する（ステップＳ８）。
【００４４】
制御部１１は、記憶部１２に予め記憶された正解データを用いて、細胞候補領域を不鮮明領域と鮮明領域とに識別する。正解データとは、特徴ベクトルとラベルとを含むデータであり、ラベルには特徴ベクトルが不鮮明領域の特徴を表すのであれば「０」が格納され、鮮明領域の特徴を表すのであれば「１」が格納される。
具体的には、制御部１１は、複数の正解データを用いて、機械学習の手法により識別器（分類器）を作成する。そして、制御部１１は、細胞候補領域の特徴ベクトルを識別器に入力して、「０」のクラスに分類された場合には、当該特徴ベクトルに「０」のラベル付けをし、「１」のクラスに分類された場合には、「１」のラベル付けをする。
機械学習には、公知の技術を用いることができ、ニューラルネットワークや、サポートベクターマシン、Adaboostなどの手法が挙げられる。例えば、サポートベクターマシンでは、特長ベクトルを含む特徴空間において、正解データを分類する超平面を構成することによって、細胞候補領域の特徴ベクトルを不鮮明領域と鮮明領域とに分類することができる。
【００４５】
尚、特徴ベクトルを領域サイズ、輝度値分布、曲率分布の特徴量を合わせて４１次元としたが、輝度値分布と曲率分布の特徴量を合わせて４０次元としても良い。ここでは、輝度値分布及び曲率分布の分割数を２０としたが、他の値で分割することで、特徴量の次元数が変わってもよい。
【００４６】
制御部１１は、「１」がラベル付けされた特徴ベクトルの細胞候補領域を細胞領域として抽出して、抽出された各細胞領域に対して細胞領域ＩＤをラベル付けして、記憶部１２に記憶する。
【００４７】
図９は、タイムラプス画像の１フレームを示すプレコンディション画像の一例である。細胞の輪郭が比較的鮮明な領域と、細胞同士がくっ付き境界が不鮮明な領域が混在する。図９に示すプレコンディション画像に対して図３に示す細胞候補領域識別処理を実行し、細胞領域を抽出した。図１０は、細胞領域抽出の成功例を示す２値化画像である。連結部分は抽出された細胞領域を示す。個々に独立した複数の細胞領域が抽出されていることがわかる。図１１は、細胞領域抽出の失敗例を示す２値化画像である。細胞輪郭が不鮮明な領域については、複数の細胞同士でくっ付いて細胞領域が抽出されていることがわかる。
【００４８】
以上のように、細胞挙動解析装置１の制御部１１は、細胞候補領域を抽出して、各細胞候補領域の領域サイズ、輝度値分布、曲率分布を算出して、特徴ベクトルを作成し、特徴ベクトルに基づいて細胞候補領域から細胞領域を抽出する。これにより、正しく細胞が検出されている細胞領域についてのみ、後述する自動追跡処理を実行することとなる。従って、細胞検出時のエラーによる自動追跡処理への影響を低減して、自動追跡結果の精度が高まることとなる。
【００４９】
以下では、図１２〜図１４を参照しながら、細胞挙動解析装置１が実行する自動追跡処理について説明する。
【００５０】
図１２は、細胞挙動解析装置１が実行する自動追跡処理の流れを示すフローチャートである。図１２に示される自動追跡処理とは、細胞挙動解析装置１がフレームＩＤ「ｔ」に係るフレームにおいて図３に示す細胞候補領域識別処理を実行して、細胞領域が抽出された場合に実行される処理である。
【００５１】
細胞挙動解析装置１の制御部１１は、フレームＩＤ「ｔ−１」における細胞領域とフレームＩＤ「ｔ」における細胞領域の対応付けの尤度Ｐを算出する（ステップ２１）。制御部１１は、フレーム間における細胞領域同士において、細胞領域の移動に関する指標ＩＤ、細胞領域の形状類似度に関する指標ＩＳ、及び細胞領域の輝度ヒストグラム類似度に関する指標ＩＨを用いて尤度Ｐを算出する。
【００５２】
例えば、制御部１１は、Ｐ＝ＷＤ×ＩＤ＋ＷＳ×ＩＳ＋ＷＨ×ＩＨのように、各指標に重み付けを行い、尤度Ｐを算出しても良い。ここで、ＷＤが指標ＩＤの重み、ＷＳが指標ＩＳの重み、ＷＨが指標ＩＨの重みである。この場合、各重みの値は、ユーザが適宜変更可能である。
【００５３】
図１３は、尤度算出処理に用いる指標を説明する図である。細胞領域Ａは、フレームＩＤ「ｔ−１」におけるフレームにおいて抽出されたものである。細胞領域ＢはフレームＩＤ「ｔ」におけるフレームにおいて抽出されたものである。つまり、図１３では、異なるフレームの細胞領域Ａと細胞領域Ｂを重ね合わせて図示している。
【００５４】
細胞領域の移動に関する指標ＩＤとしては、例えば、中心点同士の距離が挙げられる。中心点は、例えば、細胞領域の重心座標である。距離は、例えば、ユークリッド距離や、ｅｘｐ（−α×ユークリッド距離）が挙げられる。ここで、ｅｘｐ（・）は指数関数、αは正の定数である。中心点同士の距離は、フレーム間における細胞の移動を表している。図１３の例であれば、例えば、中心点ａ及び中心点ｂのユークリッド距離が、指標ＩＤとなる。
【００５５】
また、細胞領域の移動に関する指標ＩＤとしては、例えば、細胞領域の重なりの割合でも良い。細胞領域の重なりの割合は、図１３の例であれば、細胞領域Ａと細胞領域Ｂとの和集合に対する斜線部の領域の割合である。つまり、細胞領域の重なりの割合は、（細胞領域Ａに属し、且つ細胞領域Ｂに属する画素の数）÷（細胞領域Ａに属する、又は細胞領域Ｂに属する画素の数）である。
【００５６】
細胞領域の形状類似度に関する指標ＩＳとしては、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量、フーリエ記述子（Fourier Descriptors）、ＨＯＧ（Histograms of Oriented
Gradients）特徴量等が挙げられる。ＳＩＦＴ特徴量は、スケール、移動、回転に不変（invariant）な特徴量である。フーリエ記述子は、輪郭を周期関数に変換し、その周期関数をフーリエ級数展開することによって得られるフーリエ係数を輪郭の形状の記述に用いる形状の特徴量である。ＨＯＧ特徴量は、画像の局所領域から輝度勾配、輝度強度を取り出す特徴量である。
【００５７】
細胞領域の輝度ヒストグラム類似度に関する指標ＩＨとしては、各細胞領域内の輝度ヒストグラムの距離が挙げられる。距離は、例えば、バッタチャリャ（Bhattacharyya）距離等が考えられる。
【００５８】
尚、前述の各種指標は一例であり、本発明はその他の指標を用いても良い。また、細胞領域の移動に関する指標ＩＤ、細胞領域の形状類似度に関する指標ＩＳ、及び細胞領域の輝度ヒストグラム類似度に関する指標ＩＨの全てを用いる必要は無く、いずれか１つ又は２つでも良い。細胞挙動解析装置１は、様々な指標を利用できるように、例えば、指標選択画面（不図示）を表示部１６に表示し、ユーザが、挙動解析の目的に応じて、適切な指標を選択できるようにしても良い。
【００５９】
図１２の説明に戻る。細胞挙動解析装置１の制御部１１は、フレームＩＤ「ｔ−１」における細胞領域とフレームＩＤ「ｔ」における細胞領域の対応付けの組合せの最適解を特定する（ステップＳ２２）。
【００６０】
図１４は、フレーム間における細胞領域の対応付けの組合せを説明する図である。図１４（ａ）は、フレームＩＤ「ｔ−１」に係るフレームと、フレームＩＤ「ｔ」に係るフレームとのフレーム間における細胞領域同士の対応付けの一例を図示している。図１４（ｂ）は、図１４（ａ）に対する細胞領域同士の対応付けの組合せを図示している。
【００６１】
図１４（ａ）において、細胞領域Ａ１、Ａ２、Ａ３は、フレームＩＤ「ｔ−１」に係るフレームにおいて抽出されたものである。また、細胞領域Ｂ１、Ｂ２、Ｂ３は、フレームＩＤ「ｔ」に係るフレームにおいて抽出されたものである。つまり、図１４（ａ）では、異なるフレームの細胞領域Ａ１、Ａ２、Ａ３と細胞領域Ｂ１、Ｂ２、Ｂ３を重ね合わせて図示している。
【００６２】
本発明の実施の形態では、細胞挙動解析装置１の制御部１１が、ステップＳ２１にて算出された尤度を用いて、細胞領域同士の対応付けの最適な組合せ（＝最適解）を特定する。最適化処理としては、例えば、整数計画法を利用することが考えられる。尚、最適化処理は、整数計画法に限られるものではない。
【００６３】
例えば、制御部１１は、フレーム間における全ての細胞領域同士の対応付けの組合せ（＝仮説）の中から、整数計画法を用いて、最適解を算出する。フレームＩＤ「ｔ−１」に係るフレームにおける細胞領域がＮ個であれば、フレームＩＤ「ｔ」に係るフレームからもＮ個の細胞領域が抽出される。各組合せは、Ｎ個の細胞領域同士の対応付けを含む。制御部１１は、例えば、Ｎ個の細胞領域同士の対応付けの尤度の和が最大となる組合せを、最適解として特定する。
【００６４】
図１４（ｂ）に示す例では、細胞領域同士の対応付けの組合せが、ｈ１〜ｈ６の６パターンになる。制御部１１は、ｈ１〜ｈ６の６パターンの中から、整数計画法によって、最適な対応付けの組合せを特定する。図１４（ａ）に示す例では、最適な対応付けの組合せは、（Ａ１⇔Ｂ３、Ａ２⇔Ｂ２、Ａ３⇔Ｂ１）の組合せｈ６となる。
【００６５】
また、Ｎ個の尤度の和が最大となる組合せ集合を最適解として特定すると説明したが、それ以外の評価関数を用いても良い。
【００６６】
図１２の説明に戻る。細胞挙動解析装置１の制御部１１は、ステップＳ２２にて特定された最適解に基づいて追跡結果データを更新する（ステップＳ２３）。制御部１１は、最適解に含まれる細胞領域の細胞位置情報（移動軌跡）等の細胞情報を、記憶部１２に記憶して、追跡結果データを更新する。
【００６７】
また、制御部１１は、追跡結果データに基づいて、細胞数や細胞の形状等の指標を算出することができ、細胞品質の評価や培養条件の評価等に用いることができる。
【００６８】
以上、添付図面を参照しながら、本発明に係る細胞挙動解析装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される
【符号の説明】
【００６９】
１………細胞挙動解析装置
１１………制御部
１２………記憶部
１３………メディア入出力部
１４………通信制御部
１５………入力部
１６………表示部
１７………周辺機器Ｉ／Ｆ部
【図１】
2014085949.tif 000003
【図２】
2014085949.tif 000004
【図３】
2014085949.tif 000005
【図６】
2014085949.tif 000006
【図７】
2014085949.tif 000007
【図８】
2014085949.tif 000008
【図１２】
2014085949.tif 000009
【図１３】
2014085949.tif 000010
【図１４】
2014085949.tif 000011
【図４】
2014085949.tif 000012
【図５】
2014085949.tif 000013
【図９】
2014085949.tif 000014
【図１０】
2014085949.tif 000015
【図１１】
2014085949.tif 000016