(57)【要約】【課題】  少ない計算量で高精度な領域分割画像を生成することができる領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラムを提供する。【解決手段】  時系列的に得られた複数フレームの画像のそれぞれを構成する各画素を、各フレームにおける輝度を軸とするＴ次元空間（Ｔはフレーム数）に配置し（Ｓ３０２）、前記Ｔ次元空間に配置された各画素に対してクラスタリングを実行し（Ｓ３０３）、そのクラスタリングの結果に基づいて、複数の領域に分割された領域分割画像を生成する（Ｓ３０４）。【選択図】    図９
2011060227.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置するステップ（ａ）と、
前記配置された各画素を分類するステップ（ｂ）と、
前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ（ｃ）と
を有する、領域分割画像生成方法。
【請求項２】
前記ステップ（ａ）は、時系列的に得られた複数フレームの画像のそれぞれに対してノイズ抑制処理を実行するステップ（ａ１）と、前記ノイズ抑制処理が施された前記複数フレームの画像を構成する各画素をＴ１次元空間に配置するステップ（ａ２）とを有している、請求項１に記載の領域分割画像生成方法。
【請求項３】
所定の停止条件を満足するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項２に記載の領域分割画像生成方法。
【請求項４】
前記ステップ（ｃ）にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項３に記載の領域分割画像生成方法。
【請求項５】
前記ステップ（ａ１）のノイズ抑制処理において、前記領域分離度に応じてノイズ抑制量が変化する、請求項４に記載の領域分割画像生成方法。
【請求項６】
前記ステップ（ａ１）にてノイズ抑制処理が施された前記複数フレームの画像と、前記ノイズ抑制処理が施される前の前記複数フレームの画像との画像類似度が所定値に達するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項３に記載の領域分割画像生成方法。
【請求項７】
前記ステップ（ａ１）のノイズ抑制処理において、前記画像類似度に応じてノイズ抑制量が変化する、請求項６に記載の領域分割画像生成方法。
【請求項８】
前記ステップ（ａ）は、時系列的に得られた複数フレームの画像を複数の画像群に時分割するステップ（ａ３）と、当該画像群毎に、画像群に含まれる画像を構成する各画素をＴ２次元空間（Ｔ２は時分割された後の複数フレームの画像のフレーム数）に配置するステップ（ａ４）とを有している、請求項１に記載の領域分割画像生成方法。
【請求項９】
所定の停止条件を満足するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項８に記載の領域分割画像生成方法。
【請求項１０】
前記ステップ（ｃ）にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項９に記載の領域分割画像生成方法。
【請求項１１】
前記ステップ（ａ３）では、前記領域分離度に応じて時分割を行う時点が変化する、請求項１０に記載の領域分割画像生成方法。
【請求項１２】
前記複数フレームの画像内のオブジェクトは静止しており、当該画像を構成する各画素の輝度が時間とともに変化する、請求項１乃至８の何れかに記載の領域分割画像生成方法。
【請求項１３】
前記オブジェクトは電位依存性の蛍光色素が付与された神経細胞であり、当該神経細胞に対して電気的刺激を与えることによって前記各画素の輝度が時間とともに変化する、請求項１２に記載の領域分割画像生成方法。
【請求項１４】
前記ステップ（ｂ）では、k-means法によって前記分類を行う、請求項１乃至１３の何れかに記載の領域分割画像生成方法。
【請求項１５】
前記ステップ（ｃ）にて生成された領域分割画像の特徴量を抽出するステップ（ｄ）をさらに有する、請求項１乃至１４の何れかに記載の領域分割画像生成方法。
【請求項１６】
時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置する画素配置手段と、
当該画素配置手段によって前記Ｔ１次元空間に配置された各画素を分類する画素分類手段と、
当該画素分類手段によって分類された結果に基づいて、複数の領域に分割された領域分割画像を生成する領域分割画像生成手段と
を備える、領域分割画像生成装置。
【請求項１７】
コンピュータに、
時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置させる手順と、
前記Ｔ１次元空間に配置された各画素を分類させる手順と、
分類した結果に基づいて、複数の領域に分割された領域分割画像を生成させる手順と
を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解析対象の動画像（時系列画像）を特定の複数の領域に分割して得られる領域分割画像を生成する領域分割画像生成方法、その方法を実施する領域分割画像生成装置、及びその方法をコンピュータに実行させるためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、解析対象の時系列画像を特定の複数の領域に分割する領域分割をクラスタリング等の分類アルゴリズムによって行う技術として、様々なものが提案されている。例えば、特許文献１には、動き情報をクラスタリングの特徴量に加えることによって、画像の動きに応じた領域分割を行うことができる領域分割方法が開示されている。この領域分割方法によれば、異なる動きをしているにもかかわらず色輝度及び位置が近いために同じ領域として認識されたり、同質な動きをしているにもかかわらず色輝度が異なるために違う領域として認識されたりすることを抑制することができる。
【０００３】
また、同様にして動き情報を用いたクラスタリングを実行することによって領域分割を行う動画像領域分割装置が、特許文献２に開示されている。この動画像領域分割装置では、不確かさを含む動き情報の信頼度に基づいた処理を行うことによって、不確かさを解消した上で、動き情報を色情報及び位置情報という他の画像の特徴量とともに利用することが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−６３６０１号公報
【特許文献２】特開平１０−１１１９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、クラスタリングに動き情報を用いた場合、計算量が膨大になるため、処理負荷が高くなるという問題がある。また、時系列画像であっても、神経細胞の活動状況を撮像して得られるような画像内のオブジェクトの動きが比較的少ない時系列画像の場合、上記の従来技術のように動き情報を用いてクラスタリングを実行したとしても、精度良く領域分割を行うことは困難である。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、処理負荷の軽減を図りながらも、高精度な領域分割画像を得ることができる領域分割画像生成方法、その方法を実施する領域分割生成装置、及びその方法をコンピュータに実施させるためのコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の一の態様の領域分割画像生成方法は、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置するステップ（ａ）と、前記配置された各画素を分類するステップ（ｂ）と、前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ（ｃ）とを有している。
【０００８】
この態様において、前記ステップ（ａ）が、時系列的に得られた複数フレームの画像のそれぞれに対してノイズ抑制処理を実行するステップ（ａ１）と、前記ノイズ抑制処理が施された前記複数フレームの画像を構成する各画素をＴ１次元空間に配置するステップ（ａ２）とを有していてもよい。
【０００９】
また、前記の態様において、所定の停止条件を満足するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行してもよく、具体的には、前記ステップ（ｃ）にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、または前記ステップ（ａ１）にてノイズ抑制処理が施された前記複数フレームの画像と、前記ノイズ抑制処理が施される前の前記複数フレームの画像との画像類似度が所定値に達するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行するようにしてもよい。
【００１０】
この態様における前記ステップ（ａ１）のノイズ抑制処理において、前記領域分離度に応じてノイズ抑制量が変化するようにしてもよく、また、前記画像類似度に応じてノイズ抑制量が変化するようにしてもよい。
【００１１】
また、前記の態様において、前記ステップ（ａ）が、時系列的に得られた複数フレームの画像を複数の画像群に時分割するステップ（ａ３）と、当該画像群毎に、画像群に含まれる画像を構成する各画素をＴ２次元空間（Ｔ２は時分割された後の複数フレームの画像のフレーム数）に配置するステップ（ａ４）とを有していてもよい。
【００１２】
この態様において、所定の停止条件を満足するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行してもよく、具体的には、前記ステップ（ｃ）にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行するようにしてもよい。また、前記ステップ（ａ３）において、前記領域分離度に応じて時分割を行う時点が変化するようにしてもよい。
【００１３】
また、前記の態様において、前記複数フレームの画像内のオブジェクトは静止しており、当該画像を構成する各画素の輝度が時間とともに変化するようにしてもよい。また、このオブジェクトが電位依存性の蛍光色素が付与された神経細胞であり、当該神経細胞に対して電気的刺激を与えることによって前記各画素の輝度が時間とともに変化するようにしてもよい。
【００１４】
また、前記の態様において、前記ステップ（ｂ）における前記分類をk-means法によって行ってもよい。
【００１５】
また、前記の態様が、前記ステップ（ｃ）にて生成された領域分割画像の特徴量を抽出するステップ（ｄ）をさらに有していてもよい。
【００１６】
本発明の一の態様の領域分割画像生成装置は、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置する画素配置手段と、当該画素配置手段によって前記Ｔ１次元空間に配置された各画素を分類する画素分類手段と、当該画素分類手段によって分類された結果に基づいて、複数の領域に分割された領域分割画像を生成する領域分割画像生成手段とを備えている。
【００１７】
また、本発明の一の態様のコンピュータプログラムは、コンピュータに、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置させる手順と、前記Ｔ１次元空間に配置された各画素を分類させる手順と、分類した結果に基づいて、複数の領域に分割された領域分割画像を生成させる手順とを実行させるためのものである。
【発明の効果】
【００１８】
本発明に係る領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラムによれば、神経活動の伝播、細胞内物質の量的変動、細胞外遊離物質の量的変動の測定等に適した領域分割画像を生成することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態の領域分割画像生成装置を備える領域分割画像生成システムの構成を示すブロック図。
【図２】領域分割画像生成装置が備える制御部の構成を示す機能ブロック図。
【図３】前処理の概念を示す図。
【図４】ノイズ抑制／時分割器が実行する処理の手順を示すフローチャート。
【図５Ａ】ノイズ抑制処理前の時系列画像を示す図。
【図５Ｂ】ノイズ抑制処理後の時系列画像を示す図。
【図６】時分割処理の概念を示す図。
【図７】画像比較器が実行する処理の手順を示すフローチャート。
【図８Ａ】画像類似度とノイズ抑制の程度との間の関係を説明するための図。
【図８Ｂ】画像類似度とノイズ抑制の程度との間の関係を説明するための図。
【図９】画素分類器が実行する処理の手順を示すフローチャート。
【図１０Ａ】各画素のＴ次元空間への配置の概念を示す図。
【図１０Ｂ】クラスタリングの結果を示す図。
【図１０Ｃ】画素分類が行われる前の画像と画素分類の結果生成された領域分割画像との対応を示す図。
【図１０Ｄ】画素分類器が実行する一連の処理を概念的に示す図。
【図１１】領域分離度評価器が実行する処理の手順を示すフローチャート。
【図１２Ａ】領域分離度とノイズ抑制との関係を説明するための図。
【図１２Ｂ】領域分離度と時分割との関係を説明するための図。
【図１３】ノイズ抑制／時分割制御器が実行する処理の手順を示すフローチャート
【図１４Ａ】ノイズ抑制量、画像類似度及び領域分離度と動作の繰り返し回数との関係を示す図。
【図１４Ｂ】ノイズ抑制パラメータと画像類似度及び領域分離度との関係を説明するための図。
【図１５】波形抽出器が実行する処理の手順を示すフローチャート。
【図１６Ａ】類似領域の代表波形セットの出力画面の一例を示す図。
【図１６Ｂ】類似領域の代表波形セットの出力画面の他の例を示す図。
【図１７】特徴抽出器が実行する処理の手順を示すフローチャート。
【図１８】特徴量セットの出力画面の一例を示す図。
【発明を実施するための形態】
【００２０】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。ここでは、神経活動伝播を組織レベルで測定するために、電位依存性の蛍光試薬により蛍光色素が付与された神経細胞を連続撮像して得られた時系列画像を領域分割の対象とする場合について説明する。ただし、本発明の処理対象はこのような時系列画像に限られるわけではなく、２次元以上の空間内に格子状に配置された測定点から得られる信号全般を処理対象とすることができる。
なお、いくつかの図面には実際の画像を例示している 。特に断りがない場合、この画像のサイズは１００画素×１００画素であり、フレーム数は５１２である。
【００２１】
［領域分割画像生成システムの構成］
図１は、本発明の実施の形態の領域分割画像生成装置を備える領域分割画像生成システムの構成を示すブロック図である。図１に示すとおり、領域分割画像生成システム１は、電位変化検出プローブが付与された神経細胞ならびにその集合した組織から検出される、指定された波長領域の光量変化を検出する蛍光検出装置２と、蛍光検出装置２により検出された蛍光に基づいた蛍光画像を時系列的に取得する撮像装置３と、撮像装置３にて取得された時系列画像を用いて領域分割画像を生成する領域分割画像生成装置４と、領域分割画像生成装置４における処理結果を出力する出力装置５と、各種操作を行うための入力装置６とを備えている。領域分割画像生成装置４は、後述する処理を実行する領域分割画像生成プログラム４２ａ及び各種のデータ等を記憶する記憶部４２と、当該プログラムを実行するとともに各装置を制御する制御部４１とを具備している。
【００２２】
上記の蛍光検出装置２としては蛍光顕微鏡を用いることができる。その他にも、例えば蛍光スキャナ等を用いることも可能である。また、撮像装置３としては、例えば蛍光検出装置２からの画像信号を２次元の画像として取得するビデオカメラ等を用いることができる。
【００２３】
上記の領域分割画像生成装置４としては、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク及びＩ／Ｏポート等で構成されたパーソナルコンピュータを用いることができる。この場合、領域分割画像生成装置４が備える制御部４１は上記のＣＰＵ等で構成され、記憶部４２は上記のＲＯＭ、ＲＡＭ及びハードディスク等で構成されることになる。なお、この領域分割画像生成装置４が、撮像装置３から入力された時系列画像に対する処理を行う専用の回路である画像処理回路を備えていてもよい。
【００２４】
この領域分割画像生成装置４は、データ読出装置７と接続されている。データ読出装置７は、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、またはＤＶＤ−ＲＯＭドライブなどによって構成されており、可搬型記録媒体８に記録されたコンピュータプログラムまたはデータを読み出すことができる。そして、可搬型記録媒体８に記録された領域分割画像生成プログラム４２ａがデータ読出装置７によって読み出されて記憶部４２にインストールされることで、パーソナルコンピュータを領域分割画像生成装置４として機能させることが可能になる。なお、領域分割画像生成プログラム４２ａは、可搬型記録媒体８によって提供されるのみならず、電気通信回線（有線、無線を問わない）によって領域分割画像生成装置４と通信可能に接続された外部の機器から前記電気通信回線を通じて提供することも可能である。例えば、領域分割画像生成プログラム４２ａがインターネット上のサーバコンピュータのハードディスク内に格納されており、このサーバコンピュータに領域分割画像生成装置４が直接または他の装置を介して間接的にアクセスして、当該領域分割画像生成プログラム４２ａをダウンロードし、これを記憶部４２にインストールすることも可能である。
【００２５】
また、記憶部４２には、例えば米マイクロソフト社が製造販売するWindows（登録商標）などのマルチタスクオペレーティングシステムがインストールされている。以下の説明において、本実施の形態に係る領域分割画像生成プログラム４２ａは当該オペレーティングシステム上で動作するものとする。
【００２６】
上記の出力装置５としてはＣＲＴまたは液晶ディスプレイ等の表示装置若しくはプリンタ等の印刷装置等を、入力装置６としてはキーボード及びマウス等を、それぞれ用いることができる。
【００２７】
図２は、領域分割画像生成装置４が備える制御部４１の構成を示す機能ブロック図である。図２に示すように、制御部４１は、撮像装置３から入力された時系列画像（以下、「入力画像」という）に対するノイズ抑制処理及び後述する時分割処理を行うノイズ抑制／時分割器４１ａと、ノイズ抑制／時分割器４１ａによって得られたノイズ抑制画像と入力画像との画像類似度を求める画像比較器４１ｂと、ノイズ抑制／時分割器４１ａによって得られたノイズ抑制画像中の画素を分類して領域分割画像を生成する画素分類器４１ｃと、画素分類器４１ｃによって生成された領域分割画像における領域分離度の評価を行う領域分離度評価器４１ｄと、画像比較器４１ｂから入力される画像類似度及び領域分離度評価器４１ｄから入力される領域分離度に基づいてノイズ抑制／時分割器４１ａで用いられるパラメータを制御するノイズ抑制／時分割制御器４１ｅと、画素分類器４１ｃによって生成された領域分割画像における各類似領域の代表波形を求める波形抽出器４１ｆと、同じく領域分割画像及び波形抽出器４１ｆによって求められた代表波形における特徴量を抽出する特徴抽出器４１ｇとを備えている。これらの、ノイズ抑制／時分割器４１ａ、画像比較器４１ｂ、画素分類器４１ｃ、領域分離度評価器４１ｄ、ノイズ抑制／時分割制御器４１ｅ、波形抽出器４１ｆ及び特徴抽出器４１ｇは、領域分割画像生成プログラム４２ａのモジュールとして実現される。
【００２８】
［領域分割画像生成装置の動作］
以下、上述したように構成された領域分割画像生成装置４の動作について説明する。まず、その動作の概要について説明し、その後その詳細について説明する。
領域分割画像生成装置４は、電位依存性の蛍光試薬により蛍光色素が付与された神経細胞を連続撮像して得られた入力画像を撮像装置３から受け取る。この入力画像は、空間軸についてはＳ次元（Ｓ：２または３）であり、時間軸については１次元であるため、Ｓ＋１次元画像である。領域分割画像生成装置４は、この入力画像に対して、出力として、領域分割画像、代表波形セット、及び特徴量セットを生成する。ユーザによって設定可能なパラメータとしては、ノイズ抑制処理で用いられるアルゴリズム（ガウスフィルタ、中央値フィルタ等）、ノイズ抑制量のステップ幅、後述する時分割点の数及び各点の初期値、画素分類処理で用いられるアルゴリズム（k-means法、自己組織化マップ等）及びそのパラメータ、画像類似度の評価法（画像の相互相関係数等）及びその上限、並びに領域分離度評価法（境界長等）及びその下限等を挙げることができる。
【００２９】
上述したノイズ抑制／時分割器４１ａ、画像比較器４１ｂ、画素分類器４１ｃ、領域分離度評価器４１ｄ、ノイズ抑制／時分割制御器４１ｅ、波形抽出器４１ｆ及び特徴抽出器４１ｇのうち、ノイズ抑制／時分割器４１ａ、画像比較器４１ｂ、画素分類器４１ｃ、領域分離度評価器４１ｄ及びノイズ抑制／時分割制御器４１ｅは所定の停止条件を満たすまで繰り返し動作する。これらの繰り返し動作を総称して「繰り返し工程」という。この繰り返し工程により、ノイズ抑制の程度及び時分割の範囲の調整がなされる。そして、その繰り返し工程の結果得られた領域分割画像に基づいて、波形検出器４１ｆ及び特徴抽出器４１ｇが代表波形セット及び特徴量セットをそれぞれ生成する。なお、上記の繰り返し工程の繰り返し毎に、ノイズ抑制画像、画像類似度、領域分割画像、及び領域分離度が更新され、更新後の内容が出力装置５を介してユーザに呈示される。
【００３０】
以下、領域分割画像生成装置４の動作について詳述する。
上述したように、本実施の形態では、領域分割を行う対象として、蛍光色素が付与された神経細胞を連続撮像して得られる時系列画像を用いる。なお、時系列画像を用いて神経活動伝播を確認するためには、神経細胞に対して電気的な刺激を与えて、その刺激前後に撮像された画像における輝度の変化を捉える必要がある。そこで、領域分割画像生成装置４は、前処理として、撮像装置３から受け取った入力画像について、電気刺激を行う前のフレームの画像における各画素の輝度の時間平均を全フレームの画像における各画素の輝度から差し引く画像サブトラクションを実行する。この前処理の概念を図３に示す。図３における符号ｔはフレーム数を表しており、ｔ＝９０、１０５、１３５の画像はそれぞれ９０フレーム目、１０５フレーム目、１３５フレーム目の画像を示している。図中の上段に示されている時系列画像に対して上記の前処理が施され、その結果下段に示されている時系列画像が得られる。上段の画像（原画像）は電位以外に蛍光色素の浸透性等も反映した画像となっているが、下段の画像は主に電位を反映したものとなっている。これ以降の処理は、当該前処理が施された時系列画像に対して行われることになる。
【００３１】
（ノイズ抑制／時分割器４１ａ）
図４は、ノイズ抑制／時分割器４１ａが実行する処理の手順を示すフローチャートである。まず、ノイズ抑制／時分割器４１ａは、上述したようにして前処理が施された時系列画像を参照し（Ｓ１０１）、その時系列画像に対してノイズ抑制処理を実行する（Ｓ１０２）。以下、このノイズ抑制処理について詳述する。
【００３２】
撮像装置３により得られた時系列画像には、神経活動を示す信号だけではなく、撮像系等に由来するノイズが含まれている。上記のノイズ抑制処理では、時空間方向に信号を平滑化（例えばガウスフィルタリング）すること等によって、画像の時空間解像度と引き替えに上記のノイズを軽減する。
【００３３】
なお、後述するように、このノイズ抑制処理におけるノイズ抑制の強さ及び傾向に関するノイズ抑制パラメータ（σ１，σ２，…）は、ノイズ抑制／時分割制御器４１ｅによって制御される。例えば、ノイズ抑制処理において適用されるアルゴリズムにガウスフィルタを用いた場合であれば、ガウス関数の空間軸方向及び時間軸方向の分散（σｓ及びσｔ）が、ここでのノイズ抑制パラメータに相当する。なお、繰り返し工程における第１回目のノイズ抑制処理におけるノイズ抑制パラメータは、ノイズ抑制／時分割制御器４１ｅによって制御されることはないため、予め定められたデフォルト値が用いられることになる。
【００３４】
図５Ａはノイズ抑制処理前の時系列画像を示す図であり、図５Ｂはノイズ抑制処理後の時系列画像を示す図である。これらの図５Ａ及び図５Ｂにおいては、上段に時系列画像が、下段に異なる３つの画素における輝度の時間変化を示すグラフがそれぞれ示されている。図５Ａ及び図５Ｂを参照すると、ノイズ抑制処理の結果、各画素における輝度の時間変化が滑らかになっているのを確認することができる。
【００３５】
なお、本実施の形態の場合のように、電位変化等の神経活動を捉えることができる蛍光試薬を用いた光学測定では、直接的に電気信号を測定する場合と比べて、シグナル-ノイズ比に関して劣ることが多い。そのため、このような光学測定においては、適切なノイズ抑制処理を実行することが特に重要である。
【００３６】
次に、ノイズ抑制／時分割器４１ａは、ノイズ抑制処理後の時系列画像に対して時分割点を設定する（Ｓ１０３）。以下、この時分割点の設定を行う時分割処理について詳述する。
【００３７】
実験系によっては、撮像画像に記録されている神経活動の時間変化を複数の時間帯に分けて解析することが有効な場合がある。この場合、時間帯に応じて異なる領域分割を行うことにより、領域分割の結果の妥当性を高めることができ、しかもその領域分割の結果から得られる代表波形及び特徴量の信頼性を向上させることができる。
【００３８】
ステップＳ１０３において、ノイズ抑制／時分割器４１ａは、ノイズ抑制／時分割制御器４１ｅにより決定されたＰ個の時分割点（ｔ１，ｔ２，…，ｔｐ）を、ノイズ抑制処理後の時系列画像の時間軸上に設定する。なお、繰り返し工程における第１回目の時分割処理では、予め設定されたデフォルト値を時分割点として用いる。
【００３９】
図６は、時分割処理の概念を示す図である。図６の上段において、ノイズ抑制処理後の時系列画像上に時分割点ｔ１，ｔ２，ｔ３が設定される様子が図示化されている。また、その下段には、時系列画像中の特定の画素における輝度の時間変化を示すグラフ上に時分割点ｔ１，ｔ２，ｔ３が設定される様子が図示化されている。
【００４０】
上述したようにしてＰ個の時分割点を設定することにより、ノイズ抑制処理後の時系列画像はＰ＋１個の時系列画像に時分割されたものとみなすことができる。このようにして得られたＰ＋１個の時系列画像を用いて、後述する画素分類等が実行されることになる。
【００４１】
（画像比較器４１ｂ）
図７は、画像比較器４１ｂが実行する処理の手順を示すフローチャートである。画像比較器４１ｂはまず、ノイズ抑制処理前の時系列画像を参照し（Ｓ２０１）、次いでノイズ抑制処理後の時系列画像を参照する（Ｓ２０２）。そして、画像比較器４１ｂは、これらのノイズ抑制処理前後の時系列画像の類似性を定量化した尺度である画像類似度を算出する（Ｓ２０３）。この画像類似度としては、例えば画像の相互相関係数等を用いることができる。
【００４２】
図８Ａ及び図８Ｂは、上記の画像類似度とノイズ抑制の程度（ノイズ抑制量）との間の関係を説明するための図である。より詳細に説明すると、図８Ａの（ａ）にはノイズ抑制処理の際にガウスフィルタをＸ，Ｙの２次元の空間軸に対して適用した場合の特定の画素における輝度の時間変化を示すグラフが、（ｂ）にはその場合の画像類似度とノイズ抑制量（σｓ）との関係を示すグラフがそれぞれ示されている。また、図８Ｂの（ａ）には同じくガウスフィルタを時間軸に対して適用した場合の特定の画素における輝度の時間変化を示すグラフが、（ｂ）にはその場合の画像類似度とノイズ抑制量（σｔ）との関係を示すグラフがそれぞれ示されている。
【００４３】
図８Ａ（ａ）に示されるように、ガウスフィルタを２次元の空間軸に対して適用した場合は、時間的な信号の推移が保持される一方で、空間的な情報は失われることになる。他方、図８Ｂ（ａ）に示されるように、ガウスルフィルタを時間軸に対して適用した場合では、空間的な情報が保持される一方で、時間的な信号の推移は失われることになる。このように、両者の内容は異なるものの、図８Ａ（ｂ）及び図８Ｂ（ｂ）を参照すると分かるように、ノイズ抑制量が大きくなればなるほど画像類似度が小さくなるという関係は共通している。したがって、これらのノイズ抑制量及び画像類似度をいかにバランスさせるかが問題となる。本実施の形態では繰り返し工程によりこのバランスを最適化しているものと考えられる。
【００４４】
（画素分類器４１ｃ）
画素分類器４１ｃは、時系列画像における各画素を所定の分類アルゴリズムによって分類し、その分類結果に基づいて領域分割画像を生成する。より具体的に説明すると、本実施の形態における画素分類器４１ｃでは、時系列画像における各画素から抽出される単位時間当たりの信号量の変動パターンの類似した領域をクラスタ化し、その結果得られたクラスタに基づいて領域分割画像を生成する。
図９は、画素分類器４１ｃが実行する処理の手順を示すフローチャートである。まず、画素分類器４１ｃは、上述した時分割処理によりＰ＋１個に時分割された時系列画像の中から、画素分類の処理対象となる時系列画像を決定する（Ｓ３０１）。
【００４５】
次に、画素分類器４１ｃは、処理対象に決定した時系列画像の各画素を、各フレームにおける輝度を軸とするＴ次元空間に配置する（Ｓ３０２）。ここで、Ｔはフレーム数を表している。この各画素のＴ次元空間への配置の概念を図１０Ａに示す。この図１０Ａでは、フレーム数が３であり、且つ画像が３画素（Ａ画素、Ｂ画素、Ｃ画素）で構成されている場合について例示されている。図１０Ａに示されるように、この場合は、Ａ画素、Ｂ画素及びＣ画素が、各フレームにおける輝度を軸とする３次元空間中に分布する点に相当することになる。これを一般化すると、Ｘ画素×Ｙ画素×Ｔフレームの時系列画像を処理対象とした場合、Ｔ次元空間中にＸ×Ｙ個の点を配置することになる。例えば、本実施の形態で処理対象としている１００画素×１００画素×５１２フレームの時系列画像の場合（Ｐが０、つまり時分割をしない場合）は、５１２次元空間中に１００００個の点を配置することになる。
【００４６】
上記のステップＳ３０２の処理は、時系列画像の空間軸に関する各画素の輝度の時間変化を１次元信号とみなした上で、画素分類器４１ｃによって行われる画素分類をＭ個（入力画像の空間に関する標本数、例えば撮像装置３の画素数）の１次元信号の分類として行うためのものである。この１次元信号は、試料である神経細胞中の各部位における神経活動の時間推移を反映したものになる。なお、上述した時分割処理を実行しない場合であって、時間軸方向のサンプリング回数をＴとしたときでは、この１次元信号はＴ次元ベクトルで表現されることになる。
【００４７】
次に、画素分類器４１ｃは、上述したようにしてＴ次元空間中に配置された各画素に対してクラスタリングを実行する（Ｓ３０３）。このクラスタリングとしては各種の分類アルゴリズム（例えば各種の樹形図生成アルゴリズム等）を用いることができるが、特にk-means法及び自己組織化マップ法等のようにクラスタリングの開始時に初期のクラスタ群を設定することができるアルゴリズムを用いた場合は、処理時間の短縮化を図ることができる等の利点がある。また、一旦やや強いノイズ抑制を施して領域分割画像を生成し、これをテンプレートとした上で、ノイズ抑制の度合いを緩めて画素分類を行う等の操作が可能となるため、解像度の低下を抑えることができるという利点もある。本実施の形態では、k-means法によってクラスタリングを実行する。
【００４８】
本実施の形態ではクラスタリングにより画素分類を行っているが、本発明はこれに限定されるわけではない。例えば、予め入力画像中の一部の領域についての知見（教師情報）が得られている場合には、該当する領域を教師信号とした教師付き学習を行い、それにより得られた画素分類器によりＭ個すべての信号を分類する方法を採用してもよい。
【００４９】
なお、クラスタリングにより得られるクラスタ数Ｋまたは教師付き学習におけるクラス数Ｋは、採用する分類アルゴリズムによってはユーザが指定または選択する必要がある。このようなユーザによる指定または選択の要否にかかわらず、最終的に生成される領域分割画像はＳ次元画像であり、その領域分割画像における各画素は１〜Ｋの何れかの類似領域に属するＫ値画像となる。後述するノイズ抑制／時分割制御器４１ｅによって適切なノイズ抑制及び時分割がなされている場合、領域分割画像における各類似領域は神経活動のパターンを描出することになる。その一方で、ノイズ抑制が不十分な場合では、各類似領域がほとんどランダムなパターンを示すことになる。また、ノイズ抑制が不十分な場合または時分割が適切でない場合、各類似領域が互いに入り込み、明確な境界を持たないことになる。
【００５０】
図１０Ｂは、上述したクラスタリングの結果を示す図である。この図１０Ｂでは、処理対象の時系列画像のフレーム数が２であり、且つ各画像が５６個の画素で構成される場合にk-means法（ｋ＝４）でクラスタリングを行った例を示しており、（ａ）はクラスタリングが行われる前のＴ次元空間（Ｔ＝２）を、（ｂ）はクラスタリングが行われた後のＴ次元空間（Ｔ＝２）をそれぞれ示している。図１０Ｂ（ｂ）に示すように、この場合では、５６個の各画素が４つのクラスタＣ１，Ｃ２，Ｃ３，Ｃ４に分類されている。
【００５１】
次に、画素分類器４１ｃは、各画素をＴ次元空間から実空間へ戻した上で、同一のクラスタに属する画素同士を連結することにより領域分割画像を生成する（Ｓ３０４）。これにより、類似領域（同一のクラスタに属する画素同士を連結することにより得られる領域）が複数設けられた領域分割画像を得ることができる。
【００５２】
図１０Ｃは、画素分類が行われる前の画像と画素分類の結果生成された領域分割画像との対応を示す図である。この図１０Ｃでは、上段に画素分類が行われる前の画像を、下段に画素分類の結果生成された領域分割画像をそれぞれ示している。また、（ａ）ではノイズ抑制処理が実行されない場合を参考として示しており、（ｂ）乃至（ｅ）はノイズ抑制処理が実行される場合を示している。ここでは、ノイズ抑制処理におけるノイズ抑制量が少ない順に（ｂ）から（ｅ）まで並べて表示されている。
【００５３】
その後、画素分類器４１ｃは、すべての時系列画像を処理したか否かを判定する（Ｓ３０５）。ここで、まだ処理していない時系列画像があると判定した場合（Ｓ３０５でＮＯ）、画素分類器４１ｃはステップＳ３０１に戻って上述した処理を繰り返し実行する。そして、すべての時系列画像を処理したと判定した場合（Ｓ３０５でＹＥＳ）、画素分類器４１ｃは処理を終了する。その結果、Ｐ＋１個の領域分割画像が生成されることになる。
【００５４】
上述した画素分類器４１ｃによる処理を以下に整理する。
図１０Ｄは、画素分類器４１ｃが実行する一連の処理を概念的に示す図である。この図１０Ｄ（ａ）はＸＹ平面×時間軸で表される実空間における時系列画像を模式的に示しており、黒い点で表されているのが画素に相当する。このような実空間における時系列画像に対してステップＳ３０２を行うことによって、図１０Ｄ（ｂ）に示すように各画素がＴ次元空間に配置される。その後、ステップＳ３０３によって、Ｔ次元空間に配置された各画素をクラスタリングする。その結果、図１０Ｄ（ｃ）に示すように、Ｔ次元空間に配置された各画素が各クラスタに分けられる。なお、この図１０Ｄ（ｃ）では、便宜上、画素に相当する点の濃淡によって各画素が異なるクラスタに分けられていることが示されている。そして、図１０Ｄ（ｄ）に示すように、クラスタリングされた各画素をＸＹ平面で表される実空間上で表示し、同一のクラスタに属する画素同士を連結することによって、領域分割画像が生成される。
【００５５】
ところで、上述したＴ次元空間には画素の位置情報は含まれていない。このように位置情報が含まれていないＴ次元空間に各画素を配置した上で分類を行うことによって、位置情報が含まれている各画素に対して分類を行う場合と比べて、処理負荷の軽減を図ることができる。より詳細について説明すると、位置情報が含まれている各画素に対して分類を行う場合では、「位置情報」という長さに関する量と「輝度」という明るさに関する量とが特徴軸として混在する空間について分類を行う必要が生じ、この場合は軸間の重み付けを考慮しなければならなくなるため、処理負荷が増大する。これに対し、位置情報が含まれていない場合では、そのような重み付けが不要であるため、より少ない計算量で分類を行うことができる。
【００５６】
また、本実施の形態で扱う神経細胞の活動状況を撮像して得られるような時系列画像の場合、画像内のオブジェクトの動きはなく、画素の輝度が時間とともに変化するのみであると考えられる。このような時系列画像の場合、従来技術のように動き情報を利用して画素分類を行ったとしても、高精度な領域分割を行うことは困難である。本実施の形態のように、時系列画像の空間軸に関する各画素の輝度の時間変化を１次元信号とみなした上で画素分類を行うことにより、このような時系列画像でも高精度な領域分割を実現することができる。
【００５７】
（領域分離度評価器４１ｄ）
図１１は、領域分離度評価器４１ｄが実行する処理の手順を示すフローチャートである。まず、領域分離度評価器４１ｄは、画素分類器４１ｃによって生成されたＰ＋１個の領域分割画像を参照し（Ｓ４０１）、そのうちの一つの領域分割画像を処理対象として決定する（Ｓ４０２）。
【００５８】
次に、領域分離度評価器４１ｄは、処理対象とした領域分割画像において各類似領域が相互に分離する度合いである領域分離度を求める（Ｓ４０３）。この領域分離度としては、例えば各類似領域の境界画素数または孔の数の総和（1st Betti number）等を用いることができる。また、予め入力画像中の一部の領域について教師情報が得られている場合では、該当する領域について教師情報と領域分割画像との一致率を求め、これを単独で、または上記の境界画素数若しくは孔の数等と組み合わせたものを領域分離度としてもよい。
【００５９】
その後、領域分離度評価器４１ｄは、すべての領域分割画像について処理を行ったか否かを判定する（Ｓ４０４）。ここで、領域分離度評価器４１ｄは、まだ処理対象となっていない領域分割画像があると判定した場合（Ｓ４０４でＮＯ）はその領域分割画像を処理対象に決定（Ｓ４０２）して以降の処理を繰り返し、すべての領域分割画像を処理したと判定した場合（Ｓ４０４でＹＥＳ）は処理を終了する。
【００６０】
図１２Ａは、領域分離度とノイズ抑制との関係を説明するための図である。なお、図１０Ｃの場合と同様に、図１２Ａ（ａ）ではノイズ抑制処理が実行されない場合を参考として示しており、（ｂ）乃至（ｅ）はノイズ抑制処理が実行される場合を示している。この図１２Ａにおいて、上段には画素分類が行われる前の画像を、中段には画素分類の結果生成された領域分割画像を、下段にはその領域分割画像における各類似領域の境界線を表した境界画像をそれぞれ示している。また、各境界画像の下には、１／境界画素数で求められる領域分離度の値が付されている。図１２Ａに示されるように、ノイズ抑制が不十分なほど領域分離度の値が小さく、ノイズ抑制が過剰になるほど領域分離度の値が大きくなるという関係が成立する。
【００６１】
また、図１２Ｂは、時分割を行う場合の画素分類と領域分離度との関係を説明するための図である。図１２Ｂを参照すると、２つの時分割点で時分割を行う場合であっても、その時分割点がｔ１−１及びｔ２−１である場合の時分割１と、ｔ１−２及びｔ２−２である場合の時分割２とでは、得られる領域分割画像も、求められる領域分離度の値（境界画像中の数値）も異なることが確認できる。
なお、図１２Ｂ中の数値「４．３２」及び「３．４１」はそれぞれ、各時分割画像の領域分離度の平均を示している。領域分離度評価器４１ｄは、ノイズ制御／時分割制御器４１ｅに対してこの平均値を出力する。
【００６２】
（ノイズ抑制／時分割制御器４１ｅ）
ノイズ抑制／時分割制御器４１ｅは、画像類似度及び領域分離度に基づいて、次の繰り返し工程において用いるべきノイズ抑制パラメータ及び時分割点の制御を行う。一般に、ノイズ抑制量が少ない場合は、画像類似度が高くなる一方で領域分離度は低くなる。そして、ノイズ抑制量が大きくなるにつれて、画像類似度が低くなる一方で領域分離度は高くなる。このような画像類似度及び領域分離度の性質に着目し、本実施の形態では、これらの少なくとも何れか一方が所定値に達することを停止条件として繰り返し工程が実行されることになる。
【００６３】
図１３は、ノイズ抑制／時分割制御器４１ｅが実行する処理の手順を示すフローチャートである。ノイズ抑制／時分割制御器４１ｅは、領域分離度評価器４１ｄによって求められた領域分離度が予め定められている下限値に達したか否かを判定する（Ｓ５０１）。ここで下限値に達していないと判定した場合（Ｓ５０１でＮＯ）、ノイズ抑制／時分割制御器４１ｅは、ノイズ抑制パラメータ及び時分割点の位置を含むパラメータ群を制御する（Ｓ５０２）。このステップＳ５０２において、具体的にどのようにしてパラメータ群を制御するかについては後述する。
【００６４】
ステップＳ５０１において、下限値に達したと判定した場合（Ｓ５０１でＹＥＳ）、ノイズ抑制／時分割制御器４１ｅは処理を終了する。その結果、領域分割画像生成装置４における繰り返し工程が終了することになる。
【００６５】
この図１３のフローチャートに示す処理手順は、領域分離度が所定の下限値に達したことを停止条件としている場合を例示しているが、本発明はこれに限定されるわけではなく、これに代えてまたはこれと共に画像類似度が所定の上限値に達したこと等を停止条件としてもよい。さらに、これらの停止条件に変えて、またはこれらの停止条件と共に、領域分割画像、領域分離度及び画像類似度の推移を踏まえた上で繰り返し工程を終了するか否かをユーザが判断するようにしてもよい。
【００６６】
上記の停止条件に至るまでの繰り返し工程によって、十分な領域分離度を達成しつつも、時空間解像度を必要以上に損なわない程度のノイズ抑制と、画像中の各部位における波形上の関連性が十分に考慮された時分割とが施されることになる。
【００６７】
以下、上記のステップＳ５０２におけるパラメータ群の制御について、詳述する。
ノイズ抑制パラメータが単独の場合、ノイズ抑制／時分割制御器４１ｅは、画像類似度または領域分離度による停止条件が満たされるまで、ノイズ抑制量が漸増するようにノイズ抑制パラメータを制御する。図１４Ａは、ノイズ抑制パラメータが単独である場合における、ノイズ抑制量、画像類似度及び領域分離度と動作の繰り返し回数との関係を示す図である。この図１４Ａでは、領域分離度が下限値ＤＬに達することを停止条件として繰り返し工程が行われた場合の各指標の推移が模式的に示されており、Ｓｐ回目の繰り返しにおいて領域分離度が下限値ＤＬに達した例が示されている。図１４Ａを参照すると、ノイズ抑制量が増すにつれて画像類似度が低下し且つ領域分離度が上昇することが確認できる。
【００６８】
なお、本実施の形態のように、画素分類器４１ｃにおいて初期のクラスタ群を設定可能なk-means法等の分類アルゴリズムを採用した場合、Ｓｐ回目以降、ノイズ抑制パラメータを逆に漸減し、Ｓｐ回目及びそれ以降に得られたクラスタ群を初期クラスタ群として、繰り返し工程を進めるようにしてもよい。これにより、Ｓｐ回目よりノイズ抑制量が小さく（画像解像度が高く）、しかも領域分離度が下限値ＤＬからそれほど低下しない領域分割画像を得ることができる。この２つ目の繰り返し工程における停止条件は、Ｓｐ回目の指標からの差分によって規定する。図１４Ａ（ｂ）では、画像類似度の差分ΔＭによって２つ目の繰り返し工程の停止条件が定められた場合に、Ｓｑ回目で動作が停止する様子が示されている。図１４Ａ（ａ）乃至（ｃ）には、Ｓｑ回目の各指標を表す点ｑと、この点ｑの場合と同じノイズ抑制量を持つ点ｒとが示されている。点ｑと点ｒとでは同じノイズ抑制処理が施されているが、領域分離度については点ｑの方が点ｒを上回っている（図１４Ａ（ｃ）参照）。これは、Ｓｐ回目以降の画素分類器４１ｃにおいてＳｐ回目の領域分割画像による誘導のもとにクラスタリングが実行されているためである。
【００６９】
また、ノイズ抑制パラメータが複数ある場合、ノイズ抑制／時分割制御器４１ｅは、画像類似度及び領域分離度の双方が大きくなるようにノイズ抑制パラメータの制御を行う。例えば、ノイズ抑制パラメータが空間に関するパラメータσｓ及び時間に関するパラメータσｔの２つであり、領域分離度が下限値ＤＬに達することを停止条件として繰り返し工程が行われる場合は、図１４Ｂに示すようになる。なお、図１４Ｂにおいて、横軸はσｓを、縦軸はσｔを、実線は画像類似度の等高線（左下が高く、右上が低い）を、斜線領域は繰り返し工程の停止条件が満たされているパラメータ空間（領域分離度≧下限値ＤＬ）をそれぞれ示している。
【００７０】
ノイズ抑制／時分割制御器４１ｅは、停止条件を満たしつつ画像類似度が最大となる点αを検索すること、換言すればσｓ及びσｔをαに最適化することを目的として動作する。例えば、ノイズ抑制処理で用いるアルゴリズムをガウスフィルタとして、σをガウス関数の分散（空間軸方向の分散をσｓ、時間軸方向の分散をσｔ）とした場合であって、画像類似度として相互相関係数を、領域分離度として境界画素数をそれぞれ用いたとき、図１４Ｂに示すようにパラメータ空間において画像類似度及び領域分離度はほぼ単調となる。そのため、例えば最初に点線部分（領域分離度＝下限値ＤＬ）を検索し、次に画像類似度が最大となる点を検索するという手順を、それぞれ山登り法で行うことができる。なお、上述した２つ目の繰り返し工程による領域分割画像の解像度の改善は、ノイズ抑制パラメータが複数ある場合でも、点α近傍の類似度勾配を登るようにノイズ抑制パラメータを制御することによって実現することができる。
【００７１】
なお、時分割点の数Ｐが１以上の場合、ノイズ抑制パラメータ群（σ１，σ２，…）及び時分割点（ｔ１，ｔ２，…，ｔｐ）の位置を合わせたパラメータ群について、領域分離度が下限値ＤＬを満たし且つ画像類似度が最大となる点を探索する最適化問題とみなすことができる。これは、図１４Ｂに示されるパラメータ空間の次元を時分割点の数Ｐだけ広げた場合に相当する。この場合、ノイズ抑制／時分割制御器４１ｅは、粒子群最適化（ＰＳＯ：Particle Swarm Optimization）等の連続変数の最適化アルゴリズムによって次の繰り返しのときに試すべきノイズ抑制パラメータ群及び時分割点の位置を決定する。
【００７２】
（波形抽出器４１ｆ）
波形抽出器４１ｆは、繰り返し工程が終了した後に、画素分類器４１ｃで生成された領域分割画像と波形源画像（撮像装置３からの入力画像またはノイズ抑制処理後の画像）とに基づいて、各類似領域の代表波形を求める。
【００７３】
図１５は、波形抽出器４１ｆが実行する処理の手順を示すフローチャートである。まず、波形抽出器４１ｆは、画素分類器４１ｃで生成されたＰ＋１個の領域分割画像の中から特定の領域分割画像を処理対象に決定し（Ｓ６０１）、その処理対象の領域分割画像と、その領域分割画像の元となる波形源画像とを参照する（Ｓ６０２）。次に、波形抽出器４１ｆは、当該領域分割画像における類似領域毎に代表波形を生成する（Ｓ６０３）。このステップＳ６０３において、当該領域分割画像の各類似領域の代表波形は、当該波形源画像のうちの当該類似領域に相当する全画素について空間方向の平均値を求めることにより生成される。このとき、重み付け平均を用いて他の類似領域との境界に近い画素については代表波形への寄与を軽くするように調整することによって、代表波形の解像度の改善を図るようにしてもよい。
【００７４】
次に、波形抽出器４１ｆは、すべての領域分割画像が処理対象になったか否かを判定する（Ｓ６０４）。ここで、まだ処理対象となっていない領域分割画像があると判定した場合（Ｓ６０４でＮＯ）、波形抽出器４１ｆはステップＳ６０１に戻って以降の処理を繰り返す。他方、すべての領域分割画像が処理対象になったと判定した場合（Ｓ６０４でＹＥＳ）、波形抽出器４１ｆは処理を終了する。これにより、Ｐ＋１個の領域分割画像毎に、各類似領域の代表波形が生成されることになる。
【００７５】
上述したようにして波形抽出器４１ｆにて生成された類似領域の代表波形で構成される代表波形セットは、出力装置５にて出力される。図１６Ａは、類似領域の代表波形セットの出力画面の一例を示す図である。図１６Ａでは、領域分割画像中に４個の類似領域が含まれており、各類似領域について代表波形が生成された場合について例示されている。また、図１６Ｂは、類似領域の代表波形セットの出力画面の他の例を示す図である。この図１６Ｂでは、時分割された時系列画像のそれぞれを元にして生成された複数の領域分割画像と、それらの領域分割画像毎に生成された各類似領域の代表波形とが対応して示されている。
【００７６】
（特徴抽出器４１ｇ）
特徴抽出器４１ｇは、繰り返し工程が終了した後に、複数の試料についての比較及び分類を始めとする様々な自動的な評価を行う際の量的尺度となり得る各種の特徴を含む特徴量セットを、画素分類器４１ｃで生成された領域分割画像及び波形抽出器４１ｆで生成された代表波形セットから抽出する。
【００７７】
図１７は、特徴抽出器４１ｇが実行する処理の手順を示すフローチャートである。まず、特徴抽出器４１ｇは、画素分類器４１ｃで生成されたＰ＋１個の領域分割画像の中から特定の領域分割画像を処理対象に決定し（Ｓ７０１）、その処理対象の領域分割画像と、波形抽出器４１ｆにて生成された当該領域分割画像の各類似領域の代表波形とを参照する（Ｓ７０２）。そして、特徴抽出器４１ｇは、これらの領域分割画像及び代表波形から、各種の特徴を含む特徴量セットを抽出する（Ｓ７０３）。この特徴量セットに含まれる特徴としては、例えば（１）個別の類似領域について得られる形状特徴（面積及び円形度等）、（２）類似領域相互の幾何学的関係に関する特徴（領域間の接触境界の周長等）、（３）各代表波形に由来する特徴（最大値、振幅、及び周波数分布等）、（４）代表波形間の比較によって得られる特徴（ピークの時刻及び高さの差異等）等を挙げることができる。このうち（１）及び（２）については、二値化されたブロブ画像を始め領域分割済みの画像に対する各種の特徴抽出法等を用いて抽出することができる。また、（３）及び（４）については、探針による電位測定データ等の時変１次元信号の解析で利用される特徴抽出法等を用いて抽出することができる。
【００７８】
次に、特徴抽出器４１ｇは、すべての領域分割画像が処理対象になったか否かを判定する（Ｓ７０４）。ここで、まだ処理対象となっていない領域分割画像があると判定した場合（Ｓ７０４でＮＯ）、特徴抽出器４１ｇはステップＳ７０１に戻って以降の処理を繰り返す。他方、すべての領域分割画像が処理対象になったと判定した場合（Ｓ７０４でＹＥＳ）、特徴抽出器４１ｇは処理を終了する。これにより、Ｐ＋１個の領域分割画像毎に特徴量セットが生成されることになる。
【００７９】
上述したようにして特徴抽出器４１ｇにて生成された特徴量セットは、出力装置５にて出力される。図１８は、特徴量セットの出力画面の一例を示す図である。この図１８では、類似領域ａ及びｂについて、上記（１）及び（２）に係る特徴量セットが示されている。
【００８０】
このような特徴量セットによって、入力画像が有する多次元にわたる膨大且つノイズを多く含む冗長なデータを要約することができる。このような簡潔な出力を得ることにより、多くのサンプル間の比較及び分類等が容易になる。
【００８１】
上述したとおり、本実施の形態における画素分類は、クラスタリングまたは教師付き学習等の分類アルゴリズムにより行うことができるが、これらは何れも、神経活動伝播を捉えた画像中の類似領域における信号が似通っていることにのみ依っており、各信号の測定位置の遠近を考慮していない。すなわち、画素分類器は、画像処理に特化しない単純なモデルの下で動作していると考えることができる。そのため、（１）波形及び伝播パターンに関する事前の知識を必要としない、（２）複数のカテゴリーに信号群を分離するという条件さえ満たせば多種の分類アルゴリズムを利用することができる、（３）得られる領域分割画像の評価（領域分離度及び特徴量セット等）がユーザにより選択されたモデルまたは仮定によるバイアスを被らないため中立性・客観性が高くなる等の利点が得られる。このうち（２）は、（１）と共に汎用性をもたらすだけではなく、目的又は測定方法の性質に応じた分類アルゴリズムを選択する余地を広げることにつながる。そのため、例えば入力画像内に神経活動を行っていない時間帯が多く含まれる場合に、時間軸方向の取捨選択を積極的に行う分類アルゴリズム（例えば、ＣＡＲＴのように下降型の分類木を用いたアルゴリム及びrandom windowを用いたアルゴリズム等）を採用することもできる。また、時間軸方向のシフトに対して不変な領域分割を行うために、クラスタリングを採用した場合の信号間の距離尺度として、代表的なユークリッド距離ではなく、時間相関スペクトルの最大値等を用いることも可能になる。
【００８２】
なお、本発明者等は、電位依存性蛍光試薬を用いたマウスの扁桃体における光学測定データを主なターゲットして種々の検討を行い、その結果上述した手法を発見した。その結果、応答特性の類似性により検出された空間領域が神経核の組織的特徴に合致することがわかり、脳回路における集団類似性に関する知見が新たに得られている。マウスの扁桃体の他にも、神経活動の可視化を介した光学測定が既に行われている対象として海馬、大脳皮質、視床、視床下部、嗅脳及び小脳等があり、これらの部位の神経回路研究にも本発明を適用することが可能である。また、ｆＭＲＩに代表される異なる測定原理に基づく生体信号についても、例えば脳波測定、光トポグラフィー等のように測定データの構成が格子状に配された多点上の時系列信号である場合には、本発明を適用することができる。
【００８３】
本発明は、神経活動伝播、細胞内物質の量的変動、及び細胞外遊離物質の量的変動等に関する時空間データを客観的且つ簡潔に要約することができるため、特定の一部の領域及びタイミングに対して特異的に働く遺伝子及び薬剤の検索において効果的であると考えられる。したがって、例えば、複雑な神経活動伝播のパターンを示す中枢神経系をターゲットにした遺伝子・薬剤のスクリーニング及び安全性試験への応用が期待できる。
【産業上の利用可能性】
【００８４】
本発明の領域分割画像生成方法、領域分割画像生成装置、及びコンピュータプログラムはそれぞれ、例えば神経活動伝播を組織レベルで測定するための領域分割画像生成方法、領域分割画像生成装置、及びコンピュータプログラム等として有用である。
【符号の説明】
【００８５】
１  領域分割画像生成システム
２  蛍光検出装置
３  撮像装置
４  領域分割画像生成装置
４１  制御部
４１ａ  ノイズ抑制／時分割器
４１ｂ  画像比較器
４１ｃ  画素分類器
４１ｄ  領域分離度評価器
４１ｅ  ノイズ抑制／時分割制御器
４１ｆ  波形抽出器
４１ｇ  特徴抽出器
４２  記憶部
４２ａ  領域分割画像生成プログラム
５  出力装置
６  入力装置
７  データ読出装置
８  可搬型記録媒体
【図１】
2011060227.tif 000003
【図２】
2011060227.tif 000004
【図４】
2011060227.tif 000005
【図７】
2011060227.tif 000006
【図９】
2011060227.tif 000007
【図１１】
2011060227.tif 000008
【図１３】
2011060227.tif 000009
【図１４Ａ】
2011060227.tif 000010
【図１５】
2011060227.tif 000011
【図１７】
2011060227.tif 000012
【図３】
2011060227.tif 000013
【図５Ａ】
2011060227.tif 000014
【図５Ｂ】
2011060227.tif 000015
【図６】
2011060227.tif 000016
【図８Ａ】
2011060227.tif 000017
【図８Ｂ】
2011060227.tif 000018
【図１０Ａ】
2011060227.tif 000019
【図１０Ｂ】
2011060227.tif 000020
【図１０Ｃ】
2011060227.tif 000021
【図１０Ｄ】
2011060227.tif 000022
【図１２Ａ】
2011060227.tif 000023
【図１２Ｂ】
2011060227.tif 000024
【図１４Ｂ】
2011060227.tif 000025
【図１６Ａ】
2011060227.tif 000026
【図１６Ｂ】
2011060227.tif 000027
【図１８】
2011060227.tif 000028
【手続補正書】
【提出日】平成22年10月1日(2010.10.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置するステップ（ａ）と、
Ｔ１次元空間に配置された各画素を分類するステップ（ｂ）と、
前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ（ｃ）と
を有する、領域分割画像生成方法。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
前記ステップ（ａ）は、時系列的に得られた複数フレームの画像を複数の画像群に時分割するステップ（ａ３）と、当該画像群毎に、画像群に含まれる画像を構成する各画素をＴ２次元空間（Ｔ２は時分割された後の複数フレームの画像のフレーム数）に配置するステップ（ａ４）とを有し、
前記ステップ（ｂ）は、Ｔ２次元空間に配置された各画素を分類する、請求項１に記載の領域分割画像生成方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上述した課題を解決するために、本発明の一の態様の領域分割画像生成方法は、時系列的に得られた複数フレームの画像のそれぞれを構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置するステップ（ａ）と、Ｔ１次元空間に配置された各画素を分類するステップ（ｂ）と、前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ（ｃ）とを有している。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、前記の態様において、前記ステップ（ａ）が、時系列的に得られた複数フレームの画像を複数の画像群に時分割するステップ（ａ３）と、当該画像群毎に、画像群に含まれる画像を構成する各画素をＴ２次元空間（Ｔ２は時分割された後の複数フレームの画像のフレーム数）に配置するステップ（ａ４）とを有し、前記ステップ（ｂ）が、Ｔ２次元空間に配置された各画素を分類するようにしてもよい。
【手続補正書】
【提出日】平成22年12月24日(2010.12.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置するステップ（ａ）と、
前記配置された各画素を、それらの画素のＴ１次元空間における位置関係に基づいて分類するステップ（ｂ）と、
前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ（ｃ）と
を有する、領域分割画像生成方法。
【請求項２】
前記ステップ（ａ）は、時系列的に得られた複数フレームの画像のそれぞれに対してノイズ抑制処理を実行するステップ（ａ１）と、前記ノイズ抑制処理が施された前記複数フレームの画像を構成する各画素をＴ１次元空間に配置するステップ（ａ２）とを有している、請求項１に記載の領域分割画像生成方法。
【請求項３】
所定の停止条件を満足するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項２に記載の領域分割画像生成方法。
【請求項４】
前記ステップ（ｃ）にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項３に記載の領域分割画像生成方法。
【請求項５】
前記ステップ（ａ１）のノイズ抑制処理において、前記領域分離度に応じてノイズ抑制量が変化する、請求項４に記載の領域分割画像生成方法。
【請求項６】
前記ステップ（ａ１）にてノイズ抑制処理が施された前記複数フレームの画像と、前記ノイズ抑制処理が施される前の前記複数フレームの画像との画像類似度が所定値に達するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項３に記載の領域分割画像生成方法。
【請求項７】
前記ステップ（ａ１）のノイズ抑制処理において、前記画像類似度に応じてノイズ抑制量が変化する、請求項６に記載の領域分割画像生成方法。
【請求項８】
前記ステップ（ａ）は、時系列的に得られた複数フレームの画像を複数の画像群に時分割するステップ（ａ３）と、当該画像群毎に、画像群に含まれる画像を構成する各画素をＴ２次元空間（Ｔ２は時分割された後の複数フレームの画像のフレーム数）に配置するステップ（ａ４）とを有している、請求項１に記載の領域分割画像生成方法。
【請求項９】
所定の停止条件を満足するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項８に記載の領域分割画像生成方法。
【請求項１０】
前記ステップ（ｃ）にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ（ａ）乃至（ｃ）を繰り返し実行する、請求項９に記載の領域分割画像生成方法。
【請求項１１】
前記ステップ（ａ３）では、前記領域分離度に応じて時分割を行う時点が変化する、請求項１０に記載の領域分割画像生成方法。
【請求項１２】
前記複数フレームの画像内のオブジェクトは静止しており、当該画像を構成する各画素の輝度が時間とともに変化する、請求項１乃至８の何れかに記載の領域分割画像生成方法。
【請求項１３】
前記オブジェクトは電位依存性の蛍光色素が付与された神経細胞であり、当該神経細胞に対して電気的刺激を与えることによって前記各画素の輝度が時間とともに変化する、請求項１２に記載の領域分割画像生成方法。
【請求項１４】
前記ステップ（ｂ）では、k-means法によって前記分類を行う、請求項１乃至１３の何れかに記載の領域分割画像生成方法。
【請求項１５】
前記ステップ（ｃ）にて生成された領域分割画像の特徴量を抽出するステップ（ｄ）をさらに有する、請求項１乃至１４の何れかに記載の領域分割画像生成方法。
【請求項１６】
時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置する画素配置手段と、
当該画素配置手段によって前記Ｔ１次元空間に配置された各画素を、それらの画素のＴ１次元空間における位置関係に基づいて分類する画素分類手段と、
当該画素分類手段によって分類された結果に基づいて、複数の領域に分割された領域分割画像を生成する領域分割画像生成手段と
を備える、領域分割画像生成装置。
【請求項１７】
コンピュータに、
時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置させる手順と、
前記Ｔ１次元空間に配置された各画素を、それらの画素のＴ１次元空間における位置関係に基づいて分類させる手順と、
分類した結果に基づいて、複数の領域に分割された領域分割画像を生成させる手順と
を実行させるためのコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上述した課題を解決するために、本発明の一の態様の領域分割画像生成方法は、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置するステップ（ａ）と、前記配置された各画素を、それらの画素のＴ１次元空間における位置関係に基づいて分類するステップ（ｂ）と、前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ（ｃ）とを有している。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の一の態様の領域分割画像生成装置は、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置する画素配置手段と、当該画素配置手段によって前記Ｔ１次元空間に配置された各画素を、それらの画素のＴ１次元空間における位置関係に基づいて分類する画素分類手段と、当該画素分類手段によって分類された結果に基づいて、複数の領域に分割された領域分割画像を生成する領域分割画像生成手段とを備えている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明の一の態様のコンピュータプログラムは、コンピュータに、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするＴ１次元空間（Ｔ１はフレーム数）に配置させる手順と、前記Ｔ１次元空間に配置された各画素を、それらの画素のＴ１次元空間における位置関係に基づいて分類させる手順と、分類した結果に基づいて、複数の領域に分割された領域分割画像を生成させる手順とを実行させるためのものである。