(57)【要約】【課題】長時間撮影した画像を効率良く観察できる画像処理装置および画像処理方法を提供する。【解決手段】顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、前記取得した各々の画像の特徴量を解析し、前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、前記指標が予め定められた閾値を超えている画像を選択し、前記選択した画像を時系列で表示部に表示するように構成された制御部を具備する。【選択図】図６
2015103217.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、
前記取得した各々の画像の特徴量を解析し、
前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、
前記指標が予め定められた閾値を超えている画像を選択し、
前記選択した画像を時系列で表示部に表示する
ように構成された制御部
を具備する画像処理装置。
【請求項２】
請求項１の画像処理装置であって、
前記制御部は、
前記取得した画像内にＲＯＩ領域を設定し、
前記設定されたＲＯＩ領域の前記特徴量を解析し、
前記指標を、前記ＲＯＩ領域ごとに算出する
画像処理装置。
【請求項３】
請求項２の画像処理装置であって、
前記制御部は、
少なくとも１つの前記ＲＯＩ領域に対して、算出された前記指標が前記閾値を超えている画像を選択する
画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記制御部は、
入力部を介してユーザから前記ＲＯＩ領域の指定を受け付け、
前記指定されたＲＯＩ領域の前記指標が前記閾値を超えている画像を選択する
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記制御部は、
前記各々の画像のうち、前記ＲＯＩ領域の部分を拡大して表示する
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記制御部は、
前記閾値を、入力部を介して受け付けた入力により設定する
画像処理装置。
【請求項７】
請求項５に記載の画像処理装置であって、
前記制御部は、
前記閾値を、前記特徴量の前記変化の量に基づいて設定する
画像処理装置。
【請求項８】
請求項６に記載の画像処理装置であって、
前記制御部は、
前記複数の画像を動画として再生する場合に、
前記入力部を介して受け付けた再生時間に応じた前記画像が選択されるように、前記閾値を調整する
画像処理装置。
【請求項９】
請求項８の画像処理装置であって、
前記特徴量は、輝度、エッジ、動きベクトル、および密度のうち少なくとも１つである
画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記制御部は、
前記指標を、前記特徴量の変化量と、当該変化量を正規化した正規化変化量と、正規化変化量の合計とを用いて、以下の式で算出する
画像処理装置。
（指標）＝Σ（（前記特徴量の変化量）×（前記特徴量の正規化変化量）／（正規化変化量の合計））
【請求項１１】
制御部が、
顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、
前記取得した各々の画像の特徴量を解析し、
前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、
前記指標が予め定められた閾値を超えている画像を選択し、
前記選択した画像を時系列で表示部に表示する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、顕微鏡撮影された画像を処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
生細胞を長時間撮影するタイムラプス観察などでは、撮影された画像（動画）を観察するにあたり、観察に要する時間を短縮するための様々な工夫がなされてきた。
【０００３】
時間を短縮するために、撮影された細胞の画像を解析し、特徴量を算出する方法が幾つかある。例えば、エッジ検出や、輪郭抽出、フィルタ処理、Ｚ軸方向の情報などを組み合わせて細胞等を認識する技術がある（例えば、特許文献１から３および非特許文献１から３参照）。これらの技術では、細胞等が撮影された領域を分類し、分類した領域ごとに特徴量の経時変化を出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−０５４３４７号公報
【特許文献２】特開２００６−０１８３９４号公報
【特許文献３】特開２０１１−０２７５４３号公報
【非特許文献】
【０００５】
【非特許文献１】"Cell Segmentation in Microscopy Imagery Using A Bag Of Local Bayesian Classifiers", Z. Yin, R. Bise, M. Chen and T. Kanade, 2010
【非特許文献２】"High-resolution cell outline segmentation and tracking from phase-contrast microscopy images", M.E. Ambuhl, C. Brepsant, J.-J. Meister, A.B. Verkhovsky and I.F. Sbalzarini, 2011, Journal of Microscopy, Vol. 245, Pt 2 2012, pp. 161-170
【非特許文献３】"Advanced Level-Set Based Multiple-Cell Segmentation and Tracking in Time-Lapse Fluorescence Microscopy Images", O. Dzyubachyk, W. Niessen and E. Meijering, 2008
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術は細胞を認識するだけであり、長時間撮影した画像についてすべて確認するには撮影時間分の時間がかかってしまっていた。このように、長時間撮影した画像を効率良く観察するためには不十分な点があった。
【０００７】
以上のような事情に鑑み、本技術の目的は、長時間撮影した画像を効率良く観察できる画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本技術の一形態に係る画像処理装置は、顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、前記取得した各々の画像の特徴量を解析し、前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、前記指標が予め定められた閾値を超えている画像を選択し、前記選択した画像を時系列で表示部に表示するように構成された制御部を具備する。
【０００９】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記取得した画像内にＲＯＩ領域を設定し、前記設定されたＲＯＩ領域の前記特徴量を解析し、前記指標を、前記ＲＯＩ領域ごとに算出する構成でもよい。
【００１０】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、少なくとも１つの前記ＲＯＩ領域に対して、算出された前記指標が前記閾値を超えている画像を選択する構成でもよい。
【００１１】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、入力部を介してユーザから前記ＲＯＩ領域の指定を受け付け、前記指定されたＲＯＩ領域の前記指標が前記閾値を超えている画像を選択する構成でもよい。
【００１２】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記各々の画像のうち、前記ＲＯＩ領域の部分を拡大して表示する構成でもよい。
【００１３】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記閾値を、入力部を介して受け付けた入力により設定する構成でもよい。
【００１４】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記閾値を、前記特徴量の前記変化の量に基づいて設定する構成でもよい。
【００１５】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記複数の画像を動画として再生する場合に、前記入力部を介して受け付けた再生時間に応じた前記画像が選択されるように、前記閾値を調整する構成でもよい。
【００１６】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記特徴量は、輝度、エッジ、動きベクトル、および密度のうち少なくとも１つであってもよい。
【００１７】
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記指標を、前記特徴量の変化量と、当該変化量を正規化した正規化変化量と、正規化変化量の合計とを用いて、以下の式で算出する構成でもよい。
（指標）＝Σ（（前記特徴量の変化量）×（前記特徴量の正規化変化量）／（正規化変化量の合計））
【００１８】
上記目的を達成するため、本技術の一形態に係る画像処理方法では、制御部が、顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、前記取得した各々の画像の特徴量を解析し、前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、前記指標が予め定められた閾値を超えている画像を選択し、前記選択した画像を時系列で表示部に表示する。
【発明の効果】
【００１９】
以上のように、本技術によれば、長時間撮影した画像を効率良く観察できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本実施形態に係る画像処理装置で行われる、動画のダイジェスト再生のイメージを説明するための図である。
【図２】本実施形態に係る画像処理装置で用いられるＧＵＩの例を示す図である。
【図３】本実施形態に係る画像処理装置で用いられるＧＵＩの例を示す図である。
【図４】本実施形態に係る画像処理装置５０を含む顕微鏡システム１の構成図である。
【図５】制御部５１の構成図である。
【図６】画像処理装置５０が行う処理の流れについて、その概要を説明するためのフローチャートである。
【図７】ＲＯＩの指定・検出処理の流れについて説明するためのフローチャートである。
【図８】ＲＯＩ情報テーブル５２ａの例を示す図である。
【図９】ＲＯＩごとの変化指標の算出処理の流れについて説明するためのフローチャートである。
【図１０】ＲＯＩ番号・変化指標テーブル５２ｃの例を示す図である。
【図１１】ダイジェストの作成と表示の処理の流れについて説明するためのフローチャートである。
【図１２】変化指標のヒストグラムの例である。
【図１３】ＲＯＩごとの変化指標の算出処理の流れについて説明するためのフローチャートである。
【図１４】処理対象であるＲＯＩのＲＯＩ番号と、そのＲＯＩにおける各変化量を格納するテーブルの例である。
【図１５】ダイジェストの作成と表示の処理の流れについて説明するためのフローチャートである。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下、本技術に係る実施形態を、図面を参照しながら説明する。なお、以下の説明では、最初に、タイムラプス観察などにより取得した長時間の動画をどのようにダイジェスト再生するか、そのイメージを説明する。次に、ダイジェスト作成に用いる指標について説明し、その後、本実施形態に係る画像処理装置の構成とその処理の流れについて説明する。
【００２２】
［ダイジェスト再生のイメージ］
最初に、本実施形態に係る画像処理装置で行われる、動画のダイジェスト再生のイメージを説明する。図１は、本実施形態に係る画像処理装置で行われる、動画のダイジェスト再生のイメージを説明するための図である。
【００２３】
図の上側は、ダイジェスト再生を行う基となる動画の例を示している。時刻ｔ＝１の画像では、２つの円形の細胞が写っている。なお、ここでは、右上の細胞が写っている領域をＲＯＩ（Region of Interest、注目領域）１とし、左下の細胞が写っている領域をＲＯＩ２とする。
【００２４】
時刻ｔ＝２では画像に変化は無く、時刻ｔ＝３においてＲＯＩ２の細胞の形状が三角形に変化したとする。時刻ｔ＝４では画像に変化は無く、時刻ｔ＝５においてＲＯＩ１の細胞の形状が三角形に変化したとする。時刻ｔ＝６では画像に変化は無く、時刻ｔ＝７において両方の細胞の形状が四角形に変化したとする。
【００２５】
図の中央は、フレーム（画像）全体での変化を捉えたダイジェスト再生の様子を示している。すなわち、画像内に写っているＲＯＩのいずれかに変化があれば、その変化を全て含むように、ダイジェストが生成される。この例では、ＲＯＩ１の細胞のみが変化した時刻ｔ＝３の画像、ＲＯＩ２の細胞のみが変化した時刻ｔ＝５の画像、および両方の細胞が変化した時刻ｔ＝７の画像、計４枚の画像によりダイジェスト再生が行われる。
【００２６】
図の下側は、ＲＯＩごとの変化を捉えたダイジェスト再生の様子を示している。例えば、ＲＯＩ１の細胞では、時刻ｔ＝５および時刻ｔ＝７においてのみ変化があったので、ダイジェストはこれらを含む計３枚の画像で構成される。なお、ＲＯＩ１の変化を捉えたダイジェストでは、ここで示すようにＲＯＩ１の領域を拡大して表示してもよいし、他の細胞との位置関係が把握し易いように画像全体を表示してもよい。
【００２７】
以上、本実施形態に係る画像処理装置で行われる、動画のダイジェスト再生のイメージを説明した。
【００２８】
［ダイジェスト再生に用いるフレームの選択方法（概要）］
次に、動画を構成するフレームから、ダイジェストに用いるフレームを抜き出す方法の概要について説明する。
【００２９】
まず、上述した「変化」に関する指標（変化指標）を考える。そして、この変化指標を、動画を構成するフレームごとに求める。ダイジェストに用いるフレームを選択する基準として、この変化指標が所定の閾値を超えていることを採用する。
【００３０】
こうすることで、ユーザが閾値の設定を変更すると、閾値を超える変化指標を持つフレームの数が増減する。ダイジェストに用いるフレームの数が増減することにより、様々な再生時間のダイジェスト再生を行うことが出来る。
【００３１】
また、画像形成装置を複数種類の「変化」が捉えられるように構成することにより、ユーザが指定した変化、例えば細胞分裂や、遊走、血管新生などに合わせて、ダイジェストを作成することが出来る。
【００３２】
このように、本技術に係る画像処理装置では、ユーザ（研究者）が見たい変化の種類と変化の度合い（閾値）を指定して、その変化がその閾値以上起きている箇所の画像だけをダイジェストとして観察することが出来るので、解析時間の短縮を行うことが出来る。
【００３３】
以上、動画を構成するフレームから、ダイジェストに用いるフレームを抜き出す方法の概要について説明した。
【００３４】
［本技術が対象とする変化の種類（例）］
ここでは、本技術に係る画像処理装置が扱う「変化」の種類について、３つの例を挙げて説明する。なお、本技術では、ここに挙げる種類の変化以外の変化を捉えてダイジェスト再生を行うことも出来る。
【００３５】
（１）細胞分裂など、形態や状態の変化（エッジや輝度の変化）
形態や状態の変化を捉える為には、位相差像や蛍光像を用いることが出来る。位相差像は、ＲＯＩ領域を設定する場合や細胞を追尾（トラッキング）撮影する場合などに、輪郭位置を決めるために用いることが出来る。位相差像を測定して得られるエッジの数やエッジの分散を用いて変化指標を求めることが出来る。
【００３６】
また、蛍光像を用いることにより、継続する変化の始点と終点となるフレームを決定することが出来る。例えば、蛍光の変化が始まったフレームを始点とし、蛍光の輝度値が増減する中で減少が最小となるフレームを終点とすることが出来る。蛍光像を測定して得られる輝度値のヒストグラムを用いて変化指標を求めることが出来る。
【００３７】
なお、１つの生体標本を撮影して得られた、位相差像および蛍光像の両方を組み合わせて用いることも出来る。例えば、位相差像には細胞の輪郭が明確に写るので、位相差像を用いて、細胞が存在する領域をＲＯＩ領域として決定し、その後、蛍光像を用いてそのＲＯＩ領域の変化を捉えることも出来る。
【００３８】
（２）遊走、輸送などの動態（動き）の変化
遊走する細胞の各々をトラッキングし、ＭＥ（Motion Vector Estimation、動きベクトル演算）などの方法により、各々の細胞の動きベクトルを算出する。動きベクトルに基づいて算出した動き量の変化の総量から、変化指標を算出することが出来る。
【００３９】
（３）免疫細胞の活性や血管新生に特徴的な密度の変化
免疫細胞が活性化している領域や血管新生が行われている（腫瘍がある）領域において蛍光像に写っている蛍光体の密度変化から変化指標を算出することが出来る。例えば、ＲＯＩ領域における輝度値の総和の変化から変化指標を算出することが出来る。
【００４０】
以上、本技術に係る画像処理装置が扱う「変化」の種類について、３つの例を挙げて説明した。
【００４１】
［変化指標および変化指標の係数］
ここでは、上述した変化指標の求め方について、その一例を説明する。ここで説明する変化指標の求め方では、まず変化指標を求めるための係数を算出し、算出した係数を用いて変化指標の算出を行う。
【００４２】
最初に、４種類の変化を考慮して計算を行うこととして、変化量を、Ａ、Ｂ、Ｃ、Ｄとする。これらの変化量は、例えば、輝度値の変化、エッジ総数の変化、密度の変化、動きの変化などである。
【００４３】
次に、正規化変化量を求める。正規化変化量は、（変化量）／（総変化量）の式から求められる。変化量Ａ、Ｂ、Ｃ、Ｄの正規化変化量を、それぞれ、ａ、ｂ、ｃ、ｄとする。
【００４４】
次に、正規化変化量の合計ｎを求める。正規化変化量の合計ｎは、各正規化変化量を合計することで得られる。ｎ＝Σ（各正規化変化量）
【００４５】
次に、変化指標を算出するための係数を求める。変化量Ａ、Ｂ、Ｃ、Ｄに対する係数をそれぞれｐ、ｑ、ｒ、ｓとして、ｐ＝ａ／ｎ、ｑ＝ｂ／ｎ、ｒ＝ｃ／ｎ、ｓ＝ｄ／ｎの式により、係数を求めることが出来る。
【００４６】
なお、係数ｐ、ｑ、ｒ、ｓの求め方は、上述した数式により求める方法に限らない。例えば、全て１としてもよいし、予め設定されたデフォルトの値を用いてもよい。
【００４７】
最後に、変化指標を、（係数×変化量）の和として算出する。すなわち、変化指標は、以下の数式で求めることが出来る。
【００４８】
（変化指標）＝ｐＡ＋ｑＢ＋ｒＣ＋ｓＤ
【００４９】
なお、ここでは４種類の変化を考えたが、変化指標を算出するにあたり、より多くの種類の変化を考慮してもよい。その場合は、追加の変化量をＥ、正規化変化量をｅ、係数をｕとして、ｕ＝ｅ／ｎ、（変化指標）＝ｐＡ＋ｑＢ＋ｒＣ＋ｓＤ＋ｕＥのように求めることが出来る。
【００５０】
以上、変化指標の求め方について、その一例を説明した。
【００５１】
［画像処理装置のＧＵＩの例］
次に、本実施形態に係る画像処理装置で用いられるＧＵＩ（Graphical User Interface）の例を説明する。図２および図３は、本実施形態に係る画像処理装置で用いられるＧＵＩの例を示す図である。
【００５２】
図２に示す例では、蛍光画像や明視野画像が表示される画像表示領域の下に、ダイジェスト再生の再生時間をユーザが指定するためのスライドバーと、上述した閾値をユーザが指定するためのスライドバーが設けられている。なお、再生時間と閾値の間には、再生時間を延ばすと閾値が下がったり、閾値を上げると再生時間が短くなったりする関係がある。
【００５３】
この例では、ユーザが、画像表示領域の中央付近に写っている丸い細胞をＲＯＩとして、直接クリックするなどして指定し、再生時間のスライドバーを調整する。すると、指定されたＲＯＩ領域に関して、指定された時間に収まるように閾値が調整され、変化があったフレームのうち、変化指標が閾値を超えるフレームが選択され、ダイジェスト再生が行われる。
【００５４】
図３に示す例では、ユーザが画像表示領域で指定したＲＯＩの数に応じて、対応するスライドバーが表示されている。ここでは、３つのＲＯＩをユーザが指定したので、それぞれのＲＯＩにおいてダイジェスト再生の対象となるフレームを選択するための閾値をユーザが指定できるように、３つのスライドバーが表示されている。
【００５５】
以上、本実施形態に係る画像処理装置で用いられるＧＵＩの例を説明した。
【００５６】
［画像処理装置の構成］
次に、本実施形態に係る画像処理装置を含む顕微鏡システムの構成について概略を説明する。図４は、本実施形態に係る画像処理装置５０を含む顕微鏡システム１の構成図である。
【００５７】
顕微鏡システム１は、レーザ光源ユニット１０、スキャナユニット２０、顕微鏡３０、顕微鏡コントローラ４０、画像処理装置５０を具備している。なお、画像処理装置５０で行われる画像解析などの処理は、ローカルネットワーク上にある画像解析サーバ１００、またはインターネットクラウド上にある画像解析クラウドサーバ２００により行われてもよい。
【００５８】
レーザ光源ユニット１０は、蛍光標識された細胞などの標本から蛍光を発生させるための励起光を生成する。生成された励起光は、スキャナユニット２０に導入される。
【００５９】
レーザ光源ユニット１０は、レーザコントローラ１１を具備しており、レーザコントローラ１１により、励起光の強度や発光間隔などが制御される。
【００６０】
スキャナユニット２０は、スキャナコントローラ２１、ガルバノミラー２２、ダイクロイックミラー２３、および光検出器２４を具備している。
【００６１】
ガルバノミラー２２は、レーザ光源ユニット１０から導入された励起用のレーザ光が顕微鏡３０のステージ３５上に置かれた標本の水平方向（ＸＹ方向）に移動して照射されるように、Ｘ方向およびＹ方向それぞれでレーザ光の向きを変更する。ガルバノミラー２２で方向を整えられたレーザ光は、ダイクロイックミラー２３を透過後、顕微鏡３０に導入される。顕微鏡３０に導入されたレーザ光は、標本に照射され、照射により励起された蛍光が顕微鏡３０からスキャナユニット２０に戻ってくる。
【００６２】
ダイクロイックミラー２３は、顕微鏡３０から戻ってきたレーザ光および蛍光のうち、蛍光のみを光検出器２４に向けて反射させる。
【００６３】
光検出器２４は、一般にＰＭＴ（Photomultiplier Tube、光電子増倍管）が用いられ、レーザ光が照射された標本において励起された蛍光を検出する。なお、共焦点顕微鏡の場合、光路上、光検出器２４の手前にピンホールが設置される。このピンホールが設置される位置は、後述する対物レンズ３２の焦点位置と共役位置にある。
【００６４】
スキャナコントローラ２１は、標本をＸＹ方向に走査するために、ガルバノミラー２２を制御したり、光検出器２４を制御したりする。光検出器２４により検出された信号は、走査されるＸＹ平面上の１点ごとの輝度値として、画像処理装置５０に伝送される。
【００６５】
顕微鏡３０は、フィルタ３１、対物レンズ３２、ステージ３５、ステージ駆動部３４、結像レンズ３６、撮像部３７、および温度センサ３８を具備している。なお、ステージ３５上には、観察が行われる標本が載置される。
【００６６】
フィルタ３１は、スキャナユニット２０から導入されたレーザ光を対物レンズ３２に導く。また、フィルタ３１は、レーザ照射により標本から発生した蛍光をスキャナユニット２０に導いたり、明視野光源（図示せず）から標本に照射され、反射または透過した光を結像レンズ３６に導いたりする。
【００６７】
対物レンズ３２は、フィルタ３１を経由してスキャナユニット２０から導入されたレーザ光を、対物レンズ３２の焦点位置に集光させる。また、対物レンズ３２は、標本から発生した蛍光を、フィルタ３１を介してスキャナユニット２０に導いたり、明視野光源から標本に照射された光を、フィルタ３１を介して結像レンズ３６に導いたりする。
【００６８】
ステージ３５には、標本が載置される、ステージ３５は、ステージ駆動部３４により、対物レンズ３２の光軸と垂直なＸＹ方向に、そして対物レンズ３２の光軸に沿ったＺ方向に、ステージ３５を移動される。
【００６９】
結像レンズ３６は、対物レンズ３２およびフィルタ３１を透過してきた明視野光を撮像部３７の撮像素子（図示せず）上に結像させる。
【００７０】
撮像部３７は、結像レンズ３６により撮像素子上に結像した明視野画像を撮像する。撮像された画像は、画像処理装置５０に送られ、解析される。
【００７１】
顕微鏡コントローラ４０は、画像処理装置５０からの、オートフォーカスや細胞追尾露光などに関する指示に基づき、ステージ駆動部３４に対し、ステージ３５を移動させる。
【００７２】
画像処理装置５０は、制御部５１、記憶部５２、入力部５３、および表示部５４を具備している。画像処理装置５０は、一般的にＰＣ（Personal Computer）により構成される。
【００７３】
制御部５１は、顕微鏡システム１全体の制御を行ったり、光検出器２４で検出された輝度値とその輝度値が検出されたＸＹ平面上の座標値とから蛍光画像を合成したり、合成された蛍光画像を解析して最適なレーザ光強度を算出してレーザ光の強度を制御したりする。また、制御部５１は、上述した通り、顕微鏡コントローラ４０を制御し、顕微鏡３０のオートフォーカス機能や細胞追尾露光などの機能を実現する。
【００７４】
なお、制御部５１は、ＣＰＵ（Central Processing Unit）により、記憶部５２に記憶されたプログラムが実行されることにより実現される。制御部５１の構成の詳細については後述する。
【００７５】
記憶部５２は、ハードディスクドライブや半導体メモリにより構成され、ＣＰＵで実行される上記のプログラム群や、スキャナユニット２０から取得された蛍光画像、そして、ＲＯＩ情報テーブル５２ａ、画像の解析結果５２ｂ、ＲＯＩ番号・変化指標テーブル５２ｃ、および動画（フレーム）５２ｄなどが記憶される。
【００７６】
入力部５３は、マウスやタッチパネルなどのポインティングデバイスやキーボードなどから構成され、ＧＵＩなどを介したユーザからの指示を入力する。
【００７７】
表示部５４は、液晶ディスプレイなどの表示装置と、その表示装置上にＧＵＩや画像などを描画するための表示制御部から構成される。
【００７８】
以上、本実施形態に係る画像処理装置５０を含む顕微鏡システム１の構成について概略を説明した。なお、ここでは画像処理装置５０を顕微鏡システム１の一部として説明したが、この構成に限らず、画像処理装置５０は、顕微鏡システム１とは独立したＰＣなどにより構成されてもよい。
【００７９】
［制御部５１の構成］
ここでは、ＣＰＵによりプログラムが実行されることにより実現される機能ブロックである制御部５１の構成について説明する。図５は、制御部５１の構成図である。なお、ここでは、制御部５１が行う機能のうち、ダイジェスト再生に関係する部分だけを示している。
【００８０】
制御部５１は、ＲＯＩ指定部５１ａ、ＲＯＩ検出部５１ｂ、画像測定部５１ｃ、測定結果解析部５１ｄ、変化量算出部５１ｅ、係数算出部５１ｆ、変化指標算出部５１ｇ、変化指標ヒストグラム作成部５１ｈ、ＲＯＩ・フレーム選択部５１ｉ、視点変換部５１ｊ、およびダイジェスト作成部５１ｋを具備している。
【００８１】
ＲＯＩ指定部５１ａは、表示部５４の表示画面上に、顕微鏡撮影された画像を表示し、ＧＵＩおよび入力部５３を用いてユーザにより指定された画像上の領域をＲＯＩとして受け付ける。
【００８２】
ＲＯＩ検出部５１ｂは、ユーザがＲＯＩ指定部５１ａを用いて所望のＲＯＩを指定しない場合に、代わりにＲＯＩとすべき領域を対象となる画像の中から検出する。
【００８３】
画像測定部５１ｃは、対象となる画像上に設定されたＲＯＩにおいて、輝度値、エッジ、面積、輝度重心などを測定する。測定結果は、測定結果解析部５１ｄにおいて解析される。
【００８４】
測定結果解析部５１ｄは、画像測定部５１ｃによる測定結果を解析する。例えば、画像測定部５１ｃにより測定された輝度値に基づいて、輝度値のヒストグラムを作成したり、輝度値の分散を計算したりする。また、画像測定部５１ｃにより測定されたエッジに基づいて、エッジの総和やエッジの分散を計算したりする。また、画像測定部５１ｃにより測定された面積や輝度重心に基づき、輝度の密度を計算したりする。
【００８５】
変化量算出部５１ｅは、測定結果解析部５１ｄによる解析結果と、記憶部５２に保存しておいた過去の画像の解析結果５２ｂとからフレーム間での変化量または単位時間当りの変化量を算出する。
【００８６】
係数算出部５１ｆは、変化量算出部５１ｅが算出した変化量に基づいて、上述した変化指標の係数を算出する。
【００８７】
変化指標算出部５１ｇは、変化量算出部５１ｅが算出した変化量と係数算出部５１ｆが算出した係数に基づいて、変化指標を算出する。
【００８８】
変化指標ヒストグラム作成部５１ｈは、ダイジェストに含めるフレームを選択するためのヒストグラムを、ダイジェストの元になる動画の各フレームとそのフレームが持つ変化指標の値とから作成する。
【００８９】
ＲＯＩ・フレーム選択部５１ｉは、指定または検出されたＲＯＩにおけるダイジェスト再生を行うためのフレームを、変化指標ヒストグラム作成部５１ｈが作成したヒストグラムに基づいて選択する。
【００９０】
視点変換部５１ｊは、ダイジェスト再生に必須の構成要素ではなく、ユーザが生体標本の撮影に用いた視点、すなわち標本の真上方向からの視点に限らず、ユーザが任意に指定した視点から見た画像を再構成して表示するものである。なお、この機能を実現するためには、撮影を行う各時刻において、複数のＺ方向位置に焦点を移動させてＸＹ平面を撮影した画像（Ｚスタック）があり、３Ｄ画像が構築されていることが前提となる。
【００９１】
ダイジェスト作成部５１ｋは、ＲＯＩ・フレーム選択部５１ｉにより選択されたフレームを時系列順に表示部５４に表示することにより、生体標本を経時観察用に撮影した動画のダイジェスト再生を行う。なお、ダイジェスト作成部５１ｋは、ダイジェストを動画として再生する以外に、変化が発生した画像を静止画のサムネイル画像にして、サムネイル画像を時系列で並べる形式で変化の過程を表してもよい。また、ダイジェスト作成部５１ｋは、変化が発生した画像を抜き出し、論文やレポートに用いる形式での出力を行ってもよい。
【００９２】
以上、制御部５１の構成について説明した。
【００９３】
［画像処理装置が行う処理の概要］
次に、画像処理装置５０が行う処理の流れについて、その概要を説明する。図６は、画像処理装置５０が行う処理の流れについて、その概要を説明するためのフローチャートである。
【００９４】
まず、制御部５１は、処理対象となるフレームにおけるＲＯＩの、ユーザによる指定または検出（ＲＯＩの指定・検出処理）を行う（ステップＳ１０）。
【００９５】
次に、制御部５１は、処理対象となるフレームにおいて、ＲＯＩごとの変化指標の算出処理を行う（ステップＳ２０）。
【００９６】
次に、制御部５１は、全てのＲＯＩについて変化指標の算出を行ったか否かを判断する（ステップＳ３０）。まだ変化指標を算出していないＲＯＩが残っている場合（ステップＳ３０のＮ）は、ステップＳ２０に戻り、変化指標の算出処理を継続する。全てのＲＯＩについて変化指標の算出が終わっている場合（ステップＳ３０のＹ）は、次のステップＳ４０に進む。
【００９７】
次に、制御部５１は、ステップＳ２０において算出された変化指標を用いて、元の動画から表示に用いるフレームを選択することにより、ダイジェストを作成し、作成したダイジェストの表示（ダイジェストの作成と表示の処理）を行う（ステップＳ４０）。
【００９８】
なお、図示はしていないが、制御部５１は、動画を構成する１枚のフレームについてのみ、全てのＲＯＩについて変化指標を求めるのではなく、動画を構成する全てのフレームについて、全てのＲＯＩについて変化指標を求めるものであることは言うまでもない。
【００９９】
以上、画像処理装置５０が行う処理の流れについて、その概要を説明した。なお、別の言い方をすれば、画像処理装置５０の制御部５１は、顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、前記取得した各々の画像の特徴量を解析し、前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、前記指標が予め定められた閾値を超えている画像を選択し、前記選択した画像を時系列で表示部５４に表示するように構成されていると言える。以下では、ここで説明した各処理の詳細な流れについて説明する。
【０１００】
［ＲＯＩの指定・検出処理］
ここでは、制御部５１によるＲＯＩの指定・検出処理の流れについて説明する。図７はＲＯＩの指定・検出処理の流れについて説明するためのフローチャートである。
【０１０１】
まず、制御部５１は、記憶部５２に記憶されているダイジェストを作成する基となる動画５２ｄから１フレーム分の画像を読み込む（ステップＳ１１）。読み込んだ画像は、表示部５４の画像表示領域に表示される。
【０１０２】
次に、ＲＯＩ指定部５１ａが、ユーザからＲＯＩの指定を受け付け、ＲＯＩが指定されたか否かを判断する（ステップＳ１２）。ユーザによりＲＯＩが指定された場合（ステップＳ１２のｙｅｓ）、ステップＳ１７に進む。ユーザによるＲＯＩの指定が無かった場合（ステップＳ１２のｎｏ）、ステップＳ１３に進む。
【０１０３】
ステップＳ１２においてユーザによるＲＯＩの指定が無かった場合、次に、制御部５１は、処理する画像が蛍光画像であるか否かを判断する（ステップＳ１３）。
【０１０４】
画像が蛍光画像である場合（ステップＳ１３のｙｅｓ）、ステップＳ１４に進む。画像が蛍光画像ではない場合（ステップＳ１３のｎｏ）、ステップＳ１５に進む。
【０１０５】
ステップＳ１３において画像が蛍光画像であると判断された場合、次に、ＲＯＩ検出部５１ｂが、画像の中から輝度値の高い部位（蛍光部位）の検出を行い、検出された蛍光部位をＲＯＩとする（ステップＳ１４）。
【０１０６】
ステップＳ１３において画像が蛍光画像ではないと判断された場合またはステップＳ１４の処理後、次に、制御部５１は、処理する画像が明視野画像であるか否かを判断する（ステップＳ１５）。画像が明視野画像である場合（ステップＳ１５のｙｅｓ）、ステップＳ１６に進む。画像が明視野画像ではない場合（ステップＳ１５のｎｏ）、ステップＳ１７に進む。
【０１０７】
ステップＳ１５において画像が明視野画像であると判断された場合、次に、ＲＯＩ検出部５１ｂが、画像の中から輝度の高い部位やエッジの部位を検出し、検出された部位をＲＯＩとする（ステップＳ１６）。
【０１０８】
最後に、制御部５１は、指定または検出されたＲＯＩの情報（ＲＯＩ情報）をＲＯＩ情報テーブル５２ａに保存する（ステップＳ１７）。
【０１０９】
以上、ＲＯＩの指定・検出処理の流れについて説明した。
【０１１０】
［ＲＯＩ情報テーブル］
次に、ＲＯＩ情報テーブル５２ａの例について説明する。図８は、ＲＯＩ情報テーブル５２ａの例を示す図である。
【０１１１】
このテーブルの１行は、指定または検出されたＲＯＩを一意に識別するためのＲＯＩ番号、そのＲＯＩの中心座標、ＲＯＩの大きさ、およびそのＲＯＩが含まれているフレームのフレーム番号により構成されている。
【０１１２】
なお、ここでは、ＲＯＩの大きさを表すのに、幅（Ｗ）と高さ（Ｈ）により表しているが、ＲＯＩの形状は、四角形に限らず、どのような形状であってもよいし、点状であってもよい。
【０１１３】
以上、ＲＯＩ情報テーブル５２ａの例について説明した。
【０１１４】
［ＲＯＩごとの変化指標の算出処理］
次に、制御部５１によるＲＯＩごとの変化指標の算出処理の流れについて説明する。図９はＲＯＩごとの変化指標の算出処理の流れについて説明するためのフローチャートである。
【０１１５】
まず、画像測定部５１ｃが、処理対象である画像上の、処理対象であるＲＯＩの領域内での測定を行う（ステップＳ２１）。測定は、輝度値の測定であったり、エッジの測定であったり、高輝度部位の面積の測定であったり、輝度重心の測定であったりする。
【０１１６】
次に、測定結果解析部５１ｄが、画像測定部５１ｃによる測定結果を解析する（ステップＳ２２）。前ステップにおいて輝度値が測定された場合、測定結果解析部５１ｄは、輝度値のヒストグラムを作成したり、輝度値の分散を計算したりする。前ステップにおいてエッジが測定された場合、測定結果解析部５１ｄは、エッジの総数を計算したり、エッジの分散を計算したりする。前ステップにおいて、面積や輝度重心が測定された場合、測定結果解析部５１ｄは、高輝度部位の密度の計算を行ったりする。
【０１１７】
次に、測定結果解析部５１ｄは前ステップで行った解析の結果を記憶部５２に保存する（ステップＳ２３）。
【０１１８】
次に、変化量算出部５１ｅが、過去（動画における前のフレーム）の解析結果５２ｂを記憶部５２から読み出す（ステップＳ２４）。
【０１１９】
次に、変化量算出部５１ｅは、前ステップで読み出した過去の解析結果５２ｂと、ステップＳ２２において解析した結果とに基づいて、変化量を算出する（ステップＳ２５）。変化量としては、輝度変化、エッジ変化、密度変化、動き変化などの変化量が挙げられる。変化量の算出は、２つの解析結果の差分を求めることにより行われてもよい。
【０１２０】
次に、係数算出部５１ｆが、前ステップにおいて算出された変化量に基づいて、変化指標を求めるための係数を算出する（ステップＳ２６）。算出方法は上述したとおりである。
【０１２１】
次に、変化指標算出部５１ｇが、処理対象であるＲＯＩの変化指標を算出する（ステップＳ２７）。算出方法は上述したとおりである。
【０１２２】
最後に、変化指標算出部５１ｇが、処理対象としたＲＯＩの番号と、算出した変化指標とを記憶部５２内のＲＯＩ番号・変化指標テーブル５２ｃに書き込み、保存する（ステップＳ２８）。
【０１２３】
以上、ＲＯＩごとの変化指標の算出処理の流れについて説明した。
【０１２４】
［ＲＯＩ番号・変化指標テーブル］
次に、ＲＯＩ番号・変化指標テーブル５２ｃの例について説明する。図１０は、ＲＯＩ番号・変化指標テーブル５２ｃの例を示す図である。
【０１２５】
このテーブルの１行は、指定または検出されたＲＯＩを一意に識別するためのＲＯＩ番号およびそのＲＯＩにおける変化指標の値により構成されている。
【０１２６】
なお、ＲＯＩ番号と変化指標の値に加えて、フレーム番号が記録されていてもよい。
【０１２７】
以上、ＲＯＩ番号・変化指標テーブル５２ｃの例について説明した。
【０１２８】
［ダイジェストの作成と表示の処理］
次に、制御部５１によるダイジェストの作成と表示の処理の流れについて説明する。図１１はダイジェストの作成と表示の処理の流れについて説明するためのフローチャートである。
【０１２９】
まず、制御部５１は、再生時間の時間長や、再生時間を左右する閾値、ダイジェスト再生するＲＯＩの指定に関する情報を取得する（ステップＳ４１）。
【０１３０】
次に、制御部５１は、記憶部５２のＲＯＩ番号・変化指標テーブル５２ｃから、ＲＯＩの番号とそのＲＯＩにおける変化指標の情報を読み込む（ステップＳ４２）。
【０１３１】
次に、変化指標ヒストグラム作成部５１ｈが、ステップＳ４１において取得した情報の中に、ユーザによるＲＯＩの指定が含まれるか否かを判断する（ステップＳ４３）。
【０１３２】
ユーザによりダイジェスト再生するＲＯＩが指定されている場合（ステップＳ４３のｙｅｓ）、次に、変化指標ヒストグラム作成部５１ｈは指定されたＲＯＩ領域における変化指標のヒストグラムを作成する（ステップＳ４４）。変化指標のヒストグラムの例については後述する。
【０１３３】
ユーザによりダイジェスト再生するＲＯＩが指定されていない場合（ステップＳ４３のｎｏ）、次に、変化指標ヒストグラム作成部５１ｈはフレーム全体における変化指標のヒストグラムを作成する（ステップＳ４５）。この場合、ヒストグラムは、１つのフレーム中に含まれるＲＯＩの持つ変化指標のうち、最も高い値を用いて作成される（複数のＲＯＩ間においてＯＲ演算が行われる）。
【０１３４】
次に、ＲＯＩ・フレーム選択部５１ｉが、前ステップで作成された変化指標のヒストグラムと、ステップＳ４１において取得された再生時間の長さや閾値とに基づいて、元の動画を構成するフレームから、ダイジェストに使うフレームを選択する（ステップＳ４６）。なお、ユーザによるＲＯＩの指定があった場合は、このステップにおいて、選択したフレームから指定されたＲＯＩの画像のみを抽出する処理も行ってもよい。
【０１３５】
最後に、ダイジェスト作成部５１ｋが、前ステップにおいて選択されたフレームやＲＯＩを用いて、ダイジェスト再生を行う（ステップＳ４７）。
【０１３６】
以上、ダイジェストの作成と表示の処理の流れについて説明した。なお、上記の説明では、変化量に着目し、変化量の大きいフレームをピックアップしてダイジェストを生成したが、この構成に限らず、例えば、ＲＯＩにおける輝度値の高さが閾値を超えたフレーム全てを選択してダイジェストを生成するような構成も考えられる。
【０１３７】
［変化指標のヒストグラム］
次に、変化指標のヒストグラムの例を説明する。図１２は、変化指標のヒストグラムの例である。
【０１３８】
この例に示すグラフでは、横軸に動画を構成する各フレームに対応する時刻を取り、縦軸に変化指標の値を取っている。そして、ＲＯＩごとの各時刻における変化指標の値がプロットされている。また、縦軸には、閾値とする値の位置が示されている。
【０１３９】
この例に示すグラフと閾値を用いる場合、ＲＯＩ１に関しては、時刻ｔ＝１、２、および４における変化指標の値が閾値を超えているので、これらの時刻におけるフレーム計３枚を用いてダイジェスト再生が行われる。
【０１４０】
また、ＲＯＩ２に関しては、時刻ｔ＝１および２における変化指標の値が閾値を超えているので、これらの時刻におけるフレーム計２枚を用いてダイジェスト再生が行われる。
【０１４１】
以上、変化指標のヒストグラムの例を説明した。
【０１４２】
［ＲＯＩの設定方法］
ここでは、ユーザが観察する細胞などが経時的に移動する場合に、画像上にＲＯＩを設定する方法について説明する。ＲＯＩの設定方法として、例えば以下の２つを挙げることが出来る。
【０１４３】
１つめの方法では、まず、ユーザが観察したい細胞などを囲むようにＲＯＩを設定するにあたり、ダイジェストに使用するために選択されたフレームの全てに亘り、細胞の移動する範囲を把握する。そして、移動する範囲を含む大きさで、ＲＯＩの位置と範囲を決める。一度決めたＲＯＩの位置と範囲は全ての選択されたフレームに亘って固定され不変とする。
【０１４４】
２つめの方法では、フレームを構成する画像ごとに、ユーザが観察したい細胞をトラッキングし、トラッキングに用いる枠をＲＯＩとして設定する。ＲＯＩの位置と範囲は、フレームごとに異なることになる。
【０１４５】
画像処理装置５０は、場合により、１つめの方法と２つめの方法を使い分けてもよい。例えば、経時観察により撮影された動画を、全てのフレームに亘る処理を待たずに、すぐ視聴したい場合には、選択された全てのフレームを解析しないで済む２つめの方法が適している。
【０１４６】
また、１つめの方法および２つめの方法の両者を使って２種類のＲＯＩを設定し、１つめの方法により設定されたＲＯＩを用いて細胞などの動きを観察し、２つめの方法により設定されたＲＯＩを用いて細胞などの内部を詳しく観察するということも出来る。
【０１４７】
以上、ユーザが観察する細胞などが経時的に移動する場合に、画像上にＲＯＩを設定する方法について説明した。
【０１４８】
以上、第１の実施形態について説明した。
【０１４９】
＜変形例１（ダイジェストを構成するフレームの自動選択）＞
第１の実施形態に係る画像処理装置５０の構成では、ユーザがダイジェストを構成するフレームを選択するための閾値を指定した。これに対し、本変形例では、ダイジェストを構成するフレームを選択するための閾値を画像処理装置５０ａが自動的に設定し、ユーザからの閾値の入力無しに、ダイジェストの作成を行う。
【０１５０】
なお、閾値を自動的に設定する方法としては、上述した変化量を用いて、その平均値を閾値とする方法がある。また、変化量の微分値をとり、とった微分値の平均を閾値としてもよい。
【０１５１】
以上、ダイジェストを構成するフレームを選択するための閾値を画像処理装置５０ａが自動的に設定し、ユーザからの閾値の入力無しに、ダイジェストの作成を行う変形例について説明した。
【０１５２】
＜変形例２（ダイジェスト作成時における変化指標の算出）＞
第１の実施形態では、ＲＯＩごとの変化指標の算出処理において変化指標を算出してＲＯＩ番号・変化指標テーブル５２ｃに格納し、ダイジェストの作成と表示の処理において、格納したＲＯＩごとの変化指標を読み出してダイジェストの作成を行った。
【０１５３】
これに対し、本変形例では、ＲＯＩごとの変化指標の算出処理では変化指標を算出せず、ＲＯＩ番号および各変化量に関する情報をテーブルに格納する。そして、ダイジェストの作成と表示の処理において、格納したＲＯＩ番号および各変化量に関する情報を読み出して変化指標を算出し、算出した変化指標を用いて、ダイジェストの作成を行う。
【０１５４】
本変形例の構成における処理が、第１の実施形態における処理と異なる部分は、ＲＯＩごとの変化指標の算出処理とダイジェストの作成と表示の処理なので、以下では、これら異なる部分についてのみ説明を行う。
【０１５５】
［ＲＯＩごとの変化指標の算出処理］
制御部５１’によるＲＯＩごとの変化指標の算出処理の流れについて説明する。図１３はＲＯＩごとの変化指標の算出処理の流れについて説明するためのフローチャートである。なお、ステップＳ２１からステップＳ２６までの処理は、第１の実施形態と同じなので説明を省略し、次のステップＳ２８ａから説明を行う。
【０１５６】
次に、変化量算出部５１ｅが、処理対象であるＲＯＩのＲＯＩ番号と、そのＲＯＩにおける各変化量を、記憶部５２のテーブルへ格納する（ステップＳ２８ａ）。
【０１５７】
次に、係数算出部５１ｆが、ステップＳ２６において算出された変化指標を求めるための係数を、ＲＯＩ番号と共に、記憶部５２内のテーブルへ格納する（ステップＳ２８ｂ）。
【０１５８】
以上が、本変形例における、ＲＯＩごとの変化指標の算出処理の流れである。
【０１５９】
［ＲＯＩ番号と各変化量のテーブルの例］
次に、上述した処理対象であるＲＯＩのＲＯＩ番号と、そのＲＯＩにおける各変化量を格納するテーブルの例を説明する。図１４は、処理対象であるＲＯＩのＲＯＩ番号と、そのＲＯＩにおける各変化量を格納するテーブルの例である。
【０１６０】
この例では、テーブルの１行に、ＲＯＩを一意に識別するＲＯＩ番号と、変化の種類ごとに分類した、そのＲＯＩにおける変化量とが格納されている。
【０１６１】
以上、処理対象であるＲＯＩのＲＯＩ番号と、そのＲＯＩにおける各変化量を格納するテーブルの例を説明した。
【０１６２】
［ダイジェストの作成と表示の処理］
次に、制御部５１’によるダイジェストの作成と表示の処理の流れについて説明する。図１５はダイジェストの作成と表示の処理の流れについて説明するためのフローチャートである。
【０１６３】
まず、制御部５１’は、再生時間の時間長や、再生時間を左右する閾値、ダイジェスト再生するＲＯＩの指定に関する情報を取得する（ステップＳ４１）。
【０１６４】
次に、制御部５１’は、記憶部５２のＲＯＩ番号と変化量のテーブルから、ＲＯＩの番号とそのＲＯＩにおける変化量の情報を読み込む（ステップＳ４２ａ）。
【０１６５】
次に、制御部５１’は、記憶部５２のＲＯＩ番号と変化指標の係数のテーブルから、ＲＯＩの番号とそのＲＯＩにおける変化指標を求めるための係数を読み込む（ステップＳ４２ｂ）。
【０１６６】
次に、変化指標算出部５１ｇが、処理対象であるＲＯＩの変化指標を算出する（ステップＳ２７）。算出方法は上述したとおりである。
【０１６７】
次のステップＳ４３からステップＳ４７までの処理は、第１の実施形態のものと同じなので説明を省略する。
【０１６８】
以上、本変形例における、ダイジェストの作成と表示の処理の流れについて説明した。
【０１６９】
以上、ダイジェスト作成時において変化指標を算出する変形例について説明した。
【０１７０】
［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【０１７１】
［本技術の別の構成］
なお、本技術は以下のような構成もとることができる。
（１）
顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、
前記取得した各々の画像の特徴量を解析し、
前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、
前記指標が予め定められた閾値を超えている画像を選択し、
前記選択した画像を時系列で表示部に表示する
ように構成された制御部
を具備する画像処理装置。
（２）
前記（１）に記載の画像処理装置であって、
前記制御部は、
前記取得した画像内にＲＯＩ領域を設定し、
前記設定されたＲＯＩ領域の前記特徴量を解析し、
前記指標を、前記ＲＯＩ領域ごとに算出する
画像処理装置。
（３）
前記（２）に記載の画像処理装置であって、
前記制御部は、
少なくとも１つの前記ＲＯＩ領域に対して、算出された前記指標が前記閾値を超えている画像を選択する
画像処理装置。
（４）
前記（２）に記載の画像処理装置であって、
前記制御部は、
入力部を介してユーザから前記ＲＯＩ領域の指定を受け付け、
前記指定されたＲＯＩ領域の前記指標が前記閾値を超えている画像を選択する
画像処理装置。
（５）
前記（２）から（４）のに記載の画像処理装置であって、
前記制御部は、
前記各々の画像のうち、前記ＲＯＩ領域の部分を拡大して表示する
画像処理装置。
（６）
前記（１）から（５）のに記載の画像処理装置であって、
前記制御部は、
前記閾値を、入力部を介して受け付けた入力により設定する
画像処理装置。
（７）
前記（１）から（５）のに記載の画像処理装置であって、
前記制御部は、
前記閾値を、前記特徴量の前記変化の量に基づいて設定する
画像処理装置。
（８）
前記（１）から（７）のに記載の画像処理装置であって、
前記制御部は、
前記複数の画像を動画として再生する場合に、
前記入力部を介して受け付けた再生時間に応じた前記画像が選択されるように、前記閾値を調整する
画像処理装置。
（９）
前記（１）から（８）のに記載の画像処理装置であって、
前記特徴量は、輝度、エッジ、動きベクトル、および密度のうち少なくとも１つである
画像処理装置。
（１０）
前記制御部は、
前記指標を、前記特徴量の変化量と、当該変化量を正規化した正規化変化量と、正規化変化量の合計とを用いて、以下の式で算出する
画像処理装置。
（指標）＝Σ（（前記特徴量の変化量）×（前記特徴量の正規化変化量）／（正規化変化量の合計））
（１１）
制御部が、
顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、
前記取得した各々の画像の特徴量を解析し、
前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、
前記指標が予め定められた閾値を超えている画像を選択し、
前記選択した画像を時系列で表示部に表示する
画像処理方法。
【符号の説明】
【０１７２】
１  …  顕微鏡システム
１０  …  レーザ光源ユニット
１１  …  レーザコントローラ
２０  …  スキャナユニット
２１  …  スキャナコントローラ
２２  …  ガルバノミラー
２３  …  ダイクロイックミラー
２４  …  光検出器
３０  …  顕微鏡
３１  …  フィルタ
３２  …  対物レンズ
３３  …  標本
３４  …  ステージ駆動部
３５  …  ステージ
３６  …  結像レンズ
３７  …  撮像部
４０  …  顕微鏡コントローラ
５０  …  画像処理装置
５１  …  制御部
５２  …  記憶部
５２ａ…  ＲＯＩ情報テーブル
５２ｂ…  画像の解析結果
５２ｃ…  ＲＯＩ番号・変化指標テーブル
５２ｄ…  動画（フレーム）
５３  …  入力部
５４  …  表示部
【図１】
2015103217.tif 000003
【図２】
2015103217.tif 000004
【図３】
2015103217.tif 000005
【図４】
2015103217.tif 000006
【図５】
2015103217.tif 000007
【図６】
2015103217.tif 000008
【図７】
2015103217.tif 000009
【図８】
2015103217.tif 000010
【図９】
2015103217.tif 000011
【図１０】
2015103217.tif 000012
【図１１】
2015103217.tif 000013
【図１２】
2015103217.tif 000014
【図１３】
2015103217.tif 000015
【図１４】
2015103217.tif 000016
【図１５】
2015103217.tif 000017