(57)【要約】【課題】分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供すること。【解決手段】本技術に係る画像処理装置は、動き解析部と、軸方向設定部と、情報抽出部とを具備する。動き解析部は、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する。軸方向設定部は、分析対象動画像において、軸方向を設定する。情報抽出部は、動きベクトルと軸方向に基づいて、分析対象動画像における分析対象物の軸方向に対する動きの情報を抽出する。【選択図】図１
2019053791.tif 000002
【特許請求の範囲】
【請求項１】
分析対象物を経時的に撮像した分析対象動画像において分析範囲を指定する範囲指定部と、
前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出する動き解析部と、
前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出する情報抽出部と、
前記分析範囲の区画毎に抽出された動き量を出力する結果出力部
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記分析対象動画像において、前記軸方向を設定する軸方向設定部
をさらに具備する画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
異なる時刻に抽出された前記軸方向に対する動きの情報の時間変化を出力する結果出力部
をさらに具備する画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記軸方向設定部は、前記動きベクトルに基づいて前記軸方向を設定する
画像処理装置。
【請求項５】
請求項２に記載の画像処理装置であって、
前記軸方向設定部は、前記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて前記軸方向を設定する
画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、
前記情報抽出部は、前記軸方向に対する前記動きベクトルの角度を抽出する
画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記情報抽出部は、前記動きベクトルを前記軸方向に投影し、前記軸方向に対する動き量を抽出する
画像処理装置。
【請求項８】
請求項１に記載の画像処理装置であって、
前記範囲指定部は、前記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて前記分析範囲を設定する
画像処理装置。
【請求項９】
請求項１に記載の画像処理装置であって、
前記範囲指定部は、前記分析範囲について算出された動きベクトルの方向に前記分析範囲を移動させる
画像処理装置。
【請求項１０】
請求項１に記載の画像処理装置であって、
前記結果出力部は、前記分析対象動画像に前記分析範囲について算出された動きベクトルを重畳させた画像を生成する
画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置であって、
前記結果出力部は、前記分析対象動画像に対する画像処理結果に応じて、前記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する
画像処理装置。
【請求項１２】
請求項１に記載の画像処理装置であって、
前記結果出力部は、前記分析対象動画像に、前記分析対象動画像の所定フレームにおいて前記区画毎に算出された動きベクトルから選択した動きベクトルと、前記分析対象動画像の前記所定フレームより前のフレームにおいて前記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成する
画像処理装置。
【請求項１３】
請求項１に記載の画像処理装置であって、
前記分析対象物は、心筋細胞又は神経細胞である
画像処理装置。
【請求項１４】
分析対象物を経時的に撮像した分析対象動画像において、分析範囲を指定する範囲指定部と、
前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出する動き解析部と、
前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出する情報抽出部と、
前記分析範囲の区画毎に抽出された動き量を出力する結果出力部
として画像処理装置を機能させる画像処理プログラム。
【請求項１５】
範囲指定部が、分析対象物を経時的に撮像した分析対象動画像において、分析範囲を指定し、
動き解析部が、前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出し、
情報抽出部が、前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出し、
結果出力部が、前記分析範囲の区画毎に抽出された動き量を出力する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、分析対象物を経時的に撮像した動画像に対して画像解析を行う画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
創薬や再生医療に向けて細胞の機能評価が課題となっており、種々の分析手法が検討されている。分析手法の一つに、分析対象の細胞を経時的に撮像した動画像を解析することによって細胞の情報を得る画像解析がある。
【０００３】
例えば、特許文献１には、蛍光染色と画像処理を用いて神経細胞の突起伸張を解析する方法が開示されている。また、特許文献２には、画像解析により、神経細胞による神経回路網の評価を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０９５１７２号公報
【特許文献２】特開２００７−２３３２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、細胞の中には、画像において検出可能な動きを有するものがある。例えば、心筋細胞は収縮や弛緩を行い、神経細胞は軸索輸送や突起伸張等を行う。このような動きを画像解析によって検出することができれば、細胞の機能評価にとって有効である。
【０００６】
しかしながら、細胞の機能評価を行う上では、単に動きを抽出すればよいわけでない。
細胞の動きには、細胞自体の動き（伸縮等）もあれば、周囲の流体の流れ等よって動く場合もあるからである。また、細胞の動きであってもその方向が重要な場合がある。例えば心筋細胞であれば、心筋の伸縮方向に沿った動きが重要であり、機能評価のためにはその方向に沿った動きを抽出する必要がある。また、神経細胞であれば、細胞体の振動、軸索輸送あるいは突起伸張等の各種の動きがあり、それぞれ動きの方向や質が異なっている。
【０００７】
以上のような事情に鑑み、本技術の目的は、分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本技術の一形態に係る画像処理装置は、動き解析部と、軸方向設定部と、情報抽出部とを具備する。
上記動き解析部は、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する。
上記軸方向設定部は、上記分析対象動画像において、軸方向を設定する。
上記情報抽出部は、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する。
【０００９】
この構成によれば、動きベクトルから軸方向に対する動きの情報が抽出されるため、動きの量だけではなく動きの方向も含めた情報を提示することができ、ユーザは分析対象物の動きを、動きの方向も含めて評価することが可能となる。軸方向は、ユーザが任意で設定してもよく、画像処理装置が設定してもよい。
【００１０】
上記軸方向設定部は、上記動きベクトルに基づいて上記軸方向を設定してもよい。
【００１１】
この構成によれば、分析対象物の動きに応じて軸方向が設定され、軸方向に対する分析対象物の動きの情報が抽出される。軸方向設定部は例えば、最も大きい動きベクトルの方向と同一方向を軸方向に設定することができる。
【００１２】
上記軸方向設定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記軸方向を設定してもよい。
【００１３】
この構成によれば、分析対象物に対する画像処理結果に応じて軸方向が設定され、軸方向に対する分析対象物の動きの情報が抽出される。軸方向設定部は例えば、分析対象動画像において分析対象物を検出し、その延伸方向を軸方向に設定することができる。
【００１４】
上記情報抽出部は、上記軸方向に対する上記動きベクトルの角度を抽出してもよい。
【００１５】
この構成によれば、ユーザが軸方向に対する分析対象物の動きの方向を評価することが可能となる。
【００１６】
上記情報抽出部は、上記動きベクトルを上記軸方向に投影し、上記軸方向に対する動き量を抽出してもよい。
【００１７】
この構成によれば、動きベクトルの動き量が、軸方向に対する動き量に変換され、ユーザが軸方向に対する動き量を評価することが可能となる。
【００１８】
上記情報抽出部は、上記軸方向から所定角度内の上記動きベクトルから動き量を抽出してもよい。
【００１９】
この構成によれば、軸方向から所定角度内の動きベクトルの動き量が抽出されるため、ユーザが軸方向及び軸方向に近い方向に対する動き量を評価することが可能となる。
【００２０】
上記画像処理装置は、上記分析対象動画像において分析範囲を指定する範囲指定部をさらに具備し、
上記動き解析部は、上記分析範囲の区画毎に動きベクトルを算出し、
上記情報抽出部は、上記区画毎に算出された動きベクトルに基づいて上記分析範囲についての動きベクトルを算出し、上記分析範囲について算出された動きベクトルと上記軸方向に基づいて、上記情報を抽出してもよい。
【００２１】
この構成によれば、分析範囲について動きベクトルが算出され、軸方向に他する動きの情報が抽出される。このため、ユーザは分析対象動画像において分析を所望する範囲を分析範囲に指定することにより、分析範囲についての情報を得ることができる。分析範囲の動きベクトルは、区画毎に算出された動きベクトルを加算した動きベクトル、あるいは区画毎に算出された動きベクトルのうち最大の動きベクトル等とすることができる。
【００２２】
上記範囲指定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記分析範囲を設定してもよい。
【００２３】
この構成によれば範囲指定部によって、分析範囲が指定される。範囲指定部は、分析対象動画像に画像処理を施して、分析対象動画像に含まれる分析対象物を検出し、分析対象物が含まれる範囲を分析範囲に指定することができる。
【００２４】
上記範囲指定部は、上記分析範囲について算出された動きベクトルに基づいて上記分析範囲を移動させてもよい。
【００２５】
この構成によれば、分析範囲に含まれる分析対象物の動きに応じて分析範囲を分析対象物の動きに追随させることが可能となる。
【００２６】
上記画像処理装置は、上記分析対象動画像に上記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部をさらに具備してもよい。
【００２７】
この構成によれば、ユーザは、分析範囲について算出された動きベクトルを参照し、分析範囲に含まれる分析対象物の動きを評価することが可能となる。
【００２８】
上記画像処理装置は、上記分析対象動画像に対する画像処理結果に応じて、上記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部をさらに具備してもよい。
【００２９】
この構成によれば、ユーザは、区画毎に算出された動きベクトルのうち、画像処理結果に応じて選択された動きベクトルを参照することが可能となる。結果出力部は、分析対象動画像における分析対象物の形状等に応じて動きベクトルを選択することができる。
【００３０】
上記画像処理装置は、上記分析対象動画像に、上記分析対象動画像の所定フレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルと、上記分析対象動画像の上記所定フレームより前のフレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成してもよい。
【００３１】
この構成によれば、ユーザは、フレーム間で選択された動きベクトルを比較することが可能となる。結果出力部は例えば、各フレームで最も大きい動きベクトルを選択することができる。
【００３２】
上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
として画像処理装置を機能させる。
【００３３】
上記目的を達成するため、本技術の一形態に係る画像処理方法は、
動き解析部が、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出し、
軸方向設定部が、上記分析対象動画像において、軸方向を設定し、
情報抽出部が、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する。
【発明の効果】
【００３４】
以上のように、本技術によれば、分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することが可能である。
【図面の簡単な説明】
【００３５】
【図１】本技術の実施形態に係る画像処理装置の機能的構成を示す模式図である。
【図２】同画像処理装置の動画像取得部が取得する分析対象動画像の例である。
【図３】分析対象動画像における動きの例を示す模式図である。
【図４】同画像処理装置の範囲指定部部が指定する分析範囲の模式図である。
【図５】同画像処理装置の動き解析部が設定する分析範囲の模式図である。
【図６】同画像処理装置の動き解析部による動きベクトルの算出を示す模式図である。
【図７】同画像処理装置の動き解析部によって算出された動きベクトルの模式図である。
【図８】同画像処理装置の軸方向設定部によって設定される軸方向の模式図である
【図９】同画像処理装置の軸方向設定部によって設定される軸方向の模式図である
【図１０】同画像処理装置の情報抽出部による、分析範囲についての動きベクトルの算出を示す模式図である。
【図１１】同画像処理装置の情報抽出部によって算出された分析範囲についての動きベクトルと軸方向を示す模式図である。
【図１２】分析範囲について算出された動きベクトルと軸方向の関係を示す模式図である。
【図１３】同画像処理装置の情報抽出部による動きベクトルの投影のための変換式である。
【図１４】同画像処理装置の情報抽出部によって抽出された軸方向と動きベクトルのなす角の時間変化を示すグラフである。
【図１５】同画像処理装置の情報抽出部によって抽出された軸方向に対する動き量の時間変化を示すグラフである。
【図１６】同画像処理装置の情報抽出部によって抽出された軸方向から所定角度内の動きベクトルの動き量の時間変化を示すグラフである。
【図１７】同画像処理装置の結果出力部によって生成される軸方向に対する動き量の時間変化を示す画像である。
【図１８】図１７に示す画像が生成されるとなった元分析対象動画像である。
【図１９】同画像処理装置の結果出力部によって生成される動きベクトルの時間変化を示すグラフである。
【図２０】同画像処理装置の結果出力部によって生成される分析対象動画像に動きベクトルを重畳した画像の例である。
【図２１】同画像処理装置の結果出力部によって生成される分析対象動画像に動きベクトルを重畳した画像の例である。
【図２２】同画像処理装置の結果出力部によって生成される分析対象動画像に動きベクトルを重畳した画像の例である。
【図２３】同画像処理装置の範囲指定部による分析範囲の移動を示す模式図である。
【図２４】同画像処理装置の動作を示すフローチャートである。
【図２５】同画像処理装置の別の動作を示すフローチャートである。
【図２６】同画像処理装置の機能的構成を実現するためのハードウェア構成を示す模式図である。
【発明を実施するための形態】
【００３６】
本技術の実施形態に係る画像処理装置について説明する。
【００３７】
[画像処理装置の機能的構成]
図１は、本実施形態に係る画像処理装置１０の機能的構成を示す模式図である。同図に示すように、画像処理装置１０は、動画像取得部１１、範囲指定部１２、動き解析部１３、軸方向設定部１４、情報抽出部１５及び結果出力部１６を有する。
【００３８】
動画像取得部１１は、「分析対象動画像」を取得する。分析対象動画像は、分析対象物を経時的に撮像した動画像であり、分析対象動画像は連続的に撮像された複数のフレームから構成される動画や、タイムラプス撮影により撮影された静止画を含む。分析対象物は、細胞や細胞群、あるいは生体組織等であり、動きを有するものであれば本実施形態を適用することができる。分析対象動画像の撮像速度は分析対象に応じて適宜決定することが可能である。
【００３９】
分析対象動画像は、明視野撮像、暗視野撮像、位相差撮像、蛍光撮像、共焦点撮像、多光子励起蛍光撮像、吸収光撮像、乱光撮像等の各種の光学的な撮像方法を利用して撮像された動画像であるものとすることができる。
【００４０】
図２は、分析対象動画像の例であり、神経細胞を含む動画像である。図３は、神経細胞の動きの例を示す模式図である。神経細胞は、図３のＡに示すような細胞体の振動、Ｂに示すような軸索輸送（軸索における細胞内小器官の輸送）、Ｃに示す軸索の伸張等といった種々の動きを含んでいる。この他にも神経細胞と同様に種々の動きを含む細胞がある。また、細胞自体が動いている場合もあれば、細胞外の環境（周囲の水流等）によって動いている場合もある。本実施形態では、これらの動きの判別が可能である。
【００４１】
動画像取得部１１は、図示しない撮像装置（顕微鏡撮像装置）から分析対象動画像を取得してもよく、ストレージに格納されている動画像やネットワークから供給された動画像を分析対象動画像として取得するものとすることも可能である。この際、動画像取得部１１は、予め撮像された動画像から、分析対象の種類に応じて所定の周期でサンプリングし、分析対象動画像を取得してもよい。
【００４２】
範囲指定部１２は、分析対象動画像において分析範囲を指定する。図４は、分析範囲の例を示す模式図である。同図に示すように、範囲指定部１２は、分析対象動画像において分析範囲Ｒを指定する。分析範囲Ｒは、例えば一つの細胞や細胞群を含む範囲とすることができる。また、分析範囲Ｒは、分析対象動画像の全範囲であってもよい。
【００４３】
範囲指定部１２は、ユーザによる操作入力によって指示された範囲を分析範囲Ｒとして指定してもよく、分析対象動画像に対する画像処理によって分析対象物を検出し、その存在する範囲を分析範囲Ｒに指定してもよい。
【００４４】
動き解析部１３は、分析範囲Ｒから動きベクトルを算出する。動き解析部１３は、分析範囲Ｒ内に複数の算出区画を設定する。図５は、算出区画の例を示す模式図である。同図に示すように動き解析部１３は、分析範囲Ｒを複数の算出区画Ｄに区画する。
【００４５】
算出区画Ｄの数や大きさは任意であり、動き解析部１３はユーザによる指定や分析範囲Ｒの大きさに応じて算出区画Ｄを設定するものとすることができる。なお、動き解析部１３は、分析範囲Ｒの全体を一つの算出区画Ｄとしてもよい。
【００４６】
続いて動き解析部１３は、各算出区画Ｄの動きベクトルを算出する。動き解析部１３は、ブロックマッチングにより各算出区画Ｄの動きベクトルを算出するものとすることができる。図６は、動きベクトルの算出の態様を示す模式図である。
【００４７】
同図に示すように動き解析部１３は、分析対象動画像を構成する一つのフレームにおける、特定の算出区画Ｄ（図中算出区画Ｄ１）に含まれる画素群を前のフレームにおける画素群の範囲と比較し、最も一致する画素群の範囲を特定する（図中画素範囲Ｄ２）。なお前のフレームは１フレーム前のフレームであってもよく、複数フレーム前のフレームであってもよい。
【００４８】
動き解析部１３は、前のフレームにおいて特定した画素範囲Ｄ２から現フレームにおける算出区画Ｄ１へのベクトルを、算出区画Ｄ１の動きベクトル（以下、算出区画ベクトルＢ）として算出するものとすることができる。動き解析部１３は、分析範囲Ｒに含まれる各算出区画Ｄについて、同様に算出区画ベクトルを算出する。
【００４９】
図７は、各算出区画Ｄにおいて算出された算出区画ベクトルＢの例を示す模式図であり、矢印の方向は算出区画ベクトルＢの方向を、矢印の長さは算出区画ベクトルＢの大きさを表す（点は動きベクトル０を表す）。この各算出区画ベクトルＢは、分析対象動画像のフレーム毎に算出され、したがって分析対象動画像の時刻毎に変動する。なお、動き解析部１３は、ブロックマッチング以外の手法によって算出区画ベクトルＢを算出してもよい。
【００５０】
軸方向設定部１４は、分析範囲Ｒについて軸方向を設定する。図８及び図９は、分析範囲Ｒについて設定された軸方向Ｓを示す模式図である。軸方向設定部１４は、ユーザによって指定された方向を軸方向とすることができる。ユーザは、分析対象動画像において、動きを抽出したい方向を軸方向として設定することができる。
【００５１】
例えば、図８では、神経細胞の軸索に沿って軸方向Ｓが設定されている。また、軸方向設定部１４は、複数の軸方向を設定してもよい。図９は、細胞体の中心から放射状に設定された軸方向Ｓを示す。
【００５２】
また、軸方向設定部１４は、分析対象動画像に対する画像処理によって軸方向を設定してもよい。例えば、軸方向設定部１４は、分析対象動画像に含まれる分析対象物を検出してその長辺方向を軸方向に設定し、あるいは分析対象物の中心から放射状に軸方向を設定してもよい。また、軸方向設定部１４は、後述する分析範囲について算出された分析範囲の動きベクトルの方向を軸方向に設定してもよい。
【００５３】
情報抽出部１５は、算出区画ベクトル及び軸方向に基づいて、分析対象動画像における分析対象物の軸方向に対する動きの情報（以下、動き情報）を抽出する。情報抽出部１５は、動き解析部１３から供給された各算出区画Ｄの算出区画ベクトルＢから、分析範囲Ｒについての動きベクトル（以下、分析範囲ベクトル）を算出することができる。
【００５４】
図１０は、分析範囲ベクトルの算出の態様を示す模式図である。同図に示すように、情報抽出部１５は、分析範囲Ｒに含まれる各算出区画Ｄの算出区画ベクトルＢを加算し、分析範囲ベクトルＣを算出するものとすることができる。
【００５５】
また、情報抽出部１５は、算出区画ベクトルＢのうち、最も動き量（長さ）が大きいものを分析範囲ベクトルとしてもよい。図１１は、分析範囲Ｒについて算出された分析範囲ベクトルＣと軸方向Ｓを示す模式図である。上記のように各算出区画ベクトルＢは分析対象動画像の時刻毎に変動するため、分析範囲ベクトルＣも時刻毎に変動する。
【００５６】
情報抽出部１５は、分析範囲ベクトルＣと軸方向Ｓに基づいて、動き情報を抽出する。図１２は、分析範囲ベクトルＣと軸方向Ｓの関係を示す模式図である。情報抽出部１５は、分析範囲ベクトルＣを軸方向Ｓに投影することができる。
【００５７】
図１２に、投影された分析範囲ベクトル（以下、投影ベクトル）Ｃ'を示す。同図に示すように、情報抽出部１５は、分析範囲ベクトルＣの座標系（Ｘ，Ｙ）を、軸方向Ｓの座標系（ｘ'、Ｙ'）座標系に変換することができる。図１３は、座標系の変換式の例を示す。図１２に示すように、軸方向Ｓと分析範囲ベクトルＣがなす角を角度θとする。
【００５８】
情報抽出部１５は、軸方向Ｓに対する分析範囲ベクトルＣの角度を動き情報として抽出することができる。図１４は、軸方向Ｓに対する分析範囲ベクトルＣの角度の時間変化の例を示すグラフである。同図に示すように、角度θは、分析対象動画像の撮像時刻（フレーム）に伴って変動する。
【００５９】
角度θの値（絶対値）が大きい場合、分析範囲Ｒに含まれる分析対象物の動きが、軸方向Ｓと一致していないことを示し、角度θの値が小さい場合、分析範囲Ｒに含まれる分析対象物の動きが、軸方向Ｓと一致していることを示す。即ち、この動き情報から、分析対象物の動きの方向が軸方向Ｓに対して一致しているか否かを把握することが可能となる。
【００６０】
また、情報抽出部１５は、分析範囲ベクトルＣの軸方向Ｓに対する動き量を動き情報として抽出することができる。情報抽出部１５は、上記投影ベクトルＣ'の動き量（（ｘ',ｙ'）で表される投影ベクトルＣ'の長さ）を分析範囲ベクトルＣの軸方向Ｓに対する動き量とすることができる。図１５は、分析範囲ベクトルＣの、軸方向Ｓに対する動き量（motion)の時間変化の例を示すグラフである。
【００６１】
同図に示すように、軸方向Ｓに対する動き量は、分析対象動画像の撮像時刻（フレーム）に伴って変動する。上記のように軸方向Ｓに対する動き量は、軸方向Ｓに投影された投影ベクトルＣ'の動き量である。このため、分析範囲ベクトルＣの動き量が大きくても、その動き方向が軸方向Ｓと乖離していれば、軸方向Ｓに対する動き量は小さくなる。即ち、この動き情報から、分析対象物の軸方向に対する動きの程度を把握することが可能となる。
【００６２】
また、情報抽出部１５は、軸方向Ｓから所定角度内を動き方向とする動き量を動き情報として抽出することができる。情報抽出部１５は、軸方向Ｓとなす角の角度θが所定角度内の分析範囲ベクトルＣの動き量（（ｘ,ｙ）で表される分析範囲ベクトルＣの長さ）を抽出することができる。所定角度（例えば±３０°）は任意であり、予め定められていてもよく、ユーザが設定してもよい。
【００６３】
ユーザは、抽出したい動き方向の角度範囲が小さければ狭い角度とし、抽出したい動き方向の角度範囲が大きければ広い角度とすることができる。図１６は、軸方向Ｓから所定角度内の分析範囲ベクトルＣの動き量（motion)の時間変化の例を示すグラフである。所定角度から外れた、即ち、軸方向Ｓとは方向が乖離した分析範囲ベクトルＣの動き量は抽出されないため、ユーザは所望の動き方向についての動き量を把握することが可能となる。
【００６４】
なお、上記説明では、情報抽出部１５は、分析範囲Ｒについて算出された分析範囲ベクトルＣについて動き情報を抽出するものとしたが、各算出区画Ｄについて算出された算出区画ベクトルＢ（図７参照）について同様に動き情報を抽出するものとしてもよい。即ち、図１４乃至図１６に示すような動き情報が、各算出区画Ｄ毎に抽出されてもよい。
【００６５】
結果出力部１６は、情報抽出部１５から供給された動き情報を出力し、ユーザに提示する。結果出力部１６は例えば、図１４乃至図１６に示したように、動き情報のグラフを含む画像を生成し、ディスプレイに表示させるものとすることができる。
【００６６】
また、結果出力部１６は、動き情報を分析対象動画像においてマッピングし、動き情報提示画像を生成してもよい。図１７は、動き情報提示画像の例であり、図１７（ａ）は時刻１における動き情報提示画像、図１７（ｂ）は時刻２における動き情報提示画像である。
【００６７】
図１８は、図１７（ａ）及び（ｂ）に示す動き情報提示画像の元となった分析対象動画像であり、心筋細胞の画像である。上記のように軸方向設定部によって、分析対象動画像の一方向に軸方向Ｓが設定されている。
【００６８】
図１７（ａ）及び（ｂ）に示すように、結果出力部１６は、算出区画Ｄ毎に算出区画ベクトルＢの軸方向Ｓに対する動き量を濃淡又は色分け等で表すことができる。図１７（ａ）及び（ｂ）において、白色の区画は軸方向Ｓに対する動き量が大きい算出区画Ｄを示し、黒色の区画は軸方向Ｓに対する動き量が小さい算出区画Ｄを示す。
【００６９】
図１７（ａ）に示す時刻１の動き情報提示画像は心筋細胞の収縮時のものであり、図１７（ｂ）に示す時刻２の動き情報提示画像は心筋細胞の弛緩時のものである。図１７（ａ）と図１７（ｂ）を比較すると、白色の区画と黒色の区画の分布が異なっている。これは、軸方向に対する動き量が大きい区画が時刻によって異なっていることを示し、この画像から心筋細胞の動きの方向が把握できることがわかる。
【００７０】
また、結果出力部１６は、分析範囲ベクトルＣをユーザに提示してもよい。図１９は、分析範囲ベクトルＣの提示例を示す模式図である。結果出力部１６は、同図に示すように、分析範囲Ｒについて分析対象動画像の異なる時刻に算出された分析範囲ベクトルＣを一つのグラフで提示してもよい。
【００７１】
また、結果出力部１６は、分析範囲Ｒについて分析対象動画像の異なる時刻に算出された分析範囲ベクトルＣの先端を結ぶ線Ｄを提示してもよい。線Ｄの形状は分析範囲ベクトルＣの時間変換の傾向を示す。例えば図１９における線Ｄは、左下方向に多く伸張しているが、これは分析範囲Ｒにおいて同方向への動きが大きいことを示す。
【００７２】
分析範囲Ｒにおける分析対象動画像の動きが等方的であれば、線Ｄは円形に近い形状となる。即ち、ユーザは、線Ｄの形状を参照することによって、分析範囲Ｒにおける動きの方向を直感的に把握することが可能となる。また、結果出力部１６は、算出区画Ｄ毎に算出された算出区画ベクトルＢを、分析範囲ベクトルＣと同様に提示してもよい。
【００７３】
また、結果出力部１６は、分析範囲ベクトルＣを分析対象動画像に重畳させた画像を生成し、ユーザに提示してもよい。図２０は、分析範囲ベクトルＣを分析対象動画像に重畳させた画像の例である。
【００７４】
同図に示すように、結果出力部１６は、分析範囲ベクトルＣと共に算出区画ベクトルＢを提示してもよく、算出区画ベクトルＢのうち動き量が大きいもののみを提示してもよい。また、結果出力部１６は、算出区画ベクトルＢのうち、分析範囲ベクトルＣと動き方向が同一又は所定角度内のもののみを提示してもよい。
【００７５】
また、結果出力部１６は、所定の算出区画Ｄの算出区画ベクトルＢを分析対象動画像に重畳させ、画像を生成してもよい。図２１は、算出区画ベクトルＢを分析対象動画像に重畳させた画像の例である。同図に示す例では、神経細胞の軸索の先端に相当する算出区画Ｄの算出区画ベクトルＢが分析対象動画像に重畳されている。
【００７６】
算出区画ベクトルＢを提示する算出区画Ｄは、ユーザによって指定されたものであってもよく、分析対象動画像に対する画像処理によって決定されたものであってもよい。例えば分析対象動画像に対する画像処理によって伸張する物体が検出されると、結果出力部１６はその先端に位置する算出区画Ｄの算出区画ベクトルＢを提示するものとすることができる。
【００７７】
さらに、結果出力部１６は、分析対象動画像における異なるフレームの算出区画ベクトルＢを分析対象動画像に重畳させ、画像を生成してもよい。図２２は、異なるフレームの算出区画ベクトルＢを分析対象動画像に重畳させた画像の例である。
【００７８】
結果出力部１６は、あるフレームにおける最も大きい算出区画ベクトルＢ２と、その前のフレームにおける最も大きい算出区画ベクトルＢ１とを分析対象動画像に重畳させることができる。結果出力部１６は、より多数の異なるフレームの算出区画ベクトルＢを提示してもよい。これによりユーザは、分析対象動画像における動きの遷移を把握することができる。
【００７９】
また、結果出力部１６は、算出区画ベクトルＢ又は分析範囲ベクトルＣを積分することで動きの距離、微分することで動きの加速度を算出し、提示することも可能である。
【００８０】
画像処理装置１０は以上のような機能的構成を有する。上記のように画像処理装置１０においては、分析対象動画像における動きが動きの方向に応じて提示される。このため、分析対象物の動きをその量だけでなく、動きの方向によって評価することが可能となる。
【００８１】
なお、範囲指定部１２は、分析対象動画像において、分析範囲Ｒを指定するとしたが、分析対象動画像の時刻経過に伴って分析範囲Ｒを移動させてもよい。図２３は、分析範囲Ｒの移動を示す模式図である。分析範囲Ｒ１は、分析対象動画像における所定の時間に設定された分析範囲であり、分析範囲Ｒ２はその後の所定の時間に設定された分析範囲である。
【００８２】
同図に示すように範囲指定部１２は、分析範囲Ｒ１を分析範囲ベクトルＣの方向に移動させ、分析範囲Ｒ２を新たな分析範囲とすることができる。分析範囲の移動量は、予め定められた所定量としてもよく、分析範囲ベクトルＣの大きさに応じて調整してもよい。
【００８３】
動き解析部１３は、新たに設定された分析範囲Ｒ２について上記のように動き解析を実施し、算出区画ベクトルを算出するものとすることができる。情報抽出部１５は、その算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて、動き情報を抽出するものとすることができる。
【００８４】
これにより、分析範囲Ｒが所定時刻毎に分析範囲ベクトルの方向に移動するため、分析対象物の動きに追随して動きを評価することが可能となる。例えば、神経細胞の軸索輸送（図３参照）において、輸送物に合わせて分析範囲Ｒを移動させ、その輸送を評価することができる。
【００８５】
[画像処理装置の動作]
画像処理装置１０の動作について説明する。図２４は、画像処理装置１０の動作を示すフローチャートである。
【００８６】
同図に示すように、動画像取得部１１が分析対象動画像を取得し（Ｓｔ１０１）、範囲指定部１２が分析範囲を指定する（Ｓｔ１０２）。続いて、動き解析部１３が分析範囲において算出区画ベクトルを算出し（Ｓｔ１０３）、情報抽出部１５が分析範囲ベクトルを算出する（Ｓｔ１０４）。
【００８７】
続いて軸方向設定部１４が分析範囲において軸方向を設定（Ｓｔ１０５）する。この際軸方向設定部１４は、分析範囲ベクトルに基づいて軸方向を設定してもよい。続いて情報抽出部１５が算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて動き情報を抽出し（Ｓｔ１０６）、結果出力部１６が動き情報を提示する（Ｓｔ１０７）。
【００８８】
なお、結果出力部１６は、算出区画ベクトル又は分析範囲ベクトルを分析対象動画像に重畳させた画像を生成してもよい。また、範囲指定部１２は分析対象動画像の時刻の経過に伴い、分析範囲ベクトルに応じて分析範囲を移動させてもよい。
【００８９】
また、画像処理装置１０は次のように動作をしてもよい。図２５は、画像処理装置１０の別の動作を示すフローチャートである。
【００９０】
同図に示すように、動画像取得部１１が分析対象動画像を取得し（Ｓｔ１１１）、範囲指定部１２が分析範囲を指定する（Ｓｔ１１２）。続いて、軸方向設定部１４が分析範囲において軸方向を設定（Ｓｔ１１３）する。軸方向設定部１４は、ユーザによる指定又は分析対象動画像に対する画像処理により軸方向を設定することができる。
【００９１】
続いて、動き解析部１３が分析範囲において算出区画ベクトルを算出し（Ｓｔ１１４）、情報抽出部１５が分析範囲ベクトルを算出する（Ｓｔ１１５）。続いて情報抽出部１５が算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて動き情報を抽出し（Ｓｔ１１６）、結果出力部１６が動き情報を提示する（Ｓｔ１１７）。
【００９２】
なお、結果出力部１６は、算出区画ベクトル又は分析範囲ベクトルを分析対象動画像に重畳させた画像を生成してもよい。また、範囲指定部１２は分析対象動画像の時刻の経過に伴い、分析範囲ベクトルに応じて分析範囲を移動させてもよい。
【００９３】
[画像処理装置のハードウェア構成]
上記のような画像処理装置１０の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。
【００９４】
図２６は、画像処理装置１０のハードウェア構成を示す模式図である。同図に示すように画像処理装置１０はハードウェア構成として、ＣＰＵ１０１、ＧＰＵ１０２、メモリ１０３、ストレージ１０４及び入出力部（Ｉ／Ｏ）１０５を有する。これらはバス１０６によって互いに接続されている。
【００９５】
ＣＰＵ（Central Processing Unit）１０１は、メモリ１０３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１０３に格納する。ＣＰＵ１０１はマイクロプロセッサであるものとすることができる。
【００９６】
ＧＰＵ（Graphic Processing Unit）」１０２は、ＣＰＵ１０１による制御を受けて、画像処理を実行する。ＣＰＵ１０１はＧＰＵ１０２に並列演算処理を実行させ、動きベクトルの算出や動き情報の抽出を高速に行うことが可能である。ＧＰＵ１０２はマイクロプロセッサであるものとすることができる。
【００９７】
メモリ１０３はＣＰＵ１０１によって実行されるプログラム及びデータを格納する。メモリ１０３はＲＡＭ（Random Access Memory）であるものとすることができる。
【００９８】
ストレージ１０４は、プログラムやデータを格納する。ストレージ１０４はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。
【００９９】
入出力部１０５は画像処理装置１０に対する入力を受け付け、また画像処理装置１０の出力を外部に供給する。入出力部１０５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェイスを含む。
【０１００】
画像処理装置１０のハードウェア構成はここに示すものに限られず、画像処理装置１０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
【０１０１】
なお、本技術は以下のような構成も採ることができる。
【０１０２】
（１）
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
を具備する画像処理装置。
【０１０３】
（２）
上記（１）に記載の画像処理装置であって、
上記軸方向設定部は、上記動きベクトルに基づいて上記軸方向を設定する
画像処理装置。
【０１０４】
（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記軸方向設定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記軸方向を設定する
画像処理装置。
【０１０５】
（４）
上記（１）から（３）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記軸方向に対する上記動きベクトルの角度を抽出する
画像処理装置。
【０１０６】
（５）
上記（１）から（４）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記動きベクトルを上記軸方向に投影し、上記軸方向に対する動き量を抽出する
画像処理装置。
【０１０７】
（６）
上記（１）から（５）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記軸方向から所定角度内の上記動きベクトルから動き量を抽出する
画像処理装置。
【０１０８】
（７）
上記（１）から（６）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像において分析範囲を指定する範囲指定部をさらに具備し、
上記動き解析部は、上記分析範囲の区画毎に動きベクトルを算出し、
上記情報抽出部は、上記区画毎に算出された動きベクトルに基づいて上記分析範囲についての動きベクトルを算出し、上記分析範囲についての動きベクトルと上記軸方向に基づいて、上記情報を抽出する
画像処理装置。
【０１０９】
（８）
上記（１）から（７）のいずれか一つに記載の画像処理装置であって、
上記範囲指定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記分析範囲を設定する
画像処理装置。
【０１１０】
（９）
上記（１）から（８）のいずれか一つに記載の画像処理装置であって、
上記範囲指定部は、上記分析範囲について算出された動きベクトルに基づいて上記分析範囲を移動させる
画像処理装置。
【０１１１】
（１０）
上記（１）から（９）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に上記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
【０１１２】
（１１）
上記（１）から（１０）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に対する画像処理結果に応じて、上記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
【０１１３】
（１２）
上記（１）から（１１）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に、上記分析対象動画像の所定フレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルと、上記分析対象動画像の上記所定フレームより前のフレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
【０１１４】
（１３）
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
として画像処理装置を機能させる画像処理プログラム。
【０１１５】
（１４）
動き解析部が、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出し、
軸方向設定部が、上記分析対象動画像において、軸方向を設定し、
情報抽出部が、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する
画像処理方法。
【符号の説明】
【０１１６】
１０…画像処理装置
１１…動画像取得部
１２…範囲指定部
１３…動き解析部
１４…軸方向設定部
１５…情報抽出部
１６…結果出力部
【図１】
2019053791.tif 000003
【図２】
2019053791.tif 000004
【図３】
2019053791.tif 000005
【図４】
2019053791.tif 000006
【図５】
2019053791.tif 000007
【図６】
2019053791.tif 000008
【図７】
2019053791.tif 000009
【図８】
2019053791.tif 000010
【図９】
2019053791.tif 000011
【図１０】
2019053791.tif 000012
【図１１】
2019053791.tif 000013
【図１２】
2019053791.tif 000014
【図１３】
2019053791.tif 000015
【図１４】
2019053791.tif 000016
【図１５】
2019053791.tif 000017
【図１６】
2019053791.tif 000018
【図１７】
2019053791.tif 000019
【図１８】
2019053791.tif 000020
【図１９】
2019053791.tif 000021
【図２０】
2019053791.tif 000022
【図２１】
2019053791.tif 000023
【図２２】
2019053791.tif 000024
【図２３】
2019053791.tif 000025
【図２４】
2019053791.tif 000026
【図２５】
2019053791.tif 000027
【図２６】
2019053791.tif 000028