(57)【要約】【課題】ホログラムを用いて観察対象物を観察する場合に、画像の再構成による処理負荷を最小限に抑える。【解決手段】本開示に係る画像処理装置は、観察対象物のホログラムから前記観察対象物の動きを検出する動き検出部と、前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、抽出した前記ホログラムの一部から画像を再構成する再構成部と、を備える。この構成により、ホログラムを用いて観察対象物を観察する場合に、画像の再構成による処理負荷を最小限に抑えることができる。【選択図】図１
2017146696.tif 000002
【特許請求の範囲】
【請求項１】
観察対象物のホログラムから前記観察対象物の動きを検出する動き検出部と、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、
抽出した前記ホログラムの一部から画像を再構成する再構成部と、
を備える、画像処理装置。
【請求項２】
前記ホログラムは異なる時間に取得された複数のフレームから構成され、
前記ホログラム処理部は、前記検出結果に基づいて、前記複数のフレームから一部を抽出する、請求項１に記載の画像処理装置。
【請求項３】
前記ホログラム処理部は、前記複数のフレームから、前記観察対象物の変位量が異なる２つのフレームを抽出する、請求項２に記載の画像処理装置。
【請求項４】
前記ホログラム処理部は、前記変位量が最大のフレームと最少のフレームを抽出する、請求項３に記載の画像処理装置。
【請求項５】
前記変位量が最大のフレーム内の第１の画像ブロックと、前記第１の画像ブロックと位置が対応する第２の画像ブロックであって、前記変位量が最少のフレーム内の前記第２の画像ブロックとが一致するか否かを判定するブロックマッチング部と、
前記判定の結果、前記第１の画像ブロックと前記第２の画像ブロックとが一致していない場合、前記第１及び前記第２の画像ブロックに対応する領域を前記観察対象物の動き領域として特定する動き領域特定部と、
前記観察対象物が存在する領域に対する、前記動き領域の比率を算出する比率算出部と、
を備える、請求項４に記載の画像処理装置。
【請求項６】
前記第１又は前記第２の画像ブロック内の輝度差に基づいて前記観察対象物が存在する前記領域を特定する存在領域特定部を備える、請求項５に記載の画像処理装置。
【請求項７】
ユーザによる操作情報に基づいて前記観察対象物が存在する前記領域を特定する存在領域特定部を備える、請求項５に記載の画像処理装置。
【請求項８】
前記ホログラム処理部は、前記検出結果に基づいて、前記ホログラムの平面領域の一部を抽出する、請求項１に記載の画像処理装置。
【請求項９】
前記ホログラムから、所定の形状に合致する前記観察対象物をカウントするカウント部を備え、
前記ホログラム処理部は、前記ホログラムの平面領域から、前記所定の形状に合致する前記観察対象物であって、動きが生じていない前記観察対象物のホログラムを抽出し、
前記再構成部は、動きが生じていない前記観察対象物のホログラムから画像を再構成し、
前記カウント部は、再構成により得られた画像から得られる不要物の数をカウント数から除外する、請求項８に記載の画像処理装置。
【請求項１０】
前記ホログラム処理部は、前記ホログラムの平面領域から、前記観察対象物に動きが生じている領域を抽出する、請求項８に記載の画像処理装置。
【請求項１１】
前記観察対象物は生体に由来する物である、請求項１に記載の画像処理装置。
【請求項１２】
観察対象物のホログラムから前記観察対象物の動きを検出することと、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出することと、
抽出した前記ホログラムの一部から画像を再構成することと、
を備える、画像処理方法。
【請求項１３】
観察対象物に部分コヒーレンス光を出射する光源と、
前記部分コヒーレンス光が前記観察対象物で分離されて得られる透過光及び回折光の干渉によるホログラムを検出する画像センサーと、
前記ホログラムから前記観察対象物の動きを検出する動き検出部と、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、
抽出した前記ホログラムの一部から画像を再構成する再構成部と、
を備える、画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及び画像処理システムに関する。
【背景技術】
【０００２】
医療および生命科学の分野において、多くの種類の生物学的試料の動きを観察し、これらの形態の変化ついて評価することが行われている。形態の変化は、生物学的試料の生命活動または生命状態等を反映する動きのことであり、生物学的試料の状態等の評価に密接に関連している。
【０００３】
細胞を観察する手法として一般的な位相差顕微鏡を用いる方法では、照明用のケーラー照明と観察用の拡大光学系が必要であり、システムが巨大になるとともに、高コストとなる。特に並列的に対象を観察するシステムにおいては、観察光学系自体がシンプルで、並列化しやすい質量、サイズであることが望まれる。しかしながら、観察光学系を用いたシステムでは、広範囲を観察しようとすると、光学系の数を増やす必要があり、コストが増大する問題がある。
【０００４】
一方、透明体を可視化する手法として、インラインホログラム像を用いる方法が知られている。しかしながら、インラインホログラム像から直接、対象物体の動きパラメータを算出すると、動いている対象の面積を正しく計算できないという問題がある。例えば、拍動している心筋細胞と拍動していないその他の細胞の数の比を算出したい場合、動いている部分の面積が正しく測定できないと正しい結果が得られないことになる。この点に関し、下記の非特許文献１には、ＬＦＩ技術によりインラインホログラム像を画像に再構成する方法が記載されている。このような再構成を行うことなく、ホログラムから対象物の面積を正しく計算することはできない。
【０００５】
一方で、再構成していないホログラムを用いて対象物体の動きを検出することはできる。例えば、下記の特許文献１には、画像の動きを検出する方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５７７２８１７号公報
【非特許文献】
【０００７】
【非特許文献１】Onur Mudanyali, Derek Tseng, Chulwoo Oh, Serhan O. Isikman, Ikbal Sencan, Waheb Bishara, CetinOztoprak,SungkyuSeo, Bahar Khademhosseini,Aydogan Ozcan  著、「Compact, light-weight and cost-effective microscope based onlensless incoherent holography for telemedicine applications」、www.rsc.org/loc
【発明の概要】
【発明が解決しようとする課題】
【０００８】
インラインホログラム像を用いることにより、広範囲の細胞を観測する場合であっても、拡大光学系と比較してシステムの規模を縮小することができる。しかしながら、インラインホログラム像から正しい面積値を算出するため、すべてのフレームの再構成画像を生成することとすると、計算処理の負荷が高くなり、計算に多大な時間を要する問題がある。
【０００９】
そこで、ホログラムを用いて観察対象物を観察する場合に、画像の再構成による処理負荷を最小限に抑えることが求められていた。
【課題を解決するための手段】
【００１０】
本開示によれば、観察対象物のホログラムから前記観察対象物の動きを検出する動き検出部と、前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、抽出した前記ホログラムの一部から画像を再構成する再構成部と、を備える画像処理装置が提供される。
【００１１】
また、本開示によれば、観察対象物のホログラムから前記観察対象物の動きを検出することと、前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出することと、抽出した前記ホログラムの一部から画像を再構成することと、を備える、画像処理方法が提供される。
【００１２】
また、本開示によれば、観察対象物に部分コヒーレンス光を出射する光源と、前記部分コヒーレンス光が前記観察対象物で分離されて得られる透過光及び回折光の干渉によるホログラムを検出する画像センサーと、前記ホログラムから前記観察対象物の動きを検出する動き検出部と、前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、抽出した前記ホログラムの一部から画像を再構成する再構成部と、を備える、画像処理システムが提供される。
【発明の効果】
【００１３】
以上説明したように本開示によれば、ホログラムを用いて観察対象物を観察する場合に、画像の再構成による処理負荷を最小限に抑えることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の実施形態に係るシステムを示す模式図である。
【図２】図１のシステムから得られるホログラムを示す模式図である。
【図３】干渉縞に暗部（黒丸）と明部（白丸）ができる様子を説明するための模式図である。
【図４Ａ】微少ビーズを顕微鏡で観察した画像を示す図である。
【図４Ｂ】微小ビーズをホログラムで観察した画像を示す図である。
【図５Ａ】観察対象物が左右に振動する場合を示す模式図である。
【図５Ｂ】ＸＹ平面上のホログラムを見た状態を示す模式図である。
【図６】図１のシステムにより培養心筋細胞を撮影して得られたホログラムを示す模式図である。
【図７】図６のホログラムに対してブロックマッチングから得られる、動き解析結果（拍動波形）を示す模式図である。
【図８】拍動面積比を検出する全体的な処理を示すフローチャートである。
【図９】図７を詳細に示す図であって、拍動波形の最大変位と最少変位を示す特性図である。
【図１０】変位最大画像と変位最少画像から、拍動を伴う細胞と伴わない細胞の比率を算出する処理を示すフローチャートである。
【図１１】再構成した画像を、１つのブロックがＮ×Ｎピクセルからなる複数のブロックに分割した状態を示す模式図である。
【図１２】最少変位画像と最大変位画像から動きのある細胞面積を計算する処理を示すフローチャートである。
【図１３】最小変位画像と最大変位画像のぞれぞれを、Ｎ×Ｎピクセルからなる複数のブロックに分割し、選択したブロック間でブロックマッチングを行う様子を示す模式図である。
【図１４】第２の実施形態の処理を示すフローチャートである。
【図１５】ステップＳ７２でカウントされた同心円状のホログラムを示す模式図である。
【図１６】ステップＳ７６で静止しているホログラムのみを抽出した状態を示す模式図である。
【図１７】精子などの個別にランダムに動く細胞において、動いている細胞のみを抽出して計算負荷を低下させる例を示すフローチャートである。
【図１８】同心円状のホログラムの画像を示す模式図である。
【図１９】動きのあるホログラムのみの領域を抽出した結果を示す模式図である。
【図２０】第１の実施形態に係る処理結果の表示例を示す図である。
【図２１】第２の実施形態に係る処理結果の表示例を示す図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．システムの構成例
１．２．拍動面積比を検出する処理
２．第２の実施形態
２．１．ランダムな動きの細胞を観測する例
３．処理結果の適用例
【００１７】
１．第１の実施形態
１．１．システムの構成例
まず、図１を参照して、本開示の各実施形態に係る画像処理システム１０００の概略構成について説明する。図１は、本開示の各実施形態に係る画像処理システム１０００を示す模式図であって、一般的なレンズフリーイメージング（ＬＦＩ）のシステム構成を示している。図１に示す構成において、部分コヒーレンス光を出射する光源１００を出射した光は、サンプルステージ１０２上の観察対象物１０４に入射する。なお、光源１００は、部分コヒーレンス光を出射するため、レーザダイオード（ＬＤ）、またはＬＥＤとピンホールの組み合わせ等から構成される。なお、本実施形態において、観察対象物１０４は、一例として生体に由来する物であり、細胞、組織、精子、受精卵、ゼブラフィッシュなどの小生物を含む。
【００１８】
観察対象物１０４に入射した光は、透過光１０６と回折光１０８に分離される。透過光１０６は、回折光１０８と画像センサー１１０上で干渉し、センサー１１０によりホログラム像の出力１１２が得られる。透過光１０６は、ホログラム生成のための参照光とも称することができる。画像処理システム１０００は、光源１００やセンサー１１０を制御する制御部２００と、得られたデータを処理する演算部（画像処理装置）３００と、ユーザによる操作情報が入力される操作入力部３５０を更に備える。
【００１９】
演算部３００は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成される。演算部３００は、ホログラム処理部３０２、再構成部３０８、動き領域特定部３１２、存在領域特定部３１４、表示制御部３１６を有して構成される。ホログラム処理部３０２は、制御部２００を介してセンサー１１０から観察対象物１０４のホログラム４００を取得するホログラム取得部３０２ａ、ホログラム４００から観察対象物１０４の動きを検出する動き検出部３０２ｂ、観察対象物１０４の動きの検出結果に基づいてホログラム４００の一部を抽出するホログラム抽出部３０２ｃを含む。再構成部３０８は、抽出したホログラム４００から画像を再構成する。動き領域特定部３１２は、ブロックマッチング部３１２ａ、比率算出部３１２ｂ、トラッキング部３１２ｃを含む。存在領域特定部３１４は、カウント部を含む。
【００２０】
図２は、センサー１１０から得られるホログラム４００を示す模式図である。観察対象物１０４で回折した回折光１０８と、観察対象物１０４を透過した透過光１０６（参照光）が干渉して、センサー１１０上にホログラム４００が生じる。ホログラム４００の干渉縞は、図２中にセンサー１１０上に黒丸（暗部）、白丸（明部）を示したように、同心状に明暗を繰り返したものとなる。このとき、対象物のサイズをＬ１とすると、センサー１１０上で観察されるホログラム４００のサイズＬ２は光源１００の波長と、観察対象物１０４とセンサー１１０との距離によって変動し、Ｌ２＞Ｌ１となる。
【００２１】
図３は、干渉縞に暗部（黒丸）と明部（白丸）ができる様子を説明するための模式図である。回折光１０４と参照光１０６のうち、波面が揃って強めあうと明部（白丸）が生じ、波面がλ/2ずれて弱め合うと暗部（黒丸）が生じる。図２及び図３に示す回折光１０４と参照光１０６において、実線と破線はそれぞれ光波の振幅が最大の波面と最少の波面を表している。この干渉縞はより正確には、Fresnel-Kirchhoffの回折公式やRayleigh-Sommerfeldの回折公式から計算可能である。
【００２２】
図４Ａ及び図４Ｂは、顕微鏡による画像とホログラム４００を比較して示す図である。図４Ａは、微少ビーズを顕微鏡で観察した画像を示しており、図４Ｂは、同じく微小ビーズをホログラム４００で観察した画像（波長６３５ｎｍ）を示している。微小ビーズのサイズは３．７μｍであるが、ホログラム４００で観察した微小ビーズのサイズは１５０μｍ以上となっている。
【００２３】
図５Ａは、観察対象物１０４が左右に振動する場合を示している。この場合、得られる同心円状のホログラム４００は、観察対象物１０４と同様に左右に振動する。ここで、ホログラム４００の移動量は、観察対象物１０４の実際の移動量と変わらない。このホログラム４００において、ブロックマッチングやオプティカルフローなどの動きベクトル解析を行った場合、観察対象物１０４の移動量は正しく測定できるが、動いている物体の面積を正しく測定することはできない。
【００２４】
図５Ｂは、ＸＹ平面上のホログラム４００を見た状態を示しており、センサー１１０からの出力を表している。ホログラム処理部３０２の動き検出部３０２ｂは、ホログラム４００から観察対象物１０４の動きをベクトル解析により検出する。特許文献１に記載されているように、ベクトル解析においては、ホログラム４００の画像を複数のブロック４５０に分割し、ブロック４５０の単位で画像のマッチングを行い、動きベクトル４６０を計算する。動きのあったブロック４６０の数を用いて、動きのあった観察対象物１０４の面積を測定することは可能であるが、観察対象物１０４のホログラム４００は実際の観察対象物１０４よりも大きく撮影されるため、実際の観察対象物１０４の面積よりも大きく計算されてしまう。
【００２５】
動きのあった観察対象物１０４の正しい面積を測定するには、ホログラム４００から元の画像へ観察対象物１０４を再構成して、再構成画像から面積を算出する。このため、再構成部３０８がホログラム４００から画像を再構成する処理を行う。ホログラム４００から画像への再構成は、レンズフリーイメージング（ＬＦＩ）により行うことができ、例えば上述した非特許文献１に記載されている手法を用いる。例えば、観察視野内に存在している観察対象物１０４のうち、収縮⇔弛緩などの周期的な動きを伴うものの割合を算出したい場合、変位０の画像と変位最大の再構成画像が得られれば、パターンマッチングによる動きのある部位の面積を正しく計算することができる。このため、ホログラム処理部３０２のホログラム抽出部３０２ｃは、変位０のホログラム４００と変位最大のホログラム４００を抽出し、抽出したホログラム４００のみ再構成部３０８が再構成を行う。変位０の画像と変位最大の画像のみを再構成すれば良いため、全てのフレームを再構成する場合よりも圧倒的に計算時間を削減することができる。
【００２６】
周期的な動きを含む観察対象物１０４として、培養心筋細胞の場合を例に挙げて、拍動面積比を検出する手法について具体的に説明する。図６は、図１の画像処理システム１０００により培養心筋細胞を撮影して得られたホログラム４００を示す模式図であって、再構成していないものを示している。図７は、このホログラム４００に対してブロックマッチングから得られる、動き解析結果（拍動波形）を示す模式図であって、横軸が時間、縦軸が速度を表している。
【００２７】
図７に示す動き解析は、現時刻のフレーム画像データと１つ先の時刻のフレーム画像データについて、ブロック毎に動きベクトルを算出することによって取得でき、例えば特許第５７７２８１７号公報に記載された方法で取得できる。ここで、図７に示す速度の値は、得られた動きベクトルの平均を示している。図７に示すように、速度の波形には周期的な２セットのピークが観察され、１つめの山が収縮、２つめの山が弛緩を表している。収縮と弛緩の谷に相当する部分が、拍動の最大の変位点を示している。
【００２８】
１．２．拍動面積比を検出する処理
図８は、拍動面積比を検出する全体的な処理を示すフローチャートである。また、図９は、図７を詳細に示す図であって、拍動波形の最大変位４７０と最少変位４８０の位置を示す特性図である。先ず、ステップＳ１０では、ホログラム４００の動画を取得する。次のステップＳ１１では、細胞に由来するホログラム４００の面積を、コントラストのしきい値に基づいて決定する。つまり、ステップＳ１１では、細胞が存在する領域を特定する。なお、細胞が存在する領域を特定せずに、画面全体から拍動波形を算出しても良い。次のステップＳ１２では、ホログラム４００の動画から動きベクトルを検出する。この際、ステップＳ１１で求めた細胞に由来する領域のみで動きベクトルを検出することで、処理負荷を軽減できる。なお、ステップＳ１１の処理では、後述する図１０の処理と同様に、輝度差が所定値以上のブロック数に基づいて、細胞が存在する領域を特定しても良い。
【００２９】
次のステップＳ１４では、動きベクトルの画像から細胞の拍動波形を算出する。次のステップＳ１６では、拍動波形から最大変位４７０、最少変位４８０のフレームを決定する。図９に示すように、最小変位４８０から細胞が拡大し、最大変位４７０で細胞が最も大きくなる。その後、細胞が収縮し、次の最小変位４７０で細胞が最も小さくなる。次のステップＳ１８では、最大変位４７０、最少変位４８０のフレームを、ＬＦＩ技術を使って再構成する。これにより、最大変位４７０のフレームから変位最大画像が得られ、最小変位４８０のフレームから最少変位画像が得られる。次のステップ２０では、最大変位画像と最少変位画像から拍動を伴う細胞の比率（面積比率）を算出し、出力する。
【００３０】
なお、上述の処理では最大変位４７０、最少変位４８０の２枚のフレームを再構成したが、最大変位４７０または最小変位４８０のフレームは周期的に現れるため、複数フレームの平均から再構成しても良い。
【００３１】
次に、変位最大画像と変位最少画像から、拍動を伴う細胞と伴わない細胞の比率を算出する処理を説明する。図１０は、細胞の存在しない平坦なエリアを計算から除外するため、最少変位または最大変位の画像細胞から細胞が存在する面積を算出する処理を示すフローチャートである。この処理では、再構成した画像のブロック内に所定の閾値以上の輝度差が存在するブロック数をカウントして面積Ａを算出する。この面積の算出は、存在領域特定部３１４によって行われる。なお、面積Ａの算出は、最大変位画像と最少変位画像のいずれか一方、または最大変位画像と最少変位画像の双方から算出できる。最大変位画像と最少変位画像の双方から面積Ａを算出した場合は、算出精度をより高めることができる。なお、操作入力部３５０に入力されたユーザによる操作情報に基づいて、細胞が存在する領域を特定しても良い。ユーザは、表示制御部３１６により表示部に表示された画面に基づいて、画面内の領域を指定することで、細胞が存在する領域を指定することができる。
【００３２】
先ず、ステップＳ３０では、再構成した画像から、Ｎ×Ｎピクセル（ｐｉｘｅｌ）のブロック４５０を順次抽出することで、再構成した画像をＮ×Ｎピクセル（ｐｉｘｅｌ）のブロック４５０に分割する。図１１は、再構成した画像全体を、１つのブロックがＮ×Ｎピクセルからなる複数のブロックに分割した状態を示している。
【００３３】
次のステップＳ３２では、（ｉ，ｊ）番目のブロックを選択する。次のステップＳ３４では、ステップＳ３２で選択したブロック内に、所定のしきい値以上の輝度差があるか否かを判定する。図１１では、Ｎ×Ｎピクセルのブロックのうちの１つを抜き出した状態を示しており、抜き出したブロックの各ピクセルの輝度を濃度で表している。例えば、輝度値を８ビットで表すと、２５５段階で各ピクセルの輝度を表現できる。ブロック内の最大輝度差を求め、ステップＳ３４では、最大輝度差が所定のしきい値以上であるか否かを判定する。
【００３４】
ステップＳ３４において、ブロック内に所定のしきい値以上の輝度差がある場合は、ステップＳ３６へ進む。ブロック内に所定のしきい値以上の輝度差がある場合は、そのブロックが細胞の位置に対応していることが判る。一方、ブロック内所定のしきい値以上の輝度差が無い場合、例えばブロック内が白色または黒色など輝度が一様の場合は、そのブロックが細胞に対応しない領域であることが判る。従って、しきい値以上の輝度差があるブロックの数の合計から、細胞が存在する面積Ａを求めることができる。
【００３５】
ステップＳ３６では、（ｉ，ｊ）番目のブロックを細胞のあるエリアとしてカウントする。このカウントは、存在領域特定部３１４のカウント部にて行われる。ステップＳ３６の後は、ステップＳ３８へ進む。また、ステップＳ３４において、ブロック内の輝度差が所定のしきい値未満の場合は、ステップＳ３８へ進む。
【００３６】
ステップＳ３８では、全てのブロックを評価済か否かを判定し、全てのブロックを評価済の場合はステップＳ４０へ進む。ステップＳ４０では、カウントされた最終的なブロック数を全細胞の面積Ａとする。一方、ステップＳ３８で全てのブロックを評価済でない場合は、ステップＳ３２へ戻り、次のブロックを選択する。
【００３７】
以上のように図１０の処理では、ブロック内に所定のしきい値以上の輝度差がある場合は細胞が存在するブロックと判定し、その総数を求めることで、ブロック数から細胞が存在するエリアの面積Ａを求めることができる。
【００３８】
なお、図１０の処理では、輝度差が所定値以上のブロック数から、細胞が存在するエリアの面積Ａを算出したが、細胞が存在するエリアと存在しないエリアのエッジを検出し、閉じたエッジ内の面積を細胞が存在するエリアの面積Ａとしても良い。
【００３９】
図１２は、最少変位画像と最大変位画像から動きのある細胞面積を計算する処理を示すフローチャートである。最少変位画像と最大変位画像のそれぞれの画像において、同様の処理が行われる。先ず、ステップＳ５０では、図１０のステップＳ３０と同様に、最少変位画像と最大変位画像のそれぞれからＮ×Ｎピクセルのブロックを抽出することで、それぞれの画像をＮ×Ｎピクセルのブロックに分割する。
【００４０】
次のステップＳ５２では、それぞれの画像において、（ｉ，ｊ）番目のブロックを選択する。次のステップＳ５４では、ステップＳ５２で選択したブロックが、図１０のフローチャートで算出した面積Ａの領域に含まれるか否かを判定し、面積Ａの領域に含まれる場合はステップＳ５６へ進む。
【００４１】
ステップＳ５６では、最小変位画像と最大変位画像の選択したブロック間でマッチングを行う。このブロックマッチングは、動き領域特定部３１２のブロックマッチング部３１２ａにより行われる。図１３は、最小変位画像と最大変位画像のそれぞれを、Ｎ×Ｎピクセルからなる複数のブロックに分割し、位置が対応するブロック間でブロックマッチングを行う様子を示している。ブロックマッチングは、両ブロックの一致のレベルを示すパラメータに基づいて評価され、パラメータが所定のしきい値以上の場合は、両ブロックが一致すると判定する。図１３では、上述した図１０の処理を最小変位画像に基づいて行い、最小変位画像中で面積Ａを算出した場合を示している。
【００４２】
ステップＳ５６において、両ブロックが一致する場合は、ステップＳ５８へ進む。一方、ステップＳ５６で両ブロックが一致しない場合は、ステップＳ６０へ進み、（ｉ，ｊ）番目のブロックを動いている細胞のあるエリアとしてカウントし、ステップＳ５８へ進む。また、次のステップＳ５４において、ステップＳ５２で選択したブロックが、面積Ａの領域に含まれない場合は、ステップＳ５８へ進む。
【００４３】
このように、ステップＳ５６で両ブロックが一致しない場合は、動いている細胞のあるエリアとしてカウントし、カウント数に応じて動いている細胞のあるエリアの面積（動き領域）が抽出される。この処理は、動き領域特定部３１２によって行われる。
【００４４】
ステップＳ５８では、全てのブロックを評価済であるか否かを判定し、全てのブロックを評価済の場合はステップＳ６２へ進む。ステップＳ６２では、ステップＳ６０でカウントされた最終的なブロックの総数を動きのある細胞の面積Ｂとする。ステップＳ６２の後はステップＳ６４へ進み、面積Ａに対する面積Ｂの比率（＝Ｂ／Ａ）を算出する。この比率の算出は、動き領域特定部３１２の比率算出部３１２ｂが行う。一方、ステップＳ５８で全てのブロックを評価済でない場合は、ステップＳ５２へ戻り、次のブロックを選択する。
【００４５】
以上のように、図１２の処理では、最小変位画像と最大変位画像のブロックマッチングを行うことで、動いている細胞のあるエリアの面積Ｂを求めることができ、細胞が存在するエリアの面積Ａに対する動いている細胞があるエリアの面積Ｂの比率を算出できる。
【００４６】
なお、図１２では、ブロックマッチングにより動いている細胞のあるエリアの面積Ｂを算出したが、最小変位画像と最大変位画像の対応する画素値（輝度値）の減算を行い、差分が一定の閾値を超えるピクセルの数から面積を算出しても良い。
【００４７】
以上のようにして算出された、細胞が存在するエリアの面積Ａに対する動いている細胞があるエリアの面積Ｂの比率は、観察視野内の細胞のうち拍動を伴う心筋細胞の比率を表すパラメータとなる。細胞が存在するエリアの面積Ａよりも動いている細胞があるエリアの面積Ｂの方が小さいため、面積Ｂ＜面積Ａの関係がある。
【００４８】
例えば、ＩＰＳ細胞から作成した心筋細胞には、実際には心筋細胞とならなかった細胞が含まれる場合がある。心筋細胞になった比率が高いほど、つまり、心筋細胞の純度が高いほど、患者に対する負担が低くなる。この場合に、本実施形態の手法により面積Ａに対する面積Ｂの比率を求めることにより、心筋細胞の純度を精度良く求めることが可能である。
【００４９】
なお、上述の処理では、ホログラム４００の動画のフレームから最小変位画像と最大変位画像のフレームのみを抜き出して再構成を行ったが、最小変位画像と最大変位画像のフレーム以外であっても、抜き出したフレームに差分が検出されるだけの変化があれば良い。また目的に応じて、拍動に不整脈が生じたフレームなどを抜き出すなどしても良い。
【００５０】
ホログラム４００の時間的な変動が画面の一部に限られる場合は、ホログラム４００の画像全体を再構成する必要がないため、再構成する画像のエリアを限定しても良い。画像内において、時間的な変動が発生する領域のみを再構成することで、処理を簡素に行うことができる。
【００５１】
特に、心筋画像において、拍動は伝播を伴うため、必ずしも画面全体で最大変位画像が得られるわけではない。また心筋細胞が密ではない場合は、拍動の同期が不十分な場合もある。これらの場合はホログラム４００の画像を複数のエリアに分割して、それぞれのエリアで動き解析を実施して、動き波形を計算しても良い。この場合、抽出する最大変位画像、最小変位画像のフレームが、分割したエリア毎に異なることになる。
【００５２】
以上説明したように第１の実施形態によれば、ホログラム４００の動画のフレームのうち、動き解析をホログラム４００に基づいて行い、動き解析によって得られた最大変位画像と最少変位画像のみを再構成する。そして、再構成した最大変位画像と最少変位画像に基づいて、細胞が存在するエリアの面積Ａに対する、動いている細胞があるエリアの面積Ｂの比率を求める。最大変位画像と最少変位画像のみを再構成することで、処理負荷を大幅に軽減することができる。これにより、観察視野内の細胞のうち拍動を伴う細胞が存在する割合を取得することが可能となる。
【００５３】
２．第２の実施形態
２．１．ランダムな動きの細胞を観測する例
次に、本開示の第２の実施形態について説明する。第２の実施形態の画像処理システムは、第１の実施形態と同様である。第２の実施形態では、拍動細胞などの周期的な動きをする細胞ではなく、ランダムな動きの細胞を含むその他の細胞に本開示を適用した場合について説明する。
【００５４】
ランダムな動きの細胞の場合、動きが周期的ではないため、ホログラム４００の動き解析結果から最大変位量を算出できない場合が想定される。例えば、精子のように常にランダムな動きを伴うものの場合は、フレームの抽出を次のように行う。
【００５５】
精子の場合、動き量のグラフが常に平坦であり、精子頭部が円環状のホログラム４００として観察されるため、この干渉環をトラッキングしたり、動き解析したりすることによって細胞数、運動率などの所望のパラメータを得ることができる。しかしながら、正確な細胞数を求めるためには、観察される干渉環が細胞由来のものか、ディッシュ上の傷やダスト由来のものかを区別することが望ましい。このため、第２の実施形態では、１つのフレームのホログラム４００のみを再構成し、キズやゴミを除去し、正確な細胞数を検出する。
【００５６】
具体的には、ホログラム４００から円環状ホログラムの数をパターンマッチングによりカウントする。このカウントは、存在領域特定部３１４のカウント部にて行われる。そして、円環状ホログラムのうち動的なものの数を動きベクトル解析またはトラッキングによってカウントする。このトラッキングは、パターンマッチングなどの公知の手法により動き領域特定部３１２のトラッキング部３１２ｃが行う。円環状ホログラムは、円環状であるため、比較的容易にトラッキングすることが可能である。そして、ホログラムの動画から少なくとも１つのフレームを抽出し、再構成を行う。再構成により得られた画像に基づいて、ダスト、キズなど、対象となる細胞以外のものをカウントし、動的な円環状ホログラムのカウント数から減算する。
【００５７】
図１４は、第２の実施形態の処理を示すフローチャートであって、キズやゴミを分離するために再構成画像を利用し、細胞のカウントはホログラムを使う例を示している。先ず、ステップＳ７０では、ホログラム４００の動画を取得する。次のステップＳ７２では、同心円状のホログラム（円環状ホログラム）の数をカウントする。図１５は、ステップＳ７２でカウントされた同心円状のホログラム４０２，４０４を示している。ここで、ホログラム４０２は動きのあるものであり、ホログラム４０４は動きのないものである。
【００５８】
次のステップＳ７４では、ホログラム動画の動き検出を行い、トラッキングを行う。次のステップＳ７６では、静止しているホログラム４０４のみを抽出する。図１６は、ステップＳ７６で静止しているホログラム４０４のみを抽出した状態を示す模式図である。次のステップＳ７８では、ステップＳ７６で抽出したホログラム４０４の再構成を行う。再構成画像を得ることで、円環状ホログラムにゴミやキズが含まれているかを認識できる。
【００５９】
次のステップＳ８０では、再構成画像からゴミ、キズを分離し、動きのないホログラム４０４のカウント数から除外する。次のステップＳ８２では、全体の細胞の個数に対する、動きのある細胞の個数の比率を計算する。つまり、ステップＳ８２では、ホログラム４０２，４０４の総数に対するホログラム４０２の数の比率を求める。この比率の算出は、動き領域特定部３１２の比率算出部３１２ｂによって行われる。ステップＳ８２の後は処理を終了する。細胞が精子の場合は、更に運動している精子から前進運動精子のみを抽出してカウントし、運動率を算出する。
【００６０】
以上のように、図１４の処理によれば、静止しているホログラム４０４のみを抽出して再構成を行うため、ゴミ、キズ等を分離することができ、静止している細胞の数を正確にカウントすることができる。従って、全体の細胞の個数に対する、動きのある細胞の個数の比率を、高精度に算出することが可能となる。
【００６１】
また、図１７は、精子などの個別にランダムに動く細胞において、動いている細胞のみを抽出して計算負荷を低下させる例を示すフローチャートである。先ず、ステップＳ９０では、ホログラムの動画を取得する。次のステップＳ９２では、ホログラム動画の動き検出を行い、トラッキングを行う。これにより、図１８に示すように、図１５と同様に同心円状のホログラム４０２，４０４の画像が得られる。次のステップＳ９４では、動きのあるホログラム４０２のみの領域を抽出する。この領域の抽出は、ホログラム処理部３０２のホログラム抽出部３０２ｃによって行われる。図１９は、動きのあるホログラム４０２のみの領域を抽出した結果を示す模式図である。次のステップＳ９６では、ステップＳ９４で抽出した領域のみでホログラム４０２の再構成を行う。ステップＳ９６の後は処理を終了する。
【００６２】
以上のように、図１７の処理によれば、動きのあるホログラム４０２のみの領域を抽出して、ホログラム４０２の再構成を行うため、計算負荷を大幅に軽減することができる。
【００６３】
３．処理結果の適用例
本開示の各実施形態に係る画像処理システム１０００による処理結果の適用例について説明する。ここでは、表示制御部３１６が画像処理システム１０００の内部または外部に設けられた表示部に表示させる画面を示しつつ、動き補償処理および解析処理の例について説明する。
【００６４】
（適用例１：心筋細胞の局所的な形態の変化についての解析処理）
先ず、第１の適用例について説明する。図２０は、第１の実施形態に係る処理結果の表示例を示す図である。図２０を参照すると、表示制御部３１６により表示部に表示される画面１１００は、オリジナル動画像表示画面１１１０、細胞存在領域表示画面１１２０Ａ、および細胞動き領域表示画面１１２０Ｂを含む。
【００６５】
オリジナル動画像表示画面１１１０には、複数の心筋細胞のホログラム像が表示されている。このうち、心筋細胞の像５１０Ａが、ホログラム４００による観察対象とされているものとする。演算部３００は、心筋細胞の像５１０Ａのホログラム４００についての動き解析処理を行う。細胞存在領域表示画面１１２０Ａには、心筋細胞の像５１０Ａのホログラム４００を再構成した画像５１１Ａが表示される。細胞存在領域表示画面１１２０Ａには、細胞が存在する領域（面積Ａ）が表示される。
【００６６】
また、細胞動き領域表示画面１１２０Ｂには、細胞存在領域表示画面１１２０Ａに表示された面積Ａに対応する画像５１１Ａに加え、面積Ａ内で細胞が動いている領域５１１Ｂが表示される。
【００６７】
また、解析結果表示画面１１３０には、心筋細胞の像５１０Ａの移動履歴に関するグラフが表示されている。当該移動履歴は、心筋細胞の像５１０Ａについての並進成分の動き補償パラメータから取得することができる。これにより、心筋細胞の並進方向の動きについて定量的に評価することができる。
【００６８】
また、解析結果表示画面１１３１には、心筋細胞の像５１０Ａの拍動に基づく動きの大きさおよび各像の面積の時系列の変化を示すグラフが表示されている。
【００６９】
また、解析結果表示画面１１３２および１１３３には、心筋細胞の像５１０Ａの形状の変化および拡縮率についての画像が表示されている。これにより、心筋細胞の収縮および拡張の動きについて定量的に評価することができる。
【００７０】
（適用例２：複数の精子の運動に関する解析処理）
次に、第２の適用例について説明する。図２１は、第２の実施形態に係る処理結果の表示例を示す図である。図２１を参照すると、表示制御部３１６により表示部に表示される画面１２００は、オリジナル動画像表示画面１２１０、再構成画像表示画面１２２０Ａ〜１２２０Ｄ、および解析結果表示画面１２３０〜１２３３を含む。
【００７１】
オリジナル動画像表示画面１２１０には、複数の精子のホログラム像が表示されている。このうち、精子の像５２０Ａ〜５２０Ｄが、ユーザの操作等により処理部２６０の処理の対象として選択されているとする。この場合、精子の像５２０Ａ〜５２０Ｄが選択されていることを示す枠１２１１Ａ〜１２１１Ｄが、精子の像５２０Ａ〜５２０Ｄの各々の周囲に表示されてもよい。
【００７２】
このとき、演算部３００は、選択された精子の像５２０Ａ〜５２０Ｄの各々について、処理を行う。再構成画像表示画面１２２０Ａ〜１２２０Ｄには、ホログラムを再構成して得られた精子の像５２１Ａ〜５２１Ｄを含む動画像がそれぞれ表示される。なお、図２１に示すように、表示制御部３１６は、精子の像５２１Ａ〜５２１Ｄが同一の向きとなるように、各々の再構成画像の向き等を制御してもよい。例えば、表示制御部３１６は、精子の像５２０Ａ〜５２０Ｄの並進成分の動きの大きさから精子の像５２０Ａ〜５２０Ｄの移動方向を推定し、推定された移動方向が動き補償画像表示画面１２２０Ａ〜１２２０Ｄ内において規定の向きとなるように各動き補償画像の表示を制御してもよい。これにより、精子の像５２１Ａ〜５２１Ｄの大きさまたは形状等の形態について比較することができる。
【００７３】
また、解析結果表示画面１２３０および解析結果表示画面１２３１には、精子の像５２０Ａ〜５２０Ｄの移動履歴および回転履歴に関するグラフがそれぞれ表示されている。当該移動履歴は、精子の像５２０Ａ〜５２０Ｄについての並進成分の動き補償パラメータから取得することができる。また、当該回転履歴は、精子の像５２０Ａ〜５２０Ｄについての回転成分の動き補償パラメータから取得することができる。これにより、精子の並進方向および回転方向の動きについて定量的に評価することができる。
【００７４】
また、解析結果表示画面１２３２には、精子の像５２０Ａ〜５２０Ｄの移動量を示す棒グラフが表示されている。当該移動量は、精子の像５２０Ａ〜５２０Ｄについての並進成分の動き補償パラメータから算出することができる。各精子の移動量を棒グラフで表示することにより、精子の運動状態を定量的に解析することが可能となる。
【００７５】
また、解析結果表示画面１２３３には、精子の像５２１Ａ〜５２１Ｄの形態の評価値を示す棒グラフが表示されている。当該形態の評価値とは、例えば、精子の像５２１Ａ〜５２１Ｄの大きさや形状の特徴から算出される評価値であってもよい。各精子の形態の評価値を棒グラフで表示することにより、精子の形態の良否を定量的に評価することができる。
【００７６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００７８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  観察対象物のホログラムから前記観察対象物の動きを検出する動き検出部と、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、
抽出した前記ホログラムの一部から画像を再構成する再構成部と、
を備える、画像処理装置。
（２）  前記ホログラムは異なる時間に取得された複数のフレームから構成され、
前記ホログラム処理部は、前記検出結果に基づいて、前記複数のフレームから一部を抽出する、前記（１）に記載の画像処理装置。
（３）  前記ホログラム処理部は、前記複数のフレームから、前記観察対象物の変位量が異なる２つのフレームを抽出する、前記（２）に記載の画像処理装置。
（４）  前記ホログラム処理部は、前記変位量が最大のフレームと最少のフレームを抽出する、前記（３）に記載の画像処理装置。
（５）  前記変位量が最大のフレーム内の第１の画像ブロックと、前記第１の画像ブロックと位置が対応する第２の画像ブロックであって、前記変位量が最少のフレーム内の前記第２の画像ブロックとが一致するか否かを判定するブロックマッチング部と、
前記判定の結果、前記第１の画像ブロックと前記第２の画像ブロックとが一致していない場合、前記第１及び前記第２の画像ブロックに対応する領域を前記観察対象物の動き領域として特定する動き領域特定部と、
前記観察対象物が存在する領域に対する、前記動き領域の比率を算出する比率算出部と、
を備える、前記（４）に記載の画像処理装置。
（６）  前記第１又は前記第２の画像ブロック内の輝度差に基づいて前記観察対象物が存在する前記領域を特定する存在領域特定部を備える、前記（５）に記載の画像処理装置。
（７）  ユーザによる操作情報に基づいて前記観察対象物が存在する前記領域を特定する存在領域抽出部を備える、前記（５）に記載の画像処理装置。
（８）  前記ホログラム処理部は、前記検出結果に基づいて、前記ホログラムの平面領域の一部を抽出する、前記（１）に記載の画像処理装置。
（９）  前記ホログラムから、所定の形状に合致する前記観察対象物をカウントするカウント部を備え、
前記ホログラム処理部は、前記ホログラムの平面領域から、前記所定の形状に合致する前記観察対象物であって、動きが生じていない前記観察対象物のホログラムを抽出し、
前記再構成部は、動きが生じていない前記観察対象物のホログラムから画像を再構成し、
前記カウント部は、再構成により得られた画像から得られる不要物の数をカウント数から除外する、前記（８）に記載の画像処理装置。
（１０）  前記ホログラム処理部は、前記ホログラムの平面領域から、前記観察対象物に動きが生じている領域を抽出する、前記（８）に記載の画像処理装置。
（１１）  前記観察対象物は生体に由来する物である、前記（１）〜（１０）のいずれかに記載の画像処理装置。
（１２）  観察対象物のホログラムから前記観察対象物の動きを検出することと、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出することと、
抽出した前記ホログラムの一部から画像を再構成することと、
を備える、画像処理方法。
（１３）  観察対象物に部分コヒーレンス光を出射する光源と、
前記部分コヒーレンス光が前記観察対象物で分離されて得られる透過光及び回折光の干渉によるホログラムを検出する画像センサーと、
前記ホログラムから前記観察対象物の動きを検出する動き検出部と、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、
抽出した前記ホログラムの一部から画像を再構成する再構成部と、
を備える、画像処理システム。
【符号の説明】
【００７９】
３００    演算部
３０２    ホログラム処理部
３０２ｂ  動き検出部
３０２ｃ  ホログラム抽出部
３０８    再構成部
３１２    動き領域特定部
３１２ａ  ブロックマッチング部
３１２ｂ  比率算出部
３１４    存在領域特定部
【図１】
2017146696.tif 000003
【図２】
2017146696.tif 000004
【図３】
2017146696.tif 000005
【図４Ａ】
2017146696.tif 000006
【図４Ｂ】
2017146696.tif 000007
【図５Ａ】
2017146696.tif 000008
【図５Ｂ】
2017146696.tif 000009
【図６】
2017146696.tif 000010
【図７】
2017146696.tif 000011
【図８】
2017146696.tif 000012
【図９】
2017146696.tif 000013
【図１０】
2017146696.tif 000014
【図１１】
2017146696.tif 000015
【図１２】
2017146696.tif 000016
【図１３】
2017146696.tif 000017
【図１４】
2017146696.tif 000018
【図１５】
2017146696.tif 000019
【図１６】
2017146696.tif 000020
【図１７】
2017146696.tif 000021
【図１８】
2017146696.tif 000022
【図１９】
2017146696.tif 000023
【図２０】
2017146696.tif 000024
【図２１】
2017146696.tif 000025