(57)【要約】【課題】心筋細胞の任意な焦点面における合焦画像を生成する技術を提供する。【解決手段】画像生成装置は、心筋細胞の複数の第１の画像及び第２の画像を用いて、仮想的な焦点面での前記心筋細胞の合焦画像を生成する制御回路を備える。前記複数の第１の画像及び前記複数の第２の画像はそれぞれ、前記心筋細胞への第１の電気刺激後から次の第２の電気刺激までの間において、前記心筋細胞が第１の静止状態である第１の時間区間及び前記心筋細胞が第２の静止状態である第２の時間区間それぞれで、前記複数の光源のそれぞれが照明される毎に、撮影された画像である。前記制御回路は、（ａ１）前記複数の第１の画像を用いて、前記第１の静止状態の前記心筋細胞に関する仮想的な焦点面での第１の合焦画像を生成し、（ａ２）前記複数の第２の画像を用いて、前記第２の静止状態の前記心筋細胞に関する仮想的な焦点面での第２の合焦画像を生成する。【選択図】図１
2018194412.tif 000002
【特許請求の範囲】
【請求項１】
複数の光源と、
心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサと、
前記心筋細胞に、電気刺激を与えるための一対の電極と、
前記複数の光源及び前記イメージセンサの間に位置する仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路とを備え、
前記少なくとも１つの制御回路は、
（ａ１）前記一対の電極による第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、
（ａ２）前記一対の電極による前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、
（ａ３）前記イメージセンサに、前記複数の光源が前記心筋細胞を照明する毎に、前記心筋細胞の撮影画像を取得させ、
（ａ４）前記第１の時間区間で取得された撮影画像を用いて、前記第１の静止状態の前記心筋細胞に関する仮想的な焦点面における第１の合焦画像を生成し、
（ａ５）前記第２の時間区間で取得された撮影画像を用いて、前記第２の静止状態の前記心筋細胞に関する仮想的な焦点面における第２の合焦画像を生成し、
（ａ６）ディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する
画像生成システム。
【請求項２】
複数の光源と、
心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサと、
前記心筋細胞に、電気刺激を与えるための一対の電極と、
前記複数の光源及び前記イメージセンサの間に位置する仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路とを備え、
前記少なくとも１つの制御回路は、
（ａ１）前記一対の電極による第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、
（ａ２）前記一対の電極による前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、
（ａ３）前記イメージセンサに、前記複数の光源が前記心筋細胞を照明する毎に、前記心筋細胞の撮影画像を取得させ、
（ａ４）前記第１の静止状態の前記心筋細胞の第１の撮影画像と、前記第２の静止状態の前記心筋細胞の第２の撮影画像とを用いて、前記第１の静止状態における前記心筋細胞の寸法と、前記第２の静止状態における前記心筋細胞の寸法との比率である寸法比率を算出し、
（ａ５）前記寸法比率に基づき、前記第１の静止状態の前記心筋細胞の第１の焦点面と、前記第２の静止状態の前記心筋細胞の第２の焦点面とを、互いに対応付けて決定し、
（ａ６）前記第１の撮影画像を用いて、前記第１の静止状態の前記心筋細胞の前記第１の焦点面における第１の合焦画像を生成し、
（ａ７）前記第２の撮影画像を用いて、前記第２の静止状態の前記心筋細胞の前記第２の焦点面における第２の合焦画像を生成し、
（ａ８）ディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する
画像生成システム。
【請求項３】
互いに対応付けられた前記第１の焦点面及び前記第２の焦点面は、前記心筋細胞の同じ部位を含む
請求項２に記載の画像生成システム。
【請求項４】
前記少なくとも１つの制御回路は、
処理（ａ４）では、
前記第１の静止状態における前記心筋細胞の所定の方向での寸法と、前記第２の静止状態における前記心筋細胞の前記所定の方向での寸法との前記寸法比率を算出し、
処理（ａ５）では、
前記第１の焦点面及び前記第２の焦点面の一方を、前記寸法比率に基づいて前記所定の方向に移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定する
請求項２または３に記載の画像生成システム。
【請求項５】
前記少なくとも１つの制御回路は、
処理（ａ４）では、
前記第１の撮影画像上及び前記第２の撮影画像上で、前記イメージセンサの前記表面に沿う第１の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記寸法比率である第１の寸法比率を算出し、
前記第１の寸法比率を用いて、前記イメージセンサの前記表面に垂直な第２の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記寸法比率である第２の寸法比率を算出し、
処理（ａ５）では、
前記第１の寸法比率及び前記第２の寸法比率に基づき、互いの位置を調整することによって、前記第１の焦点面及び前記第２の焦点面を対応付ける
請求項２または３に記載の画像生成システム。
【請求項６】
前記少なくとも１つの制御回路は、
処理（ａ５）では、
前記第１の寸法比率に基づいた前記第１の方向の移動と、前記第２の寸法比率に基づいた前記第２の方向の移動とを用いて、前記第１の焦点面及び前記第２の焦点面の一方を移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定する
請求項５に記載の画像生成システム。
【請求項７】
前記第１の方向は、前記イメージセンサの前記表面に沿う第３の方向と、前記イメージセンサの前記表面に沿い且つ前記第３の方向と異なる第４の方向とを含み、
前記第３の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記第１の寸法比率である第３の寸法比率は、前記第１の寸法比率の中で最大であり、
前記第４の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記第１の寸法比率である第４の寸法比率は、前記第１の寸法比率の中で最小であり、
前記少なくとも１つの制御回路は、
処理（ａ５）では、
前記第２の寸法比率に基づいた前記第２の方向の移動と、前記第３の寸法比率に基づいた前記第３の方向の移動と、前記第４の寸法比率に基づいた前記第４の方向の移動とを用いて、前記第１の焦点面及び前記第２の焦点面の一方を移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定する
請求項５に記載の画像生成システム。
【請求項８】
前記少なくとも１つの制御回路は、
処理（ａ４）の前に、
（ｂ１）前記イメージセンサの前記表面に沿う複数の焦点面それぞれにおける複数の第３の合焦画像を、前記第１の撮影画像を用いて生成し、
（ｂ２）前記複数の第３の合焦画像のうちから、前記心筋細胞を含み且つ焦点面が前記イメージセンサの前記表面から最も離れた最遠の前記第３の合焦画像を抽出し、
（ｂ３）前記イメージセンサの前記表面に沿う複数の焦点面それぞれにおける複数の第４の合焦画像を、前記第２の撮影画像を用いて生成し、
（ｂ４）前記複数の第４の合焦画像のうちから、前記心筋細胞を含み且つ焦点面が前記イメージセンサの前記表面から最も離れた最遠の前記第４の合焦画像を抽出し、
処理（ａ４）では、
前記イメージセンサの前記表面と前記最遠の第３の合焦画像の焦点面との距離と、前記イメージセンサの前記表面と前記最遠の第４の合焦画像の焦点面との距離とを用いて、前記寸法比率を算出する
請求項２〜４のいずれか一項に記載の画像生成システム。
【請求項９】
前記少なくとも１つの制御回路は、
処理（ａ６）では、
前記複数の第３の合焦画像を用いて、前記第１の合焦画像を生成し、
処理（ａ７）では、
前記複数の第４の合焦画像を用いて、前記第２の合焦画像を生成する
請求項８に記載の画像生成システム。
【請求項１０】
前記少なくとも１つの制御回路は、
処理（ａ４）の前に、
（ｃ１）複数の焦点面それぞれにおける複数の第５の合焦画像を、前記第１の撮影画像を用いて生成し、
（ｃ２）前記複数の第５の合焦画像のうちから、前記心筋細胞を含む前記第５の合焦画像を抽出し、
（ｃ３）前記心筋細胞を含む前記第５の合焦画像を用いて、前記第１の静止状態の前記心筋細胞の３次元の外形を決定し、
（ｃ４）複数の焦点面それぞれにおける複数の第６の合焦画像を、前記第２の撮影画像を用いて生成し、
（ｃ５）前記複数の第６の合焦画像のうちから、前記心筋細胞を含む前記第６の合焦画像を抽出し、
（ｃ６）前記心筋細胞を含む前記第６の合焦画像を用いて、前記第２の静止状態の前記心筋細胞の３次元の外形を決定し、
処理（ａ４）では、
前記第１の静止状態の前記心筋細胞の３次元の外形と、前記第２の静止状態の前記心筋細胞の３次元の外形とを用いて、前記寸法比率を算出する
請求項２〜４のいずれか一項に記載の画像生成システム。
【請求項１１】
前記少なくとも１つの制御回路は、
処理（ａ６）では、
前記複数の第５の合焦画像の画素の輝度値を用いて、前記第１の合焦画像を生成し、
処理（ａ７）では、
前記複数の第６の合焦画像の画素の輝度値を用いて、前記第２の合焦画像を生成する
請求項１０に記載の画像生成システム。
【請求項１２】
前記合焦画像は、複数の合焦画素で構成されており、
前記少なくとも１つの制御回路は、前記光源の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出する
請求項１〜１１のいずれか一項に記載の画像生成システム。
【請求項１３】
心筋細胞の複数の第１の画像及び複数の第２の画像を取得し、前記複数の第１の画像及び前記複数の第２の画像を用いて、仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路を備え、
前記複数の第１の画像は、前記心筋細胞に第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、
前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、
前記複数の第２の画像は、前記心筋細胞に前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、
前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、
前記少なくとも１つの制御回路は、
（ａ１）前記複数の第１の画像を用いて、前記第１の静止状態の前記心筋細胞に関する仮想的な焦点面における第１の合焦画像を生成し、
（ａ２）前記複数の第２の画像を用いて、前記第２の静止状態の前記心筋細胞に関する仮想的な焦点面における第２の合焦画像を生成し、
（ａ３）外部のディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する
画像生成装置。
【請求項１４】
心筋細胞の複数の第１の画像及び複数の第２の画像を取得し、前記複数の第１の画像及び前記複数の第２の画像を用いて、仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路を備え、
前記複数の第１の画像は、前記心筋細胞に第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、
前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、
前記複数の第２の画像は、前記心筋細胞に前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、
前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、
前記少なくとも１つの制御回路は、
（ａ１）前記第１の画像と、前記第２の画像とを用いて、前記第１の静止状態における前記心筋細胞の寸法と、前記第２の静止状態における前記心筋細胞の寸法との比率である寸法比率を算出し、
（ａ２）前記寸法比率に基づき、前記第１の静止状態の前記心筋細胞の第１の焦点面と、前記第２の静止状態の前記心筋細胞の第２の焦点面とを、互いに対応付けて決定し、
（ａ３）前記第１の画像を用いて、前記第１の静止状態の前記心筋細胞の前記第１の焦点面における第１の合焦画像を生成し、
（ａ４）前記第２の画像を用いて、前記第２の静止状態の前記心筋細胞の前記第２の焦点面における第２の合焦画像を生成し、
（ａ５）外部のディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する
画像生成装置。
【請求項１５】
互いに対応付けられた前記第１の焦点面及び前記第２の焦点面は、前記心筋細胞の同じ部位を含む
請求項１４に記載の画像生成装置。
【請求項１６】
前記少なくとも１つの制御回路は、
処理（ａ１）では、
前記第１の静止状態における前記心筋細胞の所定の方向での寸法と、前記第２の静止状態における前記心筋細胞の前記所定の方向での寸法との前記寸法比率を算出し、
処理（ａ２）では、
前記第１の焦点面及び前記第２の焦点面の一方を、前記寸法比率に基づいて前記所定の方向に移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定する
請求項１４または１５に記載の画像生成装置。
【請求項１７】
前記複数の第１の画像及び前記複数の第２の画像は、前記心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサによって撮影された画像であり、
前記少なくとも１つの制御回路は、
処理（ａ１）では、
前記第１の画像上及び前記第２の画像上で、前記イメージセンサの前記表面に沿う第１の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記寸法比率である第１の寸法比率を算出し、
前記第１の寸法比率を用いて、前記イメージセンサの前記表面に垂直な第２の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記寸法比率である第２の寸法比率を算出し、
処理（ａ２）では、
前記第１の寸法比率及び前記第２の寸法比率に基づき、互いの位置を調整することによって、前記第１の焦点面及び前記第２の焦点面を対応付ける
請求項１４または１５に記載の画像生成装置。
【請求項１８】
前記少なくとも１つの制御回路は、
処理（ａ２）では、
前記第１の寸法比率に基づいた前記第１の方向の移動と、前記第２の寸法比率に基づいた前記第２の方向の移動とを用いて、前記第１の焦点面及び前記第２の焦点面の一方を移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定する
請求項１７に記載の画像生成装置。
【請求項１９】
前記第１の方向は、前記イメージセンサの前記表面に沿う第３の方向と、前記イメージセンサの前記表面に沿い且つ前記第３の方向と異なる第４の方向とを含み、
前記第３の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記第１の寸法比率である第３の寸法比率は、前記第１の寸法比率の中で最大であり、
前記第４の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記第１の寸法比率である第４の寸法比率は、前記第１の寸法比率の中で最小であり、
前記少なくとも１つの制御回路は、
処理（ａ２）では、
前記第２の寸法比率に基づいた前記第２の方向の移動と、前記第３の寸法比率に基づいた前記第３の方向の移動と、前記第４の寸法比率に基づいた前記第４の方向の移動とを用いて、前記第１の焦点面及び前記第２の焦点面の一方を移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定する
請求項１７に記載の画像生成装置。
【請求項２０】
前記複数の第１の画像及び前記複数の第２の画像は、前記心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサによって撮影された画像であり、
前記少なくとも１つの制御回路は、
処理（ａ１）の前に、
（ｂ１）前記イメージセンサの前記表面に沿う複数の焦点面それぞれにおける複数の第３の合焦画像を、前記第１の画像を用いて生成し、
（ｂ２）前記複数の第３の合焦画像のうちから、前記心筋細胞を含み且つ焦点面が前記イメージセンサの前記表面から最も離れた最遠の前記第３の合焦画像を抽出し、
（ｂ３）前記イメージセンサの前記表面に沿う複数の焦点面それぞれにおける複数の第４の合焦画像を、前記第２の画像を用いて生成し、
（ｂ４）前記複数の第４の合焦画像のうちから、前記心筋細胞を含み且つ焦点面が前記イメージセンサの前記表面から最も離れた最遠の前記第４の合焦画像を抽出し、
処理（ａ１）では、
前記イメージセンサの前記表面と前記最遠の第３の合焦画像の焦点面との距離と、前記イメージセンサの前記表面と前記最遠の第４の合焦画像の焦点面との距離とを用いて、前記寸法比率を算出する
請求項１４〜１６のいずれか一項に記載の画像生成装置。
【請求項２１】
前記少なくとも１つの制御回路は、
処理（ａ３）では、
前記複数の第３の合焦画像を用いて、前記第１の合焦画像を生成し、
処理（ａ４）では、
前記複数の第４の合焦画像を用いて、前記第２の合焦画像を生成する
請求項２０に記載の画像生成装置。
【請求項２２】
前記少なくとも１つの制御回路は、
処理（ａ１）の前に、
（ｃ１）複数の焦点面それぞれにおける複数の第５の合焦画像を、前記第１の画像を用いて生成し、
（ｃ２）前記複数の第５の合焦画像のうちから、前記心筋細胞を含む前記第５の合焦画像を抽出し、
（ｃ３）前記心筋細胞を含む前記第５の合焦画像を用いて、前記第１の静止状態の前記心筋細胞の３次元の外形を決定し、
（ｃ４）複数の焦点面それぞれにおける複数の第６の合焦画像を、前記第２の画像を用いて生成し、
（ｃ５）前記複数の第６の合焦画像のうちから、前記心筋細胞を含む前記第６の合焦画像を抽出し、
（ｃ６）前記心筋細胞を含む前記第６の合焦画像を用いて、前記第２の静止状態の前記心筋細胞の３次元の外形を決定し、
処理（ａ１）では、
前記第１の静止状態の前記心筋細胞の３次元の外形と、前記第２の静止状態の前記心筋細胞の３次元の外形とを用いて、前記寸法比率を算出する
請求項１４〜１６のいずれか一項に記載の画像生成装置。
【請求項２３】
前記少なくとも１つの制御回路は、
処理（ａ３）では、
前記複数の第５の合焦画像の画素を用いて、前記第１の合焦画像を生成し、
処理（ａ４）では、
前記複数の第６の合焦画像の画素を用いて、前記第２の合焦画像を生成する
請求項２２に記載の画像生成装置。
【請求項２４】
前記複数の第１の画像及び前記複数の第２の画像は、前記心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサによって撮影された画像であり、
前記合焦画像は、複数の合焦画素で構成されており、
前記少なくとも１つの制御回路は、前記光源の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出する
請求項１３〜２３のいずれか一項に記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、任意の焦点面における対象物の画像を生成する画像生成システム及び画像生成装置に関する。
【背景技術】
【０００２】
培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影では、培養細胞の立体構造がわかりにくい。また、細胞の中には心筋細胞のように自身で動くものがあり、撮影が難しい。例えば、非特許文献１は、細胞に対する任意の焦点面での合焦画像を生成するリフォーカス技術を開示している。非特許文献１に記載の技術は、複数の点光源を順次点灯する都度にレンズレス顕微鏡を用いて細胞を撮影した複数の撮影画像を元に、リフォーカシング処理を行い、任意の焦点面での細胞の合焦画像を生成するものである。なお、上述のような複数の撮影画像を用いて生成された任意の焦点面の画像は、合焦画像と呼ばれ、複数の撮影画像を用いて任意の焦点面における対象物の画像を生成することは、リフォーカシング処理と呼ばれる。
【０００３】
また、特許文献１は、心筋細胞の拍動の状態を含めた良否を判定するために、拍動する心筋の細胞塊を動画で撮影し、拍動の動作と同期して分析を行う方法を開示している。また、特許文献２は、培養心筋細胞の拍動の状態を測定するために、微小電極つきの基板上で心筋細胞を培養し、心筋細胞の拍動を励起する電気刺激と心筋細胞の電気的反応の計測とを同時に行う方法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２０７３０８号公報
【特許文献２】特開２０１３−１８８１７３号公報
【非特許文献】
【０００５】
【非特許文献１】加藤弓子、他５名、「リフォーカシングによる初期胚の自由焦点画像生成」、信学技報、一般財団法人  電子情報通信学会、２０１６年１月、ＭＩ２０１５−１０２、ｐ．１３５−１３９
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載のリフォーカス技術では、多数の光源を順次点灯しその都度撮影するため、リフォーカシング処理に十分な画像を取得するのに時間がかかる。さらに、非特許文献１に記載のリフォーカシング処理は、その処理に用いる画像すべてが、空間配置が一定の対象物を撮影したものであることを前提としている。しかしながら、心筋細胞のように拍動する細胞は、撮影中に動いてしまうため、その撮影画像を用いたリフォーカシング処理が困難となる可能性がある。また、電気刺激により心筋細胞の拍動を同期させて特定のタイミングで撮影する場合には、リフォーカシング処理に十分な撮影画像を得るために、電気刺激による拍動を多数回繰り返すことになり、撮影は長時間に及び細胞への負担も大きくなる。
【０００７】
そこで、本開示は、動作する心筋細胞の任意な焦点面における合焦画像の生成を可能にする画像生成システム及び画像生成装置を提供する。
【課題を解決するための手段】
【０００８】
本開示の非限定的で例示的な一態様に係る画像生成システムは、複数の光源と、心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記心筋細胞に、電気刺激を与えるための一対の電極と、前記複数の光源及び前記イメージセンサの間に位置する仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路とを備え、前記少なくとも１つの制御回路は、（ａ１）前記一対の電極による第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、（ａ２）前記一対の電極による前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、（ａ３）前記イメージセンサに、前記複数の光源が前記心筋細胞を照明する毎に、前記心筋細胞の撮影画像を取得させ、（ａ４）前記第１の時間区間で取得された撮影画像を用いて、前記第１の静止状態の前記心筋細胞に関する仮想的な焦点面における第１の合焦画像を生成し、（ａ５）前記第２の時間区間で取得された撮影画像を用いて、前記第２の静止状態の前記心筋細胞に関する仮想的な焦点面における第２の合焦画像を生成し、（ａ６）ディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する。
【０００９】
本開示の非限定的で例示的な一態様に係る画像生成システムは、複数の光源と、心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記心筋細胞に、電気刺激を与えるための一対の電極と、前記複数の光源及び前記イメージセンサの間に位置する仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路とを備え、前記少なくとも１つの制御回路は、（ａ１）前記一対の電極による第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、（ａ２）前記一対の電極による前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、（ａ３）前記イメージセンサに、前記複数の光源が前記心筋細胞を照明する毎に、前記心筋細胞の撮影画像を取得させ、（ａ４）前記第１の静止状態の前記心筋細胞の第１の撮影画像と、前記第２の静止状態の前記心筋細胞の第２の撮影画像とを用いて、前記第１の静止状態における前記心筋細胞の寸法と、前記第２の静止状態における前記心筋細胞の寸法との比率である寸法比率を算出し、（ａ５）前記寸法比率に基づき、前記第１の静止状態の前記心筋細胞の第１の焦点面と、前記第２の静止状態の前記心筋細胞の第２の焦点面とを、互いに対応付けて決定し、（ａ６）前記第１の撮影画像を用いて、前記第１の静止状態の前記心筋細胞の前記第１の焦点面における第１の合焦画像を生成し、（ａ７）前記第２の撮影画像を用いて、前記第２の静止状態の前記心筋細胞の前記第２の焦点面における第２の合焦画像を生成し、（ａ８）ディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する。
【００１０】
本開示の非限定的で例示的な一態様に係る画像生成装置は、心筋細胞の複数の第１の画像及び複数の第２の画像を取得し、前記複数の第１の画像及び前記複数の第２の画像を用いて、仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路を備え、前記複数の第１の画像は、前記心筋細胞に第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、前記複数の第２の画像は、前記心筋細胞に前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、前記少なくとも１つの制御回路は、（ａ１）前記複数の第１の画像を用いて、前記第１の静止状態の前記心筋細胞に関する仮想的な焦点面における第１の合焦画像を生成し、（ａ２）前記複数の第２の画像を用いて、前記第２の静止状態の前記心筋細胞に関する仮想的な焦点面における第２の合焦画像を生成し、（ａ３）外部のディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する。
【００１１】
本開示の非限定的で例示的な一態様に係る画像生成装置は、心筋細胞の複数の第１の画像及び複数の第２の画像を取得し、前記複数の第１の画像及び前記複数の第２の画像を用いて、仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路を備え、前記複数の第１の画像は、前記心筋細胞に第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、前記複数の第２の画像は、前記心筋細胞に前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、前記少なくとも１つの制御回路は、（ａ１）前記第１の画像と、前記第２の画像とを用いて、前記第１の静止状態における前記心筋細胞の寸法と、前記第２の静止状態における前記心筋細胞の寸法との比率である寸法比率を算出し、（ａ２）前記寸法比率に基づき、前記第１の静止状態の前記心筋細胞の第１の焦点面と、前記第２の静止状態の前記心筋細胞の第２の焦点面とを、互いに対応付けて決定し、（ａ３）前記第１の画像を用いて、前記第１の静止状態の前記心筋細胞の前記第１の焦点面における第１の合焦画像を生成し、（ａ４）前記第２の画像を用いて、前記第２の静止状態の前記心筋細胞の前記第２の焦点面における第２の合焦画像を生成し、（ａ５）外部のディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する。
【００１２】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【発明の効果】
【００１３】
本開示による画像生成システム等によれば、動作する心筋細胞の任意な焦点面における合焦画像を生成することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図２】心筋細胞が配置される培養容器の構造の一例を模式的に示す図である。
【図３】実施の形態１に係る記憶部が記憶する内容の一例を示す図である。
【図４】実施の形態１に係る画像生成システムの動作の流れの一例を示すフローチャートである。
【図５】電気刺激が与えられた培養心筋細胞の状態の一例を時系列的に示す模式図である。
【図６】イメージセンサの表面と焦点面との関係の一例を示す模式図である。
【図７】実施の形態１に係る撮影部の動作の流れの一例を示すフローチャートである。
【図８】実施の形態１に係るリフォーカシング処理部のリフォーカシング処理の流れの一例を示すフローチャートである。
【図９】実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。
【図１０】実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。
【図１１】実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。
【図１２】実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。
【図１３】実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。
【図１４】実施の形態２に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図１５】実施の形態２に係る画像生成システムの動作の流れの一例を示すフローチャートである。
【図１６Ａ】座標と心筋細胞との関係の一例を示す模式図である。
【図１６Ｂ】心筋細胞のパース図の一例を示す模式図である。
【図１７Ａ】実施の形態２に係る表示部の画面表示の一例を示す模式図である。
【図１７Ｂ】実施の形態２に係る表示部の画面表示の一例を示す模式図である。
【図１８】実施の形態２に係る表示部の画面表示の別の一例を示す模式図である。
【図１９】図１５のステップＳ２１００の詳細な処理の流れの一例を示すフローチャートである。
【図２０Ａ】座標と心筋細胞との関係の一例を示す模式図である。
【図２０Ｂ】座標と心筋細胞との関係の一例をｘｙ平面上で示す模式図である。
【図２０Ｃ】実施の形態２に係る調整値決定処理の具体例を説明する模式図である。
【図２０Ｄ】実施の形態２に係る調整値決定処理の具体例を説明する模式図である。
【図２０Ｅ】実施の形態２に係る調整値決定処理の具体例を説明する模式図である。
【図２０Ｆ】実施の形態２に係る調整値決定処理の具体例を説明する模式図である。
【図２０Ｇ】実施の形態２に係る調整値決定処理の具体例を説明する模式図である。
【図２１】図１５のステップＳ２２００の詳細な処理の流れの一例を示すフローチャートである。
【図２２】実施の形態２に係る焦点面決定処理の具体例を説明する模式図である。
【図２３】実施の形態３に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図２４】実施の形態３に係る第二記憶部が記憶する内容の一例を示す図である。
【図２５】実施の形態３に係る画像生成システムの動作の流れの一例を示すフローチャートである。
【図２６】実施の形態３に係る表示部の画面表示の一例を示す模式図である。
【図２７】図２５のステップＳ３２００の詳細な処理の流れの一例を示すフローチャートである。
【図２８】図２５のステップＳ３４００の詳細な処理の流れの一例を示すフローチャートである。
【図２９】実施の形態４に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図３０】実施の形態４に係る第二記憶部が記憶する内容の一例を示す図である。
【図３１】実施の形態４に係る画像生成システムの動作の流れの一例を示すフローチャートである。
【図３２Ａ】座標と心筋細胞との関係の一例を示す模式図である。
【図３２Ｂ】実施の形態４に係る調整値決定処理の具体例を説明する模式図である。
【図３２Ｃ】実施の形態４に係る調整値決定処理の具体例を説明する模式図である。
【図３３】図３１のステップＳ４２００の詳細な処理の流れの一例を示すフローチャートである。
【図３４】図３１のステップＳ４３００の詳細な処理の流れの一例を示すフローチャートである。
【図３５】図３１のステップＳ４４００の詳細な処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
［本発明者らの知見］
本開示に関係する発明者ら、つまり、本発明者らは、以下の知見に至った。例えば、非特許文献１に記載される技術は、複数の照明を利用したリフォーカス技術によって、画像の接続のためのボケがない、任意の焦点面の高画質な画像を生成することができる。しかしながら、非特許文献１に記載のリフォーカシング技術は、空間配置が一定である対象物を撮影した撮影画像を用いて、リフォーカシング処理を行うことを前提としている。具体的には、細胞の位置だけでなく、細胞の形状及び大きさが撮影期間中に変化しないことが前提とされている。本発明者らは、静止した細胞だけでなく、拍動等の動作する心筋細胞等の細胞についても、撮影画像のリフォーカシング処理により、任意の焦点面の高画質な画像を生成することを検討した。
【００１６】
本発明者らは、電気刺激によって拍動を同期させた時の培養心筋細胞の動作に関して、以下に説明するような特徴を見出した。例えば、特許文献１及び特許文献２に示されるように、複数の培養心筋細胞による塊である心筋細胞塊（心筋細胞組織とも呼ばれる）に電気刺激を与えられると、その各心筋細胞が、伝播時間を経てほぼ同期して収縮と弛緩とを行う。弛緩した心筋細胞塊は、次の電気刺激が与えられるまで静止していることが知られていた。一方、収縮した心筋細胞塊については、収縮動作に引き続き弛緩動作が起こり、２つの動作の間に静止期間はないと思われていた。しかしながら、心筋細胞塊の各心筋細胞において、電気刺激によって精度よく収縮及び弛緩動作の同期が図られた場合には、電気刺激によって励起されて収縮した心筋細胞塊は、収縮動作の終了後３００ｍｓ程度、収縮状態を保って静止していることを、本発明者らは発見した。本発明者らは、心筋細胞塊の拍動の動作では、弛緩期間のみでなく、収縮期間でも心筋細胞塊の静止期間が存在していることを利用して、収縮状態及び弛緩状態をとる心筋細胞に関して任意の焦点面における合焦画像の生成を可能にする技術を、以下のように考案した。
【００１７】
本開示の一態様に係る画像生成システムは、複数の光源と、心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記心筋細胞に、電気刺激を与えるための一対の電極と、前記複数の光源及び前記イメージセンサの間に位置する仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路とを備え、前記少なくとも１つの制御回路は、（ａ１）前記一対の電極による第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、（ａ２）前記一対の電極による前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、（ａ３）前記イメージセンサに、前記複数の光源が前記心筋細胞を照明する毎に、前記心筋細胞の撮影画像を取得させ、（ａ４）前記第１の時間区間で取得された撮影画像を用いて、前記第１の静止状態の前記心筋細胞に関する仮想的な焦点面における第１の合焦画像を生成し、（ａ５）前記第２の時間区間で取得された撮影画像を用いて、前記第２の静止状態の前記心筋細胞に関する仮想的な焦点面における第２の合焦画像を生成し、（ａ６）ディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する。
【００１８】
上記態様によれば、画像生成システムは、心筋細胞への電気刺激によって、心筋細胞の状態変化のタイミングを制御することができる。これにより、画像生成システムは、第１の時間区間での第１の静止状態の心筋細胞の撮影画像の取得と、第２の時間区間での第２の静止状態の心筋細胞の撮影画像の取得とを確実なものにすることができる。また、画像生成システムは、複数の光源からの照明を通じた心筋細胞の撮影画像を用いることによって、任意の焦点面での心筋細胞の合焦画像を生成し出力する。よって、２つの異なる状態の心筋細胞に対する任意の焦点面での合焦画像の出力が可能になる。従って、動作する心筋細胞の任意な焦点面における合焦画像の生成が可能になる。
【００１９】
本開示の別の一態様に係る画像生成システムは、複数の光源と、心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記心筋細胞に、電気刺激を与えるための一対の電極と、前記複数の光源及び前記イメージセンサの間に位置する仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路とを備え、前記少なくとも１つの制御回路は、（ａ１）前記一対の電極による第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、（ａ２）前記一対の電極による前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源に前記心筋細胞を順番に照明させ、ここで、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、（ａ３）前記イメージセンサに、前記複数の光源が前記心筋細胞を照明する毎に、前記心筋細胞の撮影画像を取得させ、（ａ４）前記第１の静止状態の前記心筋細胞の第１の撮影画像と、前記第２の静止状態の前記心筋細胞の第２の撮影画像とを用いて、前記第１の静止状態における前記心筋細胞の寸法と、前記第２の静止状態における前記心筋細胞の寸法との比率である寸法比率を算出し、（ａ５）前記寸法比率に基づき、前記第１の静止状態の前記心筋細胞の第１の焦点面と、前記第２の静止状態の前記心筋細胞の第２の焦点面とを、互いに対応付けて決定し、（ａ６）前記第１の撮影画像を用いて、前記第１の静止状態の前記心筋細胞の前記第１の焦点面における第１の合焦画像を生成し、（ａ７）前記第２の撮影画像を用いて、前記第２の静止状態の前記心筋細胞の前記第２の焦点面における第２の合焦画像を生成し、（ａ８）ディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する。
【００２０】
上記態様によれば、画像生成システムは、心筋細胞への電気刺激によって、心筋細胞の状態変化のタイミングを制御することができる。これにより、画像生成システムは、第１の時間区間での第１の静止状態の心筋細胞の撮影画像の取得と、第２の時間区間での第２の静止状態の心筋細胞の撮影画像の取得とを確実なものにすることができる。また、画像生成システムは、複数の光源からの照明を通じた心筋細胞の撮影画像を用いることによって、任意の焦点面での心筋細胞の合焦画像を生成し出力する。よって、２つの異なる状態の心筋細胞に対する任意の焦点面での合焦画像の出力が可能になる。また、画像生成システムは、心筋細胞の第１の静止状態及び第２の静止状態の間での寸法比率にあわせて、第１の焦点面及び第２の焦点面を対応付けて決定する。これにより、２つの異なる状態の心筋細胞の第１の合焦画像及び第２の合焦画像に写し出されるものを対応付けることが可能になる。従って、動作する心筋細胞の任意な焦点面における合焦画像の生成が可能になる。
【００２１】
上記別の一態様に係る画像生成システムにおいて、互いに対応付けられた前記第１の焦点面及び前記第２の焦点面は、前記心筋細胞の同じ部位を含んでもよい。
【００２２】
上記態様によれば、２つの異なる状態の心筋細胞の第１の合焦画像及び第２の合焦画像に、同じものを写し出すことができる。よって、第１の合焦画像及び第２の合焦画像を比較して、心筋細胞の状態を確認することができる。
【００２３】
上記別の一態様に係る画像生成システムにおいて、前記少なくとも１つの制御回路は、処理（ａ４）では、前記第１の静止状態における前記心筋細胞の所定の方向での寸法と、前記第２の静止状態における前記心筋細胞の前記所定の方向での寸法との前記寸法比率を算出し、処理（ａ５）では、前記第１の焦点面及び前記第２の焦点面の一方を、前記寸法比率に基づいて前記所定の方向に移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定してもよい。
【００２４】
上記態様において、第１の焦点面又は第２の焦点面の一方は、寸法比率が算出される方向である所定の方向に、当該寸法比率に基づき移動されることによって、第１の焦点面又は第２の焦点面の他方に一致する。これにより、第１の焦点面及び第２の焦点面の関係は、第１の静止状態及び第２の静止状態の間での心筋細胞の寸法変化量及び寸法変化方向に対応する。よって、第１の焦点面及び第２の焦点面には、第１の静止状態及び第２の静止状態での心筋細胞の同じ部位が含まれ得る、つまり、２つの異なる状態の心筋細胞の第１の合焦画像及び第２の合焦画像に、同じものを写し出すことができる。また、上述のような第１の焦点面及び第２の焦点面の決定は、容易に行うことができる。
【００２５】
上記別の一態様に係る画像生成システムにおいて、前記少なくとも１つの制御回路は、処理（ａ４）では、前記第１の撮影画像上及び前記第２の撮影画像上で、前記イメージセンサの前記表面に沿う第１の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記寸法比率である第１の寸法比率を算出し、前記第１の寸法比率を用いて、前記イメージセンサの前記表面に垂直な第２の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記寸法比率である第２の寸法比率を算出し、処理（ａ５）では、前記第１の寸法比率及び前記第２の寸法比率に基づき、互いの位置を調整することによって、前記第１の焦点面及び前記第２の焦点面を対応付けてもよい。
【００２６】
上記態様において、イメージセンサの表面に沿う方向での第１の静止状態及び第２の静止状態それぞれの心筋細胞の寸法は、第１の撮影画像上及び第２の撮影画像上で容易に算出することができる。このような寸法に基づく第１の寸法比率は、第１の静止状態及び第２の静止状態の間での心筋細胞の寸法比率を反映することができ、その算出も容易である。また、イメージセンサの表面に垂直な方向での第２の寸法比率も、第１の寸法比率から容易に算出可能であり、第１の静止状態及び第２の静止状態の間での心筋細胞の寸法比率を反映することができる。よって、互いに対応する適切な第１の焦点面及び第２の焦点面を容易に決定することが可能になる。
【００２７】
上記別の一態様に係る画像生成システムにおいて、前記少なくとも１つの制御回路は、処理（ａ５）では、前記第１の寸法比率に基づいた前記第１の方向の移動と、前記第２の寸法比率に基づいた前記第２の方向の移動とを用いて、前記第１の焦点面及び前記第２の焦点面の一方を移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定してもよい。
【００２８】
上記態様において、第１の焦点面又は第２の焦点面の一方は、第１の寸法比率及び第２の寸法比率が算出される方向に、第１の寸法比率及び第２の寸法比率に基づき移動されることによって、第１の焦点面又は第２の焦点面の他方に一致する。これにより、第１の焦点面及び第２の焦点面は、複数の方向及び当該複数の方向寸法比率を用いて対応付けられているため、第１の焦点面及び第２の焦点面の関係は、第１の静止状態及び第２の静止状態の間での心筋細胞の寸法変化量及び寸法変化方向に忠実に対応する。よって、第１の焦点面及び第２の焦点面には、第１の静止状態及び第２の静止状態での心筋細胞の同じ部位が高い精度で含まれ得る。また、上述のような第１の焦点面及び第２の焦点面の決定は、容易に行うことができる。
【００２９】
上記別の一態様に係る画像生成システムにおいて、前記第１の方向は、前記イメージセンサの前記表面に沿う第３の方向と、前記イメージセンサの前記表面に沿い且つ前記第３の方向と異なる第４の方向とを含み、前記第３の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記第１の寸法比率である第３の寸法比率は、前記第１の寸法比率の中で最大であり、前記第４の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記第１の寸法比率である第４の寸法比率は、前記第１の寸法比率の中で最小であり、前記少なくとも１つの制御回路は、処理（ａ５）では、前記第２の寸法比率に基づいた前記第２の方向の移動と、前記第３の寸法比率に基づいた前記第３の方向の移動と、前記第４の寸法比率に基づいた前記第４の方向の移動とを用いて、前記第１の焦点面及び前記第２の焦点面の一方を移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定してもよい。
【００３０】
上記態様において、第１の焦点面及び第２の焦点面は、３つの方向及び当該３つの方向の寸法比率を用いて対応付けられている。さらに、３つの方向の寸法比率、つまり、第２の寸法比率、第３の寸法比率及び第４の寸法比率は、第１の静止状態及び第２の静止状態の間の心筋細胞の寸法的な特徴を示す。よって、第１の焦点面及び第２の焦点面の関係は、第１の静止状態及び第２の静止状態の間での心筋細胞の寸法変化量及び寸法変化方向に忠実に対応する。また、上述のような第１の焦点面及び第２の焦点面の決定は、容易に行うことができる。
【００３１】
上記別の一態様に係る画像生成システムにおいて、前記少なくとも１つの制御回路は、処理（ａ４）の前に、（ｂ１）前記イメージセンサの前記表面に沿う複数の焦点面それぞれにおける複数の第３の合焦画像を、前記第１の撮影画像を用いて生成し、（ｂ２）前記複数の第３の合焦画像のうちから、前記心筋細胞を含み且つ焦点面が前記イメージセンサの前記表面から最も離れた最遠の前記第３の合焦画像を抽出し、（ｂ３）前記イメージセンサの前記表面に沿う複数の焦点面それぞれにおける複数の第４の合焦画像を、前記第２の撮影画像を用いて生成し、（ｂ４）前記複数の第４の合焦画像のうちから、前記心筋細胞を含み且つ焦点面が前記イメージセンサの前記表面から最も離れた最遠の前記第４の合焦画像を抽出し、処理（ａ４）では、前記イメージセンサの前記表面と前記最遠の第３の合焦画像の焦点面との距離と、前記イメージセンサの前記表面と前記最遠の第４の合焦画像の焦点面との距離とを用いて、前記寸法比率を算出してもよい。
【００３２】
上記態様において、最遠の第３の合焦画像の焦点面の位置は、イメージセンサの表面から離れる方向での、第１の静止状態の心筋細胞の寸法を反映する。最遠の第４の合焦画像の焦点面の位置は、イメージセンサの表面から離れる方向での、第２の静止状態の心筋細胞の寸法を反映する。このような寸法に基づく寸法比率は、第１の静止状態及び第２の静止状態の間での心筋細胞の寸法比率を反映することができ、その算出も容易である。よって、互いに対応する適切な第１の焦点面及び第２の焦点面を容易に決定することが可能になる。
【００３３】
上記別の一態様に係る画像生成システムにおいて、前記少なくとも１つの制御回路は、処理（ａ６）では、前記複数の第３の合焦画像を用いて、前記第１の合焦画像を生成し、処理（ａ７）では、前記複数の第４の合焦画像を用いて、前記第２の合焦画像を生成してもよい。
【００３４】
上記態様において、イメージセンサの表面に対して３次元的に存在する面を焦点面とする複数の第３の合焦画像及び複数の第４の合焦画像を用いることによって、第１の合焦画像及び第２の合焦画像の生成に要する計算量の低減が可能になる。
【００３５】
上記別の一態様に係る画像生成システムにおいて、前記少なくとも１つの制御回路は、処理（ａ４）の前に、（ｃ１）複数の焦点面それぞれにおける複数の第５の合焦画像を、前記第１の撮影画像を用いて生成し、（ｃ２）前記複数の第５の合焦画像のうちから、前記心筋細胞を含む前記第５の合焦画像を抽出し、（ｃ３）前記心筋細胞を含む前記第５の合焦画像を用いて、前記第１の静止状態の前記心筋細胞の３次元の外形を決定し、（ｃ４）複数の焦点面それぞれにおける複数の第６の合焦画像を、前記第２の撮影画像を用いて生成し、（ｃ５）前記複数の第６の合焦画像のうちから、前記心筋細胞を含む前記第６の合焦画像を抽出し、（ｃ６）前記心筋細胞を含む前記第６の合焦画像を用いて、前記第２の静止状態の前記心筋細胞の３次元の外形を決定し、処理（ａ４）では、前記第１の静止状態の前記心筋細胞の３次元の外形と、前記第２の静止状態の前記心筋細胞の３次元の外形とを用いて、前記寸法比率を算出してもよい。
【００３６】
上記態様によれば、合焦画像を用いて、第１の静止状態及び第２の静止状態の心筋細胞の３次元的な外形が求められる。寸法比率は、心筋細胞の３次元的な外形を用いて算出されるため、第１の静止状態及び第２の静止状態の心筋細胞の寸法的な特徴を精度よく表すことができる。よって、互いに対応する適切な第１の焦点面及び第２の焦点面を容易に決定することが可能になる。
【００３７】
上記別の一態様に係る画像生成システムにおいて、前記少なくとも１つの制御回路は、処理（ａ６）では、前記複数の第５の合焦画像の画素の輝度値を用いて、前記第１の合焦画像を生成し、処理（ａ７）では、前記複数の第６の合焦画像の画素の輝度値を用いて、前記第２の合焦画像を生成してもよい。
【００３８】
上記態様において、イメージセンサの表面のみを焦点面としない複数の第５の合焦画像及び複数の第６の合焦画像それぞれの画素の輝度値を用いることによって、第１の合焦画像及び第２の合焦画像の画素の生成に要する計算量の低減が可能になる。
【００３９】
上記一態様及び別の一態様に係る画像生成システムにおいて、前記合焦画像は、複数の合焦画素で構成されており、前記少なくとも１つの制御回路は、前記光源の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出してもよい。
【００４０】
上記態様によれば、焦点面における合焦画像の各合焦画素に、当該合焦画素に対応する複数の撮影画像の輝度値を反映することができ、心筋細胞の高画質な合焦画像を生成することができる。
【００４１】
本開示の一態様に係る画像生成装置は、心筋細胞の複数の第１の画像及び複数の第２の画像を取得し、前記複数の第１の画像及び前記複数の第２の画像を用いて、仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路を備え、前記複数の第１の画像は、前記心筋細胞に第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、前記複数の第２の画像は、前記心筋細胞に前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、前記少なくとも１つの制御回路は、（ａ１）前記複数の第１の画像を用いて、前記第１の静止状態の前記心筋細胞に関する仮想的な焦点面における第１の合焦画像を生成し、（ａ２）前記複数の第２の画像を用いて、前記第２の静止状態の前記心筋細胞に関する仮想的な焦点面における第２の合焦画像を生成し、（ａ３）外部のディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する。上記態様によれば、本開示の一態様に係る画像生成システムと同様の効果が得られる。
【００４２】
本開示の別の一態様に係る画像生成装置は、心筋細胞の複数の第１の画像及び複数の第２の画像を取得し、前記複数の第１の画像及び前記複数の第２の画像を用いて、仮想的な焦点面における前記心筋細胞の合焦画像を生成する少なくとも１つの制御回路を備え、前記複数の第１の画像は、前記心筋細胞に第１の電気刺激を与えた後から次の第２の電気刺激を与えるまでの間において、前記第１の電気刺激後から第１の所定時間後の第１の時間区間で、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、前記第１の時間区間では、前記心筋細胞が第１の静止状態であり、前記複数の第２の画像は、前記心筋細胞に前記第１の電気刺激を与えた後から前記第２の電気刺激を与えるまでの間において、前記第１の時間区間から第２の所定時間後の第２の時間区間で、前記複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮影された画像であり、前記第２の時間区間では、前記心筋細胞が、前記第１の静止状態と異なる第２の静止状態であり、前記少なくとも１つの制御回路は、（ａ１）前記第１の画像と、前記第２の画像とを用いて、前記第１の静止状態における前記心筋細胞の寸法と、前記第２の静止状態における前記心筋細胞の寸法との比率である寸法比率を算出し、（ａ２）前記寸法比率に基づき、前記第１の静止状態の前記心筋細胞の第１の焦点面と、前記第２の静止状態の前記心筋細胞の第２の焦点面とを、互いに対応付けて決定し、（ａ３）前記第１の画像を用いて、前記第１の静止状態の前記心筋細胞の前記第１の焦点面における第１の合焦画像を生成し、（ａ４）前記第２の画像を用いて、前記第２の静止状態の前記心筋細胞の前記第２の焦点面における第２の合焦画像を生成し、（ａ５）外部のディスプレイに、前記第１の合焦画像及び前記第２の合焦画像の少なくとも一方を出力する。上記態様によれば、本開示の別の一態様に係る画像生成システムと同様の効果が得られる。
【００４３】
上記別の一態様に係る画像生成装置において、互いに対応付けられた前記第１の焦点面及び前記第２の焦点面は、前記心筋細胞の同じ部位を含んでもよい。
【００４４】
上記別の一態様に係る画像生成装置において、前記少なくとも１つの制御回路は、処理（ａ１）では、前記第１の静止状態における前記心筋細胞の所定の方向での寸法と、前記第２の静止状態における前記心筋細胞の前記所定の方向での寸法との前記寸法比率を算出し、処理（ａ２）では、前記第１の焦点面及び前記第２の焦点面の一方を、前記寸法比率に基づいて前記所定の方向に移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定してもよい。
【００４５】
上記別の一態様に係る画像生成装置において、前記複数の第１の画像及び前記複数の第２の画像は、前記心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサによって撮影された画像であり、前記少なくとも１つの制御回路は、処理（ａ１）では、前記第１の画像上及び前記第２の画像上で、前記イメージセンサの前記表面に沿う第１の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記寸法比率である第１の寸法比率を算出し、前記第１の寸法比率を用いて、前記イメージセンサの前記表面に垂直な第２の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記寸法比率である第２の寸法比率を算出し、処理（ａ２）では、前記第１の寸法比率及び前記第２の寸法比率に基づき、互いの位置を調整することによって、前記第１の焦点面及び前記第２の焦点面を対応付けてもよい。
【００４６】
上記別の一態様に係る画像生成装置において、前記少なくとも１つの制御回路は、処理（ａ２）では、前記第１の寸法比率に基づいた前記第１の方向の移動と、前記第２の寸法比率に基づいた前記第２の方向の移動とを用いて、前記第１の焦点面及び前記第２の焦点面の一方を移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定してもよい。
【００４７】
上記別の一態様に係る画像生成装置において、前記第１の方向は、前記イメージセンサの前記表面に沿う第３の方向と、前記イメージセンサの前記表面に沿い且つ前記第３の方向と異なる第４の方向とを含み、前記第３の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記第１の寸法比率である第３の寸法比率は、前記第１の寸法比率の中で最大であり、前記第４の方向での前記第１の静止状態及び前記第２の静止状態の間の前記心筋細胞の前記第１の寸法比率である第４の寸法比率は、前記第１の寸法比率の中で最小であり、前記少なくとも１つの制御回路は、処理（ａ２）では、前記第２の寸法比率に基づいた前記第２の方向の移動と、前記第３の寸法比率に基づいた前記第３の方向の移動と、前記第４の寸法比率に基づいた前記第４の方向の移動とを用いて、前記第１の焦点面及び前記第２の焦点面の一方を移動した焦点面を、前記第１の焦点面及び前記第２の焦点面の他方に決定してもよい。
【００４８】
上記別の一態様に係る画像生成装置において、前記複数の第１の画像及び前記複数の第２の画像は、前記心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサによって撮影された画像であり、前記少なくとも１つの制御回路は、処理（ａ１）の前に、（ｂ１）前記イメージセンサの前記表面に沿う複数の焦点面それぞれにおける複数の第３の合焦画像を、前記第１の画像を用いて生成し、（ｂ２）前記複数の第３の合焦画像のうちから、前記心筋細胞を含み且つ焦点面が前記イメージセンサの前記表面から最も離れた最遠の前記第３の合焦画像を抽出し、（ｂ３）前記イメージセンサの前記表面に沿う複数の焦点面それぞれにおける複数の第４の合焦画像を、前記第２の画像を用いて生成し、（ｂ４）前記複数の第４の合焦画像のうちから、前記心筋細胞を含み且つ焦点面が前記イメージセンサの前記表面から最も離れた最遠の前記第４の合焦画像を抽出し、処理（ａ１）では、前記イメージセンサの前記表面と前記最遠の第３の合焦画像の焦点面との距離と、前記イメージセンサの前記表面と前記最遠の第４の合焦画像の焦点面との距離とを用いて、前記寸法比率を算出してもよい。
【００４９】
上記別の一態様に係る画像生成装置において、前記少なくとも１つの制御回路は、処理（ａ３）では、前記複数の第３の合焦画像を用いて、前記第１の合焦画像を生成し、処理（ａ４）では、前記複数の第４の合焦画像を用いて、前記第２の合焦画像を生成してもよい。
【００５０】
上記別の一態様に係る画像生成装置において、前記少なくとも１つの制御回路は、処理（ａ１）の前に、（ｃ１）複数の焦点面それぞれにおける複数の第５の合焦画像を、前記第１の画像を用いて生成し、（ｃ２）前記複数の第５の合焦画像のうちから、前記心筋細胞を含む前記第５の合焦画像を抽出し、（ｃ３）前記心筋細胞を含む前記第５の合焦画像を用いて、前記第１の静止状態の前記心筋細胞の３次元の外形を決定し、（ｃ４）複数の焦点面それぞれにおける複数の第６の合焦画像を、前記第２の画像を用いて生成し、（ｃ５）前記複数の第６の合焦画像のうちから、前記心筋細胞を含む前記第６の合焦画像を抽出し、（ｃ６）前記心筋細胞を含む前記第６の合焦画像を用いて、前記第２の静止状態の前記心筋細胞の３次元の外形を決定し、処理（ａ１）では、前記第１の静止状態の前記心筋細胞の３次元の外形と、前記第２の静止状態の前記心筋細胞の３次元の外形とを用いて、前記寸法比率を算出してもよい。
【００５１】
上記別の一態様に係る画像生成装置において、前記少なくとも１つの制御回路は、処理（ａ３）では、前記複数の第５の合焦画像の画素を用いて、前記第１の合焦画像を生成し、処理（ａ４）では、前記複数の第６の合焦画像の画素を用いて、前記第２の合焦画像を生成してもよい。
【００５２】
上記一態様及び別の一態様に係る画像生成装置において、前記複数の第１の画像及び前記複数の第２の画像は、前記心筋細胞が載置される表面と複数のセンサ画素とを有するイメージセンサによって撮影された画像であり、前記合焦画像は、複数の合焦画素で構成されており、前記少なくとも１つの制御回路は、前記光源の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出してもよい。
【００５３】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【００５４】
以下、本開示の実施の形態に係る画像生成システム等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。
【００５５】
［実施の形態１］
実施の形態１に係る画像生成システム１０を説明する。図１を参照すると、実施の形態１に係る画像生成システム１０の機能的な構成の一例を示す機能ブロック図が示されている。実施の形態１に係る画像生成システム１０は、イメージセンサ１０３上に位置する対象物に、イメージセンサ１０３の上方に配置された複数の照明器１０１を用いて順に照明し、照明の毎にイメージセンサ１０３を用いて対象物を撮影し、複数の撮影画像を取得する。さらに、画像生成システム１０は、撮影によって得られた複数の撮影画像を用いて、複数の照明器１０１とイメージセンサ１０３との間に位置する任意の仮想的な焦点面における対象物の画像を生成する。このように複数の撮影画像を用いて生成された任意の仮想的な焦点面における画像を合焦画像と呼ぶ。本実施の形態では、対象物は、電気的な刺激を付与することによって動作又は静止する対象物であり、具体的には、拍動する心筋細胞である。画像生成システム１０は、電気的な刺激により拍動の同期を行った拍動運動中において、心筋細胞が弛緩した状態にある静止期間で複数回の撮影を行い、心筋細胞が収縮した状態にある静止期間で複数回の撮影を行う。
【００５６】
なお、以下の実施の形態において、対象物は、心筋細胞であるとして説明する。さらに、本明細書では、対象物が１つの心筋細胞で構成されるケース、対象物が複数の心筋細胞で構成されるケース、及び、対象物が複数の心筋細胞による細胞塊（細胞組織とも呼ばれる）で構成されるケースの全てのケースの対象物を、単に「心筋細胞」と称す。これに限定するものでないが、以下の実施の形態の説明において、心筋細胞は、複数の培養心筋細胞による細胞塊で構成されるとする。そして、細胞塊状の心筋細胞を構成する個々の心筋細胞を、単に「細胞」と称す。
【００５７】
［画像生成システムの構成］
図１を参照して、実施の形態１に係る画像生成システム１０の構成を説明する。図１に示されるように、画像生成システム１０は、撮影部１００と、画像処理部１１０と、記憶部１２０と、表示部１３０を備える。さらに、画像生成システム１０は、焦点面を指定する指定情報等の入力を受け付ける入力部１４０を備えてもよい。以下において、上述した画像生成システム１０の構成要素を説明する。ここで、画像処理部１１０は、画像生成装置の一例である。
【００５８】
［撮影部の構成］
図１及び図２を参照して、撮影部１００の構成を説明する。図２は、撮影対象物である心筋細胞、具体的には、培養心筋細胞が配置される培養容器の構造の一例を模式的に示す図である。撮影部１００は、複数の照明器１０１と、刺激電極１０２と、イメージセンサ１０３と、撮影制御部１０４とを備える。撮影部１００は、イメージセンサ１０３を用いて心筋細胞の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃ  ｉｍａｇｅ）を取得する。本実施の形態では、撮影部１００は、フォーカスレンズを有さない。撮影部１００は、１つの装置又はシステムによって形成されてもよく、複数の装置又はシステムによって形成されてもよく、他の装置又はシステムに組み込まれてもよい。ここで、照明器１０１は、光源の一例である。
【００５９】
心筋細胞は、イメージセンサ１０３上に配置される。心筋細胞は、１つ以上の半透明の細胞で構成される。１つ以上の細胞は、イメージセンサ１０３上に、３次元的に重なって位置する場合もある。１つ以上の細胞は収縮及び弛緩を交互に繰り返して拍動し、それにより、心筋細胞全体が拍動する。
【００６０】
複数の照明器１０１のそれぞれは、拡散光を出力する照明器である。複数の照明器１０１のそれぞれは、交錯しない光を照射する。１つの照明器１０１から照射された光を表す複数の光線は、互いに交わらない。例えば、複数の照明器１０１のうちの第１の照明器及び第２の照明器に関して、第１の照明器から照射された第１の光を表す複数の第１の光線は、互いに交わらず、第２の照明器から照射された第２の光を表す複数の第２の光線も、互いに交わらない。したがって、第１の照明器及び第２の照明器のどちらか一方から光を照射した場合に、第１の照明器及び第２の照明器の当該一方からの光は、イメージセンサ１０３に含まれる１つの画素に単一の方向から到達する。つまり、各照明器１０１から照射された光は、１つの画素に対して２つ以上の方向から入射しない。このような照明光は、例えば、点光源からの拡散光によって実現可能であり、平行光を発する光源からの光によっても実現可能である。
【００６１】
複数の照明器１０１は、イメージセンサ１０３の受光面の上方に配置され、上方から下方に向かって光を照射する。複数の照明器１０１は、例えば、平面的に並んで配列され、順に、光を照射する。複数の照明器１０１は、心筋細胞及びイメージセンサ１０３からみたときに互いに異なる位置となるように配置され、互いに異なる方向から心筋細胞に光を照射する。
【００６２】
図２に示すように、刺激電極１０２は、一対の電極で構成される。なお、刺激電極１０２は、複数対の電極で構成されてもよい。一対の刺激電極１０２は、心筋細胞に、直流電流のパルスを電気刺激として与える。心筋細胞は、一対の刺激電極１０２の間に配置される。一対の刺激電極１０２は、電源と電気的に接続されている。刺激電極１０２の材料は、例えば、白金である。パルスは、例えば、０．３Ｖ（ボルト）の矩形波であり、例えば、方形波の持続時間は２ｍｓである。刺激電極１０２の電圧は、一対の刺激電極１０２間の距離に依存する。例えば、刺激電極１０２の電極間の距離が１ｃｍの場合、電圧は１Ｖ（ボルト）である。
【００６３】
撮影制御部１０４により、一対の刺激電極１０２を用いて、電気刺激の電圧の大きさ、及び電気刺激のタイミングが制御される。例えば、記憶部１２０に、電圧の大きさ、及び電気刺激間の時間間隔の情報が記憶されている。この場合、撮影制御部１０４は、記憶部１２０に記憶された上記情報を用いて、刺激電極１０２による電気刺激を制御する。刺激電極１０２が複数対の電極で構成される場合、記憶部１２０には、電極の対毎に、電圧の大きさ、及び電気刺激間の時間間隔が記憶されてもよい。例えば、撮影制御部１０４は、記憶部１２０に記憶されている電圧の大きさを参照して、一対の電極を用いて、心筋細胞に第１の電気刺激を与える。撮影制御部１０４は、第１の電気刺激の後、記憶部１２０に記憶されている電気刺激間の時間間隔が経過すると、一対の電極を用いて、心筋細胞に第２の電気刺激を与える。第２の電気刺激での電圧の大きさは、第１の電気刺激での電圧の大きさと同一であるが、異なっていてもよい。なお、撮影制御部１０４は、電圧の大きさ、及び電気刺激間の時間間隔を、画像生成システム１０の外部の記憶部から取得してもよい。
【００６４】
例えば、一対の刺激電極１０２は、心筋細胞に接触するように配置される。又は、図２に示すように、媒質を含む培養容器等の容器中に心筋細胞が位置する場合には、一対の刺激電極１０２は、培養液中に配置されてもよい。本実施の形態における媒質の一例は、培養溶液である。
【００６５】
イメージセンサ１０３は、複数のセンサ画素を有し、心筋細胞の画像を取得する。イメージセンサ１０３の各センサ画素は、受光面に配置され、複数の照明器１０１から照射された光の強度を取得する。イメージセンサ１０３は、各センサ画素により取得された光の強度に基づいて、撮影画像を取得する。なお、イメージセンサ１０３が撮影（撮像とも呼ばれる）するとは、イメージセンサ１０３が、そのセンサ画素毎に照射された光の強度を検知し記録することである。イメージセンサ１０３上には心筋細胞が配置され、イメージセンサ１０３は、心筋細胞を通じて照射される光の強度を取得する。イメージセンサ１０３は、取得した撮影画像の情報を記憶部１２０に格納する。
【００６６】
イメージセンサ１０３の例は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサである。
【００６７】
図２に示すように、本実施の形態では、シャーレ型の培養容器の底面に、一対の刺激電極１０２とイメージセンサ１０３とが配置される。イメージセンサ１０３を両側から挟むように、一対の刺激電極１０２が配置されている。培養容器の内部には、培養液が充填されている。心筋細胞は、イメージセンサ１０３上に配置され、培養液に接触している。一対の刺激電極１０２は、培養液中に位置し、刺激電極１０２の間に心筋細胞及びイメージセンサ１０３が配置される。図２の例では、刺激電極１０２は直線状の形状を有し、互いに略平行に配置されている。しかしながら、一対の刺激電極１０２は、心筋細胞を挟んで位置する構成であればよく、一対の刺激電極１０２は、直線以外の形状を有してもよく、平行以外の関係で配置されてもよい。
【００６８】
撮影制御部１０４は、心筋細胞への電気刺激の付与、複数の照明器１０１による光の照射、及びイメージセンサ１０３による撮像を制御する。具体的には、撮影制御部１０４は、刺激電極１０２による電気刺激の生成、電気刺激の生成から複数の照明器１０１が光を照射するまでの時間間隔の制御、複数の照明器１０１が光を照射する時間期間の制御、及び、複数の照明器１０１の光を照射する順番の制御等をする。撮影制御部１０４は、イメージセンサ１０３が撮影した撮影画像データにＩＤ、撮影時刻、照明した照明器１０１等を対応付けて、撮影画像に関する情報を記憶部１２０に格納する。
【００６９】
撮影制御部１０４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成されてもよい。撮影制御部１０４の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部１０４の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。
【００７０】
［画像処理部の構成］
図１を参照して、画像処理部１１０の構成を説明する。画像処理部１１０は、少なくとも１つの制御回路によって実現される。図１に示すように、画像処理部１１０は、焦点面決定部１１１と、リフォーカシング処理部１１２とを備える。画像処理部１１０は、１つの装置又はシステムによって形成されてもよく、複数の装置又はシステムによって形成されてもよく、他の装置又はシステムに組み込まれてもよい。
【００７１】
焦点面決定部１１１は、複数の照明器１０１及びイメージセンサ１０３の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部１１１は、焦点面の位置を決定する。仮想的な焦点面は、心筋細胞から離れた位置の面であってもよく、心筋細胞を通る断面であってもよい。仮想的な焦点面は、イメージセンサ１０３の受光面に平行な面だけでなく、受光面と交差する方向の面であってもよい。焦点面決定部１１１は、例えば、入力部１４０を介して外部から入力された情報に従って焦点面を決定する。又は、焦点面決定部１１１は、予め定められた焦点面の情報に従って焦点面を決定してもよい。
【００７２】
リフォーカシング処理部１１２は、複数の撮影画像と、複数の照明器１０１の位置情報と、仮想的な焦点面の位置情報とから、当該焦点面における合焦画像を生成する。具体的には、リフォーカシング処理部１１２は、複数の撮影画像と、複数の撮影画像それぞれの撮影時に照明した照明器１０１の位置情報とに基づき、合焦画像を構成する合焦画素が映し出されている撮影画像の画素を特定し、特定した画素を用いて、合焦画素の光の強度を算出する。なお、本実施の形態では、合焦画像を構成する画素を合焦画素と呼ぶ。リフォーカシング処理部１１２は、合焦画素毎に光の強度を算出し、合焦画像を生成する。この合焦画像を生成する処理をリフォーカシング処理と呼び、リフォーカシング処理の詳細は後述する。
【００７３】
焦点面決定部１１１及びリフォーカシング処理部１１２は、ＣＰＵ、ＲＡＭ、ＲＯＭなどからなるコンピュータシステム（図示せず）により構成されてもよい。焦点面決定部１１１及びリフォーカシング処理部１１２の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、焦点面決定部１１１及びリフォーカシング処理部１１２の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。
【００７４】
［記憶部の構成］
図１に示される記憶部１２０は、種々の情報を記録し格納する。記憶部１２０は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置によって実現される。記憶部１２０は、撮影部１００が撮影した複数の撮影画像等を格納する。記憶部１２０は、イメージセンサ１０３で撮影された撮影画像を、当該撮影に用いられた照明器１０１の位置情報及び撮影時の心筋細胞の状態と共に記憶する。
【００７５】
例えば、図３には、記憶部１２０が記憶する内容の一例が示されている。撮影部１００によって撮影された画像ファイル毎に、当該画像ファイルの取得時に用いられた照明器１０１の位置情報つまり光源位置と、当該画像ファイルの取得時の心筋細胞の状態とが記憶されている。心筋細胞の状態は、ここでは収縮と弛緩の２種類である。図３の例では、照明器１０１の位置情報は、イメージセンサ１０３に対する相対的な位置を示す。以下において、この照明器１０１の位置情報を照明位置情報とも呼ぶ。照明位置情報と心筋細胞の状態の情報とは、画像ファイルのファイルＩＤと共に又は対応付けられて記憶されており、画像ファイルとファイルＩＤを介して結合されている。なお、照明位置情報及び心筋細胞の状態の情報は、画像ファイルの一部（例えばヘッダ情報）に記録されてもよい。
【００７６】
［表示部及び入力部の構成］
図１に示される表示部１３０は、ディスプレイによって実現され、画像処理部１１０によって生成された画像を表示する。表示部１３０は、液晶パネル、有機又は無機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルによって構成されてよい。図１に示される入力部１４０は、コンピュータ装置などのキーボード、マウス、タッチパッド等の種々の入力装置によって実現されてもよく、表示部１３０の表示画面を構成するタッチスクリーン等の画面を介した入力装置によって実現されてもよい。入力部１４０に入力された情報を、画像処理部１１０の焦点面決定部１１１が受け付けてよい。
【００７７】
［画像生成システムの動作］
次に、以上のように構成された実施の形態１に係る画像生成システム１０の動作について説明する。図４を参照すると、実施の形態１に係る画像生成システム１０の動作の流れの一例を示すフローチャートが示されている。以下において、画像生成システム１０の動作について、図２に示すように培養容器内に配置されたイメージセンサ１０３上の心筋細胞を刺激電極１０２によって電気刺激を与えつつ撮影し、その撮影画像を用いて心筋細胞の合焦画像を生成する処理を説明する。
【００７８】
（ステップＳ１１００）
まず、撮影部１００の撮影制御部１０４は、一対の刺激電極１０２によって心筋細胞に電気刺激を加える。具体的には、撮影制御部１０４は、一対の刺激電極１０２と電気的に接続される電源に電気刺激の信号を出力することにより、心筋細胞に電気刺激を加える。撮影制御部１０４は、心筋細胞の収縮期間及び弛緩期間のそれぞれにおいて、イメージセンサ１０３に心筋細胞の複数の画像を撮影させる。撮影制御部１０４は、収縮期間及び弛緩期間それぞれにおいて、複数の照明器１０１を順番に照明させ、照明器１０１が照明する毎に、イメージセンサ１０３に心筋細胞の画像を撮影させる。ここで、心筋細胞の収縮期間とは、心筋細胞が収縮した状態で静止する期間である。心筋細胞の弛緩期間とは、心筋細胞が弛緩した状態で静止する期間である。
【００７９】
図５を用いて、心筋細胞の収縮期間及び弛緩期間を詳細に説明する。図５は、電気刺激が与えられた心筋細胞の状態の一例を時系列的に示す模式図である。電気刺激を受けた心筋細胞は、収縮伝播、収縮動作、収縮静止期間、弛緩動作、及び弛緩静止期間の順に、心筋細胞の状態を変化させる。ここで、収縮静止期間は、収縮期間とも表記され、第１の静止期間の一例である。弛緩静止期間は、弛緩期間とも表記され、第２の静止期間の一例である。
【００８０】
心筋細胞に電気刺激が与えられた場合、心筋細胞を構成する複数の細胞間を電気刺激が伝播する。そして、電気刺激を受けた細胞は収縮動作を始める。このような細胞を収縮させる電気刺激が伝播することを、収縮伝播と呼ぶ。伝播速度は、例えば、生体の心筋細胞では１ｍ／秒程度といわれており、ｉＰＳ分化心筋細胞では０．１ｍ／秒から０．３ｍ／秒程度といわれている。心筋細胞の直径が３００μｍの場合、細胞がｉＰＳ分化心筋細胞であれば、全ての細胞への伝播に約１ｍｓを要する。
【００８１】
電気刺激を受けた心筋細胞は、収縮動作を始める。本発明者らが心筋細胞全体を観察したところ、心筋細胞全体が収縮動作する期間は、５０ｍｓから１００ｍｓ程度であった。心筋細胞全体は、収縮を完了すると収縮した状態で静止し、その期間は、３００ｍｓから４００ｍｓ程度であった。心筋細胞全体が収縮後に収縮したまま静止している期間は、収縮期間である。ここで、収縮伝播に要する期間と収縮動作に要する期間とを合わせた期間は、電気刺激後から収縮期間までの期間であり、第１の所定時間の一例である。また、心筋細胞が収縮したまま静止している状態は、第１の静止状態の一例であり、収縮期間は、第１の時間区間の一例である。
【００８２】
収縮期間が終了した後、心筋細胞は、弛緩動作を開始する。心筋細胞全体が弛緩動作する期間は５０ｍｓから１００ｍｓ程度であった。心筋細胞全体は、弛緩を完了すると弛緩した状態で静止し、次の電気刺激が与えられるまで静止状態を維持する。弛緩完了後から次の電気刺激が与えられるまでの期間が、弛緩期間となる。電気刺激の付与が１回／１秒程度すなわち１分に６０回程度の頻度で実施された場合は、弛緩期間は４００ｍｓから６００ｍｓ程度となる。収縮期間及び弛緩期間の長さは、電気刺激の頻度が高くなると短くなる。心筋細胞の拍動が追随できる電気刺激の頻度は、生体の心筋細胞の場合では１８０回／分程度までであるが、培養心筋細胞の場合では、１２０回／分程度までといわれている。このように、電気刺激が与えられることによって、心筋細胞の拍動がコントロールされる。ここで、収縮期間は、電気刺激付与直後に近い期間であり、弛緩期間は、電気刺激直前の期間であるといえる。また、弛緩動作に要する期間は、収縮期間から弛緩期間までの期間であり、第２の所定時間の一例である。そして、心筋細胞が弛緩した状態で静止している状態は、第２の静止状態の一例であり、弛緩期間は、第２の時間区間の一例である。
【００８３】
図５の例は、培養心筋細胞を対象としており、電気刺激の頻度は１回／１秒すなわち６０回／１分の標準的な刺激頻度での例を示している。電気刺激付与直後の心筋細胞内の刺激の伝播に１ｍｓ程度を要し、心筋細胞の収縮の動作に５０ｍｓが必要である。収縮期間は、３００ｍｓである。電気刺激付与後の経過時間が、５１ｍｓ以上３５１ｍｓ未満の期間では、心筋細胞は収縮した状態で静止している。電気刺激付与後３５１ｍｓを経過した後に、心筋細胞は弛緩し始める。心筋細胞の弛緩の動作に５０ｍｓが必要である。電気刺激付与後の経過時間が、４０１ｍｓ以上次の電気刺激の付与時までの期間、つまり、約６００ｍｓの期間では、心筋細胞が弛緩した状態で静止し、この期間が弛緩期間である。
【００８４】
具体的には、撮影部１００は、刺激電極１０２よって電気刺激を出力し、図５の例では電気刺激付与後５１ｍｓ以上３５１ｍｓ未満の期間である収縮期間と、図５の例では電気刺激後４０１ｍｓ以上１０００ｍｓ未満の期間である弛緩期間とにおいて、心筋細胞の画像を撮影する。なお、図５に示す１つの収縮期間及び１つの弛緩期間のみで、心筋細胞の画像が撮影されてもよく、複数の収縮期間及び複数の弛緩期間にわたって、心筋細胞の画像が撮影されてもよい。これにより、上述したように、撮影部１００は、複数の照明器１０１のそれぞれが心筋細胞を照明するたびに、イメージセンサ１０３の受光面のセンサ画素に到達した光の強度を記録することにより、心筋細胞の撮影画像を取得する。撮影部１００は、撮影画像を、撮影時に心筋細胞を照明していた照明器１０１の位置情報と心筋細胞の状態の情報と共に、記憶部１２０に記憶させる。ここでは、複数の照明器１０１の位置は、イメージセンサ１０３に対して固定されており、複数の照明器１０１の各々の位置情報は予め定められている。ステップＳ１１００の撮影処理の詳細は後述する。
【００８５】
（ステップＳ１２００）
次いで、画像処理部１１０の焦点面決定部１１１は、心筋細胞の合焦画像を生成する焦点面を決定する。具体的には、焦点面決定部１１１は、イメージセンサ１０３の受光面を形成する表面に対する当該焦点面の位置及び傾き（角度）を決定する。焦点面決定部１１１は、焦点面として、ステップＳ１１００において収縮期間に取得された撮影画像から合焦画像を生成する焦点面と、弛緩期間に取得された撮影画像から合焦画像を生成する焦点面との２つの焦点面を決定する。つまり、焦点面決定部１１１は、収縮時及び弛緩時の心筋細胞の合焦画像を生成するために、２つの焦点面を決定する。なお、焦点面決定部１１１は、予め定められた焦点面の情報に基づいて焦点面を決定してもよい。又は、焦点面決定部１１１は、入力部１４０によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。
【００８６】
図６を参照すると、イメージセンサ１０３の表面である平面と焦点面との関係の一例の模式的な図が示されている。例えば、焦点面決定部１１１は、焦点面の角度及び位置を用いて焦点面を決定する。焦点面の角度及び位置は、例えば図６に示すｘｙｚ空間によって定義される。図６において、ｘｙ平面は、イメージセンサ１０３の受光面と一致する。ｚ軸は、イメージセンサ１０３の受光面に直交する。このとき、焦点面の角度は、イメージセンサ１０３の受光面の中心を原点とするｘｙｚ空間においてｘ軸及びｙ軸に対する角度で定義される。焦点面の位置は、焦点面の中心点の座標で定義される。焦点面は、合焦画像が生成される仮想的な面に相当する。つまり、焦点面における心筋細胞の合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。
【００８７】
（ステップＳ１３００）
画像処理部１１０のリフォーカシング処理部１１２は、ステップＳ１１００で取得した、収縮期間の複数の撮影画像による画像群と弛緩期間の複数の撮影画像による画像群との２つの画像群について、リフォーカシング処理を行う。リフォーカシング処理部１１２は、収縮期間に取得した複数の撮影画像と、当該撮影画像に対応する複数の照明器１０１の位置情報と、収縮期間のための焦点面の情報とに基づいて、当該焦点面の合焦画像を生成するためのリフォーカシング処理を行う。また、リフォーカシング処理部１１２は、弛緩期間に取得した複数の撮影画像と、当該撮影画像に対応する複数の照明器１０１の位置情報と、弛緩期間のための焦点面の情報とに基づいて、当該焦点面の合焦画像を生成するためのリフォーカシング処理を行う。リフォーカシング処理の詳細は後述する。リフォーカシング処理部１１２はさらに、リフォーカシング処理の結果に基づき、表示部１３０等に出力可能な収縮期間のための焦点面の画像データと弛緩期間のための焦点面の画像データとを生成する。
【００８８】
（ステップＳ１４００）
リフォーカシング処理部１１２は、表示部１３０に、ステップＳ１３００で生成された画像を出力し、表示させる。
【００８９】
［撮影処理］
ここでステップＳ１１００の撮影部１００の動作の詳細を説明する。図７は、撮影部１００の動作の流れの一例を示すフローチャートである。
【００９０】
（ステップＳ１１０１）
撮影制御部１０４は、例えば、記憶部１２０等に記憶されている予め定められた複数の照明器１０１の位置のリスト、又は図示しない外部入力によって指定された複数の照明器１０１の位置のリスト（以下、いずれのリストも照明位置リストという）を参照して、各照明器１０１の位置から照明された心筋細胞の撮影が、収縮期間と弛緩期間との両期間のそれぞれにおいて終了したか否かを判定する。なお、以下の説明において、照明器１０１の位置を、照明位置とも呼ぶ。具体的には、撮影制御部１０４は、各期間について、照明位置リストに含まれるすべての照明位置において、照明器１０１による照明の際のイメージセンサ１０３による心筋細胞の撮影が、終了したか否かを判定する。
【００９１】
ここで、収縮期間と弛緩期間との両期間のそれぞれにおいて、照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合（ステップＳ１１０１においてＹＥＳ）、撮影制御部１０４は、ステップＳ１２００へ進む。一方、収縮期間と弛緩期間との両期間のいずれかにおいて、照明位置リスト内のいずれかの照明位置からの照明による撮影が終了していない場合（ステップＳ１１１０においてＮＯ）、撮影制御部１０４は、ステップＳ１１０２へ進む。
【００９２】
（ステップＳ１１０２）
撮影制御部１０４は、刺激電極１０２より電気刺激として直流電気パルスを出力する。この電気刺激により心筋細胞内の各細胞の拍動運動のタイミングの同期が行われる（Ｐａｃｉｎｇ）。
【００９３】
（ステップＳ１１０３）
撮影制御部１０４は、照明位置リストを参照して、収縮期間において、各照明位置から照明された際の心筋細胞の撮影が終了したか否かを判定する。ここで、収縮期間において照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合（ステップＳ１１０３においてＹＥＳ）、撮影制御部１０４は、ステップＳ１１０７へ進む。一方、収縮期間において照明位置リスト内のいずれかの照明位置からの照明による撮影が終了していない場合（ステップＳ１１０３においてＮＯ）、撮影制御部１０４は、ステップＳ１１０４へ進む。
【００９４】
（ステップＳ１１０４）
撮影制御部１０４は、ステップＳ１１０２で出力した電気刺激信号の出力からの経過時間に従って、心筋細胞が、収縮した状態で静止している収縮期間にあるか否かを判定する。収縮期間は、図５の例では電気刺激の出力からの経過時間が５１ｍｓ以上且つ３５１ｍｓ未満である期間である。ここで、電気刺激出力後の現在の経過時間が、５１ｍｓ以上３５１ｍｓ未満である場合、すなわち心筋細胞が収縮期間にある場合（ステップＳ１１０４においてＹＥＳ）、撮影制御部１０４は、ステップＳ１１０５へ進む。一方、電気刺激出力後の現在の経過時間が５１ｍｓ以上３５１ｍｓ未満に含まれない場合、すなわち心筋細胞が収縮期間にない場合（ステップＳ１１０４においてＮＯ）、撮影制御部１０４は、ステップＳ１１０７へ進む。
【００９５】
（ステップＳ１１０５）
撮影制御部１０４は、照明位置リストに含まれる複数の照明位置の中から、収縮期間においてはまだ照明が行われていない照明位置を選択し、選択した照明位置の照明器１０１へ制御信号を出力する。照明位置リストにおいて、各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、図６に示すｘｙｚ空間における座標値によって示される。照明位置の選択は、例えば、リストの昇順に行われる。照明器１０１は、撮影制御部１０４より出力された制御信号に従って、心筋細胞への照明を開始する。つまり、撮影制御部１０４で選択された照明位置にある照明器１０１が光の照射を開始する。
【００９６】
（ステップＳ１１０６）
照明器１０１によって心筋細胞が照明されている間、撮影制御部１０４は、イメージセンサ１０３に、当該照明器１０１から心筋細胞を透過した光によって形成される撮影画像を取得させる。撮影制御部１０４は、取得された撮影画像と、ステップＳ１１０５で用いられた照明器１０１の位置情報と、心筋細胞の状態の情報、すなわち収縮状態であることの情報とを、記憶部１２０へ出力する。そして、記憶部１２０は、撮影画像データと照明位置の情報と心筋細胞の状態の情報とを互いに対応付けて記憶する。
【００９７】
イメージセンサ１０３による画像取得終了後、撮影制御部１０４は、照明器１０１へ制御信号を出力して、心筋細胞への照明を停止する。なお、照明の停止は、撮影制御部１０４からの制御信号に従って行われなくてもよい。例えば、照明器１０１は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。又は、ステップＳ１１０６でイメージセンサ１０３が撮影画像の取得を終了した後に、イメージセンサ１０３は、照明を停止するための制御信号を照明器１０１に出力してもよい。画像取得及び記憶処理終了後、撮影制御部１０４は、ステップＳ１１０３へ戻る。ステップＳ１１０３からステップＳ１１０６を繰り返すことで、撮影部１００は、１回の収縮期間中に複数の画像の撮影を行うことにより、撮影画像を取得する。
【００９８】
（ステップＳ１１０７）
撮影制御部１０４は、照明位置リストを参照して、弛緩期間において、各照明位置から照明された際の心筋細胞の撮影が終了したか否かを判定する。ここで、弛緩期間において照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合（ステップＳ１１０７においてＹＥＳ）、撮影制御部１０４は、ステップＳ１１０１へ戻る。一方、弛緩期間において照明位置リスト内のいずれかの照明位置からの照明による撮影が終了していない場合（ステップＳ１１０７においてＮＯ）、撮影制御部１０４は、ステップＳ１１０８へ進む。
【００９９】
（ステップＳ１１０８）
撮影制御部１０４は、ステップＳ１１０２で出力した電気刺激信号の出力からの経過時間に従って、次の電気刺激信号の出力を行う時間であるか否かを判定する。撮影制御部１０４は、電気刺激信号を、図５の例では先行する電気刺激信号の出力から１０００ｍｓすなわち１秒経過した時点で出力する。電気刺激信号は、例えば一定の時間間隔で出力される。これに限定されるものではないが、本実施の形態での時間間隔は、図５の例のように１０００ｍｓである。ここで、ステップＳ１１０２での電気刺激信号の出力から所定の時間、具体的には１０００ｍｓが経過している場合（ステップＳ１１０８においてＹＥＳ）、撮影制御部１０４は、ステップＳ１１０１へ戻る。電気刺激信号の出力から未だ所定の時間が経過していない場合（ステップＳ１１０８においてＮＯ）、撮影制御部１０４は、ステップＳ１１０９へ進む。
【０１００】
（ステップＳ１１０９）
撮影制御部１０４は、ステップＳ１１０２で出力した電気刺激信号の出力からの経過時間に従って、心筋細胞が、弛緩した状態で静止している弛緩期間にあるか否かを判定する。弛緩期間は、図５の例では電気刺激の出力からの経過時間が４０１ｍｓ以上且つ１０００ｍｓ未満である期間である。ここで、電気刺激出力後の現在の経過時間が、４０１ｍｓ以上１０００ｍｓ未満である場合、すなわち心筋細胞が弛緩期間にある場合（ステップＳ１１０９においてＹＥＳ）、撮影制御部１０４は、ステップＳ１１１０へ進む。一方、電気刺激出力後の現在の経過時間が４０１ｍｓ以上１０００ｍｓ未満に含まれない場合、すなわち心筋細胞が弛緩期間にない場合（ステップＳ１１０９においてＮＯ）、撮影制御部１０４は、ステップＳ１１０８へ戻る。
【０１０１】
（ステップＳ１１１０）
撮影制御部１０４は、照明位置リストに含まれる複数の照明位置の中から、弛緩期間においてはまだ照明が行われていない照明位置を選択し、選択した照明位置の照明器１０１へ制御信号を出力する。照明器１０１は、撮影制御部１０４より出力された制御信号に従って、心筋細胞への照明を開始する。つまり、撮影制御部１０４で選択された照明位置にある照明器１０１が光の照射を開始する。
【０１０２】
（ステップＳ１１１１）
照明器１０１によって心筋細胞が照明されている間、撮影制御部１０４は、イメージセンサ１０３に、当該照明器１０１から心筋細胞を透過した光によって形成される撮影画像を取得させる。撮影制御部１０４は、取得された撮影画像と、ステップＳ１１１０で用いられた照明器１０１の位置情報と、心筋細胞の状態の情報、すなわち弛緩状態であることの情報とを、記憶部１２０へ出力する。そして、記憶部１２０は、撮影画像データと照明位置の情報と心筋細胞の状態の情報とを互いに対応付けて記憶する。
【０１０３】
イメージセンサ１０３による画像取得及び記憶処理終了後、撮影制御部１０４は、照明器１０１へ制御信号を出力して、心筋細胞への照明を停止し、ステップＳ１１０７へ戻る。ステップＳ１１０７からステップＳ１１１１を繰り返すことで、撮影部１００は、１回の弛緩期間中に複数の画像の撮影を行うことにより、撮影画像を取得する。
【０１０４】
ステップＳ１１０１からステップＳ１１１１を繰り返すことで、撮影部１００は、収縮期間及び弛緩期間それぞれにおいて、照明する照明器１０１の位置を替えつつ複数回の撮影を行う。さらに、撮影部１００は、１回の電気刺激を行うことで、１つの収縮期間及び１つの弛緩期間それぞれで心筋細胞の撮影を行う。又は、撮影部１００は、電気刺激を繰り返すことで、撮影を行う収縮期間及び弛緩期間を繰り返し発生させ、複数の収縮期間及び複数の弛緩期間それぞれで心筋細胞の撮影を行う。これにより、撮影部１００は、収縮期間及び弛緩期間の両期間においてリフォーカシング処理に必要な撮影画像のすべてを撮影する。
【０１０５】
［リフォーカシング処理］
さらに、ステップＳ１３００のリフォーカシング処理部１１２の動作の詳細を説明する。図８は、実施の形態１に係るリフォーカシング処理部１１２のリフォーカシング処理の流れの一例を示すフローチャートである。図９〜図１３は、リフォーカシング処理の計算方法の具体例を説明する模式図である。以下に、図８のフローチャートに沿って、リフォーカシング処理を具体的に説明する。
【０１０６】
（ステップＳ１３１０）
リフォーカシング処理部１１２は、ステップＳ１２００で決定された収縮期間のための焦点面及び弛緩期間のための焦点面それぞれの情報を焦点面決定部１１１から取得する。焦点面の情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。図６に示すように、焦点面の傾きは、例えば、焦点面及びｘｚ平面の交線がｘ軸と成す角度によって表される。また例えば、焦点面の傾きは、焦点面及びｙｚ平面の交線がｙ軸と成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。
【０１０７】
例えば、図９を参照すると、撮影部１００の複数の照明器１０１、撮影の対象物である心筋細胞１０００、及びイメージセンサ１０３の位置関係の一例が示されている。なお、図９は、イメージセンサ１０３及び心筋細胞１０００の、イメージセンサ１０３の受光面に垂直な平面における断面図の一例を示す。心筋細胞１０００は、照明器１０１ａ及び１０１ｂ、並びにイメージセンサ１０３の間に位置し、且つイメージセンサ１０３上に位置する。リフォーカシング処理部１１２は、ステップＳ１３１０において、焦点面１１００の情報を取得する。
【０１０８】
（ステップＳ１３２０）
リフォーカシング処理部１１２は、ステップＳ１３１０で取得した焦点面１１００に対応する合焦画像に含まれる全画素について、リフォーカシング処理が終了したか否かを判定する。ここでは、リフォーカシング処理とは、ステップＳ１３２０からステップＳ１３９０までの処理を意味する。合焦画像に含まれる全画素についてリフォーカシング処理が終了している場合（ステップＳ１３２０においてＹＥＳ）、リフォーカシング処理部１１２は、リフォーカシング処理を終了する（ステップＳ１３９１を経由してステップＳ１４００へ進む）。合焦画像に含まれるいずれかの画素についてリフォーカシング処理が終了していない場合（ステップＳ１３２０においてＮＯ）、リフォーカシング処理部１１２は、リフォーカシング処理を続行する（ステップＳ１３３０へ進む）。
【０１０９】
合焦画像は、合焦画素である複数の画素を含む。合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。図１０を参照すると、合焦画像に含まれる複数の画素に対応する、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅの一例が示されている。なお、図１０に示す焦点面１１００上の複数の点１１０２ａ〜１１０２ｅは、心筋細胞１０００上の点であったが、心筋細胞１０００上ではない点が合焦画像の画素に対応してもよい。
【０１１０】
（ステップＳ１３３０）
リフォーカシング処理部１１２は、合焦画像に含まれる複数の画素の中から１つの画素を選択する。ここで選択される１つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカシング処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は０である。例えば、図１に示される記憶部１２０に、合焦画像のうちすでにリフォーカシング処理が実行された画素の情報が記憶されている。後述するステップＳ１３９０の処理の後、リフォーカシング処理部１１２は、記憶部１２０にリフォーカシング処理した画素の情報を記録する。リフォーカシング処理部１１２は、記憶部１２０に記録された画素の情報を参照して、リフォーカシング処理がまだ実行されていない画素を選択する。以下、図１１に示すように、点１１０２ａに対応する画素が選択された場合について説明する。また、点１１０２ａに対応する画素を選択画素とも表記する。
【０１１１】
（ステップＳ１３４０）
リフォーカシング処理部１１２は、選択画素において、すべての照明位置に対する加算処理が終了しているか否かを判定する。ここで、すべての照明位置に対する加算処理が終了している場合（ステップＳ１３４０においてＹＥＳ）、リフォーカシング処理部１１２の処理は、ステップＳ１３２０に戻る。一方、いずれかの照明位置に対する加算処理が終了していない場合（ステップＳ１３４０においてＮＯ）、リフォーカシング処理部１１２は加算処理を続行する（ステップＳ１３５０に進む）。ここで、加算処理とは、ステップＳ１３４０からステップＳ１３９０までの処理を意味する。
【０１１２】
（ステップＳ１３５０）
リフォーカシング処理部１１２は、撮影に用いたすべての照明位置の中からまだ加算処理が終了していない照明位置を選択する。
【０１１３】
（ステップＳ１３６０）
リフォーカシング処理部１１２は、選択された照明位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ１０３の受光面と交差する点の位置を計算する。つまり、リフォーカシング処理部１１２は、選択された照明位置に対応するイメージセンサ１０３上の位置を計算する。例えば、図１２を参照すると、照明器１０１ａの位置と選択画素に対応する点１１０２ａとを通る直線１２００が、イメージセンサ１０３の受光面と交点１１０３ａで交差する例が示されている。以下において、交点１１０３ａを、加算処理を行う対象の点である対象点とも表記する。イメージセンサ１０３の受光面上の対象点は、例えば、図６に示すｘｙ平面上の座標値で表される。
【０１１４】
（ステップＳ１３７０）
リフォーカシング処理部１１２は、選択された照明位置に対応する画像を記憶部１２０から取得する。つまり、リフォーカシング処理部１１２は、選択された照明位置にある照明器１０１を用いて撮影された画像を記憶部１２０から取得する。具体的には、リフォーカシング処理部１１２は、図３に示されるような照明位置情報と心筋細胞の状態の情報と画像との対応関係に従って、記憶部１２０に記憶された画像を取得する。例えば、リフォーカシング処理部１１２は、収縮期間に撮影された画像のうちで、図１１に示す照明器１０１ａの位置に対応する画像、つまり照明器１０１ａの照明時に撮影された画像を取得する。
【０１１５】
（ステップＳ１３８０）
リフォーカシング処理部１１２は、ステップＳ１３６０で計算されたイメージセンサ１０３上の対象点の撮影画像中の位置を決定する。具体的には、リフォーカシング処理部１１２は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。撮影画像における対象点の位置が、撮影画像の画素の位置である場合、リフォーカシング処理部１１２は、撮影画像における対象点の輝度値を、当該画素の輝度値とする。撮影画像における対象点の位置が複数の画素の中間位置である場合、リフォーカシング処理部１１２は、対象点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮影画像における対象点の輝度値を計算する。具体的には、リフォーカシング処理部１１２は、例えば、対象点に隣接する複数の画素（例えば４画素）のそれぞれについて、各画素と対象点との距離を求め、対象点及び各画素間の距離と基準距離との比を各画素の輝度値に乗じて加算することで、撮影画像における対象点の輝度値を求める。
【０１１６】
図１３は、ステップＳ１３８０における対象点の輝度値の計算を説明するための模式図である。図１３において、対象点に隣接する４つの画素Ａ〜画素Ｄと対象点との距離は、それぞれ、ａ、ｂ、ｃ、及びｄと表されている。この場合、対象点の輝度値Ｌｔは、以下の式１で求められる。
【０１１７】
【数１】
2018194412.tif 000003
【０１１８】
ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄは、それぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表し、Ｓは基準距離を表す。例えば、Ｓは以下の式２のように対象点と各画素との距離の平均としてもよい。
【０１１９】
【数２】
2018194412.tif 000004
【０１２０】
（ステップＳ１３９０）
リフォーカシング処理部１１２は、合焦画像上の選択画素の輝度値にステップＳ１３８０で計算した対象点の輝度値を加算する。
【０１２１】
ステップＳ１３４０からステップＳ１３９０までの処理を各照明位置に関して繰り返すことにより、全ての照明位置について、撮影された画像中の対象点の輝度値が選択画素の輝度値に加算された結果が、選択画素の輝度値として計算される。このような加算処理によって、焦点面上の各点について、当該点を透過した複数の方向からの光によって形成された複数の画像が合焦画像の１つの画素に重ねられる。
【０１２２】
例えば、図１２において、照明器１０１ａから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０３の受光面上の対象点（交点１１０３ａ）に到達する。したがって、照明器１０１ａの照明を通じて撮影された画像中の対象点（交点１１０３ａ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。また、図１２において、照明器１０１ｂから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０３の受光面上の対象点（交点１１０３ｂ）に到達する。したがって、照明器１０１ｂの照明を通じて撮影された画像中の対象点（交点１１０３ｂ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。このような対象点（交点１１０３ａ）における画像（輝度値）及び対象点（交点１１０３ｂ）における画像（輝度値）が加算されることにより、複数の方向からの光によって形成された複数の画像が合焦画像の選択画素に重ねられる。
【０１２３】
（ステップＳ１３９１）
ステップＳ１３２０に続くステップＳ１３９１において、リフォーカシング処理部１１２は、ステップＳ１３２０からステップＳ１３９０を、収縮期間の焦点面に関して繰り返すことで、収縮期間の撮影画像を用いたリフォーカシング処理により得られる合焦画像上の各画素の輝度に基づき、当該焦点面における収縮期間の画像を生成する。また、リフォーカシング処理部１１２は、ステップＳ１３２０からステップＳ１３９０を、弛緩期間の焦点面に関して繰り返すことで、弛緩期間の撮影画像を用いたリフォーカシング処理により得られる合焦画像上の各画素の輝度に基づき、当該焦点面における弛緩期間の画像を生成する。
【０１２４】
上述のようなリフォーカシング処理によれば、焦点面上における画素の位置及び照明器１０１の位置を結ぶ直線とイメージセンサ１０３の受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、心筋細胞の高画質な合焦画像を生成することができる。
【０１２５】
なお、上述のリフォーカシング処理では、照明器１０１の位置と選択画素に対応する点とを通る直線と、イメージセンサ１０３の受光面との交点である対象点を用いていた。つまり、照明器１０１の位置と選択画素に対応する点とイメージセンサ１０３の受光面上の対象点との関係に基づき、選択画素の輝度値に加算すべき輝度値を有する対象点を特定していた。しかしながら、点同士の関係ではなく、照明器１０１の位置と選択画素とイメージセンサ１０３の受光面上のセンサ画素との関係に基づき、選択画素の輝度値に加算すべき輝度値を有する画素を特定してもよい。例えば、照明器１０１から出射されて選択画素の領域内を通った後、イメージセンサ１０３の受光面上に到達する光を受光するイメージセンサ１０３のセンサ画素が検知する輝度値が、選択画素の輝度値に加算されるように構成されてもよい。つまり、照明器１０１の位置と選択画素とイメージセンサ１０３のセンサ画素とが直線上に並ぶ位置関係にあるイメージセンサ１０３のセンサ画素により検知される輝度値が、選択画素の輝度値に加算されてもよい。
【０１２６】
［効果］
以上のように、本実施の形態に係る画像生成システム１０は、心筋細胞への電気刺激によって同期された心筋細胞中の細胞の拍動において、電気刺激後に生じる一定の期間、つまり心筋細胞が収縮して静止している状態（収縮期間）の間に複数の異なる光源位置（照明位置）からの照明を通じた撮影画像を取得する。さらに、画像生成システム１０は、電気刺激後、収縮期間より後の一定の期間、つまり心筋細胞が弛緩して静止している状態（弛緩期間）の間に複数の異なる光源位置（照明位置）からの照明を通じた撮影画像を取得する。そして、画像生成システム１０は、収縮期間及び弛緩期間の各々の期間で取得した撮影画像を元に、収縮期間及び弛緩期間の各々の焦点面についてリフォーカシング処理を行う。それにより、画像生成システム１０は、収縮期間及び弛緩期間の各々について、自由な焦点面での心筋細胞の画像を得ることができる。これにより、画像生成システム１０は、拍動する心筋細胞についても収縮状態と弛緩状態との両状態における心筋細胞内部の状態を観察することを可能にする。
【０１２７】
［実施の形態２］
実施の形態２に係る画像生成システム２０について説明する。実施の形態２に係る画像生成システム２０は、収縮期間に撮影された撮影画像中の心筋細胞の外形の大きさと、弛緩期間に撮影された撮影画像中の心筋細胞の外形の大きさとから、収縮期間及び弛緩期間の間での心筋細胞の大きさの変化率をもとめる。さらに、画像生成システム２０は、心筋細胞のうちの同一の細胞群における収縮期間の画像及び弛緩期間の画像を生成するために、上記変化率に基づき、当該細胞群を含む焦点面を、収縮期間及び弛緩期間の各々について決定する。そして、画像生成システム２０は、決定した焦点面の合焦画像を生成して表示する。以下に、実施の形態２について、実施の形態１と異なる点を中心に説明する。
【０１２８】
［画像生成システムの構成］
図１４を参照して、実施の形態２に係る画像生成システム２０の構成を説明する。なお、図１４は、実施の形態２に係る画像生成システム２０の機能的な構成の一例を示すブロック図である。以降の図において、既出の図と実質的に同一の構成要素については、同一の参照符号を付し、適宜説明を省略する。画像生成システム２０は、撮影部１００と、画像処理部２１０と、記憶部１２０と、表示部１３０と、入力部１４０とを備える。撮影部１００は、実施の形態１と同様に、複数の照明器１０１と、刺激電極１０２と、イメージセンサ１０３と、撮影制御部１０４とを備える。
【０１２９】
画像処理部２１０は、焦点面決定部２１１と、リフォーカシング処理部１１２と、調整部２１２とを備える。調整部２１２は、伸縮率計算部２１３と、調整値決定部２１４とを有する。調整部２１２、伸縮率計算部２１３及び調整値決定部２１４は、リフォーカシング処理部１１２等について上述した構成と同様の構成を有してもよい。
【０１３０】
伸縮率計算部２１３は、イメージセンサ１０３の表面に沿う平面上での心筋細胞の伸縮率を算出する。伸縮率計算部２１３は、記憶部１２０に記憶された照明器１０１の位置情報及び撮影時の心筋細胞の状態と対応付けられた画像情報を取得する。伸縮率計算部２１３は、取得した画像情報を用いて、収縮している状態の心筋細胞のｘｙ平面（イメージセンサ１０３の表面に沿う平面）上での外周形状（輪郭又は外形とも呼ぶ）と、弛緩している状態の心筋細胞のｘｙ平面上での外周形状（輪郭又は外形とも呼ぶ）とから、ｘｙ平面上での心筋細胞の伸縮率を計算する。
【０１３１】
調整値決定部２１４は、イメージセンサ１０３の表面に沿う平面に垂直な方向での心筋細胞の伸縮率を推定する。調整値決定部２１４は、伸縮率計算部２１３によって計算されたｘｙ平面での心筋細胞の伸縮率のうち、伸縮率が最大となる方向での伸縮率に基づいて、ｘｙ平面に垂直なｚ軸方向の心筋細胞の伸縮率を推定する。
【０１３２】
焦点面決定部２１１は、心筋細胞の収縮期間のための第１の仮想的な焦点面と、心筋細胞の弛緩期間のための第２の仮想的な焦点面とを決定する。焦点面決定部２１１は、例えば、入力部１４０を介して入力された第１の仮想的な焦点面の情報を用いてもよい。そして、焦点面決定部２１１は、入力された情報に基づいて、第１の仮想的な焦点面を決定してもよい。
【０１３３】
焦点面決定部２１１は、伸縮率計算部２１３によって決定されたｘｙ平面での心筋細胞の伸縮率と、調整部２１２によって推定されたｚ軸方向の心筋細胞の伸縮率とに従って、各焦点面を決定する。焦点面決定部２１１は、収縮期間のための第１の焦点面に対応する弛緩期間のための第２の焦点面を決定する。第１の焦点面の合焦画像中にみられる細胞群と同一の細胞群が、第２の焦点面の合焦画像中にみられるように、焦点面決定部２１１は、２つの焦点面を決定する。例えば、焦点面決定部２１１は、入力部１４０を介して収縮期間のための第１の焦点面の位置情報が入力された場合は、当該第１の焦点面に対応する弛緩期間のための第２の焦点面を決定する。また、焦点面決定部２１１は、入力部１４０を介して第２の焦点面の位置情報が入力された場合は、当該第２の焦点面に対応する第１の焦点面を決定する。
【０１３４】
リフォーカシング処理部１１２は、複数の撮影画像と、複数の照明器１０１の位置情報と、焦点面の情報とから、当該焦点面における合焦画像を構成する画素ごとの光の強度を計算し、画像を生成する。
【０１３５】
［画像生成システムの動作］
次に、図１５を参照して、実施の形態２に係る画像生成システム２０の動作について説明する。なお、図１５は、実施の形態２に係る画像生成システム２０の動作の流れの一例を示すフローチャートである。図１５において図４と実質的に同一のステップつまり処理については、同一の符号を付し、適宜説明を省略する。
【０１３６】
（ステップＳ１１００）
撮影部１００は、収縮期間の間に、複数の照明器１０１を順に用いて心筋細胞を照明しつつ、当該心筋細胞の複数の画像を撮影する。さらに、撮影部１００は、収縮期間が終了した後に、弛緩期間の間に、複数の照明器１０１を順に用いて心筋細胞を照明しつつ、当該心筋細胞の複数の画像を撮影する。
【０１３７】
（ステップＳ２１００）
調整部２１２は、ステップＳ１１００で取得された撮影画像のうち、収縮期間に取得された撮影画像におけるｘｙ平面での心筋細胞の外周を算出する。さらに、調整部２１２は、弛緩期間に取得された撮影画像におけるｘｙ平面での心筋細胞の外周を算出する。調整部２１２は、収縮期間の心筋細胞の外周と弛緩期間の心筋細胞の外周とから、収縮期間及び弛緩期間の間での外周のｘｙ平面上での伸縮率が最大となる方向を算出し、さらに、伸縮率が最大となる方向における外周の伸縮率を算出する。なお、上記の伸縮率の算出では、同じ照明位置での照明の際に撮影された、収縮期間の撮影画像及び弛緩期間の撮影画像が用いられる。また、調整部２１２は、伸縮率が最大の方向を第１軸方向として、第１の軸に対して直交するｘｙ平面上の第２軸方向に沿った外周の伸縮率を求める。さらに、調整部２１２は、ｘｙ平面に垂直なｚ軸方向の心筋細胞の伸縮率が第２軸上での心筋細胞の伸縮率と等しいものとして、ｚ軸方向の心筋細胞の伸縮率を推定する。調整部２１２は、算出した伸縮率及びその方向を、焦点面の調整値として決定する。ここで、ｚ軸方向の心筋細胞の伸縮率は、第１の静止状態における心筋細胞の寸法と、第２の静止状態における心筋細胞の寸法との寸法比率の一例である。
【０１３８】
例えば、図１６Ａを参照すると、イメージセンサ１０３の表面１０３ａに、心筋細胞が載置されている状態が、図６に示した３次元空間中で模式的に示されている。実線で描かれているのが弛緩期間での心筋細胞の外周ｍａであり、点線で描かれているのが収縮期間での心筋細胞の外周ｍｓである。図１６Ｂには、図１６Ａに示した弛緩期間及び収縮期間の心筋細胞のパース図が示されている。図１６Ｂでは、心筋細胞の外周ｍａ及びｍｓが、ｘｙ平面、ｙｚ平面及びｘｚ平面に投影されている。心筋細胞の重心を基点としたベクトルを、重心を中心に回転させた場合において、ベクトルと収縮期間の外周ｍｓとの交点からベクトルの基点までの距離、並びに、ベクトルと弛緩期間の外周ｍａとの交点からベクトルの基点までの距離が算出される。そして、これら２つの距離を用いて、伸縮率最大の方向が決定され、その方向での心筋細胞の外周の伸縮率が求められる。ステップＳ２１００の処理の詳細は後述する。
【０１３９】
（ステップＳ２２００）
焦点面決定部２１１は、収縮期間のための第１の焦点面と、弛緩期間のための第２の焦点面とを決定する。具体的には、焦点面決定部２１１は、当該焦点面のイメージセンサ１０３の表面の平面に対する位置及び傾き（角度）を決定する。例えば、焦点面決定部２１１は、入力部１４０によりユーザから受け付けられた、収縮期間に対する焦点面を指定する指定情報、又は弛緩期間に対する焦点面を指定する指定情報に基づいて、焦点面を決定する。ステップＳ２２００の処理の詳細は後述する。
【０１４０】
（ステップＳ１３００）
リフォーカシング処理部１１２は、ステップＳ１１００で取得した、収縮期間の複数の撮影画像の画像群と弛緩期間の複数の撮影画像の画像群との２つの画像群について、リフォーカシング処理を行い、収縮期間のための焦点面の合焦画像と弛緩期間のための焦点面の合焦画像とを生成する。
【０１４１】
（ステップＳ１４００）
リフォーカシング処理部１１２は、表示部１３０に、ステップＳ１３００で生成された画像を出力し、表示させる。図１７Ａ及び図１７Ｂを参照すると、表示部１３０に表示される収縮期間のための焦点面の画像及び弛緩期間のための焦点面の画像の表示例が模式的に示されている。表示部１３０の表示画面１３０ａには、収縮期間の心筋細胞の画像Ｍｓ又は弛緩期間の心筋細胞の画像Ｍａが切替可能に表示され、その焦点面の位置情報が、角度及び位置で示される。収縮期間及び弛緩期間の間で切替可能な焦点面の画像では、収縮期間及び弛緩期間の間で同一の細胞群の画像が表示されている。
【０１４２】
表示画面１３０ａには、収縮期間の心筋細胞の画像Ｍｓと弛緩期間の心筋細胞の画像Ｍａとの表示を切り替える表示画像選択スイッチ１３０ｂ及び１３０ｃが表示されている。表示画像選択スイッチ１３０ｂは、収縮期間の心筋細胞の画像Ｍｓの表示を選択するスイッチである。図１７Ａに示すように、このスイッチ１３０ｂが作動しているとき、強調表示され、リフォーカシング処理部１１２は、心筋細胞の画像Ｍｓを表示する。スイッチ１３０ｃは、弛緩期間の心筋細胞の画像Ｍａの表示を選択するスイッチである。図１７Ｂに示すように、このスイッチ１３０ｃが作動しているとき、強調表示され、リフォーカシング処理部１１２は、心筋細胞の画像Ｍａを表示する。
【０１４３】
表示画面１３０ａには、焦点面位置を再設定するための入力インタフェース１３０ｄが表示される。入力インタフェース１３０ｄは、表示画面１３０ａに表示される焦点面位置の３Ｄモデル１３０ｄ１において、焦点面Ｆをその中心軸Ａに沿って移動させるスライダ１３０ｄ２と、中心軸Ａの傾きを変更するスライダ１３０ｄ３及び１３０ｄ４とを含む。入力インタフェース１３０ｄは、３Ｄモデル１３０ｄ１の焦点面Ｆの中心位置及び中心軸Ａの傾斜角度を、ｘｙｚ軸による３次元座標系を使用して、位置表示部１３０ｄ５に表示する。位置表示部１３０ｄ５は、入力部１４０を介した数値入力を受け付け、入力インタフェース１３０ｄは、入力された数値に対応する位置及び傾きに、焦点面Ｆを移動させ、リフォーカシング処理部１１２は、移動後の焦点面Ｆの位置に対応する心筋細胞の画像を表示する。
【０１４４】
スライダ１３０ｄ３は、操作されることによって、中心軸Ａを水平方向に回動させ、スライダ１３０ｄ４は、操作されることによって、中心軸Ａを鉛直方向に回動させる。中心軸Ａの傾きを変更しつつ中心軸Ａに沿って焦点面Ｆを移動させることによって、焦点面Ｆは、任意の向き及び位置を取り得る。そして、リフォーカシング処理部１１２は、焦点面Ｆの位置での心筋細胞の画像を表示する。表示画像選択スイッチ１３０ｂ及び１３０ｃ、スライダ１３０ｄ２、１３０ｄ３及び１３０ｄ４は、入力部１４０を介した入力を受けることによって、動作する。
【０１４５】
また、表示画面１３０ａには、図１８に示すように、収縮期間の心筋細胞の画像Ｍｓ及び弛緩期間の心筋細胞の画像Ｍａが、同時に表示されてもよい。表示画面１３０ａには、焦点面を選択するための焦点面選択スイッチ１３０ｆが表示されている。焦点面選択スイッチ１３０ｆは、収縮期間又は弛緩期間と表示し、焦点面選択スイッチ１３０ｆが選択されると表示を切り替える。さらに、３Ｄモデル１３０ｄ１には、焦点面選択スイッチ１３０ｆが表示する収縮期間又は弛緩期間に対応する焦点面Ｆ及び中心軸Ａが表示される。よって、スライダ１３０ｄ２、１３０ｄ３及び１３０ｄ４が操作されると、焦点面選択スイッチ１３０ｆが表示する収縮期間又は弛緩期間に対応する焦点面Ｆが移動し、リフォーカシング処理部１１２は、移動後の焦点面Ｆの位置に対応する収縮期間又は弛緩期間の心筋細胞の画像を生成する。さらに、リフォーカシング処理部１１２は、収縮期間又は弛緩期間の焦点面Ｆと同一の細胞群を含む弛緩期間又は収縮期間の焦点面の心筋細胞の画像を生成する。これにより、リフォーカシング処理部１１２は、互いに同一の細胞群を含む収縮期間及び弛緩期間の心筋細胞の画像Ｍｓ及びＭａを表示する。また、入力インタフェース１３０ｄは、収縮期間及び弛緩期間の心筋細胞の画像Ｍｓ及びＭａそれぞれについて、画像Ｍｓ及びＭａに対応する焦点面の中心位置及び中心軸Ａの傾斜角度を、位置表示部１３０ｄ５に表示する。
【０１４６】
［ステップＳ２１００の処理］
上述したステップＳ２１００の処理の詳細を説明する。そこで、まず、調整部２１２の詳細を説明する。調整部２１２は、収縮期間及び弛緩期間の心筋細胞の同じ部分を特定する際に使用する調整用のパラメータを生成する。収縮期間から弛緩期間への心筋細胞中の任意の点の移動は、心筋細胞全体の伸張に伴う中心又は重心の移動と、伸張に起因する全体形状の拡大として捉えることができる。収縮及び伸張は３次元的に生じ、収縮及び伸張が顕著に生じる主軸方向と、そうでない方向がある。ここでは、図１６Ｂのようにイメージセンサ１０３の表面であるｘｙ平面上で収縮及び伸張が最も顕著に生じる方向を第１軸とし、ｘｙ平面上で第１軸に垂直な方向を第２軸とし、イメージセンサ１０３の表面つまりｘｙ平面に垂直な方向であるｚ軸を第３軸とする。調整部２１２は、第１軸〜第３軸それぞれの方向と、それぞれの方向における伸張率つまり伸縮率とを取得する。
【０１４７】
図１９を参照して、ステップＳ２１００の詳細な処理を説明する。図１９は、図１５のステップＳ２１００の詳細な処理の流れの一例を示すフローチャートである。例えば、図２０Ａを参照すると、イメージセンサ１０３の表面１０３ａに、心筋細胞が載置されている状態がｘｙｚ軸の３次元座標系を用いて模式的に示されている。弛緩時の心筋細胞、つまり弛緩期間にある心筋細胞ＭＡは、より薄く色付けされて示されている。収縮時の心筋細胞、つまり収縮期間にある心筋細胞ＭＳは、より濃く色付けされて示されている。ｘｙｚの座標軸は、図６と同様である。図２０Ａに示した心筋細胞は、収縮期間及び弛緩期間のいずれの状態であっても、イメージセンサ１０３の表面１０３ａに重力によって押し付けられた状態である。心筋細胞の弾性が小さいため、心筋細胞において、収縮期間から弛緩期間への伸張によって、イメージセンサ１０３の表面１０３ａから持ち上がる部分は無いものとする。
【０１４８】
（ステップＳ２１０１）
調整部２１２の伸縮率計算部２１３は、ステップＳ１１００で撮影された撮影画像のうち収縮期間中に撮影された撮影画像群と弛緩期間中に撮影された撮影画像群とから、同一の照明位置で撮影された撮影画像を１つずつ選択する。選択される照明位置は、例えば、イメージセンサ１０３の表面１０３ａの中央の真上に位置する照明器１０１の位置である。例えば、図２０Ｂを参照すると、図２０Ａの心筋細胞のｘｙ平面上での外周が模式的に示されている。弛緩期間の心筋細胞ＭＡの外周ｍａは、実線で示され、収縮期間の心筋細胞ＭＳの外周ｍｓは、点線で示されている。図２０Ｂは、ステップＳ２１０１で選択された弛緩期間中の撮影画像及び収縮期間中の撮影画像を重ね合わせて模式的に示している。
【０１４９】
（ステップＳ２１０２）
伸縮率計算部２１３は、ステップＳ２１０１で選択された２つの画像のうち、いずれか１つの画像において、心筋細胞の外周が形成する図形である外周図形の重心を計算する。ここでは、２つの画像のうちの１つの画像で外周図形の重心を求めたが、２つの画像で外周図形の重心を求めてもよい。この場合、２つの画像間で重心位置が異なれば、一方の重心又は２つの重心の中点の位置を、代表の重心位置として採用してもよい。図２０Ｃには、ステップＳ２１０１で２つの選択画像中の心筋細胞の外周を重ね合わせた図２０Ｂに示す模式図に、弛緩期間での撮影画像中の心筋細胞の外周図形の重心Ｇｍａを示した図が描かれている。
【０１５０】
（ステップＳ２１０３）
伸縮率計算部２１３は、ステップＳ２１０１での２つの選択画像を用いて、伸縮の第１軸方向、すなわち、伸縮が顕著に生じる軸方向の方向ベクトルである伸縮率最大ベクトルＶ＿ＭＡＸと、第１軸方向における伸縮率ｖ＿ｍａｘとを算出する。一般に、伸縮が顕著に生じる方向は、イメージセンサ１０３の表面１０３ａに平行な平面内にあるため、ここでは、伸縮率最大ベクトルＶ＿ＭＡＸのｚ座標成分は０とする。図２０Ｄには、図２０Ｃの模式図上に伸縮率最大ベクトルＶ＿ＭＡＸの方向を示した図が描かれている。
【０１５１】
以下、図２０Ｅ及び図２０Ｆに従って、伸縮率計算部２１３による伸縮率の具体的な算出方法を説明する。なお、図２０Ｅは、ステップＳ２１０２で求められた外形図形の重心Ｇｍａをベクトルの始点として、始点を中心にベクトルを回転して伸縮率が最大となる方向を抽出する方法を模式的に示した図である。図２０Ｆは、図２０Ｂの例において、後述するθ＿ｍａｘとＶ＿ＭＡＸとを示した図である。
【０１５２】
図２０Ｅに示すように、伸縮率計算部２１３は、ｘｙ平面である画像平面上において、ステップＳ２１０２で求められた重心Ｇｍａを起点とするベクトルを形成する。そして、伸縮率計算部２１３は、このベクトルを、ｘ軸（具体的には、重心Ｇｍａを通り且つｘ軸に平行な軸Ｌｘ）に平行な方向にある状態から重心Ｇｍａを中心に角度θ（０度＜θ＜１８０度）回動させ、回動させたベクトル上での収縮期間の心筋細胞の幅ｗ＿ｓｈｒｉｎｋ（θ）と、当該ベクトル上での弛緩期間の心筋細胞の幅ｗ＿ａｔｏｎｙ（θ）とを算出する。さらに、伸縮率計算部２１３は、幅ｗ＿ｓｈｒｉｎｋ（θ）と幅ｗ＿ａｔｏｎｙ（θ）との比であるｒ（θ）＝ｗ＿ａｔｏｎｙ（θ）／ｗ＿ｓｈｒｉｎｋ（θ）を算出する。伸縮率計算部２１３は、角度θを０度＜θ＜１８０度で変化させ、図２０Ｆに示すようなｒ（θ）が最大となる角度θ＿ｍａｘを算出する。この角度θ＿ｍａｘでのベクトルの方向を、伸縮率最大方向と呼び、当該ベクトルは、Ｖ＿ＭＡＸであり、伸縮率最大ベクトルと呼ぶ。伸縮率最大ベクトルＶ＿ＭＡＸの方向は、図２０Ａの３次元座標中で（ｃｏｓ（θ＿ｍａｘ），ｓｉｎ（θ＿ｍａｘ），０）と平行である。そして、伸縮率最大ベクトルＶ＿ＭＡＸの大きさは、後述するｖ＿ｍａｘである。伸縮率計算部２１３は、伸縮率最大ベクトルＶ＿ＭＡＸの方向及び大きさも算出する。
【０１５３】
ここで、ｗ＿ｓｈｒｉｎｋ（θ）及びｗ＿ａｔｏｎｙ（θ）の算出方法を以下に示す。図２０Ｆに示すように、ｘｙ平面である画像平面内における重心Ｇｍａからｘ軸（具体的には、軸Ｌｘ）に対する角度θの方向に延びる直線において、角度θ方向での当該直線と弛緩期間の心筋細胞の外周ｍａとの交点を、Ｅ＿Ａ＿ＭＡＸ（θ）とする。同一の直線において、角度−θ方向での当該直線と弛緩期間の心筋細胞の外周ｍａとの交点を、Ｅ＿Ａ＿ＭＡＸ（−θ）とする。また、ｘｙ平面である画像平面内における重心Ｇｍａからｘ軸（具体的には、軸Ｌｘ）に対する角度θの方向に延びる直線において、角度θ方向での当該直線と収縮期間の心筋細胞の外周ｍｓとの交点を、Ｅ＿Ｓ＿ＭＡＸ（θ）とする。同一の直線において、角度−θ方向での当該直線と収縮期間の心筋細胞の外周ｍｓとの交点を、Ｅ＿Ｓ＿ＭＡＸ（−θ）とする。
【０１５４】
上述のような２つの交点Ｅ＿Ａ＿ＭＡＸ（θ）及びＥ＿Ａ＿ＭＡＸ（−θ）間の距離をｗ＿ａｔｏｎｙ（θ）とする。すなわち、ｗ＿ａｔｏｎｙ（θ）＝｜Ｅ＿Ａ＿ＭＡＸ（θ）−Ｅ＿Ａ＿ＭＡＸ（−θ）｜である。また、２つの交点Ｅ＿Ｓ＿ＭＡＸ（θ）及びＥ＿Ｓ＿ＭＡＸ（−θ）間の距離をｗ＿ｓｈｒｉｎｋ（θ）とする。すなわち、ｗ＿ｓｈｒｉｎｋ（θ）＝｜Ｅ＿Ｓ＿ＭＡＸ（θ）−Ｅ＿Ｓ＿ＭＡＸ（−θ）｜である。なお、｜Ａ−Ｂ｜は、２つの点Ａ及びＢ間のベクトル長（ユークリッド距離とも呼ぶ）を示す。
【０１５５】
次に、伸縮率計算部２１３は、伸縮率最大方向θ＿ｍａｘにおいて、収縮期間から弛緩期間に移行する際に心筋細胞の幅が何倍になったかを算出する。具体的には、伸縮率計算部２１３は、幅の単位長さ当たりの伸縮度合いｖ＿ｍａｘを算出する。ここで、単位長さは、例えば、イメージセンサ１０３の隣り合うセンサ画素間の距離、すなわち画素ピッチとする。そして、伸縮率計算部２１３は、ｖ＿ｍａｘ＝｜Ｅ＿Ａ＿ＭＡＸ（θ＿ｍａｘ）−Ｅ＿Ａ＿ＭＡＸ（−θ＿ｍａｘ）｜／｜Ｅ＿Ｓ＿ＭＡＸ（θ＿ｍａｘ）−Ｅ＿Ｓ＿ＭＡＸ（−θ＿ｍａｘ）｜という関係式に基づき、画素ピッチ当たりのｖ＿ｍａｘを算出する。ｖ＿ｍａｘは、伸縮率最大ベクトルＶ＿ＭＡＸの大きさでもある。
【０１５６】
（ステップＳ２１０４）
伸縮率計算部２１３は、伸縮率最大ベクトルＶ＿ＭＡＸとｘｙ平面上で直交するベクトルの方向での心筋細胞の収縮期間及び弛緩期間の間での伸縮率から、心筋細胞のｚ軸方向の伸縮ベクトルと、ｚ軸方向の伸縮ベクトル方向における心筋細胞の伸縮率を推定する。例えば、図２０Ｇには、図２０Ｂの例において、伸縮率最大ベクトルＶ＿ＭＡＸとｘｙ平面上で直交するベクトルの方向での収縮期間及び弛緩期間の心筋細胞の幅の一例が示されている。伸縮率計算部２１３は、ステップＳ２１０３で決定されたＶ＿ＭＡＸの方向に直交し且つステップＳ２１０２で計算された重心Ｇｍａを通り且つｘｙ平面上にある直線である直交軸、つまり第２軸の方向を算出する。さらに、伸縮率計算部２１３は、第２軸方向での収縮期間及び弛緩期間の心筋細胞の幅を算出し、心筋細胞の伸縮率を算出する。
【０１５７】
例えば、心筋細胞中の細胞が一定の方向に並んでいる場合、細胞の伸縮の方向が一定の方向にそろう。このような場合、心筋細胞の伸縮は、伸縮率が最大の方向以外の方向では比較的小さく、特に、伸縮率が最大の方向と直交する方向では最小となる。さらに、心筋細胞の伸縮率は、伸縮率が最大の方向と直交するすべての方向、つまり、伸縮率が最大の方向を中心とする放射方向について同等である。
【０１５８】
本実施の形態では、心筋細胞中の細胞が一定の方向に並んでいるものとする。すなわち、ステップＳ２１０３で求めた伸縮率最大ベクトルＶ＿ＭＡＸの方向に直交する方向の伸縮率は、いずれの方向でも同等である。従って、ｘｙ平面上での伸縮率最大ベクトルＶ＿ＭＡＸの方向に直交する方向の伸縮率と、伸縮率最大ベクトルＶ＿ＭＡＸの方向に垂直なｚ軸方向の伸縮率とは同等である。そこで、ステップＳ２１０４では、伸縮率計算部２１３は、ｘｙ平面上で伸縮率最大ベクトルＶ＿ＭＡＸの方向に直交する方向における伸縮率を計算し、ｚ軸方向の伸縮率をその結果と等しいものとして推定する。
【０１５９】
また、伸縮率計算部２１３は、ステップＳ２１０３で決定された伸縮率最大ベクトルＶ＿ＭＡＸとｘｙ平面上で直交するベクトルＶ＿ＭＩＮを求める。図２０Ｇに示すように、伸縮率計算部２１３は、重心Ｇｍａを通るベクトルＶ＿ＭＩＮ方向の直線と、弛緩期間中の撮影画像中の心筋細胞の外周ｍａとの２つの交点の間の距離ｗ＿ａｔｏｎｙ（θ’）を算出する。さらに、伸縮率計算部２１３は、重心Ｇｍａを通るベクトルＶ＿ＭＩＮ方向の直線と、収縮期間中の撮影画像中の心筋細胞の外周ｍｓとの２つの交点の間の距離ｗ＿ｓｈｒｉｎｋ（θ’）を算出する。伸縮率計算部２１３は、距離ｗ＿ａｔｏｎｙ（θ’）と距離ｗ＿ｓｈｒｉｎｋ（θ’）とから、伸縮率最大ベクトルＶ＿ＭＡＸと直交するベクトルＶ＿ＭＩＮの方向での伸縮率ｖ＿ｍｉｎを求める。具体的には、伸縮率計算部２１３は、ｖ＿ｍｉｎ＝ｗ＿ａｔｏｎｙ（θ’）／ｗ＿ｓｈｒｉｎｋ（θ’）の関係に基づき、伸縮率ｖ＿ｍｉｎを求める。さらに、伸縮率計算部２１３は、ｚ軸方向に心筋細胞の伸縮ベクトルＺを設定する。伸縮ベクトルＺの方向は、ｘｙ平面である画像平面に垂直なベクトル（０，０、１）に平行である。ｚ軸方向の心筋細胞の伸縮率は、伸縮率最大ベクトルＶ＿ＭＡＸと直交する方向の伸縮率ｖ＿ｍｉｎと等しいことから、伸縮率計算部２１３は、伸縮ベクトルＺの大きさｖｚを、ｖｚ＝ｖ＿ｍｉｎとする。
【０１６０】
（ステップＳ２１０５）
調整部２１２の調整値決定部２１４は、ステップＳ２１０３で算出された伸縮率最大ベクトルＶ＿ＭＡＸと、ステップＳ２１０４で算出されたベクトルＶ＿ＭＩＮと、ｚ軸方向の伸縮ベクトルＺと、ｘｙ平面上の重心Ｇｍａとを、焦点面の調整値として設定する。伸縮率最大ベクトルＶ＿ＭＡＸの方向は、（ｃｏｓ（θ＿ｍａｘ），ｓｉｎ（θ＿ｍａｘ），０）であり、伸縮率最大ベクトルＶ＿ＭＡＸの大きさは、ｖ＿ｍａｘである。Ｖ＿ＭＡＸに直交するベクトルＶ＿ＭＩＮの方向は、（−ｓｉｎ（θ＿ｍａｘ），ｃｏｓ（θ＿ｍａｘ），０）であり、ベクトルＶ＿ＭＩＮの大きさは、ｖ＿ｍｉｎである。ｚ軸方向の伸縮ベクトルＺの方向は、（０，０，１）であり、伸縮ベクトルＺの大きさは、ｖ＿ｍｉｎである。重心Ｇｍａ位置は、（ｘｃ，ｙｃ，０）である。
【０１６１】
ステップＳ２１０１からステップＳ２１０５の手順により、調整部２１２は、収縮期間に対する焦点面と弛緩期間に対する焦点面とを対応付け、同一細胞群の収縮期間及び弛緩期間の合焦画像を生成するための調整値を、ベクトルとして決定する。
【０１６２】
［ステップＳ２２００の処理］
図２１を参照して、ステップＳ２２００の処理の詳細を説明する。なお、図２１は、図１５のステップＳ２２００の詳細な処理の流れの一例を示すフローチャートである。
【０１６３】
まず、収縮期間の心筋細胞における３次元空間上の点ｐ（ｐｘ，ｐｙ，ｐｚ）に対応する弛緩期間の心筋細胞における３次元空間上の点Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）を算出する方法を説明する。収縮期間の心筋細胞のｘｙ平面上の重心をｃ＿ＳＨＲＩＮＫとする。ｃ＿ＳＨＲＩＮＫと点ｐとを結ぶベクトル「（ｐｘ，ｐｙ，ｐｚ）−ｃ＿ＳＨＲＩＮＫ」を、伸縮率最大ベクトルＶ＿ＭＡＸ、ベクトルＶ＿ＭＩＮ及び伸縮ベクトルＺの方向のベクトルであらわすと次の関係式になる。つまり、（ｐｘ，ｐｙ，ｐｚ）−ｃ＿ＳＨＲＩＮＫ＝ｋ１×Ｖ＿ＭＡＸ＋ｋ２×Ｖ＿ＭＩＮ＋ｋ３×Ｚの関係が成立する。重心ｃ＿ＳＨＲＩＮＫが、Ｇｍａ（ｘｃ，ｙｃ，０）であるとすると、上記の関係は、下記の式３によって表される。さらに、点ｐは、下記の式４によって表される。
【０１６４】
【数３】
2018194412.tif 000005
【数４】
2018194412.tif 000006
【０１６５】
心筋細胞は、弛緩によって、伸縮率最大ベクトルＶ＿ＭＡＸ、ベクトルＶ＿ＭＩＮ及びベクトルＺの方向に、それぞれ、ｖ＿ｍａｘ、ｖ＿ｍｉｎ及びｖ＿ｚすなわちｖ＿ｍｉｎ倍される。収縮期間での点ｐから変化した弛緩期間の点Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）は、次の関係式で算出することができる。つまり、（Ｐｘ，Ｐｙ，Ｐｚ）＝ｋ１×ｖ＿ｍａｘ×Ｖ＿ＭＡＸ＋ｋ２×ｖ＿ｍｉｎ×Ｖ＿ＭＩＮ＋ｋ３×ｖ＿ｍｉｎ×Ｚ＋ｃ＿ＳＨＲＩＮＫの関係が成立する。本実施の形態では、弛緩期間の心筋細胞のｘｙ平面上の重心は、収縮期間の心筋細胞のｘｙ平面上の重心ｃ＿ＳＨＲＩＮＫと同一位置とする。また、上記の関係式は、下記の式５のように表せる。
【０１６６】
【数５】
2018194412.tif 000007
【０１６７】
式４より、ｋ１、ｋ２及びｋ３を解き、式５により点Ｐの座標を求めることで、収縮期間の点ｐに対応する弛緩期間の点Ｐを、心筋細胞の伸張によるベクトルＶ＿ＭＡＸ方向、ベクトルＶ＿ＭＩＮ方向、及び伸縮ベクトルＺ方向つまりｚ軸方向への移動として求めることができる。
【０１６８】
例えば、図２２には、収縮期間のための焦点面と弛緩期間のための焦点面との一例が、図６と同様のイメージセンサ１０３の表面１０３ａをｘｙ平面とする直交座標上に模式的に示されている。図２２に示すような直交座標上で、焦点面はｘ軸、ｙ軸及びｚ軸との交点で示される。点ｐから点Ｐへの調整値の関係により、ｘ軸、ｙ軸及びｚ軸の各座標軸と収縮期間に対応する焦点面Ｆｐｓとの交点ＦＰｓｘ０（ｘｓ，０，０）、ＦＰｓｙ０（０，ｙｓ，０）及びＦｐｓｚ０（０，０，ｚｓ）それぞれに対応する弛緩期間に対応する焦点面ＦＰａ上の点を求める。交点ＦＰｓｘ０、ＦＰｓｙ０及びＦｐｓｚ０はそれぞれ、焦点面ＦＰａ上の点ＦＰｓｘ１、ＦＰｓｙ１及びＦｐｓｚ１に対応する。３点は、ベクトルＶ＿ＭＡＸ、ベクトルＶ＿ＭＩＮ及び伸縮ベクトルＺと心筋細胞の画像の重心位置に従って移動するため、座標軸上の３点ＦＰｓｘ０、ＦＰｓｙ０及びＦｐｓｚ０は、座標軸上ではない点ＦＰｓｘ１、ＦＰｓｙ１及びＦｐｓｚ１へ移動する。そこで、移動した後の３点ＦＰｓｘ１、ＦＰｓｙ１及びＦｐｓｚ１を通る平面が焦点面として設定される。
【０１６９】
（ステップＳ２２０１）
焦点面決定部２１１は、入力部１４０より取得した収縮期間中の撮影画像のための焦点面の情報を取得する。ユーザ（図示せず）は、収縮期間の心筋細胞の状態に基づいて、収縮期間中の撮影画像のための焦点面を指定する情報を入力部１４０に入力する。焦点面を指定する情報は、例えば、イメージセンサ１０３の表面１０３ａをｘｙ平面とする座標上での焦点面とｘｙ平面とのなす角度及び焦点面の原点からの距離である。
【０１７０】
（ステップＳ２２０２）
焦点面決定部２１１は、ステップＳ２２０１で取得した収縮期間中の撮影画像のための焦点面の情報と、ステップＳ２１００で決定された焦点面の調整値とに基づいて、焦点面の位置をずらすことにより弛緩期間中の撮影画像のための焦点面を決定する。焦点面決定部２１１は、ステップＳ２１００で決定された座標軸ごとの焦点面の調整値、具体的には、３つの方向の伸縮率のベクトル方向ごとの焦点面の調整値に基づき、収縮期間中の撮影画像のための焦点面とｘ軸、ｙ軸及びｚ軸との交点の位置を移動し、移動後の３点を通る平面を弛緩期間中の撮影画像のための焦点面とする。
【０１７１】
なお、３つの方向の伸縮率のベクトル方向は、３つの伸縮率の伸縮方向でもあり、伸縮率最大ベクトルＶ＿ＭＡＸ方向、ベクトルＶ＿ＭＩＮ方向、及び伸縮ベクトルＺ方向つまりｚ軸方向でもある。３つの方向の伸縮率のベクトル方向は、収縮期間及び弛緩期間の間での心筋細胞の寸法比率を算出するための所定の方向の一例である。また、伸縮率最大ベクトルＶ＿ＭＡＸ方向は、上記寸法比率を算出するための第３の方向の一例であり、ベクトルＶ＿ＭＩＮ方向は、上記寸法比率を算出するための第４の方向の一例であり、伸縮ベクトルＺ方向は、上記寸法比率を算出するための第２の方向の一例である。そして、伸縮率ｖ＿ｍａｘ、ｖ＿ｍｉｎ及びｖ＿ｚはそれぞれ、第３の寸法比率、第４の寸法比率及び第２の寸法比率の一例である。
【０１７２】
なお、本実施の形態では、ユーザは入力部１４０より収縮期間の撮影画像のための焦点面の情報を入力するものとしたが、弛緩期間の撮影画像のための焦点面の情報を入力するものとしてもよい。この場合も、焦点面決定部２１１は、入力された焦点面の情報を元に、調整値を用いて収縮期間の撮影画像のための焦点面を決定してもよい。
【０１７３】
なお、本実施の形態では、収縮期間及び弛緩期間の間での心筋細胞の伸縮率が最大の方向を決定し、この方向に直交するベクトルの方向を伸縮率が最小の方向とし、さらに、求められた最小の伸縮率をｚ軸方向の心筋細胞の伸縮率として決定した。しかしながら、心筋細胞の伸縮率が最大の方向での伸縮率を決定した後、あらかじめ定められ且つテーブル等に記憶された、最大伸縮率に対応する他の軸及びｚ軸の方向の伸縮率を適用して、調整値を決定するものとしてもよい。上記他の軸の伸縮率は、伸縮率が最大の方向と直交するｘｙ平面上の軸であってもよい。
【０１７４】
また、本実施の形態では、収縮期間及び弛緩期間での２つの焦点面を決定するために、伸縮率最大ベクトルＶ＿ＭＡＸ方向及の伸縮率ｖ＿ｍａｘ、ベクトルＶ＿ＭＩＮ方向の伸縮率ｖ＿ｍｉｎ、並びに、伸縮ベクトルＺ方向の伸縮率ｖ＿ｚが用いられたが、これに限定されない。伸縮率ｖ＿ｍａｘ、ｖ＿ｍｉｎ及びｖ＿ｚの少なくとも１つを用いて、収縮期間及び弛緩期間での２つの焦点面が決定されてもよい。
【０１７５】
［効果］
以上のように、実施の形態２に係る画像生成システム２０によれば、実施の形態１と同様に心筋細胞の収縮期間及び弛緩期間の各々の期間で取得した撮影画像を元に、収縮期間及び弛緩期間の各々についてリフォーカシング処理を行うことで、収縮期間及び弛緩期間の各々について、自由な焦点面での心筋細胞の画像を得ることができる。さらに、拍動する心筋細胞についても、収縮状態及び弛緩状態との両状態における心筋細胞内部の状態を観察することが可能になる。さらにまた、実施の形態２に係る画像生成システム２０によれば、収縮期間での心筋細胞の大きさ及び弛緩期間での心筋細胞の大きさの関係に合わせて、それぞれの期間に対して焦点面を設定することで、収縮期間及び弛緩期間で同一の細胞が観察可能な各々の合焦面を生成して表示することができる。これにより、収縮期間及び弛緩期間における同一の個々の細胞の状態を観察及び比較することができ、細胞の状態確認、異常の検出がしやすくなる。
【０１７６】
［実施の形態３］
実施の形態３に係る画像生成システム３０について説明する。実施の形態３に係る画像生成システム３０は、収縮期間に撮影された撮影画像についてイメージセンサ１０３の表面１０３ａに平行な複数の平面を焦点面としてリフォーカシング処理を行う。さらに、画像生成システム３０は、リフォーカシング処理により得られる複数の合焦画像のうちで心筋細胞の一部、例えば、心筋細胞に含まれる細胞が特定された合焦画像のうち、イメージセンサ１０３の表面１０３ａから最も遠い合焦画像の焦点面と表面１０３ａとの距離をもとめる。画像生成システム３０は、弛緩期間に撮影された撮影画像についても同様に、イメージセンサ１０３の表面１０３ａに平行な複数の合焦画像のうちで心筋細胞の一部が特定された合焦画像のうち、イメージセンサ１０３の表面１０３ａから最も遠い合焦画像の焦点面と表面１０３ａとの距離をもとめる。画像生成システム３０は、収縮期間中の撮影画像から得られた距離と弛緩期間中の撮影画像から得られた距離との比を、ｚ軸方向の伸縮率とする。つまり、画像生成システム３０は、ユーザによって指定された収縮期間又は弛緩期間に対する焦点面から、指定されていない弛緩期間又は収縮期間において対応する焦点面を設定する処理が実施の形態２と異なる。以下に、実施の形態３について、実施の形態２と異なる点を中心に説明する。
【０１７７】
［画像生成システムの構成］
図２３を参照して、実施の形態３に係る画像生成システム３０の構成を説明する。なお、図２３は、実施の形態３に係る画像生成システム３０の機能的な構成の一例を示すブロック図である。画像生成システム３０は、撮影部１００と、画像処理部３１０と、記憶部１２０である第一記憶部１２０と、表示部１３０と、入力部１４０とを備える。撮影部１００は、実施の形態２と同様に、複数の照明器１０１と、刺激電極１０２と、イメージセンサ１０３と、撮影制御部１０４とを備える。
【０１７８】
画像処理部３１０は、焦点面決定部３１１と、リフォーカシング処理部１１２と、調整部３１２と、第二記憶部３１７とを備える。調整部３１２は、最高位置細胞特定部３１５と、ｚ軸伸縮率計算部３１６とを備える。調整部３１２、最高位置細胞特定部３１５及びｚ軸伸縮率計算部３１６は、リフォーカシング処理部１１２等について上述した構成と同様の構成を有してもよい。第二記憶部３１７は、第一記憶部１２０について上述した構成と同様の構成を有してもよい。
【０１７９】
リフォーカシング処理部１１２は、第一記憶部１２０に記憶された撮影画像より、収縮期間中に撮影された複数の撮影画像を用いてリフォーカシング処理を行い合焦画像を生成する。また、リフォーカシング処理部１１２は、弛緩期間中に撮影された複数の撮影画像についても同様に、これらを用いてリフォーカシング処理を行い、合焦画像を生成する。合焦画像の焦点面は、あらかじめ定められたものであり、複数の平行な平面である。例えば、図６に示したイメージセンサ１０３の表面１０３ａをｘｙ平面とする座標系において、上記の複数の焦点面は、ｘｙ平面に平行な焦点面であり、ｚ軸との交点の位置が１μｍずつ異なる焦点面であり、ｚ軸との交点のｚ座標の値は１から３００μｍである。このような複数の焦点面は、イメージセンサ１０３の表面１０３ａに対して３次元的に存在する。
【０１８０】
焦点面決定部３１１は、心筋細胞の収縮期間で取得した撮影画像に対する、複数の照明器１０１及びイメージセンサ１０３の間に位置する仮想的な焦点面と、心筋細胞の弛緩期間で取得した撮影画像に対する、複数の照明器１０１及びイメージセンサ１０３の間に位置する仮想的な焦点面とを決定する。焦点面決定部３１１は、例えば、入力部１４０を介して外部から入力された、収縮期間の撮影画像に対する焦点面の位置情報、本実施の形態ではｚ軸位置の情報、に従って収縮期間の撮影画像に対する焦点面を決定する。さらに、焦点面決定部３１１は、調整部３１２で決定されたｚ軸方向の伸縮率に従って、収縮期間で取得した画像に対する焦点面に対応する弛緩期間で取得された画像に対する焦点面を決定する。なお、収縮期間の焦点面の合焦画像と弛緩期間の焦点面の合焦画像との間では、同一の細胞が見られる。焦点面決定部３１１は、入力部１４０を介して弛緩期間で取得した画像に対する焦点面の位置情報が入力された場合は、対応する収縮期間で取得された画像に対する焦点面を、弛緩期間の焦点面に対応させて決定する。
【０１８１】
第二記憶部３１７は、種々の情報を記憶する。第二記憶部３１７は、リフォーカシング処理部１１２により生成された合焦画像と、合焦画像の生成に用いられた撮影画像つまり元画像が収縮期間中に撮影された画像であるか弛緩期間中に撮影された画像であるかの情報と、焦点面の情報とを対応付けて記憶している。例えば、図２４には、第二記憶部３１７が記憶する内容の一例が示されている。図２４の例では、第二記憶部３１７は、合焦画像のＩＤと、合焦画像の元画像が撮影された際の心筋細胞の状態と、合焦画像の焦点面のｚ軸の値、つまり高さとを対応付けて記憶している。心筋細胞の状態は、撮影時の心筋細胞が収縮期間中であるか弛緩期間中であるかの情報を含む。なお、第二記憶部３１７の機能の全て又は一部は、第一記憶部１２０によって兼ねられてもよい。
【０１８２】
調整部３１２の最高位置細胞特定部３１５は、第二記憶部３１７に記憶された合焦画像について、心筋細胞の状態ごとに、すなわち、収縮期間中の撮影画像を処理して生成された合焦画像の合焦画像群と、弛緩期間中の撮影画像を処理して生成された合焦画像の合焦画像群とのそれぞれに対して、心筋細胞の一部の画像が含まれるかどうかを判定する。さらに、最高位置細胞特定部３１５は、心筋細胞の一部の画像が含まれる合焦画像のうち焦点面のｚ軸との交点のｚ座標の値が最も大きいものを選択する。
【０１８３】
ｚ軸伸縮率計算部３１６は、最高位置細胞特定部３１５によって選択された焦点面のうちの収縮期間に対応する焦点面、すなわちイメージセンサ１０３の表面１０３ａから最も離れた収縮期間に対応する焦点面のｚ軸との交点のｚ座標の値を算出する。また、ｚ軸伸縮率計算部３１６は、弛緩期間に対応する焦点面、すなわちイメージセンサ１０３の表面１０３ａから最も離れた弛緩期間に対応する焦点面のｚ軸との交点のｚ座標の値を算出する。ｚ軸伸縮率計算部３１６は、算出した２つのｚ座標の値の比を求め、心筋細胞のｚ軸方向の伸縮率とする。
【０１８４】
［画像生成システムの動作］
次に、図２５を参照して、実施の形態３に係る画像生成システム３０の動作について説明する。なお、図２５は、実施の形態３に係る画像生成システム３０の動作の流れの一例を示すフローチャートである。図２５において、図４及び図１５と実質的に同一のステップつまり処理については、同一の符号を付し、適宜説明を省略する。
【０１８５】
（ステップＳ１１００）
撮影部１００は、刺激電極１０２より電気刺激を心筋細胞に加え、電気刺激からの経過時間が一定の範囲内で生じる心筋細胞の収縮期間の間に、複数の照明器１０１を順に用いて心筋細胞を照明しつつ、当該心筋細胞の複数の画像を撮影する。さらに、収縮期間が終了した後に、撮影部１００は、収縮期間とは異なり且つ電気刺激からの経過時間が一定の範囲で生じる心筋細胞の弛緩期間の間に、複数の照明器１０１を順に用いて心筋細胞を照明しつつ、当該心筋細胞の複数の画像を撮影する。撮影部１００は、撮影画像を第一記憶部１２０に格納する。
【０１８６】
（ステップＳ３１００）
リフォーカシング処理部１１２は、ステップＳ１１００で撮影され且つ第一記憶部１２０に記憶された撮影画像を用いて、予め定められた複数の焦点面の合焦画像を生成する。リフォーカシング処理部１１２は、合焦画像を、心筋細胞の状態ごと、すなわち、心筋細胞の収縮期間中の撮影画像と細弛緩期間中の撮影画像とからそれぞれ生成し、第二記憶部３１７に、心筋細胞の状態の情報と、焦点面の情報とあわせて記憶させる。合焦画像の生成方法は、実施の形態１の図８に示す方法と同様である。予め定められた複数の焦点面は、例えば、ｘｙ平面に平行な焦点面であり、ｚ軸との交点のｚ座標の値が１μｍずつ異なる焦点面であり、ｚ軸との交点のｚ座標の値は１から３００μｍである。
【０１８７】
（ステップＳ３２００）
調整部３１２の最高位置細胞特定部３１５は、ステップＳ３１００で生成され、第二記憶部３１７に記憶された合焦画像より、所定の合焦画像を、心筋細胞の状態ごとに、すなわち収縮期間及び弛緩期間のそれぞれについて、選択する。収縮期間及び弛緩期間のそれぞれの所定の合焦画像は、心筋細胞の一部の画像を含み、収縮期間及び弛緩期間のそれぞれの合焦画像のうちで、その焦点面のｚ軸との交点のｚ座標の値が最も大きい。例えば、最高位置細胞特定部３１５は、図１６Ｂのｙｚ平面又はｘｚ平面において、収縮期間及び弛緩期間のそれぞれの心筋細胞の外周ｍｓ及びｍａがｚ軸方向に最も大きい値を持つ部分を通る、ｘｙ平面に平行な焦点面を求めることになる。ステップＳ３２００の動作の詳細は後述する。
【０１８８】
（ステップＳ３３００）
調整部３１２のｚ軸伸縮率計算部３１６は、ステップＳ３２００で選択された心筋細胞のそれぞれの状態の合焦画像に対応する２つの焦点面について、２つの焦点面がｚ軸と交差する点のｚ座標の比を求め、心筋細胞のｚ軸方向の伸縮率を決定する。
【０１８９】
（ステップＳ３４００）
焦点面決定部３１１は、収縮期間の撮影画像から生成する焦点面と、弛緩期間の撮影画像から生成する焦点面とを決定する。具体的には、焦点面決定部３１１は、例えば、入力部１４０によりユーザから受け付けられた、収縮期間に対する焦点面のｚ軸位置の情報、又は弛緩期間に対する焦点面のｚ軸位置の情報に基づいて、収縮期間の撮影画像から生成された合焦画像と、弛緩期間の撮影画像から生成された合焦画像のうちの表示部１３０に表示する合焦画像の焦点面（具体的には、ｚ軸位置）を決定する。なお、焦点面のｚ軸位置は、焦点面とｚ軸との交点の位置である。ステップＳ３４００の動作の詳細は後述する。
【０１９０】
（ステップＳ３５００）
リフォーカシング処理部１１２は、第二記憶部３１７から、ステップＳ３４００で心筋細胞の状態、すなわち収縮期間及び弛緩期間ごとに決定された焦点面に従って、心筋細胞の状態ごとに表示部１３０で表示する画像を抽出して表示部１３０等に出力する。
【０１９１】
（ステップＳ１４００）
表示部１３０は、ステップＳ３５００で第二記憶部３１７より出力された心筋細胞の状態ごとの画像を表示する。例えば、図２６には、表示部１３０に表示される収縮期間のための焦点面の画像と弛緩期間のための焦点面の画像との表示例が模式的に示されている。表示部１３０の表示画面１３０ａには、収縮期間の心筋細胞の画像と弛緩期間の心筋細胞の画像とが一緒に表示され、さらに、それぞれの焦点面の情報が示される。焦点面の画像では、収縮期間と弛緩期間とで同一の細胞の画像が表示されている。心筋細胞の表示画像の左側には、表示画面１３０ａに表示する心筋細胞の画像に対応する焦点面位置を再設定するための入力インタフェース１３０ｅが設けられる。図２６の入力インタフェース１３０ｅでは、選択アイコン１３０ｅ１により、収縮期間及び弛緩期間のどちらの焦点面を指定するかの選択ができ、焦点面のｚ軸方向の位置をスライダ１３０ｅ２で指定することができる。スライダ１３０ｅ２が対応する焦点面は、選択アイコン１３０ｅ１により選択された焦点面である。スライダ１３０ｅ２が動作することによって位置が変わる焦点面に対応する合焦画像と、焦点面の位置及び傾き角度の情報とが、心筋細胞の収縮時及び弛緩時の両方について表示される。図２６の例では、焦点面を、例えばｘｙ平面に平行な面と定めて、焦点面の傾き角度が設定されている。そして、焦点面を移動させるためのユーザの入力はｚ軸方向に限定している。しかしながら、表示部１３０の表示画面１３０ａは、図１７Ａ、図１７Ｂ及び図１８のような表示画面であってもよい。
【０１９２】
［ステップＳ３２００の処理］
図２７を参照して、上述したステップＳ３２００の処理の詳細を説明する。図２７は、図２５のステップＳ３２００の詳細な処理の流れの一例を示すフローチャートである。
【０１９３】
（ステップＳ３２０１）
最高位置細胞特定部３１５は、ステップＳ３１００で生成された合焦画像のうち、収縮期間中に撮影された画像より生成された合焦画像の群と、弛緩期間中に撮影された画像より生成された合焦画像の群との、両合焦画像群それぞれについて、その焦点面のｚ軸位置の決定が終了しているかを判断する。ここで、収縮期間中の撮影画像より生成された合焦画像の群と、弛緩期間中の撮影画像より生成された合焦画像の群とのそれぞれについて、各焦点面のｚ軸位置の決定が終了している場合（ステップＳ３２０１においてＹＥＳ）、最高位置細胞特定部３１５はステップＳ３３００へ進む。一方、両合焦画像群のいずれかにおいて、焦点面のｚ軸位置の決定が終了していない場合（ステップＳ３２０１においてＮＯ）、最高位置細胞特定部３１５はステップＳ３２０２へ進む。
【０１９４】
（ステップＳ３２０２）
最高位置細胞特定部３１５は、収縮期間中の撮影画像より生成された合焦画像の群と、弛緩期間中の撮影画像より生成された合焦画像の群とのうち、焦点面のｚ軸位置の決定が終了していない合焦画像群の１つを選択する。
【０１９５】
（ステップＳ３２０３）
最高位置細胞特定部３１５は、ステップＳ３２０２で選択した合焦画像群のすべての合焦画像について，焦点面のｚ軸位置の判定が終了しているかを判断する。ここで、選択した合焦画像群のすべての合焦画像について、焦点面のｚ軸位置の判定が終了している場合（ステップＳ３２０３においてＹＥＳ）、最高位置細胞特定部３１５はステップＳ３２０８へ進む。一方、選択した合焦画像群のいずれかの合焦画像において、焦点面のｚ軸位置の判定が終了していない場合（ステップＳ３２０３においてＮＯ）、最高位置細胞特定部３１５はステップＳ３２０４へ進む。
【０１９６】
（ステップＳ３２０４）
最高位置細胞特定部３１５は、ステップＳ３２０２で選択した合焦画像群のうち、焦点面のｚ軸位置の判定が終了していない合焦画像を選択する。
【０１９７】
（ステップＳ３２０５）
最高位置細胞特定部３１５は、ステップＳ３２０４で選択した合焦画像について、予め定められたコントラストの閾値よりも大きいか否かを判断する。合焦画像中に心筋細胞又は心筋細胞の一部分が写っている場合、心筋細胞の輪郭が明確であれば、コントラストは高くなる。例えば、合焦画像に心筋細胞の外形、及び／又は、心筋細胞中の細胞の輪郭が含まれる場合、コントラストが大きい。ステップＳ３２０４で選択した合焦画像のコントラストが閾値より大きい場合、画像中に心筋細胞の外形及び／又は心筋細胞中の細胞の輪郭が含まれると判断できる。コントラストは、例えば当該合焦画像にラプラシアンフィルタを適用し、ゼロクロスによりエッジ点を求め、エッジ点の周辺の輝度勾配を求めることで決定することができる。コントラストの閾値には、例えば、心筋細胞中の細胞の画像に対して、目視によって実験的に予め定められた値が用いられてもよい。
【０１９８】
ここで、当該合焦画像のコントラストが、予め定められたコントラストの閾値よりも大きい場合（ステップＳ３２０５においてＹＥＳ）、最高位置細胞特定部３１５はステップＳ３２０６へ進む。一方、当該合焦画像のコントラストが、予め定められたコントラストの閾値以下の場合（ステップＳ３２０５においてＮＯ）、最高位置細胞特定部３１５はステップＳ３２０３へ戻る。
【０１９９】
（ステップＳ３２０６）
最高位置細胞特定部３１５は、ステップＳ３２０４で選択した合焦画像の焦点面のｚ軸位置のｚ座標の値が、記憶された値つまり記憶された高さよりも大きいか否かを判断する。ここで、上記の記憶された値とは、以下のステップＳ３２０７において、最高位置細胞特定部３１５が記憶する合焦画像の焦点面のｚ軸位置の値である。つまり、上記の記憶された値は、焦点面のｚ軸位置が決定済みの合焦画像の焦点面の中での、焦点面のｚ軸位置のｚ座標の最大値である。上記の記憶された値は、最高位置細胞特定部３１５が有する図示しない半導体メモリ等のメモリに記憶されていてもよく、第二記憶部３１７に記憶されていてもよい。ステップＳ３２０４で選択した合焦画像の焦点面のｚ軸位置のｚ座標の値が記憶された値よりも大きい場合（ステップＳ３２０６においてＹＥＳ）、最高位置細胞特定部３１５はステップＳ３２０７へ進む。一方、当該合焦画像の焦点面のｚ軸位置のｚ座標の値が記憶された値以下の場合（ステップＳ３２０６においてＮＯ）、最高位置細胞特定部３１５はステップＳ３２０３へ戻る。
【０２００】
（ステップＳ３２０７）
最高位置細胞特定部３１５は、記憶されている焦点面のｚ軸位置の値を破棄し、ステップＳ３２０４で選択した合焦画像の焦点面のｚ軸位置の値を、最高位置細胞特定部３１５の図示しないメモリ又は第二記憶部３１７に記憶する。ステップＳ３２０７の終了後、最高位置細胞特定部３１５はステップＳ３２０３へ戻る。
【０２０１】
（ステップＳ３２０８）
最高位置細胞特定部３１５は、記憶されている焦点面のｚ軸位置の値を、ステップＳ３２０２で選択した合焦画像群中で、心筋細胞又は心筋細胞の一部の画像を含む画像として、最も大きいｚ軸位置の値を持つ合焦画像のｚ軸位置の値として決定する。
【０２０２】
心筋細胞又は心筋細胞の一部の画像を含む画像として、最も大きいｚ軸位置の値を持つ合焦画像は、ｘｙ平面すなわちイメージセンサ１０３の表面１０３ａから最も離れた位置にある心筋細胞の部分の画像を含むことを意味する。心筋細胞の伸縮に大きな歪がないとすると、図１６Ｂに示すように、心筋細胞において、収縮期間でｚ軸位置の値が最大になる部分と、弛緩期間でｚ軸位置の値が最大になる部分とは対応する、すなわち、これらの２つの部分は同一の細胞が存在する部分であると考えられる。
【０２０３】
［ステップＳ３４００の処理］
図２８を参照して、上述したステップＳ３４００の処理の詳細を説明する。図２８は、図２５のステップＳ３４００の詳細な処理の流れの一例を示すフローチャートである。
【０２０４】
（ステップＳ３４０１）
焦点面決定部３１１は、入力部１４０より、収縮期間中の撮影画像のための焦点面を取得する。ユーザ（図示せず）は、入力部１４０に、収縮期間の心筋細胞の状態に基づいて、収縮期間中の撮影画像のための焦点面を指定する情報を入力する。焦点面を指定する情報は、例えば、焦点面とｚ軸との交点のｚ座標の値、つまり、焦点面のｚ軸位置のｚ座標である。本実施の形態では、指定される焦点面を、ｘｙ平面、すなわちイメージセンサ１０３の表面１０３ａと平行な平面とする。
【０２０５】
（ステップＳ３４０２）
焦点面決定部３１１は、ステップＳ３４０１で取得した収縮期間中の撮影画像のための焦点面のｚ軸位置の値に基づき、ステップＳ３３００で決定された心筋細胞のｚ軸方向の伸縮率に従って、弛緩期間中の撮影画像のための焦点面のｚ軸位置を決定する。ステップＳ３３００で決定されたｚ軸方向の伸縮率が、例えば、１．７であり、ステップＳ３４０１で取得した収縮期間中の撮影画像のための焦点面のｚ軸位置の値であるｚ座標が、例えば、８０μｍである場合、弛緩期間中の撮影画像のための焦点面のｚ軸位置のｚ座標は、１３６μｍとなる。
【０２０６】
［効果］
以上のように、実施の形態３に係る画像生成システム３０によれば、実施の形態２と同様に、心筋細胞の収縮期間及び弛緩期間の各々の期間で取得した撮影画像を元に、収縮期間及び弛緩期間の各々についてリフォーカシング処理することにより、自由な焦点面での心筋細胞の画像を得ることができる。さらに、拍動する心筋細胞についても、収縮状態及び弛緩状態の両状態における心筋細胞内部の状態を観察することが可能になる。さらにまた、実施の形態３に係る画像生成システム３０によれば、収縮期間での心筋細胞の大きさ及び弛緩期間での心筋細胞の大きさの関係に合わせて、それぞれの期間に対して焦点面を設定することで、収縮期間及び弛緩期間で同一の細胞が観察可能な各々の合焦面を生成して表示することができる。これにより、収縮期間及び弛緩期間とにおける同一の個々の細胞の状態を観察及び比較することができ、細胞の状態確認、異常の検出がしやすくなる。
【０２０７】
なお、実施の形態３に係る画像生成システム３０では、焦点面決定部３１１による焦点面の決定の前に、予め設定された焦点面に基づきリフォーカシング処理部１１２が生成した合焦画像を、入力部１４０により指定された焦点面に対応する画像として表示したが、これに限定されない。例えば、画像生成システム３０の画像処理部３１０が、画像のマッチング部を備えてもよい。マッチング部は、入力部１４０により指定された焦点面に対応する画像に関して、焦点面決定部３１１で決定された焦点面にｚ軸位置が近い焦点面、例えばｚ軸方向に上下１０μｍの距離以内にある焦点面の中で、画像の特徴点の対応が最も多く取れる焦点面を決定してもよい。そして、マッチング部は、決定した焦点面での合焦画像を、入力部１４０により指定された焦点面に対応する画像として、表示部１３０で表示してもよい。
【０２０８】
［実施の形態４］
実施の形態４に係る画像生成システム４０について説明する。実施の形態２では、収縮期間及び弛緩期間の撮影画像のｘｙ平面上の情報に基づき、収縮期間及び弛緩期間の間での心筋細胞の大きさの変化率をもとめ、収縮期間及び弛緩期間の３次元空間での位置の対応関係を求めた。実施の形態４では、撮影後の画像にリフォーカシング処理を行って、３次元空間での心筋細胞の輝度分布情報を生成し、３次元空間内での心筋細胞の収縮期間及び弛緩期間の大きさの変化率を求める点が、実施の形態２と異なる。以下に、実施の形態４について、実施の形態２と異なる点を中心に説明する。
【０２０９】
［画像生成システムの構成］
図２９を参照して、実施の形態４に係る画像生成システム４０の構成を説明する。なお、図２９は、実施の形態４に係る画像生成システム４０の機能的な構成の一例を示すブロック図である。画像生成システム４０は、撮影部１００と、画像処理部４１０と、第一記憶部１２０と、表示部１３０と、入力部１４０とを備える。撮影部１００は、実施の形態２と同様に、複数の照明器１０１と、刺激電極１０２と、イメージセンサ１０３と、撮影制御部１０４とを備える。画像処理部４１０は、焦点面決定部４１１と、リフォーカシング処理部１１２と、調整部４１２と、第二記憶部３１７と、画像生成部４１８とを備える。調整部４１２は、伸縮率計算部４１３と、調整値決定部４１４とを有する。画像生成部４１８、調整部４１２、伸縮率計算部４１３及び調整値決定部４１４は、リフォーカシング処理部１１２等について上述した構成と同様の構成を有してもよい。
【０２１０】
リフォーカシング処理部１１２は、複数の撮影画像と、複数の照明器１０１の位置情報と、仮想的な焦点面の情報とから、当該焦点面における合焦画像を構成する画素ごとの光の強度を計算し、合焦画像を生成する。
【０２１１】
調整部４１２の伸縮率計算部４１３は、収縮期間及び弛緩期間の間における心筋細胞の３次元空間での伸縮率を算出する。具体的には、伸縮率計算部４１３は、第二記憶部３１７に記憶されたリフォーカシング処理結果による、収縮期間及び弛緩期間それぞれの３次元空間内の輝度分布情報を使用する。そして、伸縮率計算部４１３は、輝度分布情報を元に、収縮している状態の心筋細胞の３次元空間での外周（輪郭）と、弛緩している状態の心筋細胞の３次元空間での外周（輪郭）とから、心筋細胞の３次元空間での伸縮率を計算する。
【０２１２】
調整部４１２の調整値決定部４１４は、伸縮率計算部４１３で算出された３次元空間での心筋細胞の伸縮率に基づいて、３次元空間での収縮期間における細胞の位置と、弛緩期間における細胞の位置との対応を求める調整値を決定する。
【０２１３】
焦点面決定部４１１は、心筋細胞の収縮期間で取得した撮影画像に対する、複数の照明器１０１及びイメージセンサ１０３の間に位置する仮想的な焦点面と、心筋細胞の弛緩期間で取得した撮影画像に対する、複数の照明器１０１及びイメージセンサ１０３の間に位置する仮想的な焦点面とを決定する。焦点面決定部４１１は、例えば、入力部１４０を介して外部から入力された、収縮期間の撮影画像に対する焦点面の位置情報に従って、収縮期間の撮影画像に対する焦点面を決定する。さらに、焦点面決定部４１１は、調整部４１２で決定された３次元空間内での収縮期間での細胞の位置と弛緩期間での細胞の位置との対応を求める調整値に従って、収縮期間の撮影画像に対する焦点面に対応する弛緩期間の撮影画像に対する焦点面を決定する。なお、収縮期間の焦点面の合焦画像と弛緩期間の焦点面の合焦画像との間では、同一の細胞が見られる。焦点面決定部４１１は、入力部１４０を介して弛緩期間で取得した画像に対する焦点面の位置情報が入力された場合は、対応する収縮期間で取得された画像に対する焦点面を決定する。
【０２１４】
第二記憶部３１７は、種々の情報を記憶する。第二記憶部３１７は、リフォーカシング処理部１１２により生成された合焦画像と、合焦画像の生成に用いられた撮影画像が収縮期間中に撮影された画像であるか弛緩期間中に撮影された画像であるかの情報と、３次元空間の座標と、当該座標の輝度とを対応付けて記憶している。例えば、図３０には、第二記憶部３１７が記憶する内容の一例が示されている。図３０の例では、第二記憶部３１７は、３次元空間での座標と、リフォーカシング処理に用いた画像が撮影された際の心筋細胞の状態、すなわち収縮期間又は弛緩期間のいずれに属するかと、当該座標の輝度とを対応付けて記憶している。なお、第二記憶部３１７の機能の全て又は一部は、第一記憶部１２０によって兼ねられてもよい。
【０２１５】
画像生成部４１８は、第二記憶部３１７に記憶された３次元空間内の輝度の情報を用いて、焦点面決定部４１１によって収縮期間及び弛緩期間のそれぞれに対して決定された焦点面を構成する画素の輝度を算出して、当該の焦点面に対応する合焦画像を生成する。
【０２１６】
［画像生成システムの動作］
次に、図３１を参照して、実施の形態４に係る画像生成システム４０の動作について説明する。なお、図３１は、実施の形態４に係る画像生成システム４０の動作の流れの一例を示すフローチャートである。図３１において、図４、図１５及び図２５と実質的に同一のステップつまり処理については、同一の符号を付し、適宜説明を省略する。
【０２１７】
（ステップＳ１１００）
撮影部１００は、刺激電極１０２より電気刺激を心筋細胞に加え、電気刺激からの経過時間が一定の範囲内で生じる心筋細胞の収縮期間の間に、複数の照明器１０１を順に用いて心筋細胞を照明しつつ、当該心筋細胞の複数の画像を撮影する。さらに、収縮期間が終了した後に、撮影部１００は、収縮期間とは異なり且つ電気刺激からの経過時間が一定の範囲で生じる心筋細胞の弛緩期間の間に、複数の照明器１０１を順に用いて心筋細胞を照明しつつ、当該心筋細胞の複数の画像を撮影する。撮影部１００は、撮影画像を第一記憶部１２０に格納する。
【０２１８】
（ステップＳ３１００）
リフォーカシング処理部１１２は、ステップＳ１１００で撮影され且つ第一記憶部１２０に記憶された撮影画像を用いて、予め定められた複数の焦点面の合焦画像を生成する。リフォーカシング処理部１１２は、合焦画像を、心筋細胞の状態ごと、すなわち、心筋細胞の収縮期間中の撮影画像と弛緩期間中の撮影画像とからそれぞれ生成する。リフォーカシング処理部１１２は、第二記憶部３１７に、合焦画像の各画素の輝度値と、心筋細胞の状態の情報と、焦点面の位置と、焦点面中の画素位置を３次元空間中の座標で示した情報とをあわせて、つまり対応付けて記憶させる。第二記憶部３１７に記憶された上記情報に基づき、種々の焦点面上での合焦画像の画素の輝度及び当該画素の３次元位置が得られ、それにより、心筋細胞における３次元輝度分布が得られる。合焦画像の生成方法は、実施の形態１の図８に示す方法と同様である。予め定められた複数の焦点面は、例えば、ｘｙ平面に平行な焦点面であり、ｚ軸との交点のｚ座標の値が１μｍずつ異なる焦点面であり、ｚ軸との交点のｚ座標の値は１から３００μｍである。このような複数の焦点面は、イメージセンサ１０３の表面１０３ａのみを焦点面とせず、イメージセンサ１０３の表面１０３ａに対して３次元的に存在する。
【０２１９】
（ステップＳ４２００）
調整部４１２の伸縮率計算部４１３は、ステップＳ３１００で生成され且つ第二記憶部３１７に記憶された収縮期間の合焦画像から、撮影空間の３次元輝度分布を取得し、３次元輝度分布中の心筋細胞の３次元での外周を取得する。さらに、伸縮率計算部４１３は、第二記憶部３１７に記憶された弛緩期間の合焦画像から、撮影空間の３次元輝度分布を取得し、３次元輝度分布中の心筋細胞の３次元での外周を取得する。撮影空間は、複数の照明器１０１とイメージセンサ１０３との間の空間であってもよい。そして、伸縮率計算部４１３は、３次元での外周それぞれに基づき、収縮期間での心筋細胞の重心と、弛緩期間での心筋細胞の重心とを求める。さらに、伸縮率計算部４１３は、心筋細胞における伸縮率が最大の方向と、伸縮率の最大方向における心筋細胞の伸縮率と、伸縮率の最大方向である第１軸方向に対して直交する第２軸方向での心筋細胞の伸縮率を求める。また、伸縮率計算部４１３は、ｚ軸方向の心筋細胞の伸縮率が第２軸方向での伸縮率と等しいものとして、ｚ軸方向の心筋細胞の伸縮率を推定し、ｚ軸方向の伸縮ベクトルを算出する。さらにまた、伸縮率計算部４１３は、収縮期間及び弛緩期間の間での心筋細胞の重心の移動方向及び移動距離を示す重心移動ベクトルを算出する。伸縮率計算部４１３は、上述で算出した伸縮率、ベクトル及び重心等をあわせて焦点面の調整値として決定する。
【０２２０】
例えば、図３２Ａ〜図３２Ｃには、イメージセンサ１０３の表面１０３ａ上に心筋細胞が載置されている状態が、図６に示した３次元空間中において模式的に示されている。図３２Ａ〜図３２Ｃにおいて、弛緩期間中の心筋細胞ＭＡが、より薄く色付けされており、収縮期間中の心筋細胞ＭＳが、より濃く色付けされている。伸縮率計算部４１３は、図３２Ａに示される心筋細胞ＭＡ及びＭＳそれぞれの外周つまり３次元輪郭を抽出し、各外周の重心の算出と、各外周を用いた心筋細胞ＭＡ及びＭＳの間での伸縮率の算出を行う。ステップＳ４２００の動作の詳細は後述する。
【０２２１】
（ステップＳ４３００）
焦点面決定部４１１は、収縮期間中の撮影画像を元に合焦画像を生成する焦点面と、弛緩期間中の撮影画像を元に合焦画像を生成する焦点面とを決定する。具体的には、焦点面決定部４１１は、イメージセンサ１０３の表面１０３ａをｘｙ平面とし且つ表面１０３ａに直交する方向をｚ軸とする図６に示すような座標系において、合焦画像の焦点面の位置及び傾きを決定する。例えば、焦点面決定部４１１は、入力部１４０によりユーザから受け付けられた、収縮期間に対する焦点面を指定する指定情報、又は弛緩期間に対する焦点面を指定する指定情報に基づいて、焦点面を決定する。ステップＳ４３００の動作の詳細は後述する。
【０２２２】
（ステップＳ４４００）
画像生成部４１８は、ステップＳ４３００で決定された収縮期間での焦点面及び弛緩期間での焦点面それぞれに対応する合焦画像を生成する。画像生成部４１８は、収縮期間での焦点面及び弛緩期間での焦点面それぞれに対して、焦点面上に合成する画像の画素配置を決定する。例えば、図３２Ａに示す座標系において、画像生成部４１８は、心筋細胞の重心のｘｙ座標と合焦画像の中心のｘｙ座標とが一致するように、画素配置を決定する。画像生成部４１８は、合焦画像の各画素について、第二記憶部３１７に記憶された輝度値情報から、画素の近傍の１つ以上の座標点の輝度値を抽出して補間することで、画素の座標点での輝度値を算出する。画像生成部４１８は、合焦画像の各画素の輝度値を算出し、これらの画素により構成される画像を生成する。ステップＳ４４００の動作の詳細は後述する。
【０２２３】
（ステップＳ１４００）
画像生成部４１８は、表示部１３０に、ステップＳ４４００で生成された画像を出力し、表示させる。表示部１３０は、実施の形態２と同様の表示をしてもよく、実施の形態３と同様の表示をしてもよい。
【０２２４】
［ステップＳ４２００の処理］
図３３を参照して、上述したステップＳ４２００の処理の詳細を説明する。図３３は、図３１のステップＳ４２００の詳細な処理の流れの一例を示すフローチャートである。ここで、調整部４１２は、収縮期間及び弛緩期間の心筋細胞について同じ部分を特定する際に使用する調整用のパラメータを生成する。収縮期間から弛緩期間への心筋細胞中の任意の点の移動は、全体の伸張に伴う中心又は重心の移動として、及び、伸張に起因する全体形状の拡大として捉えることができる。伸縮は、３次元的に生じ、３次元的な伸縮において、伸縮が顕著に生じる主軸方向と、そうでない方向がある。ここでは、調整部４１２は、図３２Ｂに示されるように、心筋細胞の伸縮が最も顕著に生じる方向を第１軸方向とし、第１軸とｚ軸との両方に垂直な方向を第２軸方向とし、ｚ軸を第３軸として、第１軸から第３軸の方向と、それぞれの方向における心筋細胞の伸縮率とを取得する。
【０２２５】
（ステップＳ４２０１）
調整部４１２の伸縮率計算部４１３は、ステップＳ３１００で生成され且つ第二記憶部３１７に記憶された収縮期間及び弛緩期間のそれぞれ合焦画像から、３次元空間内での輝度分布情報を取得する。伸縮率計算部４１３は、取得した輝度分布情報から、輝度勾配が予め定められた閾値以上の部分を抽出し、その抽出結果に基づき、収縮期間及び弛緩期間のそれぞれの心筋細胞の立体的な輪郭、つまり３次元の外周を決定する。
【０２２６】
（ステップＳ４２０２）
伸縮率計算部４１３は、ステップＳ４２０１で求めた収縮期間中の心筋細胞の３次元の外周と、弛緩期間中の心筋細胞の３次元の外周とのそれぞれに対して、これらの３次元の重心の座標を算出する。収縮期間中の心筋細胞の重心をｃｓとし、弛緩期間中の心筋細胞の重心をｃａとする。重心ｃｓから重心ｃａに延びるベクトルは、重心の移動方向及び移動距離を示す重心移動ベクトル（図３２Ｂ参照）である。
【０２２７】
（ステップＳ４２０３）
伸縮率計算部４１３は、ステップＳ４２０２で求めた収縮期間及び弛緩期間それぞれの心筋細胞の重心ｃｓ及びｃａから、細胞の伸縮による心筋細胞の重心の移動量、具体的にはｚ軸方向の移動量を算出する。ここでは、心筋細胞の収縮は重心位置を中心に対象に起こるものとする。したがって、収縮期間中の心筋細胞の重心ｃｓ及び弛緩期間中の心筋細胞の重心ｃａの間で、ｘ座標及びｙ座標はそれぞれ等しく、ｚ座標のみが異なる、つまり、ｚ軸方向にのみ重心が移動するものとする。
【０２２８】
図３２Ｂにおいて、白抜きの×印は、弛緩期間の心筋細胞の重心ｃａを示し、黒線の×印は、収縮期間の心筋細胞の重心ｃｓを示す。重心ｃａの３次元座標は、（ｃａ＿ｘ，ｃａ＿ｙ，ｃａ＿ｚ）で示され、重心ｃｓの３次元座標は、（ｃｓ＿ｘ，ｃｓ＿ｙ，ｃｓ＿ｚ）で示される。２つの重心ｃａ及びｃｓの間でのｚ軸方向の移動量は、イメージセンサ１０３の表面１０３ａからの高さの差、つまり、ｃｓ＿ｚ及びｃａ＿ｚの差として計算される。ここで、３次元空間の単位ベクトルの長さは、イメージセンサ１０３の１つのセンサ画素のサイズ（長さ）とする。
【０２２９】
（ステップＳ４２０４）
伸縮率計算部４１３は、ステップＳ４２０１で決定した収縮期間中の心筋細胞の３次元の外周と弛緩期間中の細胞の３次元の外周とを用いて、伸縮の第１軸、すなわち、心筋細胞の伸縮が顕著に生じる方向の方向ベクトルである伸縮率最大ベクトルＶ＿ＭＡＸと、その方向における心筋細胞の伸縮率ｖ＿ｍａｘとを算出する。
【０２３０】
一般に、心筋細胞の伸縮が顕著に生じる方向は、イメージセンサ１０３の表面１０３ａに平行な平面内にあるため、伸縮率最大ベクトルＶ＿ＭＡＸのｚ座標は０とする。さらに、ステップＳ４２０１で決定した２つの外周をｘｙ平面に写像つまり投影した外周を、ｘｙ平面上の外周とする。例えば、図３２Ｃでは、３次元の外周がｘｙ平面に写像され、写像により３次元の外周が形成する平面図形の外周が示されている。具体的には、弛緩期間の心筋細胞ＭＡの３次元の外周をｘｙ平面に写像した平面図形の外周ＭＡａが、実線で示されている。収縮期間の心筋細胞ＭＳの３次元の外周をｘｙ平面に写像した平面図形の外周ＭＳａが、破線で示されている。ｘｙ平面上の星印は、収縮期間の心筋細胞ＭＳの重心ｃｓ及び弛緩期間の心筋細胞ＭＡの重心ｃａがｘｙ平面に写像つまり投影された位置を示している。伸縮率計算部４１３は、これらｘｙ平面上の２つの外周ＭＡａ及びＭＳａについて、伸縮率最大ベクトルＶ＿ＭＡＸを決定し、その方向における心筋細胞の伸縮率ｖ＿ｍａｘを算出する。伸縮率最大ベクトルＶ＿ＭＡＸ及び伸縮率ｖ＿ｍａｘの具体的な算出方法は、実施の形態２のステップＳ２１０３の方法と同様である。
【０２３１】
本実施の形態では、ｘｙ平面に写像した３次元の外周に対して伸縮率最大ベクトルＶ＿ＭＡＸを決定したが、これに限定されない。例えば、３次元の外周をｘｙ平面に写像する前に、収縮期間の重心ｃｓと弛緩期間の重心ｃａとを一致させるために、心筋細胞ＭＡ及びＭＳの３次元の外周をｚ軸方向へ平行移動した後、３次元空間で、一致した重心を基点としたベクトルを回転させ、３次元の外周に対して伸縮率最大ベクトルＶ＿ＭＡＸを決定してもよい。
【０２３２】
（ステップＳ４２０５）
伸縮率計算部４１３は、伸縮率最大ベクトルＶ＿ＭＡＸとｘｙ平面上で直交するベクトルＶ＿ＭＩＮと、ベクトルＶ＿ＭＩＮの方向での心筋細胞の伸縮率ｖ＿ｍｉｎとを算出する。伸縮率計算部４１３は、ベクトルＶ＿ＭＩＮ及び伸縮率ｖ＿ｍｉｎから、ｚ軸方向の伸縮ベクトルＺと、伸縮ベクトルＺの方向における心筋細胞の伸縮率ｖ＿ｚを推定する。それぞれの具体的な算出方法及び推定方法は、実施の形態２のステップＳ２１０４の方法と同様である。
【０２３３】
（ステップＳ４２０６）
調整部４１２の調整値決定部４１４は、ステップＳ４２０４で算出された伸縮率最大ベクトルＶ＿ＭＡＸと、ステップＳ４２０５で算出されたベクトルＶ＿ＭＩＮ及び伸縮ベクトルＺと、ステップＳ４２０２で算出された収縮期間及び弛緩期間それぞれの重心ｃｓ及びｃａと当該重心の重心移動ベクトルとを、焦点面の調整値として設定する。
【０２３４】
具体的には、ベクトルＶ＿ＭＡＸの方向は、（ｃｏｓ（θ＿ｍａｘ），ｓｉｎ（θ＿ｍａｘ），０）であり、ベクトルＶ＿ＭＡＸの大きさは、ｖ＿ｍａｘである。ベクトルＶ＿ＭＡＸに直交するベクトルＶ＿ＭＩＮの方向は、（−ｓｉｎ（θ＿ｍａｘ），ｃｏｓ（θ＿ｍａｘ），０）であり、ベクトルＶ＿ＭＩＮの大きさは、ｖ＿ｍｉｎである。伸縮ベクトルＺの方向は、（０，０，１）であり、伸縮ベクトルＺの大きさは、ｖ＿ｚつまりｖ＿ｍｉｎである。収縮期間の重心ｃｓの位置は、（ｃｓ＿ｘ，ｃｓ＿ｙ，ｃｓ＿ｚ）であり、弛緩期間の重心ｃａの位置は、（ｃａ＿ｘ，ｃａ＿ｙ，ｃａ＿ｚ）である。重心移動ベクトルの方向は、（０，０，１）であり、重心移動ベクトルの大きさは、｜ｃａ＿ｚ−ｃｓ＿ｚ｜である。
【０２３５】
［ステップＳ４３００の処理］
図３４を参照して、ステップＳ４３００の処理の詳細を説明する。なお、図３４は、図３１のステップＳ４３００の詳細な処理の流れの一例を示すフローチャートである。
【０２３６】
まず、収縮期間の心筋細胞における３次元空間上の点ｐ（ｐｘ，ｐｙ，ｐｚ）に対応する弛緩期間の心筋細胞における３次元空間上の点Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）を算出する方法を説明する。収縮期間の心筋細胞の重心をｃｓとする。重心ｃｓと点ｐとを結ぶベクトル「（ｐｘ，ｐｙ，ｐｚ）−ｃｓ」を、伸縮率最大ベクトルＶ＿ＭＡＸ、ベクトルＶ＿ＭＩＮ，及び伸縮ベクトルＺの方向のベクトルであらわすと次の関係式になる。つまり、（ｐｘ，ｐｙ，ｐｚ）−ｃｓ＝ｋ１×Ｖ＿ＭＡＸ＋ｋ２×Ｖ＿ＭＩＮ＋ｋ３×Ｚの関係が成立する。重心ｃｓの座標が、（ｃｓ＿ｘ，ｃｓ＿ｙ，ｃｓ＿ｚ）であるとすると、上記の関係は、下記の式６によって表される。さらに、点ｐは、下記の式７によって表される。
【０２３７】
【数６】
2018194412.tif 000008
【数７】
2018194412.tif 000009
【０２３８】
心筋細胞は、弛緩によって、伸縮率最大ベクトルＶ＿ＭＡＸ、ベクトルＶ＿ＭＩＮ及び伸縮ベクトルＺの方向に、それぞれ、ｖ＿ｍａｘ，ｖ＿ｍｉｎ及びｖ＿ｚすなわちｖ＿ｍｉｎ倍される。収縮期間での点ｐから変化した弛緩期間の点Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）は、次の関係式で算出することができる。つまり、（Ｐｘ，Ｐｙ，Ｐｚ）＝ｋ１×ｖ＿ｍａｘ×Ｖ＿ＭＡＸ＋ｋ２×ｖ＿ｍｉｎ×Ｖ＿ＭＩＮ＋ｋ３×ｖ＿ｍｉｎ×Ｚ＋ｃａの関係が成立する。また、上記の関係式は、下記の式８のように表せる。なお、ｃａは、弛緩期間の心筋細胞の重心であり、重心ｃａの座標は、（ｃａ＿ｘ，ｃａ＿ｙ，ｃａ＿ｚ）である。
【０２３９】
【数８】
2018194412.tif 000010
【０２４０】
式７より、ｋ１、ｋ２及びｋ３を解き、式８により点Ｐの座標を求めることで、収縮期間の点ｐに対応する弛緩期間の点Ｐを、心筋細胞の伸張によるベクトルＶ＿ＭＡＸ方向、ベクトルＶ＿ＭＩＮ方向、及び伸縮ベクトルＺ方向つまりｚ軸方向への移動として求めることができる。
【０２４１】
（ステップＳ４３０１）
焦点面決定部４１１は、入力部１４０より取得した収縮期間中の撮影画像のための焦点面の情報を取得する。ユーザ（図示せず）は、収縮期間の心筋細胞の状態に基づいて、収縮期間中の撮影画像のための焦点面を指定する情報を入力部１４０に入力する。焦点面を指定する情報は、例えば、イメージセンサ１０３の表面１０３ａをｘｙ平面とする座標上での焦点面とｘｙ平面とのなす角度及び焦点面の原点からの距離である。
【０２４２】
（ステップＳ４３０２）
焦点面決定部４１１は、ステップＳ４３０１で取得した収縮期間中の撮影画像のための焦点面の情報と、ステップＳ４２００で決定された焦点面の調整値とに基づいて、焦点面の位置を移動させることにより弛緩期間中の撮影画像のための焦点面を決定する。焦点面決定部４１１は、ステップＳ４３０１で取得した収縮期間中の撮影画像のための焦点面上に、３つの点を設定し、式７及び式８により当該３つの点を移動する。焦点面決定部４１１は、移動後の３つの点を通る平面を、弛緩期間中の撮影画像のための焦点面として決定する。なお、本実施の形態では、ユーザは入力部１４０より収縮期間の撮影画像のための焦点面の情報を入力するものとしたが、弛緩期間の撮影画像のための焦点面の情報を入力するものとしてもよい。この場合も、焦点面決定部４１１は、入力された焦点面の情報を元に、調整値を用いて収縮期間の撮影画像のための焦点面を決定してもよい。
【０２４３】
［ステップＳ４４００の処理］
図３５を参照して、上述したステップＳ４４００の処理の詳細を説明する。図３５は、図３１のステップＳ４４００の詳細な処理の流れの一例を示すフローチャートである。本実施の形態では、収縮期間の心筋細胞の合焦画像を生成する場合も、弛緩期間の心筋細胞の合焦画像を生成する場合も、手順は同じである。そのため、図３５は、収縮期間の合焦画像及び弛緩期間の合焦画像のいずれか一方の画像を生成する処理を示している。ステップＳ４４００では、収縮期間の合焦画像の生成動作及び弛緩期間の合焦画像の生成動作のそれぞれで、図３５の処理が行われる。以下の説明では、生成する画像を単なる合焦画像とし、収縮期間の心筋細胞の合焦画像であっても、弛緩期間の心筋細胞の合焦画像であってもよいものとする。
【０２４４】
（ステップＳ４４０１）
画像生成部４１８は、合焦画像を構成する画素のすべてに対して輝度値を決定したか否かを判断する。すべての画素の輝度値を決定済みである場合（ステップＳ４４０１でＹＥＳ）、画像生成部４１８はステップＳ４４０６へ進む。輝度値が決定されていない画素がある場合（ステップＳ４４０１でＮＯ）、画像生成部４１８はステップＳ４４０２へ進む。
【０２４５】
（ステップＳ４４０２）
画像生成部４１８は、合焦画像において、輝度値が未だ決定されていない画素から１つの画素を選択する。
【０２４６】
（ステップＳ４４０３）
画像生成部４１８は、ステップＳ４４０２で選択された合焦画像の画素の位置を、第二記憶部３１７が記憶する３次元座標位置と同一の座標系、例えば、図６の座標系に当てはめて、当該合焦画像の画素の３次元座標を取得する。さらに、画像生成部４１８は、当てはめられた当該合焦画像の画素の３次元座標に一致する３次元座標を有する画素を、第二記憶部３１７に記憶された画素から抽出する。当該合焦画像の画素の３次元座標に一致する３次元座標を有する画素が、第二記憶部３１７に記憶されていない場合、画像生成部４１８は、当該合焦画像の画素の３次元座標に最も近い３次元座標位置にある複数の画素、例えば４つの画素を、第二記憶部３１７に記憶された画素から抽出する。抽出する画素の数は、４つ以外であってもよい。
【０２４７】
（ステップＳ４４０４）
画像生成部４１８は、ステップＳ４４０３で抽出した４つの画素における輝度値を抽出し、ステップＳ４４０２で選択された合焦画像の画素の３次元座標位置と、抽出した画素それぞれの３次元座標位置との距離に応じて補間を行い、当該合焦画像の画素の３次元座標位置での輝度値を求める。補間の具体的な方法は、図８のステップＳ１３８０と同様である。
【０２４８】
（ステップＳ４４０５）
画像生成部４１８は、ステップＳ４４０４で算出した輝度値を画素位置と共に第二記憶部３１７に記憶し、ステップＳ４４０１へ戻る。
【０２４９】
（ステップＳ４４０６）
画像生成部４１８は、ステップＳ４４０１からステップＳ４４０５を繰り返すことで、合焦画像を構成する全画素の輝度値を決定する。ステップＳ４４０６では、画像生成部４１８は、各画素の輝度値に基づいて画像データを生成し、表示部１３０へ出力する。
【０２５０】
なお、本実施の形態では、収縮期間及び弛緩期間での２つの焦点面を決定するために、伸縮率最大ベクトルＶ＿ＭＡＸ方向及の伸縮率ｖ＿ｍａｘ、ベクトルＶ＿ＭＩＮ方向の伸縮率ｖ＿ｍｉｎ、並びに、伸縮ベクトルＺ方向の伸縮率ｖ＿ｚが用いられたが、これに限定されない。伸縮率ｖ＿ｍａｘ、ｖ＿ｍｉｎ及びｖ＿ｚの少なくとも１つを用いて、収縮期間及び弛緩期間での２つの焦点面が決定されてもよい。
【０２５１】
［効果］
以上のように、実施の形態４に係る画像生成システム４０は、リフォーカシング処理によって、収縮期間及び弛緩期間の心筋細胞の各々について３次元空間の輝度分布を生成し、輝度分布に基づいて心筋細胞の３次元の輪郭つまり外周を抽出し、３次元の重心位置を算出する。そして、画像生成システム４０は、収縮期間での心筋細胞の大きさ及び弛緩期間での心筋細胞の大きさの関係に合わせて、それぞれの期間に対して焦点面を設定することで、収縮期間及び弛緩期間で同一の細胞が観察可能な各々の合焦面を生成して表示することができる。また、画像生成システム４０は、３次元空間の輝度分布から、自由な焦点面での心筋細胞の画像を得ることができる。これにより、拍動する心筋細胞についても、収縮状態及び弛緩状態との両状態における心筋細胞の内部の状態を観察することが可能になる。よって、拍動による細胞の位置の移動に関わらず、同一の個々の細胞の状態を観察及び比較することができ、細胞の状態確認、異常の検出がしやすくなる。
【０２５２】
［他の実施の形態］
以上、１つ又は複数の態様に係る画像生成システム等について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。
【０２５３】
実施の形態に係る画像生成システムは、画像の生成対象を、心筋細胞としていたが、これに限定されない。例えば、画像の生成対象は、変形動作する細胞、細胞塊、細胞組織片等であってもよい。細胞塊及び細胞組織片は、単一種類の細胞で構成されてもよく、複数種類の細胞で構成されてもよい。又は、画像の生成対象は、変形動作するいかなる半透明の立体であってもよい。
【０２５４】
また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【０２５５】
例えば、上記実施の形態に係る画像生成システムに含まれる各処理部は典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０２５６】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２５７】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０２５８】
また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
【０２５９】
本開示の画像生成方法は、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【０２６０】
さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０２６１】
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【０２６２】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【産業上の利用可能性】
【０２６３】
本開示は、半透明の立体を表示する装置に広く利用可能であり、特に培養細胞、細胞組織を培養し、培養中のその細胞又は細胞組織を撮影し画像データを表示する装置に広く利用可能である。
【符号の説明】
【０２６４】
１０、２０、３０、４０  画像生成システム
１００  撮影部
１０１  照明器（光源）
１０２  刺激電極
１０３  イメージセンサ
１０４  撮影制御部
１１０、２１０、３１０  画像処理部
１１１、２１１、３１１、４１１  焦点面決定部
１１２  リフォーカシング処理部
１２０  第一記憶部
１３０  表示部（ディスプレイ）
１４０  入力部
２１２、３１２、４１２  調整部
２１３、４１３  伸縮率計算部
２１４、４１４  調整値決定部
３１５  最高位置細胞特定部
３１６  ｚ軸伸縮率計算部
３１７  第二記憶部
４１８  画像生成部
【図１】
2018194412.tif 000011
【図２】
2018194412.tif 000012
【図３】
2018194412.tif 000013
【図４】
2018194412.tif 000014
【図５】
2018194412.tif 000015
【図６】
2018194412.tif 000016
【図７】
2018194412.tif 000017
【図８】
2018194412.tif 000018
【図９】
2018194412.tif 000019
【図１０】
2018194412.tif 000020
【図１１】
2018194412.tif 000021
【図１２】
2018194412.tif 000022
【図１３】
2018194412.tif 000023
【図１４】
2018194412.tif 000024
【図１５】
2018194412.tif 000025
【図１６Ａ】
2018194412.tif 000026
【図１６Ｂ】
2018194412.tif 000027
【図１７Ａ】
2018194412.tif 000028
【図１７Ｂ】
2018194412.tif 000029
【図１８】
2018194412.tif 000030
【図１９】
2018194412.tif 000031
【図２０Ａ】
2018194412.tif 000032
【図２０Ｂ】
2018194412.tif 000033
【図２０Ｃ】
2018194412.tif 000034
【図２０Ｄ】
2018194412.tif 000035
【図２０Ｅ】
2018194412.tif 000036
【図２０Ｆ】
2018194412.tif 000037
【図２０Ｇ】
2018194412.tif 000038
【図２１】
2018194412.tif 000039
【図２２】
2018194412.tif 000040
【図２３】
2018194412.tif 000041
【図２４】
2018194412.tif 000042
【図２５】
2018194412.tif 000043
【図２６】
2018194412.tif 000044
【図２７】
2018194412.tif 000045
【図２８】
2018194412.tif 000046
【図２９】
2018194412.tif 000047
【図３０】
2018194412.tif 000048
【図３１】
2018194412.tif 000049
【図３２Ａ】
2018194412.tif 000050
【図３２Ｂ】
2018194412.tif 000051
【図３２Ｃ】
2018194412.tif 000052
【図３３】
2018194412.tif 000053
【図３４】
2018194412.tif 000054
【図３５】
2018194412.tif 000055