(57)【要約】【課題】複数の撮影画像を用いて仮想的な焦点面における対象物の高画質な合焦画像を生成することができる画像生成システム等を提供する。【解決手段】画像生成システム１０は、複数の擬似点光源１０１ａｊと、表面に対象物が配置された複数のイメージセンサ１０２ａｋとの間に位置する仮想的な焦点面に対応する合焦画像を生成する。複数のイメージセンサ１０２ａｋはそれぞれ、複数の擬似点光源１０１ａｊのそれぞれが照明する毎に、撮影画像を取得する。さらに、画像生成システム１０は、複数のイメージセンサ１０２ａｋから１つを選択し、選択したイメージセンサにより撮影された複数の撮影画像を取得し、複数の擬似点光源１０１ａｊと選択したイメージセンサとの間に位置する焦点面の情報を取得し、焦点面の情報と複数の撮影画像とを用いて、焦点面の合焦画像を生成し、生成した焦点面の合焦画像を出力する。【選択図】図１
2018082389.tif 000002
【特許請求の範囲】
【請求項１】
第一及び第二の光源と、
第一対象物が載置される表面と複数のセンサ画素とを有する第一のイメージセンサと、
第二対象物が載置される表面と複数のセンサ画素とを有する第二のイメージセンサと、
前記第一及び第二の光源と前記第一及び第二のイメージセンサとの間に位置する仮想的な焦点面に対応する合焦画像を生成する少なくとも１つの制御回路とを備え、
前記第一及び第二のイメージセンサはそれぞれ、前記第一及び第二の光源のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二の対象物の複数の撮影画像を取得し、
前記少なくとも１つの制御回路は、
（ａ１）前記第一及び第二のイメージセンサのうちから１つを選択し、
（ａ２）選択したイメージセンサにより撮影された複数の撮影画像を取得し、
（ａ３）前記第一及び第二の光源と前記選択したイメージセンサとの間に位置する前記焦点面の情報を取得し、
（ａ４）前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、
（ａ５）生成した前記焦点面の合焦画像を出力する
画像生成システム。
【請求項２】
前記少なくとも１つの制御回路は、前記焦点面の合焦画像の生成で、前記第一及び第二の光源の位置情報と、前記選択したイメージセンサの位置情報とをさらに取得して用いる
請求項１に記載の画像生成システム。
【請求項３】
前記第一及び第二の光源の位置情報、並びに前記選択したイメージセンサの位置情報は、前記第一及び第二の光源の位置、並びに前記イメージセンサの位置に依存しない第一座標系に基づき、
前記焦点面の情報は、前記選択したイメージセンサを基準とする第二座標系に基づき、
前記少なくとも１つの制御回路は、前記焦点面の合焦画像の生成で、前記第一座標系及び前記第二座標系間の座標変換を行う
請求項２に記載の画像生成システム。
【請求項４】
前記少なくとも１つの制御回路は、前記光源の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出する
請求項１〜３のいずれか一項に記載の画像生成システム。
【請求項５】
イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、
（ｂ１）第一及び第二の光源のそれぞれを照明する毎に、第一及び第二のイメージセンサそれぞれの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二のイメージセンサ上にそれぞれ位置する第一及び第二の対象物の複数の撮影画像を取得し、
（ｂ２）前記第一及び第二のイメージセンサのうちから１つを選択し、
（ｂ３）選択したイメージセンサにより撮影された複数の撮影画像を取得し、
（ｂ４）前記第一及び第二の光源と前記選択したメージセンサとの間に位置する仮想的な焦点面を設定し、
（ｂ５）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、
（ｂ６）前記焦点面の合焦画像を出力し、
前記（ｂ１）〜（ｂ６）の少なくとも１つは制御回路により実行される
画像生成方法。
【請求項６】
コンピュータに実行させるプログラムであって、
（ｃ１）第一及び第二のイメージセンサのうちから１つを選択し、
（ｃ２）前記第一及び第二のイメージセンサ上にそれぞれ位置する第一及び第二の対象物の複数の撮影画像のうちから、選択したイメージセンサにより撮影された複数の撮影画像を取得し、ここで、前記第一及び第二の対象物の複数の撮影画像は、第一及び第二の光源のそれぞれを照明する毎に、前記第一及び第二のイメージセンサそれぞれの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二のイメージセンサによって取得され、
（ｃ３）前記第一及び第二の光源と前記選択したメージセンサとの間に位置する仮想的な焦点面を設定し、
（ｃ４）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、
（ｃ５）前記焦点面の合焦画像を出力する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズレス顕微鏡における複数の光源による複数の撮影画像に基づいて、仮想的な焦点面における対象物の画像を生成する技術に関する。
【背景技術】
【０００２】
培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影では、培養細胞の立体構造がわかりにくい。
【０００３】
特許文献１では、細胞の断面形状を評価するために、対物レンズに平行であって、対象物に対して焦点の高さ位置が異なる多数の画像（すなわちピントを対象物の高さ方向にずらしながら撮影した多数の画像）から、対物レンズと平行でない面の合焦画像（擬似断面画像）を生成する方法を示している。
【０００４】
ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような多湿な限られた空間内での観察のために、特許文献２は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。複数の異なる位置から照射する照明によって撮影された複数の画像を重ね合わせて（Ｐｔｙｃｈｏｇｒａｐｈｙ）、解像度を高める方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１０１５１２号公報
【特許文献２】米国特許出願公開第２０１４／０１３３７０２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法では、撮影した後に各高さ位置の画像から部分画像を切り出し、切り出された部分画像をつなぎ合わせるので、部分画像のつなぎ目に不連続が発生する。その結果、擬似断面画像の画質は、不連続により劣化する。また、不連続による画質劣化を低減するために不連続部分にぼかし処理が施されれば、擬似断面画像の鮮鋭さが低下する。
【０００７】
そこで、本開示は、複数の撮影画像を用いて、仮想的な焦点面における対象物の高画質な合焦画像を生成することができる画像生成システム等を提供する。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る画像生成システムは、第一及び第二の光源と、第一対象物が載置される表面と複数のセンサ画素とを有する第一のイメージセンサと、第二対象物が載置される表面と複数のセンサ画素とを有する第二のイメージセンサと、前記第一及び第二の光源と前記第一及び第二のイメージセンサとの間に位置する仮想的な焦点面に対応する合焦画像を生成する少なくとも１つの制御回路とを備え、前記第一及び第二のイメージセンサはそれぞれ、前記第一及び第二の光源のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二の対象物の複数の撮影画像を取得し、前記少なくとも１つの制御回路は、（ａ１）前記第一及び第二のイメージセンサのうちから１つを選択し、（ａ２）選択したイメージセンサにより撮影された複数の撮影画像を取得し、（ａ３）前記第一及び第二の光源と前記選択したイメージセンサとの間に位置する前記焦点面の情報を取得し、（ａ４）前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ａ５）生成した前記焦点面の合焦画像を出力する。
【０００９】
また、本開示の一態様に係る画像生成方法は、イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、（ｂ１）第一及び第二の光源のそれぞれを照明する毎に、第一及び第二のイメージセンサそれぞれの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二のイメージセンサ上にそれぞれ位置する第一及び第二の対象物の複数の撮影画像を取得し、（ｂ２）前記第一及び第二のイメージセンサのうちから１つを選択し、（ｂ３）選択したイメージセンサにより撮影された複数の撮影画像を取得し、（ｂ４）前記第一及び第二の光源と前記選択したメージセンサとの間に位置する仮想的な焦点面を設定し、（ｂ５）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ｂ６）前記焦点面の合焦画像を出力し、前記（ｂ１）〜（ｂ６）の少なくとも１つは制御回路により実行される。
【００１０】
また、本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、（ｃ１）第一及び第二のイメージセンサのうちから１つを選択し、（ｃ２）前記第一及び第二のイメージセンサ上にそれぞれ位置する第一及び第二の対象物の複数の撮影画像のうちから、選択したイメージセンサにより撮影された複数の撮影画像を取得し、ここで、前記第一及び第二の対象物の複数の撮影画像は、第一及び第二の光源のそれぞれを照明する毎に、前記第一及び第二のイメージセンサそれぞれの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二のイメージセンサによって取得され、（ｃ３）前記第一及び第二の光源と前記選択したメージセンサとの間に位置する仮想的な焦点面を設定し、（ｃ４）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ｃ５）前記焦点面の合焦画像を出力する。
【００１１】
なお、これらの包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１２】
本開示によれば、複数の撮影画像を用いて、仮想的な焦点面における対象物の高画質な合焦画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図２】実施の形態に係る撮影装置の機能的な構成の一例を示すブロック図である。
【図３】実施の形態に係る培養容器用トレイの構造の一例を模式的に示す断面側面図である。
【図４】実施の形態に係る培養容器用トレイの構造の一例を模式的に示す上面図である。
【図５Ａ】実施の形態に係る培養容器の一例を模式的に示す斜視図である。
【図５Ｂ】実施の形態に係る培養容器の別の一例を模式的に示す斜視図である。
【図６】実施の形態に係る照明器の配置の一例を模式的に示す上面図である。
【図７Ａ】実施の形態に係る照明器の配置の一例を模式的に示す側面図である。
【図７Ｂ】図７Ａの擬似点光源とイメージセンサとの位置関係を示す模式的な側面図である。
【図８】実施の形態に係る記憶部に記憶される情報の一例を示す図である。
【図９】実施の形態に係る画像生成システムの動作の一例を示すフローチャートである。
【図１０】座標と焦点面との関係の一例を示す模式図である。
【図１１】実施の形態に係る撮影装置の動作の一例を示すフローチャートである。
【図１２】実施の形態に係るリフォーカス処理部の動作の一例を示すフローチャートである。
【図１３】実施の形態に係るリフォーカス処理の具体例を説明する模式図である。
【図１４】実施の形態に係るリフォーカス処理の具体例を説明する模式図である。
【図１５】実施の形態に係るリフォーカス処理の具体例を説明する模式図である。
【図１６】実施の形態に係るリフォーカス処理の具体例を説明する模式図である。
【図１７】実施の形態に係るリフォーカス処理の具体例を説明する模式図である。
【図１８】変形例１に係る培養容器用トレイの構造の一例を模式的に示す断面側面図である。
【図１９】変形例１に係る培養容器用トレイの構造の一例を模式的に示す上面図である。
【図２０】変形例２に係る培養容器用トレイの構造の一例を模式的に示す断面側面図である。
【図２１】変形例２に係る培養容器用トレイの構造の一例を模式的に示す上面図である。
【発明を実施するための形態】
【００１４】
本開示の一態様に係る画像生成システムは、第一及び第二の光源と、第一対象物が載置される表面と複数のセンサ画素とを有する第一のイメージセンサと、第二対象物が載置される表面と複数のセンサ画素とを有する第二のイメージセンサと、前記第一及び第二の光源と前記第一及び第二のイメージセンサとの間に位置する仮想的な焦点面に対応する合焦画像を生成する少なくとも１つの制御回路とを備え、前記第一及び第二のイメージセンサはそれぞれ、前記第一及び第二の光源のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二の対象物の複数の撮影画像を取得し、前記少なくとも１つの制御回路は、（ａ１）前記第一及び第二のイメージセンサのうちから１つを選択し、（ａ２）選択したイメージセンサにより撮影された複数の撮影画像を取得し、（ａ３）前記第一及び第二の光源と前記選択したイメージセンサとの間に位置する前記焦点面の情報を取得し、（ａ４）前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ａ５）生成した前記焦点面の合焦画像を出力する。
【００１５】
本態様によれば、仮想的な焦点面の情報と複数の撮影画像とを用いて、焦点面の合焦画像を構成する複数の合焦画素に対応するイメージセンサのセンサ画素の輝度値が取得される。そして、取得されたセンサ画素の輝度値を用いて、焦点面の合焦画像が生成される。第一イメージセンサ及び第二イメージセンサそれぞれによって、各イメージセンサ上の対象物の撮影画像が取得されるが、焦点面の合焦画像を生成すべきイメージセンサが選択され、選択されたイメージセンサの撮影画像による合焦画像が生成される。よって、合焦画像の生成処理速度を向上しつつ、高画質な合焦画像の生成が可能になる。
【００１６】
例えば、前記少なくとも１つの制御回路は、前記焦点面の合焦画像の生成で、前記第一及び第二の光源の位置情報と、前記選択したイメージセンサの位置情報とをさらに取得して用いてもよい。本態様によれば、合焦画素の生成のための処理が容易になる。
【００１７】
例えば、前記第一及び第二の光源の位置情報、並びに前記選択したイメージセンサの位置情報は、前記第一及び第二の光源の位置、並びに前記イメージセンサの位置に依存しない第一座標系に基づき、前記焦点面の情報は、前記選択したイメージセンサを基準とする第二座標系に基づき、前記少なくとも１つの制御回路は、前記焦点面の合焦画像の生成で、前記第一座標系及び前記第二座標系間の座標変換を行ってもよい。
【００１８】
本態様によれば、第一座標系を用いることによって、光源の位置情報及びイメージセンサの位置情報を、これらの位置の影響を受けない固定された情報とすることができる。よって、各位置情報の設定が容易である。第二座標系を用いることによって、合焦画素の輝度値の算出に要する処理量が低減する。よって、処理速度が向上する。
【００１９】
例えば、前記少なくとも１つの制御回路は、前記光源の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出してもよい。本態様によれば、焦点面上における合焦画素の位置及び光源の位置を結ぶ直線とイメージセンサの受光面との交点の輝度値を、当該合焦画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各合焦画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。
【００２０】
本開示の一態様に係る画像生成方法は、イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、（ｂ１）第一及び第二の光源のそれぞれを照明する毎に、第一及び第二のイメージセンサそれぞれの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二のイメージセンサ上にそれぞれ位置する第一及び第二の対象物の複数の撮影画像を取得し、（ｂ２）前記第一及び第二のイメージセンサのうちから１つを選択し、（ｂ３）選択したイメージセンサにより撮影された複数の撮影画像を取得し、（ｂ４）前記第一及び第二の光源と前記選択したメージセンサとの間に位置する仮想的な焦点面を設定し、（ｂ５）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ｂ６）前記焦点面の合焦画像を出力し、前記（ｂ１）〜（ｂ６）の少なくとも１つは制御回路により実行される。
【００２１】
本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、（ｃ１）第一及び第二のイメージセンサのうちから１つを選択し、（ｃ２）前記第一及び第二のイメージセンサ上にそれぞれ位置する第一及び第二の対象物の複数の撮影画像のうちから、選択したイメージセンサにより撮影された複数の撮影画像を取得し、ここで、前記第一及び第二の対象物の複数の撮影画像は、第一及び第二の光源のそれぞれを照明する毎に、前記第一及び第二のイメージセンサそれぞれの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記第一及び第二のイメージセンサによって取得され、（ｃ３）前記第一及び第二の光源と前記選択したメージセンサとの間に位置する仮想的な焦点面を設定し、（ｃ４）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ｃ５）前記焦点面の合焦画像を出力する。
【００２２】
なお、これらの全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００２３】
以下、本開示の一態様に係る画像生成システムについて、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。
【００２４】
（実施の形態）
実施の形態に係る画像生成システムは、イメージセンサ上に位置する対象物に複数の擬似点光源が順に対象物を照明し、照明する毎に対象物を撮影することで得られた複数の撮影画像を用いて、複数の擬似点光源とイメージセンサとの間に位置する仮想的な焦点面における対象物の画像を生成する。なお、複数の擬似点光源は、照明器によって作られる複数の点光源と見なしうる十分に小さい面から、拡散光を射出する。拡散光内の複数の光線は互いに交わらない。以下において、複数の撮影画像を用いて生成された仮想的な焦点面に対応する画像を、合焦画像とも呼ぶ。複数の撮影画像を用いて仮想的な焦点面に対応する対象物の合焦画像を生成することをリフォーカス処理とも呼ぶ。リフォーカス処理では、撮影画素を用いて仮想的な焦点面における画素が求められてもよい。
【００２５】
［１−１．画像生成システムの構成］
［１−１−１．画像生成システムの概略的構成］
本実施の形態では、画像生成システムが、培養容器用トレイ内の培養容器に載置された培養細胞等の画像の生成に適用されるケースを、説明する。なお、画像生成システムが適用される対象は、これに限定されない。上述のような画像生成システムは、培養容器用トレイの底部に複数のイメージセンサを備え、培養容器用トレイの蓋部に照明器を備える。培養容器は、その底壁上に載置された培養細胞等を、底壁を通して下方から観察可能であるように構成されている。さらに、培養容器は、培養容器用トレイ内において、例えば培養容器の外形と合う形状及び寸法の窪み又は枠にはめ込まれて固定される。培養容器用トレイは、培養細胞等と培地とを含む培養容器を枠で固定した状態で、インキュベータ中に設置される。上述のような培養容器は、培養容器用トレイの底部のイメージセンサと蓋部の照明器との間に位置することになる。蓋部の照明器から照射される光は、培養容器と、培養容器の内部の培地と、培養容器の内部の培養細胞、培養細胞塊又は培養組織等とを透過してイメージセンサに到達する。イメージセンサは、蓋部の照明器からの透過光により撮影を行う。培養容器は、シャーレ型、ディッシュ型、又はマルチウェルプレート型の容器であってよい。
【００２６】
［１−１−２．画像生成システムの全体構成］
図１を参照して、実施の形態に係る画像生成システム１０の全体構成を説明する。なお、図１は、実施の形態に係る画像生成システム１０の機能ブロック図である。図１に示される画像生成システム１０は、撮影装置１００Ａと、画像生成装置１００Ｂと、記憶部１２０と、表示部１５０とを備える。画像生成システム１０は、さらに、予め定められた焦点面の情報を記憶している第一記録部１１１と、リフォーカス処理済みの画素の情報を記録する第二記録部１２１と、焦点面を指定する指定情報の入力を受け付ける入力部１１２とを備えてもよい。
【００２７】
［１−１−３．撮影装置の構成］
まず、撮影装置１００Ａの構成について、図１及び図２等を参照して説明する。図２は、実施の形態に係る撮影装置１００Ａの詳細な構成の一例を示した機能ブロック図である。撮影装置１００Ａは、照明器１０１と、イメージセンサ１０２と、撮影制御部１０３とを備える。撮影装置１００Ａは、対象物の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃ  ｉｍａｇｅ）を取得する。ここでは、撮影装置１００Ａは、フォーカスレンズを有さない。
【００２８】
照明器１０１は複数の点光源１０１ａｊ（ｊ＝１，２，・・・・，ｍ）を含む。本実施の形態では、点光源は、点光源と見なしうる程度に十分に小さい面から拡散光を射出する光源である。
【００２９】
イメージセンサ１０２は、複数のイメージセンサ１０２ａｋ（ｋ＝１，２，・・・・，ｎ）を含む。イメージセンサ１０２ａｋは、イメージセンサ１０２ａｋが有する複数のセンサ画素が検知する光の強度、例えば輝度に基づき、撮影画像を取得する。センサ画素は、イメージセンサ１０２ａｋの受光面に配置され、複数の点光源１０１ａｊから照射された光の強度を取得する。イメージセンサ１０２の例は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。
【００３０】
撮影制御部１０３は、照明器１０１による光の照射及びイメージセンサ１０２による撮影を制御する。具体的には、撮影制御部１０３は、照明器１０１の複数の点光源１０１ａｊが光を照射する順番、複数の点光源１０１ａｊが光を照射する時間間隔を制御する。撮影制御部１０３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成されてよい。撮影制御部１０３の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部１０３の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
【００３１】
撮影の対象物は、例えば、イメージセンサ１０２ａｋそれぞれの受光面を構成する表面の上に直接的又は間接的に配置される複数の半透明の物質である。対象物は、イメージセンサ１０２ａｋの複数のセンサ画素の上に、載置される。対象物が載置されるイメージセンサ１０２ａｋの表面は、イメージセンサ１０２のセンサ画素の上の表面を含む。イメージセンサ１０２ａｋの表面の上で、複数の物質は３次元的に重なって位置する場合もある。物質の具体例は、細胞である。また、撮影装置１００Ａのうちの少なくとも照明器１０１及びイメージセンサ１０２は、培養容器用トレイ２０に含まれる。
【００３２】
図３は、実施の形態に係る培養容器用トレイ２０の構造の一例を模式的に示す断面側面図であり、培養容器用トレイ２０を上下方向に切断する断面図を示す。図３を参照すると、シャーレ型又はディッシュ型等の培養容器用のトレイの例が示されている。図３は、１つの培養容器用トレイ２０に２つのシャーレ型培養容器３０ａ１及び３０ａ２が固定される例を示している。
【００３３】
培養容器用トレイ２０は、互いに結合及び分離可能な底部２１及び蓋部２２を備える。以下の説明において、底部２１から蓋部２２に向かう方向を上方と呼び、その反対方向を下方と呼ぶ。そして、部材において、上方に位置する部分を上部又は頂部等と呼び、下方に位置する部分を下部又は底部等と呼ぶことがある。底部２１は、容器位置固定枠２１ａ１及び２１ａ２を備えている。容器位置固定枠２１ａ１及び２１ａ２はそれぞれ、その内側に形成する窪み内にシャーレ型培養容器３０ａ１及び３０ａ２が嵌め込まれるように構成され、それにより、培養容器３０ａ１及び３０ａ２を底部２１に固定する。容器位置固定枠２１ａ１及び２１ａ２の底部にはそれぞれ、イメージセンサ１０２ａ１及び１０２ａ２が配置される。イメージセンサ１０２ａ１及び１０２ａ２はそれぞれ、容器位置固定枠２１ａ１及び２１ａ２内に配置された培養容器３０ａ１及び３０ａ２の底壁と対向する位置に配置されている。イメージセンサ１０２ａ１及び１０２ａ２はそれぞれ、培養容器３０ａ１及び３０ａ２の底壁に近接する又は接触するように配置されてよい。なお、本実施形態では、２つのシャーレ型培養容器が１つの培養容器用トレイ２０に配置される例を説明するが、培養容器の数量は、１つの培養容器用トレイ２０に対して１つ以上であればいくつであってもよい。また、培養容器用トレイ２０に配置される培養容器もシャーレ型に限定されない。なお、培養容器用トレイ２０では、配置され得る培養容器それぞれに対応するイメージセンサ１０２が設けられる。また、照明器１０１が、培養容器用トレイ２０の蓋部２２に配置される。
【００３４】
図３、図４、図５Ａ及び図５Ｂを参照して、培養容器用トレイ２０並びに培養容器のさらに詳細な構成を説明する。なお、図４は、実施の形態に係る培養容器用トレイ２０の構造の一例を模式的に示す上面図であり、図３の培養容器用トレイ２０の底部２１を上方から見た図である。図５Ａは、実施の形態に係る培養容器の一例を模式的に示す斜視図であり、シャーレ型培養容器３０ａ１及び３０ａ２の一例を示す。図５Ｂは、実施の形態に係る培養容器の別の一例を模式的に示す斜視図であり、フラスコ型培養容器３０ｂの一例を示す。
【００３５】
図５Ａを参照すると、蓋部材及び底部材で構成されるシャーレ型培養容器３０ａ１及び３０ａ２の底部材のみが示されている。シャーレ型培養容器３０ａ１及び３０ａ２の底部材は、有底円筒状の形状を有しており、その底壁に観察用ガラス底３１を備える。これにより、イメージセンサ１０２ａ１及び１０２ａ２は、観察用ガラス底３１を通じて、培養容器３０ａ１及び３０ａ２に載置された対象物を撮影することができる。
【００３６】
図５Ｂを参照すると、培養容器が培養フラスコ型、つまりフラスコ型である場合の一例が示されている。フラスコ型培養容器３０ｂは、箱状の形状を有しており、側部に開閉可能な開口を有している。フラスコ型培養容器３０ｂは、培養時に下側となる底壁に観察用ガラス底３１を備える。
【００３７】
図３では、シャーレ型培養容器３０ａ１及び３０ａ２の容器位置固定枠として、薄い円筒状のシャーレ形状に合わせた有底円筒状の容器位置固定枠２１ａ１及び２１ａ２を示したが、例えば、シャーレ形状が直方体状である場合には、容器位置固定枠の形状はシャーレの外形に合わせた有底矩形筒状であることが望ましい。図５Ｂに示されるフラスコ型培養容器３０ｂの場合には、容器位置固定枠は、フラスコ型培養容器３０ｂの底壁及びその周囲の外形に合わせた形状であることが望ましい。
【００３８】
容器位置固定枠２１ａ１及び２１ａ２はそれぞれ、培養容器３０ａ１及び３０ａ２の側面の全周又は一部を覆うことで、培養容器用トレイ２０上で培養容器３０ａ１及び３０ａ２を所定の位置に固定する。図３及び図４の例では、容器位置固定枠２１ａ１及び２１ａ２はそれぞれ、培養容器用トレイ２０の底部２１に、培養容器３０ａ１及び３０ａ２がちょうど収まる平面形状を有し且つ培養容器３０ａ１及び３０ａ２の高さより浅い深さを有する窪みを設けることで実現されている。なお、窪みの平面形状は、蓋部２２から底部２１に向かって見たときの形状である。また、容器位置固定枠は、窪みを設ける以外に、底部２１の表面から壁状の枠を立ち上げることにより実現されてもよい。
【００３９】
照明器１０１は、平面、曲面等の面を形成するように配列された複数の点光源によって構成される。本実施の形態では、照明器１０１の複数の点光源は、複数の仮想的な点光源であり、より具体的には、光源面積の小さい複数の擬似的な点光源である。擬似的な点光源は、例えば、直径数μｍから数百μｍのピンホールで構成される。このような擬似的な点光源は、ピンホールに対して照射方向と反対側に配置された照明装置等の光源の照射光が、ピンホールを通して照射されることによって、光を照射する。このような擬似的な点光源が照射する光は、拡散光である。照明装置等の光源は、イメージセンサ１０２ａ１及び１０２ａ２に対して、ピンホールの背部に配置される。なお、複数の点光源の構成は、上述の構成に限定されず、いかなる構成であってもよい。例えば、複数の点光源は、複数の発光素子で構成されてもよく、ディスプレイの発光画素で構成されてもよい。
【００４０】
図６を参照すると、照明器１０１の擬似的な点光源である擬似点光源１０１ａｊ（ｊ＝１，２，・・・・，ｍ）の配列の一例が示されている。なお、図６は、実施の形態に係る照明器１０１の配置の一例を模式的に示す上面図である。図６には、擬似点光源１０１ａｊを含む培養容器用トレイ２０の蓋部２２、培養容器３０ａ１及び３０ａ２、並びに底部２１のイメージセンサ１０２ａ１及び１０２ａ２間の位置関係が示されている。本実施の形態では、複数の擬似点光源１０１ａｊは、蓋部２２の上壁において、上壁に沿って格子状に配置されている。より具体的には、複数の擬似点光源１０１ａｊは、互いに等ピッチで配置されている。
【００４１】
図７Ａ及び図７Ｂを参照して、複数の擬似点光源１０１ａｊとイメージセンサ１０２ａ１及び１０２ａ２との関係を説明する。なお、図７Ａは、実施の形態に係る照明器１０１の配置の一例を模式的に示す側面図であり、図６のように構成された照明器１０１を真横から見た模式図である。図７Ｂは、図７Ａの擬似点光源１０１ａｊとイメージセンサ１０２ａ１及び１０２ａ２との位置関係を示す模式的な側面図である。図７Ｂに示されるように、照明器１０１では、複数の擬似点光源１０１ａｊ（ｊ＝１，２，・・・・，ｍ）は、イメージセンサ１０２ａ１及び１０２ａ２の表面である受光面と平行な平面１０１Ｈ上で互いに異なる位置に配置されている。なお、複数の擬似点光源１０１ａｊの配置は、これに限定されず、いかなる配置であってもよい。
【００４２】
図７Ａ及び図７Ｂに示されるように複数の擬似点光源１０１ａｊは、イメージセンサ１０２ａ１及び１０２ａ２に向けて光を照射するように指向されている、具体的には下方へ光を照射するように指向されている。複数の擬似点光源１０１ａｊからの光はそれぞれ、イメージセンサ１０２ａ１及び１０２ａ２の受光面の各センサ画素に対して、互いに異なる方向から入射する。入射する方向は、イメージセンサ１０２ａ１及び１０２ａ２の位置と擬似点光源１０１ａｊの位置との相対位置に応じて決定する。
【００４３】
複数の擬似点光源１０１ａｊの各々は、例えば、ＬＥＤ光源とイメージセンサ１０２ａ１及び１０２ａ２との間において、ＬＥＤ光源の近傍に、複数のピンホールを有する遮光板を配置することで実現される。ピンホールの大きさは、イメージセンサ１０２ａ１及び１０２ａ２のセンサ画素ピッチと、イメージセンサ１０２ａ１及び１０２ａ２とピンホールとの距離と、合焦画像を生成する点のイメージセンサ１０２ａ１及び１０２ａ２からの距離とによって制限される。
【００４４】
イメージセンサ１０２ａ１及び１０２ａ２を制御する制御基板等は、本実施の形態では、底部２１の中に配置されるが、底部２１の外又は底部２１から離れて配置されてもよい。当該制御基板等は、イメージセンサ１０２ａ１及び１０２ａ２への電源の供給、イメージセンサ１０２ａ１及び１０２ａ２の撮影制御等を行い、イメージセンサ１０２ａ１及び１０２ａ２により撮影された画像情報の記憶用メモリ又は画像情報等の情報を送受信するための通信装置を含んでもよい。照明器１０１を制御する制御基板等は、本実施の形態では、蓋部２２の中に配置されるが、蓋部２２の外又は蓋部２２から離れて配置されてもよい。当該制御基板等は、照明器１０１のＬＥＤ光源等の照明装置への電源供給、照明装置の制御等を行う。
【００４５】
［１−１−４．画像生成装置の詳細構成］
次に、画像生成装置１００Ｂの詳細な構成について説明する。本実施の形態では、画像生成装置１００Ｂは、少なくとも１つの制御回路によって実現される。図１に示すように、画像生成装置１００Ｂは、焦点面決定部１１０と、リフォーカス処理部１３０と、画像生成部１４０と、イメージセンサ決定部１６０とを備える。なお、画像生成装置１００Ｂの各構成要素は、ＣＰＵ、ＲＡＭ、ＲＯＭなどからなるコンピュータシステム（図示せず）により構成されてよい。各構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、各構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
【００４６】
イメージセンサ決定部１６０は、例えば制御回路又はプロセッサによって実現され、複数のイメージセンサ１０２ａｋのうちから画像生成を行うイメージセンサを選択し決定する。具体的には、イメージセンサ決定部１６０は、例えば、入力部１１２を介して外部から入力された情報にしたがってイメージセンサ１０２ａｋを決定する。
【００４７】
焦点面決定部１１０は、例えば制御回路又はプロセッサによって実現され、照明器１０１及び複数のイメージセンサ１０２ａｋの間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部１１０は、例えば、第一記録部１１１に記録された予め定められた焦点面の情報に基づいて焦点面を決定する。また例えば、焦点面決定部１１０は、入力部１１２を介して外部から入力された情報に従って焦点面を決定してもよい。
【００４８】
記憶部１２０は、例えば半導体メモリ又はハードディスクドライブ等によって実現され、複数のイメージセンサ１０２ａｋで撮影された画像を、当該撮影に用いられたイメージセンサ１０２ａｋの位置情報と照明器１０１の擬似点光源１０１ａｊの位置情報とともに記憶する。第一記録部１１１及び第二記録部１２１も、記憶部１２０と同様の構成を有してもよい。
【００４９】
図８は、記憶部１２０が記憶する内容の一例を示す。記憶部１２０には、撮影装置１００Ａによって撮影された画像ファイルごとに、当該画像ファイルの取得に用いられたイメージセンサ１０２ａｋの位置情報と当該画像ファイルの取得時に用いられた擬似点光源１０１ａｊの位置情報とが組み合わされて記憶されている。図８の例では、擬似点光源１０１ａｊ及びイメージセンサ１０２ａｋを固定する培養容器用トレイ２０を基準とした座標系で、擬似点光源１０１ａｊの位置情報及びイメージセンサ１０２ａｋの位置情報が示されている。
【００５０】
培養容器用トレイ２０を基準とした座標系は、複数の擬似点光源１０１ａｊ及び複数のイメージセンサ１０２ａｋの位置に関係なく固定された、つまり、これらの位置に依存しない構成要素又は位置を基準とした座標系でもある。このような座標系は、例えば、図４に示される底部２１の底壁２１ｂ並びにイメージセンサ１０２ａ１及び１０２ａ２の表面に沿う平面内のｘ軸及びｙ軸と、当該平面に垂直なｚ軸とによって形成されてよい。本実施の形態では、図４に示されるように、底壁２１ｂの角近傍の点Ｐのｘ座標及びｙ座標をそれぞれ、ｘ＝０及びｙ＝０とする。さらに、点Ｐは、イメージセンサ１０２ａ１及び１０２ａ２の表面を通る平面上に位置し、そのｚ座標は、ｚ＝０である。なお、点Ｐは、図４において、イメージセンサ１０２ａ１から近い底壁２１ｂの左下の角の近傍に、位置する。
【００５１】
以下において、擬似点光源の位置情報を照明位置情報、イメージセンサの位置情報をイメージセンサ位置情報とも呼ぶ。照明位置情報とイメージセンサ位置情報とは、画像ファイルのファイルＩＤとともに記憶されており、画像データとファイルＩＤを介して結合されている。なお、照明位置情報とイメージセンサ位置情報とは、画像ファイルの一部（例えばヘッダ情報）に記録されてもよい。
【００５２】
リフォーカス処理部１３０は、例えば制御回路又はプロセッサによって実現され、複数の画像と、複数のイメージセンサ１０２ａｋの位置情報と、複数の擬似点光源１０１ａｊの位置情報と、イメージセンサ１０２ａｋごとに指定された仮想的な焦点面の情報とから、当該焦点面における合焦画像を構成する合焦画素ごとの光の強度を計算する。このリフォーカス処理の詳細は後述する。
【００５３】
画像生成部１４０は、例えば制御回路又はプロセッサによって実現され、リフォーカス処理部１３０で計算された画素ごとの輝度値から、焦点面における合焦画像を生成する。
【００５４】
表示部１５０は、ディスプレイによって実現され、画像生成部１４０で生成された合焦画像を表示する。表示部１５０は、液晶パネル、有機又は無機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルによって構成されてよい。
【００５５】
［１−２．画像生成システムの動作］
［１−２−１．画像生成システムの全体動作］
次に、以上のように構成された画像生成システム１０の全体動作について、図９及び図１０等を参照しつつ説明する。図９は、実施の形態に係る画像生成システム１０の動作の一例を示すフローチャートである。図１０は、座標と焦点面との関係の一例を示す模式図である。
【００５６】
（ステップＳ１１００）
まず、撮影装置１００Ａの撮影制御部１０３は、照明器１０１の複数の擬似点光源１０１ａｊ（ｊ＝１，２，・・・・，ｍ）を順に用いて対象物を照明し、当該対象物の複数の画像を複数のイメージセンサ１０２で撮影する。例えば、擬似点光源１０１ａｊを構成する複数のピンホールの全てを予め閉じた状態で、複数のピンホールを有する遮光板の背部のＬＥＤ光源等の照明装置で照明し、ピンホールを１つずつ順番に開放することによって、複数の擬似点光源１０１ａｊが順番に照明する。撮影制御部１０３は、擬似点光源１０１ａｊのそれぞれが対象物を照明するたびに、複数のイメージセンサ１０２ａｋ、具体的にはイメージセンサ１０２ａ１及び１０１ａ２の受光面に到達した光の強度を記録することにより、イメージセンサ１０２ａ１上の第一対象物５１（図３及び図７Ａ参照）の撮影画像とイメージセンサ１０２ａ２上の第二対象物５２（図３及び図７Ａ参照）の撮影画像とを取得する。取得された第一対象物５１及び第二対象物５２の撮影画像は、各撮影画像を取得したイメージセンサの位置情報と、撮影時に第一対象物５１及び第二対象物５２を照明していた擬似点光源１０１ａｊの位置情報とともに、記憶部１２０で記憶される。ここでは、各擬似点光源１０１ａｊの位置、並びに、各イメージセンサ１０２ａ１及び１０２ａ２の位置は、培養容器用トレイ２０に対して固定されている。各イメージセンサ１０２ａ１及び１０２ａ２並びに各擬似点光源１０１ａｊの位置情報は、予め定められている。撮影処理の詳細は後述する。
【００５７】
（ステップＳ１２００）
イメージセンサ決定部１６０は、画像を生成する対象となるイメージセンサを選択する。具体的には、イメージセンサ決定部１６０は、イメージセンサ１０２ａ１の撮影画像に基づき、合焦画像を含む第一対象物５１の画像を生成するか、イメージセンサ１０２ａ２の撮影画像に基づき、合焦画像を含む第二対象物５２の画像を生成するかを選択する。つまり、イメージセンサ決定部１６０は、イメージセンサ１０２ａ１で撮影した画像を生成するか、イメージセンサ１０２ａ２で撮影した画像を生成するかを決定する。例えば、イメージセンサ決定部１６０は、入力部１１２によりユーザから受け付けられた、イメージセンサを指定する指定情報に基づいて、複数のイメージセンサ１０２ａｋ、具体的にはイメージセンサ１０２ａ１及び１０２ａ２のうちの１つを選択する。
【００５８】
（ステップＳ１３００）
焦点面決定部１１０は、選択したイメージセンサ１０２ａｋに対応する焦点面を決定する。具体的には、焦点面決定部１１０は、選択したイメージセンサ１０２ａｋに対する焦点面の位置及び傾き（角度）を決定する。例えば、焦点面決定部１１０は、第一記録部１１１に記憶される予め定められた各イメージセンサ１０２ａｋに対応する焦点面の情報に基づいて、焦点面を決定してもよい。または、焦点面決定部１１０は、入力部１１２によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。なお、複数のイメージセンサ１０２ａｋに対応する焦点面は、複数のイメージセンサ１０２ａｋの間で同一であってもよく、異なっていてもよい。
【００５９】
焦点面は、合焦画像が生成される仮想的な面に相当する。つまり、焦点面における対象物の合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。
【００６０】
例えば、焦点面決定部１１０は、焦点面の角度及び位置を用いて焦点面を決定する。焦点面の角度及び位置は、例えば図１０に示すＸｋＹｋＺｋ空間によって定義される。図１０において、ＸｋＹｋ平面は、ステップＳ１２００で選択したメージセンサ１０２ａｋの受光面と一致する。Ｚｋ軸は、当該イメージセンサ１０２ａｋの受光面に直交する。このとき、焦点面の角度は、例えばイメージセンサ１０２ａｋの受光面の中心を原点とするＸｋＹｋＺｋ空間において、Ｘｋ軸及びＹｋ軸に対する角度で定義される。焦点面の位置は、焦点面の中心点の座標で定義される。
【００６１】
（ステップＳ１４００）
リフォーカス処理部１３０は、選択したイメージセンサ１０２ａｋの複数の撮影画像と、複数の擬似点光源１０１ａｊの位置情報と、選択したイメージセンサ１０２ａｋに対応する焦点面の情報とに基づいて、リフォーカス処理を行い、当該焦点面上の各点の輝度を求める。リフォーカス処理の詳細は後述する。このリフォーカス処理によって、当該焦点面に対応する合焦画像が生成され得る。
【００６２】
（ステップＳ１５００）
画像生成部１４０は、ステップＳ１４００で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データを生成する。画像生成部１４０は、生成された画像データを表示部１５０に出力する。
【００６３】
（ステップＳ１６００）
表示部１５０は、ステップＳ１５００で生成された画像を表示する。
【００６４】
（ステップＳ１７００）
イメージセンサ決定部１６０は、イメージセンサ１０２に含まれるイメージセンサのうちステップＳ１２００で選択したイメージセンサ１０２ａｋ以外のイメージセンサで撮影された画像を生成するか否かを判定する。具体的には、例えば、ステップＳ１２００でイメージセンサ１０２ａ１が選択された場合、ステップＳ１７００では、イメージセンサ決定部１６０は、イメージセンサ１０２ａ２により撮影された画像を生成するか否かを判定する。例えば、イメージセンサ決定部１６０は、入力部１１２により他のイメージセンサを指定する新たな指定情報が受け付けられたか否かを判定する。イメージセンサ決定部１６０は、新たな指定情報が受け付けられている場合（ステップＳ１７００でｙｅｓ）は、他のイメージセンサで撮影された画像の生成が要求されていると判定し、ステップＳ１２００に戻る。ステップＳ１２００では、イメージセンサ決定部１６０は、新たな指定情報で指定されているイメージセンサを選択する。一方、イメージセンサ決定部１６０は、新たな指定情報が受け付けられていない場合（ステップＳ１７００でｎｏ）は、他のイメージセンサで撮影された画像の生成が要求されていないと判定し、処理を終了する。
【００６５】
［１−２−２．撮影処理］
ここでステップＳ１１００の撮影装置１００Ａの動作の詳細を説明する。図１１は、実施の形態に係る撮影装置１００Ａの動作の一例を示すフローチャートである。
【００６６】
（ステップＳ１１０１）
撮影制御部１０３は、例えば記憶部１２０等に記憶されている予め定められた複数の擬似点光源１０１ａｊの位置のリスト、又は、図示しない外部入力によって指定された複数の擬似点光源１０１ａｊの位置のリスト（以下、いずれのリストも擬似点光源位置リストと呼ぶ）を参照して、各擬似点光源１０１ａｊの位置から照明された対象物の撮影が終了したか否かを判定する。なお、以下の説明において、擬似点光源１０１ａｊの位置を、擬似点光源位置とも呼ぶ。具体的には、撮影制御部１０３は、擬似的点光源位置リストに含まれるすべての擬似点光源位置において、擬似点光源１０１ａｊによる照明の際の各イメージセンサ１０２ａｋによる対象物の撮影が、終了したか否かを判定する。対象物は、イメージセンサ１０２ａｋの表面上に配置されている。
【００６７】
ここで、擬似点光源位置リストに含まれるすべての擬似点光源位置からの照明によるすべてのイメージセンサ１０２ａｋによる撮影が終了している場合（ステップＳ１１０１においてｙｅｓ）、撮影制御部１０３は、ステップＳ１２００へ進む。一方、擬似点光源位置リスト内のいずれかの擬似点光源位置からの照明による撮影が終了していない場合（ステップＳ１１０１においてｎｏ）、撮影制御部１０３は、ステップＳ１１０２へ進む。
【００６８】
（ステップＳ１１０２）
撮影制御部１０３は、擬似点光源位置リストに含まれる複数の擬似点光源位置の中から、まだ照明が行われていない擬似点光源位置を選択し、照明器１０１へ制御信号を出力する。擬似点光源位置リストにおいて、各擬似点光源位置は、例えば、図８に示されるような培養容器用トレイ２０に対して設定されたｘｙｚ空間における座標値によって示される。又は、各擬似点光源位置は、擬似点光源位置ごとに割り当てられた番号によって示される。擬似点光源位置の選択は、例えば、リストの昇順に行われる。
【００６９】
（ステップＳ１１０３）
照明器１０１は、ステップＳ１１０２で撮影制御部１０３より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップＳ１１０２で選択された擬似点光源位置に対応する擬似点光源１０１ａｊが光の照射を開始する。
【００７０】
（ステップＳ１１０４）
擬似点光源１０１ａｊから射出された光によって、複数のイメージセンサ１０２ａｋそれぞれの上に配置された複数の対象物が照明されている間に、複数のイメージセンサ１０２ａｋの全ては、当該擬似点光源１０１ａｊから各々の表面上にある対象物を透過した光によって形成される画像を各々取得する。
【００７１】
（ステップＳ１１０５）
その後、撮影制御部１０３は、照明器１０１へ制御信号を出力して、複数の対象物への照明を停止する。なお、照明の停止は、撮影制御部１０３からの制御信号に従って行われなくてもよい。例えば、照明器１０１は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。又は、ステップＳ１１０４ですべてのイメージセンサ１０２ａｋが画像の取得を終了した後に、イメージセンサ１０２ａｋは、照明を停止するための制御信号を、照明器１０１に出力してもよい。
【００７２】
（ステップＳ１１０６）
次いで、撮影制御部１０３は、各イメージセンサ１０２ａｋの位置を示すイメージセンサ位置情報と、ステップＳ１１０４において各イメージセンサ１０２ａｋで取得された画像と、ステップＳ１１０３で照明された擬似点光源１０１ａｊの位置情報とを、記憶部１２０へ出力する。そして、記憶部１２０は、画像データとイメージセンサ位置情報と擬似点光源位置の情報とを対応付けて記憶する。撮影制御部１０３は、ステップＳ１１０６の後、ステップＳ１１０１へ戻る。
【００７３】
ステップＳ１１０１からステップＳ１１０６までの処理が繰り返されることで、擬似点光源位置リストに含まれるすべての擬似点光源位置に対応する擬似点光源１０１ａｊから順次、すべての対象物に光が照射され、対象物に光が照射されるたびに、複数のイメージセンサ１０２ａｋが同時に画像を取得する。
【００７４】
［１−２−３．リフォーカス処理］
さらに、ステップＳ１３００のリフォーカス処理部１３０の動作の詳細を説明する。図１２は、実施の形態に係るリフォーカス処理部１３０の動作の一例を示すフローチャートある。図１３〜図１７は、リフォーカス処理の計算方法の具体例を説明する模式図である。以下に、図１２のフローチャートに沿って、リフォーカス処理部１３０の動作を説明する。
【００７５】
（ステップＳ１４０１）
リフォーカス処理部１３０は、ステップＳ１２００で取得されたイメージセンサの情報、すなわちイメージセンサ決定部１６０が複数のイメージセンサ１０２ａｋのうちから選択した１つを特定する情報を取得する。当該情報は、例えば、イメージセンサの番号、イメージセンサ位置情報等を含んでもよい。
【００７６】
（ステップＳ１４０２）
リフォーカス処理部１３０は、ステップＳ１３００で決定された焦点面の情報を焦点面決定部１１０から取得する。焦点面の情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。図１０に示されるように、焦点面の傾きは、例えば、焦点面及びＸｋＺｋ平面の交線がＸｋ軸と成す角度によって表される。また例えば、焦点面の傾きは、焦点面及びＹｋＺｋ平面の交線がＹｋ軸と成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。
【００７７】
例えば、図１３を参照すると、撮影の対象物１０００、撮影装置１００Ａの擬似点光源１０１ａ１及び１０１ａ２、並びにイメージセンサ１０２ａｋの位置関係の一例が示されている。なお、図１３は、撮影装置１００Ａ及び対象物１０００の、ＸｋＺｋ平面における断面図の一例を示す。対象物１０００は、擬似点光源１０１ａ１及び１０１ａ２とイメージセンサ１０２ａｋとの間に位置し、且つイメージセンサ１０２ａｋ上に位置する。リフォーカス処理部１３０は、ステップＳ１４０２において、焦点面１１００の情報を取得する。
【００７８】
（ステップＳ１４０３）
リフォーカス処理部１３０は、リフォーカス処理に関する計算量を低減し処理速度を向上するために、ステップＳ１１００での撮影の際に用いた撮影時座標系を、リフォーカス処理用の座標系に変換する。ステップＳ１１００での撮影時座標系は、培養容器用トレイ２０を基準とした座標系であり、図４に関して説明したｘ軸、ｙ軸及びｚ軸によるｘｙｚ座標系である。この座標系は、照明器１０１の擬似点光源１０１ａｊの照明位置情報、イメージセンサ１０２ａｋのイメージセンサ位置情報を表すために用いられる。この座標系は、例えば、図４に示されるように、培養容器用トレイ２０の角近傍の点Ｐを原点とする。なお、点Ｐのｚ座標（つまり、ｚ＝０）は、イメージセンサ１０２ａｋの表面位置のｚ座標と同一である。
【００７９】
リフォーカス処理用の座標系は、ステップＳ１４０１で特定されたイメージセンサの位置を基準とした座標系であり、図１０に関して説明したＸｋ軸、Ｙｋ軸及びＺｋ軸によるＸｋＹｋＺｋ座標系である。例えば、ステップＳ１４０１において、イメージセンサ１０２ａ１が特定された場合、イメージセンサ１０２ａ１を基準とする座標系は、Ｘ１Ｙ１Ｚ１座標系である。この座標系では、例えば、図４に示されるように、イメージセンサ１０２ａ１の表面上の角の点Ｐ１が原点とされる。なお、この点Ｐ１は、図４において、イメージセンサ１０２ａ１の左上の角に位置する。さらに、なお、点Ｐ１のＺ１座標（つまり、Ｚ１＝０）は、イメージセンサ１０２ａ１の表面位置のＺ１座標と同一である。
【００８０】
記憶部１２０に記憶されたイメージセンサ１０２ａ１のイメージセンサ位置情報は、ステップＳ１１０６で記憶されたものであり、例えば、イメージセンサ１０２ａ１の表面の角の点の位置の情報とされる。本実施の形態では、図４に示されるように、イメージセンサ１０２ａ１の表面上の角の点Ｐ１の位置情報が、イメージセンサ１０２ａ１のイメージセンサ位置情報とされる。
【００８１】
そして、座標変換では、ｘｙｚ座標系の原点である培養容器用トレイ２０の角の点Ｐと、ＸｋＹｋＺｋ座標系、つまりＸ１Ｙ１Ｚ１座標系の原点であるイメージセンサ１０２ａ１の角の点Ｐ１との位置の差異が、座標の変換値として用いられる。なお、本実施の形態では、点Ｐ及び点Ｐ１は、同一の高さ位置にあり、それぞれのｚ座標及びＺ１座標は、零である。
【００８２】
例えば、２つの座標系の単位がイメージセンサのセンサ画素のピッチである場合、図８に示されるように、ステップＳ１１０６で記憶されるイメージセンサ１０２ａ１の位置のｘｙｚ座標系での座標は、（１２００，７２０，０）であり、擬似点光源のうちの１つの位置のｘｙｚ座標系での座標は、（１３００，８８０，９３００）である。これらの座標をＸ１Ｙ１Ｚ１座標系に変換すると、イメージセンサ１０２ａ１の位置の座標は、（０，０，０）であり、上記擬似点光源の座標は、（１００、１６０、９３００）となる。同様にして、すべての擬似点光源位置情報がＸ１Ｙ１Ｚ１座標系に変換される。
【００８３】
（ステップＳ１４０４）
リフォーカス処理部１３０は、ステップＳ１４０２で取得した焦点面に対応する合焦画像に含まれる全画素についてリフォーカス処理が終了したか否かを判定する。ここでは、リフォーカス処理とは、ステップＳ１４０４からステップＳ１４１１までの処理を意味する。
【００８４】
合焦画像に含まれる全画素についてリフォーカス処理が終了している場合（ステップＳ１４０４においてｙｅｓ）、リフォーカス処理部１３０は、リフォーカス処理を終了する（ステップＳ１５００へ進む）。
【００８５】
合焦画像に含まれるいずれかの画素についてリフォーカス処理が終了していない場合（ステップＳ１４０４においてｎｏ）、リフォーカス処理部１３０は、リフォーカス処理を続行する（ステップＳ１４０５へ進む）。
【００８６】
合焦画像は、合焦画素である複数の画素を含む。合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。図１４を参照すると、合焦画像に含まれる複数の画素に対応する、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅの一例が示されている。なお、図１４に示す焦点面１１００上の複数の点１１０２ａ〜１１０２ｅは、対象物１０００上の点であるが、対象物１０００上ではない点が合焦画像の画素に対応してもよい。
【００８７】
（ステップＳ１４０５）
リフォーカス処理部１３０は、合焦画像に含まれる複数の画素の中から１つの画素を選択する。ここで選択される１つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカス処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は０である。
【００８８】
例えば、図１に示される第二記録部１２１に、合焦画像のうちすでにリフォーカス処理が実行された画素の情報が記憶されている。後述するステップＳ１４１１の処理の後、リフォーカス処理部１３０は、第二記録部１２１にリフォーカス処理した画素の情報を記録する。リフォーカス処理部１３０は、第二記録部１２１に記録された画素の情報を参照して、リフォーカス処理がまだ実行されていない画素を選択する。以下、図１５に示されるように、点１１０２ａに対応する画素が選択された場合について説明する。また、点１１０２ａに対応する画素を選択画素とも表記する。
【００８９】
（ステップＳ１４０６）
リフォーカス処理部１３０は、すべての擬似点光源位置に対する加算処理が終了しているか否かを判定する。ここで、加算処理とは、ステップＳ１４０６からステップＳ１４１１までの処理を意味する。すべての擬似点光源位置に対する加算処理が終了している場合（ステップＳ１４０６においてｙｅｓ）、リフォーカス処理部１３０の処理は、ステップＳ１４０４に戻る。一方、いずれかの擬似点光源位置に対する加算処理が終了していない場合（ステップＳ１４０６においてｎｏ）、リフォーカス処理部１３０は加算処理を続行する（ステップＳ１４０７に進む）。
【００９０】
（ステップＳ１４０７）
リフォーカス処理部１３０は、撮影に用いたすべての擬似点光源位置の中からまだ加算処理が終了していない擬似点光源位置を選択する。
【００９１】
（ステップＳ１４０８）
リフォーカス処理部１３０は、選択された擬似点光源位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ１０２ａｋの受光面と交差する点の位置を計算する。例えば、図１６を参照すると、擬似点光源１０１ａ１の位置と選択画素に対応する点１１０２ａとを通る直線１２００が、イメージセンサ１０２ａｋの受光面と交点１１０３ａで交差する例が示されている。以下において、交点１１０３ａを、加算処理を行う対象の点である対象点とも表記する。イメージセンサ１０２の受光面上の対象点は、例えば、図１０に示すＸｋＹｋ平面上の座標値、つまりＸｋＹｋ座標で表される。
【００９２】
（ステップＳ１４０９）
リフォーカス処理部１３０は、選択された擬似点光源位置に対応する画像を記憶部１２０から取得する。つまり、リフォーカス処理部１３０は、選択された擬似点光源位置にある擬似点光源１０１ａｊを用いて撮影された画像を記憶部１２０から取得する。具体的には、リフォーカス処理部１３０は、図８に示されるような擬似点光源位置情報と画像との対応関係に従って、記憶部１２０に記憶された画像を取得する。例えば、リフォーカス処理部１３０は、図１５に示す擬似点光源１０１ａ１の位置に対応する画像を取得する。
【００９３】
（ステップＳ１４１０）
リフォーカス処理部１３０は、ステップＳ１４０８で計算されたイメージセンサ１０２ａｋ上の対象点の撮影画像中の位置を決定する。具体的には、リフォーカス処理部１３０は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。
【００９４】
撮影画像における対象点の位置が、撮影画像の画素の位置である場合、リフォーカス処理部１３０は、撮影画像における対象点の輝度値を、当該画素の輝度値とする。撮影画像における対象点の位置が複数の画素の中間位置である場合、リフォーカス処理部１３０は、対象点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮影画像における対象点の輝度値を計算する。具体的には、リフォーカス処理部１３０は、例えば、対象点に隣接する複数の画素（例えば４画素）のそれぞれの画素と対象点との距離を求め、対象点と各画素との距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対象点の輝度値を求める。
【００９５】
図１７は、ステップＳ１４１０における対象点の輝度値の計算を説明するための模式図である。図１７において、対象点に隣接する４つの画素Ａ〜画素Ｄと対象点との距離は、それぞれ、ａ、ｂ、ｃ及びｄと表されている。この場合、対象点の輝度値Ｌｔは、以下の式１で求められる。
【００９６】
【数１】
2018082389.tif 000003
【００９７】
ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄはそれぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表す。
【００９８】
（ステップＳ１４１１）
リフォーカス処理部１３０は、合焦画像上の選択画素の輝度値にステップＳ１４１０で計算した対象点の輝度値を加算する。
【００９９】
ステップＳ１４０６からステップＳ１４１１までの処理を各擬似点光源位置に関して繰り返すことにより、全ての擬似点光源位置について、撮影された画像中の対象点の輝度値が選択画素の輝度値に加算された結果が、選択画素の輝度値として計算される。
【０１００】
このような加算処理によって、焦点面上の各点について、当該点を透過した複数の方向からの光によって形成された複数の画像が合焦画像の１つの画素に重ねられる。
【０１０１】
例えば、図１６において、擬似点光源１０１ａ１から照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ａ）に到達する。したがって、擬似点光源１０１ａ１の照明を通じて撮影された画像中の対象点（交点１１０３ａ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。
【０１０２】
また、図１６において、擬似点光源１０１ａ２から照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ｂ）に到達する。したがって、擬似点光源１０１ａ２の照明を通じて撮影された画像中の対象点（交点１１０３ｂ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。
【０１０３】
このような対象点（交点１１０３ａ）における画像（輝度値）及び対象点（交点１１０３ｂ）における画像（輝度値）が加算されることにより、複数の方向からの光によって形成された複数の画像が合焦画像の選択画素に重ねられる。
【０１０４】
［変形例１］
次に、実施の形態の変形例１について説明する。実施の形態では、１つの培養容器内に入れられた対象物を１つのイメージセンサで撮影するように構成されていたが、変形例１では、１つの培養容器に複数の対象物が配置されており、１つの培養容器内の複数の対象物を複数のイメージセンサで撮影するように構成されている。
【０１０５】
本変形例では、培養容器２３０は、複数組の培養液及び細胞を保持するように構成される。培養容器２３０は、例えば、マルチウェルプレートのような構成を有してもよく、この場合、培養容器２３０の底に複数の窪みであるウェル２３０ａｋ（ｋ＝１，２，・・・・，ｎ）を有し、それぞれのウェル２３０ａｋ内に培養液及び細胞を収容し保持する構成を有する。図１８及び図１９を参照すると、マルチウェルプレート型の培養容器２３０を備える培養容器用トレイ２２０が例示されている。なお、図１８は、変形例１に係る培養容器用トレイ２２０の構造の一例を模式的に示す断面側面図であり、培養容器２３０を含む培養容器用トレイ２２０の一例を、図３と同様に示す図である。図１９は、変形例１に係る培養容器用トレイ２２０の構造の一例を模式的に示す上面図であり、図１８の培養容器用トレイ２２０の底部２２１を上方から見た図である。
【０１０６】
図１８及び図１９に示されるように、１つの培養容器用トレイ２２０内に、１つのマルチウェルプレート型の培養容器２３０が配置され固定されている。培養容器用トレイ２２０は底部２２１及び蓋部２２２を備える。底部２２１は、容器位置固定枠２２１ａと、複数のイメージセンサ１０２ａｋ（ｋ＝１，２，・・・・，ｎ）とを備える。蓋部２２２は、複数の擬似点光源１０１ａｊ（ｊ＝１，２，・・・・，ｍ）を含む照明器１０１を備える。
【０１０７】
容器位置固定枠２２１ａは、マルチウェルプレート型培養容器２３０を底部２２１内で固定する。複数のイメージセンサ１０２ａｋは、容器位置固定枠２２１ａの底部に配置され、さらに、容器位置固定枠２２１ａに配置された培養容器２３０の各ウェル２３０ａｋの底壁に対向する位置に配置されている。イメージセンサ１０２ａｋは、ウェル２３０ａｋの底壁に近接する又は接触するように配置されてよい。すなわち、イメージセンサ１０２ａｋは、マルチウェルプレートに含まれるウェル２３０ａｋの数量及び位置にあわせて配置されている。これにより、各イメージセンサ１０２ａｋは、各ウェル２３０ａｋ内の細胞等の対象物を撮影する。なお、本変形例では、１つの培養容器用トレイ２２０内に、１つのマルチウェルプレート型培養容器２３０を固定する例を示したが、複数のマルチウェルプレート型培養容器２３０が配置されてもよい。複数のマルチウェルプレート型培養容器２３０が配置される場合には、各々の培養容器２３０に含まれるウェルの数は同一であっても異なっていてもよい。この場合も、全ての培養容器２３０のウェルの数量及び位置とイメージセンサの数量及び位置は、一致してよい。なお、図１９に示す例では、マルチウェルプレート型培養容器２３０は、１５のウェル２３０ａｋを備えているが、ウェル２３０ａｋの数はこれ以外の数でもよい。
【０１０８】
なお、変形例１に係る培養容器用トレイ２２０及び培養容器２３０を用いた場合でも、画像生成システム１０における撮影及びリフォーカシング処理による画像の生成は、実施の形態と同様に行われる。
【０１０９】
［変形例２］
次に、実施の形態の変形例２について説明する。変形例１では、１つの培養容器内に配置された複数の対象物を複数のイメージセンサで撮影するように構成されていたが、変形例２では、１つの培養容器内に配置された複数の対象物を１つのイメージセンサで撮影するように構成されている。
【０１１０】
本変形例では、１つの培養容器用トレイ３２０が、複数のマルチウェルプレート型培養容器２３０を備える。図２０及び図２１を参照すると、２つのマルチウェルプレート型培養容器２３０を備える培養容器用トレイ３２０が例示されている。図２０は、変形例２に係る培養容器用トレイ３２０の構造の一例を模式的に示す断面側面図であり、２つの培養容器２３０を含む培養容器用トレイ３２０の一例を、図３と同様に示す図である。図２１は、変形例２に係る培養容器用トレイ３２０の構造の一例を模式的に示す上面図であり、図２０の培養容器用トレイ３２０の底部３２１を上方から見た図である。
【０１１１】
図２０及び図２１に示されるように、本変形例に係る培養容器用トレイ３２０では、１つのマルチウェルプレート型培養容器２３０に対して、１つのイメージセンサが配置されている。つまり、２つのイメージセンサ１０２ａ１及び１０２ａ２が配置されている。イメージセンサ１０２ａ１及び１０２ａ２はそれぞれ、１つの培養容器２３０の全てのウェル２３０ａｋの底壁に対向して配置されている。イメージセンサ１０２ａ１及び１０２ａ２は、ウェル２３０ａｋの底壁に近接する又は接触するように配置されてよい。よって、図２１に示される例では、イメージセンサ１０２ａ１及び１０２ａ２はそれぞれ、９つのウェル２３０ａｋ内の細胞等の対象物を撮影することができる。
【０１１２】
なお、変形例２に係る培養容器用トレイ３２０及び培養容器２３０を用いた場合でも、画像生成システムにおける撮影及びリフォーカシング処理による画像の生成は、実施の形態と同様に行われる。さらに、上述のような構成により、小さな細胞又は細胞塊を培養する場合において、１つのイメージセンサで複数個の細胞又は細胞塊を監視することができ、空間の利用効率が高くなる。
【０１１３】
［２．効果］
以上のように、本実施の形態に係る画像生成システム１０によれば、仮想的な焦点面の情報と複数の撮影画像とを用いて、焦点面の合焦画像を構成する複数の合焦画素に対応するイメージセンサ１０２ａｋのセンサ画素の輝度値が取得される。そして、取得されたセンサ画素の輝度値を用いて、焦点面の合焦画像が生成される。例えば、第一イメージセンサ１０２ａ１及び第二イメージセンサ１０２ａ２それぞれによって、各イメージセンサ上の対象物の撮影画像が取得されるが、焦点面の合焦画像を生成すべきイメージセンサが選択され、選択されたイメージセンサの撮影画像による合焦画像が生成される。よって、合焦画像の生成処理速度を向上しつつ、高画質な合焦画像の生成が可能になる。
【０１１４】
焦点面の合焦画像の生成では、焦点面の情報及び撮影画像に加えて、擬似点光源１０１ａｊの位置情報と、選択されたイメージセンサの位置情報とが用いられる。さらに、擬似点光源１０１ａｊの位置情報及びイメージセンサ１０２ａｋの位置情報は、擬似点光源１０１ａｊの位置及びイメージセンサ１０２ａｋの位置に依存しない第一座標系に基づき、焦点面の情報は、選択されたイメージセンサを基準とする第二座標系に基づく。そして、焦点面の合焦画像の生成では、２つの座標系間で座標変換が行われる。なお、第一座標系を用いることによって、擬似点光源１０１ａｊの位置情報及びイメージセンサ１０２ａｋの位置情報を、これらの位置の影響を受けない固定された情報とすることができる。よって、各位置情報の設定が容易である。第二座標系を用いることによって、合焦画素の輝度値の算出に要する処理量が低減する。よって、処理速度が向上する。
【０１１５】
例えば、複数の培養容器を使用して多くの細胞を培養する場合に、１つの擬似点光源が照明する間に、複数のイメージセンサ１０２ａｋで、各々のイメージセンサ上に配置された細胞等の対象物を同時に撮影する。そして、合焦画像の生成時に、各情報をそれぞれのイメージセンサ１０２ａｋの位置を基準とした座標に変換して計算することで、１つのイメージセンサ１０２ａｋによって撮影を行うのと同様の短い撮影時間で、複数のイメージセンサ１０２ａｋによる複数の対象物の合焦画像を生成することが出来る。
【０１１６】
また、焦点面上における画素の位置及び擬似点光源１０１ａｊの位置を結ぶ直線とイメージセンサ１０２ａｋの受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各合焦画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。
【０１１７】
（他の実施の形態）
以上、１つ又は複数の態様に係る画像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。
【０１１８】
本開示の包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【０１１９】
例えば、本開示に係る画像生成システムの各構成要素は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。
【０１２０】
また、画像生成システムの各構成要素は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）、システムＬＳＩ等の回路でもよい。複数の構成要素が、全体として１つの回路を構成してもよく、それぞれ別々の回路を構成してもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。
【０１２１】
システムＬＳＩは、複数の構成部を１つのチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。システムＬＳＩ及びＬＳＩは、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）であってもよく、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブルプロセッサを含んでもよい。
【０１２２】
また、画像生成システムの各構成要素の一部又は全部は、脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
【０１２３】
また、本開示に係る画像生成方法は、ＭＰＵ、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【０１２４】
また、本開示に係る画像生成装置及び画像生成方法での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
【産業上の利用可能性】
【０１２５】
本発明は、培養中の細胞あるいは胚等の細胞塊の画像を生成する装置に広く利用可能であり、インキュベータ内で対象物を撮影する際に有用である。
【符号の説明】
【０１２６】
１０  画像生成システム
２０，２２０，３２０  培養容器用トレイ
２１，２２１，３２１  底部
２１ａ１，２１ａ２，２２１ａ  容器位置固定枠
２２，２２２  蓋部
３０ａ１，３０ａ２  シャーレ型培養容器
３０ｂ  フラスコ型培養容器
２３０  マルチウェルプレート型培養容器
１００Ａ  撮影装置
１００Ｂ  画像生成装置
１０１  照明器
１０１ａｊ  擬似点光源
１０２，１０２ａｋ  イメージセンサ
１０３  撮影制御部
１１０  焦点面決定部
１１１  第一記録部
１１２  入力部
１２０  記憶部
１２１  第二記録部
１３０  リフォーカス処理部
１４０  画像生成部
１５０  表示部
１６０  イメージセンサ決定部
【図１】
2018082389.tif 000004
【図２】
2018082389.tif 000005
【図３】
2018082389.tif 000006
【図４】
2018082389.tif 000007
【図５Ａ】
2018082389.tif 000008
【図５Ｂ】
2018082389.tif 000009
【図６】
2018082389.tif 000010
【図７Ａ】
2018082389.tif 000011
【図７Ｂ】
2018082389.tif 000012
【図８】
2018082389.tif 000013
【図９】
2018082389.tif 000014
【図１０】
2018082389.tif 000015
【図１１】
2018082389.tif 000016
【図１２】
2018082389.tif 000017
【図１３】
2018082389.tif 000018
【図１４】
2018082389.tif 000019
【図１５】
2018082389.tif 000020
【図１６】
2018082389.tif 000021
【図１７】
2018082389.tif 000022
【図１８】
2018082389.tif 000023
【図１９】
2018082389.tif 000024
【図２０】
2018082389.tif 000025
【図２１】
2018082389.tif 000026