(57)【要約】【課題】ユーザが対象物の構成を容易に把握することができる画像生成装置を提供する。【解決手段】画像生成装置６００Ｂは、複数の照明器１０１と制御回路６０とを備え、制御回路６０は、予め定められた複数の焦点面のそれぞれにおける対象物の合焦画像を生成し、複数の合焦画像に映っている対象物の少なくとも１つの断面の輪郭を抽出し、その少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成し、その少なくとも１つの円周をそれぞれ有する少なくとも１つの球の立体画像である球画像を生成し、断面が現れるように球画像を加工することによって合成画像を生成してディスプレイに表示させる。【選択図】図４６Ａ
2018078880.tif 000002
【特許請求の範囲】
【請求項１】
複数の照明器と、
対象物が載置される表面を有するイメージセンサと、
前記複数の照明器と前記イメージセンサとの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する制御回路とを備え、
前記制御回路は、
（ａ）前記複数の照明器が前記対象物を順番に照明するごとに行われる前記イメージセンサによる撮影によって得られた前記対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける前記対象物の合焦画像を生成し、
（ｂ）生成された複数の前記合焦画像に映っている前記対象物の少なくとも１つの断面の輪郭を抽出し、
（ｃ）前記少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成し、
（ｄ）生成された前記少なくとも１つの円周のそれぞれを有する少なくとも１つの球の立体画像である球画像を生成し、
（ｅ）前記少なくとも１つの球の断面が現れるように前記球画像を加工することによって合成画像を生成して、前記合成画像をディスプレイに表示させる
画像生成装置。
【請求項２】
前記制御回路は、
前記（ｂ）では、
生成された複数の前記合焦画像のそれぞれに映っている前記対象物の断面の輪郭から、複数の前記合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭を抽出し、
前記（ｃ）では、
抽出された前記複数の輪郭のうちの最大のエッジ強度を有する輪郭に基づいて円周を生成する
請求項１に記載の画像生成装置。
【請求項３】
前記制御回路は、
前記（ｃ）では、
前記最大のエッジ強度を有する輪郭に内接または外接する円周を生成する
請求項２に記載の画像生成装置。
【請求項４】
前記制御回路は、
前記（ｄ）では、
生成された前記円周と同一の中心および半径を有する球の立体画像を含む前記球画像を生成する
請求項３に記載の画像生成装置。
【請求項５】
前記制御回路は、
前記（ｄ）では、球面が互いに交わらない複数の球の立体画像を、前記球画像として生成する
請求項１〜４の何れか１項に記載の画像生成装置。
【請求項６】
前記対象物は胚であり、
前記少なくとも１つの球は、胚の外形を表す外球と、前記外球に内包され、それぞれ細胞の外形を表す少なくとも１つの内球とからなる
請求項１〜５の何れか１項に記載の画像生成装置。
【請求項７】
前記制御回路は、さらに、
（ｆ）ユーザによる操作に応じて、表示されている前記合成画像における前記断面の位置を前記ディスプレイに変更させ、
（ｇ）ユーザからの要求に応じて、ディスプレイに表示されている前記断面に対応する焦点面における前記対象物の合焦画像を、前記複数の撮影画像を用いて生成して、ディスプレイに表示させる
請求項１〜６の何れか１項に記載の画像生成装置。
【請求項８】
複数の照明器と、対象物が載置されるイメージセンサとの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成方法であって、
（ａ）前記複数の照明器が前記対象物を順番に照明するごとに行われる前記イメージセンサによる撮影によって得られた前記対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける前記対象物の合焦画像を生成し、
（ｂ）生成された複数の前記合焦画像に映っている前記対象物の少なくとも１つの断面の輪郭を抽出し、
（ｃ）前記少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成し、
（ｄ）生成された前記少なくとも１つの円周のそれぞれを有する少なくとも１つの球の立体画像である球画像を生成し、
（ｅ）前記少なくとも１つの球の断面が現れるように前記球画像を加工することによって合成画像を生成して、前記合成画像をディスプレイに表示させる
画像生成方法。
【請求項９】
前記（ｂ）では、
生成された複数の前記合焦画像のそれぞれに映っている前記対象物の断面の輪郭から、複数の前記合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭を抽出し、
前記（ｃ）では、
抽出された前記複数の輪郭のうちの最大のエッジ強度を有する輪郭に基づいて円周を生成する
請求項８に記載の画像生成方法。
【請求項１０】
前記（ｃ）では、
前記最大のエッジ強度を有する輪郭に内接または外接する円周を生成する
請求項９に記載の画像生成方法。
【請求項１１】
前記（ｄ）では、
生成された前記円周と同一の中心および半径を有する球の立体画像を含む前記球画像を生成する
請求項１０に記載の画像生成方法。
【請求項１２】
前記（ｄ）では、球面が互いに交わらない複数の球の立体画像を、前記球画像として生成する
請求項８〜１１の何れか１項に記載の画像生成方法。
【請求項１３】
前記対象物は胚であり、
前記少なくとも１つの球は、胚の外形を表す外球と、前記外球に内包され、それぞれ細胞の外形を表す少なくとも１つの内球とからなる
請求項８〜１２の何れか１項に記載の画像生成方法。
【請求項１４】
前記画像生成方法は、さらに、
（ｆ）ユーザによる操作に応じて、表示されている前記合成画像における前記断面の位置を前記ディスプレイに変更させ、
（ｇ）ユーザからの要求に応じて、ディスプレイに表示されている前記断面に対応する焦点面における前記対象物の合焦画像を、前記複数の撮影画像を用いて生成して、ディスプレイに表示させる
請求項８〜１３の何れか１項に記載の画像生成方法。
【請求項１５】
複数の照明器と、対象物が載置されるイメージセンサとの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成するためのプログラムであって、
前記プログラムは、
（ａ）前記複数の照明器が前記対象物を順番に照明するごとに行われる前記イメージセンサによる撮影によって得られた前記対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける前記対象物の合焦画像を生成し、
（ｂ）生成された複数の前記合焦画像に映っている前記対象物の少なくとも１つの断面の輪郭を抽出し、
（ｃ）前記少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成し、
（ｄ）生成された前記少なくとも１つの円周のそれぞれを有する少なくとも１つの球の立体画像である球画像を生成し、
（ｅ）前記少なくとも１つの球の断面が現れるように前記球画像を加工することによって合成画像を生成して、前記合成画像をディスプレイに表示させる
ことをコンピュータに実行させるプログラム。
【請求項１６】
前記（ｂ）では、
生成された複数の前記合焦画像のそれぞれに映っている前記対象物の断面の輪郭から、複数の前記合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭を抽出し、
前記（ｃ）では、
抽出された前記複数の輪郭のうちの最大のエッジ強度を有する輪郭に基づいて円周を生成する
請求項１５に記載のプログラム。
【請求項１７】
前記（ｃ）では、
前記最大のエッジ強度を有する輪郭に内接または外接する円周を生成する
請求項１６に記載のプログラム。
【請求項１８】
前記（ｄ）では、
生成された前記円周と同一の中心および半径を有する球の立体画像を含む前記球画像を生成する
請求項１７に記載のプログラム。
【請求項１９】
前記（ｄ）では、球面が互いに交わらない複数の球の立体画像を、前記球画像として生成する
請求項１５〜１８の何れか１項に記載のプログラム。
【請求項２０】
前記対象物は胚であり、
前記少なくとも１つの球は、胚の外形を表す外球と、前記外球に内包され、それぞれ細胞の外形を表す少なくとも１つの内球とからなる
請求項１５〜１９の何れか１項に記載のプログラム。
【請求項２１】
前記プログラムは、さらに、
（ｆ）ユーザによる操作に応じて、表示されている前記合成画像における前記断面の位置を前記ディスプレイに変更させ、
（ｇ）ユーザからの要求に応じて、ディスプレイに表示されている前記断面に対応する焦点面における前記対象物の合焦画像を、前記複数の撮影画像を用いて生成して、ディスプレイに表示させる
ことを前記コンピュータに実行させる
請求項１５〜２０の何れか１項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、レンズレス顕微鏡における、複数の光源による複数の撮影画像に基づいて仮想的な合焦面における対象物の画像を生成する技術に関する。
【背景技術】
【０００２】
培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影では、培養細胞の立体構造がわかりにくい。
【０００３】
特許文献１では、細胞の断面形状を評価するために、対物レンズに平行であって、対象物に対して焦点の高さ位置が異なる多数の画像（すなわちピントを対象物の高さ方向にずらしながら撮影した多数の画像）から、対物レンズと平行でない面の合焦画像（擬似断面画像）を生成する方法を示している。
【０００４】
ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような多湿な限られた空間内での観察のために、特許文献２は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。複数の異なる位置から照射する照明によって撮影された複数の画像を重ね合わせて（Ｐｔｙｃｈｏｇｒａｐｈｙ）、解像度を高める方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１０１５１２号公報
【特許文献２】米国特許出願公開第２０１４／０１３３７０２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法では、ユーザが対象物の構成を容易に把握することが難しいという問題がある。
【０００７】
そこで、本開示の非限定的で例示的な一態様は、ユーザが対象物の構成を容易に把握することができる画像生成装置等を提供する。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る画像生成装置は、複数の照明器と、対象物が載置される表面を有するイメージセンサと、前記複数の照明器と前記イメージセンサとの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する制御回路とを備え、前記制御回路は、（ａ）前記複数の照明器が前記対象物を順番に照明するごとに行われる前記イメージセンサによる撮影によって得られた前記対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける前記対象物の合焦画像を生成し、（ｂ）生成された複数の前記合焦画像に映っている前記対象物の少なくとも１つの断面の輪郭を抽出し、（ｃ）前記少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成し、（ｄ）生成された前記少なくとも１つの円周のそれぞれを有する少なくとも１つの球の立体画像である球画像を生成し、（ｅ）前記少なくとも１つの球の断面が現れるように前記球画像を加工することによって合成画像を生成して、前記合成画像をディスプレイに表示させる。
【０００９】
なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
【発明の効果】
【００１０】
本開示によれば、ユーザが対象物の構成を容易に把握することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図２】実施の形態１に係る照明器の構造の一例を模式的に示す図である。
【図３】実施の形態１に係る照明器の構造の一例を模式的に示す図である。
【図４】実施の形態１に係る照明器の構造の一例を模式的に示す図である。
【図５】実施の形態１に係る照明器に含まれるピンホールが満たすべき大きさ条件を説明する模式図である。
【図６】実施の形態１に係る記憶部が記憶する内容の一例を示す図である。
【図７】実施の形態１に係る画像生成システムの動作の一例を示すフローチャートである。
【図８】座標と焦点面との関係の一例を示す模式図である。
【図９】実施の形態１に係る撮像装置の動作の一例を示すフローチャートである。
【図１０】実施の形態１に係るリフォーカス処理部の動作の一例を示すフローチャートである。
【図１１】実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。
【図１２】実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。
【図１３】実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。
【図１４】実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。
【図１５】実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。
【図１６】実施の形態１の変形例１に係るリフォーカス処理部の動作の一例を示すフローチャートである。
【図１７】実施の形態１の変形例２に係るリフォーカス処理部の動作の一例を示すフローチャートである。
【図１８】実施の形態１の変形例２に係るリフォーカス処理の具体例を説明する模式図である。
【図１９】実施の形態１の変形例２に係るリフォーカス処理の具体例を説明する模式図である。
【図２０】実施の形態１の変形例２に係るリフォーカス処理の具体例を説明する模式図である。
【図２１】実施の形態１の変形例２に係るリフォーカス処理の具体例を説明する模式図である。
【図２２】実施の形態２に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図２３】実施の形態２における照明位置の範囲の一例を模式的に示す図である。
【図２４】レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。
【図２５】実施の形態２に係る画像生成システムの動作の一例を示すフローチャートである。
【図２６】実施の形態２の変形例に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図２７】実施の形態２の変形例に係る画像生成システムの動作の一例を示すフローチャートである。
【図２８】実施の形態３に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図２９】実施の形態３に係る胚情報テーブルの一例を示す図である。
【図３０】実施の形態３に係る焦点面決定部の動作の一例を示すフローチャートである。
【図３１】実施の形態３の変形例に係る画像生成システムの機能的な構成の一例を示すブロック図である。
【図３２】実施の形態３の変形例に係る細胞位置判定部の詳細な機能構成の一例を示すブロック図である。
【図３３】実施の形態３の変形例に係る焦点面決定部の動作の一例を示すフローチャートである。
【図３４】実施の形態３の変形例に係る焦点面決定部による細胞配置の決定に関する処理を示すフローチャートである。
【図３５Ａ】４細胞期の胚の３次元モデルの側面図である。
【図３５Ｂ】４細胞期の胚の３次元モデルの側面図である。
【図３５Ｃ】４細胞期の胚の３次元モデルの平面図である。
【図３５Ｄ】４細胞期の胚の３次元モデルの斜視図である。
【図３６Ａ】４細胞期の胚の３次元モデルの断面図である。
【図３６Ｂ】４細胞期の胚の３次元モデルの断面図である。
【図３７】４細胞期の胚の３次元モデルの斜視図である。
【図３８】４細胞期の胚の３次元モデルの断面図である。
【図３９】実施の形態４における画像生成システムの機能ブロック図である。
【図４０】実施の形態４における合成画像生成部によって表示される合成画像の一例を示す図である。
【図４１】実施の形態４における球画像生成部の詳細な機能構成を示すブロック図である。
【図４２】実施の形態４における球画像生成部の具体的な処理の一例を示す図である。
【図４３】実施の形態４におけるディスプレイに表示される画面の一例を示す図である。
【図４４】実施の形態４における画像生成装置の動作の一例を示すフローチャートである。
【図４５】図４４のステップＳ１１０における球画像の生成の詳細な処理を示すフローチャートである。
【図４６Ａ】実施の形態４における画像生成装置のハードウェア構成の一例を示す図である。
【図４６Ｂ】実施の形態４における画像生成装置に備えられている制御回路の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
本開示の一態様に係る画像生成装置は、複数の照明器と、対象物が載置される表面を有するイメージセンサと、前記複数の照明器と前記イメージセンサとの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する制御回路とを備え、前記制御回路は、（ａ）前記複数の照明器が前記対象物を順番に照明するごとに行われる前記イメージセンサによる撮影によって得られた前記対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける前記対象物の合焦画像を生成し、（ｂ）生成された複数の前記合焦画像に映っている前記対象物の少なくとも１つの断面の輪郭を抽出し、（ｃ）前記少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成し、（ｄ）生成された前記少なくとも１つの円周のそれぞれを有する少なくとも１つの球の立体画像である球画像を生成し、（ｅ）前記少なくとも１つの球の断面が現れるように前記球画像を加工することによって合成画像を生成して前記合成画像をディスプレイに表示させる。
【００１３】
これにより、対象物は球画像にモデル化されて、例えば球画像とその断面とを含む合成画像がディスプレイに表示される。その結果、ユーザは、その合成画像を見ることによって、対象物の構成を容易に把握することができる。
【００１４】
また、前記制御回路は、前記（ｂ）では、生成された複数の前記合焦画像のそれぞれに映っている前記対象物の断面の輪郭から、複数の前記合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭を抽出し、前記（ｃ）では、抽出された前記複数の輪郭のうちの最大のエッジ強度を有する輪郭に基づいて円周を生成してもよい。例えば、前記制御回路は、前記（ｃ）では、前記最大のエッジ強度を有する輪郭に内接または外接する円周を生成する。
【００１５】
これにより、対象物の輪郭を適切に抽出して円周にあてはめることができ、その円周を対象物のモデル化に利用することができる。
【００１６】
また、前記制御回路は、前記（ｄ）では、生成された前記円周と同一の中心および半径を有する球の立体画像を含む前記球画像を生成してもよい。
【００１７】
これにより、対象物に対して適切な球の立体画像を生成することができる。
【００１８】
また、前記制御回路は、前記（ｄ）では、球面が互いに交わらない複数の球の立体画像を、前記球画像として生成してもよい。
【００１９】
これにより、例えば胚の構造などを球画像としてモデル化することができる。
【００２０】
また、前記対象物は胚であり、前記少なくとも１つの球は、胚の外形を表す外球と、前記外球に内包され、それぞれ細胞の外形を表す少なくとも１つの内球とからなっていてもよい。
【００２１】
これにより、ユーザは胚の構成を容易に把握することができる。
【００２２】
また、前記制御回路は、さらに、（ｆ）ユーザによる操作に応じて、表示されている前記合成画像における前記断面の位置を前記ディスプレイに変更させ、（ｇ）ユーザからの要求に応じて、ディスプレイに表示されている前記断面に対応する焦点面における前記対象物の合焦画像を、前記複数の撮影画像を用いて生成してディスプレイに表示させてもよい。
【００２３】
これにより、ユーザは、その合成画像の断面を所望の位置に変更することができ、その位置における合焦画像を表示させることができる。したがって、本態様によれば、対象物におけるユーザが所望する断面での合焦画像を容易に表示することができる。
【００２４】
また、本開示の一態様に係る画像生成システムは、複数の照明器と、対象物が載置されるイメージセンサと、制御回路とを備え、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成システムであって、前記複数の照明器は、前記対象物を順番に照明し、前記イメージセンサは、前記複数の照明器が前記対象物を照明する毎に、前記対象物の撮影画像を取得し、前記制御回路は、（ａ）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、（ｂ）前記合焦画像を構成する複数の画素の各々について、以下の（ｃ）〜（ｆ）を実行し、（ｃ）前記複数の照明器の位置の各々について、以下の（ｄ）〜（ｆ）を実行し、（ｄ）前記焦点面上における前記画素の位置及び前記照明器の位置を結ぶ直線と前記イメージセンサの受光面との交点である対象点の位置を計算し、（ｅ）前記イメージセンサの受光面上の前記対象点の位置に基づいて、前記照明器の位置から前記対象物が照明されているときに取得された撮影画像における前記対象点の輝度値を計算し、（ｆ）前記対象点の輝度値を前記画素の輝度値に適用し、（ｇ）前記複数の画素の各々における輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、（ｈ）前記生成した前記対象物の合焦画像を出力する。
【００２５】
本態様によれば、焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサの受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。
【００２６】
本開示の一態様に係る画像生成システムは、複数の照明器と、対象物が載置されるイメージセンサと、制御回路とを備え、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成システムであって、前記複数の照明器は、前記対象物を順番に照明し、前記イメージセンサは、前記複数の照明器が前記対象物を照明する毎に、前記対象物の撮影画像を取得し、前記制御回路は、（ａ）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、（ｂ）複数の前記撮影画像の各々について、以下の（ｃ）〜（ｆ）を実行し、（ｃ）前記撮影画像に対応する照明器の位置情報を取得し、（ｄ）前記撮影画像に含まれる複数の第１画素の各々について、以下の（ｅ）〜（ｆ）を実行し、（ｅ）前記イメージセンサの受光面上における前記第１画素の位置及び前記照明器の位置を結ぶ直線と前記焦点面との交点の位置を計算し、（ｆ）前記合焦画像を構成する複数の第２画素に含まれる、前記焦点面上の交点の位置に対応する１以上の第２画素の輝度値に、前記第１画素の輝度値を適用し、（ｇ）前記複数の第２画素の輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、（ｈ）前記生成した前記対象物の合焦画像を出力する。
【００２７】
本態様によれば、イメージセンサの受光面上における第１画素の位置及び照明器の位置を結ぶ直線と焦点面との交点の位置に対応する合焦画像の１以上の第２画素の輝度値に、撮影画像の第１画素の輝度値を適用することができる。したがって、撮影画像の各画素の輝度値を合焦画像の画素の輝度値に反映することができ、対象物の高画質な合焦画像を生成することができる。
【００２８】
例えば、前記複数の照明器の各々は、光源と、前記光源と前記対象物との間に位置し、ピンホールを有する遮光板とを備え、前記光源により、前記ピンホールを介して、拡散光を前記対象物に照射してもよい。
【００２９】
本態様によれば、光源により、ピンホールを介して、拡散光を対象物に照射することができる。したがって、照明器から照射される光を表す複数の光線が交錯することを防ぐことができ、対象物の撮影画像の画質を向上させることができ、合焦画像の画質も向上させることができる。
【００３０】
例えば、前記画像生成システムは、さらに、ディスプレイを備え、前記ディスプレイは、前記制御回路により出力された前記合焦画像を表示してもよい。
【００３１】
本態様によれば、合焦画像を表示することができる。
【００３２】
例えば、さらに、前記焦点面の情報に基づいて、照明位置の範囲を決定し、前記複数の照明器のうち、前記照明位置の範囲に対応する照明器が、前記対象物に順番に照明してもよい。
【００３３】
本態様によれば、焦点面の情報に基づいて照明位置の範囲を決定し、決定された照明位置の範囲に対応する照明器によって対象物を順番に照明することができる。したがって、焦点面における合焦画像の生成に適した照明器を用いて対象物を撮影することができ、撮影時間を短縮することができる。
【００３４】
なお、これらの全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
【００３５】
以下、本開示の一態様に係る画像生成システムについて、図面を参照しながら具体的に説明する。
【００３６】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３７】
（実施の形態１）
実施の形態１では、イメージセンサ上に位置する対象物に複数の照明器が順に照明し、照明する毎に対象物を撮影することで得られた複数の撮影画像を用いて、複数の照明器とイメージセンサとの間に位置する仮想的な焦点面における対象物の画像を生成する。以下において、この複数の撮影画像を用いて生成された画像を合焦画像ともいう。
【００３８】
［画像生成システムの構成］
図１は、実施の形態１に係る画像生成システムの機能ブロック図である。図１に示される画像生成システム１０は、撮影装置１００Ａと、画像生成装置１００Ｂと、記憶部１２０と、表示部１５０とを備える。画像生成システム１０は、さらに、予め定められた焦点面の情報を記憶している第１記録部１１１と、リフォーカス処理済みの画素の情報を記録する第２記録部１２１と、焦点面を指定する指定情報の入力を受け付ける入力部１１２とを備えてもよい。
【００３９】
［撮影装置の構成］
まず、撮影装置１００Ａの構成について説明する。撮影装置１００Ａは、複数の照明器１０１と、イメージセンサ１０２と、撮影制御部１０３とを備える。撮影装置１００Ａは、対象物の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃ  ｉｍａｇｅ）を取得する。ここでは、撮影部１００は、フォーカスレンズを有さない。
【００４０】
対象物は、例えばイメージセンサ１０２上に配置される複数の半透明の物質である。複数の物質は３次元的に重なって位置する。物質の具体例は、細胞である。
【００４１】
複数の照明器１０１の各々は、平行光を出力する照明器、又は拡散光を出力する照明器である。複数の照明器１０１は、第１の照明器及び第２の照明器を含む。第１の照明器及び第２の照明器のそれぞれは、交錯しない光を照射する。すなわち、第１の照明器から照射された第１の光を表す複数の第１の光線は、互いに交わらない。また、第２の照明器から照射された第２の光を表す複数の第２の光線も、互いに交わらない。したがって、第１の照明器及び第２の照明器のどちらか一方から光を照射した場合に、第１の照明器及び第２の照明器の当該一方からの光は、イメージセンサ１０２に含まれる１つの画素に単一の方向から到達する。つまり、１つの画素に対して２以上の方向から光が到達しない。
【００４２】
以下において、このような照明を非交錯照明と呼ぶ。非交錯照明は、例えば平行光、または、点光源からの拡散光によって実現できる。複数の照明器１０１は、順に、光を照射する。複数の照明器１０１は、互いに異なる位置に配置され、互いに異なる方向から対象物に光を照射する。
【００４３】
イメージセンサ１０２は、複数の画素を有する。イメージセンサ１０２の各画素は、受光面に配置され、複数の照明器１０１から照射された光の強度を取得する。イメージセンサ１０２は、各画素により取得された光の強度に基づいて、撮影画像を取得する。
【００４４】
イメージセンサ１０２の例は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。
【００４５】
撮影制御部１０３は、複数の照明器１０１による光の照射及びイメージセンサ１０２による撮像を制御する。具体的には、撮影制御部１０３は、複数の照明器１０１が光を照射する順番、複数の照明器１０１が光を照射する時間間隔を制御する。撮影制御部１０３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成される。撮影制御部１０３の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部１０３の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。
【００４６】
イメージセンサ１０２の受光面に対して互いに異なる位置に配置された複数の照明器１０１から照射される光は、受光面に対して異なる入射角で入射する。複数の照明器１０１が平行光を照射する場合は、複数の照明器１０１は、イメージセンサ１０２の受光面に対する入射角が互いに異なる平行光を照射する。平行光は、例えば図２に示すように、遮光板１０１Ｂに形成されたピンホール１０１Ｃを介してＬＥＤ光源１０１Ａから射出された光をコリメートレンズ１０１Ｄにより屈折させることにより得られる。
【００４７】
図３は、複数の照明器１０１の構造の一例を説明する模式図である。図３の複数の照明器１０１の例では、平行光を照射する複数の光源１０１Ｅがイメージセンサ１０２の受光面に対して異なる角度で固定されている。図３の例では複数の光源１０１Ｅは、イメージセンサ１０２を覆う半球１０１Ｆの内面に配置されている。複数の光源１０１Ｅからイメージセンサ１０２の受光面に到達する光の受光面への入射角は互いに異なる。
【００４８】
図４は、複数の照明器１０１の構造の別の一例を説明する模式図である。図４の複数の照明器１０１の例では、複数の擬似点光源１０１Ｇは、イメージセンサ１０２の受光面と平行な平面１０１Ｈ上の異なる位置に、イメージセンサ１０２側に向けて配置されている。複数の擬似点光源１０１Ｇからの光は、イメージセンサ１０２の受光面の各画素に対して、異なる方向から入射する。複数の擬似点光源１０１Ｇの各々は、例えば、ＬＥＤ光源１０１Ａの近傍にピンホール１０１Ｃを有する遮光板１０１Ｂを置くことで実現される。ピンホール１０１Ｃの大きさは、イメージセンサ１０２の画素ピッチと、イメージセンサ１０２とピンホール１０１Ｃとの距離、合焦画像を生成する点のイメージセンサ１０２からの距離とによって制限される。
【００４９】
図５は、ピンホールが満たすべき大きさの条件を説明する模式図である。ここで、ｄ１は、ピンホール１０１Ｃの直径を表す。ｈ１は、イメージセンサ１０２の受光面からピンホール１０１Ｃまでの距離を表す。ｈ２は、イメージセンサ１０２の受光面から合焦点１０１Ｊ（すなわち合焦画像中の任意の画素の焦点面上の位置にある点）までの距離を表す。ｄ２は、ピンホール１０１Ｃから合焦点を透過してイメージセンサ１０２の受光面に到達する光の広がりの直径を表す。ｐは、イメージセンサ１０２の画素ピッチを表す。
【００５０】
このとき、ピンホール１０１Ｃから射出された光は、合焦点１０１Ｊを通過してイメージセンサ１０２の受光面の１点に到達することが理想である。すなわち、ピンホール１０１Ｃから射出された光は、合焦点１０１Ｊを通過してイメージセンサ１０２の１画素にのみ到達することが望ましい。したがって、ｄ２がイメージセンサの画素ピッチｐを超えない大きさであることが望ましい。つまり、以下の式１に示すようにｄ２＜ｐが非交錯照明を実現するための条件である。
【００５１】
【数１】
2018078880.tif 000003
【００５２】
ｄ１が満たすべき条件は、この式１を変形することにより以下の式２のように表すことができる。
【００５３】
【数２】
2018078880.tif 000004
【００５４】
例えば、画素ピッチｐが０．００１ｍｍであり、イメージセンサ１０２の受光面からピンホール１０１Ｃまでの距離ｈ１が２ｍｍ、イメージセンサ１０２から合焦点１０１Ｊまでの距離ｈ２が０．１ｍｍである場合、ピンホールの直径ｄ１は０．１９ｍｍ未満であってもよい。
【００５５】
［画像生成装置の構成］
次に、画像生成装置１００Ｂの構成について説明する。画像生成装置１００Ｂは、制御回路によって実現される。図１に示すように、画像生成装置１００Ｂは、焦点面決定部１１０と、リフォーカス処理部１３０と、画像生成部１４０とを備える。
【００５６】
焦点面決定部１１０は、例えば制御回路又はプロセッサによって実現され、複数の照明器１０１及びイメージセンサ１０２の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部１１０は、例えば、第１記録部１１１に記録された予め定められた焦点面の情報に基づいて焦点面を決定する。また例えば、焦点面決定部１１０は、入力部１１２を介して外部から入力された情報に従って焦点面を決定してもよい。
【００５７】
記憶部１２０は、例えば半導体メモリ又はハードディスクドライブ等によって実現され、イメージセンサ１０２で撮影された画像を、当該撮影に用いられた照明器の位置情報とともに記憶する。
【００５８】
図６は、記憶部１２０が記憶する内容の一例を示す。撮影部１００によって撮影された画像ファイルごとに、当該画像ファイルの取得時に用いられた照明器の位置情報が記憶されている。図６の例では、照明器の位置情報は、イメージセンサ１０２に対する相対的な位置を示す。以下において、この照明器の位置情報を照明位置情報とも呼ぶ。照明位置情報は、画像ファイルのファイルＩＤとともに記憶されており、画像データとファイルＩＤを介して結合されている。なお、照明位置情報は、画像ファイルの一部（例えばヘッダ情報）に記録されてもよい。
【００５９】
リフォーカス処理部１３０は、例えば制御回路又はプロセッサによって実現され、複数の画像と、複数の照明器１０１の位置情報と、仮想的な焦点面の情報とから、当該焦点面における合焦画像を構成する画素ごとの光の強度を計算する。このリフォーカス処理の詳細は後述する。
【００６０】
画像生成部１４０は、例えば制御回路又はプロセッサによって実現され、リフォーカス処理部１３０で計算された画素ごとの輝度値から焦点面における合焦画像を生成する。
【００６１】
表示部１５０は、ディスプレイによって実現され、画像生成部１４０で生成された合焦画像を表示する。
【００６２】
［画像生成システムの動作］
次に、以上のように構成された画像生成システム１０の動作について説明する。図７は、実施の形態１に係る画像生成システム１０の動作の一例を示すフローチャートである。図８は、座標と焦点面との関係の一例を示す模式図である。
【００６３】
（ステップＳ１１００）
まず、撮影部１００は、複数の照明器１０１を順に用いて対象物を照明し、当該対象物の複数の画像を撮影する。具体的には、撮影部１００は、複数の照明器１０１のそれぞれが対象物を照明するたびに、イメージセンサ１０２の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部１２０で記憶される。ここでは、複数の照明器１０１の位置は、イメージセンサ１０２に対して固定されており、複数の照明器１０１の各々の位置情報は予め定められている。撮影処理の詳細は後述する。
【００６４】
（ステップＳ１２００）
焦点面決定部１１０は、焦点面を決定する。具体的には、焦点面決定部１１０は、イメージセンサ１０２に対する焦点面の位置及び傾き（角度）を決定する。例えば、焦点面決定部１１０は、第１記録部１１１に記憶される予め定められた焦点面の情報に基づいて焦点面を決定してもよい。または、焦点面決定部１１０は、入力部１１２によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。
【００６５】
焦点面は、合焦画像が生成される仮想的な面に相当する。つまり、焦点面における対象物の合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。
【００６６】
例えば、焦点面決定部１１０は、焦点面の角度及び位置を用いて焦点面を決定する。焦点面の角度及び位置は、例えば図８に示すｘｙｚ空間によって定義される。
【００６７】
図８において、ｘｙ平面は、イメージセンサ１０２の受光面と一致する。ｚ軸は、イメージセンサ１０２の受光面に直交する。このとき、焦点面の角度は、イメージセンサ１０２の受光面の中心を原点とするｘｙｚ空間においてｘ軸及びｙ軸に対する角度で定義される。焦点面の位置は、焦点面の中心点の座標で定義される。
【００６８】
（ステップＳ１３００）
リフォーカス処理部１３０は、複数の撮像画像と、複数の照明器１０１の位置情報と、焦点面の情報とに基づいて、リフォーカス処理を行い、焦点面上の各点の輝度を求める。リフォーカス処理の詳細は後述する。
【００６９】
（ステップＳ１４００）
画像生成部１４０は、ステップＳ１３００で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データを生成する。画像生成部１４０は、生成された画像データを表示部１５０に出力する。
【００７０】
（ステップＳ１５００）
表示部１５０は、ステップＳ１４００で生成された画像を表示する。
【００７１】
［撮影処理］
ここでステップＳ１１００の撮影部１００の動作の詳細を説明する。図９は、撮影装置１００Ａの動作の一例を示すフローチャートである。
【００７２】
（ステップＳ１１１０）
撮影制御部１０３は、予め定められた複数の照明位置、または図示しない外部入力によって指定された複数の照明位置のリスト（以下、照明位置リストという）を参照して、各照明位置から照明された対象物の撮影が終了したか否かを判定する。複数の照明器１０１と照明位置リストに含まれる複数の照明位置は１対１に対応する。
【００７３】
ここで、照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合（ステップＳ１１１０においてｙｅｓ）、ステップＳ１２００へ進む。一方、照明位置リスト内のいずれかの照明位置からの照明による撮影が終了していない場合（ステップＳ１１１０においてｎｏ）、ステップＳ１１２０へ進む。
【００７４】
（ステップＳ１１２０）
撮影制御部１０３は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、複数の照明器１０１へ制御信号を出力する。なお、撮影制御部１０３は、まだ照明が行われていない照明位置が複数存在する場合は、一つの照明位置を選択する。照明位置リストにおいて、各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、図８に示すｘｙｚ空間における座標値によって示される。照明位置の選択は、例えば、リストの昇順に行われる。
【００７５】
（ステップＳ１１３０）
複数の照明器１０１は、ステップＳ１１２０で撮影制御部１０３より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップＳ１１２０で選択された照明位置にある照明器が光の照射を開始する。
【００７６】
（ステップＳ１１４０）
照明器によって対象物が照明されている間に、イメージセンサ１０２は、当該照明器から対象物を透過した光によって形成される画像を取得する。
【００７７】
（ステップＳ１１５０）
その後、撮影制御部１０３は、複数の照明器１０１へ制御信号を出力して、対象物への照明を停止する。なお、照明の停止は、撮影制御部１０３からの制御信号に従って行われなくてもよい。例えば、複数の照明器１０１は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。あるいはステップＳ１１４０でイメージセンサ１０２が画像の取得を終了した後に、イメージセンサ１０２は、照明を停止するための制御信号を複数の照明器１０１に出力してもよい。
【００７８】
（ステップＳ１１６０）
次いで、撮影制御部１０３は、ステップＳ１１４０で取得された画像と、ステップＳ１１３０で用いられた照明器の位置情報を記憶部１２０へ出力する。そして、記憶部１２０は、画像データと照明位置の情報とを対応付けて記憶する。ステップＳ１１６０の後、ステップＳ１１１０へ戻る。
【００７９】
ステップＳ１１１０からステップＳ１１６０までの処理が繰り返されることで、照明位置リストに含まれるすべての照明位置の照明器から順次対象物に光が照射され、対象物に光が照射されるたびに画像を取得する。
【００８０】
［リフォーカス処理］
さらに、ステップＳ１３００のリフォーカス処理部１３０の動作の詳細を説明する。図１０は、実施の形態１に係るリフォーカス処理部１３０の動作の一例を示すフローチャートである。図１１〜図１５は、リフォーカス処理の計算方法の具体例を説明する模式図である。
【００８１】
以下に、図１１〜図１５を参照しながら、図１０の各ステップについて説明する。
【００８２】
（ステップＳ１３１０）
リフォーカス処理部１３０は、ステップＳ１２００で決定された焦点面の情報を焦点面決定部１１０から取得する。
【００８３】
焦点面の情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。焦点面の傾きは、例えば、焦点面及びｘｚ平面の交線とｘ軸とが成す角度によって表される。また例えば、焦点面の傾きは、焦点面及びｙｚ平面の交線とｙ軸とが成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。
【００８４】
図１１は、撮影部１００及び対象物１０００の、ｘｚ平面における断面図の一例を示す。対象物１０００は、照明器１０１ａ、１０１ｂ及びイメージセンサ１０２の間に位置し、かつイメージセンサ１０２上に位置する。リフォーカス処理部１３０は、焦点面１１００の情報を取得する。
【００８５】
（ステップＳ１３２０）
リフォーカス処理部１３０は、合焦画像に含まれる全画素についてリフォーカス処理が終了したか否かを判定する。ここでは、リフォーカス処理とは、ステップＳ１３２０からステップＳ１３９０までの処理を意味する。
【００８６】
合焦画像に含まれる全画素についてリフォーカス処理が終了している場合（ステップＳ１３２０においてｙｅｓ）、リフォーカス処理部１３０は、リフォーカス処理を終了する（ステップＳ１４００へ進む）。
【００８７】
合焦画像に含まれるいずれかの画素についてリフォーカス処理が終了していない場合（ステップＳ１３２０においてｎｏ）、リフォーカス処理部１３０は、リフォーカス処理を続行する（ステップＳ１３３０へ進む）。
【００８８】
合焦画像は、複数の画素を含む。合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。図１２は、合焦画像に含まれる複数の画素に対応する、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅを示す。なお、図１２に示す焦点面１１００上の複数の点１１０２ａ〜１１０２ｅは、対象物１０００上の点であったが、対象物１０００上ではない点が合焦画像の画素に対応してもよい。
【００８９】
（ステップＳ１３３０）
リフォーカス処理部１３０は、合焦画像に含まれる複数の画素の中から１つの画素を選択する。ここで選択される１つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカス処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は０である。
【００９０】
例えば、図１に示した第２記録部１２１に、合焦画像のうちすでにリフォーカス処理が実行された画素の情報が記憶されている。後述するステップＳ１３９０の処理の後、リフォーカス処理部１３０は、第２記録部１２１にリフォーカス処理した画素の情報を記録する。リフォーカス処理部１３０は、第２記録部１２１に記録された画素の情報を参照して、リフォーカス処理がまだ実行されていない画素を選択する。以下、図１３に示すように、点１１０２ａに対応する画素が選択された場合について説明する。また、点１１０２ａに対応する画素を選択画素とも表記する。
【００９１】
（ステップＳ１３４０）
リフォーカス処理部１３０は、すべての照明位置に対する加算処理が終了しているか否かを判定する。
【００９２】
ここで、すべての照明位置に対する加算処理が終了している場合（ステップＳ１３４０においてｙｅｓ）、リフォーカス処理部１３０の処理は、ステップＳ１３２０に戻る。
【００９３】
一方、いずれかの照明位置に対する加算処理が終了していない場合（ステップＳ１３４０においてｎｏ）、リフォーカス処理部１３０は加算処理を続行する（ステップＳ１３５０に進む）。ここで、加算処理とは、ステップＳ１３４０からステップＳ１３９０までの処理を意味する。
【００９４】
（ステップＳ１３５０）
リフォーカス処理部１３０は、撮影に用いたすべての照明位置の中からまだ加算処理が終了していない照明位置を選択する。
【００９５】
（ステップＳ１３６０）
リフォーカス処理部１３０は、選択された照明位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ１０２の受光面と交差する点の位置を計算する。
【００９６】
図１４は、照明器１０１ａの位置と選択画素に対応する点１１０２ａとを通る直線１２００と、イメージセンサ１０２の受光面との交点１１０３ａを示す。以下において、交点１１０３ａを、加算処理を行う対象の点である対象点とも表記する。
【００９７】
イメージセンサ１０２の受光面上の対象点は、例えば、図８に示すｘｙ平面上の座標値で表される。
【００９８】
（ステップＳ１３７０）
リフォーカス処理部１３０は、選択された照明位置に対応する画像を記憶部１２０から取得する。つまり、リフォーカス処理部１３０は、選択された照明位置にある照明器を用いて撮影された画像を記憶部１２０から取得する。具体的には、リフォーカス処理部１３０は、図６に示した照明位置情報と画像との対応関係に従って、記憶部１２０に記憶された画像を取得する。例えば、リフォーカス処理部１３０は、図１３に示す照明器１０１ａの位置に対応する画像を取得する。
【００９９】
（ステップＳ１３８０）
リフォーカス処理部１３０は、ステップＳ１３６０で計算されたイメージセンサ１０２上の対象点の撮影画像中の位置を決定する。具体的には、リフォーカス処理部１３０は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。
【０１００】
撮影画像における対象点の位置が複数の画素の中間位置である場合、リフォーカス処理部１３０は、対象点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮影画像における対象点の輝度値を計算する。具体的には、リフォーカス処理部１３０は、例えば、対象点に隣接する複数の画素（例えば４画素）のそれぞれの画素と対象点との距離を求め、対象点と各画素との距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対象点の輝度値を求める。
【０１０１】
図１５は、ステップＳ１３８０における対象点の輝度値の計算を説明するための模式図である。図１５において、対象点に隣接する４つの画素Ａ〜画素Ｄと対象点との距離は、それぞれ、ａ、ｂ、ｃ、及びｄと表されている。この場合、対象点の輝度値Ｌｔは、以下の式３で求められる。
【０１０２】
【数３】
2018078880.tif 000005
【０１０３】
ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄは、それぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表す。
【０１０４】
（ステップＳ１３９０）
リフォーカス処理部１３０は、合焦画像上の選択画素の輝度値にステップＳ１３９０で計算した対象点の輝度値を加算する。
【０１０５】
ステップＳ１３４０からステップＳ１３９０までの処理を繰り返すことにより、全ての照明位置について、撮影された画像中の対象点の輝度値が選択画素の輝度値に加算された結果が、選択画素の輝度値として計算される。
【０１０６】
このような加算処理によって、焦点面上の各点について、当該点を透過した複数の方向からの光によって形成された複数の画像が合焦画像の１つの画素に重ねられる。
【０１０７】
図１４において、照明器１０１ａから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ａ）に到達する。したがって、照明器１０１ａによって撮影された画像中の対象点（交点１１０３ａ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。
【０１０８】
また、図１４において、照明器１０１ｂから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ｂ）に到達する。したがって、照明器１０１ｂによって撮影された画像中の対象点（交点１１０３ｂ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。
【０１０９】
このような対象点（交点１１０３ａ）における画像（輝度値）及び対象点（交点１１０３ｂ）における画像（輝度値）が加算されることにより、複数の方向からの光によって形成された複数の画像が合焦画像の選択画素に重ねられる。
【０１１０】
［効果］
以上のように、本実施の形態に係る画像生成システムによれば、焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサ１０２の受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。
【０１１１】
（実施の形態１の変形例１）
次に、実施の形態１の変形例１について説明する。上記実施の形態１では、図１０のステップＳ１３５０で照明位置が選択されたが、本変形例では、撮影画像が選択される。以下に、実施の形態１の変形例１について、実施の形態１と異なる点を中心に説明する。
【０１１２】
図１６は、実施の形態１の変形例１に係るリフォーカス処理部の動作の一例を示すフローチャートである。図１６では、図１０におけるステップＳ１３４０〜ステップＳ１３９０の代わりに、ステップＳ１３４１〜ステップＳ１３９０が実行される。なお、図１６において、図１０と実質的に同一のステップについては同一の符号を付し、適宜説明を省略する。
【０１１３】
図１６において、撮影画像のすべてが加算処理に使用された場合（ステップＳ１３４１においてｙｅｓ）は、ステップＳ１３２０へ戻る。一方、撮影画像のいずれかが加算処理に使用されていない場合（ステップＳ１３４１においてｎｏ）は、ステップＳ１３５１へ進む。リフォーカス処理部１３０は、記憶部１２０に記憶された撮影画像のうち１つを選択する（ステップＳ１３５１）。ここでは、加算処理にまだ使用されていない撮影画像が選択される。
【０１１４】
リフォーカス処理部１３０は、ステップＳ１３５１で選択された撮影画像に対応する照明位置情報を記憶部１２０から取得する（ステップＳ１３５９）。その後は、ステップＳ１３７０で画像を取得する動作がない以外は図９に示した動作と同様である。
【０１１５】
以上のように、本変形例に係る画像生成システムによれば、照明位置の選択を撮影画像の選択に代えても、実施の形態１と同様に、合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を適用することができ、対象物の高画質な合焦画像を生成することができる。
【０１１６】
（実施の形態１の変形例２）
次に、実施の形態１の変形例２について説明する。上記実施の形態１では、図１０のステップＳ１３２０及びステップＳ１３３０で、合焦画像内の画素が順に選択されたが、本変形例では、撮影画像内の画素が順に選択される。つまり、本変形例では、先に撮影画像内の画素が選択され、その選択された画素に対応する焦点面上の点が後で決定される点が上記実施の形態１と異なる。このように決定された焦点面上の点に対応する合焦画像内の画素に、撮影画像内の選択された画素の輝度値が反映される。以下に、実施の形態１の変形例２について、実施の形態１と異なる点を中心に説明する。
【０１１７】
図１７は、実施の形態１の変形例２に係るリフォーカス処理部の動作の一例を示すフローチャートである。図１７において、図１０と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。
【０１１８】
（ステップＳ１３２２）
リフォーカス処理部１３０は、ステップＳ１１００で撮影した画像のすべてについてリフォーカス処理が終了したかどうかを判定する。リフォーカス処理とは、ステップＳ１３２２からステップＳ１３９２までの処理を意味する。すべての画像についてすでにリフォーカス処理が終了している場合（ステップＳ１３２２においてｙｅｓ）は、リフォーカス処理部１３０は、ステップＳ１４００へ進む。ステップＳ１１００で撮影した画像のいずれかについてリフォーカス処理が終了していない場合（ステップＳ１３２２においてｎｏ）は、ステップＳ１３３２へ進む。
【０１１９】
（ステップＳ１３３２）
リフォーカス処理部１３０は、記憶部１２０に記憶されている、ステップＳ１１００で撮影された画像の中から、１つの撮影画像を選択する（ステップＳ１３３２）。ここで選択される１つの撮影画像は、リフォーカス処理がまだ行われていない画像である。以下において、ステップＳ１３３２で選択された１つの画像を選択画像という。
【０１２０】
（ステップＳ１３３３）
リフォーカス処理部１３０は、選択画像に対応する照明位置情報を取得する。例えば、リフォーカス処理部１３０は、図６に示した画像と照明位置情報との対応関係を参照して照明位置情報を取得する。ここでは、照明器１０１ａの位置情報が取得された場合について説明する。
【０１２１】
（ステップＳ１３４２）
リフォーカス処理部１３０は、選択画像の全画素に対して、加算処理が終了したかを判定する（ステップＳ１３４２）。ここで、選択画像の全画素について加算処理が終了している場合（ステップＳ１３４２においてｙｅｓ）は、加算処理を終了してステップＳ１３２２へ戻る。一方、選択画像のいずれかの画素について加算処理が終了していない場合（ステップＳ１３４２においてｎｏ）は、ステップＳ３１５２へ進む。加算処理とは、ステップＳ１３４２からステップＳ１３９２までの処理を意味する。
【０１２２】
（ステップＳ１３５２）
リフォーカス処理部１３０は、選択画像中の１つの画素を選択する。ここで選択される１つの画素は、加算処理がまだ行われていない画素である。
【０１２３】
図１８に、選択画像に含まれる複数の画素に対応する受光面上の複数の点１３０２ａ〜１３０２ｅを示す。ここでは、図１９に示すように、受光面上の点１３０２ａに対応する画素を選択画像から選択した場合について説明する。なお、以後、ステップＳ１３５２で選択された画素を加算画素とも表記する。
【０１２４】
（ステップＳ１３７２）
リフォーカス処理部１３０は、図１９に示すように、受光面上の点１３０２ａと照明器１０１ａの位置とを結ぶ直線と焦点面１１００とが交差する交点１３０３ａの位置を計算する。以下において、交点１３０３ａを加算点とも表記する。
【０１２５】
（ステップＳ１３８２）
リフォーカス処理部１３０は、受光面上の点１３０２ａに対応する選択画像内の加算画素の輝度値を、焦点面上の加算点（交点１３０３ａ）に対応する合焦画像内の１以上の画素の輝度値に加算する。
【０１２６】
例えば、合焦画像において、交点１３０３ａの位置がどの画素（整数画素）の位置とも一致しない場合、リフォーカス処理部１３０は、合焦画像において交点１３０３ａに隣接する複数の画素に加算するための輝度値をそれぞれ計算する。具体的には、リフォーカス処理部１３０は、合焦画像の画素の配列を基準に、ステップＳ１３７２で計算された焦点面上の加算点（交点１３０３ａ）に対応する合焦画像内の位置を決定する。
【０１２７】
例えば、図２０のように、合焦画像において４つの画素（画素Ａ〜画素Ｄ）に囲まれた位置が加算点の位置として決定される。この場合、リフォーカス処理部１３０は、合焦画像において加算点に隣接する各画素（画素Ａ〜画素Ｄ）と加算点との距離を計算する。リフォーカス処理部１３０は、計算された距離と加算画素の輝度値とを用いて、加算点に隣接する各画素に加算するための輝度値を計算する。例えば、リフォーカス処理部１３０は、合焦画像内において加算点に隣接する画素と加算点との距離が相対的に大きい画素ほど輝度値が相対的に大きくなるように、各画素に加算するための輝度値を計算する。具体的には、リフォーカス処理部１３０は、例えば画素Ａに加算するための輝度値Ｌａを、以下の式４に従って計算する。
【０１２８】
【数４】
2018078880.tif 000006
【０１２９】
ここで、ａは、合焦画像における画素Ａと加算点との間の距離である。ｂは、合焦画像における画素Ｂと加算点との間の距離である。ｃは、合焦画像における画素Ｃと加算点との間の距離である。ｄは、画素Ｄと加算点との間の距離である。Ｌは、撮影画像に含まれる加算画素の輝度値である。
【０１３０】
（ステップＳ１３９２）
リフォーカス処理部１３０は、合焦画像中の１以上の画素の輝度値に、ステップＳ１３８２で計算された輝度値を加算する。
【０１３１】
ステップＳ１３４２からステップＳ３１９２までの処理を繰り返すことで、選択画像中のすべての画素の輝度値を合焦画像の画素の輝度値に反映させることができる。
【０１３２】
さらに、ステップＳ１３２２からステップＳ１３９２を繰り返すことですべての撮影画像中のすべての画素について加算処理が行われ、焦点面における合焦画像を生成することができる。
【０１３３】
図１７のフローチャートについて各ステップの具体例を図２１を参照しながら説明する。ここでは、イメージセンサ１０２及び焦点面等が以下の条件を満たす場合について説明する。イメージセンサ１０２の受光面の長辺（すなわちｘ軸と平行な辺）の長さが６ｍｍであり、受光面の短辺（すなわちｙ軸と平行な辺）の長さが４ｍｍである。焦点面のｘ軸に対する傾きが３０度である。焦点面のｙ軸に対する傾きが０度である。焦点面の面積は、イメージセンサ１０２の受光面の面積と同じである。すなわち、焦点面は、６ｍｍ×４ｍｍの矩形の平面である。焦点面の一方の短辺は、図１８のようにｙｚ平面上にあり、ｙ軸に平行に延びている。焦点面の他方の短辺は、ｘｙ平面上にあり、ｘ座標が約５．２ｍｍの位置でｙ軸と平行に延びている。焦点面の中心の座標（ｘ，ｙ，ｚ）は、（２．６，２，１．５）である。
【０１３４】
ここで、ステップＳ１３３２で画像が選択され、ステップＳ１３３３で画像に対応する照明位置（７．５，２，１０）が取得され、ステップＳ１３５２で加算画素（１．７，２，０）が選択されたとする。この場合、ステップＳ１３７２において、加算画素（１．７，２，０）と照明位置（７．５，２．０，１０）とを通る直線と焦点面との交点である加算点の座標（２．６，２，１．５）が計算される。そして、ステップＳ１３８２において、合焦画像における加算点の近傍の画素の輝度値に、加算画素の輝度値が分配されて加算される。
【０１３５】
以上のように、本変形例に係る画像生成システムによれば、イメージセンサ１０２の受光面上における第１画素の位置及び照明器の位置を結ぶ直線と焦点面との交点の位置に対応する合焦画像の１以上の第２画素の輝度値に、撮影画像の第１画素の輝度値を適用することができる。したがって、撮影画像の各画素の輝度値を合焦画像の画素の輝度値に反映することができ、対象物の高画質な合焦画像を生成することができる。
【０１３６】
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、決定された焦点面に応じて適応的に照明位置を決定し、決定された照明位置にある照明器を用いて対象物を撮影する点が実施の形態１と異なる。以下に、実施の形態２について、実施の形態１と異なる点を中心に説明する。
【０１３７】
［画像生成システムの構成］
図２２は、実施の形態２に係る画像生成システム２０の機能的な構成を示すブロック図である。図２２において、図１と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１３８】
画像生成システム２０は、撮影装置２００Ａと、画像生成装置２００Ｂと、記憶部１２０と、表示部１５０とを備える。
【０１３９】
［撮像装置の構成］
撮影装置２００Ａは、複数の照明器１０１と、画素ごとに光の強度を記録するイメージセンサ１０２と、撮影制御部２０３とを備える。
【０１４０】
撮影制御部２０３は、後述する照明範囲決定部２１１から取得した照明範囲情報に従って、複数の照明器１０１及びイメージセンサ１０２の動作を制御する。具体的には、撮影制御部２０３は、異なる位置にある複数の照明器１０１から光を順に照射させる。そして、複数の照明器１０１のいずれかから光が照射されるたびに、イメージセンサ１０２に対象物の画像を撮影させる。
【０１４１】
撮影制御部２０３は、実施の形態１の撮影制御部１０３と同様に、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭなどからなるコンピュータシステム（図示せず）により構成されてもよい。撮影制御部２０３の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部２０３の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。
【０１４２】
［画像生成装置の構成］
画像生成装置２００Ｂは、焦点面決定部２１０と、照明範囲決定部２１１と、リフォーカス処理部１３０と、画像生成部１４０とを備える。
【０１４３】
焦点面決定部２１０は、例えば制御回路又はプロセッサによって実現され、複数の照明器１０１及びイメージセンサ１０２の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部２１０は、予め定められた焦点面の情報に基づいて焦点面を決定する。また例えば、焦点面決定部２１０は、外部から入力された情報に従って焦点面を決定してもよい。
【０１４４】
照明範囲決定部２１１は、焦点面決定部２１０によって決定された焦点面に対応する照明位置を決定する。ここで、図２３及び図２４を参照しながら照明位置の決定の具体例を説明する。
【０１４５】
図２３は、実施の形態２における照明位置の決定方法を模式的に示した説明図である。図２４は、レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。図２４の（ａ）は、レンズの焦点距離及び被写界深度の関係を示し、図２４の（ｂ）は、リフォーカシングする際の点光源の配置及び被写界深度の関係を示す。
【０１４６】
図２４において、ｆは、レンズの焦点距離を示す。ｓは、被写体距離を示す。ｔは、レンズから結像面までの距離を示す。Ｆは、Ｆ値を示す。εは、焦点深度の１／２を示す。δは、許容錯乱円直径を示す。ｓｎは、近点距離を示す。ｓｆは、遠点距離を示す。Ｄｎは、前方被写界深度を示す。Ｄｆは、後方被写界深度を示す。
【０１４７】
リフォーカシングによる被写界深度は照明位置の分布範囲の広さによって決定される。図２４の（ｂ）において、点線で示す照明位置の分布範囲は、図２４の（ａ）のレンズ径に対応する。図２４の（ａ）に示したレンズの場合には、被写体(Subject)表面で反射された光はレンズを通過して焦点面（Focal Plane）で結像する。被写界深度（Depth of Field）は、前方被写界深度Ｄｎと後方被写界深度Ｄｆの和である。本開示では、透過光の撮影でのリフォーカシングであるため、図２４の（ａ）の被写体の位置に相当するのが焦点面である。図２４の（ｂ）において、イメージセンサは焦点面よりも左側に位置する。本実施の形態では、点光源の配列より図中右側には実際には何も無いが、許容錯乱円として、イメージセンサの画素ピッチを設定することで、被写界深度を計算しうる。
【０１４８】
例えば、図２３に示した、焦点面の合焦画像を生成するために必要な照明位置の範囲は、図２４に示すように、焦点面に平行に設置されたレンズの大きさに対応する。レンズを用いると、焦点位置に置かれた被写体を観測するために、被写体から５ｍｍの距離に置かれた直径１０ｍｍのレンズ径が必要な場合の照明位置の範囲は、次のような円で表される。つまり、照明位置の範囲は、図２３のように焦点面に平行で、焦点面からの距離が５ｍｍ、焦点面の中心を通る焦点面の法線と焦点面に平行な平面との交点を中心とした直径１０ｍｍの円で表される。実際の点光源の配置平面あるいは曲面（例えば、図３に示した曲面や、図４に示した平面）に、この照明位置の範囲を写像した領域内に配置された照明器の位置が、焦点面決定部２１０によって決定された焦点面に適した照明位置となる。
【０１４９】
［画像生成システムの動作］
次に、上述のように構成される画像生成システム２０の動作について説明する。
【０１５０】
図２５は、実施の形態２に係る画像生成システム２０の動作の一例を示すフローチャートである。図２５において、図７と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。
【０１５１】
図２５に示されるように、まず、焦点面決定部２１０は、焦点面を決定する（ステップＳ１２００）。
【０１５２】
照明範囲決定部２１１は、ステップＳ１２００で決定された焦点面に対応する照明位置の範囲を決定する（ステップＳ２２００）。
【０１５３】
撮影装置２００Ａは、複数の照明器１０１のうち、ステップＳ２２００で決定された照明位置の範囲に対応する照明器を順に用いて、対象物を照明する。そして、撮影装置２００Ａは、照明器が対象物を照明するたびに、イメージセンサ１０２の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部１２０で記憶される（ステップＳ２３００）。具体的には、撮影装置２００Ａの撮影制御部２０３は、ステップＳ２２００で決定された照明位置の範囲に基づいて、複数の照明器１０１の中から、決定された照明位置の範囲に含まれる２以上の照明器を選択する。そして、撮影制御部２０３は、予め定められた順番で、選択された２以上の照明器に光を照射させ、イメージセンサ１０２に撮影させる。撮影装置２００Ａが、対象物に対する照明と、対象物の撮影とを繰り返すことにより、決定された照明位置の範囲内の照明器を用いて、対象物の画像を取得する。これ以降の動作は、基本的に実施の形態１の図７と同様であるので説明を省略する。
【０１５４】
［効果］
以上のように、本実施の形態に係る画像生成システムによれば、焦点面の情報に基づいて照明位置の範囲を決定し、決定された照明位置の範囲に対応する照明器によって対象物を順番に照明することができる。したがって、焦点面における合焦画像の生成に適した照明器を用いて対象物を撮影することができ、撮影時間を短縮することができる。
【０１５５】
（実施の形態２の変形例）
次に、実施の形態２の変形例について説明する。本変形例では、予め取得されたパイロット画像を用いて対象領域を決定し、当該対象領域に基づいて照明位置の範囲を決定する点が実施の形態２と異なる。以下に、実施の形態２の変形例について、実施の形態２と異なる点を中心に説明する。
【０１５６】
［画像生成システムの構成］
図２６は、実施の形態２の変形例に係る画像生成システム３０の機能的な構成を示すブロック図である。図２６において、図２２と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１５７】
画像生成システム３０は、撮影装置２００Ａと、画像生成装置３００Ｂと、記憶部３２０と、表示部１５０とを備える。
【０１５８】
撮影装置２００Ａは、複数の照明器１０１と、イメージセンサ１０２と、撮影制御部２０３とを備える。本変形例では、撮影装置２００Ａは、決定された照明位置の範囲に対応する照明器を順に用いて対象物を撮影する前に、予め定められた照明器を用いて対象物を撮影することによりパイロット画像を取得する。パイロット画像は、記憶部３２０に記憶され、表示部１５０に表示される。
【０１５９】
画像生成装置３００Ｂは、焦点面決定部２１０と、照明範囲決定部３１１と、対象領域決定部３１２と、処理範囲切り出し部３１３と、リフォーカス処理部２３０と、画像生成部１４０とを備える。
【０１６０】
対象領域決定部３１２は、外部入力によって指定された領域又は予め定められた方法で指定された領域に基づいて、パイロット画像内の対象領域を決定する。
【０１６１】
照明範囲決定部３１１は、焦点面決定部２１０によって決定された焦点面及び対象領域決定部３１２によって決定された対象領域に基づいて、照明位置の範囲を決定する。
【０１６２】
記憶部３２０は、イメージセンサ１０２で撮影された画像を、当該画像の撮影に用いられた照明器の位置情報とともに記憶する。さらに、記憶部３２０は、予め定められた照明器で照明された際に撮影された画像をパイロット画像として記憶する。このパイロット画像は、対象領域決定部２１２に出力される。
【０１６３】
処理範囲切り出し部３１３は、対象領域決定部３１２によって決定された対象領域に対応する領域を、記憶部３２０に記憶された複数の画像からそれぞれ切り出す。そして、処理範囲切り出し部３１３は、切り出した画像を照明位置情報とともにリフォーカス処理部２３０へ出力する。
【０１６４】
［画像生成システムの動作］
次に、上述のように構成される画像生成システム３０の動作について説明する。
【０１６５】
図２７は、画像生成システム３０の動作の一例を示すフローチャートである。図２７に示されるように、まず、撮影部２００の撮影制御部２０３は、予め定められた照明器（例えば、座標（０，０）の位置にある照明器を用いて対象物を照明し、イメージセンサ１０２の受光面に到達した光の強度を検知することによりパイロット画像を取得する。パイロット画像は、記憶部３２０に記憶される（ステップＳ２０１０）。記憶部３２０は、ステップＳ２０１０で撮影されたパイロット画像を表示部１５０に出力し、表示部１５０はパイロット画像を表示する（ステップＳ２０２０）。
【０１６６】
ユーザは、ステップＳ２０２０で表示されたパイロット画像に対して、合焦画像を生成したい領域を指定する。対象領域決定部２１２は、ユーザから指定された領域に基づいて、対象領域を決定する（ステップＳ２０３０）。
【０１６７】
なお、本変形例では、パイロット画像を表示し、ユーザからパイロット画像に対する領域の指定入力を受けたが、これに限定されない。例えば、対象領域決定部３１２は、パイロット画像において対象物の認識処理を行い、認識結果に基づいて対象領域が決定されてもよい。対象物の認識処理は、例えば、予め定められた色や輪郭などの特徴に基づいて行われる。対象物の認識処理によって複数の領域が抽出された場合には、対象領域決定部３１２は、例えば画像中の領域の位置に基づいて、抽出された複数の領域の中から少なくとも１つの領域が対象領域として選択されてもよいし、抽出された複数の領域のすべてを対象領域として決定してもよい。
【０１６８】
焦点面決定部２１０は、焦点面を決定する（ステップＳ２１００）。照明範囲決定部３１１は、ステップＳ２０３０で決定された対象領域と、ステップＳ２１００で決定された焦点面とに基づいて、照明位置の範囲を決定する（ステップＳ２２１０）。具体的には、照明範囲決定部２１１は、図２３における焦点面の中心の代わりに対象領域の中心を用いて、照明位置の範囲を決定する。以降のステップは、図１８と実質的に同一であるので説明を省略する。
【０１６９】
［効果］
以上のように、本変形例に係る画像生成システム３０によれば、焦点面に加えて対象領域に基づいて照明位置の範囲を決定することができ、さらに撮影時間を短縮することができる。
【０１７０】
（実施の形態３）
次に、実施の形態３について説明する。実施の形態３は、対象物の状態に基づいて焦点面を決定する点が実施の形態１と異なる。例えば、本実施の形態では、受精卵や初期胚のように、対象物の状態が培養時間に応じて変化する場合に、培養時間に対応する対象物の状態に基づいて、焦点面の数及び角度を決定する。以下に、実施の形態３について、実施の形態１と異なる点を中心に説明する。
【０１７１】
［画像生成システムの構成］
図２８は、実施の形態３に係る画像生成システム４０の機能的な構成を示すブロック図である。図２８において、図１と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１７２】
画像生成システム４０は、撮影装置１００Ａと、画像生成装置４００Ｂと、記憶部１２０と、表示部１５０とを備える。画像生成装置４００Ｂは、焦点面決定部４１０と、胚情報テーブル４２０と、計時部４３０と、リフォーカス処理部１３０と、画像生成部１４０とを備える。
【０１７３】
胚情報テーブル４２０には、培養時間と、当該培養時間に対応する胚の状態及び焦点面の情報とが記録されている。図２９は胚情報テーブル４２０の一例を示す。図２９の例では、胚情報テーブル４２０には、培養時間ごとに胚の状態と焦点面の数とが記録されている。
【０１７４】
計時部４３０は、対象物の培養を開始した時刻からの経過時間（つまり培養時間）を計測する。
【０１７５】
焦点面決定部４１０は、計時部４３０により計測された培養時間に対応する焦点面の数を胚情報テーブル４２０から取得する。そして、焦点面決定部４１０は、イメージセンサ１０２と複数の照明器１０１との間に、取得した数と同数の焦点面を決定する。具体的には、焦点面決定部４１０は、外部入力された角度、あるいは予め定められた角度で傾いた焦点面を、胚情報テーブル４２０から得られた数だけ決定する。対象物が初期胚の場合、例えば、互いに平行な複数の焦点面が決定される。初期胚の大きさは、約１００μｍであるので、１００μｍの高さを胚情報テーブル４２０から得られた数と同数の焦点面で等分するように焦点面の間の距離が決定される。例えば、焦点面の数が２である場合、２つの焦点面の間の距離は３３μｍと決定される。
【０１７６】
［画像生成システムの動作］
次に、上述のように構成される画像生成システム４０の動作について説明する。
【０１７７】
画像生成システム４０の動作は、実施の形態１の図７と、ステップＳ１２００の焦点面を決定する動作を除いて実質的に同一であるので、ステップＳ１２００の詳細のみを説明し、他の動作については説明を省略する。
【０１７８】
図３０は、実施の形態３に係る焦点面決定部４１０の動作の一例を示すフローチャートである。
【０１７９】
まず、焦点面決定部４１０は、計時部４３０から培養時間を取得する（ステップＳ１２１０）。次いで、焦点面決定部４１０は、胚情報テーブル４２０を参照して、ステップＳ１２１０で取得した培養時間に対応する焦点面の数を取得する（ステップＳ１２２０）。焦点面決定部４１０は、ステップＳ１２２０で取得した焦点面の数に基づいて、各焦点面の中心の高さ（すなわち図８のように定義されたｘｙｚ空間におけるｚ座標値）を決定する（ステップＳ１２３０）。本実施の形態では、複数の焦点面の各々における合焦画像を生成する際には、ユーザのわかり易さを考慮して、すべての焦点面は平行に配置される。なお、複数の焦点面の角度、配置はこの限りではない。
【０１８０】
さらに、焦点面決定部４１０は、図示しない入力手段を介して入力された焦点面の傾きの情報、または予め定められた焦点面の傾きの情報に基づいて、焦点面のｘ軸に対する角度とｙ軸に対する角度とを決定する（ステップＳ１２４０）。ステップＳ１２３０で決定された焦点面の中心位置を回転中心として、ステップＳ１２４０で決定された角度で各焦点面を傾けて仮想的に配置することにより、焦点面を決定する（ステップＳ１２５０）。
【０１８１】
［効果］
以上のように、本実施の形態に係る画像生成システム４０によれば、対象物の状態に応じて焦点面の数を決定することができ、対象物の観察に適した合焦画像を生成することが可能となる。
【０１８２】
（実施の形態３の変形例）
実施の形態３の変形例では、まず、イメージセンサの受光面に平行な焦点面において合焦画像を生成し、生成された合焦画像における対象物（例えば細胞）の立体的配置に応じて、他の焦点面を自動的に決定する点が上記実施の形態３と異なる。以下に、実施の形態３の変形例について、実施の形態３と異なる点を中心に説明する。
【０１８３】
図３１は、実施の形態３の変形例に係る画像生成システム５０の機能的な構成を示すブロック図である。なお、図３１では、撮影装置１００Ａは、図２８と同じであるので、その記載を省略している。また、図３１において、図２８と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１８４】
画像生成装置５００Ｂは、焦点面決定部５１０と、胚情報テーブル４２０と、計時部４３０と、リフォーカス処理部５３０と、画像生成部５４０とを備える。焦点面決定部５１０は、水平面決定部５１１と、細胞位置判定部５１３と、位置傾き決定部５１４とを備える。
【０１８５】
水平面決定部５１１は、胚情報テーブル４２０を参照して、計時部４３０から取得した培養時間に対応する焦点面の数を決定する。水平面決定部５１１は、決定された焦点面の数を元に、焦点面の位置と傾きとを決定するために用いる、イメージセンサ１０２の受光面に平行な水平面の数と当該水平面のｚ軸上の位置とを決定する。
【０１８６】
細胞位置判定部５１３は、画像生成部５４０が生成した受光面に平行な水平面における合焦画像と、３次元モデルから生成される断面画像とを比較し、比較結果から３次元座標上での細胞の配置を判定する。
【０１８７】
ここで、細胞位置判定部５１３の詳細な構成について図３２を参照しながら説明する。
【０１８８】
図３２は、細胞位置判定部５１３の詳細な機能構成を示すブロック図である。細胞位置判定部５１３は、３Ｄモデルデータベース（ＤＢ）５２１と、回転処理部５２２と、２Ｄ化処理部５２３と、比較部５２４と、記憶部５２５とを備える。
【０１８９】
３Ｄモデルデータベース５２１は、対象物の状態（ここでは初期胚の各細胞期における３次元モデル）を保持している。初期胚の３次元モデルは、球状の胚膜中に、細胞期に対応する数の略球状の細胞が内包されている状態を示す。
【０１９０】
回転処理部５２２は、３Ｄモデルデータベース５２１に保持された３次元モデルを予め定められた角度で回転する。
【０１９１】
２Ｄ化処理部５２３は、回転処理部５２２が回転した３次元モデルを用いて、水平面決定部５１１で決定された水平面における断面画像を生成する。
【０１９２】
比較部５２４は、画像生成部５４０が生成した水平面における合焦画像と、２Ｄ化処理部５２３が３次元モデルから生成した断面画像とを比較する。この比較は、回転処理部５２２における回転角度を変えながら繰り返される。その結果、合焦画像と断面画像との差異を示す値が予め定められた閾値よりも小さくなる回転角度が求められる。
【０１９３】
記憶部５２５は、比較部５２４が比較した２つの画像の差異を示す値が閾値よりも小さくなる、回転処理部５２２での回転角度を記憶する。
【０１９４】
位置傾き決定部５１４は、細胞位置判定部５１３が判定した、３次元座標上での細胞の配置と、水平面決定部５１１が決定した焦点面の数とに基づいて、各焦点面の中心点のｚ軸上での位置と、各焦点面のｘ軸及びｙ軸に対する傾きの値を決定する。
【０１９５】
リフォーカス処理部５３０は、撮影部１００によって撮影された複数の画像より、水平面決定部５１１によって決定された平面または位置傾き決定部５１４によって決定された焦点面に対するリフォーカシング処理を行う。
【０１９６】
画像生成部５４０は、リフォーカス処理部５３０が生成した各画素の輝度値を用いて合焦画像を生成する。
【０１９７】
［画像生成システムの動作］
次に、上述のように構成される画像生成システム５０の動作について説明する。
【０１９８】
画像生成システム５０の動作は、実施の形態１の図７と、ステップＳ１２００を除いて実質的に同一であるので、ステップＳ１２００の詳細のみを説明し、他の動作については説明を省略する。
【０１９９】
図３３は、実施の形態３の変形例に係る焦点面決定部５１０の動作の一例を示すフローチャートである。
【０２００】
まず、焦点面決定部５１０の水平面決定部５１１は、計時部４３０から培養時間を取得する（ステップＳ１２１０）。次いで、水平面決定部５１１は、胚情報テーブル４２０を参照して、ステップＳ１２１０で取得した培養時間に対応する焦点面の数を取得する（ステップＳ１２２０）。水平面決定部５１１は、ステップＳ１２２０で取得した焦点面の数と同数の水平面の各々のｚ軸位置を決定する（ステップＳ１２３１）。本変形例では、３次元モデルから生成される複数の断面画像を、複数の水平面における合焦画像と比較することで、画像生成システム５０が出力する合焦画像のための焦点面の角度が決定される。図２９に示した胚情報テーブルでは、焦点面の数として、前核期胚及び２細胞期胚については、１が記録されている。そこで、ステップＳ１２３１では、胚情報テーブル４２０を参照して得られた焦点面の数と同数の水平面のｚ軸位置を決定する。
【０２０１】
なお、水平面の数は、焦点面の数と一致しなくてもよい。この場合、胚情報テーブル４２０には、焦点面の数に加えて、細胞の配置を判定するための水平面の数が記録されればよい。また、実施の形態２の変形例のように、パイロット画像を取得し、パイロット画像の状態に基づいて水平面の数を決定してもよい。
【０２０２】
水平面のｚ軸位置は、例えば、初期胚の大きさが直径約１００μｍであるので、１００μｍの高さが胚情報テーブル４２０から得られた数と同数の水平面で等分されるように決定される。胚は培養液中に沈んでおり、イメージセンサ１０２の受光面上に接触している。したがって、例えば水平面の数が２つである場合、２つの水平面のｚ軸位置は、３３μｍ及び６６μｍである。
【０２０３】
リフォーカス処理部５３０は、ステップＳ１２３１で決定されたｚ軸位置における水平面に対してリフォーカス処理を行う。画像生成部５４０は、リフォーカス処理部５３０が計算した各画素の輝度値を用いて合焦画像を生成する（ステップＳ１２３２）。
【０２０４】
細胞位置判定部５１３は、ステップＳ１２３２で生成された合焦画像を、初期胚の３次元モデルから生成された断面画像と比較することで、細胞の配置と初期胚の観察に適した細胞の配置（以下、基準位置という）からの初期胚の回転角度とを決定する（ステップＳ１２４１）。ステップＳ１２４１の詳細は後述する。
【０２０５】
位置傾き決定部５１４は、ステップＳ１２４１で決定された細胞の配置と回転角度とに基づいて、焦点面が基準位置での水平面に合致するよう、焦点面の角度を決定する（ステップＳ１２４２）。例えば、ステップＳ１２４１で判定された回転角度の逆向きの回転角度で、撮影時の座標での水平面を回転して得られる平面の角度を焦点面の角度として決定する。
【０２０６】
続いて、位置傾き決定部５１４は、ステップＳ１２２０で水平面決定部５１１が取得した数と同数の焦点面のｚ軸上の位置を決定する。ｚ軸位置は、例えば、対象物全体のｚ軸方向の大きさを等分するように決定される。
【０２０７】
位置傾き決定部５１４は、ステップＳ１２４２で決定された角度とｚ軸位置とを用いてすべての焦点面を決定する（ステップＳ１２５０）。
【０２０８】
本変形例では、すべての焦点面は、互いに平行であるものとして説明したが、異なる角度で配置されてもよい。例えば、複数の焦点面は、ある座標点を中心に点対称に配置されてもよい。イメージセンサ直上からの撮影結果から、イメージセンサの受光面上の胚の中心点を決定し、胚の直径が約１００μｍであるため、イメージセンサの受光面上の胚の中心点からｚ軸方向に５０μｍの高さの位置を回転中心として用いて焦点面が配置されてもよい。
【０２０９】
次に、図３３のステップＳ１２４１の詳細について、図３４を参照しながら説明する。図３４は、実施の形態３の変形例に係る焦点面決定部５１０による細胞配置の決定に関する処理を示すフローチャートである。
【０２１０】
細胞位置判定部５１３の回転処理部５２２は、水平面決定部５１１より初期胚の状態、水平面の数、水平面のｚ軸位置の情報を取得する（ステップＳ１２４１１）。回転処理部５２２は、３Ｄモデルデータベース５２１に保持されるモデルのうち、ステップＳ１２４１１で取得した胚の状態の情報に対応する３次元モデルのすべてに対して、比較処理を行ったか否かを判定する（ステップＳ１２４１２）。比較処理は、ステップＳ１２４１３からステップＳ１２４１８までの一連の処理を指す。
【０２１１】
ここで、胚の状態の情報に対応する３次元モデルのすべてに対して比較処理が行われた場合（ステップＳ１２４１２においてｙｅｓ）、ステップＳ１２４２に進む。一方、胚の状態の情報に対応する３次元モデルのいずれかに対してまだ比較処理が行われていない場合（ステップＳ１２４１２においてｎｏ）、ステップＳ１２４１３に進む。
【０２１２】
ステップＳ１２４１１で取得した胚の状態の情報に対応する３次元モデルのうちの１つが選択される（ステップＳ１２４１３）。ここで選択される３次元モデルは、まだ比較処理が行われていないものである。
【０２１３】
３次元モデルは、胚の状態ごとに、胚の中の細胞の配置を３次元で表現する。３次元モデルは、回転可能な状態で保持され、回転していない基準位置は、ｘｙ平面すなわち受光面に平行な平面における細胞の断面が細胞の観察に最も適した断面になるように、設定されている。図３５Ａ〜図３５Ｄは、４細胞期の胚の３次元モデルの一例を示す。図３５Ａ〜図３５Ｄの３次元モデルでは、ｚ軸方向における低い位置で２つの細胞（第１細胞３５０１及び第２細胞３５０２）が並び、高い位置で２つの細胞（第３細胞３５０３及び第４細胞３５０４）が並ぶ。第１細胞３５０１及び第２細胞３５０２の中心点をつなぐ直線と第３細胞３５０３及び第４細胞３５０４の中心点をつなぐ直線とは、ｘｙ平面上に写像した場合に直交する。３次元モデルを俯瞰すると図３５Ｄのようになる。
【０２１４】
図３６Ａ及び図３６Ｂは、図３５Ａの断面線XXVIIIおよび図３５Ｂの断面線XXIXにおける３次元モデルの断面図である。ｘｙ平面と平行な面上に並ぶ２つの細胞のペアがｚ軸方向に２層になっている。この例では、第１細胞３５０１及び第２細胞３５０２の中心点を通る直線と、第３細胞３５０３及び第４細胞３５０４の中心点を通る直線とは、ねじれの位置にある。図３５Ａ〜図３６Ｂは、基準位置における３次元モデルを示している。つまり、第１細胞３５０１及び第２細胞３５０２がｘｙ平面と平行な平面上に並び、第３細胞３５０３及び第４細胞３５０４がｘｙ平面と平行な平面上に並ぶ位置を基準位置としている。
【０２１５】
次に、回転処理部５２２は、予め定められた回転角度のすべてに対して、ステップＳ１２４１３で選択した３次元モデルの断面画像とステップＳ１２３２で生成された水平面における合焦画像とを比較したか否かを判定する（ステップＳ１２４１４）。ここで、回転角度のすべてに対して比較が行われた場合（ステップＳ１２４１４においてｙｅｓ）は、ステップＳ１２４１２へ戻る。一方、予め定められた回転角度のいずれかに対して比較が行われていない場合（ステップＳ１２４１４においてｎｏ）は、ステップＳ１２４１５に進む。
【０２１６】
回転処理部５２２は、予め定められた回転角度のうち、比較処理が行われていない回転角度で、ステップＳ１２４１３で選択した３次元モデルを回転する（ステップＳ１２４１５）。
【０２１７】
２Ｄ化処理部５２３は、ステップＳ１２４１５で回転された３次元モデルをステップＳ１２３１で決定された１つ以上の平面における断面画像を生成する（ステップＳ１２４１６）。図３７は、図３５Ｄに示した基準位置における３次元モデルを、ｘ軸に平行で胚の中心を通る軸を回転中心に回転させた結果を示す３次元モデルの斜視図である。図中に破線で示す平面において断面画像が生成される。図３８に示すように、断面画像では、左下の細胞の輪郭は明瞭であり、ｚ軸上で最も高い位置にある細胞は写らず、中間の２つの細胞の輪郭はボケている。２Ｄ化処理部５２３は、回転された３次元モデルに対して、指定された平面と被写界深度とに基づき、断面画像を生成する。ここで用いられる被写界深度は、画像生成システム５０の被写界深度と等しい。
【０２１８】
比較部５２４は、ステップＳ１２３２で生成された水平面における合焦画像とステップＳ１２４１６で生成された断面画像とを比較し、その差異を示す値が、記憶部５２５に記憶されている値より小さいか否かを判定する（ステップＳ１２４１７）。ここで、差異を示す値が記憶部５２５に記憶されている値以上である場合（ステップＳ１２４１７においてｎｏ）、ステップＳ１２４１４に戻る。一方、差異を示す値が記憶部５２５に記憶されている値未満である場合（ステップＳ１２４１７においてｙｅｓ）、ステップＳ１２４１８に進む。なお、記憶部５２５には、初期値として、例えば差異を示す値の上限値が予め記憶されている。
【０２１９】
記憶部５２５は、合焦画像と断面画像との差異を示す値と、ステップＳ１２４１５における３次元モデルの回転に用いた回転角度とを記憶する（ステップＳ１２４１８）。つまり、記憶部５２５に記憶されている値は、ステップＳ１２３２で生成された水平面における合焦画像とステップＳ１２４１６で生成された断面画像との差異を示す値に更新される。その後、ステップＳ１２４１４へ戻る。
【０２２０】
ステップＳ１２４１４からステップＳ１２４１８までの比較処理を繰り返すことで、ステップＳ１２３２で生成された合焦画像（すなわち撮影画像から生成された水平面における合焦画像）が、基準位置からどれだけ回転された３次元モデルの断面画像に近いかを求めることができる。
【０２２１】
［効果］
以上のように、本変形例に係る画像生成システム５０によれば、対象物である初期胚における細胞の配置に応じて、焦点面の位置及び角度を決定することができる。したがって、初期胚の観察に適した合焦画像を生成することができる。
【０２２２】
（実施の形態４）
実施の形態４における画像生成装置は、表示される合焦画像の焦点面をユーザに選ばせるためのガイドとなる合成画像を表示する。なお、実施の形態４における画像生成装置は、上記実施の形態１〜３およびそれらの変形例における画像生成装置１００Ｂ、２００Ｂ、３００Ｂ、４００Ｂおよび５００Ｂと同様にリフォーカス処理を行う。
【０２２３】
［画像生成システム］
図３９は、実施の形態４における画像生成システムの機能ブロック図である。
【０２２４】
実施の形態４における画像生成システムは、画像生成装置６００Ｂと、画像取得部７１０と、初期胚モデル７２０と、焦点面入力部７３０と、操作部７４０と、ディスプレイ７６０とを備える。
【０２２５】
画像取得部７１０は、実施の形態１〜３およびそれらの変形例における撮影装置および記憶部からなる。つまり、画像取得部７１０は、複数の照明器１０１が対象物を順番に照明するごとに行われるイメージセンサ１０２による撮影によって、対象物の複数の撮影画像を取得して記憶部に格納する。
【０２２６】
初期胚モデル７２０は、モデルデータを保持する記録媒体である。このモデルデータは、初期胚の胚膜と、その胚膜に内包される培養時間に応じた数の細胞とのそれぞれは球としてモデル化されることを示す。さらに、モデルデータは、胚膜の球は、細胞の球よりも大きく、その細胞の球を包含することを示し、さらに、胚膜の球の面と細胞の球の面とは交わらないことを示す。実施の形態４では、対象物は胚（具体的には初期胚）であり、初期胚モデル７２０によって、この胚が少なくとも１つの球としてモデル化される。
【０２２７】
なお、撮影の対象物は、例えばイメージセンサ１０２上に配置される複数の半透明の物質である。対象物の具体例は、脊椎動物の受精卵の初期胚、つまり球状の胚である。対象物内において、複数の物質は３次元的に重なって位置する場合がある。複数の物質の具体例は、球状の細胞である。以下、初期胚を用いて、実施の形態４を説明する。なお、撮影の対象物の形状は、球形状に限定されず、いかなる形状であってもよい。例えば、撮影の対象物の形状は、多面体であってもよい。複数の物質の形状は、球形状に限定されず、いかなる形状であってもよい。例えば、複数の物質の形状は、多面体であってもよい。撮影の対象物は、撮影されるときに、その内部の複数の物質も撮影されるように、例えば透明又は半透明に形成されることが望ましい。複数の物質は、照明器１０１の光が透過するように、例えば、透明又は半透明に形成されることが望ましいが、透明及び半透明以外の構成を有してもよい。また、対象物は、複数の物質を含んでいなくてもよく、１つの物質のみを含んでいてもよい。
【０２２８】
ディスプレイ７６０は、例えば液晶ディスプレイまたは有機ＥＬ（electroluminescence）ディスプレイなどからなり、合焦画像および上述のガイドとなる合成画像を表示する
。
【０２２９】
焦点面入力部７３０は、ユーザからのリフォーカス処理の要求、つまり、合焦画像の生成の要求を受け付ける。
【０２３０】
操作部７４０は、ユーザによるディスプレイ７６０の画面の操作を受け付ける。
【０２３１】
画像生成装置６００Ｂは、上述のように、リフォーカス処理を行って合焦画像を生成するとともに、表示される合焦画像の焦点面をユーザに選ばせるためのガイドとなる合成画像を生成してディスプレイ７６０に表示させる。
【０２３２】
［画像生成装置］
画像生成装置６００Ｂは、図３９に示すように、リフォーカス処理部６１０と、球画像生成部６２０と、合成画像生成部６３０とを備える。なお、この画像生成装置６００Ｂは、制御回路によって実現される。また、この画像生成装置６００Ｂは、複数の照明器１０１と、対象物が載置される表面を有するイメージセンサ１０２とを備えていてもよい。
【０２３３】
リフォーカス処理部６１０は、画像生成装置１００Ｂ、２００Ｂ、３００Ｂ、４００Ｂおよび５００Ｂのそれぞれと同様の機能を有し、リフォーカス処理を行って対象物の合成画像を生成する。つまり、リフォーカス処理部６１０は、複数の照明器１０１が対象物を順番に照明するごとに行われるイメージセンサ１０２による撮影によって得られた対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける対象物の合焦画像を生成する。
【０２３４】
対象物の複数の撮影画像は、画像取得部７１０によって取得されて記憶部に格納されている。
【０２３５】
予め定められた複数の焦点面のそれぞれは、例えば、イメージセンサ１０２の受光面に対して平行な面であって、その受光面に対して垂直な方向（つまり上述のｚ軸の方向）に沿って等間隔離れて配置されている面である。具体的には、複数の焦点面のそれぞれは、１μｍまたは２μｍの間隔だけ離れて配置されている。なお、これらの予め定められた複数の焦点面を、以下、初期焦点面ともいう。
【０２３６】
球画像生成部６２０は、リフォーカス処理部６１０によって生成された複数の合焦画像に映っている対象物の少なくとも１つの断面の輪郭を抽出する。次に、球画像生成部６２０は、抽出された少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成する。そして、球画像生成部６２０は、生成された少なくとも１つの円周のそれぞれを有する少なくとも１つの球の立体画像である球画像を生成する。ここで、球画像生成部６２０は、初期胚モデル７２０を参照することによって、その球画像を生成する。つまり、本実施の形態において、対象物は胚であり、上述の少なくとも１つの球は、胚の外形を表す外球と、その外球に内包され、それぞれ細胞の外形を表す少なくとも１つの内球とからなる。
【０２３７】
合成画像生成部６３０は、その少なくとも１つの球の断面が現れるように球画像を加工することによって合成画像を生成してディスプレイ７６０に表示させる。
【０２３８】
また、合成画像生成部６３０は、ユーザによる画面の操作が操作部７４０に受け付けられると、そのユーザによる操作に応じて、表示されている合成画像における断面の位置をディスプレイ７６０に変更させる。
【０２３９】
リフォーカス処理部６１０は、ユーザからの合焦画像の生成の要求が焦点面入力部７３０に受け付けられると、そのユーザからの要求に応じて対象物の合焦画像を生成する。つまり、リフォーカス処理部６１０は、ユーザからの要求に応じて、ディスプレイ７６０に表示されている断面に対応する焦点面における対象物の合焦画像を、複数の撮影画像を用いて生成してディスプレイ７６０に表示させる。なお、対象物の複数の撮影画像は、画像取得部７１０によって取得されて記憶部に格納されている。
【０２４０】
図４０は、合成画像生成部６３０によって表示される合成画像の一例を示す。
【０２４１】
球画像生成部６２０は、例えば、２つの小さい球Ａ２、Ａ３を含む球Ａ１を球画像Ａ０として生成する。なお、この球画像Ａ０は、内部が見えるように半透明に形成されている。例えば、球画像生成部６２０は、イメージセンサ１０２の受光面に平行な面をｘｙ平面とし、そのｘｙ平面に対して垂直な方向をｚ軸方向とする仮想空間上に上述の球画像Ａ０を生成する。
【０２４２】
合成画像生成部６３０は、平面Ｂ０が球画像Ａ０に交わるように球画像Ａ０を加工することによって合成画像Ｍを合成する。つまり、合成画像生成部６３０は、少なくとも１つの球の断面Ｂ１が現れるように球画像Ａ０を加工することによって合成画像Ｍを生成してディスプレイ７６０に表示させる。例えば、この加工に用いられる平面Ｂ０は、初期状態では、ｘｙ平面に平行であって、ｚ座標＝ｚ１の位置にある。これにより、合成画像Ｍでは、ｘｙ平面に平行であって、ｚ座標＝ｚ１の位置にある断面Ｂ１が現れる。また、イメージセンサ１０２の受光面がｚ座標＝０にある場合、ｚ１は例えば５０μｍである。
【０２４３】
また、合成画像生成部６３０は、表示されている断面Ｂ１（すなわち平面Ｂ０）の位置を変更するためのユーザによる操作が受け付けられると、その操作に応じて、断面Ｂ１の球画像Ａ０に対する相対的な位置を変更する。
【０２４４】
このように、実施の形態４では、対象物である胚は、球画像Ａ０にモデル化される。さらに、ユーザは、合成画像Ｍの断面Ｂ１の位置を変更することによって、胚の概略的な状態および断面を把握しながら、その胚における何れの断面でも容易に選択することができる。
【０２４５】
［球画像生成部］
図４１は、球画像生成部６２０の詳細な機能構成を示すブロック図である。
【０２４６】
球画像生成部６２０は、輪郭抽出部６２１と、同一性判定部６２２と、高さ決定部６２３と、形状決定部６２４と、立体画像生成部６２５とを備える。
【０２４７】
輪郭抽出部６２１は、複数の初期焦点面のそれぞれにおける合焦画像に映っている対象物の断面の輪郭を抽出する。具体的には、輪郭抽出部６２１は、閾値以上のコントラストを有するエッジにより構成された輪郭を抽出する。例えば、対象物が胚の場合には、その胚は、胚膜を有し、培養時間に応じた数の細胞をその胚膜に内包している。この胚膜および細胞はそれぞれ球に近い形状をしている。そこで、輪郭抽出部６２１は、それぞれの合焦画像から円に近い形状の輪郭を抽出する。なお、１つの合焦画像からは、その輪郭が１つ抽出される場合、複数の輪郭が抽出される場合、輪郭が抽出されない場合がある。例えば、輪郭抽出部６２１は、複数の初期焦点面における合焦画像から、Ｋａ（Ｋａは２以上の整数）個の輪郭を抽出する。
【０２４８】
輪郭抽出部６２１は、例えば、合焦画像からエッジ点の抽出を行い、抽出されたエッジ点に対してＨｏｕｇｈ変換を行う。なお、エッジ点は、画素と、その画素に隣接する画素との輝度差が大きい点である。Ｈｏｕｇｈ変換では、焦点面に対応する直交座標平面上のエッジ点（ｘ，ｙ）を通る円周を、中心座標（ｃｅｎｔｅｒＸ，ｃｅｎｔｅｒＹ）と半径ｒによる座標点（ｃｅｎｔｅｒＸ，ｃｅｎｔｅｒＹ，ｒ）であらわす。次に、形状決定部６２４は、エッジ点を通る円周の候補を求める。つまり、ｒ２＝（ｘ−ｃｅｎｔｅｒＸ）２＋（ｙ−ｃｅｎｔｅｒＹ）２の数式よって、ｃｅｎｔｅｒＸとｃｅｎｔｅｒＹ（中心位置）を定めると、半径ｒが決まる。したがって、形状決定部６２４は、直交座標平面上のエッジ点（ｘ，ｙ）を（ｃｅｎｔｅｒＸ，ｃｅｎｔｅｒＹ，ｒ）３次元空間の面に変換する。複数のエッジ点の直交座標平面上の位置が（ｘ１，ｙ１），・・・，（ｘｎ，ｙｎ）である場合、形状決定部６２４は、（ｃｅｎｔｅｒＸ，ｃｅｎｔｅｒＹ，ｒ）３次元空間においてｎ個の面を生成する。このｎ（ｎは２以上の整数）個の面が共有する点は、元の直交座標平面上の単一の円周上にある。そこで、形状決定部６２４は、（ｃｅｎｔｅｒＸ，ｃｅｎｔｅｒＹ，ｒ）３次元空間でｎ個の面が共有する点によって指定される元の直交座標平面上の円周を決定する。つまり、形状決定部６２４は、元の複数のエッジ点から、共有される頻度が多い点を採用することによって円周を決定する。
【０２４９】
同一性判定部６２２は、それらの抽出されたＫａ個の輪郭のそれぞれが、対象物に含まれる同一の構成要素に対応する輪郭であるか否かを判定する。そして、同一性判定部６２２は、そのＫａ個の輪郭の中から、同一の構成要素に対応するＫｂ（Ｋｂは２以上の整数）個の輪郭を選択する。対象物が複数の構成要素を含む場合には、同一性判定部６２２は、その複数の構成要素のそれぞれに対して、同一の構成要素に対応する複数の輪郭を選択する。対象物が胚である場合、構成要素は胚または細胞である。
【０２５０】
同一の構成要素に対応する輪郭であるか否かの判定は、輪郭（エッジ）の形状、サイズおよび位置に基づいて行われる。
【０２５１】
つまり、本実施の形態における輪郭抽出部６２１および同一性判定部６２２は、リフォーカス処理部６１０によって生成された複数の合焦画像のそれぞれに映っている対象物の断面の輪郭から、複数の合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭を抽出する。この複数の合焦画像のそれぞれにおいて同一の位置にあって同一のサイズおよび形状の複数の輪郭は、同一の構成要素に対応する複数の輪郭である。
【０２５２】
高さ決定部６２３は、同一の構成要素に対応するＫｂ個の輪郭のそれぞれを有する合焦画像の初期焦点面のｚ座標を特定する。そして、高さ決定部６２３は、そのｚ座標が特定されたＫｂ個の初期焦点面の中から、それらの初期焦点面のｚ座標の中心にある初期焦点面を見つけ出す。高さ決定部６２３は、その見つけ出した初期焦点面のｚ座標を、上述の同一の構成要素の中心の高さとして決定する。対象物が複数の構成要素を含む場合には、高さ決定部６２３は、その複数の構成要素のそれぞれに対して、その構成要素の中心の高さを決定する。具体的には、胚膜の中心の高さ、または細胞の中心の高さが決定される。
【０２５３】
形状決定部６２４は、初期胚モデル７２０を用いて、対象物の構成要素の形状を決定する。具体的には、初期胚モデル７２０におけるモデルデータは、上述のように、胚膜および細胞は球としてモデル化されることなどを示す。したがって、形状決定部６２４は、対象物の構成要素を球にモデル化する。つまり、形状決定部６２４は、高さ決定部６２３によって決定された構成要素の中心の高さを、球の中心のｚ座標に設定する。さらに、形状決定部６２４は、その決定された高さにあるその構成要素の輪郭に沿った形状の円周の半径を、球の半径に設定する。さらに、形状決定部６２４は、その円周の初期焦点面における中心位置を、球の中心のｘ座標およびｙ座標に設定する。これにより、対象物の構成要素に対して、球の中心座標（ｘ座標、ｙ座標およびｚ座標）と半径とが設定される。対象物が複数の構成要素を含む場合には、形状決定部６２４は、その複数の構成要素のそれぞれに対して、球の中心座標と半径とを設定する。
【０２５４】
言い換えれば、形状決定部６２４は、同一性判定部６２２によって選択された複数の輪郭のうちの最大のエッジ強度を有する輪郭に基づいて円周を生成する。エッジ強度は例えばシャープネスとして比較する。シャープネスは、例えば、画像をフーリエ変換によって周波数に変換し、含まれる周波数成分で表す。高い周波数成分が大きいほどシャープネスが高い。あらかじめ定められた周波数以上の周波数成分が最も大きいものを最大のエッジ強度を有する輪郭とする。
【０２５５】
同一性判定部６２２によって選択された複数の輪郭は、輪郭抽出部６２１および同一性判定部６２２によって抽出された、同一の構成要素に対応する複数の輪郭である。つまり、上述の高さ決定部６２３は、最大のエッジ強度を有する輪郭が映し出されている合焦画像の初期焦点面のｚ座標を、同一の構成要素の中心の高さとして決定している。
【０２５６】
また、形状決定部６２４は、その最大のエッジ強度を有する輪郭に内接または外接する円周を生成する。
【０２５７】
立体画像生成部６２５は、形状決定部６２４によって対象物の構成に対して設定された中心座標と半径に応じた球の立体画像である球画像を生成する。対象物が複数の構成要素を含む場合には、立体画像生成部６２５は、その複数の構成要素のそれぞれに対応する球を有する立体画像を球画像として生成する。そして、立体画像生成部６２５は、その球画像を合成画像生成部６３０に出力する。
【０２５８】
つまり、本実施の形態における形状決定部６２４および立体画像生成部６２５は、生成された円周と同一の中心および半径を有する球の立体画像を含む球画像を生成する。このとき、立体画像生成部６２５は、複数の円周が選択または抽出されている場合、球面が互いに交わらない複数の球の立体画像を、上述の球画像として生成する。
【０２５９】
なお、同一の構成要素に対して、それぞれ最大のエッジ強度が映し出された複数の合焦画像が存在する場合がある。このような場合には、形状決定部６２４によって複数の円周が生成される。このとき、立体画像生成部６２５は、それらの複数の円周に基づいて球の立体画像を生成してもよい。つまり、立体画像生成部６２５は、それぞれ最大のエッジ強度が映し出された複数の合焦画像のそれぞれの初期焦点面のｚ座標を特定する。そして、立体画像生成部６２５は、それらのｚ座標の中心を球の中心として決定する。さらに、立体画像生成部６２５は、その球の中心から、複数の円周のうちの何れか一方までの距離を、球の半径として決定する。あるいは、立体画像生成部６２５は、複数の円周のうちの何れか一方の半径を、球の半径として決定する。これにより、球の中心および半径が決定されるため、立体画像生成部６２５は、その決定された中心および半径を有する球の立体画像を生成する。
【０２６０】
図４２は、球画像生成部６２０の具体的な処理の一例を示す。
【０２６１】
例えば、対象物は直径約１００μｍの胚であって、胚は、胚膜と、胚膜に内包される２つの細胞（第１細胞と第２細胞）とをそれぞれ構成要素として有する。
【０２６２】
また、複数の初期焦点面のそれぞれは、イメージセンサ１０２の受光面からｚ軸の方向に沿って２μｍごと離れて配置されている。つまり、ｚ軸の方向は、イメージセンサ１０２の受光面からの高さ方向であるため、例えば５５個の初期焦点面のそれぞれが、高さ２μｍ、４μｍ、６μｍ、・・・、１０８μｍ、１１０μｍの位置ある。
【０２６３】
リフォーカス処理部６１０は、５５個の初期焦点面のそれぞれに対して合成画像を生成する。これらの初期焦点面に生成される合焦画像は、例えば２６０ピクセル×２６０ピクセルからなる画像である。
【０２６４】
輪郭抽出部６２１は、５５個の初期焦点面のそれぞれの合焦画像から、閾値以上のコントラストを有するエッジにより構成された輪郭を抽出する。例えば、輪郭抽出部６２１は、合焦画像Ｐ２、Ｐ３、Ｐ４、Ｐ５、およびＰ６から、輪郭Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、およびＰ６１を抽出する。合焦画像に含まれる輪郭と判断された画素の輝度値平均をａ、合焦画像に含まれる輪郭と判断された画素に隣接する画素の輝度平均をｂとした場合、（合焦画像の輪郭コントラスト）＝｜ａ−ｂ｜としてもよい。
【０２６５】
ここで、同一性判定部６２２は、抽出された輪郭Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、およびＰ６１のそれぞれが、胚に含まれる同一の構成要素に対応する輪郭であるか否かを判定する。輪郭Ｐ２１、Ｐ３１およびＰ４１のそれぞれのエッジの形状、サイズおよび位置は類似し、他の輪郭Ｐ５１およびＰ６１とは異なる。エッジの形状およびサイズの類似は輪郭Ｐ２１，Ｐ３１，Ｐ４１，Ｐ５１，Ｐ６１の半径を比較することで可能である。例えば、半径の平均と標準偏差をもとめ、半径の値が平均に対して標準偏差の値以上に大きいあるいは小さいものは同一の構成要素に対応する輪郭ではないと判断する。輪郭が円ではない場合、例えば、輪郭Ｐ２１，Ｐ３１，Ｐ４１，Ｐ５１，Ｐ６１の重心を揃え、２つの輪郭の差を求め、輪郭の差によって分類するとしてもよい。輪郭の差は例えば輪郭Ｐ２１とＰ３１の差を求める場合には、Ｐ２１上の点から最も近いＰ３１上の点までの距離を求める。あらかじめ定められた数のＰ２１上の点について最も近いＰ３１のてんまでの距離を求め、合計する。同様に他の２つの輪郭の間でも輪郭の差を求め、輪郭の差によってクラスタリングする。あるいは、重心から放射状に直線を引いた際に、Ｐ２１との交点とＰ３１との交点の距離をもとめ、その距離の分散が大きい場合に形状が異なると判断し、分散が小さい場合に計上が類似していると判断する。輪郭の位置については、例えば、輪郭Ｐ２１，Ｐ３１，Ｐ４１，Ｐ５１，Ｐ６１の中心位置あるいは重心位置を比較することで判断する。例えば、中心同士の距離の平均と標準偏差を求め、他の中心との距離が、求めた中心間距離の平均に標準偏差を加えた値以上に大きい場合に、輪郭の位置が異なると判断する。したがって、同一性判定部６２２は、輪郭Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、およびＰ６１の中から、第１細胞に対応する３個の輪郭Ｐ２１、Ｐ３１およびＰ４１を選択する。
【０２６６】
次に、高さ決定部６２３は、第１細胞に対応する３個の輪郭Ｐ２１、Ｐ３１およびＰ４１のそれぞれを有する合焦画像Ｐ２、Ｐ３およびＰ４の初期焦点面のｚ座標、つまり高さ７２μｍ、７０μｍ、６８μｍを特定する。そして、高さ決定部６２３は、高さが特定された３つの初期焦点面の中から、中心の高さにある初期焦点面を見つけ出す。つまり、高さ決定部６２３は、高さ７０μｍの初期焦点面を見つけ出す。高さ決定部６２３は、その見つけ出した初期焦点面の高さ７０μｍを、第１細胞の中心の高さとして決定する。
【０２６７】
また、同一性判定部６２２は、輪郭抽出部６２１によって高さ５０μｍの前後にある初期焦点面の合成画像からも輪郭が抽出されている場合には、上述と同様に、それらの輪郭と輪郭Ｐ５１とを、胚膜に対応する複数の輪郭として選択する。高さ決定部６２３は、それらの複数の輪郭のそれぞれを有する合焦画像の初期焦点面の高さを特定する。そして、高さ決定部６２３は、高さが特定された複数の初期焦点面の中から、中心の高さにある初期焦点面を見つけ出す。例えば、高さ決定部６２３は、高さ５０μｍの初期焦点面を見つけ出す。高さ決定部６２３は、その見つけ出した初期焦点面の高さ５０μｍを、胚膜の中心の高さとして決定する。
【０２６８】
同様に、同一性判定部６２２は、輪郭抽出部６２１によって高さ２０μｍの前後にある初期焦点面の合成画像からも輪郭が抽出されている場合には、上述と同様に、それらの輪郭と輪郭Ｐ６１とを、第２細胞に対応する複数の輪郭として選択する。高さ決定部６２３は、それらの複数の輪郭のそれぞれを有する合焦画像の初期焦点面の高さを特定する。そして、高さ決定部６２３は、高さが特定された複数の初期焦点面の中から、中心の高さにある初期焦点面を見つけ出す。例えば、高さ決定部６２３は、高さ２０μｍの初期焦点面を見つけ出す。高さ決定部６２３は、その見つけ出した初期焦点面の高さ２０μｍを、第１細胞の中心の高さとして決定する。
【０２６９】
形状決定部６２４は、胚の各構成要素を球にモデル化する。つまり、形状決定部６２４は、高さ決定部６２３によって決定された第１細胞の中心の高さ（７０μｍ）を、球の中心のｚ座標に設定する。さらに、形状決定部６２４は、その決定された第１細胞の中心の高さ（７０μｍ）にある初期焦点面に対して生成された合焦画像Ｐ３に含まれる第１細胞の輪郭Ｐ３１に沿った形状の円周の半径を、球の半径に設定する。さらに、形状決定部６２４は、その円周の初期焦点面における中心位置を、球の中心のｘ座標およびｙ座標に設定する。これにより、胚の第１細胞に対して、球の中心座標（ｘ座標、ｙ座標およびｚ座標＝７０μｍ）と半径とが設定される。同様に、形状決定部６２４は、胚膜および第２細胞に対しても、球の中心座標と半径とを設定する。
【０２７０】
その結果、立体画像生成部６２５は、図４０に示すように、胚膜、第１細胞および第２細胞のそれぞれに対して上述のように設定された中心座標と半径とを有する３つの球Ａ１〜Ａ３を含む立体画像である球画像Ａ０を生成する。また、合成画像生成部６３０は、立体画像生成部６２５によって生成された球画像Ａ０と平面Ｂ０とを合成することによって、断面Ｂ１が現れた球画像Ａ０を合成画像Ｍとして生成する。
【０２７１】
図４３は、ディスプレイ７６０に表示される画面の一例を示す。
【０２７２】
図４０に示す例では、合成画像生成部６３０は、球画像Ａ０の全体と断面Ｂ１とを示す合成画像Ｍを生成した。しかし、合成画像生成部６３０は、断面Ｂ１をより見え易くするために、図４３に示すように、球画像Ａ０のうちの断面Ｂ１によって分離される２つの部分のうちの一方のみと、断面Ｂ１とを示す合成画像を生成してもよい。例えば、断面Ｂ１には、上述の第１細胞がモデル化された球Ａ３（図４０参照）の輪郭Ｂ２が現れている。
【０２７３】
合成画像生成部６３０は、上述のような合成画像をディスプレイ７６０に表示させる。このとき、合成画像生成部６３０は、中心軸Ｃを表示してもよい。中心軸Ｃは、断面Ｂ１に垂直であって、その断面Ｂ１の中心を通る線分である。
【０２７４】
また、合成画像生成部６３０は、軸調整枠Ｄ１と、断面調整枠Ｄ２と、リフォーカスボタンＤ３とを表示する。
【０２７５】
例えば、操作部７４０は、ユーザによる操作によって軸調整枠Ｄ１に入力されるｘ座標、ｙ座標およびｚ座標を受け付ける。合成画像生成部６３０は、受け付けられたそれらの座標に応じたベクトルの向きに沿うように中心軸Ｃの向きを変える。これにより、図４３の（ａ）および（ｂ）に示すように、ディスプレイ７６０において表示される球画像Ａ０を含む合成画像の全体の向きが変更される。または、合成画像生成部６３０は、断面Ｂ１の向きだけを変えてもよい。つまり、合成画像生成部６３０は、中心軸Ｃの向きを、球画像Ａ０の中心軸の向きとして変更することなく、断面Ｂ１の法線の向きとして変更する。これにより、ディスプレイ７６０に表示されている球画像Ａ０の向きを変えることなく断面Ｂ１の向きだけが変更される。
【０２７６】
また、操作部７４０は、ユーザによる操作によって、断面調整枠Ｄ２に入力されるｘ座標、ｙ座標およびｚ座標を受け付ける。合成画像生成部６３０は、受け付けられたそれらの座標によって示される位置に、断面Ｂ１の中心Ｂｃを移動させる。ここで、断面調整枠Ｄ２には、中心軸Ｃ上の位置を示すｘ座標、ｙ座標およびｚ座標のみが入力される。したがって、図４３の（ｂ）および（ｃ）に示すように、合成画像生成部６３０は、断面調整枠Ｄ２への入力に応じて、ディスプレイ７６０に表示されている球画像Ａ０における断面Ｂ１の位置を中心軸Ｃに沿って移動させる。
【０２７７】
また、焦点面入力部７３０は、ユーザによるリフォーカスボタンＤ３の選択操作によって、リフォーカス処理の要求を受け付ける。リフォーカス処理部６１０は、そのユーザからの要求に応じて、ディスプレイ７６０に表示されている断面Ｂ１に対応する焦点面における対象物の合焦画像を、複数の撮影画像を用いて生成してディスプレイ７６０に表示させる。なお、複数の撮影画像は、画像取得部７１０によって取得された撮影画像である。
【０２７８】
［画像生成装置の動作］
図４４は、実施の形態４に係る画像生成装置６００Ｂの動作の一例を示すフローチャートである。
【０２７９】
（ステップＳ１００）
まず、リフォーカス処理部６１０は、画像取得部７１０によって取得された対象物の複数の撮影画像を用いて、複数の初期焦点面のそれぞれにおける対象物の合焦画像を生成する。
【０２８０】
（ステップＳ１１０）
次に、球画像生成部６２０は、生成された複数の合焦画像に映っている対象物の断面の輪郭を抽出して、抽出された輪郭に沿った形状の円周をそれぞれ有する少なくとも１つの球の立体画像である球画像を生成する。
【０２８１】
（ステップＳ１２０）
次に、合成画像生成部６３０は、その少なくとも１つの球の断面が現れるように球画像を加工することによって合成画像を生成してディスプレイ７６０に表示させる。
【０２８２】
（ステップＳ１３０）
次に、リフォーカス処理部６１０は、合焦画像の要求、つまりリフォーカス処理の要求が焦点面入力部７３０に受け付けられたか否かを判定する。
【０２８３】
（ステップＳ１４０）
リフォーカス処理部６１０は、ステップＳ１３０において、その要求が受け付けられたと判定すると（ステップＳ１３０のＹｅｓ）、合焦画像を生成する。つまり、リフォーカス処理部６１０は、ユーザからの要求に応じて、ディスプレイ７６０に表示されている断面に対応する焦点面における対象物の合焦画像を、複数の撮影画像を用いて生成する。なお、複数の撮影画像は、画像取得部７１０によって取得された、対象物の複数の撮影画像である。
【０２８４】
（ステップＳ１５０）
リフォーカス処理部６１０は、その生成された合焦画像をディスプレイ７６０に表示させる。
【０２８５】
（ステップＳ１６０）
ステップＳ１３０において、合焦画像の要求が受け付けられていないとリフォーカス処理部６１０によって判定されると（ステップＳ１３０のＮｏ）、合成画像生成部６３０は、ユーザによる画面の操作が操作部７４０に受け付けられたか否かを判定する。ここで、画面の操作が受け付けられていないと合成画像生成部６３０によって判定されると（ステップＳ１６０のＮｏ）、画像生成装置６００Ｂは処理を終了する。
【０２８６】
（ステップＳ１７０）
一方、合成画像生成部６３０は、画面の操作が受け付けられたと判定すると（ステップＳ１６０のＹｅｓ）、表示されている合成画像をその操作にしたがって変更する。つまり、合成画像生成部６３０は、ユーザによる操作に応じて、表示されている合成画像における断面の位置を変更する。そして、画像生成装置６００Ｂは、ステップＳ１３０からの処理を繰り返し実行する。
【０２８７】
図４５は、図４４のステップＳ１１０における球画像の生成の詳細な処理を示すフローチャートである。
【０２８８】
（ステップＳ１１１）
まず、球画像生成部６２０の輪郭抽出部６２１は、複数の初期焦点面のそれぞれにおける合焦画像に映っている対象物の断面の輪郭を抽出する。
【０２８９】
（ステップＳ１１２）
同一性判定部６２２は、対象物に含まれる少なくとも１つの構成要素のそれぞれについて、同一の構成要素に対応する複数の輪郭を、ステップＳ１１１で抽出された複数の輪郭の中から選択する。
【０２９０】
（ステップＳ１１３）
高さ決定部６２３は、対象物に含まれる少なくとも１つの構成要素のそれぞれについて、同一の構成要素に対応する複数の輪郭の高さ（ｚ座標）を特定する。そして、高さ決定部６２３は、特定された複数の輪郭の高さの中心を、構成要素の中心の高さとして決定する。
【０２９１】
（ステップＳ１１４）
形状決定部６２４は、対象物に含まれる少なくとも１つの構成要素のそれぞれについて、構成要素を球にモデル化する。つまり、形状決定部６２４は、初期胚モデル７２０と、構成要素の中心の高さと、その高さの合焦画像から抽出された輪郭とを用いて、構成要素を球にモデル化する。
【０２９２】
（ステップＳ１１５）
立体画像生成部６２５は、対象物に含まれる少なくとも１つの構成要素のそれぞれのモデル化によって得られる少なくとも１つの球からなる立体画像である球画像を生成する。
【０２９３】
［実施の形態４のまとめ］
上記実施の形態４における画像生成装置６００Ｂは、複数の照明器１０１と、制御回路とによって実現される。
【０２９４】
図４６Ａは、実施の形態４における画像生成装置６００Ｂのハードウェア構成の一例を示す図である。
【０２９５】
実施の形態４における画像生成装置６００Ｂは、複数の照明器１０１と、対象物が載置される表面を有するイメージセンサ１０２と、複数の照明器１０１とイメージセンサ１０２との間に位置する仮想的な焦点面における対象物の合焦画像を生成する制御回路６０とを備える。そして、その制御回路６０は、上述のリフォーカス処理部６１０と、球画像生成部６２０と、合成画像生成部６３０とのそれぞれの機能を実現する。なお、この制御回路６０は、非一時的な記録媒体に記録されたプログラムまたは命令を実行することによって、それらの機能を実現してもよい。
【０２９６】
すなわち、制御回路６０は、複数の照明器１０１が対象物を順番に照明するごとに行われるイメージセンサ１０２による撮影によって得られた対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける対象物の合焦画像を生成する。次に、制御回路６０は、生成された複数の合焦画像に映っている対象物の少なくとも１つの断面の輪郭を抽出する。次に、制御回路６０は、その少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成し、生成された少なくとも１つの円周のそれぞれを有する少なくとも１つの球の立体画像である球画像Ａ０を生成する。そして、制御回路６０は、その少なくとも１つの球の断面Ｂ１が現れるように球画像Ａ０を加工することによって合成画像Ｍを生成してディスプレイ７６０に表示させる。
【０２９７】
図４６Ｂは、画像生成装置６００Ｂに備えられている制御回路６０の動作の一例を示すフローチャートである。
【０２９８】
（ステップＳ６１）
まず、制御回路６０は、複数の照明器１０１が対象物を順番に照明するごとに行われるイメージセンサ１０２による撮影によって得られた対象物の複数の撮影画像を用いて、予め定められた複数の焦点面のそれぞれにおける対象物の合焦画像を生成する。
【０２９９】
（ステップＳ６２）
次に、制御回路６０は、生成された複数の合焦画像に映っている対象物の少なくとも１つの断面の輪郭を抽出する。
【０３００】
（ステップＳ６３）
次に、制御回路６０は、その少なくとも１つの断面の輪郭に基づいて、少なくとも１つの円周を生成する。
【０３０１】
（ステップＳ６４）
次に、制御回路６０は、生成された少なくとも１つの円周のそれぞれを有する少なくとも１つの球の立体画像である球画像Ａ０を生成する。
【０３０２】
（ステップＳ６５）
そして、制御回路６０は、その少なくとも１つの球の断面Ｂ１が現れるように球画像Ａ０を加工することによって合成画像Ｍを生成してディスプレイ７６０に表示させる。
【０３０３】
これにより、対象物は球画像Ａ０にモデル化されて、例えば球画像Ａ０とその断面Ｂ１とを含む合成画像Ｍがディスプレイ７６０に表示される。その結果、ユーザは、その合成画像Ｍを見ることによって、対象物の構成を容易に把握することができる。
【０３０４】
また、制御回路６０は、ユーザによる操作に応じて、表示されている合成画像Ｍにおける断面Ｂ１の位置を変更してもよい。この場合、制御回路６０は、ユーザからの要求に応じて、ディスプレイ７６０に表示されている断面Ｂ１に対応する焦点面における対象物の合焦画像を、複数の撮影画像を用いて生成してディスプレイ７６０に表示させる。
【０３０５】
これにより、ユーザは、その合成画像Ｍの断面Ｂ１を所望の位置に変更することができ、その位置における合焦画像を表示させることができる。例えば、ユーザは、胚の内部の構成を確認しながら、見たい細胞の断面の位置を決定することができる。また、内部構成を確認するため、断面の位置の選択を効率よく行うことができる。したがって、対象物におけるユーザが所望する断面での合焦画像を容易に表示することができる。
【０３０６】
なお、このような画像生成装置６００Ｂを備えた画像生成システムは、ユーザによる入力によって細胞数を受け付ける細胞数入力部を備えていてもよい。この場合、球画像生成部６２０は、その細胞数入力部に受け付けられた細胞数に基づいて球画像Ａ０を生成する。具体的には、球画像生成部６２０は、複数の初期焦点面における合成画像から抽出された輪郭に基づいて、ｎ個の球の中心座標と半径とを設定する。しかし、細胞数入力部に受け付けられた細胞数がｍ（ｍ＜ｎ）個である場合、球画像生成部６２０は、ｎ個の球のうちの（ｎ−ｍ）個の球をノイズとして扱う。このノイズとして扱われる（ｎ−ｍ）個の球は、例えば、ｎ個の球のうちの残りのｍ個の球よりも小さい球である。その結果、球画像生成部６２０は、ｍ個の球からなる球画像を生成する。これにより、ノイズを排除した球画像を生成することができ、対象物のモデル化を適切に行うことができる。なお、細胞数入力部は、細胞数を受け付けることなく、培養時間を受け付けてもよい。この場合には、細胞数入力部は、実施の形態３の胚情報テーブル４２０を参照することによって、受け付けられた培養時間から細胞数を特定する。
【０３０７】
また、実施の形態４における形状決定部６２４は、構成要素の輪郭に沿った形状の円周の半径を、球の半径に設定するが、その円周は、輪郭に内接する円周でもよく、輪郭に外接する円周でもよい。
【０３０８】
また、実施の形態４における画像生成装置６００Ｂは、図４４に示すステップＳ１３０、Ｓ１６０およびＳ１７０の処理を行うが、これらの処理を行わなくてもよい。この場合には、画像生成装置６００Ｂは、予め定められた位置の断面が現れた合成画像をディスプレイ７６０に表示させる。つまり、ユーザが所望する断面の位置が固定されている場合には、画像生成装置６００Ｂは、ユーザによる画面操作を受け付けることなく、その固定されている位置の断面が現れた合成画像を表示する。そして、画像生成装置６００Ｂは、その断面に対応する焦点面における合焦画像を生成して表示する。
【０３０９】
（他の実施の形態）
以上、１つ又は複数の態様に係る画像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。
【０３１０】
なお、上記実施の形態３およびその変形例では、計時部４３０は、培養開始からの経過時間を培養時間として計測していたが、受精後の経過時間を計測してもよい。この場合、胚情報テーブルは、培養時間ではなく、受精からの経過時間の情報を持てばよい。
【産業上の利用可能性】
【０３１１】
本開示は、培養中の細胞あるいは胚等の細胞塊の画像を生成する装置に広く利用可能であり、インキュベータ内で対象物を撮像する際に有用である。
【符号の説明】
【０３１２】
１０、２０、３０、４０、５０  画像生成システム
１００Ａ、２００Ａ  撮影装置
１００Ｂ、２００Ｂ、３００Ｂ、４００Ｂ、５００Ｂ  画像生成装置
１０１  複数の照明器
１０１ａ、１０１ｂ  照明器
１０１Ａ  ＬＥＤ光源
１０１Ｂ  遮光板
１０１Ｃ  ピンホール
１０１Ｄ  コリメートレンズ
１０１Ｅ  光源
１０１Ｆ  半球
１０１Ｇ  擬似点光源
１０１Ｈ  平面
１０１Ｊ  合焦点
１０２  イメージセンサ
１０３、２０３  撮影制御部
１１０、２１０、４１０、５１０  焦点面決定部
１１１  第１記録部
１１２  入力部
１２０、３２０、５２５  記憶部
１２１  第２記録部
１３０、２３０、５３０  リフォーカス処理部
１４０、５４０  画像生成部
１５０  表示部
２１１、３１１  照明範囲決定部
２１２、３１２  対象領域決定部
２１３、３１３  処理範囲切り出し部
４２０  胚情報テーブル
４３０  計時部
５１１  水平面決定部
５１３  細胞位置判定部
５１４  位置傾き決定部
５２１  ３Ｄモデルデータベース
５２２  回転処理部
５２３  ２Ｄ化処理部
５２４  比較部
６００Ｂ    画像生成装置
６１０    リフォーカス処理部
６２０    球画像生成部
６２１    輪郭抽出部
６２２    同一性判定部
６２３    高さ決定部
６２４    形状決定部
６２５    立体画像生成部
６３０    合成画像生成部
７１０    画像取得部
７２０    初期胚モデル
７３０    焦点面入力部
７４０    操作部
７６０    ディスプレイ
１０００  対象物
１１００  焦点面
１１０２ａ、１１０２ｂ、１１０２ｃ、１１０２ｄ、１１０２ｅ、１３０２ａ、１３０２ｂ、１３０２ｃ、１３０２ｄ、１３０２ｅ  点
１１０３ａ、１１０３ｂ  交点
１３０３ａ  交点
３５０１、３５０２、３５０３、３５０４  細胞
【図１】
2018078880.tif 000007
【図２】
2018078880.tif 000008
【図３】
2018078880.tif 000009
【図４】
2018078880.tif 000010
【図５】
2018078880.tif 000011
【図６】
2018078880.tif 000012
【図７】
2018078880.tif 000013
【図８】
2018078880.tif 000014
【図９】
2018078880.tif 000015
【図１０】
2018078880.tif 000016
【図１１】
2018078880.tif 000017
【図１２】
2018078880.tif 000018
【図１３】
2018078880.tif 000019
【図１４】
2018078880.tif 000020
【図１５】
2018078880.tif 000021
【図１６】
2018078880.tif 000022
【図１７】
2018078880.tif 000023
【図１８】
2018078880.tif 000024
【図１９】
2018078880.tif 000025
【図２０】
2018078880.tif 000026
【図２１】
2018078880.tif 000027
【図２２】
2018078880.tif 000028
【図２３】
2018078880.tif 000029
【図２４】
2018078880.tif 000030
【図２５】
2018078880.tif 000031
【図２６】
2018078880.tif 000032
【図２７】
2018078880.tif 000033
【図２８】
2018078880.tif 000034
【図２９】
2018078880.tif 000035
【図３０】
2018078880.tif 000036
【図３１】
2018078880.tif 000037
【図３２】
2018078880.tif 000038
【図３３】
2018078880.tif 000039
【図３４】
2018078880.tif 000040
【図３５Ａ】
2018078880.tif 000041
【図３５Ｂ】
2018078880.tif 000042
【図３５Ｃ】
2018078880.tif 000043
【図３５Ｄ】
2018078880.tif 000044
【図３６Ａ】
2018078880.tif 000045
【図３６Ｂ】
2018078880.tif 000046
【図３７】
2018078880.tif 000047
【図３８】
2018078880.tif 000048
【図３９】
2018078880.tif 000049
【図４０】
2018078880.tif 000050
【図４１】
2018078880.tif 000051
【図４２】
2018078880.tif 000052
【図４３】
2018078880.tif 000053
【図４４】
2018078880.tif 000054
【図４５】
2018078880.tif 000055
【図４６Ａ】
2018078880.tif 000056
【図４６Ｂ】
2018078880.tif 000057