(57)【要約】【課題】大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することが可能な画像生成装置を提供する。【解決手段】画像生成装置１０は、第１の光源１４１Ａおよび第２の光源１４１Ｂと、イメージセンサ１５０と、マスク１４２と、処理回路３００とを備え、イメージセンサ１５０は、第１の光源１４１Ａが照明されたときに第１の画像を取得し、第２の光源１４１Ｂが照明されたときに第２の画像を取得し、処理回路３００は、複数の焦点を有する焦点面の情報を取得し、焦点に対応する第１の画像における第１の画素領域が、明画素又は暗画素であるかを特定し、かつ、焦点に対応する第２の画像における第２の画素領域が、明画素又は暗画素であるかを特定し、第１の画像及び第２の画像における暗画素に対応する画素値を用いて、焦点面における物質の断面を示す第３の画像を生成する。【選択図】図１
2018120363.tif 000002
【特許請求の範囲】
【請求項１】
透光性を有する物質の画像を生成する画像生成装置であって、
第１の光源と、
前記第１の光源と所定の距離離れて位置する第２の光源と、
前記物質が配置されるイメージセンサと、
前記第１の光源及び前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクと、
処理回路とを備え、
前記イメージセンサは、
前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、
前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、
前記第１の画像は、複数の第１の画素領域を有し、
前記第２の画像は、複数の第２の画素領域を有し、
前記処理回路は、
（ａ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、
（ｂ）前記複数の焦点毎に、
前記焦点に対応する前記第１の画像における第１の画素領域が、明画素又は前記明画素よりも低い輝度値を有する暗画素であるかを特定し、かつ、前記焦点に対応する前記第２の画像における第２の画素領域が、前記明画素又は前記暗画素であるかを特定し、
（ｃ）前記第１の画像及び前記第２の画像における前記暗画素に対応する画素値を用いて、前記焦点面における前記物質の断面を第１の態様で示す第３の画像を生成する、
画像生成装置。
【請求項２】
前記（ｃ）では、さらに、
前記第１の画像及び前記第２の画像における前記明画素に対応する画素値を用いて、第４の画像を生成し、
前記処理回路は、さらに、
（ｄ）前記第３の画像と前記第４の画像とを用いて、前記焦点面における前記物質の断面を、前記第１の態様とは異なる第２の態様で示す第５の画像を生成する、
請求項１に記載の画像生成装置。
【請求項３】
前記（ｂ）では、
画素領域の位置ごとに、当該位置にある画素領域が、前記明画素であるか、前記暗画素であるかを示すマップを参照することによって、前記焦点に対応する前記第１の画素領域及び前記第２の画素領域のそれぞれが前記明画素又は前記暗画素であるかを特定する、
請求項１または２に記載の画像生成装置。
【請求項４】
前記明画素は、第１の閾値以上の輝度値を有する画素であり、
前記暗画素は、第２の閾値より小さい輝度値を有する画素である、
請求項１〜３の何れか１項に記載の画像生成装置。
【請求項５】
前記第１の閾値は、前記第２の閾値と同じ値である、
請求項４に記載の画像生成装置。
【請求項６】
前記（ｂ）では、
前記第１の光源、前記第２の光源、前記イメージセンサ、および前記マスクのそれぞれの配置構成を示すパラメータを用いた幾何学的な計算を行うことによって、前記焦点に対応する前記第１の画素領域及び前記第２の画素領域のそれぞれが前記明画素又は前記暗画素であるかを特定する
請求項１〜５の何れか１項に記載の画像生成装置。
【請求項７】
透光性を有する物質の画像を生成する画像生成装置であって、
第１の光源と、
前記第１の光源と所定の距離離れて位置する第２の光源と、
前記物質が配置されるイメージセンサと、
前記第１の光源および前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクと、
処理回路とを備え、
前記イメージセンサは、
前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、
前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、
前記第１の画像は、複数の第１の画素領域を有し、
前記第２の画像は、複数の第２の画素領域を有し、
前記処理回路は、
（ａ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、
（ｂ）前記複数の焦点毎に、
前記焦点に対応する前記第１の画像における第１の画素領域の輝度が、閾値よりも低いかを特定し、かつ、前記焦点に対応する前記第２の画像における第２の画素領域の輝度が、前記閾値よりも低いかを特定し、
（ｃ）前記第１の画像における前記閾値よりも低い輝度の第１の画素領域と、前記第２の画像における前記閾値よりも低い輝度の第２の画素領域とを用いて、前記焦点面における前記物質の断面を第１の態様で示す第３の画像を生成する、
画像生成装置。
【請求項８】
前記（ｃ）では、さらに、
前記第１の画像における前記閾値よりも高い輝度の第１の画素領域と、前記第２の画像における前記閾値よりも高い輝度の第２の画素領域とを用いて、第４の画像を生成し、
前記処理回路は、さらに、
（ｄ）前記第３の画像と前記第４の画像とを用いて、前記焦点面における前記物質の断面を、前記第１の態様と異なる第２の態様で示す第５の画像を生成する、
請求項７に記載の画像生成装置。
【請求項９】
透光性を有する物質の画像を生成する画像生成方法であって、
第１の光源と、
前記第１の光源と所定の距離離れて位置する第２の光源と、
前記物質が配置されるイメージセンサと、
前記第１の光源及び前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクとを用い、
（ａ）前記第１の光源が照明されたときに、前記イメージセンサによって、複数の第１の画素領域を有する、前記物質の第１の画像を取得し、
（ｂ）前記第２の光源が照明されたときに、前記イメージセンサによって、複数の第２の画素領域を有する、前記物質の第２の画像を取得し、
（ｃ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、
（ｄ）前記複数の焦点毎に、
前記焦点に対応する前記第１の画像における第１の画素領域が、明画素又は前記明画素よりも低い輝度値を有する暗画素であるかを特定し、かつ、前記焦点に対応する前記第２の画像における第２の画素領域が、前記明画素又は前記暗画素であるかを特定し、
（ｅ）前記第１の画像及び前記第２の画像における前記暗画素に対応する画素値を用いて、前記焦点面における前記物質の断面を第１の態様で示す第３の画像を生成する、
画像生成方法。
【請求項１０】
透光性を有する物質の画像を生成する画像生成方法であって、
第１の光源と、
前記第１の光源と所定の距離離れて位置する第２の光源と、
前記物質が配置されるイメージセンサと、
前記第１の光源および前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクとを用い、
（ａ）前記第１の光源が照明されたときに、前記イメージセンサによって、前記物質の第１の画像を取得し、
（ｂ）前記第２の光源が照明されたときに、前記イメージセンサによって、前記物質の第２の画像を取得し、
（ｃ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、
（ｄ）前記複数の焦点毎に、
前記焦点に対応する前記第１の画像における第１の画素領域の輝度が、閾値よりも低いかを特定し、かつ、前記焦点に対応する前記第２の画像における第２の画素領域の輝度が、前記閾値よりも低いかを特定し、
（ｅ）前記第１の画像における前記閾値よりも低い輝度の第１の画素領域と、前記第２の画像における前記閾値よりも低い輝度の第２の画素領域とを用いて、前記焦点面における前記物質の断面を第１の態様で示す第３の画像を生成する、
画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えば、レンズレス顕微鏡などの画像を生成する画像生成装置および画像生成方法に関する。
【背景技術】
【０００２】
培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生または薬効の試験等、もしくは培養細胞を医療または産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影ではコントラストが小さいため観察は困難である。コントラストの小ささの一要因として、被写体周辺の媒質および被写体自身による光の散乱または屈折が上げられる。
【０００３】
特許文献１では、光ビームの照射および照射停止の明暗二つの状態の輝度から、反射光のノイズ成分を除去する方法を示している。
【０００４】
また、特許文献２では、透明な対象物を観察するために、明暗パタンのある照明による撮影により、広視野の暗視野鏡を実現する方法を示している。特許文献３では、暗視野照明によって得られた画像より細胞の生死を識別する方法が示されている。
【０００５】
ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような限られた空間内での観察のために、特許文献２および３は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。これらの文献では、複数の異なる位置から照射する照明によって撮影された複数の画像を用いて解像度の高い画像が生成される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５４０３４５８号公報
【特許文献２】特許第５７８９７６６号公報
【特許文献３】米国特許出願公開第２０１４／０１３３７０２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の方法では、装置が大型化するという問題がある。つまり、この方法では、照明の反射光の輝度を記録して、対象物表面の凹凸を計測する装置において、平行光とデジタルマイクロミラーデバイスを用いる。そして、第１の明暗パタンを照射して記録した輝度と、第２の明暗パタンを照射して記録した輝度との差分により、相対輝度を求めることで、対物レンズの位置ごとの輝度を比較しやすくしている。しかし、明暗のパタンをイメージセンサ全体に広げようとすると、レンズが必要となり、装置が大型化する。一方、特許文献２および３のように多光源で撮影を行う場合には、照明の位置を変更する必要がある。光源およびデジタルマイクロミラーデバイスの位置を変更しながら撮影を行うには、装置が大型化するため、レンズレス顕微鏡にデジタルマイクロミラーデバイスによる明暗の反転を組み合わせるのは困難である。
【０００８】
そこで、本開示は、大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することが可能な画像生成装置および画像生成方法を提供する。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る画像生成装置は、透光性を有する物質の画像を生成する画像生成装置であって、第１の光源と、前記第１の光源と所定の距離離れて位置する第２の光源と、前記物質が配置されるイメージセンサと、前記第１の光源及び前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクと、処理回路とを備え、前記イメージセンサは、前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、前記第１の画像は、複数の第１の画素領域を有し、前記第２の画像は、複数の第２の画素領域を有し、前記処理回路は、（ａ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、（ｂ）前記複数の焦点毎に、前記焦点に対応する前記第１の画像における第１の画素領域が、明画素又は前記明画素よりも低い輝度値を有する暗画素であるかを特定し、かつ、前記焦点に対応する前記第２の画像における第２の画素領域が、前記明画素又は前記暗画素であるかを特定し、（ｃ）前記第１の画像及び前記第２の画像における前記暗画素に対応する画素値を用いて、前記焦点面における前記物質の断面を第１の態様で示す第３の画像を生成する。
【００１０】
なお、これらの包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本開示によれば、大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態１に係る画像生成装置の機能ブロック図である。
【図２】図２は、実施の形態１に係る処理回路の詳細な機能構成を示す画像生成装置１０の機能ブロック図である。
【図３】図３は、実施の形態１に係る照明器の構造の一例を模式的に示す図である。
【図４】図４は、実施の形態１に係る複数の点光源の配置の一例を示す模式図である。
【図５】図５は、実施の形態１に係るマスクの例を示す図である。
【図６】図６は、実施の形態１に係るイメージセンサの上に設置した対象物の一例である。
【図７】図７は、実施の形態１に係る複数の点光源の間隔を説明するための模式図である。
【図８】図８は、実施の形態１に係る複数の点光源が配置される範囲を説明するための模式図である。
【図９】図９は、実施の形態１に係る記憶部が記憶する情報の例である。
【図１０】図１０は、実施の形態１に係る明暗マップ保持部に保持されている明暗マップの一例を示す。
【図１１】図１１は、実施の形態１に係る画像生成装置の動作の一例を示すフローチャートである。
【図１２】図１２は、実施の形態１に係る、ｘ軸、ｙ軸およびｚ軸によって構成される座標系における焦点面の例を模式的に示す図である。
【図１３】図１３は、実施の形態１に係る画像出力部による合焦画像の表示の一例である。
【図１４】図１４は、実施の形態１に係る撮影部の動作の一例を示すフローチャートである。
【図１５】図１５は、実施の形態１に係る対応点決定部１７１の動作の詳細を示すフローチャートである。
【図１６】図１６は、実施の形態１に係る、複数の点光源と選択画素と対応点の関係を示す。
【図１７】図１７は、実施の形態１に係る、対応点の輝度値の計算を説明するための模式図である。
【図１８】図１８は、実施の形態１に係る明暗判定部の動作の詳細を示すフローチャートである。
【図１９】図１９は、実施の形態２に係る画像生成装置の機能ブロック図である。
【図２０】図２０は、実施の形態２に係るパラメータ記憶部に記憶されている各パラメータの一例である。
【図２１】図２１は、実施の形態２に係る画像生成装置の動作の一例を示すフローチャートである。
【図２２】図２２は、実施の形態２に係る明暗計算部の動作と明暗判定部の動作との詳細を示すフローチャートである。
【図２３】図２３は、実施の形態２に係る、複数の点光源のうちの任意の１つと、マスクと、イメージセンサとの関係を示した模式図である。
【図２４】図２４は、実施の形態３に係る画像生成装置の機能ブロック図である。
【図２５】図２５は、実施の形態３に係る記憶部に記憶されている情報の一例である。
【図２６】図２６は、実施の形態３に係る画像生成装置の動作の一例を示すフローチャートである。
【図２７】図２７は、実施の形態３に係る閾値算出部の動作の詳細を示すフローチャートである。
【図２８】図２８は、実施の形態３に係る、焦点面画素に対応する全ての対応点の輝度の分布の一例である。
【図２９】図２９は、実施の形態３に係る明暗判定部と加算処理部との動作の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１３】
本開示の一態様に係る画像生成装置は、透光性を有する物質の画像を生成する画像生成装置であって、第１の光源と、前記第１の光源と所定の距離離れて位置する第２の光源と、前記物質が配置されるイメージセンサと、前記第１の光源及び前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクと、処理回路とを備え、前記イメージセンサは、前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、前記第１の画像は、複数の第１の画素領域を有し、前記第２の画像は、複数の第２の画素領域を有し、前記処理回路は、（ａ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、（ｂ）前記複数の焦点毎に、前記焦点に対応する前記第１の画像における第１の画素領域が、明画素又は前記明画素よりも低い輝度値を有する暗画素であるかを特定し、かつ、前記焦点に対応する前記第２の画像における第２の画素領域が、前記明画素又は前記暗画素であるかを特定し、（ｃ）前記第１の画像及び前記第２の画像における前記暗画素に対応する画素値を用いて、前記焦点面における前記物質の断面を第１の態様で示す第３の画像を生成する。
【００１４】
これにより、第１の画像および第２の画像が取得され、第１の画像における暗画素に対応する画素値と、第２の画像における暗画素に対応する画素値とによって、焦点面における物質の断面を第１の態様で示す第３の画像が生成される。ここで、第１の画像における暗画素は、第１の光源からの直接光が遮られた状態であり、物質による散乱光または屈折光のみによる輝度（すなわち画素値）を示す。同様に、第２の画像における暗画素は、第２の光源からの直接光が遮られた状態であり、物質による散乱光または屈折光のみによる輝度を示す。したがって、上述のように生成される第３の画像は、暗画像であって、物質による散乱光または屈折光のみによる輝度によって表現される物質の断面を示す。つまり、この第３の画像では、直接光が除外されているため、散乱光あるいは屈折光による中間の輝度の情報が多い。その結果、焦点面を調整することによって、物質の任意断面の状態が分かりやすい画像を生成することができる。
【００１５】
また、明暗パタンの異なる第１の画像および第２の画像を取得するために、物質を照明する光源を切り替えるだけでよいため、例えば光源またはデジタルマイクロミラーデバイスなどの構造物の位置を変更する必要がなく、装置全体を小型化することができる。
【００１６】
したがって、大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することができる。
【００１７】
また、前記（ｃ）では、さらに、前記第１の画像及び前記第２の画像における前記明画素に対応する画素値を用いて、第４の画像を生成し、前記処理回路は、さらに、（ｄ）前記第３の画像と前記第４の画像とを用いて、前記焦点面における前記物質の断面を、前記第１の態様とは異なる第２の態様で示す第５の画像を生成してもよい。
【００１８】
これにより、第１の画像における明画素に対応する画素値と、第２の画像における明画素に対応する画素値とによって、第４の画像が生成され、さらに、第３の画像と第４の画像とによって、焦点面における物質の断面を、第１の態様とは異なる第２の態様で示す第５の画像が生成される。ここで、第１の画像における明画素は、第１の光源からの直接光を受ける状態であり、第２の画像における明画素は、第２の光源からの直接光を受ける状態である。したがって、上述のように生成される第４の画像は、明画像であって、直接光と、物質による散乱光または屈折光とを含む光による輝度によって表現される物質の断面を示す。例えば、この明画像である第４の画像と、暗画像である第３の画像との差分によって、第５の画像が生成される。この第５の画像では、第３の画像とは異なり、直接光のみによる輝度の情報が多い。その結果、焦点面を調整することによって、物質の任意断面の例えば輪郭が分かりやすい画像を第５の画像として生成することができる。
【００１９】
また、前記（ｂ）では、画素領域の位置ごとに、当該位置にある画素領域が、前記明画素であるか、前記暗画素であるかを示すマップを参照することによって、前記焦点に対応する前記第１の画素領域及び前記第２の画素領域のそれぞれが前記明画素又は前記暗画素であるかを特定してもよい。
【００２０】
これにより、マップを参照することによって、第１の画素領域及び第２の画素領域のそれぞれが明画素または暗画素であるかが特定されるため、簡単に、その特定を行うことができ、その特定のための処理負担を軽減することができる。
【００２１】
また、例えば、前記明画素は、第１の閾値以上の輝度値を有する画素であり、前記暗画素は、第２の閾値より小さい輝度値を有する画素であってもよい。また、この場合には、前記第１の閾値は、前記第２の閾値と同じ値であってもよい。
【００２２】
また、前記（ｂ）では、前記第１の光源、前記第２の光源、前記イメージセンサ、および前記マスクのそれぞれの配置構成を示すパラメータを用いた幾何学的な計算を行うことによって、前記焦点に対応する前記第１の画素領域及び前記第２の画素領域のそれぞれが前記明画素又は前記暗画素であるかを特定してもよい。
【００２３】
これにより、マップなどを参照することなく、第１の画素領域及び第２の画素領域のそれぞれが明画素または暗画素であるかが特定されるため、そのマップを保持しておく必要が無い。したがって、メモリ容量の削減を図ることができる。
【００２４】
また、本開示の他の態様に係る画像生成装置は、透光性を有する物質の画像を生成する画像生成装置であって、第１の光源と、前記第１の光源と所定の距離離れて位置する第２の光源と、前記物質が配置されるイメージセンサと、前記第１の光源および前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクと、処理回路とを備え、前記イメージセンサは、前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、前記第１の画像は、複数の第１の画素領域を有し、前記第２の画像は、複数の第２の画素領域を有し、前記処理回路は、（ａ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、（ｂ）前記複数の焦点毎に、前記焦点に対応する前記第１の画像における第１の画素領域の輝度が、閾値よりも低いかを特定し、かつ、前記焦点に対応する前記第２の画像における第２の画素領域の輝度が、前記閾値よりも低いかを特定し、（ｃ）前記第１の画像における前記閾値よりも低い輝度の第１の画素領域と、前記第２の画像における前記閾値よりも低い輝度の第２の画素領域とを用いて、前記焦点面における前記物質の断面を第１の態様で示す第３の画像を生成する。
【００２５】
これにより、上述と同様、大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することができる。さらに、この態様では、焦点に対応する第１の画像における第１の画素領域の輝度が、閾値よりも低いかが特定され、かつ、焦点に対応する第２の画像における第２の画素領域の輝度が、閾値よりも低いかが特定される。そして、閾値よりも低い輝度の第１の画素領域と、閾値よりも低い輝度の第２の画素領域とを用いて第３の画像が生成される。したがって、実際の輝度にしたがって第３の画像が生成されるため、物質の任意断面の状態をより適切に示す暗画像を生成することができる。
【００２６】
また、前記（ｃ）では、さらに、前記第１の画像における前記閾値よりも高い輝度の第１の画素領域と、前記第２の画像における前記閾値よりも高い輝度の第２の画素領域とを用いて、第４の画像を生成し、前記処理回路は、さらに、（ｄ）前記第３の画像と前記第４の画像とを用いて、前記焦点面における前記物質の断面を、前記第１の態様と異なる第２の態様で示す第５の画像を生成してもよい。
【００２７】
これにより、上述と同様に、物質の任意断面の例えば輪郭が分かりやすい画像を第５の画像として生成することができる。また、この場合にも、実際の輝度にしたがって第５の画像が生成されるため、物質の任意断面の例えば輪郭をより適切に示す暗画像を生成することができる。
【００２８】
なお、これらの全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
【００２９】
以下、本開示の一態様に係る画像生成装置および画像生成方法について、図面を参照しながら具体的に説明する。
【００３０】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３１】
（実施の形態１）
実施の形態１に係る画像生成装置は、複数の点光源と、スリットまたはチェッカーパタンのように、光を透過する透光部分と光を遮断する遮光部分とが作られたマスクとからなる照明器と、イメージセンサと、処理回路とを備える。その照明器における互いに位置の異なる複数の点光源は、イメージセンサ上に位置する対象物（すなわち物質）を順次照明する。このとき、イメージセンサは、そのイメージセンサおよび対象物に到達する光の明暗のパタンが切り替えられながら対象物の撮影を行う。これにより、明暗パタンの異なる複数の画像が取得される。処理回路は、合焦画像を生成する焦点面を定め、焦点面上の画素に対応するイメージセンサ上の点（以下、対応点という）を求める。次に、処理回路は、求められた対応点の輝度を、「明」、「暗」および「どちらでもない」のうちのいずれかの区分に分類する。「明」は、明るい輝度であり、「暗」は、暗い輝度であり、「どちらでもない」は、「明」でもなく、「暗」でもない輝度である。
【００３２】
上述の分類は、イメージセンサ上の画素と照明位置との組み合わせごとに、あらかじめ定められた区分（「明」、「暗」または「どちらでもない」）にしたがって行われる。処理回路は、「明」に分類された対応点のみで輝度の加算平均を行って、焦点面上にある画素の「明」の輝度を求める。さらに、処理回路は、「暗」に分類された対応点のみで輝度の加算平均を行って、焦点面上にある画素の「暗」の輝度を求める。さらに、処理回路は、「明」の画素のみで構成された画像である「明」の合焦画像と、「暗」の画素のみで構成された画像である「暗」の合焦画像とを生成し、「明」の合焦画像から「暗」の合焦画像を減じることで、直接光成分による合焦画像を生成する。一方、「暗」の合焦画像は、屈折光と散乱光成分による合焦画像である。
【００３３】
なお、本実施の形態における撮影の対象物は、例えば細胞であるが、透光性を有する物質であればよく、細胞以外の物質であってもよい。
【００３４】
［１．画像生成装置の構成］
図１は、実施の形態１に係る画像生成装置１０の機能ブロック図である。図１に示される画像生成装置１０は、細胞などの透光性を有する物質の画像を生成する装置であって、撮影部１００と、記憶部１１０と、処理回路３００と、焦点面入力部１２０と、明暗マップ保持部１８１と、画像出力部２００とを備える。撮影部１００は、照明器１４０と、イメージセンサ１５０と、制御部１６０とを備える。なお、実施の形態１に係る画像生成装置１０は、制御部１６０、記憶部１１０、焦点面入力部１２０、明暗マップ保持部１８１、および画像出力部２００を備えているが、これらの構成要素は必須ではなく、画像生成装置１０はこれらの構成要素を備えていなくてもよい。
【００３５】
図２は、実施の形態１に係る処理回路３００の詳細な機能構成を示す画像生成装置１０の機能ブロック図である。
【００３６】
処理回路３００は、焦点面決定部１３０と、リフォーカシング処理部１７０と、明暗判定部１８２と、画像生成部１９０とを備える。リフォーカシング処理部１７０は、対応点決定部１７１と、加算処理部１７２とを備える。なお、明暗判定部１８２と明暗マップ保持部１８１とは、明暗分離部１８０を構成する。
【００３７】
［１−１．撮影部］
まず、撮影部１００の構成について説明する。撮影部１００は、上述のように、照明器１４０と、イメージセンサ１５０と、制御部１６０とを備える。撮影部１００は、対象物である物質の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃ  ｉｍａｇｅ）を取得する。ここでは、撮影部１００は、フォーカスレンズを有さない。
【００３８】
実施の形態１における照明器１４０は、第１の光源１４１Ａと、第２の光源１４１Ｂと、マスク１４２とを備える。第１の光源１４１Ａは、物質を照明する点光源である。第２の光源１４１Ｂは、第１の光源１４１Ａから所定の距離だけ離れた位置からその物質を照明する点光源である。マスク１４２は、第１の光源１４１Ａおよび第２の光源１４１Ｂからの光が透過する透光部分、ならびにその光を遮蔽する遮光部分を有し、イメージセンサ１５０と第１の光源１４１Ａおよび第２の光源１４１Ｂとの間に位置する。なお、上述の所定の距離は、後述の周期の１／３または２／３に相当する距離である。
【００３９】
以下、この照明器１４０の詳細について説明する。
【００４０】
図３は、実施の形態１における照明器１４０の構造の一例を模式的に示す図である。具体的には、照明器１４０は、上述の第１の光源１４１Ａおよび第２の光源１４１Ｂを含む複数の点光源１４１と、マスク１４２とを備える。マスク１４２は、スリットまたはチェッカーパタンを有する。つまり、マスク１４２は、光を透過する透光部分と光を遮断する遮光部分とを有する。
【００４１】
図４は、複数の点光源１４１の配置の一例を示す模式図である。図４の例では、複数の点光源１４１は、等間隔に配列されている。複数の点光源１４１のそれぞれは、例えば、発光する直径１０μｍの発光面を有し、遮光板に設けられた直径１０μｍのピンホールからその発光面が露出するように、その遮光板に取り付けられている。光は点光源１４１から全方向へ均等に広がるものとする。
【００４２】
図５は、マスク１４２の例を示す。具体的には、図５の（ａ）は、スリットを有するマスク１４２の一例を示し、図５の（ｂ）は、チェッカーパタンを有するマスク１４２の一例を示す。なお、図５中の黒色の部分は、上述の遮光部分であり、白色の部分は、上述の透光部分である。図５の例では、（ａ）のスリットにおいて、黒色ラインの遮光部分と白色ラインの透光部分との幅は同一である。また、（ｂ）のチェッカーパタンにおいて、黒色正方形の遮光部分と、白色正方形の透光部分との大きさは同一である。また、複数の透光部分と複数の遮光部分はマスク１４２上では等間隔に設定されている。つまり、マスク１４２の複数の透光部分および複数の遮光部分は、周期的に規則正しく配置されている。また、スリットにおけるラインの幅あるいはチェッカーパタンにおける正方形の一辺の長さは、何れかの点光源１４１からマスク１４２を通った光束によって対象物の一部が明るく、残りの部分が暗くなるように設定されている。つまり、その光束による対象物およびイメージセンサ１５０上での光の明暗パタンが対象物を少なくとも２つの領域（明るい領域と暗い領域）に分割するように、上述の幅あるいは正方形の一辺の長さが設定されている。例えば、対象物が１００μｍの場合、スリットにおけるラインの幅あるいはチェッカーパタンの正方形の一辺の長さは、例えば３０μｍである。マスク１４２は、例えばガラス上に金属を蒸着することで実現される。
【００４３】
図６は、イメージセンサ１５０の上に設置した対象物の一例である。なお、図６では、透明保護膜などを省略している。イメージセンサ１５０の上に直接、撮影の対象物が設置されている。対象物は、例えば複数の半透明の物質である。複数の物質は３次元的に重なって位置する。物質の具体例は、細胞または培養細胞である。図６の例では、対象物は初期胚である。
【００４４】
イメージセンサ１５０は、複数の画素を有し、上述の物質が配置される。イメージセンサ１５０の各画素は、受光面に配置され、複数の点光源１４１から照射された光の強度（すなわち輝度値）を取得する。イメージセンサ１５０は、各画素により取得された光の強度に基づいて、撮影画像を取得する。つまり、イメージセンサ１５０は、複数の点光源１４１のうちの第１の光源１４１Ａにより照明されたときに、物質の第１の画像を取得し、複数の点光源１４１のうちの第２の光源１４１Ｂにより照明されたときに、物質の第２の画像を取得する。また、取得される第１の画像は、複数の第１の画素領域を有し、第２の画像は、複数の第２の画素領域を有する。この第１の画素領域および第２の画素領域のそれぞれは、１つの画素であっても、複数の画素からなるブロックであってもよい。あるいは、この第１の画素領域および第２の画素領域のそれぞれは、複数の画素間の領域または点（いわゆるサブピクセル）であってもよい。
【００４５】
イメージセンサ１５０の例は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。
【００４６】
照明器１４０の複数の点光源１４１は、順に光を照射する。複数の点光源１４１は互いに異なる位置に配置され、互いに異なる方向からマスク１４２を通して対象物に光を照射する。
【００４７】
制御部１６０は、複数の点光源１４１による光の照射、及びイメージセンサ１５０による撮影を制御する。具体的には、制御部１６０は、複数の点光源１４１が光を照射する順番、複数の点光源１４１が光を照射する時間間隔を制御する。制御部１６０は、ＣＰＵ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成される。制御部１６０の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、制御部１６０の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。
【００４８】
図７は、複数の点光源１４１の間隔を説明するための模式図である。図７において、大きさａは、マスク１４２の遮光部分あるいは透光部分の大きさ（または長さ）であり、遮光部分と透光部分をあわせた大きさに対応する周期の半分を示す。なお、複数の点光源１４１が１つずつ順に点灯することによって、イメージセンサ１５０上の明るい部分（「明」部分ともいう）および暗い部分（「暗」部分ともいう）は規則的に移動する。言い換えれば、イメージセンサ１５０上の画素における輝度は、明るくなったり暗くなったりするように周期的に変化する。このときの輝度の変化の周期は、上述のマスク１４２の遮光部分および透光部分の大きさと、複数の点光源１４１の間隔とに基づく。
【００４９】
距離ｄは、光源間（すなわち２つの点光源１４１間）の距離である。図７に示す例では、距離ｄは、複数の点光源１４１に含まれる点光源１４１ａと点光源１４１ｂとの間の距離である。距離ｈｌは、イメージセンサ１５０の表面から点光源１４１ａ、１４１ｂまでの距離である。距離ｈｍは、イメージセンサ１５０の表面からマスク１４２までの距離である。図７では、点光源１４１ａと点光源１４１ｂとは、ちょうど明暗パタンが反転する位置に配置されている。
【００５０】
具体的には、図７において、点線は、点光源１４１ａから射出された光が、マスク１４２の遮光部分と透光部分との境界を通過してイメージセンサ１５０へ到達する経路を示す。図７において、実線は、点光源１４１ｂから射出された光が、マスク１４２の遮光部分と透光部分との境界を通過してイメージセンサ１５０へ到達する経路を示す。イメージセンサ１５０の表面において、点光源１４１ａの点灯時にマスク１４２の遮光部分によって光がさえぎられた「暗」部分になる範囲は、点光源１４１ｂの点灯時にはマスク１４２の透光部分を通過した光を受けて「明」部分になる範囲である。
【００５１】
点光源１４１ａと点光源１４１ｂが、図７に示すような位置にある場合、光源間の距離ｄは、以下の（式１）によって示される。
【００５２】
【数１】
2018120363.tif 000003
【００５３】
複数の点光源１４１が１つずつ順に点灯することによって、イメージセンサ１５０上の明暗パタンの「明」部分および「暗」部分は移動する。イメージセンサ１５０上の明暗パタンは、イメージセンサ１５０の画素の輝度が半周期分反転する距離よりも小さい距離ごとに移動して、イメージセンサ１５０上の各画素の明と暗の輝度を取得する必要がある。したがって、光源間の距離ｄは、以下の（式２）を満たす必要がある。
【００５４】
【数２】
2018120363.tif 000004
【００５５】
図８は、複数の点光源１４１が配置される範囲を説明するための模式図である。具体的には、この図８は、レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。図８の（ａ）は、レンズの焦点距離及び被写界深度の関係を示し、図８の（ｂ）は、リフォーカシングする際の点光源の配置及び被写界深度の関係を示す。なお、リフォーカシングについては、後述する。
【００５６】
図８において、ｆは、レンズの焦点距離を示す。ｓは、被写体距離を示す。ｔは、レンズから結像面までの距離を示す。Ｆは、Ｆ値を示す。εは、焦点深度の１／２を示す。δは、許容錯乱円直径を示す。Ｓｎは、近点距離を示す。Ｓｆは、遠点距離を示す。Ｄｎは、前方被写界深度を示す。Ｄｆは、後方被写界深度を示す。
【００５７】
リフォーカシングによる被写界深度は照明位置の分布範囲の広さによって決定される。図８の（ｂ）において、点線で示す照明位置の分布範囲は、図８の（ａ）のレンズ径に対応する。図８の（ａ）に示したレンズの場合には、被写体（Ｓｕｂｊｅｃｔ）表面で反射された光はレンズを通過して焦点面（Ｆｏｃａｌ  Ｐｌａｎｅ）で結像する。被写界深度（Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ）は、前方被写界深度Ｄｎと後方被写界深度Ｄｆの和である。本開示では、透過光の撮影でのリフォーカシングであるため、図８の（ａ）の被写体の位置に相当するのが焦点面である。図８の（ｂ）において、イメージセンサは焦点面よりも左側に位置する。本実施の形態では、点光源の配列より図中右側には実際には何も無いが、許容錯乱円として、イメージセンサの画素ピッチを設定することで、被写界深度を計算しうる。
【００５８】
焦点面の合焦画像を生成するために必要な照明位置の範囲は、図８に示すように、焦点面に平行に設置されたレンズの大きさに対応する。焦点位置に置かれた被写体を観測するために、例えば被写体から５ｍｍの距離に置かれた直径１０ｍｍのレンズ径が必要な場合の照明位置の範囲は、次のような円で表される。つまり、照明位置の範囲は、焦点面に平行で、焦点面からの距離が５ｍｍであって、焦点面の中心を通る焦点面の法線と焦点面に平行な平面との交点を中心とした直径１０ｍｍの円で表される。
【００５９】
記憶部１１０は、イメージセンサ１５０で取得された画像を、制御部１６０で設定された撮影時に照明または点灯していた点光源１４１の位置（すなわち照明位置）と対応させて記憶する。
【００６０】
図９は、記憶部１１０が記憶する情報の例である。記憶部１１０は、イメージセンサ１５０で取得した画像を識別するＩＤと、撮影時に点灯していた点光源１４１の照明位置とを対応させて、記憶する。照明位置は、例えば、イメージセンサ１５０の複数の有効画素からなる平面の左上角を原点とし、イメージセンサ１５０の横方向をｘ軸、縦方向をｙ軸とする座標系上の点として示される。本実施の形態の照明器１４０の例では、複数の点光源１４１は、イメージセンサ１５０の表面（すなわち受光面）と平行な平面上に、そのイメージセンサ１５０の表面に対向するように配置されている。つまり、イメージセンサ１５０の表面から、すべての点光源１４１のそれぞれまでの距離は同一である。そのため、照明位置は２次元で表現されている。照明位置は、３次元で表現されてもよい。また、全ての点光源１４１が直線状に配置されている場合には、照明位置は１次元で表現されてもよい。
【００６１】
焦点面入力部１２０は、ユーザによって指定される焦点面を示す指定情報を受け付ける。あるいは、焦点面入力部１２０は、図示しない記憶部に記憶された、あらかじめ定められた焦点面を示す指定情報を取得する。
【００６２】
焦点面決定部１３０は、例えば制御回路、処理回路又はプロセッサによって実現され、照明器１４０及びイメージセンサ１５０の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部１３０は、焦点面入力部１２０に受け付けられた指定情報に従って焦点面を決定する。あるいは焦点面決定部１３０は、図示しない記憶部に記憶された指定情報に基づいて焦点面を決定しても良い。言い換えれば、焦点面決定部１３０は、イメージセンサ１５０とマスク１４２との間に位置し、かつ複数の焦点を有する焦点面の情報を取得する。
【００６３】
［リフォーカシング処理部の構成］
リフォーカシング処理部１７０は、少なくとも１つの制御回路、処理回路またはプロセッサによって実現される。リフォーカシング処理部１７０は、上述のように、対応点決定部１７１と加算処理部１７２とを含む。
【００６４】
対応点決定部１７１は、焦点面決定部１３０によって決定された焦点面での合焦画像上の画素に対して、照明位置ごとに、当該の合焦画像上の画素と照明位置を結ぶ直線が、イメージセンサ１５０表面と交差する点を対応点として決定する。なお、対応点は対応位置ともいう。
【００６５】
加算処理部１７２は、明暗分離部１８０によって「明」または「暗」に分類された各対応点について、「明」の対応点のみの加算平均処理と、「暗」の対応点のみの加算平均処理を行う。
【００６６】
上述のリフォーカシングは、この対応点決定部１７１と加算処理部１７２とによって行われる処理である。
【００６７】
［明暗分離部の構成］
明暗分離部１８０は、少なくとも１つの制御回路、処理回路またはプロセッサによって実現される。明暗分離部１８０は、明暗マップ保持部１８１と、明暗判定部１８２とを備える。
【００６８】
明暗マップ保持部１８１は、明暗マップを保持している。
【００６９】
図１０は、明暗マップ保持部１８１に保持されている明暗マップの一例を示す。
【００７０】
明暗マップは、イメージセンサ１５０上の画素の位置（すなわち画素位置）と照明位置とに対して、あらかじめ定められた「明」、「暗」、およびそれ以外の区分（図１０に示す「−」）を記憶している。つまり、この明暗マップは、画素領域の位置ごとに、その位置にある画素領域が、明画素であるか、暗画素であるかを示すマップである。「明」、「暗」、およびそれ以外の区分の決定方法では、例えば、対象物のない状態で、照明器１４０の複数の点光源１４１を順次点灯させながら撮影を行う。イメージセンサ１５０上の画素位置と点光源１４１の位置との組み合わせに対して、当該点光源１４１の点灯時に撮影された画像中の当該画素位置での輝度が、あらかじめ定められた明の閾値以上である場合に、区分として「明」を決定する。輝度があらかじめ定められた暗の閾値以下である場合には、区分として「暗」を決定する。輝度が暗の閾値を越え、明の閾値未満である場合には、区分として「それ以外」（すなわち上述の「どちらでもない」）を決定する。閾値は、例えば、対象物とマスク１４２がない状態での撮影によって得られた画像に対する輝度の比から決定される。
【００７１】
明暗判定部１８２は、明暗マップを参照して、対応点決定部１７１が決定した、合焦画像上の画素に対応するイメージセンサ１５０上の対応点が、「明」、「暗」、および「どちらでもない（それ以外）」のいずれにあたるかを判定する。つまり、明暗判定部１８２は、焦点面の複数の焦点毎に、その焦点に対応する第１の画像における第１の画素領域が、明画素又はその明画素よりも低い輝度値を有する暗画素であるかを特定する。さらに、明暗判定部１８２は、焦点に対応する第２の画像における第２の画素領域が、明画素又は暗画素であるかを特定する。具体的には、明暗判定部１８２は、明暗マップを参照することによって、焦点に対応する第１の画素領域及び第２の画素領域のそれぞれが明画素または暗画素であるかを特定する。ここで、明画素は、第１の閾値以上の輝度値を有する画素であり、暗画素は、第２の閾値より小さい輝度値を有する画素である。また、第１の閾値は、第２の閾値と同じ値であってもよい。
【００７２】
なお、「明」、「暗」、および「それ以外」の区分の決定方法は、上記以外であっても良い。例えば、図７に示すように、照明位置とイメージセンサ１５０との間の距離、および、マスク１４２の遮光部分と透光部分の位置とイメージセンサ１５０との間の距離から、イメージセンサ１５０上の画素が、マスク１４２の遮光部分により直接光が到達しない領域に含まれるか、マスク１４２の透光部分を透過した直接光が到達する領域に含まれるかを、計算することができる。明暗マップは、このような計算によって求められた「明」および「暗」などの分類結果を記憶しているとしても良い。
【００７３】
画像生成部１９０は、少なくとも１つの制御回路、処理回路またはプロセッサによって実現される。画像生成部１９０は、リフォーカシング処理部１７０で生成された明画素のみで合焦画像を生成し、暗画素のみで合焦画像を生成する。さらに、画像生成部１９０は、その明画素のみで生成された合焦画像と、その暗画素のみで生成された合焦画像とを用いて差分画像を生成する。つまり、画像生成部１９０は、画素位置ごとに、明画素による合焦画像におけるその画素位置の輝度から、暗画素による合焦画像におけるその画素位置の輝度を減算することによって、差分画像を生成する。
【００７４】
言い換えれば、画像生成部１９０は、第１の画像及び第２の画像における暗画素に対応する画素値を用いて、焦点面における物質の断面を第１の態様で示す第３の画像（すなわち暗画像）を生成する。さらに、画像生成部１９０は、第１の画像及び第２の画像における明画素に対応する画素値を用いて、第４の画像（すなわち明画像）を生成する。そして、画像生成部１９０は、第３の画像と第４の画像とを用いて、焦点面における物質の断面を、上述の第１の態様とは異なる第２の態様で示す第５の画像（すなわち差分画像）を生成する。なお、差分画像は、「明−暗」の画像ともいう。
【００７５】
画像出力部２００は、生成された差分画像を表示する、または外部へ出力する。画像出力部２００は、差分画像を表示する場合、例えばディスプレイを含む。画像出力部２００は、差分画像を外部へ出力する場合、例えばＵＳＢコネクタを含む。
【００７６】
［画像生成装置の動作］
次に、以上のように構成された画像生成装置１０の動作について説明する。
【００７７】
図１１は、実施の形態１に係る画像生成装置１０の動作の一例を示すフローチャートである。
【００７８】
（ステップＳ１１００）
撮影部１００は、照明器１４０の複数の点光源１４１のそれぞれを順に用いて、対象物を、マスク１４２を通過した光により照明し、当該対象物の複数の画像を撮影する。具体的には、撮影部１００は、照明器１４０の複数の点光源１４１のそれぞれが対象物を照明するたびに、イメージセンサ１５０の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた点光源１４１の位置情報（すなわち照明位置）とともに記憶部１１０で記憶される。ここでは、複数の点光源１４１の位置は、イメージセンサ１５０に対して固定されており、複数の点光源１４１の各々の位置情報は予め定められている。このステップＳ１１００における撮影処理の詳細は後述する。
【００７９】
（ステップＳ１２００）
焦点面決定部１３０は、焦点面入力部１２０から焦点面の指定情報を取得する。焦点面の指定情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。
【００８０】
図１２は、ｘ軸、ｙ軸およびｚ軸によって構成される座標系における焦点面の例を模式的に示す図である。ｘ軸およびｙ軸は、イメージセンサ１５０の表面（すなわち受光面）に配置される互いに直交する軸であり、ｚ軸は、ｘｙ平面に直交する軸である。焦点面の傾きは、例えば、焦点面及びｘｚ平面の交線とｘ軸とが成す角度によって表される。また、例えば、焦点面の傾きは、焦点面及びｙｚ平面の交線とｙ軸とが成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。
【００８１】
（ステップＳ１３００）
対応点決定部１７１は、焦点面上のあらかじめ定められた合焦画像の画素のリスト（以下、生成画素リストという）を参照して、合焦画像に含まれる各画素の全てに対して、対応点の決定が終了したか否かを判定する。
【００８２】
ここで、生成画素リストに含まれる全ての画素の対応点の決定が終了している場合（ステップＳ１３００においてｙｅｓ）、ステップＳ２４００へ進む。一方、生成画素リスト内のいずれかの画素に対する対応点の決定が終了していない場合（ステップＳ１３００においてｎｏ）、ステップＳ１４００へ進む。
【００８３】
（ステップＳ１４００）
対応点決定部１７１は、生成画素リストに含まれる複数の画素の中から、まだ対応点の決定が行われていない画素を選択する。これにより、画素（すなわち焦点面画素）が決定される。なお、この画素は、選択画素ともいう。生成画素リストにおいて各画素は、例えば、画素ごとに割り当てられた番号によって示される。あるいは、例えば、各画素は、生成される合焦画像の左上の画素を原点としたｘｙ平面上の座標値によって示される。画素の選択は、例えば生成画素リストの昇順に行われる。
【００８４】
（ステップＳ１５００）
対応点決定部１７１は、あらかじめ定められた照明位置のリスト（以下、照明リストという）を参照して、全ての照明位置に対して対応点の決定が終了したか否かを判定する。
【００８５】
ここで、照明リストに含まれる、全ての照明位置に対する対応点の決定が終了している場合（ステップＳ１５００においてｙｅｓ）、ステップＳ２３００へ進む。一方、照明リスト内のいずれかの照明位置に対する対応点の決定が終了していない場合（ステップＳ１５００においてｎｏ）、ステップＳ１６００へ進む。
【００８６】
（ステップＳ１６００）
対応点決定部１７１は、照明リストに含まれる複数の照明位置の中から、まだ対応点の決定が行われていない照明位置を選択する。これにより、照明位置が決定される。照明リストにおいて各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、例えば、各照明位置は、イメージセンサ１５０の表面であるｘｙ平面と、そのｘｙ平面に直交するｚ軸とによって構成される座標系の座標値によって示される。照明位置の選択は、例えば照明リストの昇順に行われる。
【００８７】
（ステップＳ１７００）
対応点決定部１７１は、ステップＳ１６００で決定された照明位置と、ステップＳ１４００で決定された、生成する合焦画像上の画素の位置とを結ぶ直線と、イメージセンサ１５０の表面との交点を対応点として求める。これにより、上述の照明位置と画素とに対する対応点が決定される。対応点の位置の計算の詳細は後述する。
【００８８】
（ステップＳ１８００）
明暗判定部１８２は、ステップＳ１６００で決定された照明位置とステップＳ１７００で決定された対応点の位置とを元に、明暗マップを参照して、対応点が「明」、「暗」、あるいは「どちらでもない」、のいずれの状態（すなわち区分）であるかを判定する。判定手順の詳細は後述する。これにより、対応点が何れかの区分に分類される、または対応点の明暗が分離される。
【００８９】
（ステップＳ１９００）
明暗判定部１８２は、ステップＳ１８００において当該対応点が、「どちらでもない」の状態、すなわち「明」および「暗」のうちのどちらでもない状態に、判定されたか否かを判断する。
【００９０】
ここで、当該対応点が「どちらでもない」の状態であると判断されている場合（ステップＳ１９００においてｙｅｓ）、ステップＳ１５００へ戻る。一方、当該対応点が「明」および「暗」のうちのどちらかであると判定されている場合（ステップＳ１９００においてｎｏ）、ステップＳ２０００へ進む。
【００９１】
（ステップＳ２０００）
明暗判定部１８２は、ステップＳ１８００において当該対応点が「明」と判定されたか否かを判断する。
【００９２】
ここで、当該対応点が「明」と判定されている場合（ステップＳ２０００においてｙｅｓ）、ステップＳ２１００へ進む。一方、当該対応点が「明」でない、すなわち「暗」と判定されている場合（ステップＳ２０００においてｎｏ）、ステップＳ２２００へ進む。
【００９３】
（ステップＳ２１００）
加算処理部１７２は、当該対応点の輝度値を、「明」の対応点の位置での輝度値のみ加算する過程で加算する。つまり、加算処理部１７２は、直前のステップＳ１８００において「明」と判定された対応点の輝度値を、それまでに「明」と判定された対応点の輝度値のみの過去の積算値に加算する。ステップＳ２１００の処理後、ステップＳ１５００へ戻る。
【００９４】
（ステップＳ２２００）
加算処理部１７２は、当該対応点の輝度値を、「暗」の対応点の位置での輝度値のみ加算する過程で加算する。つまり、加算処理部１７２は、直前のステップＳ１８００において「暗」と判定された対応点の輝度値を、それまでに「暗」と判定された対応点の輝度値のみの過去の積算値に加算する。ステップＳ２２００の処理後、ステップＳ１５００へ戻る。
【００９５】
ステップＳ１５００からステップＳ２２００を繰り返すことで、ステップＳ１４００で決定された１つの焦点面上の画素に対して、「明」の対応点のみによる輝度の加算値と、「暗」の対応点のみによる輝度の加算値とを求めることが出来る。
【００９６】
（ステップＳ２３００）
加算処理部１７２は、ステップＳ１４００で決定された焦点面上の画素に対して、「明」の対応点の輝度値の平均と、「暗」の対応点の輝度値の平均とを求める。さらに、加算処理部１７２は、「明」の輝度値の平均から、「暗」の輝度値の平均を減じた値を、「明−暗」の画素値とし算出する。そして、加算処理部１７２は、その焦点面上の画素における、「明−暗」の画素値と、「暗」の輝度値の平均とを出力する。この「暗」の輝度値の平均は、「暗」の画素値ともいう。ステップＳ２３００の処理の後、ステップＳ１３００へ戻る。
【００９７】
ステップＳ１３００からステップＳ２３００を繰り返すことで、ステップＳ１２００で決定された焦点面に含まれる全ての画素に対して、「明−暗」の画素値と「暗」の画素値とが計算される。
【００９８】
（ステップＳ２４００）
画像生成部１９０は、焦点面上の全ての画素に対して計算された「明−暗」の画素値と暗の画素値とに基づいて、焦点面の「明−暗」の画像、すなわち直接光成分の合焦画像と、「暗」の画像、すなわち屈折光または散乱光による合焦画像とを生成する。
【００９９】
（ステップＳ２５００）
画像出力部２００は、ステップＳ２４００で生成された画像を出力する。画像出力部２００がディスプレイである場合、ステップＳ２４００で生成された直接光成分の合焦画像と、屈折光または散乱光による合焦画像とが表示される。
【０１００】
図１３は、画像出力部２００による合焦画像の表示の一例である。例えば、直接光成分の合焦画像Ｐ１は、「輪郭図」として左側に表示され、屈折光または散乱光による合焦画像Ｐ２は「細胞内状態」として右側に表示される。さらに合焦画像Ｐ１およびＰ２の例えば右上には、選択された焦点面Ｐ３を現す模式図が表示されている。焦点面入力部１２０は、例えばマウス等のポインティングデバイスからなり、ユーザによる操作に応じて、その模式図に現れている対象物および焦点面Ｐ３を回転または移動する。これにより、焦点面Ｐ３を調整することができる。
【０１０１】
［撮影処理］
ここで、ステップＳ１１００の撮影部１００の動作（すなわち撮影処理）の詳細を説明する。
【０１０２】
図１４は、撮影部１００の動作の一例を示すフローチャートである。
【０１０３】
（ステップＳ１１１０）
制御部１６０は、予め定められた複数の照明位置、または図示しない外部入力によって指定された複数の照明位置のリスト（以下、照明位置リストという）を参照する。そして、制御部１６０は、照明位置リストに含まれる全ての照明位置のそれぞれについて、その照明位置の点光源１４１から照明された対象物の撮影が終了したか否かを判定する。
【０１０４】
ここで、照明位置リストに含まれるすべての照明位置のそれぞれの点光源１４１からの照明による撮影が終了している場合（ステップＳ１１１０においてｙｅｓ）、ステップＳ１２００へ進む。一方、照明位置リスト内のいずれかの照明位置の点光源１４１からの照明による撮影が終了していない場合（ステップＳ１１１０においてｎｏ）、ステップＳ１１２０へ進む。
【０１０５】
（ステップＳ１１２０）
制御部１６０は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、照明器１４０へ制御信号を出力する。照明位置リストにおいて、各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、図１２に示す座標系（すなわちｘｙｚ空間）における座標値によって示される。照明位置の選択は、例えば、照明位置リストの昇順に行われる。
【０１０６】
（ステップＳ１１３０）
照明器１４０は、ステップＳ１１２０で制御部１６０より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップＳ１１２０で選択された照明位置にある点光源１４１が光の照射を開始する。
【０１０７】
（ステップＳ１１４０）
点光源１４１によって対象物が照明されている間に、イメージセンサ１５０は、当該点光源１４１からマスク１４２を経て、対象物を透過した光と、対象物によって屈折または散乱した光とによって形成される画像（すなわち撮影画像）を取得する。
【０１０８】
（ステップＳ１１５０）
その後、制御部１６０は、照明器１４０へ制御信号を出力して、対象物への照明を停止する。なお、照明の停止は、制御部１６０からの制御信号に従って行われなくてもよい。例えば、照明器１４０は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。あるいはステップＳ１１４０でイメージセンサ１５０が画像の取得を終了した後に、イメージセンサ１５０は、照明を停止するための制御信号を照明器１４０に出力してもよい。
【０１０９】
（ステップＳ１１６０）
次に、制御部１６０は、ステップＳ１１４０で取得された画像と、ステップＳ１１３０で照明に用いられた点光源１４１の位置情報（すなわち照明位置）を記憶部１１０へ出力する。そして、記憶部１１０は、図９に示すように、画像と照明位置とを対応付けて記憶する。ステップＳ１１６０の後、ステップＳ１１１０へ戻る。
【０１１０】
ステップＳ１１１０からステップＳ１１６０までの処理が繰り返されることで、照明位置リストに含まれるすべての照明位置の点光源１４１のそれぞれから順次、対象物に光が照射され、対象物に光が照射されるたびに、画像が撮影画像として取得される。
【０１１１】
［対応点決定処理］
図１５は、ステップＳ１７００での対応点決定部１７１の動作の詳細を示すフローチャートである。以下、ステップＳ１７００における対応点決定部１７１の動作の詳細を説明する。
【０１１２】
（ステップＳ１７１０）
対応点決定部１７１は、選択された照明位置と、焦点面における選択画素（すなわち焦点面画素）の位置とを通る直線を求める。
【０１１３】
図１６は、複数の点光源１４１と選択画素と対応点の関係を示す。対応点決定部１７１は、図３および図４に示す複数の点光源１４１のうちの１つである点光源１４１ａの照明位置と、焦点面１１００における選択画素（すなわち焦点面画素）１１０２ａとを通る直線１２００を求める。
【０１１４】
（ステップＳ１７２０）
対応点決定部１７１は、ステップＳ１７１０で求めた直線がイメージセンサ１５０の表面すなわち受光面と交差する点、すなわち対応点を求める。図１６に示す例では、対応点決定部１７１は、点光源１４１ａの照明位置と焦点面画素１１０２ａとを通る直線１２００がイメージセンサ１５０の表面と交差する点１１０３ａを、対応点として求める。これにより、点光源１４１ａの照明位置と焦点面画素（または選択画素）１１０２ａとに対して対応点１１０３ａが決定される。なお、ステップＳ１７１０において、点光源１４１ｂの照明位置と焦点面画素１１０２ａとを通る直線１２００が求められた場合には、対応点決定部１７１は対応点１１０３ｂを求める。つまり、対応点決定部１７１は、点光源１４１ｂの照明位置と焦点面画素１１０２ａとを通る直線がイメージセンサ１５０の表面と交差する点１１０３ｂを、対応点として求める。これにより、点光源１４１ｂの照明位置と焦点面画素（または選択画素）１１０２ａとに対して対応点１１０３ｂが決定される。イメージセンサ１５０の受光面上の対応点は、例えば、図１２に示すｘｙ平面上の座標値で表される。
【０１１５】
（ステップＳ１７３０）
対応点決定部１７１は、選択された照明位置に対応する画像を記憶部１１０から取得する。つまり、対応点決定部１７１は、選択された照明位置にある点光源１４１を用いて撮影された画像を記憶部１１０から取得する。具体的には、対応点決定部１７１は、図９に示した照明位置と画像との対応関係に従って、記憶部１１０に記憶された画像を撮影画像として取得する。例えば、対応点決定部１７１は、図１６に示す点光源１４１ａの照明位置に対応する画像を撮影画像として取得する。
【０１１６】
（ステップＳ１７４０）
対応点決定部１７１は、ステップＳ１７２０で計算されたイメージセンサ１５０上の対応点の、撮影画像における位置を決定する。具体的には、対応点決定部１７１は、撮影画像に含まれる画素の配列を基準に、撮影画像における対応点の位置を決定する。
【０１１７】
撮影画像における対応点の位置が、複数の画素の中間位置である場合、対応点決定部１７１は、対応点の周辺にある複数の画素の輝度値を用いた補間処理を行うことにより、撮影画像における対応点の輝度値を計算する。具体的には、対応点決定部１７１は、例えば、対応点に最も近い複数の画素（例えば４画素）のそれぞれの画素と対応点との距離を求め、対応点と各画素との間の距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対応点の輝度値を求める。
【０１１８】
図１７は、ステップＳ１７４０における対応点の輝度値の計算を説明するための模式図である。図１７において、対応点の周囲にある４つの画素Ａ〜画素Ｄのそれぞれと対応点との間の距離は、ａ、ｂ、ｃ、及びｄと表されている。この場合、対応点の輝度値Ｌｔは、以下の（式３）で求められる。
【０１１９】
【数３】
2018120363.tif 000005
【０１２０】
ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄは、それぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表す。
【０１２１】
［明暗判定処理］
図１８は、ステップＳ１８００での明暗判定部１８２の動作の詳細を示すフローチャートである。以下、ステップＳ１８００における明暗判定部１８２の動作の詳細を説明する。
【０１２２】
（ステップＳ１８１０）
明暗判定部１８２は、対応点決定部１７１によってステップＳ１７２０で決定された対応点の座標（すなわち対応位置）と、ステップＳ１７４０において用いられた、対応点の周辺にあるイメージセンサ上の複数の画素（すなわち周辺画素）の位置を取得する。
【０１２３】
（ステップＳ１８２０）
明暗判定部１８２は、ステップＳ１７２０で決定された対応点の座標が、イメージセンサ１５０の何れかの画素の座標と一致するか否かを判定する。ここで、対応点の座標がイメージセンサ１５０の何れかの画素の座標と一致する場合（ステップＳ１８２０においてｙｅｓ）、ステップＳ１８７０へ進む。一方、対応点の座標がイメージセンサ１５０の何れの画素の座標とも一致しない場合（ステップＳ１８２０においてｎｏ）、ステップＳ１８３０へ進む。
【０１２４】
（ステップＳ１８３０）
明暗判定部１８２は、明暗マップを参照し、ステップＳ１８１０で取得された周辺画素の位置ごとに、その周辺画素の位置と、ステップＳ１６００で決定された照明位置とに対応付けられた、その周辺画素の区分を決定する。この区分は、「明」、「暗」または「−」である。つまり、明暗判定部１８２は、複数の周辺画素のそれぞれについて、当該周辺画素が「明」、「暗」、および「どちらでもない（−）」のうちのいずれであるかを決定する。
【０１２５】
（ステップＳ１８４０）
明暗判定部１８２は、ステップＳ１８１０で取得された複数の周辺画素のそれぞれについて、その周辺画素と、ステップＳ１８１０で取得された対応点の位置との間の距離を計算する。
【０１２６】
（ステップＳ１８５０）
明暗判定部１８２は、ステップＳ１８３０で区分が決定された複数の周辺画素を、その区分にしたがってグループ化する。つまり、「明」のグループ、「暗」のグループおよび「どちらでもない（−）」のグループのうちの少なくとも１つのグループが生成される。そして、明暗判定部１８２は、ステップＳ１８４０で計算された距離をグループごとに平均化する。
【０１２７】
例えば、図１７に示す例において、周辺画素Ａが「明」に決定され、周辺画素Ｂが「どちらでもない」に決定され、周辺画素Ｃおよび周辺画素Ｄが「暗」に決定される。この場合、「明」のグループの平均距離はａであり、「暗」のグループの平均距離は（ｄ＋ｃ）／２であり、「どちらでもない」のグループの平均距離はｂである。
【０１２８】
（ステップＳ１８６０）
明暗判定部１８２は、ステップＳ１８５０で計算したグループごとの平均距離に基づいて、対応点の区分を決定する。つまり、明暗判定部１８２は、「明」のグループの平均距離と、「暗」のグループの平均距離と、「どちらでもない」のグループの平均距離とに基づいて、対応点が「明」、「暗」および「どちらでもない」のうちの何れの区分であるかを決定する。具体的には、明暗判定部１８２は、対応点の区分を、上記３つのグループのうちの平均距離が最も小さいグループに属する区分に決定する。すなわち、平均距離が最も小さいグループの明暗の状態が対応点の明暗の状態として採用される。
【０１２９】
例えば、図１７に示す例において、周辺画素Ａは「明」のグループに属し、周辺画素Ｂは「どちらでもない」のグループに属し、周辺画素Ｃおよび周辺画素Ｄは、「暗」のグループに属する。このような場合において、距離ａ〜ｂがａ＜ｂ＜ｄ＜ｃの関係にあるときには、「明」のグループの平均距離ａ、「暗」のグループの平均距離（ｄ＋ｃ）／２、および「どちらでもない」のグループの平均距離ｂのうち、平均距離ａが最も小さい。したがって、明暗判定部１８２は、その平均距離ａのグループの区分、すなわち「明」に、対応点の区分を決定する。
【０１３０】
なお、本実施の形態では、ステップＳ１８００において、複数の周辺画素のそれぞれの区分（「明」、「暗」または「どちらでもない」）を特定し、その区分に属するグループごとに、周辺画素と対応点との間の平均距離を求め、それらのグループの平均距離を比較した。これによって、対応点の区分を特定した。しかし、対応点の区分を特定する方法はこれ以外でも良い。例えば、周辺画素のうち、対応点に最も近い周辺画素の区分を、対応点の区分として特定または決定しても良い。
【０１３１】
［効果］
以上のように本実施の形態に係る画像生成装置１０によれば、位置の異なる複数の点光源１４１からの光を、スリットあるいは市松模様などの遮光部分と透光部分との繰り返しパタンを持つマスク１４２を通して対象物およびイメージセンサ１５０に投射する。そして、画像生成装置１０は、そのマスク１４２を透過した光である透過光によって照らし出された対象物の撮影を行う。さらに、画像生成装置１０は、その撮影によって取得された画像の各画素について、以下の１）から５）の操作を行うことで自由な焦点面における２種類の合焦画像を生成することができる。２種類の合焦画像は、直接光成分によって照らし出された対象物の合焦画像と、屈折光成分または散乱光成分によって照らし出された対象物の合焦画像である。
【０１３２】
１）焦点面を決定する。
２）焦点面画素の位置に対して照明位置ごとの対応点を求める。
３）対応点の輝度を、明暗マップにしたがって、「明」、「暗」、および「どちらでもない」、のうちの何れかの区分に分離する。
４）「明」の対応点のみの輝度を加算平均することによって、「明」の画素値を生成し、「暗」の対応点のみの輝度を加算平均することによって、「暗」の画素値を生成する。
５）「明」の画素値から「暗」の画素値を減じることによって、「明−暗」の画素値を生成する。
【０１３３】
以上の手順で得られた、直接光成分を示す「明−暗」の画素値による合焦画像では、焦点面での対象物の境界面すなわち輪郭線を明瞭にすることができる。また、屈折光成分または散乱光成分を示す「暗」の画素値による合焦画像では、焦点面での対象物の散乱物質を含む領域を明瞭にすることができる。対象物が例えば初期胚の場合、直接光成分による合焦画像では、胚膜および細胞膜による境界面が明瞭になり、屈折光成分または散乱光成分による合焦画像では、細胞の存在位置および存在領域が明瞭になる。
【０１３４】
つまり、本実施の形態では、それぞれ照明位置の異なる第１の画像および第２の画像が取得される。そして、第１の画像における暗画素に対応する画素値と、第２の画像における暗画素に対応する画素値とによって、焦点面における物質の断面を第１の態様で示す第３の画像が生成される。暗画素に対応する画素値は、「暗」の画素値であり、第３の画像は、「暗」の画素値による合焦画像である。ここで、第１の画像における暗画素は、第１の光源からの直接光が遮られた状態であり、物質による散乱光または屈折光のみによる輝度（すなわち画素値）を示す。同様に、第２の画像における暗画素は、第２の光源からの直接光が遮られた状態であり、物質による散乱光または屈折光のみによる輝度を示す。したがって、上述のように生成される第３の画像は、暗画像であって、物質による散乱光または屈折光のみによる輝度によって表現される物質の断面を示す。つまり、この第３の画像では、直接光が除外されているため、散乱光あるいは屈折光による中間の輝度の情報が多い。その結果、焦点面を調整することによって、物質の任意断面の状態が分かりやすい画像を生成することができる。
【０１３５】
また、明暗パタンの異なる第１の画像および第２の画像を取得するために、物質を照明する光源を切り替えるだけでよいため、例えば光源またはデジタルマイクロミラーデバイスなどの構造物の位置を変更する必要がなく、装置全体を小型化することができる。
【０１３６】
したがって、大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することができる。
【０１３７】
また、本実施の形態では、第１の画像における明画素に対応する画素値と、第２の画像における明画素に対応する画素値とによって、第４の画像が生成される。明画素に対応する画素値は、「明」の画素値であり、第４の画像は、「明」の画素値による合焦画像である。さらに、第３の画像と第４の画像とによって、焦点面における物質の断面を、第１の態様とは異なる第２の態様で示す第５の画像が生成される。第５の画像は、「明−暗」の画素値による合焦画像である。ここで、第１の画像における明画素は、第１の光源からの直接光を受ける状態であり、第２の画像における明画素は、第２の光源からの直接光を受ける状態である。したがって、上述のように生成される第４の画像は、明画像であって、直接光と、物質による散乱光または屈折光とを含む光による輝度によって表現される物質の断面を示す。この明画像である第４の画像と、暗画像である第５の画像との差分によって、第５の画像が生成される。この第５の画像では、第３の画像とは異なり、直接光のみによる輝度の情報が多い。その結果、焦点面を調整することによって、物質の任意断面の例えば輪郭が分かりやすい画像を第５の画像として生成することができる。
【０１３８】
また、本実施の形態では、明暗マップを参照することによって、第１の画素領域及び第２の画素領域のそれぞれが明画素または暗画素であるかが特定されるため、簡単に、その特定を行うことができ、その特定のための処理負担を軽減することができる。
【０１３９】
（実施の形態２）
実施の形態１では、焦点面画素に対して対応点を求め、その対応点の区分（すなわち明または暗など）を、イメージセンサ１５０上の画素位置ごとにあらかじめ定められた区分を示す明暗マップに従って決定した。さらに、実施の形態１では、「明」の区分および「暗」の区分のそれぞれで、その区分の対応点の輝度を加算平均して画素値を求め、「明−暗」の画素値と暗の画素値とを生成した。そして、実施の形態１では、「明−暗」の画像を直接光成分による合焦画像として生成し、「暗」の画像を屈折光または散乱光による合焦画像として生成した。
【０１４０】
これに対して、実施の形態２では、対応点を求めた後、対応点における区分、すなわち「明」、「暗」または「どちらでもない」を、計算によって判定し、「明−暗」の画像と、「暗」の画像とを生成する。
【０１４１】
［画像生成装置の構成］
図１９は、実施の形態２に係る画像生成装置２０の機能ブロック図である。図１９に示される画像生成装置２０は、撮影部１００と、記憶部１１０と、焦点面入力部１２０と、焦点面決定部１３０と、リフォーカシング処理部１７０と、明暗分離部２８０と、画像生成部１９０と、画像出力部２００とを備える。つまり、本実施の形態における画像生成装置２０は、実施の形態１の明暗分離部１８０の代わりに、明暗分離部２８０を備える。本実施の形態では、明暗分離部２８０による対応点の区分の判定方法が、実施の形態１の明暗分離部１８０による対応点の区分の判定方法と異なる。また、本実施の形態における画像生成装置２０の明暗分離部２８０以外の各構成要素は、実施の形態１における画像生成装置１０の各構成要素と同一であるため、それらの構成要素の詳細な説明を省略する。
【０１４２】
［明暗分離部の構成］
明暗分離部２８０は、少なくとも１つの制御回路、処理回路またはプロセッサによって実現される。この明暗分離部２８０は、パラメータ記憶部２８１と、明暗計算部２８２と、明暗判定部２８３とを含む。
【０１４３】
パラメータ記憶部２８１は、複数のパラメータを記憶している。これらのパラメータは、イメージセンサ１５０上の画素位置と照明位置とが決定された場合に、当該画素位置と当該照明位置とを結ぶ直線と、マスク１４２との関係を幾何的に計算するために必要なパラメータである。
【０１４４】
図２０は、パラメータ記憶部２８１に記憶されている各パラメータの一例である。例えば、パラメータ記憶部２８１に記憶されている複数のパラメータには、パラメータ［１］〜［８］がある。パラメータ［１］は、点光源１４１とイメージセンサ１５０との間の距離（例えば、１２０００μｍ）である。パラメータ［２］は、複数の点光源１４１のうちの始点となる点光源１４１の位置（すなわち照明始点位置）である。複数の点光源１４１のそれぞれが対象物を順次照明する処理は、この照明始点位置にある点光源１４１から行われる。また、この照明始点位置は、例えばｘｙ平面における座標（−１５０００，−１５０００）として示される。パラメータ［３］は、照明移動ピッチ（例えば５０μｍ）である。この照明移動ピッチは、複数の点光源１４１において点灯している点光源１４１と、その点光源１４１が消灯して次に点灯する点光源１４１との間の距離である。パラメータ［４］は、複数の点光源１４１のうちの終点となる点光源１４１の位置（すなわち照明終点位置）である。複数の点光源１４１のそれぞれが対象物を順次照明する処理は、この照明終点位置にある点光源１４１まで行われる。また、この照明終点位置は、例えばｘｙ平面における座標（１９０００，１９０００）として示される。パラメータ［５］は、マスク１４２とイメージセンサ１５０との間の距離（例えば、３５００μｍ）である。パラメータ［６］は、マスク始点位置である。マスク始点位置は、マスク１４２におけるパタンの始点の位置であって、例えば座標（−１０００，−１０００）として示される。パラメータ［７］は、マスク１４２の透光部分と遮光部分と含むマスクピッチ（例えば２５μｍ）である。なお、このマスクピッチは、上述の１周期分に対応するピッチである。パラメータ［８］は、マスク終点位置である。マスク終点位置は、マスク１４２におけるパタンの終点の位置であって、例えば座標（５０００，５０００）として示される。
【０１４５】
なお、上述の照明始点位置、照明終点位置、マスク始点位置およびマスク終点位置は、イメージセンサ１５０の受光面の左上端を原点（０，０）とするｘｙ座標系によって示される。
【０１４６】
なお、パラメータ記憶部２８１に記憶されているパラメータは、図２０に示すパラメータ以外でも良い。例えば、パラメータ記憶部２８１は、照明位置と、その照明位置におけるイメージセンサからの距離とをそれぞれパラメータとして記憶していてもよい。また、パラメータ記憶部２８１は、マスク１４２の遮光部分および透光部分の位置と、マスク１４２におけるイメージセンサ１５０からの距離とをそれぞれパラメータとして記憶していてもよい。
【０１４７】
明暗計算部２８２は、パラメータ記憶部２８１に記憶されたパラメータに基づいて、マスク１４２の遮光部分および透光部分のそれぞれの位置を計算する。
【０１４８】
明暗判定部２８３は、その算出されたマスク１４２の遮光部分および透光部分の位置を用いて、対応点決定部１７１で決定された対応点が、イメージセンサ１５０上の明の領域と暗の領域とのいずれの領域に含まれるのかを判定する。
【０１４９】
このように、本実施の形態における明暗分離部２８０は、上述の第１の光源１４１Ａ、第２の光源１４１Ｂ、イメージセンサ１５０、およびマスク１４２のそれぞれの配置構成を示すパラメータを用いた幾何学的な計算を行うことによって、焦点に対応する第１の画素領域及び第２の画素領域のそれぞれが明画素または暗画素であるかを特定する。
【０１５０】
［画像生成装置の動作］
次に、以上のように構成された画像生成装置２０の動作について説明する。
【０１５１】
図２１は、実施の形態２に係る画像生成装置２０の動作の一例を示すフローチャートである。
【０１５２】
本実施の形態に係る画像生成装置２０は、実施の形態１に係る画像生成装置１０と同様に、図１１に示すステップＳ１１００〜Ｓ１７００の処理と、ステップＳ２１００〜Ｓ２５００の処理を実行する。ここで、本実施の形態に係る画像生成装置２０は、図１１に示すステップＳ１８００、Ｓ１９００およびＳ２０００の処理の代わりに、ステップＳ３８００およびステップＳ３９００の処理を実行する。
【０１５３】
（ステップＳ３８００）
明暗計算部２８２は、ステップＳ１６００で決定された照明位置と、パラメータ記憶部２８１に記憶されたパラメータとに従って、マスク１４２上の透光部分および遮光部分のそれぞれの位置を計算する。計算手順の詳細は後述する。
【０１５４】
（ステップＳ３９００）
明暗判定部２８３は、ステップＳ３８００で計算されたマスク１４２上の透光部分および遮光部分のそれぞれの位置と、ステップＳ１７００で求められた対応点の位置と、照明位置とに基づいて、その対応点が「明」の領域に含まれるか否かを判定する。
【０１５５】
ここで、当該対応点が「明」の領域に含まれる場合（ステップＳ３９００においてｙｅｓ）、ステップＳ２１００へ進む。一方、当該対応点が「明」の領域に含まれない場合（ステップＳ３９００においてｎｏ）、ステップＳ２２００へ進む。
【０１５６】
［明暗計算処理と明暗判定処理］
図２２は、ステップＳ３８００での明暗計算部２８２の動作と、ステップＳ３９００での明暗判定部２８３の動作との詳細を示すフローチャートである。以下、ステップＳ３８００における明暗計算部２８２の動作と、ステップＳ３９００における明暗判定部２８３の動作との詳細を説明する。
【０１５７】
（ステップＳ３８１０）
明暗計算部２８２は、パラメータであるマスク始点位置、マスクピッチ、およびマスク終点位置のそれぞれをパラメータ記憶部２８１から取得する。
【０１５８】
（ステップＳ３８２０）
明暗計算部２８２は、マスク１４２の遮光部分および透光部分のそれぞれの位置を計算する。
【０１５９】
図２３は、複数の点光源１４１のうちの任意の１つと、マスク１４２と、イメージセンサ１５０との関係を示した模式図である。マスク１４２は、イメージセンサ１５０の複数の有効画素からなるセンシング範囲（すなわち有効画素領域）より大きい。本実施の形態では、マスク１４２は、ストライプのパタンを持つ。
【０１６０】
上述のマスクピッチｐは、マスク１４２における１つの遮光部分と１つの透光部分からなる領域の幅、すなわち１周期に相当する幅であって、例えば２５μｍである。マスク１４２のパタンは、上述のマスク始点位置からマスク終点位置まで存在する。イメージセンサ１５０の左上端の有効画素の位置を原点（０，０）として表す場合、マスク始点位置は、ｘ軸上で−１０００μｍの位置、すなわちイメージセンサ１５０の有効画素領域の左端から左に１０００μｍの位置である。ｘ軸方向において、マスク１４２のパタンは、透光部分から始まり、１２．５μｍの透光部分と、１２．５μｍの遮光部分とが交互に繰り返される。また、マスク終点位置が、ｘ軸上で５０００μｍの位置であって、イメージセンサ１５０の有効画素領域の右下端の位置が（４０００，４０００）である場合、マスク１４２のパタンは、イメージセンサ１５０の有効画素領域の右端から１０００μｍだけ離れた位置まで続く。
【０１６１】
上述のようにマスク１４２の透光部分および遮光部分が配置されている場合、明暗計算部２８２は、例えば位置（０，０）を透光部分の開始位置として計算する。
【０１６２】
（ステップＳ３８３０）
明暗判定部２８３は、ステップＳ１７００で決定された対応点の位置と照明位置とを対応点決定部１７１より取得する。そして、明暗判定部２８３は、パラメータ記憶部２８１から、マスク１４２とイメージセンサ１５０との間の距離ｈｍと、点光源１４１とイメージセンサ１５０との間の距離ｈｌとを取得する。次に、明暗判定部２８３は、それらの距離に基づいて、当該対応点と当該照明位置とを結ぶ直線と、マスク１４２とが交わる交点を求める。
【０１６３】
図２３に示す例において、対応点の座標は（２３００，２１００）であり、複数の点光源１４１のうちの１つの点光源１４１ｉの座標は（２０００，２１００）である。図１２に示すｘｙｚ座標系では、その対応点の座標は（２３００，２１００，０）であり、点光源１４１ｉの座標は（２０００，２１００，１２０００）である。なお、図１２に示す座標系は、イメージセンサ１５０の表面がｚ＝０のｘｙ平面であり、イメージセンサ１５０の表面に直交する方向にｚ軸が沿っている座標系である。ここで、マスク１４２とイメージセンサ１５０との間の距離ｈｍは、３５００μｍである。明暗判定部２８３は、この距離ｈｍなどを用いて得られる比率から、幾何的に、対応点と点光源１４１ｉの位置（すなわち照明位置）を結ぶ直線と、マスク１４２とが交わる交点の座標を求める。その比率は、イメージセンサ１５０から点光源１４１ｉまでの距離ｈｌ（例えば１２０００μｍ）と、点光源１４１ｉからマスク１４２までの距離との比率である。この点光源１４１ｉからマスク１４２までの距離は、イメージセンサ１５０から点光源１４１ｉまでの距離ｈｌから、イメージセンサ１５０からマスク１４２までの距離ｈｍを減じた値である。図２３に示す例では、対応点と点光源１４１ｉの照明位置とを結ぶ直線と、マスク１４２との交点は、座標（２２１２．５，２１００，３５００）と算出される。
【０１６４】
（ステップＳ３８４０）
明暗判定部２８３は、ステップＳ３８２０において明暗計算部２８２によって算出されたマスク１４２の遮光部分と透光部分の座標と、ステップＳ３８３０で算出された交点の座標とを比較し、交点が透光部分に含まれるか否かを判定する。つまり、明暗判定部２８３は、ステップＳ１７００で求められた対応点が「明」の領域に含まれるか否かを判定する。交点が透光部分に含まれる場合には、対応点は「明」の領域に含まれ、逆に、交点が遮光部分に含まれる場合には、対応点は「暗」の領域に含まれる。
【０１６５】
ここで、交点が透光部分に含まれる場合（ステップＳ３８４０においてｙｅｓ）、ステップＳ３８５０へ進む。一方、交点が透光部分に含まれない場合、すなわち交点が遮光部分に含まれる場合（ステップＳ３８４０においてｎｏ）、ステップＳ３８６０へ進む。
【０１６６】
図２３に示す例では、求められた交点（２２１２．５，２１００，３５００）は遮光部分に含まれる。つまり、交点は、透光部分と遮光部分の境目よりも遮光部分側にある。よって、この場合、ステップＳ３８４０における明暗判定部２８３の判定結果は「ｎｏ」である。
【０１６７】
（ステップＳ３８５０）
明暗判定部２８３は、判定結果として「明」を出力する。
【０１６８】
（ステップＳ３８６０）
明暗判定部２８３は、判定結果として「暗」を出力する。
【０１６９】
なお、本実施の形態では、明暗判定部２８３は、対応点の区分として、「明」と「暗」の２種類のみの中から何れかの種類を判定したが、「どちらでもない」を含めた３種類の中から何れかの種類を判定しても良い。その場合、ステップＳ３８２０において、遮光部分と透光部分の境界点からあらかじめ定められた距離までの範囲に交点が有る場合、明暗判定部２８３は、対応点の区分として「どちらでもない」を判定しても良い。あらかじめ定められた距離は、例えばマスクピッチの１０％である。また、上述の範囲において、境界線から透光部分側の端までの距離と、遮光部分側の端までの距離とは、同じ距離に設定される必要はない。例えば、透光部分側の端までの距離を、マスクピッチの２０％に設定し、遮光部分側の端までの距離を、マスクピッチの５％に設定してもよい。
【０１７０】
あるいは、明暗判定部２８３は、交点が、透光部分と遮光部分との境界線にあるときに、対応点の区分を「どちらでもない」と判定してもよい。または、明暗判定部２８３は、透光部分の中心と、遮光部分の中心との間の位置に応じて、１（明）から０（暗）までの数値を出力するシグモイド関数を設定してもよい。この場合、明暗判定部２８３は、交点の位置におけるシグモイド関数の出力（すなわち数値）が、例えば０．６以上であれば、その対応点の区分を「明」と判定し、例えば０．３以下であれば、その対応点の区分を「暗」と判定する。また、明暗判定部２８３は、シグモイド関数の出力が、０．３よりも大きく０．６未満であれば、その対応点の区分を「どちらでもない」と判定する。
【０１７１】
また、このように「どちらでもない」の区分に判定された対応点の輝度は、ステップＳ２１００およびＳ２２００の加算平均処理には用いられない。
【０１７２】
なお、本実施の形態では、明暗判定部２８３は、ステップＳ３８３０で対応点決定部１７１から照明位置の座標値を取得するが、その座標値の代わりに、照明位置に対応付けられた照明番号等を取得しても良い。その際、明暗計算部２８２は、ステップＳ３８２０におけるマスク１４２の各部分の位置の計算と同様に、その照明番号に対応付けられた照明位置を予め生成しておく。すなわち、明暗計算部２８２は、照明始点位置、照明移動ピッチ、および照明終点位置を用いて、図１２に示す座標系における各照明位置の座標を、照明番号に対応付けて生成しておく。明暗判定部２８３は、対応点決定部１７１から照明番号を取得して、明暗計算部２８２によって求められた各照明位置の座標を参照することによって、その取得した照明番号を照明位置に変換し、ステップＳ３８３０の計算を行う。
【０１７３】
また、本実施の形態では、対応点と照明位置とを結ぶ直線と、マスク１４２との交点が、マスク１４２の透光部分に含まれるか否かを判定することによって、対応点の区分を判定した。しかし、照明位置と上述のパラメータとに基づいて、イメージセンサ１５０上における「明」の領域と「暗」の領域とを算出し、対応点がその「明」の領域に含まれるか否かを判定することによって、対応点の区分を判定してもよい。
【０１７４】
［効果］
以上のように本実施の形態に係る画像生成装置２０によれば、実施の形態１と同様の効果を奏することができる。また、本実施の形態に係る画像生成装置２０では、マスク１４２の各部分の位置を幾何学的に計算することによって、対応点の区分を判定するため、実施の形態１のように、データ量の多い明暗マップを保持する必要がない。また、使用されるマスク１４２の構成、および複数の点光源１４１の配置などの撮影部１００の配置構成が固定されていない場合でも、対応点の区分を容易に判定することができる。つまり、実施の形態１では、各配置構成に応じた明暗マップを保持しておく必要があるが、本実施の形態では、パラメータを選択したり、パラメータを調整するだけで、各配置構成に対して対応点の区分を適切に判定することができる。したがって、本実施の形態では、明暗マップなどのデータを大量に保持する必要がないため、メモリ容量の削減を図ることができる。
【０１７５】
（実施の形態３）
実施の形態１では、焦点面画素に対して対応点を求め、その対応点の区分（すなわち明または暗など）を、イメージセンサ１５０上の画素位置ごとにあらかじめ定められた区分を示す明暗マップに従って決定した。実施の形態２では、対応点の区分をパラメータにより計算した。
【０１７６】
これに対して、実施の形態３では、対応点を求めた後、その対応点の区分を、対象物を含めた撮影結果から判断し、「明−暗」の画像と、「暗」の画像とを生成する。
【０１７７】
［画像生成装置の構成］
図２４は、実施の形態３に係る画像生成装置３０の機能ブロック図である。図２４に示される画像生成装置３０は、撮影部１００と、記憶部１１０と、焦点面入力部１２０と、焦点面決定部１３０と、リフォーカシング処理部１７０と、明暗分離部３８０と、画像生成部１９０と、画像出力部２００とを備える。つまり、本実施の形態における画像生成装置２０は、実施の形態１の明暗分離部１８０の代わりに、明暗分離部３８０を備える。本実施の形態では、明暗分離部３８０による対応点の区分の判定方法が、実施の形態１の明暗分離部１８０による対応点の区分の判定方法と異なる。また、本実施の形態における画像生成装置３０の明暗分離部３８０以外の各構成要素は、実施の形態１における画像生成装置１０の各構成要素と同一であるため、それらの構成要素の詳細な説明を省略する。
【０１７８】
［明暗分離部の構成］
明暗分離部３８０は、少なくとも１つの制御回路、処理回路またはプロセッサによって実現される。この明暗分離部３８０は、記憶部３８１と、閾値算出部３８２と、明暗判定部３８３とを含む。
【０１７９】
記憶部３８１は、少なくとも対応点決定部１７１から取得した対応点の輝度を記憶する。
【０１８０】
図２５は、記憶部３８１に記憶されている情報の一例である。記憶部３８１は、それぞれ座標によって示される照明位置と対応点の位置（すなわち対応位置）とを保持し、さらに、その照明位置および対応点の位置に関連付けられた対応点の輝度を画素値として保持する。
【０１８１】
閾値算出部３８２は、記憶部３８１に記憶されている照明位置、対応点の位置、および輝度に基づいて、焦点面画素に対応する全ての対応点の輝度のヒストグラムを作成する。そして、閾値算出部３８２は、焦点面画素に対応する全ての対応点の輝度の平均から標準偏差の半分を減じた値を、「暗」の上限値と決める。また、閾値算出部３８２は、輝度の平均に標準偏差の半分を足した値を、「明」の下限値と決める。これにより、上限値と下限値とが閾値として決定される。
【０１８２】
明暗判定部３８３は、閾値算出部３８２が決定した閾値に従って、記憶部３８１に記憶された全ての対応点の区分（すなわち「明」、「暗」、または「どちらでもない」）を判定する。つまり、本実施の形態における明暗判定部３８３は、複数の焦点毎に、その焦点に対応する第１の画像における第１の画素領域の輝度が、閾値よりも低いかを特定し、かつ、その焦点に対応する第２の画像における第２の画素領域の輝度が、閾値よりも低いかを特定する。
【０１８３】
なお、対応点の区分、すなわち「明」、「暗」、または「どちらでもない」を判定するための閾値の決定方法は、上記以外であっても良い。例えば、明暗判定部３８３は、全ての対応点の数のうちの３割の数の対応点を「暗」と判定し、３割の数の対応点を「明」と判定し、残りの４割の数の対応点を「どちらでもない」と判定してもよい。この「暗」と判定される対応点の輝度は何れも、「どちらでもない」と判定される何れの対応点の輝度よりも低く、「明」と判定される対応点の輝度は何れも、「どちらでもない」と判定される何れの対応点の輝度よりも高い。
【０１８４】
また、本実施の形態では、画像生成部１９０は、第１の画像における閾値よりも低い輝度の第１の画素領域と、前記第２の画像における前記閾値よりも低い輝度の第２の画素領域とを用いて、焦点面における物質の断面を第１の態様で示す第３の画像（すなわち暗画像）を生成する。さらに、画像生成部１９０は、第１の画像における閾値よりも高い輝度の第１の画素領域と、第２の画像における閾値よりも高い輝度の第２の画素領域とを用いて、第４の画像（すなわち明画像）を生成する。そして、画像生成部１９０は、第３の画像と第４の画像とを用いて、焦点面における物質の断面を、第１の態様と異なる第２の態様で示す第５の画像（すなわち、「明−暗」の画像）を生成する。
【０１８５】
［画像生成装置の動作］
次に、以上のように構成された画像生成装置３０の動作について説明する。
【０１８６】
図２６は、実施の形態３に係る画像生成装置３０の動作の一例を示すフローチャートである。
【０１８７】
本実施の形態に係る画像生成装置３０は、実施の形態１に係る画像生成装置１０と同様に、図１１に示すステップＳ１１００〜Ｓ１７００の処理と、ステップＳ２３００〜Ｓ２５００の処理を実行する。ここで、本実施の形態に係る画像生成装置３０は、図１１に示すステップＳ１８００〜Ｓ２２００の処理の代わりに、ステップＳ４１００、Ｓ４２００およびステップＳ４４００の処理を実行する。
【０１８８】
（ステップＳ４１００）
記憶部３８１は、ステップＳ１７００で計算された対応点の位置と、その対応点の輝度と、ステップＳ１６００で決定された照明位置とを含む情報を記憶する。なお、照明位置と、対応点の位置とは、座標によって表される。ステップＳ４１００の後、ステップＳ１５００へ戻る。
【０１８９】
ステップＳ１５００からステップＳ４１００を繰り返すことで、ステップＳ１４００で決定した焦点面上の画素（すなわち焦点面画素）に対して、全ての照明位置に対応するイメージセンサ１５０上の対応点の輝度を記憶することができる。
【０１９０】
（ステップＳ４２００）
ステップＳ１５００において、全ての照明位置からの照明が終了したと判定されると（ステップＳ１５００においてｙｅｓ）、閾値算出部３８２は、照明位置ごとに得られた対応点の輝度のヒストグラムを作成する。そして、閾値算出部３８２は、焦点面画素に対応する全ての対応点の輝度の平均から標準偏差の半分を減じた値を、「暗」の上限値と決める。また、閾値算出部３８２は、輝度の平均に標準偏差の半分を足した値を、「明」の下限値と決める。この上限値および下限値などの閾値の生成手順の詳細は後述する。
【０１９１】
（ステップＳ４４００）
明暗判定部３８３は、ステップＳ４２００で決定された閾値に従って、記憶部３８１に記憶された対応点の区分、すなわち対応点の輝度の明または暗を判定する。加算処理部１７２は、「明」と判定された少なくとも１つの対応点の輝度を積算し、「暗」と判定された少なくとも１つの対応点の輝度を積算する。つまり、加算処理部１７２は、１つ以上の「明」の対応点と、１つ以上の「暗」の対応点のそれぞれについて、「明」の輝度の加算値と、「暗」の輝度の加算値とを計算する。明と暗の加算処理の詳細は後述する。
【０１９２】
［明暗閾値生成処理］
図２７は、ステップＳ４２００での閾値算出部３８２の動作の詳細を示すフローチャートである。以下、ステップＳ４２００における閾値算出部３８２の動作の詳細を説明する。
【０１９３】
（ステップＳ４２１０）
閾値算出部３８２は、記憶部３８１に記憶された、焦点面画素に対応する全ての対応点の輝度の平均と標準偏差とを求める。
【０１９４】
（ステップＳ４２２０）
閾値算出部３８２は、ステップＳ４２１０で求めた平均と標準偏差により、｛平均＋０．５×標準偏差｝を、「明」の下限値として決定する。また、閾値算出部３８２は、｛平均−０．５×標準偏差｝を、「暗」の上限値として決定する。したがって、対応点の輝度＞（平均＋０．５×標準偏差）の場合には、その対応点は「明」と判定され、対応点の輝度＜（平均−０．５×標準偏差）の場合には、その対応点は「暗」と判定される。また、（平均−０．５×標準偏差）≦対応点の輝度≦（平均＋０．５×標準偏差）の場合には、その対応点は「どちらでもない」と判定される。
【０１９５】
図２８は、焦点面画素に対応する全ての対応点の輝度の分布の一例である。「どちらでもない」の範囲を決定するために標準偏差に乗算される係数（本実施の形態では、０．５）は、経験的に得た値である。
【０１９６】
［明暗輝度値計算］
図２９は、ステップＳ４４００での明暗判定部３８３と加算処理部１７２との動作の詳細を示すフローチャートである。以下、ステップＳ４４００における明暗判定部３８３と加算処理部１７２との動作の詳細を説明する。
【０１９７】
（ステップＳ４４１０）
明暗判定部３８３は、焦点面画素に対する全ての対応点に対して加算処理が終了したか否かを判定する。
【０１９８】
ここで、焦点面画素に対する全ての対応点に対して加算処理が終了している場合（ステップＳ４４１０においてｙｅｓ）、ステップＳ２３００へ進む。一方、焦点面画素に対する全ての対応点のうちのいずれかの加算処理が終了していない場合（ステップＳ４４１０においてｎｏ）、ステップＳ４４２０へ進む。
【０１９９】
（ステップＳ４４２０）
明暗判定部３８３は、記憶部３８１に記憶された、焦点面画素に対する複数の対応点の中から、まだ加算処理が行われていない対応点を選択する。
【０２００】
（ステップＳ４４３０）
明暗判定部３８３は、ステップＳ４４２０で選択した対応点の輝度を記憶部３８１より取得し、ステップＳ４２００で決定された閾値（すなわち上限値および下限値）にしたがって、その対応点の輝度が、「明」、「暗」、および「とちらでもない」の何れであるかを判定する。つまり、対応点の区分が判定される。
【０２０１】
ここで、対応点の輝度が「どちらでもない」である場合（ステップＳ４４３０においてｙｅｓ）、ステップＳ４４１０へ戻る。一方、対応点の輝度が「どちらでもない」ではない場合、すなわち、「明」あるいは「暗」である場合（ステップＳ４４３０においてｎｏ）、ステップＳ４４４０へ進む。
【０２０２】
（ステップＳ４４４０）
明暗判定部３８３は、ステップＳ４２００で決定された閾値にしたがって、対応点の輝度が「明」であるか否かを判定する。
【０２０３】
ここで、対応点の輝度が「明」である場合（ステップＳ４４４０においてｙｅｓ）、ステップＳ４４５０へ進む。一方、対応点の輝度が「明」ではない場合、すなわち、「暗」である場合（ステップＳ４４４０においてｎｏ）、ステップＳ４４６０へ進む。
【０２０４】
（ステップＳ４４５０）
加算処理部１７２は、対応点の輝度値を、「明」の対応点の位置での輝度値のみ加算する過程で加算する。つまり、加算処理部１７２は、直前のステップＳ４４４０において「明」と判定された対応点の輝度値を、それまでに「明」と判定された対応点の輝度値のみの過去の積算値に加算する。ステップＳ４４５０の処理後、ステップＳ４４１０へ戻る。
【０２０５】
（ステップＳ４４６０）
加算処理部１７２は、対応点の輝度値を、「暗」の対応点の位置での輝度値のみ加算する過程で加算する。つまり、加算処理部１７２は、直前のステップＳ４４４０において「暗」と判定された対応点の輝度値を、それまでに「暗」と判定された対応点の輝度値のみの過去の積算値に加算する。ステップＳ４４６０の処理後、ステップＳ４４１０へ戻る。
【０２０６】
ステップＳ４４１０からステップＳ４４６０を繰り返すことで、ステップＳ１４００で決定された１つの焦点面画素に対して、「明」の対応点のみによる輝度の加算値と、「暗」の対応点のみによる輝度の加算値とを求めることが出来る。
【０２０７】
［効果］
以上のように本実施の形態に係る画像生成装置３０によれば、実施の形態１と同様の効果を奏することができる。また、本実施の形態に係る画像生成装置３０では、焦点面画素に対応する全ての対応点の輝度分布にしたがって閾値を決定し、その閾値にしたがって、対応点の区分を判定する。すなわち対応点の輝度が「明」、「暗」または「どちらでもない」に判定される。このように、明暗の判定基準である閾値を、撮影画像の輝度分布から設定することにより、撮影画像の輝度のダイナミックレンジに応じて、対応点の区分を判定することができる。つまり、撮影画像の全体の輝度の変動、対象物の状態による輝度分布の変動に応じて、対応点の区分が不適切に判定されてしまうことを抑えることができる。その結果、撮影画像の輝度差をよりよく反映した合焦画像を生成することができる。
【０２０８】
（その他の実施の形態）
以上、一つまたは複数の態様に係る画像生成装置について、各実施の形態およびその変形例に基づいて説明したが、本開示は、これらの各実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記各実施の形態またはその変形例に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
【０２０９】
例えば、上記実施の形態１〜３では、「明−暗」の画像と、「暗」の画像とを生成したが、「暗」の画像だけを生成してもよい。
【０２１０】
なお、上記各実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態または各変形例の画像生成装置などを実現するソフトウェアプログラムは、図１１、図１４、図１５、図１８、図２１、図２２、図２６、図２７、および図２９に示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。
【０２１１】
また、本開示において、ユニット、デバイスの全部又は一部、又は図１〜図３、図１９、および図２４に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ  ｓｃａｌｅ  ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ  ｌａｒｇｅ  ｓｃａｌｅ  ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ  ｌａｒｇｅ  ｓｃａｌｅ  ｉｎｔｅｇｒａｔｉｏｎ）  と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ  （ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅも同じ目的で使うことができる。
【０２１２】
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行された場合に、ソフトウエアは、ソフトウエア内の特定の機能を、処理装置（ｐｒｏｃｅｓｓｏｒ）と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。
【産業上の利用可能性】
【０２１３】
本開示は、例えば培養中の細胞あるいは胚等の細胞塊の画像を生成する装置などに広く利用可能であり、インキュベータ内で対象物を撮影する際に有用である。
【符号の説明】
【０２１４】
１０、２０、３０    画像生成装置
１００    撮影部
１１０、３８１    記憶部
１２０    焦点面入力部
１４０    照明器
１４１      点光源
１４１Ａ    点光源
１４１Ｂ    点光源
１４２      マスク
１５０    イメージセンサ
１６０    制御部
１７０    リフォーカシング処理部
１７１    対応点決定部
１７２    加算処理部
１８０、２８０、３８０    明暗分離部
１８１    明暗マップ保持部
１８２、２８３、３８３    明暗判定部
１９０    画像生成部
２００    画像出力部
２８１    パラメータ記憶部
２８２    明暗計算部
３００    処理回路
３８２    閾値算出部
【図１】
2018120363.tif 000006
【図２】
2018120363.tif 000007
【図３】
2018120363.tif 000008
【図４】
2018120363.tif 000009
【図５】
2018120363.tif 000010
【図６】
2018120363.tif 000011
【図７】
2018120363.tif 000012
【図８】
2018120363.tif 000013
【図９】
2018120363.tif 000014
【図１０】
2018120363.tif 000015
【図１１】
2018120363.tif 000016
【図１２】
2018120363.tif 000017
【図１３】
2018120363.tif 000018
【図１４】
2018120363.tif 000019
【図１５】
2018120363.tif 000020
【図１６】
2018120363.tif 000021
【図１７】
2018120363.tif 000022
【図１８】
2018120363.tif 000023
【図１９】
2018120363.tif 000024
【図２０】
2018120363.tif 000025
【図２１】
2018120363.tif 000026
【図２２】
2018120363.tif 000027
【図２３】
2018120363.tif 000028
【図２４】
2018120363.tif 000029
【図２５】
2018120363.tif 000030
【図２６】
2018120363.tif 000031
【図２７】
2018120363.tif 000032
【図２８】
2018120363.tif 000033
【図２９】
2018120363.tif 000034