(57)【要約】【課題】立体的に重なり合う複数の半透明物体で構成される被写体の観察に適した画像を出力することができる画像出力装置の提供。【解決手段】立体的に重なり合う複数の半透明物体で構成される被写体に向けて、互いに交差する光束を実質的に含まない照明光を、前記被写体を基準にして複数の異なる照明位置から順次出射する照明部１１０と、前記複数の照明位置の各々から出射され、前記被写体を透過した前記照明光によって表される前記被写体の複数の画像を取得する撮像素子１２０と、撮像素子１２０により取得された前記複数の画像の中から、前記画像中の輝度分布に基づいて前記半透明物体の前記画像の撮像方向での重複度合いが所定の条件を満たす１つ以上の画像を決定する画像決定部２３０と、画像決定部２３０により決定された前記画像を出力する出力部３００と、を備える。【選択図】図１
2016119890.tif 000002
【特許請求の範囲】
【請求項１】
立体的に重なり合う複数の半透明物体で構成されるに被写体に向けて、互いに交差する光束を実質的に含まない照明光を、前記被写体を基準にして異なる複数の照明位置から順次出射する照明部と、
前記複数の照明位置の各々から出射され、前記被写体を透過した前記照明光によって表される前記被写体の複数の画像を取得する撮像素子と、
前記撮像素子により取得された前記複数の画像の中から、前記画像中の輝度分布に基づいて、前記半透明物体の前記画像の撮像方向での重複度合いが所定の条件を満たす１つ以上の画像を決定する画像決定部と、
前記画像決定部により決定された前記画像を出力する出力部と、
を備える画像出力装置。
【請求項２】
前記被写体は、液体中に配置され、前記液体とともに容器内に保持され、
前記画像出力装置は、前記照明部から前記撮像素子までの前記照明光の光路上に合焦のための光学素子を有さず、
前記画像出力装置は、さらに、前記被写体と前記撮像素子との距離が所定の距離以内であるか否かを判定する撮像開始判定部を備え、
前記撮像開始判定部により前記被写体と前記撮像素子との距離が所定の距離以内であると判定された後、前記照明部は、前記照明光を前記複数の異なる照明位置から順次出射し、前記撮像素子は、前記照明光によって表される前記被写体の前記複数の画像を取得する、
請求項１に記載の画像出力装置。
【請求項３】
前記画像出力装置は、前記照明部及び前記撮像素子が前記照明光の出射及び前記複数の画像の取得を開始する撮像開始時刻よりも前の第１の時刻、及び前記撮像開始時刻よりも前でかつ前記第１の時刻よりも後の第２の時刻において、前記照明部及び前記撮像素子を用いて、前記被写体の第１の予備画像及び第２の予備画像をそれぞれ取得し、
前記撮像開始判定部は、前記第１の予備画像と前記第２の予備画像との類似に基づき、前記第２の時刻において前記被写体と前記撮像素子との距離が前記所定の距離以内であるか否かを判定する、
請求項２に記載の画像出力装置。
【請求項４】
前記画像出力装置は、前記照明部及び前記撮像素子が前記照明光の出射及び前記複数の画像の取得を開始する前に、前記照明部及び前記撮像素子を用いて、前記被写体の予備画像を取得し、
前記撮像開始判定部は、前記予備画像中の輝度分布の尖度が所定の閾値以上である場合に、前記被写体と前記撮像素子との距離が前記所定の距離以内であると判定する、
請求項２に記載の画像出力装置。
【請求項５】
前記撮像開始判定部は、前記被写体が前記容器の底に到達したことを検知することにより、前記被写体と前記撮像素子との距離が前記所定の距離以内であると判定する、
請求項２に記載の画像出力装置。
【請求項６】
前記被写体は、姿勢及び位置が固定された容器内に保持されており、
前記照明部は、前記複数の異なる照明位置を移動自在に構成され、
前記撮像素子は、前記照明部に対する姿勢及び位置を保ったまま、前記容器を挟んで前記照明部と対向する位置を移動自在に構成されている、
請求項１から５のいずれか１項に記載の画像出力装置。
【請求項７】
前記被写体は、姿勢及び位置が固定された容器内に保持されており、
前記照明部は、前記複数の異なる照明位置を移動自在に構成され、
前記撮像素子は、前記容器を挟んで前記複数の照明位置の何れとも対向する姿勢及び位置に固定されている、
請求項１から５のいずれか１項に記載の画像出力装置。
【請求項８】
前記照明光は、平行光または疑似コヒーレント光である、
請求項１から７のいずれか１項に記載の画像出力装置。
【請求項９】
前記画像決定部は、前記複数の画像の中から、前記画像中の前記半透明物体の重複度合いがより小さい所定個数までの画像を、表示画像として決定する、
請求項１から８のいずれか１項に記載の画像出力装置。
【請求項１０】
前記画像決定部は、前記複数の画像の中から、画像中の輝度のダイナミックレンジがより小さい所定個数までの画像、または画像中の輝度の最小値がより大きい所定個数までの画像を、前記表示画像として決定する、
請求項９に記載の画像出力装置。
【請求項１１】
前記画像出力装置は、さらに、前記照明位置による前記撮像素子の受光面での照度の変動に応じて前記複数の画像の輝度分布を補正する輝度分布解析部を備える、
請求項１から１０のいずれか１項に記載の画像出力装置。
【請求項１２】
前記画像決定部は、前記表示画像を決定するとともに、前記複数の画像の中から、画像中の輝度のダイナミックレンジが最大の画像、または画像中の輝度の最小値が最小の画像を、自動計数用画像として決定し、
前記画像出力装置は、さらに、
前記自動計数用画像中の前記半透明物体の数を計数する計数部を備え、
前記出力部は、前記表示画像と、前記計数部により計数された前記半透明物体の数とを出力する、
請求項１から１１のいずれかに記載の画像出力装置。
【請求項１３】
前記被写体は初期胚であり、前記複数の半透明物体は前記初期胚中の複数の細胞であり、
前記画像出力装置は、さらに、
前記初期胚の複数の成長段階の各々について、前記初期胚を構成する細胞の標準的な個数と、前記細胞の立体的な重複度合いと、を表す標準細胞情報を記憶している標準細胞情報記憶部と、
前記画像決定部により決定された前記画像中の細胞の個数に基づいて前記画像中の前記初期胚の成長段階を推定し、推定された前記成長段階について前記標準細胞情報で表される前記重複度合いと前記画像中の細胞の前記画像の撮像方向での重複度合いとが合致する場合に、前記画像の撮像方向を基準にして限定された撮像方向を設定する撮像方向設定部と、を備え、
後続する成長段階において前記初期胚を撮像する際に、前記照明部は、前記照明光を前記複数の異なる照明位置のうち、前記設定された撮像方向に対応する照明位置から順次出射し、前記撮像素子は、前記照明光によって表される前記被写体の前記複数の画像を取得する、
請求項１に記載の画像出力装置。
【請求項１４】
照明部と撮像素子と画像決定部と出力部とを備える画像出力装置によって実行される画像出力方法であって、
前記照明部が、立体的に重なり合う複数の半透明物体で構成される被写体に向けて、互いに交差する光束を実質的に含まない照明光を、複数の異なる照明位置から順次出射し、
前記撮像素子が、前記複数の照明位置の各々から出射され、前記被写体を透過した前記照明光によって表される前記被写体の複数の画像を取得し、
前記画像決定部が、前記撮像素子により取得された前記複数の画像の中から、前記画像中の輝度分布に基づいて前記半透明物体の前記画像の撮像方向での重複度合いが所定の条件を満たす１つ以上の画像を決定し、
前記出力部が、前記画像決定部により決定された前記画像を出力する、
画像出力方法。
【請求項１５】
前記被写体は、液体中に配置され、前記液体とともに容器内に保持され、
前記画像出力装置は、前記照明から前記撮像素子までの前記照明光の光路上に合焦のためのレンズを有さず、さらに、撮像開始判定部を備え、
前記画像出力方法は、
前記撮像開始判定部が、前記被写体と前記撮像素子との距離が所定の距離以内であるか否かを判定し、
前記撮像開始判定部により前記被写体と前記撮像素子との距離が所定の距離以内であると判定された後、
前記照明部が、前記照明光を前記複数の異なる照明位置から順次出射し、
前記撮像素子が、前記照明光によって表される前記被写体の前記複数の画像を取得する、
請求項１４に記載の画像出力方法。
【請求項１６】
請求項１４に記載の画像出力方法を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体的に重なり合う複数の半透明物体を撮像する画像出力装置、画像出力方法、及びプログラムに関する。
【背景技術】
【０００２】
培養細胞の計数は、化学物質のスクリーニングや臨床場面等での細胞観察において重要である。文献１には試料を撮影した画像から細胞の輪郭を認識して細胞の自動計数を行う技術が開示されている。文献２には光軸方向に各異なるフォーカス位置で試料を撮影した複数枚の画像から当該試料の立体構造の情報を取得する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０７９１９６号公報
【特許文献２】特開２０１４−０４４０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、培養細胞の計数は機械によって行われるのみでなく、臨床場面では人が顕微鏡下での観察判断に基づいて培養細胞を数えることもある。そのため、計数を行う機械や人に、正確な計数結果が容易に得られる適した画像を提示する技術が要求される。
【０００５】
このような要求に鑑みて、開示される画像出力装置は、培養細胞を計数するために適した顕微鏡画像、より一般的には、立体的に重なり合う複数の半透明物体で構成される被写体の観察に適した画像、を出力することができる画像出力装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る画像出力装置は、立体的に重なり合う複数の半透明物体で構成される被写体に向けて、互いに交差する光束を実質的に含まない照明光を、前記被写体を基準にして複数の異なる照明位置から順次出射する照明部と、前記複数の照明位置の各々から出射され、前記被写体を透過した前記照明光によって表される前記被写体の複数の画像を取得する撮像素子と、前記撮像素子により取得された前記複数の画像の中から、前記画像中の輝度分布に基づいて、前記半透明物体の前記画像の撮像方向での重複度合いが所定の条件を満たす１つ以上の画像を決定する画像決定部と、前記画像決定部により決定された前記画像を出力する出力部と、を備える。
【発明の効果】
【０００７】
本開示によれば、立体的に重なり合う複数の半透明物体で構成される被写体の観察に適した画像を出力することができる画像出力装置が得られる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る画像出力装置の機能的な構成の一例を示すブロック図である。
【図２】実施の形態１に係る撮像部の構造の一例を模式的に表す概念図である。
【図３】実施の形態１に係る撮像部の可動機構の一例を模式的に表す概念図である。
【図４】実施の形態１に係る輝度値のヒストグラムの一例を示すグラフである。
【図５】実施の形態１に係る画像出力装置の動作の一例を示すフローチャートである。
【図６】実施の形態１の変形例１に係る撮像部の構造の一例を模式的に表す概念図である。
【図７Ａ】照明位置に応じた照度の変動を説明する図である。
【図７Ｂ】照明位置に応じた照度の変動を説明する図である。
【図８】実施の形態１の変形例５に係る画像出力装置の機能的な構成の一例を示すブロック図である。
【図９】実施の形態１の変形例５に係る画像出力装置の動作の一例を示すフローチャートである。
【図１０】実施の形態２に係る画像出力装置の機能的な構成の一例を示すブロック図である。
【図１１】実施の形態２に係る画像出力装置の動作の一例を示すフローチャートである。
【図１２Ａ】細胞の立体的な重なり合いを説明する図である。
【図１２Ｂ】細胞の立体的な重なり合いを説明する図である。
【図１２Ｃ】細胞の立体的な重なり合いを説明する図である。
【図１３】実施の形態３に係る画像出力装置の機能的な構成の一例を示すブロック図である。
【図１４】実施の形態３に係る画像出力装置の動作の一例を示すフローチャートである。
【図１５】実施の形態３における撮像細胞情報の一例を示す図である。
【図１６】実施の形態３における標準細胞情報の一例を示す図である。
【図１７】実施の形態３に係る画像出力装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
（本開示に係る一態様を考案するに至った経緯）
本発明者は、背景技術の欄において記載した培養細胞の計数に関し、以下の問題が生じることを見出した。
【００１０】
培養細胞は、１層に広がるのみでなく、胚や細胞塊のように立体的に重なり合う場合がある。顕微鏡は被写界深度が浅いため、光軸方向に重なり合っている複数の細胞を観察した顕微鏡画像において、それらの細胞の輪郭は途中で途切れ、他の細胞とつながっているかのように見えることがある。
【００１１】
そのような顕微鏡画像に基づいて、文献１に開示される輪郭線による細胞の自動計数を行う場合、正確な計数結果を得ることが困難である。
【００１２】
当該問題は、機械によって自動計数を行う場合だけでなく、人が顕微鏡画像を目視して細胞を数える場合にも生じる。
【００１３】
文献２では、顕微鏡の被写界深度が浅いことを補うため、各異なるフォーカス位置で複数枚の画像を取得し、フォーカス位置による画像の変化から重なりの情報（具体的には、画像特徴量）を構成する方法が開示されている。しかしながら、人が、当該方法に倣ってフォーカス位置の異なる複数枚の画像を見比べて全体の細胞数を数えることは、煩雑に過ぎて実際的とは言えない。
【００１４】
以上の考察により、本願発明者らは、以下の発明の各態様を考案するに至った。
【００１５】
本開示の一態様に係る画像出力装置は、立体的に重なり合う複数の半透明物体で構成される被写体に向けて、互いに交差する光束を実質的に含まない照明光を、前記被写体を基準にして異なる複数の照明位置から順次出射する照明部と、前記複数の照明位置の各々から出射され、前記被写体を透過した前記照明光によって表される前記被写体の複数の画像を取得する撮像素子と、前記撮像素子により取得された前記複数の画像の中から、前記画像中の輝度分布に基づいて、前記半透明物体の前記画像の撮像方向での重複度合いが所定の条件を満たす１つ以上の画像を決定する画像決定部と、前記画像決定部により決定された前記画像を出力する出力部と、を備える。
【００１６】
ここで、前記画像中に表される前記半透明物体の重複度合いは、画像の撮像方向、つまり前記照明位置に応じて異なる。撮像方向での前記半透明物体の重複度合いが大きい画像で人が前記被写体を観察すると、重複のために一つ一つの半透明物体の形状が判別しづらく、観察が困難になる場合がある。他方、前記画像中の輝度分布に基づいて前記半透明物体の個数を数える自動計数方法では、前記画像中に表される前記半透明物体の重複を積極的に利用する場合もある。
【００１７】
本態様によると、複数の異なる照明位置の各々から出射された照明光によって表される複数の被写体の画像の中から、画像中に表される半透明物体の重複度合いが所定の条件を満たす１以上の画像が出力される。前記所定の条件は、画像の用途によって異なってもよい。例えば、人による前記被写体の観察用には、前記半透明物体の重複度合いがより小さい画像が出力される。また、前記半透明物質の前記自動計数用には、前記半透明物体の重複度合いがより大きい画像が出力される。その結果、用途に適した前記被写体の画像が出力される。
【００１８】
また、例えば、前記被写体は、液体中に配置され、前記液体とともに容器内に保持され、前記画像出力装置は、前記照明部から前記撮像素子までの前記照明光の光路上に合焦のための光学素子を有さず、前記画像出力装置は、さらに、前記被写体と前記撮像素子との距離が所定の距離以内であるか否かを判定する撮像開始判定部を備え、前記撮像開始判定部により前記被写体と前記撮像素子との距離が所定の距離以内であると判定された後、前記照明部は、前記照明光を前記複数の異なる照明位置から順次出射し、前記撮像素子は、前記照明光によって表される前記被写体の前記複数の画像を取得してもよい。
【００１９】
本態様によると、前記画像出力装置は、前記照明部から前記撮像素子までの前記照明光の光路上に合焦のための光学素子を有しない、いわゆるレンズレス光学系により構成される。レンズレス光学系では、ピント調整の考え方はなく、前記被写体と前記撮像素子との距離が近いほど、前記被写体のより鮮明な画像が撮像される。そこで、前記被写体と前記撮像素子との距離が所定の距離以内であると判定された後、前記照明部は、前記照明光を前記複数の異なる照明位置から順次出射し、前記撮像素子は、前記照明光によって表される前記被写体の前記複数の画像を取得する。
【００２０】
これにより、前記被写体と前記撮像素子との距離が前記所定の距離以上離れているときは、前記照明部は照明光を出射せず、前記被写体は撮像されない。つまり、前記被写体と前記撮像素子との距離が離れていることに起因して前記被写体のぼけ画像が撮像されることが防止される。
【００２１】
また、例えば、前記画像出力装置は、前記照明部及び前記撮像素子が前記照明光の出射及び前記複数の画像の取得を開始する撮像開始時刻よりも前の第１の時刻、及び前記撮像開始時刻よりも前でかつ前記第１の時刻よりも後の第２の時刻において、前記照明部及び前記撮像素子を用いて、前記被写体の第１の予備画像及び第２の予備画像をそれぞれ取得し、前記撮像開始判定部は、前記第１の予備画像と前記第２の予備画像との類似に基づき、前記第２の時刻において前記被写体と前記撮像素子との距離が前記所定の距離以内であるか否かを判定してもよい。
【００２２】
本態様によると、前記第１の予備画像と前記第２の予備画像との類似から、例えば、前記被写体が前記容器の底に到達して静止したことを検知することにより、前記被写体と前記撮像素子との距離が前記所定の距離以内であると判定できる。
【００２３】
また、例えば前記画像出力装置は、前記照明部及び前記撮像素子が前記照明光の出射及び前記複数の画像の取得を開始する前に、前記照明部及び前記撮像素子を用いて、前記被写体の予備画像を取得し、前記撮像開始判定部は、前記予備画像中の輝度分布の尖度が所定の閾値以上である場合に、前記被写体と前記撮像素子との距離が前記所定の距離以内であると判定してもよい。
【００２４】
本態様によると、前記予備画像中の輝度分布の尖度に基づいて、前記被写体の画像が鮮明であることを判断することにより、前記被写体と前記撮像素子との距離が前記所定の距離以内であると判定できる。
【００２５】
また、例えば前記撮像開始判定部は、前記被写体が前記容器の底に到達したことを検知することにより、前記被写体と前記撮像素子との距離が前記所定の距離以内であると判定してもよい。
【００２６】
本態様によると、前記被写体が前記容器の底に到達したことにより、前記被写体と前記撮像素子との距離が前記所定の距離以内であると判定できる。
【００２７】
また、例えば、前記被写体は、姿勢及び位置が固定された容器内に保持されており、前記照明部は、前記複数の異なる照明位置を移動自在に構成され、前記撮像素子は、前記照明部に対する姿勢及び位置を保ったまま、前記容器を挟んで前記照明部と対向する位置を移動自在に構成されていてもよい。
【００２８】
本態様によると、前記照明部の姿勢及び位置が移動しても、前記撮像素子と前記照明部との相対的な位置関係が変わらない。そのため、撮影された画像に対して、前記撮像素子と前記照明部との位置関係に基づいた補正処理を行なう必要がない。
【００２９】
また、例えば、前記被写体は、姿勢及び位置が固定された容器内に保持されており、前記照明部は、前記複数の異なる照明位置を移動自在に構成され、前記撮像素子は、前記容器を挟んで前記複数の照明位置の何れとも対向する姿勢及び位置に固定されていてもよい。
【００３０】
本態様によると、前記撮像素子と前記容器とが固定されているため、前記照明部が移動しても、前記撮像素子と前記容器との距離は一定に保たれる。そのため、撮像される複数の画像いずれについても前記被写体の鮮明な画像を取得し得る。
【００３１】
また、例えば、前記照明光は、平行光または疑似コヒーレント光であってもよい。
【００３２】
本態様によると、前記照明光は、平行光または疑似コヒーレント光で実現される。
【００３３】
また、例えば、前記画像決定部は、前記複数の画像の中から、前記画像中の前記半透明物体の重複度合いがより小さい所定個数までの画像を、表示画像として決定してもよい。
【００３４】
本態様によると、前記複数の画像の中から、人による観察に適していると考えられる前記所定個数までの画像を、前記表示画像として決定することができる。
【００３５】
また、例えば、前記画像決定部は、前記複数の画像の中から、画像中の輝度のダイナミックレンジがより小さい所定個数までの画像、または画像中の輝度の最小値がより大きい所定個数までの画像を、前記表示画像として決定してもよい。
【００３６】
本態様によると、前記画像中の輝度のダイナミックレンジに基づいて、前記表示画像を決定することができる。
【００３７】
また、例えば、前記画像出力装置は、さらに、前記照明位置による前記撮像素子の受光面での照度の変動に応じて前記複数の画像の輝度分布を補正する輝度分布解析部を備えてもよい。
【００３８】
本態様によると、前記照明位置に応じて前記撮像素子の受光面での照度が変動する場合でも、前記複数の画像相互に比較可能な補正後の輝度分布を得ることができる。
【００３９】
また、例えば、前記前記画像決定部は、前記表示画像を決定するとともに、前記複数の画像の中から、画像中の輝度のダイナミックレンジが最大の画像、または画像中の輝度の最小値が最小の画像を、自動計数用画像として決定し、前記画像出力装置は、さらに、前記自動計数用画像中の前記半透明物体の数を計数する計数部を備え、前記出力部は、前記表示画像と、前記計数部により計数された前記半透明物体の数とを出力してもよい。
【００４０】
本態様によると、自動計数処理に適していると考えられる前記自動計数用画像を用いて自動計数された前記半透明物体の数を、前記表示画像とともに出力することができる。
【００４１】
また、例えば、前記被写体は初期胚であり、前記複数の半透明物体は前記初期胚中の複数の細胞であり、前記画像出力装置は、さらに、前記初期胚の複数の成長段階の各々について、前記初期胚を構成する細胞の標準的な個数と、前記細胞の立体的な重複度合いと、を表す標準細胞情報を記憶している標準細胞情報記憶部と、前記画像決定部により決定された前記画像中の細胞の個数に基づいて前記画像中の前記初期胚の成長段階を推定し、推定された前記成長段階について前記標準細胞情報で表される前記重複度合いと前記画像中の細胞の前記画像の撮像方向での重複度合いとが合致する場合に、前記画像の撮像方向を基準にして限定された撮像方向を設定する撮像方向設定部と、を備え、後続する成長段階において前記初期胚を撮像する際に、前記照明部は、前記照明光を前記複数の異なる照明位置のうち、前記設定された撮像方向に対応する照明位置から順次出射し、前記撮像素子は、前記照明光によって表される前記被写体の前記複数の画像を取得してもよい。
【００４２】
本態様によると、前記被写体が初期胚である場合に、前記複数の画像の中から決定された前記画像の撮像方向を基準にして、後続する成長段階において前記初期胚を撮像する方向を限定する。これにより、撮像される画像数が減るので、撮像や輝度分布の解析を行うための時間が削減され、画像出力に要する時間が短縮される。
【００４３】
また、撮像方向の限定は、前記標準細胞情報で表される前記重複度合いと前記複数の画像の中から決定された前記画像中の細胞の重複度合いとが合致する場合に行われる。これにより、例えば、前記画像中の細胞の重複度合いが、推定される成長段階において期待される重複度合いから大きく異なっているなど、後続する成長段階において被写体の撮像方向を限定することが不適切と考えられる状況下では、撮像方向を限定せず、全方向での撮像を行うことができる。
【００４４】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００４５】
以下、本発明の一態様に係る画像出力装置について、図面を参照しながら具体的に説明する。
【００４６】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４７】
（実施の形態１）
実施の形態１では、細胞塊のような複数個の半透明物質が３次元的に重なっている被写体を撮像して得た画像を出力する画像出力装置について説明する。実施の形態１に係る画像出力装置は、前記被写体を異なる複数の撮像方向で撮像して得た複数の画像の中から、前記画像中の前記半透明物体の重複度合いが所定の条件を満たす１つ以上の画像を出力する。前記所定の条件は、画像の用途によって異なってもよい。例えば、人による前記被写体の観察用には、前記半透明物体の重複度合いがより小さい画像が出力され、また、前記半透明物質の前記自動計数用には、前記半透明物体の重複度合いがより大きい画像が出力されてもよい。
【００４８】
図１は、実施の形態１に係る画像出力装置の機能的な構成の一例を示すブロック図である。図１に示される画像出力装置１０は、撮像部１００と、制御部２００と、出力部３００とを備える。
【００４９】
撮像部１００は、前記被写体に向けて照明光を出射し、前記照明光による前記被写体の画像を取得する部であり、照明部１１０と、撮像素子１２０とを有する。
【００５０】
照明部１１０は、前記被写体に向けて、非交錯照明光を、前記被写体を基準にして異なる複数の照明位置から順次出射する。非交錯照明光とは、互いに交差する光束を実質的に含まない照明光であり、撮像素子の各画素に到達する光線の到来方向が一意に決定される光である。非交錯照明光は、例えば、平行光や擬似コヒーレント光で実現され得る。照明部１１０は、例えば、光束の出射方向を正面方向のみに制限した面光源や、コリメートレンズと組み合わされるかまたは被写体との距離を十分に離した点光源で構成され、実質的な平行光を出射してもよい。また、照明部１１０は、例えば、単色光源とピンホールとで構成され、前記単色光源から出射される単色光を前記ピンホールに通すことにより生成した疑似コヒーレント光を出射してもよい。
【００５１】
撮像素子１２０は、照明部１１０から前記複数の照明位置の各々において出射され、前記被写体を透過した前記照明光によって表される前記被写体の複数の画像を取得する。撮像素子１２０は、例えば、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサで構成されてもよい。
【００５２】
ここで、撮像部１００が前記被写体を複数の撮像方向で撮像するための構造について説明する。
【００５３】
図２は、撮像部１００の構造の一例を模式的に表す概念図であり、撮像部１００を、側方及び上方から見た模式的な構造が示されている。
【００５４】
図２において、細胞塊９０１が被写体であり、細胞塊９０１は培養液９０２中に配置され、培養液９０２とともに培養容器９０３内に保持されている。
【００５５】
培養容器９０３は、姿勢及び位置が固定されており、照明部１１０は、複数の異なる照明位置を移動自在に構成され、撮像素子１２０は、照明部１１０に対する姿勢及び位置を保ったまま、培養容器９０３を挟んで照明部１１０と対向する位置を移動自在に構成されている。
【００５６】
図２では、一例として、細胞塊９０１が保持されている培養容器９０３の底面が水平面である。照明位置は、一例として、培養容器９０３の底面の中心を含む鉛直面内において鉛直方向を０度として０度〜６０度の範囲で、かつ水平面内において培養容器９０３の特定の方向を０度として０〜３６０度の全周にわたって、１０度刻みに設けられる。照明位置は、鉛直面内での角度Ａと水平面内での角度Ｂとで指定される。
【００５７】
撮像方向は、照明部１１０から撮像素子１２０に向かう方向として定義される。すなわち、撮像方向は照明位置と一対一に対応する。以下では、便宜のため、照明位置を指定する角度Ａ、角度Ｂで、撮像方向を表すことがある。
【００５８】
照明部１１０及び撮像素子１２０の上述のような動きを実現するための撮像部１００の可動機構について説明する。
【００５９】
図３は、撮像部１００の可動機構の一例を模式的に表す概念図であり、撮像部１００を、側方から見た模式的な構造が示されている。
【００６０】
図３に示される撮像部１００は、照明部１１０及び撮像素子１２０をフレーム１３０に固定して構成されている。フレーム１３０は、少なくとも２方向の回転動作を許す支持部１４０によって保持されている。支持部１４０は、例えば、ボールジョイントで構成されてもよい。駆動機構１５０は、照明位置を指定する角度Ａ、角度Ｂを指示されることにより、指示された照明位置に照明部１１０が来るようにフレーム１３０を回転させる。
【００６１】
ここから再び図１を参照して、画像出力装置１０の残部について説明する。
【００６２】
制御部２００は、撮像部１００の動作を制御し、撮像部１００で得られた画像を処理する部であり、撮像制御部２１０と、輝度分布解析部２２０と、画像決定部２３０と、撮像開始判定部２４０とを有する。
【００６３】
制御部２００は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭなどからなるコンピュータシステム（図示せず）により構成されてもよい。制御部２００の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、制御部２００の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。
【００６４】
撮像制御部２１０は、照明部１１０に対して照明位置の指定及び照明光の出射を指示し、また撮像素子１２０に対して撮像を指示することにより、撮像部１００による被写体の撮像動作を制御する。
【００６５】
輝度分布解析部２２０は、撮像部１００で撮像された画像中の輝度分布を解析する。輝度分布解析部２２０は、具体的に、画像中の画素ごとの輝度値のヒストグラムを算出し、輝度のダイナミックレンジ（最大値と最小値との差分）を算出してもよい。
【００６６】
画像決定部２３０は、撮像素子１２０により取得された前記複数の画像の中から、前記画像中の輝度分布に基づいて前記半透明物体の前記画像の撮像方向での重複度合いが所定の条件を満たす１つ以上の画像を決定する。
【００６７】
半透明物体の重複度合いは、直接的には、前記画像中で前記画像の撮像方向に重なり合って見える半透明物体の個数（透過層数とも言う）で定義される。
【００６８】
また、半透明物体の重複度合いは、透過層数によって直接的に定義される他にも、前記画像中の輝度分布に基づいて、画像中の輝度のダイナミックレンジの広さや、画像中の輝度の最小値の小ささで定義されてもよい。輝度のダイナミックレンジが広い画像、つまり、画像内の明暗の差が大きい画像や、輝度の最小値が小さい画像、つまり、画像内の暗部がより暗い画像では、画像内の暗部がより多くの半透明物体の重なり合いによって形成されていると考えられるからである。
【００６９】
撮像開始判定部２４０は、被写体と撮像素子１２０とが近接しているか否か、つまり被写体と撮像素子１２０との距離が所定の距離以内であるか否か、を判定する。当該判定について、やや詳しく説明する。
【００７０】
画像出力装置１０は、照明部１１０から撮像素子１２０までの照明光の光路上に合焦のための光学素子を有しない、いわゆるレンズレス光学系により構成される。レンズレス光学系ではピント調整の考え方はなく、被写体と撮像素子１２０との距離が近いほど、空気や培養液中の埃等による光線の拡散と交錯によるぼけの少ない、より鮮明な画像が得られる。
【００７１】
そこで、被写体のより鮮明な画像が得られる好適な撮像開始時期を見出すために、撮像開始判定部２４０は、被写体と撮像素子１２０とが近接しているか否かを判定する。当該判定は、例えば、被写体を予備的に撮像して得た予備画像から、次のようにして行われる。
【００７２】
図４は、被写体の予備画像に含まれる画素ごとの輝度値のヒストグラムの一例を示すグラフであり、黒いバーは、撮像素子１２０に近接している被写体の鮮明な予備画像のヒストグラムを表し、斜線のバーは、撮像素子１２０から離れている被写体のぼけた予備画像のヒストグラムを表している。
【００７３】
図４に見られるように、被写体が撮像素子１２０に近接しているか離れているかは、被写体の予備画像が鮮明かぼけているかによるヒストグラムの形状の違い、すなわち、輝度分布がピーク近傍に集中するかなだらかに広がるかによって区別できる。このようなヒストグラムの形状の違いは、例えば輝度分布のピーク周辺における尖度と呼ばれる統計量に反映される。具体的に、図４の例では、被写体が撮像素子１２０に近接している場合の尖度は８程度であり、被写体が撮像素子１２０から離れている場合の尖度は０．８程度である。
【００７４】
撮像開始判定部２４０は、画像決定部２３０での前記１つ以上の画像の決定に用いられる前記複数の画像の撮像を開始する前に、撮像制御部２１０を介して撮像部１００により前記被写体を予備的に撮像して前記被写体の予備画像を取得する。そして、前記予備画像中の輝度分布の尖度を算出し、算出された尖度が所定の閾値以上である場合に、前記被写体と撮像素子１２０との距離が前記所定の距離以内であると判定する。
【００７５】
撮像開始判定部２４０は、例えば、輝度分布のピーク周辺の尖度が、５以上の場合に被写体と撮像素子１２０との距離が所定の距離以内であると判定し、前記尖度が５未満の場合に被写体と撮像素子１２０との距離が前記所定の距離よりも大きいと判定してもよい。
【００７６】
なお、ヒストグラムの形状の違いは、輝度分布のピーク周辺における尖度に反映される他に、分散や標準偏差などの統計量にも反映されるので、分散や標準偏差を所定のしきい値と比較することにより、被写体と撮像素子１２０との距離が所定の距離以内であるか否かを判定してもよい。
【００７７】
次に、上述のように構成される画像出力装置１０の動作について説明する。
【００７８】
図５は、画像出力装置１０の動作の一例を示すフローチャートである。図５に示されるように、画像出力処理が開始されると、まず、撮像開始判定部２４０によって、被写体と撮像素子１２０との距離が所定の距離以内であるか否かが判定される（Ｓ１０００）。被写体と撮像素子１２０との距離が所定の距離以内であると判定されると（Ｓ１０００でＹＥＳ）、撮像制御部２１０は、全ての撮像方向での被写体の撮像が完了したか否かを判定する（Ｓ１１１０）。
【００７９】
全ての撮像方向での被写体の撮像が完了していない場合（Ｓ１１１０でＮＯ）、撮像制御部２１０は、まだ撮像していない撮像方向を撮像部１００に指定する（Ｓ１１２０）。撮像部１００は、指定された撮像方向に対応する照明位置に照明部１１０を移動させ、撮像制御部２１０からの指令に応じて照明光の出射及び被写体の撮像を行う（Ｓ１１３０）。
【００８０】
輝度分布解析部２２０は、得られた画像を撮像部１００から取得し、前記画像中の輝度分布を解析する（Ｓ１１４０）。輝度分布解析部２２０は、例えば、画像中の画素ごとの輝度の最大値と最小値との差分を、輝度のダイナミックレンジとして計算する。画像中の輝度のダイナミックレンジは、前述したように、撮像された被写体を構成する半透明物体の、画像の撮像方向での重複度合いの一例である。
【００８１】
画像決定部２３０は、直近のステップＳ１１４０で計算されたダイナミックレンジと、それまでに計算されたダイナミックレンジの最小値とを比較する（Ｓ１１５０）。直近のダイナミックレンジがそれまでの最小値よりも小さい場合（Ｓ１１５０で最小）、画像決定部２３０は、直近のステップＳ１１３０で得られた画像を表示画像として決定する（Ｓ１１６０）。なお、ここで決定される表示画像は、全ての撮像方向での被写体の撮像が完了するまでは暫定的な表示画像であり、表示画像は、それまでの最小値よりも小さいダイナミックレンジが算出されるたびに決定し直される。画像決定部２３０は、決定された表示画像の撮像方向と当該表示画像のダイナミックレンジ（つまり、ダイナミックレンジの新たな最小値）とを記憶する。
【００８２】
全ての撮像方向での被写体の撮像が完了すると（Ｓ１１１０でＹＥＳ）、画像決定部２３０は、記憶されている表示画像の撮像方向を、撮像制御部２１０を介して撮像部１００に指定する（Ｓ１１７０）。撮像部１００は、指定された撮像方向に対応する照明位置に照明部１１０を移動させ、撮像制御部２１０からの指令に応じて照明光の出射及び被写体の撮像を行う（Ｓ１１８０）。出力部３００は、ステップＳ１１８０で得られた画像を出力する（Ｓ１１９０）。出力された画像は、例えば、表示装置（図示せず）で表示され、人による前記被写体の観察のために提示される。
【００８３】
以上説明したように、画像出力装置１０によれば、複数の異なる撮像方向で被写体を撮像して得られた複数の画像の中から、画像中に表される半透明物体の重複度合いが最も小さい画像が表示画像として出力される。出力された画像を表示装置で表示することにより、人による前記被写体の観察用に適した表示画像が観察者に提示される。
【００８４】
なお、このような効果を損なうことなく、画像出力装置１０を次のように変形することができる。
【００８５】
（変形例１）
実施の形態では、撮像部１００は、照明部１１０と撮像素子１２０とが一体で移動するように構成されているが、撮像部の構成はこの例には限られない。変形例１では、撮像素子が、例えば、被写体を保持している容器を挟んで、複数の照明位置の何れとも対向する姿勢及び位置に固定されている例について説明する。
【００８６】
図６は、変形例１に係る撮像部の構造の一例を模式的に表す概念図であり、撮像部を、側方から見た模式的な構造が示されている。図６に示される撮像部１０１では、図３の撮像部１００と異なり、撮像素子１２１の姿勢及び位置は固定されている。また、撮像部１０１では、撮像部１００と同様、培養容器９０３の姿勢及び位置は固定されており、照明部１１０は、複数の異なる照明位置を移動自在に構成されている。照明部１１０の動きを実現するために、撮像部１０１においても、図３に示される撮像部１００と同様の可動機構が用いられ得る。
【００８７】
このように構成される撮像部１０１によっても、異なる複数の撮像方向で被写体を撮像することができる。
【００８８】
なお、照明部は、必ずしも可動に構成される必要はない。照明部は、例えば、被写体の上方に設けられる固定部材により各対応するする照明位置に固定された複数の光源で構成されてもよい。そのような照明部は、可動部分を有さず、前記複数の光源から順次照明光を出射する。
【００８９】
また、照明部、培養容器、及び撮像素子の全ての姿勢及び位置が固定された撮像部を構成することもできる。そのような撮像部は、培養液を動かすことによって被写体を回転させ、異なる複数の撮像方向で被写体を撮像する。被写体の周囲の流体の動きを制御することによって被写体を回転させる技術は、例えば、非特許文献１：  Ｙａｘｉａｅｒ  Ｙａｌｉｋｕｎ，  Ｙｏｓｈｉｔａｋｅ  Ａｋｉｙａｍａ  ａｎｄ  Ｋｅｉｓｕｋｅ  Ｍｏｒｉｓｈｉｍａ  “Ｍｕｌｔｉｐｌｅ  Ｍｉｃｒｏｆｌｕｉｄｉｃ  Ｓｔｒｅａｍ  ｂａｓｅｄ  Ｍａｎｉｐｕｌａｔｉｏｎ  ｆｏｒ  Ｓｉｎｇｌｅ  Ｃｅｌｌ  Ｈａｎｄｌｉｎｇ”，  ２０１３  ＩＥＥＥ／ＲＳＪ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  （ＩＲＯＳ）  Ｎｏｖｅｍｂｅｒ  ３−７，  ２０１３．  Ｔｏｋｙｏ，  Ｊａｐａｎに開示されている。
【００９０】
（変形例２）
図６に示される撮像部１０１のように、撮像素子１２１と培養容器９０３とが固定されている場合、照明位置に応じて撮像素子１２１の受光面での照度（つまり、当該受光面での単位面積あたりの光束）が変動する。変形例２では、このような変動を補償するための補正処理について説明する。
【００９１】
図７Ａ及び図７Ｂは、照明位置に応じた照度の変動を説明する図である。図７Ａに示されるように、照明光が平行光である場合、照明光の入射角が浅いほど受光面積が大きくなり（Ｌ１＜Ｌ２）照度は低下する。また、図７Ｂに示されるように、照明光が疑似コヒーレント光である場合、照明部１１０から撮像素子１２１までの距離が遠いほど、かつ照明光の入射角が浅いほど受光面積が大きくなり（Ｌ３＜Ｌ４）照度は低下する。照度の低下によって画像の輝度が低下するため、撮像方向に応じて照度が変動する場合、撮像方向が異なる複数の画像の輝度分布を直接的に比較することができない。
【００９２】
そこで、輝度分布解析部２２０は、撮像方向に応じた照度の変動を補償するように、輝度分布を補正する。輝度分布解析部２２０は、例えば、撮像方向ごとに輝度分布の補正量をあらかじめ保持しておき、画像の撮像方向に応じた補正量を考慮して、当該画像中の輝度分布を解析してもよい。
【００９３】
また、出力部３００は、撮像方向に応じて表示画像に生じる輝度の低下や形状的な歪を補正し、補正後の表示画像を出力してもよい。
【００９４】
（変形例３）
実施の形態では、画像決定部２３０にて、輝度のダイナミックレンジが最小の画像を表示画像として決定しているが、表示画像を決定するための基準は、この例には限られない。変形例３では、他の基準を用いて表示画像を決定する例について説明する。
【００９５】
前述したように、画像中に表される半透明物体の重複度合いは、画像中の輝度のダイナミックレンジの広さの他に、画像中の輝度の最小値の小ささで定義することができる。つまり、画像中の輝度の最小値がより大きい画像を、半透明物体の重複度合いがより小さい画像と定義してもよい。
【００９６】
そこで、画像決定部は、輝度の最小値が最大の画像を、表示画像として決定する。このようにして決定さる表示画像もまた、画像中に表される半透明物体の重複度合いが小さく、人による被写体の観察用に適している。
【００９７】
なお、表示画像は、輝度のダイナミックレンジが最小の画像や、輝度の最小値が最大の画像といった、唯一の画像である必要は必ずしもない。表示画像として、人による被写体の観察用に適していると考えられる所定個数までの画像を決定してもよい。
【００９８】
観察者が画像に表された細胞の数を目視で確認する場合、前記画像中での細胞の重なり合いが、例えば２層までであれば、重なり合った細胞の区別は比較的容易であり、細胞の数が確認しやすい。しかし、細胞が３層以上に重なり合っていると、細胞の輪郭線の識別が困難になる。
【００９９】
そこで、画像決定部２３０は、例えば、半透明物体が高々２層まで重なり合っている画像における輝度のダイナミックレンジ（又は輝度の最小値）を基準値としてあらかじめ保持しておき、当該基準値との比較により、半透明物体が高々２層まで重なり合っていると考えられる複数の画像を表示画像として決定してもよい。
【０１００】
これにより、観察者は、決定された複数の表示画像の中から、被写体の観察（例えば細胞の計数）が最も容易と思われる画像を選択して、被写体の観察に用いることができる。観察者の選択の便宜のため、出力部３００は、決定された複数の表示画像のサムネイルを、観察者に提示してもよい。
【０１０１】
（変形例４）
実施の形態では、撮像開始判定部２４０にて、被写体と撮像素子１２０とが近接しているか否かを、被写体の予備画像の輝度分布に基づいて判定しているが、被写体と撮像素子１２０とが近接しているか否かの判定の基準は、この例には限られない。変形例４では、被写体と撮像素子１２０とが近接しているか否かを、異なる時刻に被写体を撮像して得た２つの予備画像の比較に基づいて判定する例について説明する。
【０１０２】
被写体が液体中に配置され前記液体とともに容器内に保持されている場合、前記液体の密度が前記被写体の密度よりも小さければ前記液体に沈み、前記液体の密度が前記被写体の密度よりも大きければ前記液体に浮く。例えば、被写体としての細胞塊は、多くの場合、培養液に沈む。
【０１０３】
被写体が前記液体に沈む場合、撮像素子１２０を前記容器の下方に配置することで、前記被写体が前記液体中を沈んでいき、前記容器の底で静止したときに、前記被写体が撮像素子１２０に最も近接していると判定することができる。前記被写体が前記液体中で移動中か静止しているかは、例えば、前記被写体を異なる時刻において撮像して得た画像の類似に基づいて判定できる。前記画像の輝度分布が、例えば、図４の黒いバーで示される輝度分布と斜線のバーで示される輝度分布のように異なる場合、前記被写体は移動中であると考えられる。
【０１０４】
そこで、撮像開始判定部２４０は、画像決定部２３０での前記１つ以上の画像の決定に用いられる前記複数の画像の撮像を開始する前に、第１の時刻及び当該第１の時刻よりも後の第２の時刻において、撮像制御部２１０を介して撮像部１００により前記被写体を予備的に撮像して前記被写体の第１の予備画像及び第２の予備画像を取得する。そして、前記第１の予備画像と前記第２の予備画像との類似に基づき、前記第２の時刻において前記被写体と前記撮像素子との距離が前記所定の距離以内であるか否かを判定する。
【０１０５】
前記第１の予備画像と前記第２の予備画像とが類似しているか否かは、例えば、前記第１の予備画像及び前記第２の予備画像の輝度のヒストグラムにおける輝度区間ごとの画素数の差分の総和が全画素数に対する所定比率（例えば５％）以下であるか否かにより判定してもよい。また、前記第１の予備画像及び前記第２の予備画像の輝度分布における尖度値、分散、標準偏差といった統計量の差分を所定のしきい値と比較することにより判定してもよい。また、判定を容易にするため、前記第１の予備画像と前記第２の予備画像とは、同一の撮像方向かつ同一の照明強度で撮像されてもよい。
【０１０６】
これにより、前記被写体と撮像素子１２０との距離が離れていることに起因して前記被写体のぼけ画像が撮像されることを、前記第１の予備画像と前記第２の予備画像との類似に基づいて防止することができる。なお、被写体が前記液体に浮く場合、撮像素子１２０を前記容器の上方に配置することで、同様の効果が得られる。
【０１０７】
また、予備画像の輝度分布を用いる他にも、図示しない光学センサや重量センサを用いて、前記被写体が前記容器の底に到達したことを検知してもよい。
【０１０８】
（変形例５）
実施の形態１では、画像出力装置１０は、全ての方向での被写体の撮像が完了した後で表示画像を記憶されている撮像方向で再度撮像して出力する画像出力処理を行っている。このような画像出力処理は、比較的小容量のメモリを用いて実行し得る反面、表示画像を再度撮像して出力するため、時間的な不利がある。また、被写体の状態が変化することで、記憶されている撮像方向で再度撮像された画像が、表示画像として必ずしも適していない懸念もある。
【０１０９】
そこで、変形例５では、表示画像を決定するために撮像された全ての画像を記憶し、決定された表示画像を記憶されている画像の中から出力する画像出力装置について説明する。
【０１１０】
図８は、変形例５に係る画像出力装置の機能的な構成の一例を示すブロック図である。図８に示される画像出力装置１１は、図１の画像出力装置１０と比べて、制御部２０１における撮像制御部２１１及び画像決定部２３１、並びに出力部３０１が変更され、画像記憶部４００が追加される点が異なる。
【０１１１】
図９は画像出力装置１１の動作の一例を示すフローチャートである。図９に示されるフローチャートは、図５のフローチャートと比べて、表示画像を決定するステップＳ１２２０及び表示画像を出力するステップＳ１２３０が変更され、撮像した画像を記憶するステップＳ１２１０が追加され、表示画像を再度撮影するステップが削除される点が異なる。
【０１１２】
以下では、図９のフローチャートに沿って図８の構成要素の動作を説明する。なお、既に説明されている構成要素及びステップについては、同一の符号を付して適宜説明を省略し、主として追加及び変更される構成要素及びステップについて説明する。
【０１１３】
画像記憶部４００は、個々の撮像方向で被写体が撮像されるたびに、得られた画像を記憶する（Ｓ１２１０）。
【０１１４】
画像決定部２３１は、暫定的な表示画像を決定するたびに、画像記憶部４００に記憶された直近の画像を表示画像として識別する識別情報を記憶する（Ｓ１２２０）。
【０１１５】
全ての方向での撮像が完了した後（Ｓ１１１０でＹＥＳ）、画像決定部２３１は、記憶されている識別情報を出力部３０１に通知し、出力部３００は、通知された識別情報で識別される表示画像を画像記憶部４００から参照して出力する（Ｓ１２３０）。
【０１１６】
上述のように構成された画像出力装置１１によれば、表示画像を決定するために撮像された全ての画像を記憶し、決定された表示画像を記憶されている画像の中から出力する。その結果、表示画像を再度撮像することによる時間的な不利や、再度撮像撮影された表示画像の適性についての懸念が解消される。
【０１１７】
（実施の形態２）
実施の形態２では、人による被写体の観察用に適した表示画像に加えて、被写体を構成する半透明物質の数を自動計数した結果を出力する画像出力装置について説明する。実施の形態２に係る画像出力装置は、前記表示画像を決定するとともに、前記複数の画像の中から、画像中の輝度のダイナミックレンジが最大の画像、または画像中の輝度の最小値が最小の画像を、自動計数用画像として決定し、決定された自動計数用画像中の半透明物質の個数を計数し、計数結果と前記表示画像とを出力する。
【０１１８】
図１０は、実施の形態２に係る画像出力装置の機能的な構成の一例を示すブロック図である。図１０に示される画像出力装置１２は、図８の画像出力装置１１と比べて、制御部２０２における画像決定部２３２、及び出力部３０２が変更され、計数部５００が追加される点が異なる。
【０１１９】
図１１は、画像出力装置１２の動作の一例を示すフローチャートである。図１１に示されるフローチャートは、図９のフローチャートと比べて、輝度のダイナミックレンジを比較するステップＳ１３１０が変更され、自動計数用画像を決定するステップＳ１３２０、自動計数用画像に表された細胞を計数するステップＳ１３３０、及び計数値を出力するステップＳ１３４０が追加される点が異なる。
【０１２０】
以下では、図１１のフローチャートに沿って図１０の構成要素の動作を説明する。なお、既に説明されている構成要素及びステップについては、同一の符号を付して適宜説明を省略し、主として追加及び変更される構成要素及びステップについて説明する。
【０１２１】
画像決定部２３２は、直近のステップＳ１１４０で計算されたダイナミックレンジと、それまでに計算されたダイナミックレンジの最小値及び最大値のそれぞれとを比較する（Ｓ１３１０）。
【０１２２】
直近のダイナミックレンジがそれまでの最小値よりも小さい場合（Ｓ１３１０で最小）、画像決定部２３２は、画像記憶部４００に記憶された直近の画像を表示画像として識別する識別情報を記憶する（Ｓ１２２０）。直近のダイナミックレンジがそれまでの最大値よりも大きい場合（Ｓ１３１０で最大）、画像決定部２３２は、画像記憶部４００に記憶された直近の画像を自動計数用画像として識別する識別情報を記憶する（Ｓ１３２０）。
【０１２３】
全ての方向での撮像が完了した後（Ｓ１１１０でＹＥＳ）、計数部５００は、画像決定部２３２から通知される識別情報によって表される自動計数用画像を画像記憶部４００から参照し、前記自動計数用画像に表された半透明物体を計数し（Ｓ１３３０）、出力部３０２は、計数部５００で計数された半透明物体の個数を示す計数値を出力する（Ｓ１３４０）。前記計数値は、例えば、表示画像の一部に重畳された態様で表示画像とともに出力されてもよい（Ｓ１２２０）。
【０１２４】
ここで、ステップＳ１３３０における細胞計数の一例について、８分割期の標準的な初期胚を構成する細胞を計数する場合の例で説明する。
【０１２５】
まず、８分割期の標準的な初期胚の構造について説明する。当該初期胚は、略平面上に位置する４つの細胞を上下方向に２段に積み重ねた構造を有することが知られている。より詳細には、各段の４つの細胞の中心は略正方形の頂点に位置し、上段の４つの細胞は、下段の４つの細胞を高さ方向に平行移動し４５度回転させた位置にあって、下段の４つの細胞と接触している。
【０１２６】
図１２Ａ、図１２Ｂ、図１２Ｃは、そのような細胞の立体的な重なり合いを説明する図であり、８分割期の標準的な初期胚を構成する８つの細胞の、３次元直交座標系におけるｘｙ平面、ｘｚ平面、ｙｚ平面への投影像をそれぞれ示している。すなわち、図１２Ａ、図１２Ｂ、図１２Ｃは、前記初期胚を、それぞれｚ軸、ｙ軸、ｘ軸方向の平行光で撮像したときに得られる画像を模式的に表している。
【０１２７】
図１２Ａ、図１２Ｂ、図１２Ｃでは、便宜のため、個々の細胞を球体で表現し、上段の細胞を実線で示し、下段の細胞を破線で示している。また、上下方向をｚ軸に対応付け、各段の４つの細胞の中心をｘｙ平面上の正方形の頂点に配置している。
【０１２８】
図１２Ａ、図１２Ｂ、図１２Ｃの画像中の各画素の輝度値は、当該画素位置において撮像方向に重なり合って見える細胞の個数（前述の透過層数）が多いほど低い。
【０１２９】
一例として、図１２Ｃの画像中で点Ｐ及び点Ｑに位置する画素に入射する光束の経路が、図１２Ａ及び図１２Ｂに破線で示されている。点Ｐの画素には、図１２Ｃにおける下段の２個の細胞及び上段の３個の細胞の合計５個の細胞を透過した透過層数５の光束が入射する。点Ｑの画素には、図１２Ｃにおける上段の２個の細胞を透過した透過層数２の光束が入射する。そのため、点Ｐ及び点Ｑの画素の輝度は、細胞を透過しない透過層数０の光束が入射する背景画素の輝度０から、それぞれの透過層数に応じて低下した輝度５及び輝度２となる。
【０１３０】
点Ｐ及び点Ｑを通る一点鎖線上の画素には、透過層数０の光束による背景画素の輝度０の他に、透過層数１、２、３、５の光束による４種類の輝度が見られる。異なる透過層数に対応する輝度は不連続であり、比較的明瞭に区別できることが経験上分かっている。
【０１３１】
図１２Ｃには、ｙｚ平面への投影像とともに、当該一点鎖線上に位置する画素の画素位置と輝度との対応を模式的に表すグラフが示されている。当該グラフは、説明のため、ｙ軸方向の区間ごとに不連続に現れる輝度を示しているが、実際の画像には、ｙｚ平面上の領域ごとに不連続に現れる輝度が観察される。
【０１３２】
さて、計数部５００は、このような画像に写っている細胞の個数を、例えば次のようにして、算出する。
【０１３３】
まず、背景の次に輝度が高い領域を抽出し、抽出された領域の形状から、１層分の細胞が写っている領域と前記１層分の細胞の個数とを推定する。この推定のために、例えば、抽出された領域の輪郭形状と細胞の標準的な輪郭形状（円又は楕円でもよい）とが比較される。細胞の標準的な輪郭の一部又は全部の形状と抽出された領域の輪郭形状とが合致するとき、当該細胞の標準的な輪郭内に前記１層分の細胞のうちの１つの細胞が写っていると推定する。このような比較が、抽出された領域の輪郭の全体で行われ、輪郭形状が合致した箇所の数が前記１層分の細胞の個数として推定される。
【０１３４】
次に、前記１層分の細胞を除去するように前記画像を補正する。この補正のために、例えば、推定された前記領域に、背景と前記領域の輝度との差分が加算される。これにより、前記画像は、前記１層分の細胞が写っていない状態の画像に補正される。
【０１３５】
この処理を、細胞の標準的な輪郭の一部又は全部の形状と合致する輪郭を持つ領域がなくなるまで、補正後の画像に対して繰り返し適用する。繰り返しの各回で推定された細胞の個数の総和が、画像に写っている細胞の個数として算出される。
【０１３６】
図１２Ｃの例では、繰り返しの最初の回で、画像から上段の両端２個の細胞が除去され、当初の輝度３の領域が輝度２に補正される。そして、次の回で、画像から３個の細胞が除去され、その結果、細胞の標準的な輪郭と合致する輪郭を持つ領域がなくなる。
【０１３７】
このような細胞の計数方法によれば、画像上で細胞を１層分ごとに除去しながら細胞を計数するので、細胞の重複度合いがより大きい画像から、より正確な計数結果が算出される。そのため、画像決定部２３２は、細胞の重複度合いがより大きい画像を自動計数用画像として決定している。画像決定部２３２は、画像中の輝度のダイナミックレンジがより大きい画像を自動計数用画像として決定してもよく、また、輝度の最小値が最小の画像を自動計数用画像として決定してもよい。さらには、画像中の輝度の段階数がより多い画像を自動計数用画像として決定してもよい。このように決定される自動計数用画像は、自動計数によってより正確な細胞の計数結果を得るために役立つ。
【０１３８】
上述のように構成された画像出力装置１２によれば、画像中に表される半透明物体の重複度合いが最小の画像が表示画像として出力されることに加えて、画像中に表される半透明物体の重複度合いが最大の画像である自動計数用画像から自動計数された半透明物体の個数が出力される。
【０１３９】
これにより、人による被写体の観察に適した前記表示画像とともに、自動計数処理に適した自動計数用画像から自動計数された半透明物体の個数を提示することによって、観察者による細胞の計数を補助することができる。
【０１４０】
なお、自動計数の具体的な方法は上記には限定されず、他の自動計数の方法が採用されてもよい。
【０１４１】
（実施の形態３）
実施の形態３では、被写体が初期胚である場合に、前記初期胚の成長段階ごとに前記初期胚を撮像して表示画像と細胞数の自動計数結果とを出力するために適した画像出力装置について説明する。実施の形態３に係る画像出力装置は、ある成長段階での表示画像及び自動計数用画像の決定結果に基づき、後続する成長段階での画像の撮像範囲を限定することにより、画像出力に要する時間の短縮を図る。画像の撮像範囲の限定には、前記初期胚の成長段階ごとの標準的な細胞の個数と前記細胞の立体的な重複度合いとを表す標準細胞情報が用いられる。
【０１４２】
図１３は、実施の形態３の画像出力装置の機能的な構成の一例を示すブロック図である。図１３に示される画像出力装置１３は、図１０の画像出力装置１２と比べて、制御部２０３における撮像制御部２１３及び画像決定部２３３が変更され、標準細胞情報記憶部２５０、撮像細胞情報記憶部２６０、撮像方向設定部２７０が追加される点が異なる。
【０１４３】
図１４は、画像出力装置１３の動作の一例を示すフローチャートである。図１４に示されるフローチャートは、図１１のフローチャートと比べて、撮像方向を指定するステップＳ１５２０が変更され、撮像方向を設定するステップＳ１４００、撮像細胞情報を記録するステップＳ１５００が追加される点が異なる。
【０１４４】
以下では、図１４のフローチャートに沿って図１３の構成要素の動作を説明する。なお、既に説明されている構成要素及びステップについては、同一の符号を付して適宜説明を省略し、主として追加及び変更される構成要素及びステップについて説明する。
【０１４５】
図１４のフローチャートで示される画像出力処理は、被写体である初期胚の複数の成長段階ごとに実行される。
【０１４６】
画像出力処理が開始されると、撮像方向設定部２７０は、撮像細胞情報に基づき、標準細胞情報を用いて、現在の画像出力処理での前記初期胚の撮像範囲を限定する（Ｓ１４００）。ここで、標準細胞情報は、標準的な初期胚の成長段階ごとに前記初期胚を構成する細胞の個数と前記細胞の立体的な重複度合いとを表す情報であり、撮像細胞情報は、前回の画像出力処理での表示画像及び自動計数用画像の決定結果を表す情報である。撮像範囲を限定する処理の詳細な内容は、後ほど詳しく説明する。
【０１４７】
撮像制御部２１３は、撮像方向設定部２７０によって設定された撮像範囲に含まれる撮像方向での撮像が完了したか否かを判定する（Ｓ１５１０）。
【０１４８】
設定された撮像範囲に含まれる撮像方向での被写体の撮像が完了していない場合（Ｓ１５１０でＮＯ）、撮像制御部２１３は、設定された撮像範囲に含まれ、かつまだ撮像していない撮像方向を撮像部１００に指定する（Ｓ１５２０）。
【０１４９】
撮像方向設定部２７０によって設定された撮像範囲内に含まれる撮像方向での撮像が完了すると（Ｓ１５１０でＹＥＳ）、画像決定部２３３は、表示画像及び自動計数用画像の決定結果を表す撮像細胞情報を、撮像細胞情報記憶部２６０に記録する。
【０１５０】
撮像方向設定部２７０による、撮像範囲の設定処理について説明を続ける。
【０１５１】
まず、撮像細胞情報及び標準細胞情報の内容について説明する。
【０１５２】
図１５は、撮像細胞情報記憶部２６０に記憶されている撮像細胞情報の一例を示す図である。
【０１５３】
図１５に示されるように、撮像細胞情報は、前回の画像出力処理での表示画像の撮像方向、表示画像の輝度のダイナミックレンジ、自動計数用画像の撮像方向、自動計数用画像の輝度のダイナミックレンジ、及び自動計数された細胞数を含む。
【０１５４】
図１６は、標準細胞情報記憶部２５０に記憶されている標準細胞情報の一例を示す図である。
【０１５５】
図１６に示されるように、標準細胞情報は、標準的な初期胚の成長段階ごとに、当該成長段階における前記初期胚を構成する細胞数、透過層数の上限層数と下限層数、輝度のダイナミックレンジの上限基準値と下限基準値を含む。
【０１５６】
ここで、透過層数とは、初期胚を観察するときに、重なり合って見える細胞の層数を示す数値であり、初期胚の観察方向に応じた上限層数及び下限層数が示される。図１６の標準細胞情報は、例えば、第４成長段階（８分割期）の初期胚について、観察方向によって、細胞が２層から５層までの何れかの層数で重なり合って見えることを示している。言い換えれば、第４成長段階（８分割期）の初期胚には、どの細胞も重なり合っていない状態で見ることができる観察方向はなく、また、何れかの細胞が６層以上に重なり合っている状態で見ることができる観察方向もない。
【０１５７】
透過層数の上限層数及び下限層数は、各成長段階において初期胚を構成する細胞の立体的な配置に関する知識（例えば、２つの細胞から分裂した４つの細胞は直線状に並ぶことはなく略平面状に広がって位置するといった知識）に基づいて算出されている。
【０１５８】
また、輝度ダイナミックレンジの上限基準値は、上限層数までの細胞が重なり合って写っている画像の輝度のダイナミックレンジを表す基準値であり、下限基準値は、下限層数までの細胞が重なり合って写っている画像の輝度のダイナミックレンジを表す基準値である。
【０１５９】
撮像方向は、これらの情報を用いて、次のようにして設定される。
【０１６０】
図１７は、撮像方向を設定するステップＳ１４００での詳細な処理内容を示したフローチャートである。
【０１６１】
撮像方向設定部２７０は、撮像細胞情報記憶部２６０に撮像細胞情報が記憶されているか否かを判定する（Ｓ１４１０）。撮像細胞情報が記憶されていなければ（Ｓ１４１０でＮＯ）、撮像範囲は全方向に設定される。この条件は、例えば、現在の画像出力処理で前記初期胚を初めて撮像する場合に成り立つ。
【０１６２】
撮像細胞情報があれば（Ｓ１４１０でＹＥＳ）、撮像方向設定部２７０は、撮像細胞情報記憶部２６０から撮像細胞情報を参照する。
【０１６３】
撮像方向設定部２７０は、撮像細胞情報の細胞数から前回の画像出力処理のときの初期胚の成長段階を、標準細胞情報を用いて推定する（Ｓ１４２０）。
【０１６４】
撮像方向設定部２７０は、ステップＳ１４２０において、例えば、撮像細胞情報で示される細胞数に最も近い細胞数に対応する標準細胞情報の成長段階を、前回の画像出力処理のときの初期胚の成長段階と推定してもよい。
【０１６５】
撮像方向設定部２７０は、標準細胞情報から、推定された成長段階に対応する輝度のダイナミックレンジの上限基準値及び下限基準値を参照し（Ｓ１４３０）、撮像細胞情報から、輝度のダイナミックレンジの最大値及び最小値（つまり、自動計数用画像の輝度のダイナミックレンジ及び表示画像の輝度のダイナミックレンジ）を参照する（Ｓ１４４０）。
【０１６６】
撮像方向設定部２７０は、最小値が下限基準値と合致するか否かを、例えば最小値が下限基準値の所定比率（例えば、±１０％）の範囲に含まれるか否かによって判定する（Ｓ１４５０）。この判定により、前回の画像出力処理で決定された表示画像が、細胞が推定される成長段階における下限層数で重なり合って写っている画像（つまり、表示画像として最適な画像）であったか否かが判定される。
【０１６７】
また、最大値が上限基準値と合致するか否かを、例えば最大値が上限基準値の±１０％の範囲に含まれるか否かによって判定する（Ｓ１４６０）。この判定により、前回の画像出力処理で決定された自動計数用画像が、細胞が推定される成長段階における上限層数で重なり合って写っている画像（つまり、自動計数用画像として最適な画像）であったか否かが判定される。
【０１６８】
撮像方向設定部２７０は、最小値が下限基準値と合致しかつ最大値が上限基準値と合致する場合に（Ｓ１４５０でＹＥＳかつＳ１４６０でＹＥＳ）、撮像細胞情報から表示画像及び自動計数用画像のそれぞれの撮像方向を参照し（Ｓ１４７０）、参照した撮像方向に基づいて、今回の画像出力処理における画像の撮像範囲を限定する（Ｓ１４８０）。
【０１６９】
撮像方向設定部２７０は、例えば、細胞の分裂方向を考慮することにより、今回の表示画像の撮像範囲を、前回の表示画像の撮像方向と直交する方向に限定し、また、今回の自動計数用画像の撮像範囲を、前回の自動計数用画像の撮像方向と直交する方向に限定してもよい。撮像範囲は、特定の方向を含む所定の広さの範囲として限定されてもよい。
【０１７０】
撮像方向設定部２７０は、最小値が下限基準値と合致しないかまたは最大値が上限基準値と合致しない場合（Ｓ１４５０でＮＯまたはＳ１４６０でＮＯ）、撮像範囲を全方位に設定する（Ｓ１４９０）。これにより、前回の表示画像又は前回の自動計数用画像が、表示画像又は自動計数用画像としての最適な画像でなかった場合に、今回の撮像範囲が不適切に限定されてしまう不都合が回避される。
【０１７１】
上述のように構成された画像出力装置１３によれば、初期胚の細胞の配置に関する情報を用いて初期胚の撮像範囲を限定することで、撮像や輝度分布の解析を行うための時間が削減され、画像出力に要する時間が短縮される。
【０１７２】
以上、本発明の一つまたは複数の態様に係る画像出力装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１７３】
本発明は、培養細胞、組織を撮像し出力する装置に広く利用可能であり、インキュベータ、培養用シャーレまたはディッシュ、培養用フラスコ、培養用チューブ等の中の細胞塊または胚等の組織を撮像して得た画像を出力する際に有用である。特に画像から細胞数を確認する際に有用である。
【符号の説明】
【０１７４】
１０、１１、１２、１３  画像出力装置
１００、１０１  撮像部
１１０  照明部
１２０、１２１  撮像素子
１３０  フレーム
１４０  支持部
１５０  駆動機構
２００、２０１、２０２、２０３  制御部
２１０、２１１、２１３  撮像制御部
２２０、２２３  輝度分布解析部
２３０、２３１、２３２、２３３  画像決定部
２４０  撮像開始判定部
２５０  標準細胞情報記憶部
２６０  撮像細胞情報記憶部
２７０  撮像方向設定部
３００、３０１、３０２  出力部
４００  画像記憶部
５００、５０３  計数部
９０１    細胞塊
９０２    培養液
９０３    培養容器
【図１】
2016119890.tif 000003
【図２】
2016119890.tif 000004
【図３】
2016119890.tif 000005
【図４】
2016119890.tif 000006
【図５】
2016119890.tif 000007
【図６】
2016119890.tif 000008
【図７Ａ】
2016119890.tif 000009
【図７Ｂ】
2016119890.tif 000010
【図８】
2016119890.tif 000011
【図９】
2016119890.tif 000012
【図１０】
2016119890.tif 000013
【図１１】
2016119890.tif 000014
【図１２Ａ】
2016119890.tif 000015
【図１２Ｂ】
2016119890.tif 000016
【図１２Ｃ】
2016119890.tif 000017
【図１３】
2016119890.tif 000018
【図１４】
2016119890.tif 000019
【図１５】
2016119890.tif 000020
【図１６】
2016119890.tif 000021
【図１７】
2016119890.tif 000022