(57)【要約】【課題】胚の特徴に対応した断面を特定し且つ表示する画像生成装置等を提供する。【解決手段】画像生成装置は、内部に複数の割球とフラグメントとを有する胚を含む複数の画像を記録するメモリと、処理回路とを備える。複数の画像は、複数の光源のそれぞれが照明される毎に、撮像された画像である。処理回路は、（ａ１）複数の画像を用いて、複数の割球の大きさを取得し、（ａ２）複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ３）第１の条件が満たされる場合、複数の光源の位置と複数の画像とを用いて、胚の第１の所定の断面を生成し、（ａ４）外部のディスプレイに、第１の所定の断面の画像を出力する。第１の所定の断面は、大きさの比率が第１の閾値以上である複数の割球を含む。【選択図】図１
2018174787.tif 000002
【特許請求の範囲】
【請求項１】
内部に複数の割球とフラグメントとを有する胚を含む複数の画像を記録するメモリと、
処理回路とを備え、
前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、
前記処理回路は、
（ａ１）前記複数の画像を用いて、前記複数の割球の大きさを取得し、
（ａ２）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、
（ａ３）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、
（ａ４）外部のディスプレイに、生成した前記第１の所定の断面の画像を出力し、
前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む
画像生成装置。
【請求項２】
前記第１の所定の断面は、断面内の前記割球の大きさの比率が最も大きい断面である
請求項１に記載の画像生成装置。
【請求項３】
前記処理回路は、
（ａ５）前記第１の条件が満たされる場合、前記第１の所定の断面に加えて、前記胚の第１の補助断面を生成し、
（ａ６）前記ディスプレイに、生成した前記第１の補助断面の画像を出力し、
前記第１の補助断面は、前記複数の割球のうちの大きさの比率が最も小さい２つの割球を含む断面である
請求項１または２に記載の画像生成装置。
【請求項４】
前記処理回路は、
処理（ａ１）〜（ａ３）に加え、
（ｂ１）前記複数の画像を用いて、前記フラグメントの数を取得し、
（ｂ２）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、
（ｂ３）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、
前記処理（ａ４）では、
前記第１の条件及び前記第２の条件が満たされる場合には、前記第１の所定の断面の画像と、前記第２の所定の断面の画像とを選択可能に、前記ディスプレイに出力し、
前記第２の所定の断面は、複数の前記フラグメントを含む
請求項１〜３のいずれか一項に記載の画像生成装置。
【請求項５】
前記処理回路は、
前記第１の所定の断面の画像に含まれる前記複数の割球の大きさの比率と、前記フラグメントが前記第２の所定の断面内で占める割合とを比較し、
前記比率及び前記割合のうちの、より大きい値に対応する断面の画像を、初期画像として前記ディスプレイに出力する
請求項４に記載の画像生成装置。
【請求項６】
内部に複数の割球とフラグメントとを有する胚を含む複数の画像を記録するメモリと、
処理回路とを備え、
前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、
前記処理回路は、
（ｂ１）前記複数の画像を用いて、前記フラグメントの数を取得し、
（ｂ２）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、
（ｂ３）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、
（ｂ４）外部のディスプレイに、生成した前記第２の所定の断面の画像を出力し、
前記第２の所定の断面は、複数の前記フラグメントを含む
画像生成装置。
【請求項７】
前記第２の所定の断面は、前記フラグメントの数が最も多い断面である
請求項６に記載の画像生成装置。
【請求項８】
前記処理回路は、
（ｂ５）前記第２の条件が満たされる場合、前記第２の所定の断面に加えて、前記胚の第２の補助断面を生成し、
（ｂ６）前記ディスプレイに、生成した前記第２の補助断面の画像を出力し、
前記第２の補助断面は、前記フラグメントの数が最も少ない断面である
請求項６または７に記載の画像生成装置。
【請求項９】
前記処理回路は、前記条件が満たされない場合、前記胚が移植可能胚であることを示す提示を前記ディスプレイに出力する
請求項１〜８のいずれか一項に記載の画像生成装置。
【請求項１０】
前記処理回路は、
前記複数の画像を用いて、前記胚の立体構造と、前記割球の立体構造とを生成し、
前記胚の立体構造及び前記割球の立体構造を含む立体的画像を前記ディスプレイに出力する
請求項１〜９のいずれか一項に記載の画像生成装置。
【請求項１１】
前記処理回路は、
前記胚の立体構造において断面を選択可能に、前記立体的画像を出力し、
前記胚の立体構造における選択された選択断面を生成し、
前記選択断面の画像を前記ディスプレイに出力する
請求項１０に記載の画像生成装置。
【請求項１２】
前記処理回路は、
前記胚の立体構造における断面として初期断面を生成し、
前記初期断面の画像を選択可能に前記ディスプレイに出力する
請求項１１に記載の画像生成装置。
【請求項１３】
前記複数の画像は、前記胚が表面に載置され且つ複数のセンサ画素を有するイメージセンサによって取得されており、
前記複数の画像はそれぞれ、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、取得されており、
前記処理回路は、
前記胚の断面を焦点面とする合焦画像を生成することによって、前記胚の断面を生成し、
前記合焦画像を構成する複数の合焦画素の輝度値に対応する前記センサ画素の輝度値を、前記胚の断面の情報と、前記光源の位置と、前記複数の画像とを用いて取得する
請求項１〜１２のいずれか一項に記載の画像生成装置。
【請求項１４】
複数の光源と、
胚が載置される表面と複数のセンサ画素とを有するイメージセンサと、
処理回路とを備え、
前記イメージセンサは、前記複数の光源のそれぞれが照明される毎に撮像し、内部に複数の割球とフラグメントとを有する前記胚を含む複数の画像を取得し、
前記処理回路は、
（ａ１）前記複数の画像を用いて、前記複数の割球の大きさを取得し、
（ａ２）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、
（ａ３）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、
（ａ４）外部のディスプレイに、生成した前記第１の所定の断面の画像を出力し、
前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む
画像生成システム。
【請求項１５】
複数の光源と、
胚が載置される表面と複数のセンサ画素とを有するイメージセンサと、
処理回路とを備え、
前記イメージセンサは、前記複数の光源のそれぞれが照明される毎に撮像し、内部に複数の割球とフラグメントとを有する前記胚を含む複数の画像を取得し、
前記処理回路は、
（ｂ１）前記複数の画像を用いて、前記フラグメントの数を取得し、
（ｂ２）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、
（ｂ３）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、
（ｂ４）外部のディスプレイに、生成した前記第２の所定の断面の画像を出力し、
前記第２の所定の断面は、複数の前記フラグメントを含む
画像生成システム。
【請求項１６】
胚の断面の画像を生成する画像生成方法であって、
（ａ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、
ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、
（ａ２）前記複数の画像を用いて、前記複数の割球の大きさを取得し、
（ａ３）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、
（ａ４）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、
（ａ５）生成した前記第１の所定の断面の画像を表示画面に表示させ、
処理（ａ１）〜（ａ５）の少なくとも１つは制御回路により実行され、
前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む
画像生成方法。
【請求項１７】
胚の断面の画像を生成する画像生成方法であって、
（ｂ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、
ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、
（ｂ２）前記複数の画像を用いて、前記フラグメントの数を取得し、
（ｂ３）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、
（ｂ４）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、
（ｂ５）生成した前記第２の所定の断面の画像を表示画面に表示させ、
処理（ｂ１）〜（ｂ５）の少なくとも１つは制御回路により実行され、
前記第２の所定の断面は、複数の前記フラグメントを含む
画像生成方法。
【請求項１８】
（ａ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、
ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、
（ａ２）前記複数の画像を用いて、前記複数の割球の大きさを取得し、
（ａ３）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、
（ａ４）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、
（ａ５）生成した前記第１の所定の断面の画像を表示画面に表示し、
処理（ａ１）〜（ａ５）をコンピュータに実行させ、
前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む
プログラム。
【請求項１９】
（ｂ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、
ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、
（ｂ２）前記複数の画像を用いて、前記フラグメントの数を取得し、
（ｂ３）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、
（ｂ４）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、
（ｂ５）生成した前記第２の所定の断面の画像を表示画面に表示し、
処理（ｂ１）〜（ｂ５）をコンピュータに実行させ、
前記第２の所定の断面は、複数の前記フラグメントを含む
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、胚の断面の画像を生成する技術に関する。
【背景技術】
【０００２】
培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。しかしながら、細胞はその多くがほとんど無色透明であるため、透過光による光学顕微鏡での撮影では、その立体構造がわかりにくい。特許文献１は、対物レンズに平行であり且つ対象物に対して焦点の高さ位置が異なる多数の画像、すなわちピントを対象物の高さ方向にずらしながら撮影した多数の画像から、対物レンズと平行でない面の合焦画像を生成する方法を示している。一方、培養細胞の連続的観察は、細胞を培養するための多湿な環境と、環境を維持するためのインキュベータという限られた空間内で使用する困難も伴う。特許文献２は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。特許文献２は、複数の異なる位置から照射する照明によって撮影された複数の画像を重ね合わせて（Ｐｔｙｃｈｏｇｒａｐｈｙ）、解像度を高める方法を開示している。また、非特許文献１では、リフォーカス技術によって分割期胚の自由焦点面の画像を生成する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１０１５１２号公報
【特許文献２】米国特許出願公開第２０１４／０１３３７０２号明細書
【非特許文献】
【０００４】
【非特許文献１】加藤弓子、澤田好秀、國吉房貴、久保尋之、舩冨卓哉、向川康博、「リフォーカシングによる初期胚の自由焦点画像生成」、信学技報  医用画像研究会（ＭＩ）、２０１６年１月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、胚の特徴に対応した断面を特定し且つ表示する画像生成装置、画像生成システム、画像生成方法及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る画像生成装置は、内部に複数の割球とフラグメントとを有する胚を含む複数の画像を記録するメモリと、処理回路とを備え、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、前記処理回路は、（ａ１）前記複数の画像を用いて、前記複数の割球の大きさを取得し、（ａ２）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ３）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、（ａ４）外部のディスプレイに、生成した前記第１の所定の断面の画像を出力し、前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む。
【０００７】
本開示の別の一態様に係る画像生成装置は、内部に複数の割球とフラグメントとを有する胚を含む複数の画像を記録するメモリと、処理回路とを備え、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、前記処理回路は、（ｂ１）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ２）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ３）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、（ｂ４）外部のディスプレイに、生成した前記第２の所定の断面の画像を出力し、前記第２の所定の断面は、複数の前記フラグメントを含む。
【０００８】
本開示の一態様に係る画像生成システムは、複数の光源と、胚が載置される表面と複数のセンサ画素とを有するイメージセンサと、処理回路とを備え、前記イメージセンサは、前記複数の光源のそれぞれが照明される毎に撮像し、内部に複数の割球とフラグメントとを有する前記胚を含む複数の画像を取得し、前記処理回路は、（ａ１）前記複数の画像を用いて、前記複数の割球の大きさを取得し、（ａ２）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ３）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、（ａ４）外部のディスプレイに、生成した前記第１の所定の断面の画像を出力し、前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む。
【０００９】
本開示の別の一態様に係る画像生成システムは、複数の光源と、胚が載置される表面と複数のセンサ画素とを有するイメージセンサと、処理回路とを備え、前記イメージセンサは、前記複数の光源のそれぞれが照明される毎に撮像し、内部に複数の割球とフラグメントとを有する前記胚を含む複数の画像を取得し、前記処理回路は、（ｂ１）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ２）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ３）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、（ｂ４）外部のディスプレイに、生成した前記第２の所定の断面の画像を出力し、前記第２の所定の断面は、複数の前記フラグメントを含む。
【００１０】
本開示の一態様に係る画像生成方法は、胚の断面の画像を生成する画像生成方法であって、（ａ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、（ａ２）前記複数の画像を用いて、前記複数の割球の大きさを取得し、（ａ３）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ４）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、（ａ５）生成した前記第１の所定の断面の画像を表示画面に表示させ、処理（ａ１）〜（ａ５）の少なくとも１つは制御回路により実行され、前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む。
【００１１】
本開示の別の一態様に係る画像生成方法は、胚の断面の画像を生成する画像生成方法であって、（ｂ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、（ｂ２）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ３）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ４）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、（ｂ５）生成した前記第２の所定の断面の画像を表示画面に表示させ、処理（ｂ１）〜（ｂ５）の少なくとも１つは制御回路により実行され、前記第２の所定の断面は、複数の前記フラグメントを含む。
【００１２】
本開示の一態様に係るプログラムは、（ａ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、（ａ２）前記複数の画像を用いて、前記複数の割球の大きさを取得し、（ａ３）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ４）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、（ａ５）生成した前記第１の所定の断面の画像を表示画面に表示し、処理（ａ１）〜（ａ５）をコンピュータに実行させ、前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む。
【００１３】
本開示の別の一態様に係るプログラムは、（ｂ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、（ｂ２）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ３）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ４）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、（ｂ５）生成した前記第２の所定の断面の画像を表示画面に表示し、処理（ｂ１）〜（ｂ５）をコンピュータに実行させ、前記第２の所定の断面は、複数の前記フラグメントを含む。
【００１４】
なお、上記の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。
【発明の効果】
【００１５】
本開示によれば、胚の特徴に対応した断面を特定し且つ表示することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施の形態１に係る画像生成装置を備える画像生成システムの機能的な構成の一例を示すブロック図である。
【図２】図２は、図１の撮影装置の機能的な構成の一例を示すブロック図である。
【図３】図３は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。
【図４】図４は、実施の形態１に係る画像生成装置の動作の一例を示すフローチャートである。
【図５】図５は、２つの割球及び複数のフラグメントを含む胚の例を示す斜視図である。
【図６】図６は、大きさが異なる２つの割球を含む胚の例を示す斜視図である。
【図７】図７は、胚におけるフラグメントの数が最も多い断面の位置の例を示す側面図である。
【図８】図８は、胚におけるフラグメントの数が最も多い断面の例を示す斜視図である。
【図９】図９は、表示装置の表示画面に表示される胚の断面画像の一例である。
【図１０】図１０は、表示装置の表示画面に表示される胚の断面画像の別の一例である。
【図１１】図１１は、表示装置における胚が移植可能であることを示す表示の一例である。
【図１２】図１２は、表示装置における胚が移植可能であることを示す表示の別の一例である。
【図１３】図１３は、実施の形態１に係る画像生成装置の動作の変形例を示すフローチャートである。
【図１４】図１４は、実施の形態１に係る画像生成装置を備える画像生成システムの変形例の機能的な構成の一例を示すブロック図である。
【図１５】図１５は、実施の形態１に係る画像生成装置におけるリフォーカス処理の概略的な流れの一例を示すフローチャートである。
【図１６】図１６は、座標と焦点面との関係の一例を示す模式図である。
【図１７】図１７は、実施の形態１に係る撮影装置の動作の一例を示すフローチャートである。
【図１８】図１８は、実施の形態１に係る画像生成装置におけるリフォーカス処理の詳細な流れの一例を示すフローチャートである。
【図１９】図１９は、リフォーカス処理の計算方法の具体例を説明する模式図である。
【図２０】図２０は、リフォーカス処理の計算方法の具体例を説明する模式図である。
【図２１】図２１は、リフォーカス処理の計算方法の具体例を説明する模式図である。
【図２２】図２２は、リフォーカス処理の計算方法の具体例を説明する模式図である。
【図２３】図２３は、リフォーカス処理の計算方法の具体例を説明する模式図である。
【図２４】図２４は、実施の形態２に係る画像生成装置を備える画像生成システムの機能的な構成の一例を示すブロック図である。
【図２５】図２５は、実施の形態２に係る画像生成装置の動作の一例を示すフローチャートである。
【図２６】図２６は、フラグメントのカウント数が最も多い胚の推定断面と、フラグメントのカウント数が最も少ない胚の推定断面とを、例示する図である。
【図２７】図２７は、表示装置に、フラグメントが最も多い胚の断面の画像と、フラグメントが最も少ない胚の断面の画像とが表示される例を示す図である。
【図２８】図２８は、割球の半径の比率が最も大きい胚の推定断面と、割球の半径の比率が最も小さい胚の推定断面とを、例示する図である。
【図２９】図２９は、表示装置に、割球の半径の比率が最も大きい胚の断面の画像と、割球の半径の比率が最も小さい胚の断面の画像とが表示される例を示す図である。
【図３０】図３０は、表示装置における胚の表示の一例を示す図である。
【図３１】図３１は、胚が移植可能胚である場合での表示装置の表示例を示す図である。
【図３２】図３２は、胚が移植可能胚である場合での表示装置の別の表示例を示す図である。
【図３３】図３３は、実施の形態３に係る画像生成装置を備える画像生成システムの機能的な構成の一例を示すブロック図である。
【図３４】図３４は、実施の形態３に係る画像生成装置の動作の一例を示すフローチャートである。
【図３５】図３５は、画像生成装置によって選択された画像が、表示装置にて表示される例を示す図である。
【図３６】図３６は、画像生成装置によって選択された画像が、表示装置にて表示される別の例を示す図である。
【図３７】図３７は、実施の形態に係る画像生成装置を実現するためのハードウェア構成を示すブロック図である。
【図３８】図３８は、データサーバを利用した画像生成装置の一例を示す模式図である。
【発明を実施するための形態】
【００１７】
［本発明者らの知見］
本開示に関係する発明者ら、つまり、本発明者らは、以下の知見に至った。例えば、特許文献１に記載される方法では、撮影した後に各高さ位置の画像から部分画像が切り出され、それぞれの高さの部分画像がつなぎ合わされて合焦画像が生成される。この方法では、部分画像のつなぎ目には不連続が発生する。合成された合焦画像は、不連続により見にくいものになる、又は、不連続部分がぼかして接続されれば、鮮鋭が低下した画質を有する。細胞の連続的観察には、任意に設定された焦点面に対して、不連続なつなぎ目がなく且つ接続のためのボケがない合焦画像を生成する技術が必要とされる。一方、非特許文献１に記載される技術は、複数照明を利用したリフォーカス技術によって、接続のためのボケがない、指定された任意の焦点面を生成することができる。しかしながら、焦点面はユーザによって指定されるため、体外受精における分割期胚の移植可能性を判定する等の目的のために、適切な断面が得られるとは限らない。
【００１８】
分割期胚において、胚に含まれる複数の割球の大きさが不均一になること、及び、フラグメント量が多くなることは、体外受精の移植胚としての不適格要因となるため、本発明者らは、割球の大きさの不均一性及び胚内のフラグメント量という分割期胚に特有の特徴に着目した。なお、割球は、受精卵が卵割することによって生成された細胞であり、細胞核を有する。割球は、例えば、２細胞期から胞胚期までの細胞を指す。フラグメントは、細胞の分裂の際等に生じ、例えば、細胞質の破片等で構成され、細胞核を有さない。フラグメントは、例えば、５μｍ（マイクロメートル）以下の最大寸法を有し得る。本発明者らは、割球の大きさの不均一性及び／又は胚内のフラグメント量を評価し、評価結果に基づき胚の特徴を示す断面を特定し、特定した断面画像を表示する技術を、見出した。このような断面画像は、胚が移植胚として適格か不適格かの判断材料となり得る。そして、本発明者らは、以下に記載の技術を見出した。
【００１９】
本開示の一態様に係る画像生成装置は、内部に複数の割球とフラグメントとを有する胚を含む複数の画像を記録するメモリと、処理回路とを備え、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、前記処理回路は、（ａ１）前記複数の画像を用いて、前記複数の割球の大きさを取得し、（ａ２）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ３）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、（ａ４）外部のディスプレイに、生成した前記第１の所定の断面の画像を出力し、前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む。
【００２０】
上記態様によれば、最も大きい割球の大きさの最も小さい割球の大きさに対する比率が、第１の閾値以上であるような特徴のある状態の胚において、第１の所定の断面を特定して表示することができる。さらに、第１の所定の断面は、大きさの比率が第１の閾値以上である複数の割球を含む断面であるため、割球に関する胚の特徴の１つである割球の不均一性を表示することができる。なお、第１の閾値の一例は、後述する第三閾値ＴＨ３であってもよい。
【００２１】
本開示の一態様に係る画像生成装置において、前記第１の所定の断面は、断面内の前記割球の大きさの比率が最も大きい断面であってもよい。上記態様によれば、第１の所定の断面は、割球の不均一性さが最も大きく現れる断面を示すことができる。
【００２２】
本開示の一態様に係る画像生成装置において、前記処理回路は、（ａ５）前記第１の条件が満たされる場合、前記第１の所定の断面に加えて、前記胚の第１の補助断面を生成し、（ａ６）前記ディスプレイに、生成した前記第１の補助断面の画像を出力し、前記第１の補助断面は、前記複数の割球のうちの大きさの比率が最も小さい２つの割球を含む断面であってもよい。
【００２３】
上記態様によれば、割球の大きさの比率が異なる第１の所定の断面及び第１の補助断面が表示され得るため、画像生成装置のユーザは、第１の補助断面を用いて、第１の所定の断面を評価することができる。よって、第１の所定の断面のみでは、明確な評価が得られない場合でも、適格な評価を得ることができる。なお、割球の大きさの比率は、２つの割球の大きさの差異が大きい場合に大きくなり、２つの割球の大きさの差異が小さい場合に小さくなるように、設定されてもよい。
【００２４】
本開示の一態様に係る画像生成装置において、前記処理回路は、処理（ａ１）〜（ａ３）に加え、（ｂ１）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ２）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ３）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、前記処理（ａ４）では、前記第１の条件及び前記第２の条件が満たされる場合には、前記第１の所定の断面の画像と、前記第２の所定の断面の画像とを選択可能に、前記ディスプレイに出力し、前記第２の所定の断面は、複数の前記フラグメントを含んでもよい。
【００２５】
上記態様によれば、割球の大きさの比率とフラグメントの数とを用いて、胚が評価される。このため、胚の状態の評価の精度が向上する。そして、第１の所定の断面及び第２の所定の断面はそれぞれ、割球の大きさの比率及びフラグメントに関する胚の特徴を示すため、胚の状態を精度よく確認することが可能になる。なお、第２の閾値の一例は、後述する第二閾値ＴＨ２であってもよい。
【００２６】
本開示の一態様に係る画像生成装置において、前記処理回路は、前記第１の所定の断面の画像に含まれる前記複数の割球の大きさの比率と、前記フラグメントが前記第２の所定の断面内で占める割合とを比較し、前記比率及び前記割合のうちの、より大きい値に対応する断面の画像を、初期画像として前記ディスプレイに出力してもよい。上記態様によれば、割球の大きさの比率の特徴及びフラグメント数に関する特徴のうち、より顕著な特徴が初期画像によって表示される。画像生成装置のユーザが、胚の上記特徴を看過することが抑えられる。
【００２７】
本開示の別の一態様に係る画像生成装置は、内部に複数の割球とフラグメントとを有する胚を含む複数の画像を記録するメモリと、処理回路とを備え、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、前記処理回路は、（ｂ１）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ２）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ３）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、（ｂ４）外部のディスプレイに、生成した前記第２の所定の断面の画像を出力し、前記第２の所定の断面は、複数の前記フラグメントを含む。
【００２８】
上記態様によれば、フラグメントの数が第２の閾値以上であるような特徴のある状態の胚において、第２の所定の断面を特定して表示することができる。さらに、第２の所定の断面は、フラグメントに関する胚の特徴を表示することができる。なお、第２の閾値の一例は、後述する第二閾値ＴＨ２であってもよい。
【００２９】
本開示の別の一態様に係る画像生成装置において、前記第２の所定の断面は、前記フラグメントの数が最も多い断面であってもよい。上記態様によれば、第２の所定の断面は、フラグメントに関する胚の特徴が最も大きく現れる断面を示すことができる。
【００３０】
本開示の別の一態様に係る画像生成装置において、前記処理回路は、（ｂ５）前記第２の条件が満たされる場合、前記第２の所定の断面に加えて、前記胚の第２の補助断面を生成し、（ｂ６）前記ディスプレイに、生成した前記第２の補助断面の画像を出力し、前記第２の補助断面は、前記フラグメントの数が最も少ない断面であってもよい。
【００３１】
上記態様によれば、フラグメントの数が異なる第２の所定の断面及び第２の補助断面が表示され得るため、画像生成装置のユーザは、第２の補助断面を用いて、第２の所定の断面を評価することができる。よって、第２の所定の断面のみでは、明確な評価が得られない場合でも、適格な評価を得ることができる。
【００３２】
本開示の一態様及び別の一態様に係る画像生成装置において、前記処理回路は、前記条件が満たされない場合、前記胚が移植可能胚であることを示す提示を前記ディスプレイに出力してもよい。上記態様によれば、画像生成装置のユーザは、上記提示を視認するだけで、胚が移植可能胚であることを容易に認識することができる。
【００３３】
本開示の一態様及び別の一態様に係る画像生成装置において、前記処理回路は、前記複数の画像を用いて、前記胚の立体構造と、前記割球の立体構造とを生成し、前記胚の立体構造及び前記割球の立体構造を含む立体的画像を前記ディスプレイに出力してもよい。上記態様によれば、画像生成装置のユーザは、胚の構造的な状態を視認することができる。
【００３４】
本開示の一態様及び別の一態様に係る画像生成装置において、前記処理回路は、前記胚の立体構造において断面を選択可能に、前記立体的画像を出力し、前記胚の立体構造における選択された選択断面を生成し、前記選択断面の画像を前記ディスプレイに出力してもよい。上記態様によれば、画像生成装置のユーザは、胚の立体的画像において選択断面を確認しつつ、選択断面の画像を確認することができる。
【００３５】
本開示の一態様及び別の一態様に係る画像生成装置において、前記処理回路は、前記胚の立体構造における断面として初期断面を生成し、前記初期断面の画像を選択可能に前記ディスプレイに出力してもよい。上記態様によれば、画像生成装置のユーザは、胚における表示断面を変更した場合であっても、表示断面を初期断面に戻し、容易に初期状態に、つまりデフォルトの状態にすることができる。
【００３６】
本開示の一態様及び別の一態様に係る画像生成装置において、前記複数の画像は、前記胚が表面に載置され且つ複数のセンサ画素を有するイメージセンサによって取得されており、前記複数の画像はそれぞれ、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、取得されており、前記処理回路は、前記胚の断面を焦点面とする合焦画像を生成することによって、前記胚の断面を生成し、前記合焦画像を構成する複数の合焦画素の輝度値に対応する前記センサ画素の輝度値を、前記胚の断面の情報と、前記光源の位置と、前記複数の画像とを用いて取得してもよい。
【００３７】
上記態様によれば、イメージセンサの表面に載置された胚の断面画像が、胚の断面の情報と、光源の位置と、複数の画像とを用いて、合焦画像として形成される。よって、胚における任意の位置の断面の画像生成が可能になる。また、合焦画像を構成する各合焦画素の輝度値は、これに対応するセンサ画素の輝度値が反映された輝度値であり、個々に取得される。このため、高画質で途切れのない合焦画像が得られる。
【００３８】
本開示の一態様に係る画像生成システムは、複数の光源と、胚が載置される表面と複数のセンサ画素とを有するイメージセンサと、処理回路とを備え、前記イメージセンサは、前記複数の光源のそれぞれが照明される毎に撮像し、内部に複数の割球とフラグメントとを有する前記胚を含む複数の画像を取得し、前記処理回路は、（ａ１）前記複数の画像を用いて、前記複数の割球の大きさを取得し、（ａ２）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ３）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、（ａ４）外部のディスプレイに、生成した前記第１の所定の断面の画像を出力し、前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む。上記態様によれば、本開示の一態様に係る画像生成装置と同様の効果が得られる。
【００３９】
本開示の別の一態様に係る画像生成システムは、複数の光源と、胚が載置される表面と複数のセンサ画素とを有するイメージセンサと、処理回路とを備え、前記イメージセンサは、前記複数の光源のそれぞれが照明される毎に撮像し、内部に複数の割球とフラグメントとを有する前記胚を含む複数の画像を取得し、前記処理回路は、（ｂ１）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ２）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ３）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、（ｂ４）外部のディスプレイに、生成した前記第２の所定の断面の画像を出力し、前記第２の所定の断面は、複数の前記フラグメントを含む。上記態様によれば、本開示の別の一態様に係る画像生成装置と同様の効果が得られる。
【００４０】
本開示の一態様に係る画像生成方法は、胚の断面の画像を生成する画像生成方法であって、（ａ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、（ａ２）前記複数の画像を用いて、前記複数の割球の大きさを取得し、（ａ３）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ４）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、（ａ５）生成した前記第１の所定の断面の画像を表示画面に表示させ、処理（ａ１）〜（ａ５）の少なくとも１つは制御回路により実行され、前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む。上記態様によれば、本開示の一態様に係る画像生成装置と同様の効果が得られる。
【００４１】
本開示の別の一態様に係る画像生成方法は、胚の断面の画像を生成する画像生成方法であって、（ｂ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、（ｂ２）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ３）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ４）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、（ｂ５）生成した前記第２の所定の断面の画像を表示画面に表示させ、処理（ｂ１）〜（ｂ５）の少なくとも１つは制御回路により実行され、前記第２の所定の断面は、複数の前記フラグメントを含む。上記態様によれば、本開示の別の一態様に係る画像生成装置と同様の効果が得られる。
【００４２】
本開示の一態様に係るプログラムは、（ａ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、（ａ２）前記複数の画像を用いて、前記複数の割球の大きさを取得し、（ａ３）前記複数の割球のうちの最も大きい割球の大きさの最も小さい割球の大きさに対する比率が第１の閾値以上である第１の条件を満たすか否かを判定し、（ａ４）前記第１の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第１の所定の断面を生成し、（ａ５）生成した前記第１の所定の断面の画像を表示画面に表示し、処理（ａ１）〜（ａ５）をコンピュータに実行させ、前記第１の所定の断面は、大きさの比率が前記第１の閾値以上である複数の前記割球を含む。上記態様によれば、本開示の一態様に係る画像生成装置と同様の効果が得られる。
【００４３】
本開示の別の一態様に係るプログラムは、（ｂ１）内部に複数の割球とフラグメントとを有する胚を含む複数の画像を取得し、ここで、前記複数の画像は、複数の光源を用いて、前記複数の光源のそれぞれが照明される毎に、撮像された画像であり、（ｂ２）前記複数の画像を用いて、前記フラグメントの数を取得し、（ｂ３）前記フラグメントの数が第２の閾値以上である第２の条件を満たすか否かを判定し、（ｂ４）前記第２の条件が満たされる場合には、前記複数の光源の位置と、前記複数の画像とを用いて、前記胚の第２の所定の断面を生成し、（ｂ５）生成した前記第２の所定の断面の画像を表示画面に表示し、処理（ｂ１）〜（ｂ５）をコンピュータに実行させ、前記第２の所定の断面は、複数の前記フラグメントを含む。上記態様によれば、本開示の別の一態様に係る画像生成装置と同様の効果が得られる。
【００４４】
なお、上記の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【００４５】
［実施の形態］
以下、本開示の実施の形態に係る画像生成装置等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。
【００４６】
［実施の形態１］
［１−１．実施の形態１係る画像生成装置の構成］
実施の形態１に係る画像生成装置１００は、分割期胚のような複数個の半透明物質が３次元的に重なっている被写体を撮影して得た複数の画像を基に、被写体の異常度等の状態を判定し、被写体の状態が視認し易い画像を生成して表示する。
【００４７】
図１を参照すると、実施の形態１に係る画像生成装置１００を備える画像生成システム１０の機能的な構成の一例が、ブロック図で示されている。図１に示されるように、画像生成システム１０は、画像生成装置１００と、撮影装置２００と、表示装置３００とを備える。画像生成システム１０は、画像生成装置１００と撮影装置２００とを少なくとも含む構成であってもよい。画像生成システム１０は、単独で、装置又はシステムを構成してもよく、他の装置又はシステムの一部に組み込まれてもよい。また、画像生成装置１００は、撮影装置２００が撮影した被写体の複数の画像を基に、被写体の状態を示す画像を生成し表示装置３００に表示する。画像生成装置１００は、記憶部１０１と、読み込み部１０２と、判定部１０３と、断面生成部１０４と、画像出力部１０５とを備える。
【００４８】
記憶部１０１は、種々の情報を記録し格納する。記憶部１０１は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置によって実現される。記憶部１０１は、画像生成装置１００の外部に設けられた撮影装置２００が撮影した複数の画像を格納する。例えば、撮影装置２００が撮影した複数の画像は、胚、具体的には、分割期胚の立体構造が再現可能な画像群である。このような胚は、その内部に、複数の割球と、複数のフラグメントとを有し得る。複数の割球及び複数のフラグメントは、分割期胚の特徴を示し得る要素である。
【００４９】
例えば、撮影装置２００は、図２に示すように、照射位置が異なり且つそれぞれの光束が交錯しないように配置された複数の照明器（非交錯照明器とも呼ばれる）２０１と、複数のセンサ画素を有し且つセンサ画素毎に照射された光の強度を記録するイメージセンサ２０２と、撮影制御部２０３とを備える。なお、図２は、図１の撮影装置２００の機能的な構成の一例を示すブロック図である。撮影制御部２０３は、複数の照明器２０１及びイメージセンサ２０２の動作を制御する。具体的には、撮影制御部２０３は、複数の照明器２０１に順番に照明光を射出させ、複数の照明器２０１のそれぞれが照明光を射出する毎に、イメージセンサ２０２に撮影させる。なお、イメージセンサ２０２が撮影（撮像とも呼ばれる）するとは、イメージセンサ２０２が、そのセンサ画素毎に照射された光の強度を検知し記録することである。イメージセンサ２０２上には胚が配置され、イメージセンサ２０２は、胚を通じて照射される光の強度を取得する。これにより、イメージセンサ２０２は、異なる照射位置から照明される毎に胚の画像を撮影する。互いに交錯しない光束は、複数の照明器２０１がそれぞれ平行光を発する構成であることによって実現可能であり、複数の照明器２０１がそれぞれ点光源であることによっても実現可能である。ここで、照明器２０１は光源の一例である。
【００５０】
イメージセンサ２０２は、イメージセンサ２０２が有する複数のセンサ画素が検知する光の強度、例えば輝度に基づき、撮影画像を取得する。センサ画素は、イメージセンサ２０２の受光面に配置され、複数の照明器２０１から照射された光の強度を取得する。イメージセンサ２０２は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサである。
【００５１】
撮影制御部２０３は、複数の照明器２０１による光の照射及びイメージセンサ２０２による撮影を制御する。具体的には、撮影制御部２０３は、複数の照明器２０１が光を照射する順番、複数の照明器２０１が光を照射する時間間隔を制御する。撮影制御部２０３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ、ＲＯＭ等からなるコンピュータシステム（図示せず）により構成されてもよい。撮影制御部２０３の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部２０３の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
【００５２】
撮影の対象物は、例えば、イメージセンサ２０２の受光面を構成する表面の上に直接的又は間接的に配置、つまり載置される半透明の物質であり、具体的には、胚である。対象物は、イメージセンサ２０２の複数のセンサ画素の上に、載置される。対象物が載置されるイメージセンサ２０２の表面は、イメージセンサ２０２のセンサ画素の上の表面を含む。
【００５３】
図３を参照すると、記憶部１０１が記憶する内容の一例が示されている。記憶部１０１に格納されている画像ファイル毎に、画像取得時に照明した照明器２０１の位置情報も記憶されている。図３の例では、照明器２０１の位置情報は、画像ファイルのＩＤと共に記憶されており、照明器２０１の位置情報は、ファイルＩＤを介して画像データと結合している。これ以外に、照明の位置情報が、画像ファイルの一部として、例えばヘッダ情報として記憶される方法もある。
【００５４】
図１を参照すると、読み込み部１０２は、記憶部１０１に格納されている胚の複数の画像、つまり画像群を取得する。判定部１０３は、読み込み部１０２が取得した胚の複数の画像から、胚の３次元再構成を行う。さらに、判定部１０３は、得られた胚の３次元構造である立体構造から、胚が体外受精卵として移植可能か否かを判定する。断面生成部１０４は、胚の立体構造から、胚の移植可能性の判定を可能にする断面を生成する。画像出力部１０５は、断面生成部１０４で生成された断面の画像を生成し、画像生成装置１００の外部に設けられた表示装置３００に表示する。なお、表示装置３００は、ディスプレイによって実現され、画像生成装置１００によって生成された画像を表示する。表示装置３００は、液晶パネル、有機又は無機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルによって構成されてよい。
【００５５】
画像生成装置１００の構成要素である読み込み部１０２、判定部１０３、断面生成部１０４及び画像出力部１０５は、例えば、ＲＡＭ、ＲＯＭ等からなるコンピュータシステム（図示せず）により構成されてもよい。これら構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
【００５６】
［１−２．実施の形態１に係る画像生成装置の動作］
次に、図４を参照して、実施の形態１に係る画像生成装置１００の動作を説明する。なお、図４は、実施の形態１に係る画像生成装置１００の動作の一例を示すフローチャートである。図４に示されるように、まず、読み込み部１０２は、記憶部１０１から、撮影装置２００によって撮影された複数の胚の画像を取得する(ステップＳ１０１)。
【００５７】
次に、判定部１０３は、取得された複数の胚の画像を用いて、３次元再構成を行い、胚の立体構造を生成する（ステップＳ１０２）。具体的には、胚の外形が生成される。この際、判定部１０３は、例えば、イメージセンサ２０２の受光面に平行である複数の焦点面での合焦画像を生成する。複数の焦点面は、受光面から離れる方向に互いに間隔をあけて位置してもよい。合焦画像の生成方法は、後述するリフォーカス処理を用いた方法であってもよく、既知のその他の方法であってもよい。複数の合焦画像は、胚の高さ方向に並ぶ複数の胚の断面を示す。よって、判定部１０３は、複数の合焦画像から、球状をした胚の立体的な外形を算出する。
【００５８】
さらに、判定部１０３は、３次元空間内に存在する複数の焦点面の合焦画像を用いて、３次元ハフ変換を行い、胚内の球構造を持つ対象を抽出する（ステップＳ１０３）。具体的には、判定部１０３は、各合焦画像において、胚内の円を抽出し、各円の寸法及び位置を取得する。さらに、判定部１０３は、各合焦画像の各円の寸法及び位置から、胚内の球構造を持つ対象の寸法及び位置を算出する。なお、３次元ハフ変換を用いた胚内の球構造を持つ対象の抽出は、合焦画像を用いずに、撮影装置２００による撮影画像を用いて行われてもよい。
【００５９】
３次元ハフ変換後、判定部１０３は、胚内の球構造を持つ対象それぞれ、つまり、球それぞれの半径を計算する（ステップＳ１０４）。さらに、判定部１０３は、第一閾値ＴＨ１以下の半径の球の数をカウントする（ステップＳ１０５）。なお、胚内で抽出された球には、割球及びフラグメントが含まれる。半径が第一閾値ＴＨ１以下である球は、フラグメントに対応する。また、半径が第一閾値ＴＨ１超である球を、割球と見なしてもよい。例えば、図５には、２つの割球５０２及び複数のフラグメント５０３を含む胚５０１の例が、斜視図で示されている。図５に示されるように、胚５０１内の比較的大きな球が割球５０２であり、割球５０２よりも小さな球がフラグメント５０３である。例えば、第一閾値ＴＨ１は、２．５μｍ程度の値、又は、２．５μｍ以下の値から決定されてもよい。また、フラグメント５０３の数が一定以上の場合、胚５０１は、体外受精での移植に不適格であると判定される。
【００６０】
このため、判定部１０３は、カウントの結果、第一閾値ＴＨ１以下の半径の球の数が第二閾値ＴＨ２以上であるか否かを判定する（ステップＳ１０６）。そして、判定部１０３は、第二閾値ＴＨ２以上である場合（ステップＳ１０６でＹＥＳ）、胚が移植不可であると判定し、ステップＳ１０８の処理へと遷移する。判定部１０３は、第二閾値ＴＨ２未満である場合（ステップＳ１０６でＮＯ）、ステップＳ１０７の処理へと遷移する。なお、ステップＳ１０５において、カウント処理の代わりに、胚の体積に対する、胚内で第一閾値ＴＨ１以下の半径の球が占める体積の割合を評価してもよい。この場合、当該割合が閾値以上であるか否かが判定され、当該割合が閾値以上であるケースは、ステップＳ１０６でのＹＥＳの処理に該当し、当該割合が閾値未満であるケースは、ステップＳ１０６でのＮＯの処理に該当する。
【００６１】
ステップＳ１０７では、判定部１０３は、第一閾値ＴＨ１超の半径を有する球の中で、半径の最大値及び最小値を求める。そして、判定部１０３は、半径の最大値及び最小値の比率、つまり、最大値／最小値を計算する。さらに、判定部１０３は、最大値／最小値の値、つまり、半径の比率が第三閾値ＴＨ３以上であるか否かを判定する（ステップＳ１０９）。判定部１０３は、第三閾値ＴＨ３以上である場合（ステップＳ１０９でＹＥＳ）、胚が移植不可であると判定し、ステップＳ１１０の処理へと遷移する。例えば、図６に示す例のように、２つの割球の大きさに大きなばらつきがある場合、胚は移植不可と判定されることとなる。なお、図６は、大きさが異なる２つの割球を含む胚の例を示す斜視図である。
【００６２】
また、判定部１０３は、第三閾値ＴＨ３未満である場合（ステップＳ１０９でＮＯ）、胚は移植可能と判定し、ステップＳ１１３の処理へと遷移する。このように判定部１０３は、ステップＳ１０２〜Ｓ１０７及びＳ１０９の処理を実行する。なお、上述では、ステップＳ１０５及びＳ１０６の処理の後に、ステップＳ１０７及びＳ１０９の処理が行われていたが、これらの順序が逆であってもよい。つまり、ステップＳ１０７及びＳ１０９の処理の後に、ステップＳ１０５及びＳ１０６の処理が行われてよい。
【００６３】
次に、断面生成部１０４は、胚が移植不可である判定が確認できる断面、つまり、胚が移植不可であることが視認できるような断面を生成する。具体的には、ステップＳ１０６に続くステップＳ１０８では、断面生成部１０４は、フラグメントのカウント数が最も多い断面の３次元位置を推定する。つまり、断面生成部１０４は、フラグメントの割合が最も多い断面の３次元位置を推定する。
【００６４】
具体的には、映し出されるフラグメントの数が最も多い断面の３次元位置が推定される。この際、断面生成部１０４は、ステップＳ１０２で生成した複数の合焦画像を用いて、推定する。例えば、図７に、胚５０１におけるフラグメントの数が最も多い断面ＦＲの位置の例が、側面図で示されている。図７に示されるように、ステップＳ１０２において、胚５０１に対して、イメージセンサ２０２の受光面に平行である複数の焦点面ＦＰ１、ＦＰ２、ＦＰ３及びＦＰ４が設定される。なお、説明を簡易にするために、焦点面の数を少なく設定しているが、焦点面の数量は、５つ以上でもよく、４つ未満でもよい。
【００６５】
そして、断面生成部１０４は、焦点面ＦＰ１、ＦＰ２、ＦＰ３及びＦＰ４のそれぞれにおいて、フラグメントが存在する領域であるフラグメント領域ＦＡ１、ＦＡ２、ＦＡ３及びＦＡ４を画定する。さらに、断面生成部１０４は、フラグメント領域ＦＡ１、ＦＡ２、ＦＡ３及びＦＡ４それぞれの重心ＦＡＧ１、ＦＡＧ２、ＦＡＧ３及びＦＡＧ４を決定する。断面生成部１０４は、重心ＦＡＧ１、ＦＡＧ２、ＦＡＧ３及びＦＡＧ４それぞれの位置、並びに、重心それぞれの近傍位置のうち、最も多くの重心位置及び近傍位置を通る直線状の軸Ａを決定し、軸Ａを含む断面を断面ＦＲに決定する。例えば、軸Ａが２つ以上ある場合、断面生成部１０４は、全ての軸Ａを含む断面を断面ＦＲに決定してもよく、全ての軸Ａを含む断面がない場合、各軸Ａ及び各軸Ａの近傍の少なくとも一方を通る断面を断面ＦＲに決定してもよい。このように決定された断面ＦＲでは、例えば、図８に示すように、複数のフラグメント領域ＦＡが映し出され、映し出されるフラグメント５０３の数が最も多くなる。なお、図８は、胚５０１におけるフラグメント５０３の数が最も多い断面ＦＲの例を示す斜視図である。
【００６６】
また、ステップＳ１０９に続くステップＳ１１０では、断面生成部１０４は、断面上にある割球の大きさの比率、つまり、半径の最大値／最小値が最も大きくなる断面の３次元位置を推定する。ステップＳ１０３及びＳ１０４の処理によって、胚の立体構造が特定され、各割球の寸法及び３次元位置が特定されている。このため、断面生成部１０４は、割球の大きさの比率が最も大きくなる断面の３次元位置を、幾何学的に推定することができる。なお、本実施の形態では、半径が第一閾値ＴＨ１超である球を割球と見なしている。しかしながら、割球と見なす球の半径の範囲は、第一閾値ＴＨ１を超える任意の所定値以上の範囲で規定されてもよい。
【００６７】
そして、ステップＳ１０８及びＳ１１０に続くステップＳ１１１では、断面生成部１０４は、後述するリフォーカス処理によって、ステップＳ１０８又はＳ１１０で推定された断面を焦点面とする合焦画像を生成する。このように、断面生成部１０４は、ステップＳ１０８、Ｓ１１０及びＳ１１１の処理を実行する。
【００６８】
ステップＳ１１２において、画像出力部１０５は、ステップＳ１１１で生成された合焦画像である断面画像を、表示装置３００に表示する。例えば、フラグメントの割合が多い胚の場合、図９に示すように、フラグメントの割合が最も多い断面画像３０１が、表示装置３００の表示画面３００ａに表示される。割球の大きさのばらつきが大きい胚の場合、図１０に示すように、割球の大きさのばらつきが大きいと視認可能な断面画像３０２が、表示画面３００ａに表示される。なお、図９は、表示装置３００の表示画面３００ａに表示される胚の断面画像の一例であり、図１０は、表示装置３００の表示画面３００ａに表示される胚の断面画像の別の一例である。なお、図９に表示される断面画像は、断面画像内における第一閾値ＴＨ１以下の半径のフラグメントの数量が複数であるような、いかなる断面画像であってもよく、さらに、できるだけ多くのフラグメントを含むことが、フラグメントに関する胚の特徴をより的確に示すためにも好ましい。図１０に表示される断面画像は、断面画像内の複数の割球の半径の比率が第三閾値ＴＨ３以上となるような、いかなる断面画像であってもよい。このような断面画像は、割球の大きさに比率に関する胚の特徴を示すことができる。
【００６９】
また、ステップＳ１０９に続くステップＳ１１３では、判定部１０３は、胚が、体外受精卵として移植可能であると判定し、この判定結果を、画像出力部１０５へ出力する。画像出力部１０５は、例えば、図１１に示すように、胚が移植可能な胚である表示３０３、例えば、表示「移植可能胚」を、表示装置３００の表示画面３００ａに表示する。又は、画像出力部１０５は、図１２に示すように、ユーザが移植可能な胚の断面を確認できるように、胚の断面画像３０４を表示画面３００ａに提示してもよい。なお、図１１は、表示装置３００における胚が移植可能であることを示す表示の一例を示し、図１２は、表示装置３００における胚が移植可能であることを示す表示の別の一例を示す。
【００７０】
図１２に示す例では、画像出力部１０５は、対象とする胚の３Ｄ画像３０５と、表示する断面の位置を示す断面位置画像３０６と、断面位置画像３０６の位置に対応する断面の内容を表示する断面画像３０４とを、表示画面３００ａに提示する。画像出力部１０５は、断面位置画像３０６の位置を移動可能に表示する。例えば、断面位置画像３０６は、断面位置画像３０６に垂直な胚の直径に沿って移動してもよい。さらに、画像出力部１０５は、胚が移植可能な胚である表示３０３と、断面位置画像３０６の位置を初期位置でもある基準位置に戻すことを選択可能にするリセットアイコン３０７とを、表示画面３００ａに表示する。また、画像出力部１０５は、断面位置画像３０６の位置を移動することができるスクロールアイコン３０８を、表示画面３００ａに表示してもよい。断面位置画像３０６が基準位置にあるとき、断面画像３０４は、含まれる割球の数が最も多くなる断面の画像であってもよい。このような断面は、断面生成部１０４によって決定されてもよい。断面生成部１０４は、特定されている胚の立体構造から、当該断面を選定することができる。さらに、断面生成部１０４は、当該断面を焦点面とする合焦画像を、ステップＳ１０２で生成した合焦画像から生成してもよく、記憶部１０１から取得した複数の画像から、例えば、リフォーカス処理によって生成してもよい。
【００７１】
図１２のような画像表示を行う場合、画像生成装置１００は、例えば、図１３に示すフローチャートに従って動作する。図１３のフローチャートは、図４のフローチャートと比較して、ステップＳ１１３の処理の後に、ステップＳ１１４、Ｓ１１５及びＳ１１２の処理が続いて実行する点で異なる。なお、図１３は、実施の形態１に係る画像生成装置１００の動作の流れの変形例を示すフローチャートである。
【００７２】
さらに、図１２のような画像表示を行う場合、図１４に示すように、画像生成システム１０が入力部４００を備え、画像生成装置１００は、入力部４００を介して、ユーザからの入力を受け付けるように構成される。なお、図１４は、実施の形態１に係る画像生成装置１００を備える画像生成システム１０の変形例の機能的な構成の一例を示すブロック図である。入力部４００は、コンピュータ装置などのキーボード、マウス、タッチパッド等の種々の入力装置によって実現されてもよく、表示装置３００の表示画面３００ａを構成するタッチスクリーン等の画面を介した入力装置によって実現されてもよい。入力部４００に入力された情報を、画像出力部１０５が受け付けてよい。例えば、入力部４００を介して、リセットアイコン３０７、スクロールアイコン３０８等を操作する指令が入力されると、画像出力部１０５は、指令に従って、表示画面３００ａの画像を制御する、さらに、指令を断面生成部１０４等に出力もし得る。
【００７３】
具体的には、ステップＳ１１４では、断面生成部１０４は、胚において最も多くの割球が視認できる断面位置を推定する。例えば、断面生成部１０４は、最も多くの割球が視認できる断面位置として、最も多くの割球を通る断面の位置を推定してもよい。この際、断面生成部１０４は、胚及び割球の立体構造から、最も多くの割球が視認できる断面位置を幾何学的に選定することができる。
【００７４】
次のステップＳ１１５では、断面生成部１０４は、後述するリフォーカス処理によって、推定した断面位置の断面を焦点面とする合焦画像を生成する。このとき、断面生成部１０４は、ステップＳ１０２で生成した合焦画像を用いてもよく、記憶部１０１から取得した複数の画像を用いてもよい。そして、断面生成部１０４は、生成した合焦画像を基準断面とし、基準断面の位置を基準位置として、画像出力部１０５に出力する。
【００７５】
次のステップＳ１１２では、画像出力部１０５は、図１２に示す表示画面３００ａ上において、断面画像３０４として、基準断面を表示する。基準断面は、胚が移植可能であると判定された場合に、表示画面３００ａに最初に表示される初期断面画像でもある。また、画像出力部１０５は、基準断面の位置に対応する位置の断面位置画像３０６を、胚の３Ｄ画像３０５に重畳させて表示する。上述したように、画像出力部１０５は、入力部４００を介した指令を受け付ける。スクロールアイコン３０８を移動する入力がなされると、画像出力部１０５は、断面位置画像３０６をこれに垂直な軸に沿って平行移動させる。さらに、画像出力部１０５は、移動後の断面位置画像３０６の位置に対応する断面画像を、断面画像３０４として表示する。この断面画像３０４は、断面位置画像３０６の位置に基づき、断面生成部１０４によって生成されてよい。なお、本例では、断面位置画像３０６は、固定された１つの軸に沿って１方向に往復移動可能であるが、この軸が回動されることによって、種々の方向に往復移動できるように構成されてもよい。この場合、画像出力部１０５は、表示画面３００ａに、軸を回動させるアイコンを表示し、このアイコンが動作されることによって、軸を回動する入力を受け付けてよい。
【００７６】
また、入力部４００を介して、表示画面３００ａのリセットアイコン３０７が選択されると、画像出力部１０５は、断面位置画像３０６の位置を、基準位置に戻し、基準断面を、断面画像３０４として表示する。なお、図１２に示すような胚の３Ｄ画像及び変更可能な断面位置は、図９及び図１０に示される表示画面においても提示されてもよい。
【００７７】
また、上記で説明した第一閾値ＴＨ１、第二閾値ＴＨ２及び第三閾値ＴＨ３は、サポートベクターマシン又は多層ニューラルネットワーク等を利用した機械学習によって、求められてもよい。また、図４のステップＳ１０４における球構造の抽出等も、機械学習を用いたセグメンテーションによって行われてもよい。このように、機械学習を用いることによって、統計的な情報を考慮して、上記閾値等を自動的に求めることが可能になる。
【００７８】
［１−３．効果等］
以上説明したように、実施の形態１に係る画像生成装置１００によれば、分割期胚のように立体的に重なり合う複数の半透明物体で構成される被写体の画像から、異常等の状態の判定が容易な任意の深さ・角度・位置の断面画像を生成及び提示することができる。それにより、従来技術のように、焦点面をユーザが指定することで、例えば、分割期胚の移植可能性を判定するために適切な断面が得られない等の問題の発生を防ぐことができる。
【００７９】
［１−４．リフォーカス技術の説明］
ここで、画像生成装置１００におけるリフォーカス技術であるリフォーカス処理について、図１５及び図１６等を参照しつつ説明する。図１５は、実施の形態１に係る画像生成装置１００におけるリフォーカス処理の概略的な流れの一例を示すフローチャートである。図１６は、座標と焦点面との関係の一例を示す模式図である。
【００８０】
［１−４−１．リフォーカス処理の概略説明］
画像生成装置１００は、図１５に示すような概略的な流れに沿って、リフォーカス処理を行う。
【００８１】
（ステップＳ１１００）
まず、撮影装置２００の撮影制御部２０３は、複数の照明器２０１を順に用いて、イメージセンサ２０２の受光面上に載置された対象物である胚を照明し、胚の複数の画像をイメージセンサ２０２で撮影する。具体的には、撮影制御部２０３は、複数の照明器２０１が胚を照明するたびに、イメージセンサ２０２の受光面に到達した光の強度を記録することにより、胚の画像を取得する。取得された画像は、撮影時に胚を照明していた照明器２０１の位置情報等と共に、記憶部１０１で記憶される。ここでは、複数の照明器２０１の位置は、イメージセンサ２０２に対して予め定められ固定されている。
【００８２】
（ステップＳ１２００）
画像生成装置１００の断面生成部１０４は、焦点面を決定する。具体的には、断面生成部１０４は、イメージセンサ２０２の受光面に対する焦点面の位置及び傾き（角度）を決定する。例えば、断面生成部１０４は、断面生成部１０４が推定した断面を焦点面としてもよく，この場合、推定断面の情報に基づいて、焦点面を決定してもよい。又は、断面生成部１０４は、入力部４００によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。焦点面は、合焦画像が生成される仮想的な面に相当する。つまり、焦点面における胚の合焦画像に含まれる複数の合焦画素は、焦点面上の複数の点に一対一で対応する。
【００８３】
例えば、断面生成部１０４は、焦点面の角度及び位置を用いて焦点面を決定する。焦点面の角度及び位置は、例えば図１６に示すｘｙｚ空間によって定義される。図１６において、ｘｙ平面は、イメージセンサ２０２の受光面と一致する。ｚ軸は、イメージセンサ２０２の受光面に直交する。このとき、焦点面の角度は、例えばイメージセンサ２０２の受光面の中心を原点とするｘｙｚ空間においてｘ軸及びｙ軸に対する角度で定義される。焦点面の位置は、焦点面の中心点つまり合焦画像の中心点の座標で定義される。
【００８４】
（ステップＳ１３００）
断面生成部１０４は、複数の撮影画像と、複数の照明器２０１の位置情報と、焦点面の情報とに基づいて、リフォーカス処理を行い、当該焦点面上の各点の輝度を求める。リフォーカス処理の詳細は後述する。このリフォーカス処理によって、当該焦点面に対応する合焦画像が生成され得る。
【００８５】
（ステップＳ１４００）
断面生成部１０４は、ステップＳ１３００で行われたリフォーカス処理の結果に基づき表示装置３００等に出力可能な画像データを生成する。断面生成部１０４は、生成された画像データを画像出力部１０５に出力する。
【００８６】
（ステップＳ１５００）
画像出力部１０５は、表示装置３００に、ステップＳ１４００で生成された画像を表示させる。
【００８７】
［１−４−２．撮影処理］
ここでステップＳ１１００の撮影装置２００の動作の詳細を説明する。図１７は、実施の形態１に係る撮影装置２００の動作の一例を示すフローチャートである。
【００８８】
（ステップＳ１１１０）
撮影制御部２０３は、例えば、記憶部１０１等に記憶されている予め定められた複数の照明器２０１の位置のリスト、又は、図示しない外部入力によって指定された複数の照明器２０１の位置のリスト（以下、いずれのリストも照明器位置リストと呼ぶ）を参照して、各照明器２０１の位置から照明された胚の撮影が終了したか否かを判定する。なお、以下の説明において、照明器２０１の位置を、照明器位置とも呼ぶ。具体的には、撮影制御部２０３は、照明器位置リストに含まれるすべての照明器位置において、照明器２０１による照明の際のイメージセンサ２０２による胚の撮影が、終了したか否かを判定する。ここで、照明器位置リストに含まれるすべての照明器位置からの照明による撮影が終了している場合（ステップＳ１１１０においてＹＥＳ）、撮影制御部２０３は、ステップＳ１２００へ進む。一方、照明器位置リスト内のいずれかの照明器位置からの照明による撮影が終了していない場合（ステップＳ１１１０においてＮＯ）、撮影制御部２０３は、ステップＳ１１２０へ進む。
【００８９】
（ステップＳ１１２０）
撮影制御部２０３は、照明器位置リストに含まれる複数の照明器位置の中から、まだ照明が行われていない照明器位置を選択し、選択した照明器位置に対応する照明器２０１を決定して、照明器２０１へ照明光を投射させる制御信号を出力する。照明器位置リストにおいて、各照明器位置は、例えば、照明器位置ごとに割り当てられた番号によって示される。又は、各照明器位置は、例えば、図１６に示されるようなｘｙｚ空間における座標値によって示される。照明器位置の選択は、例えば、リストの昇順に行われる。
【００９０】
（ステップＳ１１３０）
照明器２０１は、ステップＳ１１２０で撮影制御部２０３より出力された制御信号に従って、胚への照明を開始する。
【００９１】
（ステップＳ１１４０）
照明器２０１から射出された光が、胚を照明している間に、イメージセンサ２０２は、当該照明器２０１から胚を透過した光によって形成される画像を取得する。
【００９２】
（ステップＳ１１５０）
その後、撮影制御部２０３は、照明器２０１へ制御信号を出力して、胚への照明を停止する。なお、照明の停止は、撮影制御部２０３からの制御信号に従って行われなくてもよい。例えば、照明器２０１は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。又は、ステップＳ１１４０でイメージセンサ２０２が画像の取得を終了した後に、イメージセンサ２０２は、照明を停止するための制御信号を、照明器２０１に出力してもよい。
【００９３】
（ステップＳ１１６０）
次いで、撮影制御部２０３は、ステップＳ１１４０で取得された画像と、当該画像の撮影時に照明した照明器２０１の位置情報とを、記憶部１０１へ出力する。そして、記憶部１０１は、画像データと照明器位置の情報とを対応付けて記憶する。撮影制御部２０３は、ステップＳ１１６０の後、ステップＳ１１１０へ戻る。
【００９４】
ステップＳ１１１０からステップＳ１１６０までの処理が繰り返されることで、照明器位置リストに含まれるすべての照明器位置から順次、胚に光が照射され、胚に光が照射されるたびに、イメージセンサ２０２が画像を取得する。
【００９５】
［１−４−３．リフォーカス処理の詳細］
さらに、ステップＳ１３００のリフォーカス処理の詳細を説明する。図１８は、実施の形態１に係る画像生成装置１００におけるリフォーカス処理の詳細な流れの一例を示すフローチャートである。図１９〜図２３は、リフォーカス処理の計算方法の具体例を説明する模式図である。以下に、図１８のフローチャートに沿って、リフォーカス処理を具体的に説明する。
【００９６】
（ステップＳ１３１０）
断面生成部１０４は、ステップＳ１２００で決定された焦点面の情報を取得する。焦点面の情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。図１６に示されるように、焦点面の傾きは、例えば、焦点面及びｘｚ平面の交線がｘ軸と成す角度によって表される。また例えば、焦点面の傾きは、焦点面及びｙｚ平面の交線がｙ軸と成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。
【００９７】
例えば、図１９を参照すると、撮影の対象物である胚１０００、複数の照明器２０１ａ及び２０１ｂ、並びにイメージセンサ２０２の位置関係の一例が示されている。なお、図１９は、イメージセンサ２０２及び胚１０００の、イメージセンサ２０２の受光面に垂直な平面における断面図の一例を示す。胚１０００は、照明器２０１ａ及び２０１ｂ、並びにイメージセンサ２０２の間に位置し、且つイメージセンサ２０２上に位置する。断面生成部１０４は、ステップＳ１３１０において、焦点面１１００の情報を取得する。
【００９８】
（ステップＳ１３２０）
断面生成部１０４は、ステップＳ１３１０で取得した焦点面１１００に対応する合焦画像に含まれる全画素についてリフォーカス処理が終了したか否かを判定する。ここでは、リフォーカス処理とは、ステップＳ１３２０からステップＳ１３９０までの処理を意味する。合焦画像に含まれる全画素についてリフォーカス処理が終了している場合（ステップＳ１３２０においてＹＥＳ）、断面生成部１０４は、リフォーカス処理を終了する（ステップＳ１４００へ進む）。合焦画像に含まれるいずれかの画素についてリフォーカス処理が終了していない場合（ステップＳ１３２０においてＮＯ）、断面生成部１０４は、リフォーカス処理を続行する（ステップＳ１３３０へ進む）。
【００９９】
合焦画像は、合焦画素である複数の画素を含む。合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。図２０を参照すると、合焦画像に含まれる複数の画素に対応する、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅの一例が示されている。なお、図２０に示す焦点面１１００上の複数の点１１０２ａ〜１１０２ｅは、胚１０００上の点であるが、胚１０００上ではない点が合焦画像の画素に対応してもよい。
【０１００】
（ステップＳ１３３０）
断面生成部１０４は、合焦画像に含まれる複数の画素の中から１つの画素を選択する。ここで選択される１つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカス処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は０である。例えば、図１に示される記憶部１０１に、合焦画像のうちすでにリフォーカス処理が実行された画素の情報が記憶されている。後述するステップＳ１３９０の処理の後、断面生成部１０４は、記憶部１０１にリフォーカス処理した画素の情報を記録する。断面生成部１０４は、記憶部１０１に記録された画素の情報を参照して、リフォーカス処理がまだ実行されていない画素を選択する。以下、図２１に示されるように、点１１０２ａに対応する画素が選択された場合について説明する。また、点１１０２ａに対応する画素を選択画素とも表記する。
【０１０１】
（ステップＳ１３４０）
断面生成部１０４は、選択画素において、すべての照明器位置に対する加算処理が終了しているか否かを判定する。ここで、加算処理とは、ステップＳ１３４０からステップＳ１３９０までの処理を意味する。すべての照明器位置に対する加算処理が終了している場合（ステップＳ１３４０においてＹＥＳ）、断面生成部１０４の処理は、ステップＳ１３２０に戻る。一方、いずれかの照明器位置に対する加算処理が終了していない場合（ステップＳ１３４０においてＮＯ）、断面生成部１０４は加算処理を続行する（ステップＳ１３５０に進む）。
【０１０２】
（ステップＳ１３５０）
断面生成部１０４は、撮影に用いたすべての照明器位置の中からまだ加算処理が終了していない照明器位置を選択する。
【０１０３】
（ステップＳ１３６０）
断面生成部１０４は、選択された照明器位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ２０２の受光面と交差する点の位置を計算する。つまり、断面生成部１０４は、選択された照明器位置に対応するイメージセンサ２０２上の位置を計算する。例えば、図２２を参照すると、照明器２０１ａの位置と選択画素に対応する点１１０２ａとを通る直線１２００が、イメージセンサ２０２の受光面と交点１１０３ａで交差する例が示されている。以下において、交点１１０３ａを、加算処理を行う対象の点である対象点とも表記する。イメージセンサ２０２の受光面上の対象点は、例えば、図１６に示すｘｙ平面上の座標値で表される。
【０１０４】
（ステップＳ１３７０）
断面生成部１０４は、選択された照明器位置に対応する画像を記憶部１０１から取得する。つまり、断面生成部１０４は、選択された照明器位置にある照明器２０１を用いて撮影された画像を記憶部１０１から取得する。具体的には、断面生成部１０４は、図３に示されるような照明器位置情報と画像との対応関係に従って、記憶部１０１に記憶された画像を取得する。例えば、断面生成部１０４は、図２１に示す照明器２０１ａの位置に対応する画像を取得する。
【０１０５】
（ステップＳ１３８０）
断面生成部１０４は、ステップＳ１３６０で計算されたイメージセンサ２０２上の対象点の撮影画像中の位置を決定する。具体的には、断面生成部１０４は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。撮影画像における対象点の位置が、撮影画像の画素の位置である場合、断面生成部１０４は、撮影画像における対象点の輝度値を、当該画素の輝度値とする。撮影画像における対象点の位置が複数の画素の中間位置である場合、断面生成部１０４は、対象点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮影画像における対象点の輝度値を計算する。具体的には、断面生成部１０４は、例えば、対象点に隣接する複数の画素（例えば４画素）のそれぞれについて、各画素と対象点との距離を求め、対象点と各画素との距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対象点の輝度値を求める。
【０１０６】
図２３は、ステップＳ１３８０における対象点の輝度値の計算を説明するための模式図である。図２３において、対象点に隣接する４つの画素Ａ〜画素Ｄと対象点との距離は、それぞれ、ａ、ｂ、ｃ、及びｄと表されている。この場合、対象点の輝度値Ｌｔは、以下の式１で求められる。
【０１０７】
【数１】
2018174787.tif 000003
【０１０８】
ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄはそれぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表し、Ｓは基準距離を表す。例えば、Ｓは以下の式２のように対象点と各画素との距離の平均としてもよい。
【０１０９】
【数２】
2018174787.tif 000004
【０１１０】
（ステップＳ１３９０）
断面生成部１０４は、合焦画像上の選択画素の輝度値にステップＳ１３９０で計算した対象点の輝度値を加算する。
【０１１１】
ステップＳ１３４０からステップＳ１３９０までの処理を各照明器位置に関して繰り返すことにより、全ての照明器位置について、撮影された画像中の対象点の輝度値が選択画素の輝度値に加算された結果が、選択画素の輝度値として計算される。このような加算処理によって、焦点面上の各点について、当該点を透過した複数の方向からの光によって形成された複数の画像が合焦画像の１つの画素に重ねられる。
【０１１２】
例えば、図２２において、照明器２０１ａから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ２０２の受光面上の対象点（交点１１０３ａ）に到達する。したがって、照明器２０１ａの照明を通じて撮影された画像中の対象点（交点１１０３ａ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。また、図２２において、照明器２０１ｂから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ２０２の受光面上の対象点（交点１１０３ｂ）に到達する。したがって、照明器２０１ｂの照明を通じて撮影された画像中の対象点（交点１１０３ｂ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。このような対象点（交点１１０３ａ）における画像（輝度値）及び対象点（交点１１０３ｂ）における画像（輝度値）が加算されることにより、複数の方向からの光によって形成された複数の画像が合焦画像の選択画素に重ねられる。
【０１１３】
上述のようなリフォーカス処理によれば、焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサ２０２の受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。
【０１１４】
なお、上述のリフォーカス処理では、照明器２０１の位置と選択画素に対応する点とを通る直線と、イメージセンサ２０２の受光面との交点である対象点を用いていた。つまり、照明器２０１の位置と選択画素に対応する点とイメージセンサ２０２の受光面上の対象点との関係に基づき、選択画素の輝度値に加算すべき輝度値を有する対象点を特定していた。しかしながら、点同士の関係ではなく、照明器２０１の位置と選択画素とイメージセンサ２０２の受光面上の画素との関係に基づき、選択画素の輝度値に加算すべき輝度値を有する画素を特定してもよい。例えば、照明器２０１から出射されて選択画素の領域内を通った後、イメージセンサ２０２の受光面上に到達する光を受光するイメージセンサ２０２の画素が検知する輝度値が、選択画素の輝度値に加算されるように構成されてもよい。つまり、照明器２０１の位置と選択画素とイメージセンサ２０２の画素とが直線上に並ぶ位置関係にあるイメージセンサ２０２の画素により検知される輝度値が、選択画素の輝度値に加算されてもよい。
【０１１５】
［実施の形態２］
実施の形態２に係る画像生成装置１００ａを説明する。実施の形態２に係る画像生成装置１００ａは、実施の形態１に係る画像生成装置１００に加え、補助画像生成部１０６を備える。以下では、実施の形態１と同一の構成要素には同一の符号を付して適宜説明を省略し、本実施の形態では、主として実施の形態１から追加された事項について説明する。
【０１１６】
図２４を参照すると、実施の形態２に係る画像生成装置１００ａを備える画像生成システム１０の機能的な構成の一例が、ブロック図で示されている。図２４に示されるように、画像生成装置１００ａは、実施の形態１の画像生成装置１００に対して、補助画像生成部１０６をさらに備える。補助画像生成部１０６は、断面生成部１０４等の画像生成装置１００ａの他の構成要素と同様に構成されてよい。
【０１１７】
補助画像生成部１０６は、胚における断面の判定に有用な画像を提示する。例えば、補助画像生成部１０６は、フラグメント数が多い胚については、フラグメントの割合が最も少なく表示される断面を決定し、決定した断面の画像を生成する。この断面は、図４に示すステップＳ１０５でカウントされた第一閾値ＴＨ１以下の半径の球の数と、第二閾値ＴＨ２との差が小さい場合に有用である。上記の差が小さい場合、断面におけるフラグメントの割合から胚が移植可能胚か否かを、画像生成装置１００ａが自動で判定することが困難となる可能性がある。また、補助画像生成部１０６は、割球の半径の比率が不均等な胚については、断面画像内に表示される複数の割球の半径の比率が所定の値以下となる断面を決定し、決定した断面の画像を生成する。この断面は、図４に示すステップＳ１０７で算出された第一閾値ＴＨ１超の半径の球における半径の最大値／最小値の値と、第三閾値ＴＨ３との差が小さい場合に有用である。上記の差が小さい場合、断面における割球の半径の比率、つまり、最大値／最小値の値から、胚が移植可能胚か否かを、画像生成装置１００ａが自動で判定することが困難となる可能性がある。
【０１１８】
図２５を参照すると、実施の形態２に係る画像生成装置１００ａの動作の一例を示すフローチャートが示されている。本実施の形態において、画像生成装置１００ａは、実施の形態１と同様に、ステップＳ１０１〜Ｓ１１３の処理を行う。さらに、画像生成装置１００ａは、ステップＳ１０８とステップＳ１１１との間で、ステップＳ２０１の処理を行い、ステップＳ１１０とステップＳ１１１との間で、ステップＳ２０２の処理を行う。
【０１１９】
ステップＳ１０８に続くステップＳ２０１において、補助画像生成部１０６は、フラグメントのカウント数が最も少ない断面の３次元位置を推定する。つまり、補助画像生成部１０６は、フラグメントの割合が最も少ない断面の３次元位置を推定する。例えば、図２６には、胚５０１に対して、ステップＳ１０８で推定され且つフラグメントのカウント数が最も多い断面ＣＰ１と、ステップＳ２０１で推定され且つフラグメントのカウント数が最も少ない断面ＣＰ２とが、例示されている。図２６にも示されるように、胚が与えられた場合、ステップＳ１０８ではフラグメントが最も多い断面ＣＰ１の位置が得られ、ステップＳ２０１ではフラグメントが最も少ない断面ＣＰ２の位置が得られる。例えば、フラグメントが最も少ない断面ＣＰ２の位置は、フラグメントのカウント数が最も多い断面を法線方向に移動させ、移動した断面でのフラグメントのカウント数を計算し、カウント数が最小となる断面の位置を、フラグメントが最も少ない断面ＣＰ２の位置として決定することができる。その際、フラグメントが最も少ない断面が複数存在した場合、断面内の割球の半径の比率が最も小さくなる、つまり、１に近くなる断面をＣＰ２として決定してもよい。
【０１２０】
次いで、ステップＳ２０１に続くステップＳ１１１において、断面生成部１０４は、ステップＳ１０８で推定されたフラグメントが最も多い断面を焦点面とする合焦画像を、リフォーカス処理によって生成する。さらに、補助画像生成部１０６は、ステップＳ２０１で推定されたフラグメントが最も少ない断面を焦点面とする合焦画像を、リフォーカス処理によって生成する。例えば、図２６に示すように、断面ＣＰ１からは、胚の断面画像３１１が得られ、断面ＣＰ２からは、胚の断面画像３１２が得られる。
【０１２１】
そして、ステップＳ１１１に続くステップＳ１１２では、画像出力部１０５は、断面生成部１０４によって生成されたフラグメントが最も多い断面の合焦画像と、補助画像生成部１０６によって生成されたフラグメントが最も少ない断面の合焦画像とを、表示装置３００に出力し、その表示画面３００ａに表示させる。例えば、画像出力部１０５は、２つの断面の合焦画像を、図２７に示すように並べて、表示画面３００ａに表示する。なお、図２７は、表示装置３００に、フラグメントが最も多い胚の断面の画像３１１と、フラグメントが最も少ない胚の断面の画像３１２とが表示される例を示す図である。
【０１２２】
２つの断面の合焦画像が一緒に表示されることによって、ステップＳ１０５でカウントされた第一閾値ＴＨ１以下の半径の球の数と、第二閾値ＴＨ２との差が小さい場合でも、ユーザは、２つの断面を比較して、フラグメントが最も多い断面が異常を伴うか否か、つまり胚が移植可能か否かを判断することができる。例えば、フラグメントが最も少ない断面においても、第一閾値ＴＨ１以下の半径の球の数と第二閾値ＴＨ２との差が小さい場合、胚が移植不可であると判定できる。反対に、フラグメントが最も少ない断面において、第一閾値ＴＨ１以下の半径の球の数と第二閾値ＴＨ２との差が大きい場合、胚が移植可能であると判定できる。
【０１２３】
また、ステップＳ１１０に続くステップＳ２０２において、補助画像生成部１０６は、胚の断面内の割球の大きさの比率が最も小さくなる断面の３次元位置を推定する。つまり、補助画像生成部１０６は、割球の半径の比率である、半径の最大値／最小値の値が最も小さくなる、つまり、最も１に近い断面の３次元位置を推定する。例えば、図２８には、胚５０１に対して、ステップＳ１１０で推定され且つ割球の半径の比率が最も大きい断面ＣＰ３と、ステップＳ２０２で推定され且つ割球の半径の比率が最も小さい断面ＣＰ４とが、例示されている。図２８にも示されるように、胚が与えられた場合、ステップＳ１１０では断面内の割球の半径の比率が最も大きい断面ＣＰ３の位置が得られ、ステップＳ２０２では断面内の割球の半径の比率が最も小さい断面ＣＰ４の位置が得られる。例えば、断面内の割球の半径の比率が最も小さい断面ＣＰ４の位置は、断面内の割球の半径の比率が最も大きい断面ＣＰ３と同様に、胚及び割球の立体的構造から幾何学的に算出することができる。
【０１２４】
次いで、ステップＳ２０２に続くステップＳ１１１において、断面生成部１０４は、ステップＳ１１０で推定された割球の半径の比率が最も大きい断面を焦点面とする合焦画像を、リフォーカス処理によって生成する。さらに、補助画像生成部１０６は、ステップＳ２０２で推定された割球の半径の比率が最も小さい断面を焦点面とする合焦画像を、リフォーカス処理によって生成する。例えば、図２８に示すように、断面ＣＰ３からは、断面画像３１３が得られ、断面ＣＰ４からは、断面画像３１４が得られる。
【０１２５】
そして、ステップＳ１１１に続くステップＳ１１２では、画像出力部１０５は、断面生成部１０４によって生成された割球の半径の比率が最も大きい断面の合焦画像と、補助画像生成部１０６によって生成された割球の半径の比率が最も小さい断面の合焦画像とを、表示装置３００に出力し、その表示画面３００ａに表示させる。例えば、画像出力部１０５は、２つの断面の合焦画像を、図２９に示すように並べて、表示画面３００ａに表示する。なお、図２９は、表示装置３００に、割球の半径の比率が最も大きい胚の断面の画像３１３と、割球の半径の比率が最も小さい胚の断面の画像３１４とが表示される例を示す図である。
【０１２６】
２つの断面の合焦画像が一緒に表示されることによって、ステップＳ１０７で算出された第一閾値ＴＨ１超の半径を有する割球の半径の比率と、第三閾値ＴＨ３との差が小さい場合でも、ユーザは、２つの断面を比較して、割球の半径の比率が最も大きい断面が異常を伴うか否か、つまり胚が移植可能か否かを判断することができる。例えば、割球の半径の比率が最も小さい断面においても、第一閾値ＴＨ１超の半径を有する割球の半径の比率と第三閾値ＴＨ３との差が小さい場合、胚が移植不可であると判定できる。反対に、割球の半径の比率が最も小さい断面において、第一閾値ＴＨ１超の半径を有する割球の半径の比率と第三閾値ＴＨ３との差が大きい場合、胚が移植可能であると判定できる。
【０１２７】
画像出力部１０５は、図２９に示すような２つの断面画像に加え、対象とする胚の３Ｄ画像３０５と、上記２つの断面の位置を示す断面位置画像３０６ａ及び３０６ｂとを、表示画面３００ａに表示してもよい。このような表示画面の例が、図３０に示されている。なお、図３０は、表示装置３００における胚の表示の一例を示す図である。図３０に示すように、断面位置画像３０６ａは、胚３０５の断面Ａの位置を示し、断面Ａは、割球の半径の比率が最も大きい胚の断面画像３０４ａに対応する。断面位置画像３０６ｂは、胚３０５の断面Ｂの位置を示し、断面Ｂは、割球の半径の比率が最も小さい胚の断面画像３０４ｂに対応する。断面位置画像３０６ａ及び３０６ｂは、胚の３Ｄ画像３０５と重畳表示される。互いに対応する断面位置画像３０６ａ及び断面画像３０４ａと、互いに対応する断面位置画像３０６ｂ及び断面画像３０４ｂとにおいて、対応関係が明確になるように、対応する断面位置画像及び断面画像は、例えば、同一の記号Ａ又はＢが付与されてもよく、断面位置画像の縁と断面画像の縁との間で同一の色で染色されてもよい。
【０１２８】
また、画像出力部１０５は、断面位置画像３０６ａ及び３０６ｂそれぞれの位置を移動することができるスクロールアイコン３０８ａ及び３０８ｂを、表示画面３００ａに表示してもよい。断面位置画像３０６ａ及び３０６ｂの移動は、実施の形態１と同様であってもよい。さらに、画像出力部１０５は、移動された断面位置画像３０６ａ及び３０６ｂそれぞれの位置を基準位置に戻すことを選択可能であるリセットアイコン３０７ａ及び３０７ｂを、表示画面３００ａに表示してもよい。断面位置画像３０６ａの基準位置は、割球の半径の比率が最も大きい断面の位置であってよく、断面位置画像３０６ｂの基準位置は、割球の半径の比率が最も小さい断面の位置であってよい。
【０１２９】
ここで、移植可能である胚について考える。胚が移植可能である場合、図２７の断面画像３１２、図２９の断面画像３１３及び図３０の断面画像３０４ｂのような補助画像が必要とならない。一方で、本実施の形態に係る画像生成装置１００ａの画像出力部１０５は、２つの断面画像を、異常断面画像及び補助画像として、表示画面３００ａに提示する。そのため、画像出力部１０５は、胚が移植可能胚である場合には、例えば、図３１に示すように、断面画像３０４ｂを非表示又はブランクとしてもよい。なお、図３１は、胚が移植可能胚である場合での表示装置３００の表示例を示す図である。具体的には、一方の断面位置画像が、例えば、断面位置画像３０６ｂのように、胚の３Ｄ画像３０５の外に移動して表示され、当該一方の断面位置画像に対応する断面画像は、例えば、断面画像３０４ｂのように、黒く塗りつぶされたブランクで表示されてよい。これにより、一方の断面位置画像及び断面画像が利用されていないことが示される。また、上記断面位置画像に対応するリセットアイコンは、例えば、リセットアイコン３０７ｂのように、黒く塗りつぶされたブランクで表示されてよい。これにより、一方のリセットアイコンが、利用されていない、又は、利用不可であることが示され、当該リセットアイコンは、入力部４００を介した入力に対して反応しない。又は、例えば、図３２に示すように、断面画像３０４ｂに、補助画像は表示しない旨が提示されてもよい。この場合、断面位置画像３０６ｂのように、一方の断面位置画像が、図３１と同様に示され、上記断面位置画像に対応するリセットアイコンには、補助画像がない旨が提示されてもよい。なお、図３２は、胚が移植可能胚である場合での表示装置３００の別の表示例を示す図である。
【０１３０】
以上説明したように、実施の形態２に係る画像生成装置１００ａによれば、分割期胚のように立体的に重なり合う複数の半透明物体で構成される被写体の画像から、異常等の状態判定が容易な任意の深さ・角度・位置の断面画像を生成・提示すると共に、補助画像を提示し、ユーザの判定を補助することができる。それにより、１つの断面画像では判定が困難な場合にも、対応することができるようになる。
【０１３１】
また、実施の形態２に係る画像生成装置１００ａの動作において、実施の形態１と同様に、ステップＳ１０６の処理と、ステップＳ１０９の処理との順序が逆であってもよい。
【０１３２】
［実施の形態３］
実施の形態３に係る画像生成装置１００ｂを説明する。実施の形態１に係る画像生成装置１００は、胚におけるフラグメントの割合及び割球の比率のいずれかが閾値以上であることを判定すると、胚が移植不可能であると判定していたが、実施の形態３に係る画像生成装置１００ｂは、胚におけるフラグメントの割合及び割球の比率の両方を評価し、胚が移植不可能であるか否かを判定する。本実施の形態では、実施の形態１及び２と異なる点を中心に説明する。
【０１３３】
図３３を参照すると、実施の形態３に係る画像生成装置１００ｂを備える画像生成システム１０の機能的な構成の一例が、ブロック図で示されている。図３３に示されるように、画像生成装置１００ｂは、実施の形態１の画像生成装置１００に対して、表示切替部１０７をさらに備える。表示切替部１０７は、断面生成部１０４等の画像生成装置１００ｂの他の構成要素と同様に構成されてよい。表示切替部１０７は、入力部４００に入力される画像の選択指示に従い、表示装置３００の表示画面３００ａに表示する胚の断面画像を変更する。
【０１３４】
図３４を参照して、実施の形態３に係る画像生成装置１００ｂの動作を説明する。なお、図３４には、実施の形態３に係る画像生成装置１００ｂの動作の一例を示すフローチャートが示されている。本実施の形態において、画像生成装置１００ｂは、実施の形態１と同様に、ステップＳ１０１〜Ｓ１０６の処理を行う。ステップＳ１０６において、判定部１０３が第一閾値ＴＨ１以下の半径の球の数が第二閾値ＴＨ２以上であると判定すると（ステップＳ１０６でＹＥＳ）、断面生成部１０４は、ステップＳ１０８の処理を行った後、ステップＳ３０１にてフラグ１をＯＮにする。その後、断面生成部１０４は、ステップＳ１０７の処理に遷移する。なお、ステップＳ１０６でＮＯの場合、判定部１０３は、ステップＳ１０７の処理に進む。
【０１３５】
そして、ステップＳ１０７に続くステップＳ１０９において、判定部１０３が、第一閾値ＴＨ１超の半径を有する球の半径の比率、具体的には、半径の最大値／最小値が第三閾値ＴＨ３未満であると判定すると（ステップＳ１０９でＮＯ）、判定部１０３は、ステップＳ３０２の処理へと遷移し、フラグ１がＯＮ状態であるか否かを判定する。ＯＮ状態の場合（ステップＳ３０２でＹＥＳ）、判定部１０３は、ステップＳ１１２の処理へと遷移する。ステップＳ１１２では、断面生成部１０４が、ステップＳ１０８で推定した断面を焦点面とする合焦画像を生成して出力し、画像出力部１０５は、断面生成部１０４から受け取った合焦画像を表示装置３００に表示する。フラグ１がＯＮ状態でない場合（ステップＳ３０２でＮＯ）、ステップＳ１１３において、判定部１０３は、胚が移植可能であると判定し、この判定結果を、画像出力部１０５へ出力する。画像出力部１０５は、胚が移植可能な胚である表示を、表示装置３００に表示する。
【０１３６】
また、ステップＳ１０９において、判定部１０３が、第一閾値ＴＨ１超の半径を有する球の半径の比率が第三閾値ＴＨ３以上であると判定すると（ステップＳ１０９でＹＥＳ）、断面生成部１０４は、ステップＳ１１０の処理を行った後、ステップＳ３０３にてフラグ２をＯＮにする。その後、ステップＳ３０４において、断面生成部１０４は、フラグがＯＮ状態となっている推定断面の位置に従ってリフォーカス処理を実施する。具体的には、断面生成部１０４は、フラグがＯＮ状態となっている推定断面を焦点面とする合焦画像を生成する。この合焦画像は、割球の半径の比率に関する断面画像である。また、ステップＳ３０４の処理は、ステップＳ３０３から遷移した処理であるため、フラグ２は必ずＯＮ状態となっている。
【０１３７】
そのため、ステップＳ３０５では、判定部１０３は、割球の半径の比率に関する断面画像に加えて、フラグメント数に関する断面画像を生成するか否かを判定する。つまり、ステップＳ３０５において、判定部１０３は、フラグ１がＯＮであるか否かを判定する。判定部１０３は、フラグ１がＯＦＦ状態の場合（ステップＳ３０５でＮＯ）、ステップＳ１１２へと遷移し、画像出力部１０５は、ステップＳ３０４で生成された割球比率に関する断面の画像を、表示装置３００に表示する。一方、フラグ１がＯＮ状態の場合（ステップＳ１０９でＹＥＳ）、判定部１０３は、ステップＳ３０６へと遷移し、断面生成部１０４は、表示装置３００に提示する断面画像の選択を行う。
【０１３８】
ステップＳ３０６では、フラグ１及びフラグ２がＯＮ状態である。本処理では、画像生成装置１００ｂは、フラグがＯＮ状態である推定断面のうちの表示装置３００に最初に表示する推定断面の画像を選択する。本実施の形態においては、画像生成装置１００ｂは、胚が移植不可能であることを、より顕著に示す推定断面の画像を最初に表示する。このような推定断面の画像は、移植可能胚に対する胚の異常度を示す。画像生成装置１００ｂは、推定断面の画像の異常度を推定し、異常度が高い断面の画像を最初に提示する。
【０１３９】
推定断面の画像の異常度は、フラグメントに関する異常度と、割球の半径の比率に関する異常度とを含み得る。例えば、フラグメントに関する異常度は、断面画像内の胚の面積Ｓ１と全てのフラグメントの面積Ｓ２とを使用して求められる。具体的には、異常度Ｓは、Ｓ＝Ｓ２／Ｓ１の関係から求められる。また、割球の半径の比率に関する異常度は、断面画像内の複数の割球の半径のうちの最大半径Ｒ１及び最小半径Ｒ２を使用して求められる。具体的には、異常度Ｒは、Ｒ＝１−Ｒ２／Ｒ１の関係から求められる。２つの異常度Ｓ及びＲの値はいずれも、０から１の間の値となるため、異常度Ｓ及びＲを比較することが可能である。例えば、異常度Ｓ及びＲがＳ＜Ｒの関係を満たす場合、断面生成部１０４は、割球の比率に関する断面画像を選択し、異常度Ｓ及びＲがＳ＞Ｒの関係を満たす場合、フラグメントに関する断面画像を選択する。なお、異常度Ｓ及びＲの関係がＳ＝Ｒとなる場合、断面生成部１０４は、乱数等によって任意に断面画像を選択してもよく、フラグメントの割合と割球の半径の比率とのうちで使用頻度が高い方の断面画像を選択してもよい。そして、断面生成部１０４は、断面画像を選択後、ステップＳ１１２の処理へと遷移し、画像出力部１０５は、選択された断面画像を表示装置３００に表示する。
【０１４０】
なお、ステップＳ３０６において、割球の比率に関する断面画像に関する異常度の推定は、ステップＳ３０４でのリフォーカス処理により生成された合焦画像を用いて行われてもよく、胚及び割球の３次元構造に基づき行われてもよい。フラグメントに関する断面画像に関する異常度の推定は、リフォーカス処理により生成される当該断面の合焦画像を用いて行われてもよく、胚及びフラグメントの３次元構造に基づき行われてもよい。フラグメントに関する断面の合焦画像は、ステップＳ３０６において、リフォーカス処理により生成されてもよい。
【０１４１】
図３５を参照すると、画像生成装置１００ｂによって選択された画像が、表示装置３００にて表示される例が示されている。図３５に示す表示画面３００ａでは、図９及び図１０に示す表示画面と比較して、画像変更アイコン３２０が付与されている。画像変更アイコン３２０に入力部４００を介して入力が与えられる前は、ステップＳ３０６にて選択された断面画像が表示されている。画像変更アイコン３２０が入力部４００を介して入力を受けると、表示されている断面画像が、別の断面画像に変更される。例えば、図３５に示すように、フラグメントに関する断面画像３２１から、割球の半径の比率に関する断面画像３２２に変更され、さらに、画像変更アイコン３２０が入力を受けると、フラグメントに関する断面画像３２１に再び変わる。また、フラグ１及び２のうちの一方がＯＮ状態であり他方がＯＦＦ状態である場合、画像変更アイコン３２０が入力を受けても、断面画像が変更されない。又は、図３６に示すように、画像変更アイコン３２０が、黒いブランクで表示され、利用不可であることが示されてもよい。なお、図３６は、画像生成装置１００ｂによって選択された画像が、表示装置３００にて表示される別の例を示す図である。
【０１４２】
以上説明したように、実施の形態３に係る画像生成装置１００ｂによれば、複数の原因によって胚の移植が不可能と判断された場合に、表示画像を変更することができる。
【０１４３】
また、実施の形態３に係る画像生成装置１００ｂの動作において、実施の形態１と同様に、ステップＳ１０６の処理と、ステップＳ１０９の処理との順序が逆であってもよい。
【０１４４】
また、実施の形態３に係る画像生成装置１００ｂは、表示装置３００の表示画像に、図３０で示したような胚の３Ｄ画像及び変更可能な断面位置の組み合わせを組み合わせてもよく、実施の形態２で説明した補助画像を組み合わせてもよい。
【０１４５】
［その他］
以上、実施の形態に係る画像生成装置等について説明したが、本開示はこれら実施の形態に限定されるものではない。
【０１４６】
実施の形態に係る画像生成装置１００，１００ａ，１００ｂは、画像の生成対象を、胚としていたが、これに限定されず、細胞、組織等を対象としてもよく、いかなる半透明の立体を対象としてもよい。
【０１４７】
例えば、実施の形態に係る画像生成装置１００，１００ａ，１００ｂは、コンピュータを利用して実現することも可能である。図３７は、実施の形態に係る画像生成装置１００，１００ａ，１００ｂを実現するためのハードウェア構成を示すブロック図である。
【０１４８】
画像生成装置１００，１００ａ，１００ｂは、コンピュータ２００１と、コンピュータ２００１に指示を与えるためのキーボード２００２及びマウス２００３と、コンピュータ２００１の演算結果等の情報を提示するためのディスプレイ２００４と、コンピュータ２００１で実行されるプログラムを読み取るためのＯＤＤ（Ｏｐｔｉｃａｌ  Ｄｉｓｋ  Ｄｒｉｖｅ）２００５とを含む。
【０１４９】
画像生成装置１００，１００ａ，１００ｂが実行するプログラムは、コンピュータで読み取り可能な光記憶媒体２００６に記憶され、ＯＤＤ２００５で読み取られる、又は、コンピュータネットワークを通じてＮＩＣ２００７で読み取られる。
【０１５０】
コンピュータ２００１は、ＣＰＵ２００８と、ＲＯＭ２００９と、ＲＡＭ２０１０と、ハードディスク（ＨＤＤ、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２０１１と、通信モデム（ＮＩＣ、Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃｏｎｔｒｏｌｌｅｒ）２００７と、バス２０１２とを含む。
【０１５１】
さらに、コンピュータ２００１は、高速演算を行うためのＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１３を含んでもよい。
【０１５２】
ＣＰＵ２００８とＧＰＵ２０１３とは、ＯＤＤ２００５又はＮＩＣ２００７を介して読み取られたプログラムを実行する。ＲＯＭ２００９は、コンピュータ２００１の動作に必要なプログラムやデータを記憶する。ＲＡＭ２０１０は、プログラム実行時のパラメータなどのデータを記憶する。ＨＤＤ２０１１は、プログラムやデータなどを記憶する。ＮＩＣ２００７は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス２０１２は、ＣＰＵ２００８、ＲＯＭ２００９、ＲＡＭ２０１０、ＨＤＤ２０１１、ＧＰＵ２０１３、ＮＩＣ２００７、ディスプレイ２００４、キーボード２００２、マウス２００３及びＯＤＤ２００５等を相互に接続する。なお、コンピュータ２００１に接続されているキーボード２００２、マウス２００３、及びＯＤＤ２００５は、例えばディスプレイ２００４がタッチパネルになっている場合やＮＩＣ２００７を利用する場合には、取り外してもよい。
【０１５３】
さらに、上記の各装置を構成する画像生成装置１００，１００ａ，１００ｂの構成要素の一部又は全ては、１つのシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１つのチップ上に蓄積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１５４】
さらにまた、上記の各装置を構成する構成要素の一部又は全ては、各装置に着脱可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）カード又は単体モジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【０１５５】
また、本開示の技術は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムを含んでもよいし、当該コンピュータプログラムからなるデジタル信号を含んでもよい。
【０１５６】
さらに、本開示の技術は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な非一時的な記憶媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記憶したものを含んでもよい。また、これら非一時的な記憶媒体に記録されている上記デジタル信号を含んでもよい。
【０１５７】
また、本開示の技術は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回路、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１５８】
また、上記プログラム若しくは上記デジタル信号を上記非一時的な記憶媒体に記録して移送することにより、又は、上記プログラム若しくは上記デジタル信号は上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１５９】
また、本開示の技術は、図３８のように、コンピュータ２００１以外にも別途データサーバ２１０１を構築し、そのサーバ上にメモリ等の保存すべきデータを置き、上記ネットワーク等を経由してその情報をコンピュータ２００１が読み出してもよい。また、データサーバ２１０１から情報を読み出す、コンピュータ２００１は１台である必要はなく、複数であってもよい。その際、各コンピュータ２００１が画像生成装置１００，１００ａ，１００ｂの構成要素の一部をそれぞれ実施してもよい。
【０１６０】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【０１６１】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【産業上の利用可能性】
【０１６２】
本開示は、半透明の立体を表示する装置に広く利用可能であり、特に培養細胞、組織、胚を培養し、培養中のその細胞あるいは胚等の細胞塊を撮像し画像データを表示する装置に広く利用可能である。
【符号の説明】
【０１６３】
１０  画像生成システム
１００、１００ａ、１００ｂ  画像生成装置
１０１  記憶部
１０２  読み込み部
１０３  判定部
１０４  断面生成部
１０５  画像出力部
１０６  補助画像生成部
１０７  表示切替部
２００  撮影装置
２０１  照明器（光源）
２０２  イメージセンサ
２０３  撮影制御部
３００  表示装置
４００  入力部
【図１】
2018174787.tif 000005
【図２】
2018174787.tif 000006
【図３】
2018174787.tif 000007
【図４】
2018174787.tif 000008
【図５】
2018174787.tif 000009
【図６】
2018174787.tif 000010
【図７】
2018174787.tif 000011
【図８】
2018174787.tif 000012
【図９】
2018174787.tif 000013
【図１０】
2018174787.tif 000014
【図１１】
2018174787.tif 000015
【図１２】
2018174787.tif 000016
【図１３】
2018174787.tif 000017
【図１４】
2018174787.tif 000018
【図１５】
2018174787.tif 000019
【図１６】
2018174787.tif 000020
【図１７】
2018174787.tif 000021
【図１８】
2018174787.tif 000022
【図１９】
2018174787.tif 000023
【図２０】
2018174787.tif 000024
【図２１】
2018174787.tif 000025
【図２２】
2018174787.tif 000026
【図２３】
2018174787.tif 000027
【図２４】
2018174787.tif 000028
【図２５】
2018174787.tif 000029
【図２６】
2018174787.tif 000030
【図２７】
2018174787.tif 000031
【図２８】
2018174787.tif 000032
【図２９】
2018174787.tif 000033
【図３０】
2018174787.tif 000034
【図３１】
2018174787.tif 000035
【図３２】
2018174787.tif 000036
【図３３】
2018174787.tif 000037
【図３４】
2018174787.tif 000038
【図３５】
2018174787.tif 000039
【図３６】
2018174787.tif 000040
【図３７】
2018174787.tif 000041
【図３８】
2018174787.tif 000042