(57)【要約】【課題】時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影する。【解決手段】分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、を備え、前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識結果に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、制御装置が提供される。【選択図】図１
2019225177.tif 000002
【特許請求の範囲】
【請求項１】
分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、
を備え、
前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識結果に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、
制御装置。
【請求項２】
前記分裂能を有する細胞は、受精卵を含む、
請求項１に記載の制御装置。
【請求項３】
前記撮影制御部は、前記学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて前記観察対象の重心位置を検出し、前記重心位置が前記撮影部による撮影範囲の略中心となるよう制御する、
請求項１に記載の制御装置。
【請求項４】
前記撮影制御部は、前記学習済みモデルを用いて生成される前記観察対象の認識確率画像に基づいて、前記重心位置を検出する、
請求項３に記載の制御装置。
【請求項５】
前記撮影制御部は、検出した前記重心位置および前記認識確率に基づいて算出した拡大倍率で前記撮影部に前記観察対象を撮影させる、
請求項４に記載の制御装置。
【請求項６】
前記撮影制御部は、前記学習済みモデルを用いて算出された前記観察対象の形態確率に基づいて、前記焦点位置を制御する、
請求項１に記載の制御装置。
【請求項７】
前記撮影制御部は、前記撮影部に異なる前記焦点位置で撮影させた複数の画像のうち前記形態確率が最も高く算出された画像に係る前記焦点位置で、前記撮影部に前記観察対象を撮影させる、
請求項６に記載の制御装置。
【請求項８】
前記学習済みモデルを用いて、撮影された画像における前記観察対象の認識確率を算出する処理部、
をさらに備える、
請求項１に記載の制御装置。
【請求項９】
前記処理部は、前記学習済みモデルを用いて、前記観察対象が撮影された画像の特徴量を算出し、前記特徴量に基づいて背景を除去する、
請求項８に記載の制御装置。
【請求項１０】
前記処理部は、前記観察対象が撮影された画像の特徴量と、前記観察対象が含まれない空ウェルが撮影された画像の特徴量と、の差分である差分特徴量に基づいて、前記観察対象が撮影された画像における背景を除去する、
請求項９に記載の制御装置。
【請求項１１】
前記観察対象は、前記分裂能を有する細胞が含む任意の構造体、または前記構造体の任意の領域を含む、
請求項１に記載の制御装置。
【請求項１２】
前記観察対象が撮影された画像と前記機械学習アルゴリズムとに基づいて、前記観察対象の認識に係る学習を行う学習部、
をさらに備える、
請求項１に記載の制御装置。
【請求項１３】
前記学習済みモデルは、前記観察対象を撮影した画像と、前記観察対象の形状、形態、構造のうち少なくとも一つの特徴に関する情報とを含む学習データを用いて生成された認識器である、
請求項１に記載の制御装置。
【請求項１４】
プロセッサが、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御すること、
を含み、
前記撮影を制御することは、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御すること、をさらに含む、
制御方法。
【請求項１５】
コンピュータを、
分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、
を備え、
前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、
制御装置、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、細胞などを時系列に沿って撮影し、当該細胞の経時変化を観察する手法が広く行われている。例えば、特許文献１には、観察対象となる受精卵などの細胞を時系列に沿って高い精度で評価する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−２２２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、例えば、特許文献１に記載されるような観察対象の評価を行うためには、当該観察対象に係る撮影を精度高く行うことが求められる。しかし、大量の観察対象を長時間に渡り撮影する場合、観察対象の水平位置や焦点位置などを、観察対象ごとに都度人手で調整することは困難である。【０００５】
そこで、本開示では、時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影することが可能な、新規かつ改良された制御装置、制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、を備え、前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識結果に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、制御装置が提供される。【０００７】
また、本開示によれば、プロセッサが、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御すること、を含み、前記撮影を制御することは、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御すること、をさらに含む、制御方法が提供される。【０００８】
また、本開示によれば、コンピュータを、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、を備え、前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、制御装置、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影することが可能となる。【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る制御装置による撮影制御の流れを示すフローチャートである。
【図２】同実施形態に係る撮影装置および制御装置の機能構成例を示すブロック図である
【図３】同実施形態に係る撮影装置の物理構成例を示す図である。
【図４】同実施形態に係る観察対象の重心位置に基づく撮影制御について説明するための図である。
【図５】同実施形態に係る認識確率画像の一例を示す図である。
【図６】同実施形態に係る観察対象の重心位置の検出について説明するための図である。
【図７】同実施形態に係る拡大倍率の算出について説明するための図である。
【図８】同実施形態に係る重心位置や拡大倍率に基づいて撮影された画像の一例である。
【図９】同実施形態に係る観察対象が細胞が含む構造体である場合の重心位置に基づく撮影制御について説明するための図である。
【図１０】同実施形態に係る受精卵内の細胞塊を観察対象とした際の認識確率画像の一例である。
【図１１】同実施形態に係る観察対象の重心位置の検出と拡大倍率の算出について説明するための図である。
【図１２】同実施形態に係る重心位置や拡大倍率に基づいて撮影された画像の一例である。
【図１３】同実施形態に係る撮影制御により順に撮影された画像の比較である。
【図１４】同実施形態に係る撮影制御により順に撮影された画像の比較である。
【図１５】同実施形態に係る観察対象の重心位置に基づく撮影制御の流れを示すフローチャートである。
【図１６】同実施形態に係る焦点位置の制御について説明するための図である。
【図１７】同実施形態に係る観察対象の撮影に適した焦点距離の特定の流れを示すフローチャートである。
【図１８】同実施形態に係る画素レベルで生成された差分画像について説明するための図である。
【図１９】同実施形態に係る差分特徴量に基づく背景除去について説明するための図である。
【図２０】同実施形態に係る差分特徴量に基づく背景除去の流れを示すフローチャートである。
【図２１】本開示の一実施形態に係るハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．概要
１．２．構成例
１．３．制御の詳細
２．ハードウェア構成例
３．まとめ
【００１４】
＜１．実施形態＞
＜＜１．１．概要＞＞
まず、本開示の一実施形態の概要について説明する。上述したように、近年、種々の分野において、細胞などの観察対象を時系列に沿って撮影し(タイムラプス撮影、とも称する)、当該細胞の経時変化を観察する手法が広く行われている。
【００１５】
例えば、畜産分野においては、家畜などの受精卵を移植が可能となる状態まで発育させる際にタイムラプス撮影を行うことで当該受精卵の経時変化を観察し、また発育状態を評価する手法が行われている。
【００１６】
ここで、上記のような発育状態の評価を行うためには、時系列に沿って受精卵の画像を精度高く撮影することが求められる。このために、一般的には、人が顕微鏡などの撮影装置を用いて受精卵を目視し、ステージの水平位置（ｘ方向、ｙ方向）や焦点位置（ｚ方向）を調整し、また光学倍率レンズを選択するなどの作業が行われている。
【００１７】
しかし、上記のようなタイムラプス撮影においては、一度に１０００〜２０００個など大量の受精卵を同時に観察する場合もあり、すべての受精卵に対し人手で上記のような調整を行うには、高い作業負荷と長い時間が必要となる。また、畜産分野に限らず、不妊治療や再生治療などの分野においても、長時間に渡るタイムラプス撮影が行われているが、受精卵などの観察対象を２４時間体制で無人で自動的に撮影することは、非常に困難であった。
【００１８】
本開示に係る技術思想は、上記の点に着目して発想されたものであり、時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影することを可能とする。このために、本開示の一実施形態に係る制御方法を実現する制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出した観察対象の認識確率に基づいて、当該観察対象の撮影を制御することを特徴の一つとする。
【００１９】
本開示の一実施形態に係る制御装置２０は、例えば、撮影装置１０に撮影させた画像を上記の学習済みモデルにより解析し、当該画像中における観察対象の認識確率に係る確率分布を得ることで、当該観察対象の重心位置を検出する機能を有してよい。本実施形態に係る制御装置２０は、上記のように検出した観察対象の重心位置が撮影装置１０による撮影範囲の略中心となるよう、撮影装置１０を制御し、当該観察対象を撮影させることが可能である。
【００２０】
また、本実施形態に係る制御装置２０は、例えば、撮影装置１０に異なる焦点位置で撮影させた複数の画像を上記の学習済みモデルで解析し、各画像における観察対象の形態確率を得ることで、観察対象の撮影に適した焦点位置を特定してもよい。本実施形態に係る制御装置２０は、例えば、観察対象の形態確率が最も高いと判定された画像に係る焦点位置で、撮影装置１０に観察対象を撮影させることが可能である。
【００２１】
このように、本実施形態に係る制御装置２０によれば、観察対象の撮影において観察対象の重心位置や、焦点位置を自動で調整することができ、人手による作業コストを大幅に削減するとともに、大量の観察対象を長時間に渡り高精度に撮影することが可能となる。
【００２２】
また、本実施形態に係る制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて、観察対象が撮影された画像から背景を除去する機能を有してよい。本実施形態に係る制御装置２０は、例えば、観察対象を含むウェルの画像から抽出した特徴量と、観察対象を含まない空ウェルの画像から抽出した特徴量と、の差分である差分特徴量に基づいて、背景除去を実現することができる。
【００２３】
本実施形態に係る制御装置２０が有する上記の機能によれば、撮影された画像からウェルの影響を効果的に排除することができ、精度高く観察対象を認識し、また評価することなどが可能となる。
【００２４】
ここで、本実施形態に係る制御装置２０による撮影制御の一連の流れについて概要を述べる。図１は、本実施形態に係る制御装置２０による撮影制御の流れを示すフローチャートである。
【００２５】
図１を参照すると、まず、制御装置２０は、撮影装置１０を制御し、観察対象を撮影させる（Ｓ１１０１）。
【００２６】
次に、制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いた認識解析により、ステップＳ１１０１において撮影させた画像中における観察対象の重心位置を検出する（Ｓ１１０２）。
【００２７】
次に、制御装置２０は、ステップＳ１１０２において検出した観察対象の重心位置に基づいて、当該重心位置が撮影装置１０による撮影範囲の略中心となるように制御する（Ｓ１１０３）。
【００２８】
次に、制御装置２０は、異なる焦点位置ｚ１〜ｚｎで撮影装置１０に観察対象を撮影させる（Ｓ１１０４）。
【００２９】
次に、制御装置２０は、ステップＳ１１０４において撮影させた複数の画像を入力とし、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いた形態解析を行うことで、観察対象の撮影に適した焦点位置を特定する（Ｓ１１０５）。
【００３０】
次に、制御装置２０は、観察対象を含むウェルと、観察対象を含まない空ウェルとを撮影装置１０に撮影させる（Ｓ１１０６）。
【００３１】
次に、制御装置２０は、ステップＳ１１０６において撮影させた２つの画像の差分特徴量に基づいて、観察対象を含むウェルの画像から背景を除去する（Ｓ１１０７）。
【００３２】
以上、本実施形態に係る制御装置２０による撮影制御の流れについて説明した。本実施形態に係る制御装置２０が有する上記の機能によれば、大量の観察対象の長時間に渡るタイムラプス撮影を自動化し、精度の高い画像を取得することで、観察対象の認識や評価を精度高くかつ効率的に実現することが可能となる。
【００３３】
なお、本実施形態に係る観察対象は、例えば、受精卵のような分裂能を有する種々の細胞であってよい。分裂能を有する細胞は、成長により大きさや形状（内部形状を含む）が変化することから、同一の水平位置や焦点位置で撮影し続けることが困難である特性を有する。一方、本実施形態に係る制御装置２０による上記の撮影制御によれば、分裂能を有する細胞の経時変化に応じて撮影環境を自動で調整することができ、精度の高い画像を取得することが可能である。なお、分裂能を有する他の細胞の例としては、がん細胞や、再生医療分野などで用いられるＥＳ細胞、ｉＰＳ細胞などの各種の培養細胞などが挙げられる。
【００３４】
さらに、本明細書において、「受精卵」とは、単一の細胞と、複数の細胞の集合体とを
少なくとも概念的に含む。ここで、単一の細胞または複数の細胞の集合体は、卵母細胞（oocyte）、卵子（eggまたはovum）、受精卵（fertile ovumまたはzygote）、未分化胚芽細胞（blastocyst）、胚（embryo）を含む受精卵の成長過程の一または複数のステージで観察される細胞に関連するものである。
【００３５】
＜＜１．２．構成例＞＞
次に、本実施形態に係る撮影装置１０および制御装置２０の構成例について説明する。図２は、本実施形態に係る撮影装置１０および制御装置２０の機能構成例を示すブロック図である。また、図３は、本実施形態に係る撮影装置１０の物理構成例を示す図である。
【００３６】
図２を参照すると、本実施形態に係る制御システムは、撮影装置１０および制御装置２０を備える。撮影装置１０と制御装置２０とは、互いに通信が可能なように、ネットワーク３０を介して接続されてよい。
【００３７】
（撮影装置１０）
本実施形態に係る撮影装置１０は、制御装置２０による制御に基づいて、受精卵などの観察対象を撮影する装置である。本実施形態に係る撮影装置１０は、例えば、撮影機能を有する光学顕微鏡などであってよい。
【００３８】
図２を参照すると、本実施形態に係る撮影装置１０は、撮影部１１０、保持部１２０、照射部１３０を備える。
【００３９】
（（撮影部１１０））
本実施形態に係る撮影部１１０は、制御装置２０による制御に基づいて、観察対象を撮影する機能を有する。本実施形態に係る撮影部１１０は、例えば、カメラなどの撮影装置により実現される。また、撮影部１１０は、図３に示すように、倍率の異なる複数の光学対物レンズ１１５を備えてもよい。図３に示す一例の場合、撮影部１１０は、低倍率用の光学対物レンズ１１５ａと高倍率用の光学対物レンズ１１５ｂとを備えている。光学対物レンズ１１５は、制御装置２０により制御される対物レンズ交換装置に配置されてよい。なお、本実施形態に係る光学対物レンズ１１５の数は、図３に示す一例に限定されず、３つ以上であてもよいし、１つであってもよい。また、光学倍率の変更は、電子的な倍率拡大や縮小により行われてもよい。
【００４０】
本実施形態に係る制御装置２０は、撮影部１１０の撮影タイミング、撮影時間（露光時間）、光学対物レンズ１１５の選択、また撮影部１１０の水平方向または垂直方向における物理位置などを制御することができる。
【００４１】
（（保持部１２０））
本実施形態に係る保持部１２０は、観察対象が培養される培養ディッシュを保持する機能を有する。本実施形態に係る保持部１２０は、例えば、観察ステージで有り得る。図３に示すように、本実施形態に係る保持部１２０の上面には、複数の観察対象Ｏａ〜Ｏｅを培養する培養ディッシュＤが配置される。本実施形態に係る観察対象Ｏは、培養ディッシュに設けられる複数のウェルにそれぞれ１つずつ配置されてよい。
【００４２】
本実施形態に係る制御装置２０は、保持部１２０の水平方向または垂直方向における物理位置などを制御することで、撮影における観察対象の水平位置や焦点位置を制御することが可能である。
【００４３】
（（照射部１３０））
本実施形態に係る照射部１３０は、制御装置２０による制御に基づいて、撮影に用いられる各種の光を照射する機能を有する。また、本実施形態に係る照射部１３０には、絞りなどの光学系が広く含まれてもよい。
【００４４】
本実施形態に係る制御装置２０は、照射部１３０が照射する光源の種類、光の波長、強度、照射時間、照射間隔などを制御することができる。
【００４５】
（制御装置２０）
本実施形態に係る制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出した観察対象の認識確率に基づいて、観察対象の撮影を制御する機能を有する。本実施形態に係る制御装置２０は、例えば、情報処理サーバとして実装され、上述したネットワーク３０を介して撮影装置１０を遠隔的に制御してもよい。制御装置２０が撮影装置１０を遠隔的に制御する際、例えば、制御装置２０が観察対象の認識確率に基づいて撮影部１１０による撮影条件を生成して撮影装置１０に送信するよう構成してもよく、また、観察対象の認識確率に基づいて生成される、撮影部１１０による撮影条件を撮影装置１０側で決定するための情報を制御装置２０から撮影装置１０に対して送信するように構成してもよい。
【００４６】
（（撮影制御部２１０））
本実施形態に係る撮影制御部２１０は、撮影装置１０による観察対象の時系列に沿った撮影を制御する機能を有する。本実施形態に係る撮影制御部２１０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された観察対象の認識確率に基づいて、撮影部１１０と観察対象の相対的な水平位置や焦点位置などを制御することを特徴の一つとする。なお、本実施形態に係る観察対象は、上述したように、受精卵などの分裂能を有する種々の細胞であってよい。本実施形態に係る撮影制御部２１０が有する機能の詳細については別途後述する。
【００４７】
（（学習部２２０））
本実施形態に係る学習部２２０は、観察対象が撮影された画像と機械学習アルゴリズムとに基づいて観察対象の認識などに係る学習を行う機能を有する。本実施形態に係る学習部２２０は、例えば、複数のＣｏｎｖｏｌｕｔｉｏｎレイヤーを含んで構成されるＤｅｅｐ  Ｌｅａｒｎｉｎｇなどの多層ニューラルネットワークによる機械学習により観察対象の認識学習を行ってもよい。
【００４８】
本実施形態に係る学習部２２０は、例えば、観察対象を撮影した画像と教師データとに基づく教師あり学習を行うことで、観察対象の形状、形態、構造などに係る特徴を学習することが可能である。なお、上記の教師データは、例えば、画像中に含まれる観察対象の分類（例えば、受精卵、など）のほか、観察対象の成長ステージ（例えば、２細胞、４細胞、桑実胚、初期胚盤胞、胚盤胞、拡張胚盤胞など）、あるいは観察対象の品質状態（例えば、Ｇａｒｄｎｅｒ分類やｖｅｅｃｋ分類など）に係る情報を含んでよい。すなわち、学習部２２０は、観察対象を撮影した画像と上記教師データ（観察対象の形状、形態、構造などのうち少なくとも一つに係る特徴に関する情報）とを含む学習データを用いて機械学習（例えば多層ニューラルネットワークによる機械学習）を行い、観察対象の認識を行う学習済みモデルを生成してもよい。すなわち、例えば多層ニューラルネットワークによる機械学習の場合には、上記学習によって、ニューラルネットワークを構成する入力層、出力層、隠れ層の各層間の重み係数（パラメータ）が調整されて、学習済みモデルが生成される。
【００４９】
（（処理部２３０））
本実施形態に係る処理部２３０は、学習部２２０により学習された学習知識に基づいて、観察対象の認識確率などを算出する機能を有する。すなわち、本実施形態に係る処理部２３０は、学習部２２０による学習により生成される認識器（または分類器とも呼ぶ）であってよい。本実施形態に係る処理部２３０が有する機能の詳細については、別途後述する。
【００５０】
（ネットワーク３０）
ネットワーク３０は、撮影装置１０と制御装置２０とを接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
【００５１】
以上、本実施形態に係る撮影装置１０および制御装置２０の構成例について説明した。なお、本実施形態に係る撮影装置１０および制御装置２０の構成は、図２および図３を用いて説明した上記の構成例に限定されない。例えば、本実施形態に係る制御装置２０は、学習部２２０を必ずしも備えなくてもよい。本実施形態に係る制御装置２０は、他の装置により学習された学習知識に基づいて、撮影装置１０による観察対象の撮影を制御してもよい。
【００５２】
また、本実施形態に係る撮影装置１０および制御装置２０は、一体の装置として実現されてもよい。本実施形態に係る撮影装置１０および制御装置２０の構成は、仕様や運用に応じて柔軟に変形可能である。
【００５３】
＜＜１．３．制御の詳細＞＞
次に、本実施形態に係る制御装置２０による撮影制御について詳細に説明する。なお、以下では、本実施形態に係る観察対象が受精卵である場合と主な例として説明する。
【００５４】
（観察対象の重心位置に基づく撮影制御）
まず、本実施形態に係る制御装置２０による観察対象の重心位置に基づく撮影制御について述べる。上述したように、本実施形態に係る制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて検出した観察対象の重心位置に基づいて、当該重心位置が撮影装置１０による撮影範囲の略中心となるよう、撮影装置１０を制御することができる。
【００５５】
また、本実施形態に係る制御装置２０は、検出した観察対象の重心位置などに基づいて、新たに撮影装置１０に撮影を行わせる際の拡大倍率を算出することができる。
【００５６】
図４は、本実施形態に係る観察対象の重心位置に基づく撮影制御について説明するための図である。図４には、本実施形態に係る制御装置２０による重心位置の検出と、当該重心位置に基づく撮影制御の流れが模式的に示されている。
【００５７】
まず、本実施形態に係る撮影制御部２１０は、図中左上に示すように、まず、低倍率用の光学対物レンズ１１５を用いて観察対象Ｏ１を含むウェル全体を撮影した画像Ｉ１を撮影装置１０に取得させる。
【００５８】
次に、本実施形態に係る処理部２３０は、上記のように撮影された画像Ｉ１を入力とし、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて観察対象Ｏ１に係る認識結果の確率分布を出力する。この際、本実施形態に係る処理部２３０は、上記の確率分布を可視化した認識確率画像ＰＩ１を出力してもよい。
【００５９】
図５は、本実施形態に係る認識確率画像の一例を示す図である。本実施形態に係る処理部２３０は、図中左に示すような、観察対象Ｏ１を含むウェル全体を撮影した画像Ｉ１に対する認識解析を実行することで、図中右に示すような、認識確率画像ＰＩ１を出力することができる。
【００６０】
本実施形態に係る認識確率画像は、画像中の被写体（ピクセル）が観察対象Ｏ１である確率を可視化したものであり、白に近いほど被写体（ピクセル）が観察対象Ｏ１である確率が高く、黒に近いほど被写体（ピクセル）が観察対象Ｏ１である確率が低いことを示している。図５を参照すると、図中左の画像Ｉ１において観察対象Ｏ１が存在する領域に対応する箇所が、図中右の認識確率画像ＰＩ１において、白に近い色で表されていることがわかる。
【００６１】
次に、本実施形態に係る撮影制御部２１０は、処理部２３０が出力した認識確率画像ＰＩ１に基づいて、観察対象Ｏ１の重心位置を検出する。図６は、本実施形態に係る観察対象の重心位置の検出について説明するための図である。
【００６２】
図６には、認識確率画像ＰＩ１のｘ方向およびｙ方向における観察対象Ｏ１の認識結果の確率分布が、ｄｘおよびｄｙによりそれぞれ示されている。この際、本実施形態に係る撮影制御部２１０は、図中に示すように、ｄｘおよびｄｙのそれぞれにおいて最も認識確率が高い点を観察対象Ｏ１の重心位置ＣＯＧとして検出してよい。
【００６３】
また、本実施形態に係る撮影制御部２１０は、認識確率画像ＰＩ１に基づいて、次に撮影装置１０に観察対象Ｏ１の撮影を行わせる際の拡大倍率を算出してよい。図７は、本実施形態に係る拡大倍率の算出について説明するための図である。
【００６４】
図７には、図６に示した確率分布および重心位置ＣｏＧに基づいて決定された拡大対象領域ＥＲが白色の点線により示されている。本実施形態に係る撮影制御部２１０は、例えば、検出した重心位置ＣｏＧを中心とし、認識確率が所定値以上である領域を拡大対象領域ＥＲとして決定してもよい。
【００６５】
また、本実施形態に係る撮影制御部２１０は、上記のように決定した拡大対象領域ＥＲと認識確率画像ＰＩ１（または画像Ｉ１）の撮影範囲（光学視野）とに基づいて、次に撮影装置１０に観察対象Ｏ１の撮影を行わせる際の拡大倍率を算出することが可能である。
【００６６】
図８には、撮影制御部２１０が、上記のように検出した重心位置や拡大倍率に基づいて新たに撮影装置１０に撮影させた画像Ｉ２の一例が示されている。この際、本実施形態に係る撮影制御部２１０は、撮影装置１０の保持部１２０や撮影部１１０のｘ方向およびｙ方向における物理位置を制御し、また光学対物レンズ１１５の選択や拡大倍率制御を行うことで、画像Ｉ２を取得することが可能である。
【００６７】
以上、本実施形態に係る観察対象の重心位置に基づく撮影制御について説明した。本実施形態に係る撮影制御部２１０が有する上記の機能によれば、観察対象の水平位置を自動で調整し、また観察対象がより大きく撮影されるよう拡大倍率を自動で調整することが可能となる。
【００６８】
なお、本実施形態に係る撮影制御部２１０は、図４に示すように、上述したような重心位置や拡大倍率の決定を複数回繰り返し行ってもよい。撮影制御部２１０による上記の繰り返し制御によれば、図４に示すように、観察対象Ｏ１をより拡大した画像を撮影させることが可能である。
【００６９】
なお、上記では、本実施形態に係る観察対象が受精卵そのものである場合を例に説明したが、本実施形態に係る観察対象は、例えば、受精卵などの分裂能を有する細胞が含む任意の構造体、または当該構造体の任意の領域であってもよい。図９は、本実施形態に係る観察対象が細胞が含む構造体である場合の重心位置に基づく撮影制御について説明するための図である。
【００７０】
図９には、観察対象が細胞が含む構造体である場合の重心位置に基づく撮影制御の流れが模式的に示されている。
【００７１】
まず、本実施形態に係る撮影制御部２１０は、図４〜図８を用いて説明したように、受精卵全体を観察対象Ｏ１として、拡大した画像Ｉ３を撮影装置１０に撮影させる。
【００７２】
次に、本実施形態に係る処理部２３０は、受精卵が含む細胞塊を新たな観察対象Ｏ２として、細胞塊である観察対象Ｏ２に係る認識結果の確率分布を出力する。この際、本実施形態に係る処理部２３０は、上記の確率分布を可視化した認識確率画像ＰＩ３を出力してよい。図１０には、受精卵内の細胞塊を観察対象Ｏ２とした際の認識確率画像ＰＩ３の一例が示されている。
【００７３】
次に、撮影制御部２１０は、図１１に示すように、認識確率画像ＰＩ３に基づいて観察対象Ｏ２の重心位置ＣｏＧおよび拡大領域ＥＲを特定し、また拡大倍率を算出する。図１２には、撮影制御部２１０が、上記のように取得した重心位置ＣｏＧおよび拡大倍率に基づいて撮影装置１０に新たに撮影させた画像Ｉ４が示されている。
【００７４】
また、図１３には、上記のように撮影された、画像Ｉ１、画像Ｉ３、および画像Ｉ４の比較が示されている。なお、図１３においては、各観察対象の重心位置が白抜きの十字により示されている。ここで、図１３を参照すると、本実施形態に係る撮影制御部２１０による上記の制御により、ウェル全体から、受精卵、細胞塊と順に観察対象を中心に正しく拡大されていることがわかる。
【００７５】
再び、図９を参照して説明を続ける。細胞塊を拡大した画像Ｉ４を撮影させた後、撮影制御部２１０は、図中右上に示すように、細胞塊における任意の領域を新たな観察対象Ｏ３として、撮影制御を続けてもよい。
【００７６】
この際、処理部２３０は、図中下段に示すように、新たな観察対象Ｏ３の認識確率を認識確率画像Ｉ４として出力し、撮影制御部２１０は、認識確率画像Ｉ４に基づいて観察対象Ｏ３の重心位置ＣｏＧを検出し、また拡大倍率を算出することができる。また、撮影制御部２１０は、検出した重心位置ＣｏＧと算出した拡大倍率に基づいて、図中下段右に示すように、観察対象Ｏ３を中心とし、また拡大した画像Ｉ５を撮影装置１０に撮影させる。
【００７７】
なお、撮影制御部２１０は、必ずしも受精卵、細胞塊、細胞塊中の任意領域の順に撮影を制御しなくてもよい。撮影制御部２１０は、例えば受精卵を拡大した画像を撮影装置１０に撮影させた後、細胞塊の拡大を介さずに、当該細胞塊中の任意領域を撮影装置１０に撮影させることも可能である。
【００７８】
図１４には、細胞塊の拡大を介さずに当該細胞塊中の任意領域を拡大した際に取得された画像が時系列に示されている。図１４を参照すると、撮影制御部２１０は、ウェル全体を撮影させた画像Ｉ１に基づいて、受精卵全体を観察対象Ｏ１として拡大した画像Ｉ２を取得し、画像Ｉ２に基づいて細胞塊中の任意領域を観察対象Ｏ２として拡大した画像Ｉ３を撮影装置１０に撮影させていることがわかる。
【００７９】
次に、本実施形態に係る観察対象の重心位置に基づく撮影制御の流れについて詳細に説明する。図１５は、本実施形態に係る観察対象の重心位置に基づく撮影制御の流れを示すフローチャートである。なお、図１５には、撮影制御部２１０が、観察対象Ｏ１およびＯ２に係る拡大画像を順に撮影装置１０に撮影させる場合の一例が示されている。
【００８０】
撮影制御部２１０は、まず初期倍率Ａで観察対象Ｏ１を含むウェル全体の画像Ｉ１を撮影装置１０に撮影させる（Ｓ２１０１）。
【００８１】
次に、処理部２３０が、ステップＳ２１０１において撮影された画像Ｉ１を入力とした観察対象Ｏ１の認識解析を行い（Ｓ２１０２）、画像Ｉ１における観察対象Ｏ１の認識確率画像ＰＩ１を出力する（Ｓ２１０３）。
【００８２】
次に、撮影制御部２１０は、ステップＳ２１０３において出力された認識確率画像ＰＩ１に基づいて、観察対象Ｏ１の重心位置を検出する（Ｓ２１０４）。
【００８３】
また、撮影制御部２１０は、ステップＳ２１０４において検出した重心位置と認識確率画像ＰＩ１の光学視野に基づいて、拡大倍率Ｂを算出する（Ｓ２１０５）。
【００８４】
続いて、撮影制御部２１０は、ステップＳ２１０４において検出した重心位置を撮影範囲の略中心とし、拡大倍率Ｂで撮影装置１０に画像Ｉ２を撮影させる（Ｓ２１０６）。
【００８５】
次に、処理部２３０が、ステップＳ２１０６において撮影された画像Ｉ２を入力とした観察対象Ｏ２の認識解析を行い（Ｓ２１０７）、画像Ｉ２における観察対象Ｏ２の認識確率画像ＰＩ２を出力する（Ｓ２１０８）。
【００８６】
次に、撮影制御部２１０は、ステップＳ２１０８において出力された認識確率画像ＰＩ２に基づいて、観察対象Ｏ２の重心位置を検出する（Ｓ２１０９）。
【００８７】
また、撮影制御部２１０は、ステップＳ２１０９において検出した重心位置と認識確率画像ＰＩ２の光学視野に基づいて、拡大倍率Ｃを算出する（Ｓ２１１０）。
【００８８】
続いて、撮影制御部２１０は、ステップＳ２１１０において検出した重心位置を撮影範囲の略中心とし、拡大倍率Ｃで撮影装置１０に画像Ｉ３を撮影させる（Ｓ２１０６）。
【００８９】
以上、本実施形態に係る観察対象の重心位置に基づく撮影制御について説明した。なお、上記では、観察対象の重心位置の検出、および拡大倍率の算出を、撮影制御部２１０の機能として説明したが、上記の処理は、処理部２３０により実行されてもよい。
【００９０】
（焦点位置の制御）
次に、本実施形態に係る観察対象の撮影における焦点位置の制御について詳細に説明する。上述したように、本実施形態に係る制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出した観察対象の形態確率に基づいて、当該観察対象の撮影に係る焦点位置を制御することができる。
【００９１】
図１６は、本実施形態に係る焦点位置の制御について説明するための図である。本実施形態に係る撮影制御部２１０は、複数の異なる焦点位置で撮影装置１０に観察対象を含む複数の画像を撮影させる。
【００９２】
図１６の上段には、撮影制御部２１０による上記の制御により、異なる焦点位置ｚ１〜ｚ５で撮影された複数の画像Ｉ１〜Ｉ５が例示されている。
【００９３】
続いて、本実施形態に係る処理部２３０は、上記のように撮影された画像Ｉ〜Ｉ５ごとに形態解析を行い各画像中における観察対象の形態確率Ｐ１〜Ｐ５をそれぞれ出力する。ここで、上記の形態確率Ｐとは、画像中において検出された物体が、定められた観察対象である確率を示す値であってよい。観察対象としては、例えば、受精卵細胞の割球、フラグメント、前核、極体、透明体、内細胞塊（ＩＣＭ：Ｉｎｎｅｒ  Ｃｅｌｌ  Ｍａｓｓ）、栄養外胚葉（ＴＥ：Ｔｒｏｐｈｅｃｔｏｄｅｒｍ）、２細胞、４細胞、桑実胚、胚盤胞などが挙げられる。本実施形態に係る処理部２３０は、学習部２２０が教師データと観察対象の画像とを対応づけて学習した学習知識に基づいて、形態確率Ｐを出力することが可能である。
【００９４】
図１６の下段には、上記のように算出された形態確率Ｐを画像取得時における焦点位置ｚ１〜ｚ５と対応づけてプロットした確率分布が示されている。
【００９５】
図１６に示す一例では、焦点位置ｚ３で撮影された画像Ｉ３に係る形態確率Ｐ３が最も高く算出されている。これは、すなわち、観察対象Ｏ１を焦点位置ｚ３で撮影した場合に、観察対象Ｏ１の認識確率が最も高くなることを示している。
【００９６】
このため、本実施形態に係る撮影制御部２１０は、撮影装置１０に異なる焦点位置で撮影させた複数の画像のうち、形態確率が最も高く算出された画像に係る焦点位置で、撮影装置１０に観察対象Ｏ１を撮影させてよい。この際、本実施形態に係る撮影制御部２１０は、保持部１２０や撮影部１１０のｚ方向における物理位置や、光学対物レンズ１１５の焦点距離を制御してよい。
【００９７】
本実施形態に係る撮影制御部２１０が有する上記の機能によれば、受精卵などの観察対象の撮影に適した焦点位置が分裂などに伴い動的に変化する場合であっても、当該変化に追随し、常に適した焦点位置で観察対象を撮影することが可能となる。
【００９８】
図１７は、本実施形態に係る観察対象の撮影に適した焦点距離の特定の流れを示すフローチャートである。図１７を参照すると、まず、撮影制御部２１０が、ある焦点位置ｚで撮影装置１０に観察対象を撮影させる（Ｓ３１０１）。
【００９９】
次に、処理部２３０が、ステップＳ３１０１において、ある焦点位置ｚで撮影された画像の形態解析を行い、当該画像における観察対象の形態確率Ｐを出力する（Ｓ３１０２）。
【０１００】
制御装置２０は、焦点位置ｚ＝ｚ１〜ｚｎ、形態確率ｐ＝ｐ１〜ｐｎとして、ステップＳ３１０１およびＳ３１０２における上記の処理を繰り返し実行する。
【０１０１】
次に、撮影制御部２１０は、出力された形態確率ｐ１〜ｐｎのうち、最も高い形態確率ｐが得られた画像を撮影した際の焦点位置ｚを特定する（Ｓ３１０３）。
【０１０２】
以上、本実施形態に係る観察対象の撮影における焦点位置の制御について説明した。なお、上記では、本実施形態に係る制御装置２０が、教師あり学習により獲得した認識能に基づいて、焦点位置や観察対象の重心位置を特定する場合を主な例として述べたが、本実施形態に係る制御装置２０は、強化学習により獲得した制御能に基づいて、上記で述べたような観察対象の撮影を制御してもよい。
【０１０３】
本実施形態に係る学習部２２０は、例えば、撮影された観察対象の鮮明度や、構造全体に対する被撮影領域の割合などに応じて設計された報酬に基づいて、観察対象の撮影制御に係る学習を行うことができる。
【０１０４】
（差分特徴量に基づく背景除去）
次に、本実施形態に係る背景除去機能について詳細に説明する。上述したように、本実施形態に係る制御装置２０は、観察対象を含むウェルの画像から抽出した特徴量と、観察対象を含まない空ウェルの画像から抽出した特徴量と、の差分である差分特徴量に基づいて、背景除去を実現することができる。
【０１０５】
一般に、培養ディッシュに設けられるウェルには、製造手法に応じた模様が生じ得る。例えば、培養ディッシュの中には、観察対象をウェルの中心に固定するために、すり鉢状のウェルを有するものがある。上記のようなすり鉢状のウェルは、例えば、ドリルなどの工作機器により形成される。
【０１０６】
しかし、ドリルなどを用いてウェルを形成する場合、切削によりウェルに同心円状の模様（傷）が生じてしまう。このようなウェルの形成過程において生じる模様は、照射部１３０から照射される光を反射することで種々の陰影を生み、観察対象の観察に大きな影響を与える。特に、上記のような同心円状の模様については、受精卵などの外形と区別がしづらいことから、受精卵の認識精度や評価精度を低下させる要因となり得る。
【０１０７】
このため、受精卵などを含む観察対象の観察においては、ウェルが有する模様、すなわち背景を除去したうえで、認識や評価などを行うことが望ましい。
【０１０８】
この際、例えば、観察対象を含むウェルの画像と、観察対象を含まないウェルの画像とを撮影し、当該２つの画像に関し、差分を取得する手法も想定される。しかし、ここで、画素レベルで差分を取得した場合、認識に適切な差分画像が取得できないことが想定される。
【０１０９】
図１８は、画素レベルで生成された差分画像について説明するための図である。図中左には、観察対象Ｏ１を含むウェルを撮影した画像Ｉｏが、図中央には、観察対象Ｏ１を含まない空ウェルを撮影した画像Ｉｅが、図中右には、画像Ｉｏから画像Ｉｅを画素レベルで差し引くことで生成された差分画像Ｉｄ１が例示されている。
【０１１０】
ここで、生成された差分画像Ｉｄ１に着目すると、画素レベルでの差分では、ウェルが有する模様、すなわち背景の影響が排除しきれていないことがわかる。また、受精卵などの観察対象の少なくとも一部は半透明であることが多く、半透明部分にウェルの模様が映りこんでしまうが、画素レベルによる差分では、当該映りこみが強調される場合もあり、観察対象の認識精度を著しく低下させる要因ともなり得る。
【０１１１】
そこで、本実施形態に係る処理部２３０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて、観察対象が撮影された画像の特徴量を算出し、当該特徴量に基づいて背景を除去することで、ウェルの模様による影響を排除することを特徴の一つとする。
【０１１２】
具体的には、本実施形態に係る処理部２３０は、観察対象を含むウェルの画像から抽出した特徴量と、観察対象を含まない空ウェルの画像から抽出した特徴量と、の差分である差分特徴量に基づいて、背景除去を実現することができる。
【０１１３】
図１９は、本実施形態に係る差分特徴量に基づく背景除去について説明するための図である。図中左には、観察対象Ｏ１を含むウェルを撮影した画像Ｉｏが、図中央には、観察対象Ｏ１を含まない空ウェルを撮影した画像Ｉｅが、図中右には、上記の差分特徴量に基づいて生成された差分画像Ｉｄ２が例示されている。
【０１１４】
本実施形態に係る処理部２３０は、まず、学習部２２０による観察対象Ｏ１の認識に係る学習知識に基づいて、観察対象Ｏ１を含むウェルを撮影した画像Ｉｏの特徴量を抽出する。
【０１１５】
次に、本実施形態に係る処理部２３０は、空ウェルを撮影した画像Ｉｅの特徴量を抽出する。
【０１１６】
続いて、本実施形態に係る処理部２３０は、観察対象Ｏ１を含むウェルを撮影した画像Ｉｏの特徴量から空ウェルを撮影した画像Ｉｅの特徴量を差し引き、差分特徴量を算出し、当該差分特徴量に基づいて背景除去処理を実行する。
【０１１７】
図１９を参照すると、本実施形態に係る処理部２３０による上記の処理により生成される差分画像Ｉｄ２では、背景におけるウェルの模様がほぼ完全に排除されており、また、観察対象Ｏ１の半透明部分についても、ウェルの模様の影響が取り除かれていることがわかる。
【０１１８】
このように、本実施形態に係る差分特徴量に基づく背景除去によれば、ウェルの模様の影響を精度高く排除し、観察対象の認識精度や評価精度を大きく向上させることが可能となる。
【０１１９】
次に、本実施形態に係る差分特徴量に基づく背景除去の流れについて詳細に説明する。図２０は、本実施形態に係る差分特徴量に基づく背景除去の流れを示すフローチャートである。
【０１２０】
図２０を参照すると、まず、撮影制御部２１０が、観察対象を含むウェルを撮影装置１０に撮影させる（Ｓ４１０１）。
【０１２１】
次に、処理部２３０が、ステップＳ４１０１において撮影された画像から観察対象を認識し（Ｓ４１０２）、観察対象を含むウェルの画像の特徴量を抽出する（Ｓ４１０３）。
【０１２２】
次に、撮影制御部２１０が、観察対象を含まない空ウェルを撮影装置１０に撮影させる（Ｓ４１０４）。
【０１２３】
次に、処理部２３０が、ステップ４１０３において撮影された空ウェルの画像の特徴量を抽出する（Ｓ４１０５）。
【０１２４】
続いて、処理部２３０は、ステップＳ４１０３において抽出した観察対象を含むウェルの画像の特徴量から、ステップＳ４１０５において抽出した空ウェルの画像の特徴量を差し引き、差分特徴量を算出する（Ｓ４１０６）。
【０１２５】
次に、処理部２３０は、ステップＳ４１０６において算出した差分特徴量に基づいて、背景除去を実行する（Ｓ４１０７）。
【０１２６】
以上、本実施形態に係る差分特徴量に基づく背景除去について説明した。なお、本実施形態に係る差分特徴量に基づく背景除去は、必ずしも上述の撮影制御と合わせて実施されなくてもよい。本実施形態に係る差分特徴量に基づく背景除去は、半透明部分を有する物体の撮影において広く効果を奏するものである。
【０１２７】
＜２．ハードウェア構成例＞
次に、本開示の一実施形態に係る制御装置２０のハードウェア構成例について説明する。図２１は、本開示の一実施形態に係る制御装置２０のハードウェア構成例を示すブロック図である。図２１を参照すると、制御装置２０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１２８】
（プロセッサ８７１）
プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１２９】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１３０】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１３１】
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
【０１３２】
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【０１３３】
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１３４】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１３５】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１３６】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１３７】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１３８】
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１３９】
＜３．まとめ＞
以上説明したように、本開示の一実施形態に係る制御方法を実現する制御装置２０は、観察対象の時系列に沿った撮影を制御する撮影制御部２１０を備える。また、本開示の一実施形態に係る撮影制御部２１０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された観察対象の認識結果に基づいて、撮影を行う撮影部１１０と観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御すること、を特徴の一つとする。また、本開示の一実施形態に係る観察対象は、分裂能を有する細胞を含む。係る構成によれば、時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影することが可能となる。
【０１４０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１４１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１４２】
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、制御装置２０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【０１４３】
また、本明細書の制御装置２０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、制御装置２０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１４４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、
を備え、
前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識結果に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、
制御装置。
（２）
前記分裂能を有する細胞は、受精卵を含む、
前記（１）に記載の制御装置。
（３）
前記撮影制御部は、前記学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて前記観察対象の重心位置を検出し、前記重心位置が前記撮影部による撮影範囲の略中心となるよう制御する、
前記（１）または（２）に記載の制御装置。
（４）
前記撮影制御部は、前記学習済みモデルを用いて生成される前記観察対象の認識確率画像に基づいて、前記重心位置を検出する、
前記（３）に記載の制御装置。
（５）
前記撮影制御部は、検出した前記重心位置および前記認識確率に基づいて算出した拡大倍率で前記撮影部に前記観察対象を撮影させる、
前記（４）に記載の制御装置。
（６）
前記撮影制御部は、前記学習済みモデルを用いて算出された前記観察対象の形態確率に基づいて、前記焦点位置を制御する、
前記（１）〜（５）のいずれかに記載の制御装置。
（７）
前記撮影制御部は、前記撮影部に異なる前記焦点位置で撮影させた複数の画像のうち前記形態確率が最も高く算出された画像に係る前記焦点位置で、前記撮影部に前記観察対象を撮影させる、
前記（６）に記載の制御装置。
（８）
前記学習済みモデルを用いて、撮影された画像における前記観察対象の認識確率を算出する処理部、
をさらに備える、
前記（１）〜（７）のいずれかに記載の制御装置。
（９）
前記処理部は、前記学習済みモデルを用いて、前記観察対象が撮影された画像の特徴量を算出し、前記特徴量に基づいて背景を除去する、
前記（８）に記載の制御装置。
（１０）
前記処理部は、前記観察対象が撮影された画像の特徴量と、前記観察対象が含まれない空ウェルが撮影された画像の特徴量と、の差分である差分特徴量に基づいて、前記観察対象が撮影された画像における背景を除去する、
前記（９）に記載の制御装置。
（１１）
前記観察対象は、前記分裂能を有する細胞が含む任意の構造体、または前記構造体の任意の領域を含む、
前記（１）〜（１０）のいずれかに記載の制御装置。
（１２）
前記観察対象が撮影された画像と前記機械学習アルゴリズムとに基づいて、前記観察対象の認識に係る学習を行う学習部、
をさらに備える、
前記（１）〜（１１）のいずれかに記載の制御装置。
（１３）
前記学習済みモデルは、前記観察対象を撮影した画像と、前記観察対象の形状、形態、構造のうち少なくとも一つの特徴に関する情報とを含む学習データを用いて生成された認識器である、
前記（１）〜（１１）のいずれかに記載の制御装置。
（１４）
プロセッサが、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御すること、
を含み、
前記撮影を制御することは、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御すること、をさらに含む、
前記観察対象は、分裂能を有する細胞を含む、
制御方法。
（１５）
コンピュータを、
分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、
を備え、
前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、
制御装置、
として機能させるためのプログラム。
【符号の説明】
【０１４５】
１０      撮影装置
１１０    撮影部
１２０    保持部
１３０    照射部
２０      制御装置
２１０    撮影制御部
２２０    学習部
２３０    処理部
【図１】
2019225177.tif 000003
【図２】
2019225177.tif 000004
【図３】
2019225177.tif 000005
【図４】
2019225177.tif 000006
【図５】
2019225177.tif 000007
【図６】
2019225177.tif 000008
【図７】
2019225177.tif 000009
【図８】
2019225177.tif 000010
【図９】
2019225177.tif 000011
【図１０】
2019225177.tif 000012
【図１１】
2019225177.tif 000013
【図１２】
2019225177.tif 000014
【図１３】
2019225177.tif 000015
【図１４】
2019225177.tif 000016
【図１５】
2019225177.tif 000017
【図１６】
2019225177.tif 000018
【図１７】
2019225177.tif 000019
【図１８】
2019225177.tif 000020
【図１９】
2019225177.tif 000021
【図２０】
2019225177.tif 000022
【図２１】
2019225177.tif 000023
【国際調査報告】
2019225177.tif 000024
2019225177.tif 000025
2019225177.tif 000026
2019225177.tif 000027