(57)【要約】【課題】観察対象となる細胞を高い精度で評価することを可能とする情報処理装置、情報処理方法、及びプログラムを提供すること。【解決手段】本技術の一形態に係る情報処理装置は、取得部と、付与部と、評価部とを具備する。前記取得部は、時系列に沿って撮影された細胞の複数の画像を取得する。前記付与部は、前記取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値を付与する。前記評価部は、前記付与された時系列に沿った評価値の時間変化に基づいて、前記細胞を評価する。【選択図】図４
2018022216.tif 000002
【特許請求の範囲】
【請求項１】
時系列に沿って撮影された細胞の複数の画像を取得する取得部と、
前記取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値を付与する付与部と、
前記付与された時系列に沿った評価値の時間変化に基づいて、前記細胞を評価する評価部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記評価部は、第１の機械学習アルゴリズムに従って、前記細胞を評価する
情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記付与部は、前記取得された複数の画像の各々に、前記評価値を付与する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記付与部は、前記時系列に沿って連続して撮影された複数の画像を含む画像群に対して、前記評価値を付与する
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記付与部は、前記評価値の予測値である予測評価値を算出する予測部を有し、
前記情報処理装置は、さらに、前記予測評価値の表示を含む前記評価値を入力するためのＧＵＩ（Graphical User Interface）を出力する出力部を具備する
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記評価部は、第１の機械学習アルゴリズムに従って、前記細胞を評価し、
前記予測部は、第２の機械学習アルゴリズムに従って、前記予測評価値を算出する
情報処理装置。
【請求項７】
請求項５に記載の情報処理装置であって、
前記ＧＵＩは、前記表示された予測評価値を前記評価値として入力する操作、及び前記表示された予測評価値を修正して前記評価値として入力する操作の少なくとも一方を実行可能に構成される
情報処理装置。
【請求項８】
請求項５に記載の情報処理装置であって、
前記ＧＵＩは、前記時系列に沿って連続して前記評価値を入力する操作を実行可能に構成される
情報処理装置。
【請求項９】
請求項５に記載の情報処理装置であって、
前記予測部は、前記評価値が付与済みの画像の中から参照画像を選択し、
前記ＧＵＩは、前記選択された参照画像の表示、及び前記選択された参照画像に付与されている参照評価値の表示を含む
情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、
前記ＧＵＩは、前記表示された参照評価値を前記評価値として入力する操作、及び前記表示された参照評価値を修正して前記評価値として入力する操作の少なくとも一方を実行可能に構成される
情報処理装置。
【請求項１１】
請求項９に記載の情報処理装置であって、
前記ＧＵＩは、前記選択された参照画像に付与されている参照評価値の時間変化の表示を含む
情報処理装置。
【請求項１２】
請求項９に記載の情報処理装置であって、
前記予測部は、前記評価値の予測対象となる画像に類似する類似画像を、前記参照画像として選択する
情報処理装置。
【請求項１３】
請求項１に記載の情報処理装置であって、
前記付与部は、互いに類似する複数の画像を、前記評価値の予測対象となる画像群として選択する
情報処理装置。
【請求項１４】
請求項６に記載の情報処理装置であって、
前記付与部は、前記予測評価値が付与済みの画像を基準として選択された特徴的な画像を、前記評価値の予測対象となる画像として選択し、
前記予測部は、前記選択された特徴的な画像に付与された評価値を、前記第２の機械学習アルゴリズムにおける教師データとする
情報処理装置。
【請求項１５】
請求項６に記載の情報処理装置であって、
前記付与部は、前記予測評価値の確信度が低い画像を、前記評価値の予測対象となる画像として選択し、
前記予測部は、前記選択された確信度が低い画像に付与された評価値を、前記第２の機械学習アルゴリズムにおける教師データとする
情報処理装置。
【請求項１６】
時系列に沿って撮影された細胞の複数の画像を取得し、
前記取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値を付与し、
前記付与された時系列に沿った評価値の時間変化に基づいて、前記細胞を評価する
ことをコンピュータシステムが実行する情報処理方法。
【請求項１７】
時系列に沿って撮影された細胞の複数の画像を取得するステップと、
前記取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値を付与するステップと、
前記付与された時系列に沿った評価値の時間変化に基づいて、前記細胞を評価するステップと
をコンピュータシステムに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、受精卵等の評価に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、家畜等の受精卵を培養し移植可能な状態になるまで発育させる技術について記載されている。特許文献１に記載の画像処理装置では、同一の受精卵が異なる時刻で光源方向を一定にして撮影された画像群が取得される。取得された画像群から基準画像が選択され、受精卵の輪郭が基準輪郭として検出される。この基準輪郭を基準として、所定のプロファイル処理を実行することで、画像群の他の任意の画像における受精卵の輪郭が決定される。これにより画像群のすべての画像に対して、受精卵の位置を正確に合わせた受精卵画像を出力することが可能となり、受精卵の解析精度が向上されている（特許文献１の明細書段落［００２９］［００４１］〜［００４３］［００７８］等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１９２１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように観察対象となる受精卵等を高い精度で評価する技術が求められている。
【０００５】
以上のような事情に鑑み、本技術の目的は、観察対象となる細胞を高い精度で評価することを可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、付与部と、評価部とを具備する。
前記取得部は、時系列に沿って撮影された細胞の複数の画像を取得する。
前記付与部は、前記取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値を付与する。
前記評価部は、前記付与された時系列に沿った評価値の時間変化に基づいて、前記細胞を評価する。
【０００７】
この情報処理装置では、時系列に沿って撮影された細胞の複数の画像に対して、時系列に沿った評価値が付与される。そして付与された評価値の時間変化に基づいて、細胞が評価される。これにより観察対象となる細胞を高い精度で評価することが可能となる。すなわち細胞の時系列的な評価を総合的に鑑みた評価を行うことが可能となる。
【０００８】
前記評価部は、第１の機械学習アルゴリズムに従って、前記細胞を評価してもよい。
これにより細胞を高い精度で評価することが可能となる。
【０００９】
前記付与部は、前記取得された複数の画像の各々に、前記評価値を付与してもよい。
これにより評価の精度を向上させることが可能となる。
【００１０】
前記付与部は、前記時系列に沿って連続して撮影された複数の画像を含む画像群に対して、前記評価値を付与してもよい。
これにより評価値の付与にかかる負担を軽減することが可能となる。
【００１１】
前記付与部は、前記評価値の予測値である予測評価値を算出する予測部を有してもよい。この場合、前記情報処理装置は、さらに、前記予測評価値の表示を含む前記評価値を入力するためのＧＵＩ（Graphical User Interface）を出力する出力部を具備してもよい。
これによりユーザによる評価値の入力を支援することが可能となり、評価値入力の負担を軽減することが可能となる。
【００１２】
前記予測部は、第２の機械学習アルゴリズムに従って、前記予測評価値を算出してもよい。
これにより精度の高い予測評価値を算出することが可能となり、ユーザによる評価値の入力を十分に支援することが可能となる。
【００１３】
前記ＧＵＩは、前記表示された予測評価値を前記評価値として入力する操作、及び前記表示された予測評価値を修正して前記評価値として入力する操作の少なくとも一方を実行可能に構成されてもよい。
これによりユーザによる評価値の入力を十分に支援することが可能となり、評価値入力の負担を軽減することが可能となる。
【００１４】
前記ＧＵＩは、前記時系列に沿って連続して前記評価値を入力する操作を実行可能に構成されてもよい。
これによりユーザによる評価値の入力を十分に支援することが可能となる。
【００１５】
前記予測部は、前記評価値が付与済みの画像の中から参照画像を選択してもよい。この場合、前記ＧＵＩは、前記選択された参照画像の表示、及び前記選択された参照画像に付与されている参照評価値の表示を含んでもよい。
これにより参照画像及びその参照評価値を確認しながら評価値を入力することが可能となる。
【００１６】
前記ＧＵＩは、前記表示された参照評価値を前記評価値として入力する操作、及び前記表示された参照評価値を修正して前記評価値として入力する操作の少なくとも一方を実行可能に構成されてもよい。
これによりユーザによる評価値の入力を十分に支援することが可能となる。
【００１７】
前記ＧＵＩは、前記選択された参照画像に付与されている参照評価値の時間変化の表示を含んでもよい。
これによりユーザによる評価値の入力を十分に支援することが可能となる。
【００１８】
前記予測部は、前記評価値の予測対象となる画像に類似する類似画像を、前記参照画像として選択してもよい。
これによりユーザによる評価値の入力を十分に支援することが可能となる。
【００１９】
前記付与部は、互いに類似する複数の画像を、前記評価値の予測対象となる画像群として選択してもよい。
これにより複数の画像に対して効率的に評価値を入力することが可能となる。
【００２０】
前記付与部は、前記予測評価値が付与済みの画像を基準として選択された特徴的な画像を、前記評価値の予測対象となる画像として選択してもよい。この場合、前記予測部は、前記選択された特徴的な画像に付与された評価値を、前記第２の機械学習アルゴリズムにおける教師データとしてもよい。
これにより予測評価値の算出精度を向上させることが可能となり、ユーザによる評価値の入力を十分に支援することが可能となる。
【００２１】
前記付与部は、前記予測評価値の確信度が低い画像を、前記評価値の予測対象となる画像として選択してもよい。この場合、前記予測部は、前記選択された確信度が低い画像に付与された評価値を、前記第２の機械学習アルゴリズムにおける教師データとしてもよい。
これにより予測評価値の算出精度を向上させることが可能となり、ユーザによる評価値の入力を十分に支援することが可能となる。
【００２２】
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、時系列に沿って撮影された細胞の複数の画像を取得することを含む。
前記取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値が付与される。
前記付与された時系列に沿った評価値の時間変化に基づいて、前記細胞が評価される。
【００２３】
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
時系列に沿って撮影された細胞の複数の画像を取得するステップ。
前記取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値を付与するステップ。
前記付与された時系列に沿った評価値の時間変化に基づいて、前記細胞を評価するステップ。
【発明の効果】
【００２４】
以上のように、本技術によれば、観察対象となる細胞を高い精度で評価することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２５】
【図１】第１の実施形態に係る評価システムの構成例を示す概略図である。
【図２】受精卵の評価の一例を示すフローチャートである。
【図３】時系列に沿った評価値の付与及び変化波形の算出を説明するための図である。
【図４】変化波形に基づいた全体評価を説明するための図である。
【図５】支援システムの機能的な構成例を示すブロック図である。
【図６】評価値入力用のＧＵＩの構成例を示す模式図である。
【図７】支援システムの全体的な動作例を示すフローチャートである。
【図８】予測器の学習及び中間表現分布の算出を実行する主なブロックを示す図である。
【図９】教師あり学習が実行される場合のフローチャートである。
【図１０】未ラベル画像に基づいた予測器の学習の一例を示すフローチャートである。
【図１１】中間表現分布の算出の一例を示すフローチャートである。
【図１２】付与対象画像の選択を実行する主なブロックを示す図である。
【図１３】受精卵画像の斬新さに基づいた処理例を示すフローチャートである。
【図１４】予測評価値の確信度に基づいた処理例を示すフローチャートである。
【図１５】ラベルの付与サポートを実行する主なブロックを示す図である。
【図１６】ラベルの付与サポートの処理例を示すフローチャートである。
【図１７】自動ラベル付与を実行する主なブロックを示す図である。
【図１８】自動ラベル付与の処理例を示すフローチャートである。
【図１９】評価システムによる全体評価の自動算出を説明するための概略図である。
【図２０】時系列に沿った評価値の付与の他の例を説明するための図である。
【図２１】受精卵画像への評価値の付与の一例を説明するための図である。
【図２２】予測器処理部の他の構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２７】
＜第１の実施形態＞
［評価システム］
図１は、本技術の第１の実施形態に係る評価システムの構成例を示す概略図である。評価システム１００は、培養容器１と、撮像ユニット２と、受精卵情報ＤＢ（データベース）３と、表示装置４と、情報処理装置１０とを有する。
【００２８】
培養容器１は、培養液及び細胞５を収容可能に構成され、外部より細胞５を撮影可能な程度に透光性を有する。培養容器１の形状は特に限定されず、例えばシャーレ等の平皿形状が用いられる。なお同時に撮影可能な培養容器１及び細胞５の数は限定されない。
【００２９】
本実施形態では、培養される細胞５として、畜産分野等における生物の受精卵を例に挙げて説明する（以下、同じ符号を用いて受精卵５と記載する）。これに限定されず、畜産分野等における生物の未受精の卵細胞（卵子）や胚等、再生医療及び病理生物学等の分野における幹細胞、免疫細胞、癌細胞等の生体から取り出された生体試料等、任意の細胞に対して本技術は適用可能である。
【００３０】
また本明細書において、「細胞」（単数形）は、単一の細胞と、複数の細胞の集合体とを少なくとも概念的に含む。
【００３１】
撮像ユニット２は、培養容器１に収容された受精卵５を、時系列に沿って所定の撮影間隔で撮影する。これにより培養工程の進捗に応じて変化する受精卵５の複数の画像（以下、受精卵画像と記載する）が生成される。撮影される受精卵画像の枚数や撮影間隔等は任意に設定されてよい。例えばＩＶＣ期間（体外培養期間）が９日間であるとして、撮影間隔を５分とするならば、１つの受精卵５について、約２６００枚の受精卵画像が撮影される。
【００３２】
撮像ユニット２は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備える可視光カメラにより構成される。可視光カメラに代えて、又はこれに加えて、赤外線（ＩＲ）カメラや偏光カメラ等が用いられてもよい。
【００３３】
受精卵情報ＤＢ３には、撮像ユニット２により撮影された複数の受精卵画像が、受精卵ＩＤ、撮影時間及び培養条件等とともに記憶される。また受精卵情報ＤＢ３には、後述する評価値及び受精卵の全体評価が記憶される。
【００３４】
表示装置４は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスと、ユーザの操作を入力するためのキーボードやマウス等の操作デバイス（操作部）とを含む。これらが一体的に構成されたタッチパネルが用いられてもよい。
【００３５】
情報処理装置１０、受精卵情報ＤＢ３、及び表示装置４の、互いの接続形態は限定されない。例えばこれらの装置が、インターネット等のネットワークを介して互いに通信可能に接続されてもよい。これにより遠隔地からネットワークを介して情報処理装置１００や受精卵情報ＤＢ３にアクセス可能となり、所望の制御や操作を実行することが可能となる。
【００３６】
情報処理装置１０は、評価システム１００内の各ブロックの動作を制御する。本実施形態では情報処理装置１０により、撮像ユニット２の動作が制御され複数の受精卵画像が撮影される。また情報処理装置１０により、複数の受精卵画像に基づいて受精卵５が評価される。なお他の撮像システム等により撮影された複数の受精卵画像に基づいて、情報処理装置１０により受精卵の評価のみが実行される構成もあり得る。
【００３７】
情報処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等のコンピュータの構成に必要なハードウェアを有する。情報処理装置１０として、例えばＰＣ（Personal Computer）が用いられるが、他の任意のコンピュータが用いられてもよい。
【００３８】
ＣＰＵが、ＲＯＭやＨＤＤに格納された本技術に係るプログラムをＲＡＭにロードして実行することにより、機能ブロックである取得部１１、付与部１２、及び評価部１３が実現される。そしてこれらの機能ブロックにより、本技術に係る情報処理方法が実行される。なお各機能ブロックを実現するために専用のハードウェアが適宜用いられてもよい。
【００３９】
プログラムは、例えば種々の記録媒体を介して情報処理装置１０にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
【００４０】
［受精卵の評価］
図２は、本技術に係る受精卵の評価の一例を示すフローチャートである。図３及び図４は、図２に示す各ステップを説明するための図である。
【００４１】
取得部１１により、時系列に沿って撮影された複数の受精卵画像が取得される（ステップ１０１）。図３に示すように、撮影時間ｔに関連付けられて、複数の受精卵画像１５が取得される。取得された受精卵画像１５に対して、画像の正規化、受精卵５の位置の調整、形状の強調フィルタ等の、画像の前処理が実行されてもよい。
【００４２】
付与部１２により、取得された複数の受精卵画像１５に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値が付与される（ステップ１０２）。図３に示すように、本実施形態では、所定の１以上の評価項目として、評価項目１〜ｎが設定される。
【００４３】
具体的な評価項目は限定されず、任意に設定されてよい。例えば受精卵５のサイズ、形状、真球度、透過率、卵割数（率）、卵割の均等度、対称性、フラグメンテーションの量、割合等が挙げられる。また卵割の間隔時間（初期卵割までの到達時間や第２の卵割までの間隔等を含む）等の、受精卵５の変化に応じて算出される時間情報も、評価項目として挙げられる。
【００４４】
また予め設定された評価項目に限定されず、評価システム１００により、受精卵５の品質（グレード）に影響を与える評価パラメータが自動的に評価項目として設定されてもよい。
【００４５】
図３に示すように、評価項目１〜ｎの各々に関して、複数の受精卵画像１５の各々に評価値が付与される。これにより各評価項目に関して、時系列に沿った評価値が付与される。複数の受精卵画像１５に対して、時系列に沿って順番に評価値が付与されてもよいし、任意の順番で評価値が付与されてもよい。いずれにせよ、各受精卵画像１５に評価値が付与されることで、時系列に沿った評価値が付与されることになる。
【００４６】
評価値として付与される具体的な値は、評価項目により異なる。例えば受精卵５の真球度や卵割の均等度に対しては、Ａ〜Ｆのグレードが付与される。この場合、複数の受精卵画像１５のうち評価対象とならない画像（例えば評価項目が卵割状態であり、未だ卵割が発生していない画像等）については、例えば評価なしの評価値が付与される。また評価項目によって、０／１の二値が評価値として付与される場合もある（例えば所望の条件を満たすか否か等）。
【００４７】
評価項目が、卵割の間隔時間等の、受精卵５の状態変化に応じた時間情報である場合は、各状態を示す値が評価値として付与されてもよい。例えば卵割数がそのまま評価値として付与され、当該評価値をもとに、卵割の間隔時間が評価結果として算出されてもよい。すなわち各評価項目に関する評価値は、各受精卵画像１５に対する評価結果（Ａ〜Ｆのグレード等）のみならず、評価結果を生成するためのパラメータ（卵割数等）を含む。
【００４８】
評価値の付与は、例えば表示装置４を介した胚培養士等の専門家（ユーザ）の入力操作に応じて実行される。例えばユーザが、表示装置４に表示された受精卵画像１５を観察しながら、自分の所見を評価値として入力する。付与部１２は、入力された評価値を、受精卵画像１５に付与する。
【００４９】
あるいは情報処理装置１０により、自動的に評価値が付与されてもよい。例えば付与部１２により受精卵画像１５が解析され、各評価項目に関する評価値が付与される。あるいは付与部１２により、所定の機械学習アルゴリズムに従って評価値が付与されてもよい。
【００５０】
例えばＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）、ＣＮＮ（Convolutional Neural Network:畳み込みニューラルネットワーク）、ＭＬＰ（Multilayer Perceptron：多層パーセプトロン）等のニューラルネットワークを用いた機械学習アルゴリズムが用いられる。その他、教師あり学習法、教師なし学習法、半教師あり学習法、強化学習法等を実行する任意の機械学習アルゴリズムが用いられてよい。
【００５１】
付与部１２による機械学習アルゴリズムを用いた評価値の付与については、第２の実施形態にて詳しく説明する。
【００５２】
図３に示すように本実施系形態では、複数の受精卵画像１５に付与された評価値に基づいて、各評価項目に関する時間変化を表す変化波形１６が算出される。図２では、評価項目１及びｎの２つの評価軸、及び３つの変化波形１６が模式的に図示されているが、評価項目１〜ｎに応じた変化波形１〜ｎがそれぞれ生成される。なお評価項目に応じて、変化波形１６の算出の有無が設定可能であってもよい。
【００５３】
評価部１３により、時系列に沿った評価値の時間変化、すなわち変化波形１６に基づいて、所定の機械学習アルゴリズムに従って、受精卵５が評価される。
【００５４】
具体的には図４に示すように、各評価項目の変化波形１６が、評価部１３に構成された予測器１７に入力される（ステップ１０３）。所定の機械学習アルゴリズムに従って、予測値が算出される（ステップ１０４）。本実施形態では、受精卵５の子宮等への移植後の評価項目（着床経過、受胎率、妊娠・出産・産後経過、子牛の生育・成牛時の育種価等）に関する予測値が算出される。
【００５５】
算出された予測値に基づいて、受精卵５の全体評価が実行される（ステップ１０５）。例えば図４に示すように、移植胚として最適か否かがＡ〜Ｆのグレード等により判断される。なお全体評価は、例えばステップ１０４にて出力された移植後の評価項目に関する予測値のみに基づいて実行される。あるいは、ステップ１０２にて付与された各評価項目の評価値（変化波形１６）も合わせて、全体評価が実行されてもよい。予測器１７から出力された予測値、及び受精卵５の全体評価は、受精卵情報ＤＢ３に記憶される。
【００５６】
評価部１３に構成された予測器学習部１８により、機械学習アルゴリズムに基づいて、予測器１７が更新される。例えば受精卵情報ＤＢ３に記憶された複数の受精卵画像１５、各評価項目の評価値（変化波形１６）、予測器１７から出力された予測値、及び受精卵５の全体評価に基づいて、予測値算出用のパラメータである係数が更新され予測器１７に出力される。
【００５７】
また図４に示すように、全体評価に基づいて移植胚として選択された受精卵５については、例えば胚培養士や獣医師等による移植後の所見（着床経過、受胎率、妊娠・出産・産後経過、子牛の生育・成牛時の育種価等）が受精卵情報ＤＢ３に記憶される。当該移植後の所見も、機械学習アルゴリズムの教師データとして用いられる。
【００５８】
評価部１３により用いられる機械学習アルゴリズムは、本実施形態において、第１の機械学習アルゴリズムに相当する。第１の機械学習アルゴリズムは限定されず、例えば上記で列挙した種々の機械学習アルゴリズムが用いられてよい。例えば機械学習アルゴリズムにより、入力された変化波形と既に全体評価済みの変化波形との誤差の最小化が実行され、最も誤差数値の小さい変化波形の受精卵５から機械学習が適応される。
【００５９】
なお評価項目１〜ｎに応じた変化波形１〜ｎの全てが予測器１７に入力される場合に限定されず、変化波形１〜ｎのうちの一部の入力により予測値が算出されてもよい。そして算出された予測値に基づいて、全体評価が実行されてもよい。これにより処理負担の軽減や処理時間の短縮を図ることができる。
【００６０】
以上、本実施形態に係る評価システム１００では、時系列に沿って撮影された受精卵５の複数の受精卵画像１５に対して、時系列に沿った評価値が付与される。そして付与された評価値の時間変化である変化波形１６に基づいて、所定の機械学習アルゴリズムに従って、受精卵５が評価される。これにより観察対象となる受精卵５を高い精度で評価することが可能となる。
【００６１】
例えばＩＶＣ期間内の２日目、５日目、７日目等の特定の日時における受精卵５の評価値に基づいて評価を行う場合と比べて、受精卵５の時間的な品質の変化や揺らぎ、培養過程における種々の変化等を包括的に網羅した高精度の評価が実現する。この結果、従来では見捨てられていた高品質の受精卵５を発掘することが可能となる。また受精卵５の育成条件や環境を変えた時の受精卵５の評価の変化が分析しやすくなり、よりよい条件や環境の探索がしやすくなる。
【００６２】
なお受精卵画像１５の枚数及び評価項目の数が多いほど、評価精度は高くなる。例えば所望とする評価精度や評価値の付与の負担（例えばユーザによる評価値入力のコスト等）等を考えながら、受精卵画像１５の枚数及び評価項目の数が適宜設定されればよい。
【００６３】
＜第２の実施形態＞
本技術に係る第２の実施形態の評価システムについて説明する。これ以降の説明では、上記の実施形態で説明した評価システム１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【００６４】
［評価値入力の支援システム］
本実施形態に係る評価システムは、ユーザによる評価値の入力を支援する支援システムを備える。支援システムは、図２に示す評価値の付与（ステップ１０２）にて、複数の受精卵画像１５の各々に対するユーザの評価値入力を支援することが可能である。
【００６５】
図５は、支援システムの機能的な構成例を示すブロック図である。支援システム１５０は、支援処理部３０と、学習済み予測器５０と、表示制御部６０と、複数のＤＢ７０とを有する。
【００６６】
支援処理部３０は、前処理部３１と、予測器処理部３２と、中間表現処理部３３と、ラベル付与画像判断部３４と、拮抗度計算部３５とを有する。前処理部３１は、例えば画像の正規化、受精卵５の位置の調整、形状の強調フィルタ等の前処理を実行する。
【００６７】
予測器処理部３２は、予測器学習部３６と、中間表現計算部３７と、予測値計算部３８とを有する。これらのブロック及び学習済み予測器５０により、ラベル付与の対象となる受精卵画像１５について、各評価項目に関する評価値の予測値である予測評価値が算出される。なおラベルとは、各評価項目に関する評価値に相当する。
【００６８】
本実施形態では、所定の機械学習アルゴリズム（第２の機械学習アルゴリズム）に従って、予測評価値が算出される。具体的には、前処理が実行された未ラベルの受精卵画像１５を入力として、中間表現計算を経て、予測評価値が算出される。なお中間表現とはネットワークの途中の層による出力のことを指す。中間表現とは、画像特徴を上手く表す特徴量であると言える。
【００６９】
予測学習部３６により、予測器の係数（予測評価値の算出用のパラメータ）が更新され、学習済み予測器５０に出力される。係数の更新は、例えば予測評価値と、ユーザにより入力された評価値とから損失関数を計算し、その値を用いて実行される。なおこの方法に限定されるわけではない。以下、予測器処理部３２及び学習済み予測器５０をまとめて予測器と記載する場合がある。
【００７０】
第２の機械学習アルゴリズムは限定されず、上記したＣＮＮ等のＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）が用いられる。その他の機械学習アルゴリズムが用いられてよい。また第１及び第２の機械学習アルゴリズムは、互いに同じであってもよいし、異なってもよい。
【００７１】
中間表現処理部３３は、中間表現分布の更新計算部３９と、類似画像検索部４０と、斬新さ計算部４１とを有する。これらのブロックにより、中間表現分布の更新、類似画像の検索、及び受精卵画像１５の斬新さの計算が実行される。
【００７２】
ラベル付与画像判断部３４は、珍しい画像判断部４２と、確信度低い画像判断部４３とを有する。これらのブロックにより、ラベル付与対象となる受精卵画像１５、すなわち評価値の付与対象となる受精卵画像１５が選択される。
【００７３】
拮抗度計算部３５は、予測された評価値の拮抗度を算出する。算出された拮抗度は、ラベル付与画像判断部３４の確信度低い画像判断部４３に出力される。すなわち評価値の拮抗度は、ラベル付与の対象画像の選択のために用いられる。
【００７４】
表示制御部６０は、予測評価値表示部６１と、対象個体画像表示部６２と、参照評価値表示部６３と、類似画像表示部６４とを有する。これらのブロックにより、ラベル付与対象となる受精卵５（ラベル対象個体に相当）の受精卵画像１５、及び予測評価値の表示が実行される。また類似個体の受精卵画像１５（類似画像）、及び参照評価値の表示が実行される。
【００７５】
本実施形態では、表示制御部６０により、ラベル付与対象の受精卵画像１５、予測評価値、類似画像、類似画像の参照評価値の表示を含む、評価値を入力するための評価値入力用のＧＵＩが生成され、表示装置４に出力される。本実施形態では、支援処理部３０及び学習済み予測器５０により予測部が実現され、表示制御部６０により出力部が実現される。
【００７６】
複数のＤＢ７０は、受精卵情報ＤＢ３内に構築され、ラベル済み画像ＤＢ７０ａと、未ラベル画像ＤＢと７０ｂ、中間表現分布ＤＢ７０ｃとを含む。各ＤＢ７０により、評価値が付与済みのラベル済み画像、未だ評価値が付与されていない未ラベル画像、及び中間表現分布がそれぞれ記憶される。
【００７７】
［評価値入力用のＧＵＩ］
図６は、評価値入力用のＧＵＩの構成例を示す模式図である。ＧＵＩ２００は、対象個体表示部２１０、類似個体表示部２２０、評価項目ボタン２３０、及びスライダ２３５を有する。
【００７８】
対象個体表示部２１０は、対象画像表示部２１１と、予測評価値表示部２１２とを有する。対象画像表示部２１１には、評価値の付与対象として選択された受精卵画像１５が表示される。受精卵画像１５は、時系列に沿って連続的に表示される（動画再生される）。ユーザは、画像再生、早送り、巻き戻し、静止等の操作を入力することで、所望の発生ステージの受精卵画像１５を表示させることが可能である。
【００７９】
予測評価値表示部２１２には、予測値計算部３８により算出された予測評価値が表示される。図６に示すように、本実施形態では、予測評価値の時間変化を表す予測変化波形２１３が表示される。予測評価値表示部２１２に表示されたグラフの横軸は時間軸（発生段階）であり、縦軸は評価値（グレード等）である。受精卵画像１５を時系列に沿って再生させる場合には、表示されている受精卵画像１５の撮影日時に応じた表示時間軸２１４が、グラフ中に表示される。当該表示時間軸２１４を移動させて、表示される受精卵画像１５を変更することも可能である。
【００８０】
なおＧＵＩ２００に表示させたい評価項目は、例えば評価項目ボタン２３０等を操作することで、適宜選択可能である。
【００８１】
類似個体表示部２２０は、参照画像表示部２２１と、参照評価値表示部２２２とを有する。参照画像表示部２２１には、評価値が付与済みの受精卵画像１５の中から選択された、評価値を入力する際に参考となる参照画像が表示される。本実施形態では、評価値の予測対象となる受精卵画像１５に類似する類似画像２２３が表示される。類似画像２２３も時系列に沿って連続的に表示され、ユーザにより再生や静止等の操作が可能である。
【００８２】
参照評価値表示部２２２には、類似画像２２３に付与されている参照評価値が表示される。本実施形態では、参照評価値の時間変化を表す参照変化波形２２４が表示される。類似画像２２３が時系列に沿って再生されると、グラフ内に表示された表示時間軸２２５が移動する。例えば表示時間軸２１４及び２２５を互いに同じ位置にセットし、画像や評価値を比較することも可能である。
【００８３】
図６に示すように本実施形態では、参照画像表示部２２１に、複数の類似画像２２３が表示される。これらはラベル付けの対象となる受精卵画像１５と類似度の高い画像である。例えば類似度の高い順番で、複数の類似画像２２３が並べられてもよい。
【００８４】
ユーザは、参照したい類似画像２２３を選択し、参照画像表示部２２１に大きく表示することが可能である。参照評価値表示部２２２には、選択された類似画像２２３に付与されている評価値の参照変化波形２２４が表示される。
【００８５】
また図６に示ように、既に付与されている参照評価値に関する付与情報が表示されてもよい。図６に示す例では、参照評価値を付与した人物（Ａさん）の情報が表示されているが、これに限定されず、付与された日時等が表示されてもよい。付与情報を表示させることにより、例えば他のユーザの評価値と、自分の評価値との相違やずれを確認することが可能となり、評価値付与のばらつきを抑えることが可能となる。
【００８６】
スライダ２３５は、評価値のグレード等に応じた位置に表示される。スライダ２３５は、例えば評価値の入力や予測評価値の修正等に用いられる。例えばグラフ内において、表示されている受精卵画像１５の発生段階の位置に表示時間軸２１４が配置される。その表示時間軸２１４と交差する予測評価値に応じた位置に、スライダ２３５が配置される。例えばスライダ２３５を上下に移動させることで、予測評価値を修正することが可能である。なお類似個体を選択することで、参照評価値に応じた位置にスライダ２３５を表示させることも可能である。またスライダ２３５を操作することで、参照評価値を修正することも可能である。
【００８７】
図６に示すように、対象画像表示部２１１に、未ラベルの受精卵画像１５の中から選択された類似画像２１５が表示されてもよい。この場合、互いに類似する複数の受精卵画像１５が、評価値の予測対象となる未ラベル画像群として選択されることになる。
【００８８】
予測対象となる未ラベル画像群の各々に対して、予測評価値が算出される。未ラベル画像群の中から受精卵画像１５を適宜選択することで、予測評価値表示部２１２に表示される予測変化波形２１３の表示が適宜切り替えられる。未レベル画像群を表示させることで、複数の受精卵画像１５に対する同時ラベル付けが可能となる。なお未ラベルの類似画像２１５の選択については、図１５のブロック図を参照しながら、後に説明する。
【００８９】
評価値入力用のＧＵＩ２００を用いた評価値の入力例を説明する。ＧＵＩ２００に表示された予測評価値（予測変化波形２１３）をそのまま評価値として入力することが可能である。例えば予測評価値が表示される予測評価値表示部２１２をダブルクリックする等のタッチ操作や、所定のボタン（図示省略）を選択する操作等が入力される。もちろんこれらの操作に限定されるわけではない。
【００９０】
ＧＵＩ２００に表示された予測評価値を修正して評価値として入力することも可能である。修正された予測評価値は、修正ラベル２１６として表示される。
【００９１】
例えばユーザにより表示時間軸２１４が移動される。受精卵画像１５の動画を確認しながら予測評価値を修正したいと思った場合には、その位置で表示時間軸２１４を固定する。予測評価値に対応する位置で停止しているスライダ２３５を、所望とする評価値の位置に移動させる。これにより予測変化波形２１３が修正され、修正ラベル２１６が表示される。なお予測評価値を修正するための操作は限定されず、予測変化波形２１３が直接的に修正されてもよい。修正が完了したら、修正ラベル２１６を、受精卵画像１５の変化波形１６として選択する旨の操作が入力される。
【００９２】
時系列に沿って再生される複数の受精卵画像１５に対して、時系列に沿って連続して評価値を入力することも可能である。例えば時系列の開始ポイントから受精卵画像１５を再生させた状態で、スライダ２３５を上下に移動させる。これによりスライダ２３５の移動に応じた評価値が、時系列に沿った評価値として入力される。なお各受精卵画像１５が表示されるタイミングにおけるスライダ２３５の位置に応じた評価値が、当該受精卵画像１５の評価値となる。
【００９３】
互いに類似する未ラベル画像群に対して、同時ラベル付けが可能である。例えば同時ラベル付けを実行するための所定の操作が入力された状態で、１つの受精卵画像１５に対して評価値が入力される。当該入力された評価値は、他の類似画像２１５に対しても適用される。あるいは１つの受精卵画像１５に対し評価値が入力された後に、その評価値を他の類似画像２１５に適用させる旨の操作が入力されてもよい。
【００９４】
参照画像表示部２２１に参照画像として表示された類似画像２２３の参照評価値（参照変化波形２２４）を用いて、評価値を入力することも可能である。例えば参照評価値表示部２２２に表示された参照評価値をそのまま評価値として入力することが可能である。
【００９５】
図６に矢印を用いて模式的に図示しているように、ドラッグ＆ドロップ操作により、参照評価値表示部２２２に表示された参照変化波形２２４を、予測評価値表示部２１２に移動させる。移動された参照変化波形２２４は、例えば修正ラベル２１６として表示される。その修正ラベル２１６を、評価値として選択する旨の操作が入力される。
【００９６】
参照変化波形２２４をドラッグすることで、予測変化波形２１３と十分に比較して考察することができる。なお参照変化波形２２４を移動させることなく、評価値として選択することも可能である。
【００９７】
参照評価値を修正して、評価値として入力することも可能である。例えば予測評価値表示部２１２に移動した参照変化波形２２４に対して、スライダ２３５等を用いた修正操作が入力される。そして評価値として選択する旨の操作が入力される。
【００９８】
参照評価値表示部２２２に表示された参照評価値を修正することで、既に付与済みである参照画像の評価値を修正することも可能である。例えば評価値の入力回数が増えるにつれて、評価値の入力基準が変わったり、評価値の入力技術が向上することもあり得る。過去に入力した評価値を見直して修正することで、受精卵５の評価精度を向上させることが可能となる。また他のユーザの評価値とのずれを修正することも可能となり、システム全体における評価値のばらつきを抑え、受精卵評価の信頼性を向上させることが可能となる。
【００９９】
評価値の付与対象となる受精卵画像１５の数は多く、各受精卵画像１５を観察して評価値を入力することは、負担が大きい作業となる。本支援システム１５０では、評価値の入力対象となる受精卵画像１５のみならず、予測評価値や参照評価値の表示を含む、評価値入力用のＧＵＩ２００が表示される。当該ＧＵＩ２００を用いて、上記したような種々の評価値入力が可能である。これによりユーザによる評価値の入力を十分に支援することが可能となり、評価値の入力にかかる負担を十分に軽減することが可能となる。また精度の高い評価値の付与が実現するので、受精卵の評価精度を向上させることができる。
【０１００】
評価値入力用のＧＵＩ２００の画面構成等は限定されず、任意に設計されてよい。またＧＵＩ２００を介して実行可能な評価値の入力方法や、入力のための操作方法等も限定されず、任意に設定されてよい。
【０１０１】
［支援システムの動作］
図７は、本実施形態に係る支援システム１５０の全体的な動作例を示すフローチャートである。まず予測器の学習及び中間表現分布の算出が実行される（ステップ２０１）。当該処理は、典型的には、ラベル済み画像ＤＢ７０ａや未ラベル画像ＤＢ７０ｂに受精卵画像１５が追加されたタイミングで実行される。すなわちユーザによるラベル付けの直後、受精卵画像１５の撮影終了の直後等のタイミングで実行される。
【０１０２】
図８は、予測器の学習及び中間表現分布の算出を実行する主なブロックを示す図である。図９及び図１０は、予測器の学習の一例を示すフローチャートである。図９は、教師あり学習が実行される場合のフローチャートである。ラベル済み画像（時系列画像群）が予測器（予測器処理部３２及び学習済み予測器５０）に入力され（ステップ３０１）、前処理部３１により前処理が実行される（ステップ３０２）。
【０１０３】
中間表現計算部３７により中間表現が算出される（ステップ３０３）。予測値計算部３８により、予測評価値が算出される（ステップ３０４）。予測器学習部３６により、予測評価値と、付与されていたラベルとから損失関数が計算される（ステップ３０５）。計算された損失関数の値を用いて、予測器の係数が更新される（ステップ３０６）。
【０１０４】
図１０は、未ラベル画像に基づいて予測器を学習する処理例を示すフローチャートである。未ラベル画像（時系列画像群）に対して、予測評価値が算出される（ステップ４０１〜４０４）。画像の尤度最大化等により損失関数を計算し、その値を用いて予測器の係数が更新される（ステップ４０５、４０６）。
【０１０５】
予測器に入力される受精卵画像１５がラベル済み画像であるか未ラベル画像であるかに応じて、図９及び図１０の２つの処理を適宜実行する。これにより未ラベル画像からでも学習できる学習フレームワークである、半教師あり学習を実行することが可能となる。この結果、ラベル済み画像が少なくても性能の高い予測器を構築することが可能となり、受精卵画像１５へのラベル付けのコストを抑えることが可能となる。
【０１０６】
図１１は、中間表現分布の算出の一例を示すフローチャートである。ラベル済み画像、又は未ラベル画像が入力される（ステップ５０１）。入力された画像に対して前処理が実行され、中間表現が算出される（ステップ５０２、５０３）。中間表現分布の更新計算部３９により、すでに算出されている中間表現の分布が、新しい中間表現を加えた上での分布に更新される（ステップ５０４）。このように新しい受精卵画像１５がＤＢに追加されるたびに、中間表現分布が更新される。
【０１０７】
次に、ラベルの付与対象となる受精卵画像１５（以下、付与対象画像と記載する）が選択される（ステップ２０２）。図１２は、付与対象画像の選択を実行する主なブロックを示す図である。
【０１０８】
本実施形態では、中間表現分布という画像の特徴量の分布において、珍しい特徴を有する画像が選択される。これにより過去にラベルを付けたことのない種類の画像に対して優先的にラベル付けを促すことが可能となる。付与されたラベルを機械学習アルゴリズムの教師データとすることで、予測器を効率的に学習させることが可能となる。
【０１０９】
図１３は、受精卵画像１５の斬新さに基づいた処理例を示すフローチャートである。未ラベル画像ＤＢ７０ｂから未ラベル画像がランダムに選択される（ステップ６０１）。選択された未ラベル画像に対して前処理が実行され、中間表現が算出される（ステップ６０２、６０３）。
【０１１０】
斬新さ計算部４１により、受精卵画像１５の斬新さが算出される（ステップ６０４）。例えば中間表現分布における中間表現の確率値が、そのまま斬新さとして算出される。もちろんこれに限定されず、例えば確率値に所定の係数をかける等の演算が実行されてもよい。
【０１１１】
珍しい画像判断部４２により、算出された斬新さが所定の閾値以上か否かが判定される（ステップ６０５）。斬新さが閾値未満である場合には（ステップ６０５のＮｏ）、ステップ６０１に戻り、斬新さが閾値以上となる未ラベル画像が得られるまで処理が繰り返される。斬新さが閾値以上である場合には（ステップ６０５のＹｅｓ）、ラベル付与の対象となる付与対象画像として判断される（ステップ６０６）。
【０１１２】
なお斬新さを用いて付与対象画像を選択する方法は限定されない。例えば全ての未ラベル画像のうち最も斬新さが大きい画像が、付与対象画像として選択されてもよい。または、中間表現分布を適当な指標でクラスタリングし、各クラスタ中心から遠い画像が選択されてもよい。本実施形態において、斬新さに基づいて選択された画像は、予測評価値が付与済みの画像を基準として選択された特徴的な画像に相当する。
【０１１３】
図１４は、受精卵画像１５の予測評価値の確信度に基づいた処理例を示すフローチャートである。例えば予測器により算出される予測評価値の確信度が低い受精卵画像１５を優先的に選択し、当該受精卵画像１５に対して付与されたラベルを教師データとすることで、高精度の予測器を構築することが可能となる。
【０１１４】
未ラベル画像ＤＢ７０ｂから未ラベル画像がランダムに選択され、予測評価値が算出される（ステップ７０１〜７０４）。拮抗度計算部３５により、予測評価値の拮抗度が算出される（ステップ７０５）。ステップ７０４において算出される予測値は、例えば（Ａグレード：３０％）（Ｂグレード：３４％）（Ｃグレード：３６％）というように、各グレードの確率値をもとに算出される。
【０１１５】
ステップ７０５では、これらの各グレードの確率値の拮抗度が算出される。例えば拮抗度＝１／（１番大きい確率−２番目に大きい確率）のような式により算出することが可能である。上記の各グレードの確率値の場合には、拮抗度＝１／（３６−３４）＝１／２となる。拮抗度が高いと予測評価値の確信度が低くなる。なお拮抗度の算出方法は限定されない。
【０１１６】
確信度低い画像判断部４３により、拮抗度が所定の閾値以上か否かが判定される（ステップ７０６）。斬新さが閾値未満である場合には（ステップ７０６のＮｏ）、ステップ７０１に戻り、拮抗度が閾値以上となる未ラベル画像が得られるまで処理が繰り返される。拮抗度が閾値以上である場合には（ステップ７０６のＹｅｓ）、付与対象画像として判断される（ステップ７０７）。なお拮抗度に代えて、予測評価値の不確実性や曖昧性（自信のなさ）といったパラメータに基づいて付与対象画像が選択されてもよい。
【０１１７】
図７に戻りラベルの付与サポートとユーザによるラベル付けが実行される（ステップ２０３）。
【０１１８】
図１５は、ラベルの付与サポートを実行する主なブロックを示す図である。図１６は、ラベルの付与サポートの処理例を示すフローチャートである。本実施形態では、ラベルの付与サポートとして、図６に示す評価値入力用のＧＵＩ２００が生成され表示される。
【０１１９】
ステップ２０２にて選択された付与対象画像が入力される（ステップ８０１）。画像の前処理、中間表現の算出を経て、予測評価値が算出される（ステップ８０２）。予測評価値表示部６１及び対象個体画像表示部６２により、対象個体の予測評価値（予測変化波形２１３）とその受精卵画像１５が、ＧＵＩ２００内に表示される（ステップ８０３）。
【０１２０】
類似画像検索部４０により、対象個体の受精卵画像１５に類似する類似画像が検索される。まず未ラベル画像ＤＢ７０ｂから、ラベル付与の対象個体として、複数の類似画像（付与対象類似画像と記載する）が検索される（ステップ８０４）。検索された付与対象類似画像の各々について、予測評価値が算出される（ステップ８０５）。そして予測評価値表示部６５及び付与対象類似画像表示部６６により、予測変化波形２１３及び類似画像２１５がＧＵＩ２００内に表示される（ステップ８０６）。
【０１２１】
類似画像検索部４０により、ラベル済み画像ＤＢ７０ａから、参照画像として、類似画像（参照類似画像と記載する）が検索される（ステップ８０７）。そして参照評価値表示部６３及び参照類似画像表示部（図１の類似画像表示部）６４により、参照予測評価値（参照変化波形２２４）及び類似画像２２３がＧＵＩ２００内に表示される（ステップ８０８）。
【０１２２】
評価入力用のＧＵＩ２００を介して、ユーザによりラベル付けが行われる。すなわち各評価項目の各々に関して、時系列に沿った評価値が入力される（ステップ８０９）。本支援システム１５０により、ユーザによる評価値の入力を十分に支援することが可能となり、評価値の入力にかかる負担を十分に軽減することが可能となる。
【０１２３】
図１７は、自動ラベル付与を実行する主なブロックを示す図である。図１８は、自動ラベル付与の処理例を示すフローチャートである。予測器の性能が所定の水準よりも高くなった場合には、各評価項目における評価値の付与を自動的に実行することが可能である。すなわち撮影された受精卵画像（時系列画像）１５が入力され（ステップ９０１）、予測器により予測値が評価値としてそのまま出力される（ステップ９０２）。これによりユーザによる評価値の入力が省略でき、ラベル付与のコストを大幅に軽減することが可能となる。
【０１２４】
なお予測器により出力された予測値（評価値）が表示装置４に表示され、ユーザによる確認や修正等が行われてもよい。
【０１２５】
図１９は、本技術に係る評価システム１００による全体評価の自動算出を説明するための概略図である。各評価項目に関する評価値の付与が自動的に実行可能である場合には、評価システム１００に、時系列に沿った複数の受精卵画像１５を入力することで、自動的に受精卵の全体評価を実行することが可能となる。これにより容易に受精卵画像を高精度に評価することが可能となる。
【０１２６】
本実施形態に係る評価システムでは、支援システム１５０により機械学習アルゴリズムに従った評価値の付与が実現される。これにより、事前に定義された評価パラメータ（例えば卵割が均等かどうかや、フラグメンテーションの割合）等に基づく評価と比べて、受精卵の見た目の情報に含まれる様々な要因のどの組み合わせがどう効いてくるかという網羅的または系統的な評価が実現可能となる。例えば新しい評価パラメータの抽出や複数の評価パラメータの重み付け等が実現可能となる。この結果、高精度の受精卵評価が可能となる。
【０１２７】
また評価値の種類を変えるたびにシステム構成を考え直し、必要な特徴量を手作業で導き出すといったことが不要となるので汎用性が高く、またシステム構成のトータルコストを抑えることが可能となる。
【０１２８】
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【０１２９】
図２０は、各評価項目についての時系列に沿った評価値の付与の他の例を説明するための図である。上記では、時系列に沿って撮影された複数の受精卵画像１５の各々に評価値が付与された。
【０１３０】
これに限定されず、例えば図２０Ａに示すように、時系列に沿って連続して撮影された複数の受精卵画像１５を含む画像群に対して、各評価項目に関する評価値が付与されてもよい。画像群を単位として付与された複数の評価値も、時系列に沿った評価値に含まれる。
【０１３１】
画像群に付与された複数の評価値の時間変化（変化波形）に基づいて、受精卵の全体評価が実行される。なお画像群に含まれる受精卵画像の数は限定されず、適宜設定されてよい。画像群を単位とすることで、ラベルの数を減らすことが可能となり、ラベル付与にかかるコストを低減することが可能となる。
【０１３２】
なお画像群に評価値が付与される場合にも、第２の実施形態で説明した支援システム１５０を適用することが可能である。画像群を単位として、予測評価値の算出、類似画像群の選択、参照評価値の表示等が実行されればよい。ユーザは、評価入力用のＧＵＩを用いて、画像群ごとに評価値を入力することが可能となる。
【０１３３】
画像群を単位として機械学習を実行するために、時系列データのモデリング手法が用いられてもよい。例えば上記したＲＮＮ、特にＬＳＴＭ（Long Short Term Memory）を用いた時系列のＤＮＮモデリング手法が有効である。
【０１３４】
図２０Ｂに示すように、時系列の開始ポイントから所定の発生段階までの画像を画像群として、各画像群に評価値が付与されてもよい。このような評価値も、時系列に沿った評価値に含まれる。また各画像群への評価値の入力を、本技術に係る支援システムを用いてサポートすることも可能である。
【０１３５】
上記では、主に移植前の評価項目を付与するために、本技術に係る支援システムが用いられた。これに限定されず、支援システムにより、移植後の評価項目（着床経過、受胎率、妊娠・出産・産後経過、子牛の生育・成牛時の育種価等）に関する予測値が算出されてもよい。
【０１３６】
図２１に示すように、本技術に係る支援システムを応用して、各評価項目に関して、時系列に沿って撮影された複数の受精卵画像１５の全体の評価値を予測することも可能である。すなわち評価項目ごとに１つの評価値が算出される。これらの評価値に基づいて、受精卵の評価が実行されてもよい。
【０１３７】
図４に示す変化波形１６に基づく受精卵の全体評価と、図２１に示す複数の受精卵画像の全体を１つの単位として実行される受精卵の全体評価とが、組み合わされてもよい。これら両方の全体評価を実行可能なハイブリットの予測器を作成することで、高精度の受精卵評価が可能となる。
【０１３８】
図２２は、予測器処理部の他の構成例を示すブロック図である。この予測器処理部２９０では、事前定義特徴量計算部２９１を備える。事前定義特徴量計算部２９１により、事前にわかっている有効な画像特徴が算出される。当該算出された画像特徴と、前処理された受精卵画像とが、予測器の入力とされる。これによりラベル付けが少ない段階でも高い性能を発揮することが可能となる。
【０１３９】
事前にわかっている有効な画像特徴としては、例えば卵割が均等かどうかやフラグメンテーションの割合等が挙げられる。当該事前に定義されている特徴に基づいた評価と、機械学習により実現される網羅的または系統的な評価とを可能とするハイブリッドな予測器が作成されるので、高精度の受精卵評価が可能となる。
【０１４０】
図２２に示す例では、事前定義特徴量計算結果と画像前処理結果とを早い段階で統合する方法（early fusion）が実行されている。これに限定されず、画像前処理入力が評価値計算まで計算された後に統合するような方法(late fusion)や、徐々に統合する方法(slow fusion)等、他の任意の統合方法が実行されてもよい。いずれにせよ、事前定義特徴量で捉えきれる評価値予測性能から始まり、ラベルが増えるにつれ、事前定義特徴量では捉えきれない特徴量を考慮に入れた評価値予測となっていく。なお事前知識を使って作った予測器を用いて、ラベル付けが必要ない予測器として構成してもよい。
【０１４１】
公開されているラベル付きの受精卵画像のデータセットを用いて、予測器を事前に学習させてもよい。これにより一定レベルの画像認識能力を予測器に持たせたところからスタートできるため、ラベル付け量が少ない段階でも高い性能を発揮させることが可能となる。
【０１４２】
各評価項目に関する評価値の付与において、前後の評価値から推定された評価値が付与されてもよい。例えば受精卵画像の各々に評価値が付与される場合に、付与対象画像と、推定対象画像とが設定され、付与対象画像にのみ評価値が付与される。そして前後の付与対象画像に付与された評価値をもとに、推定対象画像の評価値が推定され付与されてもよい。例えば奇数枚目の受精卵画像と付与対象画像とし、偶数枚目の受精卵画像を推定対象画像とする等である。これによりラベル付与のコストを低減することが可能となる。
【０１４３】
撮影される受精卵画像は、２次元的な画像でもよいし、３次元的な構造情報を含む画像でもよい。２次元画像は、例えば実態顕微鏡や位相差光学顕微鏡等により撮影可能である。３次元画像は、例えば共焦点顕微鏡や光シート顕微鏡等により撮影可能である。
【０１４４】
本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
【０１４５】
なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
【０１４６】
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば複数の受精卵画像の取得、各評価項目に関する評価値の付与、全体評価の付与、評価値入力用のＧＵＩの出力等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
【０１４７】
すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
【０１４８】
以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【０１４９】
なお、本技術は以下のような構成も採ることができる。
（１）時系列に沿って撮影された細胞の複数の画像を取得する取得部と、
前記取得された複数の画像に対して、所定の１以上の評価項目の各々に関して、時系列に沿った評価値を付与する付与部と、
前記付与された時系列に沿った評価値の時間変化に基づいて、前記細胞を評価する評価部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記評価部は、第１の機械学習アルゴリズムに従って、前記細胞を評価する
情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
前記付与部は、前記取得された複数の画像の各々に、前記評価値を付与する
情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記付与部は、前記時系列に沿って連続して撮影された複数の画像を含む画像群に対して、前記評価値を付与する
情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記付与部は、前記評価値の予測値である予測評価値を算出する予測部を有し、
前記情報処理装置は、さらに、前記予測評価値の表示を含む前記評価値を入力するためのＧＵＩ（Graphical User Interface）を出力する出力部を具備する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記評価部は、第１の機械学習アルゴリズムに従って、前記細胞を評価し、
前記予測部は、第２の機械学習アルゴリズムに従って、前記予測評価値を算出する
情報処理装置。
（７）（５）又は（６）に記載の情報処理装置であって、
前記ＧＵＩは、前記表示された予測評価値を前記評価値として入力する操作、及び前記表示された予測評価値を修正して前記評価値として入力する操作の少なくとも一方を実行可能に構成される
情報処理装置。
（８）（５）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記ＧＵＩは、前記時系列に沿って連続して前記評価値を入力する操作を実行可能に構成される
情報処理装置。
（９）（５）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記予測部は、前記評価値が付与済みの画像の中から参照画像を選択し、
前記ＧＵＩは、前記選択された参照画像の表示、及び前記選択された参照画像に付与されている参照評価値の表示を含む
情報処理装置。
（１０）（９）に記載の情報処理装置であって、
前記ＧＵＩは、前記表示された参照評価値を前記評価値として入力する操作、及び前記表示された参照評価値を修正して前記評価値として入力する操作の少なくとも一方を実行可能に構成される
情報処理装置。
（１１）（９）又は（１０）に記載の情報処理装置であって、
前記ＧＵＩは、前記選択された参照画像に付与されている参照評価値の時間変化の表示を含む
情報処理装置。
（１２）（９）から（１１）のうちいずれか１つに記載の情報処理装置であって、
前記予測部は、前記評価値の予測対象となる画像に類似する類似画像を、前記参照画像として選択する
情報処理装置。
（１３）（１）から（１２）のうちいずれか１つに記載の情報処理装置であって、
前記付与部は、互いに類似する複数の画像を、前記評価値の予測対象となる画像群として選択する
情報処理装置。
（１４）（６）に記載の情報処理装置であって、
前記付与部は、前記予測評価値が付与済みの画像を基準として選択された特徴的な画像を、前記評価値の予測対象となる画像として選択し、
前記予測部は、前記選択された特徴的な画像に付与された評価値を、前記第２の機械学習アルゴリズムにおける教師データとする
情報処理装置。
（１５）（６）に記載の情報処理装置であって、
前記付与部は、前記予測評価値の確信度が低い画像を、前記評価値の予測対象となる画像として選択し、
前記予測部は、前記選択された確信度が低い画像に付与された評価値を、前記第２の機械学習アルゴリズムにおける教師データとする
情報処理装置。
【符号の説明】
【０１５０】
２…撮像ユニット
３…受精卵情報ＤＢ
４…表示装置
５…細胞（受精卵）
１０…情報処理装置
１１…取得部
１２…付与部
１３…評価部
１５…受精卵画像
１６…変化波形
１７…予測器
１８…予測器学習部
３０…支援処理部
３２、２９０…予測器処理部
３３…中間表現処理部
３４…ラベル付与画像判断部
６０…表示制御部
１００…評価システム
１５０…支援システム
２００…評価値入力用のＧＵＩ
２１０…対象個体表示部
２１５…類似画像
２２０…類似個体表示部
２２３…類似画像
２３５…スライダ
【図１】
2018022216.tif 000003
【図２】
2018022216.tif 000004
【図３】
2018022216.tif 000005
【図４】
2018022216.tif 000006
【図５】
2018022216.tif 000007
【図６】
2018022216.tif 000008
【図７】
2018022216.tif 000009
【図８】
2018022216.tif 000010
【図９】
2018022216.tif 000011
【図１０】
2018022216.tif 000012
【図１１】
2018022216.tif 000013
【図１２】
2018022216.tif 000014
【図１３】
2018022216.tif 000015
【図１４】
2018022216.tif 000016
【図１５】
2018022216.tif 000017
【図１６】
2018022216.tif 000018
【図１７】
2018022216.tif 000019
【図１８】
2018022216.tif 000020
【図１９】
2018022216.tif 000021
【図２０】
2018022216.tif 000022
【図２１】
2018022216.tif 000023
【図２２】
2018022216.tif 000024